Skip to content

[Feature]: 沙箱磁盘占用缺少容量检查与预警,写满后故障无法定位 #949

Open

Description

@pkyes54

Problem

平台对沙箱占用的磁盘没有任何容量管理:没有创建前检查、没有配额、没有用量展示,也没有针对「磁盘写满」的可识别错误。占用分散在两处,都落在宿主磁盘上:

  1. ${LOOPFORGE_DATA_DIR}/workspaces/<runID> —— 每个任务一份完整 clone 与依赖
  2. Docker 容器可写层与镜像缓存 —— 代码注释本身已承认会占 GB 级
    (internal/runtime/sandbox_docker.go 的 removeDockerSandbox:
    "a container holding gigabytes of writable layer")

全仓库检索 statfs / diskfree / 磁盘配额相关逻辑,均无实现;工作区目录也没有任何大小限制。

后果:磁盘写满时,用户看到的是零散的 I/O error、npm install failed、git clone failed,与网络故障、配置错误的表象完全一致。用户无法判断,管理员也拿不到「哪个任务占了多少」的信息,只能逐目录排查。

放大因素一:准入数与执行槽位数不匹配。 每个项目允许 10 个顶层 run 同时准入(ProjectRunLimit,internal/repo/run_admission.go:18),而实际并行执行受 --worker-concurrency 限制(默认 8,cmd/agentflow/main.go:83;compose.yaml 的 platform command 并未暴露该参数)。超出的 run 容器与工作区已经创建并占着磁盘,只是执行被阻塞,等于凭空多出数份完整克隆与依赖。

放大因素二:存档超限后不回收。 工作区存档有 2 GiB 展开上限(workspaceCheckpointExpandedMax,internal/runtime/workspace_checkpoint.go)。打包失败时,cleanupWorkspace 与 discardIdleRunContainer 都直接返回并保留工作区与容器(internal/engine/workspace_cleanup.go),此后每 20 秒的清扫都会跳过它。也就是说:超过上限的工作区既不会被存档,也不会被回收,长期占用磁盘且无任何提示。

放大因素三:匿名卷不回收。 容器删除使用 docker rm -f,不带 -v;全仓库也没有 docker volume prune。若用户在项目 Dockerfile 中声明 VOLUME(这是预装依赖进镜像的常见做法),每创建一个沙箱就留下一个匿名卷,永久残留且不在任何回收路径内。

Proposed behavior

  • 创建沙箱前检查可用空间,不足时明确拒绝,并说明需要多少
  • 工作区与容器可设定容量上限(可按项目或全局配置)
  • 写入失败且根因为空间不足时,返回可识别的错误(把 no space left on device
    映射为「磁盘空间不足」,而不是笼统的执行失败)
  • 界面展示当前占用:全局总量、按任务/项目排序的占用列表,并提供清理入口
  • 达到阈值时预警(如 80%)
  • 清理容器时一并处理匿名卷;存档失败时给出明确状态,而不是静默保留

Scope

Platform — runtime / deployment / observability

Alternatives considered

  • 只依赖宿主运维手工清理:需要登录服务器逐目录查看,且无法在事故发生前发现。
    并行任务越多,人工排查成本越高。
  • 靠 Docker 的 --storage-opt size= 限制容器可写层:能约束容器,但约束不到
    宿主上的工作区目录(bind mount),两者必须分开处理。
  • 通过项目 Dockerfile 预装依赖、依赖镜像缓存减少占用:能减少重复下载,
    但镜像层本身仍占磁盘,且当前匿名卷不回收,反而会让占用更隐蔽。

Checks

  • This proposal does not require organization-specific infrastructure or credentials.
  • I searched existing issues and discussions for similar proposals.

关联:本条的容量缺口与「依赖不跨任务复用」「并发槽位等待不可见」同属沙箱生命周期缺少资源层,
但修法独立,故单独提出。

Activity

  1. cocofhu00 commented on Nov 16, 2026

    @cocofhu00
    Contributor

    感谢反馈!理解你的意思是:平台目前对沙箱工作区和 Docker 容器占用的磁盘没有容量检查、配额和用量展示,磁盘写满后只会表现为零散的执行失败;希望增加创建前空间检查、容量上限、「磁盘空间不足」的可识别错误、占用展示与预警,并一并处理匿名卷和存档失败后的回收。

    已经看到,会按现有 Issue 排期查看。

  2. pkyes54 commented on Nov 16, 2026

    @pkyes54
    Author

    感谢反馈!理解你的意思是:平台目前沙箱工作区和Docker占用的磁盘没有容量检查、耗损和耗用展示,磁盘写满后只需表现出对散点的执行失败;希望增加增加空间空间检查、容量上限、「磁盘空间不足」的可识别错误、占用显示与预警,并一并处理卷策略和归档失败后的恢复。

    已经看到,会按现有问题排期查看。

    简单说:
    1、当前本应用会允许创建很多沙箱执行任务,并且大小不固定,可能只有1g,也能用占用20g.
    2、当前本应用没有查看和管理硬盘使用大小的功能,导致任务可能因硬盘不足,并且没有明确报错而失败,最终出现事故.
    3、此外还发现这些sop、沙箱的上限设置有冲突和不生效的问题.

    期望:
    1、能够清晰的看见每个运行任务的使用空间大小,建议大小,预警.让任务开始前就能统计出大概使用空间,而不是开始后才发现问题,如果不能实现,通常应该提供测量或者余量设置.
    2、硬盘空间大小能够支持到实际功能使用,例如个人用户允许100个sop执行,每个都签出仓库并安装依赖,甚至构建测试,没有缓存会浪费流量和耗时,其次会有超大空间占用,而为一次峰值做最大余量配置也显示是浪费.理论上需要最合理的资源消耗配置及设置支持.

  3. wcy12378 commented on Nov 17, 2026

    @wcy12378

    I will work on a focused part of this issue: identifying disk-full errors in assistant execution failures and showing an actionable diagnostic. This will not cover quotas, per-run usage, or capacity management.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions