这组基准在 101 个真实仓库中各设一个开发任务,并为任务设置 26 位职责和知识各有边界的模拟同事。代理需要从简短交接出发核对需求,遇到彼此矛盾的说法时还要厘清依据。
领先的两个模型通过了约 63% 原本失败的目标测试,但完整交付不到 8% 的任务。局部通过的测试比例与完成整项工作的比例分母不同,也说明遗漏少数关键事项就会影响整单验收。
SWE-CoWork 把软件任务分散到不同角色和工作记录里,让程序通过私有可执行测试验收。

这组基准在 101 个真实仓库中各设一个开发任务,并为任务设置 26 位职责和知识各有边界的模拟同事。代理需要从简短交接出发核对需求,遇到彼此矛盾的说法时还要厘清依据。
领先的两个模型通过了约 63% 原本失败的目标测试,但完整交付不到 8% 的任务。局部通过的测试比例与完成整项工作的比例分母不同,也说明遗漏少数关键事项就会影响整单验收。