资料索引 软件工程 · arXiv 2611.20218
作者 Xinping Lei 等
SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations
Daily Papers 收录于

这组基准在 101 个真实仓库中各设一个开发任务,并为任务设置 26 位职责和知识各有边界的模拟同事。代理需要从简短交接出发核对需求,遇到彼此矛盾的说法时还要厘清依据。

领先的两个模型通过了约 63% 原本失败的目标测试,但完整交付不到 8% 的任务。局部通过的测试比例与完成整项工作的比例分母不同,也说明遗漏少数关键事项就会影响整单验收。

原始资料