维护代理需要 PR 接受规则,覆盖代码库理解、测试质量、重构卫生和有效放弃。SWE Atlas 评估了 18 个活跃仓库中的 284 个任务,并显示回归测试可能漏掉 15 到 40 分的重构质量;测试编写的变异检查会漏掉 10 到 15 分的评分规程质量。FixedBench 补充了生产环境中的过期报告场景:在主要设置下,代理在 35% 到 65% 的已修复案例中编辑了代码;放弃提示在部分修复任务上导致了较高的错误放弃率。
一个有用的工作流是要求证据清单,列出运行过的命令、检查过的文件、添加的测试、重构的行为保持理由,以及一个与复现和 git 历史证据绑定的无代码变更选项。在允许自主合并权限之前,先用近期重复工单和部分修复工单试运行。
资料来源
Mohit Raghavendra, Soham Dan, Miguel Romero Calvo, Yannis Yiming He, Johannes Baptist Mols, Gautam Anand, Cole McCollum, Edgar Arakelyan, Vijay Bharadwaj, Andrew Park, Jeff Da, MohammadHossein Rezaei, Bing Liu, Brad Kenstler, Yunzhong He
Thibaud Gloaguen, Niels Mündler, Mark Müller, Veselin Raychev, Martin Vechev