在问题接收阶段加入失败后通过的复现测试
使用修复代理的维护团队应在生成补丁前加入复现阶段。该阶段应定位疑似缺陷、检索仓库上下文、生成测试,并在受影响的版本上执行测试。ReProAgent 在 SWT-bench-lite 中复现了 58.43% 的问题,在 SWT-bench-verified 中复现了 70.30% 的问题,平均每个案例成本为 $0.14;生成的测试还提升了后续修复效果。
可以用 50 个已有已知修复方案的已关闭问题开展试点。只有当生成的测试在修复前的提交上失败、在记录的修复后通过时,才接受该测试;随后将补丁成功率、维护者审查时间和错误复现率与现有修复代理流程进行比较。通过这项检查的团队,可以要求问题中包含可执行的复现产物,再启动自主修复流程。