编码代理补丁前的行范围探索报告
编码代理团队应该记录代理在写补丁前查看过的文件路径和行范围,然后在一个留出的 issue 集上,把这些区域和已知修复进行比对评分。SWE-Explore 说明了为什么这是一项可行的评估目标:它要求探索器在固定行数预算下返回按排序的代码区域,真实标注来自成功修复轨迹。它的探索指标与下游修复率相关,包括 Context Efficiency 的 Pearson r=0.950,以及 first useful hit 的 r=0.928。
一个成本不高的内部测试做法是回放 50 到 100 个已关闭的 issue,隐藏最终补丁,让每个代理在编辑前先给出五个排序后的区域。评审就可以把“没找到相关代码”和“没写出补丁”区分开来。这比单一的通过或失败结果更能说明工程经理和工具开发者这次运行为什么失败。