面向未来条件的编码基准
SWE-Future 针对一个棘手的基准问题:真实的代码仓库任务往往来自公开 issue 和 pull request,这些内容可能泄漏到训练数据或模型选择流程中。它的做法是只使用快照前证据来预测未来可能出现的仓库工作,再用后续 pull-request 元数据验证这些任务族,最后从通过验证的任务族合成可执行任务。
证据强于单纯的方案设想。在一项覆盖 80 个仓库的回顾性研究中,预测器在 76 个仓库中生成了 260 个任务族。论文报告称,其中 151 个与后续工作形成强匹配或相关匹配,111 个为强匹配。发布的数据集包含 61 个仓库中的 200 个可执行任务,并附有隐藏测试、标准补丁、验证标签、来源信息和执行日志。