Recoleta
GitHub
来源笔记

SWE-Cycle: Benchmarking Code Agents across the Complete Issue Resolution Cycle

作者
Hao Guan, Lingyue Fu, Shao Zhang, Yaoming Zhu, Kangning Zhang, Lin Qiu, et al.
来源
arXiv
发布日期
栏目
Software Intelligence
Code AgentsSoftware BenchmarksIssue ResolutionAgent EvaluationTest Generation
打开 arXivMarkdown 源文件

摘要

SWE-Cycle 是一个包含 489 个实例的基准，用来测试代码代理能否端到端解决真实的 GitHub issue：搭建环境、修改代码，并编写验证测试。它的评估器 SWE-Judge 结合代码审查和执行结果，在抽样案例中与人工标注的匹配率超过 95%。

问题

  • 现有的 SWE-bench 风格评估会给代理预先搭好的环境和固定测试，因此看不到依赖安装和测试设计中的失败。
  • 静态解析器和固定的单元测试脚本会拒绝有效补丁、接受浅层的测试投机做法，并且在自主代理轨迹上出错。
  • 这很重要，因为有用的编码代理必须能接手一个原始仓库，完成修复，并在没有人工搭建的情况下验证结果。

方法

  • 作者基于 SWE-bench Verified、SWE-bench Pro 和 SWE-bench Multilingual 构建 SWE-Cycle，在经过污染、复杂度和测试可靠性过滤后，把 1,531 个初始实例缩减到 489 个。
  • 每个实例都有三个独立任务：环境重建、代码实现和验证测试生成。
  • FullCycle 任务只给代理一个原始仓库和 issue 描述，然后要求它在一次自主运行中完成全部三个阶段。
  • SWE-Judge 用静态审查加动态执行来评分，分数为 0-2，并归一化到 0-1。
  • 在 FullCycle 评估中，SWE-Judge 先检查环境，再评估生成的测试，必要时修正质量较差的测试，然后测试提交的实现。

结果

  • SWE-Judge 与人工标注的一致率在 Env（N=143）上为 99.3%，在 Impl（N=113）上为 95.6%，在 TestGen（N=201）上为 99.5%，在 FullCycle（N=489）上为 96.9%。
  • 在独立任务上，已报告的最高解决率分别是 Env 的 78.12%、Impl 的 40.08% 和 TestGen 的 67.28%，都来自 Claude-Sonnet-4.6。
  • 在文段所示的结果里，FullCycle 的解决率对每个模型都低于 14%；GLM-5.1 达到 13.50%，Claude-Sonnet-4.6 达到 12.27%。
  • 文段中的 FullCycle 平均分里，GLM-5.1 为 81.49，Claude-Sonnet-4.6 为 80.52，但严格解决率低得多，说明部分进展并不能转化为完整的问题修复。
  • 该基准评估了六个基于 LLM 的代理：GPT-5.4、Claude-Sonnet-4.6、Qwen-3.5、GLM-5.1、Kimi-K2.5 和 MiniMax-M2.7。

Link