来源笔记
Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks
摘要
Claw-SWE-Bench 在同一套 SWE-bench 风格评分协议下评估代码代理的 harness，因此可以在相同任务上比较模型选择、harness 选择和运行成本。它包含一个 350 个样本的多语言基准和一个 80 个样本的 Lite 子集，用于更便宜的开发运行。
问题
- OpenClaw 这类通用代理不能直接满足 SWE-bench 协议：评测器需要干净的 Docker 工作区、放在
model_patch里的补丁，以及仓库测试，而不是开放式的代理对话记录。 - 之前的 SWE-bench 风格报告把模型、harness、提示词、预算、停止规则和补丁提取混在一起，难以判断提升来自 LLM 还是代理 harness。
- 成本很重要，因为代码代理会发起很多工具调用和模型调用；相同的 Pass@1 可能对应不同的 API 成本、墙钟时间和缓存行为。
方法
- 该基准固定任务集合、提示模板、Docker 工作区、墙钟预算、补丁提取、预测格式和 SWE-bench 评测器。
- 每个 harness 通过一个适配器连接，适配器包含
create_agent、send_task、backup_session、delete_agent和get_docker_args等生命周期方法。 - 候选补丁取自
/testbed下仓库的最终 diff，而不是从代理的最终文本回答里解析。 - 完整集合包含 350 个 GitHub issue 解决样本，覆盖 8 种编程语言和 43 个仓库，来源是 SWE-bench-Multilingual 和 SWE-bench-Verified-Mini，并在清理未来提交后得到。
- Claw-SWE-Bench Lite 选择 80 个样本，每种语言 10 个，选择过程基于 17 个校准列，兼顾成本和排名。
结果
- 在完整的 350 样本基准上，使用最小 direct-diff 适配器的 OpenClaw 只得到 19.1% 的 Pass@1，而在相同的 GLM 5.1 模型下，完整适配器达到 73.4%。
- 在 OpenClaw × 9 个模型的扫描中，模型选择让 Pass@1 变化 29.4 个百分点。
- 在 5 个 claw × 2 个模型的扫描中，在固定模型下，harness 选择让 Pass@1 最多变化 27.4 个百分点；GLM 5.1 上的差距是 12.5 个百分点，Qwen 3.6-flash 上是 27.4 个百分点。
- Lite-80 在 17 个校准列上与完整集合保持接近：full-350 的平均 Pass@1 为 0.639，Lite-80 为 0.643，相差 +0.4 个百分点。
- 在 5 claws × 2 models 的跨 claw 检查中，Lite-80 的平均绝对 full 差异为 1.88 个百分点，最大差异为 3.68 个百分点。
- Lite-80 的成本约为完整 350 样本运行的 22.9%；报告的比例分别是输入 token 22.2%、输出 token 23.6%、缓存读取 token 22.6% 和墙钟时长 23.0%。