Recoleta
GitHub
来源笔记

BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks

作者
Xinming Tu, Tianze Wang, Yingzhou, Lu, Kexin Huang, Yuanhao Qu, et al.
来源
arXiv
发布日期
栏目
Software Intelligence
LLM Agent BenchmarksBenchmark AuditingExecution Based EvaluationHuman AI ReviewCode Evaluation
打开 arXivMarkdown 源文件

摘要

BenchGuard 通过检查任务说明、参考解答、评测脚本和环境是否一致，来审计基于执行的 LLM agent 基准。论文声称，它以较低的审计成本发现了人工审稿人遗漏的基准缺陷。

问题

  • 当任务文本、标准代码、评测逻辑或环境设置彼此冲突时，基于执行的基准会把 agent 评分打错。
  • 这些错误会让有效的 agent 解法被判失败，让任务变成不可解，也会扭曲排行榜分数。

方法

  • BenchGuard 读取每个任务的四类材料：任务说明、标准程序、评测脚本和环境配置。
  • 结构化 LLM 审计分六步检查这些材料：任务理解、标准程序正确性、评测器逻辑、任务规格、环境检查和去重。
  • 审计时会同时运行确定性的静态检查；如果有可用的 agent 程序或执行日志，也会作为补充证据。
  • 发现项按 4 类、14 个子类的缺陷分类法标注，覆盖标准答案、评测、说明和环境问题；每个发现都包含严重程度、置信度和引用证据。

结果

  • 在 ScienceAgentBench 上，审计发现了 12 个经原作者确认的缺陷，覆盖 102 个任务，包括致命任务错误、指标不匹配，以及会拒绝正确输出的评测器。
  • 在 ScienceAgentBench 的仅定义审计中，Claude Opus 4.6 的完全召回率为 83.3%，部分匹配召回率为 91.7%；五模型并集的完全召回率为 91.7%，部分匹配召回率为 100%。
  • 在 ScienceAgentBench 上加入 agent 程序后，Claude Opus 4.6 的完全召回率升至 91.7%，部分匹配召回率升至 100%；五模型并集的完全召回率达到 100%。
  • 在 BIXBench Verified-50 上，五模型并集准确匹配了专家识别出的 24 个原子问题中的 20 个，完全召回率为 83.3%；按部分匹配计算时匹配了 23 个，召回率为 95.8%。
  • BIXBench 上表现最好的单模型 Claude Opus 4.6 准确匹配了 24 个问题中的 13 个，召回率为 54.2%，50 个任务的成本为 5.98 美元。
  • 50 个 BIXBench 任务的五模型完整审计成本为 14.38 美元，102 个 ScienceAgentBench 任务的仅定义模式成本为 22.72 美元；论文还指出，50 个任务的生物信息学审计成本低于 15 美元。

Link