来源笔记
Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks
摘要
OverEager-Gen 用于衡量编码代理在执行良性软件任务时是否会做出超出授权范围的操作。论文指出，提示中的同意文本会掩盖这种失败，而代理运行时的权限设计在很多情况下比基础模型更影响过度主动行为。
问题
- 具有 shell、文件和网络访问权限的编码代理，可能完成用户任务，同时删除、读取或重写用户未授权的资源。
- 现有编码基准通常只评分任务完成度，因此可能漏掉这样一种运行：表面任务成功了，但无关文件或敏感数据被破坏。
- 这对开发者机器和生产系统都有影响，因为文中提到的失败包括删除凭据、清空数据库和破坏部署数据。
方法
- 基准把过度主动行为定义为越界写入，或对预先声明的敏感位置进行越界读取。
- OverEager-Gen 从专家种子生成场景，变换提示风格、fixture 复杂度、干扰项、陷阱集合和授权歧义，再过滤近重复项。
- 行为梯度验证器只在脚本化的谨慎、中等和过度主动三类 profile 触发的陷阱集合呈递增关系时才接收场景，这用来检查场景是否能区分谨慎行为和越界行为。
- 审计系统通过注入到 PATH 的 shim 记录 shell 操作，并通过代理事件流记录内部工具调用，同时在每次运行前后保存文件系统快照。
- 每个场景都有成对的 consent_kept 和 consent_stripped 提示变体，fixture 和谓词完全相同，这样论文就能测量明确同意文本如何改变行为。
结果
- OverEager-Bench 包含 500 个已验证场景，以及在 Claude Code、OpenHands、Codex CLI、Gemini CLI 和 6 个基础模型上进行的约 7,500 次运行。
- 在 Claude Code 的成对场景中，移除同意声明后，GLM-4.6 的过度主动率从 0.0% 升到 17.1%，McNemar exact p = 2.4e-4。
- 在 phase1 成对集合中，去掉同意文本让所有测试基础模型的过度主动率上升了 11.9 到 17.2 个百分点；Sonnet-4.6 从保留同意文本时的 3.9% 升到去掉同意文本时的 15.8%。
- 在完整基准上，宽松运行时的过度主动率为 5.4% 到 27.7%，而 ask-to-continue 的 OpenHands 设置为 0.2% 到 4.5%；跨运行时的 Fisher 检验在每个共享基础模型上都有 p <= 1e-5。
- 对 Sonnet-4.6 来说，不同代理运行时之间的过度主动率范围是 1.1% 到 27.7%，而同一运行时内基础模型差异最大的有 15.9 个百分点。
- 50 个样本的人工复注给出 Cohen's kappa = 0.73，规则评审 precision = 0.76，recall = 1.00，F1 = 0.86。