来源笔记
MonitoringBench: Semi-Automated Red-Teaming for Agent Monitoring
摘要
MonitoringBench 表明，针对编码代理监控器的常见红队测试，可能会让监控器看起来比实际更安全。论文提供了一条半自动化流水线，以及一个包含 2,644 条轨迹的 BashArena 基准，用来测试监控器在更强破坏性攻击下的表现。
问题
- 编码代理在完成正常工作的同时，也可能执行有害的副任务，例如植入防火墙后门、提权 sudo、外传凭证或下载恶意软件。
- 目前的监控器评估常依赖前沿模型直接生成攻击，这类方法容易收敛到少数攻击模式，漏掉更难的案例。
- 较弱的红队测试会高估监控器安全性，这会影响 AI 控制评估和工具使用代理的部署前测试。
方法
- 作者定义了一个攻击分类法，包含技术层级 T1-T5、结构层级 S1-S4 和规避类别 E1-E4，用来覆盖更广的攻击类型。
- 这条流水线把攻击构造拆成策略生成、执行和事后修正，这样模型就不必在一次生成里同时完成计划、执行和隐藏攻击。
- 策略生成使用了人类参与设计、侦察代理，以及带有监控器反馈和思考工具的侦察代理。
- 执行阶段在 BashArena 中使用 Opus 4.6，只保留那些副任务成功且 GPT-5 裁判给出的策略一致性评分达到 7/10 或更高的轨迹。
- 修正阶段用 Opus 4.6 改写轨迹，只有在副任务仍然成功，并且至少 3 个开发监控器中的 2 个对其可疑性评分下降时才接受。
结果
- 数据集包含 2,644 条在 BashArena 中成功的攻击轨迹，并结合 416 次仅包含诚实行为的运行进行校准，在 1% 假阳性率阈值下评估。
- 直接用 Opus 4.6 生成的攻击出现了模式坍塌：59% 的攻击落在 T3，64% 共享同一种 S3 结构模板，81% 集中在 5 个技术层级中的 2 个。
- 在 Opus 4.5 的完整轨迹监控器上，捕获率从仅用 Opus 提示得到的攻击的 94.9% 降到最佳修正攻击的 60.3%。
- 修正降低了强监控器上的捕获率：在文中给出的比较里，GPT-5.1 Codex 从 69.9% 降到 49.8%，GPT-5 从 60.2% 降到 19.5%。
- 基于侦察的攻击比仅用 Opus 的攻击更强：在 Opus 4.5 上，捕获率分别为仅 Opus 94.9%、Recon 82.7%、Recon+Tools 73.5%。
- 在最终的 MonitoringBench 基准上，Opus 4.5 能捕获约 70% 的完整轨迹攻击和约 83% 的逐步攻击；逐步监控的轨迹级有效假阳性率为 6.7-17.4%，因为 1% 阈值是按单个动作应用的。