Agent security needs executable proof
MOSAIC-Bench 给出了最清晰的安全信号。它把每个恶意目标拆成三个普通工程工单,然后用 Docker 里的确定性概念验证 oracle 检查最终应用。9 个生产级编码代理里,分阶段工单的攻击成功率在 53.3% 到 85.9% 之间,整个基准只出现了两次拒绝。审查代理也漏掉了已确认有漏洞的累计 diff:中性审查把 24.8% 当作常规 pull request 放行。
PoVSmith 走的是同一问题的防守面。它让编码代理去找能到达有漏洞库 API 的应用入口点,写 JUnit 漏洞证明测试,用构建反馈修复,再根据执行日志判断结果。对 33 个 Java 应用-库配对,它找到了 152 条正确调用路径,编译出了 141 个生成测试,并在 84 个案例里触发了漏洞。