来源笔记
Beyond Task Success: An Evidence-Synthesis Framework for Evaluating, Governing, and Orchestrating Agentic AI
摘要
本文主张，具身式 AI 的信任不能只靠任务成功率基准，而需要一整套控制栈。它综合了 24 篇来源，提出一个把评估、治理、编排和保障连接起来的框架，用来弥合它所说的“治理到行动闭合缺口”。
问题
- 具身式 AI 系统会跨多个步骤工作流采取行动、调用工具、保留状态，并产生外部副作用，所以最终任务是否完成，不能说明系统在执行过程中是否行为得当。
- 现有研究分散在不同方向：基准测试衡量结果，标准定义义务，编排研究关注控制点，保障研究关注轨迹和证明。本文认为，这些方向没有说明政策在何处约束具体行动，也没有说明之后如何证明合规。
- 这一点很重要，因为模型能力增长很快。本文引用了 Stanford HAI 的 2026 AI Index 摘要：Terminal-Bench 在真实世界任务上的成功率从 2025 年的 20% 升至 2026 年的 77.3%，而测量和管理仍然落后。
方法
- 这篇论文是在 24 篇手工编码来源上的有限证据综合：其中 15 篇是研究论文，9 篇是标准或框架材料，来源包括 arXiv、ACL Anthology、PMLR、NIST、ISO 和 Stanford HAI。
- 它沿着 8 个维度对每个来源编码，包括分析单位、控制位置、证据类型、失败模式和可执行类别，然后比较这些方向，找出反复出现的不匹配。
- 它的主要概念产出是 治理到行动闭合缺口：评估说明结果是否良好，治理说明哪些行为应被允许，但两者都没有说明行动时的强制执行发生在哪里，也没有说明之后如何证明。
- 它提出一个四层框架：评估 = 发生了什么，治理 = 应该发生什么，编排 = 在执行时现在可能发生什么，保障 = 之后如何证明这一主张。
- 它还给出两个具体产物：用于判断运行时要求放置位置的 ODTA 测试，依据是可观测性、可判定性、及时性和可证明性；以及用于状态改变动作的最小动作证据包（MAEB），例如工具调用、审批和外部交易。
结果
- 这篇论文没有报告新的实验结果或新的基准分数。它是一篇综合论文，附带一个采购代理的实例。
- 最强的实证主张来自它整合的文献：
- Stanford HAI 2026 AI Index 摘要：Terminal-Bench 成功率从 20%（2025） 升至 77.3%（2026）。
- Agentic Benchmark Checklist：基准设计选择会让报告性能在相对意义上最多相差 100%。
- Agent-SafetyBench：在 16 个代理、349 个环境 和 2,000 个测试用例 中，没有一个超过 60% 的安全分数。
- WebGuard：前沿模型在预测网页动作结果时准确率低于 60%，在没有专门防护时，对高风险动作的召回率也低于 60%。
- ToolSafe：在提示注入条件下，逐步干预平均将有害工具调用减少 65%，同时提高了良性任务完成率。
- ShieldAgent：在其基准上报告 90.1% 的召回率，同时减少了 API 查询和推理时间。