来源笔记
Bounded Autonomy for Enterprise AI: Typed Action Contracts and Consumer-Side Execution
Enterprise AI SafetyTool Using AgentsAction ContractsAccess ControlHuman AI Interaction
摘要
本文认为，企业 AI 的安全性更多取决于执行架构，而不是把模型变得更聪明。它提出了 BAL：模型可以提出动作，但真正能运行的内容由类型化契约、权限检查、受限上下文、执行前验证和可选审批门控控制。
问题
- 企业软件有状态、受权限约束，而且是多租户环境，所以 LLM 出错会导致未授权操作、错误实体修改、格式错误的请求和跨工作区执行。
- 当模型离直接后端执行太近时，提示词和模型对齐解决不了主要的运行风险。
- 论文针对七类失败模式：未授权操作、租户或工作区范围错误、实体解析歧义、载荷格式错误、高影响流程不安全、能力过期或未治理，以及模型直接修改后端数据。
方法
- 核心方法是一个名为 BAL 的有界自治层。模型解析意图并提出动作，但每个可执行动作都被定义为由企业应用拥有的类型化动作契约。
- 每个契约都包括输入模式、权限谓词、验证函数、执行回调和结果格式。应用发布受治理的动作清单，BAL 只围绕这个清单进行推理。
- 能力暴露会在运行时按用户过滤，因此规划器只会看到当前用户在应用真实授权系统下可以调用的动作。
- 在任何副作用发生前，BAL 会做验证、租户和工作区范围控制、歧义处理，并在敏感流程中加入可选的人类审批。
- 执行保留在消费者侧：BAL 不会直接修改企业状态。获批动作通过应用自己的服务、路由、授权和持久化层运行。
结果
- 在一个已部署的多租户企业应用中，作者在三种条件下测试了 25 个场景试验，覆盖 7 类失败模式：人工操作、关闭部分安全层的无限制 AI，以及完整 BAL。
- 完整 BAL 完成了 25 个任务中的 23 个，且没有不安全执行。未完成的 2 个任务被安全隔离，没有产生企业侧效应。
- 无限制 AI 配置完成了 25 个中的 17 个，比完整 BAL 少 6 个任务。
- 两种 AI 设置都比人工更快，报告的相对人工加速为 13–18×；引言中给出的有界自治系统加速为 13.5×。
- 若干防护措施，包括权限过滤、工作区隔离和清单治理，拦截了 100% 的目标违规，因为这些约束是代码强制执行的，而不是从模型行为中估计出来的。
- 论文报告了一类后端授权单独无法拦截的失败：2 次错误实体修改之所以通过，是因为用户有权限，而且载荷在结构上是有效的。作者认为，BAL 的歧义消解和确认步骤才是阻止这类问题的层。