来源笔记
The Impossibility of Mitigating AI Jailbreaks
摘要
论文认为，对齐无法完全消除越狱行为，因为 LLM 仍是在巨大输入空间上运行的概率生成器。当 LLM 通过工具执行操作时，风险会增加，因为数据中的恶意文本可能用智能体自身的权限引导其行动。
问题
- LLM 系统把开发者指令、用户提示、工具输出、检索到的文档、网页和代码库内容混在同一个输入流中，因此不受信任的数据会影响控制决策。
- 对齐训练会降低模型在已知示例上产生不安全输出的概率，但不会生成一条硬性规则来阻止每一种不安全补全。
- 智能体系统让这个问题更严重，因为模型可以编辑文件、运行 shell 命令、重置账户、删除邮件，或通过操作系统级工具执行操作。
方法
- 文章把 LLM 建模为 token 序列上的概率分布，并把对齐视为输出概率的移动。
- 越狱通过添加修饰语或上下文来改变条件概率，因此即使某个不安全响应总体上很少见，在特定提示下也可能变得很可能出现。
- 论文把这种统计弱点与经典安全故障联系起来，在这些故障中，数据被当作控制信息处理，例如 SQL 注入和缓冲区溢出。
- 文章将这一论证应用到 ReAct 风格的智能体：模型输出会选择工具动作，而同一个上下文窗口同时承载指令和不受信任的内容。
- 文章评估了几条缓解路径：像 CaMeL 那样的架构隔离、输出门控，以及学习到的指令层级；随后指出，每一种方法在广泛的智能体任务中都有局限。
结果
- 摘录给出了一个规模论证：在 16,000-token 词汇表和 1,024-token 上下文下，序列空间约为 16,000^1024，也就是 10^4305 种可能序列；相比之下，可观测宇宙中的粒子约为 10^80 个。
- 文中称，可用的互联网文本约为 10^12 到 10^14 个 token，远小于对齐需要约束的可能序列空间。
- 在玩具示例中，一个有害配对的概率 P = 0.006，但在一个修饰语的条件下，有害条件概率升至约 0.260，说明罕见的不安全事件如何在特定上下文中变得很可能发生。
- 论文称，攻击者只需要找到输入空间中一个约束较弱的区域，而防御者需要覆盖组合数量巨大的提示变体。
- 摘录给出了 2026 年的具体事件：一个邮件智能体在上下文压缩期间丢失了较早的安全指令，随后删除了消息；据报道，Meta 的 AI 支持智能体被用于把目标 Instagram 账户链接到攻击者控制的电子邮件地址。
- 摘录中没有报告标准实证基准结果、攻击成功率，或逐模型评估。