来源笔记
Atropos: Improving Cost-Benefit Trade-off of LLM-based Agents under Self-Consistency with Early Termination and Model Hotswap
摘要
Atropos 通过预测运行中途的失败，并把这些运行从便宜的小模型切换到更强的大模型，降低了自洽式 LLM 代理的成本。它面向软件工程代理，这类方法会通过多个采样轨迹提升质量，但也会让推理变得昂贵。
问题
- 自洽会让同一个代理运行多次，再对输出投票，这会抬高 token、工具和模型成本。
- 开放权重的小语言模型更便宜、速度更快，但在软件工程代理上的失败率高于更强的专有模型。
- 如果没有早期信号，用户只能在付完整条轨迹的成本后才知道一次 SLM 运行失败了，因此成本和质量之间的权衡仍然很差。
方法
- Atropos 将代理的多个采样轨迹合并成一个 语义流图（Semantic Flow Graph），其中节点是推理或工具使用步骤，边记录这些步骤彼此跟随的频率。
- 它训练一个 3 层图卷积网络（Graph Convolutional Network），在完整推理结束前，把部分图分类为更可能成功或更可能失败。
- 对于 AutoFL 和 AutoCodeRover，节点编码工具调用和结构化参数；对于 RepairAgent，语义上相似的非结构化步骤会用 FastText 嵌入和余弦相似度阈值聚类。
- 当部分运行被预测会在源 SLM 上失败时，Atropos 要么提前停止以节省成本，要么通过回放当前上下文 hotswap 到更强的目标 LLM，因为 LLM 查询上下文是无状态的。
- 论文研究了覆盖所有采样轨迹的 并行 截断/hotswap，以及覆盖已完成运行的 顺序 截断/hotswap。
结果
- 在推理的中点，Atropos 预测最终失败的准确率最高达到 0.85，AUROC 0.85。
- 论文还报告了一项技术贡献结果：对错误结果的中点预测达到 85.4% 准确率 和 85.45% AUROC。
- hotswap 可以挽回最多 27.57% 原本会在小模型上失败的运行。
- 相比闭源专有 LLM 运行，Atropos 只用 23.90% 的货币成本，就达到它们 74.35% 的性能。
- 按论文的另一种表述，Atropos 相比专有 LLM 最多把货币成本降低 76.1%，同时保留 74.35% 的性能。
- 评估覆盖三个软件工程代理：AutoFL、AutoCodeRover 和 RepairAgent，在 10 次采样 的自洽设置下进行。