来源笔记
Agentic Frameworks for Reasoning Tasks: An Empirical Study
摘要
这篇论文在同一测试设置下，对 22 个开源 agentic 框架在推理基准上的表现进行了比较。主要发现是，框架选择时，比起宣称的代理架构，更重要的是编排质量、成本控制和故障处理。
问题
- 团队把 agentic 框架用于推理密集型工作，但关于哪些框架在实践中更准确、更快、更便宜、更稳定的广泛基准证据很少。
- 以往比较通常只测试少数框架，或者关注架构调研、开发体验、狭窄任务，这让人在真实约束下难以判断该选哪个框架。
- 这对软件工程和其他推理密集型场景很重要，因为糟糕的编排会浪费数天运行时间、烧掉 API 预算，或者在基础模型本来能回答的情况下仍然无法完成任务。
方法
- 作者从 2023 年 1 月到 2025 年 7 月收集了 1,200 个 GitHub 仓库，按筛选标准选出 22 个广泛使用的开源 agentic 框架。
- 他们构建了一个包含五种架构类型的分类法：单智能体、基于角色的多智能体、分层、模块化和基于图的架构。
- 他们在统一设置下，用三个推理基准评估这些框架：BBH、GSM8K 和 ARC。
- 他们测量了四个实际结果：推理准确率、执行时间、计算成本，以及跨基准的一致性。
- 他们还分析了失败案例，把推理能力限制与系统故障区分开，例如内存增长、重试循环、配额耗尽和上下文处理问题。
结果
- 22 个框架中有 19 个完成了全部三个基准。
- 12 个框架表现一致，平均准确率为 74.6% 到 75.9%，每个任务的执行时间为 4 到 6 秒，每个任务的成本为 0.14 到 0.18 美分。
- 数学推理在所有完成的框架中都较弱：GSM8K 的平均准确率是 44.35%，而 BBH 为 89.80%，ARC 为 89.56%。
- 论文说，这个数学差距在不同架构类型中都存在，说明当前 agent 框架继承了基础模型在多步数值推理上的弱点，而不是把它解决掉。
- 一些较差结果来自系统故障，而不是推理错误：Camel 因为上下文不断增长，在 11 天后仍未完成 BBH；Upsonic 因为抽取失败触发重试和大提示词，在一天内花掉 $1,434；AutoGen 和 Mastra 通过反复的智能体交互耗尽了 API 配额，提示长度不断增加，但答案没有变好。
- 论文的主要实践结论是，推理任务的框架选择应更关注内存控制、重试策略、上下文控制和成本表现，而不只是架构类别。