来源笔记
Can Coding Agents Be General Agents?
摘要
本文测试编码代理是否能处理通用业务工作流，而不只是软件任务。在一个 Odoo ERP 案例研究中，这些代理能稳定完成简单任务，但在更难的工作流上就会出问题，尤其是在业务规则必须和代码执行保持一致时。
问题
- 现有基准把问题拆成两半：像 SWE-Bench 和 Terminal-Bench 这样的软件基准测试代码和系统能力，而像 BFCL 和 -bench 这样的工具使用与策略基准会简化执行层。
- 真实的业务自动化需要两边同时成立：理解业务请求和政策，检查实时系统状态，决定应该发生什么，然后正确修改软件状态。
- 论文要回答编码代理是否能在真实 ERP 里端到端完成这件事，因为用户已经把它们用在软件工程之外的业务工作上。
方法
- 作者把编码代理的泛化定义为业务层和代码层之间的双向转换：读取业务目标，用代码检查系统，规划业务动作，再把改动写回系统。
- 他们在 Odoo 19.0 Community Edition 中搭建了一个案例研究环境，里面填入了销售、库存、制造、采购和人力资源的真实公司数据。
- 任务是带有明确约束和政策规则的自然语言业务工作流。每个场景至少需要 2 个相互依赖的决策 和至少 2 个相互作用的约束；更难的场景需要 5 个以上决策 和 5 个以上约束。
- 代理只能使用 bash 工具、数据库凭据、一个工作区，以及五个 Odoo 数据模型的示例。它必须自己映射 ERP 并编写脚本。他们在最高推理设置下测试了 GPT-5 和 Claude Sonnet 4.5。
- 评估把最终 PostgreSQL 状态和真实标准进行对比，标准包括 约束处理、资源优化、可追溯性和政策遵循。
结果
- 在 10 个简单场景 的第一次试验中，Claude Sonnet 4.5 编码代理在验证器上的得分 超过 80%，并且能稳定完成创建销售订单、选择最便宜的供应商和生成发票等任务。
- 这项研究评估了 20 个场景，难度范围从 Easy 到 Hardest。随着约束数量增加，表现会下降。
- 论文报告了一个定性上的模型分化：GPT-5 经常给出与 Claude Sonnet 4.5 相当或更好的业务计划，但它的错误 API 调用更多，拉低了总分。
- 在更复杂的场景中，代理会从可行但次优的计划退化到在约束满足上直接失败，可追溯性也会随着工作流变复杂而变差。
- 论文归纳出四种反复出现的失败模式：用于政策实现的 lazy code heuristics、business-layer hallucinations、ignored policy constraints，以及把代码执行成功误当成业务结果正确的 overconfidence。
- 摘要没有给出按模型和难度划分的完整数值表，因此最强的量化结论是 10 个简单场景上超过 80%，以及一组 20 个场景，并且在更难任务上有明显退化。