当软件代理的工作可执行且访问范围受限时,它们表现最好
当天最强的软件代理论文都让大语言模型 (LLMs) 先提出代码、计划或动作,再用执行、验证器、检索门控或实时工具检查它们。ReaComp、Slyp 和 ARC-AGI-3 展示了同一个当前重点:代理输出需要可测试的底座和受限的操作范围。
当天最强的软件代理论文都让大语言模型 (LLMs) 先提出代码、计划或动作,再用执行、验证器、检索门控或实时工具检查它们。ReaComp、Slyp 和 ARC-AGI-3 展示了同一个当前重点:代理输出需要可测试的底座和受限的操作范围。
三个实用变化很突出:在共享企业代理的检索和工具循环里强制授权;把新服务创建导向已批准的 Backstage 模板;把重复的程序综合工作编译成可复用的符号求解器。每一种都给代理加了明确边界和可测检查。
当天最强的证据支持这样一种软件代理:它先写下任务,在仓库尺度上行动,并通过具体检查。ReCodeAgent 和 REAgent 在生成前加入规划或需求后,拿到了可测的提升。CLI-Tool-Bench 和 SWD-Bench 则把评测收紧到端到端行为、仓库理解和下游可用性上。
最近最清楚的方向,是在仓库代理前面加上明确的规格和验证步骤,再用端到端的仓库任务来测试它们,而不是只做局部代码检查。证据支持三个具体动作:在修 issue 之前先写结构化需求,把仓库迁移包装成带规划和验证检查点的流程,以及用空工作区的黑盒 CLI 行为测试来评估 0 到 1 的代码生成。
这段时间最强的主题,是对软件代理的控制更紧了:训练用更干净的轨迹,评估用更好的日志,现实仓库和真实工作区里的代理行为也接受更难的测试。证据比标题党更务实。STITCH 说明更少但更有价值的轨迹能带来很大收益,而 GitHub 规模研究和安全研究把长期代码 churn 和 prompt injection 风险放到前台。
这段时间的软件代理工作指向三项马上能做的流程改动:跟踪代理代码在合并后是否还能保留,发布可复用的运行包用于评估和训练,并把不可信内容隔离当作代理安全的一部分。共同点是更清楚地看到代理做了什么、保住了什么,以及周边脚手架允许了什么。