趋势

可执行证据正在抬高编码和代理研究的门槛

日 · 2026-04-25 · Software Intelligence

4 月 25 日的编码研究,最强的地方在于主张能碰到可执行证据。Simulating and Evaluating Agentic Systems 和 CUJBench 都坚持用完整运行、工具轨迹、状态变化和可复现产物来评判代理。仓库工作仍然很难:RAT 改善了配置,但真实提交研究还是显示生成之后会出现编译、分析和测试失败。

评估正在从对话记录检查转向整轮运行证据

评估工作正在向完整代理行为靠近。最强的例子是一个面向 agentic systems 的 sim/eval 栈,它在一次运行中测试多步动作、工具使用、后端状态和用户可见结果。它把场景设计、模拟和评分分开,再记录世界状态、工具轨迹、对话记录和表层产物。CUJBench 把同样的证据要求用在故障诊断上。它把浏览器和后端证据冻结成可复现的事故快照,而当前代理的准确率仍只有 19.7%。共同的结论很直接:对于通过工具和状态变化来行动的系统,只看对话记录打分远远不够。

代码代理正在按能否运行、构建并通过项目检查来评判

仓库级编码在基本软件关卡上仍然会失败。RAT 针对环境配置,这是代码代理连开始都开始不了的常见原因,并在它的 2000 多个仓库基准上报告了高得多的环境配置成功率,其中 Python 为 63.2%,Rust 为 98.7%。另一项对 8 个 C 项目中 212 个真实提交的研究说明了这件事在配置之后为什么仍然重要:生成的补丁还是会编译失败、触发静态分析、漏过测试,即使原始提交很小也是如此。这让执行、可构建性和仓库上下文继续处在编码代理研究的中心。

受约束的代码任务正在带来更清晰的收益,而不是更宽泛的自主性

两篇论文把代码辅助推进到更窄、更具体的场景里。MOSAIC 处理没有测试用例时的科学工作流生成。它使用师生蒸馏和紧凑的共享上下文,然后在 GPT-4o、Claude Sonnet 4 和 Gemini 2.5 Flash 上都提升了 SciCode 结果。另一项研究询问小型本地模型离线时能为 Python 漏洞检测做什么。在 349 个 BugsInPy 案例上,LLaMA 3.2 和 Mistral 的完全准确率大约在 43% 到 45%,还有很多部分正确的回答能指出大致区域,但没能给出完整修复。实际模式是,在明确约束下提供定向帮助,而不是通用的自主编码。

较新接触时刻控制与 VLA 安全定义了这一天的机器人论文较早机器人适配工作正在更贴近接触和指令控制