面向编码代理的可执行保护措施
具体的切入点都在模型周边的代码编辑路径上:更窄的读取结果、专门的补丁执行、带测试的修复循环、可版本管理的 harness 变更,以及来自未覆盖代码的排序报告。团队在改变主开发流程之前,都可以先用现有仓库和可执行测试把这些点验证一遍。
具体的切入点都在模型周边的代码编辑路径上:更窄的读取结果、专门的补丁执行、带测试的修复循环、可版本管理的 harness 变更,以及来自未覆盖代码的排序报告。团队在改变主开发流程之前,都可以先用现有仓库和可执行测试把这些点验证一遍。
这一时期最强的工作收紧了生成与可执行证据之间的联系。KISS Sorcar、AgentEval 和 ClawMark 都按系统能完成什么、能追踪什么、能在真实工作流中承受什么来评分。SeGa 和 Optimas 把同样的思路扩展到基于需求的测试和基于性能分析器的优化,并在真实漏洞和测得的加速上取得了具体收益。
可执行证据正在进入日常工程流程。这里最清楚的切口是:agent CI 直接指向失败步骤、基于需求的业务逻辑测试生成,以及用执行结果验证每次修改的 profiler 引导 GPU 优化循环。
这一天最清楚的工作,是让软件代理更容易评分、更容易重跑,也更容易在检查失败时被拦住。Atomic-skill RL、Agent-CoEvo 和 Nidus 分别在训练目标、仓库修复和工程治理三个位置收紧控制环。和前几天相比,重点更少放在证明代理能在真实环境中行动,更多放在建立训练和验证设置,让这些动作可以被测量。
这里最可操作的工作,是把软件代理放进带硬执行检查的循环里。最清楚的近期构建方向有三个:一个会连同代码一起改测试的仓库修复工作器、一个面向高吞吐审计型运营的编译式工作流工具,以及一个用于微服务集成测试的在线依赖模拟器。它们都有明确用户、可控试点,而且报告结果具体到足以放进现有工程流程里验证。
今天的研究最强的地方,是软件工作可以通过执行来检查。重点是更严格地评估编码代理,以及为代码和 API 生成更好的测试。ProdCodeBench 和 ToolMisuseBench 都缩小了基准分数与部署条件之间的差距。结果是,我们更清楚地看到代理在哪些地方还能用,在哪些地方仍然会失效。
面向生产的软件代理工作,正在三个地方变得更具体:用于编码代理的私有回放基准、用于工具调用失败与恢复的确定性测试,以及生成可运行脚本的、由需求驱动的 API 测试生成。每一项都能落到团队自己的仓库、工具契约或基于 OpenAPI 的服务上做试点。