编码代理需要仓库级测试和上下文防护
当天最强的信号是,围绕已经在处理多文件工作的编码代理,工程纪律开始变得更重要。DeNovoSWE、EsoLang-Bench 和 DeLM 都在测试代理能否构建完整仓库、通过执行进行适应,并且不浪费调用就共享已验证进展。安全论文给出明确警告:看起来正常的上下文,也能把生成或分析出来的代码带向不安全行为。
当天最强的信号是,围绕已经在处理多文件工作的编码代理,工程纪律开始变得更重要。DeNovoSWE、EsoLang-Bench 和 DeLM 都在测试代理能否构建完整仓库、通过执行进行适应,并且不浪费调用就共享已验证进展。安全论文给出明确警告:看起来正常的上下文,也能把生成或分析出来的代码带向不安全行为。
代码代理评估正在转向可执行的仓库级工作、基于源代码的测试生成,以及对送入模型的上下文做安全检查。实际工作是加入跨文件和依赖关系的验收测试,基于实现证据生成 API 断言,并在评论、文档、示例和附近代码进入代码生成提示前先筛查它们。
当天最清楚的信号是具身 AI 受到评测压力。经过几天的 Vision-Language-Action(VLA)部署工作后,这些论文把成功条件放到了记忆、接触感知、动作条件预测和空间一致性上。RLDX-1、RoboAlign-R1 和 iWorld-Bench 提供了最强的证据。
机器人团队可以把新的评测压力转成三项具体改动:为测试记忆和接触的 VLA 策略设置发布门槛、为机器人视频预测引入行为级奖励,以及为交互式世界模型比较建立共享的动作输入框架。
本周的编码代理研究设定了一条清晰标准:生成的工作需要上下文、轨迹和可执行检查,之后才值得信任。SWE-Edit、AutoMat 和 LiveFMBench 在编辑、科学复现和形式化规约中都显示了这种模式。
编码代理的采用正在转向更小、可检查的控制点:聚焦文件查看、更安全的补丁应用、产品决策检查、带回退行为的 SAST 分诊,以及包含轨迹、文件、测试和状态变化的评估记录。
这一时期最强的工作收紧了生成与可执行证据之间的联系。KISS Sorcar、AgentEval 和 ClawMark 都按系统能完成什么、能追踪什么、能在真实工作流中承受什么来评分。SeGa 和 Optimas 把同样的思路扩展到基于需求的测试和基于性能分析器的优化,并在真实漏洞和测得的加速上取得了具体收益。
可执行证据正在进入日常工程流程。这里最清楚的切口是:agent CI 直接指向失败步骤、基于需求的业务逻辑测试生成,以及用执行结果验证每次修改的 profiler 引导 GPU 优化循环。
4 月 25 日的编码研究,最强的地方在于主张能碰到可执行证据。Simulating and Evaluating Agentic Systems 和 CUJBench 都坚持用完整运行、工具轨迹、状态变化和可复现产物来评判代理。仓库工作仍然很难:RAT 改善了配置,但真实提交研究还是显示生成之后会出现编译、分析和测试失败。
可执行证据正在成为代理评估和编程工作流的实际标准。近期最清晰的落地方向有三个:一个可回放的评估器,用真实状态和工具轨迹来检查;一个仓库接入层,在补丁生成前证明环境能跑起来;以及一个在没有测试用例时使用教师样例的科学编程流程。
这个时期规模不大,但方向一致:最强的信号是机器人研究在真实世界长时程评测上变得更具体。LongBench 为操作任务加入了机制层面的基准,而一篇同期的机器人学习历史回顾把这个需求和更大的数据采集、部署周期联系起来。结果是,大家更明确地关注在真实场景里测量执行漂移、时序失败和上下文使用。
真实世界的长时程机器人评估已经具体到会改变日常工作流程。最直接的近期动作是按阶段的内部评测、回放后的结构化失败复盘,以及发布门槛里的动态抓取压力测试。证据里的共同点很明确:更大的机器人数据和部署循环,需要更好的方式去看清执行在时间上的断裂点,而不只是看一次运行有没有成功结束。