编码代理研究正在测量用户负担、运行时成本和工具风险
当天最强的工作把编码代理视为需要会话级评测的长时间运行系统。SWE-Together、SWE-INTERACT 和 MirrorCode 让用户反馈、完整程序行为和计算预算进入评分。
主题概况
当天最强的工作把编码代理视为需要会话级评测的长时间运行系统。SWE-Together、SWE-INTERACT 和 MirrorCode 让用户反馈、完整程序行为和计算预算进入评分。
编码智能体团队现在可以把会话级检查加入发布和运维工作：统计用户纠正的多轮测试、显示重复前缀读取的服务看板，以及在执行前阻止不安全工具序列的 MCP 网关。
代理编写的代码需要质量门禁来检查测试实际断言的内容，需要修复循环把有针对性的执行证据传回模型，也需要评估报告区分模型、harness、环境、验证器和技能的影响。共同的操作问题是虚假的信心：PR 可能包含断言很弱的测试，修复代理可能只能看到通过/失败反馈，而排行榜分数可能隐藏能让结果产生两位数百分点变化的 harness 选择。