代码 agent 正在按有边界的工人来测试,而不是按代码生成器来测试
最强的信号是操作层面的评估。1GC-7RC、AgentKernelArena 和 TOBench 都在有工具、运行时检查和资源限制的封闭工作循环里给 agent 打分。同样的关注也出现在可靠性论文、供应链风险研究和 token 预算报告中。
最强的信号是操作层面的评估。1GC-7RC、AgentKernelArena 和 TOBench 都在有工具、运行时检查和资源限制的封闭工作循环里给 agent 打分。同样的关注也出现在可靠性论文、供应链风险研究和 token 预算报告中。
代码代理已经适合在工程工作流里做更窄的运行测试:固定预算的验收运行、安装前的包名检查,以及与 token 支出挂钩的受限代码编辑试点。共同点是对代理的动作、产出和成本做可测的控制。
今天的编码研究最强的部分是对实际限制的说明。RealBench 显示 repo 级生成在完整项目上仍然会失效,token 成本研究显示 agentic coding 可能比聊天式帮助贵得多。最可信的改进来自更紧的结构:验证器反馈、自适应检索,以及围绕数据库访问的明确防护。
最清楚的短期变化都在执行层面。编码代理产品需要在运行中有明确的 token 控制,仓库规模生成在项目变大后需要按依赖顺序工作流,而维护团队可以为把需求链接到代码、并带上更小上下文和可见证据的追踪层找到理由。