可执行 harness 已开始决定 agent 的成本、可靠性和测试时增益
Agent 的性能越来越取决于模型周围的可执行控制层。TTHE 通过根据无标签轨迹编辑 harness 来改进固定的大语言模型(LLM),Long-Horizon-Terminal-Bench 则显示了当前 agent 在持续终端工作中的性能会多快下降。仓库级检查补足了这一点:实用的 agent 需要自适应控制、密集评估和结构验证。
Agent 的性能越来越取决于模型周围的可执行控制层。TTHE 通过根据无标签轨迹编辑 harness 来改进固定的大语言模型(LLM),Long-Horizon-Terminal-Bench 则显示了当前 agent 在持续终端工作中的性能会多快下降。仓库级检查补足了这一点:实用的 agent 需要自适应控制、密集评估和结构验证。
代理团队可以通过针对有界工作流调整控制程序来降低推理成本,通过基于轨迹的 harness 修改改善部署后的行为,并通过检查点级评分诊断长时间运行。每项改动都需要可执行的上线测试,因为代理指标、工作负载多样性和超时可能扭曲总体成功率。
智能体团队现在有了可测试的具体控制模式:用于过期状态故障的确定性重放、用于多文件安全缺陷的发布前源码审计,以及用于常规知识工作的会话锁定模型路由。公开证据大多来自产品或文章主张,因此更有用的做法是开展范围较窄的本地试验,并衡量误报、成本、延迟和回滚行为。