来源笔记
TTHE: Test-Time Harness Evolution
摘要
TTHE 在评估过程中改写并选择可执行的 harness 程序，根据无标签执行轨迹调整 LLM agent 的 harness。在代码、SQL、软件工程和数据科学任务上，它在不改变模型权重、适配过程中不使用金标准标签的情况下，改进了固定的 ReAct 风格 harness。
问题
- LLM agent 通常使用固定的控制程序来构建上下文、调用工具、验证结果和恢复故障，因此当测试阶段的失败模式不同于开发阶段时，无法进行调整。
- 现有的提示词、工作流和模型适配方法通常在评估前运行，或更新模型参数、修改单次响应，或要求带标签的反馈。
- 执行轨迹包含运行时错误、测试结果、工具输出和格式错误的中间产物等有用信号，但这些信号无法直接说明任务是否正确，因此这个问题很重要。
方法
- TTHE 将 harness 而非模型权重作为适配状态。harness 是运行在冻结 LLM 外部的可执行 Python 代码。
- 对于每个无标签测试批次，TTHE 创建多个 harness 分支并运行这些分支，记录提示词、补全内容、工具调用、输出、错误、产物和运行时状态。
- agentic proposer 根据这些轨迹以及执行健康度、往返一致性和公开测试通过率等代理信号，修改各自的分支。
- agentic judge 在看不到金标准答案、隐藏测试或参考输出的情况下，选择一个最终分支。选定的 harness 会保留到下一个批次。
- 求解、提议和评判使用同一个冻结的骨干模型，因此适配通过代码变更完成，不涉及权重更新，也不需要单独训练的适配模型。
结果
- 在 DeepSeek-V4-Flash 上，相对于固定的 ReAct 风格基线，TTHE 将 BIRD 从 12.0% 提升到 50.0%，将 LiveCodeBench 从 30.0% 提升到 38.3%，将 SWE-bench Verified 从 20.0% 提升到 35.0%，并将 DS-1000 从 38.0% 提升到 44.0%。
- 在 BIRD 上，该方法将 MiMo V2.5 从 32.0% 提升到 52.0%，将 Kimi K2.5 从 28.0% 提升到 48.0%。
- 实验覆盖五个以执行为依据的领域，包括文本到 SQL、竞赛编程、软件工程、数据科学编程和 agentic 工具使用；摘录为其中四个领域提供了确切的主要结果数据。
- 这些增益具有传导性：每个批次都使用根据该批次无标签轨迹选出的 harness 进行测量，而金标准标签只用于选择后的评估。
- 消融实验和轨迹审计发现，搜索预算的效果并非单调变化、候选覆盖有限、选择遗憾，以及不完善的执行代理信号导致的 judge 错误，是该方法的主要局限。