Pre-execution contract checks for code-mode tool-use agents
面向真实工具运行代码模式 agent 的团队,可以在第一次环境动作之前加一道验证步骤。验证器应先读取任务说明和工具注册表,再检查生成程序的输出形状、工具选择、调用签名、参数来源和调用顺序。检查失败时,应给出具体的修复指令,并在不执行工具调用的情况下重新生成。
RubricRefine 是一个有用的模板,因为它针对的是那些不会触发运行时异常的失败:路由错误、工具之间的数据流断裂、以及由错误的中间值拼出的表面正确的最终答案。在 M3ToolEval 上,它在七个模型上的平均成功率是 0.86,而单次通过的 CodeAct 是 0.62,且在 refinement 过程中没有执行尝试。第一次内部测试应该用多步任务,其中一次不良的实时调用可能改状态、花钱、触发速率限制,或暴露数据。