用于代理调用的运行级预算
这份代理预算 RFC 把成本当作调用前的授权决定。它建议在每次请求提供商之前估算最坏情况支出,在运行、用户、密钥和其他作用域中以原子方式预留该金额,然后在调用后提交实际用量。该设计针对会反复发送不断增长上下文的循环;RFC 称,一个运行到第 20 步时输入 token 可能超过 50K。
有用的细节在失败路径上。代理通过标头和 RFC 9457 problem-detail 错误接收预算状态,因此可以选择更便宜的模型、缩短上下文,或干净地停止。RFC 引用了已报告的成本事件,包括一笔 $4,200 的周末账单和一笔 $87K 的团队月账单,但没有报告延迟、节省金额、误拦截或采用结果。