Durable MCP queue for bursty agent tool calls
针对反复出现 429 或内部服务过载的 agent 团队,应在 agent 和共享 API 之间加一个小型任务队列。Aquifer 展示了这种层的形态:agent 通过 MCP 或 HTTP 提交任务,运行时把任务存入 SQLite,然后由按上游划分的 worker 按配置的请求速率和并发上限派发。示例配置把 api.openai.com 设为 10 RPS、3 个并发请求,把 api.stripe.com 设为 20 RPS、5 个并发请求,把内部后端设为 50 RPS、10 个并发请求。
一个有用的试点,是把一个高流量的 agent 工具包在持久化队列后面,记录失败调用、队列等待时间、重试次数和任务完成情况。测试应包含上游变慢,因为 Aquifer 的设计允许响应头把实际速率降到配置上限以下。这适合那些 agent 本来能工作,但一旦很多运行同时打到同一个后端就会失败的团队。