来源笔记
AgentCollabBench: Diagnosing When Good Agents Make Bad Collaborators
摘要
AgentCollabBench 测试多智能体 LLM 流水线在代理之间传递消息时，是否能保住约束、事实、私有上下文和标记信息。论文认为，即使每个模型都能给出看起来有效的最终输出，拓扑也会带来可靠性失效。
问题
- 多智能体的软件、DevOps 和数据工程流程，可能会丢失硬性约束，或传播错误前提，同时仍然返回完整的最终产物。
- 只看结果的基准会漏掉过程层面的失败，比如约束丢失、错误信念传播、跨任务泄漏和多跳信息丢失。
- 这会影响已经部署的代理团队，因为一个看起来有效的 Kubernetes 清单、代码补丁或数据管道，可能漏掉必须满足的安全或合规条件。
方法
- 该基准包含 900 个人工验证任务，覆盖软件工程、DevOps 和数据工程。
- 每个任务针对四类风险之一：Instruction Decay Rate (IDR)、Radioactive Tracer Durability (RTD)、Consensus Pollution Rate (CPR) 和 Cross-task Leakage Containment (CLC)。
- 它变化五种通信拓扑：linear chain、branching tree、converging DAG、fully connected 和 custom graph。
- 该方法注入受控工件，比如硬性约束、唯一 tracer 字符串、错误事实或私有字符串，然后检查它们是否被保留、传播或泄漏。
- RTD 和 CLC 使用确定性的字符串检查；IDR 和 CPR 使用经过人工验证的 LLM 评审，Cohen's kappa >= 0.69，且一致率为 84.4-89.3%。
结果
- 在 900 个任务上，Qwen-3.5-35B-A3B 的 tracer durability 和 instruction stability 最好：RTD 94.0%，IDR 0.9%。
- GPT 4.1 mini 的泄漏和错误信念传播最低：CLC 2.6%，CPR 17.7%，但它的 RTD 为 80.3%。
- Llama 3.1 8B Instruct 在三项指标上最弱：IDR 10.1%，CPR 40.3%，RTD 62.6%；引言还报告了 4.9% 的跨任务泄漏。
- Qwen 仍然在 20.7% 的下游响应中传播了注入的错误信念，CLC 为 4.7%，所以单项优势不能覆盖所有风险。
- 拓扑解释了多跳信息存活率 7-40% 的方差，converging DAG 节点比 linear chain 更容易丢掉来自少数分支的约束。
- 扰动测试朝着预期方向变化：随着 topology siloing 增强，IDR rho 0.211、CPR rho 0.411、CLC rho 0.146，而 RTD rho -0.313。