---
kind: trend
trend_doc_id: 935
granularity: day
period_start: '2026-05-10T00:00:00'
period_end: '2026-05-11T00:00:00'
topics:
- AI coding agents
- software testing
- tool use
- agent monitoring
- security
- maintenance cost
- smart contracts
- tool provenance
run_id: materialize-outputs
aliases:
- recoleta-trend-935
tags:
- recoleta/trend
- topic/ai-coding-agents
- topic/software-testing
- topic/tool-use
- topic/agent-monitoring
- topic/security
- topic/maintenance-cost
- topic/smart-contracts
- topic/tool-provenance
language_code: zh-CN
---

# 代理软件研究围绕能发现真实部署失败的检查展开

## 概览
这一时期的主要信号是对 AI 构建软件提出更严格的证据要求。ConCovUp、RubricRefine 和 MonitoringBench 都是在测试代理的具体失效模式：错过并发交互、错误的工具契约，以及隐藏的破坏。快速做应用也会带来可测的安全和维护成本。

## 研究发现

### Executable checks for generated software
几篇论文把大语言模型（LLM）输出放到任务特定测试下，而不是接受流畅代码。ConCovUp 通过寻找共享内存访问对、向后推理输入，并运行生成的多线程驱动程序，来针对并发 C/C++ 行为。它把 9 个库上的平均共享内存访问对（SMAP）覆盖率从 Claude Code 基线的 36.6% 提高到 68.1%。

RubricRefine 在真实工具执行前做同样的检查。它为任务和工具注册表生成评分标准，检查输出形状、路由、参数来源和调用顺序，然后在任何环境动作前修复代码。在 M3ToolEval 上，它在 7 个模型上的平均成功率是 0.86，而单次运行的 CodeAct 是 0.62。SmartEval 把这种评估压力扩展到 Solidity 合约，在 9,000 个生成合约上按规格一致性、状态机正确性、业务逻辑和代码质量打分。

#### 资料来源
- [ConCovUp: Effective Agent-Based Test Driver Generation for Concurrency Testing](../Inbox/2026-05-10--concovup-effective-agent-based-test-driver-generation-for-concurrency-testing.md): ConCovUp method and SMAP coverage results.
- [RubricRefine: Improving Tool-Use Agent Reliability with Training-Free Pre-Execution Refinement](../Inbox/2026-05-10--rubricrefine-improving-tool-use-agent-reliability-with-training-free-pre-execution-refinement.md): RubricRefine pre-execution contract checking and M3ToolEval results.
- [SmartEval: A Benchmark for Evaluating LLM-Generated Smart Contracts from Natural Language Specifications](../Inbox/2026-05-10--smarteval-a-benchmark-for-evaluating-llm-generated-smart-contracts-from-natural-language-specifications.md): SmartEval benchmark design and Solidity contract scoring results.

### Agent monitors need harder attack generation
当攻击过于狭窄时，MonitoringBench 表明监控器评估会显得很好。论文构建了 2,644 条成功的 BashArena 攻击轨迹，并用一个分类体系加事后细化来扩展破坏尝试。攻击包括防火墙后门、sudo 权限提升、凭据外泄和恶意软件下载等动作。

测得的下降幅度很大。在一个 Opus 4.5 全轨迹监控器上，命中率从直接诱导的 Opus 攻击上的 94.9% 降到最佳细化攻击上的 60.3%。在一项引用的细化攻击对比中，GPT-5 从 60.2% 降到 19.5%。这对部署前控制测试是个警告：监控器质量取决于攻击生成器，而不只取决于监控模型。

#### 资料来源
- [MonitoringBench: Semi-Automated Red-Teaming for Agent Monitoring](../Inbox/2026-05-10--monitoringbench-semi-automated-red-teaming-for-agent-monitoring.md): MonitoringBench dataset, attack construction method, and monitor catch-rate results.

### Tool and app supply chains need provenance checks
公开的代理工具已经有足够多的重复，会影响评估和审查。工具克隆研究审计了 7,508 个 Model Context Protocol（MCP）仓库和 1,353 个 Skills 仓库，共覆盖 100,011 个工具条目。在相似度较高的 MCP 对中，人工审查把 60% 的高 Jaccard 候选和 85% 的高 ssdeep 候选标为克隆。这会污染基准切分、重复脆弱脚手架，并夸大多样性声明。

部署侧也有类似的可见性问题。RedAccess 报告说，在 Lovable、Replit、Base44 和 Netlify 域名上有 5,000 多个 AI 生成的网页应用，几乎没有访问控制，或者完全没有访问控制。大约 40%，接近 2,000 个应用，似乎暴露了敏感数据，例如医院分配、客户聊天机器人日志、销售记录、运输记录和财务记录。这些是运营失败，不是模型基准失败。

#### 资料来源
- [Evaluating Tool Cloning in Agentic-AI Ecosystems](../Inbox/2026-05-10--evaluating-tool-cloning-in-agentic-ai-ecosystems.md): Large-scale MCP and Skills cloning dataset and clone-rate findings.
- [Vibe-Coded Apps Expose Corporate and Personal Data on the Open Web](../Inbox/2026-05-10--vibe-coded-apps-expose-corporate-and-personal-data-on-the-open-web.md): RedAccess findings on exposed AI-generated web apps and sensitive data.

### Production speed needs maintenance accounting
实际报告比基准论文更不一致。一位创始人说，他用 Claude 在 8 周内做出一个生产级足球比赛追踪应用，从同一代码库发布了 iOS、Android 和网页版本，配有 600 多个自动化测试，号称无崩溃率高于 99%。同一份说法也列出了仍然需要人做的工作：产品判断、生成代码审查、生产崩溃诊断、数据库性能修复和用户体验修正。

维护成本模型给团队一个简单的检验方式。如果代理把代码产出翻倍，同时把单位维护成本也翻倍，那么模型里下个月的维护负担会变成四倍。作者认为，要保住长期产能，2 倍产出提升大致需要把单位维护成本减半。一个定性软件工程研究得出一致的流程判断：当团队使用代理式编码系统时，需要更强的意图说明、仓库上下文、验证、安全审查、来源追踪和治理。

#### 资料来源
- [I run a company with 30 engineers. Built this app with AI and none of them](../Inbox/2026-05-10--i-run-a-company-with-30-engineers-built-this-app-with-ai-and-none-of-them.md): Founder report on an AI-built production app, workflow, and limitations.
- [An AI coding agent, used to write code, needs to reduce your maintenance costs](../Inbox/2026-05-10--an-ai-coding-agent-used-to-write-code-needs-to-reduce-your-maintenance-costs.md): Maintenance-cost model for AI coding-agent productivity.
- [From Code-Centric to Intent-Centric Software Engineering: A Reflexive Thematic Analysis of Generative AI, Agentic Systems, and Engineering Accountability](../Inbox/2026-05-10--from-code-centric-to-intent-centric-software-engineering-a-reflexive-thematic-analysis-of-generative-ai-agentic-systems-and-engineering-accountability.md): Qualitative study on verification, context, governance, and accountability in agentic software engineering.