当软件代理的工作可执行且访问范围受限时，它们表现最好

ReaComp 给出的效率结果最清楚。它把每个基准大约 100 条 LLM 推理轨迹转成可复用的 Python 符号求解器。在 PBEBench-Hard 上，符号集成在测试时不使用 LLM token 的情况下达到 84.7% 准确率，而 Best-of-K 为 68.4%。这个混合方案还把报告的 token 使用量减少了 78%。

ARC-AGI-3 的工作把同样的方法用到交互式游戏上。编码代理先写 Python 世界模型，再用观测到的状态转移检查它，在模型内做规划，只有在预测仍然一致时才执行动作。在 25 个公开游戏上，它完整解决了 7 个，但不同运行之间差异很大，而且还没有私有集结果。

UVMarvel 把这个模式扩展到硬件验证。它为 subsystem-level RTL 构建 Universal Verification Methodology (UVM) 测试平台，然后用覆盖率报告和信号追踪让 LLM 生成新序列。论文报告六个 subsystem 基准上的平均代码覆盖率为 95.65%。

Slyp 是面向特定工具的安全自动化的一个有力例子。它给代理提供 Windows Component Object Model (COM) 服务的二进制分析、COM 检查和实时调试工具。在 40 个漏洞案例上，它的 F1 达到 0.973，在最强配置下为 27 个案例验证了 proof-of-concept 代码，并发现了 28 个后来被 MSRC 确认、此前未知的生产漏洞。

安全问题不只是找漏洞。Agents of Chaos 在一个真实运行的 Discord 环境里测试了六个自主代理，持续两周，环境包含记忆、电子邮件、shell 访问和人与代理的交互。研究报告了 10 个安全漏洞，以及 6 个代理保持合适边界的案例。

企业检索提供了另一个控制点。OGX 的设计给 chunk 添加租户和访问元数据，在检索前和检索过程中做授权，并把工具执行和对话状态保留在服务器端。在报告的测试里，未加门控的检索在 98–100% 的探测中泄露了跨租户数据；ABAC 门控把泄露和授权违规都降到了 0%。

两篇论文把上下文当成一个必须在生成开始前写下来的工程输入。Mise en Place for Agentic Coding 会先记录领域知识、规格和任务记录，再让并行代理写代码。它的证据只来自一个黑客松案例，所以更适合作为流程报告，而不是受控结果。

平台服务支撑论文给出了更具体的部署测试。一个 retrieval-augmented generation (RAG) 系统会在短暂的澄清对话后选择批准过的 Backstage 模板。在报告的设置中，它 10 次运行都选中了真实模板。在一个小规模对比里，7 名 Copilot 用户只有 2 名通过了所有部署质量关卡，而模板选择系统用更少的提示和 token 全部通过。

仓库挖掘又给出了上下文的另一种视角。拥有 bash 和 git 访问权限的代理对 commit、review、代码行和仓库进行分类，其准确率与固定上下文的 LLM 调用相近，同时在 4,943 次有效分类中避免了上下文窗口溢出。单次运行成本更高，但它对工件大小的扩张不那么敏感。

这项元分析是 coding assistant 结论的警示锚点。在 23 项研究和 27 个效应量中，生成式 AI 辅助整体上对编程生产力有中等强度的正向影响。场景很重要：实验室研究的效果更大，而企业和开源场景在报告的调节变量分析中只显示出较小、且不显著的效果。

学习证据更弱。合并后的学习效应很小，而且不显著。学生可以在考核期间使用 AI 时会出现收益，而受限考核结果没有显示稳定收益。

重构采纳研究展示了开发者实际如何使用建议。在 169 个与 ChatGPT 对话相关联的 GitHub 重构提交中，很多已提交的改动要么是长建议的近似拷贝，要么只采纳了一部分。可读性和可维护性是最常见目标，但一个仓库提供了大多数提交，所以数据集不平衡。