来源笔记
Figures as Interfaces: Toward LLM-Native Artifacts for Scientific Discovery
摘要
本文提出 LLM 原生图表：科学图表携带自身的数据、代码、溯源信息和交互映射，使 LLM 可以把图表当作分析对象来操作，而不只是像素图像。文中还介绍了 Nexus，这是一个面向科学学领域的迭代式科学探索概念验证系统。
问题
- 科学图表通常是静态输出。它们向人展示模式，但会隐藏生成这些图表所用的数据子集、变换步骤和代码。
- 在当前的人机协作流程中，多模态 LLM 往往需要从图像或图注里恢复含义，这会削弱可复现性、可追踪性和后续分析能力。
- 科学探索是迭代且非线性的，但许多面向 LLM 的研究工具仍以线性聊天或一次性生成作为中心，这让细化、审计和复用分析步骤都变得困难。
方法
- 核心思路是把每个图表保存成一个结构化对象 (F_t = {V_t, C_t, D_t, M_t})：可视化输出、可执行代码和分析操作、底层数据，以及元数据/历史记录。
- 系统在视觉标记和分析操作之间维护一个 双向映射。语言请求可以生成图表，而对图表的直接交互，例如刷选点或时间范围，可以映射回确切的数据行，并生成下一步分析。
- 论文把相互关联的图表及其历史组织成一个 数据驱动工件，记录用户输入、派生图表、代码、数据，以及跨步骤的协调规则。这个工件以 DAG 形式版本化，因此可以回看和重放先前状态。
- LLM 在受限动作空间上运行计划-动作-观察循环，例如过滤、变换、建模和可视化，然后执行代码，并根据输出决定下一步。
- Nexus 将这套设计用于科学学分析，用户在探索过程中把自然语言指令和图表操作结合起来。
结果
- 论文声称有三项主要收益：更快的迭代式发现、更强的可复现性，以及通过保存的溯源信息和可执行历史实现更透明的推理。
- 它给出了一个科学学领域的案例研究，使用 Nexus 探索来自美国一所大型研究型大学的发明人层面创新数据，并进行交互式后续调整，例如对坐标轴做对数缩放和深入查看选定区域。
- 文中还说明，该系统通过计算测试评估了 图表与分析操作之间双向映射的保真度。
- 所给摘录 不包含准确率、速度或用户结果的定量指标或基准数字，因此无法从现有文本中提取相对于基线的数值提升。
- 摘录中的具体技术主张是：除非是非确定性分析，否则图表可以由存储的代码和数据确定性重建；而关联图表可以通过预计算的协调关系和代码模板自动更新。