来源笔记
AffordTissue: Dense Affordance Prediction for Tool-Action Specific Tissue Interaction
Surgical RoboticsAffordance PredictionVision LanguageDense Heatmap PredictionSafe Manipulation
摘要
AffordTissue 在接触发生前，为特定手术器械和动作预测安全的组织交互区域的密集热图。论文把这当作腹腔镜胆囊切除术中的安全层和策略输入。
问题
- 现有手术学习系统和 VLA 风格模型可以模仿动作，但它们不能说明在某个动作下，器械应该在组织的哪里安全交互。
- 语义分割标的是解剖结构，不是与动作相关的交互区域，所以它不能回答钩状电凝钩应该在哪里分离，或者夹闭器应该在哪里夹闭。
- 这很重要，因为临床部署需要可控、可检查的空间指引，也需要在器械朝向不安全组织移动时提前停止的机制。
方法
- 模型接收一个简短的文本提示，格式是手术三元组
{surgery type, tool type, action type}，以及一个包含过去 256 帧、步长为 8 的时间视频窗口，约 10.6 秒上下文。 - 冻结的 SigLIP 2 文本编码器对提示做嵌入，冻结的 Video Swin Transformer 从视频中编码器械运动和组织动态。
- 带自适应层归一化（AdaLN）的 DiT 风格解码器融合文本和视频嵌入，并为目标帧预测逐像素 logits，生成密集的可供性热图。
- 训练使用人工标注的安全交互多边形，并将其转换为以高斯中心的热图。数据集包含来自 103 例胆囊切除术视频的 15,638 个片段，覆盖 4 种器械中的 6 种器械-动作配对：hook、grasper、scissors 和 clipper。
- 论文还把这个数据集作为该场景下组织可供性预测的第一个基准。
结果
- 在主基准上，AffordTissue 的 DICE 为 0.124，PCK@0.05 为 0.517，PCK@0.1 为 0.667，HD 为 79.763 px，ASSD 为 20.557 px。
- 与基线相比，ASSD 从 Molmo-VLM 的 60.184 px 降到 AffordTissue 的 20.557 px，从 SAM3 的 81.138 px 降到 20.557 px。Qwen-VLM (8B) 的 ASSD 为 111.271 px。
- 边界对齐明显强于基线：AffordTissue 的 PCK@0.05 为 0.517，而 SAM3 为 0.128，Molmo-VLM 为 0.095，Qwen-VLM (8B) 为 0.031。
- 论文写道，最强竞争者 Molmo-VLM 的 ASSD 比 AffordTissue 差 192.76%，HD 差 62.34%。
- 消融实验显示语言信号很重要：去掉语言编码器后，ASSD 从 20.557 升到 43.135 px，HD 从 79.763 升到 170.482 px。
- 条件输入也很重要：去掉器械规格后，ASSD 升到 27.302 px；去掉动作后，ASSD 升到 22.087 px；去掉前一帧后，ASSD 升到 24.973 px。把 AdaLN 换成交叉注意力后，ASSD 升到 28.736 px。