肠镜报告里写清了病灶的部位、大小和形态，却几乎不会注明这些描述对应检查中的哪一帧画面。复旦大学（附属中山医院）联合浙江大学、微软亚洲研究院、曼彻斯特大学等机构提出EndoCLIP，一个面向结肠镜检查的视觉语言基础模型：它直接复用医院档案库中的常规肠镜报告，自动恢复病灶级的图文对应，让临床语言成为大规模训练信号。
这项回顾性研究经中山医院伦理委员会批准，全部记录在分析前完成去标识化。团队从280,476份报告出发，筛选出123,811份记录息肉的报告，经图像与可用帧清洗后保留104,530份病例，最终恢复出125,756个病灶级图文对。他们同时构建了EndoReport基准，覆盖图文检索与病灶分类等任务；在一场盲法对照研究中，模型的良恶性判断已接近12名内镜医师的水平。
报告总结的是整台检查，不是某一帧
肠镜是结直肠癌防治的核心手段，但现有肠镜AI多为特定任务而训练，依赖逐帧人工标注，难以覆盖日常检查中形形色色的发现。放射科和病理科已经能用图文配对训练视觉语言模型，肠镜领域却长期缺少这类数据：一份报告总结整台检查，背后可能是几十张静态画面和数个病灶，哪句话对应哪个病灶、哪一帧画面，并没有记录。
档案库中44.2%的报告记录了至少一枚息肉。报告被切分为一条条发现句，并解析出病灶部位、以厘米计的大小以及19个形态与表面描述符；息肉病例共包含约854万帧画面，中位数每例65帧，但其中只有一部分真正拍到了报告所述病灶。
图1：数据漏斗从28.05万份去标识化报告收敛到12.38万份息肉报告、10.45万份训练病例，最终产出12.58万个病灶级图文对，并统计了部位、描述符与大小分布。
三阶段把句子找回对应的画面
若把报告与同病例画面随机配对，大多数图文对都是错配。EndoCLIP采用渐进式恢复：第一阶段只用“有息肉”“无发现”这类粗粒度提示做对比学习，让模型先学会定位含息肉的画面，再滤除无信息的背景；第二阶段转向6.96万份单息肉病例，一份报告只描述一个病灶、歧义最小，模型为每条发现句选出最匹配的帧，第一次编码病灶的语义描述；第三阶段处理5.42万份多病灶病例，为每句话检索最相似的帧，仅保留相似度超过阈值的配对，又恢复约5.62万个图文对。
图2：EndoCLIP经过病例级证据定位、单病灶锚点选择与多病灶消歧三个阶段，把病例级弱监督转化为病灶级图文对，再用于对比学习。
用一句话检索到那个病灶
团队构建了EndoReport100基准：100个多病灶病例、217个病灶、7,002个帧级标注，由内镜医师逐帧标记息肉，并把每个病灶连到代表帧与对应发现句，独立于训练语料。全局检索中随机命中率仅0.46%，最强的生物医学对比模型双向Recall@1为2.8%，EndoCLIP达到14.3%；若把候选限定在同一台检查内，命中率从对照的53.3%提升到81.2%。
图3：在全局与病例内两种检索协议下，EndoCLIP的召回率与中位排序均明显优于通用及生物医学视觉语言编码器。
良恶性判断，与内镜医师盲法对照
分类评测包含六项任务：五项来自多中心公开基准，涵盖巴黎分型、黏膜充血、分叶状表面、绒毛状表面和以10毫米为界的息肉大小；第六项是中山医院独立病理队列上的良恶性判断。零样本设置下，EndoCLIP在六项任务上的AUC均为参评编码器最高；仅用5%标注训练线性探针，病理任务AUC已达0.860。
在与12名分属三个经验层级的内镜医师的盲法对照中，医师对病理结果不知情，准确率从新手层级的0.716到专家层级的0.846；冻结的EndoCLIP探针准确率为0.852，与专家投票之间未见显著差异。论文措辞克制，将其定位为接近专家水平的辅助参考，而非自动诊断。团队还把冻结的视觉编码器接到冻结的语言模型上生成结构化报告草稿，巴黎分型、描述符集合与病灶大小估计均为参评编码器中最准，大小平均误差约0.17厘米，供医师审核修改。
图4：零样本与少标注设置下，EndoCLIP在六项临床分类任务上的AUC、F1与准确率表现。
图5：结构化报告生成从冻结视觉特征输出病灶直径、巴黎分型与形态描述符，并在独立测试集上逐项评估。
走向临床应用前，还有多远
论文对证据边界交代得很清楚：EndoReport100仍来自同一家机构、属回顾性设计，病灶大小由报告文本解析而非直接测量。现有结果说明日常文档可以转化为规模化监督，还不等同于真实诊室表现。
作者给出的下一步，是跨机构、按患者分组的前瞻性评估，覆盖不同报告风格与采集设备，并考察校准与不确定性。这套对应恢复方法在上消化道内镜等检查中能否迁移，也有待验证。
参考资料
https://arxiv.org/abs/2607.28466
