多模态大模型

Masking Is Not Enough: Generative Restoration for Multimodal De-Identification in Medical AI

仅掩码不足：面向医疗AI的多模态去标识化生成式修复

Shiva Shrestha, Zongxing Xie, Chen Zhao, Liran Ma, Zhipeng Cai, Honghui Xu

机构 * Kennesaw State University（肯尼索州立大学） ； Miami University（迈阿密大学） ； Georgia State University（佐治亚州立大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 针对医疗图像-文本数据的PHI泄漏问题，提出端到端多模态净化框架ClinX，结合图像侧生成式修复与文本侧渐进式去标识化，在MedVQA中验证其优于仅OCR掩码的性能。

MatMMExtract: An Open-Source Pipeline for Panel-Level Extraction of Grounded Image-Text Pairs from Materials Science Literature

解锁材料科学的视觉记录：来自科学文献的大规模多模态数据集

Subham Ghosh, Shubham Tiwari, Mohammad Ibrahim, Abhishek Tewari

机构 * Mehta Family School of Data Science and Artificial Intelligence（梅塔家庭数据科学与人工智能学院） ； Indian Institute of Technology Roorkee（印度理工学院罗奥克学院） ； Department of Metallurgical and Materials Engineering（冶金与材料工程系） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对科学文献中复合图像导致图文配对困难的问题，提出MatMMExtract管道，通过分解复合图、利用大语言模型生成结构化标注，构建包含39万对面板级图文对的MatSciFig数据集，并引入MaterialScope检测数据集和微调YOLO12检测器，显著提升视觉语言检索性能。

When Generated Images Look Right and Retrieve Wrong: Coverage-Guided Cross-Scale Re-Indexing for Knowledge-Faithful Generative Perception

当生成图像看起来正确但检索错误：面向知识保真生成感知的覆盖度引导跨尺度重索引

Guangyuan Dong, Chuang Liu, Yangchen Zeng, Haoyu Wang, Xiaoyang Yu, Pinlong Zhao, Yuchao Hou, Ziwei Li, Zheng Lin

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 针对生成图像因尺度差异导致的语义崩溃问题，提出闭环多模态索引框架CERES，在多基准上实现SOTA，显著提升概念-查询检索性能。

Comments 20 pages, 7 figures, and 20 tables

StateSight: Benchmarking Latent Spatial-State Reconstruction in Vision-Language Models

StateSight：评测视觉语言模型中的潜在空间状态重建能力

Michelle Lin

机构 * Thomas Jefferson High School for Science and Technology（托马斯·杰斐逊科学技术高中） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本研究推出StateSight基准及配套数据集StateSight-Steps，评估视觉语言模型的潜在空间状态重建能力，发现GPT-5.5、Claude Sonnet 5的表现均逊于人类基线，格式正确的响应可能掩盖空间结构恢复失败的问题。

Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning

Re³Cap：基于强化学习的图像字幕增强的检索引导优化

Haonan Jia, Shichao Dong, Zenghui Sun, Jiawen Zheng, Ziqi Miao, Gege Shi, Qiuyu Zhao, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝和天猫集团） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Re³Cap方法，利用多模态检索作为推理信号，通过CRS和CQA优化图像字幕，在COCO-LN500基准上关系推理性能较GRPO提升8.64%，优于SFT。

Comments Accepted to EMNLP 2026 Main Conference

Is Visual Prompting All You Need? Studying VLM Spatial Reasoning under Progressive Visual Scaffolds

视觉提示就足够了？研究渐进式视觉支架下视觉语言模型的空间推理能力

Lars Benedikt Kaesberg, Tianyu Yang, Florian Valentin Wunderlich, Terry Ruas, Jan Philip Wahle, Daniel Kurzawe, Bela Gipp

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对 VLMs 的空间推理问题，在 SPaRC 基准中引入轻量视觉支架，可提升 VLMs 任务准确率并补充 GRPO 训练，揭示视觉呈现对 VLM 基准测量属性的关键作用。

Comments Accepted at EMNLP 2026 (Findings)

When Better Teachers Don't Make Better Students: Revisiting Knowledge Distillation for CLIP Models in VQA

当更好的教师不培养更好的学生：重新审视用于CLIP模型的KL知识蒸馏在视觉问答中的应用

Pume Tuchinda, Parinthapat Pengpun, Romrawin Chumpu, Patomporn Payoungkhamdee, Sarana Nutanong, Peerat Limkonchotiwat

机构 * VISTEC ； Bangkok Christian International School（巴吞普林国际学校） ； AI Singapore（AI新加坡） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文重新审视了CLIP模型在视觉问答中的知识蒸馏，发现更强教师不必然产生更好学生，揭示了现有蒸馏框架的局限性，并指明了参数高效多模态模型的设计新方向。

Crane: Context-Guided Prompt Learning and Attention Refinement for Zero-Shot Anomaly Detection

Crane：用于零样本异常检测的上下文引导提示学习与注意力优化

Alireza Salehi, Mohammadreza Salehi, Reshad Hosseini, Cees G. M. Snoek, Makoto Yamada, Mohammad Sabokrou

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本研究提出基于CLIP的框架Crane，通过相关性注意力模块、上下文引导提示学习等改进零样本异常检测，在7个工业基准上显著提升图像级AP与像素级AUPRO，还衍生出更强变体Crane+。

Comments British Machine Vision Conference (BMVC 2026)