多模态大模型

How YouTube Frames ChatGPT Use in Education: An Epistemic Network Analysis with Supporting Multimodal Metadata

YouTube如何构建教育领域中ChatGPT的使用：基于支持多模态元数据的认知网络分析

Shayla Sharmin, Mohammad Al-Ratrout, Mohammad Fahim Abrar, Roghayeh Leila Barmaki

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究通过多模态元数据分析教育类YouTube视频中ChatGPT的使用，识别出三个话语组，发现不同组在构建方式、观众反应和平台影响力上有差异，揭示了自主AI学习中优先快速输出与促进深度参与内容的差距及相关问题。

Comments This paper has been accepted in ICMI 2026 and will be presented in October

Journal ref In Proceedings of the 28th ACM International Conference on Multimodal Interaction (ICMI '26), Napoli, Italy, October 2026

MatBind: A Shared Embedding Space for Multimodal Materials Characterization

MatBind：用于多模态材料表征的共享嵌入空间

Le Yang, Anoop K. Chandran, Jona Östreicher, Evgenii Sovetkin, Adrian Mirza, Sebastien Bompas, Bashir Kazimi, Pascal Friederich, Stefan Kesselheim, Kevin Maik Jablonka, Stefan Sandfeld

专题命中 跨模态检索 ：multimodal(title)；cross-modal(abstract)

AI总结 研究旨在整合异构材料数据以全面表征晶体材料。提出MatBind对比学习框架，以晶体结构为锚点将四种模态对齐到统一空间，实现零样本跨模态检索，且学习空间能依物理属性组织材料，组合模态可提升检索性能。

Comments 24 pages, 12 figures, submitted to npj computational material

KinEMbed: Decoding Kinematics from Electromyography via Cross-Modal Contrastive Learning

KinEMbed：通过跨模态对比学习从肌电图中解码运动学

Sofia Gilardini, Chenfei Ma, Kianoush Nazarpour

机构 * Department of Statistics, University of Oxford（牛津大学统计学系） ； School of Informatics, University of Edinburgh（爱丁堡大学信息学院） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)

AI总结 研究从表面肌电图解码手部运动学这一挑战，提出跨模态对比学习框架KinEMbed训练双编码器，用于手部运动学回归，在NinaPro DB8数据集上优于基线方法。

Comments ICML 2026 Workshop on Structured Data for Health, Seoul, South Korea

URecJPQ: Memory-efficient Multimodal Recommendation Models through RecJPQ in Large-Scale Scenarios

URecJPQ：大规模场景下通过RecJPQ实现内存高效的多模态推荐模型

Giuseppe Spillo, Zixuan Yi, Aleksandr Petrov, Cataldo Musto, Craig Macdonald, Iadh Ounis

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 提出URecJPQ方法，通过联合乘积量化将用户/物品表示为共享子嵌入的拼接，显著减少参数量和内存占用，在大规模多模态推荐中实现86%-98%的模型压缩，仅轻微损失精度。

Multi-Modal Contrastive Learning for Implicit Earth Embeddings via Location Tying

多模态对比学习用于基于位置绑定的隐式地球嵌入

Jonathan Hecht, Lukas Arzoumanidis, Ziyue Li, Youness Dehbi

机构 * Computational Methods Lab, HafenCity University Hamburg（汉堡港城大学计算方法实验室） ； Dept. of Operations & Technology, Technical University of Munich（慕尼黑工业大学运营与技术系；海尔布隆数据科学中心；慕尼黑数据科学研究所） ； Heilbronn Data Science Center（波恩大学大地测量与地理信息研究所） ； Munich Data Science Institute ； Institute of Geodesy and Geoinformation, University of Bonn 纠错

专题命中 跨模态检索 ：multi-modal(title)；multimodal(abstract)

AI总结 提出两种多模态对比学习架构MELT和SALT，通过位置绑定整合未配对地理数据，在四个下游任务中匹配最强双模态基线SATCLIP，但增加模态数未持续提升性能，表明位置编码器是主要瓶颈。

Intelligent Multimodal Retrieval and Reasoning for Geospatial Knowledge Discovery on the I-GUIDE Platform

面向I-GUIDE平台地理空间知识发现的智能多模态检索与推理

Yunfan Kang, Erick Li, Furqan Baig, Wei Hu, Alexander Michels, Anand Padmanabhan, Shaowen Wang

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 提出I-GUIDE Smart Search系统，结合多模态索引与知识图谱的迭代RAG管道，实现地理空间异构数据的语义检索、图谱溯源和对话合成，在单A100部署下支持约100并发用户，提升检索覆盖与答案质量。

EviProp: Seeded Relevance Diffusion on Chunk-Page Graphs for Long Multimodal Document Retrieval

EviProp: 基于种子相关性扩散的块-页图用于长多模态文档检索

Hongwei Zhang, Xiaoman Wang, Zehui Ling, Ruicheng Zhu, Yue Zhang, Pinlong Cai, Fuke Shen, Botian Shi, Tongquan Wei, Guohang Yan

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 提出EviProp方法，通过构建多模态块-页图并利用个性化PageRank扩散相关性，解决长文档中证据页检索的独立匹配局限，提升检索准确率。

Constrained Dominant Sets for Multimodal Document Question Answering

约束主导集用于多模态文档问答

Ambuj Mehrish, Sebastiano Vascon

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 提出基于查询增强亲和图的约束主导集检索方法，通过谱边界自动平衡相关性与冗余性，利用复制动态实现全局均衡，无需训练，在多模态文档问答中取得新最优结果。

Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction

作为辅助监督的生成：通过解耦嵌入预测以零推理开销增强视觉理解

Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

机构 * ByteDance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CV

AI总结 本研究提出GAS框架，将视觉生成作为辅助监督，通过解耦MoT架构的NEP实现零推理开销，提升了多模态理解尤其是感知与空间理解能力。

Diverse-Intent Multi-Turn Fashion Image Retrieval

多样化意图的多轮时尚图像检索

Mingqiang Tang, Haokun Wen, Meng Liu, Yupeng Hu, Weili Guan, Xuemeng Song

专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 研究现实世界时尚多轮图像检索问题，提出FashionAM框架直接对齐多模态对话查询与时尚图库嵌入空间，避免文本化，引入DIM-Fashion数据集，实验证明该框架优于现有方法，数据集和代码将公开。

Uncovering Latent Depression Severity for Binary Depression Detection via Advantage-weighting Ranking

通过优势加权排序揭示二元抑郁检测中的潜在抑郁严重程度

Manning Gao, Tingyi Liu, Leheng Zhang, Haifeng Hu, Yuncheng Jiang, Sijie Mai

机构 * South China Normal University（华南师范大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.AI

AI总结 研究利用视听数据检测抑郁的挑战，提出含时间编码器和相互变压器的多模态框架，核心是二元优势加权排序损失，通过两种机制优化潜在空间分布，实验表明该模型重建潜在有序结构，性能达最优。

Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence

协同感知-推理治理：用可验证解剖证据为医学多模态大语言模型提供基础

Rui Hao, Qiankun Li, Junyuan Mao, Linghao Meng, Dirui Xie, Dayu Tan, Zhigang Zeng

机构 * Huazhong University of Science and Technology（华中科技大学） ； Imperial Global Singapore, Imperial College London（帝国理工学院新加坡全球中心） ； Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） ； Anhui University（安徽大学） 纠错

专题命中 跨模态检索 ：MLLM(summary_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出一种无需训练的证据注入框架，通过ROI引导的视觉激活调制和解剖坐标语义标记，协同校准视觉感知与文本推理，动态路由任务特定干预，有效减少医学MLLM的幻觉。

Comments Accepted by MICCAI 2026 (Early Accept, Top 9%)

LightSTAR: Efficient Visual Document Retrieval via Lightweight Selection with Vision-Adaptive Refinement

LightSTAR: 通过视觉自适应精炼的轻量级选择实现高效视觉文档检索

Tongkun Guan, Haocheng Wang, Wei Shen, Xiaokang Yang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院人工智能研究院教育部人工智能重点实验室） 纠错

专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multi-modal(abstract)；分类 cs.CV

AI总结 提出LightSTAR框架，通过免LLM的视觉选择快速筛选候选页，再经视觉自适应语义精炼进行细粒度匹配，在保持高检索精度的同时大幅降低延迟。

Comments Accpeted by ECCV 2026

Bridging the Modality Gap in Forensic Image Retrieval

弥合法医图像检索中的模态差距

Ricardo González-Gazapo, Annette Morales-González, Yoanna Martínez-Díaz, Heydi Méndez-Vázquez, Milton García-Borroto

机构 * Advanced Technologies Application Center (CENATAV)（先进技术应用中心（CENATAV）） ； Centro de Sistemas Complejos, Facultad de Física, Universidad de La Habana（哈瓦那大学物理学院复杂系统中心） 纠错

专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出统一检索框架，利用多模态大语言模型生成文本描述并结合视觉与文本特征融合，提升纹身、人脸素描等法医任务的检索精度与鲁棒性。

Comments 23 pages, 5 figures, paper submitted to Elsevier journal

CVSD-Reg: Cross-Modal Visual Semantic Prior Distillation for Robust LiDAR Registration

CVSD-Reg：用于鲁棒激光雷达配准的跨模态视觉语义先验蒸馏

Eunsoo Im, Junghun Suh, Gyeonggwan Lee, Seunghwan Hong

专题命中 跨模态检索 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 本文提出CVSD-Reg框架，通过蒸馏视觉基础模型的语义先验提升激光雷达配准的鲁棒性，在多数据集上的成功率优于现有方法，且无需相机输入或事后ICP精修。

MonteRET: AI Agent Enhancing Multimodal LLMs with Multi-granularity Knowledge Retrieval for Chest CT Report Generation

MonteRET：通过多粒度知识检索增强多模态大语言模型以生成胸部CT报告的人工智能代理

Yi Lin, Yihao Ding, Elana Benishay, Elefterios Trikantzopoulos, David Nauheim, Hanley Ong, Jiang Bian, Hua Xu, Yuzhe Yang, George Shih, Yifan Peng

机构 * Weill Cornell Medicine（威尔康乃尔医学院） ； University of Western Australia（西澳大利亚大学） ； Indiana University（印第安纳大学） ； Regenstrief Institute（瑞根斯特里夫研究所） ； Yale University（耶鲁大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 跨模态检索 ：multimodal(title)；分类 cs.CV、cs.CL

AI总结 研究针对自动生成胸部CT报告的挑战，提出MonteRET框架，它整合多种特征，通过知识检索和报告重写代理完善报告。经训练和评估，该框架在多方面提升了报告质量，相比其他方法有显著优势，获放射科住院医师青睐。

What the Reranker Sees: Multi-Aspect Page Annotation for Long-Document Multimodal Question Answering

重排序器所见：面向长文档多模态问答的多方面页面标注

Guanchen Wu, Jiayuan Ding, Subhabrata Mukherjee, Carl Yang

机构 * Emory University（埃默里大学） ； Hippocratic AI（希波克拉底人工智能公司） 纠错

专题命中 跨模态检索 ：multimodal(title)；分类 cs.AI

AI总结 本文针对长文档多模态问答的重排序瓶颈，提出含Trident-R与Trident-S组件的Trident模型，通过多方面页面标注提升检索与生成性能，在多数据集上取得显著效果。

Foundation Models Adaptation for Multi-View Multi-modal Cardiac MRI Segmentation and Direct Ejection Fraction Estimation

基础模型在多视图多模态心脏MRI分割与直接射血分数估算中的适配

Sina Amirrajab, Cian M Scannell, Volker Vehof, Michael Bietenbeck, Ali Yilmaz

机构 * Maastricht University（马斯特里赫特大学） ； University Hospital Münster（明斯特大学医院） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 跨模态检索 ：multi-modal(title)；分类 cs.CV

AI总结 本研究针对CMR-Multi挑战，微调CineMA并组合冻结CMR基础模型，实现多视图CMR分割与直接LVEF估算，验证了基础模型适配多视图CMR分析的有效性。

Zero-Cost Virtual RNA: Approximating Immunotherapy Signatures via Cross-Modal WSI Retrieval

零成本虚拟RNA：通过跨模态WSI检索近似免疫治疗特征

Sigrid Vila-Bagaria, Mar Teixidó, Miquel Piñol, Felip Vilardell, Robert Montal, Veronica Vilaplana

机构 * Universitat Politècnica de Catalunya（加泰罗尼亚理工大学） ； IRB Lleida（莱里达生物医学研究所） 纠错

专题命中 跨模态检索 ：cross-modal(title)；分类 cs.CV

AI总结 针对胃腺癌免疫治疗RNA特征检测成本高的问题，提出VITA模型，通过H&E与RNA跨模态对齐实现仅用H&E切片近似RNA特征，取得0.72准确率等结果，提供低成本预筛选工具。

Comments Accepted to MIDL 2026 Short Paper track

On the modality gap and the contrastive loss in multi-modal representation learning

关于多模态表示学习中的模态差距和对比损失

Fabian Mager, Hiba Nassar, Lars Kai Hansen

机构 * Technical University of Denmark（丹麦技术大学） 纠错

专题命中 跨模态检索 ：multi-modal(title)；分类 cs.CV

AI总结 研究CLIP风格双编码器对比学习中的模态差距，发现是InfoNCE公式在低温下的模式失败所致。提出xNCE方法，使用跨模态和模态内负对比对，能缩小模态差距，提升零样本分类性能且不牺牲判别几何。

One Framework for All: Cross-Modal Membership Inference for Generative Models

一框架适用于所有：生成模型的跨模态成员推理

Dayong Ye, Tainqing Zhu, Kun Gao, Junhao Liu, Yichuan Chen, Shuai Zhou, Hengzhu Liu, Bo Liu, Wanlei Zhou

专题命中 跨模态检索 ：cross-modal(title)；分类 cs.AI

AI总结 研究生成模型的跨模态成员推理问题，基于生成模型输出分布可近似训练数据分布的特性，在共享嵌入空间建模，通过似然比测试推理，贡献统一框架，性能优于现有方法。

Heterogeneous Vision-Language Ensemble with Disagreement-Aware Reranking for Text-Based Person Anomaly Retrieval

用于基于文本的行人异常检索的、带分歧感知重排序的异构视觉语言集成方法

Huu-An Vu, Cam Tu Tran Thi, Thanh Toan Le Ngo, Hoang Vo, Do Trung Hieu, Hieu Dinh Trung Pham, Khang Minh Le, Huy Minh Nhat Nguyen

机构 * Hanoi University of Science and Technology（河内科技大学） ； University of Information Technology, VNU-HCM（胡志明市国家大学信息技术大学） ； Vietnam National University, Ho Chi Minh City（胡志明市国家大学） ； VinUniversity ； Vietnamese-German University（越南德国大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对大规模基于文本的行人异常检索难题，提出带分歧感知重排序的异构视觉语言集成方法，在PAB基准上取得90.92% mAP等优异指标，验证了方案有效性。

Comments Accepted at the ECCV 2026 Workshop

Controlling Embedding Spaces with Text-Conditioned Transformations

通过文本条件变换控制嵌入空间

Joseph Fioresi, Fabian Caba Heilbron, Pankaj Nathani, Mubarak Shah, Kushal Kafle

机构 * Institute of Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所） ； Adobe Research（Adobe研究院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究提出文本条件变换视觉嵌入，通过自然语言描述属性类别，网络生成仿射变换强调指定属性，能同时学习多属性，可在推理时访问，为控制嵌入空间提供统一高效框架，在多任务中展现近零推理成本的最优性能。

Comments Accepted at ECCV 2026

Expressivity In Multimodal Contrastive Learning

多模态对比学习中的表达能力

Andrew Stuart, Florian Wolf

专题命中 跨模态检索 ：multimodal(title)

AI总结 该研究针对多模态对比学习的表达能力展开分析，明确CLIP架构的表达能力随模态数量变化，提出Hadamard-CLIP模型，实现任意数量模态联合分布的通用近似且保留CLIP的检索优势。

Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities

强化学习引导的软融合检索用于缺失模态下的鲁棒多模态模仿学习

Hassan Ismkhan, Hamid Bouchahcia

机构 * Bournemouth University（伯恩茅斯大学） 纠错

专题命中 跨模态检索 ：multimodal(title)

AI总结 提出RL4IL方法，利用强化学习策略从训练库中检索最相关专家演示，并通过软交叉注意力融合生成动作，有效处理传感器缺失问题，在LIBERO基准上超越现有方法。

GLACIER: A Multimodal Student-Teacher Foundation Model for Molecular Property Prediction

GLACIER：用于分子性质预测的多模态师生基础模型

Emily Nguyen, Yongchan Hong, Harsh Toshniwal, Yan Liu, Andreas Luttens

机构 * Department of Computer Science, University of Southern California（南加州大学计算机科学系） ； Department of Quantitative and Computational Biology, University of Southern California（南加州大学定量与计算生物学系） ； Amazon（亚马逊） ； Department of Medical Biochemistry and Biophysics, Science for Life Laboratory, Karolinska Institutet（卡罗林斯卡学院医学生物化学与生物物理系，生命科学实验室） 纠错

专题命中 跨模态检索 ：multimodal(title)

AI总结 提出GLACIER师生框架，通过融合分子图、SMILES和物理化学描述符三种模态，并利用大模型蒸馏，实现高效准确的分子性质预测。

DSPrompt: Dynamic Soft Prompt Defense Against M-RAG Corruption

DSPrompt：针对M-RAG污染的动态软提示防御

Chang Liu, Yuni Lai, Mingyue Cui, Cong Tian, Yunyan Zhang, Xian Wu, Kai Zhou, Bin Xiao

专题命中 跨模态检索 ：multimodal(abstract,abstract_cn)；分类 cs.CL

AI总结 本文针对M-RAG面临的对抗攻击问题，提出DSPrompt动态软提示防御框架，通过在冻结检索器编码器插入可学习软提示，以低开销实现了优于现有方法的防御效果，同时维持检索与生成性能。

Disentangled Shared Representations Improve Morpho-Transcriptomic Integration

解耦共享表示可改进形态-转录组整合

Julian Ostermaier, Swann Ruyter, Reuben Dorent, Daniel Racoceanu

机构 * ESPCI Paris, PSL University（巴黎高等物理化工学院，PSL大学） ； Sorbonne Université（索邦大学） ； CNRS（法国国家科学研究中心） ； Inserm（法国国家健康与医学研究院） ； AP-HP（巴黎公共医疗集团） ； Inria（法国国家信息与自动化研究所） ； Paris Brain Institute – ICM（巴黎脑研究所 – ICM） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本研究针对空间转录组学的多模态表示学习问题，对比不同模型的标准与解耦变体，发现解耦共享与模态特有信息可提升相关指标，为多模态学习提供评估框架。

Perception Before Supervision: Self-Contained Visual Distillation from Counterfactual Blind Spots

监督之前的感知：来自反事实盲区的自包含视觉蒸馏

Shravan Venkatraman, Omkar Thawakar, Ritesh Thawkar, Abdelrahman Shaker, Rao Muhammad Anwer

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Aalto University（阿尔托大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 该研究提出首个完全自包含的视觉自蒸馏框架 CVPD，通过识别模型视觉盲区生成密集对比监督，在 Qwen3-VL-8B-Instruct 上的 12 个基准中优于 6 个自进化基线，取得多项指标提升且无性能倒退。

Comments BMVC 2026

DocTrace: Towards Traceable Long Document VQA via Hierarchical Evidence Graph Reasoning

DocTrace：面向可追溯的长文档视觉问答的分层证据图推理方法

Le Xiang, Zhicheng Guan, Hong Chen, Xiaocong Lin, Zhenghua Lei, Teng Hu, Bolei He, Long Zeng

专题命中 跨模态检索 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 本文提出DocTrace分层框架，将长文档视觉问答建模为显式证据图推理问题，经两阶段训练优化后，在三个基准上优于现有模型，且推理可追溯。