多模态大模型

U-MARVEL: Unveiling Key Factors for Universal Multimodal Retrieval via Embedding Learning with MLLMs

通过嵌入学习与大语言模型揭示通用多模态检索的关键因素：U-MARVEL

Xiaojie Li, Chu Li, Shi-Zhe Chen, Xi Chen

机构 * Tencent PCG（腾讯PCG） ； Nanjing University（南京大学） ； ByteDance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 U-MARVEL通过嵌入学习与大语言模型揭示通用多模态检索的关键因素，实现超越现有方法的性能。

Comments Accepted to ICLR 2026

Journal ref International Conference on Learning Representations (ICLR), 2026

Orthogonalized Multimodal Contrastive Learning with Asymmetric Masking for Structured Representations

正交化多模态对比学习与不对称掩码用于结构化表示

Carolin Cissee, Raneen Younis, Zahra Ahmadi

机构 * Peter L. Reichertz Institute for Medical Informatics of TU Braunschweig and Hannover Medical School（图林根工业大学和汉诺威医学院医学信息学研究所） ； Lower Saxony Center for AI and Causal Methods in Medicine (CAIMed)（下萨克森人工智能与因果医学中心（CAIMed）） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 COrAL通过正交化多模态对比学习与不对称掩码，显式保留冗余、独特和协同信息，提升多模态表示的稳定性与全面性。

ML-ECS: A Collaborative Multimodal Learning Framework for Edge-Cloud Synergies

ML-ECS: 一种用于边缘-云协同的协同多模态学习框架

Yuze Liu, Shibo Chu, Tiehua Zhang, Hao Zhou, Zhishu Shen, Jinze Wang, Jianzhong Qi, Feng Xia

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 ML-ECS提出了一种协同多模态学习框架，通过跨模态对比学习、自适应多模态调节、模态感知聚合和SLM增强的CCL，实现边缘-云协同中的高效知识转移与性能提升。

MRMR: A Realistic and Expert-Level Multidisciplinary Benchmark for Reasoning-Intensive Multimodal Retrieval

MRMR：一个面向推理密集型多模态检索的现实且专家级多学科基准

Siyue Zhang, Yuan Gao, Xiao Zhou, Yilun Zhao, Tingyu Song, Arman Cohan, Anh Tuan Luu, Chen Zhao

专题命中 跨模态检索 ：multimodal(title,abstract)；image-text(abstract)

AI总结 MRMR是一个面向推理密集型多模态检索的现实且专家级多学科基准，通过多领域查询和混合模态数据推动检索模型的改进。

Towards Spatial Transcriptomics-driven Pathology Foundation Models

迈向基于空间转录组的病理基础模型

Konstantin Hemker, Andrew H. Song, Cristina Almagro-Pérez, Guillaume Jaume, Sophia J. Wagner, Anurag Vaidya, Nikola Simidjievski, Mateja Jamnik, Faisal Mahmood

机构 * Department of Pathology, Mass General Brigham, Harvard Medical School, Boston, MA, USA（病理学系，马萨诸塞州总医院与哈佛医学院，波士顿，马萨诸塞州，美国） ； Department of Computer Science & Technology, University of Cambridge, Cambridge, UK（计算机科学与技术系，剑桥大学，剑桥，英国） ； Cancer Program, Broad Institute of Harvard and MIT, Cambridge, MA, USA（癌症计划，哈佛与麻省理工联合学院，剑桥，马萨诸塞州，美国） ； Data Science Program, Dana-Farber Cancer Institute, Boston, MA, USA（数据科学计划，达纳-法伯癌症研究所，波士顿，马萨诸塞州，美国） ； Harvard-MIT Division of Health Sciences and Technology, Massachusetts Institute of Technology, Cambridge, MA, USA（哈佛-麻省理工健康科学与技术 division，麻省理工学院，剑桥，马萨诸塞州，美国） ； Télécom Paris, Institut Polytechnique de Paris, Paris, France（巴黎电信学院，巴黎理工学院，巴黎，法国） ； Harvard Data Science Initiative, Harvard University, Cambridge, MA, USA（哈佛大学数据科学倡议，哈佛大学，剑桥，马萨诸塞州，美国） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 SEAL通过整合局部分子信息提升病理基础模型性能，实现跨模态应用与领域泛化。

BLUEPRINT Rebuilding a Legacy: Multimodal Retrieval for Complex Engineering Drawings and Documents

BLUEPRINT 重筑遗产：面向复杂工程图纸和文档的多模态检索

Ethan Seefried, Ran Eldegaway, Sanjay Das, Nathaniel Blanchard, Tirthankar Ghosal

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） ； Colorado State University（科罗拉多州立大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 Blueprint通过布局感知的多模态检索系统，提升对复杂工程图纸和文档的自动化检索能力，实现结构化元数据生成与跨设施搜索效率提升。

Comments 20 pages 8 main + 12 appendix + references

MarsRetrieval: Benchmarking Vision-Language Models for Planetary-Scale Geospatial Retrieval on Mars

MarsRetrieval: 用于火星尺度地理空间检索的视觉-语言模型基准测试

Shuoyuan Wang, Yiran Wang, Hongxin Wei

机构 * Department of Statistics and Data Science（统计与数据科学系） ； Department of Earth and Space Sciences（地球与空间科学系） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 MarsRetrieval提出了一种用于评估视觉-语言模型在火星地理空间发现中检索能力的基准测试，强调领域特定微调对可推广发现的重要性。

Fusing Pixels and Genes: Spatially-Aware Learning in Computational Pathology

融合像素与基因：计算病理学中的空间感知学习

Minghao Han, Dingkang Yang, Linhao Qu, Zizhi Chen, Gang Li, Han Wang, Jiacong Wang, Lihua Zhang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Fysics Intelligence Technologies Co., Ltd. (Fysics AI)（菲茨斯智能科技有限公司（菲茨斯AI）） ； Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） ； Tencent Youtu Lab（腾讯优图实验室） ； ByteDance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 STAMP通过整合空间解析基因表达数据，提升计算病理学中多模态学习的性能与泛化能力。

Comments accepted by ICLR 2026, 34 pages, 10 figures, 7tables

Explainable Interictal Epileptiform Discharge Detection Method Based on Scalp EEG and Retrieval-Augmented Generation

基于头皮 EEG 和检索增强生成的可解释性癫痫发作前放电检测方法

Yu Zhu, Jiayang Guo, Jun Jiang, Peipei Gu, Xin Shu, Duo Chen

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出了一种基于头皮 EEG 和检索增强生成的可解释性癫痫发作前放电检测方法，通过双编码器和对比学习提升诊断性能和临床可解释性。