多模态大模型

ThinkOmni: Lifting Textual Reasoning to Omni-modal Scenarios via Guidance Decoding

ThinkOmni: 通过指导解码将文本推理提升到多模态场景

Yiran Guan, Sifan Tu, Dingkang Liang, Linghao Zhu, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 跨模态检索 ：omni-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 ThinkOmni提出一种无需训练和数据的框架，通过指导解码将文本推理扩展到多模态场景，实验显示在多个多模态推理基准上取得显著提升。

Comments Accept by ICLR 2026, Code: https://github.com/1ranGuan/thinkomni

FinMMDocR: Benchmarking Financial Multimodal Reasoning with Scenario Awareness, Document Understanding, and Multi-Step Computation

FinMMDocR：基于场景意识、文档理解与多步骤计算的金融多模态推理基准测试

Zichen Tang, Haihong E, Rongjin Li, Jiacheng Liu, Linwei Jia, Zhuodi Hao, Zhongjun Yang, Yuanze Li, Haolin Tian, Xinyi Hu, Peizhi Zhao, Yuan Liu, Zhengyu Wang, Xianghe Wang, Yiling Huang, Xueyuan Lin, Ruofei Bai, Zijian Xie, Qian Huang, Ruining Cao, Haocheng Gao

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 FinMMDocR通过引入场景意识、文档理解和多步骤计算，推动多模态大语言模型在现实金融场景中的推理能力提升，其包含12种隐含金融场景、9类丰富文档及平均11步推理任务。

Comments Accepted by AAAI-26 Main Track

Journal ref Proc. AAAI 2026 (Vol. 40, No. 30), pages 25858-25866

Evo-Retriever: LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval

Evo-Retriever：基于观点-路径协作的LLM引导课程进化多模态文档检索框架

Weiqing Li, Jinyue Guo, Yaqi Wang, Haiyang Xiao, Yuewei Zhang, Guohua Liu, Hao Henry Wang

机构 * Alibaba Cloud Computing（阿里巴巴云计算） 纠错

专题命中 跨模态检索 ：multimodal(title)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出Evo-Retriever框架，通过LLM引导的课程进化和观点-路径协作提升多模态文档检索性能，实现在ViDoRe V2和MMEB数据集上达到SOTA水平。

Comments Accepted by CVPR2026

Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings

Embed-RL: 用于推理驱动的多模态嵌入的强化学习

Haonan Jiang, Yuji Wang, Yongjie Zhu, Xin Lu, Wenyu Qin, Meng Wang, Pengfei Wan, Yansong Tang

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出基于嵌入引导强化学习的推理驱动多模态嵌入框架，通过生成证据可追溯的推理链提升多模态嵌入质量，实现跨模态语义一致性增强和细粒度匹配能力提升。

Comments Correcting errors and improving organizational logic

Traffic-MLLM: Curiosity-Regularized Supervised Learning for Traffic Scenario Case-Based Reasoning

Traffic-MLLM: 基于好奇心正则化的交通场景案例推理监督学习

Waikit Xiu, Qiang Lu, Bingchen Liu, Chen Sun, Xiying Li

机构 * The University of Hong Kong（香港大学） ； Sun Yat-sen University（中山大学） ； University of Bristol（布里斯托大学） 纠错

专题命中 跨模态检索 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 Traffic-MLLM通过好奇心驱动的结构化案例学习，提升多模态交通场景推理的鲁棒性和适应性。

MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents

MultiHaystack：用于40,000张图像、视频和文档的多模态检索和推理的基准测试

Dannong Xu, Zhongyu Yang, Jun Chen, Yingfang Yuan, Ming Hu, Lei Sun, Luc Van Gool, Danda Pani Paudel, Chun-Mei Feng

机构 * INSAIT ； Lanzhou University（兰州大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹科学与技术大学） ； Heriot-Watt University（赫瑞-沃德大学） ； Monash University（莫纳什大学） ； University College Dublin（都柏林大学学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 MultiHaystack是首个评估大规模异构多模态检索与推理的基准测试，揭示了MLLMs在异构语料库中检索证据时的性能瓶颈。

RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal Large Language Model

RAG-Driver: 多模态大语言模型中基于检索的可泛化驾驶解释

Jianhao Yuan, Shuyang Sun, Daniel Omeiza, Bo Zhao, Paul Newman, Lars Kunze, Matthew Gadd

机构 * University of Oxford（牛津大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 RAG-Driver通过检索增强的上下文学习，实现高性能、可解释和可泛化的自动驾驶系统。

Comments 14 pages, 6 figures

Journal ref Robotics: Science and Systems (RSS) 2024

Hidden in the Metadata: Stealth Poisoning Attacks on Multimodal Retrieval-Augmented Generation

元数据中的隐藏攻击：多模态检索增强生成中的隐秘污染攻击

Kennedy Edemacu, Mohammad Mahdi Shokri

机构 * The City University of New York, CSI, Staten Island, NY 10314, USA（纽约城市大学，CSI，史泰登岛分校） ； The City University of New York, Graduate Center, New York, NY 10016, USA（纽约城市大学研究生中心） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.AI

AI总结 本研究提出MM-MEPA，一种通过操纵多模态检索条目元数据来影响模型响应的隐秘污染攻击，展示了其在多模态RAG系统中的高攻击成功率和防御不足问题。

V-Retrver: Evidence-Driven Agentic Reasoning for Universal Multimodal Retrieval

V-Retrver: 以证据驱动的代理推理用于通用多模态检索

Dongyang Chen, Chaoyang Wang, Dezhao Su, Xi Xiao, Zeyu Zhang, Jing Xiong, Qing Li, Yuzhang Shang, Shichao Kan

机构 * Tsinghua University（清华大学） ； University of Central Florida（中央佛罗里达大学） ； Fudan University（复旦大学） ； The Australian National University（澳大利亚国立大学） ； The University of Hong Kong（香港大学） ； Pengcheng Laboratory（鹏城实验室） ； Central South University（中南大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 V-Retrver通过引入证据驱动的代理推理机制，提升多模态检索的准确率和推理可靠性。

Comments Project page: https://github.com/chendy25/V-Retrver

Retrieval Augmented Enhanced Dual Co-Attention Framework for Target Aware Multimodal Bengali Hateful Meme Detection

基于检索增强的增强双注意力框架的目标感知多模态孟加拉语仇恨表情识别

Raihan Tanvir, Md. Golam Rabiul Alam

机构 * Department of Computer Science and Engineering, BRAC University（计算机科学与工程系，BRAC大学） ； Department of Computer Science and Engineering, Ahsanullah University of Science and Technology（计算机科学与工程系，Ahsanullah科技大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出基于检索增强的增强双注意力框架，用于目标感知多模态孟加拉语仇恨表情识别，通过语义对齐提升类别平衡和多样性，实验表明xDORA和RAG-Fused DORA在识别和检测任务中表现优异。

CREM: Compression-Driven Representation Enhancement for Multimodal Retrieval and Comprehension

CREM: 为多模态检索与理解的压缩驱动表示增强

Lihao Liu, Yan Wang, Biao Yang, Da Li, Jiangxia Cao, Yuxiao Luo, Xiang Chen, Xiangyu Wu, Wei Yuan, Fan Yang, Guiguang Ding, Tingting Gao, Guorui Zhou

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 CREM通过压缩驱动的表示增强方法，在提升多模态检索性能的同时保持生成能力，实现生成与嵌入任务的统一优化。

BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning

BadCLIP++: 多模态对比学习中隐蔽且持久的后门

Siyuan Liang, Yongcheng Jing, Yingjie Wang, Jiaxing Huang, Ee-chien Chang, Dacheng Tao

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 BadCLIP++通过语义融合触发器和参数稳定技术，实现了多模态对比学习中隐蔽且持久的后门攻击，实验显示其在低污染率下具有高攻击成功率。

Comments 25 pages, 10 figures

U-MARVEL: Unveiling Key Factors for Universal Multimodal Retrieval via Embedding Learning with MLLMs

通过嵌入学习与大语言模型揭示通用多模态检索的关键因素：U-MARVEL

Xiaojie Li, Chu Li, Shi-Zhe Chen, Xi Chen

机构 * Tencent PCG（腾讯PCG） ； Nanjing University（南京大学） ； ByteDance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 U-MARVEL通过嵌入学习与大语言模型揭示通用多模态检索的关键因素，实现超越现有方法的性能。

Comments Accepted to ICLR 2026

Journal ref International Conference on Learning Representations (ICLR), 2026

MLDocRAG: Multimodal Long-Context Document Retrieval Augmented Generation

MLDocRAG: 多模态长上下文文档检索增强生成

Yongyue Zhang, Yaxiong Wu

机构 * Independent Researcher（独立研究者） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 MLDocRAG通过构建多模态片段-查询图，实现多模态长上下文文档的检索增强生成，提升问答的准确性和连贯性。

Comments 15 pages

Toward Effective Multimodal Graph Foundation Model: A Divide-and-Conquer Based Approach

迈向有效的多模态图基础模型：基于分而治之的方法

Sicheng Liu, Xunkai Li, Daohan Su, Ru Zhang, Hongchao Qin, Ronghua Li, Guoren Wang

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 PLANET提出了一种基于分而治之的方法，通过解耦模态交互和对齐，提升多模态图基础模型的性能。

Comments 20 pages, 6 figures

MMSF: Multitask and Multimodal Supervised Framework for WSI Classification and Survival Analysis

MMSF：多任务和多模态监督框架用于WSI分类和生存分析

Chengying She, Chengwei Chen, Xinran Zhang, Ben Wang, Lizhuang Liu, Chengwei Shao, Yun Bian

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Advanced Research Institute, Chinese Academy of Sciences（中国科学院上海先进研究院） ； Department of Radiology, Changhai Hospital（昌海医院放射科） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 MMSF通过多任务和多模态监督框架，结合组织拓扑和临床数据，提升全滑片图像分类和生存分析的准确性和预后预测能力。

Comments Submitted to "Biomedical Signal Processing and Control"

$G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA

$G^2$-Reader: 双重演化图式用于多模态文档问答

Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Intelligent Game and Decision Laboratory（智能游戏与决策实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 $G^2$-Reader通过双重图式解决多模态文档问答中的结构破坏和检索失效问题，实现66.21%的高准确率。

Evaluating Perspectival Biases in Cross-Modal Retrieval

评估跨模态检索中的视角偏差

Teerapol Saengsukhiran, Peerawat Chomphooyod, Narabodee Rodjananant, Chompakorn Chaksangchaichot, Patawee Prakrankamanant, Witthawin Sripheanpol, Pak Lovichit, Sarana Nutanong, Ekapol Chuangsuwanich

机构 * Department of Computer Engineering, Chulalongkorn University（楚莱隆坤大学计算机工程系） ； School of Information Science and Technology, VISTEC（信息科学与技术学院，VISTEC） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CL

AI总结 本文提出3XCM基准，揭示跨模态检索中语言和文化偏见的影响，强调需通过解耦策略实现公平检索。

TelcoAI: Advancing 3GPP Technical Specification Search through Agentic Multi-Modal Retrieval-Augmented Generation

TelcoAI: 通过代理多模态检索增强生成技术推进3GPP技术规范搜索

Rahul Ghosh, Chun-Hao Liu, Gaurav Rele, Vidya Sagar Ravipati, Hazar Aouad

机构 * Generative AI Innovation Center, Amazon Web Services (AWS)（生成式AI创新中心，亚马逊网络服务） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 TelcoAI通过代理多模态检索增强生成技术，提升3GPP技术规范搜索的准确性和效率，实现87%的召回率和16%的性能提升。

Comments Accepted to IJCNLP-AACL 2025

Evolving Without Ending: Unifying Multimodal Incremental Learning for Continual Panoptic Perception

无止境的进化：统一多模态增量学习以实现持续全景感知

Bo Yuan, Danpei Zhao, Wentao Li, Tian Li, Zhiguo Jiang

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种统一多模态和多任务持续学习的持续全景感知模型，通过跨模态编码器和可变知识继承模块解决灾难性遗忘问题，并在多任务增量场景中实现模型进化。

Comments arXiv admin note: substantial text overlap with arXiv:2407.14242

Qwen3-VL-Embedding and Qwen3-VL-Reranker: A Unified Framework for State-of-the-Art Multimodal Retrieval and Ranking

Qwen3-VL-Embedding 和 Qwen3-VL-Reranker：面向最新多模态检索与排序的统一框架

Mingxin Li, Yanzhao Zhang, Dingkun Long, Keqin Chen, Sibo Song, Shuai Bai, Zhibo Yang, Pengjun Xie, An Yang, Dayiheng Liu, Jingren Zhou, Junyang Lin

专题命中 跨模态检索 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CL

AI总结 Qwen3-VL-Embedding和Qwen3-VL-Reranker通过统一框架实现多模态检索与排序的高精度性能。

Think Then Embed: Generative Context Improves Multimodal Embedding

思考后再嵌入：生成性上下文提升多模态嵌入

Xuanming Cui, Jianpeng Cheng, Hong-you Chen, Satya Narayan Shukla, Abhijeet Awasthi, Xichen Pan, Chaitanya Ahuja, Shlok Kumar Mishra, Yonghuan Yang, Jun Xiao, Qi Guo, Ser-Nam Lim, Aashu Singh, Xiangjun Fan

机构 * AI at Meta（Meta人工智能部门） ； University of Central Florida（中央佛罗里达大学） ； New York University（纽约大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本研究提出Think-Then-Embed框架，通过生成性推理提升多模态嵌入性能，实现更高效的复杂指令处理。

BayesRAG: Probabilistic Mutual Evidence Corroboration for Multimodal Retrieval-Augmented Generation

BayesRAG: 基于概率互证的多模态检索增强生成

Xuan Li, Yining Wang, Haocai Luo, Shengping Liu, Jerry Liang, Ying Fu, Weihuang, Jun Yu, Junnan Zhu

机构 * University of Science and Technology of China（中国科学技术大学） ； Unisound AI Technology Co.Ltd（Unisound AI技术有限公司） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 BayesRAG通过概率互证机制提升多模态检索增强生成的性能，有效解决异构模态的隔离问题。

Comments 17 pages, 8 figures

LiteFusion: Taming 3D Object Detectors from Vision-Based to Multi-Modal with Minimal Adaptation

LiteFusion: 从基于视觉到多模态的3D目标检测器的最小适应

Xiangxuan Ren, Zhongdao Wang, Pin Tang, Guoqing Wang, Jilai Zheng, Chao Ma

机构 * China Ministry of Education (MOE) Key Laboratory of Artificial Intelligence（中国教育部人工智能重点实验室） ； Artificial Intelligence Institute, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 LiteFusion通过将LiDAR数据作为补充几何信息源，无需专用LiDAR编码器，显著提升多模态3D目标检测性能。

Comments 13 pages, 9 figures, 8 tables

SIGMMA: Hierarchical Graph-Based Multi-Scale Multi-modal Contrastive Alignment of Histopathology Image and Spatial Transcriptome

SIGMMA：基于层次图的多尺度多模态对比对齐：组织病理图像与空间转录组

Dabin Jeong, Amirhossein Vahidi, Ciro Ramírez-Suástegui, Marie Moullet, Kevin Ly, Mohammad Vali Sanian, Sebastian Birk, Yinshui Chang, Adam Boxall, Daniyal Jafree, Lloyd Steele, Vijaya Baskar MS, Muzlifah Haniffa, Mohammad Lotfollahi

机构 * Wellcome Sanger Institute（沃森桑格研究所） ； Cambridge Centre for AI in Medicine（剑桥人工智能医学中心） ； Institute of AI for Health（人工智能与健康研究所） ； Cambridge Stem Cell Institute（剑桥干细胞研究所） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 SIGMMA通过多尺度多模态对比对齐，提升组织病理图像与空间转录组的跨模态对应表示，提高基因表达预测和跨模态检索性能。

VLM2GeoVec: Toward Universal Multimodal Embeddings for Remote Sensing

VLM2GeoVec：迈向通用遥感多模态嵌入

Emanuel Sánchez Aimar, Gulnaz Zhambulova, Fahad Shahbaz Khan, Yonghao Xu, Michael Felsberg

机构 * Linköping University（_linköping大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 VLM2GeoVec通过单编码器对比学习实现遥感多模态嵌入，统一可扩展检索与区域推理，提升遥感场景分析的连贯性。

Comments 21 pages, 7 figures, under review

RingMoE: Mixture-of-Modality-Experts Multi-Modal Foundation Models for Universal Remote Sensing Image Interpretation

RingMoE：面向通用遥感图像解释的多模态专家混合多模态基础模型

Hanbo Bi, Yingchao Feng, Boyuan Tong, Mengyu Wang, Haichen Yu, Yongqiang Mao, Hao Chang, Wenhui Diao, Peijin Wang, Yue Yu, Hanyang Peng, Yehong Zhang, Kun Fu, Xian Sun

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航天信息研究所） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Key Laboratory of Target Cognition and Application Technology(TCAT), Aerospace Information Research Institute, Chinese Academy of Sciences（目标认知与应用技术重点实验室） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Peng Cheng Laboratory, Shenzhen（鹏城实验室） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 RingMoE是一种多模态专家混合模型，通过自监督学习和物理信息嵌入，提升遥感图像的多模态处理能力，实现从单模态到多模态的高效适应。

Towards Explainable Bilingual Multimodal Misinformation Detection and Localization

迈向可解释的双语多模态虚假信息检测与定位

Yiwei He, Zhenglin Huang, Haiquan Wen, Tianxiao Li, Yi Dong, Hao Fei, Baoyuan Wu, Guangliang Cheng

机构 * University of Liverpool, United Kingdom（利物浦大学） ； National University of Singapore, Singapore（新加坡国立大学） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 BiMi提出双语多模态框架，通过联合定位、一致性检测和自然语言解释，提升多语言虚假信息检测的准确性和可解释性。

Adversarial Confusion Attack: Disrupting Multimodal Large Language Models

对抗混淆攻击：破坏多模态大语言模型

Jakub Hoscilowicz, Artur Janicki

机构 * Warsaw University of Technology（华沙技术大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL

AI总结 本文提出对抗混淆攻击，通过生成扰动破坏多模态大语言模型的可靠性，展示其在不同模型上的有效性。

Better, Stronger, Faster: Tackling the Trilemma in MLLM-based Segmentation with Simultaneous Textual Mask Prediction

更优、更强、更快：在基于多模态大语言模型的分割中解决三重困境

Jiazhen Liu, Mingkuan Feng, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 跨模态检索 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 STAMP通过同时预测文本和分割掩码，解决了多模态大语言模型在保持对话能力、高分割性能和快速推理间的三重困境。