多模态大模型

TrafficRAG: A Multimodal RAG Framework for Traffic Accident Liability Determination

TrafficRAG：用于交通事故责任认定的多模态RAG框架

Xu Li, Zedong Fu, Xinyi Li, Xun Han

机构 * Southwest Petroleum University（西南石油大学） ； Sichuan Police College（四川警察学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出TrafficRAG框架，通过视觉语言模型生成结构化描述、混合检索获取法规和案例、大语言模型融合多模态证据进行推理，实现自动化交通事故责任分析报告生成。

Comments 12 pages, 3 figures, accepted at ICANN 2026

SpikeHash: Learning Binary Codes with Spiking Neural Networks for Cross-Modal Hashing Retrieval

SpikeHash: 使用脉冲神经网络学习二进制码用于跨模态哈希检索

Yukuan Zhang, Jiarui Zhao, Shangqing Nie, Shengsheng Wang

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.MM

AI总结 提出SpikeHash框架，通过脉冲状态演化、方向性脉冲交互和竞争性脉冲读出实现跨模态哈希检索，在三个基准数据集上取得竞争性检索精度并降低参数量和能耗。

UniNote: A Unified Embedding Model for Multimodal Representation and Ranking

UniNote: 一种用于多模态表示和排序的统一嵌入模型

Jinghan Zhao, Wenwei Jin, Anqi Li, Jintao Tong, Luya Mo, Jiawei Li, Bin Li, Yao Hu

机构 * Xiaohongshu Beijing China（小红书北京中国） ； Shanghai Jiao Tong University（上海交通大学） ； Huazhong University of Science and Technology（华中科技大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出UniNote统一嵌入模型，通过两阶段训练（对比SFT和强化学习）解决工业级Item-to-Item检索中全局表示与局部检索的平衡、解耦流水线效率及精度-延迟权衡问题，在小红书部署后显著提升检索质量和成本效率。

Comments Accepted by KDD Ads Track 2026

Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search

无推理多模态学习稀疏检索用于生产级视觉文档搜索

Gyu-Hwung Cho, Youngjune Lee, Kiyoon Jeong, Siyoung Lee, Sanggyu Han, Hervé Dejean, Stéphane Clinchant, Seung-won Hwang

机构 * NAVER Corp.（NAVER公司） ； Seoul National University（首尔国立大学） ； Naver Labs Europe（Naver欧洲实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出V-SPLADE，一种无需推理的稀疏检索器，通过标题门控令牌监督解决视觉稀疏表示中的词汇基础问题，在视觉文档检索中达到稠密级效果。

Comments 12 pages, 5 figures, 12 tables, preprint

DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories

DeepImageSearch: 多模态智能体在视觉历史中上下文感知图像检索的基准测试

Chenlong Deng, Mengjie Deng, Junjie Wu, Dun Zeng, Teng Wang, Qingsong Xie, Jiadeng Huang, Shengjie Ma, Changwang Zhang, Zhaoxiang Wang, Jun Wang, Yutao Zhu, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出DeepImageSearch范式，将图像检索重构为自主探索任务，通过构建DISBench基准和模块化智能体框架，验证了在视觉历史中基于隐式上下文线索进行多步推理的必要性。

Comments 18 pages, 6 figures

HiKEY: Hierarchical Multimodal Retrieval for Open-Domain Document Question Answering

HiKEY: 面向开放域文档问答的分层多模态检索

Joongmin Shin, Gyuho Shim, Jeongbae Park, Jaehyung Seo, Heuiseok Lim

机构 * Human-inspired AI Research, Korea University（韩国大学人机智能研究部） ； Computer Science and Engineering, Konkuk University（韩国康科大学计算机科学与工程系） ； Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出基于文档层次结构的分层多模态检索框架HiKEY，通过文档层次解析和粗到细的检索策略解决大规模工业语料中的路由失败和证据碎片化问题，在ODQA基准上检索召回率提升达12.9%，端到端QA性能提升达6.8%。

Comments Accepted to ACL2026 Main

FLUID: From Ephemeral IDs to Multimodal Semantic Codes for Industrial-Scale Livestreaming Recommendation

FLUID：从临时ID到多模态语义编码的工业级直播推荐

Xinhang Yuan, Zexi Huang, Anjia Cao, Xudong Lu, Zikai Wang, Penghao Zhou, Chang Liu, Wentao Guo, Qinglei Wang

机构 * TikTok（字节跳动） ； ByteDance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对直播推荐中ID冷启动问题，提出FLUID框架，通过跨域多模态编码器生成层次化语义编码LUCID替代候选侧ID，并采用分阶段预热方案，在工业级系统上取得显著提升。

KG-ViP: Bridging Knowledge Grounding and Visual Perception in Multi-modal LLMs for Visual Question Answering

KG-ViP：在多模态大语言模型中桥接知识基础与视觉感知以进行视觉问答

Zhiyang Li, Ao Ke, Yukun Cao, Xike Xie

机构 * University of Science and Technology of China（中国科学技术大学） ； Data Darkness Lab, MIRACLE Center, USTC（数据黑暗实验室，MIRACLE中心，中国科学技术大学） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出KG-ViP框架，通过检索与融合场景图和常识图，统一外部知识与细粒度视觉细节，缓解多模态大语言模型在视觉问答中的知识幻觉和视觉感知不足问题。

Brain-to-Image Retrieval and Reconstruction via Multimodal EEG Alignment

通过多模态EEG对齐实现脑到图像的检索与重建

Chi Kit Wong, Yan Liu, Haowen Yan

专题命中 跨模态检索 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

AI总结 提出一种脑到图像系统，通过多模态EEG对齐实现自然图像观看时的视觉刺激解码，在检索任务中达到86.30%的Top-1准确率，在重建任务中获得0.903的CLIP分数。

Comments 16 pages, 5 figures. Code available at: https://github.com/Chikit-WONG/DL_Project/

RAG4Outcome: A Retrieval-Augmented Multimodal Framework for Prognostic Prediction in Chronic Osteomyelitis

RAG4Outcome：用于慢性骨髓炎预后预测的检索增强多模态框架

Daqian Shi, Pei Han, Jishizhan Chen, Yang Wang, Xiaolei Diao, Xianyou Zheng, Pengfei Cheng

机构 * Queen Mary University of London（女王玛丽大学） ； Shanghai Sixth People’s Hospital Affiliated to SJTU School of Medicine（上海第六人民医院附属复旦大学医学院） ； University College London（大学学院伦敦） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出RAG4Outcome框架，通过检索增强生成技术融合PET-CT影像报告、结构化手术诊断记录和非结构化随访笔记等多模态临床数据，实现慢性骨髓炎的预后预测，提高可解释性和临床可靠性。

LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding

LFRAG：面向布局的多模态文档理解中的细粒度检索增强生成

Yifan Zhu, Yu Mi, Yue Lu, Yanchu Guan, Zhixuan Chu

机构 * Zhejiang University（浙江大学） ； Hangzhou High-Tech Zone (Binjiang) Zhejiang University Institute of Blockchain and Data Security（杭州高新技术区（滨江）浙江大学区块链与数据安全研究院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出LFRAG框架，通过布局分割和语义-布局融合编码器实现从页面级到块级的细粒度检索，提升多模态文档检索精度并减少生成冗余，在LFDocQA基准上取得最优性能。

TTE-Flash: Accelerating Reasoning-based Multimodal Representations via Think-Then-Embed Tokens

TTE-Flash: 通过思考-然后-嵌入标记加速基于推理的多模态表示

Jianpeng Cheng, Xian Wu, Jiangfan Zhang, Wentao Bao, Chaitanya Ahuja, Shlok Kumar Mishra, Hanchao Yu, Yang Gao, Fan Xia, Qi Guo, Shaodan Zhai, Xiangjun Fan, Jun Xiao

机构 * Meta AI 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出TTE-Flash模型，通过引入隐式思考标记替代显式推理链，实现多模态表示的高效推理。模型在MMEB-v2基准上优于显式CoT方法，且在零样本评估中展示了可扩展性。

ViDR: Grounding Multimodal Deep Research Reports in Source Visual Evidence

ViDR：基于源视觉证据的多模态深度研究报告 grounding

Zhuofan Shi, Peilun Jia, Baoqin Sun, Haiyang Shen, Sixiong Xie, Yun Ma, Xiang Jing

机构 * School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； National Key Laboratory of Data Space Technology and System（数据空间技术与系统国家重点实验室） ； School of Software Engineering, Beijing Jiaotong University（北京交通大学软件学院） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 ViDR通过源视觉证据构建多模态深度研究报告框架，提升报告质量与证据可验证性。

Gradient-Boosted Decision Tree for Listwise Context Model in Multimodal Review Helpfulness Prediction

基于列表式上下文模型的梯度提升决策树在多模态评论有用性预测中的应用

Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Anh Tuan Luu, Cong-Duy Nguyen, Zhen Hai, Lidong Bing

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； DAMO Academy（达摩院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出列表式注意力网络和梯度提升决策树，用于多模态评论有用性预测，以提升模型泛化能力与排名准确性。

Comments Published in ACL 2023 (Findings). Code is available at https://github.com/nguyentthong/gbdt_listwise_mrhp

Knowledge Poisoning Attacks on Medical Multi-Modal Retrieval-Augmented Generation

针对医疗多模态检索增强生成的知识污染攻击

Peiru Yang, Haoran Zheng, Tong Ju, Shiting Wang, Wanchun Ni, Jiajun Liu, Shangguang Wang, Yongfeng Huang, Tao Qi

机构 * Tsinghua University（清华大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Northwestern Polytechnical University（西北工业大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 跨模态检索 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出M³Att框架，针对医疗多模态RAG系统，通过在文本数据中注入隐蔽虚假信息并利用配对视觉数据作为查询无关触发器，提升检索概率，从而在不依赖用户查询先验知识的情况下实现知识污染攻击。

Comments Accepted by ACL 2026

Multimodal Cancer Modeling in the Age of Foundation Model Embeddings

多模态癌症建模：在基础模型嵌入时代

Steven Song, Morgan Borjigin-Wang, Irene Madejski, Robert L. Grossman

机构 * Center for Translational Data Science（转化数据科学中心） ； Department of Computer Science（计算机科学系） ； University of Chicago（芝加哥大学） ； Medical Scientist Training Program（医学科学家培训计划） ； Brown University（布朗大学） ； Section of Biomedical Data Science（生物医学数据科学部门） ； Department of Medicine（医学系） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文探讨了利用基础模型嵌入进行多模态癌症建模的可能性，展示了多模态融合的优势，并评估了病理报告文本和文本摘要对模型性能的影响。

Comments camera ready version for ML4H 2025, typo corrected

Journal ref Proceedings of the Fifth Machine Learning for Health Symposium, PMLR 297:202-227, 2026

Iterative Multimodal Retrieval-Augmented Generation for Medical Question Answering

迭代多模态检索增强生成用于医疗问答

Xupeng Chen, Binbin Shi, Chenqian Le, Jiaqi Zhang, Kewen Wang, Ran Gong, Jinhan Zhang, Chihang Wang

机构 * New York University, New York, USA（纽约大学） ； Tsinghua University, Beijing, China（清华大学） ； Independent Researcher（独立研究者） ； Chinese Academy of Sciences, Beijing, China（中国科学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 MED-VRAG通过多模态检索增强生成框架，利用文档页面图像而非OCR文本进行医疗问答，提升准确率至78.6%，并验证检索和迭代对问答性能的积极影响。

Learning Generalizable Multimodal Representations for Software Vulnerability Detection

学习通用的多模态表示以进行软件漏洞检测

Zeming Dong, Yuejun Guo, Qiang Hu, Yao Zhang, Maxime Cordy, Hao Liu, Mike Papadakis, Yongqiang Lyu

机构 * University of Luxembourg（卢森堡大学） ； Luxembourg Institute of Science and Technology（卢森堡科学与技术研究院） ； Tianjin University（天津大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出MultiVul框架，通过双相似性学习和一致性正则化对代码和注释进行多模态对齐，提升漏洞检测的泛化能力，实验表明在多个数据集上优于传统方法。

Beyond Static Collision Handling: Adaptive Semantic ID Learning for Multimodal Recommendation at Industrial Scale

超越静态碰撞处理：面向工业级多模态推荐的自适应语义ID学习

Yongsen Pan, Yuxin Chen, Zheng Hu, Xu Yuan, Daoyuan Wang, Yuting Yin, Songhao Ni, Hongyang Wang, Jun Wang, Fuji Ren, Wenwu Ou

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文提出AdaSID框架，通过两阶段过程自适应处理多模态推荐中的语义ID碰撞问题，提升召回率和NDCG，并在工业场景中取得显著效果。

VTouch++: A Multimodal Dataset with Vision-Based Tactile Enhancement for Bimanual Manipulation

VTouch++：一个用于双臂操作的多模态数据集，具有基于视觉的触觉增强

Qianxi Hua, Xinyue Li, Zheng Yan, Yang Li, Chi Zhang, Yongyao Li, Yufei Liu

机构 * Humanoid Robot (Shanghai) Co., Ltd.（人形机器人（上海）有限公司） ； Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学） ； School of Astronautics, Harbin Institute of Technology（航天学院，哈尔滨工程大学） 纠错

专题命中 跨模态检索 ：multimodal(title)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出VTouch++数据集，通过视觉触觉传感提供高保真的物理交互信号，采用矩阵式任务设计实现系统学习，并利用自动化数据采集管道确保可扩展性，通过跨模态检索和真实机器人评估验证其有效性。

Multi-Perspective Evidence Synthesis and Reasoning for Unsupervised Multimodal Entity Linking

多视角证据综合与推理用于无监督多模态实体链接

Mo Zhou, Jianwei Wang, Kai Wang, Helen Paik, Ying Zhang, Wenjie Zhang

机构 * The University of New South Wales（新南威尔士大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Technology Sydney（技术大学悉尼） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出MSR-MEL框架，通过多视角证据综合与推理提升无监督多模态实体链接性能，采用图神经网络和大语言模型进行证据整合与推理，实验表明优于现有方法。

Prioritizing the Best: Incentivizing Reliable Multimodal Reasoning by Rewarding Beyond Answer Correctness

优先选择最佳：通过奖励超越答案正确性来激励可靠的多模态推理

Mengzhao Jia, Zhihan Zhang, Meng Jiang

机构 * University of Notre Dame（北德克萨斯大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出Groupwise Ranking Reward方法，通过在单次遍历中对相同提示下的验证通过轨迹进行排名并重新分配奖励，有效缓解多模态强化学习中的推理-答案不一致问题，提升可靠性条件下的准确率。

PLUME: Latent Reasoning Based Universal Multimodal Embedding

PLUME：基于潜在推理的通用多模态嵌入

Chenwei He, Xiangzhao Hao, Tianyu Yang, Yuxiang Ma, Yuheng Jia, Lingxiang Wu, Chaoyang Zhao, Haiyun Guo, Jinqiao Wang

机构 * Southeast University（东南大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 PLUME通过引入潜在推理框架改进通用多模态嵌入，用连续潜在状态的自回归滚动替代显式推理链，减少推理开销并提升效率，优于传统显式推理方法。

LVLM-Aware Multimodal Retrieval for RAG-Based Medical Diagnosis with General-Purpose Models

面向RAG的医疗诊断的LVLM感知多模态检索

Nir Mazor, Tom Hope

机构 * School of Computer Science and Engineering, The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校计算机科学与工程学院） ； The Allen Institute for AI (AI2)（人工智能研究院（AI2）） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出轻量级机制提升检索增强LVLM的诊断性能，通过轻量微调和通用模型实现临床分类和VQA任务的竞争力结果，并分析不一致检索预测问题。

Cross-Modal Knowledge Distillation for PET-Free Amyloid-Beta Detection from MRI

跨模态知识蒸馏用于无PET的MRI淀粉样蛋白β检测

Francesco Chiumento, Julia Dietlmeier, Ronan P. Killeen, Kathleen M. Curran, Noel E. O'Connor, Mingming Liu

机构 * Dublin City University（都柏林城市大学） ； Insight Research Ireland Centre for Data Analytics（爱尔兰Insight研究数据分析师中心） ； St. Vincent’s University Hospital（圣文森医院） ； University College Dublin（都柏林大学） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出一种基于BiomedCLIP的跨模态知识蒸馏框架，利用MRI单独预测淀粉样蛋白β，无需PET或临床变量，实现了可解释的无PET检测方法。

Comments Accepted to CVPR Workshops 2026 (PHAROS-AIF-MIH)

Human-Inspired Context-Selective Multimodal Memory for Social Robots

以人为本的上下文选择性多模态记忆用于社交机器人

Hangyeol Kang, Slava Voloshynovskiy, Nadia Magnenat Thalmann

机构 * Department of Computer Science, University of Geneva（日内瓦大学计算机科学系） ； MIRALab, University of Geneva（日内瓦大学MIRALab） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种以人为本的多模态记忆架构，用于社交机器人，通过捕捉和检索文本和视觉事件痕迹，提升个性化和上下文感知的交互能力。

Comments Proc. of the 25th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2026)

Bottleneck Tokens for Unified Multimodal Retrieval

瓶颈令牌用于统一多模态检索

Siyu Sun, Jing Ren, Zhaohe Liao, Dongxiao Mao, Xiangyuan Ren, Yiyi Zhang, Haohua Zhao, Weixiong Lin, Jiang Shaohua, Liqing Zhang, Yuchao Zheng

机构 * Shanghai Jiao Tong University（上海交通大学） ； ByteDance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出瓶颈令牌和生成信息压缩方法，解决多模态大语言模型在统一检索中的隐式池化和对比微调问题，提升语义压缩效果。

Spotlight and Shadow: Attention-Guided Dual-Anchor Introspective Decoding for MLLM Hallucination Mitigation

聚光与阴影：基于注意力的双锚点反思解码用于MLLM幻觉缓解

Yebo Wu, Han Jin, Zhijiang Guo, Li Li

机构 * State Key Laboratory of IOTSC, University of Macau（澳门大学物联网国家重点实验室） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 跨模态检索 ：MLLM(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出双锚点反思解码框架DaID，通过动态校准每个token生成来缓解MLLM幻觉，利用视觉注意力分布指导双锚点选择，提升推理能力。

Comments Accepted for Findings of ACL 2026

Task-Adaptive Retrieval over Agentic Multi-Modal Web Histories via Learned Graph Memory

基于学习图记忆的代理多模态网络历史任务自适应检索

Saman Forouzandeh, Kamal Berahmand, Mahdi Jalili

机构 * School of Engineering, Royal Melbourne Institute of Technology University（皇家墨尔本理工大学工程学院） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本文提出ACGM方法，通过任务自适应图记忆检索代理历史，利用策略梯度优化提升检索质量，在多个数据集上取得显著成果。

Comments The 49th International ACM SIGIR Conference on Research and Development in Information Retrieval

ARIA: Adaptive Retrieval Intelligence Assistant -- A Multimodal RAG Framework for Domain-Specific Engineering Education

ARIA：自适应检索智能助手——面向领域特定工程教育的多模态RAG框架

Yue Luo, Dibakar Roy Sarkar, Rachel Herring Sangree, Somdatta Goswami

机构 * Dalian University of Technology（大连理工大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 ARIA通过多模态内容提取管道和e5-large-v2模型，实现领域特定工程教育的智能教学助手，展现高精度和教学一致性，验证了其在课程相关问题上的高准确率和响应质量。