Context Attentive Document Ranking and Query Suggestion
我们提出了一个上下文感知的神经排序模型，利用用户的任务搜索活动，提高检索性能。特别是，一个两级层次递归神经网络被引入到学习搜索上下文表示的个人查询，搜索任务，以及相应的依赖结构，通过共同优化两个同伴检索任务：文档排序和查询建议。为了识别搜索上下文和用户正在进行的搜索活动之间的变量依赖结构，在两个层次的经常性状态的注意力。广泛的实验比较，对一组丰富的基线方法和深入的消融分析证实了我们提出的方法建模搜索上下文埋在搜索任务的价值。
2019-06-05 cs.IR
Policy-Grounded Dynamic Facet Suggestions for Job Search
LinkedIn Corporation（LinkedIn公司）
本文提出动态面建议（DFS）以提高求职搜索中的意图识别和相关职位检索，通过实时个性化语义属性推荐，结合离线分类整理、嵌入检索和小语言模型评分，提升建议精度和用户参与度。
2026-05-15 cs.AI cs.IR
Mr. Right: Multimodal Retrieval on Representation of ImaGe witH Text
多模态学习是最近的一个挑战，它通过将其领域推广到不同的模态（如文本、图像或语音）来扩展单模态学习。这种扩展要求模型处理和关联来自多个模态的信息。在信息检索中，传统的检索任务关注的是单峰文档和查询之间的相似性，而图像-文本检索则假设大多数文本都包含来自图像的场景上下文。这种分离忽略了现实世界的查询可能涉及文本内容，图像标题，或两者兼而有之。为了解决这个问题，我们介绍了多模态检索表示的ImaGe witH文本（右先生），一种新颖的和全面的数据集多模态检索。我们利用维基百科数据集与富文本图像的例子，并生成三种类型的基于文本的查询与不同的模态信息：文本相关，图像相关，和混合。为了验证我们的数据集的有效性，我们提供了一个多模态训练范例，并评估以前的文本检索和图像检索框架。结果表明，提出的多模态检索可以提高检索性能，但创建一个良好的统一的文档表示与文本和图像仍然是一个挑战。我们希望Mr. Right能使我们更好地扩展现有的检索系统，并有助于加速多模态学习在信息检索中的发展。
2022-09-28 cs.IR
Maybe you are looking for CroQS: Cross-modal Query Suggestion for Text-to-Image Retrieval
CNR-ISTI（意大利国家研究委员会信息科学与技术研究所）；University of Pisa（比萨大学）
本研究针对跨模态检索提出新任务CroQS，通过建议最小文本修改探索视觉一致子集，并构建基准与专用指标，实验表明基于LLM和图像描述的方法显著提升了聚类特异度召回率和代表性mAP。
2024-12-18 cs.AI cs.IR cs.LG
A Survey of Multimodal Composite Editing and Retrieval
Chongqing University（重庆大学）；Hong Kong University of Science and Technology（香港科技大学）
该综述首次全面梳理多模态复合编辑与检索领域，涵盖相关场景、方法、基准等内容，补充了现有多模态融合综述的空白，并提供项目页面供研究者追踪领域进展。
2024-09-11 cs.AI cs.CV cs.IR
MIRe: Enhancing Multimodal Queries Representation via Fusion-Free Modality Interaction for Multimodal Retrieval
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）
针对多模态检索中现有方法存在的文本主导、忽略关键视觉信息的问题，提出无融合模态交互的MIRe检索框架，搭配构建的预训练数据集，在零样本多模态检索基准上取得优异性能，有效缓解文本主导问题。
2025-05-21 cs.AI cs.CV cs.IR
Any2Any: Incomplete Multimodal Retrieval with Conformal Prediction
UT Austin（德克萨斯大学奥斯汀分校）
针对多模态检索中查询与参考实例均存在模态缺失的问题，提出无需训练生成模型、可处理任意数量模态的Any2Any框架，通过跨模态编码器计算相似度并结合conformal prediction两阶段校准，在KITTI数据集Recall@5达35%且性能与完整模态基线相当。
2024-11-25 cs.CV cs.IR cs.MM
PUMA: Post-Hoc Sparsification of Universal Multimodal Embeddings for Efficient Retrieval
Politecnico di Bari（巴里理工大学）；Sapienza University of Rome（罗马大学）；ISTI–CNR（意大利国家研究委员会信息与通信技术研究所）；University of Pisa（比萨大学）
针对通用多模态嵌入的高存储与推理成本问题，提出无需微调主干网络的PUMA稀疏自编码器方案，在五个基准上验证其可实现8-16倍存储压缩与最高25倍检索加速，且多数数据集性能与密集检索相当或更优。
2026-08-27 cs.IR
M2IO-R1: An Efficient RL-Enhanced Reasoning Framework for Multimodal Retrieval Augmented Multimodal Generation
M2IO-R1提出一种基于强化学习的多模态检索增强多模态生成框架，通过3B插入器实现可控图像选择与放置，在质量和效率上超越基线。
2025-08-08 cs.IR
LILaC: Late Interacting in Layered Component Graph for Open-domain Multimodal Multihop Retrieval
POSTECH（浦项工科大学）；DirectorLabs
LILaC通过分层组件图和后期交互子图检索方法，提升开放域多模态多跳检索的精度与效率。
2026-02-04 cs.IR
Skim and Skip: Hierarchical Adaptive Inference for Efficient Multimodal Retrieval
Tsinghua University（清华大学）；Microsoft（微软）；Shanghai Jiao Tong University（上海交通大学）
针对多模态检索中推理成本高的问题，提出Skim and Skip分层自适应推理框架，通过标记级证据选择和深度自适应推理，在保留99%检索性能的同时实现显著加速与FLOPs减少。
2026-09-03 cs.IR
Beyond Text: Aligning Vision and Language for Multimodal E-Commerce Retrieval
Target（塔吉特）
研究电子商务领域双塔检索模型的统一文本-图像融合，指出特定领域微调及查询与产品文本和图像模态的两阶段对齐很关键，提出新型模态融合网络并验证其有效性。
2026-07-07 cs.IR
MRMR: A Realistic and Expert-Level Multidisciplinary Benchmark for Reasoning-Intensive Multimodal Retrieval
Nanyang Technological University（南洋理工大学）；Yale University（耶鲁大学）；NYU Shanghai（纽约大学上海分校）；Shanghai Jiao Tong University（上海交通大学）；University of the Chinese Academy of Sciences（中国科学院大学）；Center for Data Science, New York University（纽约大学数据科学中心）；VinUniversity（越南 Vin 大学）
MRMR是一个面向推理密集型多模态检索的现实且专家级多学科基准，通过多领域查询和混合模态数据推动检索模型的改进。
2026-02-14 cs.IR
Multimodal Metric Learning for Tag-based Music Retrieval
Pandora（潘多拉）
基于标签的音乐检索是高效浏览大规模音乐库的关键。因此，自动音乐标记一直在积极探索，主要是作为一个分类任务，它有一个固有的限制：一个固定的词汇。另一方面，度量学习通过使用预训练的词嵌入作为辅助信息来实现灵活的词汇表。此外，度量学习已经证明了其适用于其他领域的跨模态检索任务（例如，文本到图像）。在本文中，我们研究了三个想法，成功地引入多模态度量学习的标签为基础的音乐检索：精心制作的三重采样，声学和文化的音乐信息，和特定领域的词嵌入。我们的实验结果表明，所提出的想法提高了检索系统的定量，定性。此外，我们还发布了MSD 500，这是百万歌曲数据集（MSD）的一个子集，包含500个清理标签，7个手动注释标签类别和用户品味配置文件。
2020-10-30 cs.IR cs.MM cs.SD
MARVEL: Multimodal Adaptive Reasoning-intensiVe Expand-rerank and retrievaL
Chungbuk National University（忠北国立大学）；University of Innsbruck（因斯布鲁克大学）
本文提出MARVEL框架，通过统一的扩展-检索-排序流程，结合LLM驱动的查询扩展、增强推理的密集检索器和基于GPT-4o的逐步推理排序，提升了多模态检索性能，在MM-BRIGHT基准上实现了37.9nDCG@10的高分。
2026-04-08 cs.IR
MCA: Modality Composition Awareness for Robust Composed Multimodal Retrieval
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对统一编码器在组合多模态检索中易受模态捷径影响的问题，提出模态组合感知框架，通过偏好损失和组合正则化增强鲁棒性，实验验证了其有效性。
2026-10-06 cs.AI cs.CL cs.IR
M3Retrieve: Benchmarking Multimodal Retrieval for Medicine
Indian Institute of Technology Patna（印度理工学院帕纳瓦分校）；King Mongkut’s Institute of Technology Ladkrabang（拉差丹awan技术大学）
针对医学多模态检索缺乏标准基准的问题，提出M3Retrieve基准，涵盖5领域、16专业、4任务及超120万文档和16.4万查询，评估现有模型，促进系统化评估与模型创新。
2025-10-08 cs.AI cs.IR
Unified Multimodal and Multilingual Retrieval via Multi-Task Learning with NLU Integration
Xiaomi Corporation（小米公司）
本文提出通过多任务学习与NLU集成实现统一的多模态和多语言检索，提升跨语言和跨模态的检索效率与准确性。
2026-01-21 cs.IR
The 1st EReL@MIR Workshop on Efficient Representation Learning for Multimodal Information Retrieval
针对多模态基础模型在信息检索中面临的效率挑战，该研讨会旨在汇聚学界与业界，探讨高效表示学习的新方案、评估指标与基准，推动多模态信息检索的实用化发展。
2025-04-21 cs.IR
From Swath to Full-Disc: Advancing Precipitation Retrieval with Multimodal Knowledge Expansion
College of Computer Science, Zhejiang University of Technology（浙江工业大学计算机科学学院）；National Meteorological Information Center（国家气象信息中心）；College of Computer Science, Zhejiang University of Technology& Zhejiang Key Laboratory of Visual Information Intelligent Processing（浙江工业大学计算机科学学院&浙江视觉信息智能处理重点实验室）
针对红外全盘降水反演精度低、微波与雷达覆盖有限的问题，提出含PRE-Net的两阶段多模态知识扩展框架，并在PRE基准上超越PERSIANN-CCS等主流产品。
2025-06-08 cs.CV cs.IR cs.MM
Multimodal semantic retrieval for product search
Amazon Luxembourg（亚马逊卢森堡）；Amazon Spain（亚马逊西班牙）
本文面向电商商品搜索构建融合文本与商品图像的多模态表示，并在电商数据集上验证其可提升语义检索的购买召回或相关性准确率。
2025-02-17 cs.IR cs.LG
Learning Decorrelated Hashing Codes for Multimodal Retrieval
在社交网络中，异构的多媒体数据相互关联，例如YouTube中的视频及其对应的标签和Facebook中的图像-文本对。在大数据集上跨多模态的最近邻检索成为一个热点而又具有挑战性的问题。哈希被认为是一种有效的解决方案，因为它将数据表示为二进制代码。由于按位异或运算可以快速处理，检索时间大大减少。现有的多模式散列方法很少考虑散列位之间的相关性。相关性对散列码有负面影响。当散列码长度变长时，检索性能的改善变慢。在本文中，我们提出了一个最小相关正则化（MCR）的多峰哈希。首先，使用sigmoid函数嵌入数据矩阵。然后，将MCR应用于sigmoid函数的输出。由于sigmoid函数的输出近似于一个二进制码矩阵，因此该MCR可以有效地对散列码进行解相关。实验结果表明，随着编码长度的增加，该方法的优越性越来越大。
2019-05-22 cs.IR
CAMIE: Co-Engagement-Aware Multimodal Item Embeddings for Snap Dynamic Product Ads Retrieval
Snap Inc.（Snap公司）
针对Snap动态产品广告检索的挑战，提出CAMIE框架，基于LLM/MLLM主干与协同交互数据微调，线上部署后显著提升多场景下的CTR与CVR。
2026-09-01 cs.IR
Uncertainty Quantification for Multimodal Retrieval Augmented Generation
Radboud University（拉德堡德大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
提出 LeMUQ 方法，通过多模态和检索感知的概率信号建模不确定性，提升多模态 RAG 系统的可靠性，AUROC 平均提升 3.8%。
2026-05-28 cs.IR
MM-BRIGHT: A Multi-Task Multimodal Benchmark for Reasoning-Intensive Retrieval
University of Innsbruck（因斯布鲁克大学）；High Institute for Computer & Information Systems（计算机与信息系统高等学院）；Chungbuk National University（忠北国立大学）
MM-BRIGHT是首个用于推理密集型检索的多模态基准，通过29个技术领域中的2,803个现实世界查询，评估了多模态检索模型在文本到文本、多模态到文本等任务上的性能。
2026-09-24 cs.IR
Multimodal RAG for Unstructured Data:Leveraging Modality-Aware Knowledge Graphs with Hybrid Retrieval
National Institute of Technology Karnataka, Surathkal, India（印度卡纳塔克国家理工学院）
本文提出模态感知混合检索架构MAHA，结合稠密向量检索与知识图谱遍历，实现对非结构化多模态文档的有效检索，在基准上显著优于基线，ROUGE-L达0.486。
2025-10-16 cs.IR cs.LG
MuRAR: A Simple and Effective Multimodal Retrieval and Answer Refinement Framework for Multimodal Question Answering
University of Texas at Arlington（得克萨斯大学阿灵顿分校）；Adobe（奥多比公司）
本文提出 MuRAR 框架，通过检索相关多模态数据并精化文本答案，生成连贯的多模态答案，以提升企业聊天机器人等场景中问答的有用性和可读性。
2025-02-07 cs.CL cs.IR
Vela: Scalable Embeddings with Voice Large Language Models for Multimodal Retrieval
针对多模态大语言模型声学多模态表征能力不足的问题，本文提出Vela框架，结合提示工程与上下文学习、单模态文本对训练，在文本-音频检索任务中优于CLAP模型，在长文本及复杂检索场景下表现鲁棒。
2025-06-17 cs.IR
Enhanced Multimodal Video Retrieval System: Integrating Query Expansion and Cross-modal Temporal Event Retrieval
Ho Chi Minh University of Technology, VNU-HCM（胡志明市理工大学）
本文提出了一种增强多模态视频检索系统，通过整合查询扩展和跨模态时间事件检索，提升检索精度和效率。
2025-12-06 cs.IR
MLDocRAG: Multimodal Long-Context Document Retrieval Augmented Generation
Independent Researcher（独立研究者）
MLDocRAG通过构建多模态片段-查询图，实现多模态长上下文文档的检索增强生成，提升问答的准确性和连贯性。
2026-02-13 cs.CL cs.IR
MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs
NVIDIA（英伟达）；University of Waterloo（滑铁卢大学）
针对现有检索模型场景单一、模态受限的问题，本文提出基于多模态大语言模型的通用多模态检索方法MM-Embed，通过模态感知难负例挖掘、持续微调等技术，在多模态和文本检索基准上均取得SOTA性能，并验证了MLLM零样本重排序的提升效果。
2025-02-22 cs.AI cs.CL cs.CV
Multimodal music information processing and retrieval: survey and future challenges
LIM – Music Informatics Laboratory Department of Computer Science University of Milan（米兰大学计算机科学系LIM - 音乐信息学实验室）
为了提高在各种音乐信息处理任务中的表现，最近的研究利用能够捕获音乐的不同方面的不同模态。这些形式包括音频记录，符号乐谱，中级表示，运动和手势数据，视频记录，编辑或文化标签，歌词和专辑封面艺术。本文批判性地回顾了音乐信息处理和检索中采用的各种方法，并强调了多模态算法如何帮助音乐计算应用程序。首先，我们根据它们所涉及的应用对相关文献进行分类。随后，我们分析了现有的信息融合方法，我们得出结论，音乐信息检索和声音和音乐计算研究社区应该在未来几年集中的挑战。
2019-02-14 cs.IR cs.MM cs.SD
BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment
High institute for computer & information systems（高等计算机与信息系统学院）；Chungbuk National University（忠北大学）；Assiut University（艾斯尤特大学）；University of Innsbruck（因斯布鲁克大学）
BRIDGE通过强化学习查询对齐模型和增强神经搜索检索器，解决多模态查询在文本库中的检索问题，实现优于多模态编码器的nDCG@10性能。
2026-04-08 cs.CV cs.IR
Composite Correlation Quantization for Efficient Multimodal Retrieval
在现代搜索引擎和社交网络中，从大规模多模态数据库中进行高效的相似性检索是普遍存在的。为了支持跨内容模态的查询，系统应该启用跨模态相关性和计算高效的索引。虽然散列方法在实现这一目标方面显示出巨大的潜力，但目前的尝试通常无法以无缝方案学习同构散列码，即，它们在连续同构空间中嵌入多个模态，并将阈值嵌入到二进制码中，这会导致检索准确性的大幅损失。在本文中，我们提出了一种新的复合相关量化（CCQ）模型的无缝多模式哈希。具体来说，CCQ共同找到将不同模态转换为同构潜在空间的相关最大映射，并学习将同构潜在特征转换为紧凑二进制代码的复合量化器。设计了一个优化框架，通过最小化重建和量化误差来保持模态内相似性和模态间相关性，该框架可以在线性时间内从配对和部分配对数据进行训练。一组全面的实验清楚地表明，CCQ对最先进的散列方法的单峰和跨模态检索的优越效果和效率。
2016-05-22 cs.IR
LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding
Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Zhejiang University Institute of Blockchain and Data Security（杭州高新技术区（滨江）浙江大学区块链与数据安全研究院）
提出LFRAG框架，通过布局分割和语义-布局融合编码器实现从页面级到块级的细粒度检索，提升多模态文档检索精度并减少生成冗余，在LFDocQA基准上取得最优性能。
2026-04-18 cs.AI cs.IR
Stellar: Scalable Multimodal Document Retrieval for Natural Language Queries
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
提出Stellar框架，通过磁盘存储令牌级文档嵌入并动态加载候选嵌入，结合词汇表示过滤和高效磁盘支持的后交互，在保持检索效果的同时将内存开销和查询延迟降低1-2个数量级。
2026-06-19 cs.IR
Math Search for the Masses: Multimodal Search Interfaces and Appearance-Based Retrieval
本文总结了近年来文献与模式识别实验室推出的数学搜索引擎和搜索接口，特别是min数学搜索接口和Tangent搜索引擎。这两个系统的源代码都是公开的。“大众”指的是我们强调为数学非专家创建系统，他们可能希望定义不熟悉的符号，或者基于公式的视觉外观而不是其数学语义来浏览文档。
2015-05-11 cs.IR
HIVE: Query, Hypothesize, Verify An LLM Framework for Multimodal Reasoning-Intensive Retrieval
Chungbuk National University（忠北国立大学）；University of Innsbruck（因斯布鲁克大学）
HIVE通过引入LLM进行显式视觉-文本推理，提升多模态检索效果，达到41.7的nDCG@10，优于现有文本和多模态模型。
2026-04-08 cs.IR
A Survey of Multimodal Retrieval-Augmented Generation
Huawei Cloud BU（华为云业务部）
本综述聚焦多模态检索增强生成（MRAG），其扩展纯文本RAG框架整合多模态数据以增强LLMs，减少幻觉并提升问答系统性能，还总结其组件、数据集等，指出挑战与未来方向。
2025-03-26 cs.AI cs.CL cs.ET
MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction
Meta Superintelligence Labs（Meta超级智能实验室）；Rice University（莱斯大学）
MetaEmbed通过灵活的后期交互机制，在测试时实现多模态检索的扩展，通过多向量检索训练提升信息组织能力，实现在大规模模型下的高效检索性能。
2026-04-06 cs.CL cs.CV cs.IR
Subtraction Gets You More: Gap-Aware Retrieval for Multimodal Multi-Hop QA
Seoul National University（首尔大学）
针对多模态多跳问答中的证据集补全和序列池构建任务，提出GRAIL框架，通过隐式查询重写和上下文减法查询引导，解决语义锚定问题，实现组合跨模态推理，在MultimodalQA上获得40.3%的宏平均性能提升。
2026-06-05 cs.IR
Counterfactual Learning To Rank for Utility-Maximizing Query Autocompletion
Massachusetts Institute of Technology（麻省理工学院）；Amazon Search（亚马逊搜索）；Amazon Music（亚马逊音乐）；UT Austin（德克萨斯大学奥斯汀分校）
查询自动完成的传统方法旨在预测用户将从列表中选择哪个已完成的查询。这种方法的缺点是，用户通常不知道哪个查询将在当前信息检索系统上提供最佳检索性能，这意味着任何被训练成模仿用户行为的查询自动完成方法都可能导致次优的查询建议。为了克服这一限制，我们提出了一种新的方法，明确优化下游检索性能的查询建议。我们制定这一问题的排名一组排名，其中每个查询建议是由下游项目排名它产生的。然后，我们提出了一种学习方法，排名查询建议的质量，他们的项目排名。该算法基于反事实学习方法，该方法能够利用对项目的反馈（例如，点击、购买）来通过无偏估计器评估查询建议，从而避免了用户编写或选择最佳查询的假设。我们建立所提出的方法的理论支持，并提供学习理论的保证。我们还提出了公开可用的数据集的实证结果，并展示了现实世界的适用性，使用数据从网上购物商店。
2022-04-22 cs.IR cs.LG stat.ML
Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization
Shandong University（山东大学）；University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
提出前缀保留优化（PRO）框架，通过前缀排序蒸馏、词汇调度和几何分数融合三种机制，缩小多模态生成式检索中索引与解码之间的差距，提升目标标识符前缀的保留率，在九个多模态检索任务上超越现有基线。
2026-08-06 cs.IR
Audio Retrieval for Multimodal Design Documents: A New Dataset and Algorithms
Adobe Research（奥多比研究院）
我们考虑并提出了一个新的问题，检索音频文件相关的多模态设计文档输入，包括文本元素和视觉图像，例如，生日/贺卡除了增强用户体验之外，集成与这些输入的主题/风格相匹配的音频还有助于提高这些文档的可访问性（例如，视力受损的人可以听音频代替）。虽然最近在音频检索方面的工作存在，但这些方法和数据集明确针对自然图像。然而，我们的问题认为多模态设计文档（由用户使用创意软件创建）与自然点击的照片有很大不同。为此，我们的第一个贡献是收集和策划一个名为Melodic-Design（或MELON）的新的大规模数据集，包括代表各种风格，主题，模板，插图等的设计文档，与音乐音频配对。鉴于我们配对的图像-文本-音频数据集，我们的下一个贡献是一种新的多模态交叉注意音频检索（MMCAR）算法，该算法能够训练神经网络学习跨图像，文本和音频维度的公共共享特征空间。我们使用这些学习到的特征来证明我们的方法优于现有的最先进的方法，并为我们的新数据集上的研究社区提供了一个新的参考基准。
2023-02-28 cs.IR cs.MM cs.SD
ReCQR: Incorporating conversational query rewriting to improve Multimodal Image Retrieval
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
本文提出ReCQR任务，通过构建多轮对话查询重写数据集，提升多模态图像检索的准确性和用户查询建模能力。
2026-01-19 cs.AI cs.IR cs.LG
CogPlanner: Unveiling the Potential of Agentic Multimodal Retrieval Augmented Generation with Planning
本文提出MRAG Planning任务及受人类认知启发的即插即用框架CogPlanner，通过迭代确定查询重构与检索策略，并引入CogBench基准，在最小计算开销下显著提升了多模态检索增强生成的准确性与效率。
2025-10-31 cs.IR cs.MA
MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering
Key Laboratory of Target Cognition and Application Technology (TCAT), AIRI, CAS（目标认知与应用技术重点实验室（TCAT），空气动力研究所，中国科学院）；School of Electronic, Electrical and Communication Engineering, UCAS（电子、电气与通信工程学院，中国科学院大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（航天信息研究所，中国科学院）；Baidu Inc.（百度公司）
MARA框架通过引入查询自适应机制提升多模态文档检索与生成的精度和质量，实验表明其在多模态问答基准上优于现有最先进方法。
2026-02-01 cs.AI cs.CL cs.IR
A Feature Analysis for Multimodal News Retrieval
TIB–Leibniz Information Centre for Science and Technology（TIB-莱布尼茨科学技术信息中心）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）
基于内容的信息检索基于文档中包含的信息，而不是使用关键字等元数据。大多数信息检索方法都是基于文本或图像的。在本文中，我们调查的有用性多模态功能的跨语言新闻搜索在各个领域：政治，健康，环境，体育和金融。为此，我们考虑五个特征类型的图像和文本，并比较使用不同的组合的检索系统的性能。实验结果表明，同时考虑视觉和文本信息可以提高检索结果。此外，据观察，在文本特征实体重叠优于词嵌入，而地理位置嵌入实现更好的性能之间的视觉特征在检索任务。
2020-10-01 cs.CL cs.IR cs.LG
OMGM: Orchestrate Multiple Granularities and Modalities for Efficient Multimodal Retrieval
Microsoft Research Asia（微软亚洲研究院）
本文提出一种从粗到细多步检索的多模态RAG系统OMGM，通过协调多种粒度与模态，结合跨模态检索、多模态融合重排序与文本重排序，在InfoSeek和Encyclopedic-VQA基准上实现了最先进的检索性能与极具竞争力的回答结果。
2025-09-12 cs.AI cs.CV cs.IR
MG$^2$-RAG: Multi-Granularity Graph for Multimodal Retrieval-Augmented Generation
School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院）
MG$^2$-RAG通过构建层次化多模态知识图谱，融合文本与视觉信息，提升多模态检索与生成性能，实验显示其在四个任务中均取得最佳效果，同时显著提升效率。
2026-07-14 cs.AI cs.IR
MRAMG-Bench: A Comprehensive Benchmark for Advancing Multimodal Retrieval-Augmented Multimodal Generation
Peking University（北京大学）；Huawei Cloud BU（华为云业务单元）
提出MRAMG任务及综合基准MRAMG-Bench，包含多领域数据集和全面指标，并设计高效框架，利用LLMs/MLLMs生成多模态答案。
2025-04-21 cs.IR cs.LG
Progressive Multimodal Reasoning via Active Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
本文提出AR-MCTS框架，通过主动检索与蒙特卡洛树搜索结合过程奖励模型，逐步提升多模态大语言模型在多步推理任务中的性能与验证可靠性。
2024-12-19 cs.AI cs.CL cs.CV
Reason to Contrast: A Cascaded Multimodal Retrieval Framework
AI at Meta（Meta人工智能部门）；University of Central Florida（中央佛罗里达大学）
本文提出TTE-v2框架，通过引入基于额外输入标记预算的推理驱动性能扩展，提升多模态检索的测试性能。
2025-12-21 cs.AI cs.CL cs.IR
CMDR: Contextual Multimodal Document Retrieval
Human Informatics Labs.（人文信息实验室）；NTT, Inc.（日本NTT公司）
研究多模态文档检索，提出CMDR-Embed框架联合编码页面纳入文档上下文，引入CMCL对比学习目标训练，实验证明该框架显著优于非上下文嵌入，凸显上下文感知多模态嵌入对文档检索的重要性。
2026-07-08 cs.AI cs.CL cs.CV
