Cross-Modal Retrieval: A Systematic Review of Methods and Future Directions
本文全面综述了跨模态检索的演进，从浅层统计方法到视觉-语言预训练模型，提出基于机器学习范式的分类体系，探讨现有方法原理与架构，概述基准与性能，并讨论未来挑战与方向。
2024-09-30 cs.IR cs.MM
Towards Multimodal Sentiment Analysis via Contrastive Cross-modal Retrieval Augmentation and Hierachical Prompts
本文提出一种多模态检索增强框架，通过对比跨模态检索模块与层次化提示（模态级和样本级提示），同时引入跨样本与样本内的参考上下文以增强多模态特征，有效解决了跨模态交互中上下文不足的问题。
2025-08-11 cs.MM
Cross-Modal and Uni-Modal Soft-Label Alignment for Image-Text Retrieval
SKLSDE, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院软件开发环境国家重点实验室）；Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出CUSA方法，利用单模态预训练模型的软标签监督信号，通过跨模态与单模态软标签对齐解决模态间匹配缺失和模态内语义损失问题，即插即用地提升图像-文本检索性能并实现通用检索。
2024-03-08 cs.CV cs.MM
CoVLR: Coordinating Cross-Modal Consistency and Intra-Modal Structure for Vision-Language Retrieval
本文提出 CoVLR，通过元优化协调跨模态一致性与模态内关系保持任务，缓解二者不同步问题，从而兼顾跨模态检索能力并提升单模态检索准确率。
2023-08-18 cs.CV cs.MM
Intra-Modal Constraint Loss For Image-Text Retrieval
Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；Zhejiang University of Technology（浙江工业大学）
跨模态检索在计算机视觉和自然语言处理领域都引起了广泛的关注。随着卷积神经网络和递归神经网络的发展，跨图像-文本模式检索的瓶颈不再是图像和文本特征的提取，而是嵌入空间中有效的损失函数学习。许多损失函数试图从异质模态中接近成对特征。提出了一种基于模态内约束损失函数的图像和文本联合嵌入学习方法，以减少来自同一模态的否定对的违反。实验结果表明，我们的方法优于国家的最先进的双向图像-文本检索方法在Flickr 30 K和Microsoft COCO数据集。我们的代码是公开的：https://github.com/CanonChen/IMC。
2022-07-13 cs.CV cs.MM
Video-Music Retrieval:A Dual-Path Cross-Modal Network
我们提出了一种方法来推荐视频的背景音乐。目前的工作很少考虑音乐的情感信息，这是必要的视频音乐检索。为此，我们设计了两条路径来处理模态之间的内容信息和情感信息。根据视频和音乐的特点，设计了多种特征提取方案和通用的表示空间。更重要的是，我们提出了一种将内容信息与情感信息相结合的方法。此外，我们对经典的度量损失进行了改进，使其更适合这项任务。实验表明，这种双路径视频音乐检索网络能够有效地融合信息。与现有方法相比，检索任务评价指标：Recall@1提高了3.94，Recall@25提高了16.36。
2022-11-16 cs.MM
Neural-based Cross-modal Search and Retrieval of Artwork
本文提出BoonArt，一种基于视觉-语义嵌入的跨模态艺术品搜索引擎，在ArtUK数据集上实现图像到文本97%和文本到图像97.4%的Recall@10，显著优于传统搜索引擎。
2023-07-26 cs.MM
Cross-Modal Retrieval with Cauchy-Schwarz Divergence
The HongKong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（自由大学）
针对现有跨模态检索方法在数值稳定性、超参数敏感性和多模态对齐上的局限，本文提出无超参数的柯西-施瓦茨散度及其广义版本，实现多模态直接对齐，在六个基准上验证了双模态和三模态检索的有效性。
2025-09-15 cs.AI cs.CV cs.IR
Cross-Modal Music Retrieval and Applications: An Overview of Key Methodologies
数字化音乐数据迅速增长，包括音频记录、乐谱的数字化图像、专辑封面和班轮音符以及视频剪辑。如此庞大的数据量要求检索策略，允许用户以方便的方式探索大型音乐收藏。更确切地说，需要跨模态检索算法，给定一个模态的查询（例如，短音频摘录），在其他模态中找到相应的信息和实体（例如，作品的名称和乐谱）。这超越了像Shazam这样的商业应用程序所执行的精确音频识别和随后的元信息检索[1]。
2019-02-12 cs.IR cs.MM
FLARE: Full-Modality Long-Video Audiovisual Retrieval Benchmark with User-Simulated Queries
University of Science and Technology Beijing（北京科技大学）；Peking University（北京大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Zhongguancun Academy（中关村研究院）
FLARE基准测试通过全模态长视频和用户模拟查询，评估视频检索在多模态大语言模型中的表现，揭示用户查询对模型行为的影响及音频语言对齐的关键瓶颈。
2026-05-11 cs.MM
Learning Explicit and Implicit Latent Common Spaces for Audio-Visual Cross-Modal Retrieval
学习公共子空间是跨模态检索中的一种常用方法，它可以解决不同模态数据的分布和表示不一致而无法直接比较的问题。以往的跨模态检索方法都是通过学习跨模态数据之间的相关性，将它们投影到一个公共空间中，以消除模态间的差异。然而，视频中丰富的语义信息和音视频数据的异构性，在直观上导致了更为严重的异质性鸿沟，以往的方法在消除模态鸿沟时，可能会导致单一线索视频的关键语义内容丢失，而类别的语义可能会破坏原始特征的性质。在这项工作中，我们的目标是学习有效的视听表示，以支持视听跨模态检索（AVCMR）。我们提出了一个新的模型，将视听模态映射到两个不同的共享潜在子空间：显式和隐式共享空间。特别是，显式共享空间用于优化成对相关性，其中跨模态的学习表示捕获视听对的共性并减少模态间隙。隐式共享空间用于通过保持来自不同语义类别的音频/视频模式的区分来保持模态之间的区别特征。最后，融合从两个潜在子空间学习的特征用于AVCMR任务的相似性计算。两个视听数据集上的综合实验结果表明，我们提出的使用两个不同潜在子空间进行视听跨模态学习的模型是有效的，并且显着优于从单个子空间学习特征的最新跨模态模型。
2021-10-26 cs.MM
MCA: Modality Composition Awareness for Robust Composed Multimodal Retrieval
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对统一编码器在组合多模态检索中易受模态捷径影响的问题，提出模态组合感知框架，通过偏好损失和组合正则化增强鲁棒性，实验验证了其有效性。
2026-10-06 cs.AI cs.CL cs.IR
Deep Triplet Neural Networks with Cluster-CCA for Audio-Visual Cross-modal Retrieval
跨模态检索是指通过一种模态的查询来检索另一种模态的数据，是多媒体、信息检索、计算机视觉和数据库等领域的一个研究热点。现有的研究主要集中在文本-图像、文本-视频、歌词-音频之间的跨模态检索，由于音视频配对数据集和语义信息有限，对音视频之间的跨模态检索研究较少。视听跨模态检索任务的主要挑战集中在从共享子空间学习联合嵌入以计算不同模态之间的相似性，其中生成新的表示是最大化视听模态空间之间的相关性。在这项工作中，我们提出了一种新的具有聚类典型相关分析的深度三元组神经网络（TNN-C-CCA），这是一种具有音频分支和视频分支的端到端监督学习架构。我们不仅考虑公共空间中的匹配对，而且在最大化相关性时计算失配对。特别地，做出了两个重要贡献：i）通过构建具有用于最佳投影的三元组损失的深度三元组神经网络，可以生成更好的表示，以最大化共享子空间中的相关性。ii）在学习阶段使用正例和反例，以提高音频和视频之间的嵌入学习能力。我们的实验是运行在5倍交叉验证，其中平均性能被应用到演示性能的音频-视频跨模态检索。在两个不同的音频视频数据集上的实验结果表明，本文提出的两个分支的学习结构优于现有的六种基于CCA的方法和四种基于最新技术的跨模态检索方法。
2021-05-05 cs.IR cs.MM
An Efficient Approach for Geo-Multimedia Cross-Modal Retrieval
由于移动互联网技术、云计算的快速发展以及在线社交网络和基于位置的服务的普及，产生了大量的具有地理信息的多媒体数据并将其上传到互联网。本文提出了一种新的跨模态多媒体检索技术，即地理多媒体跨模态检索，它的目标是根据地理距离、相似度和语义相似度，检索出一组地理多媒体对象。以前的研究跨模态检索和空间关键字搜索不能有效地解决这个问题，因为他们没有考虑多媒体数据与地理标签，不专注于这种类型的查询。为了有效地解决这一问题，本文首次提出了$k$ NN地理多媒体跨模态查询的定义，并引入了跨模态语义表示空间等相关概念。为了弥合不同模态之间的语义鸿沟，我们提出了一种称为跨模态语义匹配的方法，它包含两个重要组成部分，CorrProj和LogsTran提出了一种新的跨模态语义相似性度量方法，旨在构建一个通用的语义表示空间。此外，我们还设计了一个基于深度学习技术的公共语义表示空间构建框架。提出了一种结合地理多媒体数据和R树的混合索引结构GMR-Tree，并设计了一种高效的$k$ NN搜索算法$k$ GMCMS。对真实数据集和合成数据集的综合实验评估清楚地表明，我们的解决方案优于最先进的方法。
2018-08-20 cs.MM
Adversarial Cross-Modal Retrieval via Learning and Transferring Single-Modal Similarities
跨模态检索旨在检索跨不同模态的相关数据（例如，文本与图像）。常见的策略是在手动标记的成对项之间应用逐元素约束，以引导生成器学习模态之间的语义关系，以便相似的项可以在公共表示子空间中彼此靠近地投影。然而，这样的约束通常不能保持未配对但语义相似的项目之间的语义结构（例如，具有相同类别标签的未配对项目比具有不同标签的项目更相似）。为了解决上述问题，我们提出了一种新的跨模态相似性转移（CMST）方法，学习和保持非成对项目之间的语义关系，在无监督的方式。其核心思想是学习单模态表示子空间中的数量相似性，然后将其转移到公共表示子空间中，建立跨模态不成对项之间的语义关系。实验表明，我们的方法优于国家的最先进的方法在基于类和基于对的检索任务。
2019-04-17 cs.IR cs.MM
Structure-Aware Residual-Center Representation for Self-Supervised Open-Set 3D Cross-Modal Retrieval
针对开放集三维跨模态检索中类别分布先验依赖问题，提出SRCR框架，采用残差中心嵌入与层次结构学习，在四个基准上超越现有方法。
2024-07-22 cs.MM
Semantic Modeling of Textual Relationships in Cross-Modal Retrieval
不同模态的特征建模是当前跨模态信息检索研究的一个基本问题。现有的模型通常将文本和图像投影到一个嵌入空间中，其中语义相似的信息将具有较短的距离。纹理关系的语义建模是出了名的困难。在本文中，我们提出了一种方法来建模文本使用的特征图，通过整合多视图的文本关系，包括语义关系，统计共现，和知识库中的先验关系。采用双路径神经网络联合学习信息的多模态表示和跨模态相似性度量。我们使用图卷积网络（GCN）来生成关系感知的文本表示，并使用具有非线性的卷积神经网络（CNN）来进行图像表示。通过距离度量学习来学习跨模态相似性度量。实验结果表明，通过利用文本中丰富的关系语义，我们的模型在两个基准数据集上的准确率分别比最先进的模型高出3.4%和6.3%。
2019-06-12 cs.MM
MHTN: Modal-adversarial Hybrid Transfer Network for Cross-modal Retrieval
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
跨模态检索是跨模态数据检索的一个研究热点。然而，现有的基于DNN的方法面临着跨模态训练数据不足的挑战，这限制了训练的有效性，并且容易导致过拟合。迁移学习是为了缓解训练数据不足的问题，但它主要关注的是知识从大规模数据集（单模态源域）到单模态目标域的迁移。这种大规模的单模态数据集还包含丰富的模态独立的语义知识，可以在不同的模态之间共享。此外，大规模的跨模态数据集的收集和标注非常耗费人力，因此充分利用单模态数据集的知识对于提高跨模态检索具有重要意义。本文提出了模态-对抗混合迁移网络（MHTN），它是第一个实现知识从单模态源域到跨模态目标域的迁移，并学习跨模态公共表示的网络。它是一个端到端的体系结构，包含两个子网：（1）模态共享知识转移子网，以星型网络结构将知识从源域的大规模单模态数据集中联合转移到目标域的所有模态，提取模态无关的补充知识，促进跨模态公共表示学习。(2)提出了模态对抗语义学习子网络，在公共表示生成器和模态识别器之间建立对抗训练机制，使公共表示对语义具有区分性，对模态不具有区分性，以增强迁移过程中跨模态语义的一致性.在4个广泛使用的数据集上的综合实验表明了该方法的有效性和通用性。
2017-08-08 cs.CV cs.LG cs.MM
Deep Music Retrieval for Fine-Grained Videos by Exploiting Cross-Modal-Encoded Voice-Overs
近年来，短视频在不同的互联网平台上迅速流行，这加剧了对背景音乐（BGM）检索系统的需求。然而，现有的视频音乐检索方法只基于视觉模态不能显示有前途的性能与细粒度的虚拟内容的视频。在本文中，我们还调查了广泛添加的画外音在短视频，并提出了一种新的框架来检索BGM细粒度的短视频。在我们的框架中，我们使用自我注意（SA）和跨通道注意（CMA）模块来探索不同通道的内部和相互关系。为了平衡模态，我们通过融合门动态地为模态特征分配不同的权重。为了对查询和BGM嵌入进行配对，我们引入了一个三元组伪标签丢失来约束模态嵌入的语义。由于没有现有的虚拟内容视频BGM检索数据集，我们建立并发布了两个虚拟内容视频数据集HoK400和CFM400。实验结果表明，我们的方法实现了优越的性能，优于其他国家的最先进的方法与大的利润率。
2021-08-03 cs.IR cs.MM
PromptHash: Affinity-Prompted Collaborative Cross-Modal Learning for Adaptive Hashing Retrieval
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
针对现有跨模态哈希方法语义保留不足等问题，提出PromptHash框架，通过亲和性提示学习、门控融合架构与分层对比对齐提升检索性能，在NUS-WIDE等数据集上取得显著增益。
2025-03-20 cs.AI cs.CV cs.IR
A Comprehensive Survey on Cross-modal Retrieval
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近年来，由于多模态数据的快速增长，跨模态检索受到了广泛的关注。它将一种类型的数据作为查询来检索另一种类型的相关数据。例如，用户可以使用文本来检索相关图片或视频。由于查询及其检索结果可能具有不同的模态，如何度量不同模态数据之间的内容相似性仍然是一个挑战。已经提出了各种方法来处理这样的问题。本文首先回顾了跨模态检索的几种典型方法，并将它们分为两大类：1）实值表示学习，2）二值表示学习。实值表示学习方法旨在学习不同模态数据的实值公共表示。为了提高跨模态检索的速度，提出了多种二进制表示学习方法，将不同模态的数据映射到一个共同的汉明空间中。然后，我们介绍了社区中的几个多模态数据集，并展示了两个常用的多模态数据集上的实验结果。通过比较，揭示了各种跨模态检索方法的特点，以期对实际应用和未来研究有所裨益。最后，我们讨论了开放的问题和未来的研究方向。
2016-07-21 cs.CL cs.IR cs.MM
SemCORE: A Semantic-Enhanced Generative Cross-Modal Retrieval Framework with MLLMs
University of Electronic Science and Technology of China（电子科技大学）；Tongji University（同济大学）；Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）
针对生成式跨模态检索在标识符构建和生成中语义信息不足的问题，提出SemCORE框架，通过结构化自然语言标识符和生成语义验证策略，提升跨模态检索性能。
2025-04-17 cs.CL cs.IR cs.MM
M2HF: Multi-level Multi-modal Hybrid Fusion for Text-Video Retrieval
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Donghua University（东华大学）；Tencent（腾讯）
视频包含多模态的内容，探索多层次的跨模态交互与自然语言查询可以提供很大的突出文本视频检索任务（TVR）。然而，将大规模预训练模型CLIP应用于TVR的新趋势方法并不关注视频中的多模态线索。此外，传统的方法简单地连接多模态特征，没有利用视频中的细粒度跨模态信息。在本文中，我们提出了一个多层次的多模态混合融合（M2 HF）网络，以探索全面的文本查询和视频中的每一个模态内容之间的相互作用。具体地说，M2 HF首先利用CLIP提取的视觉特征与从视频中提取的音频和运动特征进行早期融合，分别获得视听融合特征和运动视觉融合特征。在此过程中还考虑了多模态对准问题。然后，从视频中提取的视觉特征、视听融合特征、运动视觉融合特征和文本以多层次的方式与字幕查询建立跨模态关系。最后对各级检索结果进行后期融合，得到最终的文本-视频检索结果。我们的框架提供了两种训练策略，包括集成方式和端到端的方式。此外，提出了一种新的多模态平衡损失函数来平衡每个模态的贡献，以实现高效的端到端训练。M2 HF允许我们在各种基准上获得最先进的结果，例如，在MSR-VTT，MSVD，LSMDC，DiDeMo和ActivityNet上的Rank@1分别为64.9%，68.2%，33.2%，57.1%，57.8%。
2022-08-16 cs.CV cs.MM
Look Before You Leap: Improving Text-based Person Retrieval by Learning A Consistent Cross-modal Common Manifold
Nanjing Tech University（南京工业大学）；Jinling Institute of Technology（金陵科技学院）；Beihang University（北京航空航天大学）
基于文本的人物检索的核心问题是如何弥合多模态数据之间的异构鸿沟。许多以前的方法设法学习一个潜在的公共流形映射范式遵循\textbf{cross-modal distribution consensus prediction (CDCP)}的方式。当将某一模态的特征分布映射到公共流形时，相反模态的特征分布是完全不可见的。也就是说，如何实现跨模态分布一致性，从而在构造的跨模态公共流形中嵌入和对齐多模态特征，都取决于模型本身的经验，而不是实际情况。这样的方法，这是不可避免的，多模态数据不能很好地对齐在公共流形，这最终导致一个次优的检索性能。为了克服这个\textbf{CDCP dilemma}，我们提出了一种新的算法LBUL学习一致的跨模态公共流形（C $^{3}$ M）的基于文本的人检索。该方法的核心思想是“\textit{san si er hou xing}”，即到\textbf{Look Before yoU Leap (LBUL)}。LBUL的公共流形映射机制包括一个查找步骤和一个跳跃步骤。与基于CDCP的方法相比，LBUL在将特定模态的数据嵌入到C $^{3}$ M中之前，考虑了视觉模态和文本模态的分布特征，实现了更可靠的跨模态分布一致性，从而获得了更高的检索精度.我们评估我们提出的方法上两个基于文本的人检索数据集CUHK-PEDES和RSTPReid。实验结果表明，所提出的…
2022-09-13 cs.CV cs.IR cs.MM
Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism
Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）
食品检索是一项重要的任务，执行分析食品相关的信息，在这里，我们有兴趣在检索有关的信息查询食品项目，如成分，烹饪说明等，在本文中，我们探讨食品图像和烹饪食谱之间的跨模态检索。目标是学习图像和配方在公共特征空间中的嵌入，使得对应的图像-配方嵌入彼此接近。解决这个问题的两个主要挑战是1）跨跨模态食物数据的大的内部方差和小的内部方差;以及2）难以获得有区别的食谱表示。为了解决这两个问题，我们提出了语义一致和基于注意力的网络（SCAN），它通过调整输出语义概率来规范两种模态的嵌入。此外，我们利用一个自我注意力机制，以改善嵌入的食谱。我们评估了所提出的方法在大规模Recipe 1 M数据集上的性能，并表明我们可以显著优于几种最先进的食品图像和烹饪食谱的跨模态检索策略。
2021-09-21 cs.CV cs.MM
Unsupervised Multi-modal Hashing for Cross-modal retrieval
Jiangnan University（江南大学）；Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence（江苏省模式识别与计算智能工程实验室）
哈希学习以其存储成本低、效率高等优点在大数据领域受到了广泛关注。在本文中，我们提出了一种新的无监督散列学习方法来处理这个开放的问题，直接保持流形结构的散列。为了解决这个问题，在我们的框架中，文本空间中的语义相关性和视觉空间中的局部几何结构同时进行了探索。此外，`2;1-范数约束施加在投影矩阵上，以学习针对每种模态的鉴别性散列函数。在三个公开的数据集上进行了大量的实验来评估所提出的方法，实验结果表明，我们的方法可以实现优于最先进的方法的性能。
2020-09-27 cs.CV cs.MM
TelcoAI: Advancing 3GPP Technical Specification Search through Agentic Multi-Modal Retrieval-Augmented Generation
Generative AI Innovation Center, Amazon Web Services (AWS)（生成式AI创新中心，亚马逊网络服务）
TelcoAI通过代理多模态检索增强生成技术，提升3GPP技术规范搜索的准确性和效率，实现87%的召回率和16%的性能提升。
2025-11-17 cs.AI cs.CL cs.CV
PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning
Harbin Institute of Technology（哈尔滨工业大学）
提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。
2026-06-06 cs.CV cs.MM
Cross-modal Common Representation Learning by Hybrid Transfer Network
Peking University（北京大学）
基于DNN的跨模态检索是跨图像和文本等不同模态检索的研究热点，但现有方法往往面临跨模态训练数据不足的挑战。在单模态场景中，类似的问题通常通过从大规模辅助数据集（如ImageNet）转移知识来缓解。来自这种单模态数据集的知识对于跨模态检索也非常有用，这可以提供可以在不同模态之间共享的丰富的一般语义信息。然而，将有用的知识从单模态（如图像）源域转移到跨模态（如图像/文本）目标域是具有挑战性的。源领域的知识不能直接传递到目标领域的两种不同模态，目标领域固有的跨模态相关性为跨模态检索提供了关键线索，在传递过程中应保留这些线索。本文提出了一种跨模态混合传输网络（CHTN）：模态共享传输子网络利用源域和目标域的模态作为桥梁，同时向两个模态传输知识;层共享关联子网络保留了固有的跨模态语义相关性，进一步适应跨模态检索任务。CHTN可以将跨模态数据转换为通用表示进行检索，在3个数据集上的综合实验表明了该方法的有效性。
2017-06-24 cs.CV cs.LG cs.MM
Cross-modal Image Retrieval with Deep Mutual Information Maximization
College of Computer Science, Zhejiang University（浙江大学计算机学院）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Institute of Marine Sensing and Networking, Zhejiang University（浙江大学海洋感知与网络研究所）；Key Laboratory of Ocean Observation-Imaging Testbed of Zhejiang Province, Zhejiang University（浙江省海洋观测-成像试验重点实验室）
在本文中，我们研究了跨模态图像检索，输入包含一个源图像加上一些文本，描述了某些修改，这个图像和所需的图像。现有的工作通常使用三个阶段的策略来解决这个任务：1）提取输入的特征; 2）融合源图像及其修改文本的特征以获得融合特征; 3）通过使用深度度量学习来学习期望图像与源图像+修改文本之间的相似性度量。由于经典的图像/文本编码器可以学习有用的表示，并且距离度量学习的常见基于对的损失函数足以用于跨模态检索，因此人们通常通过设计新的融合网络来提高检索准确率。然而，这些方法不能成功地处理由不同模态的特征的不一致的分布和表示所引起的模态间隙，这极大地影响了特征融合和相似性学习。为了缓解这个问题，我们采用了对比自监督学习方法Deep InforMax（DIM），通过增强文本，图像及其融合之间的依赖性来弥合这一差距。具体来说，我们的方法缩小了文本模态和图像模态之间的模态差距，最大化的互信息之间的语义不完全相同的表示。此外，我们寻求一个有效的公共子空间的语义相同的融合特征和所需的图像的特征之间的图像编码器的低级层和高级层的融合网络，利用Deep InforMax。在三个大规模基准数据集上的实验表明，我们已经弥合了不同模态之间的模态差距，并实现了最先进的检索性能。
2021-03-10 cs.CV cs.MM
Audio-Visual Embedding for Cross-Modal MusicVideo Retrieval through Supervised Deep CCA
深度学习在学习不同数据模态之间的联合表示方面已成功展示出出色的性能。不幸的是，很少有研究集中在跨模态相关学习，不同的数据模态，如音频和视频的时间结构，应考虑。通过给定的音乐音频检索音乐视频是一种自然的方式来搜索和交互的音乐内容。在这项工作中，我们研究跨模态音乐视频检索的情感相似性。特别地，任意长度的音频用于检索更长或全长的音乐视频。为此，我们提出了一种新的视听嵌入算法，通过监督深度典型相关分析（S-DCCA），将音频和视频投影到共享空间中，以弥合音频和视频之间的语义鸿沟。这也保留了来自具有相同类别标签和时间结构的不同视频的音频和视觉内容之间的相似性。我们的方法的贡献主要表现在两个方面：i）我们提出了基于注意力的长短期记忆（LSTM）模型来选择前k个音频块，该模型可以表示具有局部属性的良好音频摘要。ii）我们提出了一个用于跨模态视听学习的端到端深度模型，其中S-DCCA被训练来学习音频和视觉模态之间的语义相关性。由于缺乏音乐视频数据集，我们从YouTube 8 M数据集构建了10 K音乐视频数据集。MAP和查准率-查全率实验结果表明，该模型可以应用于音乐视频检索。
2019-08-10 cs.IR cs.MM
A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels
针对带噪标签导致错误语义对齐和异质鸿沟扩大的问题，本文提出基于最优传输的统一框架 UOT-RCL，通过部分 OT 语义校正与关系对齐提升跨模态检索鲁棒性。
2024-03-20 cs.CV cs.IR cs.MM
Modality Curation: Building Universal Embeddings for Advanced Multimodal Information Retrieval
Northeastern University（东北大学）；Kuaishou Technology（快手科技）
本文提出UNITE框架，通过数据策展和模态感知训练配置（含MAMCL方法），解决多模态检索中的模态差距问题，在多个基准上取得最先进性能。
2025-05-27 cs.CV cs.IR cs.MM
Any2Any: Incomplete Multimodal Retrieval with Conformal Prediction
UT Austin（德克萨斯大学奥斯汀分校）
针对多模态检索中查询与参考实例均存在模态缺失的问题，提出无需训练生成模型、可处理任意数量模态的Any2Any框架，通过跨模态编码器计算相似度并结合conformal prediction两阶段校准，在KITTI数据集Recall@5达35%且性能与完整模态基线相当。
2024-11-25 cs.CV cs.IR cs.MM
Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product Retrieval
Sun Yat-Sen University（中山大学）；Beijing Jiaotong University（北京交通大学）；PengCheng Laboratory（鹏城实验室）；Alibaba Group（阿里巴巴集团）
我们这项研究的目标是研究一个更现实的环境，在其中我们可以对细粒度产品类别进行弱监督多模式实例级产品检索。我们首先贡献了Product 1 M数据集，并定义了两个真正实用的实例级检索任务，以实现对价格比较和个性化推荐的评估。对于这两个实例级任务，如何准确地定位视觉语言数据中提到的产品目标，并有效地减少无关内容的影响是相当具有挑战性的。为了解决这个问题，我们利用训练一个更有效的跨模态相关模型，它是自适应地能够将关键概念信息的多模态数据，通过使用实体图的节点和边缘分别表示实体和实体之间的相似关系。具体而言，提出了一种新的实例级商品检索预训练模型EGE-CMP，该模型通过自监督混合流Transformer将实体知识以节点和子图两种方式显式注入到多模态网络中，减少了不同对象内容之间的混淆，从而有效地引导网络关注具有真实语义的实体.实验结果很好地验证了我们的EGE-CMP的有效性和通用性，优于几个SOTA跨模态基线，如CLIP，UNITER和CAPTURE。
2022-06-17 cs.CV cs.DB cs.IR
