Cross-Modal and Uni-Modal Soft-Label Alignment for Image-Text Retrieval
SKLSDE, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院软件开发环境国家重点实验室）；Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出CUSA方法，利用单模态预训练模型的软标签监督信号，通过跨模态与单模态软标签对齐解决模态间匹配缺失和模态内语义损失问题，即插即用地提升图像-文本检索性能并实现通用检索。
2024-03-08 cs.CV cs.MM
Cross-Modal Retrieval Augmentation for Multi-Modal Classification
Tel Aviv University（特拉维夫大学）；Facebook AI
在外部知识源上使用检索组件的最新进展已经为自然语言处理中的各种下游任务显示出令人印象深刻的结果。在这里，我们探讨使用非结构化的外部知识来源的图像和相应的标题，以提高视觉问答（VQA）。首先，我们训练了一种新的对齐模型，用于在同一空间中嵌入图像和字幕，这在图像字幕检索的性能上实现了实质性的改进。类似的方法。其次，我们表明，检索增强多模态Transformers使用训练的对齐模型，提高了VQA在强基线上的结果。我们进一步进行了广泛的实验，以建立这种方法的承诺，并检查新的应用程序的推理时间，如热插拔指数。
2021-04-16 cs.CL cs.CV
CoVLR: Coordinating Cross-Modal Consistency and Intra-Modal Structure for Vision-Language Retrieval
本文提出 CoVLR，通过元优化协调跨模态一致性与模态内关系保持任务，缓解二者不同步问题，从而兼顾跨模态检索能力并提升单模态检索准确率。
2023-08-18 cs.CV cs.MM
Intra-Modal Constraint Loss For Image-Text Retrieval
Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；Zhejiang University of Technology（浙江工业大学）
跨模态检索在计算机视觉和自然语言处理领域都引起了广泛的关注。随着卷积神经网络和递归神经网络的发展，跨图像-文本模式检索的瓶颈不再是图像和文本特征的提取，而是嵌入空间中有效的损失函数学习。许多损失函数试图从异质模态中接近成对特征。提出了一种基于模态内约束损失函数的图像和文本联合嵌入学习方法，以减少来自同一模态的否定对的违反。实验结果表明，我们的方法优于国家的最先进的双向图像-文本检索方法在Flickr 30 K和Microsoft COCO数据集。我们的代码是公开的：https://github.com/CanonChen/IMC。
2022-07-13 cs.CV cs.MM
Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval
Technical University of Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）
当前最先进的跨模态检索方法联合处理文本和视觉输入，依赖于具有跨注意力机制的基于变换器的架构，该跨注意力机制关注图像中的所有单词和对象。虽然提供了无与伦比的检索性能，但这些模型：1）通常从头开始进行预训练，因此可扩展性较差，2）存在巨大的检索延迟和效率低下的问题，这使得它们在现实应用中不切实际。为了解决这些关键的差距，以改善和有效的跨模态检索，我们提出了一种新的微调框架，把任何预训练的文本图像多模态模型变成一个有效的检索模型。该框架基于合作检索和重新排序方法，该方法结合：1）孪生网络（即，双向编码器）以单独地对语料库的所有项进行编码，从而实现有效的初始检索，以及2）用于更细微差别的交叉编码器组件（即，更聪明的）检索到的小项目集的排序。我们还建议联合微调共享权重的两个组件，从而产生一个更有效的参数模型。我们在单语，多语言和zero-shot设置中对一系列标准跨模态检索基准进行的实验表明，与最先进的交叉编码器相比，该方法提高了准确性和巨大的效率优势。
2022-02-19 cs.CL cs.CV
CR-JEPA: Cross-Modal Joint-Embedding Predictive Learning for Remote Sensing Image Retrieval
Space Applications Centre, Indian Space Research Organisation（印度空间研究组织空间应用中心）；Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay（印度理工学院孟买资源工程研究中心）
提出CR-JEPA架构，通过模态特定主干、共享Transformer和JEPA预测目标实现跨模态语义对齐与同模态邻域保持，在BEN-14K等数据集上显著提升跨模态检索性能。
2026-06-06 cs.CV
MHTN: Modal-adversarial Hybrid Transfer Network for Cross-modal Retrieval
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
跨模态检索是跨模态数据检索的一个研究热点。然而，现有的基于DNN的方法面临着跨模态训练数据不足的挑战，这限制了训练的有效性，并且容易导致过拟合。迁移学习是为了缓解训练数据不足的问题，但它主要关注的是知识从大规模数据集（单模态源域）到单模态目标域的迁移。这种大规模的单模态数据集还包含丰富的模态独立的语义知识，可以在不同的模态之间共享。此外，大规模的跨模态数据集的收集和标注非常耗费人力，因此充分利用单模态数据集的知识对于提高跨模态检索具有重要意义。本文提出了模态-对抗混合迁移网络（MHTN），它是第一个实现知识从单模态源域到跨模态目标域的迁移，并学习跨模态公共表示的网络。它是一个端到端的体系结构，包含两个子网：（1）模态共享知识转移子网，以星型网络结构将知识从源域的大规模单模态数据集中联合转移到目标域的所有模态，提取模态无关的补充知识，促进跨模态公共表示学习。(2)提出了模态对抗语义学习子网络，在公共表示生成器和模态识别器之间建立对抗训练机制，使公共表示对语义具有区分性，对模态不具有区分性，以增强迁移过程中跨模态语义的一致性.在4个广泛使用的数据集上的综合实验表明了该方法的有效性和通用性。
2017-08-08 cs.CV cs.LG cs.MM
Revisiting Cross Modal Retrieval
University of Insubria（因苏布里亚大学）；National University of Sciences and Technology（国立科技大学）
本文提出了一个利用图像和文本编码的跨模态检索系统。大多数多模态架构为每个模态使用单独的网络来捕获它们之间的语义关系。然而，在我们的工作中，图像-文本编码可以在跨模态检索方面实现可比的结果，而不必为每个模态使用单独的网络。我们表明，文本编码可以捕捉多个模态之间的语义关系。据我们所知，这项工作是第一次采用单一的网络和融合的图像-文本嵌入的跨模态检索。我们在两个著名的多模态数据集上评估了我们的方法：MS-COCO和Flickr 30 K。
2018-07-19 cs.CV
M2HF: Multi-level Multi-modal Hybrid Fusion for Text-Video Retrieval
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Donghua University（东华大学）；Tencent（腾讯）
视频包含多模态的内容，探索多层次的跨模态交互与自然语言查询可以提供很大的突出文本视频检索任务（TVR）。然而，将大规模预训练模型CLIP应用于TVR的新趋势方法并不关注视频中的多模态线索。此外，传统的方法简单地连接多模态特征，没有利用视频中的细粒度跨模态信息。在本文中，我们提出了一个多层次的多模态混合融合（M2 HF）网络，以探索全面的文本查询和视频中的每一个模态内容之间的相互作用。具体地说，M2 HF首先利用CLIP提取的视觉特征与从视频中提取的音频和运动特征进行早期融合，分别获得视听融合特征和运动视觉融合特征。在此过程中还考虑了多模态对准问题。然后，从视频中提取的视觉特征、视听融合特征、运动视觉融合特征和文本以多层次的方式与字幕查询建立跨模态关系。最后对各级检索结果进行后期融合，得到最终的文本-视频检索结果。我们的框架提供了两种训练策略，包括集成方式和端到端的方式。此外，提出了一种新的多模态平衡损失函数来平衡每个模态的贡献，以实现高效的端到端训练。M2 HF允许我们在各种基准上获得最先进的结果，例如，在MSR-VTT，MSVD，LSMDC，DiDeMo和ActivityNet上的Rank@1分别为64.9%，68.2%，33.2%，57.1%，57.8%。
2022-08-16 cs.CV cs.MM
Logically at Factify 2: A Multi-Modal Fact Checking System Based on Evidence Retrieval techniques and Transformer Encoder Architecture
Logically
在本文中，我们介绍了在多模态事实检查的任务1上对De-FACTIFY 2挑战（DE-FACTIFY 2023）的逻辑提交。我们描述了我们对这一挑战的提交，包括探索的证据检索和选择技术，预训练的跨模态和单峰模型，以及基于完善的Transformer编码器（TE）架构的跨模态准确性模型，该架构严重依赖于自我注意力的概念。探索性分析还进行了这个Factify 2数据集，揭示了显着的多模态模式和假设，激励在这项工作中提出的架构。进行了一系列初步实验，以研究和基准测试不同的预训练嵌入模型，证据检索设置和阈值。最后的系统，一个标准的两阶段证据为基础的准确性检测系统，产生加权平均。0.79在任务1上的val集合和最终盲测试集合上，其在9个参与者中以小幅度达到排行榜上的最高性能系统的第三名。
2023-02-03 cs.AI cs.CL cs.CV
SwAMP: Swapped Assignment of Multi-Modal Pairs for Cross-Modal Retrieval
Samsung AI Center（三星人工智能中心）
我们解决了跨模态检索问题，其中学习仅由数据中的相关多模态对监督。虽然对比学习是最流行的方法，这使得潜在的错误假设，在不同对的实例自动无关。为了解决这个问题，我们提出了一种新的损失函数，是基于自标记的未知语义类。具体来说，我们的目标是预测每种模态中数据实例的类标签，并将这些标签分配给另一种模态中的相应实例（即，交换伪标签）。通过这些交换的标签，我们使用监督交叉熵损失来学习每个模态的数据嵌入。这样，来自语义相关的不同对的跨模态实例可以通过类预测器彼此对齐。我们测试了我们的方法在几个现实世界的跨模态检索问题，包括基于文本的视频检索，基于草图的图像检索，和图像-文本检索。对于所有这些任务，我们的方法实现了显着的性能改善的对比学习。
2022-10-11 cs.CV cs.LG
Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models
Nanyang Technological University（南洋理工大学）；Rice University（莱斯大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
文本-视觉跨模态检索一直是计算机视觉和自然语言处理领域的研究热点。学习多模态数据的适当表示对于跨模态检索性能至关重要。与现有的图像-文本检索方法，嵌入图像-文本对作为单一的特征向量在一个共同的表示空间，我们建议将生成过程的跨模态特征嵌入，通过它，我们不仅能够学习的全球抽象功能，但也本地接地功能。实验结果表明，该框架能够很好地匹配内容复杂的图像和句子，并在MSCOCO数据集上取得了较好的跨模态检索效果。
2018-06-13 cs.CV
Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism
Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）
食品检索是一项重要的任务，执行分析食品相关的信息，在这里，我们有兴趣在检索有关的信息查询食品项目，如成分，烹饪说明等，在本文中，我们探讨食品图像和烹饪食谱之间的跨模态检索。目标是学习图像和配方在公共特征空间中的嵌入，使得对应的图像-配方嵌入彼此接近。解决这个问题的两个主要挑战是1）跨跨模态食物数据的大的内部方差和小的内部方差;以及2）难以获得有区别的食谱表示。为了解决这两个问题，我们提出了语义一致和基于注意力的网络（SCAN），它通过调整输出语义概率来规范两种模态的嵌入。此外，我们利用一个自我注意力机制，以改善嵌入的食谱。我们评估了所提出的方法在大规模Recipe 1 M数据集上的性能，并表明我们可以显著优于几种最先进的食品图像和烹饪食谱的跨模态检索策略。
2021-09-21 cs.CV cs.MM
Unsupervised Multi-modal Hashing for Cross-modal retrieval
Jiangnan University（江南大学）；Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence（江苏省模式识别与计算智能工程实验室）
哈希学习以其存储成本低、效率高等优点在大数据领域受到了广泛关注。在本文中，我们提出了一种新的无监督散列学习方法来处理这个开放的问题，直接保持流形结构的散列。为了解决这个问题，在我们的框架中，文本空间中的语义相关性和视觉空间中的局部几何结构同时进行了探索。此外，`2;1-范数约束施加在投影矩阵上，以学习针对每种模态的鉴别性散列函数。在三个公开的数据集上进行了大量的实验来评估所提出的方法，实验结果表明，我们的方法可以实现优于最先进的方法的性能。
2020-09-27 cs.CV cs.MM
Learning Cross-Modal Deep Embeddings for Multi-Object Image Retrieval using Text and Sketch
Autonomous University of Barcelona（巴塞罗那自治大学）；Indian Statistical Institute（印度统计研究所）
在这项工作中，我们介绍了一个跨模态图像检索系统，允许文本和草图作为输入方式的查询。跨模态深度网络架构被制定为联合建模草图和文本输入模态以及图像输出模态，学习文本和图像之间以及草图和图像之间的共同嵌入。此外，注意力模型用于选择性地将注意力集中在图像的不同对象上，从而允许在查询中检索多个对象。实验表明，该方法在标准数据集上的单目标和多目标图像检索中均取得了较好的效果。
2018-04-28 cs.CV
Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing
跨模态检索系统是遥感领域的一个研究热点，它能够基于任意模态的查询，跨模态检索语义相关的数据。在本文中，我们将注意力集中在跨模态文本图像检索上，其中来自一种模态的查询（例如，文本）可以与来自另一个的存档条目匹配（例如，图片）。现有的跨模态文本图像检索系统中，大多数RS需要大量的标记的训练样本，也不允许快速和内存有效的检索。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题，在本文中，我们介绍了一种新的无监督跨模态对比哈希（DUCH）方法在RS的文本图像检索。为此，所提出的DUCH由两个主要模块组成：1）特征提取模块，其提取两种模态的深度表示; 2）散列模块，其学习从所提取的表示生成跨模态二进制散列码。我们引入了一种新的多目标损失函数，包括：i）对比目标，使相似性保留内和模态间的相似性; ii）一个对抗性的目标，在两个模态之间实施跨模态表示的一致性;和iii）二进制化目标生成哈希码。实验结果表明，所提出的DUCH优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-04-19 cs.CV
PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning
Harbin Institute of Technology（哈尔滨工业大学）
提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。
2026-06-06 cs.CV cs.MM
Learning Relation Alignment for Calibrated Cross-modal Retrieval
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
尽管大规模多模态预训练方法取得了成就，但跨模态检索，例如，图像-文本检索仍然是一个具有挑战性的任务。为了弥合两种模态之间的语义鸿沟，以往的研究主要集中在客体层面的词-区域对齐，缺乏词与词之间的语言关系和区域之间的视觉关系的匹配。这种关系一致性的忽视损害了图像-文本对的上下文化表示，并阻碍了模型的性能和可解释性。在本文中，我们首先提出了一种新的度量，模态内自我注意距离（ISD），量化的关系一致性，通过测量语言和视觉关系之间的语义距离。作为回应，我们提出了模态内自注意力的模态间对齐（IAIS），这是一种正则化的训练方法，用于优化ISD并通过模态间对齐相互校准两种模态的模态内自注意力。IAIS正则化器大大提高了Flickr 30 k和MS COCO数据集上流行模型的性能，这证明了我们方法的优越性。
2021-06-01 cs.CL cs.CV cs.IR
Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing
Technische Universität Berlin（柏林工业大学）
由于大规模多模态数据的可用性（例如，不同传感器获取的卫星图像、文本句子等）档案，跨模态检索系统的发展已经引起了RS的极大关注，该系统可以基于任何模态的查询来搜索和检索跨不同模态的语义相关数据。在本文中，我们将注意力集中在跨模态文本图像检索上，其中来自一种模态的查询（例如，文本）可以与来自另一个的存档条目匹配（例如，图片）。大多数现有的跨模态文本图像检索系统需要大量的标记的训练样本，也不允许快速和内存效率的检索，由于其固有的特点。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题，在本文中，我们介绍了一种新的深度无监督跨模态对比哈希（DUCH）方法的RS文本图像检索。所提出的DUCH由两个主要模块组成：1）特征提取模块（其提取文本-图像模态的深度表示）;以及2）散列模块（其学习从所提取的表示生成跨模态二进制散列码）。在散列模块中，我们引入了一个新的多目标损失函数，包括：i）对比目标，使相似性保留在两个模态内和模态间的相似性; ii）一个对抗性的目标，在两个模态之间执行跨模态表示一致性; iii）二进制化目标，用于生成代表性的散列代码。实验结果表明，建议DUCH优于国家的最先进的无监督跨模态哈希方法在两个多模态（图像和文本）基准档案在RS。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-01-20 cs.CV
A Zero-Shot Sketch-based Inter-Modal Object Retrieval Scheme for Remote Sensing Images
Centre of Studies in Resources Engineering (CSRE), Indian Institute of Technology Bombay（印度理工学院孟买分校资源工程研究中心）；German Aerospace Center (DLR)（德国航空航天中心）
传统的遥感（RS）检索方法通常基于单模态数据检索框架。在这项工作中，我们提出了一种新的跨模态三元组为基础的zero-shot检索方案，利用基于草图的RS数据表示。该方案执行有效，即使当草图表示边缘原型的图像。我们在一个新的双模态图像草图数据集上进行了实验，该数据集名为Earth on Canvas（EoC）。我们对该数据集进行了全面的基准测试，并证明了所提出的网络优于其他最先进的方法，用于遥感中基于zero-shot草图的检索框架。
2020-08-12 cs.CV
Look Before You Leap: Improving Text-based Person Retrieval by Learning A Consistent Cross-modal Common Manifold
Nanjing Tech University（南京工业大学）；Jinling Institute of Technology（金陵科技学院）；Beihang University（北京航空航天大学）
基于文本的人物检索的核心问题是如何弥合多模态数据之间的异构鸿沟。许多以前的方法设法学习一个潜在的公共流形映射范式遵循\textbf{cross-modal distribution consensus prediction (CDCP)}的方式。当将某一模态的特征分布映射到公共流形时，相反模态的特征分布是完全不可见的。也就是说，如何实现跨模态分布一致性，从而在构造的跨模态公共流形中嵌入和对齐多模态特征，都取决于模型本身的经验，而不是实际情况。这样的方法，这是不可避免的，多模态数据不能很好地对齐在公共流形，这最终导致一个次优的检索性能。为了克服这个\textbf{CDCP dilemma}，我们提出了一种新的算法LBUL学习一致的跨模态公共流形（C $^{3}$ M）的基于文本的人检索。该方法的核心思想是“\textit{san si er hou xing}”，即到\textbf{Look Before yoU Leap (LBUL)}。LBUL的公共流形映射机制包括一个查找步骤和一个跳跃步骤。与基于CDCP的方法相比，LBUL在将特定模态的数据嵌入到C $^{3}$ M中之前，考虑了视觉模态和文本模态的分布特征，实现了更可靠的跨模态分布一致性，从而获得了更高的检索精度.我们评估我们提出的方法上两个基于文本的人检索数据集CUHK-PEDES和RSTPReid。实验结果表明，所提出的…
2022-09-13 cs.CV cs.IR cs.MM
Cross-modal Image Retrieval with Deep Mutual Information Maximization
College of Computer Science, Zhejiang University（浙江大学计算机学院）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Institute of Marine Sensing and Networking, Zhejiang University（浙江大学海洋感知与网络研究所）；Key Laboratory of Ocean Observation-Imaging Testbed of Zhejiang Province, Zhejiang University（浙江省海洋观测-成像试验重点实验室）
在本文中，我们研究了跨模态图像检索，输入包含一个源图像加上一些文本，描述了某些修改，这个图像和所需的图像。现有的工作通常使用三个阶段的策略来解决这个任务：1）提取输入的特征; 2）融合源图像及其修改文本的特征以获得融合特征; 3）通过使用深度度量学习来学习期望图像与源图像+修改文本之间的相似性度量。由于经典的图像/文本编码器可以学习有用的表示，并且距离度量学习的常见基于对的损失函数足以用于跨模态检索，因此人们通常通过设计新的融合网络来提高检索准确率。然而，这些方法不能成功地处理由不同模态的特征的不一致的分布和表示所引起的模态间隙，这极大地影响了特征融合和相似性学习。为了缓解这个问题，我们采用了对比自监督学习方法Deep InforMax（DIM），通过增强文本，图像及其融合之间的依赖性来弥合这一差距。具体来说，我们的方法缩小了文本模态和图像模态之间的模态差距，最大化的互信息之间的语义不完全相同的表示。此外，我们寻求一个有效的公共子空间的语义相同的融合特征和所需的图像的特征之间的图像编码器的低级层和高级层的融合网络，利用Deep InforMax。在三个大规模基准数据集上的实验表明，我们已经弥合了不同模态之间的模态差距，并实现了最先进的检索性能。
2021-03-10 cs.CV cs.MM
Efficient Cross-Modal Retrieval via Deep Binary Hashing and Quantization
Rakuten, Inc.（乐天公司）
跨模态检索的目标是在不同的内容模态中搜索具有相似语义的数据。然而，跨模态检索需要大量的存储和检索时间，因为它需要处理多个模态的数据。现有的工作集中在学习单源紧凑功能，如二进制哈希码，保持不同模态之间的相似性。在这项工作中，我们提出了一个联合学习的深度哈希和量化网络（HQ）的跨模态检索。我们通过端到端的深度学习架构，同时学习二进制哈希码和量化码，以多种形式保存语义信息。在检索步骤中，使用二进制散列从搜索空间中检索项目的子集，然后使用量化对检索到的项目进行重新排序。我们从理论上和经验表明，这种两阶段的检索方法提供了更快的检索结果，同时保持准确性。在NUS-WIDE、MIR-Flickr和Amazon数据集上的实验结果表明，与基于监督神经网络的紧凑编码模型相比，HQ的精度提高了7%以上。
2022-02-15 cs.CV cs.IR cs.LG
Cross-Modal Retrieval Meets Inference:Improving Zero-Shot Classification with Cross-Modal Retrieval
Graduate School of AI, KAIST（KAIST人工智能研究生院）；Samsung Advanced Institute of Technology（三星先进技术研究院）
本文提出X-MoRe方法，通过外部图像-文本对的跨模态检索与模态置信度集成，在推理时增强CLIP零样本分类，无需额外训练，提升未见类别的泛化性能。
2023-08-29 cs.CV
Leveraging Modality Tags for Enhanced Cross-Modal Video Retrieval
School of Computer Science University of Bristol（计算机科学学院英国布里斯托尔大学）
针对视频检索的跨模态对齐问题，提出MAC-VR方法，利用基础模型提取的模态特定标签，结合辅助潜在概念的学习与对齐增强跨模态匹配，在多个数据集上取得优于或比肩现有SOTA的效果。
2025-08-31 cs.CV
StacMR: Scene-Text Aware Cross-Modal Retrieval
Computer Vision Center, Universitat Autónoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；NAVER LABS Europe（NAVER LABS 欧洲）
最近的跨模态检索模型受益于对视觉场景的日益丰富的理解，场景图和对象交互等等。这使得图像的视觉表示与其标题的文本表示之间的匹配得到改进。然而，当前的视觉表示忽略了一个关键方面：出现在图像中的文本，其中可能包含用于检索的关键信息。在本文中，我们首先提出了一个新的数据集，允许探索跨模态检索的图像包含场景文本实例。然后，武装这个数据集，我们描述了几种方法，利用场景文本，包括一个更好的场景-文本感知跨模态检索方法，它使用专门的表示文本的标题和文本的视觉场景，并调和他们在一个共同的嵌入空间。大量的实验证实，跨模态检索方法受益于场景文本和突出有趣的研究问题值得进一步探讨。数据集和代码可在http://europe.naverlabs.com/stacmr上获得
2020-12-08 cs.CV
Cross-modal Common Representation Learning by Hybrid Transfer Network
Peking University（北京大学）
基于DNN的跨模态检索是跨图像和文本等不同模态检索的研究热点，但现有方法往往面临跨模态训练数据不足的挑战。在单模态场景中，类似的问题通常通过从大规模辅助数据集（如ImageNet）转移知识来缓解。来自这种单模态数据集的知识对于跨模态检索也非常有用，这可以提供可以在不同模态之间共享的丰富的一般语义信息。然而，将有用的知识从单模态（如图像）源域转移到跨模态（如图像/文本）目标域是具有挑战性的。源领域的知识不能直接传递到目标领域的两种不同模态，目标领域固有的跨模态相关性为跨模态检索提供了关键线索，在传递过程中应保留这些线索。本文提出了一种跨模态混合传输网络（CHTN）：模态共享传输子网络利用源域和目标域的模态作为桥梁，同时向两个模态传输知识;层共享关联子网络保留了固有的跨模态语义相关性，进一步适应跨模态检索任务。CHTN可以将跨模态数据转换为通用表示进行检索，在3个数据集上的综合实验表明了该方法的有效性。
2017-06-24 cs.CV cs.LG cs.MM
Transitive Hashing Network for Heterogeneous Multimedia Retrieval
Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
散列算法由于其存储和检索效率的优势，在大规模多媒体检索中得到了广泛的应用。跨模态散列使得能够响应于另一模态的查询而从一个模态的数据库中进行高效检索。现有的跨模态散列工作假设跨模态的散列函数学习的异构关系。在本文中，我们放松了强假设，只需要这样的异构关系在一个辅助数据集不同的查询/数据库域。我们设计了一个混合深度架构，以同时学习辅助数据集的跨模式相关性，并对齐辅助数据集和查询/数据库域之间的数据集分布，从而生成用于异构多媒体检索的传递哈希码。大量的实验表明，所提出的方法产生最先进的多媒体检索性能的公共数据集，即NUS-WIDE，ImageNet-YahooQA。
2016-08-15 cs.CV
CMIR-NET : A Deep Learning Based Model For Cross-Modal Retrieval In Remote Sensing
Indian Institute of Technology Bombay（印度理工学院孟买分校）；German Aerospace Center (DLR)（德国航空航天中心）
本文研究了遥感领域中的跨模态信息检索问题。特别是，我们感兴趣的两个应用场景：i）全色（PAN）和多光谱图像之间的跨模态检索，以及ii）非常高分辨率（VHR）图像和语音之间的多标签图像检索基于标签注释。请注意，这些多模态检索场景比传统的单模态检索方法更具挑战性，因为模态之间的分布存在固有差异。然而，随着多源遥感数据的日益增长和缺乏足够的语义标注，多模态检索的任务近年来变得非常重要。在这方面，我们提出了一种新的基于深度神经网络的架构，该架构被认为是为所有输入模态学习一个有区别的共享特征空间，适用于语义一致的信息检索。在基准的大规模PAN多光谱DSRSID数据集和多标签UC-Merced数据集上进行了大量的实验。与Merced数据集一起，我们生成了与标签对应的语音信号语料库。在所有情况下都观察到相对于当前最先进技术的优异性能。
2019-05-24 cs.CV cs.IR eess.IV
Cross-Modal Retrieval with Implicit Concept Association
Microsoft AI & Research（微软人工智能与研究部）；University of Geneva（日内瓦大学）
传统的跨模态检索假设跨模态的概念的显式关联，其中概念如何彼此链接没有歧义，例如，当我们使用查询“dogs”进行图像搜索时，我们期望看到狗的图像。在本文中，我们考虑一个不同的设置为跨模态检索，从不同的模态数据隐式地通过概念，必须推断出高层次的推理，我们称之为隐式概念关联。为了促进未来在这种情况下的研究，我们提出了一个新的数据集，包含47K对动画GIF和从网络上抓取的句子，其中GIF描述了对文本中描述的场景的身体或情感反应（称为“反应GIF”）。我们报告的用户研究表明，尽管存在隐式的概念关联，人类能够识别视频句子对匹配的概念，这表明我们的任务的可行性。此外，我们提出了一种新的基于多示例学习的视觉语义嵌入网络。与传统方法不同，我们从每个模态中计算多个嵌入，每个嵌入代表不同的概念，并通过在多实例学习框架中考虑所有可能的视觉语义嵌入组合来测量它们的相似性。我们评估我们的方法在两个视频句子数据集与显式和隐式的概念关联和报告竞争力的结果相比，现有的方法跨模态检索。
2018-04-25 cs.AI cs.CV cs.MM
Federated Cross-Modal Retrieval with Missing Modalities via Semantic Routing and Adapter Personalization
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-鲁克桑克鲁特研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）；Shanghai Jiao Tong University（上海交通大学）；Hohai University（河海大学）；Shaanghai Jiao Tong University（上海交通大学）
本文提出RCSR框架，通过语义路由和适配器个性化解决联邦跨模态检索中异构数据和缺失模态的问题，提升全局检索准确性和训练稳定性。
2026-04-24 cs.AI cs.CV
Transformer Decoders with MultiModal Regularization for Cross-Modal Food Retrieval
Sorbonne University（索邦大学）；Meta AI；Meero（Meero公司）
近年来，跨模态图像配方检索得到了极大的关注。大多数工作都集中在使用单峰编码器改进跨模态嵌入，这允许在大规模数据库中进行有效检索，而不考虑计算成本更高的模态之间的交叉注意。我们提出了一个新的检索框架，T-食品（Transformer解码器与多模态正则化跨模态食品检索），利用模态之间的相互作用，在一个新的正则化方案，而只使用单峰编码器在测试时进行有效的检索。我们还捕捉配方实体之间的内部依赖关系与一个专用的配方编码器，并提出了新的变体的三重损失与动态利润率，适应任务的难度。最后，我们利用最新的视觉和语言预训练（VLP）模型（如CLIP）用于图像编码器。我们的方法在Recipe 1 M数据集上的性能大大优于现有方法。具体而言，我们在1 k和10 k测试集上分别实现了8.1%（72.6 R@1）和+10.9%（44.6 R@1）的绝对改进。代码可以在这里找到：https://github.com/mshukor/TFood
2022-04-20 cs.CV
Cross-Modal Retrieval with Cauchy-Schwarz Divergence
The HongKong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（自由大学）
针对现有跨模态检索方法在数值稳定性、超参数敏感性和多模态对齐上的局限，本文提出无超参数的柯西-施瓦茨散度及其广义版本，实现多模态直接对齐，在六个基准上验证了双模态和三模态检索的有效性。
2025-09-15 cs.AI cs.CV cs.IR
Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations
Uppsala University（乌普萨拉大学）
在组织表征和癌症诊断中，多模态成像已经成为一种强大的技术。由于计算的进步，可以利用大型数据集来发现病理模式并改善诊断。然而，这需要高效和可扩展的图像检索方法。跨模态图像检索特别具有挑战性，因为由不同模态捕获的相似（甚至相同）内容的图像可能共享很少的共同结构。我们提出了一种新的应用程序无关的基于内容的图像检索（CBIR）系统，用于跨模态的反向（子）图像搜索，该系统将深度学习与经典的特征提取和词袋模型相结合，以生成表示（将不同的模态嵌入到公共空间中），从而实现高效可靠的检索。我们说明了它的优势，通过替换研究，探索了一些特征提取器和学习表示，以及通过比较最近（跨模态）CBIR方法。对于明场和二次谐波发生显微图像（公开可用）数据集上的（子）图像检索任务，结果表明我们的方法优于所有测试的替代方案。我们讨论了比较方法的缺点和观察的重要性，学习表示和特征提取器在CBIR管道的等变性和不变性。代码可从以下网址获得：\url{https://github.com/MIDA-group/CrossModal_ImgRetrieval}。
2023-03-20 cs.CV
Enhanced Cross-modal 3D Retrieval via Tri-modal Reconstruction
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出三模态重建与对齐方法，通过多视图图像和点云联合表示3D形状，结合细粒度融合与困难负样本对比训练，显著提升了跨模态3D双向检索性能。
2025-04-02 cs.CV
A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels
针对带噪标签导致错误语义对齐和异质鸿沟扩大的问题，本文提出基于最优传输的统一框架 UOT-RCL，通过部分 OT 语义校正与关系对齐提升跨模态检索鲁棒性。
2024-03-20 cs.CV cs.IR cs.MM
Rebalanced Vision-Language Retrieval Considering Structure-Aware Distillation
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Electrical and Information Engineering, The University of Sydney（悉尼大学电气与信息工程学院）
针对模态不平衡导致跨模态匹配次优的问题，提出结合结构感知蒸馏的多粒度匹配方法，通过学习保持结构的表示重平衡匹配，在多个数据集上显著提升跨模态及单模态检索性能。
2024-12-14 cs.AI cs.CV
Cross-Modal Fusion Distillation for Fine-Grained Sketch-Based Image Retrieval
University of Exeter（埃克塞特大学）；University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Surrey（萨里大学）
基于草图的图像检索的表示学习主要是通过学习丢弃模态特定信息的嵌入来解决的。由于来自不同模态的实例通常可以提供描述底层概念的互补信息，因此我们提出了一个用于视觉Transformer（XModalViT）的交叉注意框架，该框架融合了模态特定的信息，而不是丢弃它们。我们的框架首先将来自单个照片和草图模态的成对数据点映射到融合表示，从而统一来自两种模态的信息。然后，我们通过对比和关系跨模态知识蒸馏将上述模态融合网络的输入空间解耦为各个模态的独立编码器。这样的编码器可以应用于下游任务，如跨模态检索。我们通过进行广泛的实验，并在三个基于细粒度草图的图像检索基准测试（Shoe-V2，Chair-V2和Sketchy）上实现最先进的结果，展示了学习到的表示的表达能力。可在www.example.com上获得实现。
2022-10-19 cs.CV cs.LG
Modality Curation: Building Universal Embeddings for Advanced Multimodal Information Retrieval
Northeastern University（东北大学）；Kuaishou Technology（快手科技）
本文提出UNITE框架，通过数据策展和模态感知训练配置（含MAMCL方法），解决多模态检索中的模态差距问题，在多个基准上取得最先进性能。
2025-05-27 cs.CV cs.IR cs.MM
Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-modal Pretraining
Sun Yat-sen University（中山大学）；Beijing Jiaotong University（北京交通大学）；Alibaba Group（阿里巴巴集团）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
随着电子商务时代顾客需求的多样化，给产品检索行业带来了更多的复杂性。以前的方法要么受到单模态输入或执行监督的图像级产品检索，因此无法适应现实生活中的场景，其中存在大量弱注释的多模态数据。在本文中，我们研究了一个更现实的设置，旨在执行弱监督的多模态实例级产品检索细粒度的产品类别。为了促进对这一具有挑战性的任务的研究，我们贡献了Product 1 M，这是用于现实世界实例级检索的最大的多模态化妆品数据集之一。值得注意的是，Product 1 M包含超过100万个图像-标题对，并且由两种样本类型组成，即，单一产品和多产品样品，其中包括各种化妆品品牌。除了多样性之外，Product 1 M还具有一些吸引人的特性，包括细粒度的类别，复杂的组合和模糊的对应关系，这些都很好地模仿了现实世界的场景。此外，我们提出了一种新的模型，名为跨模态对比产品Transformer的实例级产品检索（CAPTURE），它擅长通过混合流Transformer在自监督的方式捕获多模态输入之间的潜在协同作用。CAPTURE通过掩蔽多模态学习以及跨模态对比预训练生成有区别的实例特征，它优于几个SOTA跨模态基线。大量的烧蚀研究很好地证明了我们的模型的有效性和推广能力。数据集和代码可在https：//github.com/zhanxlin/Product1M上获得。
2021-08-09 cs.CV
Self-supervised Product Quantization for Deep Unsupervised Image Retrieval
Seoul National University（首尔大学）
基于监督深度学习的哈希和矢量量化正在实现快速和大规模的图像检索系统。通过充分利用标签注释，它们实现了出色的检索性能相比，传统的方法。然而，为大量的训练数据精确地分配标签是困难的，并且注释过程也是容易出错的。为了解决这些问题，我们提出了第一种深度无监督图像检索方法，称为自监督产品量化（SPQ）网络，它是无标签的，并以自监督的方式进行训练。我们设计了一个交叉量化的对比学习策略，通过比较单独变换的图像（视图）来联合学习码字和深度视觉描述符。我们的方法分析图像内容，提取描述性特征，使我们能够理解图像表示准确检索。通过对基准进行广泛的实验，我们证明了所提出的方法即使没有监督的预训练也能产生最先进的结果。
2022-01-12 cs.CV
Multi-Modal Motion Retrieval by Learning a Fine-Grained Joint Embedding Space
Southern University of Science and Technology（南方科技大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）；Nanyang Technological University（南洋理工大学）；Faculty of Computer Science and Control Engineering, Shenzhen University of Advanced Technology（计算机科学与控制工程学院，深圳大学先进技术学院）
针对现有运动检索方法交互模式单一、忽略模态序列表示的问题，提出融合文本、音频、视频、运动四模态的细粒度联合嵌入框架，通过序列级对比学习实现跨模态对齐，在自建数据集上多项检索指标优于现有方法，验证了多模态对运动获取的提升作用。
2025-07-31 cs.CV
CLIP Multi-modal Hashing for Multimedia Retrieval
School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Zhejiang Lab（之江实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对独立骨干网络特征表达能力有限导致检索准确率低的问题，提出CLIP多模态哈希方法（CLIPMH），利用CLIP框架提取并融合文本与视觉特征生成哈希码，实验证明其检索性能显著优于现有方法。
2024-10-10 cs.CV
Everything at Once -- Multi-modal Fusion Transformer for Video Retrieval
Goethe University Frankfurt（法兰克福歌德大学）；Columbia University（哥伦比亚大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；IBM Research AI（IBM研究院人工智能部门）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
最近，来自视频数据的多模态学习受到了越来越多的关注，因为它允许在没有人类注释的情况下训练语义上有意义的嵌入，从而实现zero-shot检索和分类等任务。在这项工作中，我们提出了一个多模态，模态不可知的融合Transformer的方法，学习多模态之间的信息交换，如视频，音频和文本，并将它们集成到一个联合的多模态表示，以获得一个嵌入，聚合多模态的时间信息。我们建议训练系统的组合损失的一切在一次，单一的模态以及对模态，明确地离开了任何附加组件，如位置或模态编码。在测试时，生成的模型可以处理和融合任何数量的输入模态。此外，Transformer的隐式属性允许处理不同长度的输入。为了评估所提出的方法，我们训练的大规模HowTo100 M数据集上的模型，并评估所得到的嵌入空间在四个具有挑战性的基准数据集上获得最先进的结果，在zero-shot视频检索和zero-shot视频动作定位。
2022-08-18 cs.CL cs.CV cs.SD
End-to-end Knowledge Retrieval with Multi-modal Queries
Arizona State University（亚利桑那州立大学）；Amazon Alexa（亚马逊Alexa）
本文面向图文信息分散的多模态知识检索，构建 ReMuQ 数据集，提出端到端检索模型 ReViz 及专用预训练任务，在零样本和微调设置下均取得提升。
2023-06-01 cs.CL cs.CV cs.IR
Revising Image-Text Retrieval via Multi-Modal Entailment
Soochow University（苏州大学）；Peking University（北京大学）；Hong Kong Polytechnic University（香港理工大学）
一个优秀的图像-文本检索模型依赖于高质量的标记数据。虽然现有图像-文本检索数据集的构建者努力确保标题与链接的图像匹配，但他们无法阻止标题适合其他图像。我们观察到这种多对多的匹配现象在广泛使用的检索数据集中是相当普遍的，其中一个标题可以描述多达178个图像。这些大量的匹配丢失数据不仅会在训练中混淆模型，还会削弱评估精度。受视觉和文本蕴涵任务的启发，我们提出了一个多模态蕴涵分类器来确定一个句子是否是由图像加上其链接的标题所蕴涵的。随后，我们修改图像文本检索数据集，通过添加这些隐含的字幕作为图像的额外的弱标签，并开发一个通用变量学习率策略，教检索模型区分隐含的字幕从其他负样本。在实验中，我们手动注释的蕴涵校正的图像-文本检索数据集进行评估。实验结果表明，所提出的蕴涵分类器实现了约78%的准确率，并不断提高性能的图像-文本检索基线。
2022-09-01 cs.AI cs.CL cs.CV
Exploring Uncertainty in Conditional Multi-Modal Retrieval Systems
University of Maryland, College Park（马里兰大学帕克分校）；Honda Research Institute, USA（本田美国研究所）
我们将视觉检索作为回归问题，将三元组损失作为回归损失。这使得认知不确定性估计使用辍学作为贝叶斯近似框架检索。因此，蒙特卡罗（MC）采样的杠杆，以提高检索性能。我们的方法在两个应用程序上进行评估：人员重新识别和自动驾驶汽车。在前一个应用程序的多个数据集上实现了可比较的最先进的结果。我们利用本田驾驶数据集（HDD）进行自动驾驶汽车应用。它为自我运动动作理解提供了多种模态和相似性概念。因此，我们提出了一个多模态条件检索网络。它将嵌入分解为单独的表示，以编码不同的相似性。这种形式的联合学习消除了对训练多个独立网络的需要，而没有任何性能下降。定量评估凸显了我们的方法能力，在高度不确定的环境中实现了6%的改进。
2019-01-23 cs.CV
Cross-Modal Manifold Learning for Cross-modal Retrieval
Technische Universität München（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
本文提出了一种新的可扩展的学习流形空间中的跨模态相似性保持检索算法。与现有的方法，保持全球和本地的几何形状之间的妥协，所提出的技术方面同时在歧管对齐。通过部署部分对应的实例，在联合流形空间中恢复底层映射函数来维护全局拓扑。然后计算模态间和模态内亲和矩阵，以分别使用扰动最小生成树（pMST）和最大化相似跨模态实例之间的亲和度来增强原始数据骨架。所提出的算法的性能进行评估，两个多模态图像数据集（冠状动脉粥样硬化组织学和脑MRI）的两个应用程序：分类，回归。我们详尽的验证和结果表明，我们的技术优于比较方法及其可行性，以改善计算机辅助诊断系统，疾病特异性的补充信息应汇总和解释跨模式，形成最终的决定。
2016-12-19 cs.CV
Uncertainty-based Cross-Modal Retrieval with Probabilistic Representations
Samsung AI Centre Toronto（多伦多三星人工智能中心）；York University（约克大学）；University of Toronto（多伦多大学）
概率嵌入已被证明对于捕获多义词含义以及图像匹配中的歧义是有用的。在本文中，我们研究了概率嵌入在跨模态设置（即，文本和图像），并提出了一种简单的方法，取代标准的矢量点嵌入在现有的图像-文本匹配模型与概率分布，参数学习。我们的指导假设是，概率嵌入中编码的不确定性捕获了输入实例中的跨模态模糊性，并且通过捕获这种不确定性，概率模型可以在下游任务中表现得更好，例如图像到文本或文本到图像检索。通过对标准和新基准的广泛实验，我们在跨模态检索中展示了概率表示的一致优势，并验证了我们的嵌入捕获不确定性的能力。
2022-04-20 cs.CL cs.CV cs.IR
ConTra: (Con)text (Tra)nsformer for Cross-Modal Video Retrieval
University of Bristol（布里斯托大学）
在本文中，我们重新审视跨模态剪辑句子检索的任务，剪辑是一个较长的未修剪的视频的一部分。当剪辑很短或视觉上模糊时，可以使用其局部时间上下文（即周围的视频片段）的知识来提高检索性能。我们提出了上下文Transformer（ConTra），一个编码器架构，模型之间的互动视频剪辑和它的本地时间上下文，以提高其嵌入式表示。重要的是，我们监督上下文Transformer使用对比损失的跨模态嵌入空间。我们探索视频和文本形式的上下文Transformers。结果一致表明，在三个数据集上的性能有所提高：YouCook 2，EPIC-KITCHENS和ActivityNet Captions的剪辑句子版本。详尽的消融研究和上下文分析表明所提出的方法的有效性。
2022-10-09 cs.CV
GMM-Based Comprehensive Feature Extraction and Relative Distance Preservation For Few-Shot Cross-Modal Retrieval
School of Software and Microelectronics, Peking University（软件与微电子学院，北京大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对少样本跨模态检索中数据多峰分布建模不足导致的模态内、模态间偏差问题，提出基于GMM与相对距离约束的GCRDP方法，通过多正样本对比学习和分布对齐提升检索性能，在四个基准上优于六种SOTA方法。
2025-05-19 cs.CV cs.IR
Dividing and Conquering Cross-Modal Recipe Retrieval: from Nearest Neighbours Baselines to SoTA
Cookpad Ltd.（Cookpad有限公司）；Facebook（脸书）；University of Liverpool（利物浦大学）
我们提出了一种新的非参数方法，用于跨模态食谱检索，它应用于预先计算的图像和文本嵌入的顶部。通过将我们的方法与构建图像和文本编码器的标准方法相结合，并使用自监督分类目标进行独立训练，我们创建了一个基线模型，该模型在具有挑战性的图像到配方任务上优于大多数现有方法。我们还使用我们的方法来比较使用不同现代方法训练的图像和文本编码器，从而解决阻碍跨模态食谱检索新方法开发的问题。我们演示了如何使用模型比较的见解，并使用标准的三重丢失扩展我们的基线模型，该模型大大提高了Recipe1M数据集的最新技术水平，同时仅使用预先计算的特征，并且比现有方法的复杂性低得多。此外，我们的方法很容易推广到其他具有挑战性的领域，实现政治和好消息跨模态检索任务的最先进的性能。
2021-07-13 cs.CV
Continual learning in cross-modal retrieval
Computer Vision Center（计算机视觉中心）
多模态表征和持续学习是与人类智能密切相关的两个领域。前者考虑了共享表示空间的学习，其中可以比较和整合来自不同模态的信息（我们专注于语言和视觉表示之间的跨模态检索）。后者研究如何防止在学习新任务时忘记以前学习过的任务。虽然人类在这两个方面都很出色，但深度神经网络仍然相当有限。在本文中，我们提出了这两个问题的组合成一个连续的跨模态检索设置，在那里我们研究了新的任务所造成的灾难性干扰如何影响嵌入空间和有效检索所需的跨模态对齐。我们提出了一个通用的框架，其中包括训练，索引和查询阶段。我们还识别和研究了可能导致遗忘的不同因素，并提出了缓解遗忘的工具。我们发现，索引阶段起着重要作用，简单地避免使用更新的嵌入网络重新索引数据库可以带来显着的收益。我们在两个图像-文本检索数据集中评估了我们的方法，在微调基线方面获得了显着收益。
2021-04-19 cs.CV
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval
Xidian University（西安电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Sydney（悉尼大学）
得益于深度学习的成功，跨模态检索最近取得了重大进展。然而，仍然存在一个关键的瓶颈：如何弥合模态差距，以进一步提高检索的准确性。在本文中，我们提出了一种自监督对抗散列（\textbf{SSAH}）方法，它是早期尝试将对抗学习以自监督方式纳入跨模态散列的方法之一。这项工作的主要贡献是利用两个对抗网络来最大化不同模态之间表示的语义相关性和一致性。此外，我们利用自监督语义网络发现高层次的语义信息的形式多标签注释。这些信息指导特征学习过程，并保留公共语义空间和汉明空间中的模态关系。在三个基准数据集上进行的大量实验验证了所提出的SSAH超越了最先进的方法。
2018-04-04 cs.CV
