Unsupervised Multi-modal Hashing for Cross-modal retrieval
Jiangnan University(江南大学);Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence(江苏省模式识别与计算智能工程实验室)
哈希学习以其存储成本低、效率高等优点在大数据领域受到了广泛关注。在本文中,我们提出了一种新的无监督散列学习方法来处理这个开放的问题,直接保持流形结构的散列。为了解决这个问题,在我们的框架中,文本空间中的语义相关性和视觉空间中的局部几何结构同时进行了探索。此外,`2;1-范数约束施加在投影矩阵上,以学习针对每种模态的鉴别性散列函数。在三个公开的数据集上进行了大量的实验来评估所提出的方法,实验结果表明,我们的方法可以实现优于最先进的方法的性能。
2020-09-27 cs.CV cs.MM
CR-JEPA: Cross-Modal Joint-Embedding Predictive Learning for Remote Sensing Image Retrieval
Space Applications Centre, Indian Space Research Organisation(印度空间研究组织空间应用中心);Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay(印度理工学院孟买资源工程研究中心)
提出CR-JEPA架构,通过模态特定主干、共享Transformer和JEPA预测目标实现跨模态语义对齐与同模态邻域保持,在BEN-14K等数据集上显著提升跨模态检索性能。
2026-06-06 cs.CV
Enhanced Multimodal Hate Video Detection via Channel-wise and Modality-wise Fusion
Department of Computer Science, University of Exeter(埃克塞特大学计算机科学系);Institute for Analytics and Data Science, University of Essex(埃塞克斯大学分析与数据科学研究所)
针对仇恨视频隐晦且跨模态特征利用不足的问题,提出CMFusion模型,通过时间交叉注意力及通道级、模态级融合提升检测性能。
2025-05-17 cs.AI cs.CV cs.MM
MHTN: Modal-adversarial Hybrid Transfer Network for Cross-modal Retrieval
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
跨模态检索是跨模态数据检索的一个研究热点。然而,现有的基于DNN的方法面临着跨模态训练数据不足的挑战,这限制了训练的有效性,并且容易导致过拟合。迁移学习是为了缓解训练数据不足的问题,但它主要关注的是知识从大规模数据集(单模态源域)到单模态目标域的迁移。这种大规模的单模态数据集还包含丰富的模态独立的语义知识,可以在不同的模态之间共享。此外,大规模的跨模态数据集的收集和标注非常耗费人力,因此充分利用单模态数据集的知识对于提高跨模态检索具有重要意义。本文提出了模态-对抗混合迁移网络(MHTN),它是第一个实现知识从单模态源域到跨模态目标域的迁移,并学习跨模态公共表示的网络。它是一个端到端的体系结构,包含两个子网:(1)模态共享知识转移子网,以星型网络结构将知识从源域的大规模单模态数据集中联合转移到目标域的所有模态,提取模态无关的补充知识,促进跨模态公共表示学习。(2)提出了模态对抗语义学习子网络,在公共表示生成器和模态识别器之间建立对抗训练机制,使公共表示对语义具有区分性,对模态不具有区分性,以增强迁移过程中跨模态语义的一致性.在4个广泛使用的数据集上的综合实验表明了该方法的有效性和通用性。
2017-08-08 cs.CV cs.LG cs.MM
Revisiting Cross Modal Retrieval
University of Insubria(因苏布里亚大学);National University of Sciences and Technology(国立科技大学)
本文提出了一个利用图像和文本编码的跨模态检索系统。大多数多模态架构为每个模态使用单独的网络来捕获它们之间的语义关系。然而,在我们的工作中,图像-文本编码可以在跨模态检索方面实现可比的结果,而不必为每个模态使用单独的网络。我们表明,文本编码可以捕捉多个模态之间的语义关系。据我们所知,这项工作是第一次采用单一的网络和融合的图像-文本嵌入的跨模态检索。我们在两个著名的多模态数据集上评估了我们的方法:MS-COCO和Flickr 30 K。
2018-07-19 cs.CV
Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models
Nanyang Technological University(南洋理工大学);Rice University(莱斯大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
文本-视觉跨模态检索一直是计算机视觉和自然语言处理领域的研究热点。学习多模态数据的适当表示对于跨模态检索性能至关重要。与现有的图像-文本检索方法,嵌入图像-文本对作为单一的特征向量在一个共同的表示空间,我们建议将生成过程的跨模态特征嵌入,通过它,我们不仅能够学习的全球抽象功能,但也本地接地功能。实验结果表明,该框架能够很好地匹配内容复杂的图像和句子,并在MSCOCO数据集上取得了较好的跨模态检索效果。
2018-06-13 cs.CV
Learning Cross-Modal Deep Embeddings for Multi-Object Image Retrieval using Text and Sketch
Autonomous University of Barcelona(巴塞罗那自治大学);Indian Statistical Institute(印度统计研究所)
在这项工作中,我们介绍了一个跨模态图像检索系统,允许文本和草图作为输入方式的查询。跨模态深度网络架构被制定为联合建模草图和文本输入模态以及图像输出模态,学习文本和图像之间以及草图和图像之间的共同嵌入。此外,注意力模型用于选择性地将注意力集中在图像的不同对象上,从而允许在查询中检索多个对象。实验表明,该方法在标准数据集上的单目标和多目标图像检索中均取得了较好的效果。
2018-04-28 cs.CV
Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing
跨模态检索系统是遥感领域的一个研究热点,它能够基于任意模态的查询,跨模态检索语义相关的数据。在本文中,我们将注意力集中在跨模态文本图像检索上,其中来自一种模态的查询(例如,文本)可以与来自另一个的存档条目匹配(例如,图片)。现有的跨模态文本图像检索系统中,大多数RS需要大量的标记的训练样本,也不允许快速和内存有效的检索。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题,在本文中,我们介绍了一种新的无监督跨模态对比哈希(DUCH)方法在RS的文本图像检索。为此,所提出的DUCH由两个主要模块组成:1)特征提取模块,其提取两种模态的深度表示; 2)散列模块,其学习从所提取的表示生成跨模态二进制散列码。我们引入了一种新的多目标损失函数,包括:i)对比目标,使相似性保留内和模态间的相似性; ii)一个对抗性的目标,在两个模态之间实施跨模态表示的一致性;和iii)二进制化目标生成哈希码。实验结果表明,所提出的DUCH优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-04-19 cs.CV
Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing
Technische Universität Berlin(柏林工业大学)
由于大规模多模态数据的可用性(例如,不同传感器获取的卫星图像、文本句子等)档案,跨模态检索系统的发展已经引起了RS的极大关注,该系统可以基于任何模态的查询来搜索和检索跨不同模态的语义相关数据。在本文中,我们将注意力集中在跨模态文本图像检索上,其中来自一种模态的查询(例如,文本)可以与来自另一个的存档条目匹配(例如,图片)。大多数现有的跨模态文本图像检索系统需要大量的标记的训练样本,也不允许快速和内存效率的检索,由于其固有的特点。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题,在本文中,我们介绍了一种新的深度无监督跨模态对比哈希(DUCH)方法的RS文本图像检索。所提出的DUCH由两个主要模块组成:1)特征提取模块(其提取文本-图像模态的深度表示);以及2)散列模块(其学习从所提取的表示生成跨模态二进制散列码)。在散列模块中,我们引入了一个新的多目标损失函数,包括:i)对比目标,使相似性保留在两个模态内和模态间的相似性; ii)一个对抗性的目标,在两个模态之间执行跨模态表示一致性; iii)二进制化目标,用于生成代表性的散列代码。实验结果表明,建议DUCH优于国家的最先进的无监督跨模态哈希方法在两个多模态(图像和文本)基准档案在RS。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-01-20 cs.CV
A Zero-Shot Sketch-based Inter-Modal Object Retrieval Scheme for Remote Sensing Images
Centre of Studies in Resources Engineering (CSRE), Indian Institute of Technology Bombay(印度理工学院孟买分校资源工程研究中心);German Aerospace Center (DLR)(德国航空航天中心)
传统的遥感(RS)检索方法通常基于单模态数据检索框架。在这项工作中,我们提出了一种新的跨模态三元组为基础的zero-shot检索方案,利用基于草图的RS数据表示。该方案执行有效,即使当草图表示边缘原型的图像。我们在一个新的双模态图像草图数据集上进行了实验,该数据集名为Earth on Canvas(EoC)。我们对该数据集进行了全面的基准测试,并证明了所提出的网络优于其他最先进的方法,用于遥感中基于zero-shot草图的检索框架。
2020-08-12 cs.CV
Look Before You Leap: Improving Text-based Person Retrieval by Learning A Consistent Cross-modal Common Manifold
Nanjing Tech University(南京工业大学);Jinling Institute of Technology(金陵科技学院);Beihang University(北京航空航天大学)
基于文本的人物检索的核心问题是如何弥合多模态数据之间的异构鸿沟。许多以前的方法设法学习一个潜在的公共流形映射范式遵循\textbf{cross-modal distribution consensus prediction (CDCP)}的方式。当将某一模态的特征分布映射到公共流形时,相反模态的特征分布是完全不可见的。也就是说,如何实现跨模态分布一致性,从而在构造的跨模态公共流形中嵌入和对齐多模态特征,都取决于模型本身的经验,而不是实际情况。这样的方法,这是不可避免的,多模态数据不能很好地对齐在公共流形,这最终导致一个次优的检索性能。为了克服这个\textbf{CDCP dilemma},我们提出了一种新的算法LBUL学习一致的跨模态公共流形(C $^{3}$ M)的基于文本的人检索。该方法的核心思想是“\textit{san si er hou xing}”,即到\textbf{Look Before yoU Leap (LBUL)}。LBUL的公共流形映射机制包括一个查找步骤和一个跳跃步骤。与基于CDCP的方法相比,LBUL在将特定模态的数据嵌入到C $^{3}$ M中之前,考虑了视觉模态和文本模态的分布特征,实现了更可靠的跨模态分布一致性,从而获得了更高的检索精度.我们评估我们提出的方法上两个基于文本的人检索数据集CUHK-PEDES和RSTPReid。实验结果表明,所提出的…
2022-09-13 cs.CV cs.IR cs.MM
Multi-Modal Pedestrian Detection with Large Misalignment Based on Modal-Wise Regression and Multi-Modal IoU
Tokyo Institute of Technology(东京工业大学);NTT Corporation(日本电报电话公司)
多种模态的组合使用通过一起使用这些模态的高可见性区域来实现在较差照明条件下的准确行人检测。组合使用的重要假设是两种模式之间没有或只有微弱的不一致。然而,一般来说,这种假设在实际情况中往往会被打破。由于这一假设的崩溃,边界框的位置在两种模态之间不匹配,导致检测精度显著降低,特别是在未对准量较大的区域中。在本文中,我们提出了一种多模态Faster-RCNN,它对大的未对准具有鲁棒性。关键是1)模态回归和2)用于小批量抽样的多模态IoU。为了处理较大的未对准,我们使用两种模式对RPN和检测头进行限界框回归。我们还提出了一种新的采样策略,称为“多模态小批量采样”,集成了两种模式的IoU。通过实际图像实验,我们证明了该方法的性能比国家的最先进的方法有很大的错位的数据有更好的。
2021-07-23 cs.CV
Cross-Modal Retrieval Meets Inference:Improving Zero-Shot Classification with Cross-Modal Retrieval
Graduate School of AI, KAIST(KAIST人工智能研究生院);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出X-MoRe方法,通过外部图像-文本对的跨模态检索与模态置信度集成,在推理时增强CLIP零样本分类,无需额外训练,提升未见类别的泛化性能。
2023-08-29 cs.CV
SwAMP: Swapped Assignment of Multi-Modal Pairs for Cross-Modal Retrieval
Samsung AI Center(三星人工智能中心)
我们解决了跨模态检索问题,其中学习仅由数据中的相关多模态对监督。虽然对比学习是最流行的方法,这使得潜在的错误假设,在不同对的实例自动无关。为了解决这个问题,我们提出了一种新的损失函数,是基于自标记的未知语义类。具体来说,我们的目标是预测每种模态中数据实例的类标签,并将这些标签分配给另一种模态中的相应实例(即,交换伪标签)。通过这些交换的标签,我们使用监督交叉熵损失来学习每个模态的数据嵌入。这样,来自语义相关的不同对的跨模态实例可以通过类预测器彼此对齐。我们测试了我们的方法在几个现实世界的跨模态检索问题,包括基于文本的视频检索,基于草图的图像检索,和图像-文本检索。对于所有这些任务,我们的方法实现了显着的性能改善的对比学习。
2022-10-11 cs.CV cs.LG
WISER: Wider Search, Deeper Thinking, and Adaptive Fusion for Training-Free Zero-Shot Composed Image Retrieval
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);National University of Singapore(新加坡国立大学);Wuhan AI Research(武汉人工智能研究院);Minzu University of China(民族大学)
WISER通过'检索-验证-细化'流程统一文本到图像和图像到图像检索,显式建模意图和不确定性意识,实现更广泛的搜索和更深入的思考,提升零样本复合图像检索性能。
2026-03-24 cs.CV
Leveraging Modality Tags for Enhanced Cross-Modal Video Retrieval
School of Computer Science University of Bristol(计算机科学学院英国布里斯托尔大学)
针对视频检索的跨模态对齐问题,提出MAC-VR方法,利用基础模型提取的模态特定标签,结合辅助潜在概念的学习与对齐增强跨模态匹配,在多个数据集上取得优于或比肩现有SOTA的效果。
2025-08-31 cs.CV
StacMR: Scene-Text Aware Cross-Modal Retrieval
Computer Vision Center, Universitat Autónoma de Barcelona(巴塞罗那自治大学计算机视觉中心);NAVER LABS Europe(NAVER LABS 欧洲)
最近的跨模态检索模型受益于对视觉场景的日益丰富的理解,场景图和对象交互等等。这使得图像的视觉表示与其标题的文本表示之间的匹配得到改进。然而,当前的视觉表示忽略了一个关键方面:出现在图像中的文本,其中可能包含用于检索的关键信息。在本文中,我们首先提出了一个新的数据集,允许探索跨模态检索的图像包含场景文本实例。然后,武装这个数据集,我们描述了几种方法,利用场景文本,包括一个更好的场景-文本感知跨模态检索方法,它使用专门的表示文本的标题和文本的视觉场景,并调和他们在一个共同的嵌入空间。大量的实验证实,跨模态检索方法受益于场景文本和突出有趣的研究问题值得进一步探讨。数据集和代码可在http://europe.naverlabs.com/stacmr上获得
2020-12-08 cs.CV
Cross-modal Common Representation Learning by Hybrid Transfer Network
Peking University(北京大学)
基于DNN的跨模态检索是跨图像和文本等不同模态检索的研究热点,但现有方法往往面临跨模态训练数据不足的挑战。在单模态场景中,类似的问题通常通过从大规模辅助数据集(如ImageNet)转移知识来缓解。来自这种单模态数据集的知识对于跨模态检索也非常有用,这可以提供可以在不同模态之间共享的丰富的一般语义信息。然而,将有用的知识从单模态(如图像)源域转移到跨模态(如图像/文本)目标域是具有挑战性的。源领域的知识不能直接传递到目标领域的两种不同模态,目标领域固有的跨模态相关性为跨模态检索提供了关键线索,在传递过程中应保留这些线索。本文提出了一种跨模态混合传输网络(CHTN):模态共享传输子网络利用源域和目标域的模态作为桥梁,同时向两个模态传输知识;层共享关联子网络保留了固有的跨模态语义相关性,进一步适应跨模态检索任务。CHTN可以将跨模态数据转换为通用表示进行检索,在3个数据集上的综合实验表明了该方法的有效性。
2017-06-24 cs.CV cs.LG cs.MM
Transitive Hashing Network for Heterogeneous Multimedia Retrieval
Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
散列算法由于其存储和检索效率的优势,在大规模多媒体检索中得到了广泛的应用。跨模态散列使得能够响应于另一模态的查询而从一个模态的数据库中进行高效检索。现有的跨模态散列工作假设跨模态的散列函数学习的异构关系。在本文中,我们放松了强假设,只需要这样的异构关系在一个辅助数据集不同的查询/数据库域。我们设计了一个混合深度架构,以同时学习辅助数据集的跨模式相关性,并对齐辅助数据集和查询/数据库域之间的数据集分布,从而生成用于异构多媒体检索的传递哈希码。大量的实验表明,所提出的方法产生最先进的多媒体检索性能的公共数据集,即NUS-WIDE,ImageNet-YahooQA。
2016-08-15 cs.CV
Cross-Modal Retrieval with Implicit Concept Association
Microsoft AI & Research(微软人工智能与研究部);University of Geneva(日内瓦大学)
传统的跨模态检索假设跨模态的概念的显式关联,其中概念如何彼此链接没有歧义,例如,当我们使用查询“dogs”进行图像搜索时,我们期望看到狗的图像。在本文中,我们考虑一个不同的设置为跨模态检索,从不同的模态数据隐式地通过概念,必须推断出高层次的推理,我们称之为隐式概念关联。为了促进未来在这种情况下的研究,我们提出了一个新的数据集,包含47K对动画GIF和从网络上抓取的句子,其中GIF描述了对文本中描述的场景的身体或情感反应(称为“反应GIF”)。我们报告的用户研究表明,尽管存在隐式的概念关联,人类能够识别视频句子对匹配的概念,这表明我们的任务的可行性。此外,我们提出了一种新的基于多示例学习的视觉语义嵌入网络。与传统方法不同,我们从每个模态中计算多个嵌入,每个嵌入代表不同的概念,并通过在多实例学习框架中考虑所有可能的视觉语义嵌入组合来测量它们的相似性。我们评估我们的方法在两个视频句子数据集与显式和隐式的概念关联和报告竞争力的结果相比,现有的方法跨模态检索。
2018-04-25 cs.AI cs.CV cs.MM
Transformer Decoders with MultiModal Regularization for Cross-Modal Food Retrieval
Sorbonne University(索邦大学);Meta AI;Meero(Meero公司)
近年来,跨模态图像配方检索得到了极大的关注。大多数工作都集中在使用单峰编码器改进跨模态嵌入,这允许在大规模数据库中进行有效检索,而不考虑计算成本更高的模态之间的交叉注意。我们提出了一个新的检索框架,T-食品(Transformer解码器与多模态正则化跨模态食品检索),利用模态之间的相互作用,在一个新的正则化方案,而只使用单峰编码器在测试时进行有效的检索。我们还捕捉配方实体之间的内部依赖关系与一个专用的配方编码器,并提出了新的变体的三重损失与动态利润率,适应任务的难度。最后,我们利用最新的视觉和语言预训练(VLP)模型(如CLIP)用于图像编码器。我们的方法在Recipe 1 M数据集上的性能大大优于现有方法。具体而言,我们在1 k和10 k测试集上分别实现了8.1%(72.6 R@1)和+10.9%(44.6 R@1)的绝对改进。代码可以在这里找到:https://github.com/mshukor/TFood
2022-04-20 cs.CV
Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations
Uppsala University(乌普萨拉大学)
在组织表征和癌症诊断中,多模态成像已经成为一种强大的技术。由于计算的进步,可以利用大型数据集来发现病理模式并改善诊断。然而,这需要高效和可扩展的图像检索方法。跨模态图像检索特别具有挑战性,因为由不同模态捕获的相似(甚至相同)内容的图像可能共享很少的共同结构。我们提出了一种新的应用程序无关的基于内容的图像检索(CBIR)系统,用于跨模态的反向(子)图像搜索,该系统将深度学习与经典的特征提取和词袋模型相结合,以生成表示(将不同的模态嵌入到公共空间中),从而实现高效可靠的检索。我们说明了它的优势,通过替换研究,探索了一些特征提取器和学习表示,以及通过比较最近(跨模态)CBIR方法。对于明场和二次谐波发生显微图像(公开可用)数据集上的(子)图像检索任务,结果表明我们的方法优于所有测试的替代方案。我们讨论了比较方法的缺点和观察的重要性,学习表示和特征提取器在CBIR管道的等变性和不变性。代码可从以下网址获得:\url{https://github.com/MIDA-group/CrossModal_ImgRetrieval}。
2023-03-20 cs.CV
Efficient Cross-Modal Retrieval via Deep Binary Hashing and Quantization
Rakuten, Inc.(乐天公司)
跨模态检索的目标是在不同的内容模态中搜索具有相似语义的数据。然而,跨模态检索需要大量的存储和检索时间,因为它需要处理多个模态的数据。现有的工作集中在学习单源紧凑功能,如二进制哈希码,保持不同模态之间的相似性。在这项工作中,我们提出了一个联合学习的深度哈希和量化网络(HQ)的跨模态检索。我们通过端到端的深度学习架构,同时学习二进制哈希码和量化码,以多种形式保存语义信息。在检索步骤中,使用二进制散列从搜索空间中检索项目的子集,然后使用量化对检索到的项目进行重新排序。我们从理论上和经验表明,这种两阶段的检索方法提供了更快的检索结果,同时保持准确性。在NUS-WIDE、MIR-Flickr和Amazon数据集上的实验结果表明,与基于监督神经网络的紧凑编码模型相比,HQ的精度提高了7%以上。
2022-02-15 cs.CV cs.IR cs.LG
Enhanced Cross-modal 3D Retrieval via Tri-modal Reconstruction
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出三模态重建与对齐方法,通过多视图图像和点云联合表示3D形状,结合细粒度融合与困难负样本对比训练,显著提升了跨模态3D双向检索性能。
2025-04-02 cs.CV
A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels
针对带噪标签导致错误语义对齐和异质鸿沟扩大的问题,本文提出基于最优传输的统一框架 UOT-RCL,通过部分 OT 语义校正与关系对齐提升跨模态检索鲁棒性。
2024-03-20 cs.CV cs.IR cs.MM
Modality Curation: Building Universal Embeddings for Advanced Multimodal Information Retrieval
Northeastern University(东北大学);Kuaishou Technology(快手科技)
本文提出UNITE框架,通过数据策展和模态感知训练配置(含MAMCL方法),解决多模态检索中的模态差距问题,在多个基准上取得最先进性能。
2025-05-27 cs.CV cs.IR cs.MM
Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-modal Pretraining
Sun Yat-sen University(中山大学);Beijing Jiaotong University(北京交通大学);Alibaba Group(阿里巴巴集团);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
随着电子商务时代顾客需求的多样化,给产品检索行业带来了更多的复杂性。以前的方法要么受到单模态输入或执行监督的图像级产品检索,因此无法适应现实生活中的场景,其中存在大量弱注释的多模态数据。在本文中,我们研究了一个更现实的设置,旨在执行弱监督的多模态实例级产品检索细粒度的产品类别。为了促进对这一具有挑战性的任务的研究,我们贡献了Product 1 M,这是用于现实世界实例级检索的最大的多模态化妆品数据集之一。值得注意的是,Product 1 M包含超过100万个图像-标题对,并且由两种样本类型组成,即,单一产品和多产品样品,其中包括各种化妆品品牌。除了多样性之外,Product 1 M还具有一些吸引人的特性,包括细粒度的类别,复杂的组合和模糊的对应关系,这些都很好地模仿了现实世界的场景。此外,我们提出了一种新的模型,名为跨模态对比产品Transformer的实例级产品检索(CAPTURE),它擅长通过混合流Transformer在自监督的方式捕获多模态输入之间的潜在协同作用。CAPTURE通过掩蔽多模态学习以及跨模态对比预训练生成有区别的实例特征,它优于几个SOTA跨模态基线。大量的烧蚀研究很好地证明了我们的模型的有效性和推广能力。数据集和代码可在https://github.com/zhanxlin/Product1M上获得。
2021-08-09 cs.CV
Cross-Modal Retrieval Augmentation for Multi-Modal Classification
Tel Aviv University(特拉维夫大学);Facebook AI
在外部知识源上使用检索组件的最新进展已经为自然语言处理中的各种下游任务显示出令人印象深刻的结果。在这里,我们探讨使用非结构化的外部知识来源的图像和相应的标题,以提高视觉问答(VQA)。首先,我们训练了一种新的对齐模型,用于在同一空间中嵌入图像和字幕,这在图像字幕检索的性能上实现了实质性的改进。类似的方法。其次,我们表明,检索增强多模态Transformers使用训练的对齐模型,提高了VQA在强基线上的结果。我们进一步进行了广泛的实验,以建立这种方法的承诺,并检查新的应用程序的推理时间,如热插拔指数。
2021-04-16 cs.CL cs.CV
Multi-Modal Motion Retrieval by Learning a Fine-Grained Joint Embedding Space
Southern University of Science and Technology(南方科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);ShanghaiTech University(上海科技大学);Nanyang Technological University(南洋理工大学);Faculty of Computer Science and Control Engineering, Shenzhen University of Advanced Technology(计算机科学与控制工程学院,深圳大学先进技术学院)
针对现有运动检索方法交互模式单一、忽略模态序列表示的问题,提出融合文本、音频、视频、运动四模态的细粒度联合嵌入框架,通过序列级对比学习实现跨模态对齐,在自建数据集上多项检索指标优于现有方法,验证了多模态对运动获取的提升作用。
2025-07-31 cs.CV
CLIP Multi-modal Hashing for Multimedia Retrieval
School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院);Zhejiang Lab(之江实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对独立骨干网络特征表达能力有限导致检索准确率低的问题,提出CLIP多模态哈希方法(CLIPMH),利用CLIP框架提取并融合文本与视觉特征生成哈希码,实验证明其检索性能显著优于现有方法。
2024-10-10 cs.CV
Progressive Learning for Image Retrieval with Hybrid-Modality Queries
Renmin University of China(中国人民大学)
图像检索与混合模态查询,也被称为合成文本和图像的图像检索(CTI-IR),是一个检索任务,其中的搜索意图是表达在一个更复杂的查询格式,涉及视觉和文本模态。例如,使用参考产品图像连同关于改变参考图像的某些属性的文本作为查询来搜索目标产品图像。这是一个更具挑战性的图像检索任务,需要语义空间学习和跨模态融合。以前的方法,试图处理这两个方面取得不令人满意的性能。在本文中,我们将CTI-IR任务分解为一个三阶段的学习问题,逐步学习复杂的知识,用于混合模态查询的图像检索。我们首先利用语义嵌入空间进行开放域图像-文本检索,然后将学习到的知识转移到时尚领域与时尚相关的预训练任务。最后,我们将预训练的模型从单查询增强为CTI-IR任务的混合模态查询。此外,由于不同的检索场景中的混合模态查询中的单个模态的贡献不同,我们提出了一种自监督的自适应加权策略,以动态地确定图像和文本的重要性,在混合模态查询更好的检索。大量的实验表明,我们提出的模型在Fashion-IQ和Shoes基准数据集上的Recall@K平均值分别为24.9%和9.5%,显着优于最先进的方法。
2022-04-24 cs.CV cs.IR
Exploring Uncertainty in Conditional Multi-Modal Retrieval Systems
University of Maryland, College Park(马里兰大学帕克分校);Honda Research Institute, USA(本田美国研究所)
我们将视觉检索作为回归问题,将三元组损失作为回归损失。这使得认知不确定性估计使用辍学作为贝叶斯近似框架检索。因此,蒙特卡罗(MC)采样的杠杆,以提高检索性能。我们的方法在两个应用程序上进行评估:人员重新识别和自动驾驶汽车。在前一个应用程序的多个数据集上实现了可比较的最先进的结果。我们利用本田驾驶数据集(HDD)进行自动驾驶汽车应用。它为自我运动动作理解提供了多种模态和相似性概念。因此,我们提出了一个多模态条件检索网络。它将嵌入分解为单独的表示,以编码不同的相似性。这种形式的联合学习消除了对训练多个独立网络的需要,而没有任何性能下降。定量评估凸显了我们的方法能力,在高度不确定的环境中实现了6%的改进。
2019-01-23 cs.CV
Cross-Modal Manifold Learning for Cross-modal Retrieval
Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
本文提出了一种新的可扩展的学习流形空间中的跨模态相似性保持检索算法。与现有的方法,保持全球和本地的几何形状之间的妥协,所提出的技术方面同时在歧管对齐。通过部署部分对应的实例,在联合流形空间中恢复底层映射函数来维护全局拓扑。然后计算模态间和模态内亲和矩阵,以分别使用扰动最小生成树(pMST)和最大化相似跨模态实例之间的亲和度来增强原始数据骨架。所提出的算法的性能进行评估,两个多模态图像数据集(冠状动脉粥样硬化组织学和脑MRI)的两个应用程序:分类,回归。我们详尽的验证和结果表明,我们的技术优于比较方法及其可行性,以改善计算机辅助诊断系统,疾病特异性的补充信息应汇总和解释跨模式,形成最终的决定。
2016-12-19 cs.CV
ConTra: (Con)text (Tra)nsformer for Cross-Modal Video Retrieval
University of Bristol(布里斯托大学)
在本文中,我们重新审视跨模态剪辑句子检索的任务,剪辑是一个较长的未修剪的视频的一部分。当剪辑很短或视觉上模糊时,可以使用其局部时间上下文(即周围的视频片段)的知识来提高检索性能。我们提出了上下文Transformer(ConTra),一个编码器架构,模型之间的互动视频剪辑和它的本地时间上下文,以提高其嵌入式表示。重要的是,我们监督上下文Transformer使用对比损失的跨模态嵌入空间。我们探索视频和文本形式的上下文Transformers。结果一致表明,在三个数据集上的性能有所提高:YouCook 2,EPIC-KITCHENS和ActivityNet Captions的剪辑句子版本。详尽的消融研究和上下文分析表明所提出的方法的有效性。
2022-10-09 cs.CV
Dividing and Conquering Cross-Modal Recipe Retrieval: from Nearest Neighbours Baselines to SoTA
Cookpad Ltd.(Cookpad有限公司);Facebook(脸书);University of Liverpool(利物浦大学)
我们提出了一种新的非参数方法,用于跨模态食谱检索,它应用于预先计算的图像和文本嵌入的顶部。通过将我们的方法与构建图像和文本编码器的标准方法相结合,并使用自监督分类目标进行独立训练,我们创建了一个基线模型,该模型在具有挑战性的图像到配方任务上优于大多数现有方法。我们还使用我们的方法来比较使用不同现代方法训练的图像和文本编码器,从而解决阻碍跨模态食谱检索新方法开发的问题。我们演示了如何使用模型比较的见解,并使用标准的三重丢失扩展我们的基线模型,该模型大大提高了Recipe1M数据集的最新技术水平,同时仅使用预先计算的特征,并且比现有方法的复杂性低得多。此外,我们的方法很容易推广到其他具有挑战性的领域,实现政治和好消息跨模态检索任务的最先进的性能。
2021-07-13 cs.CV
Continual learning in cross-modal retrieval
Computer Vision Center(计算机视觉中心)
多模态表征和持续学习是与人类智能密切相关的两个领域。前者考虑了共享表示空间的学习,其中可以比较和整合来自不同模态的信息(我们专注于语言和视觉表示之间的跨模态检索)。后者研究如何防止在学习新任务时忘记以前学习过的任务。虽然人类在这两个方面都很出色,但深度神经网络仍然相当有限。在本文中,我们提出了这两个问题的组合成一个连续的跨模态检索设置,在那里我们研究了新的任务所造成的灾难性干扰如何影响嵌入空间和有效检索所需的跨模态对齐。我们提出了一个通用的框架,其中包括训练,索引和查询阶段。我们还识别和研究了可能导致遗忘的不同因素,并提出了缓解遗忘的工具。我们发现,索引阶段起着重要作用,简单地避免使用更新的嵌入网络重新索引数据库可以带来显着的收益。我们在两个图像-文本检索数据集中评估了我们的方法,在微调基线方面获得了显着收益。
2021-04-19 cs.CV
Federated Cross-Modal Retrieval with Missing Modalities via Semantic Routing and Adapter Personalization
Institute for Clarity in Documentation(清晰文档研究所);Inria Paris-Rocquencourt(巴黎-鲁克桑克鲁特研究所);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室);Shanghai Jiao Tong University(上海交通大学);Hohai University(河海大学);Shaanghai Jiao Tong University(上海交通大学)
本文提出RCSR框架,通过语义路由和适配器个性化解决联邦跨模态检索中异构数据和缺失模态的问题,提升全局检索准确性和训练稳定性。
2026-04-24 cs.AI cs.CV
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval
Xidian University(西安电子科技大学);Tencent AI Lab(腾讯人工智能实验室);University of Sydney(悉尼大学)
得益于深度学习的成功,跨模态检索最近取得了重大进展。然而,仍然存在一个关键的瓶颈:如何弥合模态差距,以进一步提高检索的准确性。在本文中,我们提出了一种自监督对抗散列(\textbf{SSAH})方法,它是早期尝试将对抗学习以自监督方式纳入跨模态散列的方法之一。这项工作的主要贡献是利用两个对抗网络来最大化不同模态之间表示的语义相关性和一致性。此外,我们利用自监督语义网络发现高层次的语义信息的形式多标签注释。这些信息指导特征学习过程,并保留公共语义空间和汉明空间中的模态关系。在三个基准数据集上进行的大量实验验证了所提出的SSAH超越了最先进的方法。
2018-04-04 cs.CV
X-TRA: Improving Chest X-ray Tasks with Cross-Modal Retrieval Augmentation
University of Amsterdam(阿姆斯特丹大学)
人类分析医学图像及其背景的一个重要组成部分是将新看到的事物与我们记忆中的相关实例联系起来的能力。在本文中,我们模仿这种能力,通过使用多模态检索增强,并将其应用到胸部X射线分析的几个任务。通过检索类似的图像和/或放射学报告,我们扩展和规范的情况下,手头的额外的知识,同时保持事实知识的一致性。该方法由两部分组成。首先,使用预先训练的CLIP模型对齐视觉和语言模态。为了使检索重点放在详细的疾病相关内容上,而不是全局视觉外观上,使用疾病类别信息对其进行微调。随后,我们构建了一个非参数检索索引,达到了最先进的检索水平。我们在下游任务中使用该索引,通过多头注意力增强图像表示,用于疾病分类和报告检索。我们发现,检索增强给这些任务相当大的改善。我们的下游报告检索甚至显示出与专用报告生成方法的竞争力,为医学成像中的这种方法铺平了道路。
2023-02-22 cs.CV
Cross-Modal Retrieval with Cauchy-Schwarz Divergence
The HongKong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(自由大学)
针对现有跨模态检索方法在数值稳定性、超参数敏感性和多模态对齐上的局限,本文提出无超参数的柯西-施瓦茨散度及其广义版本,实现多模态直接对齐,在六个基准上验证了双模态和三模态检索的有效性。
2025-09-15 cs.AI cs.CV cs.IR
Probabilistic Embeddings for Cross-Modal Retrieval
NAVER AI Lab(NAVER人工智能实验室);NAVER LABS Europe(NAVER欧洲实验室)
跨模态检索方法为来自多个模态(通常来自视觉和语言域)的样本构建公共表示空间。对于图像及其标题,对应关系的多样性使得任务特别具有挑战性。给定一个图像(分别是一个标题),有多个标题(分别是图像)同样有意义。在本文中,我们认为,确定性函数是不够强大的捕捉这样的一对多的对应关系。相反,我们建议使用概率跨模态嵌入(PCME),其中来自不同模态的样本表示为公共嵌入空间中的概率分布。由于常见的基准测试,如COCO遭受非详尽的注释跨模态匹配,我们建议额外评估检索CUB数据集,一个更小但干净的数据库,所有可能的图像标题对注释。我们广泛消融PCME,并证明它不仅提高了检索性能,其确定性的对应,但也提供了不确定性估计,使嵌入更可解释。代码可在https://github.com/naver-ai/pcme上获得
2021-06-14 cs.CV
MTFH: A Matrix Tri-Factorization Hashing Framework for Efficient Cross-Modal Retrieval
Huaqiao University(华侨大学);Xidian University(西安电子科技大学);Stony Brook University(石溪大学);Hong Kong Baptist University(香港浸会大学)
散列技术以其低存储开销和高查询速度的优点,引发了跨模态检索的一场革命。最近的跨模态哈希方法通常学习统一或等长的哈希码来表示多模态数据,并使它们具有直观的可比性。然而,这种统一或等长的散列表示可能固有地牺牲其表示可扩展性,因为来自不同模态的数据可能不具有一一对应关系,并且可以通过不等长度的不同散列码来更有效地编码。为了缓解这些问题,本文利用了一个相关的和相对未探索的问题:编码的异构数据与不同的哈希长度和推广的跨模态检索在各种具有挑战性的情况下。为此,提出了一种通用且灵活的跨模态散列框架,称为矩阵三因子散列(MTFH),可以在各种设置中无缝工作,包括配对或未配对的多模态数据,以及相等或不同的散列长度编码场景。更具体地说,MTFH利用一个有效的目标函数来灵活地学习具有不同长度设置的特定于模态的散列码,同时同步学习两个语义相关矩阵,以在语义上关联不同的散列表示,用于异构数据可比。因此,所得到的哈希码对于各种具有挑战性的跨模态检索任务具有更强的语义意义。在公共基准数据集上进行的大量实验突出了MTFH在各种检索场景下的优越性,并显示了其与最先进技术的竞争性能。
2019-09-12 cs.CV
Masking Modalities for Cross-modal Video Retrieval
Inria(法国国家信息与自动化研究所);Google Research(谷歌研究院)
在计算机视觉和自然语言处理领域,对大规模未标记数据集进行预训练已经显示出令人印象深刻的性能改进。鉴于大规模教学视频数据集的出现,预训练视频编码器的常见策略是使用伴随的语音作为弱监督。然而,由于语音用于监督预训练,因此视频编码器永远不会看到它,视频编码器不会学习处理该模态。我们解决了当前预训练方法的这一缺点,这些方法未能利用口语中丰富的线索。我们的建议是使用所有可用的视频形式作为监督,即外观,声音和转录语音来预训练视频编码器。我们在输入中屏蔽整个模态,并使用其他两种模态进行预测。这鼓励每种模态与其他模态合作,我们的视频编码器学习处理外观和音频以及语音。我们展示了我们的“模态掩蔽”预训练方法在How2R,YouCook2和Condensed Movies数据集上进行视频检索的优越性能。
2021-11-03 cs.CV
Fast-then-Fine: A Two-Stage Framework with Multi-Granular Representation for Cross-Modal Retrieval in Remote Sensing
School of Computer Science, Wuhan University(武汉大学计算机学院);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
本文提出一种两阶段框架,通过多粒度表示提升遥感跨模态检索效率与精度,采用文本无关召回和文本引导重排序阶段,减少计算资源消耗。
2026-04-22 cs.CV
CMIR-NET : A Deep Learning Based Model For Cross-Modal Retrieval In Remote Sensing
Indian Institute of Technology Bombay(印度理工学院孟买分校);German Aerospace Center (DLR)(德国航空航天中心)
本文研究了遥感领域中的跨模态信息检索问题。特别是,我们感兴趣的两个应用场景:i)全色(PAN)和多光谱图像之间的跨模态检索,以及ii)非常高分辨率(VHR)图像和语音之间的多标签图像检索基于标签注释。请注意,这些多模态检索场景比传统的单模态检索方法更具挑战性,因为模态之间的分布存在固有差异。然而,随着多源遥感数据的日益增长和缺乏足够的语义标注,多模态检索的任务近年来变得非常重要。在这方面,我们提出了一种新的基于深度神经网络的架构,该架构被认为是为所有输入模态学习一个有区别的共享特征空间,适用于语义一致的信息检索。在基准的大规模PAN多光谱DSRSID数据集和多标签UC-Merced数据集上进行了大量的实验。与Merced数据集一起,我们生成了与标签对应的语音信号语料库。在所有情况下都观察到相对于当前最先进技术的优异性能。
2019-05-24 cs.CV cs.IR eess.IV
ViSTA: Vision and Scene Text Aggregation for Cross-Modal Retrieval
Baidu Inc(百度公司);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
视觉外观被认为是跨模态检索中理解图像的最重要线索,而有时图像中出现的场景文本可以为理解视觉语义提供有价值的信息。现有的大多数跨模态检索方法都忽略了场景文本信息的使用,直接添加这些信息可能会导致无场景文本场景检索性能下降。为了解决这个问题,我们提出了一个完整的Transformer架构,以统一这些跨模态检索场景在一个单一的$\textbf{Vi}$ sion和$\textbf{S}$ cene $\textbf{T}$ ext $\textbf{A}$ ggregation框架(VisTA)。具体而言,ViSTA利用Transformer块直接编码图像块并融合场景文本嵌入,以学习用于跨模态检索的聚合视觉表示。为了解决场景文本的模态缺失问题,提出了一种新的基于融合标记的Transformer聚合方法,只通过融合标记交换必要的场景文本信息,并集中在每个模态中最重要的特征上。为了进一步加强视觉模态,我们开发了双重对比学习损失,将图像-文本对和融合-文本对嵌入到一个公共的跨模态空间中。与现有的方法相比,VisTA能够聚合相关的场景文本语义与视觉外观,从而改善场景文本自由和场景文本感知场景下的结果。实验结果表明,对于场景文本感知的检索任务,VisTA在Recall@1处的性能至少比其他方法高出$\bf{8.4}\%$.与最先进的场景文本免费检索方法相比,ViSTA可以实现更好的准确性在Flic…
2022-03-31 cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆茨曼实验室);Google Research(谷歌研究院)
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法,这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外,他们聚合每帧的视觉功能有限或没有时间信息。在本文中,我们提出了一个多模态的Transformer联合编码的不同形式的视频,这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面,我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning
Amazon(亚马逊)
由于食物在人们生活中的重要性,以及大量数字烹饪食谱和食物图像可用于训练机器学习模型,跨模态食谱检索最近获得了大量关注。在这项工作中,我们重新审视了现有的跨模态食谱检索方法,并提出了一个简化的端到端模型,该模型基于完善的高性能文本和图像编码器。我们引入了一个分层的配方Transformer,它专注地编码各个配方组件(标题,成分和说明)。此外,我们提出了一个自我监督的损失函数计算上对个人的配方组件,这是能够利用配方内的语义关系,并使训练使用图像配方和食谱只有样本。我们进行了全面的分析和消融研究,以验证我们的设计选择。因此,我们提出的方法在Recipe1M数据集上的跨模态食谱检索任务中实现了最先进的性能。我们公开代码和模型。
2021-03-24 cs.CV
Learning Sample-wise Rank-aware Interpolation Weights for Composed Visual Data Retrieval
AI Center, Samsung Electronics(三星电子AI中心);POSTECH(浦项科技大学);Ajou University(明知大学)
针对组合视觉数据检索中基于MLLM方法延迟高的问题,提出SRAIN框架,通过批量排名感知权重估计和合成难负样本的内存库,实现低延迟且性能优异的检索。
2026-08-25 cs.CV
Deep Cross-modality Adaptation via Semantics Preserving Adversarial Learning for Sketch-based 3D Shape Retrieval
由于2D草图和3D形状之间存在很大的跨模态差异,因此通过草图检索3D形状是一项非常具有挑战性的任务。为了解决这个问题,本文提出了一个新的框架来学习有区别的深度跨模态适应模型。具体来说,我们首先分别采用两个度量网络,然后是两个深度卷积神经网络(CNN),基于重要性感知度量学习方法学习特定于模态的判别特征。随后,我们显式地引入了一个跨模态转换网络来补偿两种模态之间的分歧,它可以将2D草图的特征转换到3D形状的特征空间。我们开发了一种基于对抗学习的方法来训练转换模型,通过同时增强两种模态的数据分布之间的整体相关性,并通过最小化跨模态平均差异项来减轻局部语义分歧。在SHREC 2013和SHREC 2014数据集上的实验结果清楚地表明,与最先进的方法相比,我们提出的模型具有更好的检索性能。
2018-07-04 cs.CV
Attribute-Guided Network for Cross-Modal Zero-Shot Hashing
Tianjin University(天津大学);Lancaster University(兰卡斯特大学)
Zero-Shot Hashing旨在学习一种哈希模型,该模型仅由可见类别的实例训练,但可以很好地生成未见过类别的实例。通常,它是通过利用语义嵌入空间来实现知识从可见域转移到不可见域。现有的研究主要集中在单模态检索,特别是基于图像的图像检索(IBIR)。然而,作为散列领域的一个热点研究课题,跨模态检索在实际应用中更为常见。为了解决跨模态Zero-Shot哈希(CMSHH)检索任务,我们提出了一种新的属性引导网络(AgNet),它不仅可以执行IBIR,但也基于文本的图像检索(TBIR)。特别是,AgNet将不同的模态数据对齐到语义丰富的属性空间中,这弥合了模态异质性和zero-shot设置造成的差距。我们还设计了一个有效的策略,利用属性来指导在同一个网络中的图像和文本的哈希码的生成。在三个基准数据集(AwA,SUN和ImageNet)上的大量实验结果证明了AgNet在跨模态和单模态zero-shot图像检索任务上的优越性。
2018-02-06 cs.CV
Content-Based Video-Music Retrieval Using Soft Intra-Modal Structure Constraint
到目前为止,只有有限的研究已经进行了跨模态检索的合适的音乐为指定的视频或反之亦然。此外,许多现有的研究依赖于元数据,如关键字,标签,或相关的描述,必须单独产生和附加后。本文介绍了一种新的基于内容的视频和音乐跨模态检索方法,该方法通过深度神经网络实现。我们通过模态间排序损失来训练网络,使得具有相似语义的视频和音乐在嵌入空间中紧密地结合在一起。然而,如果仅使用模态间排序约束进行嵌入,则可能丢失模态特定的特征。为了解决这个问题,我们提出了一种新的软模内结构损失,利用嵌入前的模内样本之间的相对距离关系。我们还引入了合理的定量和定性实验协议,以解决不太成熟的视频音乐相关任务缺乏标准协议的问题。最后,我们构建了一个大规模的200 K视频-音乐对基准。所有数据集和源代码都可以在我们的在线存储库(https://github.com/csehong/VM-NET)中找到。
2017-09-01 cs.CV
Rebalanced Vision-Language Retrieval Considering Structure-Aware Distillation
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Electrical and Information Engineering, The University of Sydney(悉尼大学电气与信息工程学院)
针对模态不平衡导致跨模态匹配次优的问题,提出结合结构感知蒸馏的多粒度匹配方法,通过学习保持结构的表示重平衡匹配,在多个数据集上显著提升跨模态及单模态检索性能。
2024-12-14 cs.AI cs.CV
Cross-Modal Fusion Distillation for Fine-Grained Sketch-Based Image Retrieval
University of Exeter(埃克塞特大学);University of Tübingen(图宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Surrey(萨里大学)
基于草图的图像检索的表示学习主要是通过学习丢弃模态特定信息的嵌入来解决的。由于来自不同模态的实例通常可以提供描述底层概念的互补信息,因此我们提出了一个用于视觉Transformer(XModalViT)的交叉注意框架,该框架融合了模态特定的信息,而不是丢弃它们。我们的框架首先将来自单个照片和草图模态的成对数据点映射到融合表示,从而统一来自两种模态的信息。然后,我们通过对比和关系跨模态知识蒸馏将上述模态融合网络的输入空间解耦为各个模态的独立编码器。这样的编码器可以应用于下游任务,如跨模态检索。我们通过进行广泛的实验,并在三个基于细粒度草图的图像检索基准测试(Shoe-V2,Chair-V2和Sketchy)上实现最先进的结果,展示了学习到的表示的表达能力。可在www.example.com上获得实现。
2022-10-19 cs.CV cs.LG