CR-JEPA: Cross-Modal Joint-Embedding Predictive Learning for Remote Sensing Image Retrieval
Space Applications Centre, Indian Space Research Organisation(印度空间研究组织空间应用中心);Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay(印度理工学院孟买资源工程研究中心)
提出CR-JEPA架构,通过模态特定主干、共享Transformer和JEPA预测目标实现跨模态语义对齐与同模态邻域保持,在BEN-14K等数据集上显著提升跨模态检索性能。
2026-06-06 cs.CV
Revisiting Cross Modal Retrieval
University of Insubria(因苏布里亚大学);National University of Sciences and Technology(国立科技大学)
本文提出了一个利用图像和文本编码的跨模态检索系统。大多数多模态架构为每个模态使用单独的网络来捕获它们之间的语义关系。然而,在我们的工作中,图像-文本编码可以在跨模态检索方面实现可比的结果,而不必为每个模态使用单独的网络。我们表明,文本编码可以捕捉多个模态之间的语义关系。据我们所知,这项工作是第一次采用单一的网络和融合的图像-文本嵌入的跨模态检索。我们在两个著名的多模态数据集上评估了我们的方法:MS-COCO和Flickr 30 K。
2018-07-19 cs.CV
Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models
Nanyang Technological University(南洋理工大学);Rice University(莱斯大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
文本-视觉跨模态检索一直是计算机视觉和自然语言处理领域的研究热点。学习多模态数据的适当表示对于跨模态检索性能至关重要。与现有的图像-文本检索方法,嵌入图像-文本对作为单一的特征向量在一个共同的表示空间,我们建议将生成过程的跨模态特征嵌入,通过它,我们不仅能够学习的全球抽象功能,但也本地接地功能。实验结果表明,该框架能够很好地匹配内容复杂的图像和句子,并在MSCOCO数据集上取得了较好的跨模态检索效果。
2018-06-13 cs.CV
Learning Cross-Modal Deep Embeddings for Multi-Object Image Retrieval using Text and Sketch
Autonomous University of Barcelona(巴塞罗那自治大学);Indian Statistical Institute(印度统计研究所)
在这项工作中,我们介绍了一个跨模态图像检索系统,允许文本和草图作为输入方式的查询。跨模态深度网络架构被制定为联合建模草图和文本输入模态以及图像输出模态,学习文本和图像之间以及草图和图像之间的共同嵌入。此外,注意力模型用于选择性地将注意力集中在图像的不同对象上,从而允许在查询中检索多个对象。实验表明,该方法在标准数据集上的单目标和多目标图像检索中均取得了较好的效果。
2018-04-28 cs.CV
Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing
跨模态检索系统是遥感领域的一个研究热点,它能够基于任意模态的查询,跨模态检索语义相关的数据。在本文中,我们将注意力集中在跨模态文本图像检索上,其中来自一种模态的查询(例如,文本)可以与来自另一个的存档条目匹配(例如,图片)。现有的跨模态文本图像检索系统中,大多数RS需要大量的标记的训练样本,也不允许快速和内存有效的检索。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题,在本文中,我们介绍了一种新的无监督跨模态对比哈希(DUCH)方法在RS的文本图像检索。为此,所提出的DUCH由两个主要模块组成:1)特征提取模块,其提取两种模态的深度表示; 2)散列模块,其学习从所提取的表示生成跨模态二进制散列码。我们引入了一种新的多目标损失函数,包括:i)对比目标,使相似性保留内和模态间的相似性; ii)一个对抗性的目标,在两个模态之间实施跨模态表示的一致性;和iii)二进制化目标生成哈希码。实验结果表明,所提出的DUCH优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-04-19 cs.CV
Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing
Technische Universität Berlin(柏林工业大学)
由于大规模多模态数据的可用性(例如,不同传感器获取的卫星图像、文本句子等)档案,跨模态检索系统的发展已经引起了RS的极大关注,该系统可以基于任何模态的查询来搜索和检索跨不同模态的语义相关数据。在本文中,我们将注意力集中在跨模态文本图像检索上,其中来自一种模态的查询(例如,文本)可以与来自另一个的存档条目匹配(例如,图片)。大多数现有的跨模态文本图像检索系统需要大量的标记的训练样本,也不允许快速和内存效率的检索,由于其固有的特点。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题,在本文中,我们介绍了一种新的深度无监督跨模态对比哈希(DUCH)方法的RS文本图像检索。所提出的DUCH由两个主要模块组成:1)特征提取模块(其提取文本-图像模态的深度表示);以及2)散列模块(其学习从所提取的表示生成跨模态二进制散列码)。在散列模块中,我们引入了一个新的多目标损失函数,包括:i)对比目标,使相似性保留在两个模态内和模态间的相似性; ii)一个对抗性的目标,在两个模态之间执行跨模态表示一致性; iii)二进制化目标,用于生成代表性的散列代码。实验结果表明,建议DUCH优于国家的最先进的无监督跨模态哈希方法在两个多模态(图像和文本)基准档案在RS。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-01-20 cs.CV
A Zero-Shot Sketch-based Inter-Modal Object Retrieval Scheme for Remote Sensing Images
Centre of Studies in Resources Engineering (CSRE), Indian Institute of Technology Bombay(印度理工学院孟买分校资源工程研究中心);German Aerospace Center (DLR)(德国航空航天中心)
传统的遥感(RS)检索方法通常基于单模态数据检索框架。在这项工作中,我们提出了一种新的跨模态三元组为基础的zero-shot检索方案,利用基于草图的RS数据表示。该方案执行有效,即使当草图表示边缘原型的图像。我们在一个新的双模态图像草图数据集上进行了实验,该数据集名为Earth on Canvas(EoC)。我们对该数据集进行了全面的基准测试,并证明了所提出的网络优于其他最先进的方法,用于遥感中基于zero-shot草图的检索框架。
2020-08-12 cs.CV
Cross-Modal Retrieval Meets Inference:Improving Zero-Shot Classification with Cross-Modal Retrieval
Graduate School of AI, KAIST(KAIST人工智能研究生院);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出X-MoRe方法,通过外部图像-文本对的跨模态检索与模态置信度集成,在推理时增强CLIP零样本分类,无需额外训练,提升未见类别的泛化性能。
2023-08-29 cs.CV
Leveraging Modality Tags for Enhanced Cross-Modal Video Retrieval
School of Computer Science University of Bristol(计算机科学学院英国布里斯托尔大学)
针对视频检索的跨模态对齐问题,提出MAC-VR方法,利用基础模型提取的模态特定标签,结合辅助潜在概念的学习与对齐增强跨模态匹配,在多个数据集上取得优于或比肩现有SOTA的效果。
2025-08-31 cs.CV
StacMR: Scene-Text Aware Cross-Modal Retrieval
Computer Vision Center, Universitat Autónoma de Barcelona(巴塞罗那自治大学计算机视觉中心);NAVER LABS Europe(NAVER LABS 欧洲)
最近的跨模态检索模型受益于对视觉场景的日益丰富的理解,场景图和对象交互等等。这使得图像的视觉表示与其标题的文本表示之间的匹配得到改进。然而,当前的视觉表示忽略了一个关键方面:出现在图像中的文本,其中可能包含用于检索的关键信息。在本文中,我们首先提出了一个新的数据集,允许探索跨模态检索的图像包含场景文本实例。然后,武装这个数据集,我们描述了几种方法,利用场景文本,包括一个更好的场景-文本感知跨模态检索方法,它使用专门的表示文本的标题和文本的视觉场景,并调和他们在一个共同的嵌入空间。大量的实验证实,跨模态检索方法受益于场景文本和突出有趣的研究问题值得进一步探讨。数据集和代码可在http://europe.naverlabs.com/stacmr上获得
2020-12-08 cs.CV
Transitive Hashing Network for Heterogeneous Multimedia Retrieval
Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
散列算法由于其存储和检索效率的优势,在大规模多媒体检索中得到了广泛的应用。跨模态散列使得能够响应于另一模态的查询而从一个模态的数据库中进行高效检索。现有的跨模态散列工作假设跨模态的散列函数学习的异构关系。在本文中,我们放松了强假设,只需要这样的异构关系在一个辅助数据集不同的查询/数据库域。我们设计了一个混合深度架构,以同时学习辅助数据集的跨模式相关性,并对齐辅助数据集和查询/数据库域之间的数据集分布,从而生成用于异构多媒体检索的传递哈希码。大量的实验表明,所提出的方法产生最先进的多媒体检索性能的公共数据集,即NUS-WIDE,ImageNet-YahooQA。
2016-08-15 cs.CV
Mixed-Modality Dual Face-Hair Retrieval
Vietnam National University, Ho Chi Minh City, Vietnam(越南国家大学,胡志明市,越南);University of Information Technology, VNU-HCM, Ho Chi Minh City, Vietnam(信息技术大学,VNU-HCM,胡志明市,越南)
提出混合模态双参考检索任务DFHR,通过解耦身份与发型特征并融合多模态嵌入,实现跨模态的身份感知与属性可控检索。
2026-06-02 cs.CV
Transformer Decoders with MultiModal Regularization for Cross-Modal Food Retrieval
Sorbonne University(索邦大学);Meta AI;Meero(Meero公司)
近年来,跨模态图像配方检索得到了极大的关注。大多数工作都集中在使用单峰编码器改进跨模态嵌入,这允许在大规模数据库中进行有效检索,而不考虑计算成本更高的模态之间的交叉注意。我们提出了一个新的检索框架,T-食品(Transformer解码器与多模态正则化跨模态食品检索),利用模态之间的相互作用,在一个新的正则化方案,而只使用单峰编码器在测试时进行有效的检索。我们还捕捉配方实体之间的内部依赖关系与一个专用的配方编码器,并提出了新的变体的三重损失与动态利润率,适应任务的难度。最后,我们利用最新的视觉和语言预训练(VLP)模型(如CLIP)用于图像编码器。我们的方法在Recipe 1 M数据集上的性能大大优于现有方法。具体而言,我们在1 k和10 k测试集上分别实现了8.1%(72.6 R@1)和+10.9%(44.6 R@1)的绝对改进。代码可以在这里找到:https://github.com/mshukor/TFood
2022-04-20 cs.CV
Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations
Uppsala University(乌普萨拉大学)
在组织表征和癌症诊断中,多模态成像已经成为一种强大的技术。由于计算的进步,可以利用大型数据集来发现病理模式并改善诊断。然而,这需要高效和可扩展的图像检索方法。跨模态图像检索特别具有挑战性,因为由不同模态捕获的相似(甚至相同)内容的图像可能共享很少的共同结构。我们提出了一种新的应用程序无关的基于内容的图像检索(CBIR)系统,用于跨模态的反向(子)图像搜索,该系统将深度学习与经典的特征提取和词袋模型相结合,以生成表示(将不同的模态嵌入到公共空间中),从而实现高效可靠的检索。我们说明了它的优势,通过替换研究,探索了一些特征提取器和学习表示,以及通过比较最近(跨模态)CBIR方法。对于明场和二次谐波发生显微图像(公开可用)数据集上的(子)图像检索任务,结果表明我们的方法优于所有测试的替代方案。我们讨论了比较方法的缺点和观察的重要性,学习表示和特征提取器在CBIR管道的等变性和不变性。代码可从以下网址获得:\url{https://github.com/MIDA-group/CrossModal_ImgRetrieval}。
2023-03-20 cs.CV
Enhanced Cross-modal 3D Retrieval via Tri-modal Reconstruction
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出三模态重建与对齐方法,通过多视图图像和点云联合表示3D形状,结合细粒度融合与困难负样本对比训练,显著提升了跨模态3D双向检索性能。
2025-04-02 cs.CV
Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-modal Pretraining
Sun Yat-sen University(中山大学);Beijing Jiaotong University(北京交通大学);Alibaba Group(阿里巴巴集团);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
随着电子商务时代顾客需求的多样化,给产品检索行业带来了更多的复杂性。以前的方法要么受到单模态输入或执行监督的图像级产品检索,因此无法适应现实生活中的场景,其中存在大量弱注释的多模态数据。在本文中,我们研究了一个更现实的设置,旨在执行弱监督的多模态实例级产品检索细粒度的产品类别。为了促进对这一具有挑战性的任务的研究,我们贡献了Product 1 M,这是用于现实世界实例级检索的最大的多模态化妆品数据集之一。值得注意的是,Product 1 M包含超过100万个图像-标题对,并且由两种样本类型组成,即,单一产品和多产品样品,其中包括各种化妆品品牌。除了多样性之外,Product 1 M还具有一些吸引人的特性,包括细粒度的类别,复杂的组合和模糊的对应关系,这些都很好地模仿了现实世界的场景。此外,我们提出了一种新的模型,名为跨模态对比产品Transformer的实例级产品检索(CAPTURE),它擅长通过混合流Transformer在自监督的方式捕获多模态输入之间的潜在协同作用。CAPTURE通过掩蔽多模态学习以及跨模态对比预训练生成有区别的实例特征,它优于几个SOTA跨模态基线。大量的烧蚀研究很好地证明了我们的模型的有效性和推广能力。数据集和代码可在https://github.com/zhanxlin/Product1M上获得。
2021-08-09 cs.CV
CLIP Multi-modal Hashing for Multimedia Retrieval
School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院);Zhejiang Lab(之江实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对独立骨干网络特征表达能力有限导致检索准确率低的问题,提出CLIP多模态哈希方法(CLIPMH),利用CLIP框架提取并融合文本与视觉特征生成哈希码,实验证明其检索性能显著优于现有方法。
2024-10-10 cs.CV
Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University(首尔大学);Google Research(谷歌研究院)
针对零样本基于草图的图像检索中成对样本收集困难的问题,提出通过文本对比间接对齐草图与照片的模态感知框架,解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
Exploring Uncertainty in Conditional Multi-Modal Retrieval Systems
University of Maryland, College Park(马里兰大学帕克分校);Honda Research Institute, USA(本田美国研究所)
我们将视觉检索作为回归问题,将三元组损失作为回归损失。这使得认知不确定性估计使用辍学作为贝叶斯近似框架检索。因此,蒙特卡罗(MC)采样的杠杆,以提高检索性能。我们的方法在两个应用程序上进行评估:人员重新识别和自动驾驶汽车。在前一个应用程序的多个数据集上实现了可比较的最先进的结果。我们利用本田驾驶数据集(HDD)进行自动驾驶汽车应用。它为自我运动动作理解提供了多种模态和相似性概念。因此,我们提出了一个多模态条件检索网络。它将嵌入分解为单独的表示,以编码不同的相似性。这种形式的联合学习消除了对训练多个独立网络的需要,而没有任何性能下降。定量评估凸显了我们的方法能力,在高度不确定的环境中实现了6%的改进。
2019-01-23 cs.CV
Cross-Modal Manifold Learning for Cross-modal Retrieval
Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
本文提出了一种新的可扩展的学习流形空间中的跨模态相似性保持检索算法。与现有的方法,保持全球和本地的几何形状之间的妥协,所提出的技术方面同时在歧管对齐。通过部署部分对应的实例,在联合流形空间中恢复底层映射函数来维护全局拓扑。然后计算模态间和模态内亲和矩阵,以分别使用扰动最小生成树(pMST)和最大化相似跨模态实例之间的亲和度来增强原始数据骨架。所提出的算法的性能进行评估,两个多模态图像数据集(冠状动脉粥样硬化组织学和脑MRI)的两个应用程序:分类,回归。我们详尽的验证和结果表明,我们的技术优于比较方法及其可行性,以改善计算机辅助诊断系统,疾病特异性的补充信息应汇总和解释跨模式,形成最终的决定。
2016-12-19 cs.CV
ConTra: (Con)text (Tra)nsformer for Cross-Modal Video Retrieval
University of Bristol(布里斯托大学)
在本文中,我们重新审视跨模态剪辑句子检索的任务,剪辑是一个较长的未修剪的视频的一部分。当剪辑很短或视觉上模糊时,可以使用其局部时间上下文(即周围的视频片段)的知识来提高检索性能。我们提出了上下文Transformer(ConTra),一个编码器架构,模型之间的互动视频剪辑和它的本地时间上下文,以提高其嵌入式表示。重要的是,我们监督上下文Transformer使用对比损失的跨模态嵌入空间。我们探索视频和文本形式的上下文Transformers。结果一致表明,在三个数据集上的性能有所提高:YouCook 2,EPIC-KITCHENS和ActivityNet Captions的剪辑句子版本。详尽的消融研究和上下文分析表明所提出的方法的有效性。
2022-10-09 cs.CV
Dividing and Conquering Cross-Modal Recipe Retrieval: from Nearest Neighbours Baselines to SoTA
Cookpad Ltd.(Cookpad有限公司);Facebook(脸书);University of Liverpool(利物浦大学)
我们提出了一种新的非参数方法,用于跨模态食谱检索,它应用于预先计算的图像和文本嵌入的顶部。通过将我们的方法与构建图像和文本编码器的标准方法相结合,并使用自监督分类目标进行独立训练,我们创建了一个基线模型,该模型在具有挑战性的图像到配方任务上优于大多数现有方法。我们还使用我们的方法来比较使用不同现代方法训练的图像和文本编码器,从而解决阻碍跨模态食谱检索新方法开发的问题。我们演示了如何使用模型比较的见解,并使用标准的三重丢失扩展我们的基线模型,该模型大大提高了Recipe1M数据集的最新技术水平,同时仅使用预先计算的特征,并且比现有方法的复杂性低得多。此外,我们的方法很容易推广到其他具有挑战性的领域,实现政治和好消息跨模态检索任务的最先进的性能。
2021-07-13 cs.CV
Continual learning in cross-modal retrieval
Computer Vision Center(计算机视觉中心)
多模态表征和持续学习是与人类智能密切相关的两个领域。前者考虑了共享表示空间的学习,其中可以比较和整合来自不同模态的信息(我们专注于语言和视觉表示之间的跨模态检索)。后者研究如何防止在学习新任务时忘记以前学习过的任务。虽然人类在这两个方面都很出色,但深度神经网络仍然相当有限。在本文中,我们提出了这两个问题的组合成一个连续的跨模态检索设置,在那里我们研究了新的任务所造成的灾难性干扰如何影响嵌入空间和有效检索所需的跨模态对齐。我们提出了一个通用的框架,其中包括训练,索引和查询阶段。我们还识别和研究了可能导致遗忘的不同因素,并提出了缓解遗忘的工具。我们发现,索引阶段起着重要作用,简单地避免使用更新的嵌入网络重新索引数据库可以带来显着的收益。我们在两个图像-文本检索数据集中评估了我们的方法,在微调基线方面获得了显着收益。
2021-04-19 cs.CV
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval
Xidian University(西安电子科技大学);Tencent AI Lab(腾讯人工智能实验室);University of Sydney(悉尼大学)
得益于深度学习的成功,跨模态检索最近取得了重大进展。然而,仍然存在一个关键的瓶颈:如何弥合模态差距,以进一步提高检索的准确性。在本文中,我们提出了一种自监督对抗散列(\textbf{SSAH})方法,它是早期尝试将对抗学习以自监督方式纳入跨模态散列的方法之一。这项工作的主要贡献是利用两个对抗网络来最大化不同模态之间表示的语义相关性和一致性。此外,我们利用自监督语义网络发现高层次的语义信息的形式多标签注释。这些信息指导特征学习过程,并保留公共语义空间和汉明空间中的模态关系。在三个基准数据集上进行的大量实验验证了所提出的SSAH超越了最先进的方法。
2018-04-04 cs.CV
X-TRA: Improving Chest X-ray Tasks with Cross-Modal Retrieval Augmentation
University of Amsterdam(阿姆斯特丹大学)
人类分析医学图像及其背景的一个重要组成部分是将新看到的事物与我们记忆中的相关实例联系起来的能力。在本文中,我们模仿这种能力,通过使用多模态检索增强,并将其应用到胸部X射线分析的几个任务。通过检索类似的图像和/或放射学报告,我们扩展和规范的情况下,手头的额外的知识,同时保持事实知识的一致性。该方法由两部分组成。首先,使用预先训练的CLIP模型对齐视觉和语言模态。为了使检索重点放在详细的疾病相关内容上,而不是全局视觉外观上,使用疾病类别信息对其进行微调。随后,我们构建了一个非参数检索索引,达到了最先进的检索水平。我们在下游任务中使用该索引,通过多头注意力增强图像表示,用于疾病分类和报告检索。我们发现,检索增强给这些任务相当大的改善。我们的下游报告检索甚至显示出与专用报告生成方法的竞争力,为医学成像中的这种方法铺平了道路。
2023-02-22 cs.CV
Probabilistic Embeddings for Cross-Modal Retrieval
NAVER AI Lab(NAVER人工智能实验室);NAVER LABS Europe(NAVER欧洲实验室)
跨模态检索方法为来自多个模态(通常来自视觉和语言域)的样本构建公共表示空间。对于图像及其标题,对应关系的多样性使得任务特别具有挑战性。给定一个图像(分别是一个标题),有多个标题(分别是图像)同样有意义。在本文中,我们认为,确定性函数是不够强大的捕捉这样的一对多的对应关系。相反,我们建议使用概率跨模态嵌入(PCME),其中来自不同模态的样本表示为公共嵌入空间中的概率分布。由于常见的基准测试,如COCO遭受非详尽的注释跨模态匹配,我们建议额外评估检索CUB数据集,一个更小但干净的数据库,所有可能的图像标题对注释。我们广泛消融PCME,并证明它不仅提高了检索性能,其确定性的对应,但也提供了不确定性估计,使嵌入更可解释。代码可在https://github.com/naver-ai/pcme上获得
2021-06-14 cs.CV
MTFH: A Matrix Tri-Factorization Hashing Framework for Efficient Cross-Modal Retrieval
Huaqiao University(华侨大学);Xidian University(西安电子科技大学);Stony Brook University(石溪大学);Hong Kong Baptist University(香港浸会大学)
散列技术以其低存储开销和高查询速度的优点,引发了跨模态检索的一场革命。最近的跨模态哈希方法通常学习统一或等长的哈希码来表示多模态数据,并使它们具有直观的可比性。然而,这种统一或等长的散列表示可能固有地牺牲其表示可扩展性,因为来自不同模态的数据可能不具有一一对应关系,并且可以通过不等长度的不同散列码来更有效地编码。为了缓解这些问题,本文利用了一个相关的和相对未探索的问题:编码的异构数据与不同的哈希长度和推广的跨模态检索在各种具有挑战性的情况下。为此,提出了一种通用且灵活的跨模态散列框架,称为矩阵三因子散列(MTFH),可以在各种设置中无缝工作,包括配对或未配对的多模态数据,以及相等或不同的散列长度编码场景。更具体地说,MTFH利用一个有效的目标函数来灵活地学习具有不同长度设置的特定于模态的散列码,同时同步学习两个语义相关矩阵,以在语义上关联不同的散列表示,用于异构数据可比。因此,所得到的哈希码对于各种具有挑战性的跨模态检索任务具有更强的语义意义。在公共基准数据集上进行的大量实验突出了MTFH在各种检索场景下的优越性,并显示了其与最先进技术的竞争性能。
2019-09-12 cs.CV
Masking Modalities for Cross-modal Video Retrieval
Inria(法国国家信息与自动化研究所);Google Research(谷歌研究院)
在计算机视觉和自然语言处理领域,对大规模未标记数据集进行预训练已经显示出令人印象深刻的性能改进。鉴于大规模教学视频数据集的出现,预训练视频编码器的常见策略是使用伴随的语音作为弱监督。然而,由于语音用于监督预训练,因此视频编码器永远不会看到它,视频编码器不会学习处理该模态。我们解决了当前预训练方法的这一缺点,这些方法未能利用口语中丰富的线索。我们的建议是使用所有可用的视频形式作为监督,即外观,声音和转录语音来预训练视频编码器。我们在输入中屏蔽整个模态,并使用其他两种模态进行预测。这鼓励每种模态与其他模态合作,我们的视频编码器学习处理外观和音频以及语音。我们展示了我们的“模态掩蔽”预训练方法在How2R,YouCook2和Condensed Movies数据集上进行视频检索的优越性能。
2021-11-03 cs.CV
Fast-then-Fine: A Two-Stage Framework with Multi-Granular Representation for Cross-Modal Retrieval in Remote Sensing
School of Computer Science, Wuhan University(武汉大学计算机学院);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
本文提出一种两阶段框架,通过多粒度表示提升遥感跨模态检索效率与精度,采用文本无关召回和文本引导重排序阶段,减少计算资源消耗。
2026-04-22 cs.CV
ViSTA: Vision and Scene Text Aggregation for Cross-Modal Retrieval
Baidu Inc(百度公司);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
视觉外观被认为是跨模态检索中理解图像的最重要线索,而有时图像中出现的场景文本可以为理解视觉语义提供有价值的信息。现有的大多数跨模态检索方法都忽略了场景文本信息的使用,直接添加这些信息可能会导致无场景文本场景检索性能下降。为了解决这个问题,我们提出了一个完整的Transformer架构,以统一这些跨模态检索场景在一个单一的$\textbf{Vi}$ sion和$\textbf{S}$ cene $\textbf{T}$ ext $\textbf{A}$ ggregation框架(VisTA)。具体而言,ViSTA利用Transformer块直接编码图像块并融合场景文本嵌入,以学习用于跨模态检索的聚合视觉表示。为了解决场景文本的模态缺失问题,提出了一种新的基于融合标记的Transformer聚合方法,只通过融合标记交换必要的场景文本信息,并集中在每个模态中最重要的特征上。为了进一步加强视觉模态,我们开发了双重对比学习损失,将图像-文本对和融合-文本对嵌入到一个公共的跨模态空间中。与现有的方法相比,VisTA能够聚合相关的场景文本语义与视觉外观,从而改善场景文本自由和场景文本感知场景下的结果。实验结果表明,对于场景文本感知的检索任务,VisTA在Recall@1处的性能至少比其他方法高出$\bf{8.4}\%$.与最先进的场景文本免费检索方法相比,ViSTA可以实现更好的准确性在Flic…
2022-03-31 cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆茨曼实验室);Google Research(谷歌研究院)
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法,这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外,他们聚合每帧的视觉功能有限或没有时间信息。在本文中,我们提出了一个多模态的Transformer联合编码的不同形式的视频,这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面,我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning
Amazon(亚马逊)
由于食物在人们生活中的重要性,以及大量数字烹饪食谱和食物图像可用于训练机器学习模型,跨模态食谱检索最近获得了大量关注。在这项工作中,我们重新审视了现有的跨模态食谱检索方法,并提出了一个简化的端到端模型,该模型基于完善的高性能文本和图像编码器。我们引入了一个分层的配方Transformer,它专注地编码各个配方组件(标题,成分和说明)。此外,我们提出了一个自我监督的损失函数计算上对个人的配方组件,这是能够利用配方内的语义关系,并使训练使用图像配方和食谱只有样本。我们进行了全面的分析和消融研究,以验证我们的设计选择。因此,我们提出的方法在Recipe1M数据集上的跨模态食谱检索任务中实现了最先进的性能。我们公开代码和模型。
2021-03-24 cs.CV
Deep Cross-modality Adaptation via Semantics Preserving Adversarial Learning for Sketch-based 3D Shape Retrieval
由于2D草图和3D形状之间存在很大的跨模态差异,因此通过草图检索3D形状是一项非常具有挑战性的任务。为了解决这个问题,本文提出了一个新的框架来学习有区别的深度跨模态适应模型。具体来说,我们首先分别采用两个度量网络,然后是两个深度卷积神经网络(CNN),基于重要性感知度量学习方法学习特定于模态的判别特征。随后,我们显式地引入了一个跨模态转换网络来补偿两种模态之间的分歧,它可以将2D草图的特征转换到3D形状的特征空间。我们开发了一种基于对抗学习的方法来训练转换模型,通过同时增强两种模态的数据分布之间的整体相关性,并通过最小化跨模态平均差异项来减轻局部语义分歧。在SHREC 2013和SHREC 2014数据集上的实验结果清楚地表明,与最先进的方法相比,我们提出的模型具有更好的检索性能。
2018-07-04 cs.CV
Attribute-Guided Network for Cross-Modal Zero-Shot Hashing
Tianjin University(天津大学);Lancaster University(兰卡斯特大学)
Zero-Shot Hashing旨在学习一种哈希模型,该模型仅由可见类别的实例训练,但可以很好地生成未见过类别的实例。通常,它是通过利用语义嵌入空间来实现知识从可见域转移到不可见域。现有的研究主要集中在单模态检索,特别是基于图像的图像检索(IBIR)。然而,作为散列领域的一个热点研究课题,跨模态检索在实际应用中更为常见。为了解决跨模态Zero-Shot哈希(CMSHH)检索任务,我们提出了一种新的属性引导网络(AgNet),它不仅可以执行IBIR,但也基于文本的图像检索(TBIR)。特别是,AgNet将不同的模态数据对齐到语义丰富的属性空间中,这弥合了模态异质性和zero-shot设置造成的差距。我们还设计了一个有效的策略,利用属性来指导在同一个网络中的图像和文本的哈希码的生成。在三个基准数据集(AwA,SUN和ImageNet)上的大量实验结果证明了AgNet在跨模态和单模态zero-shot图像检索任务上的优越性。
2018-02-06 cs.CV
Content-Based Video-Music Retrieval Using Soft Intra-Modal Structure Constraint
到目前为止,只有有限的研究已经进行了跨模态检索的合适的音乐为指定的视频或反之亦然。此外,许多现有的研究依赖于元数据,如关键字,标签,或相关的描述,必须单独产生和附加后。本文介绍了一种新的基于内容的视频和音乐跨模态检索方法,该方法通过深度神经网络实现。我们通过模态间排序损失来训练网络,使得具有相似语义的视频和音乐在嵌入空间中紧密地结合在一起。然而,如果仅使用模态间排序约束进行嵌入,则可能丢失模态特定的特征。为了解决这个问题,我们提出了一种新的软模内结构损失,利用嵌入前的模内样本之间的相对距离关系。我们还引入了合理的定量和定性实验协议,以解决不太成熟的视频音乐相关任务缺乏标准协议的问题。最后,我们构建了一个大规模的200 K视频-音乐对基准。所有数据集和源代码都可以在我们的在线存储库(https://github.com/csehong/VM-NET)中找到。
2017-09-01 cs.CV
Fashion Focus: Multi-modal Retrieval System for Video Commodity Localization in E-commerce
Machine Intelligence Technology Lab, Alibaba Group(阿里巴巴集团机器智能技术实验室)
如今,电子商业中的直播、短视频购物呈指数级增长。然而,卖家需要手动地将销售产品的图像与未经修剪的视频中的展示的时间戳进行匹配,导致复杂的过程。为了解决这个问题,我们提出了一个创新的演示多模态检索系统称为“时尚焦点”,它能够准确地定位产品图像在在线视频的焦点。不同的模态有助于社区本地化,包括视觉内容,语言特征和交互上下文通过提出的多模态学习联合调查。我们的系统采用两个程序进行分析,包括视频内容结构化和多模态检索,自动实现准确的视频到商店的匹配。Fashion Focus提供了一个统一的框架,可以在观看视频时将消费者定向到相关的产品展示,并帮助卖家通过搜索和推荐有效地交付产品。
2021-02-09 cs.CV
CogniVerse: Revolutionizing Multi-Modal Retrieval-Augmented Generation with Cognitive Reflection and Geometric Reasoning
School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件学院);Nanyang Technological University, Singapore(新加坡南洋理工大学);University College London(伦敦大学学院)
提出CogniVerse框架,通过认知反思模块、基于黎曼流形对齐的多模态检索模块和最优传输层次生成模块,解决多模态检索增强生成中的噪声检索、跨模态语义错位和生成不连贯问题。
2026-05-28 cs.CV
Fine-Grained Action Retrieval Through Multiple Parts-of-Speech Embeddings
University of Bristol(布里斯托大学);Naver Labs Europe(Naver欧洲实验室)
我们解决了文本和视频之间的跨模态细粒度动作检索的问题。跨模态检索通常通过学习共享的嵌入空间来实现,该嵌入空间可以无差别地嵌入模态。在本文中,我们建议通过在附带的字幕中解开词性(PoS)来丰富嵌入。我们为每个PoS标签构建一个单独的多模态嵌入空间。然后,多个PoS嵌入的输出被用作集成多模态空间的输入,在那里我们执行动作检索。所有嵌入都通过PoS感知和PoS不可知损失的组合进行联合训练。我们的建议使学习专门的嵌入空间,提供相同的嵌入实体的多个视图。我们报告的第一个检索结果细粒度的行动,为大规模的EPIC数据集,在一个广义的zero-shot设置。结果表明,我们的方法的视频到文本和文本到视频动作检索的优势。我们还展示了在MSR-VTT数据集上为跨模态视频检索的通用任务解开PoS的好处。
2019-08-09 cs.CV
Decoupled Cross-Modal Alignment Network for Text-RGBT Person Retrieval and A High-Quality Benchmark
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);National Key Laboratory of Opto-Electronic Information Acquisition and Protection Technology(光电信息采集与防护技术国家重点实验室);Anhui Provincial Key Laboratory of Multimodal Cognitive Computation(安徽省多模态认知计算重点实验室)
该研究提出文本-RGBT行人检索新任务,构建了含1822个身份的高质量数据集RGBT-PEDES,还提出DCAlign网络挖掘多模态视觉与文本的关联,实验证明其性能优于现有方法。
2025-06-16 cs.CV
Tagging before Alignment: Integrating Multi-Modal Tags for Video-Text Retrieval
Tencent PCG(腾讯平台与内容事业群);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
近年来,视频文本检索中的视觉-语言对齐学习引起了人们的广泛关注。现有的方法要么将图像-文本预训练模型的知识转移到视频-文本检索任务中,而没有充分挖掘视频的多模态信息,要么简单地以暴力方式融合多模态特征,而没有明确的指导。在本文中,我们集成多模态信息在一个明确的方式,通过标记,并使用标记作为锚更好的视频文本对齐。各种预先训练的专家用于提取多个模态的信息,包括对象,人,运动,音频等。为了充分利用这些信息,我们提出了表(标签前aLignmEnt)网络,它由一个视觉编码器,一个标签编码器,一个文本编码器,和一个标签引导的跨模态编码器,用于联合编码多帧视觉特征和多模态标签信息。此外,为了加强视频和文本之间的交互,我们构建了一个联合跨模态编码器,其三元组输入为[vision,tag,text],并执行两个额外的监督任务,视频文本匹配(VTM)和掩蔽语言建模(MLM)。大量的实验结果表明,表模型是能够实现国家的最先进的(SOTA)性能在各种视频文本检索基准,包括MSR-VTT,MSVD,LSMDC和DiDeMo。
2023-01-30 cs.CV
CHEF: Cross-modal Hierarchical Embeddings for Food Domain Retrieval
Samsung AI Center, Cambridge(三星剑桥人工智能中心);Rutgers University(罗格斯大学)
尽管有丰富的多模态数据,如图像-文本对,但在理解单个实体及其在构建这些数据实例中的不同角色方面却很少努力。在这项工作中,我们努力发现的实体及其相应的重要性,在烹饪食谱automaticall}作为一个视觉语言的关联问题。更具体地说,我们引入了一种新的跨模态学习框架,以联合建模图像和文本的潜在表示在食品图像食谱的关联和检索任务。该模型允许人们发现图像和文本之间以及食谱的文本部分(包括标题、配料和烹饪说明)之间的复杂功能和层次关系。我们的实验表明,通过使用高效的树结构的长短期记忆作为文本编码器在我们的计算跨模态检索框架,我们不仅能够识别食谱描述中的主要成分和烹饪动作,而无需明确的监督,但我们也可以学习更有意义的特征表示的食物食谱,适合具有挑战性的跨模态检索和食谱适应任务。
2021-02-04 cs.CV
Self-Supervised Visual Representations for Cross-Modal Retrieval
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Computer Vision Center, Universitat Autonoma de Barcelona(巴塞罗那自治大学计算机视觉中心);CVIT, KCIS, IIIT Hyderabad(印度理工学院海得拉巴分校计算机视觉与智能技术中心(CVIT))
近年来,随着深度神经网络和大规模注释数据集(如ImageNet和Places)的使用,跨模态检索方法得到了显著改进。然而,收集和注释这样的数据集需要大量的人力,此外,他们的注释通常限于离散集的流行的视觉类,可能不代表更丰富的语义上发现的大规模跨模态检索数据集。在本文中,我们提出了一个自我监督的跨模态检索框架,利用训练数据的图像和文本之间的相关性的整个维基百科的文章。我们的方法包括训练一个CNN来预测:(1)文章的语义上下文,其中图像更有可能作为插图出现(全局上下文),以及(2)其标题的语义上下文(局部上下文)。我们的实验表明,所提出的方法不仅能够学习有区别的视觉表示来解决图像分类和目标检测等视觉任务,而且与ImageNet数据集上的网络监督预训练相比,所学习的表示更适合跨模态检索。
2019-01-31 cs.CV
CPCL: Cross-Modal Prototypical Contrastive Learning for Weakly Supervised Text-based Person Retrieval
本文提出CPCL方法,通过引入CLIP模型、原型多模态记忆模块和离群伪标签挖掘模块,利用跨模态原型对比学习解决弱监督文本行人检索中的类内差异问题,并在多个基准上验证了其有效性和泛化性。
2025-08-18 cs.CV
NeighborRetr: Balancing Hub Centrality in Cross-Modal Retrieval
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);College of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
针对跨模态检索中的枢纽问题,本文提出 NeighborRetr,在训练中平衡枢纽学习并自适应调整邻居关系,在多个基准上达到最先进性能且具有良好跨域泛化能力。
2025-03-13 cs.CV
Correlation Hashing Network for Efficient Cross-Modal Retrieval
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
散列算法广泛应用于大规模多模态检索的近似最近邻搜索,具有存储和计算效率高的特点。跨模态哈希通过利用不同模态之间的语义相关性来提高哈希编码的质量。现有的跨模态散列方法首先将数据转换为低维特征向量,然后通过另一个单独的量化步骤生成二进制代码。然而,由于量化误差没有被显式地最小化并且特征表示没有与二进制码联合优化,因此可能生成次优散列码。本文提出了一种跨模态散列的相关散列网络(CHN)方法,该方法联合学习适合于散列编码的良好数据表示,并形式化地控制量化误差。所提出的CHN是一种混合深度架构,其构成了用于学习良好图像表示的卷积神经网络、用于学习良好文本表示的多层感知、用于生成紧凑二进制代码的两个散列层以及将所有东西集成在一起以实现学习相似性保持和高质量散列代码的结构化最大边际损失。大量的实证研究表明,CHN产生的最先进的跨模态检索性能的标准基准。
2017-02-20 cs.CV
Error-Corrected Margin-Based Deep Cross-Modal Hashing for Facial Image Retrieval
跨模态散列有助于将异构的多媒体数据映射到一个公共的汉明空间中,这可以用于跨不同模态的快速和灵活的检索。在本文中,我们提出了一种新的跨模态散列架构-深度神经解码器跨模态散列(DNDCMH),它使用一个二进制向量指定某些面部属性的存在作为输入查询,从数据库中检索相关的人脸图像。DNDCMH网络由两个独立的组件组成:一个基于属性的深度跨模态哈希(ADCMH)模块,它使用基于margin(m)的损失函数来有效地学习紧凑的二进制代码,以保持汉明空间中模态之间的相似性,以及一个神经纠错解码器(NECD),这是一个用神经网络实现的纠错解码器。DNDCMH中NECD网络的目标是对ADCMH产生的哈希码进行纠错,以提高检索效率。NECD网络被训练成具有大于或等于基于裕度的损失函数的裕度(m)的纠错能力。这导致NECD可以纠正由ADCMH生成的损坏的哈希码,直到汉明距离为m。我们在标准数据集上评估并比较了DNDCMH与最先进的跨模态散列方法,以证明我们方法的优越性。
2020-04-03 cs.CV
StructAlign: Structured Cross-Modal Alignment for Continual Text-to-Video Retrieval
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Xi’an Jiaotong University(西安交通大学);Shandong University(山东大学)
本文提出StructAlign,通过结构化跨模态对齐方法解决连续文本到视频检索中的模态错位和特征漂移问题,提升模型持续学习能力。
2026-04-25 cs.CV
Cross-modal Scene Graph Matching for Relationship-aware Image-Text Retrieval
University of Chinese Academy of Sciences(中国科学院大学)
自然场景的图文检索一直是一个热门的研究课题。由于图像和文本是异构的跨模态数据,如何学习全面而统一的表示来表示多模态数据是一个关键的挑战。自然景物图像主要涉及两类视觉概念:对象及其关系,这两类概念对图像检索同样重要。因此,一个好的代表性应该兼顾这两个方面。鉴于最近成功的场景图在许多CV和自然语言处理任务描述复杂的自然场景,我们提出了两种场景图表示图像和文本:视觉场景图(VSG)和文本场景图(TSG),其中每一个被利用来共同表征对象和关系在相应的模态。图像-文本检索任务,然后自然地制定为跨模态场景图匹配。具体来说,我们在我们的模型中为VSG和TSG设计了两个特定的场景图编码器,它们可以通过聚合邻域信息来细化图上每个节点的表示。该方法能够同时获得对象级和关系级的跨模态特征,从而能够更合理地评价图像和文本在两个层次上的相似性。我们在Flickr 30 k和MSCOCO上取得了最先进的结果,这验证了我们基于图匹配的图文检索方法的优势。
2019-10-11 cs.CV
Towards Efficient Cross-Modal Visual Textual Retrieval using Transformer-Encoder Deep Features
Institute of Information Science and Technologies, National Research Council(国家研究委员会信息科学与技术研究所);University of Geneva(日内瓦大学)
跨模态检索是现代搜索引擎中的重要功能,因为它通过允许查询和检索到的对象属于不同的模态来增加用户体验。在本文中,我们专注于图像句子检索任务,其目标是有效地找到相关的图像为一个给定的句子(图像检索)或相关的句子为一个给定的图像(图片检索)。计算机视觉文献报道了使用配备有注意力和自我注意力机制的深度神经网络进行图像-句子匹配任务的最佳结果。它们通过对整个数据集执行顺序扫描来评估检索任务的匹配性能。这种方法不能很好地随着图像或字幕数量的增加而扩展。在这项工作中,我们探索了不同的预处理技术,以产生稀疏化的深度多模态特征,并从最先进的深度学习架构中提取这些特征,用于图像-文本匹配。我们的主要目标是制定有效的索引复杂的多模态描述的路径。我们使用最近推出的TERN架构作为图像句子特征提取器。它被设计用于产生描述整个图像和句子的固定大小的1024-d向量,以及描述两种模态的各种构建组件(分别是图像区域和句子单词)的可变长度的1024-d向量集。所有这些向量都被TERN设计强制放置在同一个公共空间中。我们的实验显示了有趣的初步结果探索的方法,并建议在这个重要的研究方向进一步实验。
2021-06-01 cs.CV
Prototype-Enhanced Confidence Modeling for Cross-Modal Medical Image-Report Retrieval
School of Computer Science, The University of Nottingham, NG8 1BB Nottingham, U.K.(计算机科学学院,诺丁汉大学);Department of Intelligent Science, Xi’an Jiaotong-Liverpool University, China, 215123.(智能科学系,西安交通大学利物浦大学)
提出原型增强置信度建模框架,利用多层次原型和双流置信度估计解决医学图像-报告检索中的数据模糊性,在多个数据集上取得最高10.17%的性能提升。
2025-08-05 cs.CV
Semi-Supervised Cross-Modal Retrieval with Label Prediction
Indian Institute of Science(印度科学学院)
由于多模态数据的丰富性,图像-文本、音频-图像等的跨模态检索任务越来越重要。在所提出的不同方法中,监督方法通常以标记或注释训练数据的额外成本来给出比其无监督对应物显著的改进。半监督方法最近变得流行,因为它们提供了一个优雅的框架来平衡标记成本和准确性的冲突要求。在这项工作中,我们提出了一种新的深度半监督框架,可以无缝地处理标记和未标记的数据。该网络有两个重要的组件:(a)标签预测组件预测数据的未标记部分的标签,然后(b)学习一个通用的模态不变表示用于跨模态检索。网络的两个部分依次进行训练。在三个标准基准数据集Wiki、Pascal VOC和NUS-WIDE上进行的大量实验表明,该框架在监督和半监督设置下的性能优于最先进的框架。
2020-01-01 cs.CV
Fine-grained Visual Textual Alignment for Cross-Modal Retrieval using Transformer Encoders
ISTI - CNR(意大利国家研究委员会信息科学与技术研究所);University of Geneva(日内瓦大学)
尽管基于深度学习的视觉-文本处理系统不断发展,但精确的多模态匹配仍然是一项具有挑战性的任务。在这项工作中,我们解决的跨模态检索的任务,通过图像句子匹配的基础上,词区域对齐,使用监督只在全球图像句子水平。具体来说,我们提出了一种新的方法称为Transformer编码器推理和对齐网络(TERAN)。TERAN在图像和句子的底层组件之间执行细粒度匹配,即,图像区域和单词,以便保留两种模态的信息丰富性。TERAN在MS-COCO和Flickr 30 k数据集上的图像检索任务中获得了最先进的结果。此外,在MS-COCO上,它在句子检索任务上也优于现有方法。TERAN着眼于可扩展的跨模态信息检索,旨在保持视觉和文本数据管道很好地分离。交叉注意力链接使单独提取大型检索系统中在线搜索和离线索引步骤所需的视觉和文本特征的任何机会都无效。在这方面,TERAN仅在最后的对齐阶段,即损失计算之前,才合并来自两个域的信息。我们认为,TERAN产生的细粒度对齐铺平了道路,为大规模跨模态信息检索的有效和高效的方法的研究。我们比较了我们的方法对相关国家的最先进的方法的有效性。在MS-COCO 1 K测试集上,我们在Recall@1度量上的图像和句子检索任务上分别获得了5.7%和3.5%的改进。用于实验的代码可在GitHub上公开获得,网址为https://github.com/mesnico/TERAN。
2021-03-02 cs.CV
Structured Multi-modal Feature Embedding and Alignment for Image-Sentence Retrieval
University of Glasgow(格拉斯哥大学);TAL Education Group(好未来教育集团);National University of Singapore(新加坡国立大学)
目前最先进的图像-句子检索方法隐式地对齐视觉-文本片段,如图像中的区域和句子中的单词,并采用注意模块来突出跨模态语义对应的相关性。然而,检索性能仍然不能令人满意,由于缺乏一致的表示在语义和结构空间。在这项工作中,我们建议从两个方面来解决上述问题:(i)在各个模态的片段之间构建内在结构(以及关系),例如,“狗$\to$玩$\to$球”的语义结构的图像,以及(ii)寻求明确的跨模态的结构和语义之间的对应关系的视觉和文本形式。在本文中,我们提出了一种新的结构化多模态特征嵌入和对齐(SMFEA)模型的图像句子检索。为了联合和明确地学习视觉文本嵌入和跨模态对齐,SMFEA创建了一个新的多模态结构化模块与共享的上下文感知引用树。特别地,通过构造具有共享标签的视觉上下文感知结构化树编码器(VCS-Tree)和文本上下文感知结构化树编码器(TCS-Tree)来建模视觉片段和文本片段之间的关系,从而可以联合学习和优化视觉和文本特征。我们利用多模态树结构显式对齐异构图像句子数据,通过最大化相应的模态间树节点之间的语义和结构相似性。在Microsoft COCO和Flickr 30 K基准测试上的大量实验表明,该模型与现有方法相比具有优越性。
2021-08-05 cs.CV
A Large Cross-Modal Video Retrieval Dataset with Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Kuaishou Technology(快手科技);Huazhong University of Science and Technology(华中科技大学)
本研究提出了具备文本阅读理解能力的大规模跨模态视频检索数据集TextVR,设计了对应的多模态检索基线,实验表明该基准为视频与语言领域带来了新的技术挑战与研究洞见。
2023-05-05 cs.CV