StructAlign: Structured Cross-Modal Alignment for Continual Text-to-Video Retrieval
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Xi’an Jiaotong University(西安交通大学);Shandong University(山东大学)
本文提出StructAlign,通过结构化跨模态对齐方法解决连续文本到视频检索中的模态错位和特征漂移问题,提升模型持续学习能力。
2026-04-25 cs.CV
Improving Video-Text Retrieval by Multi-Stream Corpus Alignment and Dual Softmax Loss
MMU;KuaiShou Inc.(快手公司)
采用大规模的预训练模型CLIP进行视频文本检索已经成为一种新的趋势,超过了以往的视频文本检索方法。然而,由于视频和文本之间的结构和内容的异质性,以前的基于CLIP的模型容易在训练阶段过拟合,导致相对较差的检索性能。在本文中,我们提出了一个多流语料库对齐网络与单门混合专家(CAMoE)和一个新的双软最大损失(DSL)来解决这两个异构性。CAMoE采用专家混合(Mixture-of-Experts,MoE)来提取多视角视频表示,包括动作、实体、场景等,然后将它们与文本的相应部分对齐。在这一阶段,我们对特征提取模块和特征对齐模块进行了大量的探索。DSL的提出,以避免单向的最佳匹配,发生在以前的对比方法。通过批量引入每对的固有先验,DSL作为修正器来修正相似度矩阵,实现双重最佳匹配。DSL很容易实现,只需要一行代码,但有很大的改进。实验结果表明,所提出的CAMoE和DSL算法具有很强的效率,在MSR-VTT、MSVD和LSMDC等测试中均达到了SOTA标准。在MSR-VTT中,这两种方法的性能都有很大的提高,超过了以前的SOTA方法,达到了4.6% R@1。
2021-11-22 cs.CV
MCA: 2D-3D Retrieval with Noisy Labels via Multi-level Adaptive Correction and Alignment
Shanghai Jiao Tong University, China(上海交通大学);Monash University, Malaysia(墨尔本大学);Chulalongkorn University, Thailand(朱拉隆功大学)
针对带噪标签下2D-3D跨模态检索易过拟合的问题,提出多层次自适应校正与对齐框架MCA,通过多模态联合标签校正和多层次自适应对齐策略,在常规及现实带噪3D基准上取得最优性能。
2025-08-08 cs.CV
Structured Multi-modal Feature Embedding and Alignment for Image-Sentence Retrieval
University of Glasgow(格拉斯哥大学);TAL Education Group(好未来教育集团);National University of Singapore(新加坡国立大学)
目前最先进的图像-句子检索方法隐式地对齐视觉-文本片段,如图像中的区域和句子中的单词,并采用注意模块来突出跨模态语义对应的相关性。然而,检索性能仍然不能令人满意,由于缺乏一致的表示在语义和结构空间。在这项工作中,我们建议从两个方面来解决上述问题:(i)在各个模态的片段之间构建内在结构(以及关系),例如,“狗$\to$玩$\to$球”的语义结构的图像,以及(ii)寻求明确的跨模态的结构和语义之间的对应关系的视觉和文本形式。在本文中,我们提出了一种新的结构化多模态特征嵌入和对齐(SMFEA)模型的图像句子检索。为了联合和明确地学习视觉文本嵌入和跨模态对齐,SMFEA创建了一个新的多模态结构化模块与共享的上下文感知引用树。特别地,通过构造具有共享标签的视觉上下文感知结构化树编码器(VCS-Tree)和文本上下文感知结构化树编码器(TCS-Tree)来建模视觉片段和文本片段之间的关系,从而可以联合学习和优化视觉和文本特征。我们利用多模态树结构显式对齐异构图像句子数据,通过最大化相应的模态间树节点之间的语义和结构相似性。在Microsoft COCO和Flickr 30 K基准测试上的大量实验表明,该模型与现有方法相比具有优越性。
2021-08-05 cs.CV
MRBench: A Comprehensive Benchmark for Human Motion-Text Retrieval
本文提出综合动作-文本检索基准MRBench,针对现有基准缺陷构建,提出轻量级粒度感知模型,提升混合粒度检索效果,为动作-语言对齐评估提供测试平台。
2026-08-11 cs.CV
Hyperbolic Hierarchical Alignment Reasoning Network for Text-3D Retrieval
针对文本-3D检索存在的层次表征坍塌与冗余显著性稀释问题,提出H²ARN模型,在双曲空间实现层次对齐与贡献感知聚合,同时发布规模扩展2.6倍的T3DR-HIT v2基准。
2025-11-14 cs.CV
DAC: 2D-3D Retrieval with Noisy Labels via Divide-and-Conquer Alignment and Correction
Shanghai Jiao Tong University(上海交通大学);The University of Hong Kong(香港大学);YouTu Lab, Tencent(腾讯优图实验室)
针对2D-3D跨模态检索中的噪声标签问题,提出分治对齐与校正框架DAC,通过多模态动态划分与自适应对齐校正策略提升表示质量,在多个基准上显著优于现有方法。
2024-09-27 cs.CV
Beyond Cropped Regions: New Benchmark and Corresponding Baseline for Chinese Scene Text Retrieval in Diverse Layouts
Nankai University(南开大学)
本文提出中文场景文本检索基准DL-CSVTR和模型CSTR-CLIP,通过全局视觉信息与多粒度对齐训练处理垂直、跨行等多样布局,准确率较此前最优模型提升18.82%。
2025-06-05 cs.CV
MCAD: Multi-teacher Cross-modal Alignment Distillation for efficient image-text retrieval
OPPO AI Center(OPPO人工智能中心);University of Sydney(悉尼大学)
本文提出多教师跨模态对齐蒸馏方法 MCAD,将单流模型的融合特征蒸馏到双流模型中,在保持快速推理的同时提升图像-文本检索性能,并实现轻量级 CLIP 在移动芯片上的高效部署。
2024-04-02 cs.AI cs.CV
Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment
Meta AI;Columbia University(哥伦比亚大学)
近年来,视觉和语言(V+L)预训练模型在各种多模态基准测试中取得了巨大的成功。然而,大多数现有的模型需要在大量的并行图像-文本数据集上进行预训练,与仅图像或仅文本数据相比,这是昂贵的。在本文中,我们探索了无监督的视觉和语言预训练(UVLP),以从非并行图像和文本数据集中学习跨模态表示。我们发现了两个关键因素,可以在没有并行数据的情况下实现良好的无监督V+L预训练:(i)联合图像和文本输入(ii)整体图文对齐(即使是非并行数据)。因此,我们提出了一种新的无监督V+L预训练课程,用于非平行文本和图像。我们首先通过基于检索的方法构建一个弱对齐的图像-文本语料库,然后应用一组多粒度对齐预训练任务,包括区域到标签,区域到短语和图像到句子对齐,以弥合这两种模式之间的差距。全面的消融研究表明,每个粒度都有助于学习更强大的预训练模型。我们将预先训练的模型适应一组V+L下游任务,包括VQA、NLVR 2、Visual Entailment和RefCOCO+。我们的模型在无监督的环境下实现了所有这些任务的最先进的性能。
2022-03-01 cs.AI cs.CL cs.CV
MIRe: Enhancing Multimodal Queries Representation via Fusion-Free Modality Interaction for Multimodal Retrieval
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
针对多模态检索中现有方法存在的文本主导、忽略关键视觉信息的问题,提出无融合模态交互的MIRe检索框架,搭配构建的预训练数据集,在零样本多模态检索基准上取得优异性能,有效缓解文本主导问题。
2025-05-21 cs.AI cs.CV cs.IR
Adaptive Cortically Constrained EEG-Vision Alignment for Zero-Shot Brain-to-Image Retrieval
Chongqing University of Posts and Telecommunications(重庆邮电大学);Shanghai Jiaotong University(上海交通大学);Chongqing Normal University(重庆师范大学);South China University of Technology(华南理工大学)
针对零样本脑到图像检索,提出自适应皮层约束脑电-视觉对齐方法,通过ROI级源模式表征与证据加权监督,在THINGS-EEG上实现强200路检索性能。
2026-09-22 cs.CV
Circulant temporal encoding for video retrieval and temporal alignment
INRIA(法国国家信息与自动化研究所)
我们解决的问题,具体的视频事件检索。给定特定事件的查询视频,例如,麦当娜的音乐会,目标是检索与查询在时间上重叠的同一事件的其他视频。我们的方法编码的视频帧描述符,共同代表他们的外观和时间顺序。它利用循环矩阵的性质来有效地比较频域中的视频。这在复杂性方面提供了显着的增益,并准确地定位了视频的匹配部分。描述符可以在频域中用适合于复数的乘积量化器压缩。在这种情况下,执行视频检索而不解压缩描述符。我们还考虑了一组视频的时间对齐。我们利用匹配的信心和估计的时间偏移量计算的所有对我们的检索方法的视频。我们的鲁棒算法通过最大化时间上一致的匹配集来在全局时间轴上对齐视频。全局时间对准使得能够同步回放给定场景的视频。
2015-11-30 cs.CV
Correspondence-Free Domain Alignment for Unsupervised Cross-Domain Image Retrieval
College of Computer Science, Sichuan University(四川大学计算机科学学院);Centre for Frontier AI Research (CFAR), A*STAR(新加坡科技研究局前沿人工智能研究中心)
跨领域图像检索的目的是通过跨领域的图像检索来挖掘图像之间的分类或对应关系。本文研究了一个较少涉及的跨域图像检索问题,无监督跨域图像检索,考虑以下实际假设:(i)没有对应关系,(ii)没有类别注释。在没有跨域对应的情况下对齐和桥接不同的域是具有挑战性的。为了解决这一问题,本文提出了一种新的无对应域对齐(Correspondence-free Domain Alignment,CoDA)方法,通过域内自匹配监督(In-domain Self-matching Supervision,ISS)和跨域分类器对齐(Cross-domain Classifier Alignment,CCA)来有效消除跨域间隙。具体地说,ISS是通过阐述一种新的自匹配监督机制,将区分性信息封装到潜在的公共空间中。为了减轻跨域差异,CCA被提出来对齐不同的特定领域的分类器。由于ISS和CCA,我们的方法可以编码到域不变的嵌入空间的无监督跨域图像检索的歧视。为了验证所提出的方法的有效性,进行了广泛的实验上的四个基准数据集相比,六个国家的最先进的方法。
2023-03-23 cs.CV
Coarse to Fine: Video Retrieval before Moment Localization
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent PCG(腾讯平台与内容事业群);Tianjin University(天津大学)
为了方便和快速,现有的视频语料矩检索(VCMR)方法通常采用基于相似性的特征对齐方法。然而,后期融合方法,如余弦相似性对齐无法充分利用查询文本和视频的信息。在本文中,我们结合特征对齐和特征融合,以提高VCMR的性能。
2021-10-14 cs.CV
Fashion Image Retrieval with Multi-Granular Alignment
Kuaishou Inc.(快手公司)
服装图像检索任务的目的是从图库中搜索与查询图像相关的服装项目。之前的方法侧重于设计不同的基于距离的损失函数,将相关的图像对拉近,将不相关的图像分开。然而,这些方法忽略了服装图像的细粒度特征(例如领口,袖口)。在本文中,我们提出了一种新的时尚图像检索方法,利用全球和细粒度的功能,称为多粒度对齐(MGA)。具体来说,我们设计了一个细粒度聚合器(FGA)来捕获和聚合详细的模式。然后,我们提出了基于注意力的令牌对齐(ATA)对齐图像特征在多粒度级别在一个由粗到细的方式。为了证明我们提出的方法的有效性,我们对公共时尚数据集DeepFashion的两个子任务(In-Shop和Consumer 2Shop)进行了实验。实验结果表明,我们的MGA优于国家的最先进的方法在两个子任务的R@1度量,分别为1.8%和0.6%。
2023-03-07 cs.CV
Fine-grained Visual Textual Alignment for Cross-Modal Retrieval using Transformer Encoders
ISTI - CNR(意大利国家研究委员会信息科学与技术研究所);University of Geneva(日内瓦大学)
尽管基于深度学习的视觉-文本处理系统不断发展,但精确的多模态匹配仍然是一项具有挑战性的任务。在这项工作中,我们解决的跨模态检索的任务,通过图像句子匹配的基础上,词区域对齐,使用监督只在全球图像句子水平。具体来说,我们提出了一种新的方法称为Transformer编码器推理和对齐网络(TERAN)。TERAN在图像和句子的底层组件之间执行细粒度匹配,即,图像区域和单词,以便保留两种模态的信息丰富性。TERAN在MS-COCO和Flickr 30 k数据集上的图像检索任务中获得了最先进的结果。此外,在MS-COCO上,它在句子检索任务上也优于现有方法。TERAN着眼于可扩展的跨模态信息检索,旨在保持视觉和文本数据管道很好地分离。交叉注意力链接使单独提取大型检索系统中在线搜索和离线索引步骤所需的视觉和文本特征的任何机会都无效。在这方面,TERAN仅在最后的对齐阶段,即损失计算之前,才合并来自两个域的信息。我们认为,TERAN产生的细粒度对齐铺平了道路,为大规模跨模态信息检索的有效和高效的方法的研究。我们比较了我们的方法对相关国家的最先进的方法的有效性。在MS-COCO 1 K测试集上,我们在Recall@1度量上的图像和句子检索任务上分别获得了5.7%和3.5%的改进。用于实验的代码可在GitHub上公开获得,网址为https://github.com/mesnico/TERAN。
2021-03-02 cs.CV
VADER: Video Alignment Differencing and Retrieval
University of Surrey(萨里大学);Adobe Research(奥多比研究院);University of California, San Diego(加州大学圣地亚哥分校)
我们提出了VADER,一个时空匹配,对齐和变化的摘要方法,以帮助打击通过操纵视频传播的错误信息。VADER使用鲁棒的视觉描述符和自适应分块视频内容上的可伸缩搜索来将部分视频片段与候选视频进行匹配和粗对齐。然后,基于变换器的对齐模块细化匹配视频内的查询片段的时间定位。空间-时间比较器模块识别对齐的内容之间的操纵区域,其对于由于任何残余时间未对齐或由内容的非编辑性改变引起的伪像而引起的任何改变不变。通过将视频与可信来源进行可靠的匹配,可以得出有关视频来源的结论,从而对遇到的内容做出明智的信任决策。
2023-03-25 cs.CV
Tagging before Alignment: Integrating Multi-Modal Tags for Video-Text Retrieval
Tencent PCG(腾讯平台与内容事业群);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
近年来,视频文本检索中的视觉-语言对齐学习引起了人们的广泛关注。现有的方法要么将图像-文本预训练模型的知识转移到视频-文本检索任务中,而没有充分挖掘视频的多模态信息,要么简单地以暴力方式融合多模态特征,而没有明确的指导。在本文中,我们集成多模态信息在一个明确的方式,通过标记,并使用标记作为锚更好的视频文本对齐。各种预先训练的专家用于提取多个模态的信息,包括对象,人,运动,音频等。为了充分利用这些信息,我们提出了表(标签前aLignmEnt)网络,它由一个视觉编码器,一个标签编码器,一个文本编码器,和一个标签引导的跨模态编码器,用于联合编码多帧视觉特征和多模态标签信息。此外,为了加强视频和文本之间的交互,我们构建了一个联合跨模态编码器,其三元组输入为[vision,tag,text],并执行两个额外的监督任务,视频文本匹配(VTM)和掩蔽语言建模(MLM)。大量的实验结果表明,表模型是能够实现国家的最先进的(SOTA)性能在各种视频文本检索基准,包括MSR-VTT,MSVD,LSMDC和DiDeMo。
2023-01-30 cs.CV
Risk Controlled Image Retrieval
University of Liverpool(利物浦大学);University College London(伦敦大学学院);University of Warwick(华威大学);Purple Mountain Laboratories(紫金山实验室)
本文提出RCIR框架,为图像检索集提供以预定义概率包含真实最近邻的覆盖率保证,并在四个真实数据集上验证其有效性与效率。
2025-01-06 cs.CV
Distribution-Alignment Bridge for Uncertainty-Aware Text-to-Video Retrieval
School of Electronic and Electrical Engineering, Kyungpook National University(庆北国立大学电子与电气工程学院)
研究文本到视频检索问题,提出分布对齐桥(DAB)框架,将其视为分布对齐任务,通过高斯分布建模考虑不确定性,用受扩散启发的桥和分布感知对比损失优化,在多基准测试中显著优于现有基线并提供校准排名。
2026-07-24 cs.CV
TokenFlow: Rethinking Fine-grained Cross-modal Alignment in Vision-Language Retrieval
Boston University(波士顿大学);Kuaishou Technology(快手科技)
视觉语言检索中的大多数现有方法通过比较它们的全局特征向量来匹配两种模态,这错过了足够的信息并且缺乏可解释性,检测图像或视频中的对象并将文本与依赖于复杂模型设计的细粒度特征对齐,或者通过对视觉和文本标记的交叉注意来建模细粒度交互,效率低下。为了解决这些局限性,最近的一些工作只是简单地聚合token-wise相似性,以实现细粒度的对齐,但他们缺乏直观的解释,以及忽视的token-level功能和全局表示与高层次的语义之间的关系。在这项工作中,我们重新考虑细粒度的跨模态对齐,并设计了一个新的模型无关的公式。我们还揭开了最近流行的作品,并将它们纳入我们的计划。此外,受最优传输理论的启发,我们引入了TokenFlow,该方案的一个实例。通过只修改相似性函数,我们的方法的性能是相媲美的SoTA算法与沉重的模型设计主要的视频文本检索基准。可视化进一步表明,TokenFlow成功地利用了细粒度信息,并实现了更好的可解释性。
2022-10-03 cs.CV
Reuse your features: unifying retrieval and feature-metric alignment
Instituto de Investigación en Ingeniería de Aragón (I3A)(阿拉贡工程研究院(I3A));Universidad de Zaragoza(萨拉戈萨大学)
提出DRAN单网络统一视觉定位的图像检索、重排序和姿态细化,通过复用深度特征实现高效准确,优于多网络方法。
2023-05-08 cs.CV
End-to-End CAD Model Retrieval and 9DoF Alignment in 3D Scans
Technical University of Munich(慕尼黑工业大学)
我们提出了一种新颖的,端到端的方法来对齐CAD模型的3D扫描的场景,使嘈杂的,不完整的3D扫描到一个紧凑的,CAD重建干净,完整的对象几何形状的转换。我们的主要贡献在于制定一个可微的Procrustes对齐,是配对的感知密集对象对应预测。为了同时将CAD模型与扫描场景的所有对象对齐,我们的方法检测对象位置,然后在统一的对象空间中预测扫描和CAD几何形状之间的密集对象对应关系,以及最近邻CAD模型,然后两者都用于通知可微的Procrustes对齐。我们的方法以完全卷积的方式运行,使CAD模型与扫描对象在单个向前传递中对齐。这使得我们的方法能够优于$19.04\%$用于CAD模型与扫描对齐的最先进方法,并且$\approx 250\times$的运行时间比以前的数据驱动方法更快。
2019-06-10 cs.CV
GLAD: Global-Local-Alignment Descriptor for Pedestrian Retrieval
Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
人体姿态的巨大变化和检测到的人体图像的错位显着增加了人的再识别(Re-ID)的难度。此外,需要高效的Re-ID系统来处理视频监控系统产生的大量视觉数据。针对这些问题,本文分别提出了全局-局部-对齐描述符(GLAD)和高效的索引和检索框架。GLAD显式地利用人体中的局部和全局线索来生成区分性和鲁棒性的表示。它由零件提取和描述符学习模块组成,首先检测几个零件区域,然后设计深度神经网络,用于局部和全局区域的表示学习。设计了一个层次化的索引和检索框架,消除了图库集的巨大冗余,加快了在线Re-ID过程。大量的实验结果表明,GLAD实现竞争力的准确性相比,国家的最先进的方法。我们的检索框架显着加快了在线Re-ID过程,而不损失准确性。因此,这项工作有可能在真实场景中更好地处理人员Re-ID任务。
2017-09-13 cs.CV
DiscoVLA: Discrepancy Reduction in Vision, Language, and Alignment for Parameter-Efficient Video-Text Retrieval
School of Software(软件学院);BNRist;Department of Automation, Tsinghua University(自动化系,清华大学);Hangzhou Zhuoxi Institute of Brain and Intelligence(杭州卓溪脑科学与智能研究院);GRG Banking Equipment Co., Ltd.(GRG银行设备有限公司);South China University of Technology(华南理工大学)
本文提出 DiscoVLA,通过图像-视频特征融合、伪图像描述和图像到视频对齐蒸馏,同时弥补 CLIP 迁移到视频检索时的视觉、语言与对齐差异。
2025-06-10 cs.CV
FastCAD: Real-Time CAD Retrieval and Alignment from Scans and Videos
Qualcomm Technologies, Inc.(高通技术公司);University of Cambridge(剑桥大学)
FastCAD提出一种实时单阶段方法,同时检索并对齐场景中所有物体的CAD模型,通过对比学习蒸馏形状嵌入,在Scan2CAD基准上超越现有方法并实现50倍加速,显著提升视频设置下的对齐与重建准确率。
2024-03-22 cs.CV
Subject-Aware Multi-Granularity Alignment for Zero-Shot EEG-to-Image Retrieval
School of Automation, Hangzhou Dianzi University(杭州电子科技大学自动化学院);Zhejiang Provincial Key Laboratory of Brain Computer Collaborative Intelligence Technology and Applications, Hangzhou, Zhejiang(浙江省脑机协同智能技术与应用重点实验室,杭州,浙江);College of Computer Science and Technology, Hangzhou Dianzi University(杭州电子科技大学计算机科学与技术学院)
本文提出SAMGA框架,通过多粒度对齐解决EEG到图像检索中主体依赖性和多尺度信息的问题,提升检索精度。
2026-08-14 cs.CV
Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning
Hangzhou Institute of Technology, Xidian University, Hangzhou, China(杭州理工大学、西安电子科技大学、杭州,中国);Xidian University, Xi'an, China(西安电子科技大学、西安,中国);Hohai University, Nanjing, China(河海大学、南京,中国)
本文提出基于金字塔Shapley-Taylor学习的细粒度动语言检索方法,通过分层对齐捕捉局部细节与层次结构,提升检索性能。
2026-02-04 cs.CV
RAVA: Retrieval-Augmented Viewpoint Alignment for Subject-Driven Image Generation
WeChat AI, Tencent Inc.(腾讯微信人工智能实验室)
提出RAVA框架,通过检索增强提供几何证据,解决跨主体视角对齐中的视角漂移和结构不匹配问题,在保持身份的同时实现可靠视角控制。
2026-06-17 cs.CV
TokenBinder: Text-Video Retrieval with One-to-Many Alignment Paradigm
The University of Queensland(昆士兰大学);CSIRO Data61(联邦科学与工业研究组织Data61)
TokenBinder提出一对多由粗到细对齐范式,通过聚焦视图融合网络和交叉注意力机制动态比较多视频特征,在六个基准上显著超越现有文本-视频检索方法。
2024-09-30 cs.CV
Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对零样本草图图像检索中跨模态差异大、现有方法泛化性不足的问题,提出对称双向知识对齐框架与一对多聚类跨模态匹配方法,在多个基准数据集上取得优于现有最优方法的性能。
2023-12-16 cs.CV
Fast-then-Fine: A Two-Stage Framework with Multi-Granular Representation for Cross-Modal Retrieval in Remote Sensing
School of Computer Science, Wuhan University(武汉大学计算机学院);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
本文提出一种两阶段框架,通过多粒度表示提升遥感跨模态检索效率与精度,采用文本无关召回和文本引导重排序阶段,减少计算资源消耗。
2026-04-22 cs.CV
FAR-Net: Multi-Stage Fusion Network with Enhanced Semantic Alignment and Adaptive Reconciliation for Composed Image Retrieval
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
本文提出多阶段融合网络FAR-Net,通过增强语义对齐模块和自适应协调模块结合晚期与早期融合,在CIRR和FashionIQ上显著提升组合图像检索性能。
2025-07-17 cs.CV
Audio-Enhanced Text-to-Video Retrieval using Text-Conditioned Feature Alignment
University of Amsterdam(阿姆斯特丹大学);Amazon Prime Video(亚马逊Prime Video)
提出TEFAL方法,通过文本条件特征对齐生成独立的音频和视频表示,在四个基准数据集上实现优于现有技术的文本到视频检索性能。
2023-10-18 cs.CV
Geometry-Aware CLIP Retrieval via Local Cross-Modal Alignment and Steering
Singapore University of Technology and Design(新加坡科技设计大学);Martian;Thoughtworks;UCSD(加州大学圣塔莫尼卡分校);Harvard University(哈佛大学)
本文提出通过局部跨模态对齐与引导改进CLIP检索,通过匈牙利匹配实现邻居级重排序,并利用查询条件局部引导提升属性绑定和组合检索性能。
2026-04-21 cs.AI cs.CV
Dynamic Multi-level Weighted Alignment Network for Zero-shot Sketch-based Image Retrieval
School of Computer and Electronic Information(计算机与电子信息学院);Nanjing Normal University(南京师范大学);Nanjing(南京);CHN(中国)
本文提出动态多级加权对齐网络解决ZS-SBIR中模态样本不平衡和信息不一致问题,通过单模态特征提取、跨模态多级加权和加权四元组损失模块,在三个基准数据集上取得优于现有方法的性能。
2025-11-02 cs.CV
MAN: Moment Alignment Network for Natural Language Moment Retrieval via Iterative Graph Adjustment
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软);University of Maryland, College Park(马里兰大学帕克分校)
本研究致力于长视频流中的自然语言瞬间检索。这个问题并不简单,特别是当视频包含多个感兴趣的时刻,并且语言描述了复杂的时间依赖关系时,这在真实场景中经常发生。我们确定了两个关键的挑战:语义错位和结构错位。然而,现有的方法分别对待不同的时刻,并没有明确的模型复杂的时刻时间关系。在本文中,我们提出的时刻对齐网络(MAN),一个新的框架,统一的候选时刻编码和时间结构推理的单发前馈网络。MAN自然地在不同的时间位置和尺度上分配与语言语义一致的候选矩表示。最重要的是,我们建议将时刻时间关系明确建模为结构化图,并设计一个迭代图调整网络,以端到端的方式共同学习最佳结构。我们在两个具有挑战性的公共基准DiDeMo和Charades-STA上评估了所提出的方法,其中我们的MAN显著优于最先进的方法。
2019-05-17 cs.CV
ROCA: Robust CAD Model Retrieval and Alignment from a Single Image
Technical University of Munich(慕尼黑工业大学)
我们提出了ROCA,一种新的端到端的方法,检索和对齐3D CAD模型从形状数据库到一个单一的输入图像。这使得能够从2D RGB观察到观察到的场景的3D感知,其特征在于轻量、紧凑、干净的CAD表示。我们的方法的核心是基于密集的2D-3D对象对应和Procrustes对齐的可微对齐优化。因此,ROCA可以提供鲁棒的CAD对齐,同时通过利用2D-3D对应来学习几何相似的CAD模型来通知CAD检索。在ScanNet的具有挑战性的真实图像上进行的实验表明,ROCA在检索感知CAD对齐准确度方面从9.5%显著提高到17.6%。
2022-07-24 cs.CV cs.GR cs.LG
Kinematics-Centric Continuous Sign Language Retrieval with Gloss-Guided Boundary-Aware Alignment
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出以SMPL-X运动为核心、手语词汇引导局部对齐和视觉蒸馏的手语检索框架,在CSL-Daily和PHOENIX-2014T上实现领先的双向检索性能。
2026-10-06 cs.CV
GranAlign: Granularity-Aware Alignment Framework for Zero-Shot Video Moment Retrieval
GranAlign提出一种无需训练的框架,通过粒度感知对齐技术解决零样本视频时刻检索中的语义粒度不匹配问题,提升检索精度。
2026-01-02 cs.CV
Cross-Modal and Uni-Modal Soft-Label Alignment for Image-Text Retrieval
SKLSDE, School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院软件开发环境国家重点实验室);Shen Yuan Honors College, Beihang University(北京航空航天大学沈元荣誉学院);School of Electrical Engineering and Computer Science, University of Ottawa(渥太华大学电气工程与计算机科学学院);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
本文提出CUSA方法,利用单模态预训练模型的软标签监督信号,通过跨模态与单模态软标签对齐解决模态间匹配缺失和模态内语义损失问题,即插即用地提升图像-文本检索性能并实现通用检索。
2024-03-08 cs.CV cs.MM
Cross-Modal Attention Alignment Network with Auxiliary Text Description for zero-shot sketch-based image retrieval
School of Computer and Electronic Information, Nanjing Normal University(南京师范大学计算机与电子信息学院)
本文提出利用大语言模型为图像生成辅助文本描述,并通过跨模态注意力对齐网络实现零样本草图图像检索,在三个基准数据集上取得优于现有方法的性能。
2024-07-01 cs.CV
Composed Vision-Language Retrieval for Skin Cancer Case Search via Joint Alignment of Global and Local Representations
本文提出一种基于Transformer的框架,通过联合对齐全局和局部表示,提升皮肤癌病例检索的准确性和效率,实验表明在Derm7pt数据集上优于现有方法。
2026-04-20 cs.AI cs.CV
Learning Joint Embedding with Modality Alignments for Cross-Modal Retrieval of Recipes and Food Images
Georgia Institute of Technology(佐治亚理工学院);Wuhan University of Technology(武汉理工大学)
本文提出了一种学习文本图像联合嵌入的三层模态对齐方法,称为JEMA,用于烹饪食谱和食物图像的跨模态检索。第一层通过使用术语提取和排序增强序列模式优化LSTM网络来改进食谱文本嵌入,并通过将ResNeXt-101图像编码器与使用wideResNet-50和word 2 vec的类别嵌入相结合来优化图像嵌入。第二层模态对齐使用具有软边缘优化的双批硬三重损失来优化纹理-视觉联合嵌入损失函数。第三模态对齐结合了两种类型的跨模态对齐作为辅助损失正则化,以进一步减少两个模态特定嵌入函数的联合学习中的对齐误差。基于类别的跨模态对齐旨在将图像类别与食谱类别对齐,作为对联合嵌入的损失正则化。基于跨模态鉴别器的对齐旨在添加视觉-文本嵌入分布对齐以进一步正则化联合嵌入损失。使用100万个食谱基准数据集Recipe 1 M进行的大量实验表明,所提出的JEMA方法在图像到食谱和食谱到图像检索方面优于最先进的交叉模态嵌入方法。
2021-08-18 cs.CV cs.IR
What Drives Hierarchy-Aware Image Retrieval? Taxonomy Alignment, Objective Choice, and Geometry
Southeast University(东南大学)
本研究通过2x2因子实验,发现分类法感知监督目标比几何选择更显著提升层级检索性能,且真实语义对齐至关重要。
2026-09-23 cs.CV
HGAN: Hierarchical Graph Alignment Network for Image-Text Retrieval
Xidian University(西安电子科技大学);Guangdong OPPO Mobile Telecommunications Corp., Ltd(广东欧珀移动通信有限公司)
由于不同模态之间存在语义鸿沟,图像-文本检索(ITR)是多模态信息处理领域的一项具有挑战性的任务。近年来,研究人员在探索图像和文本之间的精确对齐方面取得了很大进展。然而,现有的工作主要集中在图像区域和句子片段之间的细粒度对齐,忽略了上下文背景信息的指导意义。实际上,结合局部细粒度信息和全局上下文背景信息可以为检索提供更多的语义线索。在本文中,我们提出了一种新的层次图对齐网络(HGAN)的图像-文本检索。首先,为了捕捉全面的多模态特征,我们分别为图像和文本模态构建特征图。设计了多粒度特征聚合与重排(MVAR)模块,建立了多粒度共享空间,增强了局部信息与全局信息的语义对应关系,获得了更准确的图像和文本模态特征表示。最后,通过三级相似度函数对最终的图像和文本特征进行进一步的细化,实现层次对齐。为了证明所提出的模型,我们在MS-COCO和Flickr 30 K数据集上进行了大量的实验。实验结果表明,HGAN在两个数据集上的性能优于现有的方法,这表明了我们的模型的有效性和优越性。
2022-12-16 cs.CV cs.MM
Optimizing CLIP Models for Image Retrieval with Maintained Joint-Embedding Alignment
HTW Berlin(柏林工程应用科学大学)
本文针对CLIP模型在图像检索中难以区分视觉不同但标题相似的图像的问题,提出顺序微调和伪标题对齐两种优化方法,在保持文本-图像对齐的同时提升图像检索、k-NN分类和零样本分类性能,并简化多模态检索系统基础设施。
2024-09-03 cs.CV cs.LG
DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image
Technical University of Munich(慕尼黑工业大学)
DiffCAD提出首个弱监督概率性CAD检索与对齐方法,利用扩散模型从单张RGB图像生成多假设CAD重建,仅用合成数据训练即可在Scan2CAD上超越有监督SOTA 5.9%。
2024-06-06 cs.CV
Differentiable Resolution Compression and Alignment for Efficient Video Classification and Retrieval
NetEase Yidun AI Lab(网易易盾人工智能实验室);Zhejiang University(浙江大学)
提出一种具有可微分辨率压缩与对齐机制的高效视频表示网络,通过早期压缩非显著帧特征并引入分辨率对齐Transformer层降低计算成本,在近重复视频检索和动态视频分类任务中实现了效率与性能的最佳权衡。
2023-09-15 cs.CV
Tango3D: Towards Alignment for Global and Local 2D-3D Correspondence
HKUST(香港科技大学);Tencent Hunyuan(腾讯混元)
本文提出Tango3D,一种统一密集对应和全局检索的3D基础模型,通过几何感知的2D视觉骨干网络和预训练的3D VAE将图像编码为2D片段,点云编码为3D标记,并映射到共享空间以实现局部像素-点对齐和全局语义对齐。
2026-05-19 cs.CV
Towards Fast and Accurate Image-Text Retrieval with Self-Supervised Fine-Grained Alignment
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对图文检索中精度与效率难以兼顾的问题,提出基于自监督对比学习的SelfAlign细粒度对齐模块,在独立嵌入框架下实现概念与上下文层面的图文对齐,以相当的时间成本显著提升非预训练模型的检索精度,且优于多数交互嵌入模型。
2023-08-27 cs.AI cs.CV
Cross-modal Full-mode Fine-grained Alignment for Text-to-Image Person Retrieval
Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China(深圳先进研究所,电子科学与技术大学);University of Electronic Science and Technology of China(电子科学与技术大学);Sichuan Artificial Intelligence Research Institute(四川人工智能研究院)
本文提出FMFA框架,通过显式细粒度对齐和隐式关系推理实现文本到图像人物检索的高精度匹配。
2025-12-28 cs.CV
Paired Cross-Modal Data Augmentation for Fine-Grained Image-to-Text Retrieval
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Salesforce Research Asia(赛富时亚洲研究院)
本文研究了一个开放的研究问题,生成文本图像对,以改善训练的细粒度图像到文本的跨模态检索任务,并提出了一种新的框架,成对的数据增强通过揭示隐藏的语义信息的StyleGAN 2模型。具体来说,我们首先在给定的数据集上训练StyleGAN 2模型。然后,我们将真实图像投影回StyleGAN 2的潜在空间以获得潜在代码。为了使生成的图像可操作,我们进一步引入了一个潜在空间对齐模块来学习StyleGAN 2潜在代码和相应的文本标题特征之间的对齐。当我们在线进行配对数据增强时,我们首先通过随机令牌替换生成增强文本,然后将增强文本传递到潜在空间对齐模块输出潜在代码,最终将其馈送到StyleGAN 2以生成增强图像。我们在两个公共跨模态检索数据集上评估了我们的增强数据方法的有效性,其中有希望的实验结果表明,增强的文本-图像对数据可以与原始数据一起训练,以提高图像到文本的跨模态检索性能。
2022-07-29 cs.CV