VLDeformer: Vision-Language Decomposed Transformer for Fast Cross-Modal Retrieval
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Technologies Co., Ltd（华为技术有限公司）
跨模型检索已经成为纯文本搜索引擎（SE）最重要的升级之一。最近，通过早期交互，视觉语言（VL）Transformers的准确性已经超过了现有的文本图像检索方法，具有强大的表示成对文本图像输入。然而，当相同的范例用于推理时，VL Transformers的效率仍然太低而不能应用于真正的交叉模态SE中。受人类学习机制的启发，利用跨模态知识，提出了一种新的视觉语言分解的Transformer（VLDemformer），在保持视觉语言变换器精确性的同时，大大提高了视觉语言Transformers的效率。该方法将跨模型检索分为两个阶段：VL Transformer学习阶段和VL分解阶段。后一阶段起着单模态索引的作用，在某种程度上类似于文本SE的术语索引。该模型从早期交互预训练中学习跨模态知识，然后分解为单个编码器。该分解方法只需要少量的目标数据集进行监督，并实现了$1000+$倍的加速和小于$0.6$ \%的平均召回率下降。VLDefformer还优于COCO和Flickr30k上最先进的视觉语义嵌入方法。
2021-11-25 cs.CL cs.CV cs.IR
Zero-Shot Sketch Based Image Retrieval using Graph Transformer
Indian Institute Of Technology Bombay（印度理工学院孟买分校）
zero-shot sketch-based image retrieval（基于草图的图像检索）任务的性能主要受到两个挑战的影响。图像和草图特征之间的实质性领域差距需要被弥合，而与此同时，侧信息必须被巧妙地选择。已有的文献表明，改变语义侧信息极大地影响了EST-SBIR的性能。为此，我们提出了一种新的图形Transformer为基础的zero-shot草图为基础的图像检索（GTQIR）框架，用于解决EST-SBIR任务，使用一种新的图形Transformer，以保持在语义空间中的类的拓扑结构和传播的视觉空间的嵌入功能内的类的上下文图。为了弥合视觉特征之间的领域差距，我们建议最小化学习领域共享空间中图像和草图之间的Wasserstein距离。我们还提出了一种新的兼容性损失，进一步对齐两个视觉域桥接的域间隙的一个类相对于训练集中的所有其他类的域间隙。在扩展的Sketchy、TU-Berlin和QuickDraw数据集上获得的实验结果显示，与现有的最先进的方法相比，在BS-SBIR和广义BS-SBIR中都有明显的改进。
2022-05-28 cs.CV cs.LG
STIR: Siamese Transformer for Image Retrieval Postprocessing
St. Petersburg Department of the Steklov Institute of Mathematics（斯捷克洛夫数学研究所圣彼得堡分部）；New Yorker GmbH（纽约客有限公司）
本研究提出基于难负样本三元组损失的轻量SOTA度量学习模型，还提出像素级注意力的STIR后处理重排序方法，在两个标准数据集上刷新SOTA并开源代码与演示。
2023-04-27 cs.CV cs.IR
Vision Transformer Hashing for Image Retrieval
Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）；National Cheng Kung University（国立成功大学）
深度学习在图像检索的散列技术方面取得了巨大的发展。最近，Transformer作为一种新的架构出现，它利用了自注意力而没有卷积。Transformer还扩展到视觉Transformer（ViT），用于视觉识别，在ImageNet上具有良好的性能。在本文中，我们提出了一个视觉Transformer基于哈希（VTS）的图像检索。我们利用ImageNet上预训练的ViT作为骨干网络，并添加哈希头。所提出的VTS模型在六种不同的图像检索框架下进行了哈希调整，包括深度监督哈希（DSH），HashNet，GreedyHash，改进的深度哈希网络（IDHN），深度极化网络（DPN）和中心相似性量化（CSQ）及其目标函数。我们在CIFAR 10，ImageNet，NUS-Wide和COCO数据集上进行了广泛的实验。建议VTS为基础的图像检索性能优于最近的国家的最先进的散列技术有很大的利润。我们还发现，建议VTS模型作为骨干网络是优于现有的网络，如AlexNet和ResNet。代码在\url{https://github.com/shivram1987/VisionTransformerHashing}发布。
2022-03-22 cs.CV
Adaptive Evidential Learning for Temporal-Semantic Robustness in Moment Retrieval
本文提出DEMR框架，通过引入RFF模块和几何正则化器，提升时刻检索中对复杂视频场景的适应性与鲁棒性。
2025-11-30 cs.CV
Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers
DeepMind；ENS/Inria（巴黎高等师范学院/法国国家信息与自动化研究所）；CIIRC CTU（捷克理工大学工业与机器人计算机中心）；VGG Oxford（牛津大学视觉几何组）
我们的目标是大规模图像和视频数据集的基于语言的搜索。对于这项任务，该方法包括独立地将文本和视觉映射到联合嵌入空间，即双编码器，是有吸引力的检索规模，是有效的数十亿的图像使用近似最近邻搜索。另一种方法是使用视觉文本Transformers与交叉注意力的联合嵌入的准确性得到了相当大的改善，但在实践中往往是不适用于大规模的检索成本的交叉注意力机制所需的每个样本在测试时间。这项工作结合了两个世界的最佳。我们作出以下三项贡献。首先，我们为基于transformer的模型配备了一个新的细粒度交叉注意架构，在保持可扩展性的同时显著提高了检索准确性。其次，我们介绍了一种通用的方法，通过蒸馏和重新排名将快速双编码器模型与我们缓慢但准确的基于变换器的模型相结合。最后，我们验证了我们的方法在Flickr30K图像数据集上，我们显示了几个数量级的推理速度的增加，同时具有竞争力的结果的最先进的状态。我们还扩展了我们的方法到视频域，提高了VATEX数据集的最先进的。
2021-03-30 cs.CV
EViT: Privacy-Preserving Image Retrieval via Encrypted Vision Transformer in Cloud Computing
Jinan University（暨南大学）；Beihang University（北京航空航天大学）；Beijing Institute of Technology（北京理工大学）
图像检索系统帮助用户在大量的图像中实时浏览和搜索。随着云计算的兴起，检索任务通常外包给云服务器。然而，云场景带来了隐私保护的艰巨挑战，因为云服务器不能完全信任。为此，基于图像加密的隐私保护图像检索方案已被开发，该方案首先从密码图像中提取特征，然后基于这些特征建立检索模型。然而，大多数现有的方法提取浅层特征和设计琐碎的检索模型，导致密码图像的表达能力不足。在本文中，我们提出了一个新的范例命名为加密视觉Transformer（EViT），它提高了鉴别表示的能力的密码图像。首先，在JPEG压缩过程中，从流密码加密的密文图像中提取多级局部长度序列和全局霍夫曼码频率特征，以获取全面的规则信息。其次，设计了基于视觉Transformer的检索模型，实现了与多层次特征的耦合，并提出了两种自适应的数据增强方法来提高检索模型的表示能力。通过自监督对比学习的方式，我们的建议可以很容易地适应无监督和监督的设置。大量的实验表明，EViT实现了良好的加密和检索性能，在检索精度方面大大优于现有的计划，同时有效地保护图像隐私。代码可在\url{https://github.com/onlinehuazai/EViT}上公开获取。
2022-08-31 cs.CV cs.MM
TransHash: Transformer-based Hamming Hashing for Efficient Image Retrieval
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）；Wuhan University（武汉大学）
深度汉明散列在大规模图像检索的近似最近邻搜索中越来越受欢迎。到目前为止，图像检索社区的深度哈希一直由卷积神经网络架构主导，例如\texttt{Resnet} \cite{he2016deep}。在本文中，受Vision Transformers最新进展的启发，我们提出了\textbf{Transhash}，这是一个纯基于转换器的深度哈希学习框架。具体地说，我们的框架由两个主要模块组成：（1）基于\textit{Vision Transformer}（ViT），我们设计了一个用于图像特征提取的连体Vision Transformer主干。为了学习细粒度特征，我们在Transformer之上创新了双流特征学习，以学习区分性的全局和局部特征。(2)此外，我们采用动态构造相似矩阵的贝叶斯学习方案来学习紧凑的二进制哈希码。整个框架是以端到端的方式联合训练的。~据我们所知，这是第一个在没有卷积神经网络（\textit{CNNs}）的情况下解决深度哈希学习问题的工作。我们在三个广泛研究的数据集上进行了全面的实验：\textbf{CIFAR-10}，\textbf{NUSWIDE}和\textbf{IMAGENET}。实验证明了我们对现有的国家的最先进的深度哈希方法的优越性。具体而言，我们实现了8.2\%，2.6\%，12.7\%的性能增益方面的平均\textit{mAP}不同的哈希位长度的三个公…
2021-05-05 cs.CV
Transformer Reasoning Network for Image-Text Matching and Retrieval
National Research Council（国家研究委员会）；Institute of Information Science and Technologies（信息科学与技术研究所）
图像-文本匹配是现代人工智能研究中一项有趣而迷人的任务。尽管基于深度学习的图像和文本处理系统不断发展，但多模态匹配仍然是一个具有挑战性的问题。在这项工作中，我们考虑的问题，准确的图像-文本匹配的任务，多模态大规模信息检索。图像-文本匹配中的最新结果是通过来自两个不同处理流水线的图像和文本特征的相互作用来实现的，通常使用相互注意力机制。然而，这使得在大规模检索系统中提取后续索引步骤所需的单独视觉和文本特征的任何机会都无效。在这方面，我们介绍了Transformer编码器推理网络（TERN），一个架构上的现代关系感知的自我关注的架构，Transformer编码器（TE）。该体系结构能够分别对两种不同的模态进行推理，并通过共享更深的Transformer层的权重来强制执行最终的公共抽象概念空间。由于这种设计，所实现的网络能够产生紧凑且非常丰富的视觉和文本特征，可用于后续索引步骤。在MS-COCO数据集上进行实验，我们使用折扣累积增益度量评估结果，并利用字幕相似性计算相关性，以评估可能不准确但相关的搜索结果。我们证明，在这个指标上，我们能够实现国家的最先进的图像检索任务的结果。我们的代码可以在https://github.com/mesnico/TERN上免费获得。
2021-01-25 cs.CV
Instance-level Image Retrieval using Reranking Transformers
University of Virginia（弗吉尼亚大学）；eBay Computer Vision（eBay计算机视觉部门）；Rice University（莱斯大学）
实例级图像检索是在大型数据库中搜索与查询图像中的对象相匹配的图像的任务。为了解决这一任务，系统通常依赖于使用全局图像描述符的检索步骤，以及通过利用诸如基于局部特征的几何验证之类的操作来执行特定于域的细化或重新排序的后续步骤。在这项工作中，我们提出了重新排序Transformers（RRTs）作为一个通用的模型，将本地和全球的功能重新排序的匹配图像在监督的方式，从而取代相对昂贵的过程中的几何验证。RRT是轻量级的，并且可以容易地并行化，使得可以在单个向前传递中执行对一组顶级匹配结果的重新排序。我们在Revisited Oxford和Paris数据集以及Google Landmarks v2数据集上进行了广泛的实验，结果表明RRT在使用更少的局部描述符的同时优于以前的重新排名方法。此外，我们证明，与现有的方法不同，RRT可以与特征提取器联合优化，这可以导致针对下游任务的特征表示和进一步的准确性提高。代码和训练模型可在https://github.com/uvavision/RerankingTransformer上公开获得。
2022-06-04 cs.CV
Multi-direction and Multi-scale Pyramid in Transformer for Video-based Pedestrian Retrieval
Peking University（北京大学）
在视频监控中，行人检索（也称为人员重新识别）是一项关键任务。该任务旨在从非重叠摄像机中检索感兴趣的行人。最近，基于transformer的模型在这方面取得了重大进展。然而，这些模型仍然存在忽略细粒度、部分信息的问题。本文提出了一种多方向多尺度的Pyramid in Transformer（PiT）模型来解决这一问题。在基于变换器的架构中，每个行人图像被分成许多块。然后，这些补丁被馈送到Transformer层，以获得该图像的特征表示。为了挖掘细节信息，本文提出对这些面片进行垂直分割和水平分割，生成不同方向的人体部位。这些部分提供更细粒度的信息。为了融合多尺度特征表示，本文提出了一种包含全局信息和多个不同尺度的局部信息的金字塔结构。将同一视频中所有行人图像的特征金字塔进行融合，形成最终的多方向多尺度特征表示。两个具有挑战性的基于视频的基准，MARS和iLIDS-VID上的实验结果表明，所提出的PiT实现了最先进的性能。广泛的消融研究证明了所提出的金字塔结构的优越性。该代码可在https://git.openi.org.cn/zangxh/PiT.git上获得。
2022-04-06 cs.CV
Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval
Indian Institute of Information Technology Allahabad（印度阿拉哈巴德信息技术学院）；National Cheng Kung University（国立成功大学）
针对现有无监督图像检索方法全局特征利用不足、假负例致偏差的问题，提出融合Transformer全局编码、乘积量化与裁剪对比学习的TransClippedCLR模型，在多个基准数据集上性能优于现有深度模型。
2024-01-27 cs.CV
Fine-grained Visual Textual Alignment for Cross-Modal Retrieval using Transformer Encoders
ISTI - CNR（意大利国家研究委员会信息科学与技术研究所）；University of Geneva（日内瓦大学）
尽管基于深度学习的视觉-文本处理系统不断发展，但精确的多模态匹配仍然是一项具有挑战性的任务。在这项工作中，我们解决的跨模态检索的任务，通过图像句子匹配的基础上，词区域对齐，使用监督只在全球图像句子水平。具体来说，我们提出了一种新的方法称为Transformer编码器推理和对齐网络（TERAN）。TERAN在图像和句子的底层组件之间执行细粒度匹配，即，图像区域和单词，以便保留两种模态的信息丰富性。TERAN在MS-COCO和Flickr 30 k数据集上的图像检索任务中获得了最先进的结果。此外，在MS-COCO上，它在句子检索任务上也优于现有方法。TERAN着眼于可扩展的跨模态信息检索，旨在保持视觉和文本数据管道很好地分离。交叉注意力链接使单独提取大型检索系统中在线搜索和离线索引步骤所需的视觉和文本特征的任何机会都无效。在这方面，TERAN仅在最后的对齐阶段，即损失计算之前，才合并来自两个域的信息。我们认为，TERAN产生的细粒度对齐铺平了道路，为大规模跨模态信息检索的有效和高效的方法的研究。我们比较了我们的方法对相关国家的最先进的方法的有效性。在MS-COCO 1 K测试集上，我们在Recall@1度量上的图像和句子检索任务上分别获得了5.7%和3.5%的改进。用于实验的代码可在GitHub上公开获得，网址为https://github.com/mesnico/TERAN。
2021-03-02 cs.CV
Towards Efficient Cross-Modal Visual Textual Retrieval using Transformer-Encoder Deep Features
Institute of Information Science and Technologies, National Research Council（国家研究委员会信息科学与技术研究所）；University of Geneva（日内瓦大学）
跨模态检索是现代搜索引擎中的重要功能，因为它通过允许查询和检索到的对象属于不同的模态来增加用户体验。在本文中，我们专注于图像句子检索任务，其目标是有效地找到相关的图像为一个给定的句子（图像检索）或相关的句子为一个给定的图像（图片检索）。计算机视觉文献报道了使用配备有注意力和自我注意力机制的深度神经网络进行图像-句子匹配任务的最佳结果。它们通过对整个数据集执行顺序扫描来评估检索任务的匹配性能。这种方法不能很好地随着图像或字幕数量的增加而扩展。在这项工作中，我们探索了不同的预处理技术，以产生稀疏化的深度多模态特征，并从最先进的深度学习架构中提取这些特征，用于图像-文本匹配。我们的主要目标是制定有效的索引复杂的多模态描述的路径。我们使用最近推出的TERN架构作为图像句子特征提取器。它被设计用于产生描述整个图像和句子的固定大小的1024-d向量，以及描述两种模态的各种构建组件（分别是图像区域和句子单词）的可变长度的1024-d向量集。所有这些向量都被TERN设计强制放置在同一个公共空间中。我们的实验显示了有趣的初步结果探索的方法，并建议在这个重要的研究方向进一步实验。
2021-06-01 cs.CV
Prior2Former -- Evidential Modeling of Mask Transformers for Assumption-Free Open-World Panoptic Segmentation
Technical University of Munich（慕尼黑技术大学）；BMW Group（宝马集团）；Visualais；Google（谷歌）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对全景分割中预定义类别限制导致对未见类别和分布外数据可靠性不足的问题，提出基于信念学习的掩码Transformer方法P2F，通过Beta先验计算不确定性，无需OOD样本或对比训练，实现最先进的异常实例与开放世界全景分割。
2025-08-05 cs.CV
Sketchformer: Transformer-based Representation for Sketched Structure
Universidade de São Paulo（圣保罗大学）；University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
Sketchformer是一种新的基于变换的表示，用于编码矢量形式的手绘草图输入，即作为一个笔划序列。Sketchformer有效地解决了多个任务：草图分类，基于草图的图像检索（SBIR），以及草图的重建和插值。我们报告了几种探索连续和标记化输入表示的变体，并对比了它们的性能。我们学习的嵌入，由字典学习标记化方案驱动，在分类和图像检索任务中产生最先进的性能，与LSTM序列到序列架构驱动的基线表示相比：SketchRNN和衍生物。我们表明，草图重建和插值显着改善Sketchformer嵌入复杂的草图与较长的笔划序列。
2020-02-24 cs.CV
CIPER: A Unified Framework for Cross-view Image-retrieval and Pose-estimation
Seoul National University（首尔国立大学）
提出CIPER框架，通过共享Transformer编码器和任务特定令牌联合进行城市级跨视图检索与精确3自由度姿态估计，实现互惠特征学习。
2026-06-03 cs.CV cs.RO
LowCLIP: Adapting the CLIP Model Architecture for Low-Resource Languages in Multimodal Image Retrieval Task
George Washington University（乔治华盛顿大学）；ADA University（ADA大学）
本研究针对阿塞拜疆语等低资源语言的图像检索，集成 CLIP 架构与 Multilingual BERT 及多种图像编码器，通过机器翻译、图像增强和注意力机制微调，在 Flickr30k 和 MSCOCO 数据集上刷新了 SOTA。
2024-08-25 cs.CL cs.CV
Evidential Federated Learning for Skin Lesion Image Classification
University of Catania（卡塔尼亚大学）；Northwestern University（西北大学）
本文提出FedEvPrompt联邦学习方法，结合证据深度学习、提示微调与知识蒸馏，通过共享注意力图而非模型参数来保护隐私，并在ISIC2019数据集上验证了其在皮肤病变分类中的优越性能。
2024-11-15 cs.AI cs.CV cs.LG
RoME: Role-aware Mixture-of-Expert Transformer for Text-to-Video Retrieval
随着社交渠道的普及，每天都有大量的视频上传;因此，通过用户文本查询检索最相关的视频内容起着更重要的作用。大多数方法只考虑全局视觉和文本特征之间的一个联合嵌入空间，而没有考虑每个模态的局部结构。其他一些方法分别考虑由全局和局部特征组成的多个嵌入空间，忽略了丰富的模态间相关性。我们提出了一种新的混合专家Transformer罗马，解开的文本和视频到三个层次的角色的空间背景，时间背景和对象的背景。我们利用一个基于transformer的注意力机制，充分利用视觉和文本嵌入在全球和当地的水平与混合的专家考虑之间的模态和结构的相关性。结果表明，我们的方法在YouCook 2和MSR-VTT数据集上的表现优于最先进的方法，给定相同的视觉骨干而无需预训练。最后，我们进行了广泛的消融研究，以阐明我们的设计选择。
2022-06-26 cs.CV cs.IR cs.LG
Semantic Role Aware Correlation Transformer for Text to Video Retrieval
Institute for Infocomm Research, A*STAR（A*STAR资讯通信研究院）；School of Computer Science and Engineering, NTU（南洋理工大学计算机科学与工程学院）；Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
随着社交媒体的出现，每天都会上传大量的视频片段，使用语言查询检索最相关的视觉内容变得至关重要。大多数方法的目标是学习一个联合嵌入空间的纯文本和视觉内容，没有充分利用其内部的模态结构和模态间的相关性。本文提出了一种新的Transformer，它将文本和视频明确地分解为对象、空间上下文和时间上下文的语义角色，并通过注意力机制来学习这三种角色之间的角色内和角色间的相关性，从而发现不同层次的区分特征进行匹配。在流行的YouCook2上的初步结果表明，我们的方法超越了当前最先进的方法，在所有指标上都有很高的利润率。它还在两个指标方面超过了两个SOTA方法。
2022-06-26 cs.CV cs.IR cs.LG
Self-Supervised Vision Transformers for Writer Retrieval
TU Dortmund University（多特蒙德工业大学）
本文提出一种基于自监督视觉Transformer与VLAD编码的笔迹检索方法，通过提取局部前景特征，在多个历史与现代数据集上取得最先进性能。
2024-09-01 cs.CV cs.LG
HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval
Peking University（北京大学）；FAIR；University of Chinese Academy of Sciences（中国科学院大学）；Kuaishou Technology（快手科技）
随着互联网上多媒体数据的增长，视频文本检索已经成为一个热门的研究课题。Transformer由于其良好的性能而受到越来越多的关注。然而，现有的跨模态Transformer方法通常受到两个主要限制：1）对其中不同层具有不同特征特性的Transformer架构的利用是有限的; 2）端到端训练机制限制小批量中的负样本交互。在本文中，我们提出了一种新的方法命名为分层Transformer（HiT）的视频文本检索。HiT在特征级和语义级进行层次化的跨模态对比匹配，实现多视角、综合的检索效果。此外，受MoCo的启发，我们提出了跨模态学习的动量跨模态对比，以实现大规模的负样本交互，这有助于生成更精确和更有区别的表示。在三个主要的视频文本检索基准数据集上的实验结果证明了该方法的优越性。
2021-08-18 cs.AI cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）；Google Research（谷歌研究院）
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法，这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外，他们聚合每帧的视觉功能有限或没有时间信息。在本文中，我们提出了一个多模态的Transformer联合编码的不同形式的视频，这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面，我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
Self-supervised Video Retrieval Transformer Network
Alibaba DAMO Academy（阿里巴巴达摩院）
基于内容的视频检索旨在从大型视频数据库中找到与给定查询视频相似甚至接近重复的视频。视频表示和相似性搜索算法是任何视频检索系统的关键。为了获得有效的视频表示，大多数视频检索系统需要大量的手动标注的数据进行训练，这使得它成本高昂，效率低下。此外，大多数检索系统是基于帧级特征的视频相似性搜索，使其昂贵的存储和搜索明智的。我们提出了一种新的视频检索系统，称为SVRTN，有效地解决了上述缺点。它首先应用自监督训练来有效地从未标记的数据中学习视频表示，以避免手动注释的昂贵成本。然后利用Transformer结构将帧级特征聚合到剪辑级，以减少存储空间和搜索复杂度。它可以从剪辑帧之间的相互作用中学习互补和判别信息，并获得帧排列和丢失不变量的能力，以支持更灵活的检索方式。在FIVR-200 K和SVD两个具有挑战性的视频检索数据集上进行的综合实验验证了本文提出的SVRTN方法的有效性，在准确率和效率上均达到了视频检索的最佳性能。
2021-04-16 cs.CV
Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval
National University of Singapore（新加坡国立大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出基于双流 Transformer 的层次对齐框架 HAT，通过统一图像与文本编码器架构并建模多层对应关系，在 MSCOCO 和 Flickr30K 上显著提升跨模态检索性能。
2023-08-08 cs.CV cs.IR cs.MM
Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning
Amazon（亚马逊）
由于食物在人们生活中的重要性，以及大量数字烹饪食谱和食物图像可用于训练机器学习模型，跨模态食谱检索最近获得了大量关注。在这项工作中，我们重新审视了现有的跨模态食谱检索方法，并提出了一个简化的端到端模型，该模型基于完善的高性能文本和图像编码器。我们引入了一个分层的配方Transformer，它专注地编码各个配方组件（标题，成分和说明）。此外，我们提出了一个自我监督的损失函数计算上对个人的配方组件，这是能够利用配方内的语义关系，并使训练使用图像配方和食谱只有样本。我们进行了全面的分析和消融研究，以验证我们的设计选择。因此，我们提出的方法在Recipe1M数据集上的跨模态食谱检索任务中实现了最先进的性能。我们公开代码和模型。
2021-03-24 cs.CV
Transformer Decoders with MultiModal Regularization for Cross-Modal Food Retrieval
Sorbonne University（索邦大学）；Meta AI；Meero（Meero公司）
近年来，跨模态图像配方检索得到了极大的关注。大多数工作都集中在使用单峰编码器改进跨模态嵌入，这允许在大规模数据库中进行有效检索，而不考虑计算成本更高的模态之间的交叉注意。我们提出了一个新的检索框架，T-食品（Transformer解码器与多模态正则化跨模态食品检索），利用模态之间的相互作用，在一个新的正则化方案，而只使用单峰编码器在测试时进行有效的检索。我们还捕捉配方实体之间的内部依赖关系与一个专用的配方编码器，并提出了新的变体的三重损失与动态利润率，适应任务的难度。最后，我们利用最新的视觉和语言预训练（VLP）模型（如CLIP）用于图像编码器。我们的方法在Recipe 1 M数据集上的性能大大优于现有方法。具体而言，我们在1 k和10 k测试集上分别实现了8.1%（72.6 R@1）和+10.9%（44.6 R@1）的绝对改进。代码可以在这里找到：https://github.com/mshukor/TFood
2022-04-20 cs.CV
MDMMT-2: Multidomain Multimodal Transformer for Video Retrieval, One More Step Towards Generalization
Huawei（华为）
在这项工作中，我们提出了一个新的国家的最先进的文本到视频检索任务的MSR-VTT，LSMDC，MSVD，YouCook 2和TGIF获得一个单一的模型。三种不同的数据源相结合：弱监督的视频，人群标记的文本图像对和文本视频对。仔细分析可用的预训练网络有助于选择最佳的先验知识网络。我们引入了三阶段的训练过程，提供了高的知识转移效率，并允许在训练过程中使用噪声数据集，而不会降低先验知识。此外，双位置编码用于更好地融合不同的模态和非方输入处理的一个简单的方法提出。
2022-03-14 cs.CV
Region-aware Image-based Human Action Retrieval with Transformers
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
本文聚焦基于图像的人体动作检索任务，建立基准并设置基线方法，提出端到端模型从锚定人物、上下文区域和全局图像学习动作表示，设计融合Transformer模块融合特征，在Stanford-40和PASCAL VOC 2012 Action数据集上显著优于先前方法。
2024-07-29 cs.CV
MDMMT: Multidomain Multimodal Transformer for Video Retrieval
Lomonosov Moscow State University（莫斯科国立大学）；Huawei Moscow Research Center（华为莫斯科研究中心）
我们在MSRVTT和LSMDC基准测试中提出了一种新的最先进的文本到视频检索任务，我们的模型在很大程度上优于所有以前的解决方案。此外，在两个数据集上使用单个模型实现了最先进的结果，而无需微调。这种多域概括是通过不同视频字幕数据集的适当组合来实现的。我们表明，在不同的数据集上进行训练可以提高彼此的测试结果。此外，我们检查了许多流行的数据集之间的交集，发现MSRVTT在测试和训练部分之间有显著的重叠，并且在ActivityNet中也观察到了同样的情况。
2021-03-19 cs.CV
Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation
The University of Tokyo（东京大学）；CyberAgent（CyberAgent公司）
针对高维布局训练数据有限的问题，提出 RALF，利用基于输入图像检索到的最近邻布局增强自回归 Transformer，在统一架构中完成多种可控布局生成并显著优于基线。
2024-04-15 cs.CV
All You Can Embed: Natural Language based Vehicle Retrieval with Spatio-Temporal Transformers
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Ferrara（费拉拉大学）；University of Parma（帕尔马大学）
将自然语言与视觉相结合是人工智能领域中一个独特而有趣的挑战。人工智能城市挑战赛第5轮基于自然语言的车辆检索侧重于结合视觉和文本信息的问题，应用于智能城市用例。在本文中，我们提出了所有你可以嵌入（AYCE），一个模块化的解决方案，相关的单车辆跟踪序列与自然语言。所提出的架构的主要构建块是（i）BERT以提供文本描述的嵌入，（ii）卷积骨干以及Transformer模型以嵌入视觉信息。对于检索模型的训练，提出了一种三重边际损失的变体来学习视觉和语言嵌入之间的距离度量。该代码可在https://github.com/cscribano/AYCE_2021上公开获取。
2021-06-18 cs.CV
TS2-Net: Token Shift and Selection Transformer for Text-Video Retrieval
Renmin University of China（中国人民大学）；Tencent（腾讯）
文本-视频检索是一项具有重要实用价值的研究课题，受到了越来越多的关注，其中学习时空视频表示是研究的热点之一。现有的视频检索模型中的视频编码器通常直接采用预先训练好的视觉骨干，网络结构固定，无法进一步改进以产生细粒度的时空视频表示。在本文中，我们提出了令牌移位和选择网络（TS 2-Net），一种新的令牌移位和选择Transformer架构，动态调整令牌序列，并选择信息令牌在时间和空间维度从输入视频样本。标记移位模块在相邻帧之间来回地在时间上移位整个标记特征，以保留完整的标记表示并捕获细微的运动。然后标记选择模块选择对局部空间语义贡献最大的标记。基于全面的实验，所提出的TS 2-Net在主要的文本视频检索基准上实现了最先进的性能，包括MSRVTT，VATEX，LSMDC，ActivityNet和DiDeMo的新记录。
2022-07-16 cs.CV
MedFormer-UR: Uncertainty-Routed Transformer for Medical Image Classification
Lakehead University（湖首大学）
本文提出MedFormer-UR，通过原型学习和不确定性引导路由提升医学图像分类的可靠性，实现实时不确定性量化与局部化，减少校准误差达35%。
2026-04-10 cs.AI cs.CV cs.LG
Multi-Scale Temporal Difference Transformer for Video-Text Retrieval
University of Electronic Science and Technology of China（电子科技大学）；WXG Tencent（腾讯微信事业群）
针对视频-文本检索中传统transformer局部时序建模能力不足的问题，提出融合帧差分特征、结合长短时序建模的多尺度时序差分Transformer，搭配新损失函数实现了SOTA性能。
2024-06-23 cs.AI cs.CV
UMT: Unified Multi-modal Transformers for Joint Video Moment Retrieval and Highlight Detection
The Hong Kong Polytechnic University（香港理工大学）；Tencent PCG（腾讯平台与内容事业群）；Peng Cheng Laboratory（鹏城实验室）
根据自然语言查询发现视频中的相关瞬间和精彩片段，是当前视频内容爆炸时代自然且极具价值的共同需求。然而，联合进行时刻检索和亮点检测是一个新兴的研究课题，即使其组成部分的问题和一些相关的任务已经研究了一段时间。在本文中，我们提出了第一个统一的框架，命名为统一多模态Transformers（UMT），能够实现这种联合优化，同时也可以很容易地退化为解决个别问题。据我们所知，这是第一个将多模态（视觉-音频）学习集成到联合优化或单独时刻检索任务中的方案，并使用新的查询生成器和查询解码器将时刻检索作为关键点检测问题来处理。与现有方法和QVHighlights，Charades-STA，YouTube Highlights和TVSum数据集上的消融研究的广泛比较证明了所提出的方法在各种设置下的有效性，优越性和灵活性。源代码和预训练模型可在https://github.com/TencentARC/UMT上获得。
2022-03-27 cs.CV
CLEAR: Cross-Transformers with Pre-trained Language Model is All you need for Person Attribute Recognition and Retrieval
School of Electrical Engineering, Korea University（高丽大学电气工程学院）；Graduate School of Data Science, Chonnam National University（全南国立大学数据科学研究生院）
本文提出统一网络CLEAR，通过鲁棒交叉Transformer解决行人属性识别，并利用预训练语言模型构建伪描述以弥合属性查询与图像间的模态差距，在五个基准上取得领先或竞争性结果。
2024-04-30 cs.CV
Point Transformer for Shape Classification and Retrieval of 3D and ALS Roof PointClouds
IIT Madras（印度理工学院马德拉斯分校）
深度学习方法的成功使三维点云处理任务在遥感应用中取得了重大突破。现有的方法利用具有一些限制的卷积，因为它们假设均匀的输入分布并且不能学习长期依赖性。最近的研究表明，在这些方法的同时增加注意力可以提高性能。这就提出了一个问题：注意力层能完全取代卷积吗？本文提出了一个完全注意力模型-- { \em Point Transformer}，用于导出丰富的点云表示。该模型的形状分类和检索性能进行了评估的大规模城市数据集-RoofN 3D和标准基准数据集ModelNet 40。大量的实验进行了测试模型的鲁棒性看不见的点腐败分析其在真实数据集上的有效性。所提出的方法在RoofN 3D数据集中优于其他最先进的模型，在ModelNet 40基准测试中给出了有竞争力的结果，并对各种看不见的点损坏表现出高鲁棒性。此外，与其他方法相比，该模型具有高度的内存和空间效率。
2021-02-20 cs.CV
PARK: Accurate Block Retrieval for Sparse Attention in Video Diffusion Transformers
South China University of Technology（华南理工大学）
PARK提出一种无需训练的稀疏注意力方法，通过保留原始查询并利用查询信息变换键来解决块检索失配，在视频扩散Transformer中实现精确块检索，提升生成质量并加速推理。
2026-10-01 cs.CV
ConTra: (Con)text (Tra)nsformer for Cross-Modal Video Retrieval
University of Bristol（布里斯托大学）
在本文中，我们重新审视跨模态剪辑句子检索的任务，剪辑是一个较长的未修剪的视频的一部分。当剪辑很短或视觉上模糊时，可以使用其局部时间上下文（即周围的视频片段）的知识来提高检索性能。我们提出了上下文Transformer（ConTra），一个编码器架构，模型之间的互动视频剪辑和它的本地时间上下文，以提高其嵌入式表示。重要的是，我们监督上下文Transformer使用对比损失的跨模态嵌入空间。我们探索视频和文本形式的上下文Transformers。结果一致表明，在三个数据集上的性能有所提高：YouCook 2，EPIC-KITCHENS和ActivityNet Captions的剪辑句子版本。详尽的消融研究和上下文分析表明所提出的方法的有效性。
2022-10-09 cs.CV
Google Landmark Retrieval 2021 Competition Third Place Solution
LINE Corp（LINE公司）；NVIDIA（英伟达）
我们为2021年谷歌地标挑战赛提供了我们的解决方案，包括检索和识别轨道。这两种解决方案都是基于具有动态余量的子中心ArcFace的Transformers和ConvNet模型的集合。由于这两个音轨共享相同的训练数据，因此我们使用相同的管道和训练方法，但是具有用于集成的不同模型选择和不同的后处理。与去年相比，关键的改进是更新的最先进的视觉架构，特别是Transformers，它在检索任务上的表现明显优于ConvNets。我们分别在检索和识别曲目中获得第三和第四名。
2021-10-09 cs.CV
VITR: Augmenting Vision Transformers with Relation-Focused Learning for Cross-Modal Information Retrieval
Loughborough University（拉夫堡大学）
本文提出VITR网络，通过局部编码器提取和推理图像区域关系，并与全局知识融合预测相似度，解决了ViT在跨模态检索中忽略区域关系对齐的问题，在多个数据集上优于现有方法。
2023-07-27 cs.CV
Revisiting Human-in-the-Loop Object Retrieval with Pre-Trained Vision Transformers
Institut National de l'Audiovisuel（法国国家视听研究所）；Institut National de Recherche et Informatique et Robotique（法国国家信息与机器人研究中心）
本文基于预训练视觉Transformer重新审视人机协同目标检索任务，探讨了在多目标数据集中如何通过主动学习选择样本以提升检索性能，比较了不同表征策略的优劣。
2026-04-29 cs.CV cs.HC cs.IR
PtychoFormer: A Transformer-based Model for Ptychographic Phase Retrieval
School of Computing, Binghamton University（宾汉姆顿大学计算机学院）；Department of Biomedical Engineering, Binghamton University（宾汉姆顿大学生物医学工程系）
本文提出基于分层Transformer的PtychoFormer模型，实现单次曝光叠层衍射相位恢复，速度比ePIE快3600倍，并结合ePIE提出ePF混合方法以提升重建质量，达到最先进水平。
2024-10-22 cs.CV eess.IV
Joint Moment Retrieval and Highlight Detection Via Natural Language Queries
Georgia Institute of Technology（佐治亚理工学院）
提出一种基于自然语言查询、利用多模态变换器联合进行视频摘要与高光检测的新方法，在YouTube Highlights和TVSum数据集上验证了其灵活性。
2023-05-08 cs.CL cs.CV cs.LG
Object-aware Video-language Pre-training for Retrieval
National University of Singapore（新加坡国立大学）；Tongji University（同济大学）；Columbia University（哥伦比亚大学）；Tencent PCG（腾讯平台与内容事业群）
近年来，通过引入大规模数据集和强大的Transformer网络，视频语言预训练在检索方面取得了巨大的成功。然而，现有的视频语言Transformer模型没有显式地细粒度语义对齐。在这项工作中，我们提出了对象感知的Transformers，一个以对象为中心的方法，扩展视频语言的Transformer，将对象表示。关键思想是利用边界框和对象标签来指导训练过程。我们评估我们的模型上的三个标准子任务的视频文本匹配四个广泛使用的基准。我们还提供了深入的分析和详细的消融所提出的方法。我们在所有考虑的任务和数据集的性能上都有明显的提高，证明了将对象表示纳入视频语言架构的模型的价值。代码将在\url{https://github.com/FingerRec/OA-Transformer}发布。
2022-05-18 cs.CL cs.CV
The style transformer with common knowledge optimization for image-text retrieval
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出结合常识优化的风格Transformer网络（CKSTN），通过风格嵌入提取器和常识优化模块动态捕获多模态高级语义与常识，在MSCOCO和Flickr30K上取得优越性能且参数更少。
2023-04-03 cs.CV cs.MM
A Comprehensive Evaluation of Transformer-Based Question Answering Models and RAG-Enhanced Design
Machine Learning, ICML（机器学习，ICML）
本文综合评估了多跳问答中的检索策略，提出结合稠密嵌入、词法重叠与重排序的混合检索方法，并采用EfficientRAG进行查询优化，在HotpotQA上实现精确匹配相对提升50%、F1提升47%，验证了混合RAG作为零样本方案的实用价值。
2025-09-26 cs.CV
Recurrence Meets Transformers for Universal Multimodal Retrieval
Department of Education and Humanities, University of Modena and Reggio Emilia（教育与人文学院, Modena and Reggio Emilia大学）
本文提出结合循环机制与Transformer的统一多模态检索模型ReT-2，其支持多模态查询，在M2KR等基准上达最优性能，推理更快、内存占用更低，还可提升下游任务表现。
2026-08-28 cs.AI cs.CL cs.CV
Shaking Up VLMs: Comparing Transformers and Structured State Space Models for Vision & Language Modeling
Heriot-Watt University（赫瑞瓦特大学）；Alana AI
本文比较了基于 Mamba 与 Transformer 的视觉语言模型，发现 Mamba 在图像描述、问答和阅读理解上更优，而 Transformer 在视觉定位及上下文多模态检索上更强，并分析了视觉编码与检索机制对性能差距的影响。
2024-10-01 cs.AI cs.CV cs.LG
Transformer-based Cross-Modal Recipe Embeddings with Large Batch Training
The University of Electro-Communications（电气通信大学）
本文在ACME~（Adversarial Cross-Modal Embedding）和H-T~（Hierarchical Transformer）的启发下，提出了一个跨模态菜谱检索框架--基于transformer的大批量训练网络（Transformer-based Network for Large Batch Training，TNLBT）。TNLBT旨在完成检索任务，同时从食谱嵌入生成图像。我们应用了基于Hierarchical Transformer的菜谱文本编码器、基于视觉Transformer ~（ViT）的菜谱图像编码器和对抗网络架构，以实现菜谱文本和图像的更好的跨模态嵌入学习。此外，我们使用自监督学习来利用没有对应图像的食谱文本中的丰富信息。根据最近关于自监督学习的文献，由于对比学习可以从较大的批量中受益，因此我们在训练过程中采用了较大的批量，并验证了其有效性。在实验中，所提出的框架显着优于目前国家的最先进的框架在跨模态的食谱检索和图像生成任务的基准Recipe 1 M。这是第一个证实大批量训练对跨模态配方嵌入的有效性的工作。
2022-12-16 cs.CV
LILE: Look In-Depth before Looking Elsewhere -- A Dual Attention Network using Transformers for Cross-Modal Information Retrieval in Histopathology Archives
University of Waterloo（滑铁卢大学）；Mayo Clinic（梅奥诊所）
近年来，在许多应用程序中，可用数据量急剧增长。此外，分别使用多种模式的网络时代实际上已经结束。因此，使双向跨模态数据检索能够处理已成为许多领域和学科的研究的要求。在医学领域尤其如此，因为数据有多种类型，包括各种类型的图像和报告以及分子数据。大多数当代作品运用交叉注意力来突出图像或文本与其他形式的关系的基本要素，并试图将它们匹配在一起。然而，不管它们在各自模态中的重要性如何，这些方法通常平等地考虑每种模态的特征。在本研究中，自我注意作为一个额外的损失术语将被提出来丰富的内部表征提供到交叉注意模块。这项工作提出了一种新的架构与一个新的损失项，以帮助代表图像和文本的联合潜在空间。在MS-COCO数据集和MS-COCO数据集上的实验结果表明了该方法的有效性。
2022-03-04 cs.CL cs.CV cs.LG
Logically at Factify 2: A Multi-Modal Fact Checking System Based on Evidence Retrieval techniques and Transformer Encoder Architecture
Logically
在本文中，我们介绍了在多模态事实检查的任务1上对De-FACTIFY 2挑战（DE-FACTIFY 2023）的逻辑提交。我们描述了我们对这一挑战的提交，包括探索的证据检索和选择技术，预训练的跨模态和单峰模型，以及基于完善的Transformer编码器（TE）架构的跨模态准确性模型，该架构严重依赖于自我注意力的概念。探索性分析还进行了这个Factify 2数据集，揭示了显着的多模态模式和假设，激励在这项工作中提出的架构。进行了一系列初步实验，以研究和基准测试不同的预训练嵌入模型，证据检索设置和阈值。最后的系统，一个标准的两阶段证据为基础的准确性检测系统，产生加权平均。0.79在任务1上的val集合和最终盲测试集合上，其在9个参与者中以小幅度达到排行榜上的最高性能系统的第三名。
2023-02-03 cs.AI cs.CL cs.CV
