Img2Loc: Revisiting Image Geolocalization using Multi-modality Foundation Models and Image-based Retrieval-Augmented Generation
University of Georgia(佐治亚大学);University of Virginia(弗吉尼亚大学)
本文提出Img2Loc系统,将图像地理定位重新定义为文本生成任务,利用GPT4V或LLaVA等多模态模型结合检索增强生成,在无需训练的情况下超越了现有最先进模型的性能。
2024-03-28 cs.AI cs.CV
ScaleFormer: Revisiting the Transformer-based Backbones from a Scale-wise Perspective for Medical Image Segmentation
Zhejiang University(浙江大学);Ritsumeikan University(立命馆大学);Yamaguchi University(山口大学);Zhejiang Lab(之江实验室)
最近,各种各样的视觉Transformer已经被开发,因为它们具有建模远程依赖性的能力。在当前基于transformer的医学图像分割主干中,卷积层被纯Transformers取代,或者Transformers被添加到最深的编码器中以学习全局上下文。然而,从尺度角度来看,主要存在两个挑战:(1)尺度内问题:现有方法缺乏在每个尺度上提取局部-全局线索,这可能影响小对象的信号传播;(2)尺度间问题:现有的方法不能从多个尺度探索独特的信息,这可能阻碍从具有广泛可变尺寸的对象的表示学习,形状和位置。为了解决这些限制,我们提出了一种新的骨干,即ScaleFormer,具有两个吸引人的设计:(1)尺度内尺度变换器Transformer被设计为将每个尺度中基于CNN的局部特征与基于变换器的全局线索耦合,其中行和列全局依赖性可以通过轻量级双轴MSA来提取。(2)设计了一种简单有效的空间感知跨尺度变换器Transformer,用于多尺度下的一致性区域间的交互,突出跨尺度依赖性,解决复杂的尺度变化问题。在不同基准上的实验结果表明,我们的Scale-Former优于当前最先进的方法。该代码可在https://github.com/ZJUGiveLab/ScaleFormer上公开获取。
2022-07-29 cs.CV
Twins: Revisiting the Design of Spatial Attention in Vision Transformers
Meituan Inc.(美团公司);The University of Adelaide(阿德莱德大学)
最近,各种各样的视觉Transformer架构密集的预测任务已经提出,他们表明,空间注意力的设计是至关重要的,他们在这些任务中的成功。在这项工作中,我们重新审视了空间注意力的设计,并证明了一个精心设计的,但简单的空间注意力机制表现良好,对国家的最先进的计划。因此,我们提出了两个视觉Transformer架构,即双PCPVT和双SVT。我们提出的架构高效且易于实现,仅涉及在现代深度学习框架中高度优化的矩阵乘法。更重要的是,所提出的架构在广泛的视觉任务上实现了出色的性能,包括图像级分类以及密集检测和分割。简单性和强大的性能表明,我们提出的架构可以作为许多视觉任务的更强大的骨干。我们的代码发布在https://github.com/Meituan-AutoML/Twins。
2021-09-30 cs.AI cs.CV cs.LG
Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生院,清华大学,深圳,中国);Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学,深圳,中国);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国)
本文提出Holmes框架,通过多粒度跨模态证据聚合量化和建模不确定性,解决视频检索中因查询简短与视频内容丰富带来的语义模糊问题。
2026-05-07 cs.CV cs.IR cs.LG
Volume Transformer: Revisiting Vanilla Transformers for 3D Scene Understanding
RWTH Aachen University(亚琛RWTH大学);Eindhoven University of Technology(埃因霍温技术大学)
本文提出体积分层变换器(Volt),通过最小修改将标准变换器编码器应用于3D场景,利用体积分块和全全局自注意力机制,结合3D旋转位置嵌入,实现3D语义分割,并通过多数据集联合训练提升性能,达到室内和室外数据集的最新水平。
2026-08-26 cs.CV
MobileUtr: Revisiting the relationship between light-weight CNN and Transformer for efficient medical image segmentation
Harbin Institute of Technology(哈尔滨工业大学);Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学)
MobileUtr通过将类Transformer的轻量级CNN模块作为ViTs的patch嵌入,并引入自适应局部-全局-局部模块,在基础设施层面融合CNN与Transformer优势,实现轻量且高效的医学图像分割。
2023-12-04 cs.CV eess.IV
Learning to Compose: Revisiting Proxy Task Design for Zero-Shot Composed Image Retrieval
University of Science and Technology of China(中国科学技术大学)
提出FoCo模型,通过文本锚定的视觉聚合和上下文条件语义补全两个代理任务联合学习组合函数,在零样本组合图像检索中取得最优性能。
2026-07-02 cs.AI cs.CL cs.CV
Revisiting Non-Autoregressive Transformers for Efficient Image Synthesis
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学)
本文重新审视非自回归Transformer(NATs)的训练与推理策略设计,提出自动求解最优策略的AutoNAT方法,在显著降低推理成本的同时使性能媲美最新扩散模型。
2024-06-08 cs.AI cs.CV
Revisiting Audio-Visual Segmentation with Vision-Centric Transformer
Hefei University of Technology(合肥工业大学);Chinese Academy of Sciences(中国科学院);Beihang University(北航);Sangfor Technologies(深信服技术)
针对现有以音频为中心的Transformer在视听分割中存在的感知模糊和视觉细节丢失问题,提出以视觉为中心的VCT框架及PPQG模块,利用视觉派生查询聚合视听信息,在AVSBench数据集上取得最优性能。
2025-06-30 cs.CV
Improving Vision Transformers by Revisiting High-frequency Components
Peng Cheng Laboratory(鹏城实验室);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of ECE at Peking University(北京大学电子工程与计算机科学学院);Tencent(腾讯);Sea AI Lab(Sea人工智能实验室)
Transformer模型在处理各种视觉任务中表现出了很好的效果。然而,与训练卷积神经网络(CNN)模型相比,训练视觉Transformer(ViT)模型更加困难,并且依赖于大规模的训练集。为了解释这一现象,我们提出了一个假设,即\textit{ViT models are less effective in capturing the high-frequency components of images than CNN models},并验证了它的频率分析。受这一发现的启发,我们首先从新的频率角度研究了现有技术对改善ViT模型的影响,并发现一些技术(例如,RandAugment)可以归因于更好地使用高频分量。然后,为了弥补ViT模型能力的不足,我们提出了HAT,它通过对抗训练直接增强图像的高频分量。我们表明,HAT可以始终如一地提高各种ViT模型的性能(例如,ViT-B +1.2%,Swin-B +0.5%),特别是将仅使用ImageNet-1 K数据的高级模型VOLO-D5提升至87.3%,并且在分发外数据上也可以保持优势,并转移到下游任务。该代码可从以下网址获取:https://github.com/jiawangbai/HAT。
2022-07-27 cs.CV
SparseViT: Revisiting Activation Sparsity for Efficient High-Resolution Vision Transformer
Shanghai Qi Zhi Institute(上海期智研究院);Fudan University(复旦大学);MIT(麻省理工学院);Tsinghua University(清华大学)
高分辨率图像使神经网络能够学习更丰富的视觉表示。然而,这种改进的性能是以增加计算复杂性为代价的,这阻碍了它们在延迟敏感的应用中的使用。由于并非所有像素都是相等的,因此跳过对不太重要的区域的计算提供了一种简单而有效的措施来减少计算。然而,这很难转化为CNN的实际加速,因为它打破了密集卷积工作负载的规律性。在本文中,我们介绍了SparseViT,重新激活稀疏最近基于窗口的视觉Transformer(ViTs)。由于窗口注意力自然地在块上分批,因此窗口激活修剪的实际加速变得可能:即,延迟减少约50%,稀疏度为60%。不同的层应该分配不同的修剪率,由于其不同的敏感性和计算成本。我们引入稀疏感知适应和应用进化搜索,有效地找到最佳的逐层稀疏配置在广阔的搜索空间。SparseViT在单目3D目标检测、2D实例分割和2D语义分割方面分别实现了1.5倍、1.4倍和1.3倍的加速比,准确性几乎可以忽略不计。
2023-03-30 cs.CV
Trans4Map: Revisiting Holistic Bird's-Eye-View Mapping from Egocentric Images to Allocentric Semantics with Vision Transformers
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人类具有与生俱来的感知周围环境的能力,因为他们可以从自我中心的感知中提取空间表征,并通过空间转换和记忆更新形成一个非自我中心的语义地图。然而,赋予移动代理这样的空间感知能力仍然是一个挑战,这是由于两个困难:(1)以前的卷积模型受到局部感受野的限制,因此,难以在观察期间捕获整体的长距离依赖性;(2)成功所需的过多的计算预算,经常导致映射流水线分成多个阶段,导致整个映射过程效率低下。为了解决这些问题,我们提出了一个端到端的基于transformer的映射框架,称为trans 4 map。我们的自我中心到非自我中心的映射过程包括三个步骤:(1)高效的Transformer从一批自我中心的图像中提取上下文特征;(2)提出的双向非自我中心记忆(BAM)模块将自我中心特征投影到非自我中心记忆中;(3)地图解码器解析累积的记忆并预测自顶向下的语义分割地图。相比之下,Trans 4 Map实现了最先进的结果,减少了67.2%的参数,但在Matterport 3D数据集上获得了+3.25%mIoU和+4.09%mBF 1的改进。代码:https://github.com/jamycheung/Trans4Map。
2022-10-14 cs.CV cs.RO
Revisiting Transformers with Insights from Image Filtering and Boosting
Department of Mathematics, National University of Singapore(新加坡国立大学数学系);Rakuten Group, Inc.(乐天集团)
本文通过图像处理框架重新审视Transformer,提出两种架构改进以提升可解释性和性能。
2026-02-08 cs.CV cs.LG
When CNNs Outperform Transformers and Mambas: Revisiting Deep Architectures for Dental Caries Segmentation
本研究针对全景X光片龋齿分割任务,在DC1000数据集上对比12种前沿架构,发现基于CNN的DoubleU-Net性能最优,证明架构-任务适配性比模型复杂度更重要。
2025-11-18 cs.AI cs.CV
Revisiting Risky Tackle Detection with Vision Transformers
Kansas State University(堪萨斯州立大学);Albright College(奥尔布赖特学院)
本文复现了ICPR 2026中基于ViViT的危险擒抱检测研究,确认run_15的召回率0.667和F1 0.588与原文一致,并发现亮度增强是主导因素,无增强时模型不及C3D基线。
2026-09-29 cs.CV
Training Vision Transformers for Image Retrieval
Facebook AI(脸书人工智能研究院);ENS(巴黎高等师范学院);Inria(法国国家信息与自动化研究所)
Transformers已经在自然语言理解和最近的图像分类方面显示出了出色的结果。我们在这里扩展这项工作,并提出了一个基于变换的方法进行图像检索:我们采用视觉Transformer生成图像描述符和训练的度量学习目标,它结合了对比损失与差分熵正则化模型。我们的研究结果表明,与基于卷积的方法相比,Transformers具有一致和显著的改进。特别是,我们的方法优于最先进的几个公共基准的类别级检索,即斯坦福在线产品,店内和CUB-200。此外,我们在ROxford和RParis上的实验还表明,在类似的设置中,Transformers对于特定的对象检索具有竞争力,特别是在短矢量表示和低分辨率图像的情况下。
2021-02-10 cs.CV
Revisiting Vision Transformer from the View of Path Ensemble
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Amazon(亚马逊)
该研究将 ViT 重新解释为多长度并行路径的显式集成网络,并通过路径剪枝、EnsembleScale 与自蒸馏优化路径组合,提升深层 ViT 性能。
2023-08-12 cs.CV
S2CFormer: Revisiting the RD-Latency Trade-off in Transformer-based Learned Image Compression
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对基于Transformer的学习型图像压缩中率失真性能与解码延迟的次优权衡问题,研究提出S2CFormer范式,通过简化空间操作、增强通道聚合构建模型,其变体在多个数据集上达到SOTA性能并提升解码速度,树立高效高性能LIC新基准。
2025-03-24 cs.CV eess.IV
Investigating the Vision Transformer Model for Image Retrieval Tasks
Democritus University of Thrace(德谟克利特色雷斯大学);Neapolis University Pafos(帕福斯尼亚波利斯大学)
本文介绍了一种即插即用的描述符,可以有效地通过图像检索任务,无需事先初始化或准备。该描述方法利用了最近提出的视觉Transformer网络,而它不需要任何训练数据来调整参数。在图像检索任务中,手工全局和局部描述符的使用在过去几年中已经被基于卷积神经网络(CNN)的方法非常成功地取代。然而,本文在几个基准数据集上对文献中的36个最先进的描述符进行的实验评估表明,不包含卷积层的神经网络,如视觉Transformer,可以塑造全局描述符并实现有竞争力的结果。由于不需要微调,所提出的方法的低复杂性,鼓励采用的架构作为图像检索基线模型,取代传统的和良好采用的基于CNN的方法,开创了一个新时代的图像检索方法。
2021-01-11 cs.CV cs.IR cs.RO
Evidential Transformers for Improved Image Retrieval
ETH Zürich(苏黎世联邦理工学院);Texas A&M University(德克萨斯大学)
本文提出证据 Transformer,将概率方法融入图像检索,利用 GC ViT 架构,在 SOP 和 CUB-200-2011 数据集上取得新的最先进结果。
2025-09-08 cs.CV cs.IR cs.LG
Revisiting Medical Image Retrieval via Knowledge Consolidation
Bioengineering Department and Imperial-X, Imperial College(生物工程系和帝国理工学院);Archimedes Unit, Athena Research Centre(阿基米德单元,阿提卡研究中心);Hong Kong University of Science and Technology(香港科学大学);Sun Yat-Sen University(孙中山大学);CIMIM, Alan Turing Institute(CIMIM,艾伦·图灵研究所);NIHR Manchester Biomedical Research Centre, University of Manchester(NIHR曼彻斯特生物医学研究中心,曼彻斯特大学);National Heart and Lung Institute, Imperial College London(国家心脏和肺研究所,伦敦帝国学院);Cardiovascular Research Centre, Royal Brompton Hospital(心血管研究中心,皇家布罗姆pton医院);School of Biomedical Engineering and Imaging Sciences(生物医学工程与影像科学学院)
针对医学图像检索中瓶颈特征及OOD问题,提出整合层次特征与优化函数的方法,通过深度感知表示融合与结构感知对比哈希提升检索性能与安全性,显著优于现有方法。
2025-03-12 cs.AI cs.CV
E-MMDiT: Revisiting Multimodal Diffusion Transformer Design for Fast Image Synthesis under Limited Resources
Advanced Micro Devices, Inc.(Advanced Micro Devices公司)
提出轻量级多模态扩散模型E-MMDiT,通过token压缩、位置强化和交替子区域注意力等技术,在有限资源下实现快速高质量图像生成,为生成式AI提供易复现的强基线。
2025-10-31 cs.CV
Revisiting IM2GPS in the Deep Learning Era
Georgia Tech(佐治亚理工学院);University of Kentucky(肯塔基大学)
图像地理定位,即推断图像的地理位置,是一个具有挑战性的计算机视觉问题,具有许多潜在的应用。最近针对该问题的最先进方法是深度图像分类方法,其中世界在空间上被划分为单元,并且训练深度网络以预测给定图像的正确单元。我们建议将这种方法与原始的Im2GPS方法相结合,在该方法中,查询图像与地理标记图像数据库相匹配,并且从检索到的集合中推断位置。我们估计查询图像的地理位置,通过应用核密度估计其最近的邻居在参考数据库中的位置。有趣的是,我们发现我们的检索任务的最佳特征来自于使用分类损失训练的网络,即使我们在测试时没有使用分类方法。具有分类损失的训练优于几种深度特征学习方法(例如具有三重损失对比的Siamese网络),更适用于检索应用。我们简单的方法实现了最先进的地理定位精度,同时也需要显着更少的训练数据。
2017-05-13 cs.CV
VLDeformer: Vision-Language Decomposed Transformer for Fast Cross-Modal Retrieval
Harbin Institute of Technology(哈尔滨工业大学);Huawei Technologies Co., Ltd(华为技术有限公司)
跨模型检索已经成为纯文本搜索引擎(SE)最重要的升级之一。最近,通过早期交互,视觉语言(VL)Transformers的准确性已经超过了现有的文本图像检索方法,具有强大的表示成对文本图像输入。然而,当相同的范例用于推理时,VL Transformers的效率仍然太低而不能应用于真正的交叉模态SE中。受人类学习机制的启发,利用跨模态知识,提出了一种新的视觉语言分解的Transformer(VLDemformer),在保持视觉语言变换器精确性的同时,大大提高了视觉语言Transformers的效率。该方法将跨模型检索分为两个阶段:VL Transformer学习阶段和VL分解阶段。后一阶段起着单模态索引的作用,在某种程度上类似于文本SE的术语索引。该模型从早期交互预训练中学习跨模态知识,然后分解为单个编码器。该分解方法只需要少量的目标数据集进行监督,并实现了$1000+$倍的加速和小于$0.6$ \%的平均召回率下降。VLDefformer还优于COCO和Flickr30k上最先进的视觉语义嵌入方法。
2021-11-25 cs.CL cs.CV cs.IR
No Detail Left Behind: Revisiting Self-Retrieval for Fine-Grained Image Captioning
IIIT Hyderabad(印度国际信息技术学院);CVIT(视觉信息技术中心)
针对细粒度图像描述中自检索微调导致描述失真与幻觉的问题,本文提出Visual Caption Boosting框架和BagCurri训练课程,在保持忠实度的同时提升细粒度描述能力,并构建TrueMatch基准评估细微视觉差异捕捉能力,以更少参数超越现有开源MLLM。
2025-04-09 cs.CV
Revisiting [CLS] and Patch Token Interaction in Vision Transformers
FAIR, Meta(Meta 基础人工智能研究院);LIGM, Ecole des Ponts, IPParis, UGE, CNRS(法国国家科学研究中心、巴黎综合理工学院、古斯塔夫·埃菲尔大学、巴黎桥路大学信息、建模与系统实验室)
本文研究了 Vision Transformers 中 [CLS] 和 Patch Token 的交互,提出专业化处理路径以提升密集预测任务的性能,实验显示在保持分类准确性的前提下,分割性能提升超过 2 mIoU。
2026-02-09 cs.CV
Boosting vision transformers for image retrieval
Dealicious Inc.(Dealicious公司);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高等研究院);Athena RC(雅典娜研究中心)
视觉Transformer在图像分类和检测等视觉任务中取得了显著的进展。然而,在实例级图像检索中,与卷积网络相比,Transformers尚未表现出良好的性能。我们提出了一些改进,使Transformers首次超越了最先进的技术。(1)我们表明,一个混合架构是更有效的平原Transformers,由一个很大的利润。(2)我们引入了两个分支,收集全球(分类令牌)和本地(补丁令牌)的信息,我们形成了一个全球性的图像表示。(3)在每个分支中,我们从Transformer编码器中收集多层特征,对应于跨越远距离层的跳过连接。(4)我们在编码器的更深层增强了交互的局部性,这是视觉Transformer的相对弱点。我们在所有常用的训练集上训练我们的模型,并且第一次对每个训练集分别进行公平的比较。在所有情况下,我们都优于基于全局表示的先前模型。公共代码可在https://github.com/dealicious-inc/DToP上获得。
2022-10-21 cs.CV cs.IR cs.LG
Revisiting the Inverted Indices for Billion-Scale Approximate Nearest Neighbors
Yandex(Yandex公司);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);National Research University Higher School of Economics(高等经济学院国家研究型大学);The Institute of Applied Physics of the Russian Academy of Sciences(俄罗斯科学院应用物理研究所)
这项工作解决了十亿级最近邻搜索的问题。目前,十亿级数据库的最新检索系统是基于反向多索引的,反向多索引是最近提出的倒排索引结构的推广。多索引提供了特征空间的非常细粒度的分区,其允许提取用于搜索查询的候选者的简明且准确的短列表。在本文中,我们认为,简单的倒排索引的潜力并没有充分利用在以前的作品,并主张其使用高度纠缠的深描述符和相对解开SIFT描述符。我们介绍了一种新的检索系统,它是基于倒排索引,并优于多索引的大幅度相同的内存消耗和建设复杂性。例如,与FAISS库中的反向多索引的有效实现相比,我们的系统在10亿个深度描述符的数据集上实现了最先进的召回率。
2018-07-23 cs.CV
Vision Transformer Hashing for Image Retrieval
Indian Institute of Information Technology, Allahabad(阿拉哈巴德印度信息技术学院);National Cheng Kung University(国立成功大学)
深度学习在图像检索的散列技术方面取得了巨大的发展。最近,Transformer作为一种新的架构出现,它利用了自注意力而没有卷积。Transformer还扩展到视觉Transformer(ViT),用于视觉识别,在ImageNet上具有良好的性能。在本文中,我们提出了一个视觉Transformer基于哈希(VTS)的图像检索。我们利用ImageNet上预训练的ViT作为骨干网络,并添加哈希头。所提出的VTS模型在六种不同的图像检索框架下进行了哈希调整,包括深度监督哈希(DSH),HashNet,GreedyHash,改进的深度哈希网络(IDHN),深度极化网络(DPN)和中心相似性量化(CSQ)及其目标函数。我们在CIFAR 10,ImageNet,NUS-Wide和COCO数据集上进行了广泛的实验。建议VTS为基础的图像检索性能优于最近的国家的最先进的散列技术有很大的利润。我们还发现,建议VTS模型作为骨干网络是优于现有的网络,如AlexNet和ResNet。代码在\url{https://github.com/shivram1987/VisionTransformerHashing}发布。
2022-03-22 cs.CV
MixA-Q: Revisiting Activation Sparsity for Vision Transformers from a Mixed-Precision Quantization Perspective
Robert Bosch GmbH(博世公司);Ruhr University Bochum(博尔塔尔大学波恩)
提出 MixA-Q 混合精度激活量化框架,依据 Swin block 内窗口重要性分配高低比特并结合激活剪枝,在 COCO 上实现无损或低精度损失的显著加速。
2025-07-25 cs.CV
STIR: Siamese Transformer for Image Retrieval Postprocessing
St. Petersburg Department of the Steklov Institute of Mathematics(斯捷克洛夫数学研究所圣彼得堡分部);New Yorker GmbH(纽约客有限公司)
本研究提出基于难负样本三元组损失的轻量SOTA度量学习模型,还提出像素级注意力的STIR后处理重排序方法,在两个标准数据集上刷新SOTA并开源代码与演示。
2023-04-27 cs.CV cs.IR
Revisiting Image Deblurring with an Efficient ConvNet
Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所)
图像去模糊的目的是从模糊图像中恢复潜在的清晰图像,在计算机视觉中有着广泛的应用。卷积神经网络(CNN)在这一领域已经表现良好多年,直到最近,一种替代的网络架构,即Transformer,已经表现出更强的性能。人们可以将其优越性归因于多头自注意(MHSA)机制,它提供了比CNN更大的感受野和更好的输入内容适应性。然而,由于MHSA需要相对于输入分辨率二次增长的高计算成本,因此对于高分辨率图像去模糊任务来说变得不切实际。在这项工作中,我们提出了一个统一的轻量级CNN网络,具有较大的有效感受野(ERF),并表现出可比甚至更好的性能比Transformers,同时承担更少的计算成本。我们的关键设计是一个高效的CNN块称为LaKD,配备了一个大的内核深度卷积和空间通道混合结构,实现可比或更大的ERF比Transformers,但具有较小的参数规模。具体来说,我们在散焦/运动去模糊基准数据集上实现了+0.17dB / +0.43dB PSNR,参数减少了32%,MAC减少了39%。大量的实验证明了我们的网络的优越性能和每个模块的有效性。此外,我们提出了一个紧凑和直观的ERFMeter度量,定量表征ERF,并显示出高度的相关性,网络性能。我们希望这项工作可以激励研究界进一步探索图像去模糊任务之外的CNN和Transformer架构的优缺点。
2023-02-04 cs.CV
Efficient large-scale image retrieval with deep feature orthogonality and Hybrid-Swin-Transformers
NVIDIA(英伟达)
我们提出了一个有效的端到端的管道大规模的地标识别和检索。我们展示了如何结合和增强图像检索的最新研究的概念,并介绍了两种架构,特别适合于大规模的地标识别。讨论了使用EfficientNet骨干以及新型Hybrid-Swin-Transformer的局部和全局特征的深度正交融合(DOLG)模型,并详细说明了如何使用逐步方法和具有动态裕度的子中心弧面损失有效地训练这两种架构。此外,我们阐述了一种新的歧视性的重新排序方法的图像检索。我们的方法的优越性通过赢得2021年Google Landmark竞赛的识别和检索赛道而得到证明。
2021-10-27 cs.CV cs.LG
Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation
EPFL(洛桑联邦理工学院);HUAWEI Bayer Lab(华为拜耳实验室);University of Bologna(博洛尼亚大学)
Marigold V2利用扩散变换器,通过语义对齐和Sinkhorn损失的两阶段微调,实现单步推理,在KITTI和ETH3D上AbsRel改善16-26%,并提升深度、法线和内在分解的精度。
2026-09-09 cs.CV cs.LG
HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval
Peking University(北京大学);FAIR;University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技)
随着互联网上多媒体数据的增长,视频文本检索已经成为一个热门的研究课题。Transformer由于其良好的性能而受到越来越多的关注。然而,现有的跨模态Transformer方法通常受到两个主要限制:1)对其中不同层具有不同特征特性的Transformer架构的利用是有限的; 2)端到端训练机制限制小批量中的负样本交互。在本文中,我们提出了一种新的方法命名为分层Transformer(HiT)的视频文本检索。HiT在特征级和语义级进行层次化的跨模态对比匹配,实现多视角、综合的检索效果。此外,受MoCo的启发,我们提出了跨模态学习的动量跨模态对比,以实现大规模的负样本交互,这有助于生成更精确和更有区别的表示。在三个主要的视频文本检索基准数据集上的实验结果证明了该方法的优越性。
2021-08-18 cs.AI cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆茨曼实验室);Google Research(谷歌研究院)
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法,这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外,他们聚合每帧的视觉功能有限或没有时间信息。在本文中,我们提出了一个多模态的Transformer联合编码的不同形式的视频,这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面,我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
Self-supervised Video Retrieval Transformer Network
Alibaba DAMO Academy(阿里巴巴达摩院)
基于内容的视频检索旨在从大型视频数据库中找到与给定查询视频相似甚至接近重复的视频。视频表示和相似性搜索算法是任何视频检索系统的关键。为了获得有效的视频表示,大多数视频检索系统需要大量的手动标注的数据进行训练,这使得它成本高昂,效率低下。此外,大多数检索系统是基于帧级特征的视频相似性搜索,使其昂贵的存储和搜索明智的。我们提出了一种新的视频检索系统,称为SVRTN,有效地解决了上述缺点。它首先应用自监督训练来有效地从未标记的数据中学习视频表示,以避免手动注释的昂贵成本。然后利用Transformer结构将帧级特征聚合到剪辑级,以减少存储空间和搜索复杂度。它可以从剪辑帧之间的相互作用中学习互补和判别信息,并获得帧排列和丢失不变量的能力,以支持更灵活的检索方式。在FIVR-200 K和SVD两个具有挑战性的视频检索数据集上进行的综合实验验证了本文提出的SVRTN方法的有效性,在准确率和效率上均达到了视频检索的最佳性能。
2021-04-16 cs.CV
Revisiting CLIP: Efficient Alignment of 3D MRI and Tabular Data using Domain-Specific Foundation Models
Pioneer Center for AI(先锋人工智能中心);University of Copenhagen(哥本哈根大学)
本文通过训练领域特定的3D基础模型,仅用62个MRI扫描实现3D MRI与表格数据的CLIP式对齐,采用嵌入累积策略稳定训练,并在零样本分类中验证了有效性。
2025-01-23 cs.AI cs.CV cs.LG
Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning
Amazon(亚马逊)
由于食物在人们生活中的重要性,以及大量数字烹饪食谱和食物图像可用于训练机器学习模型,跨模态食谱检索最近获得了大量关注。在这项工作中,我们重新审视了现有的跨模态食谱检索方法,并提出了一个简化的端到端模型,该模型基于完善的高性能文本和图像编码器。我们引入了一个分层的配方Transformer,它专注地编码各个配方组件(标题,成分和说明)。此外,我们提出了一个自我监督的损失函数计算上对个人的配方组件,这是能够利用配方内的语义关系,并使训练使用图像配方和食谱只有样本。我们进行了全面的分析和消融研究,以验证我们的设计选择。因此,我们提出的方法在Recipe1M数据集上的跨模态食谱检索任务中实现了最先进的性能。我们公开代码和模型。
2021-03-24 cs.CV
Revisiting the Role of Foundation Models in Cell-Level Histopathological Image Analysis under Small-Patch Constraints -- Effects of Training Data Scale and Blur Perturbations on CNNs and Vision Transformers
Division of Gastrointestinal Surgery, Department of Surgery, Kobe University Graduate School of Medicine(Kobe大学医学研究院外科部胃肠外科部);Association of Medical Artificial Intelligence Curation(医学人工智能 curation协会);Center for Medical Education and Clinical Training, Kindai University Faculty of Medicine(Kindai大学医学部医学教育与临床培训中心);Department of Biophysics, Kobe University Graduate School of Health Sciences(Kobe大学健康科学研究院生物物理学部)
本研究探讨了在小补丁约束下,基础模型与任务特定架构在细胞级病理图像分析中的性能差异,发现任务特定架构在数据充足时表现更优。
2026-03-04 cs.CV q-bio.QM
Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval
National University of Singapore(新加坡国立大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出基于双流 Transformer 的层次对齐框架 HAT,通过统一图像与文本编码器架构并建模多层对应关系,在 MSCOCO 和 Flickr30K 上显著提升跨模态检索性能。
2023-08-08 cs.CV cs.IR cs.MM
Transformer Decoders with MultiModal Regularization for Cross-Modal Food Retrieval
Sorbonne University(索邦大学);Meta AI;Meero(Meero公司)
近年来,跨模态图像配方检索得到了极大的关注。大多数工作都集中在使用单峰编码器改进跨模态嵌入,这允许在大规模数据库中进行有效检索,而不考虑计算成本更高的模态之间的交叉注意。我们提出了一个新的检索框架,T-食品(Transformer解码器与多模态正则化跨模态食品检索),利用模态之间的相互作用,在一个新的正则化方案,而只使用单峰编码器在测试时进行有效的检索。我们还捕捉配方实体之间的内部依赖关系与一个专用的配方编码器,并提出了新的变体的三重损失与动态利润率,适应任务的难度。最后,我们利用最新的视觉和语言预训练(VLP)模型(如CLIP)用于图像编码器。我们的方法在Recipe 1 M数据集上的性能大大优于现有方法。具体而言,我们在1 k和10 k测试集上分别实现了8.1%(72.6 R@1)和+10.9%(44.6 R@1)的绝对改进。代码可以在这里找到:https://github.com/mshukor/TFood
2022-04-20 cs.CV
EViT: Privacy-Preserving Image Retrieval via Encrypted Vision Transformer in Cloud Computing
Jinan University(暨南大学);Beihang University(北京航空航天大学);Beijing Institute of Technology(北京理工大学)
图像检索系统帮助用户在大量的图像中实时浏览和搜索。随着云计算的兴起,检索任务通常外包给云服务器。然而,云场景带来了隐私保护的艰巨挑战,因为云服务器不能完全信任。为此,基于图像加密的隐私保护图像检索方案已被开发,该方案首先从密码图像中提取特征,然后基于这些特征建立检索模型。然而,大多数现有的方法提取浅层特征和设计琐碎的检索模型,导致密码图像的表达能力不足。在本文中,我们提出了一个新的范例命名为加密视觉Transformer(EViT),它提高了鉴别表示的能力的密码图像。首先,在JPEG压缩过程中,从流密码加密的密文图像中提取多级局部长度序列和全局霍夫曼码频率特征,以获取全面的规则信息。其次,设计了基于视觉Transformer的检索模型,实现了与多层次特征的耦合,并提出了两种自适应的数据增强方法来提高检索模型的表示能力。通过自监督对比学习的方式,我们的建议可以很容易地适应无监督和监督的设置。大量的实验表明,EViT实现了良好的加密和检索性能,在检索精度方面大大优于现有的计划,同时有效地保护图像隐私。代码可在\url{https://github.com/onlinehuazai/EViT}上公开获取。
2022-08-31 cs.CV cs.MM
MDMMT-2: Multidomain Multimodal Transformer for Video Retrieval, One More Step Towards Generalization
Huawei(华为)
在这项工作中,我们提出了一个新的国家的最先进的文本到视频检索任务的MSR-VTT,LSMDC,MSVD,YouCook 2和TGIF获得一个单一的模型。三种不同的数据源相结合:弱监督的视频,人群标记的文本图像对和文本视频对。仔细分析可用的预训练网络有助于选择最佳的先验知识网络。我们引入了三阶段的训练过程,提供了高的知识转移效率,并允许在训练过程中使用噪声数据集,而不会降低先验知识。此外,双位置编码用于更好地融合不同的模态和非方输入处理的一个简单的方法提出。
2022-03-14 cs.CV
Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)(希茨中心–Ixa,巴斯克国家大学(UPV/EHU))
本文探讨了双编码视觉-语言模型中组合性问题的根源,提出通过改进推断协议提升组合性能,引入轻量级变压器学习局部对齐,优于全微调和端到端训练方法。
2026-04-16 cs.CL cs.CV cs.LG
Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers
DeepMind;ENS/Inria(巴黎高等师范学院/法国国家信息与自动化研究所);CIIRC CTU(捷克理工大学工业与机器人计算机中心);VGG Oxford(牛津大学视觉几何组)
我们的目标是大规模图像和视频数据集的基于语言的搜索。对于这项任务,该方法包括独立地将文本和视觉映射到联合嵌入空间,即双编码器,是有吸引力的检索规模,是有效的数十亿的图像使用近似最近邻搜索。另一种方法是使用视觉文本Transformers与交叉注意力的联合嵌入的准确性得到了相当大的改善,但在实践中往往是不适用于大规模的检索成本的交叉注意力机制所需的每个样本在测试时间。这项工作结合了两个世界的最佳。我们作出以下三项贡献。首先,我们为基于transformer的模型配备了一个新的细粒度交叉注意架构,在保持可扩展性的同时显著提高了检索准确性。其次,我们介绍了一种通用的方法,通过蒸馏和重新排名将快速双编码器模型与我们缓慢但准确的基于变换器的模型相结合。最后,我们验证了我们的方法在Flickr30K图像数据集上,我们显示了几个数量级的推理速度的增加,同时具有竞争力的结果的最先进的状态。我们还扩展了我们的方法到视频域,提高了VATEX数据集的最先进的。
2021-03-30 cs.CV
Region-aware Image-based Human Action Retrieval with Transformers
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
本文聚焦基于图像的人体动作检索任务,建立基准并设置基线方法,提出端到端模型从锚定人物、上下文区域和全局图像学习动作表示,设计融合Transformer模块融合特征,在Stanford-40和PASCAL VOC 2012 Action数据集上显著优于先前方法。
2024-07-29 cs.CV
MDMMT: Multidomain Multimodal Transformer for Video Retrieval
Lomonosov Moscow State University(莫斯科国立大学);Huawei Moscow Research Center(华为莫斯科研究中心)
我们在MSRVTT和LSMDC基准测试中提出了一种新的最先进的文本到视频检索任务,我们的模型在很大程度上优于所有以前的解决方案。此外,在两个数据集上使用单个模型实现了最先进的结果,而无需微调。这种多域概括是通过不同视频字幕数据集的适当组合来实现的。我们表明,在不同的数据集上进行训练可以提高彼此的测试结果。此外,我们检查了许多流行的数据集之间的交集,发现MSRVTT在测试和训练部分之间有显著的重叠,并且在ActivityNet中也观察到了同样的情况。
2021-03-19 cs.CV
Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation
The University of Tokyo(东京大学);CyberAgent(CyberAgent公司)
针对高维布局训练数据有限的问题,提出 RALF,利用基于输入图像检索到的最近邻布局增强自回归 Transformer,在统一架构中完成多种可控布局生成并显著优于基线。
2024-04-15 cs.CV
TransHash: Transformer-based Hamming Hashing for Efficient Image Retrieval
Shanghai Jiao Tong University(上海交通大学);University of Southern California(南加州大学);Wuhan University(武汉大学)
深度汉明散列在大规模图像检索的近似最近邻搜索中越来越受欢迎。到目前为止,图像检索社区的深度哈希一直由卷积神经网络架构主导,例如\texttt{Resnet} \cite{he2016deep}。在本文中,受Vision Transformers最新进展的启发,我们提出了\textbf{Transhash},这是一个纯基于转换器的深度哈希学习框架。具体地说,我们的框架由两个主要模块组成:(1)基于\textit{Vision Transformer}(ViT),我们设计了一个用于图像特征提取的连体Vision Transformer主干。为了学习细粒度特征,我们在Transformer之上创新了双流特征学习,以学习区分性的全局和局部特征。(2)此外,我们采用动态构造相似矩阵的贝叶斯学习方案来学习紧凑的二进制哈希码。整个框架是以端到端的方式联合训练的。~据我们所知,这是第一个在没有卷积神经网络(\textit{CNNs})的情况下解决深度哈希学习问题的工作。我们在三个广泛研究的数据集上进行了全面的实验:\textbf{CIFAR-10},\textbf{NUSWIDE}和\textbf{IMAGENET}。实验证明了我们对现有的国家的最先进的深度哈希方法的优越性。具体而言,我们实现了8.2\%,2.6\%,12.7\%的性能增益方面的平均\textit{mAP}不同的哈希位长度的三个公…
2021-05-05 cs.CV
RoME: Role-aware Mixture-of-Expert Transformer for Text-to-Video Retrieval
随着社交渠道的普及,每天都有大量的视频上传;因此,通过用户文本查询检索最相关的视频内容起着更重要的作用。大多数方法只考虑全局视觉和文本特征之间的一个联合嵌入空间,而没有考虑每个模态的局部结构。其他一些方法分别考虑由全局和局部特征组成的多个嵌入空间,忽略了丰富的模态间相关性。我们提出了一种新的混合专家Transformer罗马,解开的文本和视频到三个层次的角色的空间背景,时间背景和对象的背景。我们利用一个基于transformer的注意力机制,充分利用视觉和文本嵌入在全球和当地的水平与混合的专家考虑之间的模态和结构的相关性。结果表明,我们的方法在YouCook 2和MSR-VTT数据集上的表现优于最先进的方法,给定相同的视觉骨干而无需预训练。最后,我们进行了广泛的消融研究,以阐明我们的设计选择。
2022-06-26 cs.CV cs.IR cs.LG
All You Can Embed: Natural Language based Vehicle Retrieval with Spatio-Temporal Transformers
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);University of Ferrara(费拉拉大学);University of Parma(帕尔马大学)
将自然语言与视觉相结合是人工智能领域中一个独特而有趣的挑战。人工智能城市挑战赛第5轮基于自然语言的车辆检索侧重于结合视觉和文本信息的问题,应用于智能城市用例。在本文中,我们提出了所有你可以嵌入(AYCE),一个模块化的解决方案,相关的单车辆跟踪序列与自然语言。所提出的架构的主要构建块是(i)BERT以提供文本描述的嵌入,(ii)卷积骨干以及Transformer模型以嵌入视觉信息。对于检索模型的训练,提出了一种三重边际损失的变体来学习视觉和语言嵌入之间的距离度量。该代码可在https://github.com/cscribano/AYCE_2021上公开获取。
2021-06-18 cs.CV
Back to the Basics: Revisiting Out-of-Distribution Detection Baselines
Cleanlab
我们研究了与任何已经训练好的分类器兼容的分布外(OOD)图像检测的简单方法,仅依赖于其预测或学习的表示。当与ResNet-50和Swin Transformer模型一起使用时,我们评估了各种方法的OOD检测性能,发现仅考虑模型预测的方法可以通过考虑学习的表示来轻松超越。基于我们的分析,我们提倡一种在其他研究中被忽视的非常简单的方法:简单地标记为OOD图像,其与K个最近邻居的平均距离很大(在分布数据上训练的图像分类器的表示空间中)。
2022-07-07 cs.CV cs.LG stat.ML
TS2-Net: Token Shift and Selection Transformer for Text-Video Retrieval
Renmin University of China(中国人民大学);Tencent(腾讯)
文本-视频检索是一项具有重要实用价值的研究课题,受到了越来越多的关注,其中学习时空视频表示是研究的热点之一。现有的视频检索模型中的视频编码器通常直接采用预先训练好的视觉骨干,网络结构固定,无法进一步改进以产生细粒度的时空视频表示。在本文中,我们提出了令牌移位和选择网络(TS 2-Net),一种新的令牌移位和选择Transformer架构,动态调整令牌序列,并选择信息令牌在时间和空间维度从输入视频样本。标记移位模块在相邻帧之间来回地在时间上移位整个标记特征,以保留完整的标记表示并捕获细微的运动。然后标记选择模块选择对局部空间语义贡献最大的标记。基于全面的实验,所提出的TS 2-Net在主要的文本视频检索基准上实现了最先进的性能,包括MSRVTT,VATEX,LSMDC,ActivityNet和DiDeMo的新记录。
2022-07-16 cs.CV