Efficient Zero-shot Visual Search via Target and Context-aware Transformer
Baylor College of Medicine(贝勒医学院);Agency for Science, Technology and Research(新加坡科技研究局)
视觉搜索是自然视觉中无处不在的挑战,包括在人群中寻找朋友或在停车场搜索汽车等日常任务。人类在很大程度上依赖于相关的目标特征来执行目标导向的视觉搜索。同时,上下文对于在复杂场景中定位目标对象至关重要,因为它有助于缩小搜索范围并使搜索过程更有效。然而,很少有工作结合目标和上下文信息的视觉搜索计算模型。在这里,我们提出了一个zero-shot深度学习架构,TCT(目标和上下文感知的Transformer),它在视觉Transformer中使用目标和上下文相关信息来调节自我注意力,以实现类似人类的zero-shot视觉搜索性能。目标调制被计算为目标和搜索图像之间的局部相关性,而上下文调制以全局方式应用。我们进行视觉搜索实验TCT和其他竞争力的视觉搜索模型在三个自然场景数据集不同程度的难度。TCT在搜索效率方面表现出类似人类的性能,并在具有挑战性的视觉搜索任务中击败了SOTA模型。重要的是,TCT可以很好地在具有新对象的数据集上推广,而无需重新训练或微调。此外,我们还引入了一个新的数据集基准模型不变的视觉搜索不一致的情况下。TCT通过目标和上下文调制灵活地进行搜索,即使在不一致的上下文下。
2022-11-24 cs.AI cs.CV cs.LG
Transformers self-organize like newborn visual systems when trained in prenatal worlds
本研究发现,当变压器在预产期视觉数据中训练时,其结构自发发展出类似新生视觉系统的特征,表明两者在学习机制上存在共性。
2026-01-06 cs.AI cs.CV q-bio.NC
Dense Prediction Transformer for Scale Estimation in Monocular Visual Odometry
Aeronautics Institute of Technology(航空技术研究所)
单目视觉里程计通过单个摄像机的图像来估计智能体的位置,并且它被应用于自动驾驶车辆、医疗机器人和增强现实。然而,单目系统由于在2D帧中缺乏深度信息而遭受尺度模糊问题。本文的贡献,显示应用密集预测Transformer模型的规模估计单目视觉里程计系统。实验结果表明,该模型通过对深度图的精确估计,可以有效降低单目系统的尺度漂移问题,在视觉里程计基准测试中具有较好的性能。
2022-10-04 cs.AI cs.CV
Universal Approximation of Visual Autoregressive Transformers
The University of Chicago(芝加哥大学);University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing(西蒙斯理论计算研究所)
该研究扩展对Transformer基础模型基本限制的分析至视觉自回归(VAR)Transformer,证明单头单自注意力层单插值层的VAR Transformer是图像到图像Lipschitz函数的通用逼近器,为高效VAR策略提供设计原则。
2025-02-10 cs.AI cs.CL cs.CV
Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
该研究针对多模态大语言模型视觉指令微调成本高的问题,提出解耦视觉处理框架,替换预训练大语言模型上层解码器为轻量Transformer块,仅训练该块即可在多个基准上实现竞争力性能,降低了计算成本。
2026-07-30 cs.AI cs.CV
Transformer Module Networks for Systematic Generalization in Visual Question Answering
Fujitsu Limited(富士通有限公司);Fujitsu Research of America, Inc.(美国富士通研究公司);Massachusetts Institute of Technology(麻省理工学院);Center for Brains, Minds and Machines(大脑、心智与机器中心)
Transformers在可视化问答(VQA)方面取得了很好的性能。然而,它们的系统泛化能力,即,处理已知概念的新颖组合是不清楚的。我们发现,神经模块网络(NMN),即,解决子任务的模块的特定于问题的组合实现了比传统的Transformers更好或类似的系统泛化性能,即使NMN的模块是基于CNN的。为了解决这个缺点的Transformers相对于NMN,在本文中,我们研究模块化是否以及如何可以带来好处的Transformers。也就是说,我们介绍了Transformer Module Network(TMN),一种基于Transformer模块组合的新型NMN。TMN在三个VQA数据集上实现了最先进的系统泛化性能,比标准Transformers提高了30%以上,用于子任务的新组合。我们发现,不仅模块组成,而且模块的专业化,为每个子任务是这样的性能增益的关键。
2023-03-17 cs.CV cs.LG
Machine Learning for Brain Disorders: Transformers and Visual Transformers
LIX(LIX实验室);CNRS(法国国家科学研究中心);Ecole Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院);Univ. Rennes(雷恩大学);IRISA(IRISA研究所);INRIA(法国国家信息与自动化研究所)
Transformers最初是为自然语言处理(NLP)任务引入的,但很快就被大多数深度学习领域所采用,包括计算机视觉。它们测量输入标记对之间的关系(文本字符串中的单词,视觉Transformers中的图像部分),称为注意力。成本与令牌的数量呈指数关系。对于图像分类,最常见的Transformer架构仅使用Transformer编码器来变换各种输入标记。然而,也有许多其它应用,其中也使用传统Transformer架构的解码器部分。在这里,我们首先介绍注意力机制(第1节),然后介绍包括视觉Transformer的基本Transformer块(第2节)。接下来,我们将讨论可视化Transformers的一些改进,以解决小数据集或更少计算的问题(第3节)。最后,我们介绍了应用于图像分类以外的任务的视觉Transformers,例如检测,分割,生成和训练没有标签(第4节)和其他领域,例如使用文本或音频数据的视频或多模态(第5节)。
2023-03-21 cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司)
语义信息建模有助于场景文本识别。在这项工作中,我们提出了一个视觉语义Transformer(VST)的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后,语义信息与视觉特征图(被视为序列)相结合,以形成结合视觉和语义信息的伪多域序列,该序列随后被馈送到基于变换器的交互模块中,以使得能够学习视觉和语义特征之间的交互。通过这种方式,可以通过语义信息增强视觉特征,反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后,解码的视觉特征和增强的语义特征由第三Transformer模块联合处理,获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性,在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
Transformers Meet Visual Learning Understanding: A Comprehensive Review
Xidian University(西安电子科技大学)
动态注意力机制和全局建模能力使Transformer表现出较强的特征学习能力。近年来,Transformer已成为计算机视觉中的CNN方法。本文主要综述了Transformer在图像和视频应用中的研究进展,对Transformer在视觉学习理解中的应用进行了全面的综述。首先,回顾了《Transformer》中的注意力机制。然后介绍了可视化的Transformer模型和各个模块的工作原理。第三,研究了现有的基于transformer的模型,并比较了它们在视觉学习理解应用中的性能。研究了计算机视觉的三种图像任务和两种视频任务。前者主要包括图像分类、目标检测和图像分割。后者包括对象跟踪和视频分类。这对于在多个公共基准数据集上比较不同模型在不同任务中的性能具有重要意义。最后,总结了目前存在的十个问题,并对可视化Transformer的发展前景进行了展望。
2022-03-24 cs.CV
VLTinT: Visual-Linguistic Transformer-in-Transformer for Coherent Video Paragraph Captioning
University of Arkansas(阿肯色大学);Carnegie Mellon University(卡内基梅隆大学);Mohammed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
视频段落字幕的目的是生成一个多句子的描述一个未经修剪的视频与几个时间事件的位置在连贯的故事。在人类的感知过程中,场景被有效地理解分解成视觉(如人类,动物)和非视觉组件(如动作,关系)的视觉和语言的相互影响下,我们首先提出了一个视觉语言(VL)功能。在所提出的VL功能,场景建模的三个模态,包括(i)一个全球性的视觉环境;(ii)本地视觉主代理;(iii)语言场景元素。然后,我们引入了自回归变换器中的Transformer(TinT),同时捕获视频内的事件内和事件间内容的语义一致性。最后,我们提出了一个新的VL对比损失函数,以保证学习的嵌入特征与字幕语义相匹配。在ActivityNet Captions和YouCookII数据集上进行的全面实验和广泛的消融研究表明,所提出的视觉语言转换器(VLTinT)在准确性和多样性方面优于现有的最先进的方法。源代码可在https://github.com/UARK-AICV/VLTinT上公开获取。
2023-02-16 cs.CV
Streaming 4D Visual Geometry Transformer
Tsinghua University(清华大学)
本文提出一种流式视觉几何变换器,通过因果变换器架构实现低延迟的4D视觉几何重建,结合知识蒸馏和高效注意力机制,提升在线场景下的推理速度与重建质量。
2026-03-31 cs.AI cs.CV cs.LG
Embodied BERT: A Transformer Model for Embodied, Language-guided Visual Task Completion
Heriot-Watt University(赫瑞-瓦特大学);Amazon Alexa AI(亚马逊 Alexa AI);University of Southern California(南加州大学)
执行家庭和办公室任务的机器人必须在世界中导航并与世界互动。将语言教学与视觉观察和在环境中采取的行动相结合是一个开放的挑战。我们提出了一种基于转换器的模型BERT,该模型可以处理高维、多模态的输入,用于完成语言条件任务。此外,我们通过引入EmBERT训练的对象导航目标,弥合了用于非交互式代理的成功的以对象为中心的导航模型与语言引导的视觉任务完成基准ALFRED之间的差距。我们在ALFRED基准测试中实现了具有竞争力的性能,EmBERT标志着第一个基于transformer的模型成功地处理了ALFRED的长视野,密集,多模态历史,以及第一个利用以对象为中心的导航目标的ALFRED模型。
2021-11-04 cs.AI cs.CL cs.CV
On the Efficacy of Co-Attention Transformer Layers in Visual Question Answering
Birla Institute of Technology, Mesra(比尔拉理工学院,梅斯拉);Harvard Medical School(哈佛医学院)
近年来,多模态Transformers在视觉语言任务(如视觉问答(VQA))方面取得了显着进展,大大优于以前的架构。VQA的这种改进通常归因于视觉和语言流之间的丰富交互。在这项工作中,我们研究了共同关注Transformer层在回答问题时帮助网络关注相关区域的功效。我们使用这些共同注意层中的问题条件图像注意力分数生成视觉注意力图。我们评估了以下关键组件对最先进的VQA模型的视觉注意力的影响:(i)对象区域提案的数量,(ii)问题词性(POS)标签,(iii)问题语义,(iv)共同注意层的数量,以及(v)答案准确性。我们将神经网络的注意力图与人类的注意力图进行了定性和定量的比较。我们的研究结果表明,共同关注Transformer模块是至关重要的,在出席有关地区的图像给出了一个问题。重要的是,我们观察到问题的语义含义并不是驱动视觉注意力的原因,而是问题中的特定关键词。我们的工作揭示了共同注意Transformer层的功能和解释,突出了当前网络中的差距,并可以指导未来VQA模型和网络的发展,同时处理视觉和语言流。
2022-01-11 cs.CV cs.LG
Transformer in Transformer
ISCAS(中国科学院软件研究所);UCAS(中国科学院大学);Huawei Technologies(华为技术有限公司);University of Macau(澳门大学)
Transformer是一种新型的神经结构,它通过注意力机制将输入数据编码为强大的特征。基本上,视觉转换器首先将输入图像划分为几个局部块,然后计算表示及其关系。由于自然图像具有高度的复杂性和丰富的细节和颜色信息,块划分的粒度不够细,以挖掘不同尺度和位置的对象的特征。在本文中,我们指出,这些本地补丁内的注意力也是必不可少的,以建设高性能的视觉变压器,我们探索了一种新的架构,即Transformer IN Transformer(TNT)。具体来说,我们认为本地补丁(例如,16 $\times$ 16)作为"视觉句子"并呈现以进一步将它们划分成更小的块(例如,4 $\times$ 4)作为"视觉词"。每个单词的注意力将与给定视觉句子中的其他单词一起计算,计算成本可以忽略不计。将单词和句子的特征聚合起来,以增强表示能力。在多个基准测试上的实验证明了所提出的TNT架构的有效性,例如,我们在ImageNet上实现了81.5%的top-1准确率,这比具有类似计算成本的最先进的视觉Transformer高出约1.7%。PyTorch代码可以在https://github.com/huawei-noah/CV-Backbones上获得,MindSpore代码可以在www.example.com上获得。
2021-10-26 cs.AI cs.CV
Visual Transformer for Task-aware Active Learning
Imperial College London(帝国理工学院);KAIST(韩国科学技术院)
主动学习(AL)中基于池的采样代表了在处理深度学习模型时对信息数据进行标注的关键框架。在本文中,我们提出了一种新的管道池为基础的主动学习。与大多数以前的作品不同,我们的方法在训练过程中利用可访问的未标记示例来估计它们与标记示例的相关性。本文的另一个贡献是采用Visual Transformer作为AL管道的采样器。视觉Transformer模型标记和未标记的例子之间的非局部视觉概念依赖,这是至关重要的识别影响未标记的例子。此外,现有的方法相比,学习者和采样器的训练在一个多阶段的方式,我们建议训练他们在一个任务感知的方式,使潜在的空间转化为两个独立的任务:一个分类的标记的例子;其他区分的标签方向。我们评估了我们的工作在四个不同的具有挑战性的基准分类和检测任务,即CIFAR 10,CIFAR 100,FashionMNIST,RaFD和Pascal VOC 2007。我们广泛的实证和定性评估表明,我们的方法相比,现有的方法的优越性。可用代码:https://github.com/razvancaramalau/Visual-Transformer-for-Task-aware-Active-Learning
2021-06-07 cs.AI cs.CV
RelViT: Concept-guided Vision Transformer for Visual Relational Reasoning
UCLA(加州大学洛杉矶分校);NVIDIA(英伟达);Northeastern University(东北大学);ASU(亚利桑那州立大学);UT Austin(德克萨斯大学奥斯汀分校);Caltech(加州理工学院)
关于视觉关系的推理是人类如何解释视觉世界的核心。该任务对于当前的深度学习算法仍然具有挑战性,因为它需要联合解决三个关键技术问题:1)识别对象实体及其属性,2)推断实体对之间的语义关系,以及3)推广到新的对象-关系组合,即,系统概括在这项工作中,我们使用视觉Transformer(ViTs)作为我们的视觉推理的基础模型,并更好地利用定义为对象实体及其关系的概念,以提高ViTs的推理能力。具体来说,我们引入了一种新的概念特征字典,允许灵活的图像特征检索在训练时的概念键。该词典实现了两个新的概念引导辅助任务:1)用于促进关系推理的全局任务,以及2)用于促进语义对象为中心的对应学习的局部任务。为了研究视觉推理模型的系统泛化,我们引入了标准的CHTO和GQA基准测试的系统分裂。我们展示了由此产生的模型,概念引导的视觉Transformer(或简称RelViT)显着优于先前的方法,分别为16%和13%,在原始的分裂和43%和18%,在系统的分裂。我们的消融分析还揭示了我们的模型与多种ViT变体的兼容性和对超参数的鲁棒性。
2022-06-11 cs.AI cs.CV cs.LG
Visual Transformer for Soil Classification
Indian Institute Of Information Technology, Lucknow(印度理工学院勒克瑙分校)
我们的粮食安全建立在土壤的基础上。如果土壤不健康,农民将无法为我们提供纤维,食物和燃料。准确预测土壤类型有助于规划土壤的使用,从而提高生产力。这项研究采用了最先进的Visual Transformers,并与SVM、Alexnet、Resnet和CNN等不同模型进行了性能比较。此外,本研究还着重于区分不同的视觉Transformers架构。对于土壤类型的分类,数据集由4种不同类型的土壤样本组成,如冲积,红色,黑色和粘土。Visual Transformer模型在测试和训练准确率方面优于其他模型,训练时达到98.13%,测试时达到93.62%。Visual Transformer的性能超过其他型号至少2%。因此,新颖的视觉Transformers可用于计算机视觉任务,包括土壤分类。
2022-09-07 cs.CV
Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室);University of Oxford(牛津大学)
自监督视觉表示学习(SSL)的研究提高了编码器的骨干,以区分没有标签的训练样本。虽然通过SSL的CNN编码器实现了与通过监督学习的编码器相当的识别性能,但它们的网络注意力尚未得到进一步改进。受在识别场景中有效探索视觉注意力的Transformers的启发,我们提出了一个CNN注意力恢复(CARE)框架,以训练由SSL中的Transformers引导的注意力集中的CNN编码器。所提出的CARE框架由CNN流(C-stream)和Transformer流(T-stream)组成,其中每个流包含两个分支。C-stream遵循现有的SSL框架,具有两个CNN编码器,两个投影仪和一个预测器。T-stream包含两个Transformers,两个projector和一个predictor。T-Stream连接到CNN编码器,并与其余的C-Stream并行。在训练过程中,我们同时在两个流中执行SSL,并使用T流输出来监督C流。来自CNN编码器的特征在T流中被调制以用于视觉注意力增强,并且变得适合于SSL场景。我们使用这些调制特征来监督C流,以学习专注的CNN编码器。为此,我们以Transformers为指导,重振CNN的关注。几个标准的视觉识别基准,包括图像分类,目标检测和语义分割的实验表明,所提出的CARE框架提高了CNN编码器骨干的最先进的性能。
2021-10-11 cs.CV cs.LG
Recurrent Vision Transformer for Solving Visual Reasoning Problems
Institute of Information Science and Technologies (ISTI), Italian National Research Council (CNR)(意大利国家研究理事会信息科学与技术研究所)
尽管卷积神经网络(CNN)在许多视觉任务中表现出了显着的效果,但它们仍然被简单但具有挑战性的视觉推理问题所困扰。受计算机视觉中最近成功的Transformer网络的启发,在本文中,我们介绍了递归视觉Transformer(RViT)模型。由于推理任务中的循环连接和空间注意力的影响,该网络在SVRT数据集的相同-不同视觉推理问题上取得了有竞争力的结果。在空间和深度维度上的权重共享使模型规则化,允许它使用更少的自由参数进行学习,仅使用28 k个训练样本。一项全面的消融研究证实了混合CNN + Transformer架构的重要性以及反馈连接的作用,这些连接迭代地细化内部表示,直到获得稳定的预测。最后,本研究为进一步理解注意和循环连接在视觉抽象推理任务中的作用奠定了基础。
2021-11-29 cs.CV
USDC: Unified Static and Dynamic Compression for Visual Transformer
Kuaishou Technology(快手科技)
针对视觉Transformer压缩中静态压缩性能损失大和动态压缩内存不减少的问题,提出统一静态与动态压缩的USDC方法,并引入子组门控增强技术解决训练与推理批量大小不一致导致的性能下降,实验验证了其优越性。
2023-10-17 cs.AI cs.CV
Efficient Visual Tracking with Exemplar Transformers
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
更复杂和更强大的神经网络模型的设计大大提高了视觉目标跟踪的最新技术水平。这些进步可以归因于更深层次的网络,或引入新的构建模块,如Transformers。然而,在追求提高跟踪性能的过程中,运行时间常常受到阻碍。此外,有效的跟踪架构得到了令人惊讶的关注。在本文中,我们介绍了示例Transformer,一个Transformer模块,利用一个单一的实例级的注意力层的实时视觉对象跟踪。E.T.Track是我们的视觉跟踪器,集成了Exemplar Transformer模块,在CPU上以47 FPS运行。这比其他基于变压器的模型快8倍。与可以在标准CPU上实时运行的轻量级跟踪器相比,E.T.Track在LaSOT、OTB-100、NFS、TrackingNet和VOT-ST 2020数据集上的性能始终优于所有其他方法。代码和型号可在https://github.com/pblatter/ettrack上获得。
2022-10-04 cs.CV
TransZero++: Cross Attribute-Guided Transformer for Zero-Shot Learning
Huazhong University of Science and Technology(华中科技大学);Nanjing University of Science and Technology(南京理工大学);Fudan University(复旦大学);Institute of North Electronic Equipment(北方电子设备研究所);Peng Cheng Laboratory(鹏城实验室);Sea AI Lab(Sea人工智能实验室);Terminus Group(特斯联集团)
零样本学习(Zero-shot learning,简称ZRL)通过将语义知识从可见的类转移到不可见的类来解决新的类识别问题。现有的基于注意力的模型仅使用单向注意力来学习单个图像中的劣区域特征,这忽略了视觉特征的可转移性和区分性属性定位。在本文中,我们提出了一个跨属性引导的Transformer网络,称为transZero++,细化视觉特征,并学习准确的属性定位语义增强的视觉嵌入表示在CNOL。TransZero++由属性$\rightarrow$可视Transformer子网(AVT)和属性$\rightarrow$可视Transformer子网(VAT)组成。具体而言,AVT首先采用特征增强编码器来缓解跨数据集问题,并通过减少区域特征之间纠缠的相对几何关系来提高视觉特征的可传递性。然后,一个属性$\rightarrow$视觉解码器被用来本地化的图像区域最相关的每个属性在一个给定的图像基于属性的视觉特征表示。类似地,VAT使用相似特征增强编码器来细化视觉特征,其进一步应用于视觉$\rightarrow$属性解码器中以学习基于视觉的属性特征。通过进一步引入语义协作损失,这两个属性引导的Transformers通过语义协作学习来相互学习语义增强的视觉嵌入。大量的实验表明,TransZero++在三个具有挑战性的BTL基准测试中取得了最新的结果。代码可在以下网址获得:\url{https…
2022-12-13 cs.AI cs.CV
Word2Pix: Word to Pixel Cross Attention Transformer in Visual Grounding
Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Nanyang Technological University(南洋理工大学)
现有的一阶段视觉基础方法在融合视觉特征之前将语言查询编码为一个整体的句子嵌入。这样的公式化在对语言进行视觉注意建模时没有同等对待查询句子的每个单词,因此倾向于忽略对于句子嵌入不太重要但对于视觉基础至关重要的单词。在本文中,我们提出了Word 2 Pix:一个基于编码器-解码器Transformer架构的一级视觉接地网络,它可以通过单词到像素的注意力来学习文本到视觉特征的对应关系。通过单独关注视觉像素而不是单个整体句子嵌入,对来自查询句子的每个单词的嵌入进行同样的处理。以这种方式,每个单词被给予相等的机会来通过多个Transformer解码器层的堆栈将语言调整为朝向所指目标的视觉注意力。我们在RefCOCO,RefCOCO+和RefCOCOg数据集上进行了实验,所提出的Word 2 Pix方法明显优于现有的一阶段方法。所获得的结果还表明,Word 2 Pix超越了两阶段视觉基础模型,同时保持了一阶段范式的优点,即端到端训练和实时推理速度不变。
2021-07-31 cs.AI cs.CL cs.CV
A Saccaded Visual Transformer for General Object Spotting
University of Warwick(华威大学);Imense Ltd.(Imense有限公司)
本文提出了一种新颖的组合视觉Transformer风格的补丁分类器与扫视局部注意。还提出了一种用于训练对象模型的新的优化范例,而不是最小化类成员概率误差的优化函数,网络被训练以估计到标记对象的质心的归一化距离。这种方法直接在模型中建立了一定程度的跨国不变性,并允许快速扫视搜索与梯度上升,以找到对象的质心。所得到的扫视视觉Transformer在人脸上演示。
2022-10-17 cs.CV
The Animation Transformer: Visual Correspondence via Segment Matching
Cadmium Project(镉项目)
视觉对应是构建手绘动画辅助工具的基本构建块。然而,虽然大量的工作都集中在学习像素级的视觉对应,很少有方法已经出现,以学习在手绘动画中自然发生的线包围(段)的水平对应。在动画中利用这种结构有很多好处:它避免了在高分辨率图像中处理单个像素的棘手的内存复杂性,并允许使用包含每段颜色级别的对应信息的真实世界动画数据集。为此,我们提出了动画Transformer(AnT),它使用一个基于transformer的架构来学习跨图像序列的片段之间的空间和视觉关系。AnT为专业动画工作流程提供实用的ML辅助着色,并可作为Cadmium中的创意工具公开访问。
2021-09-08 cs.AI cs.CV cs.GR
A Survey on Visual Transformer
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peking University(北京大学);The University of Sydney(悉尼大学)
本文综述了视觉Transformer在不同视觉任务中的分类、优缺点及高效方法,并探讨了自注意力机制、当前挑战与未来研究方向。
2023-07-10 cs.AI cs.CV
Solving Masked Jigsaw Puzzles with Diffusion Vision Transformers
Northeastern University(东北大学);Qualcomm(高通公司)
针对现有判别式方法难以求解大规模拼图的问题,提出JPDVT方法,以视觉内容为条件用扩散Transformer生成位置信息来组装拼图,支持碎片缺失场景,在多数据集上达SOTA。
2024-04-10 cs.CV
A Survey of Visual Transformers
Lenovo Research(联想研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Southeast University(东南大学);Lenovo Ltd.(联想有限公司)
Transformer是一种基于注意力的编码器-解码器模型,它已经彻底改变了自然语言处理(NLP)领域。受这些重大成就的启发,最近在计算机视觉(CV)领域中采用类似Transformer的架构进行了一些开创性的工作,这些工作已经证明了它们在三个基本CV任务(分类,检测和分割)以及多传感器数据流(图像,点云和视觉语言数据)上的有效性。由于其具有竞争力的建模能力,与现代卷积神经网络(CNN)相比,视觉Transformers在多个基准测试中取得了令人印象深刻的性能改进。在这项调查中,我们已经全面审查了超过100个不同的视觉Transformers根据三个基本的CV任务和不同的数据流类型,其中提出了一个分类法,组织的代表性方法,根据其动机,结构和应用场景。由于它们在训练设置和专用视觉任务上的差异,我们还评估和比较了所有这些现有的视觉Transformers在不同配置下的性能。此外,我们已经揭示了一系列重要但未开发的方面,这些方面可能使这种视觉Transformers从众多架构中脱颖而出,例如,松弛高级语义嵌入,以弥合视觉Transformers和序列之间的差距。最后,提出了三个有前途的研究方向,为未来的投资。我们将在https://github.com/liuyang-ict/awesome-visual-transformers上继续更新最新文章及其发布的源代码。
2022-12-06 cs.CV
Visual Transformers for Primates Classification and Covid Detection
LMU Munich(慕尼黑大学)
我们将视觉Transformer)应用于原始音频记录的梅尔声谱图表示,这是一种围绕注意力机制构建的深度机器学习模型。当添加基于mel的数据增强技术和样本加权时,我们在ComparE21的两个(PRS和CCS挑战)任务上实现了相当的性能,优于大多数单一模型基线。我们进一步介绍重叠的垂直修补和参数配置的影响进行评估。索引术语:音频分类,注意力,梅尔频谱图,不平衡数据集,计算语言学
2022-12-20 cs.CV cs.LG cs.SD
GasHis-Transformer: A Multi-scale Visual Transformer Approach for Gastric Histopathological Image Detection
Northeastern University(东北大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);China Medical University(中国医科大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);University of Lübeck(吕贝克大学)
本文提出了一种多尺度视觉Transformer模型(GasHis-Transformer),用于胃癌图像的全局自动检测。GasHis-Transformer模型由两个关键模块组成,分别使用位置编码的Transformer模型和具有局部卷积的卷积神经网络来提取全局和局部信息。在实验中使用公开可用的苏木精和伊红(H&E)染色的胃组织病理学图像数据集。此外,提出了一种基于Dropconnect的轻量级网络,以减少GasHis-Transformer的模型大小和训练时间,从而提高临床应用的置信度。通过一系列对比实验和扩展实验验证了GasHis-Transformer的鲁棒性、可扩展性和稳定性。总之,GasHis-Transformer表现出很高的全局检测性能,并显示出其在GHID任务中的巨大潜力。
2022-06-08 cs.CV
Hypergraph Transformer: Weakly-supervised Multi-hop Reasoning for Knowledge-based Visual Question Answering
Seoul National University(首尔国立大学);Hanyang University(汉阳大学);AI Institute (AIIS), Seoul National University(首尔国立大学人工智能研究院(AIIS))
基于知识的视觉问答(QA)的目的是回答一个问题,这需要视觉基础的外部知识超越图像内容本身。在弱监督下对需要多跳推理的复杂问题进行推理被认为是一个具有挑战性的问题,因为i)没有对推理过程进行监督,ii)需要捕获多跳知识事实的高阶语义。在本文中,我们引入超图的概念来编码问题和知识库的高级语义,并学习它们之间的高阶关联。提出的模型Hypergraph Transformer构造了一个问题超图和一个查询感知知识超图,并通过编码超图之间的关联和超图本身的关联来推断答案。在两个基于知识的视觉问答和两个基于知识的文本问答上的实验证明了该方法的有效性,特别是对于多跳推理问题。我们的源代码可以在https://github.com/yujungheo/kbvqa-public上找到。
2022-04-22 cs.AI cs.CL cs.CV
An Efficient and Effective Transformer Decoder-Based Framework for Multi-Task Visual Grounding
Wuhan University(武汉大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出EEVG框架,用Transformer解码器实现线性成本的语言-视觉融合,并通过无参数背景token消除和轻量掩码头高效完成多任务视觉定位。
2024-08-02 cs.CV
Frozen Transformers in Language Models Are Effective Visual Encoder Layers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出将预训练大语言模型中的冻结Transformer块直接用作视觉编码层,在多种2D/3D视觉、时序及多模态任务上取得一致提升,并提出信息过滤假说解释其有效性。
2024-05-06 cs.AI cs.CL cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而,这些基于融合的模型,他们仍然受到批评,缺乏几何信息的帧间和帧内注意力细化。另一方面,基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中,我们介绍了一种新的几何纠缠视觉语义Transformer(GEVST)网络,实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说,一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后,为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力,我们构建了四个并行的Transformer编码器VV(Pure Visual),VS(Semantic fused to Visual),SV(Visual fused to Semantic),SS(Pure Semantic)用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块,以更好地测量注意力。为了验证我们的模型,我们在MS-COCO数据集上进行了大量的实验,实验结果表明,我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
2-D SSM: A General Spatial Layer for Visual Transformers
Tel Aviv University(特拉维夫大学)
针对视觉模型二维归纳偏置需求,提出基于多维SSM变体的2-D SSM通用空间层,通过高效参数化等设计,以极小开销显著提升多种ViT在不同数据集上的性能,验证了其强二维归纳偏置特性。
2023-06-11 cs.CV cs.LG
Mitigating Bias in Visual Transformers via Targeted Alignment
Georgia Institute of Technology(佐治亚理工学院)
随着Transformer架构在计算机视觉中变得越来越普遍,理解其公平性意义至关重要。我们进行了第一次研究的公平性的Transformers应用于计算机视觉和基准几个偏见缓解方法从以前的工作。我们可视化的Transformer自我注意模块的特征空间,并发现一个显着的部分的偏见是编码在查询矩阵。有了这些知识,我们提出了TADeT,一个有针对性的对齐策略去偏置Transformers,旨在发现和消除偏见,主要是从查询矩阵功能。我们使用平衡准确度和标准准确度来衡量绩效,使用均衡赔率和平衡准确度差异来衡量公平性。TADeT始终导致在CelebA数据集上的多属性预测任务上的先前工作的公平性提高,而不会影响性能。
2023-02-08 cs.CV
Exploring Visual Embedding Spaces Induced by Vision Transformers for Online Auto Parts Marketplaces
Baylor University(贝勒大学)
本研究探索视觉Transformer(ViT)生成在线汽车配件市场图像视觉嵌入的能力,通过单模态数据提取嵌入、UMAP降维可视化、K-Means聚类分类,评估其检测非法活动模式的潜力,为相关欺诈检测提供基础。
2025-02-09 cs.CV cs.LG
Contextual Transformer Networks for Visual Recognition
JD AI Research(京东人工智能研究院)
具有自我注意力的Transformer导致了自然语言处理领域的革命性变化,最近激发了Transformer风格架构设计的出现,并在众多计算机视觉任务中取得了竞争性结果。然而,大多数现有的设计直接采用自注意的2D特征映射,以获得注意力矩阵的基础上对孤立的查询和关键字在每个空间位置,但离开丰富的上下文之间的邻居关键字开发不足。在这项工作中,我们设计了一个新的transformer风格的模块,即,上下文Transformer(CoT)块,用于视觉识别。这种设计充分利用了输入键之间的上下文信息来指导动态注意矩阵的学习,从而增强了视觉表征能力。从技术上讲,CoT块首先通过$3\times3$卷积对输入键进行上下文编码,从而得到输入的静态上下文表示。我们进一步将编码的键与输入查询连接起来,通过两个连续的$1\times1$卷积来学习动态多头注意力矩阵。学习的注意力矩阵乘以输入值,以实现输入的动态上下文表示。静态和动态语境表征的融合最终作为输出。我们的CoT块很有吸引力,因为它可以很容易地替换ResNet架构中的每个$3\times3$卷积,产生一个名为上下文Transformer网络(CoTNet)的transformer风格的主干。通过在广泛的应用(例如,图像识别、目标检测和实例分割),我们验证了CoTNet作为更强大主干的优越性。源代码可在\url{https://github.com/J…
2021-07-26 cs.AI cs.CV cs.LG
Co-Me: Confidence-Guided Token Merging for Visual Geometric Transformers
Carnegie Mellon University(卡内基梅隆大学);Field AI
Co-Me通过置信度指导的令牌合并加速视觉几何变换器,无需重新训练或微调基础模型,有效减少计算量并保持空间覆盖,实现显著加速且不降性能。
2026-05-14 cs.CV cs.RO
Visual Grounding with Transformers
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(虚拟现实技术与系统国家重点实验室,北京航空航天大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
在本文中,我们提出了一种基于Transformer的方法来实现可视化接地。与以前的proposal-and-rank框架严重依赖于预训练的对象检测器或无proposal-free框架通过融合文本嵌入来升级现成的一级检测器不同,我们的方法构建在Transformer编码器-解码器之上,并且独立于任何预训练的检测器或词嵌入模型。我们的方法被称为VGTR -- Visual Grounding with Transformers,旨在在文本描述的指导下学习具有语义区分性的视觉特征,而不会损害它们的定位能力。这种信息流使我们的VGTR具有很强的能力,在捕获视觉和语言模态的上下文级别的语义,使我们能够聚集准确的视觉线索暗示的描述,以定位感兴趣的对象实例。实验表明,我们的方法优于国家的最先进的无命题的方法在五个基准相当大的利润,同时保持快速的推理速度。
2022-03-14 cs.CV
Audio Visual Scene-Aware Dialog Generation with Transformer-based Video Representations
NTT Computer and Data Science Laboratories, NTT Corporation(日本电信电话株式会社计算机与数据科学实验室)
已经有许多尝试来构建可以响应关于给定视听信息的问题的多模态对话系统,并且这种系统的代表性任务是视听场景感知对话(AVSD)。大多数传统的AVSD模型采用基于卷积神经网络(CNN)的视频特征提取器来理解视觉信息。虽然CNN倾向于获得时间和空间局部信息,但全局信息对于提高视频理解也至关重要,因为AVSD需要长期的时间视觉依赖性和整体视觉信息。在这项研究中,我们应用了基于变换器的视频特征,该特征可以比基于CNN的特征更有效地捕获时间和空间全局表示。我们的AVSD模型及其基于transformer的功能在答案生成方面获得了更高的客观性能分数。此外,我们的模型在DSTC 10中获得了接近人类答案的主观分数。我们观察到,基于transformer的视觉特征对AVSD任务是有益的,因为我们的模型倾向于正确回答需要时间和空间上广泛的视觉信息的问题。
2022-02-21 cs.CL cs.CV
Learning from Visual Observation via Offline Pretrained State-to-Go Transformer
BAAI(北京智源人工智能研究院);PKU(北京大学)
提出两阶段框架,离线预训练STG变换器预测演示转移,为强化学习提供内在奖励,在Atari和Minecraft上超越基线,部分任务媲美环境奖励策略。
2023-06-22 cs.CV cs.LG
Visual Echoes: A Simple Unified Transformer for Audio-Visual Generation
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
本文提出一种简单轻量的生成式Transformer,在离散VQ-GAN空间中通过掩码去噪训练,实现图像到音频生成,并可直接扩展至音频到图像及联合生成,性能超越现有方法。
2024-05-24 cs.CV cs.LG cs.MM
Visual Transformers: Token-based Image Representation and Processing for Computer Vision
Facebook Reality Labs(Facebook现实实验室);Facebook AI(Facebook人工智能);UC Berkeley(加州大学伯克利分校)
计算机视觉通过(a)将图像表示为均匀排列的像素阵列和(b)卷积高度局部化的特征而取得了显著的成功。然而,卷积平等地对待所有图像像素,无论其重要性如何;显式地对所有图像中的所有概念进行建模,无论其内容如何;并且难以将空间上遥远的概念联系起来。在这项工作中,我们通过(a)将图像表示为语义视觉令牌和(b)运行Transformers来密集地建模令牌关系来挑战这种范式。重要的是,我们的Visual Transformer在语义标记空间中运行,根据上下文明智地处理不同的图像部分。这与像素空间Transformers形成鲜明对比,后者需要更多数量级的计算。使用先进的训练配方,我们的VT显著优于卷积对手,将ImageNet top-1上的ResNet准确度提高了4.6到7个点,同时使用更少的FLOP和参数。对于LIP和COCO-stuff上的语义分割,基于VT的特征金字塔网络(FPN)实现了0.35点的mIoU,同时将FPN模块的FLOP降低了6.5倍。
2020-11-20 cs.CV cs.LG eess.IV
Off-Policy Self-Critical Training for Transformer in Visual Paragraph Generation
最近,已经提出了几种方法来解决语言生成问题。Transformer是目前语言生成中最先进的seq-to-seq模型。强化学习(Reinforcement Learning,RL)在解决seq-to-seq语言学习中的暴露偏差和优化不可微度量方面非常有用。然而,Transformer很难与RL结合,因为采样需要昂贵的计算资源。我们解决这个问题,提出了一个政策外的RL学习算法的行为策略表示的GRUs执行采样。针对重要性采样(IS)的高方差问题,采用截断相对重要性采样(TRIS)技术和Kullback-Leibler(KL)-控制概念. TRIS是一种简单而有效的技术,并且有理论证明KL控制有助于减少IS的方差。我们制定了这种基于自临界序列训练的非策略强化学习。具体来说,我们使用基于transformer的字幕模型作为目标策略,并使用图像引导的语言自动编码器作为行为策略来探索环境。该算法实现了最先进的性能上的视觉段落生成和改进的结果上的图像描述。
2020-06-21 cs.CV cs.LG
FeedbackTrack: Visual-Cortex-Inspired Cross-Frame Feedback for Transformer Tracking
该研究提出受视觉皮层启发的FeedbackTrack框架,为Transformer跟踪器引入跨帧反馈机制,在LaSOT、GOT-10k等数据集上提升跟踪性能,且参数增量极小。
2026-08-11 cs.AI cs.CV
Multimodal Incremental Transformer with Visual Grounding for Visual Dialogue Generation
WeChat AI(微信人工智能);Tencent Inc(腾讯公司)
视觉对话是一项具有挑战性的任务,因为它需要在理解视觉环境的基础上回答一系列连贯的问题。以往的研究多集中于通过隐式地关注空间图像特征或对象层次的图像特征来探索多模态共指,而忽略了在视觉内容中显式地定位对象的重要性,这些对象与文本内容中的实体相关联。因此,本文提出了一种具有{\bf V}视觉{\bf G}舍入的{\bf M}多模态{\bf I}增量{\bf T}变换器,称为MITVG,它由两个关键部分组成:视觉接地和多模态增量Transformer。视觉基础的目的是明确地定位相关的对象在图像中的文本实体的指导下,这有助于模型排除不需要注意的视觉内容。多模态增量式Transformer在视觉接地的基础上,将多轮对话历史与视觉场景相结合,按照对话的先后顺序逐步进行编码,生成上下文一致、视觉连贯的应答。在VisDial v0.9和v1.0数据集上的实验结果证明了该模型的优越性,其性能相当。
2021-09-17 cs.CL cs.CV cs.MM
Enhanced Transformer-Based Tracking for Skiing Events: Overcoming Multi-Camera Challenges, Scale Variations and Rapid Motion -- SkiTB Visual Tracking Challenge 2025
Tredence Analytics(特伦登斯分析公司)
针对高山滑雪赛事中的跟踪难题,采用STARK模型并优化其架构与超参数,以应对多摄像头、遮挡和快速运动,提升跟踪准确性。
2025-02-26 cs.CV
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
Nankai University(南开大学);ByteDance(字节跳动)
本文并不试图设计一个国家的最先进的视觉识别方法,但研究了一种更有效的方法,利用卷积编码的空间特征。通过比较最近的卷积神经网络ConvNets和视觉Transformer的设计原理,我们提出通过利用卷积调制操作来简化自注意。我们表明,这种简单的方法可以更好地利用卷积层中嵌套的大内核(>=7x7)。我们使用所提出的卷积调制构建了一系列分层ConvNets,称为Conv2Former。我们的网络是简单和易于遵循。实验表明,我们的Conv2Former在所有ImageNet分类,COCO目标检测和ADE 20k语义分割方面都优于现有的流行ConvNets和视觉Transformer,如Swin Transformer和ConvNeXt。
2022-11-22 cs.CV
RadioTransformer: A Cascaded Global-Focal Transformer for Visual Attention-guided Disease Classification
Stony Brook University(石溪大学)
在这项工作中,我们提出了RadioTransformer,一种新的视觉注意力驱动的Transformer框架,利用放射科医生的凝视模式和模型的视觉认知行为的疾病诊断胸片。诸如放射科医师的领域专家依赖于视觉信息来进行医学图像判读。另一方面,深度神经网络在类似的任务中表现出了巨大的潜力,即使在视觉解释具有挑战性的情况下。视线跟踪已被用于捕获领域专家的观看行为,从而深入了解视觉搜索的复杂性。然而,深度学习框架,即使是那些依赖于注意力机制的框架,也不会利用这些丰富的领域信息。RadioTransformer通过学习放射科医生的视觉搜索模式填补了这一关键空白,该模式在级联的全局焦点Transformer框架中被编码为“人类视觉注意区域”。整体的“全球”的图像特征和更详细的“本地”的功能被捕获的建议的全球和焦点模块,分别。我们通过实验验证了我们的学生-教师方法对8个涉及不同疾病分类任务的数据集的有效性,其中在推理阶段无法获得眼睛凝视数据。代码:https://github.com/bmi-imaginelab/radiotransformer.
2022-07-21 cs.CV
Facial Expression Recognition with Swin Transformer
Dongguk University(东国大学)
识别人类面部表情的任务在各种与人类相关的系统中起着至关重要的作用,包括医疗保健和医疗领域。随着最近深度学习的成功和大量注释数据的可访问性,面部表情识别研究已经足够成熟,可以在具有视听数据集的真实场景中使用。在本文中,我们介绍了基于Swin变换的面部表情方法在野生视听数据集的Aff-Wild 2表达式数据集。具体来说,我们采用了三流网络(即,视频流、时间流和音频流),将多模态信息融合到人脸表情识别中。在Aff-Wild 2数据集上的实验结果表明了我们提出的多模态方法的有效性。
2022-03-25 cs.AI cs.CV
Visual Mechanisms Inspired Efficient Transformers for Image and Video Quality Assessment
NORCE Norwegian Research Centre(NORCE挪威研究中心);Hong Kong University of Science and Technology(香港科技大学)
视觉(图像、视频)质量评估可以通过不同域中的视觉特征来建模,例如,空间、频率和时间域。人类视觉系统(HVS)中的感知机制在质量感知的产生中起着至关重要的作用。本文提出了一个通用的框架,无参考的视觉质量评估使用有效的窗口Transformer架构。Swin(移位窗口)Transformer中集成了一个用于多级通道注意的轻量级模块。这样的模块可以代表适当的感知机制,在图像质量评估(IQA)建立一个准确的IQA模型。同时,在空间和频率域的图像质量感知的代表性特征也可以从IQA模型,然后被馈送到另一个窗口的Transformer架构的视频质量评估(VQA)。VQA模型有效地跨局部窗口重用注意力信息,以解决原始Transformer的昂贵时间和存储复杂性的问题。在大规模IQA和VQA数据库上的实验结果表明,所提出的质量评估模型的性能大大优于其他国家的最先进的模型。完整的源代码将在Github上发布。
2022-08-19 cs.CV eess.IV
MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering
University of Central Florida(中佛罗里达大学)
我们提出了MMFT-BERT(多模态融合Transformer with BERT encodings),以解决视觉问答(Visual Question Questioning,VQA)问题,确保对多个输入模态的单独和组合处理。我们的方法受益于处理多模态数据(视频和文本),分别采用BERT编码,并使用一种新的基于变换的融合方法将它们融合在一起。我们的方法分解不同来源的模态,到不同的BERT实例具有相似的架构,但可变的权重。这在TVQA数据集上实现了SOTA结果。此外,我们提供TVQA视觉,TVQA的一个孤立的诊断子集,它严格要求基于人类注释者的判断的视觉(V)模态的知识。这组问题有助于我们研究模型的行为以及TVQA为防止实现超人类性能而提出的挑战。大量的实验表明了该方法的有效性和优越性。
2020-10-27 cs.CV
T-VSE: Transformer-Based Visual Semantic Embedding
Amazon(亚马逊);Google(谷歌)
Transformer模型最近在NLP任务上取得了令人印象深刻的性能,这要归功于在非常大的文本语料库上进行自监督预训练的新算法。相反,最近的文献表明简单的平均单词模型优于更复杂的语言模型,例如,RNN和Transformers,在标准基准测试上的跨模态图像/文本搜索任务,如MS COCO。在本文中,我们证明了数据集规模和训练策略是至关重要的,并证明了当在电子商务产品图像-标题对的大型数据集上训练时,基于transformer的跨模态嵌入的性能大大优于单词平均和基于RNN的嵌入。
2020-05-17 cs.CV