CpT: Convolutional Point Transformer for 3D Point Cloud Processing
University of Glasgow（格拉斯哥大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
我们提出了CpT：卷积点Transformer -一种用于处理3D点云数据的非结构化性质的新型深度学习架构。CpT是对现有的基于注意力的卷积神经网络以及以前的3D点云处理Transformers的改进。它之所以能实现这一壮举，是因为它通过一个专门用于动态处理局部点集邻域的卷积投影层，有效地创建了一个新颖而强大的基于注意力的点集嵌入。所得的点集嵌入对输入点的排列具有鲁棒性。我们的新CpT块建立在通过动态图计算在网络结构的每一层获得的点的局部邻域上。它是完全可微的，可以像卷积层一样堆叠，以学习点的全局属性。我们在标准基准数据集上评估我们的模型，如ModelNet 40，ShapeNet Part Segmentation和S3 DIS 3D室内场景语义分割数据集，以表明与现有的最先进的方法相比，我们的模型可以作为各种点云处理任务的有效骨干。
2021-11-21 cs.CV
Cloud Transformers: A Universal Approach To Point Cloud Processing Tasks
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（Skoltech））；Yandex
我们提出了一个新的多功能构建块的深点云处理架构，同样适用于不同的任务。这个构建块将空间Transformers和多视图卷积网络的思想与二维和三维密集网格中标准卷积层的效率相结合。新的块通过多个平行的头进行操作，而每个头将各个点的特征表示可区分地光栅化到低维空间中，然后使用密集卷积来跨点传播信息。然后将各个头部的处理结果组合在一起，从而更新点特征。使用新的块，我们建立了区分（点云分割，点云分类）和生成（点云修复和基于图像的点云重建）任务的架构。由此产生的架构实现了这些任务的最先进的性能，展示了点云处理的新块的多功能性。
2021-10-03 cs.CV
Visual Transformers: Token-based Image Representation and Processing for Computer Vision
Facebook Reality Labs（Facebook现实实验室）；Facebook AI（Facebook人工智能）；UC Berkeley（加州大学伯克利分校）
计算机视觉通过（a）将图像表示为均匀排列的像素阵列和（b）卷积高度局部化的特征而取得了显著的成功。然而，卷积平等地对待所有图像像素，无论其重要性如何;显式地对所有图像中的所有概念进行建模，无论其内容如何;并且难以将空间上遥远的概念联系起来。在这项工作中，我们通过（a）将图像表示为语义视觉令牌和（b）运行Transformers来密集地建模令牌关系来挑战这种范式。重要的是，我们的Visual Transformer在语义标记空间中运行，根据上下文明智地处理不同的图像部分。这与像素空间Transformers形成鲜明对比，后者需要更多数量级的计算。使用先进的训练配方，我们的VT显著优于卷积对手，将ImageNet top-1上的ResNet准确度提高了4.6到7个点，同时使用更少的FLOP和参数。对于LIP和COCO-stuff上的语义分割，基于VT的特征金字塔网络（FPN）实现了0.35点的mIoU，同时将FPN模块的FLOP降低了6.5倍。
2020-11-20 cs.CV cs.LG eess.IV
PCT: Point cloud transformer
Tsinghua University（清华大学）；Cardiff University（卡迪夫大学）
不规则域和缺乏有序性使得设计用于点云处理的深度神经网络具有挑战性。本文提出了一种新的点云学习框架点云Transformer（PCT）。PCT是基于Transformer的，它在自然语言处理方面取得了巨大的成功，在图像处理方面显示出巨大的潜力。它在处理点序列时具有固有的置换不变性，因此非常适合点云学习。为了更好地捕捉点云内的局部上下文，我们在最远点采样和最近邻搜索的支持下增强了输入嵌入。大量的实验表明，PCT实现的形状分类，部分分割和正常的估计任务的最先进的性能。
2021-06-07 cs.CV
LIPT: Latency-aware Image Processing Transformer
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）
本文提出 LIPT，一种延迟感知的图像处理 Transformer，通过设计低延迟 LIPT block 结合自注意力与卷积，并引入 NVSM-SA 和 HRM 模块，在多个图像处理任务上实现实时 GPU 推理并达到最先进性能。
2024-04-29 cs.CV
Efficient Point Transformer with Dynamic Token Aggregating for LiDAR Point Cloud Processing
本文提出DTA-Former，通过可学习令牌稀疏化、动态令牌聚合和全局特征增强模块实现高效点云分类，并引入迭代令牌重建与W-net架构改进密集预测，在降低计算开销的同时提升LiDAR点云处理性能。
2024-12-25 cs.CV
Event Transformer. A sparse-aware solution for efficient event data processing
Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（比特布莱恩科技公司）
事件摄像机是许多在低资源和挑战性环境中运行的应用程序非常感兴趣的传感器。它们记录稀疏照明变化，具有高时间分辨率和高动态范围，同时它们呈现最小的功耗。然而，性能最好的方法往往忽略特定的事件数据属性，导致通用的，但计算昂贵的算法的发展。对于复杂的任务，努力寻求有效的解决方案通常无法实现最高精度的结果。这项工作提出了一种新的框架，事件Transformer（EvT），有效地利用事件数据属性是高效和准确的。我们引入了一个新的基于补丁的事件表示和一个紧凑的transformer-like架构来处理它。EvT是在不同的动作和手势识别基于事件的基准进行评估。评估结果显示，EvT的准确性优于或相当于最先进的水平，同时需要的计算资源显著减少，这使得EvT能够在GPU和CPU上以最小的延迟工作。
2022-04-18 cs.CV
Transformers in Vision: A Survey
MBZ University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Monash University（莫纳什大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
Transformer模型在自然语言任务上的惊人结果引起了视觉界的兴趣，研究它们在计算机视觉问题上的应用。在它们的突出优点中，与递归网络相比，Transformers使得能够对输入序列元素之间的长依赖性进行建模，并且支持序列的并行处理，长短期记忆（LSTM）。与卷积网络不同，Transformers的设计需要最小的电感偏差，并且自然适合作为集函数。此外，Transformers的简单设计允许处理多个模态（例如，图像、视频、文本和语音），并展示了对超大容量网络和巨大数据集的出色可扩展性。这些优势使得使用Transformer网络的许多视觉任务取得了令人兴奋的进展。本调查旨在全面概述计算机视觉学科中的Transformer模型。我们首先介绍Transformers成功背后的基本概念，即，自我注意、大规模预训练和双向编码。然后，我们将介绍Transformers在视觉中的广泛应用，包括流行的识别任务（例如，图像分类、目标检测、动作识别和分割），生成建模，多模式任务（例如，视觉问答、视觉推理和视觉基础），视频处理（例如，活动识别，视频预测），低级视觉（例如，图像超分辨率、图像增强和彩色化）和3D分析（例如，点云分类和分割）。我们比较了各自的优势和局限性的流行技术无论是在建筑设计和他们的实验价值。最后，我们提供了一个开放的研究方向和可能的未来工作的分析。
2022-01-19 cs.AI cs.CV cs.LG
IPT-V2: Efficient Image Processing Transformer using Hierarchical Attentions
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出IPT-V2，通过焦点上下文自注意力和全局网格自注意力构建分层注意力机制，兼顾局部与全局依赖，并引入结构重参数化，在去噪、去模糊、去雨及图像生成等任务上以更低计算复杂度取得领先性能。
2024-03-31 cs.CV
SLAMFormer-$\infty$: Infinite SLAM Transformer for Unbounded Frontend and Backend Processing
该研究提出首个无显式距离约束的几何Transformer SLAMFormer-∞，通过内存条件实现灵活坐标系统，前端高效局部计算、后端全局联合优化，在大规模数据集的轨迹估计与场景重建中性能优异，可适配超17公里的长轨迹。
2026-08-05 cs.CV cs.RO
Vision Transformer: Vit and its Derivatives
Transformer是一种基于注意力的编码器-解码器架构，它不仅彻底改变了自然语言处理（NLP）领域，而且在计算机视觉（CV）领域也做了一些开创性的工作。与卷积神经网络（CNN）相比，视觉Transformer（ViT）依靠出色的建模能力，在ImageNet、COCO和ADE 20 k等多个基准测试中实现了非常好的性能。ViT的灵感来自于自然语言处理中的自注意力机制，其中词嵌入被补丁嵌入所取代。本文综述了ViT的衍生物及其与其他领域的交叉应用。
2022-05-24 cs.CV
Multi-Label Plant Species Classification with Self-Supervised Vision Transformers
Georgia Institute of Technology（佐治亚理工学院）
本研究针对多标签植物物种分类任务，提出结合基础与微调版DINOv2自监督视觉Transformer的迁移学习方法，借助Spark分布式处理大规模图像瓦片数据，验证了该方案在多标签图像分类中的有效性。
2024-07-08 cs.CV cs.IR cs.LG
Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
该研究针对多模态大语言模型视觉指令微调成本高的问题，提出解耦视觉处理框架，替换预训练大语言模型上层解码器为轻量Transformer块，仅训练该块即可在多个基准上实现竞争力性能，降低了计算成本。
2026-07-30 cs.AI cs.CV
XCiT: Cross-Covariance Image Transformers
Facebook AI（脸书人工智能）；Inria（法国国家信息与自动化研究所）；Sorbonne University（索邦大学）
继在自然语言处理方面取得成功之后，Transformers最近在计算机视觉方面表现出了很大的希望。Transformers底层的自注意操作产生了所有标记（即单词或图像块）之间的全局交互，并使图像数据的灵活建模超越了卷积的局部交互。然而，这种灵活性带来了时间和内存的二次复杂性，阻碍了长序列和高分辨率图像的应用。我们提出了一个“转置”版本的自我注意力，跨功能通道，而不是令牌，其中的相互作用是基于关键字和查询之间的互协方差矩阵。由此产生的互协方差注意力（XCA）在令牌的数量上具有线性复杂度，并且允许高效地处理高分辨率图像。我们的互协方差图像Transformer（XCiT）是基于XCA构建的。它将传统Transformers的准确性与卷积架构的可扩展性相结合。我们通过报告多个视觉基准测试的出色结果来验证XCiT的有效性和通用性，包括ImageNet-1 k上的图像分类和自监督特征学习，COCO上的目标检测和实例分割，以及ADE 20 k上的语义分割。
2021-06-18 cs.CV cs.LG
Transformers in 3D Point Clouds: A Survey
University of Waterloo（滑铁卢大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Oxford（牛津大学）
Transformers一直是自然语言处理（NLP）和计算机视觉（CV）革命的核心。NLP和CV的巨大成功激发了人们探索在点云处理中使用Transformers。然而，Transformers如何应对点云的不规则性和无序性？Transformers对于不同的3D表示（例如，基于点或基于体素）？Transformers在各种3D加工任务中的能力如何？到目前为止，对这些问题的研究还没有系统的综述。我们首次全面概述了日益流行的用于3D点云分析的Transformers。我们首先介绍了Transformer架构的理论，并回顾了其在2D/3D领域的应用。然后，我们提出了三种不同的分类法（即，实现、数据表示和基于任务），它可以从多个角度对当前基于transformer的方法进行分类。此外，我们提出的变体和改进的自我注意力机制在3D的调查结果。为了证明Transformers在点云分析中的优越性，我们提出了各种基于Transformer的分类，分割和目标检测方法的综合比较。最后提出了三个潜在的研究方向，为三维Transformers的发展提供有益的参考。
2022-09-21 cs.CV
Magnetic Resonance Image Processing Transformer for General Accelerated Image Reconstruction
Boston University（波士顿大学）；Photonics Center（光子学中心）；Chobanian & Avedisian School of Medicine（乔巴尼亚与阿韦迪西安医学院）；Boston University Medical Campus（波士顿大学医学校区）；Rafik B. Hariri Institute for Computing and Computational Science & Engineering（拉菲克·B·哈里里计算与计算科学与工程研究所）
本研究提出基于ViT的磁共振图像处理Transformer（MR-IPT）框架，通过大规模多欠采样模式与加速设置数据集预训练，实现统一重建，泛化性与鲁棒性优于传统模型，为加速MRI提供高效解决方案。
2025-02-07 cs.CV cs.LG eess.IV
Survey: Transformer based Video-Language Pre-training
School of Information, Renmin University of China（中国人民大学信息学院）
受基于transformer的预训练方法在自然语言任务和进一步的计算机视觉任务上的成功启发，研究人员已经开始将Transformer应用于视频处理。本调查旨在对基于transformer的视频语言学习预训练方法进行全面的综述。我们首先简要介绍了Transformer结构作为背景知识，包括注意力机制、位置编码等，然后从代理任务、下游任务和常用视频数据集的角度描述了视频语言处理的预训练和微调的典型范例。接下来，我们将Transformer模型分类为单流和多流结构，突出它们的创新并比较它们的性能。最后，我们分析和讨论了视频语言预训练目前面临的挑战和未来可能的研究方向。
2021-09-21 cs.CV
Accelerating Vision Transformers on Brain Processing Unit
Suzhou Institute for Advanced Research,USTC University of Science and Technology of China（苏州先进研究所，中国科学技术大学）
本文提出了一种方法，通过将视觉变换器中的线性层替换为卷积运算符，使其能够充分利用BPUs的加速能力，从而在ImageNet上实现了80.4%的准确率和3.8倍的推理加速。
2026-02-06 cs.AI cs.CV
Enhancing Robustness in Post-Processing Watermarking: An Ensemble Attack Network Using CNNs and Transformers
National Yang Ming Chiao Tung University（国家阳明交通大学）；National Taiwan University（国立台湾大学）
本研究聚焦后处理水印，提出结合空间域CNN与频域Transformer的集成攻击网络以提升水印鲁棒性，在WAVES基准上验证其能显著增强基线方法抗攻击能力，尤其在再生攻击下将StegaStamp性能提升18.743%。
2025-09-03 cs.CV
SC-HVPPNet: Spatial and Channel Hybrid-Attention Video Post-Processing Network with CNN and Transformer
School of Computer Science and Technology（计算机科学与技术学院）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出SC-HVPPNet，通过设计空间与通道混合注意力融合模块，有效结合CNN与Transformer的局部与全局特征，显著提升了视频后处理质量并节省了比特率。
2024-04-23 cs.CV eess.IV
Transformer-Unet: Raw Image Processing with Unet
Beijing Zoezen Robot Co Ltd（北京佐伊森机器人有限公司）；Beihang University（北京航空航天大学）
医学图像分割是生物医学图像分析中的重要内容，受到了广泛的关注。良好的分割结果可以帮助医生进行判断，并进一步改善患者的体验。在医学图像分析的许多可用管道中，Unet是最受欢迎的神经网络之一，因为它通过在编码器和解码器之间添加级联来保持原始特征，这使得它仍然广泛用于工业领域。与此同时，作为一种在自然语言处理任务中占主导地位的流行模型，Transformer被引入到计算机视觉任务中，并在目标检测、图像分类和语义分割等任务中取得了良好的效果。因此，Transformer和Unet的组合应该比单独工作的两种方法更有效。在这篇文章中，我们通过在原始图像中添加Transformer模块而不是Unet中的特征图来提出Transformer-Unet，并在CT 82数据集上测试我们的网络用于胰腺分割。我们形成了一个端到端的网络，并在我们的实验中获得比许多以前的基于Unet的算法更好的分割结果。我们展示了我们的网络，并在本文中相应地显示我们的实验结果。
2021-09-17 cs.CV eess.IV
Line Segment Detection Using Transformers without Edges
University of California San Diego（加利福尼亚大学圣迭戈分校）
在本文中，我们提出了一个联合端到端的线段检测算法，使用Transformers是后处理和几何学引导的中间处理（边缘/交界处/区域检测）自由。我们的方法，命名为线段TRansformers（LETR），利用集成标记化查询，自我注意力机制，并通过跳过边缘元素检测和感知分组过程的标准启发式设计的编码-解码策略内Transformers。我们为Transformers配备了多尺度编码器/解码器策略，以在直接端点距离损失的情况下执行细粒度的线段检测。该损失项特别适合于检测几何结构，诸如不能方便地由标准限界框表示来表示的线段。Transformers学习通过自我关注的层次来逐渐细化线段。在我们的实验中，我们展示了Wireframe和YorkUrban基准测试的最新结果。
2021-04-30 cs.CV
AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images
University of British Columbia（不列颠哥伦比亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出AMIGO多模态图Transformer，通过共享上下文处理融合细胞级与组织级信息，在生存预测中显著优于现有方法，且仅需20%数据即可保持性能，并发布大型免疫组化数据集InUIT。
2023-07-05 cs.CV
From Rule-Based Models to Deep Learning Transformers Architectures for Natural Language Processing and Sign Language Translation Systems: Survey, Taxonomy and Performance Evaluation
United Arab Emirates University（阿联酋大学）；Emirates Center for Mobility Research（阿联酋移动性研究中心）
本文综述手语机器翻译从规则模型到 Transformers 架构的发展与分类，指出实时端到端手语-gloss-文本互译系统的需求和未来方向。
2024-08-27 cs.AI cs.CL cs.CV
End-to-End Referring Video Object Segmentation with Multimodal Transformers
Technion – Israel Institute of Technology（以色列理工学院）
参考视频对象分割任务（RVOS）涉及在给定视频的帧中分割文本参考对象实例。由于这种多模态任务的复杂性，它结合了文本推理，视频理解，实例分割和跟踪，现有的方法通常依赖于复杂的管道，以解决it. In本文中，我们提出了一个简单的基于transformer的方法RVOS。我们的框架，称为多模态跟踪Transformer（MTTR），模型的RVOS任务作为一个序列预测问题。随着计算机视觉和自然语言处理的最新进展，MTTR基于这样一种认识，即视频和文本可以通过单个多模式Transformer模型有效而优雅地处理在一起。MTTR是端到端可训练的，不含与文本相关的感应偏差组件，并且不需要额外的掩码优化后处理步骤。因此，与现有方法相比，它大大简化了RVOS管道。对标准基准的评估表明，MTTR在多个指标上明显优于以前的技术。特别是，MTTR在A2 D-Sentences和JHMDB-Sentences数据集上分别显示出令人印象深刻的+5.7和+5.0 mAP增益，同时每秒处理76帧。此外，我们报告了Refer-YouTube-VOS公共验证集的强有力结果，这是一个更具挑战性的RVOS数据集，尚未得到研究人员的关注。复制我们实验的代码可以在https://github.com/mttr2021/MTTR上找到。
2022-04-03 cs.CL cs.CV cs.LG
Event Transformer+. A multi-purpose solution for efficient event data processing
Universidad de Zaragoza（萨拉戈萨大学）；Bitbrain Technologies（Bitbrain 科技公司）
本文提出多用途Event Transformer+，通过基于补丁的事件表示、鲁棒骨干与专用输出头，在动作识别和密集深度估计上以更低GPU/CPU计算开销达到SOTA性能。
2023-09-03 cs.CV
Nested-TNT: Hierarchical Vision Transformers with Multi-Scale Feature Processing
Nanyang Technological University（南洋理工大学）
本文提出Nested-TNT模型，通过引入嵌套算法增强多头注意力机制间的交互，在TNT多尺度特征处理基础上减少冗余并提高利用率，在CIFAR10和FLOWERS102数据集上的分类性能显著优于ViT和TNT。
2024-04-20 cs.AI cs.CV
Latent Video Transformer
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；New York University（纽约大学）
视频生成任务可以被公式化为给定一些过去帧的未来视频帧的预测。最近的视频生成模型面临着高计算要求的问题。某些模型需要多达512个张量处理单元进行并行训练。在这项工作中，我们解决这个问题，通过建模的动态在一个潜在的空间。在将帧转换为潜在空间之后，我们的模型以自回归的方式预测下一帧的潜在表示。我们展示了我们的方法在BAIR机器人推和动力学-600数据集上的性能。该方法倾向于将训练模型的要求减少到8个图形处理单元，同时保持相当的生成质量。
2020-06-18 cs.CV cs.LG eess.IV
Point Transformer
University of Oxford（牛津大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Intel Labs（英特尔实验室）
自注意网络已经彻底改变了自然语言处理，并在图像分析任务（如图像分类和目标检测）方面取得了令人印象深刻的进展。受此成功的启发，我们研究了自注意网络在3D点云处理中的应用。我们为点云设计了自注意层，并使用这些层来构建自注意网络，用于语义场景分割，对象部分分割和对象分类等任务。我们的Point Transformer设计改进了以前跨域和任务的工作。例如，在用于大规模语义场景分割的具有挑战性的S3DIS数据集上，Point Transformer在Area 5上达到了70.4%的mIoU，比最强的先验模型高出3.3个绝对百分点，并首次超过了70%的mIoU阈值。
2021-09-26 cs.CV
A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics
The University of Hong Kong（香港大学）；West China Hospital, Sichuan University（四川大学华西医院）；Deepwise Healthcare（深睿医疗）；Zhuhai People’s Hospital and the First Affiliated Hospital of Faculty of Medicine, Macau University of Science and Technology and University Hospital（澳门科技大学医学院附属第一医院、珠海市人民医院及大学医院）；Peking University（北京大学）；Guangzhou Laboratory（广州实验室）；Jinling Hospital, Nanjing University School of Medicine（南京大学医学院附属金陵医院）
本文提出一种基于 Transformer 的统一多模态表示学习模型，融合影像、主诉、病史及结构化临床信息，在肺病识别和 COVID-19 不良结局预测中显著优于仅图像及非统一多模态模型。
2023-06-01 cs.CL cs.CV cs.LG
Soft Masked Transformer for Point Cloud Processing with Skip Attention-Based Upsampling
Artificial Intelligence School, Anhui University（安徽大学人工智能学院）；National Engineering Laboratory for Robot Visual Perception and Control Technology, College of Electrical and Information Engineering, Hunan University（机器人视觉感知与控制技术国家工程实验室，湖南大学电气与信息工程学院）；Artificial Intelligence School, Xidian University（西安电子科技大学人工智能学院）；Department of Computer Science, The University of Western Australia（西澳大学计算机科学系）；Central Queensland University（中央昆士兰大学）
SMTransformer通过整合任务级信息和跳过注意力上采样提升点云处理性能，实现S3DIS和SWAN数据集上的高精度语义分割。
2026-01-29 cs.CV
LINEA: Fast and Accurate Line Detection Using Scalable Transformers
The University of New Mexico（新墨西哥大学）
本文提出LINEA，一种基于可变形直线注意力（DLA）的Transformer直线检测方法，无需大型数据集预训练，在分布外测试中速度更快且sAP精度更高。
2025-05-22 cs.CV
Three things everyone should know about Vision Transformers
Meta AI；Sorbonne University（索邦大学）；Inria（法国国家信息与自动化研究所）
Transformer架构在自然语言处理领域取得初步成功后，在计算机视觉领域迅速获得了广泛应用，为图像分类、检测、分割和视频分析等任务提供了最先进的结果。我们提供了三个基于简单易行的视觉Transformer变体的见解。(1)通常顺序处理的视觉Transformer的剩余层可以在某种程度上并行有效地处理，而不会明显影响精度。(2)微调注意层的权重足以使视觉Transformer适应更高的分辨率和其他分类任务。这节省了计算，降低了微调时的峰值内存消耗，并允许在任务之间共享大部分权重。(3)添加基于MLP的补丁预处理层改进了基于补丁掩蔽的Bert式自监督训练。我们使用ImageNet-1 k数据集评估了这些设计选择的影响，并在ImageNet-v2测试集上证实了我们的发现。传输性能在六个较小的数据集上进行测量。
2022-03-18 cs.CV
A New Perspective to Boost Vision Transformer for Medical Image Classification
Tencent Jarvis Lab（腾讯杰维斯实验室）
Transformer在各种计算机视觉任务中取得了令人印象深刻的成功。然而，大多数现有的研究需要在大规模标记数据集上预训练Transformer主干（例如，ImageNet）以获得令人满意的性能，这通常不适用于医学图像。此外，由于医学图像和自然图像之间的差距，ImageNet预训练权重产生的改进在将权重转移到医学图像处理任务时会显着降低。在本文中，我们提出了自举自身潜在的Transformer（BOLT），一种自监督学习方法，专门用于医学图像分类与Transformer骨干。我们的BOLT由两个网络组成，即在线和目标分支，用于自监督表示学习。具体地，训练在线网络以预测具有不同扰动的相同补丁嵌入令牌的目标网络表示。为了从有限的医学数据中最大限度地挖掘Transformer的影响力，我们提出了一个辅助难度排名任务。Transformer被强制识别哪个分支（即，在线/目标）正在处理更困难的扰动令牌。总体而言，Transformer努力从扰动的令牌中提取变换不变特征，以同时实现难度测量并保持自监督表示的一致性。在三个医学图像处理任务上评估所提出的BOLT，即，皮肤病变分级、膝关节疲劳骨折分级和糖尿病视网膜病变分级。实验结果验证了我们的BOLT在医学图像分类中的优越性，与ImageNet预训练权重和最先进的自监督学习方法相比。
2023-01-03 cs.AI cs.CV
A Saccade-inspired Approach to Image Classification using Vision Transformer Attention Maps
Institut de Neurosciences de la Timone, Aix-Marseille Université, CNRS（神经科学蒂姆研究所，艾克斯-马赛大学，CNRS）；Laboratoire d’Électronique, Antennes et Télécommunications, Université Côte d’Azur, CNRS（电子、天线和电信实验室，蔚蓝海岸大学，CNRS）
本文提出了一种受眼动启发的图像分类方法，利用DINO生成的注意力图，通过模拟眼动过程提高分类性能。
2026-03-11 cs.CV
Fast Point Transformer
POSTECH GSAI & CSE（浦项科技大学研究生院人工智能系与计算机科学与工程系）
最近神经网络的成功使得能够更好地解释3D点云，但处理大规模3D场景仍然是一个具有挑战性的问题。目前大多数方法将大规模场景划分为小区域，并将局部预测组合在一起。然而，该方案不可避免地涉及额外的预处理和后处理阶段，并且由于局部视角的预测，也可能降低最终输出。本文介绍了Fast Point Transformer，它由一个新的轻量级自关注层组成。我们的方法对连续的3D坐标进行编码，基于体素散列的架构提高了计算效率。通过三维语义分割和三维检测验证了该方法的有效性。我们的方法的准确性与最好的基于体素的方法相比具有竞争力，我们的网络的推理时间比最先进的Point Transformer快129倍，并且在S3DIS数据集上的3D语义分割中具有合理的准确性。
2022-04-04 cs.CV
Underwater Image Enhancement Using Pre-trained Transformer
Khalifa University（哈利法大学）；Technology Innovation Institute（技术创新研究所）
本文的目的是应用一种去噪图像变换器（Transformer）来去除水下图像中的失真，并与其他类似的方法进行比较。水下图像的自动恢复起着重要的作用，因为它可以提高图像的质量，而不需要更昂贵的设备。这是机器学习算法支持海洋勘探和监测的重要作用的一个重要例子，减少了人工干预的需要，如手动处理图像，从而节省了时间，精力和成本。本文是第一次应用的图像变换为基础的方法称为“预训练图像处理Transformer”水下图像。该方法在UFO-120数据集上进行了测试，该数据集包含1500张图像以及相应的干净图像。
2022-04-08 cs.CV eess.IV
Resolution Enhancement Processing on Low Quality Images Using Swin Transformer Based on Interval Dense Connection Strategy
Tamkang University（淡江大学）
本研究提出基于区间密集连接策略的SwinOIR模型，通过提升模型特征重用性，在低计算资源下实现图像超分辨率和对象检测的高效处理。
2023-05-13 cs.CV
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University（国立阳明交通大学）
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制，研究人员开发了视觉Transformer，用于各种计算机视觉任务，如图像识别，目标检测，图像分割，姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧（包括自监督学习）的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
Enhancing Transformers Through Conditioned Embedded Tokens
Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）
针对Transformer注意力模块固有病态条件导致训练低效的问题，提出条件化嵌入token方法，通过理论关联调整嵌入token改善注意力条件性，在多视觉及NLP任务的多种Transformer架构上实现稳定性能提升。
2025-10-04 cs.CV
DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation
针对视觉Transformer在资源受限设备上部署的高复杂度问题，本文提出DeVIT方法，通过量化引入的值局部性，利用差分计算实现无乘法器的矩阵乘法，以实现低功耗加速。
2026-08-04 cs.AI cs.AR cs.CV
A Survey on Visual Transformer
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）；The University of Sydney（悉尼大学）
本文综述了视觉Transformer在不同视觉任务中的分类、优缺点及高效方法，并探讨了自注意力机制、当前挑战与未来研究方向。
2023-07-10 cs.AI cs.CV
