Vision Transformers with Patch Diversification
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook(脸书)
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而,直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能,例如,结合卷积层。相比之下,我们研究了一种正交方法来稳定视觉Transformer训练,而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说,对于深度视觉Transformer,自注意力块倾向于将不同的补丁映射到类似的潜在表示中,从而产生信息丢失和性能下降。为了缓解这个问题,在这项工作中,我们在视觉Transformer训练中引入了新的损失函数,以明确鼓励补丁表示的多样性,以实现更具鉴别力的特征提取。我们的经验表明,我们提出的技术稳定的训练,并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明,多样化的功能显着有利于下游任务的迁移学习。对于语义分割,我们增强了Cityscapes和ADE 20 k上的最新(SOTA)结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
Patch Slimming for Efficient Vision Transformers
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
通过挖掘给定网络中的冗余计算,研究了可视化Transformers的效率问题。最近的Transformer架构已经证明了其在一系列计算机视觉任务上实现出色性能的有效性。然而,与卷积神经网络类似,视觉Transformer的巨大计算成本仍然是一个严峻的问题。考虑到注意力机制是逐层聚合不同的补丁,我们提出了一种新的补丁瘦身方法,在一个自顶向下的范例中丢弃无用的补丁。我们首先在最后一层中识别有效的补丁,然后使用它们来指导前面几层的补丁选择过程。对于每一层,补丁对最终输出特征的影响是近似的,影响较小的补丁将被删除。在基准数据集上的实验结果表明,该方法可以在不影响视觉Transformer性能的前提下,显著降低其计算量.例如,在ImageNet数据集上,ViT-Ti模型的FLOP可以减少45%以上,而top-1准确率仅下降0.2%。
2022-04-04 cs.CV cs.LG
Beyond the Permutation Symmetry of Transformers: The Role of Rotation for Model Fusion
University of Virginia(弗吉尼亚大学)
本文提出用于 Transformer 的旋转对称性,通过在连续域旋转自注意力层参数矩阵扩大等价集,并据此提出理论上最优的即插即用参数匹配算法,显著提升了自然语言与视觉任务中的模型融合效果。
2025-05-28 cs.CV cs.LG
Dual PatchNorm
Google Research(谷歌研究院)
提出双 PatchNorm,在视觉 Transformer 的 patch 嵌入层前后各加一个层归一化,优于穷举搜索的放置策略,能提升准确率且不损害性能。
2023-05-08 cs.CV cs.LG
Where are my Neighbors? Exploiting Patches Relations in Self-Supervised Vision Transformer
University of Padova(帕多瓦大学)
视觉Transformer(ViTs)支持在视觉任务中使用Transformer架构,在大数据集上训练时表现出令人印象深刻的性能。然而,在相对较小的数据集上,ViT由于缺乏归纳偏差而不太准确。为此,我们提出了一个简单但仍然有效的自监督学习(SSL)策略来训练ViTs,没有任何外部注释或外部数据,可以显着提高结果。具体来说,我们定义了一组SSL任务的基础上的关系的图像补丁,该模型必须解决之前或联合监督任务。从ViT继承,我们的RelViT模型优化了与图像块相关的Transformer编码器的所有输出令牌,从而在每个训练步骤中利用更多的训练信号。我们在几个图像基准上研究了我们的方法,发现RelViT大幅提高了SSL最先进的方法,特别是在小数据集上。代码可在:https://github.com/guglielmocamporese/relvit.
2022-10-13 cs.CV cs.LG
PerFormer: A Permutation Based Vision Transformer for Remaining Useful Life Prediction
针对视觉Transformer直接用于多变量传感器RUL预测时存在的时间序列空间信息模糊问题,提出基于排列的PerFormer模型,通过排列损失生成排列矩阵模拟图像空间特征,在C-MAPSS数据集上性能优于现有主流方法,可有效用于预测与健康管理。
2025-06-13 cs.CV cs.LG
Certified Patch Robustness via Smoothed Vision Transformers
MIT(麻省理工学院)
经过认证的补丁防御可以保证图像分类器对有界连续区域内的任意变化的鲁棒性。但是,目前,这种鲁棒性是以降低标准精度和降低推理时间为代价的。我们演示了如何使用视觉Transformer,使更好的认证补丁的鲁棒性,也是更有效的计算,并不会导致标准精度的大幅下降。这些改进源于视觉Transformer优雅地处理大部分被掩蔽的图像的固有能力。我们的代码可在https://github.com/MadryLab/smoothed-vit上获得。
2021-10-11 cs.AI cs.CV cs.LG
OAMixer: Object-aware Mixing Layer for Vision Transformers
KAIST(韩国科学技术院)
基于补丁的模型,例如,视觉Transformer(ViTs)和混合器在各种视觉识别任务上显示出令人印象深刻的结果,替代了经典的卷积网络。虽然最初的基于补丁的模型(ViTs)平等对待所有补丁,最近的研究表明,纳入归纳偏差,如空间性的代表。然而,大多数先前的工作只集中在补丁的位置,忽略了场景结构的图像。因此,我们的目标是进一步指导使用对象信息的补丁的相互作用。具体来说,我们提出了OAMixer(对象感知混合层),它校准基于对象标签的补丁模型的补丁混合层。在这里,我们以无监督或弱监督的方式获得对象标签,即,不需要额外的人工注释成本。使用对象标签,OAMixer使用可学习的缩放参数计算重新加权遮罩,该参数增强包含类似对象的补丁的交互,并将遮罩应用于补丁混合层。通过学习以对象为中心的表示,我们证明了OAMixer提高了各种基于补丁的模型(包括ViTs,MLP Mixers和ConvMixers)的分类准确性和背景鲁棒性。此外,我们展示了OAMixer增强了各种下游任务,包括大规模分类,自监督学习和多对象识别,验证了OAMixer的通用适用性
2022-12-13 cs.CV cs.LG
REOrdering Patches Improves Vision Models
University of Pittsburgh(匹兹堡大学);University of California, Berkeley(加州大学伯克利分校)
诸如Transformers之类的序列模型要求输入被表示为一维序列。在视觉中,这通常涉及使用固定的行为主(光栅扫描)顺序来平整图像。虽然完全的自我注意是置换等变的,但现代长序列Transformers越来越依赖于打破这种不变性并引入对补丁排序敏感性的架构近似。我们表明,补丁顺序显着影响模型的性能,在这样的设置,与简单的替代品,如列主要或希尔伯特曲线产生显着的准确性变化。出于这一动机,我们提出了REOrder,一个两阶段的框架,发现任务最优的补丁排序。首先,我们通过评估各种补丁序列的可压缩性来获得信息理论先验。然后,我们通过使用REINFORCE优化Plackett-Luce策略来学习置换策略。这种方法能够在组合置换空间中进行有效的学习。在ImageNet-1 K上,REOrder将行优先排序的前1精度提高了3.01%,将Functional Map of the World提高了13.35%。
2025-10-23 cs.AI cs.CV cs.LG
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research(百度研究院);The University of Hong Kong(香港大学)
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer(如ViT和DeiT)采用全局自注意,当补丁数量很大时,这在计算上是昂贵的。为了提高效率,最近的视觉Transformer采用局部自注意力机制,其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率,但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制,在本文中,我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇,并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系,但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer(BOAT),它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成,在几个基准数据集上进行的大量实验表明,我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
Understanding and Improving Robustness of Vision Transformers through Patch-based Negative Augmentation
Google Research(谷歌研究院)
我们研究了视觉Transformer(ViTs)的鲁棒性,通过他们特殊的基于补丁的架构结构,即,它们将图像处理为图像块的序列。我们发现,ViTs是令人惊讶的不敏感补丁为基础的转换,即使在很大程度上破坏了原始的语义,使人类无法识别的图像。这表明ViTs大量使用在这种转换中幸存下来的特征,但通常不指示人类的语义类。进一步的研究表明,这些特征是有用的,但不稳健,因为在它们上训练的ViT可以实现高的分布内准确性,但在分布偏移下会崩溃。基于这种理解,我们会问:训练模型以减少对这些特征的依赖,是否可以提高ViT的鲁棒性和分布外性能?我们使用基于补丁的操作转换的图像作为负增强视图,并提供损失来正则化训练,避免使用非鲁棒特征。这是对现有研究的补充,现有研究主要集中在用语义保持转换来增强输入以增强模型的不变性。我们表明,基于补丁的负增强在广泛的基于ImageNet的鲁棒性基准测试中始终提高了ViTs的鲁棒性。此外,我们发现我们的补丁为基础的负增强传统的(正)数据增强的补充,并一起进一步提高性能。
2023-02-22 cs.CV cs.LG
Patch-based Object-centric Transformers for Efficient Video Generation
UC Berkeley(加州大学伯克利分校);Panasonic(松下)
在这项工作中,我们提出了基于补丁的以对象为中心的视频Transformer(POVT),一种新的基于区域的视频生成架构,利用以对象为中心的信息,有效地模拟视频中的时间动态。我们建立在以前的工作,通过自回归Transformer在压缩视频的离散潜在空间的视频预测,与添加修改模型对象为中心的信息,通过边界框。由于以对象为中心的表示具有更好的可压缩性,我们可以通过允许模型仅访问对象信息以获取更长时间范围的时间信息来提高训练效率。当在各种困难的以对象为中心的数据集上进行评估时,我们的方法与其他视频生成模型相比具有更好或相同的性能,同时保持计算上更高效和可扩展性。此外,我们表明,我们的方法是能够执行以对象为中心的可控性,通过限界框操纵,这可能有助于下游任务,如视频编辑,或视觉规划。样品可在https://sites.google.com/view/povt-public上获得
2022-06-19 cs.CV cs.LG
Efficient Vision Transformer for Human Pose Estimation via Patch Selection
University of Pennsylvania(宾夕法尼亚大学)
本文提出三种基于patch选择的ViT计算复杂度降低方法,在六个基准上将计算量减少30%至44%,准确率仅下降0%至3.5%。
2023-11-22 cs.CV cs.LG
PatchBlender: A Motion Prior for Video Transformers
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Meta AI;FAIR(基础人工智能研究团队);Apple Machine Learning Research(苹果机器学习研究院);Microsoft Research(微软研究院);Polytechnique Montréal(蒙特利尔理工学院)
Transformers已经成为计算机视觉领域的主导架构之一。然而,当将这样的架构应用于视频数据时,仍然存在若干挑战。最值得注意的是,这些模型难以有效地对视频数据的时间模式进行建模。直接针对这个问题,我们引入PatchBlender,一个可学习的混合函数,它在潜在空间的时间维度上对补丁嵌入进行操作。我们表明,我们的方法是成功的,使视觉Transformer编码的视频数据的时间分量。在Something-Something v2和MOVi-A上,我们证明了我们的方法提高了视频Transformers的基线性能。PatchBlender的优点是与几乎任何Transformer架构兼容,并且由于它是可学习的,因此模型可以自适应地打开或关闭先验。它也是非常轻量级的计算明智的,0.005%的GFLOPs的ViT-B。
2023-02-10 cs.AI cs.CV cs.LG
Phase Marginalization for Patch-Grid Instability in Vision Transformers
Scientific and Technological Research Council of Türkiye(土耳其科学技术研究委员会)
提出相位边缘化方法,通过评估结构化补丁网格相位、逆对齐密集输出并在原始图像坐标系聚合,消除视觉Transformer中补丁网格相位引起的预测不稳定性,无需训练即可提升分割、深度和匹配性能。
2026-06-06 cs.CV cs.LG
PatchTrAD: A Patch-Based Transformer focusing on Patch-Wise Reconstruction Error for Time Series Anomaly Detection
INSA Rouen(鲁昂国立应用科学学院);Univ Rouen(鲁昂大学);Normandie Univ(诺曼底大学)
本文提出PatchTrAD,一种在重构框架下结合分块与Transformer编码器的时间序列异常检测模型,在多个基准上达到与前沿深度学习模型相当的检测性能,并提升推理效率。
2025-06-10 cs.AI cs.LG
Accelerating Vision Transformers with Adaptive Patch Sizes
Carnegie Mellon University(卡内基梅隆大学);KAIST(韩国科学技术院);General Robotics(通用机器人)
本文提出自适应补丁变换器APT,通过在图像内使用不同大小的补丁来减少输入token数量,从而加速ViT的推理和训练,提升吞吐量并保持性能。
2026-04-22 cs.AI cs.CV cs.LG
An Image is Worth More Than 16x16 Patches: Exploring Transformers on Individual Pixels
FAIR, Meta AI(FAIR,Meta人工智能);University of Amsterdam(阿姆斯特丹大学)
研究发现普通Transformer可直接将单个像素作为token,在分类回归、掩码自编码和扩散生成任务上取得高性能,从而质疑视觉架构中局部性归纳偏置的必要性。
2025-03-13 cs.CV cs.LG
Do Vision Transformers Need All-to-All Attention? Global Communication Through Elastic Learned Cores
Carnegie Mellon University(卡内基梅隆大学);University of Hong Kong(香港大学);Columbia University(哥伦比亚大学)
本文提出VECA架构,通过弹性核心-外围注意力机制实现线性复杂度,避免二次缩放,提升高分辨率视觉任务性能。
2026-10-02 cs.CV cs.LG
Learning to Merge Tokens in Vision Transformers
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
Transformers被广泛应用于解决自然语言理解和计算机视觉任务。虽然扩展这些架构可以提高性能,但通常会以更高的计算成本为代价。为了使大规模模型在现实世界的系统中保持实用,需要减少其计算开销。在这项工作中,我们提出了PatchMerger,这是一个简单的模块,通过在两个连续的中间层之间合并补丁或令牌来减少网络必须处理的补丁或令牌的数量。我们表明,PatchMerger实现了显着的加速在不同的模型大小,同时匹配的上游和下游的微调后的原始性能。
2022-02-24 cs.CV cs.LG
Learnable Permutation for Structured Sparsity on Transformer Models
本文提出了一种可学习的排列框架,用于提升Transformer模型的结构稀疏性剪枝效果,通过引入可学习成本矩阵和优化损失函数,实现了端到端的排列优化。
2026-01-30 cs.CL cs.LG
Entropy Guided Dynamic Patch Segmentation for Time Series Transformers
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(南洋理工大学电子与电气工程学院);Institute for Infocomm Research, A*STAR, Singapore(信息通信研究所,A*STAR,新加坡);Department of Computer Science, Khalifa University, UAE(计算机科学系,哈利法大学,阿联酋);Information Systems Technology and Design, Singapore University of Technology and Design, Singapore(信息系统技术与设计,新加坡科技与设计大学,新加坡)
本文提出熵引导的动态补丁编码器,通过动态检测时间转换点来提升时间序列建模的准确性和效率。
2026-11-10 cs.AI cs.CV cs.LG
Transformer Field Theory: A Response-Theoretic Approach to Mechanistic Interpretability
Universidade de Vigo(维戈大学);Independent Researcher(独立研究员)
本文提出场论框架,将残差流视为深度-标记场,通过局部源插入、灵敏度场预测、经验格林函数响应和伴随变分问题来组织和预测Transformer激活修补干预,并在GPT-2风格自回归Transformer中验证了前向响应理论。
2026-06-12 cs.AI cs.LG
Integrating Quantum-Classical Attention in Patch Transformers for Enhanced Time Series Forecasting
Linköping University(林雪平大学);Techno International New Town
QCAAPatchTF将量子-经典混合自注意力机制集成到基于patch的transformer编码器中,通过量子原理降低计算复杂度并增强多变量相关性,在时间序列预测、分类和异常检测任务上实现了最先进的准确性和效率。
2025-03-31 cs.LG
Green Hierarchical Vision Transformer for Masked Image Modeling
The University of Tokyo(东京大学);SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学)
提出了一种基于层次化视觉Transformer的掩码图像建模方法,该方法允许层次化视觉变换器丢弃掩模图像块,只对可见图像块进行操作.我们的方法包括三个关键设计。首先,对于窗口注意力,我们提出了一个组窗口注意力计划以下的分治策略。为了减轻自我注意力的二次复杂性。块的数量、组注意力促进了均匀划分,即任意大小的每个局部窗口内的可见块可以以相等的大小被分组,其中然后在每个组内执行掩蔽的自注意力。其次,通过动态规划算法进一步改进分组策略,以最小化注意力在分组块上的总计算开销。第三,对于卷积层,我们将其转换为稀疏卷积,该稀疏卷积与稀疏数据无缝地工作,即,MIM中可见的补丁。因此,MIM现在可以以绿色和高效的方式处理大多数(如果不是全部)分层ViT。例如,我们可以训练分层ViT,例如,Swin Transformer和Twins Transformer,约快2.7 $\times$,并将GPU内存使用量减少70%,同时在ImageNet分类上仍具有竞争力的性能,并在下游COCO目标检测基准测试中具有优势。代码和预训练模型已在https://github.com/LayneH/GreenMIM上公开提供。
2022-10-14 cs.CV cs.LG
Patch-level Representation Learning for Self-supervised Vision Transformers
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
最近的自监督学习(SSL)方法在学习未标记图像的视觉表示方面取得了令人印象深刻的结果。本文旨在通过利用底层神经网络的架构优势进一步提高其性能,因为当前最先进的SSL视觉借口任务无法享受这种好处,即,它们是体系结构不可知论的。特别是,我们专注于视觉Transformer(ViTs),它最近作为一种更好的架构选择而备受关注,通常在各种视觉任务中表现优于卷积网络。ViT的独特之处在于它从图像中提取一系列不相交的块,并在内部处理块级表示。受此启发,我们设计了一个简单而有效的视觉借口任务,创造了SelfPatch,用于学习更好的补丁级表示。具体来说,我们对每个补丁及其邻居强制不变性,即,每个块将相似的相邻块视为正样本。因此,使用SelfPatch训练ViT可以学习补丁之间更有语义意义的关系(而不使用人工注释的标签),这特别有利于密集预测类型的下游任务。尽管它的简单性,我们证明,它可以显着提高现有的SSL方法的各种视觉任务,包括目标检测和语义分割的性能。具体来说,SelfPatch通过在COCO目标检测上实现+1.3 AP,在COCO实例分割上实现+1.2 AP,在ADE 20 K语义分割上实现+2.9 mIoU,显著改进了最近的自监督ViT,DINO。
2022-07-19 cs.AI cs.CV cs.LG
From independent patches to coordinated attention: Controlling information flow in vision transformers
New Jersey Institute of Technology(新泽西理工学院)
该研究通过引入信息瓶颈控制视觉变换器中信息流,探索从局部补丁处理到全局注意力的可控光谱,并揭示了全局视觉表示的形成机制。
2026-02-04 cs.LG
ECG Signal Denoising Using Multi-scale Patch Embedding and Transformers
Ohio State University(俄亥俄州立大学)
本文提出一种结合一维卷积层和Transformer的深度学习方法,通过多尺度补丁嵌入增强去噪能力,以提高ECG信号信噪比,用于心血管监测。
2024-07-12 cs.LG eess.SP
SAG-ViT: A Scale-Aware, High-Fidelity Patching Approach with Graph Attention for Vision Transformers
Vellore Institute of Technology(韦洛尔理工大学)
本文提出 SAG-ViT,用 EfficientNetV2 提取多尺度特征并构建相似性图,经 GAT 细化后交由 Transformer 编码,从而增强 ViT 的多尺度上下文建模与图像分类性能。
2025-01-08 cs.AI cs.CV cs.LG
Multi-resolution Time-Series Transformer for Long-term Forecasting
McGill University(麦吉尔大学);Mila(米拉研究所);ILLS
针对时间序列预测中片段大小影响不同频率模式学习的问题,提出多分支架构MTST,同时建模多分辨率时序模式并采用相对位置编码提取多尺度周期成分,在真实数据集上优于现有技术。
2024-03-22 cs.LG
Advancing Long-Term Multi-Energy Load Forecasting with Patchformer: A Patch and Transformer-Based Approach
School of Mathematics, Statistics and Actuarial Science(数学、统计与精算科学学院);University of Essex(埃塞克斯大学);Alliance Manchester Business School(曼彻斯特联盟商学院);University of Manchester(曼彻斯特大学)
针对长期多能源负荷预测需求,提出融合补丁嵌入与Transformer架构的Patchformer模型,通过分块处理时间序列提升语义依赖捕捉能力,在多数据集上取得更优预测精度,且能有效利用序列长度与能源 interdependence 提升性能。
2024-04-16 cs.AI cs.LG
HiPerformer: Hierarchically Permutation-Equivariant Transformer for Time Series Forecasting
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能研究中心)
提出层级置换等变Transformer(HiPerformer),通过考虑组内与组间关系,提升多时间序列预测性能,并在真实数据上超越现有最先进方法。
2023-05-14 cs.LG
Towards Optimal Patch Size in Vision Transformers for Tumor Segmentation
Queen’s University(女王大学);Islamic Azad University(伊斯兰阿扎德大学);Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心)
针对视觉Transformer在肿瘤分割中因图像块尺寸不当导致的性能下降,本文提出基于病灶平均体积选择最优图像块尺寸的方法,并通过迁移学习在公开及私有数据集上验证,显著提升了分割性能。
2023-08-31 cs.CV cs.LG eess.IV
Adversarial Token Attacks on Vision Transformers
New York University(纽约大学)
与卷积网络相比,视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断,Transformer模型比卷积模型对令牌攻击更敏感,ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
The Impossibility of Inverse Permutation Learning in Transformer Models
Massachusetts Institute of Technology(麻省理工学院)
Transformer模型中反排列学习的不可能性,通过解码器-only架构的表达能力限制,提出通过添加空白标记实现可行的替代方法。
2025-12-10 cs.AI cs.LG
Permutation Robustness Is Not Enough: Action Collapse in Multi-Agent Transformer Policies
University of California, Merced(加州大学默塞德分校)
本研究揭示多智能体Transformer策略在排列鲁棒性评估中的陷阱,提出结合动作坍缩诊断,并发现弱等变性正则化可在保持动作多样性的同时提升鲁棒性。
2026-10-05 cs.LG cs.MA cs.RO
Spatiotemporal Self-attention Modeling with Temporal Patch Shift for Action Recognition
The Hong Kong Polytechnic University(香港理工大学);DAMO Academy, Alibaba(阿里巴巴达摩院)
基于变换器的方法最近在基于2D图像的视觉任务上取得了很大的进步。然而,对于基于3D视频的任务,如动作识别,直接应用时空Transformers的视频数据将带来沉重的计算和内存负担,由于补丁的数量大大增加和自注意计算的二次复杂度。如何高效地对视频数据的3D自注意力建模一直是Transformers面临的巨大挑战。在本文中,我们提出了一个时间补丁移位(TPS)的方法,有效的3D自我注意力建模Transformers基于视频的动作识别。TPS在时间维度上移动具有特定镶嵌模式的部分斑块,从而将香草空间自注意操作转换为时空操作,并且几乎没有额外的成本。因此,我们可以使用与2D自我注意力几乎相同的计算和内存成本来计算3D自我注意力。TPS是一个即插即用的模块,可以插入到现有的2D Transformer模型,以增强时空特征学习。所提出的方法在Something-something V1 & V2、Diving-48和Kinetics 400上实现了具有竞争力的性能,同时在计算和内存成本上更有效。TPS的源代码可以在https://github.com/MartinXM/TPS上找到。
2022-07-27 cs.AI cs.CV cs.LG
On the Expressive Power of Floating-Point Transformers
Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Department of Mathematics and Statistics, Sejong University(世宗大学数学与统计学系);Department of Mathematical Sciences, Gwangju Institute of Science and Technology(全州科学技术研究院数学科学系)
本文研究了浮点数变换器的表达能力,发现其在特定条件下可表示非排列等价函数,并揭示了位置编码对表示能力的影响。
2026-01-23 cs.LG
Approximation of Permutation Invariant Polynomials by Transformers: Efficient Construction in Column-Size
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文研究 transformer 对以矩阵为输入的列对称多项式的逼近能力,并利用对称多项式代数性质建立网络规模与逼近能力之间的显式关系。
2025-02-17 cs.LG math.FA
Sentinel: Multi-Patch Transformer with Temporal and Channel Attention for Time Series Forecasting
University of Verona(维罗纳大学);UniCredit(裕信银行)
针对现有顶尖Transformer时间序列预测架构难同时建模时序与通道间依赖的问题,提出融合通道编码器、时序解码器及多补丁注意力的Sentinel架构,在标准基准上取得更优或相当的性能。
2025-03-22 cs.LG stat.ML
Dense Transformer Networks
Washington State University(华盛顿州立大学);University of California, Davis(加利福尼亚大学戴维斯分校)
当前用于密集预测的深度学习方法的关键思想是在以每个像素为中心的规则块上应用模型来进行逐像素预测。这些方法的局限性在于补丁是由网络架构确定的,而不是从数据中学习的。在这项工作中,我们提出了密集的Transformer网络,它可以学习的形状和大小的补丁从数据。密集Transformer网络采用编码器-解码器架构,并且将一对密集Transformer模块插入到编码器和解码器路径中的每一个中。这项工作的新颖之处在于,我们提供了技术解决方案,用于从数据中学习补丁的形状和大小,并有效地恢复密集预测所需的空间对应关系。所提出的密集Transformer模块是可微的,因此可以训练整个网络。我们将所提出的网络应用于自然和生物图像分割任务,与基线方法相比,表现出优越的性能。
2017-06-08 cs.CV cs.LG cs.NE
A Prefixed Patch Time Series Transformer for Two-Point Boundary Value Problems in Three-Body Problems
Institute of Space and Astronautical Science, Japan Aerospace Exploration Agency(日本宇宙航空研究开发机构宇宙科学研究所);The Graduate University for Advanced Studies, SOKENDAI(高等研究生院(SOKENDAI));Tokyo Metropolitan University(东京都立大学);Preferred Networks, Inc.(Preferred Networks公司)
针对圆形限制性三体问题中传统解析方法无法求解地月轨迹两点边值问题的挑战,提出前缀拼接时间序列Transformer模型,利用终端条件前缀token的深度生成模型实现从月球飞掠到任意终端条件的自动化求解,为地月任务初步轨迹设计提供新方案。
2025-04-02 cs.LG
SEER: Transformer-based Robust Time Series Forecasting via Automated Patch Enhancement and Replacement
School of Data Science and Engineering, East China Normal University, Shanghai, China(数据科学与工程学院,东华大学,上海,中国)
SEER通过自动补丁增强与替换技术,提升时间序列预测的鲁棒性和准确性。
2026-01-31 cs.LG
Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting
School of Computer Science(计算机科学学院);Engineering, VIT-AP University(工程系,VIT-AP大学);Amaravati, Andhra Pradesh, 522241, India(安得拉邦阿马拉瓦蒂,522241,印度)
本文提出基于CNN和注意力机制的片段级分词方法,通过分离局部时间表示学习与全局依赖建模,提升变换器在时间序列预测中的性能。
2026-10-20 cs.AI cs.LG
CT-PatchTST: Channel-Time Patch Time-Series Transformer for Long-Term Renewable Energy Forecasting
School of Electrical and Computer Engineering(电气与计算机工程学院);Cornell University(康奈尔大学);Department of Electrical and Computer Engineering(电气与计算机工程系);Northeastern University(东北大学);Fu Foundation School of Engineering and Applied Science(富兰克林基金会工程与应用科学学院);Columbia University in the City of New York(纽约市哥伦比亚大学);School of Engineering(工程学院);Santa Clara University(圣克拉拉大学);Department of Mechanical and Aerospace Engineering(机械与航空航天工程系);University of Houston(休斯顿大学)
CT-PatchTST通过捕捉时间依赖性和跨通道相关性,提升风能和太阳能的长周期预测精度,优化能源存储调度,增强电网稳定性与响应性。
2026-01-21 cs.LG
PatchMixer: A Patch-Mixing Architecture for Long-Term Time Series Forecasting
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对Transformer自注意力机制丢失时间信息的问题,提出基于CNN的PatchMixer模型,利用深度可分离卷积和双重预测头在单尺度架构下提取局部与全局特征,在七个基准上实现SOTA性能且速度提升2-3倍。
2024-10-13 cs.LG
Patches Are All You Need?
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
虽然卷积网络多年来一直是视觉任务的主导架构,但最近的实验表明,基于transformer的模型,最著名的是视觉Transformer(ViT),在某些设置中可能会超过它们的性能。然而,由于Transformers中自注意层的二次运行时间,ViT需要使用补丁嵌入,将图像的小区域组合在一起成为单个输入特征,以便应用于更大的图像尺寸。这就提出了一个问题:ViT的性能是由于固有的更强大的Transformer架构,还是至少部分由于使用补丁作为输入表示?在本文中,我们提出了后者的一些证据:具体来说,我们提出了ConvMixer,这是一个非常简单的模型,在精神上类似于ViT和更基本的MLP混合器,因为它直接在补丁上操作作为输入,分离空间和通道维度的混合,并在整个网络中保持相同的大小和分辨率。然而,相比之下,ConvMixer仅使用标准卷积来实现混合步骤。尽管它很简单,但我们证明了ConvMixer在类似的参数计数和数据集大小方面优于ViT,MLP-Mixer及其一些变体,此外还优于ResNet等经典视觉模型。我们的代码可在https://github.com/locuslab/convmixer上获得。
2022-01-24 cs.AI cs.CV cs.LG
PatchCTG: Patch Cardiotocography Transformer for Antepartum Fetal Health Monitoring
University of Oxford(牛津大学);John Radcliffe Hospital(约翰·拉德克利夫医院)
提出基于 transformer 的 PatchCTG 模型,通过 patch 分词和通道独立处理分析 CTG 信号,在 OXMAT 数据集上验证了其在产前胎儿健康监测中提升临床决策的潜力。
2024-11-12 cs.AI cs.LG
VISION DIFFMASK: Faithful Interpretation of Vision Transformers with Differentiable Patch Masking
University of Amsterdam(阿姆斯特丹大学)
本文提出VISION DIFFMASK,一种利用隐藏层激活和门控机制识别视觉Transformer最小关键输入子集的事后可解释性方法,并在CIFAR-10和ImageNet-1K上验证了其忠实性。
2023-04-13 cs.AI cs.CV cs.LG
PatchSTG: Scalable Spatiotemporal Graph Transformers for Traffic Forecasting on Irregular Sensor Networks
Portsmouth Abbey School(波特茅斯修道学校);CodingFuture (Shanghai) Education Technology Co., Ltd.(上海CodingFuture教育科技有限公司)
提出PatchSTG,通过地理信息将传感器划分为平衡的局部补丁,并采用双注意力编码器交替捕捉局部和全局依赖,实现计算复杂度从二次降至近线性,在不规则传感器网络上取得高效且稳定的交通预测性能。
2026-06-02 cs.AI cs.LG
MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting
Layer 6 AI;University of Toronto(多伦多大学);The Vector Institute(向量研究所)
提出MultiResFormer,通过自适应选择最优patch长度并利用多分支周期性编码,在长期和短期预测中优于现有Transformer和CNN基线,且参数更少。
2024-02-08 cs.LG
Efficient Training of Audio Transformers with Patchout
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
基于transformer的模型在自然语言处理(NLP)中的巨大成功导致了各种尝试,使这些架构适应其他领域,如视觉和音频。最近的研究表明,Transformers在视觉和音频任务上的表现优于卷积神经网络(CNN)。然而,与成熟的CNN相比,Transformer模型的主要缺点之一是计算复杂性。在Transformers中,计算和内存的复杂度与输入长度成二次方增长。因此,在优化Transformers方面进行了大量的工作,但往往以降低预测性能为代价。在这项工作中,我们提出了一种新的方法来优化和正则化音频频谱图上的Transformers。我们提出的模型在Audioset上实现了最先进的性能,并且可以在单个消费级GPU上进行训练。此外,我们提出了一个Transformer模型,它在性能和训练速度方面都优于CNN。源代码:https://github.com/kkoutini/PaSST
2022-03-29 cs.LG cs.SD eess.AS
Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks
University of Oxford(牛津大学);AITRICS;Kakao Corporation(Kakao公司);POSTECH(浦项科技大学)
许多机器学习任务,例如多实例学习、3D形状识别和Few-Shot图像分类,都是在实例集上定义的。由于这些问题的解决方案不依赖于集合中元素的顺序,因此用于解决这些问题的模型应该是置换不变的。我们提出了一个基于注意力的神经网络模块,集Transformer,专门设计用于模拟输入集中元素之间的交互。该模型由一个编码器和一个解码器组成,两者都依赖于注意力机制。为了减少计算复杂性,我们引入了一个注意力计划的启发,从稀疏高斯过程的文献诱导点方法。它减少了自注意的计算时间从二次到线性的元素在集合中的数量。我们表明,我们的模型在理论上是有吸引力的,我们评估了一系列的任务,展示了最先进的性能相比,最近的方法集结构化数据。
2019-05-26 cs.LG stat.ML
Set Interdependence Transformer: Set-to-Sequence Neural Networks for Permutation Learning and Structure Prediction
IT University of Copenhagen(哥本哈根信息技术大学);Tjek A/S(Tjek公司)
对于神经网络来说,学习将输入集映射到其元素的置换序列上的任务是具有挑战性的。集合到序列问题出现在自然语言处理、计算机视觉和结构预测中,其中大集合的元素之间的相互作用定义了最优输出。模型必须表现出关系推理,处理不同的基数和管理组合的复杂性。先前的基于注意力的方法需要其集合变换的$n$层来显式地表示$n$阶关系。我们的目标是通过一个额外的相互依赖的组件,以提高他们的能力,有效地建模高阶的相互作用。我们提出了一种新的神经集编码方法,称为集相互依赖Transformer,能够将集合的置换不变表示与任何基数的集合内的元素。我们将其与置换学习模块结合成一个完整的3部分集合序列模型,并在许多任务上展示了其最先进的性能。这些范围从组合优化问题,通过对句子排序的合成和建立的NLP数据集的置换学习挑战,到产品目录结构预测的新领域。此外,网络的能力,以推广到看不见的序列长度的研究和现有的方法的能力,学习高阶相互作用的比较实证分析。
2022-06-08 cs.CL cs.LG