Efficient Long Sequence Modeling via State Space Augmented Transformer
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
Transformer模型在各种自然语言处理任务中取得了卓越的性能。然而，注意力机制的二次计算成本限制了其对长序列的实用性。现有的注意力变体提高了计算效率，但它们有效计算全局信息的能力有限。与Transformer模型并行，状态空间模型（SSM）是为长序列定制的，但是它们不够灵活以捕获复杂的局部信息。我们提出了SPADE，简称$\underline{\textbf{S}}$状态$\underline{\textbf{P}}$ ace $\underline{\textbf{A}}$ ugmente $\underline{\textbf{D}}$ Transform $\underline{\textbf{E}}$ r。具体来说，我们增加了SSM到SPADE的底层，我们采用有效的本地注意力方法的其他层。SSM增强了全局信息，这补充了局部注意力方法中缺乏长距离依赖性问题。在Long Range Arena基准测试和语言建模任务上的实验结果证明了该方法的有效性。为了进一步证明SPADE的可扩展性，我们对大型编码器-解码器模型进行了预训练，并在自然语言理解和自然语言生成任务上呈现了微调结果。
2022-12-15 cs.CL cs.LG
Template-Free Retrosynthesis with Graph-Prior Augmented Transformers
Youjun Zhao（独立研究者）
本文提出了一种无模板的 retrosynthesis 模型，通过引入分子图信息和配对数据增强策略，实现了比传统 transformer 基线更高的准确性和鲁棒性。
2025-12-15 cs.LG
Can Vision Transformers Perform Convolution?
Peking University（北京大学）；UCLA（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
最近的几项研究表明，基于注意力的网络，如视觉Transformer（ViT），在不使用卷积层的情况下，可以在几个计算机视觉任务上胜过卷积神经网络（CNN）。这自然会导致以下问题：ViT的自我注意层可以表达任何卷积运算吗？在这项工作中，我们证明了一个单一的ViT层与图像补丁作为输入可以执行任何卷积运算建设性的，其中的多头注意力机制和相对的位置编码起着至关重要的作用。我们进一步提供了视觉Transformer表达CNN的头数的下限。与我们的分析相对应，实验结果表明，我们的证明中的构造可以帮助将卷积偏差注入到Transformers中，并显着提高ViT在低数据状态下的性能。
2021-11-03 cs.CV cs.LG
CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers
Preferred Networks
CAT通过圆卷积和傅里叶变换实现亚二次复杂度的注意力机制，提升效率并减少参数量，适用于更长序列的变换器应用。
2026-01-05 cs.CL cs.CV cs.LG
Recurrent Memory-Augmented Transformers with Chunked Attention for Long-Context Language Modeling
Independent Researcher（独立研究者）
本文提出一种结合分块局部注意力与门控FIFO记忆机制的循环记忆增强Transformer，以线性成本高效建模长上下文依赖，并在PyTorch中从零实现，适用于对话、代码补全和文档理解等任务。
2025-07-01 cs.LG
Conformer LLMs -- Convolution Augmented Large Language Models
Stanford University（斯坦福大学）
本工作将卷积层与Transformer结合用于大型语言模型，通过因果卷积滤波器结合局部与全局依赖，在性能上取得显著提升，并展示了一种可超越语音应用用于大规模语言建模的稳健架构。
2023-07-02 cs.AI cs.CL cs.LG
Rethinking Spatio-Temporal Transformer for Traffic Prediction:Multi-level Multi-view Augmented Learning Framework
Heilongjiang University（黑龙江大学）
针对交通预测中复杂的时空相关性问题，提出LVSTformer模型，通过多级多视图空间注意力、门控时间注意力及时空上下文广播模块捕捉依赖关系，在六个基准上实现SOTA性能，最大提升4.32%。
2024-06-17 cs.AI cs.LG
Optimal Scaling Laws for Efficiency Gains in a Theoretical Transformer-Augmented Sectional MoE Framework
Collins Aerospace（柯林斯宇航公司）
本文提出一种分段式MoE架构，通过分割嵌入维度并利用前置Transformer层保持表示，推导最优缩放定律以在硬件约束下确定专家数量，提升计算效率与可扩展性。
2025-03-26 cs.AI cs.LG
Exploring Transformer-Augmented LSTM for Temporal and Spatial Feature Learning in Trajectory Prediction
University of Tennessee（田纳西大学）
本文提出一种结合LSTM与Transformer编码器的混合模型，用于车辆轨迹预测的时空特征学习，虽未超越现有LSTM方法，但展示了构建可解释预测模型的潜力。
2024-12-18 cs.CV cs.LG cs.RO
RingFormer: A Neural Vocoder with Ring Attention and Convolution-Augmented Transformer
Kwangwoon University（光云大学）
RingFormer通过引入环注意力机制和卷积增强变换器，提升神经语音合成器在实时音频生成中的性能。
2025-07-19 cs.LG cs.SD eess.AS
Adversarial Token Attacks on Vision Transformers
New York University（纽约大学）
与卷积网络相比，视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断，Transformer模型比卷积模型对令牌攻击更敏感，ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
MossFormer: Pushing the Performance Limit of Monaural Speech Separation using Gated Single-Head Transformer with Convolution-Augmented Joint Self-Attentions
Alibaba Group（阿里巴巴集团）
基于Transformer的模型在单声道语音分离中提供了显著的性能改进。然而，与最近提出的上限相比，仍然存在性能差距。目前双通道Transformer模型的主要局限性是对长距离元素相互作用和局部特征模式的建模效率低下。在这项工作中，我们实现了上限，提出了一个门控单头Transformer架构与卷积增强联合自关注，命名为\textit{MossFormer}（\textit{Mo}自然\textit{s}语音\textit{s}分离\textit{Former}）。为了有效地解决双路径架构中跨块的间接元素交互，MossFormer采用了一种联合的局部和全局自注意架构，该架构同时对局部块执行全计算自注意和对全序列执行线性化低成本自注意。联合注意力使MossFormer能够直接模拟全序列元素相互作用。此外，我们采用了一个强大的注意门控机制与简化的单头自我关注。除了精心的长期建模，我们还增加了MossFormer与卷积的位置明智的局部模式建模。因此，MossFormer显著优于以前的模型，并在WSJ 0 -2/3 mix和WHAM上实现了最先进的结果！/哇！基准。我们的模型在WSJ 0 - 3 mix上实现了21.2 dB的SI-SDRi上限，在WSJ 0 - 2 mix上仅低于23.1 dB的上限0.3 dB。
2023-02-23 cs.LG cs.SD eess.AS
ConvFormer: Parameter Reduction in Transformer Models for 3D Human Pose Estimation by Leveraging Dynamic Multi-Headed Convolutional Attention
Inseer, Inc.（Inseer公司）
提出ConvFormer卷积Transformer，利用动态多头卷积自注意力机制全面建模时空关节关系，在三个基准数据集上实现SOTA或接近SOTA性能的同时显著减少了模型参数。
2023-04-04 cs.CV cs.LG
Deeply learning molecular structure-property relationships using attention- and gate-augmented graph convolutional network
KAIST（韩国科学技术院）
分子结构-性质关系是分子工程材料和药物发现的关键。深度学习的兴起提供了一种新的可行的解决方案，可以直接从化学数据中阐明结构-性质关系。在这里，我们表明，图卷积网络（GCN）预测分子性质的性能可以通过引入注意力“与”门机制来提高。注意力机制使GCN能够识别不同环境中的原子。门控跳过连接通过以适当的速率更新特征图来进一步改进GCN。我们证明，由此产生的注意力-“与”门-增强的GCN可以提取更好的结构特征相关的目标分子性质，如溶解度，极性，合成的可及性和光伏效率相比，香草GCN。更有趣的是，它确定了分子的两个不同部分作为高光伏效率的基本结构特征，并且每个部分分别与电荷转移激发的供体和受体轨道区域相吻合。因此，新模型可以准确地预测分子特性，并将具有相似特性的分子放置在经过良好训练的潜在空间中，这对于成功的分子工程至关重要。
2018-10-08 cs.LG stat.ML
EENED: End-to-End Neural Epilepsy Detection based on Convolutional Transformer
Nanyang Technological University（南洋理工大学）；Zhejiang Sci-Tech University（浙江理工大学）
本文提出端到端神经癫痫检测模型 EENED，通过将卷积模块引入 Transformer 编码器，结合两者优势捕获 EEG 信号不同尺度特征，有效提升癫痫检测的准确性与可靠性。
2023-09-08 cs.AI cs.LG eess.SP
Improving Graph Convolutional Networks with Transformer Layer in social-based items recommendation
HMI Lab VNU University of Engineering and Technology（河内国立大学工程与技术大学 HMI 实验室）
本文提出在GCN中引入Transformer编码器层，通过注意力机制重排节点特征空间，提升社交网络评分预测和链接预测性能。
2024-01-12 cs.AI cs.IR cs.LG
Attention is All You Need? Good Embeddings with Statistics are enough:Large Scale Audio Understanding without Transformers/ Convolutions/ BERTs/ Mixers/ Attention/ RNNs or ....
Stanford University（斯坦福大学）
本文提出了一种在没有传统的最先进的神经架构的情况下进行大规模音频理解的方法。自从在过去十年中引入深度学习来理解音频信号以来，卷积架构已经能够实现超越传统手工制作功能的最先进结果。最近，从传统的卷积和递归神经网络向纯粹的端到端Transformer架构进行了类似的转变。我们，在这项工作中，探索一种方法，基于词袋模型。我们的方法没有任何卷积，递归，注意力，变压器或其他方法，如BERT。我们利用微观和宏观层次的聚类香草嵌入，并使用MLP头分类。我们只使用前馈编码器-解码器模型，以获得频谱的瓶颈，频谱补丁和切片以及多分辨率频谱。分类头（前馈层），类似于Simplified中的方法，是在学习的表示上训练的。使用在潜在表示上学习的简单代码，我们展示了我们如何超越传统的卷积神经网络架构，并惊人地接近于超越强大的Transformer架构。这项工作有望为表示学习领域的令人兴奋的进步铺平道路，而无需大规模的端到端神经架构。
2022-01-30 cs.AI cs.IR cs.LG
Synthesized Speech Detection Using Convolutional Transformer-Based Spectrogram Analysis
Purdue University（普渡大学）
由于虚拟助理、用于生成和修改语音信号的易于使用的工具以及远程工作实践的流行，合成语音在今天是常见的。合成语音也可以用于邪恶的目的，包括创建一个声称的语音信号，并将其归因于没有说出信号内容的人。我们需要检测语音信号是否是合成的方法。在本文中，我们分析语音信号的频谱图的形式与一个紧凑的卷积Transformer（CCT）的合成语音检测。CCT利用卷积层将感应偏置和共享权重引入网络，从而允许Transformer架构在用于训练的数据样本较少的情况下表现良好。CCT使用注意力机制来合并来自被分析信号的所有部分的信息。在真实的人类语音信号和合成的人类语音信号上训练，我们证明了我们的CCT方法成功地区分了真实的和合成的语音信号。
2022-05-03 cs.CV cs.LG cs.SD
FluidFormer: Transformer with Continuous Convolution for Particle-based Fluid Simulation
FluidFormer提出首个结合连续卷积与自注意力的流体注意力块，通过局部-全局层次融合，实现稳定、长程的粒子流体模拟，性能达到最先进水平。
2025-08-03 cs.CE cs.GR cs.LG
SpotFast Networks with Memory Augmented Lateral Transformers for Lipreading
University of Maryland, College Park（马里兰大学帕克分校）
本文提出了一种新的用于单词级唇读的深度学习架构。以前的工作表明，有可能将预训练的深度3D卷积神经网络作为前端特征提取器。我们介绍了一个SpotFast网络，一个变种的国家的最先进的动作识别的SlowFast网络，它利用时间窗口作为一个点的途径和所有帧作为一个快速的途径。我们进一步将内存增强横向Transformers学习分类的顺序功能。我们在LRW数据集上评估了所提出的模型。实验表明，我们提出的模型优于各种最先进的模型，并且结合内存增强的横向Transformers使SpotFast网络提高了3.7%。
2020-05-21 cs.CV cs.LG
Augmented Shortcuts for Vision Transformers
Peking University（北京大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；University of Sydney（悉尼大学）；Central Software Institution, Huawei Technologies（华为技术有限公司中央软件院）
近年来，Transformer模型在计算机视觉领域取得了很大的进展。视觉Transformer的快速发展主要得益于其从输入图像中提取信息特征的高表示能力。但主流的Transformer机型都是采用深度架构设计的，随着深度的增加，特征多样性会不断降低，即，功能崩溃。本文从理论上分析了这些Transformer模型中的特征塌陷现象，并研究了捷径与特征多样性之间的关系。然后，我们提出了一个增强的捷径计划，插入额外的路径与学习参数并行的原始捷径。为了节省计算成本，我们进一步探索了一种使用块循环投影来实现增强捷径的有效方法。在基准数据集上进行的大量实验证明了该方法的有效性，在不明显增加其参数和FLOP的情况下，使最先进的视觉Transformers的精度提高了1%。
2021-06-30 cs.CV cs.LG
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
University College London（伦敦大学学院）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Edinburgh（爱丁堡大学）
对外部知识的访问对于许多自然语言处理任务（例如问答和对话）是必不可少的。现有的方法通常依赖于在其参数中存储知识的参数模型，或者使用可以访问外部知识源的检索增强模型。参数和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势，我们提出了高效内存增强的Transformer（EMAT）-它将外部知识编码到键值内存中，并利用快速最大内积搜索进行内存查询。我们还介绍了预训练任务，使EMAT编码信息的键值表示，并学习一个隐式的策略，将多个内存插槽到Transformer。在各种知识密集型任务（如问答和对话数据集）上的实验表明，使用我们的方法简单地增强参数模型（T5-base）会产生更准确的结果（例如，25.8- NQ上的44.3EM），同时保持高吞吐量（例如，1000查询/秒的NQ）。与检索增强模型相比，EMAT在WoW和ELI 5上运行速度更快，结果更准确。我们的代码和数据集可以在https：//github上找到。com/uclnlp/EMAT。
2022-10-30 cs.AI cs.CL cs.LG
Global Voxel Transformer Networks for Augmented Microscopy
Texas A&M University（德州农工大学）
深度学习的进步使增强显微镜技术取得了显著的成功，使我们能够在不使用昂贵的显微镜硬件和样品制备技术的情况下获得高质量的显微镜图像。然而，目前用于增强显微镜的深度学习模型大多是基于U-Net的神经网络，因此存在某些限制性能的缺点。在这项工作中，我们介绍了全局体素Transformer网络（GVTNets），这是一种用于增强显微镜的高级深度学习工具，它克服了当前基于U-Net的模型的固有局限性，并实现了性能的提高。GVTNet建立在全局体素Transformer运算符（GVTO）上，与卷积等局部运算符相反，GVTO能够聚合全局信息。我们将所提出的方法应用于现有的数据集上，在各种设置下进行三种不同的增强显微镜任务。性能显著且始终优于以前的基于U-Net的方法。
2020-11-23 cs.CV cs.LG eess.IV
Path-Augmented Graph Transformer Network
Massachusetts Institute of Technology（麻省理工学院）
最近关于学习分子表示的大部分工作都是基于图卷积网络（GCN）的。这些模型依赖于局部聚合操作，因此可能会错过高阶图属性。为了解决这个问题，我们提出了路径增强图Transformer网络（PAGTN），它明确地建立在图结构数据中的长距离依赖关系上。具体来说，我们使用分子图中的路径特征来创建全局注意力层。我们将我们的PAGTN模型与GCN模型进行了比较，并表明我们的模型在分子性质预测数据集上始终优于GCN，包括量子化学（QM7，QM8，QM9），物理化学（ESOL，Lipophilictiy）和生物化学（BACE，BBBP）。
2019-05-29 cs.LG stat.ML
Are Pre-trained Convolutions Better than Pre-trained Transformers?
在预训练语言模型的时代，Transformers是模型架构的实际选择。虽然最近的研究已经显示出完全卷积或CNN架构的前景，但尚未使用预训练微调范式对其进行探索。在语言模型的背景下，卷积模型在预训练时与Transformers竞争吗？本文探讨了这一研究问题，并提出了几个有趣的发现。在对8个数据集/任务进行的大量实验中，我们发现基于CNN的预训练模型具有竞争力，并且在某些情况下优于Transformer对应模型，尽管需要注意。总的来说，本文中概述的调查结果表明，将预培训和架构进步混为一谈是错误的，这两种进步应该独立考虑。我们相信我们的研究为替代架构中的健康乐观铺平了道路。
2022-01-30 cs.CL cs.LG
Conformer: Convolution-augmented Transformer for Speech Recognition
Google Inc.（谷歌公司）
最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将卷积神经网络和Transformers结合起来，以参数有效的方式对音频序列的局部和全局依赖关系进行建模，从而实现两全其美。为此，我们提出了卷积增强的Transformer用于语音识别，命名为Conformer。Conformer的性能显著优于之前的基于Transformer和CNN的模型，实现了最先进的精度。在广泛使用的LibriSpeech基准测试中，我们的模型在不使用语言模型的情况下实现了2.1%/4.3%的WER，在使用外部语言模型的情况下实现了1.9%/3.9%的WER。我们还观察到2.7%/6.3%的竞争性能，只有10 M参数的小模型。
2020-05-16 cs.LG cs.SD eess.AS
ReDiTT: Retrieval Augmented Conditional Diffusion Transformers for Asynchronous Time Series
University of British Columbia（英属哥伦比亚大学）；RBC Borealis（加拿大皇家银行北极星）
该研究针对异步时间序列预测问题，提出ReDiTT模型，通过在潜在空间运行并从记忆库检索相似潜在序列作为参考条件，利用交叉注意力机制，实现稳定的长期预测并提高样本多样性，在多个数据集上取得最优性能。
2026-07-15 cs.LG
Streaming Transformer Transducer Based Speech Recognition Using Non-Causal Convolution
Facebook AI（Facebook 人工智能研究院）
本文利用非因果卷积改进了用于语音识别的流式Transformer变换器。许多工作应用因果卷积来改进流Transformer，忽略了前视上下文。我们建议使用非因果卷积来分别处理中心块和前瞻上下文。该方法利用卷积中的前瞻上下文，并保持类似的训练和解码效率。给定类似的延迟，使用具有前瞻上下文的非因果卷积给出比因果卷积更好的准确性，特别是对于开放域听写场景。此外，本文采用了说话人注意力和一种新的历史上下文压缩方案，以进一步提高性能。说话头注意通过在不同头之间传递信息来改善多个头的自注意。历史上下文压缩方法引入了更多的扩展历史上下文压缩。在我们的内部数据上，所提出的方法在开放域听写、辅助通用场景和辅助调用场景上分别提高了具有前瞻上下文的小Emformer基线的相对WRR 5.1\%、14.5\%、8.4\%。
2021-10-07 cs.CL cs.LG eess.AS
Attention Augmented Convolutional Transformer for Tabular Time-series
Airt Research（Airt研究中心）；Algebra University College（代数大学学院）
时间序列分类是工业数据科学中最常执行的任务之一，工业环境中最广泛使用的数据表示之一是表格表示。在这项工作中，我们提出了一种新的可扩展架构，用于从表格时间序列数据中学习表示，并随后执行下游任务，如时间序列分类。表示学习框架是端到端的，类似于语言建模中的Transformers（BERT）的双向编码器表示，但是，我们引入了适用于时间序列数据预训练的新掩蔽技术。此外，我们还使用了用Transformers增强的一维卷积，并探索了它们的有效性，因为时间序列数据集自然适合一维卷积。我们还提出了一种新的时间戳嵌入技术，这有助于处理在不同的时间粒度级别的周期性周期，和非周期性的趋势存在于时间序列数据。我们提出的模型是端到端的，可以处理分类和连续值输入，并且不需要对连续特征进行任何量化或编码。
2021-10-05 cs.AI cs.LG
L1 Augmented Attention as an Improved Vector Similarity Metric
研究针对缩放点积注意力在Transformer模型中作为相似性度量的局限，提出L1增强注意力方法，通过减去特定头的L1距离改进相似性计算，经实验在WikiText 2上取得更好效果，揭示了各层几何作用及头级专业化，有效提升语言模型相似性计算。
2026-07-21 cs.CL cs.LG
Pre-training of Graph Augmented Transformers for Medication Recommendation
IQVIA（艾昆纬）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research AI（IBM人工智能研究院）
药物推荐是一个重要的医疗保健应用。它通常被表述为时间预测任务。因此，大多数现有的作品只利用纵向电子健康记录（EHR）从少数患者多次访问忽略了大量的患者与一次访问（选择偏差）。此外，在表示学习过程中没有利用重要的分层知识，例如诊断分层。为了应对这些挑战，我们提出了G-BERT，这是一种新的模型，它结合了图神经网络（GNNs）和BERT（来自Transformers的双向编码器表示）的功能，用于医疗代码表示和药物推荐。我们使用GNN来表示医疗代码的内部层次结构。然后，我们将GNN表示集成到一个基于transformer的访问编码器中，并在来自仅进行一次访问的患者的EHR数据上对其进行预训练。然后，针对来自多次就诊的患者的纵向EHR的下游预测任务，对预先训练的就诊编码器和表示进行微调。G-BERT是第一个将语言模型预训练模式引入医疗保健领域的公司，它在药物推荐任务上取得了最先进的性能。
2019-11-27 cs.AI cs.CL cs.LG
Heuristic Transformer: Belief Augmented In-Context Reinforcement Learning
University of Liverpool（利物浦大学）；University of Sheffield（谢菲尔德大学）
针对Transformer在上下文内强化学习（ICRL）中的应用，提出启发式Transformer（HT），通过变分自动编码器（VAE）学习奖励后验分布的低维表示并融入上下文数据集，在多环境中性能优于基线，为信念增强与Transformer决策的结合提供新方向。
2025-11-13 cs.AI cs.LG
From augmented microscopy to the topological transformer: a new approach in cell image analysis for Alzheimer's research
University of Oxford（牛津大学）
细胞图像分析在阿尔茨海默病研究中至关重要，以检测抑制细胞功能的A $β$蛋白的存在。深度学习通过仅使低级别数据足以进行富有成效的检查来加快这一过程。我们首先通过比较多类语义分割的性能，发现Unet最适合增强显微镜。我们开发了增强显微镜方法来捕获亮场图像中的核，并使用Unet模型将输入图像转换为拓扑信息序列的Transformer。关于Intersection-over-Union的性能在图像预处理和地面实况生成的选择方面是一致的。用特定细胞类型的数据训练模型证明了迁移学习在一定程度上的适用性。拓扑Transformer旨在提取包含给定细胞图像的几何信息的持久性轮廓或景观签名。这种特征提取有助于将图像作为一维数据的集合进行研究，从而大大降低了计算成本。使用Transformer，我们尝试仅依赖于拓扑特征按细胞类型对细胞图像进行分组。其次是SVM，XGBoost，LGBM和简单的卷积神经网络分类器的Transformers的性能不如传统的图像分类。然而，由于这项研究通过将深度学习和拓扑学结合起来进行图像分析，开创了生物医学研究的新视角，我们推测后续研究将加强我们的真正制度。
2021-08-03 cs.CV cs.LG eess.IV
Extreme precipitation forecasting using attention augmented convolutions
St. Andrews College（圣安德鲁斯学院）
极端降水在世界各地造成严重破坏，造成数十亿美元的损失，并使社区、生态系统和经济连根拔起。准确的极端降水预测可以为此类极端事件的准备和灾害风险管理提供更多时间。在本文中，我们专注于短期极端降水预报（提前12小时的时间预测）从一系列的海平面气压和纬向风异常。虽然现有的机器学习方法已经显示出有希望的结果，但相关的模型和气候不确定性可能会降低其可靠性。为了解决这个问题，我们提出了一种用于极端降水预测的自注意增强卷积机制，系统地将注意力分数与传统卷积相结合，以丰富特征数据并减少结果的预期误差。所提出的网络架构进一步融合了高速公路神经网络层，以获得跨几个层的畅通无阻的信息流的好处。我们的实验结果表明，该框架的性能比经典卷积模型高出12%。所提出的方法增加了机器学习作为一种工具，用于深入了解极端变化的物理原因，降低未来预测的不确定性。
2022-01-31 cs.LG physics.ao-ph
Temporal Attention Augmented Transformer Hawkes Process
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
近年来，利用Hawkes过程从异步序列中挖掘知识是一个值得持续关注的课题，而基于神经网络的Hawkes过程逐渐成为研究的热点领域，尤其是基于递归神经网络（RNN）的Hawkes过程。然而，这些模型仍然包含一些固有的缺点，如消失和爆炸梯度和长期依赖性问题。同时，基于自注意的Transformer在文本处理、语音识别等序列建模方面取得了巨大的成功。虽然Transformer Hawkes过程（THP）在性能上有了很大的提高，但是THP并没有有效地利用异步事件中的时态信息，对于这些异步序列，事件发生时刻和事件类型同样重要，而传统的THP只是简单地将时态信息转换成位置编码，并将其作为Transformer的输入。针对这一问题，本文提出了一种新的基于transformer的Hawkes过程模型--时间注意增强的Transformer Hawkes过程（TAA-THP）。我们在广泛的合成和现实生活中的数据集上进行了大量的实验，以验证我们提出的TAA-THP模型的性能，与现有的基线模型相比，在不同的测量上实现了显着的改进，包括测试数据集上的对数似然，以及事件类型和发生时间的预测精度。此外，通过消融研究，我们生动地证明了引入额外的时间注意的优点，通过比较模型的性能有和没有时间注意。
2021-12-29 cs.LG
Vision Transformer with Convolutional Encoder-Decoder for Hand Gesture Recognition using 24 GHz Doppler Radar
University of Moratuwa（莫拉图瓦大学）；Northeastern University（东北大学）；Florida International University（佛罗里达国际大学）
结合卷积编码器的Transformers最近已经用于使用微多普勒签名的手势识别（HGR）。我们提出了一种基于视觉变换器的HGR架构与多天线连续波多普勒雷达接收机。所提出的架构由三个模块组成：卷积encoderdecoder，注意力模块与三个Transformer层，和一个多层感知器。新的卷积解码器有助于将较大尺寸的补丁馈送到注意力模块，以改进特征提取。实验结果获得的数据集对应于一个双天线连续波多普勒雷达接收器工作在24 GHz（由Skaria等人出版）。确认所提出的架构实现了98.3%的准确度，这大大超过了所使用数据集的最新技术水平。
2022-09-12 cs.LG eess.SP
Hyper-STTN: Hypergraph Augmented Spatial-Temporal Transformer Network for Trajectory Prediction
School of Applied and Creative Computing, Purdue University（普渡大学应用与创意计算学院）；Department of Computer Science and Department of Intelligent Systems Engineering, Indiana University Bloomington（印第安纳大学布卢明顿分校计算机科学系和智能系统工程系）；Department of Applied Artificial Intelligence, Sungkyunkwan University（成均馆大学应用人工智能系）
本文提出Hyper-STTN，通过构建多尺度超图和时空变换器，有效建模人群轨迹预测中的群体和个体交互，实验表明其优于现有方法。
2026-03-20 cs.CV cs.LG
TEAFormers: TEnsor-Augmented Transformers for Multi-Dimensional Time Series Forecasting
New York University（纽约大学）；University of California, Riverside（加州大学河滨分校）；Notre Dame University（圣母大学）
本文提出 TEAFormer，通过可兼容现有 Transformer 的 TEA 张量展开与压缩模块保留多维时序结构，在三个基准和三种模型上显著提升预测性能并降低计算量。
2024-10-27 cs.AI cs.LG stat.ML
Breaking Feedback-Blindness: Utility-Augmented Transformer for Sequential Decision Making
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of International Business and Economics（对外经济贸易大学）
研究非平稳和部分可观测环境下序列决策问题，提出效用增强Transformer（UAT），通过紧凑效用状态调制注意力检索，解决现有模型反馈盲目性问题，在四个非平稳基准测试中性能优于其他基线。
2026-07-22 cs.LG
RAT: Retrieval-Augmented Transformer for Click-Through Rate Prediction
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Research Center of Artificial Intelligence, Peng Cheng Laboratory（鹏城实验室人工智能研究中心）
本文提出检索增强Transformer（RAT），通过检索相似样本构建增强输入，并利用级联注意力同时建模样本内与跨样本特征交互，在保持效率的同时提升CTR预测性能，尤其在长尾场景中表现优越。
2024-04-05 cs.AI cs.IR cs.LG
SeqRisk: Transformer-augmented latent variable model for robust survival prediction with longitudinal data
Computer Science Department, Aalto University（阿尔托大学计算机科学系）；HUS Helsinki University Hospital（赫尔辛基大学医院）；University of Helsinki（赫尔辛基大学）
SeqRisk通过结合VAE与Transformer模型，利用纵向数据提升生存预测的鲁棒性和准确性。
2026-02-19 cs.LG
Dense Feature Memory Augmented Transformers for COVID-19 Vaccination Search Classification
Google Research（谷歌研究院）
随着COVID-19的毁灭性爆发，疫苗是抵御这场全球大流行中大规模感染的关键防线之一。鉴于疫苗提供的保护，在某些社会和专业环境中，疫苗正在成为强制性的。本文提出了一种用于检测COVID-19疫苗接种相关搜索查询的分类模型，这是一种用于生成COVID-19疫苗接种搜索见解的机器学习模型。所提出的方法结合并利用了现代最先进的（SOTA）自然语言理解（NLU）技术的进步，例如具有传统密集特征的预训练Transformers。我们提出了一种新的方法，考虑密集的功能作为记忆令牌的模型可以参加。我们表明，这种新的建模方法可以显着改善疫苗搜索洞察（VSI）任务，通过F1评分相对提高+15%和精度提高+14%来改善强大的成熟梯度提升基线。
2022-12-16 cs.AI cs.IR cs.LG
Physics-Augmented Graph Transformers for Patch-Antenna Forward and Inverse Design
Tel Aviv University（特拉维夫大学）
提出物理增强图变换器框架，通过预测表面电流的中间监督和可微辐射损失，实现贴片天线高效正演与逆向设计，在8万样本基准上达到MSE 0.17，逆向设计相对误差降低32%。
2026-10-06 cs.LG physics.comp-ph
Advection Augmented Convolutional Neural Networks
University of British Columbia（不列颠哥伦比亚大学）；University of Cambridge（剑桥大学）
针对时空序列预测中长距离信息传播差和可解释性不足的问题，提出一种基于半拉格朗日推算算子的对流增强CNN架构，结合反应与扩散组件模拟高维反应-对流-扩散方程，在多个时空数据集上验证了有效性。
2024-06-27 cs.LG
Convolution-Free Waveform Transformers for Multi-Lead ECG Classification
Philips Research North America（飞利浦北美研究院）；University of Arizona Banner Health（亚利桑那大学班纳健康）
我们提交了2021年PhysioNet/CinC挑战赛的参赛作品-一个波形Transformer模型，用于从ECG记录中检测心脏异常。我们使用来自六个数据集的大约88，000个ECG记录比较了波形Transformer模型在不同ECG导联子集上的性能。在官方排名中，prna队分别以12，6，4，3和2领先排名第9至15位。我们的波形Transformer模型在所有ECG导联子集的保持测试集上实现了0.47的平均挑战度量。我们在所有线索上的综合表现使我们在39个正式排名的团队中排名第11。
2021-09-29 cs.LG eess.SP
Fighter: Unveiling the Graph Convolutional Nature of Transformers in Time Series Modeling
The University of Hong Kong（香港大学）；Reversible Inc（Reversible公司）；Hong Kong University of Science and Technology（香港科学与技术大学）
本文揭示 Transformer 编码器与 GCN 的等价性，并据此提出去除冗余投影、引入多跳图聚合的 Fighter 架构，在预测基准上兼顾性能与可解释性。
2025-10-20 cs.LG
SPION: Layer-Wise Sparse Training of Transformer via Convolutional Flood Filling
Sogang University（西江大学）
本文提出SPION方法，结合卷积滤波器和洪泛填充实现Transformer逐层稀疏注意力训练，在GPU上相比现有稀疏Transformer最高加速3.08倍且评估质量更优。
2023-09-22 cs.DC cs.LG
RATSF: Empowering Customer Service Volume Management through Retrieval-Augmented Time-Series Forecasting
Alibaba Group（阿里巴巴集团）；Yuaiweiwu Tech（爱为物科技）
RATSF框架通过时间序列知识库TSKB与检索增强交叉注意力模块RACA相结合，利用相似历史数据提升非平稳场景下的服务量预测性能，并在飞猪酒店等场景中验证了有效性和泛化能力。
2024-06-16 cs.IR cs.LG
Approximate Nullspace Augmented Finetuning for Robust Vision Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sorted Technologies；University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出一种基于近似零空间噪声增强的微调方法，提升视觉Transformer对对抗和自然扰动的鲁棒性。
2025-03-27 cs.CV cs.LG
DRIVE: Distributional and Retrieval-Augmented Bidding with Value Evaluation
Machine Learning, ICML（机器学习，ICML）
提出DRIVE框架，通过解耦候选动作生成与决策，结合分布建模、检索增强和价值评估，提升离线自动竞价性能。
2026-06-15 cs.LG
ClST: A Convolutional Transformer Framework for Automatic Modulation Recognition by Knowledge Distillation
Northwestern Polytechnical University（西北工业大学）；University of Houston（休斯顿大学）；Kyung Hee University（庆熙大学）
提出ClST框架和SKD蒸馏方法，解决复杂信道下数据不足和大模型部署难题，实现轻量高精度自动调制识别。
2023-12-29 cs.AI cs.LG eess.SP
ConvMixFormer- A Resource-efficient Convolution Mixer for Transformer-based Dynamic Hand Gesture Recognition
Indian Institute of Technology, Roorkee（印度鲁尔基理工学院）
本文提出ConvMixFormer架构，用卷积混合器替代自注意力并引入门控机制，降低参数与计算成本，在动态手势识别数据集上取得SOTA效果。
2024-12-02 cs.CV cs.HC cs.LG
GraphTARIF: Linear Graph Transformer with Augmented Rank and Improved Focus
Zhejiang University（浙江大学）；United Arab Emirates University（阿联酋大学）
GraphTARIF通过增强注意力的秩和焦点，改进了图变换器的表达能力，从而在保持线性时间复杂度的同时提升了分类性能。
2026-01-28 cs.CV cs.LG
LightViT: Towards Light-Weight Convolution-Free Vision Transformers
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；The University of Tokyo（东京大学）；University of Science and Technology of China（中国科学技术大学）
视觉Transformer（ViT）通常被认为是不那么轻量级的比卷积神经网络（CNN）由于缺乏电感偏置。因此，最近的作品将卷积作为一个即插即用模块，并将它们嵌入到各种ViT对应物中。在本文中，我们认为卷积核执行信息聚合以连接所有令牌;然而，如果这种显式聚合可以以更均匀的方式运行，那么对于轻量级ViT来说，它们实际上是不必要的。受此启发，我们将LightViT作为一种新的轻量级ViT家族，以在没有卷积的纯Transformer块上实现更好的精度-效率平衡。具体地说，我们引入了一个全球性的，但有效的聚合方案到自注意力和前馈网络（FFN）的ViTs，其中引入额外的可学习的令牌来捕获全局依赖关系;和二维通道和空间的注意力施加在令牌嵌入。实验结果表明，我们的模型在图像分类，目标检测，和语义分割任务取得了显着的改善。例如，我们的LightViT-T在ImageNet上实现了78.7%的准确率，只有0.7G的FLOP，比PVTv 2-B 0高出8.2%，而在GPU上快了11%。代码可在https://github.com/hunto/LightViT上获得。
2022-07-12 cs.AI cs.CV cs.LG
