Compact Vision Transformer by Reduction of Kernel Complexity
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
本文提出KCR-Transformer，通过在MLP层进行可微通道选择并以理论泛化界为指导降低计算复杂度，在减少FLOPs和参数的同时保持或提升视觉Transformer的性能。
2025-07-17 cs.CV cs.LG
Hierarchical Attention Transformer Architecture For Syntactic Spell Correction
Samsung Research（三星研究院）
注意力机制在序列到序列问题的研究中起着推动作用。Transformer架构在机器翻译中取得了新的技术成果，并且它的变体被引入到其他几个序列到序列的问题中。涉及共享词汇的问题可以受益于源句子和目标句子中相似的语义和句法结构。为了构建一个可靠、快速的文本后处理模块，以帮助手机中所有与文本相关的用例，我们承担了流行的拼写校正问题。在本文中，我们提出了多编码器单解码器的变化，传统的Transformer。来自具有字符级1-gram、2-gram和3-gram输入的三个编码器的输出在解码器中以分级方式参与。来自编码器的上下文向量与自注意力一起放大了字符级别的n-gram属性，并有助于准确解码。我们在三星研究中心的拼写校正数据集上展示了我们的模型，并报告了现有最先进的机器翻译架构在字符（CER），单词（WER）和句子（SER）出错率方面的0.11%，0.32%和0.69%的显着改善。我们的架构也比下一个最精确的模型快7.8倍，大小只有大约1/3。
2020-05-11 cs.LG stat.ML
Circuit Complexity Bounds for RoPE-based Transformer Architecture
Middle Tennessee State University（中田纳西州立大学）；Stevens Institute of Technology（史蒂文斯理工学院）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；South China University of Technology（华南理工大学）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；University of California, Berkeley（加利福尼亚大学伯克利分校）
为理解Transformer的容量限制，本文针对在长上下文场景表现优异且泛化能力更强的基于RoPE的Transformer架构，建立其电路复杂度界限，发现特定条件下该架构无法解决算术公式评估等问题，为后续研究提供理论指导。
2024-12-01 cs.AI cs.CC cs.CL
Formal Language Recognition by Hard Attention Transformers: Perspectives from Circuit Complexity
Yale University（耶鲁大学）
本文分析了Transformer编码器的三种形式化模型，它们的自注意力机制的形式不同：独特硬注意力（UHAT）;广义独特硬注意力（GUHAT），它是UHAT的推广;平均硬注意力（AHAT）。我们表明，UHAT和GUHAT Transformers，被视为字符串受体，只能识别形式语言的复杂性类AC $^0$，一类语言可识别的布尔电路的恒定深度和多项式大小的家庭。该上限包含了Hahn（2020）的结果，即GUHAT不能识别DYCK语言或PARITY语言，因为这些语言在AC $^0$之外（Furst等人，1984年）。相反，非AC $^0$语言MAJORITY和DYCK-1可被AHAT网络识别，这意味着AHAT可以识别UHAT和GUHAT不能识别的语言。
2022-04-13 cs.AI cs.CC cs.CL
Linformer: Self-Attention with Linear Complexity
Facebook AI（脸书人工智能研究院）
大型Transformer模型在许多自然语言处理应用中取得了非凡的成功。然而，对于长序列，训练和部署这些模型的成本可能过高，因为Transformer的标准自注意机制使用关于序列长度的$O(n^2)$时间和空间。在本文中，我们证明了自注意机制可以近似为一个低秩矩阵。我们进一步利用这一发现，提出了一个新的自我注意机制，它降低了整体的自我注意的复杂性从$O(n^2)$到$O(n)$在时间和空间。由此产生的线性Transformer，\textit{Linformer}，性能与标准的Transformer模型相当，同时具有更高的内存和时间效率。
2020-06-14 cs.LG stat.ML
Anomaly Correction of Business Processes Using Transformer Autoencoder
Anhui University of Science and Technology（安徽理工大学）；Anhui Province Engineering Laboratory for Big Data Analysis and Early Warning Technology of Coal Mine Safety（安徽省煤矿安全大数据分析与预警技术工程实验室）
针对现有事件日志异常处理依赖阈值且难以兼顾检测、修正与效率的问题，提出基于 Transformer 自编码器和自监督分类的方法，可直接修正任意长度流程实例并提升检测准确性。
2024-04-16 cs.AI cs.LG
Application of Transformers for Nonlinear Channel Compensation in Optical Systems
Huawei Technologies Canada（华为技术加拿大公司）
本文提出基于Transformer的非线性光信道均衡器，通过符号嵌入、分块处理及物理信息掩码降低复杂度，并在多种场景下与DBP对比验证其灵活性和泛化能力。
2024-08-01 cs.IT cs.LG eess.SP
Sampled Transformer for Point Sets
Australian National University（澳大利亚国立大学）；Google Brain（谷歌大脑）
稀疏Transformer可以将自注意层的计算复杂性降低到$O(n)$，同时仍然是连续序列到序列函数的通用近似器。然而，这种置换变体操作不适合直接应用于集合。在本文中，我们提出了一个$O(n)$复杂度采样Transformer，可以直接处理点集元素没有任何额外的电感偏置。我们的采样Transformer引入了随机元素采样，它随机地将点集分成子集，然后对每个子集应用共享的Hamilton自注意机制。整个注意力机制可以看作是完全注意图中的一个哈密尔顿圈，点集元素的排列等价于随机抽样哈密尔顿圈。该机制实现了$O(n^2)$密集注意力连接的Monte Carlo模拟。我们证明了它是连续集到集函数的一个通用逼近器。点云上的实验结果显示出相当或更好的准确性，显着降低计算复杂性相比，密集的Transformer或替代稀疏注意力计划。
2023-02-28 cs.LG
Lerna: Transformer Architectures for Configuring Error Correction Tools for Short- and Long-Read Genome Sequencing
Purdue University（普渡大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Adobe Research（Adobe 研究院）
测序技术容易出错，这使得下游应用必须进行纠错（EC）。EC工具需要手动配置以获得最佳性能。我们发现，最佳参数（例如，k-聚体大小）都依赖于工具和模板。此外，评估性能（即，给定工具的比对率或增益通常依赖于参考基因组，但质量参考基因组并不总是可用的。我们介绍Lerna用于基于k-mer的EC工具的自动化配置。Lerna首先创建未校正的基因组读段的语言模型（LM）;然后，计算困惑度度量以针对不同参数选择来评估校正的读段。接下来，它找到一个在不使用参考基因组的情况下产生最高比对率的基因组。我们的方法的基本直觉是，困惑度量与纠错后的组装质量成反比。结果：首先，我们表明，最佳的k-mer值可以为不同的数据集，即使是相同的EC工具。其次，我们使用其组件注意力为基础的Transformers显示我们的LM的增益。我们展示了模型在误差校正之前和之后对困惑度度量的估计。校正后的混乱度越低，k聚体尺寸越好。我们还表明，校正读取计算的比对率和组装质量与困惑度呈强负相关，从而能够自动选择k-mer值以进行更好的纠错，从而提高组装质量。此外，我们还表明，我们的基于注意力的模型在整个流水线上有显着的运行时改进-比以前的作品快18倍，这是由于并行化了注意力机制和使用JIT编译进行GPU推理。
2021-12-19 cs.LG q-bio.GN
Representational Strengths and Limitations of Transformers
Columbia University（哥伦比亚大学）；New York University（纽约大学）
本研究通过理论分析揭示了Transformer在稀疏平均任务上具有对数复杂度优势，但在三重检测任务上存在线性复杂度局限，并强调了通信复杂度在分析中的价值。
2023-11-16 cs.LG stat.ML
Fine-Tuning Pre-trained Transformers into Decaying Fast Weights
Jenni
自回归Transformers是强语言模型，但由于自注意机制，在每个令牌生成期间会产生O（T）复杂度。最近的工作提出了基于核的方法来近似因果自我注意，通过使用具有各种更新规则和特征映射的递归公式来替换它，以实现O（1）的时间和内存复杂度。我们探索了这些方法，发现它们不必要地复杂，并提出了一个简单的替代方案-衰减快速权重-在GPU上运行速度快，优于以前的方法，并保留了GPT-2的99%的注意力性能。我们还显示了对WikiText-103对更复杂的注意力替代品的竞争力表现。
2022-10-09 cs.LG
Correction of Transformer-Based Models with Smoothing Pseudo-Projector
Profiteya LLC；Mass General Brigham
本文提出一种基于伪投影器的变换器模型校正方法，通过抑制噪声敏感性提升训练动态和鲁棒性。
2026-03-10 cs.AI cs.LG
Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了浅侵略解码（SAD），以提高即时语法错误纠正（GEC）的Transformer的在线推理效率。SAD通过两个创新优化了GEC的在线推理效率：1）它并行地积极解码尽可能多的令牌，而不是总是在每个步骤中仅解码一个令牌，以提高计算并行性; 2）它使用浅解码器而不是具有平衡的编码器-解码器深度的传统Transformer架构，以降低推理期间的计算成本。在中英文GEC基准测试中的实验表明，积极解码可以产生与贪心解码相同的预测，但具有显着的在线推理速度。它与浅层解码器的结合可以在不损失质量的情况下提供比强大的Transformer基线更高的在线推理加速。我们的方法不仅允许单个模型在英语GEC基准测试中实现最先进的结果：CoNLL-14中的66.4 F0.5和ESTA-19测试集中的72.9 F0.5，在线推理速度比Transformer-big模型快近10倍，而且它很容易适应其他语言。我们的代码可在https://github.com/AutoTemp/Shallow-Aggressive-Decoding上获得。
2021-06-09 cs.CL cs.LG
Transformer Acceleration with Dynamic Sparse Attention
University of California, Santa Barbara（加州大学圣巴巴拉分校）
Transformers是NLP应用的主流，在其他领域（如计算机视觉）也越来越受欢迎。尽管改进了模型质量，但巨大的计算成本使得Transformers难以部署，特别是当新兴应用中的序列长度很大时。处理注意力机制作为Transformer的重要组成部分，由于其二次复杂度，成为其执行的瓶颈。现有技术探索注意力中的稀疏模式以支持长序列建模，但是这些工作是关于静态或固定模式的。我们证明了稀疏模式是动态的，取决于输入序列。因此，我们提出了动态稀疏注意力（DSA），可以有效地利用动态稀疏的Transformers的注意。与其他方法相比，我们的方法可以实现更好的平衡精度和模型的复杂性。展望未来，我们将确定挑战并提供解决方案，以便在现有硬件（GPU）和专用硬件上实现DSA，从而实现Transformer执行的实际加速和效率改进。
2021-10-21 cs.LG
Transformer-QEC: Quantum Error Correction Code Decoding with Transferable Transformers
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）；Arizona State University（亚利桑那州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出基于Transformer的量子纠错解码器，利用自注意力机制和混合损失训练实现全局感受野，支持跨码距高效迁移学习，在多种配置下优于传统及ML解码器并大幅降低训练成本。
2023-11-27 cs.AI cs.AR cs.ET
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
The Hong Kong Polytechnic University（香港理工大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Sydney（悉尼大学）
本文提出Orthros阶段感知异构注意力机制，解决现有高效注意力的长上下文二次方瓶颈，实现线性复杂度预填充与全注意力解码，性能优于Transformer，预填充速度提升21.9倍，可作为工业应用中替代Transformer的候选方案。
2026-10-12 cs.AI cs.LG
Higher Order Linear Transformer
Paris Saclay University（巴黎萨克雷大学）；Laboratory of Signal and System (L2S)（信号与系统实验室（L2S））
继Katharopoulos等人的文章中的线性Transformer部分之后，从Shen等人那里得到了这个想法，重新使用为注意力机制产生线性复杂度的技巧，并将其扩展到softmax归一化的二阶近似。
2020-10-28 cs.LG
Dual-Flattening Transformers through Decomposed Row and Column Queries for Semantic Segmentation
OPPO US Research Center（OPPO美国研究中心）；InnoPeak Technology, Inc.（InnoPeak科技公司）；Texas A&M University（德克萨斯A&M大学）
对于诸如语义分割之类的密集预测任务，获得具有长程依赖性的高分辨率特征是至关重要的。为了从大小为$h\times w$（$hw\ll HW$）的低分辨率特征图生成大小为$H\times W$的高分辨率输出，朴素密集Transformer导致$\mathcal{O}(hwHW)$的难以处理的复杂性，限制了其在高分辨率密集预测上的应用。我们提出了一个双扁平Transformer（DFlatFormer），使高分辨率的输出，通过降低复杂性$\mathcal{O}(hw(H+W))$是几个数量级小于天真的密集Transformer。分解查询通过单独的Transformers可追踪地检索行和列注意力，并且它们的输出被组合以形成高分辨率的密集特征图。为此，从编码器馈送的输入序列被逐行和逐列扁平化，以通过分别保留其行和列结构来与分解的查询对齐。行和列Transformers也彼此交互以利用行和列之间的空间交叉来捕获它们的相互注意。我们还建议通过有效的分组和池化来执行注意力，以进一步降低模型的复杂性。在ADE 20 K和Cityscapes数据集上进行的大量实验证明了所提出的双扁平化Transformer架构具有更高mIoU的优越性。
2022-01-22 cs.CV cs.LG
On the Expressive Power of Transformers for Maxout Networks and Continuous Piecewise Linear Functions
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Information Science, Guangdong University of Finance and Economics（广东财经大学信息学院）
本文研究了Transformer在Maxout网络和连续分段线性函数中的表达能力，通过分析线性区域数量揭示了Transformer的理论表达性。
2026-03-03 cs.AI cs.LG
Hierarchical Shift Mixing -- Beyond Dense Attention in Transformers
Dept. of Electrical Engineering, Linköping University, Linköping, Sweden（电子工程系，林霍普大学）；RISE Research Institutes of Sweden, Linköping, Sweden（瑞典RISE研究机构）
层次化位移混合通过分布计算token交互，实现线性时间复杂度，同时在性能上接近或超越传统softmax注意力，且减少计算成本。
2026-01-30 cs.LG
BP-Transformer: Modelling Long-Range Context via Binary Partitioning
AWS Shanghai AI Lab（AWS上海人工智能实验室）；Fudan University（复旦大学）；New York University Shanghai（上海纽约大学）
Transformer模型在许多自然语言处理任务上获得了广泛的成功。然而，自我注意的二次复杂性限制了它在长文本中的应用。本文采用一种基于二进制划分的多尺度由细到粗的注意力机制，提出了BP-Transformer（简称BPT）。BPT产生$O(k\cdot n\log (n/k))$连接，其中$k$是控制注意力密度的超参数。BPT在计算复杂度和模型容量之间有很好的平衡。一系列的文本分类、机器翻译和语言建模实验表明，BPT模型在长文本分类方面的性能优于以往的自注意模型。我们的代码，超参数和用于稀疏注意力的CUDA内核可在PyTorch中使用。
2019-11-11 cs.CL cs.LG
On Limitations of the Transformer Architecture
Google（谷歌公司）
本文利用通信复杂度理论证明Transformer层在函数定义域较大时无法组合函数，并通过实例和计算复杂度猜想说明其在组合任务上的根本局限，揭示了大语言模型幻觉的可能根源。
2024-02-26 cs.AI cs.LG stat.ML
Sumformer: Universal Approximation for Efficient Transformers
Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）；Stanford University（斯坦福大学）；Technical University of Munich（慕尼黑工业大学）
本文提出Sumformer这一新颖简单架构，首次为Linformer和Performer建立通用逼近理论，并证明单层注意力Transformer即可实现通用逼近。
2023-07-05 cs.CL cs.LG stat.ML
Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对Transformer在低复杂度数据上过拟合的问题，提出SQ-Transformer，通过结构化量化嵌入和系统性注意力层，在低复杂度数据集上实现更强的组合泛化能力。
2024-02-09 cs.AI cs.CL cs.LG
Transformer Geometry Observatory TGO-II: Representational Similarity Observatory
Department of Electronics Engineering Sardar Vallabhai National Institute of Technology (SVNIT), Surat, India（电子工程系萨达尔·瓦拉布希国家理工学院（SVNIT），印度萨拉特）
提出TGO-II框架，通过CKA、SVCCA、TwoNN-ID和token协方差分析，发现ViT训练中表征专业化增强、内在维度增加且token交互结构保持，挑战了表征复杂性源于token独立的假设。
2026-07-03 cs.CV cs.LG
Ripple Attention for Visual Perception with Sub-quadratic Complexity
The University of Hong Kong（香港大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Transformer体系结构现在是序列建模任务的核心。其核心是注意力机制，它可以对序列中的长期依赖关系进行有效建模。最近，Transformers已成功地应用于计算机视觉领域，其中2D图像首先被分割成块，然后被视为1D序列。然而，这种线性化削弱了图像中空间局部性的概念，而空间局部性承载着重要的视觉线索。为了弥补这一差距，我们提出了涟漪注意力，一个次二次注意力机制的视觉Transformer。基于最近的基于内核的高效注意力机制，我们设计了一种新的动态规划算法，权重的不同令牌的查询相对于他们的相对空间距离在二维空间中的线性观察时间的贡献。大量的实验和分析证明了涟漪注意对各种视觉任务的有效性。
2022-06-15 cs.CV cs.LG
Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems
Jadavpur University（贾达普大学）；IIIT-Delhi（德里印度信息技术学院）；IIT-Bombay（孟买印度理工学院）
Transformer及其变体已被证明是许多不同领域中的有效序列学习器。尽管它们取得了惊人的成功，但一个关键问题是必须训练大量的参数（从$10^7$到$10^{11}$）以及点积注意力的二次复杂性。在这项工作中，我们调查的问题，近似的两个中心组成部分的Transformer -多头自关注和逐点前馈变换，减少参数空间和计算复杂性。我们建立在分析深度神经网络作为常微分方程的数值求解器的最新发展。利用Transformer阶段和多个相互作用的粒子的动力系统的演化之间的类比，我们制定了一个时间演化方案，transEvolve，绕过昂贵的点产品注意多个堆叠层。我们进行详尽的实验与TransEvolve著名的编码器解码器以及编码器的任务。我们观察到，近似的程度（或相反，参数减少的程度）对性能有不同的影响，这取决于任务。在编码器-解码器机制中，TransEvolve提供的性能可与原始Transformer媲美，在仅编码器任务中，它始终优于Transformer以及几个后续变体。
2021-10-27 cs.LG
SAMSA: Efficient Transformer for Many Data Modalities
FPT Software AI Center（FPT软件AI中心）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
针对现有高效Transformer依赖特定数据模态构造、通用性不足的问题，该研究提出基于可微分无放回采样的线性复杂度自注意力机制SAMSA，在多模态基准上实现了兼具高性能与快推理的效果。
2024-08-18 cs.LG
CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers
Preferred Networks
CAT通过圆卷积和傅里叶变换实现亚二次复杂度的注意力机制，提升效率并减少参数量，适用于更长序列的变换器应用。
2026-01-05 cs.CL cs.CV cs.LG
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding
注意力模块是Transformer中的重要组成部分，由于其二次复杂度，无法有效地扩展到长序列。许多工作集中在近似原始注意力中的点然后取幂softmax函数，导致次二次甚至线性复杂度的Transformer架构。然而，我们表明，这些方法不能应用于更强大的注意力模块，超越了点然后指数风格，例如，具有相对位置编码（RPE）的Transformers。由于在许多最先进的模型中，相对位置编码被用作默认值，因此设计可以包含RPE的高效Transformers是有吸引力的。在本文中，我们提出了一种新的方法来加速Transformers的注意力计算与RPE的核心化的注意力。基于相对位置编码形成Toeplitz矩阵的观察，我们在数学上表明，使用快速傅立叶变换（FFT）可以有效地计算具有RPE的核化注意。通过FFT，我们的方法达到了$\mathcal{O}(n\log n)$的时间复杂度。有趣的是，我们进一步证明，正确使用相对位置编码可以减轻香草核化注意力的训练不稳定性问题。在广泛的任务中，我们的经验表明，我们的模型可以从头开始训练，没有任何优化问题。学习模型的性能优于许多高效的Transformer变体，并且在长序列状态下比标准Transformer更快。
2021-11-03 cs.CL cs.LG stat.ML
Flexformer: Flexible Linear Transformer with Learnable Attention Kernel
Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计科学研究中心与统计学院）
提出Flexformer，通过将随机傅里叶特征中的频谱频率作为可训练参数，实现数据驱动的注意力核学习，在保持线性复杂度的同时提升表达能力，并在语言建模和序列分类任务上优于基线。
2026-06-29 cs.AI cs.LG
Cleansing Jewel: A Neural Spelling Correction Model Built On Google OCR-ed Tibetan Manuscripts
Harvard University（哈佛大学）；Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））
本文提出基于谷歌OCR的藏文手稿的神经拼写纠正模型，通过改进的Transformer架构实现自动纠正OCR噪声输出，实验表明其优于其他序列模型。
2024-05-14 cs.AI cs.CL cs.CY
Swin Deformable Attention U-Net Transformer (SDAUT) for Explainable Fast MRI
National Heart and Lung Institute, Imperial College London（帝国理工学院国家心肺研究所）；Cardiovascular Research Centre, Royal Brompton Hospital（皇家布朗普顿医院心血管研究中心）；School of Biomedical Engineering, Sun Yat-sen University（中山大学生物医学工程学院）
快速MRI旨在从部分观察到的测量结果重建高保真图像。近年来，使用深度学习的快速MRI得到了蓬勃发展。与此同时，新的深度学习范例，例如，基于Transformer的模型在自然语言处理中发展迅速，并因其突出的性能而迅速发展用于计算机视觉和医学图像分析。然而，由于Transformer的复杂性，快速MRI的应用可能并不简单。主要障碍是自注意层的计算成本，这是Transformer的核心部分，对于高分辨率MRI输入来说可能是昂贵的。在这项研究中，我们提出了一种新的Transformer架构，用于解决快速磁共振成像，耦合移位窗口Transformer与U-Net，以减少网络的复杂性。我们将变形的注意力，我们的重建模型的可解释性。我们的经验表明，我们的方法在快速MRI任务上实现了一贯的优异性能。此外，与最先进的Transformer模型相比，我们的方法具有更少的网络参数，同时揭示了可解释性。该代码可在https://github.com/ayanglab/SDAUT上公开获取。
2022-07-05 cs.CV cs.LG eess.IV
TurboViT: Generating Fast Vision Transformers via Generative Architecture Search
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI
本研究针对视觉Transformer结构与计算复杂度高、难部署的问题，通过生成式架构搜索构建了基于掩码单元注意力与Q池化的TurboViT，在ImageNet-1K上实现准确率与效率的更优平衡，适配高吞吐量场景。
2023-08-22 cs.AI cs.CV cs.LG
PGT: Pseudo Relevance Feedback Using a Graph-Based Transformer
Carnegie Mellon University（卡内基梅隆大学）
伪相关反馈（PRF）的研究主要集中在向量空间和概率检索模型上。本文表明，基于transformer的重排序器也可以受益于PRF提供的额外上下文。它提出了PGT，一个基于图形的Transformer，稀疏的注意力之间的图形节点，使PRF，同时避免了大多数Transformer架构的高计算复杂性。实验结果表明，PGT比非PRF Transformer重排序器有了明显的改进，其计算精度至少与完全注意力的Transformer PRF模型相当，但计算代价更低。
2021-01-20 cs.AI cs.IR cs.LG
Adaptive Multi-Resolution Attention with Linear Complexity
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；Corporate Technology, Siemens AG（西门子公司企业技术部）
Transformers在序列建模的众多任务中改进了最先进的技术。除了关于序列长度的二次计算和存储器复杂度之外，自注意机制仅处理相同尺度的信息，即，所有注意力头的分辨率相同，导致Transformer的功率有限。为了解决这个问题，我们提出了一种新的和有效的结构，称为自适应多分辨率注意力（AdaMRA），它线性缩放到序列长度的时间和空间。具体来说，我们利用多分辨率的多头注意力机制，使注意力头捕捉长距离的上下文信息，在一个由粗到细的方式。此外，为了捕捉不同注意粒度的查询表示和线索之间的潜在关系，我们留下了使用哪种注意分辨率来查询的决定，这进一步提高了模型的容量相比，香草Transformer。为了降低复杂度，我们采用内核注意力而不降低性能。在几个基准测试上的大量实验证明了我们的模型的有效性和效率，实现了最先进的性能效率内存权衡。为了促进科学界对AdaMRA的利用，代码的实现将公开提供。
2021-08-10 cs.AI cs.LG
Towards Lithuanian grammatical error correction
Kaunas University of Technology（考纳斯理工大学）
每个人都想写出漂亮而正确的文字，但缺乏语言技能，经验或匆忙打字可能会导致错误。通过采用Transformer架构的最新进展，我们构建了一个语法错误校正模型立陶宛语，语言丰富的古老的功能。我们比较子字和字节级的方法，并分享我们最好的训练模型，实现F $_{0.5}$ =0.92，以及附带的代码，在一个在线的开源存储库。
2022-03-18 cs.CL cs.IR cs.LG
Lowering the Error Floor of Error Correction Code Transformer
针对纠错码Transformer（ECCT）解码中未被探索的错误平层问题，提出一种结合ECCT与硬判决解码器的混合解码框架，并设计了新型损失函数以引导ECCT专注处理残余错误，有效降低了错误平层并取得显著性能提升。
2025-07-15 cs.IT math.IT
5G LDPC Linear Transformer for Channel Decoding
University of Puerto Rico（波多黎各大学）
本文提出一种线性时间复杂度的Transformer解码器，用于5G NR LDPC码，复杂度为O(n)，性能匹配常规Transformer并优于单次迭代BP，时间性能与BP相当。
2025-01-23 cs.IT cs.LG math.IT
VT-Former: Efffcient Transformer-based Decoder for Varshamov-Tenengolts Codes
Center for Applied Mathematics, KL-AAGDM, Tianjin University（天津大学应用数学中心、KL-AAGDM）；State Key Laboratory of Synthetic Biology, Tianjin University（天津大学合成生物学国家重点实验室）
本文提出VT-Former，一种基于Transformer的解码器，用于多错误纠正的Varshamov-Tenengolts码，实验显示其在单错误纠正和多错误解码任务中均表现出高准确性和效率。
2026-04-01 cs.IT cs.LG math.IT
Balanced Low-Complexity and Flexible Error-Correction List Flip Decoding for Polar Codes
针对极化码列表翻转译码复杂度与纠错效率难以平衡的问题，提出奇偶校验辅助的D-SCLF译码器，通过简化翻转度量和混合校验方案，在保持灵活高阶纠错能力的同时实现低复杂度，平均复杂度降低达51.1%。
2025-03-30 cs.IT math.IT
Interplay Between Belief Propagation and Transformer: Differential-Attention Message Passing Transformer
本文提出一种融合信念传播与Transformer的差分注意力消息传递译码器，通过可微校验子损失和差分注意力机制，在短至中等长度LDPC码上超越传统BP译码器。
2025-09-19 cs.IT eess.SP math.IT
