Gated Linear Attention Transformers with Hardware-Efficient Training
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出硬件高效的线性注意力算法 FLASHLINEARATTENTION 及其门控变体 GLA Transformer,在中等规模语言建模中性能媲美 LLaMA、RetNet 和 Mamba,且在长度泛化和训练吞吐量上表现优异。
2024-08-27 cs.CL cs.LG
Transformer-VQ: Linear-Time Transformers via Vector Quantization
本文提出Transformer-VQ,通过向量量化键和新颖缓存机制实现线性时间稠密自注意力,在多个基准上取得有竞争力的质量,并在长序列上显著快于二次时间Transformer。
2024-02-25 cs.CL cs.CV cs.LG
In-Context Algebra
Northeastern University(东北大学);TU Clausthal(图鲁姆大学)
本研究探讨了transformer在上下文代数任务中学习的机制,发现模型能通过动态变量分配实现符号推理。
2026-02-25 cs.CL cs.LG
A Novel Spinor-Based Embedding Model for Transformers
MiraCosta College(米拉科斯塔学院)
本文提出将几何代数中的旋量用于Transformer词嵌入,以增强语言表示的表达能力和鲁棒性,并给出理论基础、集成方法及潜在优势与挑战的分析。
2024-09-26 cs.CL cs.LG
Linear Transformers with Learnable Kernel Functions are Better In-Context Models
Innopolis University(因诺波利斯大学);Tinkoff(汤科夫);Higher School of Economics(高等经济学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文提出对Based模型的核函数进行独特修改,显著增强了线性Transformer在Multi-Query Associative Recall任务和Pile数据集上的上下文学习能力。
2024-06-05 cs.CL cs.LG
CALT: A Library for Computer Algebra with Transformer
Chiba University(千叶大学);Zuse Institute Berlin (ZIB)(柏林祖斯研究所)
本文提出 Python 库 CALT,让深度学习非专家也能利用 Transformer 训练端到端符号计算模型,以支持相关研究。
2025-06-10 cs.LG cs.SC math.AC
Your Transformer is Secretly Linear
AIRI;Skoltech(斯科尔泰克理工学院);Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);HSE University(高等经济大学);SberAI
该研究发现Transformer解码器层间嵌入变换存在近完美线性关系,验证了高线性模块移除/近似对性能影响小,还提出余弦相似度正则化在降低线性度的同时提升基准性能,刷新了对Transformer架构的认知。
2024-05-19 cs.AI cs.CL cs.LG
Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO
California Institute of Technology(加州理工学院);Massachusetts Institute of Technology(麻省理工学院)
本文研究Transformer在多元多项式分解中的潜在模式发现能力,提出秩感知强化学习方法BGRPO,在提升准确率的同时大幅降低推理计算量,并在多项式化简上超越Mathematica。
2025-08-21 cs.AI cs.LG
Higher Order Linear Transformer
Paris Saclay University(巴黎萨克雷大学);Laboratory of Signal and System (L2S)(信号与系统实验室(L2S))
继Katharopoulos等人的文章中的线性Transformer部分之后,从Shen等人那里得到了这个想法,重新使用为注意力机制产生线性复杂度的技巧,并将其扩展到softmax归一化的二阶近似。
2020-10-28 cs.LG
Transformers Learn to Achieve Second-Order Convergence Rates for In-Context Linear Regression
University of Southern California(南加州大学)
本文证明Transformers在上下文线性回归中学会近似二阶优化方法,其收敛速率与迭代牛顿法相似且远快于梯度下降,并在病态数据上表现优异。
2024-11-16 cs.AI cs.CL cs.LG
Learning and Transferring Sparse Contextual Bigrams with Linear Transformers
Princeton University(普林斯顿大学)
该研究提出稀疏上下文二元语法SCB模型,分析单层线性Transformer学习SCB的训练动力学与样本复杂度,证明预训练微调可跳过样本密集阶段,且算法性能优于SGD,为Transformer的理论基础提供了新视角。
2024-10-30 cs.CL cs.LG
Transformer Based Linear Attention with Optimized GPU Kernel Implementation
Department of Computer Science, Umiacs University of Maryland College Park, MD(计算机科学系,乌米亚茨大学马里兰大学学院公园分校)
针对线性注意力实际效率低于理论的问题,提出优化的前向/反向传播及CUDA内核,实现3.3倍加速和3.6倍内存缩减,并在14亿参数模型上验证了与常规注意力相当的性能。
2025-10-24 cs.CL cs.LG
LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers
Department of Management Sciences, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校管理科学系);Department of Civil Engineering, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校土木工程系);Operations and Decision Sciences, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校运营与决策科学系);Brij Disa Centre for Data Science and AI, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校Brij Disa数据科学与人工智能中心)
提出基于线性规划的局部搜索框架,通过双层优化联合更新模型参数和正则化超参数,利用验证梯度和Hessian信息构造局部下降方向,在保持训练最优性的同时减少过拟合,实验表明在GPT-2 Small微调中持续改善测试困惑度。
2026-06-16 cs.CL cs.LG
Linear Transformers are Versatile In-Context Learners
Google Research(谷歌研究院);Google(谷歌公司);Duke University(杜克大学)
该研究证明线性Transformer每层可执行带预条件的梯度下降变体,且能在含噪数据场景下自发发现结合动量与自适应重缩放的高效优化算法,展现出发现复杂优化策略的惊人能力。
2024-10-30 cs.LG
Going Beyond Linear Transformers with Recurrent Fast Weight Programmers
The Swiss AI Lab, IDSIA(瑞士人工智能实验室,IDSIA);University of Lugano (USI)(卢加诺大学 (USI));SUPSI;King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学 (KAUST))
具有线性化注意力的Transformers(“线性transformers”)已经证明了90年代基于外积的快速权重编程器(FWP)的实际可扩展性和有效性。然而,原始的FWP公式比线性Transformers公式更通用:一个缓慢的神经网络(NN)不断地重新编程具有任意结构的快速NN的权重。在现有的线性Transformers中,两个NN都是前馈的并且由单层组成。在这里,我们通过向慢网和快网添加递归来探索新的变化。我们评估我们的新的经常性FWP(RFWP)的两个合成算法任务(代码执行和顺序ListOps),Wikitext-103语言模型,和Atari 2600 2D游戏环境。我们的模型展示了Transformers和RNN的特性。在强化学习设置中,我们报告了几个Atari游戏中LSTM的大幅改进。代码是公开的。
2021-10-26 cs.LG
Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers
本文提出用关联代数层替换Transformer中的稠密矩阵乘法,在保持参数的同时降低计算复杂度,实验显示吞吐量提升6.2%-7.8%,但下游指标略降,验证了该方法的可行性与可训练性。
2026-09-29 cs.LG cs.PF
LeaPformer: Enabling Linear Transformers for Autoregressive and Simultaneous Tasks via Learned Proportions
Oregon State University(俄勒冈州立大学)
提出LeaPformer,通过将重加权函数从依赖序列长度泛化为依赖序列比例,并引入动态比例模块,使线性Transformer适用于自回归和同步任务,在多项基准上取得最佳质量-吞吐量权衡和竞争性结果。
2024-05-18 cs.CL cs.LG
Lorentz-Equivariant Geometric Algebra Transformers for High-Energy Physics
Heidelberg University(海德堡大学);MIT(麻省理工学院);IAIFI;Qualcomm AI Research(高通人工智能研究)
提出洛伦兹几何代数变换器(L-GATr),一种洛伦兹等变的Transformer架构,用于高能物理,在回归、分类及生成任务上达到或超越领域特定基线。
2024-10-30 cs.LG hep-ph physics.data-an
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Washington(华盛顿大学);University of Geneva(日内瓦大学)
Transformers在几个任务中实现了卓越的性能,但由于其二次复杂性,相对于输入的长度,它们对于非常长的序列是非常慢的。为了解决这一问题,我们将自注意力表示为核特征映射的线性点积,并利用矩阵积的结合性将复杂度从$\mathcal{O}\left(N^2\right)$降低到$\mathcal{O}\left(N\right)$,其中$N$是序列长度.我们表明,这种提法允许迭代实现,大大加快自回归Transformers,并揭示了它们的关系,经常性的神经网络。我们的线性Transformers实现了与vanilla Transformers相似的性能,并且在对非常长的序列进行自回归预测时,它们的速度快达4000倍。
2020-08-31 cs.LG stat.ML
InAttention: Linear Context Scaling for Transformers
针对Transformer自注意力机制显存随上下文长度二次增长的问题,提出InAttention机制替换自注意力,实现推理时显存线性增长,可在消费级GPU处理长序列,微调能低成本扩展上下文长度,为长距离依赖建模提供可扩展方案。
2024-10-09 cs.LG
Transformers Implement Functional Gradient Descent to Learn Non-Linear Functions In Context
Massachusetts Institute of Technology(麻省理工学院);Technical University of Munich(慕尼黑工业大学)
本文从理论和实证两方面证明,非线性Transformers能自然在函数空间实现梯度下降,从而在上下文中学习非线性函数,且最优激活选择取决于目标函数类别。
2024-06-04 cs.LG
Verb Conjugation in Transformers Is Determined by Linear Encodings of Subject Number
New York University(纽约大学)
本文通过因果干预分析证明,BERT的动词变位能力依赖于主语数的线性可解释编码,该编码在不同网络层中呈现位置分布差异。
2023-10-23 cs.AI cs.CL cs.LG
UrbanAI 2025 Challenge: Linear vs Transformer Models for Long-Horizon Exogenous Temperature Forecasting
Yeshiva University(耶鲁大学)
UrbanAI 2025挑战通过对比线性与Transformer模型,发现线性模型在长周期外生温度预测中表现更优,DLinear在所有划分中均取得最佳准确率。
2025-12-11 cs.AI cs.LG
Linear attention is (maybe) all you need (to understand transformer optimization)
MIT EECS(麻省理工学院电气工程与计算机科学系);MIT LIDS(麻省理工学院信息与决策系统实验室);KAIST(韩国科学技术院);KAIST ISysE(韩国科学技术院工业系统工程系);KAIST AI(韩国科学技术院人工智能学院);MIT CEE(麻省理工学院土木工程与环境工程系)
本研究通过线性化浅层Transformer模型重现训练动态,证明其可作为理解Transformer优化的有效抽象。
2024-03-13 cs.AI cs.LG math.OC
Geometric Algebra Transformer
Qualcomm AI Research(高通人工智能研究中心)
本文提出了 Geometric Algebra Transformer (GATr),一种通用几何数据架构。它利用射影几何代数表示数据,并满足 E(3) 等变性,在误差、数据效率和可扩展性上均优于现有基线。
2023-11-20 cs.LG cs.RO stat.ML
Exact Learning Dynamics of In-Context Learning in Linear Transformers and Its Application to Non-Linear Transformers
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Principles of Intelligent Behavior in Biological and Social Systems (PIBBSS)(生物和社会系统智能行为原理)
本文通过分析线性变换器的SGD动力学,揭示了ICL的精确机制,并提出理论工具解释非线性变换器中的ICL现象和泛化行为。
2025-11-22 cond-mat.dis-nn cs.LG
In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention
Faculty of Education, Mie University(三重大学教育学部)
研究利用具有线性自注意力的变压器在简单线性回归任务中进行上下文学习闭式解,通过层归一化近似获得解,以区别于基于梯度下降算法的近似解,并给出了在经 l1 正则化训练的变压器中的实验示例。
2026-07-20 cs.AI cs.LG
Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting
Shanghai Jiaotong University(上海交通大学);Eastern Institute for Advanced Study(东方理工高等研究院);Hefei University of Technology(合肥工业大学)
针对多元长期时间序列预测中注意力模块捕获跨时间依赖性的质疑,提出Client模型,通过线性模块学习趋势、注意力模块捕获跨变量依赖,在九个数据集上以最少计算时间和内存消耗实现SOTA性能。
2023-05-30 cs.LG
Momentum Transformer: Closing the Performance Gap Between Self-attention and Its Linearization
Rice University(莱斯大学);University of Utah(犹他大学)
Transformers在序列建模及其他方面取得了显著的成功,但相对于输入序列的长度,其计算和存储复杂性是二次的。利用技术包括稀疏和线性注意力和散列技巧;已经提出了有效的Transformers来降低Transformers的二次复杂度,但显著降低了准确性。作为回应,我们首先将计算注意力地图中的线性注意力和残差连接解释为梯度下降步骤。然后,我们引入动量到这些组件,并提出了\emph{momentum transformer},它利用动量来提高线性Transformers的精度,同时保持线性存储器和计算复杂性。此外,我们开发了一个自适应策略来计算我们的模型的最佳动量二次优化的基础上的动量值。这种自适应动量消除了搜索最佳动量值的需要,并进一步增强了动量Transformer的性能。在自回归和非自回归任务(包括图像生成和机器翻译)上进行的一系列实验表明,动量Transformer在训练效率和准确性方面优于流行的线性Transformers。
2022-08-01 cs.LG cs.NA math.NA
On the Expressive Power of Transformers for Maxout Networks and Continuous Piecewise Linear Functions
School of Mathematics, Sun Yat-sen University(中山大学数学学院);School of Information Science, Guangdong University of Finance and Economics(广东财经大学信息学院)
本文研究了Transformer在Maxout网络和连续分段线性函数中的表达能力,通过分析线性区域数量揭示了Transformer的理论表达性。
2026-03-03 cs.AI cs.LG
The Key to Going Linear: Analysis-Driven Transformer Linearization
Qualcomm AI Research(高通人工智能研究中心)
研究针对因果自注意力二次成本限制长上下文Transformer推理的问题,通过分析状态更新设计,发现softmax原理及近似误差源,引入结构干预,在多模型上扩展线性化方法,提升性能并匹配复杂缓存框架的长上下文检索。
2026-07-09 cs.LG
Transformer Quality in Linear Time
Cornell University(康奈尔大学);Google Research(谷歌研究院)
我们重新审视了Transformers的设计选择,并提出了解决其在处理长序列时的弱点的方法。首先,我们提出了一个简单的层命名为门控注意力单元,它允许使用一个较弱的单头注意力与最小的质量损失。然后,我们提出了一个线性近似方法补充这个新的层,这是加速器友好的和极具竞争力的质量。所得到的模型名为FLASH,在短(512)和长(8 K)上下文长度上匹配改进的Transformers的困惑,在Wiki-40 B上实现高达4.9 $\times$的训练加速,在PG-19上实现12.1 $\times$的自回归语言建模,在C4上实现4.8 $\times$的掩蔽语言建模。
2022-06-27 cs.AI cs.CL cs.LG
Softmax $\geq$ Linear: Transformers may learn to classify in-context by kernel gradient descent
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院计算神经科学单元)
研究突破传统线性假设,发现采用非线性softmax激活的Transformers在分类任务中通过核特征空间泛函的梯度下降实现上下文学习,并具备上下文自适应学习率,展现出更强的上下文适应性。
2025-10-12 cs.LG
Scaled Idempotence in Transformer Attention: Paired OV Geometry and Shared-Value Algebras
College of Computer Science, Beijing University of Technology(北京工业大学计算机学院);School of Mathematics, Statistics and Mechanics, Beijing University of Technology(北京工业大学数学、统计与力学学院)
该研究发现Transformer注意力中存在缩放幂等性的代数规律,通过OV几何分解与值共享扩展,揭示了训练注意力头的稀疏方向特性及局部算子代数关系。
2026-09-02 cs.LG
Trained Transformers Learn Linear Models In-Context
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
研究单层线性自注意力Transformer通过梯度流学习线性回归的上下文学习机制,证明其能找到全局最优且媲美最佳线性预测器,并揭示其对协变量分布偏移的脆弱性及大型非线性架构的鲁棒性。
2023-10-19 cs.AI cs.CL cs.LG
Understanding In-Context Learning of Linear Models in Transformers Through an Adversarial Lens
University of Cambridge(剑桥大学);Google, Paradigms of Intelligence Team(谷歌,Paradigms of Intelligence团队);Google DeepMind(谷歌DeepMind);Mila & Université de Montréal(Mila与蒙特利尔大学);UC Davis(加州大学戴维斯分校)
本研究通过对抗攻击视角,发现Transformer对劫持攻击脆弱但可经对抗训练增强,并揭示不同种子训练的Transformer及与传统算法间攻击迁移性差,表明其可能实现不同的情景学习算法。
2025-08-05 cs.CR cs.LG
Multi-Layer Transformers Gradient Can be Approximated in Almost Linear Time
The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学);The Simons Institute for the Theory of Computing at the University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);University of Pennsylvania(宾夕法尼亚大学)
本文针对多层Transformer模型自注意力机制计算梯度存在的二次时间复杂度瓶颈,提出一种新颖的快速近似方法,在近线性时间内计算梯度并保持多项式级微小误差,适用于包含残差连接等子模块的一般损失函数,有望促进长上下文语言模型的高效训练与部署。
2024-10-15 cs.AI cs.CL cs.LG
LaB-GATr: geometric algebra transformers for large biomedical surface and volume meshes
University of Twente(特文特大学)
针对高保真生物医学网格规模大、患者间对齐难的问题,提出具备几何分词、遵循欧几里得对称性的LaB-GATr架构,通过序列压缩插值处理大规模网格,在三项相关任务上达最优水平。
2024-11-03 cs.CV cs.LG
X-ViT: High Performance Linear Vision Transformer without Softmax
Kakao Enterprise(Kakao企业)
视觉Transformer已成为计算机视觉任务中最重要的模型之一。虽然他们优于以前的作品,他们需要大量的计算资源的规模是令牌的数量,$N$的平方。这是传统的自注意(SA)算法的一个主要缺点。在这里,我们提出了具有线性复杂度的新型SA机制的X-ViT、ViT。这项工作的主要途径是消除非线性从原来的SA。我们因式分解SA机制的矩阵乘法,没有复杂的线性近似。通过修改只有几行代码,从原来的SA,所提出的模型优于大多数基于变换的模型在图像分类和密集的预测任务的大多数容量制度。
2022-05-27 cs.CV cs.LG
On the Robustness of Transformers against Context Hijacking for Linear Classification
Insititute of Data Science, The University of Hong Kong(香港大学数据科学学院);Actuarial Science, The University of Hong Kong(香港大学精算学系);Department of Computer Science, The University of Hong Kong(香港大学计算机科学系)
该研究针对Transformer大语言模型的上下文劫持鲁棒性问题,通过线性Transformer的上下文线性分类场景开展理论分析,揭示模型深度提升鲁棒性的机制,为深层架构优势提供理论支撑。
2025-02-21 cs.AI cs.CL cs.LG
In-Context Learning of Linear Dynamical Systems with Transformers: Approximation Bounds and Depth-Separation
School of Mathematics University of Minnesota, Twin Cities(数学系 明尼苏达大学 Twin Cities分校)
本文从近似理论角度分析 transformer 对含噪线性动力系统的上下文学习,证明对数深度多层模型可逼近最小二乘估计,而单层线性 transformer 存在非衰减误差下界并体现深度分离及 IID/非 IID 差异。
2025-10-21 cs.LG stat.ML
The Counting Power of Transformers
RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道大学);MPI-SWS(马克斯·普朗克研究所-软件系统研究中心);Centro Nacional de Inteligencia Artificial(智人工智能国家中心)
本文研究了变换器的计数能力,证明其能表达高度非线性的计数属性,并通过半代数属性扩展了现有结果,同时揭示了变换器模型的不可判定性。
2026-03-02 cs.CL cs.FL cs.LG
Computational Algebra with Attention: Transformer Oracles for Border Basis Algorithms
Chiba University(千叶大学);Zuse Institute Berlin(柏林祖斯研究所);Nihon University(日本大学)
本研究提出首个兼顾输出正确性与效率的深度学习边界基算法,通过Transformer预言机消除高成本归约步骤,实现最高3.5倍加速,还开发了边界基采样方法与单项式中心的分词方案,是对传统计算机代数算法的实用增强。
2026-08-13 cs.LG cs.SC
LT2: Linear-Time Looped Transformers
Rice University(里士大学);Apple(苹果公司);UC Santa Cruz(圣克ruz大学);Carnegie Mellon University(卡内基梅隆大学)
提出LT2系列架构,用次二次线性时间注意力替代二次softmax注意力,通过循环实现线性注意力中的迭代记忆精炼和稀疏注意力中的有效感受野扩展,在召回、状态跟踪和语言建模任务上取得一致提升,并展示了混合变体在效率和性能上的优势。
2026-05-22 cs.LG
5G LDPC Linear Transformer for Channel Decoding
University of Puerto Rico(波多黎各大学)
本文提出一种线性时间复杂度的Transformer解码器,用于5G NR LDPC码,复杂度为O(n),性能匹配常规Transformer并优于单次迭代BP,时间性能与BP相当。
2025-01-23 cs.IT cs.LG math.IT
NN-LUT: Neural Approximation of Non-Linear Operations for Efficient Transformer Inference
NAVER AI Lab(NAVER人工智能实验室);NAVER Clova;SAIT(三星高级技术研究院);Hanyang University(汉阳大学)
GELU、层归一化和Softmax等非线性操作是Transformer模型的基本但昂贵的构建块。一些现有的工作简化了这些操作与查找表或整数计算,但这样的近似遭受较差的精度或相当大的硬件成本与长的延迟。本文提出了一个准确的和硬件友好的近似框架,有效的Transformer推理。我们的框架采用了一个简单的神经网络作为一个通用的逼近器,其结构等价地转换成一个LUT。提出的框架称为NN-LUT可以准确地取代流行的BERT模型中的所有非线性操作,并显着减少面积,功耗和延迟。
2021-12-03 cs.AI cs.LG
Dynamics of Transient Structure in In-Context Linear Regression Transformers
Gradient Institute(格雷迪安特研究所);University of Oxford(牛津大学);University of Melbourne(墨尔本大学)
本文研究了 Transformer 在上下文线性回归任务中的瞬态岭现象,发现模型会从岭回归的通用解转变为特化解,并基于贝叶斯内部模型选择理论,通过损失与复杂性的动态权衡解释了该瞬态结构。
2025-01-31 cs.LG
In-Context Learning of a Linear Transformer Block: Benefits of the MLP Component and One-Step GD Initialization
University of California, Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
本文研究线性Transformer块的上下文学习能力,证明其结合MLP组件可实现接近贝叶斯最优的ICL风险,并揭示其与一步梯度下降估计器的对应关系,凸显MLP层在降低近似误差中的关键作用。
2024-02-22 cs.CL cs.LG stat.ML
Ghost in the Kernel: In-Context Learning with Efficient Transformers via Domain Generalization
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院)
本文从领域泛化角度研究线性Transformer的近似与泛化能力,证明其通过上下文分布到响应函数的映射实现上下文学习,并基于理论提出激活函数与损失函数设计新视角。
2026-07-02 cs.LG stat.ML
Practical Computational Power of Linear Transformers and Their Recurrent and Self-Referential Extensions
Harvard University(哈佛大学);The Swiss AI Lab IDSIA, USI & SUPSI(瑞士人工智能实验室 IDSIA,卢加诺大学与瑞士南部应用科学与艺术大学);AI Initiative, KAUST(阿卜杜拉国王科技大学人工智能计划)
本文研究了线性 Transformer 及 Fast Weight Programmers 在有限精度下的计算能力,证明标准 Transformer 的结论可迁移至该架构,并通过实验表明循环和自指权重矩阵等扩展方法成功克服了其在奇偶性问题上的泛化局限。
2023-10-24 cs.LG
Toward generalizable learning of all (linear) first-order methods via memory augmented Transformers
UC Davis(加州大学戴维斯分校);TU Munich(慕尼黑工业大学)
本文证明记忆增强Transformer可实现包括梯度下降、共轭梯度下降和动量方法在内的全部线性一阶方法,并提出专家混合方法用于测试时适应分布外样本,同时表明线性一阶方法本身可作为可学习算法从数据中训练以获得强性能。
2025-02-01 cs.LG math.OC
Learning to Estimate System Specifications in Linear Temporal Logic using Transformers and Mamba
Middle East Technical University(中东技术大学);Microsoft(微软)
本文提出基于自回归的Transformer和Mamba架构,从系统轨迹生成线性时序逻辑公式以解决规约挖掘问题,并设计了独特性量化指标与语法约束算法,以极低计算成本生成正确且独特的公式。
2024-05-31 cs.CL cs.LG cs.LO
Cross-Architecture Transfer Learning for Linear-Cost Inference Transformers
Department of CSE, HKUST(香港科技大学计算机科学与工程系)
针对线性成本推理架构需从头预训练的问题,本文提出 XATL,将自注意力 Transformer 的共享权重直接迁移至新架构,最高节省 2.5 倍训练时间并提升 2.6% 基准性能。
2024-04-03 cs.AI cs.CL cs.LG
Flexformer: Flexible Linear Transformer with Learnable Attention Kernel
Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计科学研究中心与统计学院)
提出Flexformer,通过将随机傅里叶特征中的频谱频率作为可训练参数,实现数据驱动的注意力核学习,在保持线性复杂度的同时提升表达能力,并在语言建模和序列分类任务上优于基线。
2026-06-29 cs.AI cs.LG