Efficient Large Language Model Inference with Neural Block Linearization
Laboratory for Information and Inference Systems(信息与推断系统实验室)
针对大语言模型自注意力推理开销高的问题,提出 NBL 框架,依据典型相关分析得到的线性近似误差上界选择并替换层,无需微调即可显著提速且准确率损失极小。
2025-10-19 cs.AI cs.LG
Lizard: An Efficient Linearization Framework for Large Language Models
University of Oregon(俄勒冈大学);Adobe Research(Adobe研究院)
Lizard提出一种高效线性化框架,将预训练的Transformer大型语言模型转换为亚二次架构,通过亚二次注意力机制提升计算效率,实现模型质量与内存控制的平衡。
2026-04-18 cs.CL cs.LG
ReplaceMe: Network Simplification via Depth Pruning and Transformer Block Linearization
MWS AI, ITMO University(MWS AI,ITMO大学);MWS AI;MWS AI, ITMO University, IITU University(MWS AI,ITMO大学,IITU大学);University of Crete, IACM-Forth, Archimedes Athena RC(希腊克里特大学,IACM-第四研究机构,Archimedes Athena RC)
ReplaceMe通过深度剪枝和Transformer块线性化实现高效网络简化,无需额外训练即可实现高达25%的剪枝率并保持90%性能。
2026-02-19 cs.AI cs.CL cs.LG
Tangent Transformers for Composition, Privacy and Removal
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
该研究提出切线注意力微调(TAFT)方法,对预训练Transformer做一阶泰勒展开得到线性化的Tangent Transformer,可高效计算且性能媲美非线性微调,在模型组合、并行训练、机器遗忘和差分隐私方面具备优势。
2024-05-14 cs.LG
Liger: Linearizing Large Language Models to Gated Recurrent Structures
Shanghai AI Laboratory(上海人工智能实验室);Nanjing University(南京大学)
本文提出Liger,通过重用预训练key矩阵权重构建门控机制,将LLMs无额外参数地线性化为门控循环结构,并结合LoRA微调与Liger Attention,以极低预训练成本恢复模型性能。
2025-05-07 cs.AI cs.CL cs.LG
Pretraining Decision Transformers with Reward Prediction for In-Context Multi-task Structured Bandit Learning
提出一种无需最优动作且能超越演示者的预训练决策Transformer方法,利用任务共享结构实现上下文多任务结构化老虎机学习,降低未见任务的累积遗憾。
2025-10-22 cs.LG
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Beijing Normal University, Zhuhai(北京师范大学(珠海));National University of Singapore(新加坡国立大学)
该研究针对Transformer注意力线性化的离群维度误差问题,提出OAL方法,通过分组二次核实现维度感知的注意力近似,在Qwen2.5-0.5B等基准上提升了性能。
2026-10-12 cs.AI cs.LG stat.ML
Ripple Attention for Visual Perception with Sub-quadratic Complexity
The University of Hong Kong(香港大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
Transformer体系结构现在是序列建模任务的核心。其核心是注意力机制,它可以对序列中的长期依赖关系进行有效建模。最近,Transformers已成功地应用于计算机视觉领域,其中2D图像首先被分割成块,然后被视为1D序列。然而,这种线性化削弱了图像中空间局部性的概念,而空间局部性承载着重要的视觉线索。为了弥补这一差距,我们提出了涟漪注意力,一个次二次注意力机制的视觉Transformer。基于最近的基于内核的高效注意力机制,我们设计了一种新的动态规划算法,权重的不同令牌的查询相对于他们的相对空间距离在二维空间中的线性观察时间的贡献。大量的实验和分析证明了涟漪注意对各种视觉任务的有效性。
2022-06-15 cs.CV cs.LG
Transformers learn to implement preconditioned gradient descent for in-context learning
MIT EECS/LIDS(麻省理工学院电气工程与计算机科学系/信息与决策系统实验室);MIT LIDS(麻省理工学院信息与决策系统实验室);MIT LIDS/FODSI(麻省理工学院信息与决策系统实验室/FODSI);TU Munich / MIT(慕尼黑工业大学 / 麻省理工学院)
本文首次从理论上证明,线性 Transformer 在随机线性回归上训练后,其全局最小值或临界点分别实现单步或多步预条件梯度下降,揭示了 Transformer 学习算法的能力。
2023-11-09 cs.AI cs.LG
Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting
Tsinghua University(清华大学)
延长预测时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。现有的基于transformer的模型采用各种自注意机制来发现远程依赖关系。然而,长期未来的复杂时间模式阻止了模型找到可靠的依赖关系。此外,Transformers必须采用稀疏版本的逐点自关注的长序列效率,导致信息利用瓶颈。除了Transformers之外,我们还将Autoformer设计为具有自相关机制的新型分解架构。我们打破了序列分解的预处理惯例,并将其更新为深层模型的基本内部块。这种设计使Autoformer具有复杂时间序列的渐进分解能力。进一步,受随机过程理论的启发,设计了基于序列周期性的自相关机制,在子序列层次上进行依赖发现和表示聚合。自相关在效率和准确性方面都优于自我注意。在长期预测中,Autoformer具有最先进的准确性,在六个基准上相对提高了38%,涵盖五个实际应用:能源,交通,经济,天气和疾病。代码可在以下存储库中获得:\url{https://github.com/thuml/Autoformer}。
2022-01-07 cs.AI cs.LG
Cooperation Is All You Need
University of Stirling(斯特林大学)
本文提出受神经生物学启发的Cooperator算法,对比其与Transformer在RL任务中的表现,发现相同参数下Cooperator学习速度远快于Transformer。
2025-04-17 cs.AI cs.LG cs.NE
SOFT: Softmax-free Transformer with Linear Complexity
Fudan University(复旦大学);University of Surrey(萨里大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
视觉Transformer(ViTs)通过逐块图像标记化以及自我注意力,推动了各种视觉识别任务的最新技术。然而,自注意模块的使用导致计算和存储器使用的二次复杂度。在自然语言处理中,已经进行了各种尝试来近似具有线性复杂度的自注意计算。然而,在这项工作中的深入分析表明,他们要么是理论上有缺陷的或经验无效的视觉识别。我们进一步确定,它们的局限性根源于在近似过程中保持softmax自我注意力。具体地说,传统的自我注意力是通过标准化标记特征向量之间的缩放点积来计算的。保持这种softmax操作对后续的线性化工作提出了挑战。基于这种见解,首次提出了一种无softmax的Transformer或SOFT。为了消除自注意中的softmax,使用高斯核函数代替点积相似性,而无需进一步归一化。这使得完全自注意矩阵能够通过低秩矩阵分解来近似。近似的鲁棒性是通过使用牛顿-拉夫森方法计算其Moore-Penrose逆来实现的。在ImageNet上进行的大量实验表明,我们的SOFT显著提高了现有ViT变体的计算效率。重要的是,在线性复杂度下,SOFT中允许更长的令牌序列,从而在准确性和复杂度之间实现更好的权衡。
2022-04-30 cs.AI cs.CV cs.LG
A Theoretical Understanding of Self-Correction through In-context Alignment
School of EECS, Peking University(北京大学电子工程与计算机科学学院);School of Mathematical Sciences, Peking University(北京大学数学科学学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);TU Munich(慕尼黑工业大学);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本研究从上下文学习的角度理论分析了大型语言模型的自纠正能力,揭示了softmax注意力、多头注意力及MLP块等关键设计的作用,并验证了其在防御LLM越狱等任务中的有效性。
2024-11-18 cs.CL cs.LG stat.ML
Softmax-free Linear Transformers
School of Data Science, Fudan University(复旦大学数据科学学院);University of Surrey(萨里大学)
提出无Softmax的线性Transformer(SOFT),用高斯核替代点积相似性,通过低秩分解和牛顿-拉弗森逆估计实现线性复杂度,在多个视觉任务上提升效率与精度平衡。
2024-03-15 cs.AI cs.CV cs.LG
Stabilizing Transformer Training by Preventing Attention Entropy Collapse
Apple(苹果公司)
本文提出σReparam方法,通过谱归一化重新参数化线性层,防止注意力熵坍缩,稳定Transformer训练,并在多项任务中实现无需复杂训练技巧的竞争性能。
2023-07-25 cs.AI cs.CL cs.CV
Exploring and Evaluating Personalized Models for Code Generation
McGill University(麦吉尔大学);Anthropic(Anthropic公司);Microsoft(微软公司)
大型Transformer模型在自然语言理解任务中达到了最先进的水平,并且越来越多地成为建模源代码的基线模型架构。Transformers通常在大型无监督语料库上进行预训练,学习与建模一般可用文本相关的令牌表示和转换,然后在特定的下游感兴趣的任务上进行微调。虽然微调是使模型适应新领域的可靠方法-例如,对给定主题的问答-但泛化仍然是一个持续的挑战。在本文中,我们探讨和评估Transformer模型微调个性化。在为Java方法生成单元测试的上下文中,我们使用几种个性化技术来评估学习个性化特定软件项目的能力。我们考虑三种关键方法:(i)自定义微调,允许调整所有模型参数;(ii)轻量级微调,冻结大部分模型参数,仅允许调整令牌嵌入和softmax层或仅调整最终层;(iii)前缀调整,保持模型参数冻结,但优化小的项目特定前缀向量。这些技术中的每一种都提供了总计算成本和预测性能的权衡,我们通过代码和特定于任务的指标,训练时间和总计算操作来评估。我们比较了这些用于代码生成的微调策略,并讨论了每种策略在各种部署场景中的潜在通用性和成本效益。
2022-09-20 cs.CL cs.LG cs.SE
Handling and extracting key entities from customer conversations using Speech recognition and Named Entity recognition
Pune Institute of Computer Technology(浦那计算机技术学院)
本文提出一个两阶段网络,先用最优语音识别将客户对话转为文本,再用NER BERT transformer模型提取订单号、具体问题等关键实体,以减少人工复查对话的工作量并提升客户体验。
2022-11-28 cs.CL cs.LG