Sparsity Moves Computation: How FFN Architecture Reshapes Attention in Small Transformers
University of Michigan（密歇根大学）
研究通过单层Transformer在数字加法、模运算和直方图计数中发现，稀疏MoE路由将计算从FFN转移到注意力，且GLU门控旋转任务相关傅里叶结构至分布式子空间。
2026-05-15 cs.AI cs.LG cs.NE
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Google（谷歌）
在深度学习中，模型通常对所有输入重复使用相同的参数。混合专家模型（MoE）则不这么做，而是为每个传入的示例选择不同的参数。其结果是一个稀疏激活的模型-参数数量惊人-但计算成本恒定。然而，尽管MoE取得了一些显著的成功，但复杂性、通信成本和培训不稳定性阻碍了广泛采用--我们使用Switch Transformer解决了这些问题。我们简化了MoE路由算法和设计直观的改进模型，降低了通信和计算成本。我们提出的训练技术有助于解决不稳定性，我们首次展示了大型稀疏模型可以使用较低精度（bfloat 16）格式进行训练。我们基于T5-Base和T5-Large设计模型，以相同的计算资源获得高达7倍的预训练速度。这些改进扩展到多语言设置中，我们在所有101种语言中测量了mT5-Base版本的收益。最后，我们通过在“Colossal Clean Crawled Corpus”上预训练多达万亿个参数模型，提升了语言模型的当前规模，并实现了T5-XXL模型的4倍加速。
2022-06-16 cs.AI cs.LG
$O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers
MIT（麻省理工学院）；Google Research NY（谷歌纽约研究院）
最近，Transformer网络重新定义了许多NLP任务的最新技术。然而，这些模型遭受在输入序列长度$n$中的二次计算成本，以计算每层中的成对注意。这促使最近的研究稀疏Transformers，稀疏的注意力层中的连接。虽然经验上有希望的长序列，基本问题仍然没有答案：稀疏Transformers可以近似任何任意的序列到序列的功能，类似于他们的密集同行？稀疏模式和稀疏级别如何影响它们的性能？在本文中，我们解决了这些问题，并提供了一个统一的框架，捕获现有的稀疏注意力模型。我们提出了充分的条件下，我们证明了稀疏注意力模型可以普遍近似任何序列到序列的功能。令人惊讶的是，我们的研究结果表明，稀疏的Transformers只有$O(n)$连接，每个注意层可以近似相同的功能类的密集模型与$n^2$连接。最后，我们在标准NLP任务上比较了不同的稀疏模式/水平。
2020-12-19 cs.LG stat.ML
Accelerating Transformer Pre-training with 2:4 Sparsity
Tsinghua University（清华大学）
本文针对 Transformer 预训练中的 FFN，提出基于 2:4 稀疏性的稳定训练与实际加速技术，在保持稠密训练收敛性的同时获得显著加速。
2024-10-27 cs.LG
Transformer Geometry Observatory TGO-II: Representational Similarity Observatory
Department of Electronics Engineering Sardar Vallabhai National Institute of Technology (SVNIT), Surat, India（电子工程系萨达尔·瓦拉布希国家理工学院（SVNIT），印度萨拉特）
提出TGO-II框架，通过CKA、SVCCA、TwoNN-ID和token协方差分析，发现ViT训练中表征专业化增强、内在维度增加且token交互结构保持，挑战了表征复杂性源于token独立的假设。
2026-07-03 cs.CV cs.LG
Post-Training Statistical Calibration for Higher Activation Sparsity
Intel Corporation（英特尔公司）
本文提出训练后激活剪枝框架 SCAP，通过全连接层输入激活泛化稀疏化，并用 Mode-Centering 预校准激活分布，在多种架构上实现更高稀疏度与 1.5 倍额外解码加速。
2024-12-10 cs.AI cs.LG
Component and Dimension Sparsity in Transformer Refusal Mechanisms
UC Santa Cruz（加州大学圣克鲁兹分校）；UCLA（加州大学洛杉矶分校）；UC Berkeley（加州大学伯克利分校）
本研究通过分解四个开源模型的拒绝引导，发现拒绝机制在组件和维度两个层面呈稀疏性，由可识别的结构化机制组装而成，而非分散编码。
2026-10-07 cs.AI cs.CL cs.LG
Your Transformer Is Secretly Elastic
University of Amsterdam（阿姆斯特丹大学）；TNO, Intelligent Imaging（荷兰应用科学研究组织，智能成像）
本研究提出无需重训的弹性化预训练Transformer方法，通过联合排序神经元与注意力头实现动态适配，在27个Transformer模型上验证其剪枝性能优于基线，可提升吞吐量并降低延迟。
2026-10-14 cs.AI cs.LG
Dynamic sparsity in tree-structured feed-forward layers at scale
CITEC, Bielefeld University（比勒费尔德大学认知交互技术研究中心）；Department of Computer Science, Royal Holloway, University of London（伦敦大学皇家霍洛威学院计算机科学系）
本文研究了树状结构前馈层作为Transformer中密集MLP块的替代方案，实现条件计算无需额外路由网络。通过动态稀疏性技术，在大规模模型中实现高效的语言建模和问答任务。
2026-03-18 cs.AI cs.CL cs.LG
Sparse Inter-Layer Dependencies of Transformer FFN Neurons
研究Transformer中FFN模块内部结构难解释问题，引入无需训练的归因方法，发现其神经元层面存在稀疏且结构化的层间依赖关系，该方法为电路级可解释性提供工具并识别候选稀疏路径。
2026-07-15 cs.AI cs.CL cs.LG
Towards the Connection between Activation Sparsity and Flat Minima
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Institute of Brain-Machine Interface, Nanjing University（南京大学脑机接口研究院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文发现损失景观的平坦性与Transformer中MLP激活稀疏性密切相关，通过理论推导和三种实用方法增强稀疏性，显著降低推理和训练成本。
2026-05-25 cs.AI cs.LG
Successfully Applying the Stabilized Lottery Ticket Hypothesis to the Transformer Architecture
RWTH Aachen University（亚琛工业大学）
稀疏模型需要更少的存储内存，并通过减少必要的FLOP数量来实现更快的推理。这与使用神经网络的时间关键计算和设备上计算都相关。稳定彩票假设指出，网络可以在没有或很少的训练迭代之后被修剪，使用基于未修剪的收敛模型计算的掩码。在Transformer架构和WMT 2014英语到德语和英语到法语的任务中，我们证明了稳定的彩票修剪在高达85%的稀疏度水平上与幅度修剪相似，并提出了一种新的修剪技术组合，该组合在更高的稀疏度水平上优于所有其他技术。此外，我们确认，参数的初始符号，而不是它的具体值是成功的训练的主要因素，并表明幅度修剪可以用来找到中奖彩票。
2020-07-03 cs.CL cs.LG
Adversarial Token Attacks on Vision Transformers
New York University（纽约大学）
与卷积网络相比，视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断，Transformer模型比卷积模型对令牌攻击更敏感，ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
GrowTAS: Progressive Expansion from Small to Large Subnets for Efficient ViT Architecture Search
Yonsei University（延世大学）
GrowTAS通过逐步扩展子网络，提高ViT架构搜索的效率和稳定性。
2025-12-13 cs.CV cs.LG
Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers
Fudan University（复旦大学）；StepFun；The Chinese University of Hong Kong（香港中文大学）；Imperial College London（伦敦帝国理工学院）
本文提出Sparse-vDiT框架，通过利用vDiT注意力图中的对角线、多对角线和垂直条纹等结构稀疏模式，结合模式优化稀疏内核与离线稀疏扩散搜索算法，在多个主流视频扩散Transformer模型上实现显著推理加速并保持高视觉质量。
2025-06-03 cs.AI cs.CV cs.LG
SAF3R: Dynamic Sparse Attention for Feed-Forward 3D Reconstruction Transformers
University of Pittsburgh（匹兹堡大学）；University of Arizona（亚利桑那大学）；Tongji University（同济大学）；University of Central Florida（中佛罗里达大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究前馈3D重建Transformer，分析其全局注意力模式，提出SAF3R框架，集成稀疏注意力机制、离线头部分析和在线适应策略，在保持质量同时提高稀疏率加速端到端速度。
2026-08-14 cs.CV cs.LG
Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers
Google（谷歌）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；DeepMind（深度思维）
Transformer模型在各种领域都取得了最先进的成果。然而，对训练注意力机制以学习远距离输入之间的复杂依赖关系的成本的关注继续增长。作为回应，利用学习到的注意力矩阵的结构和稀疏性的解决方案已经蓬勃发展。然而，涉及长序列的实际应用，例如生物序列分析，可能无法满足这些假设，从而排除了对这些模型的探索。为了解决这个问题，我们提出了一个新的Transformer架构，表演者，通过正交随机特征（FAVOR）的基础上快速注意。我们的机制在序列中的令牌数量上线性而不是二次地缩放，其特征在于次二次空间复杂度，并且不包含任何稀疏模式先验。此外，它提供了强有力的理论保证：无偏估计的注意矩阵和一致收敛。它还与预先训练的常规Transformers向后兼容。我们证明了它的有效性的蛋白质序列建模的挑战性任务，并提供详细的理论分析。
2020-10-01 cs.CL cs.LG stat.ML
Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation
MIT（麻省理工学院）
最近对彩票假说的研究已经为NMT产生了高度稀疏的Transformers，同时保持了BLEU。然而，目前还不清楚这种修剪技术如何影响模型的学习表示。通过探测具有越来越多的低量级权重被修剪掉的Transformers，我们发现复杂的语义信息首先被降级。内部激活的分析表明，高层分歧最修剪的过程中，逐渐变得不那么复杂，比密集的同行。同时，稀疏模型的早期层开始执行更多的编码。随着稀疏度的增加，注意力机制保持显著一致。
2020-10-12 cs.CL cs.LG stat.ML
ESACT: An End-to-End Sparse Accelerator for Compute-Intensive Transformers via Local Similarity
School of Integrated Circuits, Southeast University（集成电路学院，东南大学）
ESACT通过局部相似性预测机制，实现端到端稀疏加速，减少计算量达52.03%，提升能效3.29 TOPS/W。
2025-12-04 cs.AR cs.LG
Transformers Can Implement Preconditioned Richardson Iteration for In-Context Gaussian Kernel Regression
Department of Mathematics, University of California, Santa Barbara, CA（加州大学圣芭芭拉分校数学系）
本文研究了上下文核岭回归，证明标准softmax注意力transformer可通过预条件Richardson迭代近似高斯核回归预测器，展示了transformer架构中的功能分解。
2026-09-28 cs.AI cs.LG cs.NA
AccelTran: A Sparsity-Aware Accelerator for Dynamic Inference with Transformers
Princeton University（普林斯顿大学）
针对Transformer加速中计算开销高、硬件利用率低的问题，提出低开销动态剪枝方案DynaTran与分块数据流，设计稀疏感知加速器AccelTran，在准确率、稀疏度、吞吐量与能效上均优于现有方案。
2023-05-01 cs.AR cs.LG
Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Jeddah（吉达大学）；King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学）；King Saud University（沙特国王大学）
提出渐进式幅度剪枝方法，在单训练周期内线性增加稀疏度，基于权重幅度更新掩码，在CIFAR-10和MNIST上优于LTH、SNIP和GraSP等基线。
2026-06-11 cs.CV cs.LG
An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers
Nanjing University（南京大学）；SenseTime（商汤科技）
Transformer一直是深度学习中不可或缺的主食。然而，对于现实生活中的应用，这是非常具有挑战性的部署高效的Transformers由于巨大的参数和操作的模型。为了减轻这种负担，利用稀疏性是加速Transformers的有效方法。新兴的Ampere GPU利用2：4稀疏模式来实现模型加速，但它很难满足部署模型时的各种算法和硬件约束。相比之下，我们提出了一个算法硬件协同优化的框架，灵活，有效地加速Transformers，利用一般的N：M稀疏模式。(1)从算法的角度，我们提出了一个稀疏继承机制，随着继承的动态修剪（IDP）的方法，以获得一系列的N：M稀疏候选Transformers迅速。进一步提出了一种模型压缩方案，大大降低了部署所需的存储空间。(2)从硬件的角度来看，我们提出了一个灵活和高效的硬件架构，即STA，实现显着的加速时，部署N：M稀疏Transformers。STA不仅具有统一稀疏-密集和密集-密集矩阵乘法的计算引擎，具有高计算效率，而且具有可扩展的softmax模块，消除了中间片外数据通信的延迟。实验结果表明，与其他方法相比，使用IDP生成的N：M稀疏Transformers在训练效率较高的情况下，准确率平均提高了6.7%。此外，与Intel i9- 9900 X和NVIDIA RTX 2080 Ti相比，STA可以分别实现14.47倍和11.33倍的加速比，并且执…
2022-08-12 cs.AR cs.LG
HORST: Composing Optimizer Geometries for Sparse Transformer Training
CISPA Helmholtz Center for Information Security（CISPA 河岸信息安全中心）
本文提出HORST，一种结合优化几何的模块化优化器，通过超几何镜像映射引入L1稀疏性偏置，以在保持训练稳定性的同时促进稀疏性。
2026-05-20 cs.LG
LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
Georgia Institute of Technology（佐治亚理工学院）
本文提出 LOTUS 方法，通过数据彩票票选择与稀疏剪枝加速视觉 Transformer 训练，在保持准确率的同时显著降低计算需求。
2024-05-01 cs.AI cs.CV cs.LG
Accelerating Transformer Inference and Training with 2:4 Activation Sparsity
Meta
该研究利用Squared-ReLU激活的固有稀疏性，结合2:4硬件加速GPU稀疏模式，在无精度损失下将Transformer前馈网络的正反传播速度最高提升1.3倍，为大语言模型训练与推理加速提供了稀疏性方向的可行路径。
2025-03-20 cs.AI cs.LG
Self-Ablating Transformers: More Interpretability, Less Sparsity
University of Groningen（格罗宁根大学）；AE Studio（AE工作室）；Apart Research（阿帕特研究机构）
本文提出一种自消融机制，通过动态施加 k-赢家通吃约束将可解释性直接融入 Transformer 训练，实验表明该方法促进了特征定位与神经元专门化，同时降低了整体稀疏性并保持了语言建模性能。
2025-05-01 cs.LG
Accelerating Training of Transformer-Based Language Models with Progressive Layer Dropping
Microsoft Corporation（微软公司）
最近，基于transformer的语言模型在许多NLP领域都表现出了卓越的性能。然而，这些模型的无监督预训练步骤遭受无法承受的总体计算费用。目前用于加速预训练的方法要么依赖于与高级硬件的大规模并行，要么不适用于语言建模。在这项工作中，我们提出了一种基于渐进式层丢弃的方法，加快了基于transformer的语言模型的训练，而不是以过多的硬件资源为代价，而是从模型架构的变化和训练技术提高了效率。在BERT上进行的大量实验表明，该方法平均每个样本的时间减少了24%，并且预训练速度比基线快2.5倍，以在下游任务中获得类似的准确度。在速度更快的同时，我们的预训练模型具有强大的知识可移植性，在使用相同数量的样本进行预训练时，与基线相比，可以获得相当的GLUE分数，有时甚至更高。
2020-10-26 cs.LG
Beyond 2:4: exploring V:N:M sparsity for efficient transformer inference on GPUs
Tsinghua University（清华大学）；Beijing Jiaotong University（北京交通大学）
本文系统研究了V:N:M稀疏性在视觉Transformer和LLMs中的应用，提出启发式V/M选择、通道置换和三阶段LoRA训练三种方法，在64:2:5等稀疏度下实现无损或更优精度，并展示了比2:4稀疏性更灵活的加速-精度权衡。
2025-06-03 cs.AI cs.LG
On the Transformer Growth for Progressive BERT Training
Google Research（谷歌研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
由于大规模语言模型预训练的过度成本，已经做出了相当大的努力来逐步训练BERT-从劣质但低成本的模型开始，并逐渐增长模型以增加计算复杂性。我们的目标是促进对Transformer成长的理解，并发现指导渐进式训练的原则。首先，我们发现，类似于网络架构搜索，Transformer的增长也有利于复合缩放。具体来说，虽然现有方法仅在单个维度中进行网络增长，但我们观察到使用复合增长算子并平衡多个维度（例如，模型的深度、宽度和输入长度）。此外，我们还通过控制比较的方法，在每个维度上探索了可供选择的增长算子，为算子的选择提供了实际指导。根据我们的分析，所提出的方法加快了BERT预训练的73.6%和82.2%，分别为基础和大模型，同时达到可比的性能
2021-07-11 cs.CL cs.LG
Probabilistic thermal stability prediction through sparsity promoting transformer representation
DTU Compute（丹麦技术大学计算系）；Novo Nordisk A/S（诺和诺德公司）
预训练的蛋白质语言模型在不同的蛋白质工程任务中表现出显著的适用性。这些预先训练的Transformer模型潜在表示的一般用途是使用跨残基位置的平均池来减少特征维度以进一步下游任务，例如预测生物物理特性或其他功能行为。在本文中，我们提供了一个双重的贡献机器学习（ML）驱动的药物设计。首先，我们通过促进预先训练的Transformer模型的惩罚来证明稀疏性的力量，以确保单链可变片段的更稳健和准确的解链温度（Tm）预测，平均绝对误差为0.23 C。其次，我们展示了在概率框架中构建预测问题的能力。具体来说，我们提倡采用概率框架的必要性，特别是在ML驱动的药物设计的背景下。
2022-11-10 cs.LG stat.ML
ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer
Singapore Management University（新加坡管理大学）
使用大量数据进行预训练，自回归语言模型能够生成高质量的序列。然而，这些模型在严格的词汇约束下表现不佳，因为它们缺乏对内容生成过程的精细控制。基于渐进插入的Transformers可以克服上述限制，并在给定一些输入令牌作为约束的情况下高效地并行生成序列。然而，这些Transformers可能无法支持硬词汇约束，因为它们的生成过程更有可能过早终止。本文分析了这种提前终止的问题，并提出了一种新的插入式Transformer，解决了上述缺陷，而不影响发电效率的安全约束插入式Transformer（ENCONTER）。我们引入了一种新的训练策略，该策略考虑了预定义的硬词汇约束（例如，要包括在生成的序列中的实体）。我们的实验表明，ENCONTER优于其他基准模型在几个性能指标，使其更适合在实际应用中。我们的代码可在https://github.com/LARC-CMU-SMU/Enconter上获得
2021-03-17 cs.AI cs.CL cs.LG
Mixed Sparsity Training: Achieving 4$\times$ FLOP Reduction for Transformer Pretraining
Tsinghua University（清华大学）；Central South University（中南大学）
本文提出混合稀疏训练（MST）方法，通过结合动态稀疏训练、稀疏变化和混合稀疏注意力，在保持性能的同时将Transformer预训练的FLOP减少4倍。
2024-08-21 cs.LG
ELSA: Exploiting Layer-wise N:M Sparsity for Vision Transformer Acceleration
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视觉Transformer逐层定制N:M稀疏配置方法匮乏的问题，提出ELSA方法，兼顾加速器支持的稀疏等级与吞吐量，以极小精度损失实现ViT的内存与推理效率提升，在ImageNet上使Swin-B、DeiT-B的FLOPs降低2.9倍。
2024-09-15 cs.CV cs.LG
Revisiting Transformers through the Lens of Low Entropy and Dynamic Sparsity
Gaoling School of Artificial Intelligence（人工智能学院）；Renmin University of China（中国人民大学）
本文从低熵和动态稀疏性视角研究Transformers，发现模型倾向于学习更低熵分布且FFN模块起关键作用，同时大模型更倾向绕过attention计算并伴随死亡神经元突增导致的训练不稳定。
2025-04-26 cs.AI cs.LG
Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing
alumni.iitm.ac.in（印度理工学院校友）
提出Prism Transformer，通过逐层增加注意力头数建立局部到全局的表示层次，在参数和计算量不变下提升性能。
2026-06-29 cs.LG
RefineNet: Enhancing Text-to-Image Conversion with High-Resolution and Detail Accuracy through Hierarchical Transformers and Progressive Refinement
Southern Illinois University（南伊利诺伊大学）
RefineNet通过层次化Transformer与渐进式细化技术，在文本到图像转换中实现高分辨率与细节精度提升，优于现有模型，尤其在复杂图像类别中表现突出。
2023-12-27 cs.AI cs.CV cs.LG
P2DT: Mitigating Forgetting in task-incremental Learning with progressive prompt Decision Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd., Shenzhen, China（平安科技（深圳）有限公司）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室）
针对大模型控制的智能体在任务增量学习中面临的灾难性遗忘问题，提出渐进式提示决策Transformer P2DT，通过动态附加决策令牌培育任务专属策略，利用全任务轨迹保留旧知识，有效缓解遗忘且适配任务规模扩展。
2025-09-03 cs.AI cs.LG
Progressive Memory Transformer: Memory-Aware Attention for Time-Series
University of Oslo（奥斯陆大学）；NORSAR（挪威地震观测与研究机构）；University of Tromsø（特罗姆瑟大学）；Western Norway University of Applied Sciences（挪威西部应用科学大学）
提出渐进式记忆Transformer（PMT），通过窗口对齐的可写记忆在局部、中程和全局三个尺度上显式建模时间序列结构层次，在七个分类基准和预测任务上实现强低标签分类与竞争性预测性能。
2026-11-10 cs.LG
Automated Progressive Learning for Efficient Training of Vision Transformers
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；University of Oxford（牛津大学）；Sun Yat-sen University（中山大学）；Zhejiang University（浙江大学）
视觉Transformer（ViTs）的最新进展带来了对计算能力的贪婪需求，突出了开发ViTs有效训练方法的迫切需要。渐进式学习是一种在训练过程中模型容量逐渐增长的训练方案，已经开始显示出其在有效训练中的能力。在本文中，我们采取了切实可行的一步，通过定制和自动化渐进式学习的ViTs的有效培训。首先，我们通过引入动量增长（MoGrow）来弥合模型增长带来的差距，为ViTs的渐进式学习开发了一个强大的手动基线。然后，我们提出了自动渐进学习（AutoProg），这是一种有效的训练方案，旨在通过自动增加训练过载来实现无损加速;这是通过自适应地决定模型在渐进学习期间是否，在哪里以及应该增长多少来实现的。具体来说，我们首先放松的增长计划的优化子网络结构优化问题，然后提出了一个弹性超网的子网络性能的一次性估计。通过循环利用超网的参数，将搜索开销降到最低。在ImageNet上使用DeiT和VOLO两个代表性的ViT模型进行了大量的有效训练实验，结果表明AutoProg可以将ViT训练加速高达85.1%，而不会降低性能。代码：https://github.com/changlin31/AutoProg
2022-03-28 cs.AI cs.CV cs.LG
From Sparsity to Simplicity: Enabling Simpler Sequential Replacements via Sparse Attention Distillation
University of Arizona（亚利桑那大学）；TetraMem, Inc.（TetraMem公司）
本文提出通过稀疏注意力蒸馏实现更简单的顺序替换，通过分析transformer层中的稀疏模式，发现可以将复杂的token依赖分解为不同复杂度的序列到序列映射，并用更简单的顺序模块替代部分层功能，从而减少参数量和延迟。
2026-05-15 cs.AI cs.LG
Progressive Transformers for End-to-End Sign Language Production
University of Surrey（萨里大学）
自动手语制作（SLP）的目标是将口语翻译成连续的手语视频流，其水平可与人工翻译相媲美。如果这是可以实现的，那么它将彻底改变聋人听力通信。以前的工作主要是孤立的SLP已经表明，需要更好地适合于连续域的全符号序列的架构。在本文中，我们提出了渐进式Transformers，一种新的架构，可以从离散的口语句子翻译为连续的3D骨架构成输出表示手语。我们提出了两种模型配置，一个端到端的网络，直接从文本和堆栈网络，利用光泽中介产生的标志。我们的Transformer网络架构引入了一个计数器，可以在训练和推理时连续生成序列。我们还提供了几个数据增强过程，以克服漂移的问题，提高SLP模型的性能。我们提出了一种SLP的回译评估机制，在具有挑战性的RWTH-PHOENIX-Weather-2014 T（PHOENIX 14 T）数据集上呈现基准定量结果，并为未来的研究设定基线。
2020-07-20 cs.CL cs.CV cs.LG
Adaptive Sparsity Level during Training for Efficient Time Series Forecasting with Transformers
University of Twente（特文特大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Luxembourg（卢森堡大学）
本文提出 PALS，在训练中通过动态收缩、扩展或稳定机制自适应确定稀疏度，使 Transformer 等 DNN 在保持预测性能的同时大幅降低参数与计算成本。
2024-06-12 cs.LG
UPop: Unified and Progressive Pruning for Compressing Vision-Language Transformers
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
提出UPop框架，通过统一搜索多模态子网自动分配剪枝率并渐进式搜索重训，实现视觉-语言Transformer的高效压缩。
2023-06-30 cs.CL cs.CV cs.LG
LAPA: Log-Domain Prediction-Driven Dynamic Sparsity Accelerator for Transformer Model
School of Integrated Circuits Tsinghua University Beijing, China（集成电路学院清华大学北京中国）；School of Integrated Circuits Tsinghua University Beijing, China Shanghai Artificial Intelligence Laboratory Shanghai, China（集成电路学院清华大学北京中国上海人工智能实验室上海中国）
LAPA通过设计不对称领先一计算方案和混合精度多轮位移累积机制，提升Transformer模型的计算效率和能效。
2025-11-26 cs.CV cs.LG
EcoSpa: Efficient Transformer Training with Coupled Sparsity
Rutgers University（新泽西罗格斯大学）；California Institute of Technology（加州理工学院）；Rice University（Rice 大学）
针对现有Transformer稀疏训练方法未保留权重矩阵乘法交互结构导致高稀疏度下性能下降的问题，提出EcoSpa耦合结构化稀疏训练方法，可在预训练和微调场景下实现显著的内存、速度与压缩收益，且无需定制硬件或算子。
2025-11-09 cs.AI cs.LG cs.PF
Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost
LG AI Research（LG人工智能研究院）；KAIST（韩国科学技术院）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
为了克服自我注意的二次成本，最近的工作提出了各种稀疏注意模块，其中大部分属于两组之一：1）手工制作的模式下的稀疏注意和2）完全注意，然后是softmax的稀疏变体，如$α$ -entmax。不幸的是，第一组缺乏对数据的适应性，而第二组仍然需要二次训练成本。在这项工作中，我们提出了SBM-变压器，一个模型，解决了这两个问题，赋予每个注意头与一个混合成员随机块模型（SBM）。然后，每个注意头数据自适应地采样二分图，其邻接被用作每个输入的注意掩码。在反向传播过程中，直通估计器用于使梯度超出离散采样步骤，并基于预测损失调整采样边缘的概率。因此，前向和后向成本与边的数量成线性关系，每个注意力头也可以基于输入灵活地选择边的数量。通过评估图的分布，我们从理论上证明了SBM-Transformer是期望中任意序列到序列函数的通用逼近器。LRA和GLUE基准下的实证评估表明，我们的模型优于以前的有效的变种，以及充分注意到原来的Transformer。我们的实现可以在https://github.com/sc782/SBM-Transformer中找到。
2022-10-27 cs.AI cs.LG
Anisotropic Permeability Tensor Prediction from Porous Media Microstructure via Physics-Informed Progressive Transfer Learning with Hybrid CNN-Transformer
Faculty of Mathematics and Natural Sciences, University of Oslo（奥斯陆大学数学与自然科学学院）
本文提出一种物理引导的深度学习框架，通过结合MaxViT混合CNN-Transformer架构、渐进迁移学习和可微物理约束，高效预测渗透张量，减少计算成本并提升预测精度。
2026-03-18 cs.LG physics.flu-dyn
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示，分析稀疏性对模型性能的影响，并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
Sparser, Faster, Lighter Transformer Language Models
Sakana AI；NVIDIA
本文提出一种基于无结构稀疏性的方法，通过改进的稀疏打包格式和CUDA内核，提升Transformer模型的推理和训练效率，实现更高效的模型压缩与资源利用。
2026-05-08 cs.CL cs.LG
A Progressive Transformer for Unifying Binary Code Embedding and Knowledge Transfer
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
本文提出 ProTST，一种基于树状结构分层训练的渐进式 Transformer 师生范式，用于二进制代码嵌入与知识迁移，在七项二进制分析任务中平均验证分数显著优于传统及多模态两阶段框架。
2024-12-22 cs.LG cs.SE
Sparse is Enough in Scaling Transformers
University of Warsaw（华沙大学）；Google Research（谷歌研究院）；OpenAI
大型Transformer模型在许多任务上都能产生令人印象深刻的结果，但训练或甚至微调都很昂贵，而且解码速度太慢，以至于它们的使用和研究变得遥不可及。我们通过利用稀疏性来解决这个问题。我们研究了Transformer中所有层的稀疏变体，并提出了Scaling Transformers，这是下一代Transformer模型的一个系列，它使用稀疏层来有效地扩展，并在我们扩展模型大小时比标准Transformer更快地执行非批量解码。令人惊讶的是，稀疏层足以获得与具有相同数量参数的标准Transformer相同的困惑。我们还集成了先前的稀疏性方法来注意，即使在内存有限的情况下，也可以对长序列进行快速推理。这导致性能竞争的国家的最先进的长文本摘要。
2021-11-24 cs.CL cs.LG
DegreeSpar: Structured Degree Sparsity for Efficient Secure Transformer Inference
Iowa State University（爱荷华州立大学）；University of Arizona（亚利桑那大学）
DegreeSpar通过结构化多项式度数稀疏化统一压缩安全Transformer推理中的非线性计算，实现2.29x-6.63x加速并保持准确率，确立度数作为共享优化空间。
2026-09-29 cs.CR cs.LG
Progressive Semantic-Guided Vision Transformer for Zero-Shot Learning
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Huazhong University of Science and Technology（华中科技大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
提出ZSLViT，一种渐进式语义引导视觉Transformer，通过语义嵌入令牌学习和令牌融合，显式发现语义相关视觉表示并丢弃无关信息，在CUB、SUN、AWA2上显著提升零样本学习性能。
2024-07-22 cs.CV cs.LG
