Softmax Attention with Constant Cost per Token
Glassroom（格拉斯鲁姆公司）
提出对Transformer注意力机制的修改，用缩放点积的指数的对数替代传统点积量化相似度，通过指数核特征映射线性化注意力，实现每个token恒定时空复杂度，并验证其作为传统注意力替代方案的有效性。
2024-04-27 cs.CL cs.LG
GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures
Graphcore Research（Graphcore研究院）；New College of the Humanities（新人文学院）
基于注意力的语言模型已经成为最先进的自然语言处理系统中的关键组件。然而，这些模型具有显著的计算要求，由于长的训练时间，密集的操作和大的参数计数。在这项工作中，我们展示了一组修改的Transformer层的结构，产生一个更有效的架构。首先，我们添加了一个卷积模块来补充自我注意力模块，将局部和全局交互的学习解耦。其次，我们依靠分组变换来降低密集前馈层和卷积的计算成本，同时保持模型的表达能力。我们将由此产生的架构语言表示学习，并证明其优越的性能相比，不同尺度的BERT模型。我们进一步强调其提高的效率，无论是在浮点运算（FLOPs）和时间到训练。
2021-06-10 cs.CL cs.LG
CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers
Preferred Networks
CAT通过圆卷积和傅里叶变换实现亚二次复杂度的注意力机制，提升效率并减少参数量，适用于更长序列的变换器应用。
2026-01-05 cs.CL cs.CV cs.LG
DenseFormer: Enhancing Information Flow in Transformers via Depth Weighted Averaging
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
本文提出 DenseFormer 架构，通过在每个 transformer 块后引入 Depth-Weighted-Average (DWA) 操作计算当前与过去表示的加权平均，在不显著增加参数量的前提下提升了模型困惑度、数据效率及推理性能。
2024-03-21 cs.CL cs.LG
Simply Stabilizing the Loop via Fully Looped Transformer
Hong Kong Baptist University（香港 Baptist 大学）；Jilin University（吉林大学）
针对循环Transformer在迭代次数增加时出现的训练不稳定性，提出全循环Transformer，通过全循环架构和注意力注入两种无参数修改，稳定训练至12次循环，下游任务性能提升最高13.2%。
2026-05-25 cs.AI cs.LG
On the Long Range Abilities of Transformers
The Blavatnik School of Computer Science（布拉瓦尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
本文通过向Transformer注意力机制引入平滑性归纳偏置和局部性，以极小的计算代价且不增加可训练参数，显著提升了其在Long Range Arena基准上的长程任务表现，并揭示了Transformer长程能力不足的原因。
2023-11-28 cs.CL cs.LG
Simplifying Transformer Blocks
ETH Zurich（苏黎世联邦理工学院）
本研究基于信号传播理论简化标准Transformer块，移除跳跃连接、归一化层等组件，在保持训练速度和性能的同时实现15%的训练加速和参数减少。
2024-05-31 cs.LG
Optimizing MoE Routers: Design, Implementation, and Evaluation in Transformer Models
本研究在Transformer模型中设计并评估了六种MoE路由器，提出MLP-Hadamard变体，通过BERT和Qwen1.5-MoE实验揭示速度与表达力的权衡，为优化大规模模型部署提供见解。
2025-06-19 cs.AI cs.LG
AttentionSmithy: A Modular Framework for Rapid Transformer Development and Customization
本文提出模块化框架 AttentionSmithy，将 Transformer 核心组件封装为可复用构建块，并支持四种位置编码与神经架构搜索，从而降低定制门槛并验证于翻译、基因建模任务。
2025-02-14 cs.AI cs.LG
Revisiting Transformers with Insights from Image Filtering and Boosting
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；Rakuten Group, Inc.（乐天集团）
本文通过图像处理框架重新审视Transformer，提出两种架构改进以提升可解释性和性能。
2026-02-08 cs.CV cs.LG
An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models
School of Computing and Data Science（计算与数据科学学院）；The University of Hong Kong（香港大学）；Institute of Data Science（数据科学研究院）
针对SRR在Transformer类模型中优化情况不明及与泛化因果关系不清的问题，通过分析CRATE分层行为推导不同实现，验证SRR作为复杂度度量的预测力优于基准且可通过正则化提升泛化，为相关模型设计提供启发。
2024-11-26 cs.LG
A Survey on Large Language Models from Concept to Implementation
本文综述了基于Transformer的大型语言模型（如GPT系列）从概念到实现的多方面应用，强调其在编码、问题解决及跨行业研发中的变革潜力。
2024-05-28 cs.AI cs.CL cs.IT
Transformer Circuits Can Realize Clustering Algorithms
IBM Research（IBM研究院）；MIT（麻省理工学院）
研究表明Transformer电路可实现Lloyd算法等精确聚类算法，提出的k均值Transformer聚类算法泛化性强且质量优于Lloyd算法，改动后可衍生多种新型聚类算法。
2026-08-11 cs.AI cs.LG
OT-Transformer: A Continuous-time Transformer Architecture with Optimal Transport Regularization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Oden Institute for Computational Engineering and Sciences, University of Texas, Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学学院）
提出连续时间Transformer架构OT-Transformer，利用最优传输理论正则化训练以提升稳定性与泛化能力，理论上证明正则化促进解的唯一性与正则性，实验显示其优于离散对应模型及对比模型。
2025-01-30 cs.AI cs.LG
Dual PatchNorm
Google Research（谷歌研究院）
提出双 PatchNorm，在视觉 Transformer 的 patch 嵌入层前后各加一个层归一化，优于穷举搜索的放置策略，能提升准确率且不损害性能。
2023-05-08 cs.CV cs.LG
A Simple Transformer Pipeline for Full-Key Side-Channel Attacks on Uncropped Datasets
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔电气与计算机工程学院）；Purdue University（普渡大学）
该研究提出一种适配侧信道场景的简单Transformer流水线，用于未裁剪数据集的全密钥侧信道攻击，发布了相关实现与权重，性能相当且资源消耗较低。
2026-09-01 cs.CR cs.LG
Most Transformer Modifications Still Do Not Transfer at 1-3B: A 2020-2026 Update to Narang et al. (2021) with Downstream Evaluation and a Noise Floor
Tencent（腾讯）
本文在1-3B参数规模下，大多数变换器修改仍无法迁移，通过严格的等数据、等计算、等配方控制测试，并结合下游评估和噪声底限进行验证。
2026-05-20 cs.CL cs.LG
Ultra Fast Transformers on FPGAs for Particle Physics Experiments
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Institute of Physics Belgrade（贝尔格莱德物理研究所）
本研究利用hls4ml工具在FPGA上高效实现Transformer核心组件，经粒子物理喷注味道标记公开数据集测试，延迟低于2微秒，可满足大型强子对撞机的硬件触发要求。
2024-02-01 cs.AR cs.LG hep-ex
Towards smaller, faster decoder-only transformers: Architectural variants and their implications
Nanyang Technological University（南洋理工大学）；Puducherry（本地治里）
针对仅解码器Transformer大模型缩小尺寸同时保效研究不足的问题，提出ParallelGPT、LinearGPT、ConvGPT三种架构变体，在语言生成性能相当的前提下实现更小模型尺寸与更快训练速度，并开源相关权重与代码。
2024-10-08 cs.LG
Robust representations of oil wells' intervals via sparse attention mechanism
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
针对工业时间序列中Transformer计算复杂度高、对缺失噪声数据鲁棒性不足的问题，提出正则化Transformer（Reguformer），在油气测井数据的层段分类与相似性任务上表现更优。
2023-11-06 cs.LG
Attention Flows for General Transformers
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
在本文中，我们研究了Transformer模型中的输入令牌对其预测的影响程度的计算。我们正式的方法来构建一个流网络的关注值的编码器，只有Transformer模型，并将其扩展到一般的Transformer架构，包括自回归解码器。我们表明，运行一个最大流算法的流网络建设产生Shapley值，这决定了一个球员在合作博弈论的影响。通过将流网络中的输入标记解释为参与者，我们可以计算它们对导致解码器决策的总注意力流的影响。此外，我们还提供了一个库，用于计算和可视化任意Transformer模型的注意力流。我们展示了我们在自然语言处理和推理任务上训练的各种模型上实现的有用性。
2022-05-30 cs.LG
Dynamic Molecular Graph-based Implementation for Biophysical Properties Prediction
Pacific Northwest National Laboratory（太平洋西北国家实验室）
神经网络（GNN）彻底改变了分子发现，以理解模式并识别未知特征，这些特征可以帮助预测生物物理特性和蛋白质-配体相互作用。然而，目前的模型通常依赖于2维分子表示作为输入，而近年来2\3维结构数据的利用已经获得了应有的牵引力，因为这些模型中的许多仍然限于静态图形表示。我们提出了一种新的方法的基础上的Transformer模型，利用GNNs的蛋白质-配体相互作用的动态特征进行表征。我们的消息传递Transformer基于基于物理的模拟对一组分子动态数据进行预训练，以学习坐标构建并将结合概率和亲和力预测作为下游任务。通过大量的测试，我们将我们的结果与现有的模型进行了比较，我们的MDA-PLI模型能够以1.2958的RMSE优于分子相互作用预测模型。我们的Transformer架构所支持的几何编码和时间序列数据的添加为这种形式的研究添加了一个新的维度。
2022-12-20 cs.LG q-bio.QM
Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
Massachusetts Institute of Technology（麻省理工学院）
尽管Transformer网络在各个领域都取得了广泛的成功，但即使考虑到与3D相关的诱导偏差（如平移不变性和旋转等变性），它也尚未在3D原子图（如分子）领域的数据集上表现良好。在本文中，我们证明了Transformers可以很好地推广到3D原子图，并提出了Equiformer，这是一种利用Transformer架构的优势并基于不可约表示（irreps）结合SE（3）/E（3）-等变特征的图神经网络。首先，我们提出了一个简单而有效的架构，只取代原来的操作在Transformers与他们的等变同行，并包括张量积。使用等变操作使得能够在不使图结构复杂化的情况下在irreps特征的通道中编码等变信息。通过对Transformers的最小修改，该架构已经取得了很好的经验结果。其次，我们提出了一种新的注意力机制，称为等变图注意力，它改善了典型的注意力在Transformers，通过取代点积的注意力与多层感知器的注意力，并包括非线性消息传递。通过这两项创新，Equiformer在QM 9，MD 17和OC 20数据集上实现了与以前模型竞争的结果。
2023-02-28 cs.AI cs.LG physics.comp-ph
Training-Free ANN-to-SNN Conversion for High-Performance Spiking Transformer
本文提出无需训练的ANN到SNN转换框架，通过多基指数衰减神经元有效近似非线性操作，实现高效高精度的SNN转换。
2025-12-14 cs.AI cs.LG
The Neural Data Router: Adaptive Control Flow in Transformers Improves Systematic Generalization
The Swiss AI Lab, IDSIA（瑞士人工智能实验室（IDSIA））；University of Lugano (USI)（卢加诺大学）；SUPSI（瑞士意大利语区高等专业学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
尽管在广泛的应用领域取得了进展，但Transformers在系统推广方面的成功有限。在算法任务的情况下，这种情况尤其令人沮丧，在这种情况下，他们通常无法找到直观的解决方案，将相关信息在正确的时间路由到由Transformer列表示的网格中的正确节点/操作。为了便于学习有用的控制流，我们提出了两个修改的Transformer架构，复制门和几何注意。我们的新型神经数据路由器（NDR）在经典的组合查表任务上实现了100%的长度泛化准确性，在简单的算术任务上也实现了近乎完美的准确性，并在计算深度上实现了ListOps测试的新变体。NDR的注意力和门控模式往往可以解释为神经路由的直观形式。代码是公开的。
2022-05-05 cs.AI cs.LG cs.NE
Efficient Matrix Implementation for Rotary Position Embedding
Huawei Technologies（华为技术有限公司）；Nanyang Technological University（南洋理工大学）
本文提出RoME，通过矩阵变换替代向量操作，提升旋转位置嵌入的计算效率，实现跨Cube和Vector单元的并行执行。
2026-04-10 cs.CV cs.LG
Dynamic Context Adaptation and Information Flow Control in Transformers: Introducing the Evaluator Adjuster Unit and Gated Residual Connections
Brain Corporation（Brain公司）
针对Transformer缺乏上下文相关特征和信息流调节的问题，本文提出评估器调节单元（EAU）与门控残差连接（GRC），通过动态调节注意力输出和选择性控制信息流，在NLP基准上展现出更强的适应性和效率。
2024-05-22 cs.AI cs.LG
Transformer for Image Quality Assessment
NORCE Norwegian Research Centre（挪威研究中心）；Shenzhen University（深圳大学）
Transformer已成为自然语言处理的新的标准方法，也引起了计算机视觉领域的研究兴趣。本文研究了Transformer在图像质量评价中的应用。在视觉Transformer（ViT）中采用的原始Transformer编码器之后，我们提出了一种在卷积神经网络（CNN）提取的特征图顶部使用浅层Transformer编码器的架构。自适应位置嵌入在Transformer编码器中被采用以处理具有任意分辨率的图像。Transformer体系结构的不同设置已在公开可用的图像质量数据库上进行了研究。我们已经发现，所提出的TRIQ架构实现了出色的性能。TRIQ的实现发布在Github上（https：//github.com/junyongyou/triq）。
2021-01-08 cs.CV cs.LG eess.IV
Recent Developments in Transformer Inference Deployment on FPGA Platforms: A Survey
University of Twente（特温特大学）；Faculty of Engineering Technology, University of Twente（特温特大学工程技术学院）
该综述针对Transformer推理部署需求，分析FPGA平台的最新进展、设计选择与优化技术，为学术界和工业界研究人员提供指南。
2026-09-02 cs.AR cs.LG
AttMEMO : Accelerating Transformers with Memoization on Big Memory Systems
University of California, Merced（加州大学默塞德分校）；Western Digital Research（西部数据研究院）
AttMEMO利用大内存系统和记忆化技术，通过语义相似性识别加速Transformer自注意力计算，在几乎不损失准确率的情况下平均降低22%推理延迟。
2023-04-17 cs.AI cs.LG cs.PF
FCB-SwinV2 Transformer for Polyp Segmentation
University of Central Lancashire（中央兰开夏大学）
使用深度学习模型在结肠镜检查视频帧内进行息肉分割有可能使临床医生的工作流程自动化。这可能有助于提高可能发展为结直肠癌的息肉的早期检测率和特征。最近最先进的深度学习息肉分割模型结合了并行工作的全卷积网络架构和Transformer网络架构的输出。在本文中，我们提出了修改目前国家的最先进的息肉分割模型FCBFormer。FCBFormer的Transformer架构替换为SwinV 2 Transformer-UNET，并对全卷积网络架构进行微小更改，以创建FCB-SwinV 2 Transformer。在流行的结肠镜分割基准数据集Kvasir-SEG和CVC-ClinicDB上评估了FCB-SwinV 2 Transformer的性能。还进行了概化测试。FCB-SwinV 2 Transformer能够在所有测试中始终获得更高的mDice评分，因此代表了最先进的新性能。还报告和讨论了在文献中如何评价结肠镜分割模型性能的问题。确定的最重要的问题之一是，当评估CVC-ClinicDB数据集的性能时，最好确保在训练/验证/测试数据分区期间不会发生视频序列的数据泄漏。
2023-02-02 cs.CV cs.LG
Optimizing Inference Performance of Transformers on CPUs
Oracle Labs（甲骨文实验室）
Transformer架构彻底改变了自然语言处理（NLP）领域。基于转换器的模型（例如，BERT）支持许多重要的Web服务，如搜索、翻译、问答等。虽然大量的研究关注于这些模型的训练，但相对较少的努力是为了提高它们的推理性能。本文通过对在CPU上推理基于transformer的模型的可扩展性和性能进行实证分析来解决这一差距。专注于非常流行的BERT模型，我们确定了Transformer架构的关键组件，其中大部分的计算发生，并提出了三个优化，以加快它们。使用HuggingFace的推理基准对优化进行了评估，并显示其加速比高达x2.37。所考虑的优化不需要对模型的实现进行任何更改，也不影响其准确性。
2021-02-22 cs.AI cs.CL cs.DC
Stability of Transformers under Layer Normalization
UCLA（加州大学洛杉矶分校）；UT Austin（德克萨斯大学奥斯汀分校）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；SRI International（SRI国际）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
本文系统性研究不同层归一化放置下Transformer的前向与反向稳定性，推导相关边界、分析梯度反向传播影响，为残差步长缩放提供指导，其框架可用于检查新型Transformer架构的稳定性。
2026-08-10 cs.AI cs.LG math.OC
Probability-Preserving Transformer for the Time-Dependent Schrödinger Equation
University of Education Lahore（拉合尔教育大学）；Xiamen University（厦门大学）
该研究针对含时薛定谔方程求解，提出将概率守恒作为硬约束的Transformer架构，相比传统软约束方法，兼具物理精确性与计算优势。
2026-08-18 cs.LG math-ph math.MP
Privacy-Preserving Transformers: SwiftKey's Differential Privacy Implementation
Microsoft（微软）
本文提出在SwiftKey中用差分隐私训练缩小版GPT2 Transformer，通过两阶段训练在隐私、模型大小、速度和准确率间取得平衡，并以ONNX集成实现灵活高效的部署。
2025-05-08 cs.CL cs.CR cs.LG
Transformer Based Implementation for Automatic Book Summarization
Vishwakarma Institute of Information Technology（维什瓦卡玛信息技术学院）
文档摘要是生成给定文档的有意义和简洁的摘要的过程，其中包括相关和主题重要的点。有两种方法：一种是从文档本身中提取最相关的语句，并将其添加到摘要中，称为提取，另一种是为摘要生成句子，称为抽象摘要。训练机器学习模型来执行耗时或人类难以评估的任务是一项重大挑战。图书摘要生成就是这样一个复杂的任务。传统的机器学习模型正在通过预先训练的Transformers进行修改。以自监督方式训练的基于Transformer的语言模型正在获得大量关注;当针对文本摘要等自然语言处理（NLP）下游任务进行微调时。这项工作是一种尝试，使用Transformer为基础的技术，抽象生成。
2023-01-17 cs.AI cs.CL cs.LG
Turkish Text Classification: From Lexicon Analysis to Bidirectional Transformer
The Koc School（科奇学校）
文本分类在学术和工业环境中的使用越来越多。虽然基于规则的方法已经相当成功，但监督机器学习已被证明对大多数语言最成功，其中大多数研究都是在英语上进行的。在这篇文章中，成功的词汇分析，支持向量机，和极端梯度提升的文本分类和情感分析的任务进行了评估，在土耳其和一个预训练的Transformer为基础的分类器，提出了优于以前的方法，土耳其文本分类。在文本分类的背景下，本文中提出的所有机器学习模型都是独立于领域的，不需要任何特定于任务的修改。
2020-08-21 cs.CL cs.LG
Can Transformers Jump Around Right in Natural Language? Assessing Performance Transfer from SCAN
Ecole Normale Superieure（巴黎高等师范学院）；Facebook AI（脸书人工智能研究院）；Pompeu Fabra（庞培法布拉大学）
尽管它们在实践中取得了成功，但现代seq2seq架构无法系统地概括几个SCAN任务。因此，尚不清楚SCAN风格的合成泛化在现实的NLP任务中是否有用。在这项工作中，我们研究的好处，这种组合带来的几个机器翻译任务。我们提出了几个有针对性的修改Transformer，大大提高了泛化能力的扫描，并选择一个仍然与香草Transformer在一个标准的机器翻译（MT）任务。接下来，我们研究其性能在低资源环境和新引入的分布转移英法翻译任务。总的来说，我们发现，改进的扫描能力的模型不直接转移到资源丰富的MT设置。相比之下，在低资源设置中，一般修改导致高达13.1%的BLEU分数w.r.t.一个普通的Transformer。同样，在引入的组合英法翻译任务中，基于准确性的度量提高了14%。这提供了实验证据表明，在SCAN中评估的合成概括在资源匮乏和域转移的情况下特别有用。
2021-09-16 cs.AI cs.CL cs.LG
Design and Implementation of an FPGA-Based Hardware Accelerator for Transformer
University of California, Irvine（加州大学 Irvine 分校）
针对Transformer大语言模型中MHA模块Q、K、V线性投影的性能瓶颈，本研究在Xilinx KV260 FPGA上设计了优化的分块矩阵乘法加速器，通过片上存储、两级分块和类脉动计算引擎实现了显著的性能与能效提升，为边缘深度学习推理提供了新方案。
2025-05-20 cs.AR cs.CL cs.LG
TorchScale: Transformers at Scale
Microsoft（微软）
大型Transformers在许多任务中实现了最先进的性能。大多数扩展Transformers的开源库都专注于通过更好的并行化来改进训练或推理。在这项工作中，我们提出了TorchScale，一个开源工具包，允许研究人员和开发人员有效地扩展Transformers。TorchScale实现了多种建模技术，可以提高建模的通用性和能力，以及训练的稳定性和效率。对语言建模和神经机器翻译的实验结果表明，TorchScale可以成功地将Transformers缩放到不同的大小，而不会出现撕裂。该库可在https://aka.ms/torchscale上查阅。
2022-11-23 cs.CL cs.LG
A Benchmark for Electrical Load Forecasting Across Grid Levels: Time-Series Transformers Outperform Established Methods
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）
提出跨电网层级负荷预测综合基准，评估十种方法，发现基于变压器的方法表现优，误差降6.6 - 10.7%。引入YAformer分析架构影响，标准变压器性能更优。评估Chronos - 2，揭示模型优缺点，强调长输入等因素重要性。
2026-07-20 cs.LG
PixelCNN++: Improving the PixelCNN with Discretized Logistic Mixture Likelihood and Other Modifications
OpenAI
PixelCNN是最近提出的一类强大的生成模型，具有易于处理的可能性。在这里，我们讨论了我们在https://github.com/openai/pixel-cnn上提供的PixelCNN的实现。我们的实现包含了一些修改的原始模型，既简化了其结构，并提高其性能。1)我们在像素上使用离散化的逻辑混合似然，而不是256路softmax，我们发现这可以加快训练速度。2)我们以整个像素为条件，而不是R/G/B子像素，简化了模型结构。3)我们使用下采样来有效地捕获多分辨率的结构。4)我们引入了额外的快捷连接，以进一步加快优化速度。5)我们使用dropout正则化模型。最后，我们提出了国家的最先进的对数似然结果CIFAR-10证明这些修改的有用性。
2017-01-19 cs.LG stat.ML
nnterp: A Standardized Interface for Mechanistic Interpretability of Transformers
MATS, École Normale Supérieure Paris-Saclay, Université Paris-Saclay（MATS，巴黎-萨克雷高等师范学院，巴黎-萨克雷大学）
nnterp提供一种标准化接口，使研究者能够统一分析不同架构的Transformer模型，同时保留原始实现并支持多种可解释性方法。
2025-12-14 cs.AI cs.LG
In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention
Faculty of Education, Mie University（三重大学教育学部）
研究利用具有线性自注意力的变压器在简单线性回归任务中进行上下文学习闭式解，通过层归一化近似获得解，以区别于基于梯度下降算法的近似解，并给出了在经 l1 正则化训练的变压器中的实验示例。
2026-07-20 cs.AI cs.LG
Sparse Binary Transformers for Multivariate Time Series Modeling
Colorado State University（科罗拉多州立大学）；San Diego State University（圣地亚哥州立大学）
本文提出稀疏二值Transformer用于多元时间序列分类、异常检测和单步预测，通过固定掩码与当前时间步注意力掩码降低计算量，在保持与稠密浮点模型相当准确率的同时实现最高53倍存储和10.5倍FLOPs节省。
2023-08-09 cs.AI cs.LG
Multi-Task Prediction of Clinical Outcomes in the Intensive Care Unit using Flexible Multimodal Transformers
University of Florida（佛罗里达大学）
最近基于Transformer模型架构的深度学习研究已经在各种领域和任务中展示了最先进的性能，主要是在计算机视觉和自然语言处理领域。虽然最近的一些研究已经使用电子健康记录数据为临床任务实现了Transformers，但它们在范围、灵活性和全面性方面受到限制。在这项研究中，我们提出了一个灵活的基于Transformer的EHR嵌入管道和预测模型框架，该框架引入了对现有工作流程的几种新颖修改，这些修改利用了医疗保健领域特有的数据属性。我们在重症监护室的案例研究中展示了我们灵活设计的可行性，我们的模型准确地预测了与多个未来时间范围内的再入院和患者死亡率相关的七种临床结果。
2021-11-09 cs.AI cs.LG
Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training
California Institute of Technology（加州理工学院）；Meta FAIR；Carnegie Mellon University（卡内基梅隆大学）
本文提出Mini-Sequence Transformer（MsT）方法，通过分区迭代处理输入序列并配合激活重计算，在不损失吞吐量和收敛性的前提下，显著降低长序列LLM训练的内存占用，并可将现有模型上下文长度扩展12-24倍。
2024-11-09 cs.LG
Automated Creation of Source Code Variants of a Cryptographic Hash Function Implementation Using Generative Pre-Trained Transformer Models
Sandia National Laboratories（桑迪亚国家实验室）；New Mexico Tech（新墨西哥理工学院）
本研究利用三种GPT模型，结合修改版localGPT框架与langchain生成SHA-1的源代码变体，经编译验证与聚类分析，得到超10万个正确的新颖版本，同时发现大量存在安全缺陷的实现。
2024-07-10 cs.AI cs.CR cs.LG
A Cost-Efficient FPGA Implementation of Tiny Transformer Model using Neural ODE
Keio University（庆应义塾大学）
本文提出一种以Neural ODE为骨干的轻量级混合Transformer模型，并通过QAT量化后在FPGA上实现，在STL10上达到79.68%准确率，整体加速9.85倍、能效提升7.10倍。
2024-10-17 cs.AR cs.LG
Bag of Tricks for Optimizing Transformer Efficiency
Northeastern University（东北大学）；The Chinese University of Hong Kong（香港中文大学）；NiuTrans Research（小牛翻译研究院）
近来，提高Transformer效率变得越来越有吸引力。已经提出了广泛的方法，例如，修剪、量化、新的体系结构等。但是这些方法要么在实现上是复杂的，要么依赖于硬件。在本文中，我们表明，Transformer的效率可以通过结合一些简单的和硬件无关的方法，包括调整超参数，更好的设计选择和训练策略来提高。在WMT新闻翻译任务中，我们将一个强大的Transformer系统的推理效率在CPU上提高了3.80倍，在GPU上提高了2.52倍。该代码可在https://github.com/Lollipop321/mini-decoder-network上公开获取。
2021-09-09 cs.LG
ITA: An Energy-Efficient Attention and Softmax Accelerator for Quantized Transformers
ETH Zürich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
本文提出ITA加速器，通过8位量化和仅基于整数的流式softmax实现，在嵌入式系统上实现高效Transformer推理，达到16.9 TOPS/W能效和5.93 TOPS/mm²面积效率。
2023-07-10 cs.AR cs.LG
Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种分布式训练框架，通过自动选择和优化并行策略提升图变换器在大规模图上的可扩展性，实现3.8倍的加速和78%的内存节省。
2026-04-17 cs.AI cs.DC cs.LG
NeuronFabric: A Software Reference Architecture for On-Chip Transformer Training with Local Adam
Independent Researcher（独立研究者）
提出NeuronFabric软件参考架构，用于FPGA/ASIC实现Transformer训练与本地Adam优化，通过BF16W权重存储减少片上内存需求，在334K参数模型上验证数值正确性。
2026-06-16 cs.AI cs.AR cs.LG
