Transformer with Memory Replay
University of Michigan（密歇根大学）
Transformers通过在大规模文本语料库上进行预训练，实现了自然语言处理任务的最新性能。它们是非常计算密集型的，并且具有非常高的样本复杂性。内存重放是一种通过保存到内存缓冲区和从内存缓冲区重放来记住和重用过去的示例的机制。由于更好的样本效率，它已成功用于强化学习和GANs。在本文中，我们提出了\emph{Transformer with Memory Replay}（TMR），它集成了存储器重放与Transformer，使Transformer更采样效率。在GLUE和SQuAD基准数据集上的实验表明，与使用相同数量的示例进行预训练的基线Transformer模型相比，具有内存重放的Transformer至少实现了$1\%$点的增加。此外，通过采用一个精心的设计，减少内存重放的挂钟时间开销，我们也经验性地实现了更好的运行时效率。
2022-05-19 cs.LG
TransformerFAM: Feedback attention is working memory
Google LLC（谷歌公司）
本文提出TransformerFAM架构，通过反馈回路让Transformer关注自身潜在表示以形成工作记忆，无需额外权重即可无缝集成预训练模型，并在1B、8B和24B模型规模的长上下文任务上显著提升性能。
2024-05-07 cs.AI cs.CL cs.LG
Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
Huawei Technologies Canada（华为加拿大技术有限公司）；Huawei Technologies Switzerland（华为瑞士技术有限公司）
本文从神经科学原理出发系统综述记忆增强Transformer，提出功能目标、记忆表征和整合机制三维分类框架，分析核心记忆操作的演进趋势，并指出可扩展性与干扰等挑战及分层缓冲、惊讶门控更新等解决方案，为终身学习架构提供路线图。
2025-08-16 cs.CL cs.LG
Memory Transformer
Neural Networks and Deep Learning Lab（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Intento, Inc.（Intento公司）
基于转换器的模型在许多自然语言处理任务中取得了最先进的成果。自注意体系结构允许Transformer将来自序列的所有元素的信息组合成上下文感知的表示。然而，关于上下文的信息主要存储在相同的元素表示中。这可能会限制处理与序列相关的属性的整体难度。添加可训练记忆以选择性地存储序列的局部以及全局表示是改进Transformer模型的有希望的方向。记忆增强的神经网络（MANN）扩展了传统的神经架构与通用存储器的表示。MANN已经证明了学习简单算法（如Copy或Reverse）的能力，并且可以通过反向传播成功地训练各种任务，从问答到语言建模，性能优于RNN和LSTM。在这项工作中，我们提出并研究了几个扩展的Transformer基线（1）通过添加内存令牌来存储非本地表示，（2）创建内存瓶颈的全局信息，（3）控制内存更新与专用层。我们评估这些内存增强的Transformers，并证明存在的内存正相关的模型性能的机器翻译和语言建模任务。使用记忆令牌增强预训练的掩蔽语言模型显示了来自GLUE基准测试的任务的混合结果。对记忆中注意力模式的可视化表明，它提高了模型处理全局上下文的能力。
2021-02-16 cs.CL cs.LG cs.NE
Linearizing Transformer with Key-Value Memory
Meta AI；The Chinese University of Hong Kong（香港中文大学）
已经开发了具有线性时间复杂度的高效Transformer变体，以减轻普通Transformer的二次计算开销。其中有低秩投影方法，如Linformer和基于内核的Transformers。尽管它们具有独特的优点，但在许多序列生成任务上，它们通常遭受与vanilla Transformer相比的性能下降，并且在生成时间较短时通常无法获得计算增益。我们提出了MemSizer，一种缩小性能差距的方法，同时提高效率，即使是短世代。它将源序列投影到像Linformer这样的低维表示中，同时享受类似于基于内核的Transformers的高效递归式增量计算。这在推理时产生线性计算时间和恒定的内存复杂度。MemSizer还采用了轻量级的多头机制，使计算与单头模型一样轻。我们证明，MemSizer提供了一个改进的平衡效率和准确性的香草Transformer和其他有效的Transformer变种在三个典型的序列生成任务，包括机器翻译，抽象的文本摘要，语言建模。
2022-10-13 cs.CL cs.LG
Blockwise Parallel Transformer for Large Context Models
UC Berkeley（加州大学伯克利分校）
提出分块并行Transformer（BPT），通过分块计算自注意力和融合前馈网络降低内存成本，支持比原始Transformer长32倍、比现有高效方法长4倍的序列训练，实验验证其在语言建模和强化学习中的有效性。
2023-08-28 cs.CL cs.LG
Memory-Efficient Differentiable Transformer Architecture Search
Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Microsoft Corporation（微软公司）
可区分结构搜索（DARTS）已成功应用于许多视觉任务。然而，直接将DARTS用于Transformers是内存密集型的，这使得搜索过程不可行。为此，我们提出了一种多分裂可逆网络，并将其与DARTS相结合。具体来说，我们设计了一个反向传播与重建算法，使我们只需要存储最后一层的输出。通过减轻DARTS的内存负担，它允许我们搜索更大的隐藏大小和更多的候选操作。我们在三个序列到序列数据集上评估搜索的架构，即，WMT'14英语-德语，WMT'14英语-法语和WMT'14英语-捷克语。实验结果表明，我们的网络始终优于标准的Transformers在整个任务。此外，我们的方法与大尺寸的进化Transformers相比，减少了一个数量级的搜索计算。
2021-05-31 cs.CL cs.LG
Birth of a Transformer: A Memory Viewpoint
Flatiron Institute（熨斗研究所）；FAIR, Meta（Meta AI 基础人工智能研究中心）
该研究从记忆视角出发，通过合成二元组设置与两层Transformer实验，分析全局知识与上下文知识的学习差异，揭示权重矩阵的联想记忆作用与梯度学习机制，深化对Transformer内部原理的理解。
2023-11-06 cs.CL cs.LG stat.ML
BCMT: Blockwise Causal Memory Transformer
该研究提出BCMT架构，通过分块局部自注意力与指数因果记忆解耦长程依赖建模，在1024token上下文的语言建模中，性能与密集Transformer相当，且训练吞吐量更高、内存消耗更低。
2026-08-17 cs.AI cs.CL cs.LG
Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting
University of California Santa Barbara（加州大学圣巴巴拉分校）
时间序列预测是许多领域的重要问题，包括预测太阳能发电厂的能量输出，电力消耗和交通拥堵情况。在本文中，我们建议用Transformer [1]来处理这样的预测问题。虽然在我们的初步研究中对它的性能印象深刻，但我们发现它的两个主要弱点：（1）局部不可知性：规范Transformer架构中的逐点点积自注意对局部上下文不敏感，这可能使模型在时间序列中容易出现异常;（2）内存瓶颈：规范Transformer的空间复杂度与序列长度$L$成二次增长，使得直接建模长时间序列不可行。为了解决这两个问题，我们首先提出了卷积自注意，通过产生查询和关键字与因果卷积，使局部上下文可以更好地纳入注意力机制。然后，我们提出了LogSparse Transformer，只有$O(L(\log L)^{2})$内存成本，提高预测精度的细粒度和强长期依赖性的时间序列在有限的内存预算。我们在合成数据和真实世界数据集上的实验表明，它比最先进的。
2020-01-03 cs.LG stat.ML
Global memory transformer for processing long documents
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
Transformer变体在不同的自然语言处理任务（如翻译、阅读理解和摘要）中占据主导地位。我们的论文更多的是针对使用一般的内存插槽添加到输入和研究添加这些插槽的结果。本文继续研究了在以前的工作中添加到所提出的模型的输入的一般内存插槽规则。我们有两个主要任务：1）使用掩码语言建模的预训练任务和b）使用HotpotQA的微调任务。本研究的目的是验证所提出的模型处理块的能力，如果他们是一个块与基础模型相比。我们使用T5 Transformer作为基线。我们研究了内存槽扩展到每个输入块的规则，并研究了没有选择器的模型性能。我们发现，向输入组块添加记忆有助于所提出的模型克服具有特定训练参数的掩蔽语言建模任务的基线。消融研究揭示了使用压缩输入块的能力，性能下降。
2022-12-03 cs.CL cs.LG
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington（印第安纳大学布鲁明顿分校）
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出，发现其注意力头存在类似人类情景记忆的时间连续性等效应，归纳头是连续性效应的关键，揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）
为视频生成多句描述是最具挑战性的字幕任务之一，因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标，我们提出了一种新的方法，称为内存增强的循环Transformer（MART），它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态，以便帮助更好地预测下一个句子（w.r.t.共指和重复方面），从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明，与基线方法相比，MART生成的段落标题更连贯，重复性更低，同时保持了与输入视频事件的相关性。所有代码都是开源的，网址是：https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
Linking In-context Learning in Transformers to Human Episodic Memory
University of California, San Diego（加利福尼亚大学圣迭戈分校）；New York University（纽约大学）
本研究揭示Transformer大语言模型中的诱导头与人类情景记忆的CMR模型在多层面相似，发现类CMR头的层级分布与记忆偏差对应且对上下文学习有因果作用，为AI与神经科学研究提供新视角。
2024-10-31 cs.CL cs.LG
Augmenting Self-attention with Persistent Memory
Facebook AI Research（脸书人工智能研究院）
Transformer网络在语言建模和机器翻译方面取得了重要进展。这些模型包括两个连续的模块，前馈层和自注意力层。后者允许网络捕获长期依赖性，并且通常被认为是Transformers成功的关键因素。基于这种直觉，我们提出了一个新的模型，仅由注意力层。更准确地说，我们用持久记忆向量来增强自注意力层，这些向量扮演着与前馈层类似的角色。由于这些矢量，我们可以在不降低Transformer性能的情况下移除前馈层。我们的评估显示了我们的模型在标准字符和单词级语言建模基准测试中所带来的好处。
2019-07-02 cs.CL cs.LG stat.ML
Multi-scale Transformer Language Models
Facebook AI Research（Facebook人工智能研究院）；Mila, Université de Montréal（蒙特利尔大学Mila）
我们研究多尺度Transformer语言模型，学习表示的文本在多个尺度，并提出了三种不同的架构，有一个归纳的偏见，以处理语言的层次性质。大规模语言建模基准的实验经验证明有利的可能性与内存占用权衡，例如，我们表明，它是可能的训练一个分层的变体与30层，具有23%的内存占用和更好的困惑，相比香草Transformer与不到一半的层数，在多伦多BookCorpus。我们分析了在多个尺度上学习表示在内存占用，计算时间和困惑方面的优势，这是特别有吸引力的Transformers的运行时间和内存使用相对于序列长度的二次缩放。
2020-05-01 cs.CL cs.LG
Mention Memory: incorporating textual knowledge into Transformers through entity mention attention
University of Southern California（南加利福尼亚大学）；Google（谷歌）；Google Research（谷歌研究院）
诸如开放域问答之类的自然语言理解任务通常需要从多个源检索和吸收事实信息。我们建议通过将大型文本语料库的半参数表示集成到Transformer模型中作为事实知识的来源来解决这个问题。具体来说，我们的方法表示知识与“提及记忆”，一个表的密集向量表示的每一个实体中提到的语料库。所提出的模型- TOME -是一个Transformer，它通过内部记忆层访问信息，其中输入通道中提到的每个实体都参与提到记忆。这种方法支持在单个Transformer模型中对许多不同的信息源进行合成和推理。在使用1.5亿次维基百科提及的记忆的实验中，TOME在几个开放领域知识密集型任务上实现了强大的性能，包括声明验证基准HoVer和FEVER以及几个基于实体的QA基准。我们还表明，该模型学习参加信息提及没有任何直接的监督。最后，我们证明了该模型可以推广到新的看不见的实体更新的内存，而无需再训练。
2022-04-19 cs.AI cs.CL cs.LG
HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
HMT通过模仿人类分层记忆机制，利用记忆增强的段级循环组织token保留、记忆传递与历史召回，以更少参数和推理内存显著提升长上下文语言处理能力。
2025-02-06 cs.CL cs.LG
Memory-Efficient Fine-Tuning of Transformers via Token Selection
Meta AI
本文提出 TokenTune 方法，通过仅对部分输入 token 反向传播并缓存其中间激活值，大幅降低 Transformer 模型微调的内存开销，且可与 LoRA 等方法结合，在数十亿参数模型的少样本任务中达到与全量微调相当的性能。
2025-01-31 cs.CL cs.LG
Compact Recurrent Transformer with Persistent Memory
University of Kentucky（肯塔基大学）；SRI International（SRI国际）
提出紧凑循环Transformer（CRT），结合浅层Transformer与循环神经网络管理持久记忆向量，在显著减少计算量和片段长度下，于语言和视频任务中实现优异性能。
2025-05-02 cs.LG stat.ML
Diagonal Batching Unlocks Parallelism in Recurrent Memory Transformers for Long Contexts
AIRI；Skoltech（斯克里普尔技术大学）；Neural Networks and Deep Learning Lab, MIPT（神经网络与深度学习实验室，米斯克大学）；MBZUAI（穆罕默德·本·拉谢德人工智能技术研究所）；FRC CSC RAS（俄罗斯科学院应用数学与计算机科学研究所）
对角批处理通过运行时计算重排序释放循环记忆Transformer的跨段并行性，无需重新训练即可在长上下文推理中实现显著加速。
2025-06-05 cs.CL cs.LG
Scene Memory Transformer for Embodied Agents in Long-Horizon Tasks
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
许多机器人应用程序需要代理在部分可观察的环境中执行长期任务。在这样的应用中，任何步骤的决策都可能依赖于过去很久以前收到的观察结果。因此，能够正确地记忆和利用长期的历史是至关重要的。在这项工作中，我们提出了一种新的基于内存的政策，命名为场景内存Transformer（SMT）。所提出的策略嵌入并添加到内存中的每个观察，并使用注意力机制，以利用时空依赖性。该模型是通用的，可以通过长片段的强化学习进行有效训练。在一系列视觉导航任务上，SMT表现出优于现有的反应式和基于内存的策略的性能。
2019-03-09 cs.CV cs.LG cs.RO
MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
Apple（苹果公司）
MemoryLLM通过解耦前馈模块与自注意力机制，实现无上下文的token级神经检索记忆，提升大语言模型的可解释性和推理效率。
2026-01-30 cs.LG
Mixture of Chapters: Scaling Learnt Memory in Transformers
IIT Kharagpur（印度理工学院Kharagpur分校）；Fractal AI
本文提出学习稀疏内存银行，通过交叉注意力机制使变换器层检索存储知识，通过章节路由扩展内存容量，实验证明模型在预训练和指令微调中优于基线，展示显式关联记忆的补充能力。
2026-03-22 cs.AI cs.CL cs.LG
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
Featherless AI；Eleuther AI
KVM提出了一种新的块递归注意力机制，能够处理固定大小或增长状态，通过在强基线变压器中加入KVM注意力层，实现了线性复杂度的RNN，并在长上下文测试中表现出竞争力。
2026-08-04 cs.AI cs.CL cs.LG
Compressing History into Memory: Distilling Transformers into Recurrent Transformers
Naver Labs Europe
提出蒸馏方法，将全历史Transformer的压缩策略迁移至循环Transformer，通过瓶颈表示监督学生模型记忆，缩小性能差距并实现线性时间复杂度。
2026-10-02 cs.CV cs.LG
When Do Transformers Shine in RL? Decoupling Memory from Credit Assignment
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Princeton University（普林斯顿大学）
该研究通过可配置任务将RL中的记忆长度与信用分配长度解耦，实证发现Transformer能增强长期记忆但不能改善长期信用分配。
2023-11-03 cs.LG
Recurrent Action Transformer with Memory
AXXX；MIRIAI
本文提出具有记忆的递归动作变换器（RATE），通过引入递归记忆机制提升离线强化学习中对长序列和内存密集型任务的处理能力。
2026-03-04 cs.AI cs.LG
MLKV: Multi-Layer Key-Value Heads for Memory Efficient Transformer Decoding
Institut Teknologi Bandung（万隆理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对Transformer自回归推理中KV缓存导致的内存瓶颈，提出跨层共享KV的MLKV方法，在性能损失极小的前提下将内存占用较MQA降低6倍，助力模型高效部署。
2024-10-15 cs.LG
SpotFast Networks with Memory Augmented Lateral Transformers for Lipreading
University of Maryland, College Park（马里兰大学帕克分校）
本文提出了一种新的用于单词级唇读的深度学习架构。以前的工作表明，有可能将预训练的深度3D卷积神经网络作为前端特征提取器。我们介绍了一个SpotFast网络，一个变种的国家的最先进的动作识别的SlowFast网络，它利用时间窗口作为一个点的途径和所有帧作为一个快速的途径。我们进一步将内存增强横向Transformers学习分类的顺序功能。我们在LRW数据集上评估了所提出的模型。实验表明，我们提出的模型优于各种最先进的模型，并且结合内存增强的横向Transformers使SpotFast网络提高了3.7%。
2020-05-21 cs.CV cs.LG
Ultra Memory-Efficient On-FPGA Training of Transformers via Tensor-Compressed Optimization
Department of Electrical and Computer Engineering, University of California, Santa Barbara（加州大学圣芭芭拉分校电子与计算机工程系）；Intel Corporation（英特尔公司）；Department of Computer Science, North Carolina State University（北卡罗来纳州立大学计算机科学系）；School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
针对边缘设备Transformer训练的内存瓶颈，提出基于张量压缩的FPGA加速器，通过双向收缩流和片上内存实现端到端训练，内存减少30-51倍，能耗降低3.6倍。
2025-08-06 cs.AR cs.CL cs.LG
Transformers as Measure-Theoretic Associative Memory: A Statistical Perspective and Minimax Optimality
University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文从统计视角出发，将Transformer视为测度论关联记忆，证明其在处理长上下文时的极小极大最优性。
2026-02-02 cs.LG stat.ML
Language Modeling using LMUs: 10x Better Data Efficiency or Improved Scaling Compared to Transformers
Applied Brain Research（应用大脑研究公司）
最近的研究表明，Transformers的语言建模任务的性能服从幂律关系模型的大小超过六个数量级。虽然Transformers表现出令人印象深刻的可扩展性，但它们的性能取决于处理大量数据，并且它们的计算和内存需求随着序列长度呈二次方增长。出于这些考虑，我们构建了一个基于Legendre内存单元的模型，该模型引入了一般的序列处理之前，并表现出$O(n)$和$O(n \ln n)$（或更好）的内存和计算的依赖性。超过三个数量级，我们表明我们的新架构达到了与Transformers相同的精度，但令牌减少了10倍。我们还表明，对于相同的训练量，我们的模型改善了Transformers器的损耗，就像Transformers改善LSTM一样。此外，我们证明，增加全球自我关注补充我们的架构和增强模型进一步提高性能。
2021-10-05 cs.CL cs.LG
Think Before You Act: Decision Transformers with Working Memory
McGill University（麦吉尔大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Microsoft Research（微软研究院）
针对决策Transformer训练低效和遗忘问题，受人类分布式记忆启发，提出工作记忆模块以存储、混合和检索信息，在Atari和Meta-World任务上提升训练效率与泛化，且记忆微调可增强适应性。
2024-05-28 cs.AI cs.CL cs.LG
Time and Memory Trade-off of KV-Cache Compression in Tensor Transformer Decoding
The University of Chicago（芝加哥大学）；Stevens Institute of Technology（史蒂文斯理工学院）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Simons Institute for the Theory of Computing at UC Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）
本研究将KV缓存空间复杂度下界推广至张量注意力，引入两种缓存类型，揭示时间与内存权衡，为高效张量Transformer提供理论基础。
2025-03-27 cs.AI cs.CC cs.CL
An Evolved Universal Transformer Memory
Sakana AI
针对现代基础模型成本与性能的权衡问题，提出可进化的神经注意力记忆模型（NAMMs），通过学习记忆管理网络提升Transformer性能与效率，实现跨模态零样本迁移及多任务显著优化。
2025-02-13 cs.AI cs.CL cs.LG
Associative Recurrent Memory Transformer
MIPT（莫斯科物理技术学院）；AIRI（人工智能研究机构）；London Institute for Mathematical Sciences（伦敦数学科学研究所）
本文提出 ARMT 架构，结合局部自注意力与段级循环记忆，实现恒定时间长序列处理，并在联想检索及 BABILong 超 5000 万 token 任务上取得最优结果。
2025-02-13 cs.AI cs.CL cs.LG
The Surprising Effectiveness of Shared Memory in Looped Transformers
IBM Research（IBM研究院）；Cornell University（康奈尔大学）
循环Transformer中共享内存可提升质量并大幅减少内存使用，新模型LPT及其混合变体在FineWeb-Edu上以更少内存取得更低困惑度。
2026-10-05 cs.AI cs.LG
Understanding Transformer from the Perspective of Associative Memory
ByteDance Seed（字节跳动种子）
本文从联想记忆视角剖析Transformer，通过检索信噪比和核方法揭示Softmax注意力机制的有效性，并统一理解记忆更新框架，探讨其表达局限与无限上下文的智能潜力。
2025-05-26 cs.AI cs.LG
Progressive Memory Transformer: Memory-Aware Attention for Time-Series
University of Oslo（奥斯陆大学）；NORSAR（挪威地震观测与研究机构）；University of Tromsø（特罗姆瑟大学）；Western Norway University of Applied Sciences（挪威西部应用科学大学）
提出渐进式记忆Transformer（PMT），通过窗口对齐的可写记忆在局部、中程和全局三个尺度上显式建模时间序列结构层次，在七个分类基准和预测任务上实现强低标签分类与竞争性预测性能。
2026-11-10 cs.LG
Mass-Editing Memory in a Transformer
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Northeastern University（东北大学）；Technion – IIT（以色列理工学院）
本文提出MEMIT方法，通过直接更新大语言模型实现数千条记忆关联的批量编辑，在GPT-J和GPT-NeoX上验证其可扩展性远超以往工作。
2023-08-01 cs.CL cs.LG
MixFormer: Linear Transformer with Mixture of Memory Experts
School of Computer Science, Sichuan University（四川大学计算机学院）；School of Artificial Intelligence, Sichuan University（四川大学人工智能学院）
针对现有线性Transformer主流方向状态空间模型的输入适应性与内存容量局限，论文提出带记忆专家混合体和时间感知线性注意力的MixFormer，在长序列生成任务上实现性能提升，为下一代网络基础设施提供更可持续的计算主干。
2026-08-11 cs.AI cs.LG
AttMEMO : Accelerating Transformers with Memoization on Big Memory Systems
University of California, Merced（加州大学默塞德分校）；Western Digital Research（西部数据研究院）
AttMEMO利用大内存系统和记忆化技术，通过语义相似性识别加速Transformer自注意力计算，在几乎不损失准确率的情况下平均降低22%推理延迟。
2023-04-17 cs.AI cs.LG cs.PF
Memory-efficient Transformers via Top-$k$ Attention
IBM Research（IBM研究院）；Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
随着点积注意力在Transformers中的成功，最近提出了许多近似来解决其关于输入长度的二次复杂性。虽然这些变体是存储器和计算高效的，但是不可能在没有昂贵的校正预训练阶段的情况下将它们直接与使用普通注意力训练的流行的预训练语言模型一起使用。在这项工作中，我们提出了一个简单而高度准确的近似香草注意。我们以块的形式处理查询，并且对于每个查询，计算关于键的前$k$分数。我们的方法提供了几个优点：（a）它的内存使用在输入大小上是线性的，类似于线性注意力变体，例如Performer和RFA;（b）它是香草注意力的直接替代品，不需要任何纠正性的预训练;（c）在将前馈层转换为熟悉的查询-键值框架后，它还可以在前馈层中节省大量内存。我们评估了长距离竞技场基准上的多头注意力层以及多个QA数据集上的T5和UnifiedQA的前馈层的顶级$k$近似的质量。我们表明，我们的方法在多个设置中的准确性与香草注意力几乎相同，包括从头开始训练，微调和zero-shot推理。
2021-06-13 cs.CL cs.LG
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
University College London（伦敦大学学院）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Edinburgh（爱丁堡大学）
对外部知识的访问对于许多自然语言处理任务（例如问答和对话）是必不可少的。现有的方法通常依赖于在其参数中存储知识的参数模型，或者使用可以访问外部知识源的检索增强模型。参数和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势，我们提出了高效内存增强的Transformer（EMAT）-它将外部知识编码到键值内存中，并利用快速最大内积搜索进行内存查询。我们还介绍了预训练任务，使EMAT编码信息的键值表示，并学习一个隐式的策略，将多个内存插槽到Transformer。在各种知识密集型任务（如问答和对话数据集）上的实验表明，使用我们的方法简单地增强参数模型（T5-base）会产生更准确的结果（例如，25.8- NQ上的44.3EM），同时保持高吞吐量（例如，1000查询/秒的NQ）。与检索增强模型相比，EMAT在WoW和ELI 5上运行速度更快，结果更准确。我们的代码和数据集可以在https：//github上找到。com/uclnlp/EMAT。
2022-10-30 cs.AI cs.CL cs.LG
Toward generalizable learning of all (linear) first-order methods via memory augmented Transformers
UC Davis（加州大学戴维斯分校）；TU Munich（慕尼黑工业大学）
本文证明记忆增强Transformer可实现包括梯度下降、共轭梯度下降和动量方法在内的全部线性一阶方法，并提出专家混合方法用于测试时适应分布外样本，同时表明线性一阶方法本身可作为可学习算法从数据中训练以获得强性能。
2025-02-01 cs.LG math.OC
Mesa: A Memory-saving Training Framework for Transformers
Monash University（莫纳什大学）
人们对设计高性能Transformers的兴趣激增。虽然Transformers已经提供了显着的性能改进，但由于在反向传播期间存储梯度计算所需的所有中间激活，训练此类网络是非常内存密集的，特别是对于长序列。为此，我们提出了Mesa，一个节省内存的Transformers训练框架。具体来说，Mesa在前向传递过程中使用精确的激活，同时存储低精度版本的激活，以减少训练过程中的内存消耗。然后在反向传播期间对低精度激活进行去量化以计算梯度。此外，为了解决多头自注意层中激活分布的异质性问题，提出了一种头级激活量化策略，该策略根据每个头的统计信息对激活进行量化，以最小化近似误差。为了进一步提高训练效率，我们通过运行估计来学习量化参数。更重要的是，通过将节省的内存重新投资于采用更大的批处理大小或按比例放大模型大小，我们可以在有限的计算资源下进一步提高性能。在ImageNet、CIFAR-100和ADE 20 K上进行的大量实验表明，Mesa可以在训练期间实现灵活的内存节省（高达50%），同时实现相当甚至更好的性能。代码可在https://github.com/ziplab/Mesa上获得。
2022-08-29 cs.CV cs.LG
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
Qualcomm AI Research（高通人工智能研究）
本文提出了一种内存高效的循环变换器（MELT），通过解耦推理深度与内存消耗，实现了常数内存的迭代推理，同时保持了LoopLM的性能，仅需轻量级的后训练过程。
2026-09-29 cs.AI cs.CL cs.LG
X-Former: In-Memory Acceleration of Transformers
Purdue University（普渡大学）
由于注意力机制，Transformers在各种各样的自然语言处理（NLP）任务中取得了巨大的成功，该注意力机制为序列中的每个单词分配相对于其他单词的重要性分数。然而，这些模型非常大，往往达到数千亿个参数，因此需要大量的DRAM访问。因此，传统的深度神经网络（DNN）加速器（如GPU和TPU）在有效处理Transformers方面面临限制。基于非易失性存储器的存储器内加速器有望成为这一挑战的有效解决方案，因为它们提供高存储密度，同时在存储器阵列内执行大规模并行矩阵向量乘法。然而，注意力得分计算经常用于Transformers（与CNN和RNN不同），需要矩阵向量乘法（MVM），其中两个操作数针对每个输入动态变化。结果，传统的基于NVM的加速器在用于Transformers时招致高的写入延迟和写入能量，并且还遭受大多数NVM技术的低耐久性。为了解决这些挑战，我们提出了X-Former，一种混合内存硬件加速器，由NVM和CMOS处理元件组成，有效地执行Transformer工作负载。为了提高X-Former的硬件利用率，我们还提出了一种序列块并行算法，它重叠了两个处理单元的计算，减少了执行时间。在几个基准测试中，我们发现X-Former在延迟和能量方面比NVIDIA GeForce GTX 1060 GPU提高了85倍和7.5倍，在延迟和能量方面比最先进的内存中NVM加速器提高了10.7…
2023-03-13 cs.AR cs.LG
A Memory Transformer Network for Incremental Learning
Google Research（谷歌研究院）；University College London（伦敦大学学院）
我们研究了类增量学习，这是一种训练设置，其中随着时间的推移观察新的数据类，以便模型从中学习。尽管简单的问题制定，天真的分类模型的应用，类增量学习的结果在“灾难性遗忘“以前看到的类。最成功的现有方法之一是使用样本的存储器，其通过将过去数据的子集保存到存储体中并在训练未来任务时利用它来防止遗忘，从而克服了灾难性遗忘的问题。在我们的论文中，我们建议提高这个存储体的利用率：我们不仅使用它作为额外的训练数据的来源，像现有的作品，但也集成在预测过程中明确。我们的方法，记忆Transformer网络（MTN），学习如何结合和聚合的信息，从最近的邻居在内存中的Transformer，使更准确的预测。我们进行了大量的实验和消融来评估我们的方法。我们证明了MTN在具有挑战性的ImageNet-1 k和Google-Landmarks-1 k增量学习基准测试中达到了最先进的性能。
2022-10-10 cs.CV cs.LG
Emformer: Efficient Memory Transformer Based Acoustic Model For Low Latency Streaming Speech Recognition
Facebook AI（Facebook人工智能研究院）
提出了一种用于低延迟流语音识别的高效内存Transformer Emformer。在Emformer中，远程历史上下文被提取到一个增强的内存库中，以降低自注意的计算复杂度。缓存机制将对左上下文的自注意中的键和值的计算保存。Emformer在训练中应用并行块处理，以支持低延迟模型。我们进行了实验的基准LibriSpeech数据。在960 ms的平均延迟下，Emformer在test-clean上获得WER $2.50\%$，在test-other上获得$5.62\%$。与强基线增强记忆Transformer（AM-TRF）相比，Emformer在解码时获得了$4.6$倍的训练加速比和$18\%$相对实时因子（RTF）降低，在测试干净时获得了相对WER降低$17\%$，在测试其他时获得了相对WER降低$9\%$。对于平均延迟为80 ms的低延迟场景，Emformer在测试-清洁上实现WER $3.01\%$，在测试-其他上实现$7.09\%$。与具有相同延迟和模型大小的LSTM基线相比，Emformer在test-clean和test-other上分别获得相对WER减少$9\%$和$16\%$。
2020-12-30 cs.CL cs.LG cs.SD
Reducing Activation Recomputation in Large Transformer Models
NVIDIA（英伟达）
训练大型Transformer模型是现代AI最重要的计算挑战之一。在本文中，我们展示了如何通过减少激活重新计算来显著加速大型Transformer模型的训练。激活重新计算通常用于解决记忆容量限制。而不是存储反向传播的激活，它们传统上被重新计算，这节省了内存，但增加了冗余计算。在这项工作中，我们表明这种冗余计算是不必要的，因为我们可以充分减少内存消耗没有它。我们提出了两个新的，但非常简单的技术：序列并行和选择性激活重新计算。结合张量并行，这些技术几乎消除了重新计算激活的需要。我们评估我们的方法语言模型高达一万亿参数的规模，并表明，我们的方法减少激活内存的5倍，同时减少执行时间开销从激活重新计算超过90%。例如，当在2240个NVIDIA A100 GPU上训练530 B参数GPT-3样式模型时，我们实现了54.2%的模型触发器利用率，比使用重新计算实现的42.1%快29%。我们的实现将在Megatron-LM和NeMo-Megatron中提供。
2022-05-10 cs.CL cs.LG
Working Memory Constraints Scaffold Learning in Transformers under Data Scarcity
City, University of London（伦敦城市大学）；The Alan Turing Institute（艾伦·图灵研究所）；Grounded Machines
本文探讨在Transformer架构中引入类人工作记忆限制，提出基于固定宽度窗口和时间衰减的注意力机制，实验表明在数据稀缺时，这些约束能显著提升语法准确性并增强与人类处理指标的一致性。
2026-04-23 cs.AI cs.CL cs.LG
Memory Limitations of Prompt Tuning in Transformers
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；IPAL, IRL2955, Singapore（新加坡IPAL）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
该研究聚焦Transformer提示调优的记忆能力理论问题，证明其记忆信息量与提示长度呈线性增长关系，并首次形式化验证长上下文下性能下降的现象，揭示了Transformer架构的固有记忆局限。
2025-08-30 cs.LG
