MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）
为视频生成多句描述是最具挑战性的字幕任务之一，因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标，我们提出了一种新的方法，称为内存增强的循环Transformer（MART），它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态，以便帮助更好地预测下一个句子（w.r.t.共指和重复方面），从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明，与基线方法相比，MART生成的段落标题更连贯，重复性更低，同时保持了与输入视频事件的相关性。所有代码都是开源的，网址是：https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
Linking In-context Learning in Transformers to Human Episodic Memory
University of California, San Diego（加利福尼亚大学圣迭戈分校）；New York University（纽约大学）
本研究揭示Transformer大语言模型中的诱导头与人类情景记忆的CMR模型在多层面相似，发现类CMR头的层级分布与记忆偏差对应且对上下文学习有因果作用，为AI与神经科学研究提供新视角。
2024-10-31 cs.CL cs.LG
Mixture of Chapters: Scaling Learnt Memory in Transformers
IIT Kharagpur（印度理工学院Kharagpur分校）；Fractal AI
本文提出学习稀疏内存银行，通过交叉注意力机制使变换器层检索存储知识，通过章节路由扩展内存容量，实验证明模型在预训练和指令微调中优于基线，展示显式关联记忆的补充能力。
2026-03-22 cs.AI cs.CL cs.LG
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
Featherless AI；Eleuther AI
KVM提出了一种新的块递归注意力机制，能够处理固定大小或增长状态，通过在强基线变压器中加入KVM注意力层，实现了线性复杂度的RNN，并在长上下文测试中表现出竞争力。
2026-08-04 cs.AI cs.CL cs.LG
Addressing Some Limitations of Transformers with Feedback Memory
Facebook AI Research（脸书人工智能研究院）；LORIA（洛林计算机科学及其应用实验室）
尽管是前馈网络，但Transformers已成功应用于顺序自回归任务。与递归神经网络不同，Transformers在并行处理输入令牌的同时使用注意力来捕获时间关系。虽然这种并行化使它们在计算上高效，但它限制了模型充分利用输入的顺序性质。给定层的表示只能访问来自较低层的表示，而不是已经可用的更高级别的表示。在这项工作中，我们提出了反馈Transformer架构，将所有以前的表示暴露给所有未来的表示，这意味着当前时间步长的最低表示是从过去的最高级别抽象表示形成的。我们在语言建模，机器翻译和强化学习的各种基准测试中证明，增加的表示能力可以创建比同类Transformers性能更强的小而浅的模型。
2021-01-25 cs.CL cs.LG stat.ML
Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI
针对Transformer缺乏显式记忆的问题，研究了其解码器新增的符号工作记忆的特性，发现该记忆可提升机器翻译质量，其内容与文本相关，且存储的词元、词性多样性与语料复杂度正相关。
2024-06-20 cs.CL
RMAAT: Astrocyte-Inspired Memory Compression and Replay for Efficient Long-Context Transformers
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Pennsylvania State University（宾夕法尼亚州立大学）；University Park, PA 16802, USA
RMAAT通过受星形胶质细胞启发的记忆压缩与回放机制，提升长上下文Transformer的计算和内存效率。
2026-02-28 cs.AI cs.ET cs.LG
An Evolved Universal Transformer Memory
Sakana AI
针对现代基础模型成本与性能的权衡问题，提出可进化的神经注意力记忆模型（NAMMs），通过学习记忆管理网络提升Transformer性能与效率，实现跨模态零样本迁移及多任务显著优化。
2025-02-13 cs.AI cs.CL cs.LG
Understanding Transformer from the Perspective of Associative Memory
ByteDance Seed（字节跳动种子）
本文从联想记忆视角剖析Transformer，通过检索信噪比和核方法揭示Softmax注意力机制的有效性，并统一理解记忆更新框架，探讨其表达局限与无限上下文的智能潜力。
2025-05-26 cs.AI cs.LG
Associative Recurrent Memory Transformer
MIPT（莫斯科物理技术学院）；AIRI（人工智能研究机构）；London Institute for Mathematical Sciences（伦敦数学科学研究所）
本文提出 ARMT 架构，结合局部自注意力与段级循环记忆，实现恒定时间长序列处理，并在联想检索及 BABILong 超 5000 万 token 任务上取得最优结果。
2025-02-13 cs.AI cs.CL cs.LG
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Google（谷歌公司）
本研究提出含Infini-attention的高效方法，通过在Transformer块融合压缩记忆、局部与长期线性注意力，以有限内存和计算实现LLM的无限长输入支持，在多项长上下文任务中验证了有效性并支持快速流式推理。
2024-08-09 cs.AI cs.CL cs.LG
MixFormer: Linear Transformer with Mixture of Memory Experts
School of Computer Science, Sichuan University（四川大学计算机学院）；School of Artificial Intelligence, Sichuan University（四川大学人工智能学院）
针对现有线性Transformer主流方向状态空间模型的输入适应性与内存容量局限，论文提出带记忆专家混合体和时间感知线性注意力的MixFormer，在长序列生成任务上实现性能提升，为下一代网络基础设施提供更可持续的计算主干。
2026-08-11 cs.AI cs.LG
AttMEMO : Accelerating Transformers with Memoization on Big Memory Systems
University of California, Merced（加州大学默塞德分校）；Western Digital Research（西部数据研究院）
AttMEMO利用大内存系统和记忆化技术，通过语义相似性识别加速Transformer自注意力计算，在几乎不损失准确率的情况下平均降低22%推理延迟。
2023-04-17 cs.AI cs.LG cs.PF
Memory-efficient Transformers via Top-$k$ Attention
IBM Research（IBM研究院）；Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
随着点积注意力在Transformers中的成功，最近提出了许多近似来解决其关于输入长度的二次复杂性。虽然这些变体是存储器和计算高效的，但是不可能在没有昂贵的校正预训练阶段的情况下将它们直接与使用普通注意力训练的流行的预训练语言模型一起使用。在这项工作中，我们提出了一个简单而高度准确的近似香草注意。我们以块的形式处理查询，并且对于每个查询，计算关于键的前$k$分数。我们的方法提供了几个优点：（a）它的内存使用在输入大小上是线性的，类似于线性注意力变体，例如Performer和RFA;（b）它是香草注意力的直接替代品，不需要任何纠正性的预训练;（c）在将前馈层转换为熟悉的查询-键值框架后，它还可以在前馈层中节省大量内存。我们评估了长距离竞技场基准上的多头注意力层以及多个QA数据集上的T5和UnifiedQA的前馈层的顶级$k$近似的质量。我们表明，我们的方法在多个设置中的准确性与香草注意力几乎相同，包括从头开始训练，微调和zero-shot推理。
2021-06-13 cs.CL cs.LG
Toward generalizable learning of all (linear) first-order methods via memory augmented Transformers
UC Davis（加州大学戴维斯分校）；TU Munich（慕尼黑工业大学）
本文证明记忆增强Transformer可实现包括梯度下降、共轭梯度下降和动量方法在内的全部线性一阶方法，并提出专家混合方法用于测试时适应分布外样本，同时表明线性一阶方法本身可作为可学习算法从数据中训练以获得强性能。
2025-02-01 cs.LG math.OC
Mesa: A Memory-saving Training Framework for Transformers
Monash University（莫纳什大学）
人们对设计高性能Transformers的兴趣激增。虽然Transformers已经提供了显着的性能改进，但由于在反向传播期间存储梯度计算所需的所有中间激活，训练此类网络是非常内存密集的，特别是对于长序列。为此，我们提出了Mesa，一个节省内存的Transformers训练框架。具体来说，Mesa在前向传递过程中使用精确的激活，同时存储低精度版本的激活，以减少训练过程中的内存消耗。然后在反向传播期间对低精度激活进行去量化以计算梯度。此外，为了解决多头自注意层中激活分布的异质性问题，提出了一种头级激活量化策略，该策略根据每个头的统计信息对激活进行量化，以最小化近似误差。为了进一步提高训练效率，我们通过运行估计来学习量化参数。更重要的是，通过将节省的内存重新投资于采用更大的批处理大小或按比例放大模型大小，我们可以在有限的计算资源下进一步提高性能。在ImageNet、CIFAR-100和ADE 20 K上进行的大量实验表明，Mesa可以在训练期间实现灵活的内存节省（高达50%），同时实现相当甚至更好的性能。代码可在https://github.com/ziplab/Mesa上获得。
2022-08-29 cs.CV cs.LG
Scene Memory Transformer for Embodied Agents in Long-Horizon Tasks
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
许多机器人应用程序需要代理在部分可观察的环境中执行长期任务。在这样的应用中，任何步骤的决策都可能依赖于过去很久以前收到的观察结果。因此，能够正确地记忆和利用长期的历史是至关重要的。在这项工作中，我们提出了一种新的基于内存的政策，命名为场景内存Transformer（SMT）。所提出的策略嵌入并添加到内存中的每个观察，并使用注意力机制，以利用时空依赖性。该模型是通用的，可以通过长片段的强化学习进行有效训练。在一系列视觉导航任务上，SMT表现出优于现有的反应式和基于内存的策略的性能。
2019-03-09 cs.CV cs.LG cs.RO
X-Former: In-Memory Acceleration of Transformers
Purdue University（普渡大学）
由于注意力机制，Transformers在各种各样的自然语言处理（NLP）任务中取得了巨大的成功，该注意力机制为序列中的每个单词分配相对于其他单词的重要性分数。然而，这些模型非常大，往往达到数千亿个参数，因此需要大量的DRAM访问。因此，传统的深度神经网络（DNN）加速器（如GPU和TPU）在有效处理Transformers方面面临限制。基于非易失性存储器的存储器内加速器有望成为这一挑战的有效解决方案，因为它们提供高存储密度，同时在存储器阵列内执行大规模并行矩阵向量乘法。然而，注意力得分计算经常用于Transformers（与CNN和RNN不同），需要矩阵向量乘法（MVM），其中两个操作数针对每个输入动态变化。结果，传统的基于NVM的加速器在用于Transformers时招致高的写入延迟和写入能量，并且还遭受大多数NVM技术的低耐久性。为了解决这些挑战，我们提出了X-Former，一种混合内存硬件加速器，由NVM和CMOS处理元件组成，有效地执行Transformer工作负载。为了提高X-Former的硬件利用率，我们还提出了一种序列块并行算法，它重叠了两个处理单元的计算，减少了执行时间。在几个基准测试中，我们发现X-Former在延迟和能量方面比NVIDIA GeForce GTX 1060 GPU提高了85倍和7.5倍，在延迟和能量方面比最先进的内存中NVM加速器提高了10.7…
2023-03-13 cs.AR cs.LG
Working Memory Constraints Scaffold Learning in Transformers under Data Scarcity
City, University of London（伦敦城市大学）；The Alan Turing Institute（艾伦·图灵研究所）；Grounded Machines
本文探讨在Transformer架构中引入类人工作记忆限制，提出基于固定宽度窗口和时间衰减的注意力机制，实验表明在数据稀缺时，这些约束能显著提升语法准确性并增强与人类处理指标的一致性。
2026-04-23 cs.AI cs.CL cs.LG
Memory Limitations of Prompt Tuning in Transformers
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；IPAL, IRL2955, Singapore（新加坡IPAL）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
该研究聚焦Transformer提示调优的记忆能力理论问题，证明其记忆信息量与提示长度呈线性增长关系，并首次形式化验证长上下文下性能下降的现象，揭示了Transformer架构的固有记忆局限。
2025-08-30 cs.LG
Recurrent Memory-Augmented Transformers with Chunked Attention for Long-Context Language Modeling
Independent Researcher（独立研究者）
本文提出一种结合分块局部注意力与门控FIFO记忆机制的循环记忆增强Transformer，以线性成本高效建模长上下文依赖，并在PyTorch中从零实现，适用于对话、代码补全和文档理解等任务。
2025-07-01 cs.LG
End-to-End Transformer Acceleration Through Processing-in-Memory Architectures
Department of Electrical and Computer Engineering, University of Virginia（弗吉尼亚大学电气与计算机工程系）；Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）
本文提出通过处理在内存架构减少变换器模型的计算开销、内存瓶颈和注意力复杂度，实现端到端加速。
2025-11-21 cs.AR cs.LG
A Study on ReLU and Softmax in Transformer
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer架构由自注意和前馈网络（FFN）组成，根据以前的工作，这些网络可以被视为键值存储器。然而，FFN和传统存储器利用不同的激活函数（即，ReLU和Softmax分别），这使得它们不等价。在本文中，我们首先通过对ReLU和Softmax进行广泛的研究来重建FFN和键值存储器之间的连接，并在Softmax上添加额外的层归一化模块时发现它们是等效的。此外，当值槽的数量很大时，ReLU在FFN和键值内存上的性能都优于Softmax。我们分析了原因，然后在自注意网络上探索ReLU的这种良好特性，其中原始的Softmax激活在长输入序列上表现不佳。然后，我们提出了一个名为ReLUFormer的完整ReLU架构，它在文档翻译等长序列任务上的性能优于基线Transformer。本文揭示了以下几点：1）Softmax和ReLU对元素使用不同的归一化方法，导致结果的差异，ReLU擅长处理大量的键值槽; 2）FFN和键值记忆是等价的，因此Transformer可以被视为一个记忆网络，其中FFN和自注意力网络都是键值记忆。
2023-02-13 cs.AI cs.CL cs.LG
Resource-Efficient Transformer Architecture: Optimizing Memory and Execution Time for Real-Time Applications
Vellore Institute of Technology（韦洛尔理工学院）
本文提出一种资源高效型Transformer架构，通过嵌入减半、参数剪枝与量化，在保持精度的同时将内存占用降低52%、执行时间减少33%，优于MobileBERT和DistilBERT，适用于实时与资源受限场景。
2024-12-25 cs.AI cs.LG
EdgeFlex-Transformer: Transformer Inference for Edge Devices
The Ohio State University（俄亥俄州立大学）
EdgeFlex-Transformer提出了一种多阶段优化流程，通过剪枝、混合精度和量化技术，在边缘设备上高效部署Transformer模型，实现内存和延迟的显著降低同时保持高精度。
2025-12-17 cs.LG
Memory Retrieval in Transformers: Insights from The Encoding Specificity Principle
University of Sydney（悉尼大学）；Data61 CSIRO（Data61澳大利亚联邦科学与工业研究组织）
本研究基于编码特异性原理，探讨了Transformer中注意力层的记忆机制，并通过实验验证了关键词作为提示的假设，为隐私保护机器无学习提供了新思路。
2026-01-28 cs.LG
Tempo: Accelerating Transformer-Based Model Training through Memory Footprint Reduction
University of Toronto（多伦多大学）；Shanghai Jiao Tong University（上海交通大学）；Vector Institute（向量研究所）
训练深度学习模型在计算上可能是昂贵的。先前的工作已经表明，增加批量大小可能会导致更好的整体吞吐量。然而，由于为训练反向传递存储的激活/特征图，批量大小经常受到加速器存储器容量的限制，因为较大的批量大小需要存储较大的特征图。基于transformer的模型，由于其良好的性能和对各种任务的适用性，最近受到了广泛的欢迎，也有类似的问题。为了解决这个问题，我们提出了Tempo，一种有效使用加速器的新方法（例如，GPU）内存资源，用于训练基于transformer的模型。我们的方法为GELU，LayerNorm和Attention层提供了直接替代品，减少了内存使用，最终实现了更有效的训练。我们实现了Tempo并评估了BERT Large预训练任务的吞吐量、内存使用和准确性/损失。我们证明了Tempo能够在最先进的基线上实现高达2倍的批量大小和16%的训练吞吐量。我们还在GPT 2和RoBERTa模型上评估了Tempo，分别比基线加速了19%和26%。
2023-01-24 cs.LG cs.PF
Compact Recurrent Transformer with Persistent Memory
University of Kentucky（肯塔基大学）；SRI International（SRI国际）
提出紧凑循环Transformer（CRT），结合浅层Transformer与循环神经网络管理持久记忆向量，在显著减少计算量和片段长度下，于语言和视频任务中实现优异性能。
2025-05-02 cs.LG stat.ML
T-vectors: Weakly Supervised Speaker Identification Using Hierarchical Transformer Model
University of Sheffield（谢菲尔德大学）
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种分层网络与Transformer编码器和内存机制来解决这个问题。该模型包括帧级编码器和段级编码器，它们都使用了Transformer编码器模块。Transformer结构中的多头注意力机制可以在输入话语包含多个说话人时更好地捕捉不同的说话人属性。帧级编码器中使用的记忆机制可以建立一个循环连接，更好地捕捉长期的扬声器特征。实验在基于Switchboard Cellular part1（SWBC）和Voxceleb 1数据集的人工数据集上进行。在不同的数据构建场景（Concat和Overlap）下，与四个强基线相比，该模型表现出更好的性能，与H向量和S向量相比，相对性能分别提高了13.3%和10.5%。使用记忆机制与不使用记忆机制相比，相对提高了10.6%和7.7%。
2020-10-29 cs.CL cs.LG cs.SD
Augmenting Self-attention with Persistent Memory
Facebook AI Research（脸书人工智能研究院）
Transformer网络在语言建模和机器翻译方面取得了重要进展。这些模型包括两个连续的模块，前馈层和自注意力层。后者允许网络捕获长期依赖性，并且通常被认为是Transformers成功的关键因素。基于这种直觉，我们提出了一个新的模型，仅由注意力层。更准确地说，我们用持久记忆向量来增强自注意力层，这些向量扮演着与前馈层类似的角色。由于这些矢量，我们可以在不降低Transformer性能的情况下移除前馈层。我们的评估显示了我们的模型在标准字符和单词级语言建模基准测试中所带来的好处。
2019-07-02 cs.CL cs.LG stat.ML
climt-paraformer: Stable Emulation of Convective Parameterization using a Temporal Memory-aware Transformer
Sustainability and Data Sciences Laboratory, Northeastern University（可持续性与数据科学实验室，东北大学）；Microsoft（微软）；Indian Institute of Science Education and Research Pune（印度科学教育与研究中心普纳分校）；AI for Climate and Sustainability, The Institute for Experiential AI, Northeastern University（气候与可持续性人工智能，体验式人工智能研究所，东北大学）
本文提出一种基于时间记忆的Transformer模型，用于对流参数化模拟，通过捕捉时间相关性和非线性交互，提高了气候模型的稳定性与精度。
2026-04-22 cs.LG physics.ao-ph
In-context denoising with one-layer transformers: connections between attention and associative memory retrieval
Flatiron Institute（弗拉特铁研究所）
本文提出上下文去噪任务，证明单层Transformer可通过在上下文感知的密集联想记忆能量景观上执行一步梯度下降实现最优去噪，从而深化注意力机制与联想记忆检索之间的理论联系。
2025-06-06 cond-mat.dis-nn cs.LG
An Analog and Digital Hybrid Attention Accelerator for Transformers with Charge-based In-memory Computing
University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对Transformer自注意力计算复杂度高、内存访问频繁的问题，提出一款65nm工艺的模数混合注意力加速器，通过模拟存内计算核心实时剪枝75%低得分令牌、数字核心处理剩余令牌保证精度，实现了高能效与高面积效率。
2024-09-20 cs.AR cs.LG
Cottention: Linear Transformers With Cosine Attention
Lyle School of Engineering（莱尔工程学院）；Southern Methodist University（南卫理公会大学）
Cottention通过引入余弦相似度替代softmax注意力，实现线性内存复杂性，从而更高效地处理长序列。
2024-09-27 cs.LG
Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory
Central Research Institute, 2012 Laboratories（2012实验室中央研究院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
针对Transformer规模增大未必提升性能且与训练样本记忆相关的问题，提出基于Hopfield网络的联想记忆理论框架，解释注意力机制并构建全局能量函数，揭示模型与数据集规模的依赖关系及损失下界。
2024-11-28 cs.LG
RACE-IT: A Reconfigurable Analog Computing Engine for In-Memory Transformer Acceleration
Artificial Intelligence Research Lab (AIRL), Hewlett Packard Labs, USA（人工智能研究实验室（AIRL）、惠普实验室，美国）；Technion - Israel Institute of Technology, Haifa, Israel（技术ion-以色列理工学院，海法，以色列）
本文提出RACE-IT，一种基于可重构模拟计算引擎的内存中Transformer加速器，通过增强ACAM支持所有核心操作，相比GPU和现有IMC加速器性能提升453倍和15倍，能耗降低354倍和122倍。
2025-08-06 cs.AR cs.ET cs.LG
Transformers as Measure-Theoretic Associative Memory: A Statistical Perspective and Minimax Optimality
University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文从统计视角出发，将Transformer视为测度论关联记忆，证明其在处理长上下文时的极小极大最优性。
2026-02-02 cs.LG stat.ML
Mass-Editing Memory with Attention in Transformers: A cross-lingual exploration of knowledge
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出MEMAT方法，利用注意力机制实现跨语言的事实知识批量编辑，在仅需极少参数修改的情况下显著提升各项指标并具备良好可移植性。
2025-02-04 cs.AI cs.CL
AtMan: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation
Aleph Alpha（阿列夫阿尔法）；Technical University Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森州人工智能中心）；German Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；LAION
本文提出模态无关的 AtMan 解释方法，通过注意力扰动和嵌入空间余弦邻域的 token 搜索生成相关性图，在低额外内存与计算成本下优于梯度方法。
2025-01-07 cs.AI cs.LG
Pimba: A Processing-in-Memory Acceleration for Post-Transformer Large Language Model Serving
Uppsala University（乌普萨拉大学）；Georgia Institute of Technology（佐治亚理工学院）
针对统一服务Transformer与后Transformer LLMs的内存带宽瓶颈，提出存内处理加速器Pimba，利用双bank共享的SPU和基于MX量化的SPE高效执行状态更新与注意力操作，相比GPU系统显著提升吞吐量。
2025-09-16 cs.AR cs.LG
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
ARTEMIS是一种混合模拟-随机存内DRAM加速器，通过最小化DRAM改动并利用新型电容器支持随机计算和模拟累加，在加速Transformer时相比GPU、TPU等实现至少3.0倍速度提升和1.9倍能效改善。
2024-07-17 cs.AR cs.LG
GPU Memory Requirement Prediction for Deep Learning Task Based on Bidirectional Gated Recurrent Unit Optimization Transformer
Rice University（莱斯大学）；Duke University（杜克大学）
针对深度学习GPU内存预测难题，提出BiGRU优化Transformer模型，在MSE、RMSE等指标上优于决策树等基准方法，显著提升预测精度，助力资源调度。
2025-10-23 cs.AI cs.LG
LOOKAT: Lookup-Optimized Key-Attention for Memory-Efficient Transformers
Indian Institute of Information Technology, Nagpur（印度信息技术学院，那格浦尔）
LOOKAT通过查找优化键注意力，实现内存高效变换器的压缩，保持高保真度的同时提升计算效率。
2026-01-15 cs.AI cs.LG
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey（萨里大学）
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而，由于自我注意的二次复杂性和缺乏感应偏差，Transformers是资源密集型的，并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题，使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络（STAN），它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类，具有数据效率，并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
Memory-efficient Stochastic methods for Memory-based Transformers
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
针对记忆型Transformer训练内存大、效率低的问题，提出两阶段训练与正则化技术，构建Skip Cross-head TransformerXL，在字符级任务持平参数、单词级任务少20%参数下超越基线，且无需额外内存，正则化使BERT在GLUE任务标准差降约30%。
2023-11-14 cs.CL cs.LG
Recurrent Memory Transformer
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI（AIRI（人工智能研究所））
基于transformer的模型在多个领域和任务中显示出其有效性。自注意允许将来自所有序列元素的信息组合成上下文感知表示。然而，全局和局部信息必须大部分存储在相同的元素表示中。此外，输入序列的长度受到自注意的二次计算复杂性的限制。在这项工作中，我们提出并研究了一个内存增强的段级递归Transformer（RMT）。内存允许存储和处理本地和全局信息，以及在递归的帮助下在长序列的段之间传递信息。我们实现了一个内存机制，没有改变Transformer模型，通过添加特殊的内存令牌的输入或输出序列。然后训练模型来控制记忆操作和序列表示处理。实验结果表明，RMT的表现与Transformer-XL语言建模较小的内存大小，并优于它的任务，需要较长的序列处理。我们表明，添加内存令牌的Tr-XL是能够提高其性能。这使得递归内存Transformer成为一种很有前途的架构，适用于需要学习长期依赖关系和内存处理中的通用目的的应用程序，例如算法任务和推理。
2022-12-08 cs.CL cs.LG
Implicit Memory Transformer for Computationally Efficient Simultaneous Speech Translation
Oregon State University（俄勒冈州立大学）
本文提出隐式记忆Transformer，用上一段注意力输出作为左上下文替代记忆库，在MuST-C上以几乎相同的翻译质量显著加速同声传译编码器计算。
2023-07-03 cs.CL cs.LG
Global memory transformer for processing long documents
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
Transformer变体在不同的自然语言处理任务（如翻译、阅读理解和摘要）中占据主导地位。我们的论文更多的是针对使用一般的内存插槽添加到输入和研究添加这些插槽的结果。本文继续研究了在以前的工作中添加到所提出的模型的输入的一般内存插槽规则。我们有两个主要任务：1）使用掩码语言建模的预训练任务和b）使用HotpotQA的微调任务。本研究的目的是验证所提出的模型处理块的能力，如果他们是一个块与基础模型相比。我们使用T5 Transformer作为基线。我们研究了内存槽扩展到每个输入块的规则，并研究了没有选择器的模型性能。我们发现，向输入组块添加记忆有助于所提出的模型克服具有特定训练参数的掩蔽语言建模任务的基线。消融研究揭示了使用压缩输入块的能力，性能下降。
2022-12-03 cs.CL cs.LG
GMAT: Global Memory Augmentation for Transformers
Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
基于transformer的模型由于其大容量、固有的并行性和高性能而在自然语言处理中无处不在。Transformer块的上下文组件是$\textit{pairwise dot-product}$ attention，它对长度$L$序列有很大的$Ω(L^2)$内存需求，限制了它处理长文档的能力。这一直是最近的实质性兴趣的主题，其中提出了多个近似，以减少使用稀疏注意矩阵的二次记忆要求。在这项工作中，我们建议增加稀疏的Transformer块与密集的注意力为基础的$\textit{global memory}$的长度$M$（$\ll L$），它提供了一个聚合的全局视图的整个输入序列的每个位置。我们的增强具有可管理的$O(M\cdot(L+M))$内存开销，并且可以与先前的稀疏解决方案无缝集成。此外，全局存储器也可以用于序列压缩，通过仅用存储器表示来表示长输入序列。我们的经验表明，我们的方法导致一系列任务的实质性改善，包括（a）需要全局推理的合成任务，（b）掩蔽语言建模，（c）阅读理解。
2020-06-05 cs.CL cs.LG stat.ML
Do Transformers Need Deep Long-Range Memory
DeepMind；UCL（伦敦大学学院）
深度注意力模型已经在许多领域推进了序列数据的建模。特别是对于语言建模，Transformer-XL --一个增强了过去激活的长距离记忆的Transformer--在各种经过充分研究的基准测试中被证明是最先进的。Transformer-XL在网络的每一层都集成了一个远程内存，这使得它的状态比RNN的前辈大数千倍。但尚不清楚这是否必要。我们进行了一组干预，以表明可以通过减少6倍的长距离记忆来获得相当的性能，并且可以通过限制网络较低层的注意力范围来获得更好的性能。
2020-07-07 cs.CL cs.LG stat.ML
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington（印第安纳大学布鲁明顿分校）
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出，发现其注意力头存在类似人类情景记忆的时间连续性等效应，归纳头是连续性效应的关键，揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
EdgeInfinite: A Memory-Efficient Infinite-Context Transformer for Edge Devices
vivo AI Lab（vivo人工智能实验室）；Zhejiang University（浙江大学）
EdgeInfinite通过可训练门控模块将压缩内存集成到Transformer中，实现边缘设备上的无限上下文处理，兼容标准架构且仅微调少量参数，在长上下文基准上性能相当并优化内存与首令牌时间。
2025-03-28 cs.CL
Do LLMs dream of elephants (when told not to)? Latent concept association and associative memory in transformers
University of Chicago（芝加哥大学）；Carnegie Mellon University（卡内基梅隆大学）
本文通过实验发现LLMs的事实检索能力易受上下文操纵，提出其类似联想记忆模型的观点，还通过数学分析单层Transformer，从理论和实证上证明其用自注意力收集信息、价值矩阵实现联想记忆的特性。
2024-11-27 cs.CL cs.LG stat.ML
Multi-scale Transformer Language Models
Facebook AI Research（Facebook人工智能研究院）；Mila, Université de Montréal（蒙特利尔大学Mila）
我们研究多尺度Transformer语言模型，学习表示的文本在多个尺度，并提出了三种不同的架构，有一个归纳的偏见，以处理语言的层次性质。大规模语言建模基准的实验经验证明有利的可能性与内存占用权衡，例如，我们表明，它是可能的训练一个分层的变体与30层，具有23%的内存占用和更好的困惑，相比香草Transformer与不到一半的层数，在多伦多BookCorpus。我们分析了在多个尺度上学习表示在内存占用，计算时间和困惑方面的优势，这是特别有吸引力的Transformers的运行时间和内存使用相对于序列长度的二次缩放。
2020-05-01 cs.CL cs.LG
