Recurrent Memory-Augmented Transformers with Chunked Attention for Long-Context Language Modeling
Independent Researcher(独立研究者)
本文提出一种结合分块局部注意力与门控FIFO记忆机制的循环记忆增强Transformer,以线性成本高效建模长上下文依赖,并在PyTorch中从零实现,适用于对话、代码补全和文档理解等任务。
2025-07-01 cs.LG
Neural Attention Memory
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出将注意力机制重新定义为可读写记忆架构的神经注意力记忆(NAM),在算法零样本泛化、少样本学习及长距离注意力任务中展现出优于基线的性能,可作为缩放点积注意力的高效替代。
2023-10-14 cs.LG
Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent(腾讯)
针对线性注意力固定大小记忆管理难题,提出门控槽注意力-2(GSA2),结合门控Oja规则-2与门控Delta规则-2进行双侧记忆修正,在保持线性时间和恒定内存下提升基准性能。
2026-10-05 cs.LG
Cottention: Linear Transformers With Cosine Attention
Lyle School of Engineering(莱尔工程学院);Southern Methodist University(南卫理公会大学)
Cottention通过引入余弦相似度替代softmax注意力,实现线性内存复杂性,从而更高效地处理长序列。
2024-09-27 cs.LG
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
Stanford University(斯坦福大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
Transformers在长序列上速度慢且内存消耗大,因为自注意的时间和内存复杂度是序列长度的二次方。近似注意力方法试图通过权衡模型质量来解决这个问题,以降低计算复杂度,但通常不能实现挂钟加速。我们认为,一个缺失的原则是使注意力算法IO感知-占GPU内存级别之间的读取和写入。我们提出了FlashAttention,一种IO感知的精确注意算法,该算法使用平铺来减少GPU高带宽内存(HBM)和GPU片上SRAM之间的内存读/写次数。我们分析了FlashAttention的IO复杂性,表明它需要比标准注意更少的HBM访问,并且对于一系列SRAM大小是最佳的。我们还将FlashAttention扩展到块稀疏注意力,产生一个近似注意力算法,比任何现有的近似注意力方法都快。FlashAttention训练Transformers的速度快于现有基准:BERT-large端到端挂钟加速15%。长度512)与MLPerf 1.1训练速度记录相比,GPT-2(序列号512)上的3个$\times$加速。长度为1 K),以及在远程竞技场上的2.4 $\times$加速(seq.长度1 K-4K)。FlashAttention和块稀疏FlashAttention在Transformers中实现了更长的上下文,产生了更高质量的模型(GPT-2上的困惑度提高了0.7,长文档分类上的提升点提高了6.4)和全新的…
2022-06-23 cs.LG
Variational Linear Attention: Stable Associative Memory for Long-Context Transformers
Independent Researcher(独立研究者);Metriqual
本文提出变分线性注意力,通过在线正则化最小二乘问题减少内存状态增长,提升长上下文变换器的稳定性与效率。
2026-05-11 cs.LG
Slim attention: cut your context memory in half without loss -- K-cache is all you need for MHA
OpenMachine
Slim attention 通过仅缓存 K 实现对 MHA transformer 上下文内存的无损压缩,最高可将内存减少 32 倍并显著加速推理。
2026-11-02 cs.LG
Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
Columbia University(哥伦比亚大学)
研究针对线性注意力在状态跟踪和长上下文记忆的局限,提出半直接傅里叶增量注意力(SFDA),通过构造性分块-WY分解,实现精确仿射分块转移等,经数值验证和实验表明其能学习循环记忆,优于禁用相位的KDA基线。
2026-07-15 cs.LG
Learning to Forget Attention: Memory Consolidation for Adaptive Compute Reduction
Iowa State University(爱荷华州立大学)
本文提出了一种基于记忆巩固的注意力路由机制,通过减少冗余注意力计算,显著提升模型效率,同时在未见过的任务中保持高准确性。
2026-02-12 cs.LG
SAMN: A Sample Attention Memory Network Combining SVM and NN in One Architecture
Xiamen University(厦门大学)
本文提出样本注意力记忆网络 SAMN,通过样本注意力模块、类别原型和记忆块在同一神经网络架构中融合 SVM 与 NN,在相近参数规模下取得更优分类效果。
2023-09-25 cs.LG
Attention Approximates Sparse Distributed Memory
Harvard University(哈佛大学)
虽然注意力已经成为深度学习中的一个重要机制,但对于它为什么能如此有效的直觉仍然有限。在这里,我们表明,Transformer注意力在一定的数据条件下可以密切相关的Kanerva的稀疏分布记忆(SDM),一个生物学上合理的联想记忆模型。我们确认这些条件在预训练的GPT2 Transformer模型中得到满足。我们讨论的影响,注意SDM地图,并提供新的计算和生物学的解释注意。
2022-01-17 cs.AI cs.LG
S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring
ETH Zurich(苏黎世联邦理工学院);Nanyang Technological University(南洋理工大学);University of Bologna(博洛尼亚大学)
该研究针对连续EEG监测中Transformer架构的内存瓶颈,提出S-CEReBrO架构,通过窗口交替注意力实现内存恒定,在EEG下游任务中性能领先且效率提升。
2026-09-15 cs.LG
EL-Attention: Memory Efficient Lossless Attention for Generation
Microsoft(微软);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
具有多头注意力的Transformer模型需要缓存中间结果,以便在生成任务中进行高效推理。然而,缓存带来了新的内存相关成本,并阻止利用更大的批处理大小来获得更快的速度。我们提出了记忆高效无损注意(称为EL注意)来解决这个问题。它避免了构建多头键和值的繁重操作,不需要缓存它们。EL-attention通过扩展查询,同时保持键和值共享,构建了一个注意力结果的集合。它产生与多头注意力相同的结果,但GPU内存更少,推理速度更快。我们对Transformer、BART和GPT-2进行了广泛的实验,用于总结和问题生成任务。结果表明,EL-注意力将现有模型的速度提高了1.6倍至5.3倍,而不会损失准确性。
2021-06-11 cs.CL cs.LG
Can Active Memory Replace Attention?
Google Brain(谷歌大脑)
近年来,将神经网络的注意力集中在其输入或记忆的选定部分上的几种机制已成功地用于深度学习模型中。注意力改善了图像分类、图像描述、语音识别、生成模型和学习算法任务,但它可能对神经机器翻译产生了最大的影响。最近,使用替代机制已经获得了类似的改进,这些机制不关注存储器的单个部分,而是以统一的方式并行地对所有部分进行操作。这种机制,我们称之为主动记忆,改善了算法任务、图像处理和生成建模中的过度注意力。然而,到目前为止,对于大多数自然语言处理任务,特别是对于机器翻译,主动记忆并没有改善注意力。本文分析了这一缺点,并提出了一种扩展的主动记忆模型,该模型与神经机器翻译上的现有注意力模型相匹配,并且更好地推广到较长的句子。我们调查这个模型,并解释为什么以前的主动记忆模型没有成功。最后,我们讨论了主动记忆何时带来最大的好处,以及注意力在哪里可以成为更好的选择。
2017-03-07 cs.CL cs.LG
Memory Efficient Neural Processes via Constant Memory Attention Block
Borealis AI(博雷亚利斯人工智能公司);Mila – Université de Montréal(米拉-蒙特利尔大学)
针对神经过程注意力机制内存开销大的问题,提出常数内存注意力块(CMAB)及CMANPs模型,实现常数内存与计算更新,在基准上取得最先进结果且内存效率显著提升。
2024-05-27 cs.CV cs.LG
Is Attention All What You Need? -- An Empirical Investigation on Convolution-Based Active Memory and Self-Attention
The University of Newcastle(纽卡斯尔大学)
Transformer模型的关键是自注意力机制,它允许模型以计算高效的方式分析整个序列。最近的研究表明,RNN使用的一般注意力机制可能被主动记忆机制取代。在这项工作中,我们评估是否各种主动记忆机制可以取代自注意力力的Transformer。我们的实验表明,单独使用主动记忆可以达到与语言建模的自注意力机制相当的结果,但最佳结果大多是通过同时使用主动记忆和自注意力机制来实现的。我们还注意到,对于某些特定的算法任务,主动记忆机制单独优于自注意力和两者的组合。
2019-12-30 cs.CL cs.LG stat.ML
Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems
Columbia University(哥伦比亚大学)
我们提出了一个简化的注意力模型,这是适用于前馈神经网络,并证明所得到的模型可以解决合成的“加法”和“乘法”的长期记忆问题的序列长度都更长,更广泛地改变比最好的公布结果,这些任务。
2016-09-20 cs.LG cs.NE
LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining
AIGCode;South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室)
针对LLM预训练效率问题,提出含局部融合注意力与知识记忆模块的LoKiFormer,使预训练收敛速度提升1.33倍,性能优于现有架构。
2026-08-14 cs.LG
Linear Memory SE(2) Invariant Attention
Zoox
针对自动驾驶空间数据处理中 SE(2) 等变注意力需二次方内存的问题,提出线性内存的 SE(2) 等变缩放点积注意力 transformer,并验证其可实现且性能优于非等变架构。
2025-07-24 cs.LG
Maglev: Sliding Recurrent Memory
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出Maglev,一种带固定记忆的循环Transformer架构,通过耦合模型与记忆一致性损失实现训练可并行性,在验证损失及下游预训练基准上优于基线,参数共享可减少内存。
2026-08-06 cs.LG
Power Law Guided Dynamic Sifting for Efficient Attention
Department of Computer Science, University of Maryland College Park(计算机科学系,马里兰大学 College Park 分校)
本文提出SiftAttention,利用注意力分数分位数的幂律规律动态估计阈值进行逐元素筛选,替代昂贵的top-k操作,在保持模型质量的同时减少GPU内存带宽使用。
2025-06-05 cs.LG
Memory Controlled Sequential Self Attention for Sound Recognition
Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所)
在本文中,我们调查的重要性,记忆的程度在顺序自我注意的声音识别。我们建议使用一个记忆控制的顺序自我注意机制上的卷积递归神经网络(CRNN)模型的复调声音事件检测(SED)。URBAN-SED数据集上的实验证明了记忆程度对自我注意诱导的SED模型的声音识别性能的影响。我们扩展了所提出的想法与多头自我注意机制,每个注意头处理音频嵌入显式注意宽度值。建议使用记忆控制的顺序自我注意提供了一种方法来诱导声音事件令牌帧之间的关系。我们表明,我们的记忆控制自我注意力模型在URBAN-SED数据集上实现了33.92%的基于事件的F分数,优于没有自我注意力的模型报告的20.10%的F分数。
2020-08-06 cs.LG cs.SD eess.AS
Memory Retrieval in Transformers: Insights from The Encoding Specificity Principle
University of Sydney(悉尼大学);Data61 CSIRO(Data61澳大利亚联邦科学与工业研究组织)
本研究基于编码特异性原理,探讨了Transformer中注意力层的记忆机制,并通过实验验证了关键词作为提示的假设,为隐私保护机器无学习提供了新思路。
2026-01-28 cs.LG
Attention based Memory video portrait matting
Nanyang Technological University(南洋理工大学)
提出了一种基于注意力机制的无三重图视频抠像方法。根据问题的性质,大多数现有的方法使用多个计算扩展模块或复杂的算法来充分利用时间信息。我们设计了一个时间聚合模块来计算当前帧和它的前两个帧之间的时间相干性。
2022-03-21 cs.CV cs.LG
Progressive Memory Transformer: Memory-Aware Attention for Time-Series
University of Oslo(奥斯陆大学);NORSAR(挪威地震观测与研究机构);University of Tromsø(特罗姆瑟大学);Western Norway University of Applied Sciences(挪威西部应用科学大学)
提出渐进式记忆Transformer(PMT),通过窗口对齐的可写记忆在局部、中程和全局三个尺度上显式建模时间序列结构层次,在七个分类基准和预测任务上实现强低标签分类与竞争性预测性能。
2026-11-10 cs.LG
HGCA: Hybrid GPU-CPU Attention for Long Context LLM Inference
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
HGCA提出混合GPU-CPU注意力机制,在GPU上对近期KV做稠密注意力、在CPU上对显著KV做稀疏注意力,并通过log-sum-exp融合与逐头稀疏化策略,在不牺牲精度的情况下提升长上下文LLM推理的可扩展性和吞吐量。
2025-07-03 cs.LG
ABNAT: Attention-Based Noise-Aware Training for Robust Transformers on Analog Compute-in-Memory Systems
Beijing Advanced Innovation Center for Integrated Circuits(北京集成电路高精尖创新中心)
该研究针对模拟存算一体系统中Transformer受硬件噪声影响性能下降的问题,提出ABNAT框架,通过保留教师模型多头注意力路径提升鲁棒性,在多模态Transformer上使噪声退化准确率提升最高11.28%。
2026-10-16 cs.LG
Memory and attention in deep learning
Deakin University(迪肯大学)
智慧需要记忆。没有记忆,人类无法完成各种重要的任务,如阅读小说,玩游戏或解决数学问题。由于机器学习的最终目标是获得像人类一样自动学习和行动的智能系统,因此机器的记忆构建是不可避免的。人工神经网络通过经由权重互连计算单元来对大脑中的神经元和突触进行建模,这是一类典型的类似于记忆结构的机器学习算法。他们的后代具有更复杂的建模技术(也称为深度学习),已成功应用于许多实际问题,并证明了记忆在机械系统学习过程中的重要性。深度学习中的记忆建模的最新进展围绕着外部记忆的构建,这受到了计算图灵模型和生物神经元系统的高度启发。导出注意力机制以支持外部存储器上的获取和保持操作。尽管缺乏理论基础,但这些方法已显示出帮助机械系统达到更高智能水平的希望。本论文的目的是促进对深度学习中记忆和注意的理解。其贡献包括:(i)呈现存储器分类的集合,(ii)构建支持多个控制和存储器单元的新的存储器增强的神经网络(MANN),(iii)通过顺序生成模型中的存储器引入可变性,(iv)搜索最佳写入操作以最大化基于槽的存储器网络中的存储容量,以及(v)通过神经存储程序存储器(一种新型的神经网络外部存储器)模拟通用图灵机。
2021-07-03 cs.AI cs.LG
Stream-CQSA: Exact Out-of-Memory Recovery for Attention
Lewis-Sigler Institute of Integrative Genomics(刘易斯-西格勒整合基因组学研究所);Princeton University(普林斯顿大学)
本文提出Stream-CQSA框架,通过分解注意力计算为可调度的子任务,实现内存适应性调度,使单GPU可处理十亿token序列的精确注意力计算。
2026-09-03 cs.DC cs.LG
Sparse Attention Acceleration with Synergistic In-Memory Pruning and On-Chip Recomputation
Google Research(谷歌研究院);University of California, San Diego(加州大学圣地亚哥分校)
作为其核心计算,自我注意机制测量整个输入序列的成对相关性。尽管性能良好,但计算成对相关性的成本过高。虽然最近的工作已经表明,运行时修剪的元素与低注意力分数的好处,二次复杂的自我注意力机制和他们的片上存储器容量的需求被忽视。这项工作通过构建一个名为SPRINT的加速器来解决这些限制,该加速器利用ReRAM交叉开关阵列的固有并行性以近似方式计算注意力分数。我们的设计使用ReRAM中的轻量级模拟阈值电路来修剪低注意力分数,使SPRINT能够仅将相关数据的一小部分提取到片上存储器中。为了减轻对模型准确性的潜在负面影响,SPRINT重新计算了少量数字数据的注意力分数。结合内存修剪和片上重新计算相关的注意力分数,使SPRINT转换成一个简单的线性二次复杂性。此外,我们确定和利用一个动态的空间位置之间的相邻的注意力操作,即使修剪后,这消除了昂贵的,但冗余的数据提取。我们评估我们提出的技术在广泛的国家的最先进的Transformer模型。平均而言,SPRINT在使用总16KB片内存储器时产生7.5倍的加速和19.6倍的能耗降低,而实际上与基线模型的等精度相当(平均下降0.36%)。
2022-09-01 cs.AR cs.LG
MKA: Memory-Keyed Attention for Efficient Long-Context Reasoning
University of California, Los Angeles(加州大学洛杉矶分校);Columbia University(哥伦比亚大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出MKA机制,通过多级KV缓存和动态路由提升长上下文推理效率,FastMKA在保持准确率的同时显著提升训练速度和评估效率。
2026-03-24 cs.AI cs.LG
Memory-efficient Transformers via Top-$k$ Attention
IBM Research(IBM研究院);Tel Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
随着点积注意力在Transformers中的成功,最近提出了许多近似来解决其关于输入长度的二次复杂性。虽然这些变体是存储器和计算高效的,但是不可能在没有昂贵的校正预训练阶段的情况下将它们直接与使用普通注意力训练的流行的预训练语言模型一起使用。在这项工作中,我们提出了一个简单而高度准确的近似香草注意。我们以块的形式处理查询,并且对于每个查询,计算关于键的前$k$分数。我们的方法提供了几个优点:(a)它的内存使用在输入大小上是线性的,类似于线性注意力变体,例如Performer和RFA;(b)它是香草注意力的直接替代品,不需要任何纠正性的预训练;(c)在将前馈层转换为熟悉的查询-键值框架后,它还可以在前馈层中节省大量内存。我们评估了长距离竞技场基准上的多头注意力层以及多个QA数据集上的T5和UnifiedQA的前馈层的顶级$k$近似的质量。我们表明,我们的方法在多个设置中的准确性与香草注意力几乎相同,包括从头开始训练,微调和zero-shot推理。
2021-06-13 cs.CL cs.LG
An Attention Free Long Short-Term Memory for Time Series Forecasting
CREST - Institut Polytechnique de Paris(巴黎综合理工学院CREST);Université Paris Dauphine-PSL(巴黎多芬大学-PSL)
深度学习在时间序列分析中发挥着越来越重要的作用。我们专注于时间序列预测使用注意自由机制,一个更有效的框架,并提出了一个新的架构的时间序列预测的线性模型似乎无法捕捉的时间依赖性。我们提出了一种使用无注意力LSTM层构建的架构,该层克服了条件方差预测的线性模型。我们的研究结果证实了我们模型的有效性,这也提高了LSTM的预测能力,同时提高了学习任务的效率。
2022-09-20 cs.LG q-fin.ST
Token-Picker: Accelerating Attention in Text Generation with Minimized Memory Transfer via Probability Estimation
Korea Advanced Institute of Science and Technology(韩国科学技术院);System LSI, Samsung Electronics(三星电子系统LSI部门)
针对文本生成中注意力机制的内存瓶颈,提出Token-Picker方法,在softmax前估计概率并剪枝低概率标记,无需微调即实现12.1倍剪枝率,配合硬件设计减少2.6倍内存访问,带来2.3倍加速和2.4倍能效提升。
2024-07-21 cs.AR cs.LG
In-context denoising with one-layer transformers: connections between attention and associative memory retrieval
Flatiron Institute(弗拉特铁研究所)
本文提出上下文去噪任务,证明单层Transformer可通过在上下文感知的密集联想记忆能量景观上执行一步梯度下降实现最优去噪,从而深化注意力机制与联想记忆检索之间的理论联系。
2025-06-06 cond-mat.dis-nn cs.LG
Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion
Institute of Artificial Intelligence, University of Central Florida(中央佛罗里达大学人工智能研究所)
本文提出了一种名为ARL2的混合注意力模块,通过将二次跨帧注意力替换为固定大小的递归状态,解决了自回归视频扩散模型在长视频生成中的可扩展性瓶颈问题,实现了线性时间复杂度和常数内存消耗,同时提升了时间一致性。
2026-05-20 cs.CV cs.LG
S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference
bupt(北京邮电大学)
S3-Attention通过内存优先的内源检索方法,解决长上下文推理中的内存和噪声效率问题,提升模型在信息密集场景下的鲁棒性。
2026-01-28 cs.CL cs.LG
Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding
Georgia Institute of Technology(佐治亚理工学院);Cisco Research(思科研究)
本文提出AttentionPack框架,通过紧凑注意力机制和解压机制提升大视觉-语言模型解码效率,实验表明内存效率提升8倍,支持更大批次和更快推理,同时保持输出质量。
2026-03-25 cs.CV cs.LG
How Linear Attention Remembers
本研究通过分析分解和因果干预,揭示了线性注意力中固定大小循环记忆如何通过集中式读写实现选择性事实召回,并指出其存在跨事实耦合、负载增加时性能下降及混合架构下依赖KV状态等特性。
2026-09-29 cs.AI cs.LG
Trellis: Learning to Compress Key-Value Memory in Attention Models
Google Research(谷歌研究)
Trellis通过动态压缩键值内存提升注意力模型的效率与长上下文处理能力
2025-12-29 cs.CL cs.LG
LoMA: Lossless Compressed Memory Attention
Deepglint Inc.(深格灵公司);Peking University(北京大学)
LoMA通过训练与生成算法实现KV缓存无损压缩,在单次推理中降低长上下文LLM的内存与计算开销。
2024-02-04 cs.CL cs.LG
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
Multi-timescale memory dynamics in a reinforcement learning network with attention-gated memory
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
学习和记忆在我们的大脑中交织在一起,它们的关系是最近几个神经网络模型的核心。特别是,注意门控记忆标记模型(AuGMEnT)是一个强化学习网络,强调记忆动力学和学习的生物相容性。我们发现,AuGMEnT网络不能解决一些分层任务,其中较高级别的刺激必须保持很长一段时间,而较低级别的刺激需要在较短的时间内记住和忘记。为了克服这一限制,我们引入了混合型AuGMEnT,在内存中具有泄漏或短时间尺度和非泄漏或长时间尺度单元,允许交换较低级别的信息,同时保持较高级别的信息,从而解决分层和分心任务。
2017-12-28 cs.LG cs.NE q-bio.NC
Probing the Limits of Compressive Memory: A Study of Infini-Attention in Small-Scale Pretraining
Huawei Technologies Canada Co., Ltd(华为技术加拿大有限公司)
本研究通过Infini-Attention在小规模预训练中提升SLMs的长上下文能力,验证了其在有限参数下的有效性。
2025-12-29 cs.AI cs.CL cs.LG
Sequence-to-Sequence Models with Attention Mechanistically Map to the Architecture of Human Memory Search
Rutgers University-New Brunswick(新 Brunswick罗切斯特大学);Department of Computer Science(计算机科学系);Department of Psychology(心理学系);Rutgers Center for Cognitive Science(罗切斯特认知科学中心)
本研究揭示带注意力的序列到序列模型与人类记忆的CMR模型机制对应,并据此构建可解释的认知模型,有效捕捉人类记忆搜索的平均与最优行为模式。
2025-06-20 cs.LG q-bio.NC
Augmenting Self-attention with Persistent Memory
Facebook AI Research(脸书人工智能研究院)
Transformer网络在语言建模和机器翻译方面取得了重要进展。这些模型包括两个连续的模块,前馈层和自注意力层。后者允许网络捕获长期依赖性,并且通常被认为是Transformers成功的关键因素。基于这种直觉,我们提出了一个新的模型,仅由注意力层。更准确地说,我们用持久记忆向量来增强自注意力层,这些向量扮演着与前馈层类似的角色。由于这些矢量,我们可以在不降低Transformer性能的情况下移除前馈层。我们的评估显示了我们的模型在标准字符和单词级语言建模基准测试中所带来的好处。
2019-07-02 cs.CL cs.LG stat.ML
Adaptive Memory Decay for Log-Linear Attention
University of Maryland(马里兰大学)
本文提出通过轻量级两层MLP学习记忆衰减参数λ,实现按内容自适应的衰减,提升长距离记忆任务性能。
2026-05-07 cs.AI cs.LG
An Analog and Digital Hybrid Attention Accelerator for Transformers with Charge-based In-memory Computing
University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对Transformer自注意力计算复杂度高、内存访问频繁的问题,提出一款65nm工艺的模数混合注意力加速器,通过模拟存内计算核心实时剪枝75%低得分令牌、数字核心处理剩余令牌保证精度,实现了高能效与高面积效率。
2024-09-20 cs.AR cs.LG
Learning to Remember, Forget and Ignore using Attention Control in Memory
IBM Research AI(IBM研究院人工智能部门);Almaden Research Center(阿尔马登研究中心)
典型的具有外部记忆的神经网络不能有效地分离人类推理所需的情景记忆和工作记忆的容量。运用心理学研究中获得的知识,我们设计了一个新的模型,称为可区分工作记忆(DWM),以专门模仿人类的工作记忆。由于它显示出与工作记忆相同的功能特征,它可以强大地学习心理学启发的任务,并且比同类最先进的模型收敛得更快。此外,DWM模型成功地推广到比训练中使用的序列长两个数量级的序列。我们的深入分析表明,DWM的行为是可解释的,它学会了对记忆进行精细的控制,允许它根据相关性保留,忽略或忘记信息。
2018-09-28 cs.LG cs.NE stat.ML
TransformerFAM: Feedback attention is working memory
Google LLC(谷歌公司)
本文提出TransformerFAM架构,通过反馈回路让Transformer关注自身潜在表示以形成工作记忆,无需额外权重即可无缝集成预训练模型,并在1B、8B和24B模型规模的长上下文任务上显著提升性能。
2024-05-07 cs.AI cs.CL cs.LG
End-to-End Transformer Acceleration Through Processing-in-Memory Architectures
Department of Electrical and Computer Engineering, University of Virginia(弗吉尼亚大学电气与计算机工程系);Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系)
本文提出通过处理在内存架构减少变换器模型的计算开销、内存瓶颈和注意力复杂度,实现端到端加速。
2025-11-21 cs.AR cs.LG
Goal-Directed Behavior under Variational Predictive Coding: Dynamic Organization of Visual Attention and Working Memory
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
心理模拟是目标导向行为的关键认知功能,因为它对于评估行为及其后果至关重要。当一个自我生成的或外部指定的目标被给定时,最有可能实现该目标的一系列行动是通过心理模拟从其他候选人中选出的。因此,更好的心理模拟会导致更好的目标导向行动计划。然而,开发心理模拟模型是具有挑战性的,因为它需要对自我和环境的了解。本文研究了如何通过自上而下的视觉注意和视觉工作记忆的动态组织,使机器人在心理上产生适当的目标导向的行动计划。为此,我们提出了一个神经网络模型的基础上变分贝叶斯预测编码,目标导向的行动规划制定潜在的意向空间的贝叶斯推理。我们的实验结果表明,有意义的认知能力,如自主自上而下的注意力的机器人末端执行器(其手),以及动态组织的无阻塞视觉工作记忆,出现。此外,我们的比较实验分析表明,引入视觉工作记忆和推理机制,使用变分贝叶斯预测编码显着提高规划足够的目标导向的行动的性能。
2019-03-12 cs.LG cs.RO
LOOKAT: Lookup-Optimized Key-Attention for Memory-Efficient Transformers
Indian Institute of Information Technology, Nagpur(印度信息技术学院,那格浦尔)
LOOKAT通过查找优化键注意力,实现内存高效变换器的压缩,保持高保真度的同时提升计算效率。
2026-01-15 cs.AI cs.LG
DFSMN-SAN with Persistent Memory Model for Automatic Speech Recognition
Tencent AI Lab(腾讯AI实验室)
自注意网络(SAN)由于其在捕获长时相关性方面的优越能力而被引入到自动语音识别(ASR)中,并取得了最新的性能。其中一个关键因素是自我注意机制,它可以有效地在整个话语水平上进行。在本文中,我们试图调查是否更多的信息超出了整个话语水平可以利用和有益的。我们建议将具有增强记忆的自我注意层应用于ASR。具体来说,我们首先提出了一种变体模型架构,该架构将深度前馈顺序记忆网络(DFSMN)与自注意层相结合,以形成比纯自注意网络更好的基线模型。然后,我们提出并比较了两种添加到自我注意层的附加记忆结构。在大规模LVCSR任务上的实验表明,在四个独立的测试集上,DFSMN-SAN结构的字符错误率(CER)相对优于vanilla SAN编码器5%。更重要的是,额外的存储器结构提供了CER的进一步5%至11%的相对改进。
2019-10-28 cs.LG cs.SD eess.AS