Transformer-Patcher: One Mistake worth One Neuron
Beihang University(北京航空航天大学);Mila(米拉研究所);University of Montreal(蒙特利尔大学);Tencent Inc(腾讯公司)
基于transformer的大型预训练语言模型(PLM)主导了几乎所有的自然语言处理(NLP)任务。尽管如此,他们仍然时不时地犯错误。对于部署在工业环境中的模型来说,快速而稳健地修复这些错误对于改善用户体验至关重要。以前的工作形式化的模型编辑(ME)等问题,主要集中在修复一个错误。然而,一个错误修复场景并不是对现实世界挑战的准确抽象。在人工智能服务的部署中,不断出现错误,如果不及时纠正,同样的错误可能会再次发生。因此,一个更好的解决办法是,一旦错误不断出现,就立即纠正。因此,我们扩展现有的ME到顺序模型编辑(SME),以帮助开发更实用的编辑方法。我们的研究表明,目前大多数ME方法在这种情况下可能会产生不满意的结果。然后,我们介绍了Transformer-Patcher,这是一种新型的模型编辑器,可以通过在最后一个前馈网络层中添加和训练一些神经元来改变基于transformer的模型的行为。分类和生成任务的实验结果表明,Transformer-Patcher可以连续纠正多达数千个错误(可靠性),并推广到它们的等效输入(通用性),同时保留模型在不相关输入(局部性)上的准确性。我们的方法优于以前的微调和基于超网络的方法,并实现了最先进的性能顺序模型编辑(SME)。该代码可在www.example.com上获得。
2023-01-24 cs.AI cs.CL
LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs
Yale University(耶鲁大学);Washington University in St. Louis(圣路易斯华盛顿大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);Arizona State University(亚利桑那州立大学)
LadderEdit通过阶梯式提升LoRA适配器秩的压缩方法,在维持编辑覆盖范围的同时,将LLM终身编辑的存储需求降低5.2倍,且在5万次连续编辑下仍保持有效性。
2026-10-09 cs.CL cs.CV cs.LG
Model Editing with Graph-Based External Memory
University of Virginia(弗吉尼亚大学);UC Berkeley(伯克利大学);UCSF(旧金山加州大学)
HYPE通过双曲几何和图神经网络实现稳定的模型编辑,提升编辑稳定性、事实准确性和多跳推理能力。
2026-01-31 cs.CL
ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
本研究提出ForgetBench基准测试,通过两种评估范式与统一分析框架,揭示现有LLMs在长期知识保留与泛化间难以平衡的问题,为未来模型记忆机制优化提供方向。
2026-10-14 cs.AI cs.CL
EAMET: Robust Massive Model Editing via Embedding Alignment Optimization
Department of Computer Science and Engineering(计算机科学与工程系)
EAMET通过嵌入对齐优化提升大规模模型编辑的鲁棒性和效率,实现90%的编辑效果
2026-02-24 cs.CL
On the Limitations of Rank-One Model Editing in Answering Multi-hop Questions
本文研究了单秩模型编辑在多跳推理中的局限性,提出冗余编辑策略以提升多跳推理性能,实验显示准确率提升显著。
2026-01-08 cs.AI cs.CL cs.LG
TransformerFAM: Feedback attention is working memory
Google LLC(谷歌公司)
本文提出TransformerFAM架构,通过反馈回路让Transformer关注自身潜在表示以形成工作记忆,无需额外权重即可无缝集成预训练模型,并在1B、8B和24B模型规模的长上下文任务上显著提升性能。
2024-05-07 cs.AI cs.CL cs.LG
Causal Path Alignment: Anchoring the Optimization Trajectory for Controllable In-Parameter Knowledge Editing
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
本文提出Causal Path Alignment框架,通过锚定优化轨迹来解决参数知识编辑中的主体主导记忆干扰问题,提升关系特异性并减少副作用。
2026-05-20 cs.CL
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
$μ$KE: Matryoshka Unstructured Knowledge Editing of Large Language Models
Purdue University(普渡大学);Johns Hopkins University(约翰霍普金斯大学)
针对LLM非结构化知识编辑破坏因果依赖的问题,提出$μ$KE机制,通过Matryoshka风格目标与自适应损失系数保持依赖,在四个基准上较SOTA提升编辑效力达12.33%。
2025-08-09 cs.AI cs.CL
Do LLMs dream of elephants (when told not to)? Latent concept association and associative memory in transformers
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
本文通过实验发现LLMs的事实检索能力易受上下文操纵,提出其类似联想记忆模型的观点,还通过数学分析单层Transformer,从理论和实证上证明其用自注意力收集信息、价值矩阵实现联想记忆的特性。
2024-11-27 cs.CL cs.LG stat.ML
Knowledge Circuits in Pretrained Transformers
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Zhejiang Key Laboratory of Big Data Intelligent Computing(浙江省大数据智能计算重点实验室)
本文通过分析GPT2和TinyLLAMA的计算图,揭示由信息头、关系头和多层感知机协同构成的知识回路,并利用其评估知识编辑方法及解释幻觉和上下文学习行为。
2025-01-03 cs.AI cs.CL cs.CV
EdgeInfinite: A Memory-Efficient Infinite-Context Transformer for Edge Devices
vivo AI Lab(vivo人工智能实验室);Zhejiang University(浙江大学)
EdgeInfinite通过可训练门控模块将压缩内存集成到Transformer中,实现边缘设备上的无限上下文处理,兼容标准架构且仅微调少量参数,在长上下文基准上性能相当并优化内存与首令牌时间。
2025-03-28 cs.CL
Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating
University of Virginia(弗吉尼亚大学);NEC Laboratories America(美国NEC实验室)
针对LLM更新中编辑与遗忘任务间的冲突及知识存储低效问题,提出基于知识码本的无冲突框架LOKA,通过相似性感知映射优化存储并利用特定任务记忆解决冲突,有效提升了模型知识更新效果。
2025-01-31 cs.CL
Assessing Knowledge Editing in Language Models via Relation Perspective
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, CAS(中国科学院自动化研究所);Kunming University of Science and Technology(昆明理工大学);Beijing Institute of Technology(北京理工大学)
本文从关系视角评估语言模型的知识编辑,构建新基准RaKE,发现现有方法编辑关系困难,并证实关系知识存储于FFN和注意力层,为未来方法提供实验支持。
2023-11-15 cs.AI cs.CL
CACHE-UK: A Stability-Aware Memory Editor for Sequentially Updated Quantized LLMs in Finance
Indian Institute of Technology Madras(马德拉斯印度理工学院);University of Birmingham(伯明翰大学)
针对动态金融环境中量化大语言模型的顺序内存编辑退化问题,提出CACHE-UK框架,将知识退化降低11%-17%,测试泛化率达28%,提升6个百分点。
2026-07-31 cs.AI cs.CE cs.CL
Transformer-based Automatic Post-Editing with a Context-Aware Encoding Approach for Multi-Source Inputs
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
自动译后编辑(APE)研究的最新方法表明,多源模型可以获得更好的结果,该模型联合编码源(src)和机器翻译输出(mt)以产生译后编辑句子(pe)。沿着这一趋势,我们提出了一个新的多源APE模型的基础上的Transformer。为了构建有效的联合表示,我们的模型内部学习将src上下文纳入mt表示。通过这种方法,我们实现了一个显着的改善基线系统,以及国家的最先进的多源APE模型。此外,为了证明我们的模型将src上下文的能力,我们表明,未知的MT系统的字对齐成功地捕获在我们的编码结果。
2019-08-15 cs.CL cs.LG
Relation Also Knows: Rethinking the Recall and Editing of Factual Associations in Auto-Regressive Transformer Language Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);University of Electronic Science and Technology of China(电子科技大学)
本文提出以关系为中心的视角解释Transformer语言模型的知识召回,并应用于知识编辑,有效缓解过度泛化,打破主体聚焦编辑的垄断。
2025-02-27 cs.CL
KnowledgeDebugger -- an Exploration Tool for Knowledge Localization and Editing in Transformers
Heidelberg University(海德堡大学)
提出KnowledgeDebugger,一个基于GUI的探索工具,用于研究Transformer中的知识存储、处理与编辑,通过无代码接口集成EasyEdit库,支持知识定位与编辑的初步探索。
2026-07-02 cs.CL
MS-UEdin Submission to the WMT2018 APE Shared Task: Dual-Source Transformer for Automatic Post-Editing
Microsoft(微软);University of Edinburgh(爱丁堡大学)
本文介绍了微软和爱丁堡大学在WMT 2018上提交的自动后期编辑共享任务。基于来自WMT 2017共享任务的训练数据和系统,我们从上一个共享任务中重新实现了我们自己的模型,并引入了基于广泛参数共享的改进。接下来,我们将对IT领域的双源Transformer模型和数据选择的实现进行实验。我们的提交决定性地赢得了SMT后期编辑子任务,建立了新的最先进的技术,并且在NMT子任务中排名第二(或相等,16.46 vs 16.50 TER)。基于NMT子任务中相当弱的结果,我们假设神经对神经APE实际上可能没有用。
2018-09-01 cs.CL
Editing Common Sense in Transformers
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Pittsburgh(匹兹堡大学);Allen Institute for AI(艾伦人工智能研究所)
本文研究Transformer中常识知识的可编辑性,提出改进的MEMIT_CSK编辑方法,并构建PROBE SET评估数据集,证明直接编辑模型参数能有效融入多答案常识知识且优于微调基线。
2023-10-26 cs.CL
Mass-Editing Memory with Attention in Transformers: A cross-lingual exploration of knowledge
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出MEMAT方法,利用注意力机制实现跨语言的事实知识批量编辑,在仅需极少参数修改的情况下显著提升各项指标并具备良好可移植性。
2025-02-04 cs.AI cs.CL
Fast Cross-domain Data Augmentation through Neural Sentence Editing
Swisscom(瑞士电信)
数据增强有望缓解数据稀缺。这在缺乏初始数据的情况下最为重要。对于现有的方法,这也是最困难的地方,因为学习完整的数据分布是不可能的。对于自然语言,句子编辑提供了一种解决方案--依赖于对原始语言进行小而有意义的修改。学习哪些变化是有意义的还需要大量的训练数据。因此,我们的目标是在数据丰富的源域中学习这一点,并将其应用于数据稀缺的不同目标域-跨域增强。我们创建了Edit-transformer,这是一个基于transformer的句子编辑器,它比最先进的句子编辑器要快得多,而且可以跨域工作。我们认为,由于其结构,编辑转换器更适合于跨域的环境比它的编辑为基础的前辈。我们在Yelp-Wikipedia域对上显示了这种性能差距。最后,我们表明,由于这种跨域的性能优势,编辑转换器导致有意义的性能增益在几个下游任务。
2020-03-23 cs.CL
Memory-Based Model Editing at Scale
Stanford University(斯坦福大学);EPFL(洛桑联邦理工学院)
即使是最大的神经网络也会出错,而且随着世界的变化,曾经正确的预测可能会变得无效。模型编辑器对基础(预训练)模型的行为进行本地更新,以注入更新的知识或纠正不良行为。现有的模型编辑器已经显示出了希望,但也存在表达能力不足的问题:它们很难准确地建模编辑的预期范围(受编辑影响的示例),导致对与编辑松散相关的测试输入的预测不准确,并且在多次编辑后它们经常完全失败。作为一种更高容量的替代方案,我们提出了半参数编辑与检索增强反事实模型(SERAC),它存储编辑在显式内存中,并学习对它们进行推理,以根据需要调整基础模型的预测。为了使模型编辑器更严格的评估,我们介绍了三个具有挑战性的语言模型编辑问题的基础上问答,事实检查,对话生成。我们发现,只有SERAC实现高性能的所有三个问题,一贯优于现有的方法,模型编辑的显着保证金。代码、数据和其他项目信息将在https://sites.google.com/view/serac-editing上提供。
2022-06-13 cs.AI cs.CL
Training, Reading, and Editing Legible Transformers
University of Washington(华盛顿大学);School of Computer Science and Engineering(计算机科学与工程学院)
研究如何让Transformer清晰可读,提出用通道方差下限等方法,构建出最清晰可读的Transformer,使单元能分离检测与命名,编辑更局部,还揭示清晰度调节旋钮,质量与传统基线相当。
2026-07-13 cs.CL cs.LG
Consecutive Batch Model Editing with HooK Layers
The Chinese University of Hong Kong(香港中文大学);Singapore Management University(新加坡管理大学);Tencent AI Lab(腾讯AI实验室);Center for Perceptual and Interactive Intelligence (CPII) Ltd.(感知与交互智能中心有限公司)
针对现有模型编辑方法无法兼顾连续与批次编辑及内存需求过高的问题,提出仅需少量固定内存存储 hook 层的 CoachHooK 方法,在单轮和连续批次编辑场景中表现优异且稳定性强。
2024-10-11 cs.CL
Memory-efficient Stochastic methods for Memory-based Transformers
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
针对记忆型Transformer训练内存大、效率低的问题,提出两阶段训练与正则化技术,构建Skip Cross-head TransformerXL,在字符级任务持平参数、单词级任务少20%参数下超越基线,且无需额外内存,正则化使BERT在GLUE任务标准差降约30%。
2023-11-14 cs.CL cs.LG
Recurrent Memory Transformer
Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI(AIRI(人工智能研究所))
基于transformer的模型在多个领域和任务中显示出其有效性。自注意允许将来自所有序列元素的信息组合成上下文感知表示。然而,全局和局部信息必须大部分存储在相同的元素表示中。此外,输入序列的长度受到自注意的二次计算复杂性的限制。在这项工作中,我们提出并研究了一个内存增强的段级递归Transformer(RMT)。内存允许存储和处理本地和全局信息,以及在递归的帮助下在长序列的段之间传递信息。我们实现了一个内存机制,没有改变Transformer模型,通过添加特殊的内存令牌的输入或输出序列。然后训练模型来控制记忆操作和序列表示处理。实验结果表明,RMT的表现与Transformer-XL语言建模较小的内存大小,并优于它的任务,需要较长的序列处理。我们表明,添加内存令牌的Tr-XL是能够提高其性能。这使得递归内存Transformer成为一种很有前途的架构,适用于需要学习长期依赖关系和内存处理中的通用目的的应用程序,例如算法任务和推理。
2022-12-08 cs.CL cs.LG
Prototype-to-Style: Dialogue Generation with Style-Aware Editing on Retrieval Memory
University of Cambridge(剑桥大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
对话系统在对话过程中表达预定语言风格的能力对其可用性和用户满意度有直接的积极影响。我们引入了一个新的原型到风格(PS)的框架,以应对文体对话生成的挑战。该框架使用的信息检索(IR)系统,并从检索到的响应提取响应原型。然后,文体响应生成器将原型和期望的语言风格作为模型输入,以获得高质量的文体响应。为了有效地训练所提出的模型,我们提出了一个新的风格意识的学习目标,以及去噪学习策略。在两种语言的三个基准数据集上的测试结果表明,所提出的方法在域内和跨域评估中都明显优于现有的基线
2020-04-05 cs.CL
Implicit Memory Transformer for Computationally Efficient Simultaneous Speech Translation
Oregon State University(俄勒冈州立大学)
本文提出隐式记忆Transformer,用上一段注意力输出作为左上下文替代记忆库,在MuST-C上以几乎相同的翻译质量显著加速同声传译编码器计算。
2023-07-03 cs.CL cs.LG
Memory-assisted prompt editing to improve GPT-3 after deployment
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
像GPT-3这样的大型LM很强大,但也会犯下人类显而易见的错误。例如,GPT-3会错误地解释“什么词与good相似?“来表示同音字,而用户想要的是同义词。我们的目标是通过用户与系统的交互来有效地纠正这些错误,但不需要重新培训,这将是非常昂贵的。我们将GPT-3与不断增长的记录案例的记忆配对,其中模型误解了用户的意图,以及用户反馈以澄清。这样的记忆使我们的系统能够根据用户对过去类似情况的错误纠正反馈,为任何新的查询产生增强的提示。在四个任务(两个词汇任务,两个先进的道德推理任务),我们展示了(模拟)用户如何可以交互式地教部署的GPT-3,大大提高其准确性的查询与不同种类的误解的GPT-3。我们的方法是朝着非常大的预训练LM的低成本效用增强迈出的一步。代码、数据和指令,用于在https://www.memprompt.com/上为新任务实现MEMPROMPT。
2023-02-18 cs.CL
Locating and Editing Factual Associations in Mamba
Khoury College of Computer Sciences, Northeastern University(东北大学计算机科学学院)
本文通过因果追踪、秩一编辑、线性分析和注意力剔除四组实验,系统研究了 Mamba 状态空间模型中的事实回忆机制,发现其与同规模自回归 transformer 语言模型在事实回忆的局部化和可编辑性上高度相似。
2024-08-02 cs.CL
Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
Huawei Technologies Canada(华为加拿大技术有限公司);Huawei Technologies Switzerland(华为瑞士技术有限公司)
本文从神经科学原理出发系统综述记忆增强Transformer,提出功能目标、记忆表征和整合机制三维分类框架,分析核心记忆操作的演进趋势,并指出可扩展性与干扰等挑战及分层缓冲、惊讶门控更新等解决方案,为终身学习架构提供路线图。
2025-08-16 cs.CL cs.LG
Linearizing Transformer with Key-Value Memory
Meta AI;The Chinese University of Hong Kong(香港中文大学)
已经开发了具有线性时间复杂度的高效Transformer变体,以减轻普通Transformer的二次计算开销。其中有低秩投影方法,如Linformer和基于内核的Transformers。尽管它们具有独特的优点,但在许多序列生成任务上,它们通常遭受与vanilla Transformer相比的性能下降,并且在生成时间较短时通常无法获得计算增益。我们提出了MemSizer,一种缩小性能差距的方法,同时提高效率,即使是短世代。它将源序列投影到像Linformer这样的低维表示中,同时享受类似于基于内核的Transformers的高效递归式增量计算。这在推理时产生线性计算时间和恒定的内存复杂度。MemSizer还采用了轻量级的多头机制,使计算与单头模型一样轻。我们证明,MemSizer提供了一个改进的平衡效率和准确性的香草Transformer和其他有效的Transformer变种在三个典型的序列生成任务,包括机器翻译,抽象的文本摘要,语言建模。
2022-10-13 cs.CL cs.LG
Blockwise Parallel Transformer for Large Context Models
UC Berkeley(加州大学伯克利分校)
提出分块并行Transformer(BPT),通过分块计算自注意力和融合前馈网络降低内存成本,支持比原始Transformer长32倍、比现有高效方法长4倍的序列训练,实验验证其在语言建模和强化学习中的有效性。
2023-08-28 cs.CL cs.LG
A Unified Framework for Model Editing
UC Berkeley(加州大学伯克利分校)
本研究提出保留-记忆目标统一ROME与MEMIT两种模型编辑算法,推出支持等式约束的批量编辑算法EMMET,验证其与MEMIT性能相近,证明二者在多维度等价。
2024-10-09 cs.AI cs.CL cs.LG
Editing Across Languages: A Survey of Multilingual Knowledge Editing
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈姆扎大学)
本综述系统梳理了多语言知识编辑(MKE)的最新研究,提出了涵盖基于参数、基于记忆、微调和超网络方法的综合分类体系,总结了方法有效性与迁移模式,并指出了跨语言传播等挑战,为可编辑的语言感知LLM的发展奠定基础。
2025-11-01 cs.CL
Memory Transformer
Neural Networks and Deep Learning Lab(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Intento, Inc.(Intento公司)
基于转换器的模型在许多自然语言处理任务中取得了最先进的成果。自注意体系结构允许Transformer将来自序列的所有元素的信息组合成上下文感知的表示。然而,关于上下文的信息主要存储在相同的元素表示中。这可能会限制处理与序列相关的属性的整体难度。添加可训练记忆以选择性地存储序列的局部以及全局表示是改进Transformer模型的有希望的方向。记忆增强的神经网络(MANN)扩展了传统的神经架构与通用存储器的表示。MANN已经证明了学习简单算法(如Copy或Reverse)的能力,并且可以通过反向传播成功地训练各种任务,从问答到语言建模,性能优于RNN和LSTM。在这项工作中,我们提出并研究了几个扩展的Transformer基线(1)通过添加内存令牌来存储非本地表示,(2)创建内存瓶颈的全局信息,(3)控制内存更新与专用层。我们评估这些内存增强的Transformers,并证明存在的内存正相关的模型性能的机器翻译和语言建模任务。使用记忆令牌增强预训练的掩蔽语言模型显示了来自GLUE基准测试的任务的混合结果。对记忆中注意力模式的可视化表明,它提高了模型处理全局上下文的能力。
2021-02-16 cs.CL cs.LG cs.NE
BCMT: Blockwise Causal Memory Transformer
该研究提出BCMT架构,通过分块局部自注意力与指数因果记忆解耦长程依赖建模,在1024token上下文的语言建模中,性能与密集Transformer相当,且训练吞吐量更高、内存消耗更低。
2026-08-17 cs.AI cs.CL cs.LG
GMAT: Global Memory Augmentation for Transformers
Tel Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
基于transformer的模型由于其大容量、固有的并行性和高性能而在自然语言处理中无处不在。Transformer块的上下文组件是$\textit{pairwise dot-product}$ attention,它对长度$L$序列有很大的$Ω(L^2)$内存需求,限制了它处理长文档的能力。这一直是最近的实质性兴趣的主题,其中提出了多个近似,以减少使用稀疏注意矩阵的二次记忆要求。在这项工作中,我们建议增加稀疏的Transformer块与密集的注意力为基础的$\textit{global memory}$的长度$M$($\ll L$),它提供了一个聚合的全局视图的整个输入序列的每个位置。我们的增强具有可管理的$O(M\cdot(L+M))$内存开销,并且可以与先前的稀疏解决方案无缝集成。此外,全局存储器也可以用于序列压缩,通过仅用存储器表示来表示长输入序列。我们的经验表明,我们的方法导致一系列任务的实质性改善,包括(a)需要全局推理的合成任务,(b)掩蔽语言建模,(c)阅读理解。
2020-06-05 cs.CL cs.LG stat.ML
Do Transformers Need Deep Long-Range Memory
DeepMind;UCL(伦敦大学学院)
深度注意力模型已经在许多领域推进了序列数据的建模。特别是对于语言建模,Transformer-XL --一个增强了过去激活的长距离记忆的Transformer--在各种经过充分研究的基准测试中被证明是最先进的。Transformer-XL在网络的每一层都集成了一个远程内存,这使得它的状态比RNN的前辈大数千倍。但尚不清楚这是否必要。我们进行了一组干预,以表明可以通过减少6倍的长距离记忆来获得相当的性能,并且可以通过限制网络较低层的注意力范围来获得更好的性能。
2020-07-07 cs.CL cs.LG stat.ML
Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing
Peking University(北京大学);Tencent Inc(腾讯公司)
研究针对统一多模态模型在长时多模态对话中的局限,提出认知结构多模态智能体,通过外化视觉信息等方式改进。开发统一场景引擎,构建评估基准。实验显示该智能体检索准确率高、推理时间减半,还介绍了工具包,为长时多模态智能体提供新范式。
2026-07-10 cs.AI cs.CL cs.CV
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Tencent AI Lab(腾讯人工智能实验室);Microsoft Dynamics 365 AI(微软Dynamics 365人工智能部门)
为视频生成多句描述是最具挑战性的字幕任务之一,因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标,我们提出了一种新的方法,称为内存增强的循环Transformer(MART),它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态,以便帮助更好地预测下一个句子(w.r.t.共指和重复方面),从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明,与基线方法相比,MART生成的段落标题更连贯,重复性更低,同时保持了与输入视频事件的相关性。所有代码都是开源的,网址是:https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
Mention Memory: incorporating textual knowledge into Transformers through entity mention attention
University of Southern California(南加利福尼亚大学);Google(谷歌);Google Research(谷歌研究院)
诸如开放域问答之类的自然语言理解任务通常需要从多个源检索和吸收事实信息。我们建议通过将大型文本语料库的半参数表示集成到Transformer模型中作为事实知识的来源来解决这个问题。具体来说,我们的方法表示知识与“提及记忆”,一个表的密集向量表示的每一个实体中提到的语料库。所提出的模型- TOME -是一个Transformer,它通过内部记忆层访问信息,其中输入通道中提到的每个实体都参与提到记忆。这种方法支持在单个Transformer模型中对许多不同的信息源进行合成和推理。在使用1.5亿次维基百科提及的记忆的实验中,TOME在几个开放领域知识密集型任务上实现了强大的性能,包括声明验证基准HoVer和FEVER以及几个基于实体的QA基准。我们还表明,该模型学习参加信息提及没有任何直接的监督。最后,我们证明了该模型可以推广到新的看不见的实体更新的内存,而无需再训练。
2022-04-19 cs.AI cs.CL cs.LG
Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling
Columbia University(哥伦比亚大学)
针对 Transformer 模型无法处理长对话历史导致上下文截断的问题,提出一种兼容现有预训练模型的记忆增强 Transformer,通过独立记忆模块实现记忆状态与当前输入的信息交互,在多个数据集上取得更优的效率与性能。
2023-05-23 cs.CL
$\infty$-former: Infinite Memory Transformer
Instituto de Telecomunicações(电信研究所);DeepMind(深度思维);Institute of Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(里斯本高等理工学院);Unbabel(Unbabel公司)
Transformers无法有效地对长期记忆建模,因为它们需要执行的计算量随着上下文长度而增长。虽然已经提出了高效Transformers的变体,但它们都具有有限的存储容量,并且被迫丢弃旧信息。在本文中,我们提出了$\infty$ -前,它扩展了香草Transformer与无界的长期记忆。通过利用连续空间的注意力机制来关注长期记忆,$\infty$ -former的注意复杂度变得与上下文长度无关,从而在记忆长度与精度之间进行权衡。为了控制精度更重要的地方,$\infty$ -former保持“粘性记忆”,能够在保持计算预算固定的同时对任意长的上下文进行建模。综合排序任务,语言建模和文档接地对话生成的实验证明了$\infty$ -前者的能力,以保留信息的长序列。
2022-03-25 cs.CL
Memformer: A Memory-Augmented Transformer for Sequence Modeling
University of California, Davis(加州大学戴维斯分校);Westlake University(西湖大学);Facebook AI(脸书人工智能研究院)
Transformers在层序建模中取得了显著的成功。然而,这些模型存在效率问题,因为它们需要将所有历史标记级表示存储为内存。我们提出Memformer,一个有效的神经网络序列建模,利用外部动态记忆编码和检索过去的信息。我们的模型在处理长序列时达到了线性时间复杂度和恒定内存空间复杂度。我们还提出了一个新的优化方案,内存重放反向传播(MRBP),促进远程反向传播通过时间与显着降低内存需求。实验结果表明,Memformer与基线相比,通过使用少8.1倍的内存空间和快3.2倍的推理速度,实现了相当的性能。对注意模式的分析表明,我们的外部记忆槽可以通过时间步长编码和保留重要信息。
2022-04-12 cs.CL
Transformer Working Memory Enables Regular Language Reasoning and Natural Language Length Extrapolation
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
针对Transformer难以建模正则语言的问题,提出RegularGPT变体,通过权重共享、自适应深度和滑动膨胀注意力构建工作记忆,成功建模PARITY等正则语言,并在长度外推中重现局部窗口注意力效应。
2023-05-05 cs.CL
Complexity of Symbolic Representation in Working Memory of Transformer Correlates with the Complexity of a Task
Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI
针对Transformer缺乏显式记忆的问题,研究了其解码器新增的符号工作记忆的特性,发现该记忆可提升机器翻译质量,其内容与文本相关,且存储的词元、词性多样性与语料复杂度正相关。
2024-06-20 cs.CL
Layout-Aware Text Editing for Efficient Transformation of Academic PDFs to Markdown
Technische Universität Darmstadt(德累斯顿技术大学)
本文提出EditTrans,一种混合编辑生成模型,用于高效转换学术PDF到Markdown,通过预识别待编辑文本队列,减少转换延迟达44.5%。
2025-12-19 cs.CL cs.CV cs.DL