Memory-Augmented Recurrent Neural Networks Can Learn Generalized Dyck Languages
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们介绍了三个内存增强的循环神经网络（MARNN），并探讨了一系列简单的语言建模任务，其解决方案需要基于堆栈的机制，他们的能力。我们提供了神经网络识别广义Dyck语言的第一个演示，广义Dyck语言表达了具有层次结构的语言的核心。我们的内存增强架构很容易训练在一个端到端的方式，可以学习的Dyck语言超过多达六个括号对，除了两个确定性回文语言和字符串反转转换任务，通过模仿下推自动机。我们的实验强调了内存增强模型在简单RNN上的建模能力，同时也反映了我们对这些模型局限性的理解。
2019-11-08 cs.CL cs.LG cs.NE
Energy-Efficient Inference Accelerator for Memory-Augmented Neural Networks on an FPGA
Seoul National University（首尔国立大学）
记忆增强神经网络（MANN）是为问答任务而设计的。很难在为其他神经网络（NN）设计的加速器上有效地运行MANN，特别是在移动设备上，因为MANN需要循环数据路径和与外部存储器访问相关的各种类型的操作。我们实现了一个基于数据流架构的现场可编程门阵列（FPGA）的人工神经网络加速器。推理时间也减少了推理阈值，这是一个基于数据的最大内积搜索专用于自然语言的任务。对bAbI数据的测量显示，加速器的能量效率（FLOPS/kJ）比NVIDIA TITAN V GPU高出约125倍，在推理阈值化的情况下增加到140倍
2019-02-11 cs.LG stat.ML
Dual Control Memory Augmented Neural Networks for Treatment Recommendations
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
机器辅助治疗建议有望减少医生的时间和决策错误。我们将任务制定为序列到序列预测模型，该模型将整个时间顺序的病史作为输入，并预测未来临床程序和药物的序列。它是建立在一个有效的治疗计划可能有长期的依赖性，从以前的病史的前提。我们的方法的问题，通过使用记忆增强神经网络，特别是利用最近的可微神经计算机，由一个神经控制器和一个外部存储器模块。但与原始模型不同的是，我们使用双控制器，一个用于编码的历史，其次是另一个解码的治疗序列。在编码阶段，随着新输入的读取，记忆会更新;在这个阶段结束时，记忆不仅保存了病史，还保存了有关当前疾病的信息。在解码阶段，存储器是写保护的。解码控制器生成治疗序列，每次一个治疗选项。由此产生的双控制器写保护的内存增强神经网络证明了MIMIC-III数据集上的两个任务：程序预测和药物处方。结果表明，改进的性能比传统的词袋和序列到序列的方法。
2018-02-11 cs.LG stat.ML
Partially Non-Recurrent Controllers for Memory-Augmented Neural Networks
DeNA Co., Ltd.（DeNA株式会社）；The University of Tokyo（东京大学）
记忆增强神经网络（MANN）是一类配备有外部存储器的神经网络，并且据报道对于需要大的长期记忆及其选择性使用的任务是有效的。MANN的核心模块被称为控制器，其通常被实现为递归神经网络（RNN）（例如，LSTM），以便在控制其他模块时使用上下文信息。然而，这种基于RNN的控制器通常允许MANN通过使用控制器的（小的）内部存储器来直接解决给定的任务，并且阻止MANN最好地利用外部存储器，从而导致次优训练模型。为了解决这个问题，我们提出了一种新型的基于RNN的控制器，该控制器部分非递归，避免了直接使用其内部存储器来解决任务，同时保持了使用上下文信息控制其他模块的能力。我们使用神经图灵机和微分神经计算机的玩具和bAbI任务的实证实验表明，所提出的控制器比标准的基于RNN的控制器提供了更好的结果。
2018-12-30 cs.LG cs.NE
Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning
Applied AI Institute, Deakin University（迪肯大学应用人工智能学院）
针对部分可观测强化学习中记忆模型难以捕获长期信息并稳定更新的问题，提出Stable Hadamard Memory模型，利用Hadamard积动态校准和更新记忆，显著提升了在多项部分可观测基准上的性能。
2024-10-14 cs.LG stat.ML
Augmented Memory Networks for Streaming-Based Active One-Shot Learning
Norwegian University of Science and Technology（挪威科技大学）
训练用于预测任务的深度架构的主要挑战之一是标记的训练数据的稀缺性和成本。主动学习（AL）是应对这一挑战的一种方法。在基于流的AL中，观察结果连续地提供给学习者，学习者必须决定是请求标签还是进行预测。目标是降低请求速率，同时最大化预测性能。在先前的研究中，强化学习已被用于学习AL请求/预测策略。在我们的工作中，我们建议装备一个强化学习过程与记忆增强神经网络，以提高一次性的能力。此外，我们引入类边缘采样（CMS）作为标准边缘采样到强化学习设置的扩展。该策略旨在减少训练时间，提高训练过程中的样本效率。我们评估所提出的方法的分类任务，使用经验准确性的标签预测和标签请求的百分比。结果表明，该方法，通过使用记忆增强网络和CMS在训练过程中，优于现有的基线。
2019-09-04 cs.LG stat.ML
Augmented Replay Memory in Reinforcement Learning With Continuous Control
Artificial Intelligence Center（人工智能中心）；Faculty of Electrical Engineering（电气工程学院）；Czech Technical University in Prague（捷克理工大学）；Dipartimento di Elettronica, Informazione e Bioingegneria（电子、信息与生物工程系）；Politecnico di Milano（米兰理工大学）
在线强化学习代理目前能够通过将其转换为更高阶的价值函数来处理越来越多的数据。从环境中收集的信息的这种扩展增加了代理的状态空间，使其能够扩展到更复杂的问题，但也增加了通过学习冗余或冲突数据而忘记的风险。为了改进大量数据的近似，存储在重放存储器缓冲区中的随机小批量的过去经验通常在每个学习步骤中重放。这项工作的灵感来自于一种生物学机制，这种机制是人类大脑高级认知功能的保护层：主动记忆巩固通过动态处理新的记忆来减轻遗忘以前记忆的影响。类似的动态实现了一个建议的增强记忆重放AMR能够优化重放的经验，从代理的记忆结构，通过改变或增强其相关性。实验结果表明，能够增加特定记忆的重要性的改进AMR增强函数能够进一步提高处理连续动作域复杂性的学习算法的稳定性和收敛速度。
2019-12-29 cs.AI cs.LG cs.NE
One-shot Learning with Memory-Augmented Neural Networks
Google DeepMind（谷歌DeepMind）；National Research University Higher School of Economics (HSE)（国立研究型大学高等经济学院）
尽管最近在深度神经网络的应用方面取得了突破，但一个持续存在的挑战是“一次性学习”。“传统的基于梯度的网络需要大量的数据来学习，通常是通过大量的迭代训练。当遇到新的数据时，模型必须低效地重新学习它们的参数，以充分地结合新的信息，而不会产生灾难性干扰。具有增强的存储器容量的架构，例如神经图灵机（NTM），提供了快速编码和检索新信息的能力，因此可以潜在地消除传统模型的缺点。在这里，我们展示了记忆增强的神经网络快速吸收新数据的能力，并利用这些数据在几个样本后做出准确的预测。我们还介绍了一种新的方法，用于访问外部存储器，专注于内存内容，不像以前的方法，另外使用基于内存位置的聚焦机制。
2016-05-19 cs.LG
Generalized Key-Value Memory to Flexibly Adjust Redundancy in Memory-Augmented Networks
University of California, Berkeley（加州大学伯克利分校）；Research Institutes of Sweden（瑞典研究院）；IBM Research - Zurich（IBM苏黎世研究院）
记忆增强的神经网络通过外部键值记忆来增强神经网络，其复杂性通常由键记忆中的支持向量的数量决定。我们提出了一个广义的键值存储器，通过引入一个自由参数，可以任意添加或删除冗余的键存储器表示，从支持向量的数量，它的维数。实际上，它提供了额外的自由度来灵活地控制鲁棒性与存储和计算广义键值存储器所需的资源之间的权衡。这对于在存内计算硬件上实现密钥存储器特别有用，其中密钥存储器利用非理想但极其有效的非易失性存储器设备进行密集存储和计算。实验结果表明，适应这个参数的需求，有效地减轻高达44%的非理想性，在相同的精度和设备数量，而不需要任何神经网络再训练。
2022-03-11 cs.LG
Robust High-dimensional Memory-augmented Neural Networks
IBM Research – Zurich（IBM苏黎世研究院）；ETH Zürich（苏黎世联邦理工学院）
传统的神经网络在缓慢的训练过程中需要大量的数据来构建其复杂的映射，这阻碍了它们重新学习和适应新数据的能力。记忆增强神经网络通过外显记忆增强神经网络以克服这些问题。然而，对该显式存储器的访问经由涉及每个单独的存储器条目的软读和写操作发生，从而在使用常规冯·诺依曼计算机体系结构实现时导致瓶颈。为了克服这个瓶颈，我们提出了一个强大的架构，采用计算内存单元作为显式内存执行模拟内存计算的高维（HD）向量，同时密切匹配32位软件等效的精度。这是通过基于内容的注意力机制来实现的，该机制用不相关的HD向量来表示计算存储器中的不相关项，HD向量的实值分量可以容易地由二进制或双极分量来近似。实验结果表明，我们的方法的有效性Few-Shot图像分类任务的Omniglot数据集上使用超过256,000相变存储器设备。我们的方法有效地将深度神经网络表示的丰富性与HD计算相结合，为适用于推理，融合和压缩的强大矢量符号操作铺平了道路。
2021-03-19 cs.ET cs.LG cs.NE
SpotFast Networks with Memory Augmented Lateral Transformers for Lipreading
University of Maryland, College Park（马里兰大学帕克分校）
本文提出了一种新的用于单词级唇读的深度学习架构。以前的工作表明，有可能将预训练的深度3D卷积神经网络作为前端特征提取器。我们介绍了一个SpotFast网络，一个变种的国家的最先进的动作识别的SlowFast网络，它利用时间窗口作为一个点的途径和所有帧作为一个快速的途径。我们进一步将内存增强横向Transformers学习分类的顺序功能。我们在LRW数据集上评估了所提出的模型。实验表明，我们提出的模型优于各种最先进的模型，并且结合内存增强的横向Transformers使SpotFast网络提高了3.7%。
2020-05-21 cs.CV cs.LG
ER-MIA: Black-Box Adversarial Memory Injection Attacks on Long-Term Memory-Augmented Large Language Models
Department of Computer Science, The University of Iowa（爱荷华大学计算机科学系）；School of Computing, State University of New York at Binghamton（纽约州立大学布法罗分校计算机学院）；Department of Computer Science, University of Nevada, Las Vegas（内华达大学拉斯维加斯分校计算机科学系）；Department of Computer Science（计算机科学系）；Software Engineering, Auburn University（阿伯茨罕大学软件工程系）
ER-MIA针对长时记忆增强LLM的基于相似性的检索机制提出黑盒对抗性记忆注入攻击，揭示了系统层面的安全漏洞。
2026-02-17 cs.LG
Memory-Augmented Architecture for Long-Term Context Handling in Large Language Models
Newton AI Lab（牛顿AI实验室）；School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电气工程学院）
本文提出一种记忆增强架构，通过动态检索、更新和剪枝过去交互信息，提升大型语言模型的长时上下文处理能力，实验表明该方法能有效提高上下文连贯性、降低内存开销并提升响应质量。
2025-06-23 cs.LG
GAMENet: Graph Augmented MEmory Networks for Recommending Medication Combination
Peking University（北京大学）；IBM Research（IBM研究院）；Georgia Institute of Technology（佐治亚理工学院）
深度学习的最新进展正在彻底改变医疗保健领域，包括为药物推荐提供解决方案，特别是为具有复杂健康状况的患者推荐药物组合。现有的方法要么不根据患者的健康史进行定制，要么忽略了可能导致不良结果的药物相互作用（DDI）的现有知识。为了填补这一空白，我们提出了图增强记忆网络（GAMENet），它通过实现为图卷积网络的记忆模块集成药物-药物相互作用知识图谱，并将纵向患者记录建模为查询。它经过端到端的培训，提供安全和个性化的药物组合建议。我们证明了GAMENet的有效性和安全性，通过比较几个国家的最先进的方法对真实的EHR数据。GAMENet在所有有效性指标中均优于所有基线，并且与现有EHR数据相比，DDI率降低了3.60%。
2019-03-07 cs.AI cs.LG stat.ML
Memory Augmented Neural Model for Incremental Session-based Recommendation
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
对隐私的日益关注激发了人们对基于会话的推荐（SR）的兴趣，该推荐除了在当前浏览器会话中观察到的数据之外不使用任何个人数据。现有的方法在静态设置中进行评估，这在现实世界的应用中很少发生。为了更好地解决SR任务的动态性质，我们研究了一个增量SR的情况下，新的项目和偏好不断出现。我们表明，现有的神经网络可用于增量SR的情况下，小增量更新，以减轻计算开销和灾难性遗忘。更重要的是，我们提出了一个通用的框架，称为记忆增强神经模型（MAN）。MAN通过不断查询和更新的非参数记忆来增强基本神经推荐器，并通过另一个轻量级门控网络将神经和记忆组件的预测相结合。我们的经验表明，MAN非常适合增量SR任务，它始终优于最先进的神经和非参数方法。我们分析了结果，并证明它是特别好的增量学习新的和不常见的项目的偏好。
2020-04-28 cs.IR cs.LG stat.ML
Quantized Memory-Augmented Neural Networks
Seoul National University（首尔大学）
记忆增强神经网络（MANN）是指一类配备有外部记忆的神经网络模型（如神经图灵机和记忆网络）。这些神经网络在学习长期依赖性方面优于传统的递归神经网络（RNN），使它们能够解决有趣的人工智能任务，否则很难解决。本文研究了人工神经网络的量化问题。当我们在资源有限的嵌入式系统上部署深度模型时，量化是有效的。此外，量化可以大大减少推理过程的能量消耗。这些好处证明了量化多层感知器，卷积网络和RNN的最新发展。然而，没有先前的工作已经报道了成功的量子化的人。本文的深入分析揭示了其他网络量化中没有出现的各种挑战。如果不适当地解决它们，量化的MANN通常会遭受过度的量化误差，这导致性能下降。在本文中，我们确定内存寻址（具体来说，基于内容的寻址）的性能下降的主要原因，并提出了一个强大的量化方法的人工神经网络来解决的挑战。在我们的实验中，与浮点实现相比，我们使用8位定点和二进制量化实现了22倍的计算能量增益。在bAbI数据集上测量，与使用传统技术量化的MANN相比，所得到的模型，称为量化MANN（Q-MANN），分别用8位定点和二进制量化将出错率提高了46%和30%。
2017-11-10 cs.LG stat.ML
Memory-augmented Attention Modelling for Videos
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Google（谷歌）；Microsoft Research（微软研究院）
我们提出了一种方法，以提高视频描述生成的视频帧和描述的概念之间的高阶交互建模。通过将过去的视觉注意力存储在与先前生成的单词相关联的视频中，系统能够根据它已经看过和描述过的内容来决定看什么和描述什么。这不仅能够实现更有效的局部注意力，而且在生成每个单词时能够对视频序列进行易处理的考虑。对具有挑战性和流行的MSVD和Charades数据集的评估表明，该架构优于以前的视频描述方法，而不需要外部的时间视频特征。
2017-04-24 cs.CV cs.LG cs.NE
Saliency-Augmented Memory Completion for Continual Learning
Emory University（埃默里大学）
持续学习被认为是迈向下一代人工智能的关键一步。在各种方法中，基于回放的方法保持和回放先前样本的小情景记忆是对抗灾难性遗忘的最成功的策略之一。然而，由于遗忘是不可避免的有限的记忆和无限的任务，如何忘记是持续学习必须解决的问题。因此，除了简单地避免灾难性遗忘之外，一个未充分探讨的问题是如何在确保人类记忆优点的同时合理地遗忘，包括1.存储效率，2.可推广性，3。一些可解释性。为了同时实现这些，我们的论文提出了一个新的显着性增强的记忆完成框架持续学习，最近发现的记忆完成分离的认知神经科学的启发。具体而言，我们创新性地提出了通过显著图提取和记忆编码将图像中对任务最重要的部分存储在情景记忆中。当学习新任务时，来自记忆的先前数据由自适应数据生成模块修复，该模块受到人类如何完成情景记忆的启发。该模块的参数在所有任务之间共享，并且可以与持续学习分类器联合训练，作为双层优化。在多个持续学习和图像分类基准上的实验证明了该方法的有效性。
2022-12-26 cs.LG
Experimentally realized memristive memory augmented neural network
The University of Hong Kong（香港大学）；Hewlett Packard Labs, Hewlett Packard Enterprise（慧与（HPE）惠普实验室）；University of Notre Dame（圣母大学）；Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
终身在设备上学习是机器智能的一个关键挑战，这需要从很少的，通常是单一的样本中学习。内存增强神经网络已被提出来实现这一目标，但内存模块由于其大小而必须存储在片外存储器中。因此，实际应用受到了很大限制。基于存储器的实现方式在规模上存在困难，因为具有各种结构的不同模块难以集成在同一芯片上，并且存储器模块的内容可寻址存储器的小感测裕度严重限制了失配计算的程度。在这项工作中，我们实现了整个内存增强神经网络架构在一个完全集成的忆阻交叉开关平台，并实现了准确性，密切匹配的Omniglot数据集的数字硬件上的标准软件。除了广泛报道的矩阵乘法，在交叉开关中实现新的功能，支持成功的演示。例如，通过利用忆阻器设备的固有随机性，在交叉杆阵列中实现位置敏感散列操作。此外，内容寻址存储器模块采用交叉开关实现，也支持失配度。基于实验验证模型的模拟表明，这种实现可以有效地扩展到Mini-ImageNet数据集上的一次性学习。成功的演示为实际的设备上终身学习铺平了道路，并为传统硬件无法实现的新型基于注意力的算法开辟了可能性。
2022-04-15 cs.AR cs.ET cs.LG
Toward generalizable learning of all (linear) first-order methods via memory augmented Transformers
UC Davis（加州大学戴维斯分校）；TU Munich（慕尼黑工业大学）
本文证明记忆增强Transformer可实现包括梯度下降、共轭梯度下降和动量方法在内的全部线性一阶方法，并提出专家混合方法用于测试时适应分布外样本，同时表明线性一阶方法本身可作为可学习算法从数据中训练以获得强性能。
2025-02-01 cs.LG math.OC
Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
Microsoft Research（微软研究院）；KAIST（韩国科学技术院）
EMPO²通过混合在线与离线策略优化，提升大语言模型在探索性和通用性方面的性能。
2026-03-06 cs.AI cs.LG
Memory Augmented Optimizers for Deep Learning
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
在数据驱动的学习中，最小化损失的流行方法通常涉及抽象或显式保留梯度的历史，以进行有效的参数更新。即使在任何给定步骤的梯度没有信息时，梯度的聚合历史也会在正确的方向上推动参数更新。尽管在元参数中总结的或明确地存储在存储器中的梯度的历史在理论和实践中已经被证明是有效的，但是在决定参数更新时，历史中的梯度的$all$或仅子集是否足够的问题仍然没有答案。在本文中，我们提出了一个框架的内存增强的梯度下降优化，保留在其内部存储器的梯度历史的有限的看法。这样的优化器可以很好地扩展到大型现实数据集，我们的实验表明，标准优化器的内存增强扩展在我们考虑的大多数计算机视觉和语言任务上都可以加速收敛并提高性能。此外，我们证明了所提出的一类优化与固定大小的内存收敛强凸性的假设下，无论梯度被选择或它们是如何线性组合，形成更新步骤。
2021-06-20 cs.LG math.OC
Scaling Memory-Augmented Neural Networks with Sparse Reads and Writes
Google DeepMind（谷歌DeepMind）
用外部存储器增强的神经网络具有学习复杂任务的算法解决方案的能力。这些模型在语言建模和机器翻译等领域有着广阔的应用前景。然而，随着内存量的增长，它们在空间和时间上的扩展性都很差--限制了它们在现实世界领域的适用性。在这里，我们提出了一个端到端的可区分的内存访问方案，我们称之为稀疏访问内存（SAM），它保留了原始方法的代表性，同时有效地训练非常大的内存。我们表明，SAM实现渐近下界的空间和时间复杂度，并发现一个实现运行$1,\!000\times$更快，$3,\!000\times$更少的物理内存比非稀疏模型。SAM在一系列合成任务和一次性Omniglot字符识别上的数据效率与现有模型相当，并且可以扩展到需要$100,\!000$时间步长和记忆的任务。此外，我们还展示了我们的方法如何适用于保持记忆之间的时间关联的模型，就像最近推出的微分神经计算机一样。
2016-10-27 cs.LG
Memory-V2V: Memory-Augmented Video-to-Video Diffusion for Consistent Multi-Turn Editing
Adobe Research（Adobe研究实验室）；KAIST AI（韩国科学技术院人工智能研究所）；Adobe Internship（Adobe实习）；Project Lead（项目负责人）
Memory-V2V通过引入外部记忆模块，解决多轮视频编辑中的跨轮一致性问题，提升编辑连贯性并保持视觉质量，优于现有基线模型。
2026-08-27 cs.AI cs.CV cs.LG
Long Context Modeling with Ranked Memory-Augmented Retrieval
University of New South Wales（新南威尔士大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；University of Southampton（南安普顿大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出了一种增强的排名记忆增强检索框架，通过动态排名记忆条目和学习到的排名技术，提升语言模型在长上下文任务中的性能和可扩展性。
2026-05-18 cs.AI cs.IR cs.LG
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
University College London（伦敦大学学院）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Edinburgh（爱丁堡大学）
对外部知识的访问对于许多自然语言处理任务（例如问答和对话）是必不可少的。现有的方法通常依赖于在其参数中存储知识的参数模型，或者使用可以访问外部知识源的检索增强模型。参数和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势，我们提出了高效内存增强的Transformer（EMAT）-它将外部知识编码到键值内存中，并利用快速最大内积搜索进行内存查询。我们还介绍了预训练任务，使EMAT编码信息的键值表示，并学习一个隐式的策略，将多个内存插槽到Transformer。在各种知识密集型任务（如问答和对话数据集）上的实验表明，使用我们的方法简单地增强参数模型（T5-base）会产生更准确的结果（例如，25.8- NQ上的44.3EM），同时保持高吞吐量（例如，1000查询/秒的NQ）。与检索增强模型相比，EMAT在WoW和ELI 5上运行速度更快，结果更准确。我们的代码和数据集可以在https：//github上找到。com/uclnlp/EMAT。
2022-10-30 cs.AI cs.CL cs.LG
Diagnosing Capability Preservation and Task Sensitivity in Memory Augmented Document Classifiers
University of Cincinnati（辛辛那提大学）
QL-LSTM通过参数共享统一门机制和分层门控递归结构，实现参数高效且稳定的长序列建模。
2026-08-25 cs.AI cs.LG cs.NE
Learning from Memory: Non-Parametric Memory Augmented Self-Supervised Learning of Visual Features
Institute of Computing, University of Campinas（坎皮纳斯大学计算学院）；University of Oslo（奥斯陆大学）
本文提出一种利用非参数记忆增强神经网络的自监督学习方法，通过随机记忆块正则化训练并强制图像视图一致性，在无需额外正则化器的情况下实现稳定训练并获得高可迁移表示。
2024-07-03 cs.CV cs.LG
MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）；Capital One
提出MemGuard，一种类型感知的记忆框架，通过显式分配功能角色、维护类型隔离记忆间的关联并选择性组合必要类型的证据，防止异构记忆污染，提升记忆可靠性最高28.27%并减少检索token数最高5.8倍。
2026-10-02 cs.AI cs.CL cs.LG
Memory Augmented Policy Optimization for Program Synthesis and Semantic Parsing
Google Brain（谷歌大脑）；Tel-Aviv University（特拉维夫大学）；AI2（艾伦人工智能研究所）；SayMosaic Inc.（赛莫赛克公司）
我们提出了内存增强策略优化（MAPO），一个简单而新颖的方法来利用内存缓冲区的有前途的轨迹，以减少方差的策略梯度估计。MAPO适用于具有离散行为的确定性环境，如结构化预测和组合优化任务。我们将预期收益目标表示为两项的加权和：对内存缓冲区内高回报轨迹的期望，以及对缓冲区外轨迹的单独期望。为了使MAPO算法更有效，我们提出：（1）内存权重裁剪以加速和稳定训练;（2）系统探索以发现高回报轨迹;（3）从内存缓冲区内外分布采样以扩大训练。MAPO提高了样本效率和策略梯度的鲁棒性，特别是在具有稀疏奖励的任务上。我们评估MAPO弱监督程序合成从自然语言（语义解析）。在WikiTableQuestions基准测试中，我们将最先进的水平提高了2.6%，准确率达到了46.3%。在WikiSQL基准测试中，MAPO仅在弱监督的情况下实现了74.9%的准确率，优于几个完全监督的强基线。我们的源代码可以在https://github.com/crazydonkey200/neural-symbolic-machines上找到
2019-01-13 cs.AI cs.CL cs.LG
Online Learning via Memory: Retrieval-Augmented Detector Adaptation
Microsoft Corp（微软公司）
本研究提出一种无需训练的检索增强在线学习方法，通过记忆库与RAC模块让现成目标检测器快速适配新域，仅需每类10张图像的记忆库即可显著优于基线。
2024-09-16 cs.CV cs.IR cs.LG
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）
为视频生成多句描述是最具挑战性的字幕任务之一，因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标，我们提出了一种新的方法，称为内存增强的循环Transformer（MART），它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态，以便帮助更好地预测下一个句子（w.r.t.共指和重复方面），从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明，与基线方法相比，MART生成的段落标题更连贯，重复性更低，同时保持了与输入视频事件的相关性。所有代码都是开源的，网址是：https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
Aging Memories Generate More Fluent Dialogue Responses with Memory Augmented Neural Networks
Conversational AI Research（对话式人工智能研究）；Capital One（美国第一资本公司）
记忆网络已经成为将知识库（KB）整合到神经网络中的有效模型。通过将KB嵌入存储到内存组件中，这些模型可以学习基于外部知识的有意义的表示。然而，随着存储器单元变满，最旧的存储器被更新的表示替换。在本文中，我们对这种方法提出了质疑，并提供了实验证据，证明传统的记忆网络在训练过程中存储了高度相关的向量。虽然增加内存大小可以缓解这个问题，但这也会导致过拟合，因为内存存储了大量的训练潜在表示。为了解决这些问题，我们提出了一种新的正则化机制，称为内存丢弃，它1）从冗余内存的分布中采样单个潜在向量。2)老化多余的记忆，从而增加他们的概率，在训练过程中。这种完全可区分的技术使我们能够在斯坦福多回合对话和剑桥餐厅数据集中实现最先进的响应生成。
2020-09-27 cs.AI cs.CL cs.LG
MAVOT: Memory-Augmented Video Object Tracking
HKUST（香港科技大学）；Tencent Youtu（腾讯优图）
我们介绍了一个一次性学习方法的视频对象跟踪。该算法只需要看到被跟踪的对象一次，并采用外部存储器来存储和记住的前景对象以及随着时间的推移在跟踪过程中的背景的演变特征。在每次跟踪中检索和更新相关记忆，我们的跟踪模型能够保持对象的长期记忆，因此可以自然地处理硬跟踪场景，包括部分和全部遮挡，运动变化以及大规模和形状变化。在我们的实验中，我们使用ImageNet ILSVRC 2015视频检测数据集进行训练，并使用VOT-2016基准测试和比较我们的内存增强视频对象跟踪（MAVOT）模型。从结果中，我们得出结论，由于其oneshot属性和简单的设计，MAVOT是一个有吸引力的方法在视觉跟踪，因为它表现出良好的性能在VOT-2016基准，并在准确性和鲁棒性在遮挡，运动变化和空目标的前5名的表演者。
2017-11-26 cs.AI cs.CV cs.LG
Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
Huawei Technologies Canada（华为加拿大技术有限公司）；Huawei Technologies Switzerland（华为瑞士技术有限公司）
本文从神经科学原理出发系统综述记忆增强Transformer，提出功能目标、记忆表征和整合机制三维分类框架，分析核心记忆操作的演进趋势，并指出可扩展性与干扰等挑战及分层缓冲、惊讶门控更新等解决方案，为终身学习架构提供路线图。
2025-08-16 cs.CL cs.LG
Prompt-responsive Object Retrieval with Memory-augmented Student-Teacher Learning
Autonomous Intelligent Systems Group, University of Bonn, Germany（波恩大学自主智能系统小组）；Lamarr Institute for ML and AI, Bonn, Germany（贝勒人工智能与机器学习研究所）
本文提出记忆增强师生学习框架，将SAM 2可提示基础模型与强化学习结合，利用不完美检测的时间序列进行隐式状态估计，使机器人能够根据用户提示在杂乱场景中完成灵巧抓取任务。
2025-05-04 cs.AI cs.LG cs.RO
Recurrent Memory-Augmented Transformers with Chunked Attention for Long-Context Language Modeling
Independent Researcher（独立研究者）
本文提出一种结合分块局部注意力与门控FIFO记忆机制的循环记忆增强Transformer，以线性成本高效建模长上下文依赖，并在PyTorch中从零实现，适用于对话、代码补全和文档理解等任务。
2025-07-01 cs.LG
Enhancing Length Extrapolation in Sequential Models with Pointer-Augmented Neural Memory
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
本文提出指针增强神经记忆（PANM），通过外部神经记忆和物理指针操作增强序列模型，实现符号处理与长度外推，在算法推理、Dyck 语言识别及组合学习等任务中显著提升性能。
2024-04-18 cs.CL cs.LG
Can Memory-Augmented Language Models Generalize on Reasoning-in-a-Haystack Tasks?
IBM AI Research（IBM AI研究院）；Princeton University（普林斯顿大学）
本文提出记忆增强架构 MemReasoner，通过在上下文中学习事实顺序并选择性关注记忆，在仅使用极弱支持事实监督的情况下，于单跳和双跳合成推理任务上实现强泛化，优于现有记忆增强 Transformer 和状态空间模型。
2025-03-10 cs.CL cs.LG
Memory-augmented conformer for improved end-to-end long-form ASR
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）
本文针对端到端ASR模型在长语音上性能下降的问题，提出在Conformer编解码器之间引入神经图灵机作为外部记忆，构建Conformer-NTM架构，并在Librispeech数据集上验证其优于基线Conformer。
2023-09-22 cs.AI cs.LG cs.SD
Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction
Beijing Jiaotong University（北京交通大学）
由于当今IT监控系统的维度和复杂性的增加，在没有人工监督的情况下检测多变量时间序列的异常仍然是一个具有挑战性的问题。无监督时间序列异常检测的最新进展主要使用深度自编码器来解决这个问题，即在正常样本上进行训练，并在异常输入上产生显著的重建误差。然而，在实践中，由于神经网络的强大功能，自编码器可以很好地重建异常。此外，这些方法对于识别非点异常（例如，上下文异常和集体异常）可能是无效的，因为它们仅利用逐点重建目标。为了解决上述问题，我们提出了MemAAE（\textit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}），一种新的无监督的时间序列异常检测方法。通过联合训练两个互补的代理任务，重建和预测，与共享的网络架构，我们表明，通过多个任务检测异常获得优越的性能，而不是单任务训练。此外，引入压缩记忆模块来保存正常模式，避免对异常输入的意外泛化。通过广泛的实验，MemAAE在四个公共数据集上的总体F1得分为0.90，显著优于最佳基线0.02。
2021-10-15 cs.LG
State Contamination in Memory-Augmented LLM Agents
Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系）
研究探讨了内存增强型大语言模型代理中由于状态污染导致的安全问题，通过分析内存总结中的毒性内容传播，提出了一种新的衡量指标，并指出在信息压缩前进行净化可以有效减少潜在影响。
2026-05-16 cs.AI cs.LG
Augmented Memory: Capitalizing on Experience Replay to Accelerate De Novo Molecular Design
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出增强记忆算法，将数据增强与经验回放结合以重复利用预言机评分，显著提升从头分子设计的样本效率，并在PMO基准的23项任务中19项上取得新最优。
2023-05-10 cs.LG q-bio.BM q-bio.QM
Lego Sketch: A Scalable Memory-augmented Neural Network for Sketching Data Streams
本文提出可扩展的乐高草图，通过动态协调多个内存砖块适应不同空间预算和数据域，提供首个神经草图误差界，并在实验中优于现有草图。
2025-05-26 cs.LG
Concept Learning through Deep Reinforcement Learning with Memory-Augmented Neural Networks
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
深度神经网络在许多领域都表现出了出色的性能，可以记住大量数据的熟悉模式。然而，标准的监督式深度学习范式在面临从稀缺数据中有效学习新概念的需求时仍然是有限的。在本文中，我们提出了一个记忆增强的神经网络，这是由人类的概念学习过程的动机。训练过程模仿人类的概念形成过程，学习如何区分不同类别的样本和聚合同类样本。为了更好地利用源于人类行为的优势，我们提出了一个顺序的过程，在这个过程中，网络应该决定如何在每一步记住每个样本。在这个连续的过程中，一个稳定的和交互式的记忆是一个重要的模块。我们验证了我们的模型在一些典型的一次性学习任务，也是一个探索性的离群值检测问题。在所有的实验中，我们的模型在达到或超过这些强基线方面都具有很强的竞争力。
2018-11-15 cs.AI cs.LG
BamaER: A Behavior-Aware Memory-Augmented Model for Exercise Recommendation
Guilin University of Electronic Technology（桂林电子科技大学）；Jinan University（吉林大学）；Beijing University（北京大学）；Xiamen university（厦门大学）；Nanjing University of Science and Technology（南京理工大学）
BamaER通过行为感知的记忆增强模型，提升运动推荐的个性化和准确性。
2026-02-03 cs.CY cs.LG
Lung Cancer Screening Using Adaptive Memory-Augmented Recurrent Networks
University of Houston（休斯顿大学）
在本文中，我们研究了深度学习技术在计算机断层扫描中用于肺结节分类的有效性。使用不到10，000个训练样本，我们的深度网络的性能比标准放射学软件高出两倍。网络神经元的可视化揭示了与临床知识和放射科医生的感知一致的语义上有意义的特征。我们的论文还提出了一种新的框架，用于快速调整深度网络以适应放射科医生的反馈，或者由于传感器分辨率或患者人群的变化而导致的数据变化。我们的方法的分类准确率保持在80%以上，而流行的深度网络的准确率是随机的。最后，我们通过要求放射科医生检查重要的网络特征并对网络错误进行盲重标记来深入分析我们的框架。
2018-09-07 cs.CV cs.LG
Knowledge Graph Enhanced Memory-Augmented Retrieval for Long Context Modeling
University of New South Wales（新南威尔士大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Southampton（南安普顿大学）；Technology Innovation Institute（技术创新研究所）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出KGERMAR框架，通过动态构建上下文知识图谱并融合多组件记忆架构，在长上下文建模中降低困惑度达8.5%，提升记忆效率2-2.5倍。
2026-06-15 cs.AI cs.CL cs.IR
MolMem: Memory-Augmented Agentic Reinforcement Learning for Sample-Efficient Molecular Optimization
Northwestern University（西北大学）；AbbVie（阿比维）
MolMem通过双记忆系统提升分子优化的样本效率，利用静态示例记忆和进化技能记忆，实现90%的成功率和52%的多属性任务表现。
2026-04-14 cs.AI cs.CL cs.LG
deepSURF: Detecting Memory Safety Vulnerabilities in Rust Through Fuzzing LLM-Augmented Harnesses
Purdue University（普渡大学）
deepSURF结合静态分析与LLM引导的模糊测试，自动生成并增强测试工具，有效检测Rust不安全代码中的内存安全漏洞，在63个真实crate上重新发现30个已知错误并发现12个新漏洞。
2025-10-24 cs.CR cs.LG cs.SE
Event-Centric World Modeling with Memory-Augmented Retrieval for Embodied Decision-Making
Zhaowen Fan（Fan 研究院）；Rongchao Zhang（Zhang 实验室）
本文提出一种事件中心世界建模框架，通过记忆增强检索实现具身决策，结合语义事件和先前经验进行决策，提升动态环境的结构抽象与可解释性。
2026-07-09 cs.IR cs.LG cs.RO
Dense Feature Memory Augmented Transformers for COVID-19 Vaccination Search Classification
Google Research（谷歌研究院）
随着COVID-19的毁灭性爆发，疫苗是抵御这场全球大流行中大规模感染的关键防线之一。鉴于疫苗提供的保护，在某些社会和专业环境中，疫苗正在成为强制性的。本文提出了一种用于检测COVID-19疫苗接种相关搜索查询的分类模型，这是一种用于生成COVID-19疫苗接种搜索见解的机器学习模型。所提出的方法结合并利用了现代最先进的（SOTA）自然语言理解（NLU）技术的进步，例如具有传统密集特征的预训练Transformers。我们提出了一种新的方法，考虑密集的功能作为记忆令牌的模型可以参加。我们表明，这种新的建模方法可以显着改善疫苗搜索洞察（VSI）任务，通过F1评分相对提高+15%和精度提高+14%来改善强大的成熟梯度提升基线。
2022-12-16 cs.AI cs.IR cs.LG
HELPER-X: A Unified Instructable Embodied Agent to Tackle Four Interactive Vision-Language Domains with Memory-Augmented Language Models
Carnegie Mellon University（卡内基梅隆大学）
HELPER-X通过扩充记忆库和集成提问API，将单一记忆增强LLM智能体统一应用于对话执行、指令遵循、主动提问和房间整理四个视觉-语言任务，在多个基准上以少样本取得最先进性能，无需领域内训练。
2024-04-29 cs.AI cs.CL cs.CV
Texture Memory-Augmented Deep Patch-Based Image Inpainting
基于补丁的方法和深度网络已被用来解决图像修补问题，有自己的优点和缺点。基于块的方法能够通过从未掩蔽区域中搜索最近邻块来恢复具有高质量纹理的丢失区域。然而，这些方法在恢复大的缺失区域时带来问题的内容。另一方面，深度网络在完成大区域方面显示出有希望的结果。尽管如此，结果往往缺乏与周围区域相似的忠实和清晰的细节。通过将这两种范例中最好的结合在一起，我们提出了一个新的深度修复框架，其中纹理生成由从未掩蔽区域提取的补丁样本的纹理记忆指导。该框架具有新颖的设计，允许纹理记忆检索与深度修复网络进行端到端的训练。此外，我们引入了补丁分布损失，以鼓励高质量的补丁合成。所提出的方法在三个具有挑战性的图像基准上表现出定性和定量的优异性能，即，地点、CelebA-HQ和巴黎街景数据集。
2021-11-04 cs.CV cs.LG eess.IV
