首页/论文/1906.08862

arXiv 1906.088622019-06cs.NEcs.LGstat.ML

神经存储程序记忆

Neural Stored-program Memory

Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）

Hung Le, Truyen Tran, Svetha Venkatesh

备注：: 27 pages

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

由外部存储器驱动的神经网络模拟计算机行为。这些模型使用存储器为神经控制器存储数据，可以学习算法和其他复杂的任务。在本文中，我们介绍了一种新的存储器来存储控制器的权重，类似于现代计算机体系结构中的存储程序存储器。该模型被称为神经存储程序记忆，增强了当前的记忆增强神经网络，创建了可微分机器，可以通过时间切换程序，适应可变的上下文，从而类似于通用图灵机。大量的实验表明，由此产生的机器不仅在经典的算法问题中表现出色，而且在组合、连续、少样本学习和问答任务中也有潜力。

英文摘要：

Neural networks powered with external memory simulate computer behaviors. These models, which use the memory to store data for a neural controller, can learn algorithms and other complex tasks. In this paper, we introduce a new memory to store weights for the controller, analogous to the stored-program memory in modern computer architectures. The proposed model, dubbed Neural Stored-program Memory, augments current memory-augmented neural networks, creating differentiable machines that can switch programs through time, adapt to variable contexts and thus resemble the Universal Turing Machine. A wide range of experiments demonstrate that the resulting machines not only excel in classical algorithmic problems, but also have potential for compositional, continual, few-shot learning and question-answering tasks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

在线无任务持续学习中基于记忆的样例编辑

Gradient-based Editing of Memory Examples for Online Task-free Continual Learning

University of Southern California（南加州大学）

我们探索了无任务的持续学习（CL），在这种学习中，一个模型被训练来避免在没有明确的任务边界或身份的情况下发生灾难性的遗忘。在无任务CL的许多努力中，一个值得注意的方法家族是基于记忆的，存储和重放训练示例的子集。然而，由于CL模型不断更新，因此存储的可见示例的效用可能会随着时间的推移而减少。在这里，我们提出了基于梯度的内存编辑（GMED），一个框架，用于编辑存储的例子在连续的输入空间通过梯度更新，以创建更多的“挑战性”的例子重放。GMED编辑的例子仍然类似于它们未经编辑的形式，但在即将到来的模型更新中可能会产生更多的损失，从而使未来的重放在克服灾难性遗忘方面更加有效。通过构造，GMED可以无缝地与其他基于内存的CL算法结合应用，以带来进一步的改进。实验验证了GMED的有效性，我们的最佳方法在六个数据集中的五个数据集上显著优于基线和以前的最新技术。代码可以在https://github.com/INK-USC/GMED上找到。

2021-12-07cs.LGstat.ML

梯度情景记忆中二次规划的一种固定形式

A Fixed Version of Quadratic Program in Gradient Episodic Memory

National University of Defense Technology（国防科技大学）

梯度情景记忆确实是一种持续学习的新方法，它可以快速解决新问题，而不会忘记以前获得的知识。然而，在研究过程中，我们发现二次规划对偶问题的证明中存在一些问题，因此在此给出了我们对这个问题的修正版本。

2021-07-07cs.LG

压缩复合记忆持续学习

Condensed Composite Memory Continual Learning

Institute of Signal Processing and System Theory（信号处理与系统理论研究所）；University of Stuttgart（斯图加特大学）

深度神经网络（DNN）在一系列任务上训练时，性能会迅速下降，其中只有最近任务的数据可用。这种现象被称为灾难性遗忘，它阻止了DNN随着时间的推移积累知识。克服灾难性遗忘并实现持续学习是非常令人感兴趣的，因为它将使DNN能够应用于在任何时候不受限制地访问所有训练数据并不总是可能的设置中，例如由于存储限制或法律问题。虽然最近提出的许多持续学习方法使用一些训练样本进行排练，但它们的性能强烈依赖于存储的样本的数量。为了提高持续学习的排练性能，特别是对于少量存储的示例，我们提出了一种新的方法来学习一个小集合的合成的例子，捕捉一个完整的数据集的本质。我们不是直接学习这些合成示例，而是为每个示例学习共享组件的加权组合，从而显着提高内存效率。我们展示了我们的方法在常用数据集上的性能，并将其与最近提出的相关方法和基线进行了比较。

2021-04-21cs.AIcs.LG

无任务持续学习的演化混合模型

Learning an evolved mixture model for task-free continual learning

University of York（约克大学）

最近，持续学习（CL）引起了人们的极大兴趣，因为它使深度学习模型能够在不忘记先前学习的信息的情况下获取新知识。然而，大多数现有的工作需要知道的任务身份和边界，这是不现实的，在现实的情况下。在本文中，我们解决了CL中更具挑战性和现实性的设置，即无任务持续学习（TFCL），其中模型在没有明确任务信息的非平稳数据流上进行训练。为了解决TFCL，我们引入了一个进化的混合模型，其网络结构是动态扩展的，以适应数据分布偏移。我们实现这种扩展机制，通过评估存储在每个混合模型组件和当前的内存缓冲区使用希尔伯特施密特独立性准则（HSIC）的知识之间的概率距离。我们还引入了两个简单的dropout机制，选择性地删除存储的例子，以避免内存过载，同时保持内存的多样性。实验结果表明，该方法取得了良好的性能。

2022-07-11cs.AIcs.LG

神经编码器：使用存储的神经程序学习通用计算

Neurocoder: Learning General-Purpose Computation Using Stored Neural Programs

Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）；Deakin University（迪肯大学）；Geelong, Australia（澳大利亚吉朗（此处为地址，按要求不提取，仅保留大学及所属研究所））

人工神经网络通过人工神经元网络处理数据，在机器学习方面具有独特的优势。神经元间连接权重表示学习的神经程序，该神经程序指示网络如何计算数据。然而，如果没有外部存储器来存储神经程序，那么当在新数据上训练时，它们仅限于一个可重复学习的程序。这在功能上相当于一台专用计算机。在这里，我们设计神经编码器，一个全新的通用条件计算机器，其中神经网络“编码”本身在数据响应的方式组成相关的程序从一组共享，模块化的程序。这可以被认为类似于从简单的乐高积木建造乐高结构。值得注意的是，我们的砖块通过学习改变它们的形状。外部存储器用于创建、存储和检索模块化程序。像今天的存储程序计算机一样，Neurocoder现在可以访问各种程序来处理不同的数据。与手工制作的计算机程序不同，Neurocoder通过训练创建程序。将Neurocoder集成到当前的神经架构中，我们展示了学习模块化程序的新能力，处理严重的模式转换，并在学习新程序时记住旧程序，并在解决对象识别，玩视频游戏和持续学习任务方面表现出实质性的性能改善。与Neurocoder的这种集成增加了任何当前神经网络的计算能力，并赋予它全新的能力，可以重用简单的程序来构建复杂的程序。神经程序第一次被视为内存中的数据，为模块化，递归和过程化神经编程铺平了道路。

2020-09-24cs.LGcs.NE

具有记忆刷新损失的分布式联想记忆网络

Distributed Associative Memory Network with Memory Refreshing Loss

Kyungpook National University（庆北国立大学）；NEOALI

尽管最近在记忆增强神经网络（MANN）的研究进展，联想记忆网络与一个单一的外部存储器仍然表现出有限的性能复杂的关系推理任务。特别是基于内容的可寻址存储网络往往无法将输入数据编码成足够丰富的关系推理表示，这限制了MANN对长时间序列数据的关系建模性能。为了解决这些问题，在这里，我们介绍了一种新的分布式联想记忆体系结构（DAM）与内存刷新损失（MRL），提高了关系推理性能的MANN。受人类大脑工作方式的启发，我们的框架在多个内存块中使用分布式表示对数据进行编码，并重复刷新内容，以增强记忆力，类似于大脑的排练过程。对于该过程，我们用一组多个较小的关联存储器块替换单个外部存储器，并且同时且独立地更新这些子存储器块以用于输入数据的分布式表示。此外，我们提出了MRL，它有助于任务的目标，同时学习数据中存在的关系信息。MRL使得MANN能够通过从存储的存储器内容再现随机采样的输入数据来加强输入数据与任务目标之间的关联。通过这个过程，MANN进一步用关系信息丰富了存储的表示。在实验中，我们将我们的方法应用于差分神经计算机（DNC），这是一个代表性的基于内容的寻址记忆模型，并实现了最先进的性能在记忆和关系推理任务。

2021-08-27cs.LGcs.NEstat.ML

更多相关论文收起更多论文

基于神经网络的联想记忆模型：用一个神经元记忆多幅图像

Associative Memory Model with Neural Networks: Memorizing multiple images with one neuron

Kobe Shoin Women’s University（神户女学院大学）

提出一种联想记忆神经网络模型，用单个神经元存储多幅图像，激活该神经元即可同时回忆全部图像，且能从不完整输入中完整重建图像。

2025-10-08cs.NE

Hopfield网络的动态容量估计

Dynamic Capacity Estimation in Hopfield Networks

Columbia University（哥伦比亚大学）

理解神经网络的记忆容量仍然是实现人工智能系统的一个具有挑战性的问题。在本文中，我们解决了Hopfield网络的容量的概念，并提出了一个动态的方法来监控网络的容量。我们定义我们的理解能力的最大数量的存储模式，可以检索时，探测存储的模式。这方面的先前工作已经提出了依赖于神经元计数$N$的静态表达式，迫使网络设计者在设置网络容量时假设最坏情况下的偏置和相关性输入特性。相反，我们的模型与学习Hopfield网络同时运行，并根据存储的模式得出容量估计。通过不断更新与存储模式相关的串扰，我们的模型可以保护网络免受内存痕迹的影响，并超过其容量。我们使用人工生成的随机模式来模拟我们的模型，这些模式可以设置为所需的偏差和相关性，并观察到容量估计值在93%到97%之间的准确性。因此，与静态和最坏情况下的容量估计相比，我们的模型使Hopfield网络的记忆效率提高了一倍，同时最大限度地降低了丢失模式的风险。

2017-09-15cs.LGcs.NE

基于Hopfield神经网络模型的图像检索

Recalling of Images using Hopfield Neural Network Model

本文利用自联想记忆的Hopfield神经网络模型对图像进行存储和回忆。通过计算相应的权重矩阵来存储图像。此后，从任意配置开始，存储器将精确地确定在汉明距离方面最接近起始配置的存储图像。因此，给定存储图像的不完整或损坏版本，网络能够调用相应的原始图像。对象的存储已经根据下面解释的Hopfield算法执行。一旦网络完全学习了这组输入模式，一组包含退化图像的测试模式将被提供给网络。然后Hopfield网络将倾向于为给定的退化图像召回最接近的匹配模式。仿真结果表明，Hopfield模型是最适合图像存储和检索的模型。

2011-05-02cs.NE

B矩阵神经网络的记忆提取

Memory Retrieval in the B-Matrix Neural Network

本文是对B矩阵方法[6]、[17]的记忆检索过程到神经网络学习的扩展。B矩阵是由Hebbian神经网络产生的互连矩阵的一部分，在记忆提取中，B矩阵与记忆的一小部分一起被箝位。片段通过反馈逐渐放大，直到获得整个矢量。在本文中，我们提出使用增量学习来提高存储记忆的检索率。

2011-03-14cs.NE

联想长短期记忆

Associative Long Short-Term Memory

我们研究了一种新的方法，以增加额外的记忆，而不增加网络参数的数量的递归神经网络。该系统具有基于复值向量的联想记忆，并与全息简化表示和长短期记忆网络密切相关。全息简化表征的容量有限：当它们存储更多的信息时，由于干扰，每次检索都会变得更加嘈杂。相比之下，我们的系统创建了存储信息的冗余副本，这使得检索具有更低的噪声。实验表明，在多个记忆任务上的学习速度更快。

2016-05-19cs.NE

失重脉冲神经网络中的时间延迟记忆

Memory via Temporal Delays in weightless Spiking Neural Network

Tufts University（塔夫茨大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）

神经科学界的一个共同观点是，记忆是由神经元之间的连接强度编码的。这种认知导致人工神经网络模型将连接权重作为调节学习的关键变量。在本文中，我们提出了一个原型的无重量脉冲神经网络，可以执行一个简单的分类任务。该网络中的记忆存储在神经元之间的时间中，而不是连接的强度，并且使用Hebbian Spike Timing Dependent Plasticity（STDP）进行训练，该训练调节连接的延迟。

2022-02-15cs.AIcs.LGcs.NE

基于Hebb相互作用的量子比特网络的量子模式检索

Quantum Pattern Retrieval by Qubit Networks with Hebb Interactions

受赫布规则启发，具有长程相互作用的量子比特网络可以用作量子联想记忆。从均匀叠加开始，由这些相互作用产生的幺正演化在临界计算时间驱动网络通过量子相变，之后铁磁序保证测量检索存储的存储器。这些量子比特网络的最大存储容量p在存储密度p/n=1时达到。

2006-09-15cond-mat.dis-nncs.NEquant-ph