Reservoir Memory Machines as Neural Computers
The University of Sydney（悉尼大学）；Humboldt-University of Berlin（柏林洪堡大学）；Bielefeld University（比勒费尔德大学）；National Research Council of Canada（加拿大国家研究委员会）
可微神经计算机扩展了人工神经网络，具有无干扰的显式记忆，从而使模型能够执行经典的计算任务，如图遍历。然而，这样的模型难以训练，需要长的训练时间和大的数据集。在这项工作中，我们实现了可微神经计算机的一些计算能力，其模型可以非常有效地进行训练，即具有无干扰显式记忆的回声状态网络。这种扩展使回声状态网络能够识别所有的正则语言，包括那些收缩回声状态网络可证明不能识别的语言。此外，我们通过实验证明，我们的模型在可微神经计算机的几个典型基准任务上对其完全训练的深度版本进行了测试。
2021-07-19 cs.LG cs.NE stat.ML
NullaNet: Training Deep Neural Networks for Reduced-Memory-Access Inference
University of Southern California（南加州大学）
深度神经网络已成功部署在包括计算机视觉和语音识别在内的各种应用中。然而，这些模型的计算和存储复杂性迫使大多数计算在高端计算平台或云上执行。为了应对这些模型的计算和存储复杂性，本文提出了一种训练方法，通过布尔逻辑最小化实现深度神经网络的完全不同的方法。上述实现完全去除了访问存储器以获得模型参数的耗能步骤，与使用浮点运算的实现相比，消耗大约两个数量级的计算资源，并且具有显著更低的延迟。
2018-08-27 cs.LG cs.NE stat.ML
Encoding-based Memory Modules for Recurrent Neural Networks
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
学习使用循环模型解决序列任务需要记住长序列并从中提取任务相关特征的能力。本文从循环神经网络的设计和训练的角度研究记忆子任务。我们提出了一个新的模型，线性记忆网络，它具有一个基于编码的记忆组件，内置一个线性自动编码器的序列。我们扩展的记忆组件与模块化的存储器，在不同的采样频率编码的隐藏状态序列。此外，我们还提供了一种专门的训练算法，该算法可以有效地对网络的隐藏激活进行编码。合成和真实世界的数据集上的实验结果表明，专门的训练算法，训练记忆组件总是提高最终的性能时，记忆的长序列是必要的，以解决问题。
2020-01-31 cs.LG cs.NE stat.ML
Differentiable Neural Computers with Memory Demon
微分神经计算机（DNC）是一种具有外部存储器的神经网络，其允许通过读取、写入和删除操作进行迭代内容修改。我们表明，信息理论的内存内容的性能发挥了重要作用，这样的架构。我们引入了一个新的概念，内存恶魔DNC体系结构，修改内存内容隐式通过添加剂输入编码。内存恶魔的目标是最大化连续外部内存内容的互信息的期望总和。
2022-11-05 cs.LG cs.NE
Neural Memory Plasticity for Anomaly Detection
Queensland University of Technology（昆士兰科技大学）
在机器学习领域，神经记忆网络（NMN）最近在各种应用领域取得了令人印象深刻的成果，包括视觉问答，轨迹预测，对象跟踪和语言建模。然而，我们观察到，在当前NMN中使用的基于注意力的知识检索机制限制了它们实现其全部潜力，因为注意力过程基于一组静态连接权重检索信息。这在数据域中的样本之间存在巨大差异的设置中是次优的;例如异常检测，其中对于什么构成异常没有一致的标准。在本文中，我们提出了一种可塑性神经记忆访问机制，利用静态和动态连接权重的内存读取，写入和输出生成过程。我们证明了所提出的记忆模型在三个具有挑战性的异常检测任务在医疗领域的有效性和灵活性：异常EEG识别，MRI肿瘤类型分类和精神分裂症的风险检测儿童。在所有设置中，所提出的方法优于当前的最先进的。此外，我们进行了深入的分析，展示了神经可塑性的知识检索过程的效用，并提供证据，建议的记忆模型如何产生稀疏但信息丰富的记忆输出。
2019-10-12 cs.CV cs.LG cs.NE
Partially Non-Recurrent Controllers for Memory-Augmented Neural Networks
DeNA Co., Ltd.（DeNA株式会社）；The University of Tokyo（东京大学）
记忆增强神经网络（MANN）是一类配备有外部存储器的神经网络，并且据报道对于需要大的长期记忆及其选择性使用的任务是有效的。MANN的核心模块被称为控制器，其通常被实现为递归神经网络（RNN）（例如，LSTM），以便在控制其他模块时使用上下文信息。然而，这种基于RNN的控制器通常允许MANN通过使用控制器的（小的）内部存储器来直接解决给定的任务，并且阻止MANN最好地利用外部存储器，从而导致次优训练模型。为了解决这个问题，我们提出了一种新型的基于RNN的控制器，该控制器部分非递归，避免了直接使用其内部存储器来解决任务，同时保持了使用上下文信息控制其他模块的能力。我们使用神经图灵机和微分神经计算机的玩具和bAbI任务的实证实验表明，所提出的控制器比标准的基于RNN的控制器提供了更好的结果。
2018-12-30 cs.LG cs.NE
On Extended Long Short-term Memory and Dependent Bidirectional Recurrent Neural Network
University of Southern California（南加州大学）
在这项工作中，我们首先分析了三个递归神经网络（RNN）细胞中的记忆行为;即简单RNN（SRN），长短期记忆（LSTM）和门控递归单元（GRU），其中记忆被定义为将序列中的先前元素映射到当前输出的函数。我们的研究表明他们三个人的记忆都在快速衰退。然后，为了减轻这种影响，我们引入了可训练的缩放因子，它就像一种注意力机制，可以自适应地调整记忆衰退。新的设计被称为扩展的LSTM（ELSTM）。最后，为了设计一个对以前的错误预测具有鲁棒性的系统，我们提出了一个依赖双向循环神经网络（DBRNN）。在不同的语言任务上进行了大量的实验，以证明所提出的ELSTM和DBRNN解决方案的优越性。在依存句法分析（DP）任务中，与LSTM和GRU相比，ELTSM的标记附件得分（LAS）提高了30%。我们的模型在LAS中的表现也优于其他最先进的模型，例如双注意力和卷积序列到序列（convseq 2seq），接近10%。代码以开源形式发布（https：//github.com/yuanhangsu/ELSTM-DBRNN）
2019-11-17 cs.CL cs.LG cs.NE
Lie-Access Neural Turing Machines
Harvard University（哈佛大学）
外部神经记忆结构最近已经成为算法深度学习的流行工具（Graves et al. 2014，Weston et al. 2014）。这些模型通常利用传统离散存储器访问结构（随机访问，堆栈，磁带）的可区分版本来提供计算任务所需的存储。在这项工作中，我们认为，这些神经记忆系统缺乏特定的结构重要的相对索引，并提出了一种替代模型，李访问内存，这是明确设计的神经设置。在这个范例中，使用键空间流形中的连续头部来访问存储器。头部通过李群动作移动，例如由控制器生成的移位或旋转，并且通过密钥空间中的线性平滑来执行存储器访问。我们认为，李群提供了一个自然的推广离散记忆结构，如图灵机，因为它们提供逆和身份运营商，同时保持可微性。为了实验这种方法，我们实现了一个简化的李访问神经图灵机（LANTM）与不同的李群。我们发现，这种方法能够在一系列算法任务上表现良好。
2017-03-05 cs.LG cs.NE
Learning Longer Memory in Recurrent Neural Networks
Facebook Artificial Intelligence Research（脸书人工智能研究院）
递归神经网络是一个强大的模型，学习时序数据中的时序模式。长期以来，人们认为，由于所谓的梯度消失问题，递归网络难以使用简单的优化器（例如随机梯度下降）进行训练。在本文中，我们表明，学习长期的模式，在真实的数据，如在自然语言，是完全可能使用梯度下降。这是通过对简单的递归神经网络架构进行轻微的结构修改来实现的。我们鼓励一些隐藏的单位，以改变他们的状态慢慢地通过使部分的经常性的权重矩阵接近单位，从而形成一种长期的记忆。我们在语言建模实验中评估了我们的模型，在那里我们获得了与更复杂的长短期记忆（LSTM）网络相似的性能（Hochreiter & Schmidhuber，1997）。
2015-04-16 cs.LG cs.NE
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；IFLYTEK Research（科大讯飞研究院）
本文介绍了一种新的记忆神经网络结构，称为前馈顺序记忆网络（FSMN），它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中，我们已经应用FSMN的几个语言建模（LM）的任务。实验结果表明，FSMN中的记忆块可以学习到长历史的有效表示。实验表明，基于FSMN的语言模型不仅可以显著优于基于前馈神经网络（FNN）的LM，而且还可以显著优于流行的递归神经网络（RNN）LM。
2015-10-09 cs.CL cs.LG cs.NE
vDNN: Virtualized Deep Neural Networks for Scalable, Memory-Efficient Neural Network Design
NVIDIA（英伟达）
使用最广泛的机器学习框架需要用户仔细调整其内存使用，以便深度神经网络（DNN）适合GPU的DRAM容量。这种限制阻碍了研究人员研究不同机器学习算法的灵活性，迫使他们要么使用不太理想的网络架构，要么在多个GPU上并行处理。我们提出了一个运行时内存管理器，虚拟化DNN的内存使用，使GPU和CPU内存可以同时用于训练更大的DNN。我们的虚拟化DNN（vDNN）将AlexNet的平均GPU内存使用量减少了89%，OverFeat减少了91%，GoogLeNet减少了95%，这大大降低了DNN的内存需求。在VGG-16上进行的类似实验，VGG-16是迄今为止最深和内存饥饿的DNN之一，证明了我们的建议的内存效率。vDNN使批量大小为256（需要28 GB内存）的VGG-16能够在包含12 GB内存的单个NVIDIA Titan X GPU卡上进行训练，与具有足够内存容纳整个DNN的假设Oracle GPU相比，性能损失18%。
2016-07-28 cs.DC cs.LG cs.NE
A modularity comparison of Long Short-Term Memory and Morphognosis neural networks
Kishwaukee College（基什沃基学院）
本研究比较了两种人工神经网络架构的模块化性能：长短期记忆（LSTM）递归网络和Morphognosis，一种基于空间和时间上下文层次结构的神经网络。迷宫是用来衡量性能，定义为利用独立学习的迷宫解决迷宫组成的能力。迷宫是一系列由门连接的房间。模块化任务的实现如下：在迷宫的开始，初始的门选择形成了一个上下文，必须保留到干预迷宫的结束，在那里必须再次选择相同的门才能到达目标。为了测试，门关联迷宫和单独训练的干预迷宫首次一起呈现。虽然这两个神经网络在训练过程中表现良好，但在这个模块化任务上，Morphognosis的测试性能明显优于LSTM。
2021-04-23 cs.LG cs.NE
Device-Circuit-Architecture Co-Exploration for Computing-in-Memory Neural Accelerators
University of Notre Dame（圣母大学）；University of Pittsburgh（匹兹堡大学）
神经架构和硬件设计的共同探索有望同时优化网络精度和硬件效率。然而，用于共同探索的最先进的神经架构搜索算法专用于传统的von-vonann计算架构，其性能受到众所周知的存储器墙的严重限制。在本文中，我们首次将内存计算架构与神经架构搜索相互作用，从而轻松超越内存墙，旨在找到具有高网络精度和最大硬件效率的最有效神经架构。这种新颖的组合为提高性能提供了机会，但也带来了一系列挑战。设计空间跨越从器件类型、电路拓扑到神经架构的多个层次。此外，在存在器件变化的情况下，性能可能会降低。为了解决这些挑战，我们提出了一个跨层的探索框架，即NACIM，它共同探索设备，电路和架构设计空间，并考虑到设备的变化，以找到最强大的神经架构。实验结果表明，NACIM可以找到一个强大的神经网络与0.45%的准确性损失的存在下的设备变化，从国家的最先进的NAS的76.44%的损失相比，没有考虑变化;此外，NACIM实现了能源效率高达16.3 TOPs/W，比国家的最先进的NAS高3.17倍。
2020-03-21 cs.LG cs.NE
A Simple Method to Reduce Off-chip Memory Accesses on Convolutional Neural Networks
Samsung Electronics（三星电子）
针对卷积神经网络，提出了一种通过最大限度地利用神经处理单元中的片上存储器来减少片外存储器访问的简单算法。特别是，该算法提供了一种有效的方法来处理一个模块，由多个分支和一个合并层。对于Inception-V3在三星的NPU在Exynos，我们的评估表明，该算法使片外存储器访问减少了1/50，并相应地实现了97.59%的减少量的特征地图数据从/到片外存储器传输。
2019-01-28 cs.CV cs.LG cs.NE
Survey of reasoning using Neural networks
TU Kaiserslautern（凯泽斯劳滕大学）
推理和推理需要人类的过程和记忆技能。神经网络能够处理像图像识别这样的任务（比人类更好），但在记忆方面仍然有限（受注意力机制，大小）。递归神经网络（RNN）及其修改版本LSTM能够解决小的内存上下文，但当上下文变得大于阈值时，很难使用它们。解决方案是使用大的外部存储器。尽管如此，它提出了许多挑战，如，如何训练神经网络的离散内存表示，如何描述长期的依赖关系，在顺序数据等最突出的神经架构，这些任务是内存网络：推理组件结合长期记忆和神经图灵机：神经网络使用外部存储器资源。此外，需要额外的技术，如注意力机制，离散存储器表示上的端到端梯度下降来支持这些解决方案。上述神经架构在简单算法（排序，复制）和问答（基于故事，对话）应用上的初步结果与最先进的水平相当。在本文中，我解释了这些架构（一般），使用的附加技术及其应用结果。
2017-03-02 cs.AI cs.LG cs.NE
Memory capacity of neural networks with threshold and ReLU activations
University of California, Irvine（加州大学欧文分校）
压倒性的理论和经验证据表明，轻度过度参数化的神经网络--连接数多于训练数据大小的网络--通常能够以$100\%$的准确度记住训练数据。这在具有sigmoid激活函数的网络中得到了严格的证明，最近，ReLU激活也得到了严格的证明。解决1988年Baum的一个公开问题，我们证明了这种现象适用于一般的多层感知器，即具有阈值激活函数的神经网络，或者具有阈值和ReLU激活的任何混合。我们的建设是概率和利用稀疏性。
2020-06-02 cs.IT cs.LG cs.NE
Robust High-dimensional Memory-augmented Neural Networks
IBM Research – Zurich（IBM苏黎世研究院）；ETH Zürich（苏黎世联邦理工学院）
传统的神经网络在缓慢的训练过程中需要大量的数据来构建其复杂的映射，这阻碍了它们重新学习和适应新数据的能力。记忆增强神经网络通过外显记忆增强神经网络以克服这些问题。然而，对该显式存储器的访问经由涉及每个单独的存储器条目的软读和写操作发生，从而在使用常规冯·诺依曼计算机体系结构实现时导致瓶颈。为了克服这个瓶颈，我们提出了一个强大的架构，采用计算内存单元作为显式内存执行模拟内存计算的高维（HD）向量，同时密切匹配32位软件等效的精度。这是通过基于内容的注意力机制来实现的，该机制用不相关的HD向量来表示计算存储器中的不相关项，HD向量的实值分量可以容易地由二进制或双极分量来近似。实验结果表明，我们的方法的有效性Few-Shot图像分类任务的Omniglot数据集上使用超过256,000相变存储器设备。我们的方法有效地将深度神经网络表示的丰富性与HD计算相结合，为适用于推理，融合和压缩的强大矢量符号操作铺平了道路。
2021-03-19 cs.ET cs.LG cs.NE
The Influence of the Memory Capacity of Neural DDEs on the Universal Approximation Property
Technical University of Munich（慕尼黑工业大学）
本文研究 Neural DDEs 的记忆容量 $Kτ$ 对通用逼近的影响，证明小容量时非增广模型无法通用逼近，超过阈值后可逼近连续函数，增广还能扩大可行参数区域。
2025-06-06 cs.LG cs.NE math.DS
Multigrid Neural Memory
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们介绍了一种新的方法，赋予神经网络紧急，长期，大规模的记忆。与通过复杂的控制器和手工设计的注意力机制将神经网络连接到外部存储体的策略不同，我们的记忆是内部的、分布式的、与计算共存的、隐式寻址的，同时比以前的努力要简单得多。架构网络与多重网格结构和连接，而分布存储单元旁边的计算在整个拓扑结构中，我们观察到一致的内存子系统的出现。我们的分层空间组织，卷积参数化，允许大容量存储器的有效实例化，而多重网格拓扑提供了短的内部路由路径，允许卷积网络有效地近似完全连接网络的行为。这种网络具有内在注意力的内隐能力;随着记忆的增强，它们学会以动态的数据依赖方式读取和写入特定的记忆位置。我们在探索和绘图任务中展示了这些能力，其中我们的网络能够自组织并保留数千个时间步的轨迹的长期记忆。在与任何空间几何概念分离的任务中：排序，联想回忆和问答，我们的设计作为一个真正的通用记忆功能，并产生出色的结果。
2020-08-15 cs.CV cs.LG cs.NE
Memory-Augmented Graph Neural Networks: A Brain-Inspired Review
Intel Labs, Intel Corporation（英特尔公司英特尔实验室）
本文从心理学与神经科学视角综述记忆增强型 GNN，提出分类体系和记忆机制比较标准，并讨论现有局限、挑战与未来方向。
2023-07-14 cs.AI cs.LG cs.NE
Memory-Augmented Recurrent Neural Networks Can Learn Generalized Dyck Languages
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们介绍了三个内存增强的循环神经网络（MARNN），并探讨了一系列简单的语言建模任务，其解决方案需要基于堆栈的机制，他们的能力。我们提供了神经网络识别广义Dyck语言的第一个演示，广义Dyck语言表达了具有层次结构的语言的核心。我们的内存增强架构很容易训练在一个端到端的方式，可以学习的Dyck语言超过多达六个括号对，除了两个确定性回文语言和字符串反转转换任务，通过模仿下推自动机。我们的实验强调了内存增强模型在简单RNN上的建模能力，同时也反映了我们对这些模型局限性的理解。
2019-11-08 cs.CL cs.LG cs.NE
Memory-enriched computation and learning in spiking neural networks through Hebbian plasticity
Graz University of Technology（格拉茨技术大学）；Silicon Austria Labs（奥地利硅谷实验室）
记忆是生物神经系统的一个关键组成部分，它能够在从数百毫秒到数年的巨大时间范围内保留信息。虽然赫布可塑性被认为在生物记忆中起着关键作用，但到目前为止，它主要是在模式完成和无监督学习的背景下进行分析的。在这里，我们建议，赫布可塑性是生物神经系统中的计算的基础。我们介绍了一种新的脉冲神经网络架构，丰富了赫布突触可塑性。我们表明，赫布丰富呈现脉冲神经网络令人惊讶的通用性方面的计算以及学习能力。它提高了他们的分布外泛化、一次性学习、跨模态生成联想、语言处理和基于奖励的学习能力。由于脉冲神经网络是节能神经形态硬件的基础，这也表明可以基于该原理构建强大的认知神经形态系统。
2022-05-23 cs.LG cs.NE q-bio.NC
Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks
Schmalkalden University of Applied Sciences（施马尔卡尔登应用科学大学）；Singapore University of Technology and Design（新加坡科技设计大学）
长短期记忆循环神经网络（LSTM-RNN）是目前已知的最强大的动态分类器之一。网络本身和相关的学习算法都有相当好的文档记录，以了解它是如何工作的。本文将更深入地了解LSTM-RNN是如何发展的，以及为什么它们工作得如此出色，重点关注早期的突破性出版物。我们显著改进了文档，并修复了以前出版物中积累的一些错误和不一致。为了支持理解，我们也修改和统一了所使用的符号。
2019-09-12 cs.CL cs.LG cs.NE
Memory Retrieval in the B-Matrix Neural Network
本文是对B矩阵方法[6]、[17]的记忆检索过程到神经网络学习的扩展。B矩阵是由Hebbian神经网络产生的互连矩阵的一部分，在记忆提取中，B矩阵与记忆的一小部分一起被箝位。片段通过反馈逐渐放大，直到获得整个矢量。在本文中，我们提出使用增量学习来提高存储记忆的检索率。
2011-03-14 cs.NE
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University（清华大学）；Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）
循环神经网络（RNN）在序列建模方面表现出明显的优势，特别是具有门控单元的网络，如长短期记忆（LSTM）和门控循环单元（GRU）。然而，在许多应用中，卓越性能背后的动态特性仍然不清楚，例如，自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式，其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改：（1）LSTM中的懒惰单元更新，以及（2）残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
Low-memory convolutional neural networks through incremental depth-first processing
我们介绍了一种增量处理方案的卷积神经网络（CNN）的推理，针对嵌入式应用程序有限的内存预算。而不是一个接一个地处理层，单个输入像素通过网络的所有部分传播，它们可以在给定的结构约束下影响。这种深度优先更新方案在内存占用上有严格的限制：在1D输入的情况下，所需的内存是恒定的，在2D输入的情况下，所需的内存与输入维度的平方根成比例。
2019-05-20 cs.NE
Memory Capacity of Neural Networks using a Circulant Weight Matrix
本文利用循环矩阵给出了广义反馈神经网络记忆容量的结果。儿童在出生后不久就能够学习，这表明大脑的神经网络具有先前的学习能力，这是大脑组织中规则结构的结果。基于这一思想，我们考虑了循环矩阵作为权矩阵在反馈网络中的容量。
2014-03-12 cs.NE
Frustratingly Short Attention Spans in Neural Language Modeling
University College London（伦敦大学学院）
神经语言模型使用即时标记历史的潜在表示来预测下一个标记。最近，已经提出了在可微记忆上用注意力机制增强神经语言模型的各种方法。为了预测下一个令牌，这些模型从最近历史的记忆中查询信息，这可以促进学习中长期依赖性。然而，在记忆增强神经语言模型中使用的常规注意力机制在每个时间步产生单个输出向量。该向量既用于预测下一个令牌，也用于令牌历史的可微存储器的键和值。在本文中，我们提出了一个神经语言模型的关键值注意力机制，输出单独的表示的关键和值的微分记忆，以及编码的下一个词的分布。该模型在两个语料库上的性能优于现有的记忆增强神经语言模型。然而，我们发现我们的方法主要利用了五个最近的输出表示的记忆。这导致了一个意想不到的主要发现，即一个简单得多的模型，只基于前一个时间步的最近输出表示的串联，与更复杂的记忆增强神经语言模型不相上下。
2017-02-15 cs.AI cs.CL cs.LG
Predicting the Transition from Short-term to Long-term Memory based on Deep Neural Network
记忆是人们日常生活中基于经验的基本要素。迄今为止，许多研究都是通过分析编码时的脑电信号来预测后期记忆，但很少有研究仅利用成功短时记忆的脑电信号来预测长期记忆。因此，我们的目标是使用深度神经网络来预测长期记忆。具体地说，计算短期记忆中记住的项目的EEG信号的谱功率，并将其输入到多层感知器（MLP）和卷积神经网络（CNN）分类器以预测长期记忆。17名被试按编码、即时提取（短时记忆）和延迟提取（长期记忆）的顺序完成由图片和位置记忆组成的视觉空间记忆任务。我们采用留一主题交叉验证来评估预测模型。结果，图片记忆在CNN上显示出最高的kappa值0.19，位置记忆在MLP中显示出最高的kappa值0.32。这些结果表明，在短期记忆期间，可以通过测量的EEG信号来预测长期记忆，从而提高学习效率，并帮助记忆和认知障碍的人。
2020-12-07 cs.NE
Coherence of Working Memory Study Between Deep Neural Network and Neurophysiology
深度神经网络（DNN）的自动特征提取能力赋予了它们分析从脑功能研究中捕获的复杂脑电图（EEG）数据的潜力。这项工作调查潜在的一致性之间的对应关系的区域感兴趣（ROI）的DNN探索，和传统的神经生理学为导向的方法与工作的ROI，在工作记忆研究的情况下举例说明。将全局平均池化（GAP）引入的注意机制应用于工作记忆的公开EEG数据集，通过分类问题揭示这些相干ROI。结果显示了来自不同研究学科的ROI的对齐。这项工作肯定了利用DNN进行EEG数据分析的信心和前景，尽管缺乏对网络操作的解释。
2021-02-06 cs.LG cs.NE eess.SP
Memory via Temporal Delays in weightless Spiking Neural Network
Tufts University（塔夫茨大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
神经科学界的一个共同观点是，记忆是由神经元之间的连接强度编码的。这种认知导致人工神经网络模型将连接权重作为调节学习的关键变量。在本文中，我们提出了一个原型的无重量脉冲神经网络，可以执行一个简单的分类任务。该网络中的记忆存储在神经元之间的时间中，而不是连接的强度，并且使用Hebbian Spike Timing Dependent Plasticity（STDP）进行训练，该训练调节连接的延迟。
2022-02-15 cs.AI cs.LG cs.NE
Neural Associative Memory for Dual-Sequence Modeling
DFKI（德国人工智能研究中心）
许多重要的NLP问题都可以作为双序列或序列到序列建模任务提出。构建端到端神经架构的最新进展在解决此类任务方面非常成功。在这项工作中，我们提出了一种新的架构，双序列建模，是基于联想记忆。我们推导出AM-RNN，一种增强通用递归神经网络（RNN）的递归联想记忆（AM）。这种架构被扩展到双AM-RNN，它同时在两个AM上运行。我们的模型在文本蕴涵方面取得了非常有竞争力的结果。定性分析表明，使用双AM-RNN可以有效地桥接源序列和目标序列之间的长程依赖关系。然而，自动编码的初步实验表明，当学习解决序列到序列任务时，系统没有利用这些好处，这表明需要额外的监督或正则化。
2016-06-14 cs.AI cs.CL cs.LG
Reasoning with Memory Augmented Neural Networks for Language Comprehension
University of Massachusetts Medical School（马萨诸塞大学医学院）；Bedford VAMC（贝德福德退伍军人医疗中心）
假设检验是支持人类推理的重要认知过程。本文介绍了一种基于记忆增强神经网络的计算假设检验方法。我们的方法涉及一个假设测试循环，重新考虑并逐步完善以前形成的假设，以生成新的假设进行测试。我们使用神经语义编码器（NSE）将所提出的方法应用于语言理解任务。我们的NSE模型实现了最先进的结果，与标准机器理解基准（如儿童图书测试（CBT）和Who-Did-What（WDW）新闻文章数据集）上的单个和集成系统之前获得的结果相比，准确率绝对提高了1.2%至2.6%。
2017-02-28 cs.AI cs.CL cs.NE
A Draft Memory Model on Spiking Neural Assemblies
描述了一种具有尖峰传播延迟（SNNwD）的神经网络的草稿记忆模型（DM）.这种方法的新颖之处在于DM立即学习，刺激呈现一次，没有突触权重变化，并且没有外部学习算法。该模型的基础是将尖峰捕获在神经回路内。为了构建DM，我们开发了两个功能块，也在本文中描述。解码器模块接收来自单个尖峰信号源的输入，并将其连接到多个输出中的一个。选择器块以相反的方向操作，接收许多尖峰源并将其中一个尖峰源连接到单个输出。通过在素数分类任务中对DM进行测试，实现了概念证明。这种基于激活的记忆可以用作即时和短期记忆。
2016-03-26 cs.NE
Selective Memory Recursive Least Squares: Recast Forgetting into Memory in RBF Neural Network Based Real-Time Learning
Harbin Institute of Technology（哈尔滨工业大学）；University of Sussex（萨塞克斯大学）
本文提出选择性记忆递归最小二乘（SMRLS）方法，将RBF神经网络中的遗忘机制重塑为基于样本时空分布的记忆机制，以解决被动知识遗忘问题，并提升实时学习速度与泛化能力。
2023-08-08 cs.LG cs.NE cs.SY
Optimizing Memory Efficiency for Deep Convolutional Neural Networks on GPUs
North Carolina State University（北卡罗来纳州立大学）；NEC Labs America（NEC美国实验室）
利用大型数据集，深度卷积神经网络（CNN）实现了最先进的识别精度。然而，由于大量的计算和存储器操作，它们需要大量的执行时间。GPU的大规模并行计算能力使其成为加速CNN的理想平台之一，并且已经开发了许多基于GPU的CNN库。虽然现有的工作主要集中在CNN的计算效率，CNN的内存效率在很大程度上被忽视。然而，CNN具有复杂的数据结构，并且它们的存储器行为可以对性能产生重大影响。在这项工作中，我们研究了各种CNN层的内存效率，并揭示了数据布局和内存访问模式的性能影响。实验表明，我们提出的优化对单层和各种网络的普遍效果，单层高达27.9倍，整个网络高达5.6倍。
2016-10-12 cs.DC cs.LG cs.NE
Neural Storage: A New Paradigm of Elastic Memory
University of Florida（佛罗里达大学）
计算机内存中数据的存储和检索在系统性能中起着重要作用。传统上，计算机存储器组织是静态的，即，它们不会基于系统操作期间存储器访问行为中的应用特定特性而改变。具体而言，数据块与搜索模式（或线索）的关联以及存储数据的粒度不会演变。我们观察到，计算机内存的这种静态性质不仅限制了我们可以存储在给定物理存储中的数据量，而且还错过了在各种应用程序中显着提高性能的机会。相反，人类记忆的特点是在存储和检索数据方面似乎具有无限的可塑性-以及动态创建/更新数据和相应线索之间的关联。在本文中，我们介绍了神经存储（NS），大脑启发的学习记忆范式，组织记忆作为一个灵活的神经记忆网络。在NS中，网络结构、关联强度和数据粒度在系统运行过程中不断调整，提供了前所未有的可塑性和性能优势。我们提出了相关的存储/检索/保留算法在NS中，它集成了一个形式化的学习过程。使用一个成熟的操作模型，我们证明了NS实现了两个代表性的应用程序相比，传统的基于内容的内存的内存访问性能的数量级的改善。
2021-01-07 cs.AI cs.AR cs.ET
Improving Memory Utilization in Convolutional Neural Network Accelerators
CSEM SA（瑞士电子与微技术中心）；Swiss Federal Institute of Technology, ETH Zurich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
虽然通过引入更大更深的网络架构，卷积神经网络的准确性得到了巨大的提高，但存储其参数和激活的内存占用也有所增加。这一趋势尤其挑战了功率和资源有限的加速器设计，这些设计通常限于将所有网络数据存储在片上存储器中，以避免连接高能耗的外部存储器。因此，最大化适合给定加速器的网络大小需要最大化其内存利用率。虽然传统上使用的乒乓缓冲技术是后续激活层映射到分离的内存区域，我们提出了一种映射方法，允许这些区域重叠，从而更有效地利用内存。这项工作提出了计算最大激活内存重叠的数学模型，从而计算在内存有限的加速器上执行卷积神经网络逐层处理所需的片上内存的下限。我们对各种真实世界对象检测器网络的实验表明，与传统的乒乓缓冲相比，所提出的映射技术可以将激活内存减少高达32.9%，将整个网络的总内存减少高达23.9%。对于更高分辨率的去噪网络，我们实现了48.8%的激活内存节省。此外，我们在基于FPGA的摄像头上实现了一个人脸检测器网络，以在一个完整的端到端系统上验证这些内存节省。
2021-04-06 cs.CV cs.LG cs.NE
Memory Capacity of a Random Neural Network
研究了随机神经网络的信息容量问题。网络由正方形和对称的矩阵表示。矩阵具有确定在矩阵中找到的最高和最低可能值的权重。检查的矩阵是随机生成的，并通过计算机程序进行分析。我们发现令人惊讶的结果，网络的容量是一个最大的二进制随机神经网络，它不改变与权重相关的量化级别的数量增加。
2012-11-14 cs.NE
Structured Memory for Neural Turing Machines
IBM Watson（IBM 沃森）
神经图灵机（NTM）包含模拟大脑中的“工作记忆”的记忆组件，以存储和检索信息，从而简化简单的算法学习。到目前为止，只提出了线性组织的记忆，在实验中，我们观察到该模型并不总是收敛，并且在处理某些任务时很容易过拟合。我们认为记忆成分是NTM某些错误行为的关键，更好地组织记忆成分可以帮助解决这些问题。在本文中，我们为NTM提出了几种不同的记忆结构，并且我们在实验中证明了我们提出的两种结构记忆NTM可以在复制任务和关联回忆任务的速度和预测准确性方面带来更好的收敛性（Graves et al. 2014）。
2015-10-25 cs.AI cs.NE
Improving Differentiable Neural Computers Through Memory Masking, De-allocation, and Link Distribution Sharpness Control
微分神经计算机（DNC）可以学习算法和问答任务。分析其内部激活模式揭示了三个问题：最重要的是，缺乏键值分离使得基于内容的查找产生的地址分布嘈杂而平坦，因为值影响得分计算，尽管只有键应该。第二，DNC的内存分配导致混叠，这是基于内容的查找的问题。第三，使用时间链接矩阵链接存储器读取指数地降低地址分布的质量。我们提出的这些问题的解决方案提高了算术任务的性能，也提高了43%的bAbI问答数据集的平均出错率。
2022-04-21 cs.NE
Deep Neural Network Optimized to Resistive Memory with Nonlinear Current-Voltage Characteristics
人工神经网络计算依赖于密集的向量矩阵乘法。最近，新兴的非易失性存储器（NVM）交叉阵列显示出以高能量效率实现这种操作的可行性，因此有许多关于有效地利用新兴的NVM交叉阵列作为模拟矢量矩阵乘法器的工作。然而，它的非线性I-V特性限制了关键的设计参数，如读取电压和重量范围，导致大量的精度损失。在本文中，而不是一个给定的神经网络优化硬件参数，我们提出了一种方法，重建一个神经网络本身优化电阻存储器交叉阵列。为了验证所提出方法的有效性，我们使用MNIST和CIFAR-10数据集，使用两种不同的电阻式随机存取存储器（RRAM）模型，对各种神经网络进行了仿真。仿真结果表明，当突触器件具有非线性I-V特性时，我们提出的神经网络比传统的神经网络产生更高的推理精度。
2017-03-30 cs.ET cs.NE
Memory and Information Processing in Recurrent Neural Networks
循环神经网络（RNN）是一种简单的动力系统，其计算能力归因于其短期记忆。RNN的短期记忆以前仅在正交网络的情况下进行了分析研究，并且仅在退火近似和不相关输入下进行。在这里，我们第一次提出了一个精确的解决方案，内存容量和任务解决性能作为一个给定的网络实例的结构的函数，使RNN中的功能-结构关系的直接确定。我们计算了任意网络的记忆容量与指数相关的输入，并进一步将其与系统在监督学习设置中的信号处理任务的性能相关。我们计算的预期误差和最坏情况下的误差界作为网络的频谱和其输入和输出的相关结构的函数。我们的研究结果给出了一个解释的学习和概括的任务解决使用短期记忆，这是至关重要的建立替代计算机体系结构使用的物理现象的基础上短期记忆的原则。
2016-04-23 cs.NE
HyperENTM: Evolving Scalable Neural Turing Machines through HyperNEAT
IT University of Copenhagen（哥本哈根信息技术大学）
记忆增强神经网络的最新发展已经解决了需要长期记忆的序列问题，这对于传统的神经网络来说是棘手的。然而，目前的方法仍然难以扩展到大的存储器大小和序列长度。在本文中，我们将展示如何访问内存可以通过HyperNEAT的神经图灵机（HyperENTM）的几何编码。我们证明，使用间接HyperNEAT编码允许在位向量复制任务中训练小的记忆向量，然后应用从这种训练中获得的知识来加快对较大大小的记忆向量的训练。此外，我们还证明了在某些情况下，训练为复制大小为9的位向量的网络可以在不进行进一步训练的情况下扩展到1,000的大小。虽然本文中的任务很简单，但这些结果可能会将具有外部存储器的网络的问题扩展到具有更大存储器向量和理论上无限存储器大小的问题。
2017-10-12 cs.AI cs.NE
Sharing Leaky-Integrate-and-Fire Neurons for Memory-Efficient Spiking Neural Networks
针对脉冲神经网络中LIF神经元内存开销大的问题，本文提出EfficientLIF-Net，通过跨层和通道共享LIF神经元，在保持精度的同时显著提升前向和反向内存效率。
2023-05-26 cs.NE
A Quantitative Neural Coding Model of Sensory Memory
感觉记忆在神经元尺度上的编码机制是神经科学研究的重要课题之一。我们提出了一个定量的神经网络模型，它是自组织、自相似、自适应的，就像一个遵循达尔文理论的生态系统。根据该模型，神经编码是从对象到神经元的多对一映射。整个大脑是一个实时统计的图灵机，具有强大的表示和学习能力。该模型可以解决时间编码与基于速率编码、祖母细胞与群体编码、衰减理论与干扰理论等重要争论。它还为记忆巩固、情景记忆、意识和情感等一些关键问题提供了解释。最后指出其哲学意义。
2014-06-25 cs.NE q-bio.NC
Cached Long Short-Term Memory Neural Networks for Document-Level Sentiment Classification
Fudan University（复旦大学）
最近，神经网络由于其减轻特征工程的能力而在情感分类方面取得了巨大的成功。然而，剩下的挑战之一是在文档级情感分类中对长文本进行建模，这是由于内存单元的不足而导致的。为了解决这个问题，我们提出了一个缓存的长短期记忆神经网络（CLSTM），以捕捉长文本的整体语义信息。CLSTM引入了一种缓存机制，它将记忆分成几个具有不同遗忘率的组，从而使网络能够更好地将情感信息保存在一个循环单元中。在三个公开的文档级情感分析数据集上，所提出的CLSTM优于最先进的模型。
2016-10-17 cs.CL cs.NE
Associative Memory Model with Neural Networks: Memorizing multiple images with one neuron
Kobe Shoin Women’s University（神户女学院大学）
提出一种联想记忆神经网络模型，用单个神经元存储多幅图像，激活该神经元即可同时回忆全部图像，且能从不完整输入中完整重建图像。
2025-10-08 cs.NE
Construction of a spike-based memory using neural-like logic gates based on Spiking Neural Networks on SpiNNaker
神经形态工程集中了大量研究人员的努力，由于其作为一个研究领域的巨大潜力，在寻找利用生物神经系统和大脑作为一个整体的优势，设计更有效和实时的应用程序。为了开发尽可能接近生物学的应用，使用了脉冲神经网络（SNN），其被认为是生物学上合理的，并且形成了第三代人工神经网络（ANN）。由于一些基于SNN的应用程序可能需要存储数据以便稍后使用，因此需要在数字电路中以及以某种形式在生物学中存在的东西，因此需要尖峰存储器。这项工作提出了一个尖峰实现的存储器，这是一个最重要的组成部分之一，在计算机体系结构，这可能是必不可少的设计一个完全尖峰计算机。在设计这种尖峰存储器的过程中，还实现和测试了不同的中间组件。测试在SpiNNaker神经形态平台上进行，并允许验证用于构建所呈现块的方法。此外，这项工作深入研究了如何使用这种方法来构建尖峰块，并将其与其他类似作品中使用的尖峰组件（包括尖峰逻辑门和尖峰存储器）的设计进行了比较。所有实现的块和开发的测试都可以在公共存储库中获得。
2022-06-08 cs.NE
Nonvolatile Spintronic Memory Cells for Neural Networks
提出了一种类似于1T DRAM的新型自旋电子非易失性存储单元，具有非破坏性读取功能。细胞可以用作神经计算单元。提出了一种双电路神经网络架构，以利用这些设备对抗卷积网络中涉及的复杂操作。基于HSPICE和Matlab的仿真进行了研究这种架构的性能分类图像时，以及不同的纳米磁体的大小和稳定性的影响。自旋电子单元的性能优于相同网络的纯基于电荷的实现，每个处理的图像总共消耗约100 pJ。
2019-05-29 cs.ET cs.NE
Optimal modularity and memory capacity of neural reservoirs
Indiana University（印第安纳大学）；Indiana University Network Science Institute（印第安纳大学网络科学研究所）
神经网络是一种强大的计算框架，已被生物进化和人类用于解决各种问题。虽然神经网络的计算能力是由它们的结构决定的，但目前对神经网络的结构和功能之间的关系的理解仍然是原始的。在这里，我们揭示了神经网络的模块化架构起着至关重要的作用，在确定阈值神经元网络的神经动力学和记忆性能。特别是，我们证明了存在一个最佳的模块化的内存性能，在局部凝聚力和全局连接之间的平衡建立，允许最佳模块化网络记住更长的时间。我们的研究结果表明，从神经网络和信息传播过程的动态分析的见解可以利用更好地设计神经网络，并可能揭示大脑的模块化组织。
2019-03-26 cs.AI cs.NE physics.bio-ph
Repeated sequential learning increases memory capacity via effective decorrelation in a recurrent neural network
神经系统中的记忆是在外部输入下通过神经和学习动力学的相互作用而形成的。通过在神经网络中引入一个简单的局部学习规则，我们发现通过连续重复输入-输出映射的学习步骤，记忆容量大大增加。这种增强的起源归因于连接中的伪逆相关的产生。这与自发活动的出现有关，自发活动间歇性地表现出与嵌入记忆相对应的神经模式。记忆的稳定化是通过在每个输入的应用下从自发活动的明显分叉来实现的。
2019-06-22 cs.NE nlin.AO q-bio.NC
Neural Oscillations for Encoding and Decoding Declarative Memory using EEG Signals
陈述性记忆与日常生活经验记忆的关系一直被研究。先前的研究报道了在编码阶段与行为表现相关的功率谱的变化，然而解码阶段仍然需要探索。本研究探讨了记忆过程中神经振荡的变化。被试被要求进行编码和解码阶段的记忆任务，同时记录脑电信号。结果表明，在编码阶段，额中央区低β、高β带功率显著降低，左颞区低β、高β和γ带功率显著降低，与成功的后续记忆效应有关。对于解码阶段，仅观察到额中央区的α功率显著降低。这一发现表明，β和α波段分别与记忆任务的编码和解码阶段相关。
2020-02-04 cs.NE eess.SP q-bio.NC
Pattern Recognition and Memory Mapping using Mirroring Neural Networks
Osmania University（奥斯曼尼亚大学）；Sreenidhi Institute of Science and Technology（斯里尼迪科技学院）
在本文中，我们提出了一种新的学习实现模式识别使用镜像神经网络（MNN）的概念，它可以从不同的感官输入模式中提取信息，并执行模式识别任务。它还能够被用作高级关联存储器，其中图像数据以无监督的方式与语音输入相关联。由于体系结构是分层和模块化的，它有可能被用来设计不断增加的复杂性的学习引擎。
2008-12-13 cs.AI cs.NE
