Semantically-correlated memories in a dense associative model
Institute for Computational and Experimental Research in Mathematics, Brown University(布朗大学计算与实验数学研究所);SciAI Center, Cornell University(康奈尔大学SciAI中心);Neural Coding and Brain Computing Unit, OIST Graduate University(冲绳科学技术大学院大学神经编码与脑计算单元)
本文提出新型联想记忆模型 CDAM,在统一框架内集成自联想与异联想,利用图结构语义链接记忆模式,并采用反 Hebbian 学习规则揭示四种动力学模式,在真实数据、图像检索及神经科学实验复现中展现有效性。
2024-06-02 cs.AI cs.LG cs.NE
Spiking representation learning for associative memories
本文提出一种受新皮层柱状结构启发的SNN,利用Hebbian与结构可塑性及稀疏Poisson神经元,实现无监督表征学习和联想记忆,并验证模式补全等吸引子记忆特性。
2024-12-05 cs.NE q-bio.NC
Thermal Robustness of Retrieval in Dense Associative Memories: LSE vs LSR Kernels
Interdisciplinary Centre for Security, Reliability and Trust (SnT) University of Luxembourg(安全、可靠性与信任跨学科中心(SnT)卢森堡大学)
研究通过蒙特卡洛模拟比较了LSE与LSR核在高温下的检索稳定性,发现LSE核在低负载下能维持检索,而LSR核在特定阈值下实现完美检索。
2026-03-07 cond-mat.dis-nn cs.LG cs.NE
A Massively Parallel Associative Memory Based on Sparse Neural Networks
McGill University(麦吉尔大学);Télécom Bretagne(布列塔尼电信学院)
关联存储器以这样的方式存储内容,使得内容可以稍后通过向存储器呈现内容的一小部分来检索,而不是像在更传统的存储器中那样向存储器呈现地址。关联存储器被用作数据库引擎、异常检测系统、压缩算法和面部识别系统中的算法的构建块。关联存储器的一个经典例子是Hopfield神经网络。最近,Gripon和Berrou介绍了一种替代结构,该结构基于纠错码理论的思想,并且在容量、多样性和效率方面大大优于Hopfield网络。在本文中,我们实现了一个通用的图形处理单元(GPU)上的Gripon-Berrou联想记忆的变化。Gripon和Berrou的工作提出了两种检索规则,总和和最大值和。和的和规则只使用矩阵向量乘法,很容易在GPU上实现。最大值和规则实现起来不那么简单,因为它涉及到非线性运算。然而,最大值和规则给出了明显更好的检索出错率。我们提出了一种混合规则,专门为在GPU上实现,实现了880倍的加速,而不牺牲任何精度。
2013-07-21 cs.AI cs.DC cs.NE
Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes
Northwestern University(西北大学);Center for Foundation Models and Generative AI(基础模型与生成式AI中心)
该研究通过关联核化Hopfield模型(KHMs)记忆配置与球面码,首次得到现代Hopfield模型紧致最优的渐近记忆容量,提出亚线性时间算法U-Hop+实现最优容量,并分析特征维度缩放规律,提升了KHMs检索能力与对应Transformer的表示学习效果。
2024-10-31 cs.AI cs.LG cs.NE
Coupled Neural Associative Memories
School of Computer;Communication Sciences Ecole Polyetechnique Federale de Lausanne (EPFL) Switzerland
我们提出了一种新的架构来设计一个神经联想记忆,能够学习大量的模式,并在噪声存在的情况下回忆起来。它基于将神经元分成局部簇和平行平面,非常类似于猕猴大脑视觉皮层的结构。我们提出的架构与空间耦合代码的共同特征使我们能够表明,这种网络在消除噪声方面的性能大大优于以前的方法,同时保持学习指数大量模式的能力。以前的工作要么未能提供良好的性能在召回阶段或提供大的模式检索(存储)的能力。我们还提出了计算实验,提供额外的支持的理论分析。
2013-08-23 cs.IT cs.LG cs.NE
Storing overlapping associative memories on latent manifolds in low-rank spiking networks
Champalimaud Centre for the Unknown(查普拉米乌德未知中心);Champalimaud Foundation(查普拉米乌德基金会)
本文利用低维凸分段线性流形的几何框架,在低秩脉冲网络中实现重叠联想记忆存储,提出多种学习规则,证明存储容量随神经元数量线性扩展并具备鲁棒模式补全能力。
2025-06-30 cs.LG cs.NE q-bio.NC
Neural Associative Skill Memories for safer robotics and modelling human sensorimotor repertoires
University of Oxford(牛津大学);Yale University(耶鲁大学)
本文提出神经关联技能记忆框架,通过自监督预测编码统一技能学习与表达,实现故障检测与上下文感知执行,提升机器人安全性和生物传感器运动学习研究。
2025-05-14 cs.NE cs.RO
A study of retrieval algorithms of sparse messages in networks of neural cliques
关联存储器是使用部分内容而不是索引寻址的数据结构。它们提供良好的故障可靠性和生物相容性。在不同的关联存储器家族中,稀疏存储器被认为提供了最好的效率(存储的比特数与网络本身使用的比特数之比)。他们的检索过程的性能已被证明受益于使用迭代。然而,经典的算法需要有先验知识的数据检索,如非零符号的数量。我们介绍了几个家庭的算法,以提高检索过程中的性能,最近提出的稀疏联想记忆的基础上二进制神经网络。我们表明,这些算法提供了更好的性能,以及更好的可扩展性比现有的技术。我们还分析了所需的迭代次数,并推导出相应的曲线。
2013-08-21 cs.NE
Combating Corrupt Messages in Sparse Clustered Associative Memories
本文对Gripon和Berrou提出的基于神经网络的联想记忆进行了分析和扩展。这种联想记忆类似于著名的Willshaw模型,增加了分簇结构。在文献中,已经提出了两种检索方案的网络动力学,即总和和最大值和。他们都提供了更好的性能比Willshaw和Hopfield网络,当比较检索的情况下被认为是。以前的讨论和实验集中在擦除场景,其中部分消息被用作对网络的探测,希望检索完整的消息。在这方面,最大和在检索率方面大大优于和和。然而,我们观察到,当存在噪声和错误并且网络被损坏的探针查询时,最大值和面临严重的限制,因为其严格的激活规则阻止神经元在停用后重新恢复。在本文中,我们对不同的错误场景进行分类和分析,以便一致地处理擦除和损坏场景。我们对网络结构进行了修正,以提高检索率,代价是每个神经元增加一个额外的标量。之后,提出了五种不同的方法来处理腐败的探针。因此,我们扩展了网络的能力,也增加了检索过程的鲁棒性。然后,我们通过实验比较所有这些建议,并讨论在不同类型的错误下,每种方法的利弊。仿真结果表明,如果精心设计,网络是能够同时保持高检索率和低运行时间,即使被腐败的探针查询。
2014-09-27 cs.NE
Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories
Aichi Institute of Technology(爱知工业大学)
本研究揭示核逻辑回归关联记忆的优化脊为秩1谱坍缩附近的几何奇点,梯度下降通过稳定性边缘现象动态平衡曲率,从而在高曲率边界塑造最优高容量记忆表征。
2026-09-28 cs.LG cs.NE
ReSpawn: Energy-Efficient Fault-Tolerance for Spiking Neural Networks considering Unreliable Memories
Technische Universität Wien (TU Wien)(维也纳工业大学);New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
脉冲神经网络(SNN)由于其生物学启发的计算而显示出具有低能量和无监督学习能力的潜力。然而,如果在存储器中存在硬件引起的故障的情况下执行它们的处理,则它们可能遭受精度降低,所述故障可能来自制造缺陷或电压引起的近似误差。由于最近的工作仍然集中在SNN中的故障建模和随机故障注入,SNN硬件架构中的存储器故障对准确性的影响和相应的故障缓解技术没有得到彻底的探讨。为此,我们提出了ReSpawn,这是一种新的框架,用于减轻片外和片上存储器故障对弹性和节能SNN的负面影响。ReSpawn的关键机制是:(1)分析SNN的容错;(2)通过(a)存储器中的故障感知映射(FAM)和(b)故障感知训练和映射(FATM)来提高SNN的容错。如果训练数据集不是完全可用的,则通过有效的位混洗技术来采用FAM,该技术将有效位放置在非故障存储单元上,并将不重要位放置在故障存储单元上,同时最小化存储器访问能量。同时,如果训练数据集是完全可用的,则通过在数据映射和训练过程中考虑故障存储单元来采用FATM。实验结果表明,与没有故障缓解技术的基线SNN相比,具有故障感知映射方案的ReSpawn将具有900个神经元的网络的准确性提高了70%,而无需重新训练。
2021-08-23 cs.AR cs.LG cs.NE
Dense Associative Memories with Analog Circuits
MIT(麻省理工学院);Princeton University(普林斯顿大学);IBM Research(IBM研究院)
本文提出了一种基于模拟电路的DenseAM加速器,实现了在模型大小不变的情况下恒定时间推断,展示了模拟DenseAM在高效大规模推断中的优势。
2025-12-17 cs.NE
Quantization robustness from dense representations of sparse functions in high-capacity kernel associative memory
Faculty of Information Science, Aichi Institute of Technology(爱知工业大学信息科学部)
本文研究了基于核逻辑回归(KLR)的高容量关联记忆的压缩性,揭示其鲁棒表示的几何原理,通过量化和剪枝实验发现稀疏输入映射通过密集双模参数化实现,为高效硬件核关联记忆提供途径。
2026-09-18 cs.NE
Hierarchical Associative Memory
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
密集联想记忆或现代Hopfield网络具有许多吸引人的联想记忆特性。它们可以完成模式完成,存储大量的记忆,并且可以使用具有一定程度的生物相容性和神经元之间丰富反馈的递归神经网络来描述。同时,到目前为止,这类模型只有一个隐藏层,并且只有密集连接的网络架构,这两个方面阻碍了它们的机器学习应用。本文解决了这一差距,并描述了一个完全递归的联想记忆模型,具有任意大量的层,其中一些可以局部连接(卷积),以及相应的能量函数,该能量函数在神经元激活的动态轨迹上减少。完整网络的存储器使用编码在较低层的突触权重中的原语动态地“组装”,其中“组装规则”编码在较高层的突触权重中。除了自下而上的信息传播(通常使用的前馈神经网络的典型特征)之外,所描述的模型还具有来自高层的丰富的自上而下的反馈,帮助下层神经元决定它们对输入的响应刺激。
2021-07-14 cond-mat.dis-nn cs.LG cs.NE
Improving Sparse Associative Memories by Escaping from Bogus Fixed Points
Gripon-Berrou神经网络(GBNN)是最近发明的递归神经网络,其包含类似LDPC的稀疏编码设置,这使得其对噪声和错误具有极强的弹性。GBNN的一个自然用途是作为关联存储器。神经元动力学有两种激活规则,即总和和最大值之和。后者在检索率方面大大优于前者。在之前的讨论和实验中,人们相信,虽然总和可能导致网络振荡,但最大值和总是收敛到与先前存储的模式相对应的神经元团的集合。然而,这并不完全正确。事实上,最大值和经常收敛到虚假的不动点,其中集合只包括收敛状态的一个小子集。通过利用这个被忽视的事实,我们可以大大提高检索率。我们讨论了这个特殊的问题,并提出了一些算法,以推动最大值和超越这些虚假的不动点。为了直接和全面地解决这个问题,还开发了一种新的后处理算法,并根据GBNN的结构进行了定制。实验结果表明,新算法在检索率和运行时间方面都取得了巨大的提升,与标准的sum-of-max和所有其他算法相比。
2013-08-27 cs.IT cs.NE math.IT
CRAFT: Criticality-Aware Fault-Tolerance Enhancement Techniques for Emerging Memories-Based Deep Neural Networks
深度神经网络(DNN)已经成为计算机视觉和自然语言处理应用的最有效的编程范例。随着DNN的快速发展,用于在边缘设备上部署基于DNN的应用的高效硬件架构已经得到了广泛的研究。新兴的非易失性存储器(NVM)具有更好的可扩展性,非易失性和良好的读取性能,被认为是部署DNN的有希望的候选者。然而,尽管有这样的前景,新兴的NVM经常遭受可靠性问题,如固定故障,这会降低芯片产量/存储器寿命,并严重影响DNN的准确性。固定单元可以被读取但不能被重新编程,因此,NVM中的固定故障可能会或可能不会导致错误,这取决于要存储的数据。通过减少由固定故障引起的错误数量,可以增强基于DNN的系统的可靠性。本文提出了CRAFT,即,关键性感知容错增强技术,用于增强基于NVM的DNN在存在固定故障时的可靠性。数据块重映射技术用于减少固定故障对DNN准确性的影响。此外,通过对各种DNN执行比特级关键性分析,可以识别网络参数中可能显著影响准确性的关键比特位置。基于这种分析,我们提出了一种编码方法,有效地交换的关键位的位置与非关键位时,更多的错误(由于固定故障)存在于关键位。
2023-02-08 cs.AR cs.NE
Storing non-uniformly distributed messages in networks of neural cliques
CEA Leti;TELECOM Bretagne(布列塔尼电信学院)
研究提出在稀疏联想记忆中高效存储非均匀消息的策略,分析方法并展示实际应用。
2013-07-24 cs.NE cs.SY eess.SY
Phases in a class of associative memories via hidden neurons
CyberAgent AI Lab(CyberAgent AI实验室);RIKEN iTHEMS(RIKEN跨学科理论科学研究所);Graduate School of Artificial Intelligence and Science, Rikkyo University(立教大学人工智能与科学研究科)
本文研究Krotov-Hopfield二部架构(类H),通过隐藏神经元作为有序参数,统一分析多项式与指数负载下的联想记忆相图,揭示可见与隐藏拉格朗日函数分别决定稳定性和存储规模。
2026-09-11 cond-mat.dis-nn cs.LG cs.NE
Thermodynamics of bidirectional associative memories
Università del Salento(萨伦托大学);Istituto Nazionale di Fisica Nucleare(国家核物理研究所);Universidad Complutense de Madrid(马德里康普顿斯大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所)
本文研究双向联想记忆(BAM)的平衡性质,通过统计物理方法刻画其相图,发现层间不对称时BAM比Hopfield模型更高效,并揭示其检索机制与两个耦合受限玻尔兹曼机的潜在等价性。
2023-03-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Sequential Learning in the Dense Associative Memory
School of Computing, University of Otago(奥塔哥大学计算机学院)
本文研究了Dense Associative Memory (DAM)中的序列学习问题,通过应用多种最先进的序列学习技术进行基础基准测试,揭示了DAM行为中前所未有的转变,并探讨了其作为生物神经网络研究工具的实用性。
2025-03-04 cs.AI cs.NE
Associative content-addressable networks with exponentially many robust stable states
大脑必须储存大量的记忆,这些记忆与一生中遇到的许多事件相对应。然而,在现有的神经网络模型中,记忆状态的数量要么随着网络规模的增长而增长,要么在几乎没有噪声的情况下灾难性地失败。我们构建了一个关联的内容寻址存储器,具有指数级的稳定状态和鲁棒的纠错。该网络在受限玻尔兹曼机结构上具有扩展图连通性。扩展特性允许简单的神经网络动力学与现代纠错码相提并论。适当的网络可以用稀疏随机连接、球状节点和使用低动态范围权重的关联学习来构建。因此,稀疏准随机结构-重要纠错码的特征-可以在人工神经网络和大脑中提供高性能计算。
2017-11-02 cs.NE q-bio.NC
Predictive Associative Memory: Retrieval Beyond Similarity Through Temporal Co-occurrence
Independent Researcher(独立研究者)
本文提出预测性关联记忆(PAM),通过时间共现学习嵌入空间的关联结构,实现超越相似性的检索,实验显示其在关联召回和区分能力上表现优异。
2026-02-11 cs.AI cs.IR cs.LG
Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models
MRC Brain Network Dynamics Unit(MRC脑网络动力学单元);University of Oxford(牛津大学)
大量的神经网络模型的联想记忆已被提出的文献。这些包括经典的Hopfield网络(HN),稀疏分布式存储器(SDM),以及最近的现代连续Hopfield网络(MCHN),它与机器学习中的自注意力有着密切的联系。在本文中,我们提出了一个通用的框架来理解这种记忆网络的操作作为一个序列的三个操作:相似性,分离和投影。我们得出所有这些记忆模型的实例,我们的一般框架与不同的相似性和分离功能。我们扩展了Krotov等人(2020)的数学框架,以使用神经元之间仅具有二阶相互作用的神经网络动力学来表达一般联想记忆模型,并推导出作为动力学的Lyapunov函数的一般能量函数。最后,使用我们的框架,我们经验性地调查这些联想记忆模型使用不同的相似性函数的能力,超越了点积相似性度量,并经验性地证明,欧几里德或曼哈顿距离相似性度量在许多任务中的实际表现更好,使更强大的检索和更高的内存容量比现有的模型。
2022-06-17 cs.AI cs.LG cs.NE
Hypercomplex-Valued Recurrent Correlation Neural Networks
Institute of Mathematics, Statistics, and Scientific Computing(数学、统计与科学计算研究所);University of Campinas(坎皮纳斯大学)
循环相关神经网络(RCNNs)是Chiueh和Goodman提出的基于双极相关的Hopfield神经网络的改进型,可用于实现大容量的联想记忆。在本文中,我们扩展了双极RCNN处理超复值数据。准确地说,我们提出了一个广泛的超复值RCNN类的数学背景。然后,我们提供了必要条件,确保超复值RCNN总是使用同步或异步更新模式稳定在平衡点。双极,复杂,双曲,四元数和八元数值RCNN的例子来说明理论结果。最后,计算实验证实了超复值RCNN作为联想记忆设计的存储和调用灰度图像的潜在应用。
2020-01-31 cs.LG cs.NE stat.ML
Fast Weight Long Short-Term Memory
Intel AI Lab, Artificial Intelligence Products Group, Intel Corporation(英特尔人工智能实验室,人工智能产品组,英特尔公司)
使用快速权重的联想记忆是一种短期记忆机制,它大大提高了递归神经网络(RNN)的记忆容量和时间尺度。由于最近的研究仅将快速权重引入常规RNN,因此不知道快速权重记忆是否对门控RNN有益。在这项工作中,我们报告了长短期记忆(LSTM)网络和快速权重联想记忆之间的显着协同作用。我们发现,这种组合,在学习联想检索任务,结果更快的训练和更低的测试错误,性能提升最突出的高记忆任务的困难。
2018-04-18 cs.LG cs.NE
Oscillator-Based Associative Memory with Exponential Capacity: Theory, Algorithms, and Hardware Implementation
University of California, Irvine(加州大学尔湾分校);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出基于库莫特振子网络的联想记忆架构,实现指数级存储容量,通过相位锁定配置编码记忆,并验证其在神经形态硬件中的可行性。
2026-04-01 cs.NE
Associative Learning for Network Embedding
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
网络嵌入的任务是将网络中的节点表示为低维向量,同时结合拓扑和结构信息。大多数现有的方法解决这个问题的因式分解的邻近矩阵,直接或隐式。在这项工作中,我们从一个新的角度介绍了一种网络嵌入方法,它利用现代Hopfield网络(MHN)进行联想学习。我们的网络学习每个节点的内容与该节点的邻居之间的关联。这些关联在MHN中充当记忆。网络的循环动态使得在给定被屏蔽节点的邻居的情况下恢复该节点成为可能。我们所提出的方法进行评估不同的下游任务,如节点分类和链接预测。结果显示,与常见的矩阵分解技术和基于深度学习的方法相比,该方法具有竞争力的性能。
2022-08-30 cs.LG cs.NE cs.SI
Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition
联想记忆已经成为大规模递归新皮层网络计算的重要候选者。实现联想记忆的吸引子网络为许多认知现象提供了机制解释。然而,吸引子记忆模型通常使用正交或随机模式进行训练,以避免记忆之间的干扰,这使得它们对于自然发生的复杂相关刺激(如图像)不可行。我们通过将一个经常性吸引子网络与一个前馈网络相结合来解决这个问题,该网络使用无监督的Hebbian-Bayesian学习规则来学习分布式表示。由此产生的网络模型结合了许多已知的生物学特性:无监督学习,赫布可塑性,稀疏分布激活,稀疏连接,柱状和层状皮质架构等。我们评估的前馈和经常性的网络组件在复杂的模式识别任务的MNIST手写数字数据集的协同效应。我们证明,经常性吸引子组件实现联想记忆时,前馈驱动的内部(隐藏)表示训练。关联存储器还示出执行原型提取从训练数据,并使表示严重失真的输入鲁棒。我们认为,从机器学习的角度来看,前馈和经常性计算的建议整合的几个方面是特别有吸引力的。
2022-09-03 cs.NE
Dense Associative Memory for Pattern Recognition
Simons Center for Systems Biology(西蒙斯系统生物学中心);Institute for Advanced Study(高等研究院);Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学)
研究了一种联想记忆模型,它存储和可靠地检索比网络中神经元数量多得多的模式。我们提出了这种密集联想记忆和深度学习中常用的神经网络之间的简单对偶。在这种对偶的联想记忆方面,可以构造一个在两个极限情况之间平滑插值的模型族。一个极限被称为模式识别的特征匹配模式,另一个极限被称为原型机制。在二元性的深度学习方面,这个家族对应于具有一个隐藏层和各种激活函数的前馈神经网络,这些函数将可见神经元的活动传输到隐藏层。这一系列的激活函数包括物流,整流线性单元,和整流多项式的更高的次数。所提出的对偶性使得应用来自联想记忆的基于能量的直觉来分析具有不寻常的激活函数的神经网络的计算特性成为可能-到目前为止尚未在深度学习中使用的更高的整流多项式。密集存储器的效用说明了两个测试用例:逻辑门XOR和识别手写数字从MNIST数据集。
2016-09-27 cond-mat.dis-nn cs.LG cs.NE
Energy-based General Sequential Episodic Memory Networks at the Adiabatic Limit
广义联想记忆模型(GAMM)有一个恒定的状态依赖的能量表面,导致输出动态固定点,检索单个记忆的记忆,可以异步预加载的集合。我们引入了一类新的一般序列情景记忆模型(GSEMM),在绝热极限下,该模型表现出随时间变化的能量面,导致一系列Meta稳态,这些亚稳态是序列情景记忆。动态能量表面通过新引入的非对称突触来实现,该突触在网络的隐藏层中具有信号传播延迟。我们研究的理论和经验性质的两个记忆模型从GSEMM类,不同的激活函数。LISEM在特征层中具有非线性,而DSEM在隐藏层中具有非线性。原则上,DSEM的存储容量随着网络中神经元的数量呈指数增长。我们引入了一个基于能量最小化原理的突触学习规则,并证明它可以在线学习单个记忆及其顺序关系。该规则类似于赫布学习算法和尖峰定时依赖可塑性(STDP),其描述神经元之间的突触改变强度的条件。因此,GSEMM将情景记忆的静态和动态特性结合在一个单一的理论框架下,并将神经科学、机器学习和人工智能联系在一起。
2022-12-11 cs.NE
Neural Networks Built from Unreliable Components
通过结构化模式集和基于图的推理算法在联想记忆设计中的最新进展已经允许可靠地学习和检索指数数量的模式。然而,这些和经典的联想记忆,都假设内部无噪声的计算节点。本文考虑的设置时,内部计算也是嘈杂的。即使所有组件都是嘈杂的,在召回的最终错误概率往往可以非常小,因为我们的特点。存在阈值现象。我们还展示了如何优化推理算法参数时,知道内部噪声的统计特性。
2013-05-31 cs.IT cs.NE math.IT
Associative Memory using Attribute-Specific Neuron Groups-2: Learning and Sequential Associative Recall between Cue Neurons for different Cue Balls
Kobe Shoin Women’s University(神户女学院大学)
本文提出一种神经网络模型,通过学习多个属性作为图像进行关联性顺序回忆。模型通过增加属性数量扩展了先前模型,利用QR码图像模式训练不同属性处理系统,实现跨系统联想回忆。
2026-03-26 cs.NE
Meta-Learning Deep Energy-Based Memory Models
DeepMind
我们研究的问题,学习联想记忆-一个系统,这是能够检索记忆模式的基础上,其扭曲或不完整的版本。吸引子网络提供了一个良好的关联记忆模型:模式被存储为网络动态的吸引子,并且通过从查询模式开始运行动态直到它收敛到吸引子来执行关联检索。在这样的模型中,动力学通常被实现为最小化能量函数的优化过程,例如在经典的Hopfield网络中。一般来说,很难推导出既压缩又快速的给定动力学和能量的写入规则。因此,大多数基于能量的记忆研究要么局限于易于处理的能量模型,不足以处理复杂的高维对象,如自然图像,要么局限于不提供快速书写的模型。我们提出了一种新的基于能量的记忆模型(EBMM)的元学习方法,该方法允许使用任意神经架构作为能量模型,并快速将模式存储在其权重中。我们的实验表明,我们的EBMM方法可以建立压缩记忆的合成和自然数据,并能够联想检索,优于现有的记忆系统的重建误差和压缩率。
2021-04-20 cs.LG cs.NE stat.ML
New Insights on Learning Rules for Hopfield Networks: Memory and Objective Function Minimisation
Hopfield神经网络是模拟生物体中的联想记忆的可能基础。在总结了该领域以前的研究之后,我们重新审视了学习规则,将其展示为各种成本函数的下降型算法。我们还提出了几个新的成本函数适合学习。我们讨论了Hopfield网络学习过程中偏差(外部输入)的作用。此外,我们采用牛顿方法学习记忆,并实验比较各种学习规则的性能。最后,为了增加允许神经元与自身连接是否会增强记忆能力的争论,我们用数值方法研究了自耦合的影响。关键词:Hopfield网络,联想记忆,内容寻址记忆,学习规则,梯度下降,吸引子网络
2020-10-04 cs.NE q-bio.NC
Quantum Pattern Retrieval by Qubit Networks with Hebb Interactions
受赫布规则启发,具有长程相互作用的量子比特网络可以用作量子联想记忆。从均匀叠加开始,由这些相互作用产生的幺正演化在临界计算时间驱动网络通过量子相变,之后铁磁序保证测量检索存储的存储器。这些量子比特网络的最大存储容量p在存储密度p/n=1时达到。
2006-09-15 cond-mat.dis-nn cs.NE quant-ph