Thermal Robustness of Retrieval in Dense Associative Memories: LSE vs LSR Kernels
Interdisciplinary Centre for Security, Reliability and Trust (SnT) University of Luxembourg(安全、可靠性与信任跨学科中心(SnT)卢森堡大学)
研究通过蒙特卡洛模拟比较了LSE与LSR核在高温下的检索稳定性,发现LSE核在低负载下能维持检索,而LSR核在特定阈值下实现完美检索。
2026-03-07 cond-mat.dis-nn cs.LG cs.NE
Dense Associative Memories with Analog Circuits
MIT(麻省理工学院);Princeton University(普林斯顿大学);IBM Research(IBM研究院)
本文提出了一种基于模拟电路的DenseAM加速器,实现了在模型大小不变的情况下恒定时间推断,展示了模拟DenseAM在高效大规模推断中的优势。
2025-12-17 cs.NE
Scaling Laws for Associative Memories
FAIR, Meta(FAIR(Meta旗下部门));Flatiron Institute(弗拉蒂伦研究所)
本文通过基于嵌入外积的高维矩阵模型研究联想记忆机制,推导了关于样本量与参数量的精确缩放定律,并比较了不同估计器的统计效率,辅以大量数值实验验证理论结果。
2024-02-20 cs.AI cs.CL cs.LG
Quantization robustness from dense representations of sparse functions in high-capacity kernel associative memory
Faculty of Information Science, Aichi Institute of Technology(爱知工业大学信息科学部)
本文研究了基于核逻辑回归(KLR)的高容量关联记忆的压缩性,揭示其鲁棒表示的几何原理,通过量化和剪枝实验发现稀疏输入映射通过密集双模参数化实现,为高效硬件核关联记忆提供途径。
2026-09-18 cs.NE
Word2Spike: Poisson Rate Coding for Associative Memories and Neuromorphic Algorithms
本文提出Word2Spike,一种结合泊松率编码的神经形态方法,将词向量映射为脉冲吸引子状态,在保持高语义相似度和重建准确率的同时,实现了抗噪的联想记忆性能。
2025-09-09 cs.AI cs.NE
Convolutional Neural Associative Memories: Massive Capacity with Noise Tolerance
Swiss Federal Institute of Technology Zurich(苏黎世联邦理工学院);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院)
神经联想记忆的任务是使用神经元网络从它们的噪声版本中检索一组先前记忆的模式。一个理想的网络应该有能力:1)在模式到达时学习一组模式,2)从嘈杂的查询中检索正确的模式,3)最大化模式检索能力,同时保持响应查询的可靠性。大部分关于神经联想记忆的工作都集中在设计能够以限制检索能力为代价来记忆任何随机选择的模式集的网络。在本文中,我们表明,如果我们的目标是只记住那些具有固有冗余的模式(即,属于一个子空间),我们可以获得所有上述性质。这与以前的工作形成了鲜明的对比,以前的工作只能改善一个或两个方面,而牺牲了第三个方面。更具体地说,我们提出了一个卷积神经网络的基础上的框架,随着迭代算法,学习模式之间的冗余。由此产生的网络具有检索能力,在网络的大小上是指数的。此外,我们的网络的渐近误差校正性能是线性的模式的大小。然后,我们将我们的方法推广到处理近似位于子空间中的模式.这种扩展允许我们记住包含自然模式的数据集(例如,图像)。最后,我们报告了在合成和真实数据集上的实验结果,以支持我们的主张。
2014-07-24 cs.AI cs.NE
Coupled Neural Associative Memories
School of Computer;Communication Sciences Ecole Polyetechnique Federale de Lausanne (EPFL) Switzerland
我们提出了一种新的架构来设计一个神经联想记忆,能够学习大量的模式,并在噪声存在的情况下回忆起来。它基于将神经元分成局部簇和平行平面,非常类似于猕猴大脑视觉皮层的结构。我们提出的架构与空间耦合代码的共同特征使我们能够表明,这种网络在消除噪声方面的性能大大优于以前的方法,同时保持学习指数大量模式的能力。以前的工作要么未能提供良好的性能在召回阶段或提供大的模式检索(存储)的能力。我们还提出了计算实验,提供额外的支持的理论分析。
2013-08-23 cs.IT cs.LG cs.NE
Neural Associative Skill Memories for safer robotics and modelling human sensorimotor repertoires
University of Oxford(牛津大学);Yale University(耶鲁大学)
本文提出神经关联技能记忆框架,通过自监督预测编码统一技能学习与表达,实现故障检测与上下文感知执行,提升机器人安全性和生物传感器运动学习研究。
2025-05-14 cs.NE cs.RO
Semantically-correlated memories in a dense associative model
Institute for Computational and Experimental Research in Mathematics, Brown University(布朗大学计算与实验数学研究所);SciAI Center, Cornell University(康奈尔大学SciAI中心);Neural Coding and Brain Computing Unit, OIST Graduate University(冲绳科学技术大学院大学神经编码与脑计算单元)
本文提出新型联想记忆模型 CDAM,在统一框架内集成自联想与异联想,利用图结构语义链接记忆模式,并采用反 Hebbian 学习规则揭示四种动力学模式,在真实数据、图像检索及神经科学实验复现中展现有效性。
2024-06-02 cs.AI cs.LG cs.NE
Storing overlapping associative memories on latent manifolds in low-rank spiking networks
Champalimaud Centre for the Unknown(查普拉米乌德未知中心);Champalimaud Foundation(查普拉米乌德基金会)
本文利用低维凸分段线性流形的几何框架,在低秩脉冲网络中实现重叠联想记忆存储,提出多种学习规则,证明存储容量随神经元数量线性扩展并具备鲁棒模式补全能力。
2025-06-30 cs.LG cs.NE q-bio.NC
Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories
Aichi Institute of Technology(爱知工业大学)
本研究揭示核逻辑回归关联记忆的优化脊为秩1谱坍缩附近的几何奇点,梯度下降通过稳定性边缘现象动态平衡曲率,从而在高曲率边界塑造最优高容量记忆表征。
2026-09-28 cs.LG cs.NE
A Massively Parallel Associative Memory Based on Sparse Neural Networks
McGill University(麦吉尔大学);Télécom Bretagne(布列塔尼电信学院)
关联存储器以这样的方式存储内容,使得内容可以稍后通过向存储器呈现内容的一小部分来检索,而不是像在更传统的存储器中那样向存储器呈现地址。关联存储器被用作数据库引擎、异常检测系统、压缩算法和面部识别系统中的算法的构建块。关联存储器的一个经典例子是Hopfield神经网络。最近,Gripon和Berrou介绍了一种替代结构,该结构基于纠错码理论的思想,并且在容量、多样性和效率方面大大优于Hopfield网络。在本文中,我们实现了一个通用的图形处理单元(GPU)上的Gripon-Berrou联想记忆的变化。Gripon和Berrou的工作提出了两种检索规则,总和和最大值和。和的和规则只使用矩阵向量乘法,很容易在GPU上实现。最大值和规则实现起来不那么简单,因为它涉及到非线性运算。然而,最大值和规则给出了明显更好的检索出错率。我们提出了一种混合规则,专门为在GPU上实现,实现了880倍的加速,而不牺牲任何精度。
2013-07-21 cs.AI cs.DC cs.NE
Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes
Northwestern University(西北大学);Center for Foundation Models and Generative AI(基础模型与生成式AI中心)
该研究通过关联核化Hopfield模型(KHMs)记忆配置与球面码,首次得到现代Hopfield模型紧致最优的渐近记忆容量,提出亚线性时间算法U-Hop+实现最优容量,并分析特征维度缩放规律,提升了KHMs检索能力与对应Transformer的表示学习效果。
2024-10-31 cs.AI cs.LG cs.NE
Improving Sparse Associative Memories by Escaping from Bogus Fixed Points
Gripon-Berrou神经网络(GBNN)是最近发明的递归神经网络,其包含类似LDPC的稀疏编码设置,这使得其对噪声和错误具有极强的弹性。GBNN的一个自然用途是作为关联存储器。神经元动力学有两种激活规则,即总和和最大值之和。后者在检索率方面大大优于前者。在之前的讨论和实验中,人们相信,虽然总和可能导致网络振荡,但最大值和总是收敛到与先前存储的模式相对应的神经元团的集合。然而,这并不完全正确。事实上,最大值和经常收敛到虚假的不动点,其中集合只包括收敛状态的一个小子集。通过利用这个被忽视的事实,我们可以大大提高检索率。我们讨论了这个特殊的问题,并提出了一些算法,以推动最大值和超越这些虚假的不动点。为了直接和全面地解决这个问题,还开发了一种新的后处理算法,并根据GBNN的结构进行了定制。实验结果表明,新算法在检索率和运行时间方面都取得了巨大的提升,与标准的sum-of-max和所有其他算法相比。
2013-08-27 cs.IT cs.NE math.IT
Hierarchical Associative Memory
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
密集联想记忆或现代Hopfield网络具有许多吸引人的联想记忆特性。它们可以完成模式完成,存储大量的记忆,并且可以使用具有一定程度的生物相容性和神经元之间丰富反馈的递归神经网络来描述。同时,到目前为止,这类模型只有一个隐藏层,并且只有密集连接的网络架构,这两个方面阻碍了它们的机器学习应用。本文解决了这一差距,并描述了一个完全递归的联想记忆模型,具有任意大量的层,其中一些可以局部连接(卷积),以及相应的能量函数,该能量函数在神经元激活的动态轨迹上减少。完整网络的存储器使用编码在较低层的突触权重中的原语动态地“组装”,其中“组装规则”编码在较高层的突触权重中。除了自下而上的信息传播(通常使用的前馈神经网络的典型特征)之外,所描述的模型还具有来自高层的丰富的自上而下的反馈,帮助下层神经元决定它们对输入的响应刺激。
2021-07-14 cond-mat.dis-nn cs.LG cs.NE
Storing non-uniformly distributed messages in networks of neural cliques
CEA Leti;TELECOM Bretagne(布列塔尼电信学院)
研究提出在稀疏联想记忆中高效存储非均匀消息的策略,分析方法并展示实际应用。
2013-07-24 cs.NE cs.SY eess.SY
Phases in a class of associative memories via hidden neurons
CyberAgent AI Lab(CyberAgent AI实验室);RIKEN iTHEMS(RIKEN跨学科理论科学研究所);Graduate School of Artificial Intelligence and Science, Rikkyo University(立教大学人工智能与科学研究科)
本文研究Krotov-Hopfield二部架构(类H),通过隐藏神经元作为有序参数,统一分析多项式与指数负载下的联想记忆相图,揭示可见与隐藏拉格朗日函数分别决定稳定性和存储规模。
2026-09-11 cond-mat.dis-nn cs.LG cs.NE
Thermodynamics of bidirectional associative memories
Università del Salento(萨伦托大学);Istituto Nazionale di Fisica Nucleare(国家核物理研究所);Universidad Complutense de Madrid(马德里康普顿斯大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所)
本文研究双向联想记忆(BAM)的平衡性质,通过统计物理方法刻画其相图,发现层间不对称时BAM比Hopfield模型更高效,并揭示其检索机制与两个耦合受限玻尔兹曼机的潜在等价性。
2023-03-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Oscillator-Based Associative Memory with Exponential Capacity: Theory, Algorithms, and Hardware Implementation
University of California, Irvine(加州大学尔湾分校);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出基于库莫特振子网络的联想记忆架构,实现指数级存储容量,通过相位锁定配置编码记忆,并验证其在神经形态硬件中的可行性。
2026-04-01 cs.NE
Associative content-addressable networks with exponentially many robust stable states
大脑必须储存大量的记忆,这些记忆与一生中遇到的许多事件相对应。然而,在现有的神经网络模型中,记忆状态的数量要么随着网络规模的增长而增长,要么在几乎没有噪声的情况下灾难性地失败。我们构建了一个关联的内容寻址存储器,具有指数级的稳定状态和鲁棒的纠错。该网络在受限玻尔兹曼机结构上具有扩展图连通性。扩展特性允许简单的神经网络动力学与现代纠错码相提并论。适当的网络可以用稀疏随机连接、球状节点和使用低动态范围权重的关联学习来构建。因此,稀疏准随机结构-重要纠错码的特征-可以在人工神经网络和大脑中提供高性能计算。
2017-11-02 cs.NE q-bio.NC
Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition
联想记忆已经成为大规模递归新皮层网络计算的重要候选者。实现联想记忆的吸引子网络为许多认知现象提供了机制解释。然而,吸引子记忆模型通常使用正交或随机模式进行训练,以避免记忆之间的干扰,这使得它们对于自然发生的复杂相关刺激(如图像)不可行。我们通过将一个经常性吸引子网络与一个前馈网络相结合来解决这个问题,该网络使用无监督的Hebbian-Bayesian学习规则来学习分布式表示。由此产生的网络模型结合了许多已知的生物学特性:无监督学习,赫布可塑性,稀疏分布激活,稀疏连接,柱状和层状皮质架构等。我们评估的前馈和经常性的网络组件在复杂的模式识别任务的MNIST手写数字数据集的协同效应。我们证明,经常性吸引子组件实现联想记忆时,前馈驱动的内部(隐藏)表示训练。关联存储器还示出执行原型提取从训练数据,并使表示严重失真的输入鲁棒。我们认为,从机器学习的角度来看,前馈和经常性计算的建议整合的几个方面是特别有吸引力的。
2022-09-03 cs.NE
Associative Memory using Attribute-Specific Neuron Groups-2: Learning and Sequential Associative Recall between Cue Neurons for different Cue Balls
Kobe Shoin Women’s University(神户女学院大学)
本文提出一种神经网络模型,通过学习多个属性作为图像进行关联性顺序回忆。模型通过增加属性数量扩展了先前模型,利用QR码图像模式训练不同属性处理系统,实现跨系统联想回忆。
2026-03-26 cs.NE
Predictive Associative Memory: Retrieval Beyond Similarity Through Temporal Co-occurrence
Independent Researcher(独立研究者)
本文提出预测性关联记忆(PAM),通过时间共现学习嵌入空间的关联结构,实现超越相似性的检索,实验显示其在关联召回和区分能力上表现优异。
2026-02-11 cs.AI cs.IR cs.LG
Neural Networks Built from Unreliable Components
通过结构化模式集和基于图的推理算法在联想记忆设计中的最新进展已经允许可靠地学习和检索指数数量的模式。然而,这些和经典的联想记忆,都假设内部无噪声的计算节点。本文考虑的设置时,内部计算也是嘈杂的。即使所有组件都是嘈杂的,在召回的最终错误概率往往可以非常小,因为我们的特点。存在阈值现象。我们还展示了如何优化推理算法参数时,知道内部噪声的统计特性。
2013-05-31 cs.IT cs.NE math.IT
Dense Associative Memory for Pattern Recognition
Simons Center for Systems Biology(西蒙斯系统生物学中心);Institute for Advanced Study(高等研究院);Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学)
研究了一种联想记忆模型,它存储和可靠地检索比网络中神经元数量多得多的模式。我们提出了这种密集联想记忆和深度学习中常用的神经网络之间的简单对偶。在这种对偶的联想记忆方面,可以构造一个在两个极限情况之间平滑插值的模型族。一个极限被称为模式识别的特征匹配模式,另一个极限被称为原型机制。在二元性的深度学习方面,这个家族对应于具有一个隐藏层和各种激活函数的前馈神经网络,这些函数将可见神经元的活动传输到隐藏层。这一系列的激活函数包括物流,整流线性单元,和整流多项式的更高的次数。所提出的对偶性使得应用来自联想记忆的基于能量的直觉来分析具有不寻常的激活函数的神经网络的计算特性成为可能-到目前为止尚未在深度学习中使用的更高的整流多项式。密集存储器的效用说明了两个测试用例:逻辑门XOR和识别手写数字从MNIST数据集。
2016-09-27 cond-mat.dis-nn cs.LG cs.NE
Meta-Learning Deep Energy-Based Memory Models
DeepMind
我们研究的问题,学习联想记忆-一个系统,这是能够检索记忆模式的基础上,其扭曲或不完整的版本。吸引子网络提供了一个良好的关联记忆模型:模式被存储为网络动态的吸引子,并且通过从查询模式开始运行动态直到它收敛到吸引子来执行关联检索。在这样的模型中,动力学通常被实现为最小化能量函数的优化过程,例如在经典的Hopfield网络中。一般来说,很难推导出既压缩又快速的给定动力学和能量的写入规则。因此,大多数基于能量的记忆研究要么局限于易于处理的能量模型,不足以处理复杂的高维对象,如自然图像,要么局限于不提供快速书写的模型。我们提出了一种新的基于能量的记忆模型(EBMM)的元学习方法,该方法允许使用任意神经架构作为能量模型,并快速将模式存储在其权重中。我们的实验表明,我们的EBMM方法可以建立压缩记忆的合成和自然数据,并能够联想检索,优于现有的记忆系统的重建误差和压缩率。
2021-04-20 cs.LG cs.NE stat.ML
Classification and Generation of real-world data with an Associative Memory Model
Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院)
本文扩展Willshaw联想记忆模型,提出多模态编码器-记忆-解码器框架与迭代检索算法,使单一记忆可在MNIST上完成图像-标签补全、分类和生成。
2023-07-13 cs.AI cs.LG cs.NE
Memory Mosaics
FAIR, Meta(FAIR(元公司));Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学)
记忆马赛克是一种由联想记忆组成的网络,通过透明方式实现组合与上下文学习,在中等规模语言建模中表现不逊于变压器。
2025-02-27 cs.AI cs.LG cs.NE
Dreaming neural networks: forgetting spurious memories and reinforcing pure ones
联想神经网络的标准Hopfield模型解释了生物赫布学习,并充当模式识别的谐振子,但其最大存储容量为$α\sim 0.14$,远低于对称网络的理论界限,即$α=1$。受哺乳动物大脑中睡眠和做梦机制的启发,我们提出了一个扩展的模型,该模型显示了标准的在线(清醒)学习机制(允许按照模式存储外部信息)和离线(睡眠)遗忘$\&$巩固机制(允许去除伪模式和增强纯模式):该获得的每日处方能够饱和理论界限$α=1$,对于热噪声也保持非常鲁棒。神经和突触的功能进行了分析和数值。特别是,除了获得神经动力学的相图,我们专注于突触可塑性,我们给出明确的处方突触矩阵的时间演变。我们分析证明,我们的算法使Hebbian核收敛于高概率的投影矩阵建立在纯存储模式。此外,我们得到了一个尖锐的和明确的估计“睡眠率”,以确保这样的收敛。最后,我们进行了广泛的数值模拟(主要是蒙特卡罗采样),以检查分析调查的近似(例如,我们在所谓的复制对称水平上发展了整个理论,作为Amit-Gutfreund-Sompolinsky参考框架中的标准)和可能的有限尺寸效应,发现与该理论总体上完全一致。
2018-10-29 cond-mat.dis-nn cs.NE math-ph
Redundancy Maximization as a Principle of Associative Memory Learning in Hopfield Networks
Complex Systems Theory, Max Planck Institute for Dynamics and Self-Organization(复杂系统理论,马克斯·普朗克动态与自组织研究所);Faculty of Physics, Institute for the Dynamics of Complex Systems, University of Göttingen(物理系,复杂系统动力学研究所,哥廷根大学);Göttingen Campus Institute for Dynamics of Biological Networks, University of Göttingen(哥廷根校区生物网络动力学研究所,哥廷根大学);Champalimaud Centre for the Unknown, Lisbon, Portugal(查帕利马德未知中心,里斯本,葡萄牙);Max Planck Institute for Dynamics and Self-Organization(马克斯·普朗克动态与自组织研究所)
研究霍普菲尔德网络中联想记忆学习的局部计算原理,采用部分信息分解框架,发现低于记忆容量时神经元活动信息以高冗余为特征,将冗余最大化作为学习目标,显著提升网络记忆容量并优于现有实现,确立其为新设计原则。
2026-07-14 cs.IT cs.LG cs.NE