Retrieval Phase Diagrams of Non-monotonic Hopfield Networks
利用平均场近似方法研究了具有非单调传递函数的异步全连通吸引子网络的恢复相图。我们发现,在无噪声的零温情况下,这种非单调Hopfield网络比Amit等人研究的单调传递函数网络能存储更多的模式,非单调网络的恢复相图的性质与Nishimori和Opris处理同步网络的结果一致.我们还研究了Zertuche等人提出的具有状态依赖性突触耦合的非单调Hopfield模型的最佳存储容量。我们发现,非单调Hopfield模型与状态依赖的突触存储更多的模式比传统的Hopfield模型。我们的公式可以很容易地扩展到一般的传递函数。
1997-08-25 cond-mat.dis-nn
Daydreaming Hopfield Networks and their surprising effectiveness on correlated data
本文提出一种非破坏性的Daydreaming算法,通过持续强化存储模式并擦除伪记忆来提高Hopfield模型的存储容量,在相关数据上自发利用相关性,并在MNIST数据集上表现优异。
2024-05-14 cond-mat.dis-nn
On the equivalence of Hopfield Networks and Boltzmann Machines
Sapienza Università di Roma(罗马第一大学);Yale University(耶鲁大学);Alma Mater Studiorum Università di Bologna(博洛尼亚大学)
一种特定类型的神经网络,受限玻尔兹曼机(RBM),用于机器学习中的分类和特征检测。RBM的特点是可见和隐藏单元的单独层,能够有效地学习观察数据的生成模型。我们研究了一个“混合”版本的RBM的,其中隐藏的单位是模拟和可见的单位是二进制的,我们表明,热力学的可见单位是等效的Hopfield网络,其中N个可见的单位是神经元和P隐藏的单位是学习模式。我们应用随机稳定性的方法来推导模型的热力学,通过考虑这种技术的正式扩展到多组存储模式的情况下,这可能会作为相关集的研究基准。我们的研究结果表明,模拟Hopfield网络的动力学,需要更新N个神经元和存储N(N-1)/2突触,可以通过一个混合玻尔兹曼机完成,需要更新N+P神经元,但只有NP突触的存储。此外,众所周知的Hopfield网络的玻璃化转变在玻尔兹曼机中也有对应的:它对应于选择隐藏层和可见层的相对大小的最佳标准,解决了模型的灵活性和通用性之间的权衡。Hopfield模型的低存储阶段对应于很少的隐藏单元,因此是过度约束的RBM,而自旋玻璃阶段(太多的隐藏单元)对应于无约束的RBM,易于对观测数据进行过拟合。
2012-01-10 cond-mat.dis-nn cs.AI
Random Features Hopfield Networks generalize retrieval to previously unseen examples
University of Rome ‘La Sapienza’(罗马第一大学);Harvard University(哈佛大学);Bocconi University(博科尼大学);Institute for Data Science and Analytics(数据科学与分析研究所);CNR-NANOTEC, Institute of Nanotechnology(国家研究委员会纳米技术研究所(CNR-NANOTEC))
研究发现随机特征 Hopfield 网络在越过学习转变后,可通过特征混合形成未见样本的吸引子,并用相图解释这种检索泛化。
2024-07-08 cond-mat.dis-nn cs.LG cs.NE
Spin-1 Hopfield model under a random field
本文研究了高斯随机场场中三态Hopfield模型中平凡无序和非平凡无序的作用。为了控制非平凡无序,使用Hebb相互作用。这提供了一种通过参数a=p/N来控制系统挫折的方法,在热力学极限中,从平凡的随机性变化到高度挫折的状态。我们进行了热力学分析,使用一步复制对称性破缺平均场论,获得的序参量和相图的几个强度的a,各向异性常数,和随机场。
2014-01-30 cond-mat.dis-nn cond-mat.stat-mech
Hopfield models as generalized random mean field models
本文对一类平均场型随机自旋系统热力学的严格分析作了全面的评述,其中最突出的例子是Hopfield模型。我们专注于低温阶段和吉布斯措施的分析与大偏差技术。在"小$\a$“区域中有一个非常详细和完整的图像;一个特别令人满意的结果涉及一个非平凡的参数区域,其中我们证明了1)局部"平均场”收敛于具有常方差和随机均值的高斯随机变量;随机均值是从站点到站点独立的高斯本身; 2)"混沌的传播“,即极值无限体积Gibbs测度的因式分解; 3)Amit,Gutfreund和Sompolinsky [AGS]的"副本对称解”的正确性。最后一个结果首先由M. Talagrand [T4],使用不同的技术。
1997-05-28 cond-mat.dis-nn
Open quantum generalisation of Hopfield neural networks
我们提出了一个新的框架来理解量子效应如何影响神经网络的动力学。我们实现的马尔可夫开放量子系统的神经网络的动力学,这使我们能够处理热和量子相干效应在同一个立足点。特别是,我们提出了一个开放的量子概括著名的Hopfield神经网络,最简单的玩具模型的联想记忆。我们确定了它的相图,并表明量子涨落引起一个新的非平衡相。这个新的阶段的特点是极限环对应于高维固定流形,可以被视为一个概括的存储模式的量子域。
2020-02-10 cond-mat.dis-nn cond-mat.stat-mech quant-ph
Slowly evolving random graphs II: Adaptive geometry in finite-connectivity Hopfield models
我们提出了一个解析可解的随机图模型,在该模型中,节点之间的连接可以随着时间的推移而演变,与节点的动态相比,速度较慢。我们应用有限连接吸引子神经网络(Hopfield)模型的形式主义,我们表明,由于挫折的影响最小化的检索区域的相图可以显着扩大。此外,未对准的自旋的分数减少了这种效果,是小于在无限连接制度。这种差异的主要原因是被发现的非零分数的网站与消失的局部领域时,连接是有限的。
2004-04-27 cond-mat.dis-nn cond-mat.stat-mech
A generalized Hopfield model to store and retrieve mismatched memory patterns
我们研究了一类Hopfield模型,其中记忆由高斯变量和二元变量的混合表示,神经元是伊辛自旋。我们研究了当两类变量在模式中的相对权重变化时,这类模型的性质。我们定量地确定如何检索阶段挤压为零的内存模式包含一个较大的部分不匹配的变量。由于记忆是纯粹的高斯检索丢失任何积极的存储容量。它示出,这是因为在高斯的情况下的自由能的球对称性。引入两种不同的记忆模式的自旋配置之间的重叠和每个贡献的模式从两种变量可以观察到的高斯部分的模式作为一个噪音,检索更加困难。通过Monte Carlo数值模拟研究了系统的吸引域、恢复精度和存储容量。我们发现,即使在网络容量缩小到零的限制,(少数)检索状态保持一个大的吸引力和大的不匹配的模式重叠的盆地。因此,网络可以用于检索,但容量非常小。
2022-06-20 cond-mat.dis-nn physics.bio-ph
Phase Diagram and Storage Capacity of Sequence Processing Neural Networks
我们解决了Hopfield型神经网络存储模式序列,接近饱和的动力学。在这种模型中,相互作用矩阵的不对称性导致违反细致平衡,排除了平衡统计力学分析。使用生成函数的方法,我们推导出精确的封闭方程的动力学序参量,即序列重叠和相关和响应函数,在热力学极限。我们计算这些方程的时间平移不变的解决方案,描述固定的极限环,从而导致相图。对称模型中的有效延迟自相互作用消失了,这使得$α_c\sim 0.269$的存储容量比Hopfield网络中存储静态模式的$α_\c\sim 0.139$有了显著的提高.我们的结果进行了测试,对广泛的计算机模拟和良好的协议。
1998-05-06 cond-mat.dis-nn q-bio
Stochastic symmetry-breaking in a gaussian Hopfield model
研究了具有高斯无序的“双模式”Hopfield模型.我们发现,在这个模型中,有无限多的纯态在低温下,我们发现,亚态是支持在无限的纯态对称对。这种现象的起源是无序分布的旋转对称性的随机破缺
1998-07-06 cond-mat.dis-nn
About the ergodic regime in the analogical Hopfield neural networks. Moments of the partition function
在本文中,我们介绍和利用真实副本的方法,最小的推广的Hopfield模型,通过假设学习的模式相应地分布到一个标准的单位高斯。我们考虑高存储的情况下,当模式的数量是线性发散的神经元的数量。我们研究了配分函数的归一化动量的无限体积行为。我们发现一个区域中的参数空间中的自由能量密度在无限体积极限是自平均周围的退火近似,以及熵和能量密度。此外,我们评估的修正,他们的广泛的同行就其退火表达式。适当引入的重叠,作为序参量的波动,也进行了讨论。
2009-11-18 cond-mat.dis-nn cond-mat.stat-mech
Dense Hopfield Networks in the Teacher-Student Setting
Scuola Normale Superiore di Pisa(比萨高等师范学校);University of Bologna(博洛尼亚大学)
该研究在无监督师生设置下分析p体Hopfield网络相图,明确模式检索所需训练集临界规模,验证学生网络p值更大时抗噪性更强,推导其零温对抗鲁棒性闭式表达式,解释了原型相的对抗鲁棒性机制。
2024-08-12 cond-mat.dis-nn cs.LG math-ph
The Relativistic Hopfield network: rigorous results
相对论性Hopfield模型是标准Hopfield模型的推广,标准Hopfield模型是通过嵌入神经网络的物理力学框架和描述网络本身可调参数空间中虚构的单粒子运动的拉格朗日力学之间的形式类比而得出的。在这个类比中,Hopfield模型的代价函数充当标准动能项,而其相关的Mattis重叠(自然以1为界)充当速度。相对论模型的哈密顿量,一旦泰勒展开,就会产生一个具有交替符号的P自旋序列:吸引力的贡献增强了网络的信息存储能力,而排斥力的贡献则允许更容易地忘记虚假状态,从而赋予整个系统更强的鲁棒性。在这里,我们不深化这种广义Hopfield网络的信息处理技巧,而是专注于它的统计力学基础。特别是,依靠Guerra的插值技术,我们证明了模型自由能的无限体积极限的存在性,并给出了其明确的表达Mattis重叠。通过极值的自由能在后者,我们得到这些重叠的广义自洽方程,以及进一步证实的波动分析的临界性的图片。这些发现与以前的结果完全一致。
2018-10-29 cond-mat.dis-nn math-ph math.MP
Bistable Gradient Networks II: Storage Capacity and Behaviour Near Saturation
我们研究了数值的存储容量和行为的吸引子神经网络组成的可调耦合强度,双稳态梯度网络(BGN)的基本元素的饱和。对于强耦合,我们发现一阶“记忆停电”相变的Hopfield网络的证据。另一方面,对于弱耦合,没有证据表明存在这种转变,即使在高负载水平下,记忆模式也可以保持稳定。然而,增强的存储容量是以从损坏的版本中不完美地检索模式为代价的。
2002-05-23 cond-mat.dis-nn
Storage Capacity of Two-dimensional Neural Networks
我们研究了二维Hopfield模型中嵌入模式的最大数目。根据铁磁伊辛模型的关联函数,精确计算了两个特定网络态,即纯铁磁态和特定一种存储模式态的巨态能量.我们还通过计算机模拟研究了它们周围的能量景观。考虑到Nishimori,Whyte和Sherrington [Phys.Rev.E {\bf 51},3628(1995)]所获得的相图的定性特征,我们得出结论,该网络不能检索三个以上的模式。
2001-08-10 cond-mat.dis-nn
Statistical mechanics of vector Hopfield network near and above saturation
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Sapienza Università di Roma(罗马第一大学);National Research Council of Italy, CNR - NANOTEC, Rome Unit(意大利国家研究委员会纳米技术研究所罗马分部)
研究向量霍普菲尔德网络在饱和附近和以上的统计力学行为,揭示其在高维下容量与去噪能力的平衡特性。
2025-11-19 cond-mat.dis-nn
A Hardware-aware Hopfield Network with a Nonlinear Memristor Array for Robust Associative Memory with Superlinear Capacity
Korea Institute of Science and Technology (KIST)(韩国科学技术院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Seoul National University(首尔大学);Korea University(韩国大学);KIST School, University of Science and Technology(韩国科学技术院科学技术研究生院)
本文提出一种硬件感知Hopfield网络,利用非线性忆阻器的特性提升联想记忆容量,通过实验展示其在高维图像数据中的高效性能。
2026-05-08 cond-mat.dis-nn physics.app-ph
Enhancing associative memory recall in non-equilibrium materials through activity
联想记忆是一种内容寻址记忆,在许多生物和物理系统中促进信息存储和检索。在统计力学模型中,平衡时的联想记忆通过自由能景观中的吸引子盆地来表示。在这里,我们使用Hopfield模型,一个范式模型来描述联想记忆,研究非平衡活动对记忆保持和回忆的影响。我们将活动作为高斯色噪声引入系统,它打破了细致平衡,迫使系统脱离平衡。我们观察到,在这些非平衡条件下,Hopfield网络具有比平衡时允许的更高的存储容量。使用分析和数值技术,我们表明,熵产生率修改的能量景观,并帮助系统访问以前无法访问的内存区域。
2022-03-06 cond-mat.dis-nn cond-mat.stat-mech
Generalized Guerra's interpolation schemes for dense associative neural networks
在这项工作中,我们开发的分析技术,调查了广泛的联想神经网络的高存储制度。这些技术将原始的几何力学问题转化为解析力学问题,这意味着求解一组偏微分方程,而不是解决规范的概率路线。我们在经典Hopfield模型上测试了该方法-其中成本函数仅包括两体相互作用(即,二次项)-并且在“相对论”Hopfield模型上-其中代价函数(的展开)包括p体(即,p级的贡献。在副本对称假设下,我们通过获得作为模型参数的函数的自由能的显式表达式来绘制这些模型的相图(即,噪声水平和存储器存储)。此外,由于非成对模型的遍历性破缺不一定是一个临界现象,我们发展了一个涨落分析,发现临界性在相对论模型中是保持的。
2020-04-16 cond-mat.dis-nn
Hopfield model for patterns with internal structure
Institute for Theoretical Physics, University of Amsterdam(阿姆斯特丹大学理论物理研究所)
该研究提出了一种具有内部结构的Hopfield模型,通过高斯随机变量建模模式内部相关性,并分析了在不同温度下出现的spin glass相及玻璃相的特性。
2026-03-10 cond-mat.dis-nn cond-mat.stat-mech
Effect of spatial correlations on Hopfield Neural Network and Dense Associative Memories
Hopfield模型是为数不多的可以得到解析结果的神经网络之一。然而,它们中的大多数是在随机不相关模式的假设下导出的,而在实际应用中,要存储的数据显示出非平凡的相关性。本文研究了Hopfield网络在零温下的反演能力如何受到输入数据的空间相关性的影响,特别是,我们将线性伊辛模型在逆温下的组态$β$用作存储模式。利用信号噪声技术,我们得到了一个相图中的负载的Hopfield网络和伊辛温度的模糊相位和检索区域可以观察到。值得注意的是,随着图案内部空间相关性的增加,Hopfield网络的临界负载减小,数值模拟也证实了这一结果。然后将分析推广到具有任意奇体相互作用的密集联想记忆,我们得到了类似的结果。
2022-07-11 cond-mat.dis-nn cond-mat.stat-mech
A Bifurcation Theory for the Equilibria of Modern Hopfield Networks
Max-Planck-Institute for the Physics of Complex Systems(马克斯·普朗克复杂系统物理研究所);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Gurdon Institute, University of Cambridge(剑桥大学格登研究所)
本文为现代Hopfield网络建立了统一的分岔理论,推导出一般凸对偶网络不动点的稳定性与分岔判据,并证明其能定量预测MNIST检索分岔及重现造血细胞层次组织。
2026-09-09 cond-mat.dis-nn
Temporal Complexity of a Hopfield-Type Neural Model in Random and Scale-Free Graphs
本文采用 IDC 方法分析受生物启发的 Hopfield 型神经网络,比较无标度与随机拓扑,发现随机网络在不同噪声等参数下也可产生类似复杂性特征。
2024-11-07 cond-mat.dis-nn cs.NA math-ph
Synchronous Dynamics of a Hopfield Model with Random Asymmetric Interactions
我们研究了Hopfield模型的同步动力学,当一个随机反对称部分被添加到对称的突触矩阵。我们使用生成功能的技术,以获得在第一时间步($t=1$)和第二时间步($t=2$)的序参量的解析表达式。我们发现,目标模式之间的重叠和状态的网络在$t=1$是独立的对称性的额外的随机部分的突触相互作用矩阵。该结果可能与使用$t=1$的结果来估计与网络的检索性能相关的量的理论有关。突触相互作用矩阵的对称性从第二时间步开始变得有效,明确地通过涉及不同时间的自旋配置的关联函数。这表明,从最初几个时间步预测网络的长时间行为可能{ \it always}是不正确的。这一点通过数值模拟得到了证实,数值模拟表明,在突触相互作用矩阵中存在不对称性时,网络的长时间和短时间行为的差异变得明显。在模拟中还发现,存储模式的吸引盆地的大小随着不对称性的增加而减小。此外,检索的收敛时间增加。这些结果与基于不动点计数的早期研究的预期相反。然而,假不动点的收敛时间比检索不动点的收敛时间增加得更快,在突触中存在不对称性。就网络的检索性能而言,这是不对称性的一个积极特征。
2003-07-07 cond-mat.dis-nn q-bio
Dreaming improves memorization in a Hopfield model with bounded synaptic strength
Dipartimento di Fisica, Sapienza Università di Roma(罗马大学物理系)
本文研究了在截断Hopfield模型中加入做梦阶段对记忆容量的影响,发现交替学习和做梦能提升记忆能力并使性能优化更现实。
2026-03-10 cond-mat.dis-nn q-bio.NC
Dynamical Properties of Dense Associative Memory
Hiroshima City University(广岛市立大学);RIKEN AIP(理化学研究所先进智能研究中心);Kyushu University(九州大学);Institute for Physics of Intelligence(智能物理学研究所);The University of Tokyo(东京大学);Saddle Point Science Europe and DCN Donders Institute, Radboud University(拉布德大学唐德斯研究所与鞍点科学欧洲分部)
针对稠密联想记忆动力学性质未被研究的问题,采用生成泛函分析精确方法分析其收敛时间、吸引盆等,实现相关性能定量评估,揭示其鲁棒性优势,方法可推广至其他能量基模型。
2025-10-28 cond-mat.dis-nn
Meta-stable states in the hierarchical Dyson model drive parallel processing in the hierarchical Hopfield network
在本文中,我们介绍和调查的统计力学的分层神经网络:首先,我们接近这些系统的马蒂斯,通过考虑戴森模型作为一个单一的模式分层神经网络,我们讨论了不同的可恢复状态的稳定性预测的相关的自适应从一个平均场的限制,并从一个边界,绕过平均场的限制。后者是通过适当地将与层次结构的较高级别相关的磁化波动重新吸收到较低级别的有效场中来计算的。值得注意的是,混合阿米特的ananterior技术(选择候选可恢复状态)与插值程序(解决这些状态的自由能),我们证明(由于规范对称性)戴森模型完成串行和并行处理。向前迈进了一步,我们通过实现Hebb处方来实现耦合内的学习,从而将这种情况扩展到多个存储模式。这就得到了一个约束在层次拓扑结构上的Hopfield类网络,对于这种网络,限制在低存储区(模式数最多与神经元数成几何关系),我们证明了自由能的热力学极限的存在性,并给出了它的平均场界和相关的改进界的显式表达式
2014-07-19 cond-mat.dis-nn math-ph math.MP
Sequential Retrieval in Dense Associative Memory: Asymptotic Dynamics and Storage Capacity
The University of Tokyo(东京大学);RIKEN center for AIP(理化学研究所AIP中心);Ochanomizu University(御茶水女子大学);Hiroshima City University(广岛市立大学)
本文研究非对称稠密联想记忆模型的顺序检索动力学,利用生成泛函分析推导出极限环吸引子的动力学方程,并发现存储容量随相互作用阶数增加而单调下降。
2026-10-28 cond-mat.dis-nn
Hebbian Learning from First Principles
本文用 Jaynes 最大熵原理从第一性原理推导 Hopfield 模型及其稠密推广的 Hebb 学习规则,证明其在大数据极限恢复经典存储规则与统计力学描述。
2024-10-03 cond-mat.dis-nn stat.ML
Do Hopfield Networks Dream of Stored Patterns? A Statistical-Mechanical Theory of Dreaming in Multidirectional Associative Memories
Sapienza Università di Roma(罗马大学);Istituto Nazionale di Fisica Nucleare(意大利国家核物理研究所);Istituto Nazionale d’Alta Matematica, GNFM(意大利高等数学研究所);Università del Salento(莱切萨伦托大学)
本文提出DLAM模型,结合离线做梦和监督异关联耦合,通过能量模型框架实现复杂任务处理,揭示了多方向联想记忆中做梦与层间耦合的协同作用。
2026-05-13 cond-mat.dis-nn
Free energy of the Hopfield model
Hebrew University of Jerusalem(耶路撒冷希伯来大学);MIT(麻省理工学院);NYU-ECNU Institute of Mathematical Sciences, NYU Shanghai(纽约大学-华东师范大学数学科学研究所,上海纽约大学);Weizmann Institute of Science(魏茨曼科学研究所);Sorbonne University(索邦大学);ENS Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心)
该研究确定了具有独立对称伯努利模式的Hopfield模型在任意温度和加载率下的自由能极限,通过变换将问题简化并调整相关技术求解,明确了模型等价形式。
2026-11-03 cond-mat.dis-nn math.PR
Out of Equilibrium Dynamics of the Hopfield Model in its spin-glass phase
在这项工作中,我们数值研究了Hopfield模型的关联存储器内的自旋玻璃相的平衡动力学。除了作为一个神经网络模型的兴趣,它也可以被认为是一个原型的完全连接的磁系统的随机性和挫折。通过调整存储配置$p$的数量和神经元总数$N$之间的比率,可以控制相空间结构,其复杂性可以在简单的平均场铁磁体(当$p=1$时)和谢灵顿-柯克帕特里克自旋玻璃模型(对于无限数量的模式的适当限制)之间变化。特别是,很少有人注意到这个模型的自旋玻璃阶段。在这项工作中,我们分析了两次自动关联函数,磁化强度的衰减和状态之间的重叠分布。结果表明,在该模型的自旋玻璃阶段的动力学表现出老化现象,并提出的功能,建议一个非平凡的副本对称性破缺。
2000-07-10 cond-mat.dis-nn
Dissipative Quantum Hopfield Network: A numerical analysis
本文通过数值模拟研究耗散量子Hopfield网络的涌现行为,发现量子项引起随机模式-反模式振荡并影响存储容量,同时揭示回忆过程与存储模式数量之间存在量子依赖的非线性关系。
2024-10-18 cond-mat.dis-nn quant-ph
Capacity of the Hopfield-Hebbian dynamics with correlated patterns
该研究针对相关模式场景,开发基于RDT的框架分析Hopfield-Hebbian动力学容量,明确了相关参数M、r对相变的影响,填补了高相关 regime 中谱方法的近似空白。
2026-10-30 cond-mat.dis-nn cs.IT cs.LG
Phases in a class of associative memories via hidden neurons
CyberAgent AI Lab(CyberAgent AI实验室);RIKEN iTHEMS(RIKEN跨学科理论科学研究所);Graduate School of Artificial Intelligence and Science, Rikkyo University(立教大学人工智能与科学研究科)
本文研究Krotov-Hopfield二部架构(类H),通过隐藏神经元作为有序参数,统一分析多项式与指数负载下的联想记忆相图,揭示可见与隐藏拉格朗日函数分别决定稳定性和存储规模。
2026-09-11 cond-mat.dis-nn cs.LG cs.NE
Statistical mechanics of a three-body Hopfield model with finite connectivity
The University of Tokyo(东京大学)
研究具有有限连通性的三体霍普菲尔德模型,用复制对称分析,推导求解自洽方程。三体作用致不连续检索转变等,RS种群动力学低温有捕获行为,模拟支持RS描述,明确多体不连续性和稀疏图无序对关联记忆的影响。
2026-11-13 cond-mat.dis-nn cond-mat.stat-mech
Photonic Stochastic Emergent Storage: Exploiting Scattering-intrinsic Patterns for Programmable Deep Classification
提出随机涌现存储(SES)方法,利用白漆浑浊介质中的光散射随机传输矩阵作为原型,在类Hopfield网络中实现任意模式存储与光速分类,无需额外制造即可同时存储数千记忆并支持深度光学分类。
2023-06-13 cond-mat.dis-nn physics.optics
Phase Transitions of an Oscillator Neural Network with a Standard Hebb Learning Rule
研究了基于标准Hebb学习规则的振子网络模型(如Hopfield模型)的相变现象。网络中可以嵌入相关的相位信息--同相和反相。通过自洽信噪比分析(SCSNA),发现用$α_c = 0.042$模型计算的存储容量优于Cook模型。然而,检索质量较差。此外,研究了由相位动力学的不对称性引起的加速效应。最后,数值计算表明,可以通过修改耦合函数的形状来提高存储容量。
1998-08-12 cond-mat.dis-nn cond-mat.stat-mech
Direct observation of a dynamical glass transition in a nanomagnetic artificial Hopfield network
自旋玻璃是一种被广泛研究的复杂系统,通常被定义为具有随机竞争相互作用的无序系统。描述自旋玻璃的理论模型广泛应用于其他复杂系统,如描述大脑功能、纠错码或股票市场动态的模型。这种对自旋玻璃的广泛兴趣为在人工自旋冰系统的框架内产生人工自旋玻璃提供了强烈的动机。在这里,我们提出了一个人工自旋玻璃的实验实现的偶极耦合单域伊辛型纳米磁体排列到一个相互作用的网络,复制的Hopfield神经网络的方面。使用低温X射线光电子显微镜(XPEEM),我们进行了这些网络内的热驱动力矩波动的温度依赖性成像和观察二维伊辛自旋玻璃的特征。具体而言,自旋玻璃关联函数的温度依赖性遵循幂律趋势预测从二维自旋玻璃的理论模型。此外,我们观察到清晰的签名,难以观察崎岖的自旋玻璃自由能的形式,亚老化,平衡自相关和从稳定到不稳定的动态过渡。
2022-02-04 cond-mat.dis-nn cond-mat.mes-hall cond-mat.stat-mech
Capacity of the Hebbian-Hopfield network associative memory
本文利用完全提升随机对偶理论刻画Hebbian-Hopfield网络在AGS与NLT吸引盆下的联想记忆容量,给出两层提升的显式/数值阈值并证实快速收敛及与复本理论一致。
2024-03-04 cond-mat.dis-nn cs.IT cs.LG
The spin-glass phase-transition in the Hopfield model with p-spin interactions
我们研究了具有纯$p$ -自旋相互作用的Hopfield模型,其中$p\geq 4$为偶数,M(N)随系统尺寸$N$的增长为$M(N) = \a N^{p-1}$ .我们证明了存在一个临界温度$\b_p$,其特征在于第一次淬火和退火的自由能不同。我们证明,作为$p\uparrow\infty$,$\b_p\to\sqrt {\a 2\ln 2}$。此外,我们表明,对于任何$\a>0$和所有逆温度$\b$,自由能收敛到REM在逆温度$\b/\sqrt\a$。此外,在临界温度以上,副本重叠的分布集中在零。我们发现,足够大的$\a$,存在一个非空的区间,在低温制度的分布有质量接近零和附近的$\pm 1$。正如M. Talagrand在$p$ -自旋SK模型的情况下,这意味着吉布斯测量在低温下是集中的,对于大的$N$,渐近地集中在不相交集合的可数并集上,其中没有有限子集具有完整的质量。最后,我们表明,有$\a_p\sim 1/p!$,使$\a>\a_p$的集携带几乎所有的质量不包含原来的模式。在这个意义上,我们描述了一个真正的自旋玻璃化转变。我们的方法遵循Talagrand对$p$自旋SK模型的分析。然而,随机相互作用的更复杂的结构需要相当大的技术修改。特别是,各种结果,容易遵循高斯的情况下,从积分的部分formula必须来自扩展技术。
2001-08-14 cond-mat.dis-nn
Topology and Computational Performance of Attractor Neural Networks
为了探索网络结构与功能之间的关系,研究了具有规则格、随机、小世界和无标度拓扑结构的Hopfield型吸引子神经网络的计算性能.随机网络是整个网络存储和检索模式的最有效方法。然而,在无标度的情况下,检索错误并不是均匀分布的:由高度连接的节点的子集编码的模式的一部分比模式的其余部分更鲁棒和有效地识别。因此,无标度网络实现了非常强的部分识别。对大脑功能和社会动力学的影响具有启发性。
2003-04-01 cond-mat.dis-nn
On the Statistical Mechanics of Attention
Northwestern University(西北大学);Vanderbilt University(范德堡大学);National Taiwan University(台湾大学)
该研究通过现代Hopfield模型提出自由能形式化方法,揭示Transformer注意力的一阶相变,构建了表征其相结构与推理可靠性的统计力学框架。
2026-10-14 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Large Associative Memory Problem in Neurobiology and Machine Learning
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院);Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学)
密集关联记忆或现代Hopfield网络允许存储和可靠检索指数级大(在特征空间的维度上)数量的记忆。与此同时,它们的朴素实现是非生物的,因为它似乎需要神经元之间存在多体突触连接。我们表明,这些模型是一个更微观的(书面的生物自由度)理论,有额外的(隐藏的)神经元,只需要两个身体之间的相互作用的有效描述。由于这个原因,我们提出的微观理论是一个有效的模型,大联想记忆与一定程度的生物相容性。我们的网络的动力学和它的降维等效都最小化能量(李雅普诺夫)函数。当某些动态变量(隐藏神经元)从我们的微观理论中整合出来时,可以恢复许多以前在文献中讨论过的模型,例如“Hopfield Networks is All You Need”论文中提出的模型。我们还提供了另一种推导的能量函数和更新规则中提出的上述文件,并澄清这一类的各种模型之间的关系。
2021-04-27 cond-mat.dis-nn cs.CL cs.LG
High-capacity associative memory in a quantum-optical spin glass
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);University of St. Andrews(圣安德鲁斯大学)
该研究在由原子和光子组成的驱动-耗散自旋玻璃中实验实现了高容量联想记忆,利用量子光学非平衡动力学将存储容量超越Hopfield极限高达七倍,原子运动通过动态修改连接性提升了容量,实现了量子光学系统中学习的前体。
2025-09-15 cond-mat.dis-nn cond-mat.quant-gas cond-mat.stat-mech
Analysis of Oscillator Neural Networks for Sparsely Coded Phase Patterns
我们研究了一个简单的扩展模型的振荡器神经网络能够存储稀疏编码的相位模式,其中的信息被编码在平均发射率和尖峰的时间。应用统计神经动力学的方法,我们的模型,我们从理论上研究模型的联想记忆能力,通过评估其最大存储容量,并推导出其吸引盆地。它示出,在Hopfield模型中,存储容量发散的活动水平降低。我们考虑了各种实际和理论上重要的案例。例如,动态调整的阈值机制增强了联想记忆的检索能力。研究还发现,在适当的条件下,即使在同时存储具有不同活动水平的模式的情况下,网络也可以回忆模式。此外,我们研究的鲁棒性方面的损害的突触连接。这些理论结果的有效性证实了合理的协议与数值模拟。
2000-04-17 cond-mat.dis-nn q-bio
Neural Networks retrieving Boolean patterns in a sea of Gaussian ones
受限玻尔兹曼机是机器学习中的关键工具,由二分自旋玻璃的能量函数描述。从统计力学的角度来看,它们共享用于联想记忆的Hopfield网络的相同Gibbs测度。在这种等价关系中,前者的权重在后者中扮演着模式的角色。由于玻尔兹曼机通常需要用类似梯度下降的方法来训练实数权重,而Hopfield网络通常存储二进制模式以能够检索,因此对配备有实数(例如,高斯)和离散(例如,布尔)模式自然会出现。我们证明了,在具有挑战性的制度的高存储的真正的模式,检索是禁止的,一个额外的负载的布尔模式仍然可以检索,只要之间的比率的整体负载和网络大小不超过一个临界阈值,原来是相同的标准Amit-Gutfreund-Sompolinsky理论。假设副本对称,我们研究了一个低负荷的布尔模式的情况下,结合随机稳定性和Hamilton-Jacobi插值技术。结果可以通过非严格但标准的副本计算参数扩展到高负载。
2017-03-15 cond-mat.dis-nn math-ph math.MP
The Exponential Capacity of Dense Associative Memories
本文利用统计力学分析研究了稠密联想记忆模型,给出了典型模式检索的渐近阈值、最大负载下界及吸引域大小,并揭示了 Gaussian 与 spherical 模式具有定性不同的相图。
2024-01-22 cond-mat.dis-nn cs.IT math.IT