Classifying States of the Hopfield Network with Improved Accuracy, Generalization, and Interpretability
University of Otago(奥塔哥大学);School of Computing(计算机学院)
本研究扩展了 Hopfield 网络状态分类工作,采用前馈深度神经网络和支持向量机等复杂但可解释的模型,发现其优于传统稳定性比率,且仅需少量训练数据即可出色泛化。
2025-03-04 cs.LG cs.NE
Dynamic Manifold Hopfield Networks for Context-Dependent Associative Memory
Fudan University(复旦大学)
动态流形霍普菲尔德网络通过数据驱动学习实现情境依赖的联想记忆,显著提升存储容量和检索鲁棒性。
2026-03-03 cs.LG q-bio.NC
Amorphous Solid Model of Vectorial Hopfield Neural Networks
Department of Physics ``A. Pontremoli", University of Milan, via Celoria 16, 20133 Milan, Italy
本文提出了一种基于无序固体模型的向量型Hopfield神经网络,通过三维向量扩展和Hebb规则生成3×3块结构,实现比传统二进制Hopfield模型更优的存储和检索性能,尤其在高连接度区域表现突出。
2025-12-09 cond-mat.dis-nn cond-mat.soft cond-mat.stat-mech
Asymptotically Stable Quaternion-valued Hopfield-structured Neural Network with Periodic Projection-based Supervised Learning Rules
University of Edinburgh(爱丁堡大学);University of Hull(赫尔大学);Heriot-Watt University(赫瑞-沃德大学)
本文提出了一种基于四元数的Hopfield结构神经网络,通过周期投影策略实现监督学习,具有高精度、快速收敛和强可靠性,适用于机器人控制等需要四元数参数化的场景。
2026-02-27 cs.AI cs.LG
Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models
MRC Brain Network Dynamics Unit(MRC脑网络动力学单元);University of Oxford(牛津大学)
大量的神经网络模型的联想记忆已被提出的文献。这些包括经典的Hopfield网络(HN),稀疏分布式存储器(SDM),以及最近的现代连续Hopfield网络(MCHN),它与机器学习中的自注意力有着密切的联系。在本文中,我们提出了一个通用的框架来理解这种记忆网络的操作作为一个序列的三个操作:相似性,分离和投影。我们得出所有这些记忆模型的实例,我们的一般框架与不同的相似性和分离功能。我们扩展了Krotov等人(2020)的数学框架,以使用神经元之间仅具有二阶相互作用的神经网络动力学来表达一般联想记忆模型,并推导出作为动力学的Lyapunov函数的一般能量函数。最后,使用我们的框架,我们经验性地调查这些联想记忆模型使用不同的相似性函数的能力,超越了点积相似性度量,并经验性地证明,欧几里德或曼哈顿距离相似性度量在许多任务中的实际表现更好,使更强大的检索和更高的内存容量比现有的模型。
2022-06-17 cs.AI cs.LG cs.NE
Attention in a family of Boltzmann machines emerging from modern Hopfield networks
CyberAgent, Inc.(赛博艾坚特公司);RIKEN(日本理化学研究所);AIST(日本产业技术综合研究所)
Hopfield网络和Boltzmann机(BM)是基本的基于能量的神经网络模型。最近对现代Hopfield网络的研究拓宽了能量函数的类别,并导致对包括注意力模块的一般Hopfield网络的统一观点。在这封信中,我们考虑了BM对应的现代Hopfield网络使用相关的能量函数,并从可训练性的角度研究其显着属性。特别地,与注意模块相对应的能量函数自然地引入了一种新的BM,我们称之为注意BM(AttnBM)。我们验证了AttnBM有一个听话的似然函数和梯度的某些特殊情况下,很容易训练。此外,我们揭示了AttnBM和一些单层模型之间的隐藏连接,即高斯-伯努利限制BM和来自去噪得分匹配的softmax单元的去噪自动编码器。我们还研究了由其他能量函数引入的BM,并表明稠密联想记忆模型的能量函数给出了属于指数族谐波的BM。
2023-03-29 cs.LG cs.NE stat.ML
Mirror descent of Hopfield model
Seoul National University(首尔国立大学);Korea Institute for Advanced Study(韩国高等研究院)
本研究提出利用镜像下降初始化神经网络参数,以Hopfield模型为原型,证明该方法训练性能显著优于随机初始化的传统梯度下降,凸显其作为优化增强技术的潜力。
2023-05-09 cs.LG math.OC
Scaling Equilibrium Propagation to Deeper Neural Network Architectures
Engineering, Indian Institute of Technology, Madras(工程学院,印度理工学院马德拉斯分校);AI, Indian Institute of Technology, Madras(人工智能,印度理工学院马德拉斯分校)
本文提出Hopfield-Resnet架构,通过残差连接和裁剪ReLU激活函数,实现更深层次网络训练,提升CIFAR-10数据集上的准确率。
2025-10-13 cs.LG cs.NE
Modern Hopfield Networks with Continuous-Time Memories
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Champalimaud Research(尚帕利莫研究中心);Unbabel(昂巴贝尔公司);ELLIS Unit Lisbon(欧洲学习与智能系统研究所里斯本分部)
本文受工作记忆连续神经资源分配理论启发,提出将大型离散Hopfield记忆压缩为连续时间记忆,并用概率密度替代softmax更新规则,在保持性能的同时降低计算成本。
2025-04-10 cs.LG
iMixer: hierarchical Hopfield network implies an invertible, implicit and iterative MLP-Mixer
CyberAgent(赛博agent公司);Rikkyo University(立教大学)
本文将层次化 Hopfield 网络与 MLP-Mixer 的对应关系推广为 iMixer 模型,其具有可逆、隐式且迭代的混合模块,并在图像分类任务上取得与 vanilla MLP-Mixer 相当或更好的性能。
2024-04-01 cond-mat.dis-nn cs.CV cs.LG
STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction
Northwestern University(西北大学);National Taiwan University(国立台湾大学)
STanHop-Net提出稀疏串联Hopfield模型,通过分层堆叠实现多变量时间序列预测,结合外部记忆模块增强记忆能力,在合成和真实数据上验证了有效性。
2023-12-28 cs.AI cs.CV cs.LG
Input-Driven Dynamics for Robust Memory Retrieval in Hopfield Networks
Department of Information Engineering(信息工程系);Università degli Studi di Padova(帕多瓦大学);Center for Control, Dynamical Systems and Computation(控制、动态系统与计算中心);University of California at Santa Barbara(加州大学圣巴巴拉分校)
针对Hopfield网络外部输入作用研究不足的问题,提出输入直接调制突触与能量景观的动力学框架,以解释并提升混合输入下的鲁棒记忆检索。
2024-11-06 cond-mat.stat-mech cs.AI cs.LG
Pattern-recalling processes in quantum Hopfield networks far from saturation
Hokkaido University(北海道大学)
Hopfield模型作为联想记忆的一个数学模型,已经得到了很好的发展,人们从不同的角度对模式回忆过程进行了大量的研究。众所周知,单个神经元本身就是一个不确定的、有噪的单元,在输入输出关系中存在有限的不可忽视的误差。为了人工模拟这种情况,引入了一种围绕神经元的“热浴”。作为噪声源的热浴由“温度”指定。关于有限温度下由Glauber动力学控制的Hopfield模型的模式回忆过程的研究已有报道。然而,我们可以将“热噪声”扩展到量子力学变体。本文根据量子力学马尔可夫链蒙特卡罗方法(量子MCMC)的随机过程,解析地导出了Hopfield神经网络的量子力学变体(我们称之为“量子Hopfield模型”或“量子Hopfield网络”)中“重叠”等序参量的宏观确定性方程。对于其中非广泛的数目$p$的模式嵌入通过非对称赫布连接,即,$p/N \to 0$的神经元$N \to \infty$(“远离饱和”)的数目的情况下,我们评估召回过程的量子力学噪声的影响下的内置模式之一。
2011-03-19 cond-mat.dis-nn cs.LG physics.bio-ph
Lightweight Hopfield Neural Networks for Bioacoustic Detection and Call Monitoring of Captive Primates
School of Engineering, Computing and Mathematical Sciences(工程、计算与数学科学学院);School of Pharmacy and Life Sciences(药学与生命科学学院);University of Wolverhampton(沃里克大学)
针对被动声学监测现有卷积神经网络资源消耗大、灵活性差的问题,本文提出轻量级HNN模型用于圈养灵长类叫声检测,准确率达0.94,推理速度快、训练耗时短,可提升监测决策效率。
2025-11-04 cs.AI cs.LG cs.SD
Formalized Hopfield Networks and Boltzmann Machines
Università Cattolica del Sacro Cuore(天主教圣心大学);Radboud University Nijmegen(拉德堡德大学尼姆维根分校)
本文通过形式化方法验证了Hopfield网络和Boltzmann机的收敛性与正确性,证明了Hebbian学习和遍历性的数学基础。
2026-09-16 cs.LG cs.LO
Beyond Fixed Points: Superpolynomial Capacity of Asymmetric Hopfield Networks
COATI, CNRS, Inria, I3S, Université Côte d’Azur, France(法国国家科学研究中心(CNRS)、法国国家信息与自动化研究所(Inria)、I3S研究所、蔚蓝海岸大学);School of Electrical and Computer Engineering, Tel Aviv University, Israel(特拉维夫大学电气与计算机工程学院);Department of Informatics, King’s College London, UK(伦敦国王学院信息学院);Institute of Science and Technology Austria (ISTA), Klosterneuburg, Austria(奥地利科学与技术研究所(ISTA))
通过结合组合数学、数论和观点动力学分析,在经典同步非对称Hopfield网络中实现了指数级数量的极限环吸引子,每个吸引子具有指数级周期且对噪声鲁棒,首次证明了非对称Hopfield网络的超多项式容量。
2026-05-23 cs.LG
A Hybrid Multi-Well Hopfield-CNN with Feature Extraction and K-Means for MNIST Classification
A. Farooq(Ahmed Farooq)
本研究提出一种结合CNN与多井Hopfield网络的混合模型,通过CNN提取特征并用k-means生成原型作为吸引子进行分类,在MNIST数据集上实现了99.2%的准确率。
2025-07-11 cs.AI cs.CV cs.LG
First-of-its-kind AI model for bioacoustic detection using a lightweight associative memory Hopfield neural network
Department of Computing and Mathematical Sciences, University of Wolverhampton(计算与数学科学系,沃林汉姆pton大学)
本文提出一种基于轻量级联想记忆Hopfield神经网络的首创生物声学检测模型,仅需极少量代表性信号即可快速训练,在低计算资源下实现高精度物种分类,兼顾可持续性与可解释性。
2025-07-14 cs.AI cs.LG
Memorisation and forgetting in a learning Hopfield neural network: bifurcation mechanisms, attractors and basins
Department of Mathematical Sciences, Loughborough University, Loughborough LE11 3TU, UK(数学科学系,洛夫鲁斯大学);Department of Physics, Loughborough University, Loughborough LE11 3TU, UK(物理系,洛夫鲁斯大学)
本文研究了Hopfield神经网络中记忆形成与遗忘的机制,揭示了分岔过程对吸引子和盆地的影响,展示了记忆与遗忘的本质联系。
2026-02-15 cs.LG math.DS nlin.AO
Long Sequence Hopfield Memory
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Center for Brain Science(脑科学中心);Department of Physics(物理系);MIT-IBM Watson AI Lab, IBM Research(MIT-IBM沃森人工智能实验室,IBM研究院);Kempner Institute for the Study of Natural and Artificial Intelligence(肯普纳自然与人工智能研究所)
针对类 Hopfield 循环网络序列容量受限问题,本文引入受 Dense Associative Memories 启发的非线性交互项和广义伪逆规则,推导并验证更优容量标度律,还支持可变时序及生物学实现。
2023-11-02 cond-mat.dis-nn cs.LG cs.NE
Dense Hopfield Networks in the Teacher-Student Setting
Scuola Normale Superiore di Pisa(比萨高等师范学校);University of Bologna(博洛尼亚大学)
该研究在无监督师生设置下分析p体Hopfield网络相图,明确模式检索所需训练集临界规模,验证学生网络p值更大时抗噪性更强,推导其零温对抗鲁棒性闭式表达式,解释了原型相的对抗鲁棒性机制。
2024-08-12 cond-mat.dis-nn cs.LG math-ph
Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting
Sapienza Università di Roma(罗马第一大学);Università di Bologna(博洛尼亚大学);Istituto Nazionale di Alta Matematica(国家高等数学研究所)
本文从机器学习视角研究吸引子神经网络,通过正则化损失函数的梯度下降发现最优交互矩阵等价于经反复遗忘修正的Hebbian核,并据此提出基于正则化与早停的防过拟合策略,同时通过解析与数值实验揭示了不同参数下的泛化机制。
2024-02-20 cond-mat.dis-nn cs.LG
Associative Memory for Non-Stationary Environments: A Self-Sizing Generalization of Hopfield Networks
Department of Computer Science(计算机科学系)
针对非平稳环境,提出一种自规模持续联想记忆模型,通过对比相似性算子估计环境内在记忆需求,实现无遗忘存储、动态绑定和规模自适应。
2026-06-23 cs.LG stat.ML
Exploring the Temperature-Dependent Phase Transition in Modern Hopfield Networks
IDLab, Ghent University – imec(根特大学-IDLab(校际微电子中心));Ghent University(根特大学)
本文通过简化现代 Hopfield 网络研究逆温度超参数 β 对能量极小值分布的影响,发现系统在临界温度处发生相变,且动力学由依赖存储模式分布与规模的有效逆温度决定,为优化 Transformers 超参数选择提供启示。
2023-11-30 cond-mat.dis-nn cs.LG
Safe-by-Design Learning via Energy-based Neural Networks
The Italian Institute of Artificial Intelligence for Industry(意大利人工智能工业研究所);University of Colorado Boulder(科罗拉多大学博尔德分校);TU Delft(代尔夫特理工大学)
本文提出基于能量现代Hopfield网络与端口哈密顿神经ODE的安全设计架构,通过构造障碍函数保证安全性,在多个基准包括12维纳米无人机上实现最先进性能并提升鲁棒性。
2026-10-01 cs.AI cs.LG cs.SY
Machine learning with neural networks
Gothenburg University(哥德堡大学);Chalmers Technical University(查尔姆斯理工大学)
这些是我在瑞典哥德堡大学和查尔姆斯技术大学为科学家和工程师们开设的机器学习和神经网络课程的讲义。该材料分为三个部分:Hopfield网络,标记数据的监督学习和未标记数据集的学习算法。第一部分介绍随机递归网络:Hopfield网络和玻尔兹曼机。对它们的学习规则的分析为后面的部分奠定了基础。第二部分描述了多层感知器和卷积神经网络的监督学习。这一部分从学习规则的简单几何解释开始,并介绍了卷积网络在对象识别中的最新成功,语言处理中的递归网络,以及时间序列分析中的水库计算机。第三部分解释了神经网络可以从没有标记的数据中学习到什么。这一部分首先描述了用于数据聚类、非线性投影和嵌入的无监督学习技术。关于自动编码器的一节解释了如何使用卷积网络进行无标签学习,最后一章专门介绍强化学习。课程的总体目标是解释允许神经网络学习的基本原理,强调所有三个部分共同的思想和概念。目前的版本不包含练习(版权归剑桥大学出版社所有)。完整的书可以在https://www.cambridge.org/gb/academic/subjects/physics/statistical-physics/machine-learning-neural-networks-introduction-scientists-and-engineers?上找到格式=HB。
2021-10-27 cond-mat.stat-mech cs.LG stat.ML
Iterative Neural Networks with Bounded Weights
Nicolaus Copernicus University(尼古拉·哥白尼大学)
最近对Hilbert空间中迭代神经网络模型的分析建立了这种网络的基本性质,如不动点集的存在性,收敛性分析和Lipschitz连续性。基于这些结果,我们证明了在一个单一的温和的条件下,对网络的权重,保证获得一个神经网络收敛到其唯一的不动点。我们提供了一个约束的范数的权重和偏置的网络。我们还表明,为什么这个模型的前馈神经网络是不能够容纳Hopfield网络在我们的假设。
2019-08-19 cs.LG math.FA stat.ML