Statistical physics of unsupervised learning with prior knowledge in neural networks
the Hong Kong University of Science and Technology(香港科技大学);Sun Yat-sen University(中山大学)
在无监督学习中,将感官输入与来自过去经验的先验信念相结合是大脑或人工神经计算的共同和基本特征。然而,先验知识在无监督学习中的定量作用仍然不清楚,这阻碍了对无监督学习的科学理解。在这里,我们提出了一个统计物理模型的无监督学习与先验知识,揭示了感官输入驱动一系列连续的相变相关的自发本质对称性破缺。内在对称性包括反向对称性和置换对称性,通常在大多数人工神经网络中观察到。与无先验的情况相比,先验更强烈地减少了触发反向对称破缺跃迁的最小数据大小,而且,先验合并而不是分离排列对称破缺相位。我们声称先验可以从数据样本中学习,这在物理学上对应于两个参数的西森约束。因此,这项工作揭示了先验知识对无监督学习的影响机制。
2020-05-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Neural Network Analytic Continuation for Monte Carlo: Improvement by Statistical Errors
本文提出通过匹配噪声水平、虚时依赖等统计误差特性来构建无泄漏训练集的神经网络解析延拓方法,在高噪声场景优于最大熵法,并成功提取自旋1/2 Heisenberg链的动态结构因子。
2023-02-22 cond-mat.dis-nn
Statistical Mechanics and Artificial Neural Networks: Principles, Models, and Applications
Frankfurt School of Finance and Management(法兰克福金融管理学院)
本章概述了人工神经网络的原理、模型与应用,探讨其与统计力学及统计学习理论的联系,并重点研究深度神经网络损失景观的几何性质量化与可视化以优化其性能。
2024-04-05 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Statistical physics for artificial neural networks
New York University(纽约大学)
本文探讨了统计物理中的自旋玻璃理论与人工神经网络之间的联系,分析了两者共同特征及未来研究方向,并指出量子计算在推动该领域发展中的潜力。
2025-12-06 cond-mat.dis-nn physics.comp-ph
Universal Statistical Behavior of Neural Spike Trains
我们构建了一个模型,预测由感觉神经元产生的尖峰序列的统计特性。该模型描述了神经元的内在属性,周围的噪声和外部驱动刺激的综合影响。我们发现,尖峰列车在短时间内表现出普遍的统计行为,调制的强烈刺激依赖的行为在很长一段时间。这些预测在对H1的实验中得到了证实,H1是苍蝇视觉系统中的运动敏感神经元。
1998-01-21 cond-mat.dis-nn physics.bio-ph q-bio
Statistical physics, Bayesian inference and neural information processing
该讲义从统计物理视角系统梳理神经信息处理,涵盖贝叶斯推断、Gibbs 学习框架、广义线性模型及线性与非线性降维方法。
2023-09-29 cond-mat.dis-nn stat.ML
Statistical Physics of Deep Neural Networks: Initialization toward Optimal Channels
Tsinghua University(清华大学);Huawei Technologies Co. Ltd.(华为技术有限公司)
在深度学习中,神经网络充当输入数据与其表示之间的噪声通道。这种观点自然地将深度学习与追求构建在信息传输和表示中具有最佳性能的通道联系起来。虽然相当大的努力集中在实现最佳的通道特性在网络优化,我们研究了一个经常被忽视的可能性,神经网络可以初始化为最佳通道。我们的理论与实验验证一致,确定了这种未知可能性背后的主要机制,并提出了统计物理和深度学习之间的内在联系。不同于传统的理论,特点神经网络应用经典的平均场近似,我们提供了分析证明,这种广泛应用的简化方案是无效的,在研究神经网络的信息通道。为了填补这一空白,我们开发了一个修正的平均场框架,适用于表征神经网络中的信息传播的限制行为,没有强的输入假设。在此基础上,我们提出了一个分析理论来证明,当神经网络初始化为动态等距时,输入和传播信号之间的互信息最大化是实现的,这种情况下,信息通过保范映射传输。这些理论预测验证了真实神经网络的实验,表明我们的理论对有限尺寸效应的鲁棒性。最后,我们用信息瓶颈理论分析了我们的研究结果,以确认深度学习中动态等距、互信息最大化和最佳信道属性之间的精确关系。
2022-12-04 cond-mat.dis-nn cond-mat.stat-mech cs.LG
A walk in the statistical mechanical formulation of neural networks
神经网络现在既是强大的操作工具(例如,用于模式识别、数据挖掘、纠错码)和复杂的理论模型是科学研究的重点。至于研究分支,神经网络由心理学家,神经生物学家,工程师,数学家和理论物理学家处理和研究。特别是在理论物理学中,神经网络定量分析的关键工具是统计力学。从这个角度来看,在这里,我们首先回顾吸引子网络:从铁磁体和自旋玻璃模型开始,我们讨论了潜在的哲学,我们恢复了Hopfield,Amit-Gutfreund-Sompolinky铺设的链。向前迈进了一步,我们强调了Hopfield网络(建模检索)和玻尔兹曼机(建模学习)之间的结构等价性,从而实现了连接生物和机器人自发认知两个不可分割的方面的深刻桥梁。作为一个副业,在这次散步中,我们得到两个替代(相对于原来的赫布建议)的方式来恢复赫布范式,分别来自铁磁体和自旋玻璃。此外,由于这些笔记是为工程观众考虑的,我们还强调了铁磁体和运算放大器之间以及反铁磁体和触发器之间的映射(因为神经网络--由运算放大器和触发器构建--是特殊的自旋玻璃,而后者实际上是铁磁体和反铁磁体的组合),希望这样一个桥梁能作为一个具体的处方,从统计力学的角度捕捉机器人之美。
2014-07-20 cond-mat.dis-nn
On-line learning dynamics of ReLU neural networks using statistical physics techniques
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen(格罗宁根大学伯努利数学、计算机科学与人工智能研究所)
我们引入了精确的宏观在线学习动态的双层神经网络与ReLU单位的形式的微分方程系统,使用从统计物理学借用的技术。对于第一个实验,数值解揭示了类似的行为相比,S形激活研究在早期的工作。在这些实验中,理论结果与模拟显示出良好的对应关系。在不可实现和不可实现的学习场景中,ReLU网络的学习行为与sigmoidal网络相比表现出独特的特征。
2019-03-18 cond-mat.dis-nn cs.LG stat.ML
Statistical models of neural activity, criticality, and Zipf's law
在这篇综述中,我们讨论了神经网络中的临界动力学观测与最大熵模型之间的联系,最大熵模型通常被用作神经活动的统计模型,特别关注“统计”和“动力学”临界性之间的关系。我们提出的系统,是关键的一种方式,但不是在其他的例子,从而举例说明这两个概念的差异。然后,我们讨论的出现Zipf法律神经活动,验证他们的存在下,在视网膜活动的一些不同的条件。在本章的第二部分,我们回顾统计临界性和参数空间结构之间的联系,如Fisher信息所描述的。我们注意到,基于模型的关键性的签名,即比热的发散,出现独立的数据集研究,我们认为这是与以前的理论研究结果是兼容的。
2018-12-21 cond-mat.dis-nn nlin.AO q-bio.NC
Constraint satisfaction problems and neural networks: a statistical physics perspective
一个新的研究领域正在统计物理学、信息论和组合优化之间的十字路口迅速扩展。特别是,使用尖端的统计物理概念和方法,可以解决非常大的约束满足问题,如随机可满足性,着色或纠错。这些发展的几个方面应该与理解神经网络中的功能复杂性有关。一方面,这些新算法中所使用的消息传递过程是基于局部信息交换的,并成功地解决了一些最困难的计算问题。另一方面,神经生物学中的一些关键推理问题,如多电极记录中产生的问题,自然会转化为硬约束满足问题。本文对这一领域进行了非技术性的介绍,强调了消息传递策略的主要思想及其与神经网络建模的可能相关性。它还介绍了一种新的消息传递算法,用于从相关数据推断变量之间的相互作用,这可能是有用的多电极记录数据的分析。
2008-03-20 cond-mat.dis-nn q-bio.NC
A Correspondence Between Random Neural Networks and Statistical Field Theory
Google Brain(谷歌大脑)
最近的一些论文提供了证据,证明神经网络的实际设计问题可以通过研究随机网络的行为来理论上解决。然而,到目前为止,可用于分析随机神经网络的工具一直相对特设。在这项工作中,我们表明,在随机神经网络中的预激活的分布可以准确地映射到统计物理中的格模型。我们认为,以前的几个调查随机网络实际上研究了一个特定的阶乘近似的全格模型。对于随机线性网络和随机整流线性网络,我们表明,相应的格子模型在宽网络限制可以系统地近似为高斯分布与网络层之间的协方差。在每种情况下,近似分布可以通过傅立叶变换对角化。我们表明,这种近似准确地描述了宽随机神经网络的数值模拟的结果。最后,我们证明了在每种情况下,随机网络的大尺度行为可以近似的有效场论。
2017-10-18 cond-mat.dis-nn cs.LG stat.ML
Using Recurrent Neural Networks To Forecasting of Forex
本文报告的经验证据表明,神经网络模型是适用于外汇汇率的统计可靠的预测。时间序列数据和移动平均线等技术指标被输入神经网络,以捕捉货币汇率变动的基本“规则”。训练好的循环神经网络预测美元与其他四种主要货币日元、瑞士法郎、英镑和欧元的汇率。对预报质量进行了各种统计估计。结果表明,神经网络能给出多重决定系数不差于0.65的预测。线性和非线性统计数据预处理,如Kolmogorov-Smirnov检验和赫斯特指数为每种货币的计算和分析。
2003-04-21 cond-mat.dis-nn q-fin.ST
Statistical physics of complex systems: glasses, spin glasses, continuous constraint satisfaction problems, high-dimensional inference and neural networks
本文综述作者在低温非晶固体与自旋玻璃、高维粒子系统刚性及堵塞转变、高维推断与监督学习动力学三方面的研究进展。
2024-05-10 cond-mat.dis-nn
Explosive neural networks via higher-order interactions in curved statistical manifolds
BCAM -- Basque Center for Applied Mathematics(巴斯克应用数学中心);IKERBASQUE, Basque Foundation for Science(伊克尔巴斯科科学基金会);Araya Inc.(Araya公司);Imperial College London(伦敦帝国理工学院);University of Sussex(萨塞克斯大学);University of Oxford(牛津大学);Principles of Intelligent Behavior in Biological and Social Systems (PIBBSS)(生物与社会系统中智能行为原理研究所);Kyoto University(京都大学);Hokkaido University(北海道大学)
本文提出曲面神经网络,通过高阶相互作用在曲面统计流形中实现自我调节退火过程,从而加速记忆检索并产生多稳定性与滞回效应的爆炸性相变。
2025-12-09 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Statistical Mechanics of Support Vector Regression
本文利用统计力学方法研究了$\varepsilon$-不敏感支持向量回归的平均情形学习曲线,揭示了训练误差相变与泛化误差双重下降现象,证明了容差参数$\varepsilon$的正则化作用,并通过模型与深度网络验证了理论。
2025-06-30 cond-mat.dis-nn q-bio.NC stat.ML
The committee machine: Computational to statistical gaps in learning a two-layers neural network
Institut de Physique Théorique, CNRS & CEA & Université Paris-Saclay(法国国家科学研究中心、法国原子能和替代能源委员会及巴黎萨克雷大学理论物理研究所);Laboratoire de Physique Statistique, CNRS & Sorbonnes Universités & École Normale Supérieure, PSL University(法国国家科学研究中心、索邦大学及巴黎高等师范学院统计物理实验室);Laboratoire de Théorie des Communications, École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院通信理论实验室);International Center for Theoretical Physics(国际理论物理中心)
本文研究两层委员会机器的学习边界,严格证明统计物理方法,并提出多项式时间 AMP 算法,同时识别出信息论可学习但高效算法失败的巨大计算差距。
2024-02-29 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Network synchronization: Spectral versus statistical properties
我们考虑加权网络的同步,可能与非对称连接。我们表明,网络的同步性不能直接从它们的统计特性推断。网络结构中的小的局部变化可以敏感地影响与同步相关的特征值,而总的统计网络属性基本上保持不变。因此,常用的统计特性,包括度分布,度均匀性,平均度,平均距离,度相关性和聚类系数,不能表征网络的同步性。
2007-06-20 cond-mat.dis-nn nlin.AO
Lecture Notes on Statistical Physics and Neural Networks
Institute for Physics, Humboldt University Berlin(柏林洪堡大学物理研究所)
讲义介绍统计物理与神经网络相关的经典主题,包括玻尔兹曼-吉布斯分布、相变及玻尔兹曼机的学习算法,以及深度学习的发展背景。
2026-05-07 cond-mat.dis-nn cs.LG hep-th
Statistical Mechanics of Neural Processing of Object Manifolds
Harvard University(哈佛大学)
不变物体识别是大脑执行的最基本的认知任务之一。在神经状态空间中,不同的刺激变量对象被表示为不同的流形。在这个几何的角度来看,对象识别成为线性分离不同的对象流形的问题。在前馈视觉层次中,已经建议跨层重新格式化对象流形表示,以变得更加线性可分离。因此,一个完整的感知理论需要表征线性读出网络从可变神经反应中对物体流形进行分类的能力。孤立点感知机理论是由E.加德纳将其表述为统计力学问题,并使用复制理论进行分析。本文综合高维信号的统计和几何性质,推广了Gardner的分析,建立了流形的线性分类理论。[..]接下来,我们将我们的理论进一步推广到一般感知流形的线性分类,如点云。证明了流形的容量由有效半径R_M和有效维数D_M决定。最后,我们展示了扩展相关的应用程序,以真实的数据,将相关的流形,异质流形几何,稀疏标签和非线性分类。然后,我们演示了基于对象的流形如何在标准深度网络中转换。本论文为神经元处理对象的计算理论奠定了基础,为对象流形的线性可分性提供了定量的度量。我们希望这一理论将为生物和人工神经网络中感觉表征处理的计算原理提供新的见解。
2021-06-01 cond-mat.dis-nn cs.AI q-bio.NC
From statistical inference to a differential learning rule for stochastic neural networks
随机神经网络是一种能够建立外部刺激集合的概率表示的原型计算设备。建立在推理和学习之间的关系,我们得出一个突触可塑性规则,只依赖于延迟活动的相关性,并显示了一些显着的功能。我们的“延迟相关匹配”(DCM)规则满足生物可行性的一些基本要求:有限和嘈杂的传入信号,戴尔的原则和突触连接的不对称性,权重更新计算的局部性。尽管如此,DCM规则能够在一般情况下存储大量的模式作为随机递归神经网络中的吸引子,而不需要任何修改:它可以处理相关模式,广泛的架构(有或没有隐藏的神经元状态),具有palimplant属性的一次性学习,同时避免虚假吸引子的扩散。当隐藏单元存在时,我们的学习规则可以用于构建玻尔兹曼机生成模型,利用在特征提取和分类任务中添加隐藏神经元。
2018-10-22 cond-mat.dis-nn q-bio.NC
Statistical mechanics of complex neural systems and high dimensional data
神经科学的最新实验进展为神经网络的巨大复杂性开辟了新的前景。数据的激增在两个平行的方面对我们提出了挑战。首先,我们如何形成足够的理论框架来理解动态网络过程如何在广泛不同的时空尺度上合作,以解决重要的计算问题?第二,我们如何从高维数据集中提取有意义的神经元系统模型?为了帮助在这些挑战中,我们给出了一个收集的想法和理论方法在统计物理学,计算机科学和神经生物学的交叉点产生的教学审查。我们介绍了相关的副本和腔的方法,这起源于统计物理的强大的方法来定量分析许多相互作用的自由度的大型高度异质系统。我们还介绍了密切相关的概念,图形模型中的消息传递,它起源于计算机科学作为一个分布式算法能够解决大型推理和优化问题,涉及许多耦合变量。然后,我们将展示如何统计物理学和计算机科学的观点可以应用在各种各样的背景下,在理论神经科学和数据分析中出现的问题。一路上,我们讨论自旋眼镜,学习理论,噪声中的结构错觉,随机矩阵,降维和压缩感知,所有这些都在副本方法的统一形式主义中。此外,我们回顾最近的概念之间的联系,在图形模型的消息传递,神经计算和学习。总的来说,这些想法说明了统计物理学和计算机科学如何提供一个镜头,通过它我们可以发现深埋在神经元网络动力学复杂性中的新兴计算功能。
2013-01-30 cond-mat.dis-nn q-bio.NC stat.ML
Statistical Field Theory and Networks of Spiking Neurons
本文在统计场论的框架内建立了一个大的相互作用的神经元的动力学模型。我们使用最初在统计场论背景下开发的方法[44],后来适应于相互作用的复杂系统[45][46]。我们的模型跟踪单个相互作用的神经元动力学,但也保留了神经场动力学的一些特征和目标,例如通过空间变量索引大量神经元。因此,本文桥梁的规模个别相互作用的神经元和宏观尺度的神经场理论建模。
2022-05-24 cond-mat.dis-nn hep-th math-ph
Statistical physics of exchangeable sparse simple networks, multiplex networks and simplicial complexes
可交换性是网络集合的期望统计特性,其要求在节点重新标记时的不变性。然而,将网络集合的稀疏性与交换性相结合是具有挑战性的。在这里,我们提出了一个统计物理框架和Metropolis-Hastings算法定义可交换的稀疏网络集成。该模型生成的网络异构度分布只执行全局约束,而现有的(不可交换的)指数随机图执行大量的本地约束。这个非常一般的理论框架来描述可交换网络在这里首先制定为不相关的简单网络,然后它被扩展到处理简单网络的度相关性,有向网络,二分网络和广义网络结构,包括多重网络和单纯复形。特别是在这里,我们制定和治疗不相关的和相关的可交换合奏的单纯复合物使用统计力学的方法。
2022-03-09 cond-mat.dis-nn cs.SI physics.soc-ph
High-dimensional manifold of solutions in neural networks: insights from statistical physics
Bocconi University(博科尼大学)
本文以统计力学回顾感知机解空间,推导 SAT/UNSAT 转变,并刻画零误差解的几何结构、聚类、局部景观及线性模态连通性,解释二值权重模型的算法困难性。
2025-02-19 cond-mat.dis-nn cs.LG math.PR