Modified Thouless-Anderson-Palmer equations for the Sherrington-Kirkpatrick spin glass: Numerical solutions
对于大而有限的系统,在整个玻璃区数值研究了无限范围的Sherrington-Kirkpatrick模型的静态性质。该方法是基于修改后的Thouless-Anderson-Palmer方程与作为数值工具的唯象弛豫动力学相结合。在讨论了有限尺寸效应后,给出了在均匀磁场作用下,在低于自旋玻璃温度的所有温度下,最低自由能态的静态性质。此外,Meta稳态的一些特征。这些状态存在于有限的温度区间,并通过局部鞍结分叉消失。数值结果表明,在热力学极限下,Meta稳态的过剩自由能仍然是有限的。这意味着一个“多谷”结构的自由能在一个次广泛的规模。
2002-04-08 cond-mat.dis-nn cond-mat.stat-mech
Thouless-Anderson-Palmer Approach for Lossy Compression
本文研究了一个病态线性反问题,其中一个二进制序列将使用稀疏矩阵再生。根据以前的研究,该模型理论上可以提供一个最佳的压缩方案为任意失真水平,虽然编码过程仍然是一个NP完全问题。在本文中,我们专注于一致性条件的马尔可夫型动力学模型,推导出一个迭代算法,以下的步骤Thouless-Anderson-Palmer的。数值结果表明,该算法可以经验饱和的理论极限为我们的代码的稀疏建设,这也是非常接近率失真函数。
2003-12-29 cond-mat.dis-nn
Thouless-Anderson-Palmer equation and self-consistent signal-to-noise analysis for the Hopfield model with three-body interaction
自洽信噪比分析(SCSNA)是一种替代复制方法的方法,用于推导联想记忆神经网络模型的序参量方程组,与Thouless-Anderson-Palmer方程(TAP)方法密切相关。在Shiino和Yamana最近的论文中,已经发现TAP方程的Onsager反应项可以从具有2体相互作用的Hopfield神经网络的SCSNA中获得。我们研究了具有三体相互作用的联想记忆随机模拟神经网络的TAP方程,以研究与SCSNA的输出特性成比例的Onsager反应项的结构。我们报告的SCSNA框架的模拟网络与3-体相互作用,以及一种新的配方的基础上的腔的概念,涉及两个腔和混合使用的SCSNA获得TAP方程。
2006-08-04 cond-mat.dis-nn
Training Restricted Boltzmann Machines via the Thouless-Anderson-Palmer Free Energy
Laboratoire de Physique Statistique(统计物理实验室);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);International Centre for Fundamental Physics and its interfaces at Ecole normale supérieure(巴黎高等师范学院基础物理及其交叉学科国际中心);Sorbonne Universités(索邦大学联盟);UPMC Univ Paris 06(巴黎第六大学(皮埃尔和玛丽·居里大学))
受限玻尔兹曼机是一种无向神经网络,在许多应用中已经被证明是有效的,包括作为训练深度多层神经网络的初始化。他们成功的主要原因之一是存在有效和实用的随机算法,如对比发散,用于无监督训练。我们提出了一种替代的确定性迭代过程的基础上改进的平均场方法,从统计物理称为Thouless-Anderson-Palmer方法。我们证明,我们的算法提供的性能等于,有时优于,持久的对比发散,同时也提供了一个清晰,易于评估的目标函数。我们相信,这种策略可以很容易地推广到其他模型以及更准确的高阶近似,为系统地改进训练具有隐藏单元的玻尔兹曼机铺平了道路。
2015-06-15 cond-mat.dis-nn cs.LG cs.NE
Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise
The Abdus Salam International Centre for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心);Institute of Science and Technology Austria(奥地利科学技术研究所)
针对结构化旋转不变噪声下的低秩尖峰矩阵推断,论文结合副本法与广义球面积分刻画一般迹系综的信息论极限,并提出自适应 TAP 高效算法达到该极限。
2024-07-08 cond-mat.dis-nn cs.IT cs.LG
Evidence for a Vanishing Complexity of the Sherrington-Kirkpatrick model
从修正的Thouless-Anderson-Palmer方程出发,对Sherrington-Kirkpatrick自旋玻璃的复杂性进行了详细的数值研究。数据表明,标度律,导致最近提出的热力学极限的复杂性消失。稳定态总数的结果与现有的方法一致。
2003-10-31 cond-mat.dis-nn cond-mat.stat-mech
An iterative construction of solutions of the TAP equations for the Sherrington-Kirkpatrick model
我们提出了一个迭代构造的解决方案的Thouless-Anderson-Palmer方程的Sherrington-Kirpatrick模型。证明了该迭代格式精确收敛到de Almayda无边界线。SK模型本身没有结果。
2012-01-13 cond-mat.dis-nn math-ph math.MP
Effective Mean-Field Inference Method for Nonnegative Boltzmann Machines
非负玻尔兹曼机(Nonnegative Boltzmann machines,NNBM)是一种能够描述多模态非负数据的递归概率神经网络模型。NNBM形式的整流高斯分布,出现在生物神经网络模型,正矩阵分解,非负矩阵分解,等等,在本文中,提出了一种有效的推理方法NNBM,使用平均场方法,称为无偏-安德森-帕尔默方程,对角一致性方法,这是最近提出的。
2016-03-08 cond-mat.dis-nn cond-mat.stat-mech stat.ML
Numerical Study of TAP Metastable States in 3-body Ising Spin Glasses
在退火计算水平上,对完全连通三体相互作用Ising自旋玻璃模型的Thouless-Anderson-Palmer方程进行了大量的数值实验研究.最近的一项研究预测,当系统的平衡态以一步复本对称性破缺为特征时,在相对低的自由能区域中,该分布由Becchi-Rouet-Stora-Typhoon(BRST)超对称解描述,而对于较高的自由能值,BRST超对称性被破缺(Crisanti等人,Phys.Rev.B71(2005)094202)。我们的实验定性地再现了由理论评估预测的宏观变量的判别行为。
2006-10-06 cond-mat.dis-nn cond-mat.stat-mech
Memory-free dynamics for the TAP equations of Ising models with arbitrary rotation invariant ensembles of random coupling matrices
Technische Universität Berlin(柏林工业大学)
本文提出了一种求解具有任意旋转不变(随机)耦合矩阵的伊辛模型的Thouless-Anderson-Palmer(TAP)方程的迭代算法.在热力学极限,我们证明了通过动力泛函方法,该算法收敛时,所谓的德阿尔梅达无(AT)标准是履行。此外,我们给出了精确的解析表达式的收敛速度。
2019-03-07 cond-mat.dis-nn cs.LG
Statistical field theory for neural networks
这些笔记试图一个独立的介绍到统计场论适用于神经网络的速率单位和二进制自旋。介绍由三个部分组成:第一,介绍基本概念的概率,矩,累积量,以及它们之间的关系的连锁集群定理,其中威克定理是最重要的特殊情况;其次是图解制定的扰动理论,审查统计设置。第二,伊藤公式中的随机微分方程描述的动态,在Martin-Siggia-Rose-De Dominicis-Janssen路径积分形式主义中处理。从无序系统的概念,然后,我们研究网络的随机连接,并推导出自洽的动态平均场论,解释统计的波动和出现不同的阶段与规则和混沌动力学。第三,我们介绍了有效作用量,顶点函数,和循环展开。这些工具说明了系统的自洽方程的推导,超越平均场近似。这些方法适用于成对最大熵(伊辛自旋)模型,包括最近发现的图形推导Thouless-Anderson-Palmer平均场论。
2019-01-29 cond-mat.dis-nn cond-mat.stat-mech
Mean-field theory for a spin-glass model of neural networks: TAP free energy and paramagnetic to spin-glass transition
提出了一种Hopfield模型的方法,其中对给定的一组存储模式(样本)进行平均场处理,然后对样本进行统计平均。这对应于Anglerless、Anderson和Palmer(TAP)对自旋玻璃的无限程模型所做的处理。考虑到Hopfield模型中相互作用矩阵的不同元素之间存在相关性,我们显式地获得了它的TAP自由能,它由一系列表现出团簇效应的项组成。本文还考察了该模型中的自旋玻璃相变的性质,并与复型法和腔法的结果作了比较。
1997-05-02 cond-mat.dis-nn
Small-world of communities: communication and correlation of the meta-network
给定一个网络和n个社区的划分,我们解决了“社区如何相互影响”和“当两个给定的社区进行通信”的问题。我们证明了,对于一个小世界网络,社区之间,一个简单的叠加原理适用,每个社区发挥的作用,一种有效的TAP(无障碍,安德森和帕尔默)方程的微观自旋。在有限温度或零温度下(该方法提供了一个有效的渗流理论),从这些方程计算的相对渗透率给我们的答案,上述问题。对于已经研究过的n=1的情况,这些方程在顺磁区域是精确的(在T=0时,这意味着低于逾渗阈值),并在其他区域提供有效的近似。然而,与n=1的情况不同,群落之间的不对称性可能通过方程的TAP结构导致许多亚稳态,在群落之间存在负捷径的情况下,亚稳态的数量可能随着n呈指数快速增长,并且发生具有显著存在的突然跳跃的玻璃状情景。此外,作为一个副产品,从相对亲合性的一个自然和有效的方法来检测一个通用网络的社区结构出现。
2009-08-27 cond-mat.dis-nn cond-mat.stat-mech
Network inference using asynchronously updated kinetic Ising Model
网络结构重建从动力学数据分别朴素平均场(nMF)和Thouless-Anderson-Palmer(TAP)近似。对于TAP近似,我们使用两种方法来重建网络:a)迭代法; b)将推理公式转换为一组三次方程并直接求解。本文研究了非对称Sherrington-Kirkpatrick(S-K)模型的异步更新推理。在S-K模型中,三次方程的解依赖于温度T,并且发现临界温度Tc在2.1附近。当T < Tc时,三次方程组的解由一个实根和两个共轭复根组成,而当T > Tc时,三次方程组的解由三个实根组成。只有当三次方程有三个实解时,迭代法才是收敛的。当迭代法收敛时,两种方法给出了相同的结果。与nMF相比,TAP在低温下稍好,但随着温度的升高,性能接近相同。这两种方法在数据长度较长时表现更好,但对于改进,TAP非常明显。
2010-11-29 cond-mat.dis-nn physics.comp-ph stat.CO
A Deterministic and Generalized Framework for Unsupervised Learning with Restricted Boltzmann Machines
OWKIN, Inc.(OWKIN公司);École Normale Supérieure, PSL University(巴黎文理研究大学巴黎高等师范学院);Snips(Snips公司);Université Pierre et Marie Curie, Sorbonne Universités(索邦大学皮埃尔与玛丽·居里大学);LightOn(LightOn公司)
受限玻尔兹曼机(RBM)是基于能量的神经网络,通常用作深度架构神经架构的构建块。在这项工作中,我们得出一个确定性的框架,培训,评估和使用RBM的Thouless-Anderson-Palmer(TAP)的平均场近似的广泛连接的系统与弱相互作用来自自旋玻璃理论的基础上。虽然TAP方法已被广泛研究的完全可见的二进制自旋系统,我们的建设推广到潜变量模型,以及任意分布的实值自旋系统有界支持。在我们的数值实验中,我们证明了我们提出的模型的有效的确定性训练,并能够显示出有趣的无监督学习的特点,不能直接观察到采样。此外,我们演示了如何利用我们的TAP为基础的框架,利用训练有素的RBM联合先验去噪问题。
2018-10-09 cond-mat.dis-nn cs.LG cs.NE
Free energy barriers in the Sherrington-Kirkpatrick model
在Thouless-Anderson-Palmer(TAP)方程的框架中,Sherrington-Kirkpatrik(SK)Ising自旋玻璃的自由能景观是简单的,因为每个解(其是自由能的最小值)与其相关联的是附近的指数一鞍点。逃逸最小值的自由能垒就是鞍点自由能与相应最小值自由能之差。这种差异是计算的状态与自由能$f > f_c$。对于这些状态,它非常小,以$1/N^2$递减,其中$N$是系统中的自旋数。这些状态并不稳定。我们认为,这样小的障碍,为什么数值研究从来没有发现这些国家时,$N$是大的。相反,所发现的状态是那些具有边际稳定性的状态。对于他们来说,屏障至少是$O(1)$。$f_c$是每个自旋的自由能,低于该自由能,状态发展出破坏的复制对称性,如彼此重叠。在$f < f_c$体系中,我们只能提供一些基于缩放参数的可能性。其中之一表明,障碍可能会变得与$N^{1/3}$一样大。这可能与最近对Viana-Bray模型的数值研究相一致,这些研究与Cugliandolo和Kurchan对SK模型的预期不一致。
2021-11-12 cond-mat.dis-nn
Categorization in fully connected multi-state neural network models
在副本对称平均场论中,研究了具有离散或连续Q状态单元的全连接神经网络模型的分类能力。分层相关的多状态模式的祖先和后代(例子)的两级结构中嵌入在网络中,分类任务包括在识别的祖先时,网络是专门与他们的后代训练。以相图和分类曲线的形式给出了Q=3态模型和$Q=\infty$态模型的平衡性质依赖性的显式结果。当网络用低活动的例子训练时,发现分类能力有很大的提高。分类能力被发现是强大的有限阈值和突触噪声。Almeida-numerless线,限制了复制对称的结果的有效性,也得到了。
1999-10-01 cond-mat.dis-nn
Communication and correlation among communities
给定一个网络和一个划分的社区,我们考虑的问题“社区如何相互影响”和“当两个给定的社区进行通信”。具体来说,我们解决这些问题的背景下,小世界网络,其中一个任意淬火图和随机添加的远程连接。我们证明,在社区,叠加原理适用,并产生了一个自然的推广的有效场论已经提出的[物理评论E 78,031102](n=1),其中(n>1)包括在一种有效的TAP(无源,安德森和帕尔默)方程,其中每个社区发挥的作用,微观自旋。在有限温度或零温度下计算这些方程的相对渗透率,其中该方法提供了有效的渗流理论,给我们以上问题的答案。与n=1的情况不同,社区之间的不对称性可以通过方程的TAP类结构导致许多亚稳态,在社区之间的负捷径的情况下,亚稳态的数量可以随着n以指数方式快速增长。作为例子,我们考虑的n Viana-Bray社区模型和n一维小世界社区模型。尽管是最简单的,这些模型在网络理论中的相关性,例如在社交网络中,是至关重要的,并且直到现在还没有分析解决方案。本文还讨论了逾渗与网络分维之间的联系。最后,作为一个逆问题,我们展示了如何从相对的相似性,一个自然和有效的方法来检测一个通用网络的社区结构。有关主要结果的简短介绍,请参见arXiv:0812.0608。
2009-07-31 cond-mat.dis-nn physics.soc-ph
Neural Networks as Spin Models: From Glass to Hidden Order Through Training
Joint Quantum Institute(联合量子研究所);University of Maryland(马里兰大学);Institute for Advanced Study(高等研究院);Princeton University(普林斯顿大学)
本研究建立了神经网络与统计力学自旋模型的对应关系,解析证明初始随机权重网络对应分层Sherrington-Kirkpatrick自旋玻璃,通过TAP方程发现MNIST训练中自旋玻璃快速消失并出现隐藏有序相,为理解神经网络训练提供了统一的统计力学视角。
2024-08-12 cond-mat.dis-nn cs.LG nlin.AO