Replica bounds for diluted non-Poissonian spin systems
在本文中,我们扩展副本界和自由能次可加性参数稀释自旋玻璃模型的图任意,非泊松度分布。新的困难,这种情况下的具体克服引入插值程序,强调插值方法和腔方法之间的关系。作为一个副产品,我们得到的自平均身份推广的Ghirlanda-Guerra的多重叠的情况下。
2003-09-04 cond-mat.dis-nn cond-mat.stat-mech
Replica bounds for optimization problems and diluted spin systems
在本文中,我们推广到稀释自旋模型和随机组合优化问题的情况下,最近推出的Guerra(cond-mat/0205123)的技术,以证明副本方法产生的无序系统的变分边界。我们分析了一个家庭的模型,包括Viana-Bray模型,稀释的p-自旋模型或随机XOR-SAT问题,和随机K-SAT问题,表明副本方法提供了一个可改进的计划,以获得在所有温度下的自由能和基态能量的下限。因此,在K-SAT的情况下,副本方法给出了可满足性阈值的上界。
2002-08-14 cond-mat.dis-nn cond-mat.stat-mech
A general method to determine replica symmetry breaking transitions
我们引入了一个新的参数,利用有限尺寸标度方法研究了复本对称性破缺跃迁。基于F. Guerra该参数是对自旋玻璃序参量的自平均特征的直接检查。这个新的参数可以用来研究具有时间反演对称性的模型,但它最大的兴趣在于没有这种对称性的模型。我们将此方法应用于有和无磁场的长程和短程伊辛自旋玻璃以及短程多自旋相互作用自旋玻璃。
1998-02-27 cond-mat.dis-nn cond-mat.stat-mech
Some Exact Results on the Ultrametric Overlap Distribution in Mean Field Spin Glass Models (I)
采用严格的数学方法和强大的分析工具对平均场自旋玻璃模型进行了分析。所采用的方法是通用的,并且可以应用于其他无序平均场模型,例如,神经网络众所周知,副本之间重叠的概率度量承载了这些模型的全部物理内容。本文根据F.格拉通过证明泛函序参量是模型的正确序参量,明确地得到了全重叠分布。得到了泛函序参量的物理解释,并推导出重叠超度量是分支扩散过程的自然结果。它是由明确的建设,超度量的3副本重叠分布与Ghirlanda-Guerra关系一起确定的重叠分布之间的s副本,对于任何s,在一个重叠分布。
2000-02-22 cond-mat.dis-nn cond-mat.stat-mech math-ph
Absence of replica symmetry breaking in the transverse and longitudinal random field Ising model
证明了横向和纵向随机场伊辛模型中复制对称性没有被破坏。在这个模型中,在无限体积极限下,在耦合常数空间中,任何组分的自旋重叠方差在任何维度上几乎处处为零。该模型的弱Fortuin-Kasteleyn-Ginibre性质和基于Lie-Trotter-Suzuki公式的路径积分表示的人工模型中的Ghirlanda-Guerra恒等式使我们能够将Chatterjee对随机场伊辛模型的证明推广到量子模型。
2020-12-19 cond-mat.dis-nn math-ph math.MP
Rigorous approaches for spin glass and Gaussian spin glass with P-wise interactions
本文的目的是正视P-自旋玻璃和高斯P-自旋模型,即具有P > 2次多项式相互作用的自旋玻璃。我们考虑了副本对称性和副本对称性破缺的第一步假设,并通过输运方程和Guerra插值技术求解模型,表明我们得到了相同的结果。因此,使用严格的方法,我们恢复相同的表达式淬火统计压力和自洽方程在这两个假设发现与其他技术,包括著名的\textit{replica trick}技术。最后,我们证明了对于$P=2$,高斯P-自旋玻璃模型是本征RS的.
2021-11-24 cond-mat.dis-nn math-ph math.MP
Statistical mechanics of the random K-SAT model
利用稀释无序系统的副本对称框架,研究了随机K-可满足性问题,即验证N个布尔变量的赋值是否存在,这些布尔变量满足一组M=alpha N的随机逻辑子句,每个子句包含K个变量.我们提出了一个精确的迭代计划副本对称功能序参量一起为不同的情况下的利益K=2,K>= 3和K>>1。计算的解决方案的数量,这使我们[物理。76,3881(1996)]来预测在布尔表达式以概率1变得不可满足的阈值处的一阶跳跃。在K=2的情况下,每个布尔变量的子句数的(严格已知的)临界值(α =1)被恢复,而对于K>=3,我们表明,该系统表现出复本对称性破缺过渡。退火近似被证明是准确的大K。
1997-01-24 cond-mat.dis-nn
A novel derivation of the Marchenko-Pastur law through analog bipartite spin-glasses
在这项工作中,我们考虑{ \em模拟二分自旋玻璃}(或{ \em实值限制玻尔兹曼机}在神经网络的行话),其变量(淬火以及那些动态)共享标准高斯分布。首先,通过Guerra的插值技术,我们表示其淬火自由能的自然序参量的理论(即自我和两个副本重叠),然后,我们重新获得相同的结果,通过使用复制技巧:一个强制性的贡品,给定的特殊场合。接下来,我们证明了该模型的淬灭自由能是连接自旋玻璃两层的权重之间的相关矩阵的矩的函数生成器(即,随机矩阵理论中的Wishart矩阵或神经网络中的Hebbian耦合):由于权重是淬灭的随机变量,这是检查随机矩阵的一种新工具。特别是,我们发现的相关矩阵的谱密度的Stieltjes变换是由(复制对称)淬火自由能的二分自旋玻璃模型。在这种设置中,我们以非常简单的方式重新获得了Marchenko-Pastur定律。
2018-11-20 cond-mat.dis-nn
The infinite volume limit of the Hopfield neural networks in the replica-symmetric regime
Sapienza Università di Roma(罗马第一大学);Istituto Nazionale di Fisica Nucleare, Sezione di Roma(意大利国家核物理研究所罗马分部);CNR Nanotec, Salento Unit(意大利国家研究委员会纳米技术研究所莱切单元);Università del Salento(萨伦托大学);Istituto Nazionale di Fisica Nucleare, Sezione di Lecce(意大利国家核物理研究所莱切分部)
本研究提出一种新插值策略,将Hopfield模型自由能表示为自旋玻璃模型自由能的线性组合,在副本对称区域内严格证明了其无限体积极限的存在性,并给出了精确自由能的严格界。
2026-09-18 cond-mat.dis-nn math-ph math.MP
Multi-species mean-field spin-glasses. Rigorous results
我们研究了一个多物种的自旋玻璃系统,其中每个物种的密度保持固定在不断增加的体积。该模型减少到Sherrington-Kirkpatrick一个单物种的情况下。在凸性条件下证明了热力学极限的存在性。研究了该模型的热力学性质,并利用Guerra方法证明了退火、副本对称和复本对称性破缺的边界.退火近似在高温条件下被证明是精确的。我们发现,副本对称的解决方案在低温下有负熵。我们研究了一个适当定义的复本对称性破缺解决方案的属性,我们优化它内的一个ziggurat animals。广义序参量由Parisi-like偏微分方程描述。
2014-04-10 cond-mat.dis-nn cond-mat.stat-mech math-ph
Dense Hebbian neural networks: a replica symmetric picture of unsupervised learning
本文通过统计力学和蒙特卡罗模拟方法研究了无监督训练的密集联想神经网络,获得了其性能相图,并建立了宏观可观测值与损失函数之间的联系,并提出了结合大偏差和稳定性分析及Plefka近似的新研究方法。
2023-07-02 cond-mat.dis-nn stat.ML
Unsupervised and Supervised learning by Dense Associative Memory under replica symmetry breaking
该研究从统计力学角度,针对稠密联想记忆网络放宽复制对称假设,用两种数学方法推导一步复制对称破缺相图,解析分析其极限特性并证明相关结论,补充了这类学习网络的理论描述。
2023-12-15 cond-mat.dis-nn stat.ML
Constraints for the order parameters in analogical neural networks
本文利用平衡态统计力学研究了模式连续存储(高斯分布)的Hopfield神经网络的内能性质。该模型被证明是相当于一个二分自旋玻璃,其中一方是由二分神经元和高斯自旋变量的另一方。处理复制系统,除了马蒂斯磁化,我们引入了两个重叠,一个为每一方,作为理论的序参量:第一个是不同副本上的神经配置之间的标准重叠,第二个是不同副本的高斯自旋之间的重叠。这项工作的目的是显示这些序参量的约束的存在,接近在许多其他复杂系统中发现的自旋玻璃和稀释网络:我们发现一类Ghirlanda-Guerra的身份重叠,概括了众所周知的约束的神经网络,以及新的身份,其中明确涉及噪声。
2009-11-16 cond-mat.dis-nn cond-mat.stat-mech
Mean field spin glasses treated with PDE techniques
根据F. Guerra,在这篇笔记中,我们从不同的角度分析了Sherrington-Kirkpatrick模型,所有这些都共享了一种基本方法,即将模型的统计力学的解决方案(例如求解自由能)与众所周知的偏微分方程(PDE)问题(在适当的空间中)联系起来。该计划是,然后解决相关的偏微分方程使用的技术涉及在其本国的领域,最后带回解决方案,在适当的统计力学框架。在这条链中,在Curie-Weiss模型上进行了简化的测试案例以突出方法而不是背后的物理学之后,我们在副本对称和1-RSB水平上求解SK,通过与傅立叶方程的类比获得自由能的正确表达式,并通过与Burger方程的类比获得自相关性,其冲击波正好在临界噪声水平上发展(触发相变)。我们的方法,除了作为一种新的替代方法,(相对于标准途径),将偏微分方程理论中的对称性与统计力学中的约束联系起来,从理论物理的角度,得到了一类新的多项式恒等式(即Aizenman-Contucci类型,但合并在Guerra的破碎复制品测量中),其兴趣在于通过最近的Panchenko突破,如何对Parisi预测的超度量树进行重叠组织。
2013-04-09 cond-mat.dis-nn cond-mat.stat-mech math-ph
Ultrametric identities in glassy models of Natural Evolution
本文研究了平坦景观演化模型中的超度量恒等式,发现单亲模型和物种形成模型不满足经典约束而是满足一类新恒等式,且真实与人工基因组数据更符合新恒等式。
2023-06-23 cond-mat.dis-nn q-bio.PE
Partial annealing and pattern decorrelation in associative neural networks
Università del Salento(萨伦托大学);Istituto Nazionale di Fisica Nucleare, Sezione di Lecce(意大利国家核物理研究所莱切分部);Sapienza Università di Roma(罗马第一大学);Istituto Nazionale di Fisica Nucleare, Sezione di Roma 1(意大利国家核物理研究所罗马一分部);CNR-Nanotec, unità di Lecce(国家研究委员会纳米技术研究所莱切单元);Université Paris-Saclay(巴黎萨克雷大学)
本文研究部分退火的关联神经网络,通过两温两时间尺度框架探讨神经动态与缓慢演化的模式耦合,发现负n值导致存储模式去相关,提升记忆存储能力。
2026-05-11 cond-mat.dis-nn
Existence of de Almeida-Thouless-type instability in the transverse field Sherrington-Kirkpatrick model
本研究将Guerra和Talagrand的插值法推广到量子平均场自旋玻璃模型,得到横场Sherrington-Kirkpatrick模型的RS与1RSB自由能解,给出1RSB解更优的耦合条件,并借此证明该模型中de Almeida-Thouless型不稳定性的存在性。
2024-03-13 cond-mat.dis-nn math-ph math.MP
Neural Networks retrieving Boolean patterns in a sea of Gaussian ones
受限玻尔兹曼机是机器学习中的关键工具,由二分自旋玻璃的能量函数描述。从统计力学的角度来看,它们共享用于联想记忆的Hopfield网络的相同Gibbs测度。在这种等价关系中,前者的权重在后者中扮演着模式的角色。由于玻尔兹曼机通常需要用类似梯度下降的方法来训练实数权重,而Hopfield网络通常存储二进制模式以能够检索,因此对配备有实数(例如,高斯)和离散(例如,布尔)模式自然会出现。我们证明了,在具有挑战性的制度的高存储的真正的模式,检索是禁止的,一个额外的负载的布尔模式仍然可以检索,只要之间的比率的整体负载和网络大小不超过一个临界阈值,原来是相同的标准Amit-Gutfreund-Sompolinsky理论。假设副本对称,我们研究了一个低负荷的布尔模式的情况下,结合随机稳定性和Hamilton-Jacobi插值技术。结果可以通过非严格但标准的副本计算参数扩展到高负载。
2017-03-15 cond-mat.dis-nn math-ph math.MP
Replica symmetry breaking in dense neural networks
理解神经网络的玻璃性质对于机器学习和理论人工智能的理论和计算进步都至关重要。保持对密集关联赫布神经网络的重点,本文的目的是双重的:首先,我们开发严格的数学方法,以妥善解决这些网络中的{ \em复本对称性破缺}(RSB)现象的统计力学图片,然后-深化通过这些路线的结果-我们的目标是检查{ \em glassiness},他们隐藏。特别是,关于方法,我们提供了两种技术:前者是一个适应的运输PDE的情况下,而后者是格拉的插值突破的延伸。除了结果之间的一致性,无论是在副本对称性和一步复本对称性破缺水平的描述,我们证明了加德纳的图片,我们确定的最大存储容量的基态分析中的巴尔迪-文卡特什高存储制度。在本文的第二部分中,我们研究了这些网络的玻璃结构:与副本对称的情况下(RS),RSB实际上稳定的自旋玻璃相。我们报告了巨大的差异w.r.t.标准成对Hopfield极限:具体地,已知可以将Hopfield神经网络的自由能表示为硬自旋玻璃(即,Sherrington-Kirkpatrick模型)和软自旋玻璃(高斯或“球形”模型)的自由能的线性组合。当相互作用超过成对时(无论描述的级别是RS还是RSB),情况就不再如此了:对于稠密网络,只有硬自旋玻璃的自由能幸存下来,证明了联想神经网络潜在的玻璃性的巨大差异。
2021-11-25 cond-mat.dis-nn math-ph math.MP
Correlations between hidden units in multilayer neural networks and replica symmetry breaking
我们考虑前馈神经网络的一个隐藏层,树结构和一个固定的隐藏输出布尔函数。针对存储问题的饱和极限,研究了复本对称性破缺对隐藏单元处局域场分布的影响。这些场分布确定了找到隐藏单元的特定激活模式的概率以及相应的相关系数,因此量化了隐藏单元之间的劳动分工。我们发现,虽然修改的存储容量和本地字段的分布显着复本对称性破缺的相关系数只有很小的影响。详细的数值计算结果提供的奇偶校验,委员会和与机器K=3隐藏单位和nonoverlapping感受野。
1999-06-14 cond-mat.dis-nn cond-mat.stat-mech
Dense Hebbian neural networks: a replica symmetric picture of supervised learning
本文用自旋玻璃统计力学与 Monte Carlo 模拟分析教师训练的稠密 Hebbian 联想网络,给出相图并验证其超存储与超检测能力。
2023-07-02 cond-mat.dis-nn stat.ML
Interpolating between boolean and extremely high noisy patterns through Minimal Dense Associative Memories
最近,Hopfield和Krotov引入了{ \em密集联想记忆} [DAM]的概念(接近于无序统计力学术语中具有$P$ -wise相互作用的自旋玻璃):他们证明了这些网络共享的许多显着特征,并建议使用它们来(部分)解释新一代人工智能的成功。由于Baldi \& Venkatesh的一个显着的ante-litteram分析,在这些属性中,已知这些网络可以处理最大数量的存储模式$K$缩放为$K \sim N^{P-1}$。在本文中,一旦引入{ \em最小密集关联网络}作为落入这类DAM中的最基本的代价函数之一,我们就牺牲了这种高负载机制-即我们强制{ \em单独}存储线性量的模式,即$K = αN$(与$α>0$)-证明,在这种制度下,即使模式信号是$O(1)$并且被嵌入在噪声$O(\sqrt{N})$的海洋中,这些网络也可以正确地执行模式识别,也在大的$N$极限中。为了证明这一点,通过极值化模型在其自然序参数上的淬火自由能,(各种磁化和重叠),我们推导出它的相图,在描述的副本对称水平和热力学极限:作为一个副业,我们强调,为了实现这一任务,旨在学科之间的交叉施肥,我们在自旋玻璃的统计力学中铺设了两条霸主路线,即复制技巧和插值技术。这两种方法都得出了相同的结论:在噪声- $T$与负载- $α$相图平面中,存在一个非空区域,这些网络实际上可以在这种具有挑战性的状态下工作;特别是,我们在(…
2019-12-02 cond-mat.dis-nn stat.ML
Features of a spin glass in the random field Ising model
本文研究非零温下短程随机场Ising模型的自旋玻璃特性,证明特定弱随机场下d≥2亚临界温时该模型具备三个平均场自旋玻璃关键特征,同时指出其不满足另外两个平均场性质。
2024-03-08 cond-mat.dis-nn math-ph math.MP