Multifractality and percolation in the coupling space of perceptrons
连续和二进制权重感知器的耦合空间被一组$p=γN$随机输入模式划分为一个无序的多重分形。多重分形谱$f(α)$可以使用复制形式主义解析地计算。的存储容量和感知器的泛化行为被证明是相关的属性$f(α)$正确描述内的副本对称anomaly。复本对称性破缺在几何学上被解释为从非对称性单元到非对称性单元的过渡。空胞的存在导致多重分形谱的奇异性。二元耦合的分析结果证实了数值研究。
1997-01-13 cond-mat.dis-nn
Replica theory for the rate functional of the empirical spectral distribution function of diluted Hermitian matrices
Hainan University(海南大学);Universidad Autónoma Metropolitana-Iztapalapa(墨西哥自治大学伊斯塔帕拉帕分校)
提出基于副本方法的框架,用于稀释Hermitian随机矩阵经验谱分布函数的速率泛函,以Erdős-Rényi随机图为例导出累积量并验证副本对称预测。
2026-06-17 cond-mat.dis-nn cond-mat.stat-mech
On the Replica Symmetric Solution in General Diluted Spin Glasses
本文在随机p-均匀超图上统一研究一般稀释自旋玻璃的副本对称解,证明高温区域和亚临界区域中自由能可由递归分布方程唯一不动点表示,并推导出多个经典模型的新能量公式。
2024-10-21 cond-mat.dis-nn math.PR
Expectation propagation on the diluted Bayesian classifier
Politecnico di Torino(都灵理工大学);Italian Institute for Genomic Medicine(意大利基因组医学研究所);INFN Sezione di Torino(意大利国家核物理研究所都灵分部);Amazon Alexa(亚马逊Alexa)
从高维数据集中有效地选择特征是许多数据驱动的科学和工程领域中的一个非常重要的挑战。我们引入了一个统计力学启发的策略,解决了稀疏特征选择的问题,在二进制分类的背景下,利用一个计算方案称为期望传播(EP)。该算法是用来训练一个连续权重感知器学习分类规则从一组(可能部分错误标记)的例子提供了一个教师感知器与稀释的连续权重。我们测试的方法在贝叶斯最优设置在各种条件下,并将其与其他国家的最先进的算法的基础上的消息传递和期望最大化的近似推理计划。总的来说,我们的模拟表明,EP是一个强大的和有竞争力的算法在变量选择属性,估计精度和计算复杂性,特别是当学生感知器训练相关的模式,防止其他迭代方法收敛。此外,我们的数值测试表明,该算法是能够在线学习的先验参数的未知值,如教师感知器的权重的稀释水平和错误标记的例子的分数,相当准确。这是通过一个简单的极大似然策略来实现的,该策略包括最小化与EP算法相关的自由能。
2021-01-31 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Equivalence between algorithmic instability and transition to replica symmetry breaking in perceptron learning systems
二进制感知器是非凸优化问题监督学习的基本模型,也是当前流行的深度学习的基础。二进制感知器通过计算二进制突触的边缘概率来实现对随机高维数据的分类。算法的不稳定性和模型的平衡分析之间的关系仍然难以捉摸。在这里,我们建立的关系表明,算法不动点周围的不稳定条件是相同的不稳定性打破副本对称鞍点解的自由能函数。因此,我们的分析将有希望为其他学习系统提供见解,弥合非凸学习动力学和更复杂的神经网络的统计力学属性之间的差距。
2022-03-07 cond-mat.dis-nn cond-mat.stat-mech stat.ML
Ultrametric Broken Replica Symmetry RaMOSt
在随机多重重叠结构的框架下,提出了稀释平均场弹簧玻璃模型的超度量破缺副本对称性试探函数。
2005-12-12 cond-mat.dis-nn cond-mat.stat-mech
Approximation schemes for the dynamics of diluted spin models: the Ising ferromagnet on a Bethe lattice
我们讨论了稀释自旋模型动力学的解析近似方案。完整的自由度的原始动态被替换为一个层次的方程,包括越来越多的全球可观的,它可以近似地关闭在不同级别的层次。我们说明这种方法的简单的例子上的伊辛铁磁体的贝特晶格,调查的前三个可能的封闭,这都是准确的在长时间限制,并产生越来越准确的预测有限时间的行为。我们还研究了相变附近的临界区域,以及两次关联函数的行为。最后,我们强调这种方法和动态副本理论的副本对称性的假设下的密切关系。
2004-02-17 cond-mat.dis-nn cond-mat.stat-mech
Bounds for diluted mean-fields spin glass models
在最近的一篇重要论文中,\cite{FL},S. Franz和M. Leone证明了在任何温度下稀释的$p$ -自旋模型和$K$ -sat模型的自由能的严格下界。我们表明,这两个模型的结果是一个单一的一般原则的后果。即使在复制对称的情况下,我们的计算也比\cite{FL}的计算简单得多。
2004-05-18 cond-mat.dis-nn math.PR
Replica mean-field theory for Levy spin-glasses
具有Levy分布相互作用的无限程自旋玻璃模型在有限连通随机图上显示了类似于无序自旋系统的冻结转变。结果表明,尽管分散的时刻的局部场分布,这种过渡可以分析内的副本的方法,通过在假想的温度下工作,并使用一个变体的副本方法开发的稀释系统和优化问题。局部场分布的复制对称自洽方程说明了耦合强度分布中的长尾如何引起每个自旋的强键的显著部分,这些强键在转变温度下形成一个稳定的骨架。
2007-01-10 cond-mat.dis-nn
Weight space structure and analysis using a finite replica number in the Ising perceptron
当权重向量$N$的维数趋于无穷大时,使用配分函数$ϕ(n)=(1/N)\log [Z^n]$的生成函数来检查其中存储有一组随机模式的伊辛感知器的权重空间,其中$Z$是配分函数,而$[ ... ]$表示配置平均值。我们利用$ϕ(n)$有两个目的,这取决于比率$α=M/N$的值,其中$M$是随机模式的数量。对于$α< α_{\rm s}=0.833 ...$,我们采用$ϕ(n)$,在$n \to 0$的限制下,结合Parisi的一步副本对称破缺方案,来评估表征与给定的随机模式集兼容的权重的不相交簇的数量的复杂性,这表明,在典型情况下,权重空间由指数地多个权重的单个大集群和指数地多个单个权重的小集群同等地支配。另一方面,对于$α> α_{\rm s}$,使用$ϕ(n)$来评估给定的随机模式集可由Ising感知器按概率分离的小概率的速率函数。我们表明,解析率函数的变化在$α= α_{\rm GD}=1.245 ... $,这意味着占主导地位的配置的可分离的模式表现出在这个临界比率的相变。进行了大量的数值实验,以支持理论预测。
2009-11-21 cond-mat.dis-nn cond-mat.stat-mech
The high temperature region of the Viana-Bray diluted spin glass model
本文研究了Viana-Bray模型的高温或低连通性相。这是著名的Sherrington-Kirkpatrick平均场自旋玻璃的一个稀释版本。在整个副本对称区域,我们得到了一个完整的控制系统,证明退火的无限体积自由能,和一个中心极限定理的适当重新调整波动的多重叠。此外,我们表明,自由能波动,规模1/N,收敛在无限大的体积限制到一个非高斯随机变量,其方差发散在边界的复制对称区域。讨论了它与全连通Sherrington-Kirkpatrick模型的关系。
2003-02-20 cond-mat.dis-nn cond-mat.stat-mech math-ph
Magnetization Densities as Replica Parameters: The Dilute Ferromagnet
本文精确计算了稀磁伊辛模型的基态能量和熵。当存在随机位置的磁场时,也计算了这两个热力学量。通过Monasson引入的一类副本序参量,在副本逼近框架下得到了该结果。该策略首先说明考虑SK模型,我们将展示与标准副本方法的完全等效。然后,我们应用到具有随机磁场的稀磁伊辛模型,将其映射到Potts模型。原则上,这种形式主义可以应用于所有随机系统,我们相信它在许多其他情况下也会有所帮助。
2011-04-21 cond-mat.dis-nn
Storage capacity in symmetric binary perceptrons
我们研究的问题,确定的二进制感知器的两个变种的问题,相应的约束是对称的能力。我们称这些变体为矩形二进制感知器(RPB)和$u-$函数二进制感知器(UBP)。我们表明,与通常的阶跃函数二进制感知器,在这些对称情况下的临界容量是由退火计算在一个大区域的参数空间(所有矩形约束和足够窄的$u-$功能的约束,$K<K^*$)。我们证明了这一事实(在两个自然的假设下)使用第一和第二时刻的方法。我们进一步使用二阶矩方法来推测,对称二进制感知器的解决方案被组织在一个所谓的冻结-1RSB结构,而不使用副本的方法。然后,我们使用副本的方法来估计的容量阈值的UBP的情况下,$u-$功能是宽$K>K^*$。我们的结论是,完整的步骤,复本对称性破缺将不得不进行评估,以获得在这种情况下的确切容量。
2019-03-31 cond-mat.dis-nn math-ph math.MP
Teacher-student learning for a binary perceptron with quantum fluctuations
我们使用复制方法分析了具有量子涨落的二元感知器的泛化性能。指数数量的局部最小值占主导地位的二进制感知器的能量景观。局部搜索算法往往不能识别二进制感知器的基态。在这项研究中,我们考虑了师生学习方法,并计算了量子涨落的二进制感知器的泛化误差。由于量子涨落,我们可以有效地找到鲁棒的解决方案,具有更好的泛化性能比经典模型。我们通过量子蒙特卡罗模拟验证了我们的理论结果。我们采用了副本对称性(RS)假设和静态近似。RS解与我们的模拟结果是一致的,除了相对较低的横向场强度和高的方向图比。这些偏差是由于违反遍历性和静态近似而引起的。考虑到RS解和数值结果之间的偏差,量子涨落对泛化性能的增强是成立的。
2021-04-22 cond-mat.dis-nn quant-ph
Large peaks in the entropy of the diluted nearest-neighbor spin-ice model on the pyrochlore lattice in a [111] magnetic field
利用Wang-Landau蒙特卡罗方法研究了[111]方向磁场中最近邻自旋冰模型的剩余熵,特别考虑了稀释效应.对于稀释模型,我们观察到作为磁场函数的剩余熵逐步减小,这与Peretyatko { \it et al.}在先前的复制交换蒙特卡罗研究中发现的五个磁化平台一致。[Phys. Rev. B { \bf 95},144410(2017)]。我们发现大峰值的剩余熵由于在交叉磁场,$h_c/J$ = 0,3,6,9,和12,其中$h$和$J$的磁场和交换耦合,分别简并。此外,我们还研究了kagome晶格和三角晶格上的稀释反铁磁伊辛模型在磁场中的剩余熵。我们再次观察到剩余熵的大峰值,这与多个磁化平台的稀释模型。最后,我们讨论了稀释和磁场的剩余熵的相互作用。
2021-08-10 cond-mat.dis-nn
Thermodynamic properties of extremely diluted symmetric Q-Ising neural networks
利用复制对称平均场论方法研究了极稀{ \it symmetric} $Q$ -Ising神经网络的热力学性质和检索性质.特别地,导出了$Q=3, 4$和$Q=\infty$的电容-增益参数和电容-温度相图。零温度的结果进行了比较,从模型的动力学研究所获得的。此外,还确定了de Almeida-Almeless直线。在适当的情况下,与其他$Q$ -伊辛架构的差异进行了概述。
2000-08-16 cond-mat.dis-nn cond-mat.stat-mech
Q-Ising neural network dynamics: a comparative review of various architectures
这篇文章回顾了Q-Ising神经网络在各种架构下的并行动力学:极度稀释的非对称,分层前馈,极度稀释的对称和完全连接。使用概率信噪比分析,考虑到所有反馈相关性(这些相关性强烈依赖于这些架构),找到了局部场分布的演变。这导致了确定网络序参量完整时间演变的递归方案。任意Q和主要零温度被认为是。对于非对称稀释和分层前馈网络的封闭形式的解决方案,而对称稀释和全连接的结构,反馈相关性阻止这样的封闭形式的解决方案。对于这些对称网络,在一定的噪声条件下,可以导出平衡不动点方程。它们是相同的热力学复制对称平均场论方法中获得的。
1999-07-26 cond-mat.dis-nn
Gardner optimal capacity of the diluted Blume-Emery-Griffiths neural network
利用Gardner熵方法研究了稀释Blume-Emery-Griffiths神经网络的最佳容量与模式活动性和嵌入稳定性的关系。退火稀释被认为是,同时(同步稀释)或独立(异步稀释),切断一些耦合指的是三进制模式本身和一些耦合相关的活动模式。通过de Almeida-Almeidess准则,发现当存在稀释时,复制对称解是局部不稳定的。耦合的分布显示了典型的间隙,其宽度取决于稀释量,但即使在特定类型的耦合在学习过程中不起作用的情况下,这种间隙也会持续存在。
2004-03-18 cond-mat.dis-nn cond-mat.stat-mech
Charting the replica symmetric phase
稀释平均场模型是自旋系统,其相互作用的几何形状由稀疏随机图或超图诱导。这样的模型在无序系统的统计力学以及组合学和计算机科学中起着突出的作用。在一篇基于非严格“腔方法”的开创性论文中,物理学家不仅预测了这种模型中存在复制对称性破缺相变,而且还描绘了复制对称相内吉布斯测度演化的详细图景及其对组合学、计算机科学和物理学中重要问题的影响[Krzakala等人:PNAS 2007]。在本文中,我们严格这一图片完全为广泛的一类模型,包括Potts反铁磁体的随机图,$k$ -XORSAT模型和稀释$k$ -自旋模型,甚至$k$。我们还证明了一个关于随机块模型中的检测问题的猜想,该问题已受到相当大的关注[Decelle等人:E 2011]。
2017-04-04 cond-mat.dis-nn cs.DM math-ph
Generative diffusion for perceptron problems: statistical physics analysis and efficient algorithms
Department of Computing Sciences, BIDSA Bocconi University(计算科学系,BIDSA 伯克利大学)
本文提出基于统计物理的生成扩散算法,用于高效采样非凸感知机问题的解空间,通过分析发现负边距情况下可高效采样,而二进制权重则需通过特定势能函数和退火过程实现高效采样。
2025-12-02 cond-mat.dis-nn cs.LG
The Levy spin glass transition
我们确定了Levy自旋玻璃的相变。对于稀释自旋玻璃,可以忽略耦合常数小于某个截止值$ε$的正则化模型,用腔方法进行研究。我们展示了如何处理的$ε\to 0$限制,并确定的德阿尔梅达无相变温度存在的外场。与以前的研究结果相反,在零外场下,我们没有发现任何稳定的复制对称自旋玻璃相:自旋玻璃相总是复制对称破缺相。
2009-10-14 cond-mat.dis-nn
Absence of replica symmetry breaking in disordered FKG-Ising models under uniform field
证明了在均匀场下满足Fortuin-Kasteleyn-Ginibre(FKG)不等式的无序伊辛模型,如一般分布的随机场伊辛模型、贝努利分布的位稀和键稀伊辛模型,自旋重叠方差为零. Chatterjee对高斯随机场伊辛模型的证明被推广到均匀场下其他独立同分布的淬火无序。
2019-10-15 cond-mat.dis-nn math-ph math.MP
Neural networks: from the perceptron to deep nets
本文回顾了从感知机到深度网络的统计力学研究脉络,重点讨论过参数化带来的良好泛化偏差以及深度优势,并指出简化模型与标度律是理解深度学习的初步途径。
2023-04-13 cond-mat.dis-nn cond-mat.stat-mech
The Copycat Perceptron: Smashing Barriers Through Collective Learning
Universidad Complutense de Madrid(马德里康普顿斯大学);Université Paris-Saclay(巴黎萨克雷大学)
本文研究多个耦合二元感知器的集体学习,发现副本耦合使相图向更小α弯曲并平滑自由熵景观,使模拟退火更易达到教师解,证明复制模拟退火的贝叶斯最优性,并表明多学生协作可更快、用更少样本学习同一规则。
2024-06-05 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Statistical mechanics of the random K-SAT model
利用稀释无序系统的副本对称框架,研究了随机K-可满足性问题,即验证N个布尔变量的赋值是否存在,这些布尔变量满足一组M=alpha N的随机逻辑子句,每个子句包含K个变量.我们提出了一个精确的迭代计划副本对称功能序参量一起为不同的情况下的利益K=2,K>= 3和K>>1。计算的解决方案的数量,这使我们[物理。76,3881(1996)]来预测在布尔表达式以概率1变得不可满足的阈值处的一阶跳跃。在K=2的情况下,每个布尔变量的子句数的(严格已知的)临界值(α =1)被恢复,而对于K>=3,我们表明,该系统表现出复本对称性破缺过渡。退火近似被证明是准确的大K。
1997-01-24 cond-mat.dis-nn
Mean-field type Ising spin glass in a diluted rare-earth intermetallic compound
本文用直流和交流磁化测量方法研究了长程RKKY Ising自旋玻璃\dyyrusi的相变。静态非线性极化率$χ_{2}$表现出向$\Tg$ $=$ 1.925 K发散的行为,$γ$的指数为$=$ 1.08。交流磁化强度测量得到的特征弛豫时间$τ$也发散到相同的$\Tg$,在零静磁场下的指数为$zν$ $=$ 1.9。这些结果表明,自旋玻璃相变属于平均场普适类,其中$\gammaMF$和$\znuMF$的指数分别为1和2.在500 Oe的有限场中,我们观察到$τ$向$\Tg$ $=$ 1.412 K的发散,其指数为$zν$ $=$ 2.1,与零场中的发散十分相似.强有力地表明了在有限场中存在自旋玻璃相变和在长程Ising自旋玻璃\dyyrusi中存在复制对称性破缺。
2009-08-13 cond-mat.dis-nn cond-mat.stat-mech
Top eigenpair statistics of diluted Wishart matrices
针对稀释协方差矩阵的顶本征对统计问题,采用复制方法将其转化为低温球面约束下的二次哈密顿量优化问题,推导递归分布方程并通过种群动力学算法求解,所得解析结果与直接对角化数值结果高度吻合。
2025-07-31 cond-mat.dis-nn cond-mat.stat-mech math-ph
On the Atypical Solutions of the Symmetric Binary Perceptron
该研究分析对称二元感知器中稀有高间隔解,发现其形成具有熵垒和能量垒的簇,并通过复制方法揭示复杂度-熵曲线的非凹性及Parisi参数发散时的平衡特性。
2024-06-28 cond-mat.dis-nn math.PR
Parametric RDT approach to computational gap of symmetric binary perceptron
本文通过参数法研究对称二元感知机的统计-计算鸿沟,发现满足性与算法约束阈值差异,并设计CLuP算法验证理论预测。
2026-01-15 cond-mat.dis-nn cs.IT cs.LG
Evidence that the AT transition disappears below six dimensions
本研究通过数值模拟幂律稀释Heisenberg自旋玻璃的AT线,发现其在6维以下不存在,证明Parisi复本对称破缺方案不适用于三维自旋玻璃。
2024-12-11 cond-mat.dis-nn cond-mat.stat-mech
Gauge-covariant stochastic neural fields: Stability and finite-width effects
King Juan Carlos University, Facuty of Experimental Sciences and Technology, Department of Applied Physics(国王胡安·卡洛斯大学,实验科学与技术学院,应用物理系)
本文提出一种规范协变随机有效场理论,研究深度神经系统中的稳定性与有限宽度效应,通过线性响应构造确定边缘混沌的Lyapunov指数和放大因子,揭示有限宽度效应作为扰动修正对dress核的影响。
2026-04-22 cond-mat.dis-nn cs.LG hep-th