Quantum Approximate Optimization Algorithm applied to the binary perceptron
SISSA(国际高等研究学院);Universität Innsbruck(因斯布鲁克大学);Bocconi University(博科尼大学);International Centre for Theoretical Physics (ICTP)(国际理论物理中心);CNR-IOM, Consiglio Nazionale delle Ricerche - Istituto Officina dei Materiali(意大利国家研究委员会-材料研究所)
我们将数字化量子退火(QA)和量子近似优化算法(QAOA)应用于人工神经网络中监督学习的一个典型任务:二进制感知器的突触权重的优化。与通常的QAOA应用于MaxCut或量子自旋链基态制备不同,经典哈密顿量的特征在于高度非局域的多自旋相互作用。然而,我们提供了证据的QAOA参数,这是相同问题的典型实例之间转移的最佳光滑解决方案的存在,我们证明了数值上的QAOA比传统QA的增强性能。我们还调查了QAOA优化景观几何在这个问题中的作用,表明QA中遇到的间隙关闭过渡的不利影响也对我们实施QAOA的性能产生负面影响。
2021-12-19 cond-mat.dis-nn cs.LG quant-ph
Far-from-equilibrium complex landscapes
Université Grenoble Alpes, CNRS, LIPhy(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,LIPhy)
本文提出了一种在远离平衡条件下表征复杂景观的方法,通过熵产密度和配置熵揭示集体状态的自发振荡现象。
2024-05-14 cond-mat.dis-nn cond-mat.stat-mech
Rare dense solutions clusters in asymmetric binary perceptrons -- local entropy via fully lifted RDT
本研究通过完全提升随机对偶理论框架,分析非对称二元感知机的局部熵,发现其崩溃区间与算法可处理范围匹配,揭示计算间隙的根源。
2025-06-24 cond-mat.dis-nn cs.IT cs.LG
Clustering of solutions in the symmetric binary perceptron
神经网络模型的(非凸)损失景观的几何特征对于确保成功优化至关重要,最重要的是,具有良好的泛化能力。虽然极小化者的平坦性始终与良好的概括性相关,但很少有严格的工作来探索这种极小化者的存在条件,即使是在玩具模型中。在这里,我们考虑一个简单的神经网络模型,对称感知器,二进制权重。将学习问题表述为约束满足问题,类似的平坦极小化器变成了一个大而密集的解簇,而最小化器是孤立的解。我们执行的第一个步骤,严格证明了一个密集的集群的存在,在某些制度的参数,通过计算的第一和第二时刻的上限对任意接近的解决方案的存在。此外,我们提出了一个非严格的推导相同的界限为$y$解决方案在固定的成对距离。
2020-05-11 cond-mat.dis-nn stat.ML
The relationship between fragility, configurational entropy and the potential energy landscape of glass forming liquids
玻璃是一种微观上无序的固体物质形式,当流体以不结晶的方式冷却或压缩时产生。几乎所有类型的材料都能够形成玻璃-聚合物,金属合金和熔融盐,仅举几例。鉴于这种多样性,将有关玻璃形成的数据系统化的组织原则是非常宝贵的。一个这样的原则是根据它们的脆性\cite{fragility}对玻璃形成剂进行分类。脆性测量液体的性质(如粘度)在接近玻璃态时变化的速度。虽然以前已经分析了玻璃形成物的能量景观特征、其构型熵和脆性之间的关系(e.例如,在一个实施例中,\cite{speedyfr}),对这些特征中脆弱性的起源的理解还远远没有建立起来。这封信中给出了一种模型液体的结果,该模型液体的脆性取决于其体积密度。对脆弱性和能量景观的定量测量(能量对配置的复杂依赖)之间关系的分析表明,脆弱性取决于单个能量盆地的振动特性的变化,以及存在的此类盆地的总数及其能量分布。脆性的热力学表达式推导出来,这是在定量协议与{ \it动力学}从液体的扩散系数的脆弱性。
2001-01-16 cond-mat.dis-nn cond-mat.stat-mech
On the Atypical Solutions of the Symmetric Binary Perceptron
该研究分析对称二元感知器中稀有高间隔解,发现其形成具有熵垒和能量垒的簇,并通过复制方法揭示复杂度-熵曲线的非凹性及Parisi参数发散时的平衡特性。
2024-06-28 cond-mat.dis-nn math.PR
Navigating the Complex Compositional Landscape of High-Entropy Alloys
高熵合金存在于高维组成空间中,为实现前所未有的结构和功能特性提供了巨大的独特机会。然而,一个根本的挑战在于如何准确地预测特定的合金相和所需的性能。这篇综述文章概述了迄今为止发表的数据驱动方法,以解决设计高熵合金的指数难题。各种利用的经验参数,第一性原理和热力学计算,统计方法,和机器学习。在另一种方法中,使用唯象特征和数据启发的自适应特征在高熵固溶体相和金属间合金复合材料的预测中的有效性被证明。从熵效应的角度展望了高熵合金作为一种新型功能材料的发展前景。成功,挑战和目前的高熵合金设计的局限性进行了讨论,并提出了一些合理的未来方向。
2021-05-18 cond-mat.dis-nn cond-mat.mtrl-sci
Surfing on minima of isostatic landscapes: avalanches and unjamming transition
最近,我们表明,优化问题,无论是在无限的,以及在有限的尺寸,连续变量和软排除体积约束,可以显示整个均衡阶段的成本函数的局部最小值是边缘稳定的配置赋予非线性激励[1,2]。在这项工作中,我们描述了一个无热绝热算法,探索与连续性相应的粗糙高维景观。我们专注于这种原型问题,线性成本函数(铰链损失)的球形感知器优化问题。该算法允许均衡边缘稳定的配置之间的“冲浪”,并调查这样的景观的一些属性。特别是,我们专注于雪崩发生时,当地的最小值不稳定的统计。我们表明,当扰动这样的最小值,系统发生塑性重排的大小是幂律分布,我们表征相应的临界指数。最后,我们调查的unjamming过渡的临界特性,表明线性相互作用势引起的对数行为的能量和压力的缩放作为一个函数的距离unjamming点。对于某些量,对数修正可以测量出来。这是违反的软约束的数量作为距干扰的距离的函数的情况,其遵循非平凡的幂律行为。
2020-12-10 cond-mat.dis-nn cond-mat.stat-mech
The star-shaped space of solutions of the spherical negative perceptron
Bocconi University(博科尼大学);Politecnico di Torino(都灵理工大学);Bocconi Institute for Data Science and Analytics(博科尼数据科学与分析研究所);Politecnico di Milano(米兰理工大学)
本文研究球形负感知器的解空间,发现过参数化区域存在星形几何结构,并解析刻画了其连通性及高约束密度下的连通性破坏转变。
2023-09-05 cond-mat.dis-nn cs.LG math.PR
From complex to simple : hierarchical free-energy landscape renormalized in deep neural networks
Cybermedia Center, Osaka University(大阪大学网络媒体中心);Graduate School of Science, Osaka University(大阪大学理学研究科)
我们开发了一种基于副本方法的统计机械方法,以研究受约束的深度和广度神经网络的设计空间,以满足大量的训练数据。具体来说,我们分析了两种情况下的配置空间的突触权重和神经元在一个简单的前馈感知器网络的隐藏层:一个设置与随机输入/输出和教师-学生设置。通过增加约束的强度,即增加训练数据的数量,连续的第二阶玻璃化转变(随机输入/输出)或第二阶结晶转变(教师-学生设置)从输入/输出边界附近开始逐层发生,更深地进入本体,固相的厚度随着数据大小几何地增长。这意味着网络的典型存储容量随着深度呈指数级快速增长。在足够深的网络中,中心部分保持在液相中。我们认为,在有限宽度N的系统中,弱偏置场可以保持在中心,并扮演一个破缺场的作用,连接系统的相对两侧。连续的玻璃化转变带来了一个具有超对称性的分层自由能景观,它在空间中演变:它在边界附近最复杂,但在更深的层中变得重整化为逐渐简单的。这些观察结果为理解深度神经网络为什么能高效运行提供了线索。最后,我们提出了一些数值模拟的学习,揭示了有限宽度的$N$效应截断空间异质玻璃态动力学。
2020-04-10 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Local entropy as a measure for sampling solutions in Constraint Satisfaction Problems
我们引入了一种新的熵驱动的蒙特卡罗(EdMC)策略,有效地采样随机约束满足问题(CSP)的解决方案。首先,我们扩展了最近的结果,使用大偏差分析,表明二进制感知器学习问题(一个原型CSP)的解决方案的空间的几何形状,包含非常高密度的解决方案的区域。尽管是次主导的,但这些区域可以通过优化局部熵度量来找到。基于这些结果,我们构建了一个快速求解器,完全依赖于局部熵估计,并可以应用于一般CSP。我们描述了它的性能,不仅为感知器学习问题,但也为随机$K$ -可满足性问题(另一个具有完全不同结构的原型CSP),并在数值上表明,在光滑的局部熵景观中进行简单的零温度Metropolis搜索可以在少量步骤中达到最优解的次主导集群,而标准的模拟退火要么需要极长的冷却过程,要么就是失败。我们还讨论了如何EdMC可以在实践中更有效地为我们研究的情况下。
2016-02-25 cond-mat.dis-nn stat.ML
Turning intractable counting into sampling: computing the configurational entropy of three-dimensional jammed packings
我们报告了一个数值计算的总数无序堵塞配置$Ω$的$N$排斥,三维球在一个固定的体积$V$。为了使这些计算易于处理,我们提高了Xu等人的方法的计算效率。106,245502(2011))和Asenjo等人(Phys.Rev.Lett. 112,098002(2014)),并且我们扩展该方法以允许计算作为压力的函数的构型熵。我们使用的方法计算的配置熵采样的绝对体积的吸引力的盆地的稳定包装的势能景观。我们发现了一个令人惊讶的强相关性的压力之间的配置和体积的盆地的吸引力的势能景观。这种关系可以用幂律很好地描述。我们的方法来计算势能景观中的最小值的数量应该适用于统计物理学,弦论,宇宙学和机器学习中的其他枚举问题,这些问题旨在找到依赖于许多自由度的标量成本函数的极值的分布。
2016-01-28 cond-mat.dis-nn cond-mat.soft cond-mat.stat-mech
Parametric RDT approach to computational gap of symmetric binary perceptron
本文通过参数法研究对称二元感知机的统计-计算鸿沟,发现满足性与算法约束阈值差异,并设计CLuP算法验证理论预测。
2026-01-15 cond-mat.dis-nn cs.IT cs.LG
RLVR landscapes for iterated multiplications can be benign: Insights from spin-glass theory
Racah Institute of Physics(拉卡物理研究所);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究通过自旋玻璃理论证明,在迭代乘法等算法任务上,RLVR的优化景观是良性的,实际困难源于扩散障碍和梯度估计误差,可通过熵正则化缓解,且Transformer能成功学习此类任务。
2026-09-25 cond-mat.dis-nn cs.LG stat.ML
Quantum walk in a reinforced free-energy landscape: Quantum annealing with reinforcement
为量子退火算法提供最佳路径是为计算困难的优化问题找到良好近似解的关键。强化是一种策略,可以用来规避指数小的能隙的系统在退火过程中。在这里,一个依赖于时间的加强项被添加到哈密顿量,以使更低的能量的最可能的状态的发展系统。在这项研究中,我们采取了局部熵的配置空间的加固和应用该算法的一些简单和困难的优化问题。在量子搜索问题中,增强算法的性能优于标准量子退火算法,其中最优参数的行为取决于解的数量。此外,增强体可以改变平均场p自旋模型($p>2$)的不连续相变为连续相变。该算法在二进制感知器问题上的性能也优于标准量子退火算法,后者已经比经典的模拟退火算法更好。
2022-07-14 cond-mat.dis-nn cs.DS quant-ph
Structure of solutions to continuous constraint satisfaction problems through the statistics of wedged and inscribed spheres
ICTP South American Institute for Fundamental Research(ICTP南美基础研究所);Instituto de Física Teórica, Universidade Estadual Paulista “Júlio de Mesquita Filho”(圣保罗州立大学“朱利奥·德·梅斯基塔·费略”理论物理研究所)
本研究通过统计楔形和内切球的数量,表征连续约束满足问题中平坦区域的拓扑结构,并应用于球面感知机,揭示了至少两个拓扑区域的存在。
2026-02-13 cond-mat.dis-nn cond-mat.stat-mech math.PR
Shaping the learning landscape in neural networks around wide flat minima
Bocconi University(博科尼大学);Istituto Nazionale di Fisica Nucleare(意大利国家核物理研究所);Politecnico di Torino(都灵理工大学);International Centre for Theoretical Physics(国际理论物理中心)
深度神经网络(DNN)中的学习通过最小化非凸高维损失函数来进行,通常通过随机梯度下降(SGD)策略。学习过程中观察到能够找到良好的最小而不会陷入局部临界点,这样的最小往往是令人满意的,在避免过拟合。如何在由数百万个可调连接组成的非线性器件中保持这两个特性是一个深刻而深远的开放问题。在本文中,我们研究了基本的非凸的一层和两层神经网络模型,学习随机模式,并得出了一些基本的几何和算法特征,提出了一些答案。我们首先表明,错误的损失函数提出了几个极宽的平坦的极小值(WFM),共存于较窄的极小值和临界点。然后,我们表明,交叉熵损失函数的最小值与错误损失的WFM重叠。我们还展示了WFM不存在的学习设备的例子。从算法的角度来看,我们得到熵驱动的贪婪和消息传递算法,其搜索集中在宽平坦区域的极小。在SGD和交叉熵损失的情况下,我们证明了在学习过程中权重范数的缓慢降低也会导致WFM。我们证实的结果,通过数值研究的体积之间的相关性的极小,他们的海森和他们的泛化性能的真实数据。
2020-03-11 cond-mat.dis-nn cs.LG stat.ML
Relative Entropy and Proximity of Quantum Field Theories
我们研究如何可靠地区分两个量子场论(QFT)的问题。每个QFT定义场空间上的概率分布。相对熵提供了这些分布之间的接近度的概念,并量化了区分它们所需的测量次数。在附近的共形场论的情况下,这归结为耦合空间上的扎莫洛奇科夫度规。我们的公式量化了从UV到IR的重整化群流下丢失的信息,并使我们量化微调。这种形式主义也使我们得到一个由弦论景观产生的低能有效场论的可解释性的准则。
2015-05-07 cond-mat.dis-nn hep-th
Ultrametric OGP - parametric RDT \emph{symmetric} binary perceptron connection
本文研究了超度度OGP与参数RDT之间的联系,通过分析不同层次的约束密度,发现两者在关键参数上存在一致性和接近性,提出了关于算法阈值和全同构的猜想。
2026-04-21 cond-mat.dis-nn cs.IT cs.LG
Partial local entropy and anisotropy in deep weight spaces
Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学);Inovalabs Digital S.L. (TECHEYE)
我们改进了最近提出的一类局部熵损失函数,限制平滑正则化,只有一个子集的权重。新的损失函数被称为部分局部熵。它们可以适应权重空间的各向异性,从而优于它们的各向同性对应物。我们支持的理论分析与实验的图像分类任务进行多层,全连接和卷积神经网络。本研究提出了如何更好地利用深景观的各向异性的性质,并提供了直接探测的形状遇到的最小值的随机梯度下降算法。作为一个副产品,我们观察到一个渐近动力学制度在后期的训练时间,所有层的温度服从一个共同的冷却行为。
2021-04-06 cond-mat.dis-nn cs.LG stat.ML
Spontaneous energy-barrier formation in an entropy-driven glassy dynamics
在多维构型空间中描述玻璃态体系的活化弛豫是一个长期悬而未决的问题。我们开发了一个唯象描述的一个模型的平衡动力学与粗糙的势能景观,我们分析它的数值和分析。该模型提供了一个例子,典型的弛豫通道的动力学越过有限的势能障碍,尽管存在较低的能量要求的逃逸路径在配置空间,我们预计这种现象也是相关的热激活制度的现实模型的玻璃成型。在这种情况下,我们发现,典型的动力学路径episodically达到一个高的固定阈值能量意外地引起一个简单的热激活老化现象。为了揭示这种奇特的老化行为,我们引入了一种新的描述的动力学自发出现的动力盆地。
2014-10-08 cond-mat.dis-nn cond-mat.soft cond-mat.stat-mech