Inference from correlated patterns: a unified theory for perceptron learning and linear vector channels
针对给定数据集由相关模式组成的情况，提出了一个分析密集连接单层前馈网络推理性能的框架。该框架是基于这样的假设，即给定的模式矩阵的左和右奇异值基是独立和一致地从Haar措施产生的。这个假设使得有可能通过由模式矩阵的互相关矩阵的特征值谱确定的两个变量的单个函数来表征目标系统。链接到现有的感知器学习和高斯线性向量通道的分析方法和应用程序的一个简单的，但不平凡的问题。
2008-02-12 cond-mat.dis-nn cs.IT math.IT
Generalization from correlated sets of patterns in the perceptron
概括是学习理论的一个核心方面。在这里，我们提出了一个框架，探讨了一个辅助的任务依赖的概念概括，并试图定量回答以下问题：给定两组模式与给定程度的不同，如何容易将网络能够“统一”他们的解释？这通过以类似方式对两个集合进行分类的突触权重的配置的体积来量化。为了显示我们的想法在具体环境中的适用性，我们计算这个数量的感知器，一个简单的二进制分类器，使用经典的统计物理方法在复制对称的anomaly。在这种情况下，我们展示了一个分析表达式如何测量“基于距离的容量”，网络可持续的模式的最大负载，在固定的模式之间的差异和固定的允许错误数。这条曲线表明，在任何距离上都有可能推广，但能力会降低。我们建议，一个基于距离的泛化定义可能是有用的，在现实世界的神经网络的数值实验，并探索计算次主导集的突触解决方案。
2019-03-15 cond-mat.dis-nn cond-mat.stat-mech
How to guess the inter magnetic bubble potential by using a simple perceptron ?
结果表明，磁泡膜的行为可以用二维超伊辛哈密顿量来描述。计算的磁滞曲线和磁畴图案成功地与文献中的实验结果进行了比较。利用感知器神经网络解决了寻找超伊辛模型参数以再现计算或实验磁畴图像的互逆问题。
2004-08-30 cond-mat.dis-nn
On the capacity of a quantum perceptron for storing biased patterns
针对量子感知机与经典感知机性能争议问题，研究带经典极限的连续量子感知机对有偏随机模式的存储容量，证实量子层面无法像经典场景那样通过高相关模式无限提升存储容量，进一步支撑量子存储无优势的结论。
2023-04-27 cond-mat.dis-nn quant-ph
Reconstructing signal from fiber-optic measuring system with non-linear perceptron
建立了带隐层的前馈神经网络的计算机模型，用于光纤测量系统所测量的物理场的重构。选取某些物理量的高斯分布作为学习模式。利用共轭梯度法和坐标下降法的偏差最小化原理，通过误差反向传播学习神经网络。学习神经网络重构具有一个或两个高斯峰分布的二维标量物理场。
2001-03-05 cond-mat.dis-nn
Active online learning in the binary perceptron problem
Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）
二进制感知器是由$N$输入设备和一个输出单元形成的最简单的人工神经网络，其中神经状态和突触权重都被限制为$\pm 1$值。教师-学生场景中的任务是通过对一组标记模式进行训练来推断隐藏的权重向量。先前对被动学习模式的研究表明，从独立的随机模式中学习是非常低效的。在这里，我们考虑主动的在线学习模式，学生设计每一个新的伊辛训练模式。我们证明，它是数学上可以实现完美的（无错误）推理，只使用$N$设计的训练模式，但这是计算上不可行的大型系统。然后，我们研究了两个贝叶斯统计设计协议，这需要$2.3 N$和$1.9 N$训练模式，分别实现无错推理。如果训练模式是通过演绎推理设计的，则使用$N\!+\!\log_{2}\!N$样本可以实现完美的推理。贝叶斯和演绎设计策略之间的性能差距可能会缩短在未来的工作中，考虑到遍历打破的二进制感知器的版本空间的可能性。
2019-02-21 cond-mat.dis-nn cs.LG
Weight space structure and analysis using a finite replica number in the Ising perceptron
当权重向量$N$的维数趋于无穷大时，使用配分函数$ϕ(n)=(1/N)\log [Z^n]$的生成函数来检查其中存储有一组随机模式的伊辛感知器的权重空间，其中$Z$是配分函数，而$[ ... ]$表示配置平均值。我们利用$ϕ(n)$有两个目的，这取决于比率$α=M/N$的值，其中$M$是随机模式的数量。对于$α< α_{\rm s}=0.833 ...$，我们采用$ϕ(n)$，在$n \to 0$的限制下，结合Parisi的一步副本对称破缺方案，来评估表征与给定的随机模式集兼容的权重的不相交簇的数量的复杂性，这表明，在典型情况下，权重空间由指数地多个权重的单个大集群和指数地多个单个权重的小集群同等地支配。另一方面，对于$α> α_{\rm s}$，使用$ϕ(n)$来评估给定的随机模式集可由Ising感知器按概率分离的小概率的速率函数。我们表明，解析率函数的变化在$α= α_{\rm GD}=1.245 ... $，这意味着占主导地位的配置的可分离的模式表现出在这个临界比率的相变。进行了大量的数值实验，以支持理论预测。
2009-11-21 cond-mat.dis-nn cond-mat.stat-mech
Storage capacity of perceptron with variable selection
本研究通过引入基于统计力学副本方法的变量选择技术，超越了Cover-Gardner理论的界限，揭示了感知机在高维数据中区分真实结构与偶然相关性的存储容量。
2025-12-01 cond-mat.dis-nn cs.IT math.IT
Learning by dilution in a Neural Network
具有N个随机权重的感知器可以通过移除一部分权重而不改变其强度来存储N个模式的数量级。计算了随机输出和教师感知器输出的临界存储容量随剩余键浓度的变化关系。一个简单的Hebb样稀释算法，在教师的情况下达到最佳的推广能力。
1996-11-18 cond-mat.dis-nn
Multifractal analysis of perceptron learning with errors
随机输入模式将感知器的耦合空间划分为由其输出序列标记的单元。学习一些具有最大错误率的数据会导致相邻细胞的集群。通过用多重分形的形式主义分析这些簇的内部结构，我们可以在一个统一的方法中处理懒惰的学生和心不在焉的教师的不同存储和概括任务。结果还允许一些结论的空间分布的细胞。
1997-10-21 cond-mat.dis-nn q-bio
Learning by random walks in the weight space of the Ising perceptron
Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；Kavli Institute for Theoretical Physics China（中国卡弗里理论物理研究所）
几个变种的随机局部搜索过程中构建的Ising感知器的突触权重进行了研究。在这个过程中，二进制模式被顺序地呈现给伊辛感知器，然后随着突触权重配置的修改而被学习，该突触权重配置是通过在先前学习的模式的兼容权重配置空间内的一系列单权重或双权重翻转来修改的。该过程能够达到对于模式长度N = 101的$α\approx 0.63$和对于N = 1001的$α\approx 0.41$的存储容量。如果另外利用再学习过程，则学习性能进一步提高到对于N = 101为$α\approx 0.80$的存储容量和对于N=1001为$α\approx 0.42$的存储容量。我们发现，对于一个给定的学习任务，由随机游走学习过程构建的解决方案是由一个典型的汉明距离，这与学习任务的约束密度$α$减少;在一个固定的值$α$，汉明距离分布的宽度与$N$减少。
2010-05-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Teacher-student learning for a binary perceptron with quantum fluctuations
我们使用复制方法分析了具有量子涨落的二元感知器的泛化性能。指数数量的局部最小值占主导地位的二进制感知器的能量景观。局部搜索算法往往不能识别二进制感知器的基态。在这项研究中，我们考虑了师生学习方法，并计算了量子涨落的二进制感知器的泛化误差。由于量子涨落，我们可以有效地找到鲁棒的解决方案，具有更好的泛化性能比经典模型。我们通过量子蒙特卡罗模拟验证了我们的理论结果。我们采用了副本对称性（RS）假设和静态近似。RS解与我们的模拟结果是一致的，除了相对较低的横向场强度和高的方向图比。这些偏差是由于违反遍历性和静态近似而引起的。考虑到RS解和数值结果之间的偏差，量子涨落对泛化性能的增强是成立的。
2021-04-22 cond-mat.dis-nn quant-ph
Capacity of the covariance perceptron
RWTH Aachen University（亚琛工业大学）
经典的感知器是一个简单的神经网络，它通过静态输入和输出之间的线性映射以及阈值的应用来执行二进制分类。对于小的输入，处于静止状态的神经网络也执行有效的线性输入-输出变换，但是是整个时间序列。选择时间序列的时间平均值作为分类特征，网络的线性变换和随后的阈值处理等价于经典的感知器。在这里，我们展示了选择时间序列的协方差作为分类特征，将神经网络映射到我们所谓的“协方差感知器”;协方差之间的映射在权重方面是双线性的。通过扩展加德纳的理论连接到这个双线性问题，使用副本对称平均场论，我们计算的模式和信息容量的协方差感知器在无限大小的限制。封闭形式的表达式显示出优越的模式容量相比，在高维输入和低维输出的情况下，经典的感知器的二进制分类任务。对于收敛性较差的网络，平均感知器会对大量的刺激进行分类。然而，由于协方差比均值跨越更大的输入和输出空间，因此协方差感知器中存储的信息量超过了经典的对应物。对于强收敛的连接，它是优于一个因素，等于输入神经元的数量。理论计算验证数值有限大小的系统，使用基于梯度的优化的软利润，以及数值求解器的NP硬二次约束二次规划问题，训练可以映射到。
2020-08-17 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Neural Network Revisited: Perception on Modified Poincare Map of Financial Time Series Data
人工神经网络模型预测的时间序列数据的印度尼西亚证券交易所数据的分析重新审视。我们介绍了使用多层感知器来感知给定的金融时间序列数据的修改后的庞加莱映射。修改后的庞加莱映射被认为成为数据的模式，其以图形方式变换时间t中的数据与时间t +1中的数据。我们建立了多层感知器，以印度尼西亚特定证券交易所的数据进行感知和演示预测。
2004-03-24 cond-mat.dis-nn
Entropy landscape of solutions in the binary perceptron problem
The Hong Kong University of Science and Technology（香港科技大学）
研究了二元感知器解空间的统计图像。二进制感知器通过一组二进制突触权重学习输入随机模式的随机分类。这种网络的学习是困难的，特别是当模式（约束）密度接近的容量，这应该是密切相关的解决方案空间的结构。的几何组织阐明的熵景观从一个参考配置和解决方案对分离的一个给定的汉明距离的解决方案空间。我们评估的熵在退火水平以及副本对称水平和平均场的结果证实了使用建议的消息传递算法的单实例的数值模拟。从第一个景观（随机配置作为参考），我们清楚地看到，随着更多的约束条件的添加，解决方案空间如何缩小。从解对的第二种景观出发，我们推导出解空间中聚集和冻结的共存。
2013-08-09 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Understanding the computational difficulty of a binary-weight perceptron and the advantage of input sparseness
突触权重的有限精度是神经网络的生物和硬件实现的关键方面。在学习过程中分配低精度权重是一项重要的任务，但可以从使用稀疏代码表示待学习项中受益。然而，低权重精度导致的计算困难和稀疏编码的优点仍然没有完全理解。在这里，我们研究了一个感知器模型，该模型将二进制（0或1）输入模式与使用二进制（0或1）权重的输出相关联，对接收兴奋性输入的单个神经元进行建模。我们考虑了一个抽取过程，在每一个时间步，边际概率的不固定的权重进行评估，然后最极化的权重固定在其首选值。我们证明了抽取是一个逼近权配置空间中稠密解区域的过程。在求解二进制权重感知器的两种有效算法（SBPI和rBP）中，大多数时间步长都花在确定在抽取后期固定的权重值上。这一算法难点可能是由于前抽取固定权值取其固定值的解子空间中后抽取固定权值之间的强互相关引起的，并且与抽取期间该子空间中的解凝聚有关。输入稀疏减少了SBPI和rBP需要找到解决方案的时间步长，通过减少用于分配值的时间步长后期抽取固定权重，由于后期抽取固定权重之间的互相关的减少。我们的工作表明，约束满足问题的计算困难来源于后抽取固定变量的子空间。我们的工作突出了权重学习动力学的异质性，这可能有助于理解大脑发育中的轴突修剪，并激发更有效的算法来训练人工神经网络。
2020-07-10 cond-mat.dis-nn
Modeling Urban Growth Patterns with Correlated Percolation
我们提出并测试了一个模型，该模型描述了城市的形态，单个城市的城市周边的缩放，以及城市系统的面积分布。该模型也与可观察到的城市增长动态相一致，我们的结果在定性和定量上都与城市数据相一致。由此产生的增长形态可以从形成城市区域的组成单元之间的相互作用来理解，并且可以在存在梯度的情况下使用相关渗流模型来建模。
1998-09-30 cond-mat.dis-nn
Parallel retrieval of correlated patterns
在这项工作中，我们首先修改了标准Hopfield模型在低存储限制下的一些扩展，即相关吸引子的情况下，多任务的情况下，最近介绍的作者。前一种情况是基于修改的Hebbian处方，它引起了连续模式之间的耦合，这种效果是由一个参数$a$调谐。在后一种情况下，在模式条目中引入稀释，使得它们的一部分$d$是空白的。然后，我们合并这两个扩展，以获得一个系统，能够检索几个模式并行和检索的质量，编码的马蒂斯磁化${m^μ}$的集合，是让人想起模式之间的相关性。通过调整参数$d$和$a$，出现了从高度分层到对称的定性不同的输出。调查是通过数值模拟和统计力学分析，适当地适应了一种新的技术，最初开发的自旋玻璃，即Hamilton-Jacobi插值，具有良好的协议。最后，我们展示了这种关联网络与（限制）玻尔兹曼机的物理等价性，并研究其随机动力学，以获得甚至是动态的图片，完全符合前面讨论的静态场景。
2012-05-22 cond-mat.dis-nn
Self-planting: digging holes in rough landscapes
受经济学中潜在应用的启发，我们研究了一个简单的动态方案，以产生连续变量优化问题的种植解决方案。我们认为感知机模型作为一个原型模型。从随机输入模式和感知器权重开始，我们通过梯度下降找到局部最优的权重分配;然后删除错误分类的模式（如果有的话），并将其替换为新的随机提取的模式。这个“移除和替换”过程被迭代，直到实现完美的分类。我们称这个过程为“自我种植”，因为“种植”状态不是预先分配的，而是权重和模式共同进化的结果。我们发现一个算法的相变分离的区域中，自我种植有效地实现了从一个区域中，它需要在系统大小的指数时间。我们推测，这种转变可能存在于一个广泛的类类似的问题。
2019-09-19 cond-mat.dis-nn cond-mat.stat-mech
The Symmetric Perceptron: a Teacher-Student Scenario
Institute for Cross-disciplinary Physics and Complex Systems IFISC (CSIC-UIB), Campus Universitat Illes Balears, 07122 Palma de Mallorca, Spain（跨学科物理与复杂系统研究所 IFISC（CSIC-UIB），巴利阿里大学校区，西班牙帕尔马）；Université Paris-Saclay, CNRS, INRIA Tau team, LISN, 91190 Gif-sur-Yvette, France（巴黎-萨克雷大学，法国国家科学研究中心，INRIA Tau团队，LISN，法国吉夫-苏尔-伊维特）；Indian Institute of Science Education and Research, Bhopal 462066, India（印度科学教育与研究院，博帕尔）
本文提出并解决对称二元感知机的教师-学生模型，将其转化为具有保证解的种植推断问题。通过引入双区域标签，分析噪声less示例的贝叶斯最优情况及热噪声影响，揭示学习过程中的二级不稳定性及向完全对齐的首次相变。
2026-03-26 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Analogue neural networks on correlated random graphs
我们考虑Hopfield模型的推广，其中模式的条目是高斯和稀释的。我们专注于高存储制度，我们调查分析的拓扑性质的紧急网络，以及模型的热力学性质。我们发现，通过适当调整模式条目中的稀释度，网络可以恢复不同的拓扑制度，其特征在于相对于系统大小的平均配位数的特殊缩放。该结构也显示出表现出很大程度的集团性，即使在非常稀疏。此外，我们得到明确的副本对称自由能和自洽方程的重叠（序参量的理论），这原来是经典的加权和'子重叠'定义在所有可能的子图。最后，通过一个小的重叠扩展的自相关性和通过一个整体的波动理论开发的重新缩放的相关性进行研究的临界性：这两种方法表明，在模式条目中的稀释的净效应是重新缩放的临界噪声水平，遍历性打破。
2012-09-27 cond-mat.dis-nn
Full solution for the storage of correlated memories in an autoassociative memory
我们补充我们以前的工作[arxiv：0707.0565]与完整的（非稀释）的解决方案描述的吸引子网络的稳定状态，存储相关的活动模式。新的解决方案提供了一个很好的适合的模拟网络存储的功能规范的麦克雷和同事[麦克雷等人，2005年]，实验获得的组合的功能表示概念的语义记忆。我们讨论了三种提高网络存储容量的方法：添加无信息神经元，删除信息神经元和引入流行度调制的赫布学习。我们表明，如果突触的强度是由突触前神经元的流行度的指数衰减调制的，则任何模式的分布都可以以近似最佳的存储容量来存储和检索-即，C ~ I.p，维持模式检索所需的每个神经元的最小连接数与模式的信息量乘以存储的模式数成比例网络中
2007-07-20 cond-mat.dis-nn cond-mat.other
Finite size scaling in neural networks
我们证明了可以存储在单层和隐藏层感知器中的模式集的比例具有有限尺寸标度。这一特性允许从相对小的系统的模拟中估计临界存储容量α c。我们通过确定α_c以及有限尺寸标度指数ν来说明这种方法，用于在具有二进制耦合和多达K=5个隐藏单元的委员会和奇偶机中存储高斯模式。
1996-11-05 adap-org cond-mat.dis-nn nlin.AO
Mixed states in a sparsely encoded associative memory model storing ultrametric patterns
当混合态由s种记忆模式组成时，可以产生s种类型的混合态，它们可以成为模型的平衡态。我们以前报道过，存储容量的大多数混合状态组成的不相关的记忆模式不发散的稀疏限制的发射率，f -> 0。与不相关的情况相反，我们证明了由相关记忆模式组成的所有混合状态的存储容量的发散为1/|f log f|即使当记忆模式的相关性是无穷小的时候。我们还表明，当发射率是固定的，随着相关系数的增加，所有相关的记忆模式组成的混合状态的存储容量增加，而那些只由一些相关的记忆模式组成的混合状态的存储容量减少。
2003-03-13 cond-mat.dis-nn cond-mat.stat-mech q-bio
Classifying surface probe images in strongly correlated electronic systems via machine learning
扫描探针实验，如扫描隧道显微镜（STM）和原子力显微镜（AFM）在强相关的电子系统往往揭示复杂的斑图形成在多个长度尺度。通过研究这些图像中的普遍尺度，我们已经在几个不同的相关电子系统中表明，斑图形成是由接近无序驱动的临界点驱动的，揭示了这些材料中斑图形成的统一。作为新材料图像分类问题的另一种方法，在这里，我们报告了机器学习方法的第一次调查，以确定哪个底层物理模型正在驱动系统中的斑图形成。使用神经网络架构，我们能够实现97%的准确率分类配置图像从三个模型与伊辛对称性。这项研究还表明，机器学习可以捕捉物理系统的隐含普遍行为。这拓宽了我们对机器学习可以做什么的理解，我们期待机器学习和凝聚态物理之间在未来有更多的协同作用。
2018-02-24 cond-mat.dis-nn cond-mat.stat-mech cond-mat.str-el
Correlated percolation patterns in PEF damaged cellular material
我们目前的数值和实验研究结果的细胞材料在脉冲电场（PEF）的电断裂。该数值模型通过生物细胞的二维阵列来模拟细胞材料的导电特性。假设以具有脉冲持续时间$t_{i}$和脉冲重复时间$Δt$的理想化方形脉冲序列的形式施加外部场。该仿真模型包括已知的机制的时间和空间演变的导电性能的组织中的不同的微观结构元素。实验研究了不同电场强度$E$、$t_{i}$和$Δt$的断裂动力学。我们提出了假设的性质组织性能的演变后，脉冲电场处理，并认为这种现象作为一个相关的渗流，这是由两个关键过程：重新密封的细胞和细胞结构内的水分转移过程。断裂动力学显示对PEF处理的重复次数$Δt$非常敏感。当$Δt$超过水分转移过程的特征时间时，我们观察到相关的渗流模式，而在其他情况下观察到随机渗流模式。脉冲重复时间的长期模式，在脉冲电场治疗允许我们在实验上可视化的宏观渗透通道的样品。
2000-05-16 cond-mat.dis-nn cond-mat.stat-mech q-bio
Exact full-RSB SAT/UNSAT transition in infinitely wide two-layer neural networks
Bocconi University（博科尼大学）；Sapienza Università di Roma（罗马第一大学（萨皮恩扎大学））
本研究利用完全RSB猜想精确计算了负感知机和无限宽两层神经网络的SAT/UNSAT相变值，发现Overlap间隙使AMP算法定理失效，并证明梯度下降因偏向不可达的非典型状态而无法达到最大容量。
2025-04-01 cond-mat.dis-nn cs.LG math.PR
A three-threshold learning rule approaches the maximal capacity of recurrent neural networks
了解记忆如何在神经元群体中编码和检索的理论基础是神经科学的核心挑战。一个流行的理论场景建模记忆功能是吸引子神经网络的情况下，其原型是Hopfield模型。与感知器学习算法相比，该模型具有较差的存储容量。在这里，通过变换的感知器学习规则，我们提出了一个在线学习规则的经常性神经网络，实现接近最大的存储容量，而没有明确的监督错误信号，只依赖于本地可访问的信息。全连接网络由兴奋性二元神经元组成，具有可塑性经常性连接和非可塑性抑制性反馈，稳定了网络动力学;记忆模式在线呈现为强传入电流，产生神经元突触输入的双峰分布。对应于活动输入的突触被修改为相对于三个阈值的局部场的值的函数。在最高阈值以上和最低阈值以下，不发生塑性。在这两个阈值之间，当局部场高于/低于中间阈值时发生增强/抑制。我们模拟和分析了一个实现这一规则的二进制神经元网络，并测量了它的存储容量为不同大小的盆地的吸引力。通过数值模拟得到的存储容量被证明是接近分析计算预测的值。我们还测量了产能对外部投入强度的依赖性。最后，我们量化的统计结果的突触连接矩阵，并发现，零权重突触的分数和权重矩阵的对称度的存储模式的数量增加。
2015-08-03 cond-mat.dis-nn q-bio.NC
Spatio-temporal patterns in ultra-slow domain wall creep dynamics
在杂质的存在下，铁磁和铁电畴壁仅在有限的外场之上滑动。接近这个脱钉阈值，他们进行大而突然的跳跃，称为雪崩，而在小得多的领域，这些接口蠕变热激活。在这项工作中，我们开发了一种新的数值技术，捕捉超慢蠕变制度在巨大的时间尺度。我们指出，激活事件的存在，涉及集体重组类似于雪崩，但与他们的差异，显示相关的时空模式，类似于一个大地震后观察到的余震的复杂序列。值得注意的是，我们表明，事件组装在独立的集群，显示在大尺度上相同的统计数据的关键去钉雪崩。我们预见这种相关的动力学实验可通过磁光成像的铁磁薄膜。
2016-10-07 cond-mat.dis-nn cond-mat.stat-mech physics.comp-ph
