Pattern capacity of a single quantum perceptron
量子机器学习的最新发展已经引入了几种模型来将经典感知器推广到量子领域。需要精确地确定这些量子模型的能力，以确定是否可以实现量子优势。在这里，我们使用统计物理的方法来计算一个特定的模型的量子感知器实现的连续变量量子系统的模式容量。
2021-12-27 cond-mat.dis-nn quant-ph
Optimal coloured perceptrons
介绍了Ashkin-Teller型感知器模型。它们的最大容量每耦合数内的第一步复制对称性破坏加德纳方法计算。使用几种算法的结果进行了比较与广泛的数值模拟。
2000-12-13 cond-mat.dis-nn cond-mat.stat-mech
Capacity of the covariance perceptron
RWTH Aachen University（亚琛工业大学）
经典的感知器是一个简单的神经网络，它通过静态输入和输出之间的线性映射以及阈值的应用来执行二进制分类。对于小的输入，处于静止状态的神经网络也执行有效的线性输入-输出变换，但是是整个时间序列。选择时间序列的时间平均值作为分类特征，网络的线性变换和随后的阈值处理等价于经典的感知器。在这里，我们展示了选择时间序列的协方差作为分类特征，将神经网络映射到我们所谓的“协方差感知器”;协方差之间的映射在权重方面是双线性的。通过扩展加德纳的理论连接到这个双线性问题，使用副本对称平均场论，我们计算的模式和信息容量的协方差感知器在无限大小的限制。封闭形式的表达式显示出优越的模式容量相比，在高维输入和低维输出的情况下，经典的感知器的二进制分类任务。对于收敛性较差的网络，平均感知器会对大量的刺激进行分类。然而，由于协方差比均值跨越更大的输入和输出空间，因此协方差感知器中存储的信息量超过了经典的对应物。对于强收敛的连接，它是优于一个因素，等于输入神经元的数量。理论计算验证数值有限大小的系统，使用基于梯度的优化的软利润，以及数值求解器的NP硬二次约束二次规划问题，训练可以映射到。
2020-08-17 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Storage capacity in symmetric binary perceptrons
我们研究的问题，确定的二进制感知器的两个变种的问题，相应的约束是对称的能力。我们称这些变体为矩形二进制感知器（RPB）和$u-$函数二进制感知器（UBP）。我们表明，与通常的阶跃函数二进制感知器，在这些对称情况下的临界容量是由退火计算在一个大区域的参数空间（所有矩形约束和足够窄的$u-$功能的约束，$K<K^*$）。我们证明了这一事实（在两个自然的假设下）使用第一和第二时刻的方法。我们进一步使用二阶矩方法来推测，对称二进制感知器的解决方案被组织在一个所谓的冻结-1RSB结构，而不使用副本的方法。然后，我们使用副本的方法来估计的容量阈值的UBP的情况下，$u-$功能是宽$K>K^*$。我们的结论是，完整的步骤，复本对称性破缺将不得不进行评估，以获得在这种情况下的确切容量。
2019-03-31 cond-mat.dis-nn math-ph math.MP
On the capacity of a quantum perceptron for storing biased patterns
针对量子感知机与经典感知机性能争议问题，研究带经典极限的连续量子感知机对有偏随机模式的存储容量，证实量子层面无法像经典场景那样通过高相关模式无限提升存储容量，进一步支撑量子存储无优势的结论。
2023-04-27 cond-mat.dis-nn quant-ph
Generalization from correlated sets of patterns in the perceptron
概括是学习理论的一个核心方面。在这里，我们提出了一个框架，探讨了一个辅助的任务依赖的概念概括，并试图定量回答以下问题：给定两组模式与给定程度的不同，如何容易将网络能够“统一”他们的解释？这通过以类似方式对两个集合进行分类的突触权重的配置的体积来量化。为了显示我们的想法在具体环境中的适用性，我们计算这个数量的感知器，一个简单的二进制分类器，使用经典的统计物理方法在复制对称的anomaly。在这种情况下，我们展示了一个分析表达式如何测量“基于距离的容量”，网络可持续的模式的最大负载，在固定的模式之间的差异和固定的允许错误数。这条曲线表明，在任何距离上都有可能推广，但能力会降低。我们建议，一个基于距离的泛化定义可能是有用的，在现实世界的神经网络的数值实验，并探索计算次主导集的突触解决方案。
2019-03-15 cond-mat.dis-nn cond-mat.stat-mech
Binary perceptrons capacity via fully lifted random duality theory
本文利用完全提升随机对偶理论（fl RDT）建立通用框架，研究具有一般阈值的二元感知器统计容量，所得结果精确匹配副本对称破缺预测，并复现了零阈值情形下$α\approx0.8330786$的经典容量值。
2023-11-29 cond-mat.dis-nn cs.IT math.IT
Capacity threshold for the Ising perceptron
本文在特定数值条件下证明了Ising感知机容量以高概率不超过Krauth-Mézard猜想常数0.833，与已有下界结果共同给出该猜想的条件性证明。
2025-04-22 cond-mat.dis-nn math-ph math.MP
Storage capacity of perceptron with variable selection
University of Helsinki（赫尔辛基大学）；Tohoku University（东北大学）；Sigma-i Co., Ltd.（Sigma-i有限公司）；The University of Tokyo（东京大学）
本研究通过引入基于统计力学副本方法的变量选择技术，超越了Cover-Gardner理论的界限，揭示了感知机在高维数据中区分真实结构与偶然相关性的存储容量。
2025-12-01 cond-mat.dis-nn cs.IT math.IT
Comment on "Storage properties of a quantum perceptron"
本文评述量子感知器存储性质论文，指出其临界容量推导有误，提出更严谨方法并评估更相关替代问题的临界容量。
2025-06-23 cond-mat.dis-nn quant-ph
Bounds on learning in polynomial time
大型神经网络的性能不仅可以通过其存储容量来判断，还可以通过学习所需的时间来判断。在具有$N$单元的网络中具有学习时间$\sim N^2$的多项式学习算法可能是实用的，而学习时间$\sim e^N$将仅允许相当小的网络。讨论了几种前馈结构、感知器、二进制感知器、委员会机和第一层固定权值、第二层自适应权值的感知器的绝对存储容量$α_c$和多项式学习规则容量$α_p$的问题。分析部分基于动态平均场论，该理论对$N\to\infty$有效。特别是对于委员会机的值$α_p$大大低于副本理论或模拟预测的容量被发现。这种差异是解决新的模拟调查的学习时间依赖性和揭示的微妙之处的定义的能力。
1997-05-26 cond-mat.dis-nn
Capacity of the treelike sign perceptrons neural networks with one hidden layer -- RDT based upper bounds
该研究利用随机对偶理论（RDT）建立通用框架，推导任意奇数神经元数的单隐层树状委员会机符号感知机神经网络容量的严格上界，验证了统计物理复制对称预测的严谨性，且在d≤5时取得30余年来首个严格进展。
2023-12-13 cond-mat.dis-nn cs.IT math-ph
Learning by random walks in the weight space of the Ising perceptron
Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；Kavli Institute for Theoretical Physics China（中国卡弗里理论物理研究所）
几个变种的随机局部搜索过程中构建的Ising感知器的突触权重进行了研究。在这个过程中，二进制模式被顺序地呈现给伊辛感知器，然后随着突触权重配置的修改而被学习，该突触权重配置是通过在先前学习的模式的兼容权重配置空间内的一系列单权重或双权重翻转来修改的。该过程能够达到对于模式长度N = 101的$α\approx 0.63$和对于N = 1001的$α\approx 0.41$的存储容量。如果另外利用再学习过程，则学习性能进一步提高到对于N = 101为$α\approx 0.80$的存储容量和对于N=1001为$α\approx 0.42$的存储容量。我们发现，对于一个给定的学习任务，由随机游走学习过程构建的解决方案是由一个典型的汉明距离，这与学习任务的约束密度$α$减少;在一个固定的值$α$，汉明距离分布的宽度与$N$减少。
2010-05-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
On the capacity of neural networks
本论文的目的是比较不同的神经网络模型的能力。我们首先分析一个简单的组合参数的单个感知器的解决问题的能力。在对一个基本网络的存储容量（称为联想记忆）进行了一些观察之后，我们引入了一种强大的统计力学方法来计算它在训练规则依赖的Hopfield模型中的容量。为了找到一个更一般的定义，甚至可以应用到量子神经网络，我们遵循加德纳的工作，这让我们摆脱了对训练规则的依赖，并评论了Lewenstein等人通过将加德纳的方法应用于最近提出的量子感知器模型而获得的结果。
2022-11-02 cond-mat.dis-nn physics.comp-ph quant-ph
\emph{Lifted} RDT based capacity analysis of the 1-hidden layer treelike \emph{sign} perceptrons neural networks
针对多层符号感知器神经网络的记忆容量问题，本文提出部分提升的RDT变体，得到闭式解析容量表征，且该容量界在任意隐藏层神经元数下均优于此前30多年的已知最优结果。
2023-12-13 cond-mat.dis-nn cs.IT cs.LG
Fl RDT based ultimate lowering of the negative spherical perceptron capacity
本文利用全提升随机对偶理论（fl RDT）研究负球面感知机容量，通过揭示关键提升参数的闭式解析关系实现数值计算，在第三层平稳化全提升上获得约0.1%相对改进的收敛，从而降低了容量上界。
2023-12-27 cond-mat.dis-nn cs.IT cs.LG
Entropy landscape of solutions in the binary perceptron problem
The Hong Kong University of Science and Technology（香港科技大学）
研究了二元感知器解空间的统计图像。二进制感知器通过一组二进制突触权重学习输入随机模式的随机分类。这种网络的学习是困难的，特别是当模式（约束）密度接近的容量，这应该是密切相关的解决方案空间的结构。的几何组织阐明的熵景观从一个参考配置和解决方案对分离的一个给定的汉明距离的解决方案空间。我们评估的熵在退火水平以及副本对称水平和平均场的结果证实了使用建议的消息传递算法的单实例的数值模拟。从第一个景观（随机配置作为参考），我们清楚地看到，随着更多的约束条件的添加，解决方案空间如何缩小。从解对的第二种景观出发，我们推导出解空间中聚集和冻结的共存。
2013-08-09 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Learning by dilution in a Neural Network
具有N个随机权重的感知器可以通过移除一部分权重而不改变其强度来存储N个模式的数量级。计算了随机输出和教师感知器输出的临界存储容量随剩余键浓度的变化关系。一个简单的Hebb样稀释算法，在教师的情况下达到最佳的推广能力。
1996-11-18 cond-mat.dis-nn
Simplified derivations for high-dimensional convex learning problems
针对机器学习与理论神经科学中统计物理推导冗长、物理解释模糊的问题，研究者采用腔方法统一分析三类高维凸学习问题，还发现感知机容量问题的对称性可通过朴素方法推导正确容量，提供了简洁的非复制子推导思路。
2025-09-15 cond-mat.dis-nn cs.NE q-bio.NC
Exact full-RSB SAT/UNSAT transition in infinitely wide two-layer neural networks
Bocconi University（博科尼大学）；Sapienza Università di Roma（罗马第一大学（萨皮恩扎大学））
本研究利用完全RSB猜想精确计算了负感知机和无限宽两层神经网络的SAT/UNSAT相变值，发现Overlap间隙使AMP算法定理失效，并证明梯度下降因偏向不可达的非典型状态而无法达到最大容量。
2025-04-01 cond-mat.dis-nn cs.LG math.PR
