Training on the Edge of Stability Is Caused by Layerwise Jacobian Alignment
National Geospatial-Intelligence Agency（国家地理空间情报局）
本文揭示训练损失的锐度增加源于逐层 Jacobian 矩阵的对齐，提出使用指数值Hessian求解器在稳定性边缘训练网络，并通过对齐度量缓解该问题，
2024-05-31 cs.LG stat.ML
A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay
Johns Hopkins University（约翰霍普金斯大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出理论框架，分析带权重衰减的梯度下降训练神经网络的泛化动力学，通过误差分解与近似齐次性导出逐层界限，解释泛化差异并刻画grokking现象。
2026-09-09 cs.LG math.OC
Training Recurrent Neural Networks by Diffusion
Massachusetts Institute of Technology（麻省理工学院）
这项工作提出了一种训练循环神经网络的新算法（尽管思想也适用于前馈网络）。该算法是从一个理论在非凸优化有关的扩散方程。在这项工作中作出的贡献是双重的。首先，我们展示了深度学习中使用的一些看似不相关的机制，如智能初始化、退火学习率、分层预训练和噪声注入（如dropout和SGD中所做的），是如何从这个框架中自然自动地产生的，而无需手动将它们添加到算法中。其次，我们提出了一些初步的结果比较所提出的方法对SGD。结果表明，新算法可以在更少的时期内达到与SGD相似的泛化精度水平。
2016-02-04 cs.LG
Large Batch Optimization for Deep Learning: Training BERT in 76 minutes
Google Brain（谷歌大脑）；Google（谷歌）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
在海量数据集上训练大型深度神经网络在计算上非常具有挑战性。最近，人们对使用大批量随机优化方法来解决这个问题的兴趣激增。在这一研究领域最突出的算法是LARS，它通过采用分层自适应学习率，在几分钟内在ImageNet上训练ResNet。然而，LARS对于像BERT这样的注意力模型表现不佳，这表明它的性能增益在不同任务之间并不一致。在本文中，我们首先研究了一种原则性的分层自适应策略，以加速使用大型小批量的深度神经网络的训练。使用这种策略，我们开发了一种新的分层自适应大批量优化技术，称为LAMB，然后我们提供LAMB以及LARS的收敛性分析，显示收敛到一个固定点在一般的非凸设置。我们的实证结果证明了LAMB在各种任务（如BERT和ResNet-50训练）中的卓越性能，并且几乎没有超参数调整。特别是，对于BERT训练，我们的优化器可以使用32868的超大批量，而不会降低性能。通过将批量大小增加到TPUv 3 Pod的内存限制，BERT训练时间可以从3天缩短到76分钟（表1）。LAMB实现可在https://github.com/tensorflow/addons/blob/master/tensorflow_addons/optimizers/lamb.py上获得
2020-01-03 cs.AI cs.CL cs.LG
Training Deep Neural Networks via Optimization Over Graphs
University of Technology, Sydney（悉尼科技大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
在这项工作中，我们提出了通过图上的分布式优化来训练深度神经网络。考虑两个非线性函数：整流线性单元（ReLU）和具有上下截止值的线性单元（DCutLU）。通过使用一组松弛变量显式表示ReLU或DCutLU来实现图上的问题重构。然后，我们应用交替方向的乘法器（ADMM）更新的权重的网络逐层解决子问题的重新制定的问题。实证结果表明，基于ADMM的方法是不太敏感的过度拟合比随机梯度下降（SGD）和亚当的方法。
2017-06-17 cs.DC cs.LG
Training Saturation in Layerwise Quantum Approximate Optimisation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
量子近似优化（QAOA）是目前研究最多的基于门的变分量子算法。我们每次训练一层QAOA，以最大化与$n$量子位目标状态的重叠。这样做，我们发现这种训练总是饱和-称为\textit{training saturation} -在某个深度$p^*$，这意味着超过一定的深度，重叠不能通过添加后续层来改善。我们提出了饱和的必要条件。数值上，我们发现分层QAOA在深度$p^*=n$达到其最大重叠。向训练中添加相干失相误差消除了饱和，恢复了分层训练的鲁棒性。这项研究揭示了QAOA的性能限制和前景。
2021-06-25 cond-mat.dis-nn cs.LG quant-ph
Distributed Training of Deep Neural Networks with Theoretical Analysis: Under SSP Setting
我们提出了一种分布式方法来训练深度神经网络（DNN），该方法在理论上保证了收敛性，并在经验上具有很大的可扩展性：当使用6台机器运行时，ImageNet数据集的实例速度接近6倍。所提出的计划是接近最佳可扩展的机器数量，并保证收敛到相同的最优值作为未分配的设置。分布式设置的收敛性和可扩展性在不同的数据集（TIMIT和ImageNet）和机器学习任务（图像分类和音素提取）之间以经验为基础进行了展示。收敛性分析为这种复杂的学习方案提供了新的见解，包括：1）逐层收敛，2）权重的概率收敛。
2015-12-11 cs.LG math.OC stat.ML
Riemannian Optimization in Modular Systems
Cold Spring Harbor Laboratory（冷泉港实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于黎曼几何的模块系统优化方法，通过逐层度量和可组合的黎曼模块框架，提供了神经网络优化的理论保证和高效计算方法。
2026-03-04 cs.LG
How to Train Your Wide Neural Network Without Backprop: An Input-Weight Alignment Perspective
Massachusetts Institute of Technology（麻省理工学院）
最近的工作已经研究了在神经切线核（NTK）制度中训练的宽神经网络的理论和经验性质。考虑到生物神经网络比人工神经网络要广泛得多，我们认为NTK域宽神经网络是生物神经网络的一个可能的模型。利用NTK理论，我们从理论上证明了梯度下降驱动分层权重更新，这些更新与由误差加权的输入活动相关性一致，并从经验上证明了该结果在有限宽度的网络中也成立。对齐结果使我们能够制定一系列生物动机，反向传播自由学习规则，理论上相当于无限宽度网络中的反向传播。我们在前馈和递归神经网络的基准问题上测试了这些学习规则，并在广泛的网络中展示了与反向传播相当的性能。所提出的规则是特别有效的低数据制度，这是常见的生物学习环境。
2022-07-13 cs.LG stat.ML
Tunable Subnetwork Splitting for Model-parallelism of Neural Network Training
George Mason University（乔治梅森大学）
最近提出了交替最小化方法作为深度神经网络优化的梯度下降的替代方案。交替最小化方法通常可以将深度神经网络分解为分层子问题，然后可以并行优化。尽管存在显著的并行性，但由于严重的精度下降，在训练深度神经网络时很少探索交替最小化方法。在本文中，我们分析了原因，并提出了一个令人信服的权衡并行性和准确性之间的重新制定所谓的可调子网分裂方法（TSSM），它可以调整深度神经网络的分解粒度。提出了梯度分裂交替方向乘子法和梯度分裂交替最小化法两种求解TSSM方程的方法。在五个基准数据集上的实验表明，我们提出的TSSM可以实现显着的加速，而没有明显的训练精度损失。该代码已在https://github.com/xianggebenben/TSSM上发布。
2020-09-16 cs.LG math.OC stat.ML
Quantum error mitigation by layerwise Richardson extrapolation
本文提出分层Richardson外推法（LRE），通过放大各电路层噪声并线性组合期望值估计零噪声极限，利用多元Lagrange插值求系数，数值模拟显示其优于传统单变量外推法。
2025-01-21 quant-ph
A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们设计了一个低复杂度的分散学习算法，训练最近提出的大型神经网络中的分布式处理节点（工人）。我们假设工人之间的通信网络是同步的，可以建模为一个双随机混合矩阵，没有任何主节点。在我们的设置中，训练数据分布在工人之间，但由于隐私和安全问题，在训练过程中不共享。使用交替方向乘法器（ADMM）以及分层凸优化方法，我们提出了一个分散的学习算法，具有较低的计算复杂性和工人之间的通信成本。我们表明，它是可能实现等效的学习性能，如果数据是在一个单一的地方。最后，我们通过实验验证了算法的时间复杂度和收敛性。
2020-09-29 cs.DC cs.LG stat.ML
Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning
Meta FAIR Labs（Meta基础人工智能研究院）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文提出“后向特征修正”原理，从理论上证明超常数层神经网络可通过 SGD 在多项式时间内高效学习某些高次多项式概念类，而逐层训练、核方法等非层级算法无法做到，揭示了深度学习实现层级学习的核心机制。
2023-07-07 cs.DS cs.LG cs.NE
Learning with Shallow Neural Networks on Cluster-Structured Features
Inria（法国国家信息与自动化研究所）
本文研究了簇结构特征中相关性对梯度下降学习样本复杂性的影响，提出可 tractable 模型，证明样本复杂性与隐藏变量数量相关，且在信噪比高时与输入维度无关。
2026-05-14 cs.LG
Iterative Layerwise Training for Quantum Approximate Optimization Algorithm
针对量子近似优化算法（QAOA）优化成本与近似比的权衡问题，提出迭代分层优化策略，结合适当初始化策略可显著降低优化成本且近似比仅略有下降，部分情况近似比优于完全优化。
2023-09-24 quant-ph
Layerwise Federated Learning for Heterogeneous Quantum Clients using Quorus
Rice University（里士大学）
针对量子联邦学习中客户端量子设备异构错误特性导致的模型深度差异问题，提出Quorus框架，利用逐层损失函数训练变深度量子模型，并优化资源，平均提升测试准确率12.4%。
2025-09-30 cs.DC cs.ET cs.LG
A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks
Institute of AI for Health, Helmholtz Munich（亥姆霍兹慕尼黑人工智能健康研究所）；Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Faculty of Mathematics, Informatics and Mechanics, University of Warsaw（华沙大学数学、信息与力学学院）；Faculty of Mathematics, Informatics and Statistics, LMU Munich（慕尼黑大学数学、信息与统计学院）；School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）
该研究针对深度线性网络，以神经坍塌为探针，推导得出类内变异性逐层演化的闭式深度-宽度定律，经数值实验验证，为神经网络表征级缩放提供理论依据。
2026-11-13 cs.LG
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time
Stanford University（斯坦福大学）
具有非线性激活函数的两层神经网络的训练是一个重要的非凸优化问题，在逐层深度学习中具有许多应用和有前途的性能。本文基于半定规划理论，建立了二次多项式激励的双层神经网络的精确凸优化公式。值得注意的是，我们表明，半定提升始终是准确的，因此计算复杂性的全局优化是多项式的输入尺寸和样本大小的所有输入数据。开发的凸公式被证明可以实现相同的全局最优解集作为他们的非凸同行。更具体地说，具有多项式激活的全局最优双层神经网络可以通过求解半定规划（SDP）并使用我们称为神经分解的过程分解该解来找到。此外，正则化器的选择在神经网络训练的计算易处理性中起着至关重要的作用。我们表明，标准的权重衰减正则化制定是NP-困难的，而其他简单的凸罚款使问题易于处理的多项式时间通过凸规划。我们将结果扩展到完全连接架构之外的不同神经网络架构，包括具有向量输出的网络和具有池化的卷积架构。我们提供了大量的数值模拟表明，标准的反向传播方法往往无法实现全局最优的训练损失。所提出的方法是显着更快，以获得更好的测试精度相比，标准的反向传播过程。
2021-01-07 cs.CC cs.LG math.OC
Provable Bounds for Learning Some Deep Representations
Princeton University（普林斯顿大学）；Google Research NYC（谷歌纽约研究院）；EPFL（洛桑联邦理工学院）；Microsoft Research, New England（微软新英格兰研究院）
我们给出了具有可证明保证的算法，这些算法在Hinton等人推广的生成模型视图中学习一类深度网。我们的生成模型是一个$n$节点多层神经网络，对于某些$γ<1$，其度至多为$n^γ$，并且每条边在$[-1,1]$中具有随机的边权重。我们的算法学习{ \em几乎所有}网络在这类多项式运行时间。样本复杂度为二次或三次，具体取决于模型的详细信息。该算法使用分层学习。它是基于一个新的想法，观察功能之间的相关性，并使用这些来推断潜在的边缘结构，通过一个全局图恢复过程。对算法的分析揭示了具有随机边权值的神经网络有趣的结构。
2013-10-23 cs.AI cs.LG stat.ML
The staircase property: How hierarchical structure can guide deep learning
EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
本文确定了数据分布的结构属性，使深度神经网络能够分层学习。我们定义了布尔超立方体上函数的“阶梯”性质，它假定高阶傅立叶系数是从低阶傅立叶系数沿递增链可达的。我们证明了满足这一性质的功能可以学习在多项式时间内使用分层随机坐标下降定期神经网络-一类网络架构和初始化，具有同质性。我们的分析表明，对于这样的阶梯函数和神经网络，基于梯度的算法通过沿网络的深度将较低级别的特征进行组合来学习高级特征。我们通过实验进一步支持我们的理论结果，实验表明阶梯函数也可以通过具有随机梯度下降的更标准的ResNet架构来学习。理论和实验结果都支持这样一个事实，即阶梯特性在理解常规网络上基于梯度的学习能力方面发挥了作用，而不是像最近所示的那样可以模拟任何SQ或PAC算法的一般多项式大小的网络。
2021-11-24 cs.DS cs.LG cs.NE
Beyond Neural Collapse: Task-Intrinsic Geometry Governs Neural Representations in Modular Arithmetic
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)（上海数学与交叉学科研究院）；Key Laboratory of Systems Health Science of Zhejiang Province, School of Life Science, Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（浙江省系统健康科学重点实验室，中国科学院大学杭州高等研究院生命科学学院）
本文发现模加法任务中网络表示呈现二维循环几何而非神经坍缩的单纯形等角紧框架，通过层间非均匀训练、子空间锁定后的相位对齐动力学和复杂度优势分析解释了这一现象。
2026-06-08 cs.LG
Q-LINK: Quantum Layerwise Information Residual Network via a Messenger Qubit for Barren Plateaus Mitigation
The University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）
本文提出Q-LINK架构，通过引入单个信使量子比特，提升优化行为，增强收敛速度和梯度方差，缓解 barren plateaus 问题，同时保持电路表达能力。
2026-04-11 quant-ph
Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Otto-von-Guericke University（奥托·冯·古里克大学）；Singapore Institute of Technology（新加坡理工大学）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Technological University Dublin（都柏林理工大学）
提出逐层反馈传播（LFP）训练原理，利用可解释性分解奖励实现贪婪更新，无需梯度计算，兼具高效与灵活性，适用于剪枝和脉冲神经网络训练。
2025-06-19 cs.AI cs.LG cs.NE
Learning Hierarchical Polynomials with Three-Layer Neural Networks
Peking University（北京大学）；Princeton University（普林斯顿大学）
研究三层神经网络学习层次多项式问题，证明通过逐层梯度下降能在多项式时间内以最优样本复杂度学习目标函数，优于核方法与两层网络。
2023-11-23 cs.LG stat.ML
Approximation and learning with compositional tensor trains
Weierstrass Institute for Applied Analysis and Stochastics, Berlin, Germany（魏泽拉斯应用分析与随机学研究所，柏林，德国）；Centrale Nantes, Nantes Université, Laboratoire de Mathématiques Jean Leray UMR CNRS 6629, France（南特中央理工大学，南特大学，让·勒拉伊数学实验室，法国）
本文提出组合张量列车（CTTs）作为多变量函数近似的新方法，结合了组合模型的表达力与张量代数的高效算法，为深度神经网络提供了一种更可扩展的替代方案。
2025-12-19 cs.LG cs.NA math.NA
Beyond Overparameterization: Provable Learning of Input-Convex Multi-Layer Polynomial Networks with Active Queries
Peking University（北京大学）
针对过参数化局限，提出ASPIRE算法，利用输入凸性和主动查询，在多项式时间内以较低样本复杂度实现深层多项式网络的参数级恢复，首次证明高质量数据的指数级优势。
2026-10-06 cs.LG stat.ML
A Cyclic Layerwise QAOA Training
Yonsei University（延世大学）；Rutgers University（罗格斯大学）
Orbit-QAOA通过循环层式训练和选择性冻结参数，提高了MA-QAOA的训练效率和近似性能。
2026-01-27 quant-ph
Accelerating Transpilation in Quantum Machine Learning with Haiqu's Rivet-transpiler
本文提出利用 Haiqu 的 Rivet transpiler 复用已转译电路，以降低量子机器学习中迭代电路的转译开销，并在量子逐层学习中实现最高 600% 的时间提升。
2025-08-29 quant-ph
Improving Parameter Training for VQEs by Sequential Hamiltonian Assembly
LMU Munich（慕尼黑大学）
针对参数化量子电路中非局部损失函数导致的梯度消失问题，提出顺序哈密顿量组装方法，利用局部组件迭代近似全局损失函数，在图着色问题的 VQE 实验中显著提升了平均准确率。
2023-12-09 cs.LG quant-ph
Quantum Circuits For Two-Dimensional Isometric Tensor Networks
变分量子本征求解器（VQE）结合经典和量子资源来模拟经典难以处理的量子态。在其他变量中，成功的VQE取决于问题哈密顿量的变分算子的选择。我们详细描述了2D等距张量网络（isoTNS）拟设的量子线路版本，我们称之为qisoTNS。我们在两个不同的2D自旋1/2哈密顿算子上对qisoTNS的性能进行基准测试。我们发现，锚定有几个优点。它是量子位有效的，量子位的数量允许以多项式量子代价访问一些指数级大的键维张量。此外，由于紧急分层训练，该算法对贫瘠高原问题具有鲁棒性。我们进一步探讨了噪音对麻醉效果的影响。总体而言，我们发现qisoTNS是一个合适的变分分析与局部相互作用的二维哈密顿。
2021-08-05 cond-mat.str-el quant-ph
Exact and Asymptotically Complete Robust Verifications of Neural Networks via Ising Solvers
Beijing QBoson Quantum Technology Co., Ltd.（北京QBoson量子技术有限公司）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
本文提出两种基于量子优化的模型，用于精确且渐进完备地验证神经网络的鲁棒性，通过分段线性界限和量子Benders分解提高认证效率。
2026-10-23 cs.AI cs.LG physics.optics
Hierarchical Learning for Quantum ML: Novel Training Technique for Large-Scale Variational Quantum Circuits
BlueQubit Inc（BlueQubit公司）；Institute for Quantum Information and Matter, Caltech（加州理工学院量子信息与物质研究所）；University of California, Berkeley（加州大学伯克利分校）
提出分层学习架构，通过优先学习高有效位参数防止贫瘠高原，在27量子比特上实现约4%误差的高斯分布加载，首次展示大规模量子比特变分学习。
2023-11-21 cs.LG quant-ph
Robustness Evaluation of Hybrid Quantum Neural Networks under Noise Models via System-Level Error Mitigation
Université Libre de Bruxelles（布鲁塞尔自由大学）；New York University Abu Dhabi (NYUAD)（阿布扎比纽约大学）；NYUAD Research Institute, NYUAD（阿布扎比纽约大学研究院）
本文评估了混合量子神经网络在噪声影响下的鲁棒性，通过集成多种误差缓解策略，发现不同噪声模型对性能影响显著，Pec在低噪声环境下表现较好，其他方法效果有限。
2026-10-27 quant-ph
TensorFlow Quantum: A Software Framework for Quantum Machine Learning
Google Quantum AI（谷歌量子人工智能）；University of Waterloo（滑铁卢大学）；Google（谷歌）；Caltech（加州理工学院）
我们介绍TensorFlow Quantum（TFQ），这是一个开源库，用于经典或量子数据的混合量子-经典模型的快速原型制作。该框架为TensorFlow下的判别和生成量子模型的设计和训练提供了高级抽象，并支持高性能量子线路模拟器。我们提供了一个概述的软件架构和构建模块，通过几个例子，并回顾混合量子经典神经网络的理论。我们说明TFQ功能通过几个基本的应用程序，包括监督学习的量子分类，量子控制，模拟嘈杂的量子线路，量子近似优化。此外，我们展示了如何应用TFQ来解决高级量子学习任务，包括元学习，分层学习，哈密顿学习，采样热态，变分量子本征求解器，量子相变分类，生成对抗网络和强化学习。我们希望这个框架为量子计算和机器学习研究社区提供必要的工具，以探索自然和人工量子系统的模型，并最终发现可能产生量子优势的新量子算法。
2021-08-26 cond-mat.dis-nn cs.LG cs.PL
Domain-Aware Probability Sampling for Hybrid Quantum Systems using Bayesian Optimization
Rice University（莱斯大学）；Fractal Analytics；Santa Clara University（圣克拉拉大学）
提出CircuitTree框架，利用基于树的贝叶斯优化实现领域感知的分布匹配，在混合量子系统中以更少的门电路实现更低的变分距离。
2026-08-12 quant-ph
A unifying primary framework for quantum graph neural networks from quantum graph states
该研究提出基于量子图态的量子图神经网络统一框架，证明图态可作为参数化量子电路表征神经网络，也可作为底层结构在量子计算机上构建图神经网络，为量子图神经网络的理解与实现提供统一基础。
2024-02-21 cs.LG quant-ph
Quantum Graph Neural Networks
X, The Moonshot Factory（X，登月工厂）；Google Research（谷歌研究院）
我们介绍了量子图神经网络（QGNN），一类新的量子神经网络ansatze是定制的，以表示具有图形结构的量子过程，特别适合于在量子网络上的分布式量子系统上执行。除了这类通用的ansatze，我们还介绍了进一步的专用架构，即量子图递归神经网络（QGRNN）和量子图卷积神经网络（QGCNN）。我们提供了QGNNs的四个示例应用：学习量子系统的哈密顿动力学，学习如何在量子网络中创建多体纠缠，谱聚类的无监督学习和图同构分类的监督学习。
2019-09-26 cs.LG quant-ph
Learning Quantum Processes with Memory -- Quantum Recurrent Neural Networks
University of British Columbia（不列颠哥伦比亚大学）；Stewart Blusson Quantum Matter Institute（斯图尔特·布鲁森量子物质研究所）；University of Cambridge（剑桥大学）
循环神经网络在研究和工业中都起着重要的作用。随着量子机器学习的出现，循环神经网络的量化最近变得相关。我们提出了完全量子循环神经网络，耗散量子神经网络的基础上，能够学习一般的因果量子自动机。提出了一种量子训练算法，并对以保真度为代价函数的产品输出情况进行了经典仿真。因此，我们证明了这些算法的潜力，学习复杂的量子过程与内存的示例性延迟通道，时间演化的量子态受时间依赖的哈密顿量，和高，低频率的噪声缓解。数值模拟表明，我们的量子循环神经网络表现出惊人的能力，从小训练集进行概括。
2023-01-19 cs.LG quant-ph
Adaptive pruning-based optimization of parameterized quantum circuits
变分混合量子-经典算法是最大化利用有噪声的中间尺度量子器件的有力工具。虽然过去的研究已经开发出强大的和富有表现力的ansatze，他们的短期应用受到限制的困难，优化在广阔的参数空间。在这项工作中，我们提出了一个启发式优化策略，这样的ansatze用于变分量子算法，我们称之为“参数有效的电路训练”（PECT）。PECT不是一次优化所有的参数，而是启动一系列变分算法，其中算法的每次迭代激活并优化总参数集的子集。为了在迭代之间更新参数子集，我们采用了Mostafa等人（arXiv：1902.05967）的动态稀疏重新参数化方案。我们证明了PECT的变分量子本征求解器，在其中，我们基准酉耦合团ansatze包括UCCSD和k-UpCCGSD，以及低深度电路分析（LDCA），估计分子系统的基态能量。此外，我们还使用分层的PECT的变体来优化Sycamore处理器的硬件高效电路，以估计一维费米-哈伯德模型的基态能量密度。从我们的数值数据中，我们发现，PECT可以使某些ansatze的优化，以前难以收敛，更一般地可以提高变分算法的性能，通过减少优化运行时间和/或深度的电路编码的解决方案的候选人（S）。
2020-10-01 quant-ph
Automated Unitary Coupled Cluster Circuit Design via Differentiable Quantum Architecture Search
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文采用可微量子架构搜索（DQAS）基于UCCSD算子池设计VQE电路，提出全局和逐层两种模式，在紧凑电路下比ADAPT-VQE精度更高且CNOT门更少。
2026-05-27 physics.chem-ph quant-ph
Nonparametric Regression Quantum Neural Networks
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；Keio University（庆应义塾大学）
在前两篇论文\cite{dndiep3}，\cite{dndiep4}中，第一作者构造了最小二乘量子神经网络（LS-QNN），多项式插值量子神经网络（PI-QNN），参数统计量子神经网络如：精益回归量子神经网络（LR-QNN），多项式回归量子神经网络（PR-QNN），卡方量子神经网络（$χ^2$ -QNN）。我们观察到，该方法也适用于使用非参数统计的情况。本文分析并实现了线性非参数回归量子神经网络（LNR-QNN）、多项式非参数回归量子神经网络（PNR-QNN）等QNN的非参数检验。该算法通过高斯-约当消去量子神经网络（GJE-QNN）实现，训练规则是使用高概率置信区间。
2020-02-07 cs.ET cs.LG quant-ph
Statistical Tests and Confidential Intervals as Thresholds for Quantum Neural Networks
Thang Long University（升龙大学）；Institute of Mathematics, Vietnam National Academy of Science and Technology（越南国家科学技术院数学研究所）
作者\cite{dndiep3}的近期工作中，分析并构建了一些基本的量子神经网络，发表在《国际理论物理杂志》（2020）上。特别讨论了最小二乘问题（LSP）和线性回归问题（LRP）。在第二篇论文中，我们继续分析和构造了最小二乘量子神经网络（LS-QNN）、多项式插值量子神经网络（PI-QNN）、多项式回归量子神经网络（PR-QNN）和卡方量子神经网络（$χ^2$ -QNN）。我们使用相应的解决方案或测试作为相应训练规则的阈值。
2020-01-30 cs.ET cs.LG quant-ph
Neural quantum kernels: training quantum kernels with quantum neural networks
研究提出通过训练量子神经网络构建神经量子核（包括神经EQKs和PQKs），只需构建一次核矩阵，在噪声条件下表现出色，缓解指数集中并提升泛化能力。
2025-03-05 quant-ph
Neural-network Generated Quantum State Can Mitigate the Barren Plateau in Variational Quantum Circuits
The University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）
本研究通过神经网络生成量子态来缓解变分量子电路中的贫瘠高原问题。
2025-11-27 quant-ph
Exploring Quantum Neural Networks for the Discovery and Implementation of Quantum Error-Correcting Codes
本文研究用量子神经网络发现和实现量子纠错码，通过改进结构避免贫瘠高原，成功实现比特翻转纠错和振幅阻尼恢复，并用于发现特定信道的新加密协议。
2023-04-13 quant-ph
Role of interference and entanglement in quantum neural processing
讨论了干涉和纠缠在量子神经处理中的作用。与量子计算相比，量子神经处理不存在使用指数资源作为纠缠缺失代价的问题。这是因为相应的系统，就像任何现代经典人工神经系统一样，不能精确地实现功能，而是通过对小样本集的训练来近似它们。它可以允许光学地实现量子神经系统，因为在这种情况下，不需要光学设备（分束器等）的指数资源。另一方面，纠缠在量子神经处理中的作用仍然非常重要，因为它实际上关联了量子比特态：这是量子神经记忆模型的必要特征。
2001-12-23 quant-ph
On quantum neural networks
量子神经网络作为一个结合了经典神经计算和量子计算的新领域，在21世纪初的早期定义相当模糊和令人满意。2020年，量子神经网络被广泛定义为一种模型或机器学习算法，将量子计算的功能与人工神经网络相结合，这剥夺了量子神经网络的根本重要性。我们认为，量子神经网络的概念应该定义在其最一般的功能，作为一种工具，代表一个任意的量子过程的振幅。我们的推理是基于量子力学中的费曼路径积分公式的使用。这种方法已被用于许多研究量子宇宙学的主要问题，如宇宙的起源。事实上，我们的宇宙是否是一台量子计算机的问题是由Seth Lloyd提出的，他给出了肯定的答案，但我们认为宇宙可以被认为是一个量子神经网络。
2021-04-12 quant-ph
Quantum Neural Network for Quantum Neural Computing
Nanjing University（南京大学）；MatricTime Digital Technology Co. Ltd.（MatricTime数字科技有限公司）
提出一种利用单量子比特操作和测量的量子神经网络模型，克服状态空间指数增长问题，在数字识别等任务中展现强非线性分类能力和噪声鲁棒性，推动量子神经计算机发展。
2023-05-15 cs.AI quant-ph
Nonlinear Quantum Neuron: A Fundamental Building Block for Quantum Neural Networks
量子计算使量子神经网络具有超越人工神经网络的巨大潜力。神经网络的强大的推广归因于非线性激活函数。虽然已经开发了各种与QNN相关的模型，但它们面临着将神经计算的非线性耗散动力学合并到线性幺正量子系统中的挑战。在本文中，我们建立了不同的量子线路来近似非线性函数，然后提出了一个可推广的框架来实现任何非线性量子神经元。我们提出了两个量子神经元的例子的基础上提出的框架。构建单个量子神经元所需的量子资源是多项式，是输入大小的函数。最后，IBM Quantum Experience的结果和数值模拟说明了所提出的框架的有效性。
2020-11-06 cs.ET quant-ph
Quantum Neural Networks -- Computational Field Theory and Dynamics
为了将量子人工神经网络描述为量子动力学计算系统，将量子人工神经网络形式化为动力学系统，将幺正映射的概念扩展到神经计算环境，并在网络上引入量子计算场论。在量子递归神经网络的模拟中示出了形式主义，并研究了由此产生的场动力学，显示了在量子神经活动场水平上具有激发和弛豫周期的涌现神经波，以及混沌签名的边缘，其中局部神经元作为远离平衡的开放量子系统操作，表现出具有复杂动力学的熵波动，包括复杂的准周期模式和幂律特征。量子计算机科学，量子复杂性研究，量子技术和神经科学的影响也被解决。
2022-03-19 cs.ET cs.NE math.DS
