Training Quantized Neural Networks to Global Optimality via Semidefinite Programming
Stanford University（斯坦福大学）
神经网络（NN）在机器学习的许多任务中都非常成功。神经网络权重的量化由于其对能量效率、推理时间和硬件部署的影响而成为一个重要的课题。虽然后训练量化是很好的研究，训练最佳量化神经网络涉及组合非凸优化问题，似乎难以解决。在这项工作中，我们引入了一个凸优化策略，训练量化的神经网络与多项式激活。我们的方法利用了最近文献中的两层神经网络中的隐藏凸性，半定提升和Grothendieck恒等式。令人惊讶的是，我们表明，某些量化的神经网络问题可以解决的全局最优多项式时间的所有相关参数，通过半定松弛。我们提出的数值例子来说明我们的方法的有效性。
2021-05-05 cs.LG stat.ML
Optimal Convergence Rates for Neural Operators
Technical University of Braunschweig（布伦瑞克工业大学）
本文引入两层神经算子的神经正切核机制，证明了其在RKHS非参数回归中的极小化最优收敛速率，并给出泛化所需的神经元与样本数量界限，通过泊松方程模拟验证了理论。
2024-12-23 cs.LG stat.ML
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们分析了平均随机梯度下降的过参数化的两层神经网络回归问题的收敛性。最近发现神经切核（NTK）在显示NTK机制下基于梯度的方法的全局收敛性方面起着重要作用，其中过参数化神经网络的学习动力学几乎可以用相关的再生核Hilbert空间（RKHS）的学习动力学来表征。然而，在NTK制度中仍有进行收敛速度分析的余地。在这项研究中，我们表明，平均随机梯度下降可以实现极大极小最优收敛速度，与全局收敛保证，通过利用目标函数的复杂性和与NTK相关的RKHS。此外，我们还证明了在某些条件下，通过ReLU网络的平滑近似，可以以最佳收敛速度学习ReLU网络的NTK指定的目标函数。
2021-06-11 cs.LG stat.ML
Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
生成对抗模仿学习（GAIL）在实践中取得了巨大的成功，特别是当与神经网络相结合时。与强化学习不同，GAIL从专家（人）演示中学习策略和奖励函数。尽管其经验上的成功，它仍然不清楚是否GAIL与神经网络收敛到全局最优解。主要困难来自于非凸-非凹极小极大优化结构。为了弥合实践和理论之间的差距，我们分析了基于梯度的算法与交替更新，并建立其次线性收敛到全局最优解。据我们所知，我们的分析建立了全局最优性和收敛速度的GAIL与神经网络的第一次。
2020-06-25 cs.LG math.OC stat.ML
Learning to Transport with Neural Networks
我们比较了几种方法来学习最优映射，表示为一个神经网络，概率分布之间。这些方法分为两类：“启发式”和具有更合理的数学理由的方法，其动机是Kantorovitch问题的对偶。在这些算法中，我们考虑了一种新的方法，涉及动态流和减少最佳运输监督学习。
2019-08-04 cs.LG stat.ML
Neural Optimal Transport
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Artificial Intelligence Research Institute（人工智能研究所）
我们提出了一种新的基于神经网络的算法来计算最优的运输地图和计划的强和弱的运输成本。为了证明神经网络的使用，我们证明了它们是概率分布之间的运输计划的通用逼近器。我们评估我们的最佳运输算法的玩具的例子和不成对的图像到图像的翻译的性能。
2023-03-01 cs.LG
Over Parameterized Two-level Neural Networks Can Learn Near Optimal Feature Representations
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Princeton University（普林斯顿大学）；HKUST（香港科技大学）
最近，过参数化神经网络已在文献中被广泛分析。然而，以前的研究不能令人满意地解释为什么完全训练的神经网络在实践中是成功的。在本文中，我们提出了一个新的理论框架来分析过参数化的神经网络，我们称之为神经特征重新填充。我们的分析可以令人满意地解释两级神经网络，标准的学习算法训练的经验成功。我们的关键理论结果是，在无限数量的隐藏神经元的限制下，通过标准（噪声）梯度下降训练的过参数化两级神经网络学习一个定义良好的特征分布（种群），并且在某些条件下，限制特征分布对于底层学习任务来说是接近最优的。实证研究证实，我们的理论的预测是一致的，在现实中观察到的结果。
2019-10-25 cs.LG math.AP stat.ML
Neural Collapse versus Low-rank Bias: Is Deep Neural Collapse Really Optimal?
Institute of Science and Technology Austria（奥地利科学技术研究所）
本文研究深度神经坍缩（DNC）在任意深度非线性多分类模型中的最优性，发现超过两层或两类后DNC不再最优，原因是多层正则化的低秩偏置导致更低秩解，并通过DUFM和真实数据实验验证了低秩结构的出现。
2024-10-21 cs.LG math.OC stat.ML
Globally Optimal Training of Generalized Polynomial Neural Networks with Nonlinear Spectral Methods
Saarland University（萨尔大学）
神经网络背后的优化问题是高度非凸的。使用随机梯度下降和变体的训练需要仔细的参数调整，并且不能保证实现全局最优。相比之下，我们显示在相当弱的假设下的数据，一类特定的前馈神经网络可以训练全局最优的线性收敛速度与我们的非线性谱方法。据我们所知，这是实现这种保证的第一个实际可行的方法。虽然该方法原则上可以应用于深度网络，但为了简单起见，本文仅限于一层和两层隐藏层网络。我们的实验证实，这些模型足够丰富，可以在一系列真实世界的数据集上实现良好的性能。
2016-10-28 cs.LG math.OC stat.ML
Neural solver for Wasserstein Geodesics and optimal transport dynamics
本文提出了一种基于神经网络的求解器，用于计算Wasserstein地轴和最优传输动力学，通过近似相关函数实现对目标分布的直接采样。
2026-02-25 cs.LG math.OC stat.ML
Overcoming Spurious Solutions in Semi-Dual Neural Optimal Transport: A Smoothing Approach for Learning the Optimal Transport Plan
Georgia Institute of Technology（佐治亚理工学院）；Sungkyunkwan University（松均大学）；University of Seoul（首尔大学）；Korea Institute for Advanced Study（韩国高级研究院）
OTP模型通过平滑方法克服半对偶神经OT中的虚假解问题，准确学习最优传输计划并提升图像到图像翻译性能。
2026-02-01 cs.LG
Optimal Convergence Rates of Deep Convolutional Neural Networks: Additive Ridge Functions
Shenzhen Polytechnic（深圳职业技术学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
卷积神经网络在许多应用中表现出令人印象深刻的能力，特别是与分类任务相关的应用。然而，对于回归问题，卷积结构的能力还没有被完全理解，需要进一步的研究。在本文中，我们考虑深度卷积神经网络的均方误差分析。我们表明，对于加性脊函数，卷积神经网络后跟一个具有ReLU激活函数的全连接层可以达到最佳的最小-最大速率（高达对数因子）。输入维数只出现在收敛速度常数中。这项工作显示了卷积神经网络的统计最优性，并可能揭示为什么卷积神经网络能够对高维输入表现良好。
2023-01-20 cs.LG math.ST stat.TH
Optimal Deep Neural Network Approximation for Korobov Functions with respect to Sobolev Norms
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）
该研究确立了深度神经网络对Korobov函数在$L_p$与$H^1$范数下的近最优非渐近逼近速率，实现超收敛并克服维数灾难，误差界同时考虑网络宽度与深度。
2023-11-08 cs.LG cs.NA math.NA
Do Neural Optimal Transport Solvers Work? A Continuous Wasserstein-2 Benchmark
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Massachusetts Institute of Technology（麻省理工学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Artificial Intelligence Research Institute（人工智能研究所）
尽管最近流行的神经网络为基础的解决方案的最佳运输（OT），有没有标准的定量方法来评估其性能。在本文中，我们解决了这个问题的二次成本运输-具体来说，计算Wasserstein-2距离，一个常用的配方最佳运输机器学习。为了克服的挑战，计算地面真理运输图之间的连续措施，需要评估这些求解器，我们使用输入凸神经网络（ICNN）构建的措施，其地面真理OT地图可以得到分析。这种策略在高维空间（如图像空间）中产生连续的基准测量对。我们彻底评估现有的最佳运输解决方案，使用这些基准措施。尽管这些求解器在下游任务中表现良好，但许多求解器不能忠实地恢复最佳传输映射。为了调查这种差异的原因，我们进一步测试的求解器在图像生成的设置。我们的研究揭示了现有求解器的关键局限性，并表明OT精度的提高并不一定与下游更好的结果相关。
2021-10-25 cs.LG
Mean-field Langevin System, Optimal Control and Deep Neural Networks
Université Paris-Dauphine, PSL Research University（巴黎文理研究大学巴黎多芬纳大学）
本文研究了正则松弛最优控制问题，特别是当控制变量是大维数时，我们所关心的问题。我们引入了一个平均场Langevin方程组，在较弱的条件下证明了其不变测度是初始问题的最优控制。因此，这个过程系统可以看作是计算最优控制的连续时间数值算法。作为一个应用，这一结果支持了随机梯度下降算法对广泛的一类深度神经网络的可解性。
2019-10-03 cs.LG math.OC math.PR
Learning optimal wavelet bases using a neural network approach
University of Edinburgh（爱丁堡大学）
基于小波变换和全连接人工神经网络之间的相似性，提出了一种新的学习最优正交小波基的方法。这两个概念之间的结构相似性进行审查，并结合到一个“wavenet”，允许通过随机梯度下降的最佳小波滤波器系数的直接学习与反向传播的训练输入的合奏，其中构成正交小波基的滤波器系数的条件被铸造为二次regulationations条款。我们描述了这种方法的实际实现，并研究了它在QCD $2 \to 2$过程高能物理碰撞事件中的性能。结果表明，即使在高维搜索空间中，也能找到最优解，并讨论了结果的意义。
2018-08-31 cs.LG cs.NE
Hyper Input Convex Neural Networks for Shape Constrained Learning and Optimal Transport
Department of Applied Mathematics, University of Twente（应用数学系，特文特大学）
本文提出Hyper Input Convex Neural Networks（HyCNNs），通过结合Maxout网络与输入凸神经网络，实现输入凸性，理论证明其在逼近二次函数时参数更少，且在凸回归和插值任务中优于ICNNs和MLP。
2026-11-06 cs.LG math.ST q-bio.GN
Neural Unbalanced Optimal Transport via Cycle-Consistent Semi-Couplings
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Microsoft Research（微软研究院）
比较在不同时间点采集的分布或群体的未配对样本是许多应用领域的基本任务，其中测量群体是破坏性的，并且不能在同一样本上重复进行，例如在单细胞生物学中。最优传输（OT）可以通过从非配对数据中学习样本跨分布的最佳耦合来解决这一挑战。然而，OT的通常公式假设质量守恒，这在人口规模变化的不平衡情景中是违反的（例如，细胞增殖或死亡）。在这项工作中，我们介绍了NubOT，神经不平衡OT配方，依赖于半耦合的形式主义，占质量的创造和破坏。为了估计这样的半耦合和推广的样本外，我们推导出一个有效的参数化神经最优传输映射的基础上，并提出了一种新的算法方案，通过一个周期一致的训练过程。我们将我们的方法应用于预测多种癌细胞系对各种药物的异质性反应的挑战性任务，我们观察到，通过准确地建模细胞增殖和死亡，我们的方法比以前的神经最佳运输方法有显着的改进。
2022-09-30 cs.LG stat.AP
Optimal Potential Shaping on SE(3) via Neural ODEs on Lie Groups
University of Twente（特温特大学）
该研究提出将有限维李群上的动态系统优化转化为李群上的神经ODE优化问题，设计可扩展的梯度下降算法，通过李代数表示降低梯度计算成本，并在SE(3)刚体最优势能整形控制任务中验证了有效性。
2024-09-17 cs.LG math.OC
4+3 Phases of Compute-Optimal Neural Scaling Laws
McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
该研究通过可解神经缩放模型分析计算最优缩放定律，识别出4个主阶段和3个子阶段，并推导出各阶段缩放指数及最优参数数量与算力预算的关系。
2025-04-18 cs.LG math.OC math.PR
Optimal Approximation with Sparsely Connected Deep Neural Networks
ETH Zürich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）；Technische Universität Berlin（柏林工业大学）
我们推导出了深度神经网络的连通性和内存要求的基本下界，保证了$L^2(\mathbb R^d)$中任意函数类的一致逼近率。换句话说，我们在函数类的复杂性与深度神经网络的复杂性之间建立了联系，深度神经网络将该类函数逼近到规定的精度。此外，我们证明了我们的下限是可以实现的一个广泛的家庭的功能类。具体来说，所有的函数类，最佳近似的一般类的表示系统-所谓的\emph{affine systems} -可以近似的深度神经网络与最小的连接和内存要求。仿射系统包含来自应用谐波分析的大量表示系统，例如小波、脊波、曲波、剪切波、$α$ -剪切波，以及更一般地$α$ -分子。我们的中心结果阐明了神经网络的一个显着的普适性，并表明，他们实现了所有仿射系统的最佳逼近性能相结合。作为一个具体的例子，我们考虑类的$α^{-1}$ -卡通般的功能，这是最佳近似的$α$ -剪切波。我们还解释了如何我们的结果可以扩展到低维浸入流形上的函数的情况。最后，我们提出的数值实验表明，标准的随机梯度下降算法生成的深度神经网络提供接近最佳的近似率。此外，这些结果表明，随机梯度下降实际上可以学习在表示系统中稀疏的近似，从而最佳地稀疏化网络训练的函数类。
2018-05-16 cs.IT cs.LG math.FA
Optimal Function Approximation with Relu Neural Networks
Faculty of Information Technology, Beijing University of Technology（北京工业大学信息学部）
本文研究了一元凸函数的前馈Relu神经网络最优逼近问题。我们感兴趣的是以下问题：什么是最小的近似误差给定的数量近似线性件？我们建立了最佳逼近的充要条件和唯一性，并给出了最佳逼近误差的上下界。Relu神经网络架构，然后提出产生这些最佳的近似。最后，我们提出了一个算法来寻找最佳的近似，以及证明其收敛性和验证它与实验结果。
2019-09-10 cs.LG stat.ML
Concentration inequalities and optimal number of layers for stochastic deep neural networks
University of Pennsylvania（宾夕法尼亚大学）；Universität Leipzig（莱比锡大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Duke University（杜克大学）
我们陈述了随机深度神经网络（SDNN）隐层输出以及整个SDNN输出的浓度不等式。这些结果使我们能够引入一个预期的分类器（EC），并给出概率上限的EC的分类错误。我们还通过最佳停止过程来确定SDNN的最佳层数。我们将我们的分析应用于具有ReLU激活函数的前馈神经网络的随机版本。
2023-03-20 cs.LG stat.ML
Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime
Duke University（杜克大学）
研究了具有softmax策略和非线性函数逼近的无限期折扣马尔可夫决策过程的策略优化问题，该非线性函数逼近采用策略梯度算法训练.我们专注于平均场机制中的训练动态，例如建模，宽单隐层神经网络的行为，通过熵正则化鼓励探索。这些模型的动力学被建立为参数空间中分布的Wasserstein梯度流。在较温和的初始化条件下，我们进一步证明了该动力学不动点的全局最优性。
2020-10-22 cs.LG stat.ML
Towards Optimal Neural Networks: the Role of Sample Splitting in Hyperparameter Selection
School of Management（管理学院）；University of Science and Technology of China（中国科学技术大学）；Academy of Mathematics and Systems Science（数学与系统科学研究院）；Chinese Academy of Sciences（中国科学院）
该研究构建全新理论解释神经网络构建中样本划分操作的作用，证明其得到的最优超参数可让模型渐近最小化预测风险，并通过多场景多架构实验验证了理论有效性。
2023-10-05 cs.LG stat.ML
Optimal Nonparametric Inference via Deep Neural Network
Texas Tech University（德克萨斯理工大学）；Indiana University–Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；New Jersey Institute of Technology（新泽西理工学院）
深度神经网络是现代科学技术中的一种先进方法。许多统计文献致力于了解其在非参数估计中的性能，然而由于冗余的对数牺牲，结果是次优的。在本文中，我们表明，这样的对数因子是不必要的。我们推导出非参数估计下的$L^2$极大极小风险的上界。充分条件的网络架构，使上界成为最佳的（没有日志牺牲）。我们的证明依赖于一个显式构造的网络估计的张量积B样条。我们还推导出所构建的网络的渐近分布和相关的假设检验程序。在适当的网络结构下，进一步证明了测试过程是最小最大最优的。
2021-08-16 cs.LG stat.ML
Searching for Minimal Optimal Neural Networks
Dalhousie University（达尔豪西大学）；University of Delaware（特拉华大学）
大型神经网络模型具有很高的预测能力，但如果训练集不够大，可能会出现过拟合。因此，需要为神经网络选择适当的大小。破坏性的方法，从一个大的体系结构开始，然后使用Lasso类型的惩罚来减小大小，已经被广泛用于此任务。尽管它很受欢迎，但这种技术没有理论保证。基于最小神经网络的概念，我们建立了一个严格的数学框架来研究破坏性技术的渐近理论。我们证明了自适应群Lasso是相容的，并且能够以很高的概率重构出单隐层前馈网络的正确隐节点数。据我们所知，这是建立破坏性技术的第一个理论结果。
2021-09-27 cs.LG stat.ML
Masked Bayesian Neural Networks : Computation and Optimality
本文提出一种新颖的稀疏贝叶斯神经网络，通过掩码变量实现节点级稀疏，并设计先验分布保证后验分布的理论最优性，在保持预测精度和不确定性量化能力的同时有效简化了复杂的DNN架构。
2023-05-23 cs.LG stat.ML
Global optimality conditions for deep neural networks
Massachusetts Institute of Technology（麻省理工学院）
我们研究了具有平方误差损失的深度线性和非线性神经网络的误差景观。最小化深度线性神经网络的损失是一个非凸问题，尽管最近取得了进展，但我们对这种损失面的理解仍然不完整。对于深度线性网络，我们给出了风险函数的临界点是全局最小值的充分必要条件。令人惊讶的是，我们的条件提供了一个有效的检查测试的全局最优性，而这样的测试通常是棘手的非凸优化。我们进一步将这些结果扩展到深度非线性神经网络，并证明了类似的全局最优性的充分条件，尽管在更有限的函数空间设置。
2018-03-24 cs.LG math.OC stat.ML
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化（PPO和TRPO）在深度强化学习中取得了显著的经验成功。然而，由于非凸性，PPO和TRPO的全局收敛性仍然不太清楚，这使理论与实践分离。在本文中，我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策，在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性，其中的梯度和梯度是由神经网络实例化。特别是，所需的表示能力和优化几何诱导过参数化的神经网络，使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
On the Optimal Memorization Power of ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了前馈ReLU神经网络的记忆能力。我们表明，这样的网络可以记住任何$N$点，满足一个温和的可分性假设使用$\tilde{O}\left(\sqrt{N}\right)$参数。已知的VC维上界意味着记忆$N$样本需要$Ω(\sqrt{N})$参数，因此我们的构造是最佳的对数因子。我们还给出了一个广义的网络结构的深度有界的$1 \leq L \leq \sqrt{N}$，记忆$N$样本使用$\tilde{O}(N/L)$参数。这个界限也是最佳的对数因子。我们的构造使用具有大比特复杂度的权重。我们证明，有这样一个大的位复杂度是必要的和足够的记忆与一个次线性数量的参数。
2021-10-07 cs.LG cs.NE stat.ML
Optimal learning of high-dimensional classification problems using deep neural networks
University of Vienna（维也纳大学）；Katholische Universität Eichstätt-Ingolstadt（艾希施泰特-因戈尔施塔特天主教大学）；Technical University of Munich（慕尼黑工业大学）
本文研究了在决策边界具有一定规律性的假设下，从无噪声训练样本中学习分类函数的问题。我们建立了普遍的下界这个估计问题，一般类的连续决策边界。对于局部Barron正则决策边界类，我们发现最优估计率基本上与底层维度无关，并且可以通过经验风险最小化方法在适当的一类深度神经网络上实现。这些结果是基于Barron-正则函数类的$L^1$和$L^\infty$熵的新估计。
2021-12-24 cs.LG math.FA stat.ML
Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets
Raymond and Beverly Sackler School of Physics and Astronomy（雷蒙德和贝弗利·萨克勒物理与天文学院）；Tel-Aviv University（特拉维夫大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
该研究推导了高维重叠高斯混合模型下贝叶斯最优分类器的闭式解，并通过实验证明深度神经网络能近似该最优分类器，且决策阈值与协方差特征向量相关，为神经网络的概率推理能力提供了理论依据。
2024-05-28 cs.AI cs.LG stat.ML
Deep multitask neural networks for solving some stochastic optimal control problems
Sorbonne Université（索邦大学）；Engie Global Markets（ENGIE全球市场）
针对部分随机最优控制问题中状态变量无法仿真、逐点训练神经网络计算效率低的问题，本文提出带动态任务平衡机制的深度多任务神经网络方法，在真实衍生品定价实验中性能优于现有最优方法。
2024-01-27 cs.LG cs.SY eess.SY
Statistical Physics of Deep Neural Networks: Initialization toward Optimal Channels
Tsinghua University（清华大学）；Huawei Technologies Co. Ltd.（华为技术有限公司）
在深度学习中，神经网络充当输入数据与其表示之间的噪声通道。这种观点自然地将深度学习与追求构建在信息传输和表示中具有最佳性能的通道联系起来。虽然相当大的努力集中在实现最佳的通道特性在网络优化，我们研究了一个经常被忽视的可能性，神经网络可以初始化为最佳通道。我们的理论与实验验证一致，确定了这种未知可能性背后的主要机制，并提出了统计物理和深度学习之间的内在联系。不同于传统的理论，特点神经网络应用经典的平均场近似，我们提供了分析证明，这种广泛应用的简化方案是无效的，在研究神经网络的信息通道。为了填补这一空白，我们开发了一个修正的平均场框架，适用于表征神经网络中的信息传播的限制行为，没有强的输入假设。在此基础上，我们提出了一个分析理论来证明，当神经网络初始化为动态等距时，输入和传播信号之间的互信息最大化是实现的，这种情况下，信息通过保范映射传输。这些理论预测验证了真实神经网络的实验，表明我们的理论对有限尺寸效应的鲁棒性。最后，我们用信息瓶颈理论分析了我们的研究结果，以确认深度学习中动态等距、互信息最大化和最佳信道属性之间的精确关系。
2022-12-04 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Neural network architectures using min-plus algebra for solving certain high dimensional optimal control problems and Hamilton-Jacobi PDEs
Brown University（布朗大学）；The University of Melbourne（墨尔本大学）；UCLA（加州大学洛杉矶分校）
求解高维最优控制问题及相应的Hamilton-Jacobi偏微分方程是控制工程中重要而又具有挑战性的问题。本文针对一类高维最优控制问题，提出了两种分别用于计算值函数和最优控制的抽象神经网络结构。我们提供了这两个抽象体系结构的数学分析。我们还展示了使用这些抽象架构的深度神经网络实现计算的几个数值结果。我们提出的神经网络架构在FPGA上的初步实现显示出与CPU相比有前途的速度。这项工作为利用为神经网络设计的高效专用硬件解决高维最优控制问题和Hamilton-Jacobi偏微分方程铺平了道路。
2023-03-29 cs.LG math.OC
Investigating the Optimal Neural Network Parameters for Decoding
University of Johannesburg（约翰内斯堡大学）
神经网络已被证明可以作为电信中的解码器，因此本文将研究如何使其有效。将研究使神经网络解码器的效率最大化的不同参数。将仅针对反演误差测试参数。
2022-04-20 cs.IT cs.LG math.IT
Calibrating Neural Networks' parameters through Optimal Contraction in a Prediction Problem
Andres Bello University（安德烈斯贝略大学）
本研究提出一种通过最优压缩校准神经网络参数的新方法，证明满足条件时RNN预测问题最优参数存在唯一且可高精度求解，神经元越多收敛越易，含循环的网络损失函数更易训练。
2024-06-19 cs.LG math.OC stat.ML
An Optimal Control Approach to Deep Learning and Applications to Discrete-Weight Neural Networks
Institute of High Performance Computing（高性能计算研究所）
深度学习被公式化为离散时间最优控制问题。这使得人们能够表征最优性的必要条件，并开发不依赖于可训练参数的梯度的训练算法。特别是，我们介绍了离散时间逐次逼近法（MSA），这是基于庞特里亚金的最大值原理，用于训练神经网络。得到了离散MSA的严格误差估计，揭示了其动态特性和稳定算法的方法。所开发的方法被施加到训练，在一个相当原则性的方式，神经网络的权重被限制在一个离散集的值。我们获得有竞争力的性能和有趣的是，非常稀疏的权重的情况下，三元网络，这可能是有用的模型部署在低内存设备。
2018-06-02 cs.LG
Optimal Approximation and Learning Rates for Deep Convolutional Neural Networks
Xi’an Jiaotong University（西安交通大学）
本文研究了带零填充和最大池化的深度卷积神经网络的逼近与学习性能，证明了逼近 $r$ 阶光滑函数时的最优速率，并推导出经验风险最小化的几乎最优学习速率。
2023-08-07 cs.LG math.ST stat.TH
Sub-Optimal Local Minima Exist for Neural Networks with Almost All Non-Linear Activations
The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
过度参数化是否消除了神经网络的次优局部极小值？文献[59]中关于1-隐层宽神经网络的经典结果给出了肯定的回答。最近的一些工作已经扩展到多层神经网络的设置，但他们都没有证明每一个局部极小是全局的。为什么这个结果从未扩展到深层网络？本文证明了这一任务是不可能的，因为文献[59]中关于1-隐层网络的原始结果不成立。更具体地说，我们证明了对于任何具有通用输入数据和非线性激活函数的多层网络，无论网络有多宽（只要最后一个隐藏层至少有两个神经元），都可以存在次优局部极小值。虽然[59]的结果假设了S形激活，但我们的反例涵盖了大量激活函数（在连续函数集中密集），表明限制不是由于特定的激活。我们的结果表明，“没有坏的局部最小值”可能无法解释过度参数化训练神经网络的好处。
2020-11-14 cs.LG math.OC stat.ML
Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
时间差学习（TD）与神经网络相结合，是深度强化学习最基本的构建模块之一。然而，由于价值函数逼近的非线性，这种耦合会导致优化问题的非凸性，甚至发散。因此，神经TD的全局收敛性仍然不清楚。在本文中，我们证明了第一次，神经TD收敛在一个次线性的速度到全局最优的均方投影贝尔曼误差的政策评估。特别是，我们展示了这种全局收敛是如何通过神经网络的过参数化来实现的，这也在神经TD的经验成功中起着至关重要的作用。除了政策评估，我们建立了神经（软）Q-学习，这是进一步连接到策略梯度算法的全局收敛。
2020-04-15 cs.AI cs.LG math.OC
An optimal scheduling architecture for accelerating batch algorithms on Neural Network processor architectures
Intel Corporation（英特尔公司）
在神经网络拓扑结构中，算法运行在批量数据张量上。批量数据通常被调度到并行执行的计算核心上。对于在批量数据上运行的算法，非常需要通过适当地利用硬件资源来优化批调度架构，从而显著减少训练和推理时间。在本文中，我们提出了加速批处理算法的神经网络，通过调度架构，使最佳的计算能力利用。所提出的优化调度架构可以内置到硬件中，也可以单独在软件中实现，这可以用于加速批处理算法。结果表明，所提出的架构加快了批处理算法相比，以前的解决方案。所提出的想法适用于任何用于神经网络的HPC架构。
2020-02-14 cs.LG cs.PF
Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
我们研究了使用ReLU和$x^2$作为激活函数的神经网络的特性，并在以前的结果的基础上表明，解析函数和Sobolev空间中的函数都可以通过这种具有恒定深度的网络近似到任意精度，从而证明了所有非线性近似器（包括标准ReLU网络）的最优阶近似率。然后，我们将展示如何利用低局部维数在某些情况下，以克服灾难的维数，获得近似率是最佳的未知的低维子空间。
2023-01-30 cs.LG cs.NE
Analysis of Deep Neural Networks with Quasi-optimal polynomial approximation rates
The University of Tennessee（田纳西大学）
我们展示了一个能够近似一大类高维近似的深度神经网络的存在。建议的神经网络的建设是基于准最佳的多项式逼近。我们表明，该网络实现了一个差错率，是次指数的多项式函数，$M$，用于多项式逼近的数量。实现该次指数速率的网络的复杂性在$M$中被证明是代数的。
2019-12-04 cs.LG cs.NA math.NA
Solving Elliptic Optimal Control Problems via Neural Networks and Optimality System
The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本文提出利用一阶最优性系统的耦合形式和深度神经网络求解线性及半线性二阶椭圆最优控制问题，给出状态、控制与伴随变量的 $L^2(Ω)$ 误差界，并通过数值算例验证及对比。
2024-05-08 cs.LG cs.NA math.NA
Approximation Rates of Shallow Neural Networks: Barron Spaces, Activation Functions and Optimality Analysis
School of Mathematical Sciences, Shenzhen University, Shenzhen 518060, China（深圳大学数学科学学院）
本文分析采用指数幂型及 ReLU$^{k}$ 激活函数的浅层神经网络，在 Barron 与 Sobolev 空间中建立多范数最优逼近速率，揭示系数、光滑性约束及维数灾难的影响。
2025-10-21 cs.LG
Do Neural Networks Compress Manifolds Optimally?
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
基于人工神经网络的有损压缩器最近在几个源上获得了惊人的结果。他们的成功可能归因于一种能力，以确定结构的低维流形在高维环境空间。事实上，先前的工作已经表明，基于人工神经网络的压缩器可以实现一些这样的源的最佳熵失真曲线。相比之下，我们确定了两个低维流形与圆形结构的最佳熵失真权衡，并表明，国家的最先进的基于人工神经网络的压缩机无法最佳地压缩它们。
2022-09-10 cs.CV cs.IT cs.LG
Deep neural network expressivity for optimal stopping problems
Imperial College London（帝国理工学院）
本文研究了高维状态空间上离散时间马尔可夫过程的最优停止问题的深度神经网络表达率。建立了一个通用框架，其中最优停止问题的值函数和连续值可以通过大小至多为$κd^{\mathfrak{q}} \varepsilon^{-\mathfrak{r}}$的深度ReLU神经网络来近似，误差至多为$\varepsilon$。常数$κ,\mathfrak{q},\mathfrak{r} \geq 0$不依赖于状态空间的维数$d$或近似精度$\varepsilon$。这证明了深度神经网络在用于解决最优停止问题时不会受到维数灾难的影响。例如，该框架涵盖指数Lévy模型、离散扩散过程及其运行最小值和最大值。这些结果在数学上证明了使用深度神经网络数值求解最优停止问题和在高维美式期权定价的合理性。
2022-10-19 cs.LG cs.NA math.NA
Nearly Optimal Steiner Trees using Graph Neural Network Assisted Monte Carlo Tree Search
University of Arizona（亚利桑那大学）
针对Steiner树求解问题，提出结合图神经网络与蒙特卡洛树搜索的方法，训练以部分解为输入的图神经网络指导搜索，在多类图上优于标准2-近似算法，常能求得最优解。
2023-04-30 cs.DS cs.LG
Rethinking Neural Width for Alternating Current Optimal Power Flow Proxies
Department of Electrical Engineering, National Institute of Technology Kurukshetra, India（印度克什米尔国立理工学院电气工程系）；Indraprastha Institute of Information Technology Delhi, India（印度德里印度理工信息学院）；Department of Electrical Engineering, Indian Institute of Technology Roorkee, India（印度罗尔基印度理工学院电气工程系）
本文提出损失引导神经稠密化算法，通过逐步扩展网络容量来最小化宽度，以精确逼近交流最优潮流流形，并在多个IEEE系统上以少十倍的神经元达到与基线相当的性能。
2026-06-02 cs.LG
Physics-Informed Neural Networks for Minimising Worst-Case Violations in DC Optimal Power Flow
Technical University of Denmark（丹麦技术大学）
物理信息神经网络利用底层物理系统的现有模型，以更少的数据生成更高精度的结果。这种方法可以帮助大大减少计算时间，并产生一个很好的估计计算密集型过程中的电力系统，如动态安全评估或最优潮流。与神经网络性能的最坏情况保证的提取相结合，这样的神经网络可以应用于电力系统中的安全关键应用中，并且在电力系统操作员之间建立高度的信任。本文采取的第一步，并适用于第一次，我们的知识，物理信息的神经网络与最坏情况下的保证直流最优潮流问题。我们寻找与（i）最大约束违反，（ii）预测和最佳决策变量之间的最大距离，以及（iii）整个输入域中的最大次优性相关的保证。在一系列PGLib-OPF网络中，我们展示了物理信息神经网络如何提供最坏情况的保证，以及与传统神经网络相比，它们如何减少最坏情况的违规。
2021-09-27 cs.LG cs.SY eess.SY
QRnet: optimal regulator design with LQR-augmented neural networks
Naval Postgraduate School（美国海军研究生院）
本文提出了一种新的计算方法来设计高维非线性系统的最优调节器。所提出的方法利用物理信息机器学习来解决最优反馈控制中出现的高维Hamilton-Jacobi-Bellman方程。具体地说，我们增加线性二次调节器与神经网络来处理非线性。我们训练增强模型的数据生成而不离散的状态空间，使应用程序的高维问题。我们使用所提出的方法来设计一个不稳定的Burgers方程的候选最优调节器，并通过这个例子，证明改进的鲁棒性和准确性相比，现有的神经网络配方。
2020-11-16 cs.LG cs.SY eess.SY
Training Neural Networks for Solving 1-D Optimal Piecewise Linear Approximation
BIOMIND
最近，深度学习的可解释性引起了广泛关注。已有大量的方法试图通过特征可视化、显著图、模型提取等方法来解释神经网络，但这些方法都难以揭示神经网络的内在特性。在这项工作中，我们研究了一维最优分段线性逼近（PWLA）问题，并将其与设计的神经网络，命名为格型神经网络（LNN）。我们提出了以下四个基本问题：（1）PWLA问题最优解的性质是什么？(2)LNN能收敛到全局最优吗？(3)LNN能收敛到局部最优吗？(4)LNN能解决PWLA问题吗？我们的主要贡献是提出了PWLA问题最优解的特征定理和求解PWLA问题最优解的LNN方法，并在近似任务上对所提出的LNN进行了评估，提出了一种改进LNN性能的经验方法。实验证明，我们的LNN方法是有竞争力的开始的最先进的方法。
2021-10-14 cs.LG cs.NE
