Scalable Random Wavelet Features: Efficient Non-Stationary Kernel Approximation with Convergence Guarantees
Department of Applied Mechanics（应用力学系）；Yardi School of Artificial Intelligence (ScAI)（人工智能学院（ScAI））；Indian Institute of Technology Delhi（德里印度理工学院）
本文提出随机小波特征，通过小波采样构建非平稳核近似，提供理论保证并在多个数据集上验证了其在精度与效率上的优势。
2026-02-01 cs.LG
Non-Stationary Restless Multi-Armed Bandits with Provable Guarantee
Georgia Institute of Technology（佐治亚理工学院）
针对现实场景中非平稳动态导致传统RMAB算法失效的问题，提出结合滑动窗口强化学习与UCB机制的算法，并首次为受有界变化预算约束的非平稳RMAB问题提供了基础理论框架与遗憾界证明。
2025-08-14 cs.LG
Towards moderate overparameterization: global convergence guarantees for training shallow neural networks
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
许多现代神经网络架构都是在过参数化的机制中训练的，其中模型的参数超过了训练数据集的大小。充分过参数化的神经网络架构原则上具有拟合包括随机噪声的任何标签集合的能力。然而，考虑到训练环境的高度非凸性，尚不清楚一阶方法需要什么水平和种类的过参数化才能收敛到完美插值任何标签的全局最优值。最近的一些理论工作表明，对于非常宽的神经网络，其中隐藏单元的数量在训练数据的大小中是多项式大的，从随机初始化开始的梯度下降确实收敛到全局最优值。然而，在实践中，更适度的过度参数化水平似乎是足够的，并且在许多情况下，一旦参数的数量超过训练数据的大小恒定因子，过度参数化模型似乎就完美地内插训练数据。因此，现有的理论文献和实际实验之间存在着巨大的差距。在本文中，我们将采取措施缩小这一差距。聚焦于浅层神经网络和平滑激活，我们表明，（随机）梯度下降，当初始化随机收敛到一个几何速率附近的全局最优值，只要平方根的网络参数的数量超过的大小的训练数据。我们的结果还受益于快速的收敛速度，并继续适用于不可微的激活，如整流线性单元（ReLU）。
2019-02-12 cs.IT cs.LG math.IT
Polylogarithmic width suffices for gradient descent to achieve arbitrarily small test error with shallow ReLU networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的理论工作已经保证了通过梯度下降训练的过参数化网络可以实现任意低的训练误差，有时甚至是低的测试误差。然而，所需宽度在样本量$n$、（逆）目标误差$1/ε$和（逆）失效概率$1/δ$中的至少一个中始终是多项式。这项工作表明，在任何宽度超过$\mathrm{polylog}(n,1/ε,1/δ)$的双层ReLU网络上使用$\widetildeΩ(1/ε^2)$训练示例的梯度下降的$\widetildeΘ(1/ε)$迭代足以实现$ε$的测试误分类错误。我们还证明了随机梯度下降可以实现$ε$测试误差与多对数宽度和$\widetildeΘ(1/ε)$样本。该分析依赖于极限核的分离裕度，该分离裕度保证为正，可以区分真实标签和随机标签，并且可以在无限宽度设置中给出紧密的样本复杂度分析
2020-02-15 cs.LG math.OC stat.ML
DARLING: Detection Augmented Reinforcement Learning with Non-Stationary Guarantees
ECE and CSL, The Grainger College of Engineering University of Illinois at Urbana-Champaign（电气与计算机工程系和计算机科学实验室，伊利诺伊大学厄巴纳-香槟分校）
本文研究了在无先验知识的非平稳有限时间episodic马尔可夫决策过程中的模型无关强化学习，提出DARLING方法，通过模块化包装实现对表格和线性MDP的适应，并在非平稳基准测试中超越现有方法。
2026-05-11 cs.LG stat.ML
Ill-Posedness and Optimization Geometry for Nonlinear Neural Network Training
Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算工程与科学奥登研究所）
在这项工作中，我们分析的作用，非线性激活函数在密集的神经网络训练问题的稳定点。我们考虑一个通用的最小二乘损失函数训练公式。我们发现，在网络建设中使用的非线性激活函数在分类损失景观的稳定点中发挥着至关重要的作用。我们表明，对于浅稠密网络，非线性激活函数确定了全局极小值附近的Hessian零空间（如果存在），因此确定了训练问题的不适定性。此外，对于浅非线性网络，我们表明，零点的激活函数及其衍生物可以导致虚假的局部极小值，并讨论了严格的鞍点的条件。我们将这些结果扩展到深度密集神经网络，表明最后一个激活函数在分类固定点时起着重要作用，这是由于它如何出现在链式法则的梯度中。
2020-02-07 cs.LG cs.NE math.OC
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota（明尼苏达大学）
本文研究了非凸锥优化问题的近似二阶稳定点（SOSP），该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是，我们提出了一个牛顿共轭梯度（Newton-CG）为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的，而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度，这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
LogSpecT: Feasible Graph Learning Model from Stationary Signals with Recovery Guarantees
The Chinese University of Hong Kong（香港中文大学）
针对平稳信号图学习模型rSpecT的超参数敏感与不可行问题，提出始终可行的LogSpecT模型及其实用版本rLogSpecT，借助上图收敛工具给出恢复保证，设计高效L-ADMM算法，实验验证其稳定性与优越性。
2023-05-02 cs.LG eess.SP math.OC
Online optimization and regret guarantees for non-additive long-term constraints
University of Edinburgh（爱丁堡大学）
我们认为在线优化的1-前瞻设置，目标不分解添加在轮的在线游戏。由此产生的配方使我们能够处理非静态和/或长期的约束，这产生的，例如，在在线显示广告的问题。我们提出了一个在线的原始-对偶算法，我们获得动态累积后悔保证。它们依赖于非加性惩罚的凸性和平滑性，以及捕获非平稳和长期约束的残差在各轮中变化的平滑性的术语。我们对合成数据进行实验，以说明非加性惩罚的好处，并显示在生产中的显示广告平台收集的实时流量数据上的遗憾收敛消失。
2016-06-08 cs.LG math.OC math.ST
Shallow Neural Network can Perfectly Classify an Object following Separable Probability Distribution
KAIST（韩国科学技术院）
指导神经网络的设计对于节省大量的建筑参数经验决策资源具有重要意义。本文构造了一种浅层S型神经网络，该网络对线性可分性条件下的数据集实现了100%的分类准确率。在这项工作中的可分性条件比广泛使用的线性可分性更宽松。此外，构造的神经网络保证完美的分类从一个可分离的概率分布采样的任何数据集。这种泛化能力来自于sigmoid函数的饱和，它利用了可分离概率分布形成的区间边界附近的小余量。
2019-04-19 cs.IT cs.LG math.IT
Global Optimality Guarantees For Policy Gradient Methods
Columbia University（哥伦比亚大学）
策略梯度方法通过在参数化的策略类上执行随机梯度下降来应用于复杂的、知之甚少的控制问题。不幸的是，即使对于可通过标准动态规划技术解决的简单控制问题，策略梯度算法也面临非凸优化问题，并且被广泛理解为仅收敛到一个稳定点。这项工作确定了结构特性-共享的几个经典的控制问题-确保策略梯度目标函数没有次优的固定点，尽管是非凸的。当这些条件得到加强时，该目标满足Polyak-lojasiewicz（梯度优势）条件，该条件产生收敛速度。我们还提供了边界上的最优间隙的任何固定点时，这些条件放宽。
2022-06-20 cs.LG stat.ML
Stationary Point Losses for Robust Model
Harbin Institute of Technology（哈尔滨工业大学）；Saint-Petersburg State University（圣彼得堡国立大学）
无法保证鲁棒性是深度学习模型在安全要求高的领域应用的主要障碍之一。我们发现，最常用的交叉熵（CE）损失并不能保证神经网络的鲁棒边界。CE损失在决策边界处锐化神经网络以实现较低的损失，而不是将边界推到更鲁棒的位置。鲁棒的边界应该保持在来自不同类别的样本的中间，从而最大化从边界到样本的余量。我们认为这是由于CE损失没有固定点的缘故。在本文中，我们提出了一个家庭的新的损失，称为驻点（SP）损失，其中至少有一个驻点的正确分类侧。我们证明了鲁棒边界可以保证SP损失，而不会损失太多的精度。在SP损失的情况下，需要更大的扰动来生成对抗性示例。我们证明了鲁棒性提高各种对抗攻击下，通过应用SP损失。此外，通过SP损失学习的鲁棒边界在不平衡数据集上也表现良好。
2023-02-19 cs.LG
Approximately Stationary Bandits with Knapsacks
Cornell University（康奈尔大学）
本文提出近似平稳BwK条件，弥合随机与对抗性带背包赌博机之间的差距，并给出两种参数无关算法，其竞争比随环境平稳程度平滑变化，在预算小时显著优于对抗性保证。
2023-07-08 cs.LG stat.ML
A Robust Prototype-Based Network with Interpretable RBF Classifier Foundations
针对深度原型网络（PBNs）的可解释性缺陷，提出组件分类（CBC）扩展模型，证明其鲁棒性并推导优化损失，实证显示该模型在基准上精度先进，解决可解释性问题且浅层变体优于其他浅层PBN。
2025-04-17 cs.AI cs.CV cs.LG
Learning Single-Index Models with Shallow Neural Networks
New York University（纽约大学）；Meta AI；Columbia University（哥伦比亚大学）
单指标模型是一类函数，由应用于输入的未知一维投影的未知单变量“链接”函数给出。这些模型在高维中特别相关，当数据可能呈现低维结构时，学习算法应该适应。虽然该模型的几个统计方面，例如恢复相关（一维）子空间的样本复杂性，是很好理解的，但它们依赖于利用目标函数的特定结构的定制算法。在这项工作中，我们引入了一个自然类的浅神经网络，并研究其通过梯度流学习单指标模型的能力。更确切地说，我们考虑的是浅层网络，其中神经元的偏差在随机初始化时被冻结。我们表明，相应的优化景观是良性的，这反过来又导致泛化保证，匹配的近最佳样本的专用半参数方法的复杂性。
2022-10-27 cs.LG math.OC stat.ML
Structural Extensions of Basis Pursuit: Guarantees on Adversarial Robustness
ELTE Eötvös Loránd University（厄特沃什·罗兰大学）；AImotive Inc.（AImotive公司）
虽然深度神经网络对对抗性噪声敏感，但使用基追踪（BP）方法的稀疏编码对此类攻击（包括其多层扩展）具有鲁棒性。我们证明了BP的稳定性定理在以下推广上成立：（i）正则化过程可以分成具有不同权重的不相交的组，（ii）神经元或完整层可以形成组，以及（iii）正则化器采用$\ell_1$范数的各种广义形式。这一结果为Cazenavette等人（2021）的架构概括提供了证据，包括（iv）将完整架构近似为浅层稀疏编码网络。由于这种近似，我们决定用浅层网络进行实验，并在合成数据集和MNIST上研究它们对迭代快速梯度符号方法的鲁棒性。我们介绍了分类的基础上的$\ell_2$规范的团体和数字显示，它可以是准确的，并提供了相当大的加速。在这个系列中，线性Transformer表现出最好的性能。基于理论结果和数值模拟，我们强调数值问题，可能会进一步提高性能。
2022-05-05 cs.LG
A physics informed neural network approach to simulating ice dynamics governed by the shallow ice approximation
Department of Mathematics and the Institute for Scientific Computing and Applied Mathematics, Indiana University（数学系和科学计算与应用数学研究所，印第安纳大学）；Department of Mathematics and Cognitive Science Program, Indiana University（数学系和认知科学项目，印第安纳大学）
本文提出用物理信息神经网络求解浅冰近似下的时间相关抛物型障碍问题，通过1D和2D模拟验证其捕捉自由边界的能力，并应用于Devon冰帽动力学模拟。
2025-07-02 cs.LG cs.NA math.NA
Convex training of Lipschitz-regularized shallow neural networks
Polytechnique Montréal, GERAD & Mila, Montréal, QC, Canada（蒙特利尔理工学院，GERAD & Mila，加拿大魁北克省蒙特利尔市）
提出一种凸限制方法求解非凸Lipschitz正则化训练问题，可全局最优求解，并作为预训练网络的后处理步骤，提升对抗鲁棒性和准确性。
2026-06-19 cs.LG
Finding a stationary point of a stochastic convex problem
Stanford University（斯坦福大学）
研究随机凸优化问题中寻找驻点，提出以目标函数次微分含小元素为更强概念，借助维度理论分解次微分图像，让随机采样保留其“片段”，实现类似近端点方法的有效应用。
2026-07-28 cs.LG math.OC stat.ML
Tune smarter not harder: A principled approach to tuning learning rates for shallow nets
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
有效的超参数调整对于保证神经网络的性能至关重要。在这项工作中，一个原则性的方法来选择学习率提出了浅前馈神经网络。我们将学习率与训练时要最小化的目标的梯度Lipschitz常数相关联。上界所提到的常数推导和搜索算法，它总是导致非发散的痕迹，提出利用派生的界限。仿真结果表明，所提出的搜索方法显着优于现有的调整方法，如树Parzen估计（TPE）。所提出的方法被应用到三个不同的现有应用：a）OFDM系统中的信道估计，b）预测的汇率和c）OFDM接收机中的偏移估计，并且它被示出选择更好的学习率比现有的方法使用相同或更少的计算能力。
2020-09-30 cs.LG math.OC stat.ML
Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
本文研究过参数化浅层ReLU神经网络通过早停GD学习带噪Lipschitz函数，从NTK近似视角证明早停规则能实现minimax最优收敛速率，并探讨了多种实用的停止规则。
2023-04-06 cs.LG stat.ML
Stabilized SVRG: Simple Variance Reduction for Nonconvex Optimization
Duke University（杜克大学）；Tsinghua University（清华大学）
像SVRG这样的方差缩减技术为优化凸有限和目标提供了简单快速的算法。对于非凸目标，这些技术也可以找到一阶稳定点（具有小梯度）。然而，在非凸优化中，找到一个二阶稳定点（具有小梯度和几乎PSD Hessian）通常是至关重要的。在本文中，我们表明，稳定SVRG（SVRG的一个简单的变种）可以找到一个$ε$ -二阶平稳点，仅使用$\widetilde{O}(n^{2/3}/ε^2+n/ε^{1.5})$随机梯度。据我们所知，这是SVRG简单变体的第一个二阶保证。运行时间几乎匹配已知的保证寻找$ε$ -一阶平稳点。
2019-05-01 cs.LG math.OC stat.ML
Shallow Cue Guided Deep Visual Tracking via Mixed Models
National University of Singapore（新加坡国立大学）；Interactive Digital Media Institute（互动数字媒体研究所）
提出了一种基于混合模型的卷积神经网络（SDT）的鲁棒视觉跟踪方法。为了处理突然或快速运动，在执行深度跟踪器之前生成先验图以促进感兴趣区域（ROI）的定位。一个自上而下的显着性模型与十九个浅线索构建先验图与在线学习的组合权重。此外，除了一个整体的深度学习器外，还训练了四个局部网络来学习目标的不同组成部分。生成的四个局部热图将有助于通过消除干扰物来校正整体图以避免漂移。此外，为了保证高质量的在线更新实例，通过将问题转化为标签噪声问题来实现优先更新策略。选择概率的设计，同时考虑置信度值和生物启发记忆的时间信息集成。实验进行定性和定量的一组具有挑战性的图像序列。比较研究表明，该算法优于其他国家的最先进的方法。
2018-12-19 cs.AI cs.CV cs.LG
A Self-attention Knowledge Domain Adaptation Network for Commercial Lithium-ion Batteries State-of-health Estimation under Shallow Cycles
Xi’an Jiaotong University（西安交通大学）
本文提出一种基于自注意力蒸馏和多核最大均值差异的无监督深度迁移学习方法，首次在浅循环工况下无需全循环特性测试即可实现商用锂离子电池SOH的准确估计，误差在2%以内。
2023-04-11 cs.LG eess.SP
AYLA: Architecting a loss landscape in shallow neural networks to accelerate feature recovery
University of Alberta（阿尔伯塔大学）
AYLA通过可调幂律损失变换放大梯度敏感性，并配合动态学习率，在非凸优化中加速收敛，超越SGD和ADAM，提升训练稳定性。
2026-09-29 cs.LG
Wasserstein Distributionally Robust Shallow Convex Neural Networks
Department of Electrical Engineering（电气工程系）；Polytechnique Montréal（蒙特利尔理工学院）；GERAD（GERAD研究中心）；Mila（Mila研究中心）
本文提出Wasserstein分布鲁棒浅层凸神经网络，将ReLU浅层网络训练重构为凸优化并纳入分布鲁棒框架，以低随机性、可扩展方式实现可靠非线性预测，并通过实验验证其在能源预测等任务中的性能与稳定性。
2025-08-21 cs.LG math.OC
On Sparsity in Overparametrised Shallow ReLU Networks
UCLA（加州大学洛杉矶分校）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Institute for Advanced Study（普林斯顿高等研究院）
神经网络训练超出其线性化制度的分析仍然是一个悬而未决的问题，即使在一个单一的隐藏层的最简单的设置。无限宽网络的极限提供了一条通过平均场视角向前推进的有吸引力的路线，但一个关键的挑战是将学习保证带回到有限神经元设置中，在那里实际算法可以运行。为了缩小这一差距，并专注于浅神经网络，在这项工作中，我们研究了不同的正则化策略的能力，以捕获只需要有限数量的神经元的解决方案，即使在无限宽的政权。具体来说，我们考虑（i）通过将噪声注入训练目标获得的隐式正则化形式[Blanc et al. 19]，和（ii）变分范数正则化[巴赫~17]，兼容的平均场标度。在对激活函数的温和假设下（例如满足ReLU），我们建立了两种方案都是由只有有限数量的神经元的函数最小化的，而不管过度参数化的量。我们研究的后果，这种属性和描述的设置，其中一种形式的正规化是有利的其他。
2020-06-18 cs.LG stat.ML
Finite Sample Identification of Wide Shallow Neural Networks with Biases
Technical University of Munich（慕尼黑工业大学）；Deeptech Consulting（深科技咨询公司）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））
人工神经网络是依赖于通常编码为权重和偏置的有限数量的参数的函数。从输入输出对的有限样本中识别网络的参数通常被称为\emph{teacher-student model}，并且该模型代表了用于理解训练和泛化的流行框架。即使在最坏的情况下，这个问题是NP完全的，一个快速增长的文献-在添加适当的分布假设-已经建立了有限样本识别的两层网络与一些神经元$m=\mathcal O(D)$，$D$的输入尺寸。对于范围$D<m<D^2$，问题变得更加困难，并且对于由偏差参数化的网络也知之甚少。本文填补了这一空白，提供了建设性的方法和有限样本识别这类更广泛的偏置浅网络的理论保证。我们的方法是基于一个两步的管道：首先，我们恢复的方向的权重，利用二阶信息，接下来，我们确定的迹象，通过适当的代数评估，我们通过经验风险最小化通过梯度下降恢复的偏见。数值结果证明了我们的方法的有效性。
2022-11-08 cs.LG stat.ML
A Newton-CG based augmented Lagrangian method for finding a second-order stationary point of nonconvex equality constrained optimization with complexity guarantees
University of Minnesota（明尼苏达大学）；The Hong Kong Polytechnic University（香港理工大学）
本文考虑了在已知近似可行点的情况下，求非凸等式约束优化问题的二阶稳定点的问题。特别是，我们首先提出了一种新的Newton-CG方法来寻找无约束优化的近似SOSP，并表明它比Newton-CG方法具有更好的复杂性[56]。然后，我们提出了一个基于Newton-CG的增广拉格朗日（AL）方法找到一个近似的SOSP的非凸等式约束优化，其中建议的Newton-CG方法被用作子问题求解器。我们表明，在广义线性独立约束规格（GLICQ）下，我们的AL方法具有$\widetilde{\cal O}(ε^{-7/2})$的总内迭代复杂度和$\widetilde{\cal O}(ε^{-7/2}\min\{n,ε^{-3/4}\})$的操作复杂度，用于以高概率找到非凸等式约束优化的$(ε,\sqrtε)$ -SOSP，这明显优于近似AL方法[60]。此外，我们还证明了当GLICQ不成立时，它的总内迭代复杂度为$\widetilde{\cal O}(ε^{-11/2})$，运算复杂度为$\widetilde{\cal O}(ε^{-11/2}\min\{n,ε^{-5/4}\})$。据我们所知，本文所得到的所有复杂性结果是新的寻找一个近似SOSP的非凸等式约束优化的高概率。初步的数值结果也证明了我们提出的方法优于[56，60]中的方法。
2023-01-09 cs.LG cs.NA math.NA
Neuro-Bayesian-Symbolic Residual Attention Shallow Network: Explainable Deep Learning for Cybersecurity Risk Assessment
提出NBS-RASN混合架构，用80个可解释神经元和12层浅层网络，通过门控机制强制执行五个认识论公理，实现可分解的风险评分，在开源项目上验证置信度0.79-0.97。
2026-07-01 cs.AI cs.LG
An analysis of training and generalization errors in shallow and deep networks
Institute of Mathematical Sciences, Claremont Graduate University（克莱蒙特研究生大学数学科学学院）；Center for Brains, Minds, and Machines, McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑研究所脑、心智与机器中心）
本文的动机是围绕深度网络的一个开放性问题，即尽管有大量的过度参数化，但明显没有过度拟合，这使得训练数据能够完美拟合。在本文中，我们分析了这种现象的情况下，回归问题时，每个单元评估一个周期性的激活函数。我们认为，平方损失的最小期望值是不适当的，以衡量泛化误差的组合函数的近似，以充分利用的组合结构。相反，我们在最大损失的意义上测量泛化误差，有时，作为逐点误差。我们给出了估计究竟有多少参数确保零训练误差以及良好的泛化误差。我们证明了一个正则化问题的解决方案是保证产生一个良好的训练误差以及良好的泛化误差，并估计有多少误差，预计在测试数据。
2019-08-27 cs.LG cs.NA math.NA
Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control
University of Minnesota（明尼苏达大学）；Honeywell Aerospace（霍尼韦尔航空航天公司）
该研究证明随机权重偏置的浅层ReLU网络对光滑函数有高概率的$O(m^{-1/2})$的$L_{\nfty}$逼近误差，并将其应用于模型参考自适应控制以获取指定精度的逼近，填补了相关理论空白。
2024-04-16 cs.LG cs.SY eess.SY
Theoretical Guarantees of Fictitious Discount Algorithms for Episodic Reinforcement Learning and Global Convergence of Policy Gradient Methods
University of California, Berkeley（加州大学伯克利分校）
在设计有限时间范围情景强化学习问题的算法时，一种常见的方法是引入一个虚构的折扣因子，并使用静态策略进行近似。经验上，它已被证明，虚构的折扣因子有助于减少方差，和固定的政策，以节省每次迭代的计算成本。然而，从理论上讲，目前还没有关于这个虚构的折扣配方算法的收敛性分析的工作。本文采取的第一步，对这些算法进行分析。它侧重于两个香草策略梯度（VPG）的变种：第一个是一个广泛使用的变种与折扣优势估计（DAE），第二个额外的虚构折扣因子的分数函数的策略梯度估计。非渐近收敛的保证，这两种算法建立，和额外的折扣因子，以减少在DAE中引入的偏差，从而提高算法的收敛性渐近。我们的分析的一个关键因素是连接马尔可夫决策过程（MDP）的三个设置：有限的时间范围，平均奖励和折扣设置。据我们所知，这是第一个理论保证虚构折扣算法的情节强化学习的有限时间-地平线MDP，这也导致了（第一）全局收敛的策略梯度方法的有限时间-地平线情节强化学习。
2021-09-13 cs.LG math.OC
Shallow Unorganized Neural Networks using Smart Neuron Model for Visual Perception
Lancaster University（兰卡斯特大学）
深度神经网络（DNN）最近的成功揭示了神经计算在许多具有挑战性的应用中的重要能力。虽然DNN是从模拟生物神经元衍生而来的，但DNN是否是模拟人类智能机制的最终和最佳模型仍然存在疑问。特别是，计算DNN模型和生物神经元的观察事实之间存在两个差异。首先，人类神经元是随机互连的，而DNN需要精心设计的架构才能正常工作。其次，人类神经元通常具有较长的尖峰延迟（约100 ms），这意味着在做出决策时不会涉及太多层，而DNN可能有数百层以保证高准确性。在本文中，我们提出了一种新的计算模型，即浅无组织神经网络（SUNNs），在对比人工神经网络/DNNs。所提出的SUNN在三个基本方面不同于标准ANN或DNN：1）SUNN基于自适应神经元细胞模型Smart Neurons，其允许每个人工神经元细胞自适应地响应其输入，而不是像ANN/DNN中的经典神经元模型那样执行固定的加权和运算; 2）SUNN可以用非常浅的架构来处理计算任务; 3）SUNN具有随机互连的自然拓扑结构，就像人类大脑一样，也像图灵的B型无组织机器所提出的那样。我们实现了建议的SUNN架构，并测试了一些无监督的早期视觉感知任务。令人惊讶的是，这种简单的浅架构在我们的实验中取得了非常好的结果。我们新的计算模型的成功使它成为图灵B型无组织机器的第一个可行的例子，可以实现与最先进的算法相当或更好的性能。
2019-10-30 cs.AI cs.CV cs.LG
Can We Find Near-Approximately-Stationary Points of Nonsmooth Nonconvex Functions?
Weizmann Institute of Science（魏茨曼科学研究所）
众所周知，给定一个有界的光滑非凸函数，标准的基于梯度的方法可以在$\mathcal{O}(1/ε^2)$迭代中找到$ε$ -稳定点（其中梯度范数小于$ε$）。然而，许多重要的非凸最优化问题，如那些与现代神经网络的训练，本质上是不光滑的，使这些结果不适用。此外，正如最近在Zhang et al. [2020]中指出的那样，通常不可能为找到非光滑函数的$ε$ -平稳点提供有限时间保证。也许最自然的放松这是找到点附近的这种$ε$ -平稳点。在本文中，我们表明，即使是这个宽松的目标是很难获得一般，只给黑盒访问的函数值和梯度。我们还讨论了替代方法的利弊。
2021-04-15 cs.LG math.OC
The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了温和的过度参数化对$\mathbf{x}\mapsto\sum_{i=1}^k\max\{0,\mathbf{w}_i^{\top}\mathbf{x}\}$形式的简单ReLU神经网络的优化景观的影响，在一个经过充分研究的教师-学生设置中，目标值由相同的架构生成，并且直接优化相对于高斯输入的群体平方损失。我们证明，虽然目标是强凸的全局最小值时，教师和学生网络拥有相同数量的神经元，它甚至不是\emph{locally convex}后，任何数量的过参数化。此外，相关的期望性质（例如，单点强凸性和Polyak-Schojasiewicz条件）甚至在局部也不成立。另一方面，我们建立的目标仍然是一点强凸的\emph{most}方向（适当定义），并显示在此属性下的优化保证。对于非全局最小值，我们证明了即使只添加一个神经元也会将非全局最小值变成鞍点。这在某些技术条件下是成立的，我们通过经验验证了这一点。这些结果提供了一个可能的解释，为什么恢复全局最小值变得明显更容易，当我们过度参数化，即使过度参数化的量是非常温和的。
2021-07-30 cs.LG stat.ML
Global Guarantees for Enforcing Deep Generative Priors by Empirical Risk
Northeastern University（东北大学）
我们通过经验风险最小化研究了生成式深度神经网络提供的执行先验的理论特性。特别是，我们考虑两个模型，其中一个的任务是反转生成神经网络访问其最后一层，另一个的任务是反转生成神经网络只压缩线性观察其最后一层。我们建立，在这两种情况下，在适当的制度的网络层的大小和网络权重的随机性假设，由经验风险最小化给出的非凸目标函数没有任何虚假的固定点。也就是说，我们建立了高概率，在任何一点远离小邻域周围的两个标量倍的所需的解决方案，有一个下降方向。因此，在这些邻域之外没有局部极小值、鞍点或其他稳定点。这些结果构成了建立这些非凸优化问题的有利全局几何的第一个理论保证，并且它们弥合了实施深度生成先验的经验成功与对非线性逆问题的严格理解之间的差距。
2018-12-26 cs.IT cs.LG math.IT
On Feature Learning in Neural Networks with Global Convergence Guarantees
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）；Center for Data Science（数据科学中心）
我们研究了宽神经网络（NN）通过梯度流（GF）的设置，允许功能学习，同时承认非渐近全局收敛保证的优化。首先，对于宽浅神经网络的平均场尺度下，并与一般类的激活函数，我们证明了当输入维数不小于训练集的大小，训练损失收敛到零在GF下的线性速率。在此分析的基础上，我们研究了一个宽多层NN模型，其倒数第二层通过GF进行训练，我们还证明了训练损失的线性速率收敛到零，但与输入维数无关。我们还表明，经验，不像在神经切线核（NTK）制度，我们的多层模型具有特征学习，可以实现更好的泛化性能比NTK对应。
2022-04-22 cs.LG math.OC math.PR
Noise Balance and Stationary Distribution of Stochastic Gradient Descent
Research Laboratory of Electronics, Massachusetts Institute of Technology, 77 Massachusetts Ave, Cambridge, MA 02139, USA；Physics \& Informatics Laboratories, NTT Research, 940 Stewart Drive Sunnyvale, CA 94085, USA；Department of Physics, The University of Tokyo, 7-3-1 Hongo, Tokyo 113-0033, Japan；RIKEN Center for Emergent Matter Science (CEMS), Wako, Saitama 351-0198, Japan；Institute for Physics of Intelligence, The University of Tokyo, 7-3-1 Hongo, Tokyo 113-0033, Japan
该研究揭示SGD的小批量噪声在损失函数含重缩放参数对称性时将解正则化为噪声平衡解，推导了任意深度宽度对角线性网络随机梯度流的平稳分布，发现仅深度网络存在相变等非线性现象，明确了深浅模型的根本差异。
2025-06-12 cs.AI cs.LG stat.ML
Variance-reduced first-order methods for deterministically constrained stochastic nonconvex optimization with strong convergence guarantees
University of Minnesota（明尼苏达大学）；the Hong Kong University of Science and Technology（香港科技大学）
针对确定性约束随机非凸优化中传统ε-随机平稳点约束违反风险高的问题，提出两种基于截断动量的单循环方差缩减一阶方法，在误差界条件下获得了与无约束问题最优水平相当的强收敛复杂度。
2025-08-31 cs.LG cs.NA math.NA
