Fast Stochastic Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析随机算法优化非凸，非光滑有限和问题，其中非凸部分是光滑的，非光滑部分是凸的。令人惊讶的是，与光滑情况不同，我们对这个基本问题的了解非常有限。例如，不知道具有常数小批量的邻近随机梯度法是否收敛到一个稳定点。为了解决这个问题，我们开发了快速的随机算法，可证明收敛到一个固定的点恒定的小批量。此外，使用这些算法的一个变体，我们证明了比批量邻近梯度下降更快的收敛速度。最后，我们证明了全局线性收敛速率的一个有趣的子类的非光滑非凸函数，其中包括一些最近的工作。本文建立在我们最近关于光滑非凸优化的快速随机方法的一系列论文[22，23]的基础上，对非凸和非光滑函数进行了新的分析。
2016-05-23 cs.LG math.OC stat.ML
Label Noise SGD Provably Prefers Flat Global Minimizers
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
在过参数化模型中，随机梯度下降（SGD）中的噪声隐式地正则化优化轨迹并确定SGD收敛到哪个局部最小值。受实证研究的启发，这些研究表明，使用带噪声的标签进行训练可以提高泛化能力，我们研究了带有标签噪声的SGD的隐式正则化效果。我们发现，SGD与标签噪声收敛到一个固定点的正则化损失$L(θ) +λR(θ)$，其中$L(θ)$是训练损失，$λ$是一个有效的正则化参数，取决于步长，标签噪声的强度，和批量大小，和$R(θ)$是一个明确的正则化惩罚尖锐的极小。我们的分析揭示了一个额外的正则化效果的大学习率超出了线性缩放规则，惩罚大的特征值的海森比小的。我们还证明了一般损失函数的分类扩展，动量的SGD和一般噪声协方差的SGD，显着加强了Blanc等人的工作。全局收敛和大学习率和HaoChen等人。一般模型。
2021-12-04 cs.IT cs.LG math.IT
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究非凸有限和问题，并分析随机方差约减梯度（SVRG）方法。SVRG和相关的方法最近在凸优化中脱颖而出，因为它们比随机梯度下降（SGD）更有优势;但它们的理论分析几乎完全假设凸性。相比之下，我们证明了非渐近速度的收敛（稳定点）的SVRG非凸优化，并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题，SVRG达到线性收敛的全局最优值。我们扩展我们的分析，SVRG的小批量变体，显示（理论）线性加速，由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
Online Learning and Information Exponents: On The Importance of Batch size, and Time/Complexity Tradeoffs
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；École Normale Supérieure - PSL（巴黎高等师范学院-PSL大学）；CNRS（法国国家科学研究中心）
本文研究批量大小对两层神经网络单遍 SGD 训练时间的影响，刻画了基于信息指数的最优批量大小，并提出相关损失 SGD 突破大批量限制，用低维 ODE 系统刻画训练动态并通过实验验证。
2024-06-04 cs.LG stat.ML
Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation
Google Research（谷歌研究院）
针对有限粒子SVGD行为研究不足的问题，提出VP-SVGD和GB-SVGD两种高效变体，通过虚拟粒子随机逼近实现快速收敛，给出了多项式维数依赖的预言复杂度，收敛性较现有分析有双指数提升。
2023-10-05 cs.LG math.ST stat.ML
Batch Normalization Provably Avoids Rank Collapse for Randomly Initialised Deep Networks
ETH Zurich（苏黎世联邦理工学院）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
已知随机初始化的神经网络随着深度的增加而变得更难训练，除非使用诸如剩余连接和批量归一化之类的架构增强。在这里，我们通过重新审视深度网络中的随机初始化与随机矩阵乘积中的谱不稳定性之间的联系来研究这一现象。考虑到随机矩阵的丰富文献，发现非规范化网络中的中间表示的秩随着深度的增加而迅速崩溃并不奇怪。在这项工作中，我们强调了一个事实，即批量归一化是避免线性和ReLU网络排名崩溃的有效策略。利用马尔可夫链理论的工具，我们得到了一个有意义的深度线性网络的秩下界。从经验上讲，我们还证明了这种秩鲁棒性可以推广到ReLU网络。最后，我们在真实世界的数据集上进行了一系列广泛的实验，证实了秩稳定性确实是训练现代深度神经架构的关键条件。
2020-06-11 cs.LG stat.ML
From Dual Tracking to Clipping: Provably Faster Distributionally Robust Multi-Objective Optimization
Department of Computer Science（计算机科学系）；Texas A& M University（德克萨斯A&M大学）；University of Maryland（马里兰大学）
本文提出分布鲁棒多目标优化（DR-MOO），通过多梯度下降算法（MGDA）在非凸设定下实现ε-Pareto- stationary点，改进样本复杂度至O(ε^{-4})。
2026-10-07 cs.LG math.OC
Provably Efficient Reinforcement Learning with Linear Function Approximation Under Adaptivity Constraints
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了自适应约束下线性函数逼近的强化学习。我们考虑了两个流行的有限自适应模型：批学习模型和罕见的策略切换模型，并提出了两个有效的在线RL算法的情节线性马尔可夫决策过程，其中的转移概率和奖励函数可以表示为一些已知的特征映射的线性函数。具体而言，对于批量学习模型，我们提出的LSVI-UCB-Batch算法实现了$\tilde O(\sqrt{d^3H^3T} + dHT/B)$遗憾，其中$d$是特征映射的维度，$H$是情节长度，$T$是交互次数，$B$是批量次数。我们的结果表明，仅使用$\sqrt{T/dH}$批次就足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾。对于罕见策略切换模型，我们提出的LSVI-UCB-RareSwitch算法具有$\tilde O(\sqrt{d^3H^3T[1+T/(dH)]^{dH/B}})$遗憾，这意味着$dH\log T$策略切换足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾.我们的算法实现了与LSVI-UCB算法相同的遗憾（Jin等人，2019年），但适应性大大减少。我们还建立了批处理学习模型的下限，这表明在我们的遗憾界中对$B$的依赖是紧密的。
2022-01-03 cs.LG math.OC stat.ML
Provably Efficient High-Dimensional Bandit Learning with Batched Feedbacks
研究高维多臂上下文Bandit的批量反馈问题，提出一种可证明样本高效的算法，通过自适应批次分配方法，仅用$\mathcal{O}(\log T)$个批次即可达到与完全串行设置相当的遗憾界。
2023-11-24 cs.LG stat.ML
Katyusha X: Practical Momentum Method for Stochastic Sum-of-Nonconvex Optimization
Microsoft Research AI（微软研究院AI）
最小化非凸函数之和的问题（即，凸函数（即非凸函数的平均值）在机器学习中变得越来越重要，并且是PCA、SVD、正则化牛顿法、加速非凸优化等的核心机制。我们展示了如何可证明地获得一个加速的随机算法最小化的总和的非凸函数，由$\textit{adding one additional line}$著名的SVRG方法。这条线对应于动量，并显示了如何直接将动量应用于非凸函数之和的有限和随机最小化。作为一个副作用，我们的方法享有线性并行加速使用小批量。
2018-02-12 cs.DS cs.LG math.OC
Provably Good Batch Reinforcement Learning Without Great Exploration
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
批量强化学习（RL）是将RL算法应用于许多高风险任务的重要方法。以在大型域中产生可靠的新策略的方式进行批量RL是具有挑战性的：新决策策略可能会访问批量数据支持之外的状态和动作，并且有限样本的函数近似和优化可以进一步增加对未来性能过于乐观的学习策略的潜力。最近的算法已经显示出了希望，但在其预期结果中仍然过于乐观。理论工作，提供了强有力的保证，输出政策的性能依赖于一个强大的集中性假设，这使得它不适合的情况下，行为政策和一些候选政策的状态-动作分布之间的比例是大的。这是因为在传统的分析中，误差界随着该比率而增大。我们表明，一个小的修改贝尔曼最优性和评估备份采取更保守的更新可以有更强的保证。在某些情况下，他们可以找到近似最好的政策内的状态-动作空间探索的批量数据，而不需要先验假设的集中性。我们强调了我们的保守更新的必要性和以前的算法和分析的局限性说明MDP的例子，并展示了我们的算法和其他国家的最先进的批RL基线在标准基准的实证比较。
2020-07-22 cs.AI cs.LG stat.ML
Efficient Conditioning Why Pseudo Observation Batch Bayesian Optimization Works When It Does not
iisc.ac.in（印度理工学院）
本文研究了批量并行贝叶斯优化中常用于批量选择的常数骗子（CL）、克里格信徒（KB）和幻想模型的有效性，揭示了高效条件化作为关键的替代属性，即在数据增强时能够以闭合形式更新预测。通过证明高斯过程满足这一要求，以及任何单调非递减于后验不确定性的获取函数（如EI、UCB、PI）都具有类似行为，统一了CL、KB和幻想模型为单一条件机制的不同实例，并建立了与局部惩罚（LP）的定量联系和与决定性点过程（DPPs）的定性联系。
2026-05-12 cs.LG
Reference-state System Reliability method for scalable uncertainty quantification of coherent systems
Department of Civil and Environmental Engineering, Imperial College London, United Kingdom（帝国理工学院伦敦分校土木与环境工程系）；Department of Civil, Urban, and Environmental Engineering, Seoul National University, South Korea（首尔国立大学土木、城市与环境工程系）
本文提出参考态系统可靠性方法，通过高效分类蒙特卡洛样本降低计算成本，适用于大规模系统的实时风险评估，并能处理大量参考态的扩展问题。
2026-04-18 cs.LG math.PR
Momentum Provably Improves Error Feedback!
ETH AI Center & ETH Zurich（苏黎世联邦理工学院人工智能中心与苏黎世联邦理工学院）；KAUST（阿卜杜拉国王科技大学）
本文针对分布式训练中误差反馈算法在非凸设置下需依赖大批量才能收敛的问题，提出将Polyak动量应用于EF21的EF21-SGDM算法，并进一步提出双动量版本，在标准假设下改进通信与样本复杂度。
2023-10-30 cs.DC cs.LG math.OC
Subspace Optimization for Large Language Models with Convergence Guarantees
Peking University（北京大学）；Zhongguancun Academy（中关村学院）；Beihang University（北航大学）；AI for Science Institute, Beijing, China（人工智能科学研究院，北京，中国）；National Engineering Laboratory for Big Data Analytics（大数据分析与应用国家工程实验室）
本文揭示GaLore在随机设置下不保证收敛并给出反例，进而提出可证明收敛的新变体GoLore，通过理论分析和实验验证了其在标准批量下的收敛性。
2025-06-04 cs.LG math.OC
How Data Augmentation affects Optimization for Linear Regression
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）
虽然数据增强已迅速成为现代机器学习中优化的关键工具，但增强时间表如何影响优化并与优化超参数（如学习率）相互作用的清晰画面刚刚出现。在经典凸优化和最近的工作隐式偏差的精神，目前的工作分析了增广优化的效果在简单的凸设置的线性回归MSE损失。我们发现联合时间表的学习率和数据增强计划下，增强梯度下降可证明收敛和特征所产生的最小值。我们的研究结果适用于任意增强方案，揭示了复杂的学习率和增强之间的相互作用，即使在凸设置。我们的方法解释增广（S）GD作为一个随机优化方法的代理损失随时间变化的序列。这给出了一个统一的方法来分析学习率，批量大小，以及从加性噪声到随机投影的增强。从这个角度来看，我们的结果，这也给出了收敛速度，可以被视为Monro-Robbins型条件增广（S）GD。
2021-10-27 cs.LG math.OC stat.ML
Riemannian SVRG: Fast Stochastic Optimization on Riemannian Manifolds
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
研究了黎曼流形上测地光滑函数有限和的优化问题。虽然方差缩减技术优化有限和已经目睹了巨大的关注，在最近几年，现有的工作仅限于向量空间问题。介绍了一种新的方差缩减黎曼最优化方法--黎曼SVRG（RSVRG）。我们分析RSVRG测地线凸和非凸（光滑）函数。我们的分析表明，RSVRG继承了通常的SVRG方法的优点，但取决于影响其收敛性的流形曲率的因素。据我们所知，RSVRG是第一个可证明的快速随机黎曼方法。此外，我们的论文提出了第一个非渐近复杂性分析（新的批设置）的非凸黎曼优化。我们的研究结果有几个方面的影响，例如，他们提供了一个黎曼的角度方差减少PCA，这承诺一个简短的，透明的收敛分析。
2017-04-07 cs.LG math.OC
Batch Ensemble for Variance Dependent Regret in Stochastic Bandits
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
针对在线强化学习中探索与利用的平衡难题，提出仅含批次数量这一个参数、不依赖损失分布特性的批量集成方案，可证明在随机多臂老虎机中达到近最优遗憾，并通过合成基准实验验证了有效性。
2024-09-13 cs.LG stat.ML
A fast randomized incremental gradient method for decentralized non-convex optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
我们研究分散的非凸有限和最小化问题描述的网络节点，其中每个节点拥有一个本地批次的数据样本。在这种情况下，我们分析了一种单时间尺度随机增量梯度法，称为GT-SAGA。GT-SAGA在计算上是高效的，因为它在每次迭代中评估每个节点的一个分量梯度，并通过利用节点级方差减少和网络级梯度跟踪来实现可证明的快速和鲁棒性能。对于一般的光滑非凸问题，我们证明了GT-SAGA的几乎必然和均方收敛到一阶稳定点，并进一步描述了具有实际意义的制度，它优于现有的方法，并分别实现了网络拓扑无关的迭代复杂性。当全局函数满足Polyak-Lojaciewisz条件时，我们证明了GT-SAGA具有线性收敛到期望的最优解，并描述了实际感兴趣的制度，其中性能是网络拓扑无关的，并改进了现有的方法。数值实验包括突出的主要方面的GT-SAGA在非凸设置的收敛性。
2021-09-30 cs.LG cs.SY eess.SY
Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization
Virginia Tech（弗吉尼亚理工大学）；Duke University（杜克大学）；KAUST（阿卜杜拉国王科技大学）；Amazon（亚马逊）
InfoNCE及其变体的成功应用推广了对比变分互信息（MI）估计在机器学习中的应用。虽然具有优越的稳定性，但这些估计器严重依赖于昂贵的大批量训练，并且为了减少方差而牺牲了边界的紧密性。为了克服这些局限性，我们重新审视流行的变分MI边界的数学从镜头的非规范化的统计建模和凸优化。我们的调查不仅产生了一个新的统一的理论框架，包括流行的变分MI界限，但也导致了一种新的，简单的，强大的对比MI估计命名为FLO。理论上，我们证明了FLO估计是紧的，并且在随机梯度下降下可证明收敛。从经验上讲，我们的FLO估计器克服了前人的局限性，学习效率更高。FLO的效用是使用一组广泛的基准测试，这也揭示了在实际MI估计的权衡验证。
2022-10-24 cs.AI cs.IT cs.LG
Mitigating Gradient Bias in Multi-objective Learning: A Provably Convergent Stochastic Approach
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对现有随机多目标梯度方法存在梯度偏差的问题，提出MoCo方法，在不增加批量大小的情况下保证非凸收敛，并在多任务监督和强化学习中验证了有效性。
2024-03-19 cs.LG math.OC stat.ML
Provably Convergent Subgraph-wise Sampling for Fast GNN Training
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；Texas A&M University（德克萨斯农工大学）
提出局部消息补偿（LMC），首个可证明收敛的子图采样方法，通过补偿被丢弃消息实现准确梯度，加速GNN训练，实验显示其显著优于现有方法。
2024-08-21 cs.LG
Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds
Visva-Bharati University（维萨瓦巴拉蒂大学）；S. N. Bose National Centre for Basic Sciences（S.N. 玻色基础科学国立中心）
BCPO通过贝叶斯方法构建可信下界，将不确定性转化为保守策略改进，提升离线强化学习的鲁棒性和稳定性。
2026-03-06 stat.ME stat.ML
Simple Alternating Minimization Provably Solves Complete Dictionary Learning
University of Michigan（密歇根大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对无噪声完备字典学习缺乏理论保证和扩展性差的问题，提出基于高效预处理的简单交替最小化算法，可证明线性收敛至真实基准，并支持超大规模和在线数据，实验验证其优越性。
2025-03-05 cs.LG eess.SP math.OC
Optimize Wider, Not Deeper: Consensus Aggregation for Policy Optimization
本文提出CAPO方法，通过增加模型宽度而非深度来提升政策优化效果，在连续控制任务中表现优于PPO及更深层基线模型。
2026-03-13 cs.AI cs.LG
Coupling public and private gradient provably helps optimization
Emory University（埃默里大学）；AWS AI（AWS人工智能）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对仅用少量公共数据或仅用私有数据隐私训练均会降低准确率的问题，提出通过加权线性组合耦合公私梯度的方法，证明其收敛加速效果并给出权重选择指导，经多基准实验验证有效。
2023-10-02 cs.LG
SiPPing Neural Networks: Sensitivity-informed Provable Pruning of Neural Networks
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Robotics and Big Data Laboratory, University of Haifa（海法大学机器人与大数据实验室）
我们引入了一种修剪算法，该算法可以证明稀疏化训练模型的参数，从而近似保留模型的预测准确性。我们的算法使用一小批输入点，构建一个数据通知的重要性采样分布在网络的参数，并自适应地混合基于采样和确定性修剪过程，以丢弃冗余的权重。我们的修剪方法同时计算效率高，可证明是准确的，并广泛适用于各种网络架构和数据分布。我们的实证比较表明，我们的算法可靠地产生高度压缩的网络，相对于原始网络的性能损失最小。我们目前的实验结果表明，我们的算法的潜力，挖掘出必要的网络连接，可以成功地训练隔离，这可能是独立的利益。
2021-03-15 cs.DS cs.LG stat.ML
Optimization and Learning with Information Streams: Time-varying Algorithms and Applications
在利用数据流进行优化和学习的广泛领域中，存在越来越多的跨学科努力，其应用于传统批处理优化技术由于计算和/或通信瓶颈而不能在与数据点的到达间隔时间匹配的时间尺度上产生解决方案的设置。特殊类型的在线算法可以处理这种情况，本文重点介绍这种时变优化算法，重点是机器学习和信号处理，以及数据驱动控制。时变或在线一阶最优化方法的设计方法进行了讨论，重点是算法，可以处理的梯度，可能出现的梯度估计时的错误。洞察性能指标和所附的索赔，连同证据的情况下，可证明收敛的算法在批量优化可能会表现不佳的在线制度。分布式计算的作用进行了讨论。提供了一些具有广泛兴趣的应用程序的说明性数值示例，以传达关键思想。
2020-01-16 cs.LG eess.SP math.OC
Provably faster randomized and quantum algorithms for $k$-means clustering via uniform sampling
JPMorganChase（摩根大通）
本文提出基于均匀采样的随机化小批量与量子 $k$-均值算法，其最坏情况复杂度显著优于先前基于范数采样的方法，核心贡献在于利用均匀采样保留问题对称性以实现可证明加速。
2025-10-13 cs.DS cs.LG quant-ph
EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training
Peking University（北京大学）；Fudan University（复旦大学）；Shanghai Qiji Zhifeng Co., Ltd.（上海启智科技有限公司）；Shanghai AI Lab（上海人工智能实验室）
本文提出EVPO，通过监控批量方差并自适应切换基于批评者或批量均值估计，证明在每一步都能达到更小的方差。在四个任务中，EVPO优于PPO和GRPO。
2026-04-21 cs.AI cs.CL cs.LG
