Improved Binary Forward Exploration: Learning Rate Scheduling Method for Stochastic Optimization
CU Boulder(科罗拉多大学博尔德分校)
最近提出了一种新的基于梯度的自动调度学习率的优化方法,称为二进制前向探索(BFE)。此后还讨论了BFE的自适应版本。本文将在此基础上研究改进算法,以优化新方法的效率和鲁棒性。这种改进的方法为调度学习率的更新提供了一个新的视角,并将与随机梯度下降算法(也称为具有动量或Nesterov动量的SGD算法)和最成功的自适应学习率算法(例如Adam)进行比较。该方法的目标不是击败其他方法,而是提供一个不同的视角来优化梯度下降过程。该方法结合了一阶优化和二阶优化在速度和效率方面的优点。
2022-09-22 cs.LG math.OC
Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient
UC Berkeley(加州大学伯克利分校);Google(谷歌);Princeton University(普林斯顿大学)
凸组合优化是一个新兴的课题,涵盖了随机最优控制,强化学习和多阶段随机规划的广泛应用。现有的算法由于忽略了算法设计中的凸性结构,存在样本复杂度不理想和实际问题。本文提出了一种新的随机组合方差缩减梯度算法,其样本复杂度为$O((m+n)\log(1/ε)+1/ε^3)$,其中$m+n$是总的样本个数.我们的算法是接近最佳的依赖于$m+n$是最佳的对数因子。在真实数据集上的实验结果证明了该算法的有效性和高效性。
2020-08-29 cs.LG math.OC
Stochastic L-BFGS: Improved Convergence Rates and Practical Acceleration Strategies
我们重新审视随机有限记忆BFGS(L-BFGS)算法。通过提出一个新的框架的收敛性分析,我们证明了改进的收敛速度和计算复杂性的随机L-BFGS算法相比,以前的作品。此外,我们提出了几个实用的加速策略,以加快这种算法的经验性能。我们还对大多数策略进行了理论分析。大规模的逻辑和岭回归问题的实验表明,我们提出的策略产生显着的改善相对于竞争国家的最先进的算法。
2017-10-24 cs.IT math.IT math.OC
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界,考虑了实际中使用的大多数激活函数,包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先,我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次,我们提供了一个技术性的结果(也适用于一般逼近器),将上述微分包含的解与(离散的)随机梯度下降序列相关联,从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
Improved Learning Rates for Stochastic Optimization
Renmin University of China(中国人民大学)
本文研究了随机优化中SGD和NAG算法的泛化性能,推导了改进的学习率理论,并通过数值实验验证了结果。
2026-03-18 cs.LG math.OC stat.ML
Stochastic Nonconvex Bilevel Optimization: Improved Rates Without Rare-Visit Assumption
University of Oxford(牛津大学);University of Economics and Business Vienna(维也纳经济与商业大学);University of Groningen(格罗宁根大学)
本文提出一种仅对DBGD乘子进行分母正则化的方法,在无需罕见访问假设下实现随机非凸双层优化的快速收敛,达到(ε, ε)-平稳性,改进了无假设复杂度。
2026-09-09 cs.LG math.OC
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo(滑铁卢大学);Meta;Cornell University(康奈尔大学)
研究了在差分隐私(DP)约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反,介绍了王,肖,Devadas,徐\cite{WangXDX20},我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上,我们推导出新的算法私人均值估计的重尾分布,在纯和集中DP。最后,我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界,显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Improved Stochastic Optimization of LogSumExp
HSE University(莫斯科高等经济学院);Department of Mathematics, KTH Royal Institute of Technology(皇家理工学院数学系)
针对LogSumExp函数在大规模指数项下的优化难题,提出一种保持凸性和光滑性的近似方法,基于Safe KL散度,在分布鲁棒优化和连续最优传输中优于现有基线。
2026-06-19 cs.LG math.OC
Decentralized Stochastic Bilevel Optimization with Improved per-Iteration Complexity
University of California, Davis(加州大学戴维斯分校);Rice University(莱斯大学)
针对去中心化随机双层优化,本文提出仅需一阶随机预言机及Hessian/Jacobian-向量积预言机的DSBO算法,在保持最优样本复杂度的同时避免计算完整矩阵,降低了每次迭代复杂度。
2023-05-31 cs.DC cs.LG math.OC
Improved Rate of First Order Algorithms for Entropic Optimal Transport
本文改进了求解熵正则化最优输运问题的一阶算法。近似最优输运(OT)的结果速率已从$\widetilde{O}({n^{2.5}}/ε)$提高到$\widetilde{O}({n^2}/ε)$,其中$n$是问题大小,$ε$是精度水平。特别地,我们提出了一个加速原始-对偶随机镜像下降算法与方差减少。这种特殊的设计有助于我们提高速度相比,其他加速原始对偶法。我们进一步提出了一个批处理版本的随机算法,通过并行计算提高了计算性能。为了比较,我们证明了随机Sinkhorn算法的计算复杂性为$\widetilde{O}({n^2}/{ε^2})$,这是慢于我们的加速原始-对偶随机镜像算法。使用合成和真实数据进行实验,结果与我们的理论速率相匹配。我们的算法可能会激发更多的研究,以开发加速原始对偶法,解决OT率$\widetilde{O}({n^2}/ε)$。
2023-01-23 math.OC stat.ML
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题,分析了随机复合方差约化梯度(SCVRG)方法. SCVRG及其变体最近因其优于随机成分梯度下降(SCGD)而引起了广泛关注;但理论分析仅假设目标的强凸性,排除了几个重要的例子,如Lasso,逻辑斯谛回归,主成分分析和深度神经网络。相比之下,我们证明了非渐近增量的一阶预言(IFO)复杂性SCVRG或其新的变种非光滑凸组合优化,并表明它们是可证明的速度比SCGD和梯度下降。更具体地说,我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$,提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降(AGD)。实验结果证实,我们的方法优于几个现有的方法,例如,稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Sparse Perturbations for Improved Convergence in Stochastic Zeroth-Order Optimization
Heidelberg University(海德堡大学)
随机零阶(SZO)方法的兴趣最近在黑盒优化场景中重新燃起,例如对深度神经网络的对抗性黑盒攻击。SZO方法只需要在随机输入点处对目标函数求值的能力,然而,它们的弱点是它们的收敛速度依赖于待求值函数的维数。我们提出了一种稀疏SZO优化方法,该方法将该因子降低到学习过程中随机扰动的预期维度。我们给出了一个证明,证明了这种减少稀疏SZO优化的非凸函数,而不作任何假设的目标函数或梯度的稀疏性。此外,我们提出的实验结果,神经网络MNIST和CIFAR的训练损失和测试精度的收敛速度更快,和一个更小的距离的梯度近似的真实梯度稀疏SZO相比,密集SZO。
2020-06-29 cs.LG math.OC stat.ML
An Improved Convergence Analysis of Stochastic Variance-Reduced Policy Gradient
University of California, Los Angeles(加州大学洛杉矶分校)
我们重新审视了Papini等人(2018)提出的用于强化学习的随机方差降低策略梯度(SVRPG)方法。我们提供了一个改进的SVRPG的收敛性分析,并表明它可以找到一个$ε$ -近似平稳点的性能函数内$O(1/ε^{5/3})$轨迹。该示例复杂度比最著名的结果$O(1/ε^2)$提高了$O(1/ε^{1/3})$倍。我们分析的核心是(i)重要性采样权重的方差的更严格的上限,其中我们证明方差可以通过不同策略之间的参数距离来控制;以及(ii)对历元长度和批量大小参数进行细粒度分析,以便我们可以显着减少SVRPG每次迭代所需的轨迹数量。我们还实证证明了我们的理论索赔批量大小的强化学习基准任务的有效性。
2019-05-29 cs.AI cs.LG math.OC
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam(阿姆斯特丹大学);Korteweg-de Vries Institute for Mathematics(科尔特韦格-德弗里斯数学研究所);University of Twente(特文特大学);Pontificia Universidad Católica de Chile(智利天主教大学)
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的,这使得它的根本利益,以获得更好的理论理解之间的世界这两个极端。在这项工作中,我们建立了新的遗憾界在线凸优化的设置,随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性,这些界限用梯度的方差代替了对最大梯度长度的依赖性,这在以前只针对线性损失是已知的。另外,他们削弱了i.i.d.假设,例如,允许敌对中毒轮,这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下,我们的边界匹配随机加速结果的预期速率,并且在完全对抗的情况下,它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明,我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Inria(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院)
该研究利用CLT结构分析随机梯度采样算法的噪声,改进了SGLD和RBM的收敛保证,提出协方差修正新算法,在更弱假设下实现更优复杂度并消除时间跨度指数依赖。
2023-10-08 cs.LG cs.MA math.OC
Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities
University of California, Davis(加州大学戴维斯分校);University of Southern California(南加州大学)
在本文中,我们研究零阶算法的极大极小优化问题是非凸的一个变量和强凹的其他变量。由于极大极小优化问题在现代机器学习任务中的应用,极大极小优化问题最近引起了人们的极大关注。我们首先考虑一个确定性的版本的问题。我们设计和分析了零阶梯度下降上升(\texttt{ZO-GDA})算法,并提供了改进的结果相比,现有的作品,在预言复杂度。我们还提出了零阶梯度下降多步上升(\texttt{ZO-GDMSA})算法,显着提高了\texttt{ZO-GDA}的预言复杂度。然后,我们考虑随机版本的\texttt{ZO-GDA}和\texttt{ZO-GDMSA},处理随机非凸极大极小问题。对于这种情况,我们提供了两个假设下的随机梯度的预言复杂性结果:(i)一致有界方差假设,这是常见的传统随机最优化,和(ii)强增长条件(SGC),这已被现代过参数化机器学习模型所满足。我们建立的SGC假设下,随机算法的复杂性相匹配的确定性算法。数值实验支持我们的理论结果。
2022-04-04 cs.DS cs.LG math.OC
An improved convergence analysis for decentralized online stochastic non-convex optimization
Carnegie Mellon University(卡内基梅隆大学);Tufts University(塔夫茨大学)
本文研究节点网络上分散在线随机非凸优化问题。在分散式随机梯度下降中集成一种称为梯度跟踪的技术,我们证明了所得到的算法GT-DSGD具有一定的理想特性,可以最小化光滑非凸函数的总和。特别是,对于一般光滑的非凸函数,我们建立了非渐近的GT-DSGD的特征,并推导出条件下,它实现网络无关的性能,匹配的集中minibatch SGD。相比之下,现有的结果表明,GT-DSGD总是依赖于网络,因此严格比集中式小批量SGD更差。当全局非凸函数另外满足Polyak-Lojasiewics(PL)条件时,我们证明了GT-DSGD算法在适当的常数步长下直到稳态误差是线性收敛的.此外,在随机逼近步长下,我们首次给出了在几乎每一条样本路径上的最优全局次线性收敛速度,以及期望的渐近最优次线性收敛速度.由于强凸函数是满足PL条件的函数的特殊情况,我们的结果不仅是立即适用,而且还改善了目前已知的最佳收敛速度和它们对问题参数的依赖性。
2020-12-29 cs.LG cs.MA cs.SY
The optimizing mode classification stabilization of sampled stochastic jump systems via an improved hill-climbing algorithm based on Q-learning
针对采样控制器闭环的随机跳变系统,提出基于模态分类的凸优化镇定框架,并利用Q-learning改进爬山算法求解最优衰减系数,降低计算量且经算例验证有效。
2024-07-07 cs.SY eess.SY math.OC