A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization
Department of Computer Science;Engineering, Texas A\&M University, College Station, TX, USA
本文提出单循环原始-对偶块坐标随机算法ALEXR,用于凸有限和耦合组合优化,在光滑与非光滑情形下取得改进的收敛速率,并通过复杂度下界证明其近最优性,在GDRO和pAUC任务上验证了效果。
2025-07-20 cs.LG math.OC
FedNest: Federated Bilevel, Minimax, and Compositional Optimization
University of Michigan(密歇根大学);University of California, Riverside(加州大学河滨分校);University of British Columbia(不列颠哥伦比亚大学)
标准的联邦优化方法成功地应用于单级结构的随机问题。然而,许多当代机器学习问题-包括对抗鲁棒性,超参数调整和演员-评论家-都属于嵌套双层编程,其中包含极大极小和组合优化。在这项工作中,我们提出了\fedblo:一种用于解决一般嵌套问题的联邦交替随机梯度方法。我们建立了可证明的收敛速度\fedblo在异构数据的存在下,并介绍了双层,极大极小和组合优化的变化。\fedblo引入了多项创新,包括联合超梯度计算和方差减少,以解决内部层次的异构性。我们补充我们的理论与实验超参数\&超表示学习和极大极小优化,证明我们的方法在实践中的好处。代码可在https://github.com/ucr-optml/FedNest上获得。
2022-09-13 cs.LG math.OC
Distributed Stochastic Compositional Optimization Problems over Directed Networks
研究了有向通信网络上的分布式随机组合最优化问题,其中智能体私有一个随机组合目标函数,并通过协作来最小化所有目标函数之和.本文提出了一种分布式随机组合梯度下降算法,该算法采用梯度跟踪和随机校正技术,以适应网络的有向结构,提高内函数估计的精度。当目标函数光滑时,该方法的收敛速度和样本复杂度分别为$\mathcal{O}\left(k^{-1/2}\right)$和$\mathcal{O}\left(\frac{1}{ε^2}\right)$,并能找到($ε$)-平稳点.当目标函数为强凸时,收敛速度提高到$\mathcal{O}\left(k^{-1}\right)$ .此外,还给出了该方法的Polyak-Ruppert平均迭代的渐近正态性.我们证明了所提出的方法在模型不可知的元学习问题和逻辑斯谛回归问题上的经验性能。
2022-03-21 math.OC
Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
Machine Learning and Optimization Laboratory (MLO)(机器学习与优化实验室)
本文提出混合动量随机Frank-Wolfe算法,无需假设外层函数F的光滑性,结合动量Jacobian追踪器与泰勒修正函数追踪器,实现非凸目标函数的O(K^{-1/4})收敛率。
2026-10-12 cs.LG math.OC
Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization
Central South University(中南大学);Beijing Institute of Technology(北京理工大学)
针对组合极小极大优化现有方法复杂度次优、依赖大批次的问题,提出NSTORM及自适应版本ADA-NSTORM,达最优样本复杂度且无需大批次,实验验证了其效率。
2023-12-12 cs.LG math.OC
Numerical Methods for Distributed Stochastic Compositional Optimization Problems with Aggregative Structure
研究了网络上的分布式随机组合最优化问题,其中所有智能体的内层函数是每个智能体的私有期望函数之和。针对内层函数的聚集结构,采用混合方差约简方法获取各Agent的私有期望函数信息,并采用动态一致性机制跟踪各Agent的内层函数信息.然后结合标准的分布式随机梯度下降法,提出了一种分布式聚集随机合成梯度下降法。当目标函数光滑时,该方法具有最优的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$ .我们进一步将该方法与通信压缩相结合,提出了通信压缩变量分布聚集随机合成梯度下降法。所提出的方法的压缩变体保持最佳的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$。分散强化学习的仿真实验验证了所提方法的有效性。
2022-11-04 math.OC
Optimal Algorithms for Stochastic Multi-Level Compositional Optimization
Nanjing University(南京大学);The University of Iowa(爱荷华大学)
本文研究了随机多层组合优化问题,其中目标函数是多个光滑但可能非凸的函数的组合。现有的解决这个问题的方法要么遭受次优的样本复杂性或需要一个巨大的批量大小。为了解决这些限制,我们提出了一种随机多水平方差减少方法(SMVR),它实现了最佳的样本复杂度的$\mathcal{O}\left(1 / ε^{3}\right)$找到一个$ε$ -平稳点的非凸目标。此外,当目标函数满足凸性或Polyak-Projojasiewicz(PL)条件时,我们提出了SMVR的一个阶段式变体,并将样本复杂度提高到对于凸函数的$\mathcal{O}\left(1 / ε^{2}\right)$或对于满足$μ$ -PL条件的非凸函数的$\mathcal{O}\left(1 /\left(με\right)\right)$.后者的结果意味着相同的复杂性$μ$ -强凸函数。为了利用自适应学习率,我们还开发了自适应SMVR,它实现了相同的复杂性,但在实践中收敛得更快。我们所有的复杂度不仅在$ε$方面,而且在$μ$(对于PL或强凸函数)方面都匹配下界,而无需在每次迭代中使用大批量。
2022-10-19 cs.LG math.OC
Finite-Sum Coupled Compositional Stochastic Optimization: Theory and Applications
The University of Iowa(爱荷华大学);Texas A&M University(德州农工大学)
本文提出有限和耦合组合优化(FCCO)问题,针对非凸与凸目标给出带小批量移动平均估计的随机算法收敛分析,实现并行加速的改进预言复杂度,实验验证了理论结论。
2023-06-12 cs.LG math.OC
Projection-Free Multi-level Algorithms for Stochastic Constrained Compositional Optimization
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);Zhejiang University(浙江大学)
本文提出针对随机约束多级组合优化的无投影算法,利用线性最小化预言机,涵盖非凸、凸及强凸情形,并给出复杂度保证与实验验证。
2026-09-15 cs.LG math.OC
Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization
Nanjing University(南京大学);the University of Iowa(爱荷华大学);Texas A&M University(得克萨斯农工大学)
方差减少技术,如SPIDER/SARAH/STORM已被广泛研究,以提高收敛速度的随机非凸优化,通常保持和更新一个序列的估计一个单一的功能跨越迭代。如果我们需要在迭代中跟踪多个函数映射,但只能在每次迭代中访问$\mathcal{O}(1)$函数映射的随机样本,该怎么办?有一个重要的应用,在解决一个新兴的家庭的耦合组合优化问题的形式$\sum_{i=1}^m f_i(g_i(\mathbf{w}))$,其中$g_i$是通过一个随机预言机访问。关键问题是跟踪和估计跨迭代的$\mathbf g(\mathbf{w})=(g_1(\mathbf{w}), \ldots, g_m(\mathbf{w}))$序列,其中$\mathbf g(\mathbf{w})$具有$m$块,并且仅允许探测$\mathcal{O}(1)$块以获得它们的随机值和雅可比矩阵。为了提高解决这些问题的复杂性,我们提出了一种新的随机方法称为多块单探针方差缩减(MSVR)估计跟踪序列的$\mathbf g(\mathbf{w})$。它受到STORM的启发,但引入了定制的纠错项,以减轻不仅在所选块的随机样本中的噪声,而且在未采样的那些块中的噪声。在MSVR估计器的帮助下,我们开发了几种算法,用于解决上述组合问题,并在非凸/凸/强凸/Polyak-Jasojasiewicz(PL)目标的设置范围内提高了复杂性。我们的结果在几…
2022-12-30 cs.LG math.OC
Nonparametric Compositional Stochastic Optimization for Risk-Sensitive Kernel Learning
在这项工作中,我们解决了最优化问题,其中目标函数是期望值的非线性函数,即,合成随机强凸规划我们考虑的情况下,决策变量不是向量值,而是属于再生核希尔伯特空间(RKHS),由风险意识的配方监督学习和马尔可夫决策过程定义在连续空间。我们开发了第一个内存高效的随机算法,我们称之为组合在线学习与内核(COLK)。COLK,在其核心的两个时间尺度的随机逼近方法,解决了这样的事实,即(i)成分的期望值的问题不能解决经典的随机梯度由于存在的内部期望;和(ii)RKHS诱导的参数化的复杂性,这是成比例的迭代指数,这是减轻通过greenhouse构造的子空间投影。我们建立了COLK的几乎必然收敛与衰减步长,线性收敛的意思是一个恒定的步长的邻域,以及事实上,它的复杂性是在最坏的有限。使用监督学习的鲁棒公式的实验表明,COLK可靠地收敛,在训练运行中获得一致的性能,从而克服了过拟合。
2020-11-26 math.OC
Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);Zhejiang University(浙江大学)
本文提出动量估计器与小批量技术,实现随机多级组合优化的最优样本复杂度,无需强平均光滑假设,并通过实验验证有效性。
2026-10-02 cs.LG math.OC
FedDRO: Federated Compositional Optimization for Distributionally Robust Learning
Wayne State University(韦恩州立大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出FedDRO框架,通过利用DRO结构设计通信策略解决联邦组合优化中的数据异构与偏差放大问题,实现不依赖大批量梯度的独立精度算法,并达到O(ε^-2)样本与O(ε^-3/2)通信复杂度及客户端线性加速。
2023-11-21 cs.LG math.OC
Projection-Free Variance Reduction Methods for Stochastic Constrained Multi-Level Compositional Optimization
Nanjing University(南京大学);Zhejiang University(浙江大学)
本文针对随机约束多层级复合优化提出无投影方差缩减算法,在梯度映射和Frank-Wolfe间隙准则下均达到或匹配最优复杂度,并扩展至凸与强凸情形,实验验证了其有效性。
2024-06-06 cs.LG math.OC
Stochastic Gauss-Newton Algorithms for Nonconvex Compositional Optimization
针对一类非凸随机组合最优化问题,提出了两种新的随机高斯-牛顿算法。我们认为在标准假设下的期望和有限和设置,并使用经典的随机和SARAH估计的逼近函数值和雅可比。在期望的情况下,我们建立了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度,以达到期望中的一个稳定点,并估计了函数值及其雅可比矩阵的随机预言调用的总数,其中$\varepsilon$是期望的精度。在有限和的情况下,我们还估计了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度和总的oracle调用的高概率。据我们所知,这是第一次为随机高斯-牛顿方法建立这样的全局随机预言复杂性。最后,我们通过两个数值例子来说明我们的理论结果在合成和真实的数据集。
2020-07-02 math.OC stat.ML
Learning Unnormalized Statistical Models via Compositional Optimization
Nanjing University(南京大学);University at Buffalo(布法罗大学);Texas A&M University(得克萨斯农工大学)
针对非归一化统计模型配分函数处理难、NCE收敛慢的问题,提出基于组合优化的直接优化方法,通过引入噪声分布将对数配分函数表为组合函数,用随机组合优化算法优化,在收敛性及多个任务上优于NCE。
2023-06-13 cs.LG math.OC
Multistage Conditional Compositional Optimization
EPFL(瑞士联邦理工学院);Rutgers University(罗格斯大学)
本文提出多阶段条件组合优化(MCCO)新范式,结合多阶段随机规划与条件随机优化,通过减少嵌套期望和非线性成本函数来解决不确定性决策问题,适用于最优停止、线性二次调节器、分布鲁棒上下文老虎机等场景。
2026-04-15 cs.LG math.OC stat.ML
Approximations of Stochastic Hybrid Systems: A Compositional Approach
Technische Universität München(慕尼黑工业大学);ETH Zürich(苏黎世联邦理工学院);ETH Lausanne(洛桑联邦理工学院)
本文提出了一种组合框架,用于构建随机混合系统互联的近似。通过量化近似与原系统间的误差,为控制器设计提供替代方案。
2016-04-24 cs.SY eess.SY math.OC
Optimal Design of Queuing Systems via Compositional Stochastic Programming
设计良好的排队系统构成了现代通信、分布式计算和内容交付体系结构的支柱。平衡基础设施成本和用户体验指数的设计需要来自电信业务理论和运营研究的工具。设计这种系统的标准方法涉及制定优化问题,这些优化问题力求在遵守服务质量和其他物理约束的同时最大化相关的效用函数。在许多情况下,制定这样的问题需要对到达和离开过程进行简单的假设,以保持问题的简单性。本文提出了一个随机优化框架,用于设计外生过程可能具有任意和未知分布的排队系统。我们发现,许多这样的排队设计问题一般可以制定为随机优化问题的目标和约束是非线性函数的期望。组成结构避免了使用经典的随机近似方法,其中随机梯度往往需要是无偏的。为此,提出了一种约束随机组合梯度下降算法,该算法利用跟踪步骤的预期价值函数。该算法的非渐近性能的特点是通过其迭代复杂度。数值试验验证了理论结果,并证明了所提出的算法的有效性。
2019-07-20 cs.IT math.IT math.OC
Stochastic Nested Compositional Bi-level Optimization for Robust Feature Learning
University of California, Davis(加州大学戴维斯分校);University of Waterloo(滑铁卢大学)
本文提出一种不依赖矩阵求逆和小批量的随机近似算法,用于求解嵌套组合双层优化问题,可达到约 $\ ilde{O}_T(1/ε^{2})$ 的预言机复杂度,并在协变量偏移下的深度神经网络鲁棒特征学习中验证了其有效性。
2023-07-11 cs.DS cs.LG math.OC
A Note on Complexity for Two Classes of Structured Non-Smooth Non-Convex Compositional Optimization
本文针对两类具有特殊结构的非光滑非凸复合优化问题,分别提出光滑化复合梯度方法和prox-linear方法,并给出其达到稳定点或近似临界点的迭代复杂度上界。
2024-11-21 math.OC
Compositional federated learning: Applications in distributionally robust averaging and meta learning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Pittsburgh(匹兹堡大学)
本文提出ComFedL算法解决组合联邦学习框架,通过将分布鲁棒FL和MAML等极小极大优化问题转化为组合优化问题,并证明其$O(1/\sqrt{T})$的收敛速率。
2023-07-26 cs.DC cs.LG math.OC
Riemannian Stochastic Gradient Method for Nested Composition Optimization
The Ohio State University(俄亥俄州立大学)
针对黎曼流形上的嵌套组合优化问题,提出黎曼随机组合梯度下降(R-SCGD)方法,解决内层随机近似导致的外层梯度偏差,在两层及多层结构中均达到$O(ε^{-2})$的预言机复杂度,并在强化学习策略评估中验证了其有效性。
2024-03-19 cs.LG math.OC
Solving Finite-sum Coupled Compositional Optimization via Multi-block-Single-probe Estimator
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
针对有限和耦合组合优化问题,提出多块单探针方差缩减估计器,在部分块采样下高效追踪多函数,改进非凸等目标的样本复杂度,并在多任务深度AUC最大化中验证优越性。
2026-09-15 cs.LG math.OC
Zeroth-order Stochastic Compositional Algorithms for Risk-Aware Learning
Yale University(耶鲁大学);Princeton University(普林斯顿大学)
我们提出了$\textit{Free-MESSAGE}^{p}$,第一个零阶算法(弱)凸的均值-半指数为基础的风险感知学习,这也是第一个三级零阶组合随机最优化算法。使用非平凡的扩展Nesterov的经典结果高斯平滑,我们开发的$\textit{Free-MESSAGE}^{p}$算法从第一原则,并表明,它基本上解决了一个平滑的替代原来的问题,前者是一个一致逼近,后者,在一个有用的,方便的意义。然后,我们提出了一个完整的分析的$\textit{Free-MESSAGE}^{p}$算法,它建立了收敛在一个用户可调邻域的最优解的凸成本,以及明确的收敛速度凸,弱凸,强凸成本,并在一个统一的方式。顺序,并为固定的问题参数,我们的研究结果表明,没有牺牲收敛速度相比,现有的一阶方法,同时达到一定的平衡之间的条件的问题,它的维数,以及所获得的结果的准确性,自然扩展以前的结果在零阶风险中性学习。
2021-12-13 cs.LG cs.SY eess.SP
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题,分析了随机复合方差约化梯度(SCVRG)方法. SCVRG及其变体最近因其优于随机成分梯度下降(SCGD)而引起了广泛关注;但理论分析仅假设目标的强凸性,排除了几个重要的例子,如Lasso,逻辑斯谛回归,主成分分析和深度神经网络。相比之下,我们证明了非渐近增量的一阶预言(IFO)复杂性SCVRG或其新的变种非光滑凸组合优化,并表明它们是可证明的速度比SCGD和梯度下降。更具体地说,我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$,提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降(AGD)。实验结果证实,我们的方法优于几个现有的方法,例如,稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Katyusha Acceleration for Convex Finite-Sum Compositional Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院)
在许多应用中出现结构化问题。为了解决这些问题,重要的是利用结构信息。本文主要研究具有有限和组合结构的凸问题。随机和问题是一个随机最优化问题的样本平均近似,也出现在机器学习与大量的训练数据。有限和问题的一种常用数值方法是随机梯度法(SGM)。然而,额外的组合结构禁止容易地获得无偏的随机逼近的梯度,所以直接应用SGM有限和组合优化问题(COP)往往是低效的。我们设计了新的算法来解决强凸和凸两级有限和COP。我们的设计结合了卡秋莎加速技术,并采用了小批量抽样从外层和内层有限和。我们首先分析了强凸有限和COP的算法。类似于一些现有的作品,我们得到线性收敛速率的预期目标误差,并从收敛速度的结果,然后,我们建立复杂性的结果,算法产生一个$\varepsilon$ -解决方案。我们的复杂性的结果有相同的依赖于组件功能的数量现有的作品。然而,由于使用喀秋莎加速,我们的结果有更好的依赖于条件数$κ$和改善$κ^{2.5}$从最著名的$κ^3$。最后,我们分析了凸有限和COPs的算法,它使用强凸有限和COPs的算法作为子程序。再次,我们获得了更好的复杂性结果比现有的作品在$\varepsilon$的依赖,改善$\varepsilon^{-2.5}$从最有名的$\varepsilon^{-3}$。
2021-03-24 cs.LG cs.NA math.NA
Non-Smooth Weakly-Convex Finite-sum Coupled Compositional Optimization
Texas A&M University(得克萨斯农工大学);Stanford University(斯坦福大学)
本文研究非光滑弱凸有限和耦合复合优化问题,提出单循环算法并证明其收敛复杂度,扩展至三层嵌套结构,并在深度学习双向部分AUC最大化任务中验证了有效性。
2024-09-24 cs.AI cs.LG math.OC
A New Primal-Dual Algorithm for a Class of Nonlinear Compositional Convex Optimization Problems
针对一类非光滑非线性组合凸极小化问题,提出了一种新的原始对偶法,该算法涵盖了许多已有的和全新的模型作为特例.我们的方法依赖于一个新的非凸势函数,Nesterov的加速计划,和自适应参数更新策略的组合。我们的算法是单循环的,具有较低的每次迭代的复杂度。在一般的凸性和温和的假设下,我们的算法通过三个不同的标准实现了$\mathcal{O}(1/k)$收敛速度:原始目标残差,对偶目标残差,和原始-对偶间隙,其中$k$是迭代计数器。我们的速率都是遍历的(即,在平均序列上)和非遍历(即,在最后一个序列上)。如果只有一个目标项是强凸的(或者等价地,它的共轭是$L$ -光滑的),这些收敛速度可以被加速到$\mathcal{O}(1/k^2)$。据我们所知,这是第一个算法实现最佳利率的原始最后一个序列的非线性组合凸最小化。作为一个副产品,我们指定我们的算法来解决一般的凸锥约束规划遍历和非遍历率保证。我们测试我们的算法,并比较它们与最近的两种方法的二进制分类和凹凸博弈模型。
2021-04-19 math.OC
Tighter Analysis of Alternating Stochastic Gradient Method for Stochastic Nested Problems
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
随机嵌套优化,包括随机组合优化、最小最大优化和双层优化,在许多机器学习应用中越来越受欢迎。虽然这三个问题共享的嵌套结构,现有的作品往往把它们分开,从而开发特定问题的算法和分析。在各种令人兴奋的发展中,简单的SGD型更新(可能是多个变量)在解决这类嵌套问题中仍然很普遍,但与非嵌套问题相比,它们的收敛速度较慢。本文将求解随机嵌套问题的几种SGD型修正方法统一为一种SGD方法,我们称之为交替随机梯度法(ALSET)。通过利用隐藏的光滑性问题,本文提出了一个更严格的分析ALSET随机嵌套问题。在新的分析下,要实现嵌套问题的$ε$ -平稳点,需要${\cal O}(ε^{-2})$样本。在一定的正则条件下,将我们的结果应用于随机组合,最小最大和强化学习问题,可以提高或匹配相应情况下最知名的样本复杂度。我们的研究结果解释了为什么简单的SGD型算法在随机嵌套问题中都工作得很好,在实践中,而不需要进一步的修改。
2021-06-25 cs.LG math.OC stat.ML
Formal Estimation of Collision Risks for Autonomous Vehicles: A Compositional Data-Driven Approach
在这项工作中,我们提出了一个组成的数据驱动的方法,为自动驾驶汽车(AV)的碰撞风险的正式估计,同时在一个随机的多智能体框架。所提出的方法是基于每个随机代理通过一组从其轨迹收集的数据的子屏障证书的建设,同时提供一个先验的保证信心的数据驱动的估计。在我们提出的设置中,我们首先将每个代理的原始碰撞风险问题转换为鲁棒优化程序(ROP)。求解所获得的ROP是不容易的,因为在其约束之一中出现了未知模型。为了解决这个困难,我们收集有限数量的数据从每个代理的轨迹,并提供了一个场景优化程序(SOP)对应于原始ROP。然后,我们建立了一个概率之间的桥梁SOP的最佳值和ROP,相应地,我们正式构建的子屏障证书的基础上的数据和所需的置信水平的数量为每个未知的代理。然后,我们提出了一种组合技术的基础上小增益推理,以量化的碰撞风险的多智能体自动驾驶汽车与一些理想的信心的基础上,从数据构建的各个代理的子屏障证书。对于建议的组合性条件不满足的情况下,我们提供了一个宽松的版本的组合结果,不需要任何组合性条件,但在提供一个潜在的保守的碰撞风险的成本。最后,我们还提出了我们的方法,非随机多智能体AV。我们证明了我们提出的结果的有效性,将它们应用到一个车辆编队组成的100辆车,1个领导者和99个追随者。我们正式估计碰撞的风险,通过收集数据,从每个代理的轨迹。
2022-07-20 cs.SY eess.SY math.OC
A Compositional Framework for First-Order Optimization
本文提出基于操作子代数的一阶优化组合框架,可分层组合超图优化问题并自动生成分布式算法,推导了分解可解性充分条件,实现了Julia包并验证分层对偶分解在分层流网络上性能更优。
2024-03-08 math.CT math.OC
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
在这项工作中,乘性随机适用于学习率的随机最优化算法,从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置,以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下,自适应均匀分布的乘法随机性,不仅包括随机梯度下降,但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本,它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
Multi-Level Stochastic Gradient Methods for Nested Composition Optimization
随机梯度法可扩展用于解决涉及损失函数的经验期望的大规模最优化问题。现有的结果主要适用于目标为一级或二级期望的最优化问题。本文研究了随机路径上的多层组合优化问题,该问题涉及多层组合函数和嵌套期望的组合,并在风险规避优化和序列规划中得到了应用。本文从多时间尺度随机逼近方法出发,提出了一类多层随机梯度法。首先,我们提出了一个基本的$T$级随机合成梯度算法,建立了它的几乎必然收敛性,并得到了一个$n$迭代误差界$O (n^{-1/2^T})$。然后,我们开发了加速的多层随机梯度法,通过使用外插插值计划,以利用各个分量函数的光滑性。当所有的分量函数是光滑的,我们表明,收敛速度提高到$O(n^{-4/(7+T)})$一般目标和$O (n^{-4/(3+T)})$强凸目标。对于非凸问题,我们也给出了几乎必然收敛和收敛速度的结果。数值实验验证了所提出的方法和理论结果。
2018-01-12 math.OC
Finite-sum Composition Optimization via Variance Reduced Gradient Descent
Wang等人最近提出的随机组合优化。[2014]使用组合期望形式最小化目标:$\min_x~(\mathbb{E}_iF_i \circ \mathbb{E}_j G_j)(x).$它总结了机器学习,统计和金融中的许多重要应用。在本文中,我们考虑有限和的情况下组合优化:\[\min_x f (x) := \frac{1}{n} \sum_{i = 1}^n F_i \left(\frac{1}{m} \sum_{j = 1}^m G_j (x) \right). \]我们提出了两个算法来解决这个问题,结合随机组合梯度下降(SCGD)和随机方差降低梯度(SVRG)技术。证明了强凸优化问题的一个常数线性收敛速率,大大改善了已知算法的次线性收敛速度$O(K^{-0.8})$。
2017-05-20 math.OC
On the Convergence of Overparameterized Problems: Inherent Properties of the Compositional Structure of Neural Networks
Northeastern University(东北大学)
本文针对过参数化神经网络优化问题,分析线性激活场景下梯度流的全局收敛性与优化景观普适结构,证明初始化可任意加速收敛,并探讨结论向S型激活网络的推广。
2025-11-12 cs.AI cs.LG cs.SY
Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence
The University of Iowa(爱荷华大学);Texas A&M University(得克萨斯农工大学)
本文针对高度不平衡数据集的AUPRC优化问题,提出基于平均精确率最大化的随机算法SOAP,首次实现AUPRC的可证明收敛优化,并在图像和图数据集上验证了其优越性。
2023-04-12 cs.AI cs.CV cs.LG
Large-scale Stochastic Optimization of NDCG Surrogates for Deep Learning with Provable Convergence
Nanjing University(南京大学);the University of Iowa(爱荷华大学)
NDCG,即归一化贴现累积增益,是信息检索和机器学习中广泛使用的排名度量。然而,仍然缺乏有效的和可证明的随机方法来最大化NDCG,特别是对于深层模型。在本文中,我们提出了一个原则性的方法来优化NDCG和它的顶级$K$变体。首先,我们制定了一个新的组合优化问题优化NDCG代理,和一个新的双层组合优化问题优化顶部的$K$ NDCG代理。然后,我们开发了有效的随机算法与可证明的收敛保证的非凸目标。与现有的NDCG优化方法不同,我们的算法的每次迭代的复杂度与小批量的大小,而不是总项目的数量。为了提高深度学习的有效性,我们进一步提出了使用初始预热和停止梯度算子的实用策略。在多个数据集上的实验结果表明,我们的方法在NDCG方面优于先前的排名方法。据我们所知,这是第一次提出随机算法来优化NDCG与可证明的收敛保证。我们提出的方法在LibAUC库中实现,网址为https://libauc.org/。
2023-02-02 cs.AI cs.IR cs.LG
Accelerating Stochastic Composition Optimization
考虑随机复合最优化问题,其中目标是两个期望值函数的复合。我们提出了一种新的随机一阶方法,即加速随机成分邻近梯度(ASC-PG)方法,它更新的基础上查询的采样预言使用两个不同的时间尺度。ASC-PG是第一个可以处理非光滑正则化惩罚的随机复合问题的近似梯度法。我们表明,ASC-PG具有更快的收敛速度比最知名的算法,它实现了最佳的采样误差复杂性在几个重要的特殊情况下。我们进一步展示了ASC-PG在强化学习中的应用,并进行了数值实验。
2016-07-25 math.OC stat.ML