About accelerated randomized methods
我们展示了如何获得非加速随机坐标下降法（Yu. Nesterov，2010）和和型泛函随机化的非加速方法（Le Roux-Schmidt-Bach，2012），来自随机最优化问题的最优方法（SIGMA，Devolder-Glineur-Nesterov-Dvurechensky-Gasnikov，2014）。主要的技巧是一种特殊的重新启动技术。我们认为这个技巧在其他情况下是有用的。我们只考虑强凸的情况。我们表明，这种方法的加速变种似乎是在这种情况下，是不平凡的。也就是说，很难（也许不可能）使用相同的技巧获得加速变体。我们还提出了新的加速坐标下降法的方法。这种方法基于耦合技术（Allen-Zhu-Orrechia，2015），并且允许我们：将加速坐标下降法推广到条件最优化问题，由于原始-对偶性质而获得对偶解，扩展通用方法（Yu. Nesterov，2013）到加速坐标下降法等。
2018-05-26 math.OC
A Unifying Framework of Accelerated First-Order Approach to Strongly Monotone Variational Inequalities
在本文中，我们提出了一个统一的框架，包括几个动量相关的搜索方向，解决强单调变分不等式。该框架中的搜索方向的特定组合是为了保证$\mathcal{O}\left(κ\ln(1/ε)\right)$的最优迭代复杂度界以达到$ε$ -解，其中$κ$是条件数。这个框架为算法设计者提供了灵活性，可以在不同的参数组合中训练最适合当前问题类结构的参数。所提出的框架包括以下迭代点和方向作为其组成部分：额外梯度，乐观梯度下降上升（OGDA）方向（又名“乐观”），“重球”方向和Nesterov的外推点。因此，上述方法都成为一般加分方案下的特例。我们还专门这种方法强凸最小化，并表明，一个类似的额外的点的方法实现了最佳的迭代复杂性界的$\mathcal{O}(\sqrtκ\ln(1/ε))$这一类问题。
2021-03-29 math.OC
Provably Accelerated Randomized Gossip Algorithms
The University of Edinburgh, UK（爱丁堡大学）；Facebook AI Research, Montreal（脸书人工智能研究）；KAUST, KSA（王国立科技大学）
本文提出了一种可证明加速的随机传话算法，用于解决平均一致性问题。该算法受到最近开发的加速随机Kaczmarz方法的启发，该方法是解决线性系统问题的流行方法。在每次传话迭代中，网络中的所有节点都会更新它们的值，但只有成对的节点交换私有信息。还展示了在流行无线传感器网络上的数值实验，展示了我们协议的优势。
2018-10-31 cs.DC cs.LG cs.MA
Hamiltonian Descent Algorithms for Optimization: Accelerated Rates via Randomized Integration Time
本文提出随机化积分时间的哈密顿下降算法RHGD，证明其在光滑强凸和弱凸优化中达到与Nesterov加速梯度下降相同的加速收敛速率，并在实验中展现竞争力。
2025-09-17 cs.LG math.OC stat.ML
Randomized Subspace Nesterov Accelerated Gradient
Department of Mathematical Informatics, The University of Tokyo（东京大学数学信息学系）；Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进情报项目）
本文提出随机子空间Nesterov加速梯度方法，针对矩阵光滑性和通用草图矩假设，实现平滑凸优化和强凸优化的加速oracle复杂度保证，统一比较草图家族并识别随机子空间加速在oracle复杂度上的优势。
2026-05-01 cs.LG math.OC stat.ML
Accelerated Randomized Mirror Descent Algorithms For Composite Non-strongly Convex Optimization
本文考虑最小化一个由大量光滑凸分支组成的平均函数与一个一般的、可能不可微的凸函数之和的问题。虽然已经提出了许多方法来解决这个问题的假设和是强凸的，很少有方法支持的非强凸的情况。增加一个小的二次正则化是解决非强凸问题的常用方法，但它可能会导致解的稀疏性损失或削弱算法的性能。为了避免这一设计，我们提出了一种加速的随机镜像下降法来解决这个问题，没有强凸的假设。我们的方法扩展了Paul Tseng的确定性加速近端梯度法，即使在近端点计算不精确的情况下也可以应用。我们还提出了一个解决方案时，该问题的分量函数是非光滑的。
2018-12-31 math.OC stat.ML
Revisiting Randomized Gossip Algorithms: General Framework, Convergence Rates and Novel Block and Accelerated Protocols
University of Edinburgh（爱丁堡大学）；KAUST（卡塔尔科技大学）；MIPT（莫斯科国立信息安全研究学院）
本文提出了一种新的随机广播算法分析和设计框架，用于解决平均共识问题。通过将经典随机迭代方法应用于特殊系统来解释网络结构，展示了其去中心化特性。该框架恢复了多种已知的广播算法作为特殊情况，并允许开发具有证明更快变体的方法。我们还提出了新的块和第一个可证明加速的随机广播协议，以及双随机广播算法。
2019-06-03 cs.DC cs.LG cs.MA
A greedy randomized average block projection method for linear feasibility problems
随机投影（RP）方法是求解线性可行性问题的一种简单的迭代方法，由于其速度快和内存要求低，近年来得到了广泛的应用。利用贪婪概率准则和平均块方法，发展了标准RP方法的加速变体，得到了求解大型线性不等式组的贪婪随机平均块投影（GRABP）方法.我们证明了该方法在不同的外推步长选择下线性收敛于期望。随机生成和真实世界数据的数值实验表明，GRABP的优势，几个国家的最先进的解决方案，如随机投影（RP）方法，采样Kaczmarz Motzkin（SKM）方法，广义SKM（GSKM）方法，和Nesterov加速SKM方法。
2022-11-18 cs.NA math.NA math.OC
M-IHS: An Accelerated Randomized Preconditioning Method Avoiding Costly Matrix Decompositions
提出并详细分析了一组求解大规模正则化线性最小二乘问题的动量迭代海森草图（M-IHS）技术。建议的M-IHS技术是通过将重球加速到迭代Hessian草图算法中来获得的，它们提供了比随机预处理技术显著的改进。通过使用近似解算器以及迭代，所提出的技术能够避免所有矩阵分解和求逆，这是与Blendenpik和LSRN等替代解算器相比的主要优势之一。与Chebyshev半迭代类似，M-IHS变体不使用任何内积，并且消除了分层或分布式存储器系统中的相应同步步骤，但M-IHS比基于Chebyshev半迭代的求解器收敛得更快。通过误差分析建立了各种随机分布所需草图大小的下界。与先前提出的产生解近似的方法不同，所提出的M-IHS技术可以使用与总是小于系数矩阵的秩的统计维度成比例的草图大小。随着正则化参数或系数矩阵的奇异值衰减率的增加，相对计算节省变得更加显著。
2020-11-28 cs.CC math.OC
GPU-Accelerated First-Order Method with Randomized Sampling for Binary Integer Programs
Texas Tech University（德州理工大学）；University of Rochester（罗切斯特大学）
提出GPU加速框架GFORS，结合一阶例程与随机采样求解大型二元整数规划，在大型实例上实现秒级高质量求解，有效补充精确求解器。
2026-09-24 math.OC
Unifying Nesterov's Accelerated Gradient Methods for Convex and Strongly Convex Objective Functions: From Continuous-Time Dynamics to Discrete-Time Algorithms
虽然Nesterov的加速梯度（NAG）方法已经从不同的角度进行了研究，但仍然不清楚为什么最流行的NAG形式必须分别处理凸和强凸目标函数。出于这种不一致性，我们提出了一个NAG方法，统一现有的凸和强凸的情况下。首先，我们设计了一个拉格朗日函数，连续扩展的第一布雷格曼拉格朗日的强凸设置。作为一个特定的情况下，欧拉-拉格朗日方程的拉格朗日量，我们推导出一个常微分方程（ODE）模型，我们称之为统一的NAG ODE，桥梁之间的差距ODE模型NAG凸和强凸目标函数。然后，我们设计了统一的NAG，一种新的动量方法，连续时间限制对应于统一的常微分方程。在强凸性参数$[0, +\infty)$上，统一NAG和统一ODE的系数和收敛速度是连续的。与现有的强凸目标函数的算法和常微分方程不同，对于非强凸目标函数，统一NAG和统一NAG常微分方程总是比已知的算法和常微分方程有更好的收敛性保证.当考虑具有小的$μ$的强凸目标函数时，该性质在实际观点中是有益的。此外，我们扩展我们的统一动力学和算法的高阶设置。最后，我们提出了一种新的极小化强凸目标函数梯度范数的常微分方程模型--统一NAG-G常微分方程。我们的统一拉格朗日框架是至关重要的，在这个过程中构造常微分方程。有趣的是，使用我们的新工具，称为微分核，我们观察到，统一的NAG常微分方程和统一的NAG-G常微分方程有一个反转置关系。
2023-01-09 math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。
2014-07-04 math.OC
Accelerated Stochastic Algorithms for Nonconvex Finite-sum and Multi-block Optimization
本文提出了两类重要的非凸最优化问题的新随机方法。我们首先介绍了一种随机加速邻近梯度（RapGrad）方法来求解一类由$m$分量函数之和组成的非凸最优化问题，并表明它可以显着减少梯度计算的次数，特别是当条件数$L/μ$（即，Lipschitz常数和负曲率之间的比率）大。更具体地说，RapGrad可以节省高达${\cal O}(\sqrt{m})$梯度计算比现有的确定性非凸加速梯度方法。此外，RapGrad所需的梯度计算的数量可以是${\cal O}(m^\frac{1}{6} L^\frac{1}{2} / μ^\frac{1}{2})$（至少${\cal O}(m^\frac{2}{3})$）倍小于最著名的随机非凸梯度方法时，$L/μ\ge m$。受RapGrad的启发，我们还提出了一种新的随机加速邻近对偶（RapDual）方法来求解一类带线性约束的多块非凸最优化问题.我们证明，RapDual也可以保存到一个因素的${\cal O}(\sqrt{m})$投影子问题比它的确定性对应，其中$m$表示块的数量。据我们所知，所有这些与RapGrad和RapDual相关的复杂性结果在文献中似乎是新的。我们还说明了这些算法的潜在优势，通过我们初步的数值实验。
2019-08-19 math.OC
A unified variance-reduced accelerated gradient method for convex optimization
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
我们提出了一种新的随机增量梯度算法，即方差减少加速梯度（Varag），有限和优化。配备了一个统一的步长政策，调整自己的值的条件数，瓦拉格表现出统一的最优收敛速度，直接解决光滑凸有限和问题，而不管他们的强凸性。此外，Varag是第一个加速的随机增量梯度法，受益于数据保真度项的强凸性，以实现最佳的线性收敛。它还建立了一个最佳的线性收敛速率，解决了广泛的一类问题，只满足一定的误差界条件，而不是强凸性。瓦拉格也可以扩展到解决随机有限和问题。
2019-10-30 cs.DS cs.LG math.OC
Accelerated Gossip via Stochastic Heavy Ball Method
School of Mathematics, KAUST, Saudi Arabia（卡士塔大学数学学院，沙特阿拉伯）；The University of Edinburgh（爱丁堡大学）；The University of Edinburgh, United Kingdom（英国爱丁堡大学）；Edinburgh, Scotland, UK（苏格兰爱丁堡，英国）；MIPT, Russia（莫斯科国立信息安全大学，俄罗斯）
本文研究了随机重力球方法（SHB）作为随机 gossip 算法的应用，提出了一种新的解决平均共识问题的协议，并通过实验展示了其优势。
2018-09-23 cs.IT cs.LG cs.NA
On low complexity Acceleration Techniques for Randomized Optimization: Supplementary Online Material
Institute of Theoretical Computer Science, ETH Zürich（苏黎世联邦理工学院理论计算机科学研究所）
本文提出SARP算法并验证其在无梯度信息下的有效性，同时提出CMA-EP算法，展示其性能依赖于目标函数的谱特性。
2014-06-11 cs.NA math.NA math.OC
Randomized sketch descent methods for non-separable linearly constrained optimization
本文研究了具有多个线性耦合约束的大规模光滑最优化问题。由于约束的不可分离性，不能保证任意的随机草图。因此，我们首先调查的充要条件和充分条件的草图采样有明确的算法。基于这些采样条件，我们开发了新的草图下降法，特别是随机草图下降和加速随机草图下降法，以解决一般光滑线性约束问题。据我们所知，这是随机草图下降算法的多个不可分离的线性约束的最优化问题的收敛性分析。在一般情况下，当目标函数是光滑的和非凸的，我们证明了非加速变量的次线性率在期望的适当的最优性措施。在光滑凸的情况下，我们推导出这两种算法，非加速和加速随机草图下降，次线性收敛速度的期望值的目标函数。另外，如果目标函数满足强凸性条件，则两种算法均线性收敛于期望值。在特殊情况下，复杂性边界是已知的一些特定的草图算法，如坐标下降法的最优化问题与一个单一的线性耦合约束，我们的理论恢复最知名的界限。我们还表明，当随机草图是素描坐标方向随机产生更好的结果比固定的选择规则。最后，我们提出了一些数值例子来说明我们的新算法的性能。
2018-08-07 math.OC
Accelerated Stochastic Matrix Inversion: General Theory and Speeding up BFGS Rules for Faster Second-Order Optimization
Télécom ParisTech（巴黎电信学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Edinburgh（爱丁堡大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出首个加速随机算法求解欧几里得空间线性系统，通过求逆正定矩阵实现正定近似，发展了首个加速的准牛顿更新方法，加速Hessian逆近似并提升数值实验效率。
2018-06-19 cs.NA math.NA math.OC
On the Complexity Analysis of Randomized Block-Coordinate Descent Methods
Simon Fraser University（西蒙弗雷泽大学）；Microsoft Research（微软研究院）
本文分析了[8，11]中提出的随机块坐标下降（RBCD）方法，该方法用于极小化光滑凸函数与块可分凸函数之和.特别地，我们将Nesterov在[8]中提出的用于分析块可分闭凸集上最小化光滑凸函数的RBCD方法的技术推广到上述更一般的问题，并获得了比[11]中隐含的更尖锐的期望值型收敛速度。此外，我们获得了更好的高概率类型的迭代复杂度，它比[11]中的迭代复杂度至少提高了$O(n/ε)$，其中$ε$是目标解精度，$n$是问题块的数量。此外，对于无约束光滑凸极小化问题，我们提出了一种新的技术，称为{ \it随机估计序列}，用于分析Nesterov [11]提出的加速RBCD方法，并建立了比[11]更精确的期望值型收敛速度.
2013-05-21 cs.LG cs.NA math.NA
An accelerated first-order method for non-convex optimization on manifolds
我们描述了黎曼流形上的第一梯度法，以实现非凸情况下的加速率。在Lipschitz假设的黎曼梯度和Hessian的费用函数，这些方法找到近似的一阶临界点比常规梯度下降。一个随机化的版本也找到近似的二阶临界点。这两个算法和他们的分析广泛建立在现有的工作在欧几里德的情况下。基本操作包括在当前切空间中运行欧几里德加速梯度下降法（适当地防止非凸性），然后移回流形并重复。这需要将费用函数从流形提升到切空间，这可以例如通过黎曼指数映射来完成。为了使这种方法成功，提升的费用函数（称为回调）必须保持某些Lipschitz属性。作为独立兴趣的贡献，我们用明确的常数证明了这一效果的精确主张。这些主张受到流形的黎曼曲率的影响，这反过来又影响了我们的优化算法的最坏情况的复杂性界限。
2021-11-25 cs.NA math.DG math.NA
Tight Complexity Bounds for Optimizing Composite Objectives
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供严格的上限和下界的复杂性最小化的平均$m$凸函数使用梯度和prox预言的组件功能。我们发现确定性与随机优化的复杂性之间存在显着的差距。对于光滑函数，我们表明，加速梯度下降（AGD）和SVRG的加速变体分别是最佳的确定性和随机设置，梯度预言是足够的最佳速率。对于非光滑函数，有接近预言机的访问降低了复杂性，我们提出了最佳的方法的基础上平滑，提高了方法，只使用梯度访问。
2019-04-04 cs.LG math.OC stat.ML
Conjugate Gradients and Accelerated Methods Unified: The Approximate Duality Gap View
UW-Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）
本文对凸二次函数极小化的共轭梯度法作了一个新的、简单的分析。与标准的参数相比，我们的证明是完全独立的，不依赖于切比雪夫多项式的存在。我们的发展的另一个优点是，它澄清了共轭梯度法和一般的光滑最小化的加速方法之间的关系，通过统一的近似对偶间隙技术的框架内，由作者介绍他们的分析。
2020-02-09 cs.DS cs.LG math.OC
Accelerated Decentralized Optimization with Local Updates for Smooth and Strongly Convex Objectives
INRIA（法国国家信息与自动化研究所）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；MSR-INRIA Joint Centre（微软研究院-法国国家信息与自动化研究所联合中心）
在本文中，我们研究的问题，最小化的光滑和强凸函数的总和分裂在一个网络的节点在一个分散的方式。我们提出的算法$ESDACD$，分散的加速算法，只需要本地同步。其速率取决于本地功能的条件数$κ$以及网络拓扑和延迟。在对图的拓扑结构的温和假设下，$ESDACD$花费时间$O((τ_{\max} + Δ_{\max})\sqrt{κ/γ}\ln(ε^{-1}))$来达到精确的$ε$，其中$γ$是图的谱间隙，$τ_{\max}$是最大通信延迟，并且$Δ_{\max}$是最大计算时间。因此，它与$SSDA$的速率匹配，当$τ_{\max} = Ω\left(Δ_{\max}\right)$。将$ESDACD$应用于二次局部函数，得到速率为$O( \sqrt{θ_{\rm gossip}/n})$的加速随机流言算法，其中$θ_{\rm gossip}$是标准随机流言的速率。据我们所知，它是第一个异步八卦算法，具有可证明的改进收敛速度的二阶矩的错误。我们说明这些结果与理想化设置中的实验。
2019-02-22 cs.DC cs.LG math.OC
Randomized Smoothing for Stochastic Optimization
我们分析了非光滑凸优化问题的随机最优化过程的收敛速度。通过将随机平滑技术与加速梯度法相结合，我们得到了随机最优化过程的期望收敛速度和高概率收敛速度，它们对梯度估计的方差具有最优的依赖性.据我们所知，这是第一个基于方差的非光滑优化率。我们给出了几个应用程序，我们的结果统计估计问题，并提供实验结果，证明所提出的算法的有效性。我们还描述了如何结合我们的算法与最近的工作分散优化产生一个分布式的随机最优化算法，是顺序最优的。
2012-04-07 math.OC stat.ML
Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization
块坐标下降法和随机次梯度法在优化和机器学习中得到了广泛的研究。将随机区组抽样与基于对偶平均的随机次梯度方法相结合，提出了随机区组对偶平均（SBDA）--一类求解凸非光滑随机最优化的新的区组次梯度方法. SBDA只需要一个块的次梯度和更新块的变量，因此具有显着降低迭代成本比传统的次梯度方法。我们表明，SBDA为基础的方法表现出凸非光滑随机最优化的最佳收敛速度。更重要的是，我们引入了随机步长规则和块采样方案，是自适应的块结构，这显着提高了收敛速度w.r. t。问题参数。这是在最近的块次梯度方法应用于非光滑确定性或随机最优化形成鲜明对比。对于强凸目标，我们提出了一个新的平均计划，使正则化的双重平均方法最优，而不必诉诸任何加速计划。
2015-09-15 math.OC
Multilevel Optimization for Inverse Problems
反问题出现在工程中的各种参数识别任务中。这些问题在实践中是具有挑战性的，因为它们需要重复评估计算昂贵的前向模型。我们介绍了一个统一的框架，多级优化，可以应用到广泛的优化为基础的求解器。我们的框架可证明降低了与评估来自各种物理模型的昂贵的前向映射相关的计算成本。为了证明我们的分析的多功能性，我们讨论了它的影响，包括多级（加速，随机）梯度下降，多级集合卡尔曼反演和多级Langevin采样器的各种方法。我们还提供了数值实验来验证我们的理论发现。
2022-04-28 cs.NA math.NA math.OC
Gradient Projection Iterative Sketch for Large-Scale Constrained Least-Squares
提出了一种随机一阶优化算法梯度投影迭代草图（GPIS）和一种加速算法，用于有效地求解大规模约束最小二乘（LS）。我们提供了理论上的收敛性分析所提出的算法和证明我们的方法的计算效率相比，经典的加速梯度法，和最先进的方差减少随机梯度法，通过在各种大型合成/真实数据集的数值实验。
2017-07-17 math.OC
Relative Lipschitzness in Extragradient Methods and a Direct Recipe for Acceleration
MIT（麻省理工学院）；Stanford University（斯坦福大学）
我们表明，标准的extragradiation方法（即镜像prox和双外推）恢复最佳的加速率为一阶最小化光滑凸函数。为了得到这个结果，我们提供了一个细粒度的表征的收敛速度的超梯度方法解决单调变分不等式的自然条件，我们称之为相对Lipschitz。我们进一步推广这个框架，以处理本地和随机的相对Lipschitz的概念，从而恢复率框约束$\ell_\infty$回归的基础上实现的面积凸性和复杂性边界的加速（随机）坐标下降平滑凸函数最小化。
2021-07-15 cs.DS cs.LG math.OC
Accelerated Sampling Kaczmarz Motzkin Algorithm for The Linear Feasibility Problem
抽样Kaczmarz Motzkin（SKM）算法是求解大规模线性系不等式组的一种推广方法。基于Agmon、Schoenberg和Motzkin的松弛法和随机Kaczmarz方法，SKM在解决大规模线性可行性（LF）问题方面优于现有的方法。受到SKM的成功，在这项工作中，我们提出了一个加速采样Kaczmarz Motzkin（ASKM）算法，实现了更好的收敛性相比，标准SKM算法的病态问题。我们提供了一个彻底的收敛性分析所提出的加速算法，并验证了各种数值实验的结果。在随机生成的实例和Netlib LP上比较了ASKM算法与SKM、内点方法（IPM）和活动集方法（ASM）的性能和有效性。在大多数的测试实例中，所提出的ASKM算法优于其他国家的最先进的方法。
2019-11-05 math.OC
Nesterov Accelerated Shuffling Gradient Method for Convex Optimization
Cornell University（康奈尔大学）；IBM Research（IBM研究院）
本文提出了求解凸有限和极小化问题的Nesterov加速洗牌梯度算法（NASG）。我们的方法集成了传统的Nesterov的加速动量与不同的洗牌采样方案。我们表明，我们的算法有一个改进率的$\mathcal{O}(1/T)$使用统一的洗牌计划，其中$T$是时代的数量。该速度优于凸区域中的任何其他洗牌梯度法。我们的收敛性分析不需要有界域或有界梯度条件的假设。对于随机洗牌方案，我们进一步提高了收敛界。当采用某些初始条件时，我们证明了我们的方法在解的小邻域附近收敛得更快。数值模拟证明了算法的有效性。
2022-06-13 cs.LG math.OC stat.ML
Randomized Block-Coordinate Optimistic Gradient Algorithms for Root-Finding Problems
针对大规模非线性方程求根问题，提出非加速与加速两种随机分块坐标乐观梯度算法，证明其期望与几乎必然收敛率，并推广得到联邦学习型有限和包含算法。
2025-06-11 math.OC stat.ML
A Unified Model for High-Resolution ODEs: New Insights on Accelerated Methods
针对现有高分辨率常微分方程（HR-ODEs）相互脱节的问题，研究提出基于受迫欧拉-拉格朗日方程的统一框架，涵盖多种HR-ODE及对应优化算法，并通过通用李雅普诺夫函数分析收敛性，取得多项理论进展。
2025-03-19 math.OC
Optimization of Convex Functions with Random Pursuit
研究凸目标函数的无约束随机优化问题。我们分析了随机追踪算法，该算法通过在随机选择的一维子空间上重复优化来迭代地计算最优化问题的近似解。这种随机化方法只使用关于目标函数的零阶信息，并且不需要任何问题特定的参数化。我们证明了收敛性，并给出了光滑目标的收敛速度，假设一维优化问题可以精确或近似求解的预言。随机追踪的一个方便的性质是它在目标函数的严格单调变换下的不变性。因此，它在更广泛的函数类上具有相同的收敛行为。为了支持的理论结果，我们提出了广泛的数值性能的随机追踪，Nesterov最近提出的两个无梯度算法，和一个经典的自适应步长随机搜索方案的结果。我们还提出了一个加速的启发式版本的随机追踪算法，显着提高标准随机追踪所有数值基准问题。实验结果表明：（i）标准随机追踪算法对中等条件数的强凸函数是有效的;（ii）加速算法与Nesterov的快速梯度法相当，且优于自适应步长策略.附录包含其他支持性在线材料。
2012-05-24 cs.DS cs.NA math.NA
Coordinate Descent with Arbitrary Sampling I: Algorithms and Complexity
The University of Edinburgh（爱丁堡大学）
研究了光滑凸函数与凸块可分正则化子之和的极小化问题，提出了一种新的随机坐标下降法，我们称之为ALPHA。我们的方法在每次迭代更新坐标的随机子集，遵循任意分布。没有坐标下降法能够处理一个任意的采样已经在文献中研究了这个问题。ALPHA是一个非常灵活的算法：在特殊情况下，它可以简化为确定性和随机性方法，如梯度下降，坐标下降，并行坐标下降和分布式坐标下降-无论是在非加速和加速变体。具有任意（或重要性）采样的变量是新的。我们提供了一个复杂性分析的ALPHA，从中我们推导出一个直接的推论复杂性界限，其许多变种，所有匹配或改善最知名的界限。
2015-06-15 cs.LG cs.NA math.NA
Convergence Analysis of Stochastic Accelerated Gradient Methods for Generalized Smooth Optimizations
本文针对广义光滑随机优化问题，研究带固定/自适应步长的RSAG方法，在松弛仿射方差假设下推导凸与非凸场景的高概率收敛速率，小噪声下速率可提升，且分析同样适用于SGD。
2026-10-27 math.OC
On the Suboptimality of Proximal Gradient Descent for $\ell^{0}$ Sparse Approximation
Snap Research（Snap 研究院）；National University of Singapore（新加坡国立大学）；Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了求解$\ell^{0}$稀疏逼近问题的近似梯度下降（PGD）方法及其随机优化算法。我们首先提供PGD的理论分析，显示在弱于压缩传感文献中广泛使用的限制等距属性的条件下，PGD的次优解与$\ell^{0}$稀疏逼近问题的全局最优解之间存在有界差距。此外，我们提出了随机算法，以加速优化的PGD使用随机低秩矩阵近似（PGD-RMA）和随机降维（PGD-RDR）。我们的随机化算法大大降低了原始PGD的计算成本为$\ell^{0}$稀疏近似问题，和由此产生的次最优解仍然享有可证明的次优性，即，次最优解减少的问题仍然有界差距的全局最优解的原问题。
2017-09-05 cs.LG math.OC
Structure-Adaptive, Variance-Reduced, and Accelerated Stochastic Optimization
在这项工作中，我们探讨了最先进的随机一阶算法的正则化经验风险最小化任务，其中的解决方案具有内在的低维结构（如稀疏性和低秩）的基本结构自适应性。这种结构通常由非光滑正则化或约束来强制执行。我们首先建立快速线性收敛速率的SAGA算法的非强凸目标的凸约束，通过锥限制强凸性的参数。然后，针对带有坐标可分凸正则项的复合最小化问题，提出并分析了两阶段加速坐标下降算法（Two-Stage APCG）。我们提供的收敛性分析表明，所提出的方法具有整体收敛性一般，并享有局部加速线性收敛速率的低维结构的解决方案。然后，基于这个收敛结果，我们提出了一个自适应变种的两阶段APCG方法，不需要预先预知的限制强凸性，但估计它的飞行。在数值实验中，我们比较了自适应两阶段APCG与各种最先进的方差减少的随机梯度法稀疏回归任务，并证明了我们的方法的有效性。
2017-12-12 math.OC
Accelerated Message Passing for Entropy-Regularized MAP Inference
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
离散值马尔可夫随机场的最大后验（MAP）推断是机器学习中的一个基本问题，涉及识别给定分布的随机变量的最可能配置。由于这个组合问题的难度，线性规划（LP）松弛通常用于导出专门的消息传递算法，这些算法通常被解释为对偶LP上的坐标下降。为了实现更理想的计算性能，许多方法用熵项正则化LP，从而产生一类具有收敛保证的平滑消息传递算法。在本文中，我们提出了随机化的方法来加速这些算法，利用经典的加速梯度方法的基础技术。所提出的算法结合了标准平滑消息传递算法的熟悉步骤，这些步骤可以被视为坐标最小化步骤。我们表明，这些加速的变种实现更快的速度寻找$ε$ -最佳点的非正则化问题，当LP是紧的，我们证明了所提出的算法恢复真正的MAP解决方案，在更少的迭代比标准的消息传递算法。
2020-07-01 cs.LG math.OC stat.ML
Adaptive Catalyst for Smooth Convex Optimization
在本文中，我们提出了一个通用的框架，允许加速几乎任意的非加速确定性和随机算法光滑凸优化问题。我们的信封的主要方法与Catalyst中的相同（Lin et al.，2015年）：加速邻近外梯度法，它被用作$\ell_2$正则化辅助问题的非加速内梯度法的包络。我们的算法有两个关键的区别：1）容易验证的停止标准的内部算法; 2）正则化参数可以调整的方式。因此，我们的工作的主要贡献是一个新的框架，适用于自适应内部算法：最速下降，自适应坐标下降，交替最小化。此外，在非自适应的情况下，我们的方法允许在没有对数因子的情况下获得催化剂，该对数因子出现在标准催化剂中（Lin等人，2015年，2018年）。
2021-03-07 math.OC
Error estimates for tamed Euler and Randomized Euler schemes for SDEs with locally Lipschitz drift with applications to non-logconcave sampling and optimization
Archimedes, Athena Research Center（阿基米德雅典研究中心）；National Technical University of Athens（雅典国立技术大学）
针对具有局部Lipschitz超线性增长漂移的随机微分方程，提出KL加速驯服未调整Langevin算法(kTULA)和驯服随机中点方案(tRLMC)，基于移位-组合方法建立局部误差框架，得到有限时间非渐近误差估计，并在对数Sobolev不等式下实现近最优迭代复杂度。
2026-05-24 cs.NA math.NA math.OC
Accelerated Cyclic Coordinate Dual Averaging with Extrapolation for Composite Convex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
以循环的方式利用部分一阶信息可以说是获得可扩展的一阶方法的最自然的策略。然而，尽管它们在实践中广泛使用，但从理论角度来看，循环方案远不如它们的随机对应方案那么容易理解。最近成功地分析了广义变分不等式的外推循环方案的启发，我们提出了一个加速循环坐标对偶平均与外推（A-CODER）方法的复合凸优化，其中目标函数可以表示为一个光滑的凸函数可通过梯度预言和一个凸的，可能是非光滑的，通过一个接近预言的功能。我们表明，A-编码器达到最佳的收敛速度与改进的依赖于块的数量相比，以前的工作。此外，对于目标函数的平滑分量可以用有限和形式表示的设置，我们引入了具有最先进的复杂性保证的方差减小的A-编码器，VR-A-编码器变体。最后，我们通过数值实验证明了我们的算法的有效性。
2023-03-28 cs.LG math.OC
Randomized Bregman Coordinate Descent Methods for Non-Lipschitz Optimization
Iowa State University（爱荷华州立大学）；IBM Research AI（IBM人工智能研究院）
提出了一种新的求解复合问题的\textit{randomized Bregman (block) coordinate descent}（RBCD）方法，其中目标函数可以是凸的或非凸的，且光滑部分不受全局Lipschitz连续（部分）梯度假设的约束.在基于Bregman距离的相对光滑性概念下，证明了生成序列的每个极限点都是平稳点。进一步，我们证明了该方法的迭代复杂度为$O(n\varepsilon^{-2})$以达到$ε$ -稳定点，其中$n$是坐标块的个数.如果目标是凸的，则迭代复杂度改进为$O(nε^{-1} )$。此外，如果目标是强凸的（相对于参考函数），则恢复全局线性收敛速度。我们还提出了加速版本的RBCD方法，达到$O(n\varepsilon^{-1/γ} )$迭代复杂度的凸的情况下，标量$γ\in [1,2]$是由\textit{generalized translation variant}的布雷格曼距离。收敛性分析，而不假设全球Lipschitz连续（部分）梯度集我们的结果除了现有的工作中的复合问题。
2020-01-15 cs.LG math.OC
A Family of Subgradient-Based Methods for Convex Optimization Problems in a Unifying Framework
对于可行域足够简单的凸优化问题，我们提出了一类新的基于次梯度和梯度的方法，它们以最优复杂度收敛。这包括其中目标函数是非光滑的、光滑的、具有复合/鞍形结构的或由不精确的oracle模型给出的情况。统一了这些方法每次迭代时所需求解的子问题的构造方法。这使我们能够分析这些方法的收敛性在一个统一的方式相比，以前的结果，需要不同的方法/算法。我们的贡献依赖于非光滑凸优化中的两个著名方法：Nemirovski-Yudin的镜像下降法和Nesterov的对偶平均方法。因此，我们的方法族包括它们和许多其他方法作为特殊情况。例如，建议的家庭的经典梯度法和它的加速度推广Devolder等人。Nesterov的原始/对偶梯度法和Tseng的加速近端梯度法。此外，我们的方法家族也可以部分地成为其他通用方法的特例。作为一个额外的贡献，新的扩展镜像下降法删除了原来的镜像下降法所要求的可行域的紧性假设和总迭代次数的固定，以达到最佳的复杂性。
2015-12-29 math.OC
PolarGrad: A Class of Matrix-Gradient Optimizers from a Unifying Preconditioning Perspective
University of Pennsylvania（宾夕法尼亚大学）；Wharton（沃顿商学院）
PolarGrad是一种基于矩阵梯度极分解的新型预条件优化方法，通过统一视角分析矩阵感知预条件方法，提升语言模型预训练和矩阵优化性能。
2026-02-05 cs.LG math.OC stat.ML
Linear convergence of dual coordinate descent on non-polyhedral convex problems
本文研究了约束凸规划问题，其中目标函数是光滑强凸的，可行集是由大量闭凸（可能是非多面体）集的交构成。为了有效地处理复杂的约束条件，我们考虑了这个问题的对偶公式。证明了在目标函数光滑且强凸且满足Slater条件的条件下，对应的对偶函数在任意子水平集上满足二次增长性质.据我们所知，这项工作是第一次推导出二次增长的条件下，这些一般假设的对偶。现有的工作在更保守的假设下得出类似的二次增长条件，例如，这些集合需要是多面体的或紧凑的。然后，对于寻找对偶问题的最小值，由于其特殊的复合结构，我们提出了随机（加速）坐标下降算法。然而，现有的理论可以证明，这种方法只收敛于次线性。基于对偶的二次增长性质，我们证明了这种方法具有更快的收敛性，即对偶随机（加速）坐标下降算法线性收敛。除了提供一个一般的对偶框架的随机坐标下降计划的分析，我们的结果解决了一个公开的问题，在文献中有关的Dykstra算法的收敛性的最佳可行性问题的凸集集合。即当凸集满足Slater条件时，我们建立了随机化Dykstra算法的线性收敛速率，并导出了一个新的Dykstra算法的加速变式.
2019-11-14 math.OC
Scalable Mean-Variance Portfolio Optimization via Subspace Embeddings and GPU-Friendly Nesterov-Accelerated Projected Gradient
本文提出基于sketch的因子降维和GPU加速的Nesterov加速投影梯度算法，解决大规模约束均方差投资组合优化问题，通过子空间嵌入、谱截断和岭稳定化构建有效因子，并在GPU上高效求解，实验显示其在真实数据上运行时间显著减少。
2026-04-03 cs.CE cs.DC cs.LG
A Few Accelerated Algorithms for Convex Optimization under $(H_0,H_1)$-Smoothness
MSU AI Center, IAI MSU（莫斯科国立大学人工智能中心，IAI MSU）；HSE（高等经济学院）
本文针对$(H_0,H_1)$-光滑凸优化，结合Nesterov型加速梯度等技术提出全梯度与随机坐标加速算法，给出迭代复杂度并经实验验证，为该类优化提供了首个加速理论保证。
2026-08-06 math.OC
Randomized Douglas-Rachford methods for linear systems: Improved accuracy and efficiency
针对求解线性系统可行性问题时 $r$-sets-DR 方法不必然收敛的问题，本文提出了随机化 RrDR 方法，实现了期望意义下与维度无关的线性收敛，并结合重球动量技术进一步加速收敛，显著提升了原方法的精度与效率。
2024-01-09 math.OC
Matching Lower Bounds for Randomized First-Order Methods in Hessian-Lipschitz Nonconvex Optimization
Peking University（北京大学）
本文为非凸优化中寻找 ε-驻点的随机一阶算法建立了匹配下界，证明随机化无法改善高维最坏情况查询速率，并匹配了确定性加速梯度上界。
2026-10-20 math.OC
Randomized methods for computing optimal transport without regularization and their convergence analysis
本文提出无正则化的随机块坐标下降（RBCD）方法直接求解最优传输的线性规划问题，利用随机Gauss-Southwell-$q$规则保证收敛性，并利用约束结构提出加速版本ARBCD，在高精度求解时优于Sinkhorn算法且节省内存。
2023-11-23 math.OC
Matching Randomized Bounds for Finite-Sum Nonconvex-Concave Optimization
Peking University（北京大学）
该研究刻画了带界对偶域的有限和非凸-凹优化的随机分量预言机复杂度，给出了最坏情况复杂度界，分析了上下界的条件与构造，为该类优化问题提供了复杂度理论支撑。
2026-10-20 math.OC
An Efficient Inexact ABCD Method for Least Squares Semidefinite Programming
考虑最小二乘半定规划（LSSDP），其中原矩阵变量必须满足给定的线性等式和不等式约束，并且必须位于对称正半定矩阵的锥与一个简单多面体集的交集中.我们提出了一个不精确的加速块坐标下降（ABCD）方法来求解LSSDP，通过其对偶，可以将其转化为一个凸复合极小化问题，其目标是一个包含四个变量块的耦合二次函数和两个分别包含第一和第二个变量块的可分离非光滑函数之和.我们的不精确ABCD方法有吸引力的$O(1/k^2)$迭代复杂性，如果逐步更准确地解决子问题。我们的ABCD方法的设计依赖于对称高斯-赛德尔技术解决凸最小化问题的最新进展，其目标是一个多块二次函数和一个非光滑函数只涉及第一块的总和。对600多个大规模LSSDP问题的数值实验表明，我们提出的ABCD方法不仅能获得高精度的解，而且比著名的BCD方法效率高得多（块坐标下降）方法，（b）eARBCG（加速随机区组坐标梯度的增强版本）方法，和（c）APG（加速近端梯度）方法。
2015-05-25 math.OC
Lower Bounds on the Oracle Complexity of Nonsmooth Convex Optimization via Information Theory
本文利用信息论方法，以字符串猜测为统一困难来源，为非光滑黑箱凸优化建立了与最坏情况上界匹配的分布谕示复杂度下界，并推广到高概率和有界误差情形。
2023-07-07 cs.CC cs.IT math.IT
Complexities of Weak Proximal Oracle Methods for Composite Convex Optimization
Technion - Israel Institute of Technology（以色列理工学院）
本文研究基于弱近端预言机的复合凸优化方法，证明其无法加速，并给出新的上界，指出其预言机复杂性存在固有损失。
2026-09-22 cs.LG math.OC
