A Parameter-Free Restart Scheme with Only a Parallelizable $\log\log(1/ε)$ Overhead
Johns Hopkins University（约翰斯·霍普金斯大学）
针对一阶方法在增长结构下的加速收敛问题，提出一种无参数重启方案，通过并行实例通信避免对数开销和预热阶段，仅需 $O(\log\log(1/\varepsilon))$ 并行进程。
2026-05-28 math.OC
Universal composite prox-method for strictly convex optimization problems
我们提出了一个简单的方法来解释宇宙方法的余。涅斯捷罗夫在此基础上，利用重新开始技术，我们提出了严格凸最优化问题的泛方法。我们考虑一般的邻近设置（不一定是欧几里得设置）。
2016-10-31 math.OC
Minimizing Oracle-Structured Composite Functions
我们考虑的问题，最小化的复合凸函数与两种不同的访问方法：预言，我们可以评估的值和梯度，和一个结构化的功能，我们只通过解决一个凸优化问题。我们受到两个相关技术发展的推动。对于Oracle，PyTorch或TensorFlow等系统可以自动有效地计算梯度，给出计算图描述。对于结构化函数，像CVXPY这样的系统接受问题的高级领域特定语言描述，并自动将其转换为标准式以获得有效解。我们开发了一种方法，使最小的假设这两个功能，不需要调整算法参数，并在实践中很好地工作在各种问题。我们的算法结合了一些著名的想法，包括一个低秩拟牛顿近似曲率，分段仿射下界的斗争型方法，和两种类型的阻尼，以确保稳定性。我们举例说明的方法上的随机最优化，效用最大化，和风险规避规划问题，表明我们的方法是更有效的比标准的求解器，当oracle函数包含大量的数据。
2021-11-29 math.OC
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度，同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
Gradient Method With Inexact Oracle for Composite Non-Convex Optimization
本文对具有简单约束和不精确预言的复合非凸极小化问题提出了一种新的一阶方法。该目标函数被给定为“硬”部分（可能为非凸部分）和“简单”部分的和。非正式地说，甲骨文的不精确性意味着，对于“困难”部分，在任何一点，我们都可以近似地计算函数的值，并构造一个二次函数，它近似地从上面限制了这个函数。我们给出了几个这样的不精确的例子：光滑的非凸函数与不精确的Hölder连续梯度，辅助一致凹最大化问题，这只能近似解决的功能。对于引入的一类问题，我们提出了一种梯度型方法，它允许使用不同的邻近设置，以适应几何的可行集，自适应地选择控制的预言错误，允许不精确的邻近映射。我们给出了我们的方法的收敛速度的广义梯度映射的范数，并表明，在不精确的Hölder连续梯度的情况下，我们的方法是通用的Hölder参数的问题。最后，在一个特殊的情形下，证明了广义梯度映射的范数在一点处的小值意味着局部极小值的一个必要条件在该点处近似成立.
2017-03-27 math.OC
On Accelerated Methods for Saddle-Point Problems with Composite Structure
考虑了具有一般非双线性目标函数的强凸-强凹鞍点问题，其原始变量和对偶变量具有不同的条件数。首先，我们考虑这样的问题与光滑的复合项，其中之一具有有限和结构。对于这种设置，我们提出了一个方差降低算法的复杂性估计优于现有的界限在文献中。其次，我们考虑了有限和鞍点问题的复合项，并提出了几个算法取决于复合项的性质。当复合项是光滑的，我们得到更好的复杂性界比文献中的，包括最近提出的近最优算法，不考虑复合结构的问题的界限。如果复合条款是友好的，我们提出了一个方差减少算法，一方面，加速相比，现有的方差减少算法，另一方面，在复合设置类似的复杂性范围内的接近最佳的算法，这是专为非复合设置。除此之外，我们的算法允许分离的复杂性界限，即估计，分别为目标的每一部分，Oracle调用的数量，足以达到给定的精度。这是重要的，因为不同的部分可以具有不同的算术复杂度的预言机，并且期望调用昂贵的预言机比调用廉价的预言机更少。所有这些结果的关键是我们的鞍点问题的一般框架，这可能是独立的利益。这个框架，反过来是基于我们提出的加速元算法的复合优化与概率不精确的预言和概率不精确的最接近的映射，这可能是独立的利益，以及。
2021-06-14 math.OC
Weak Proximal Newton Oracles for Composite Convex Optimization
本文提出弱近端牛顿 oracle 方法，通过稀疏结构优化提升高维复合凸优化的收敛效率。
2025-12-17 math.OC
Derivative-Free Method For Composite Optimization With Applications To Decentralized Distributed Optimization
本文基于Lan（2016，2019）的滑动算法，提出了一种求解凸组合最优化问题的新方法。我们的方法使用随机噪声零阶预言的非光滑部分和一阶预言的光滑部分。据我们所知，这是文献中第一个使用这种混合预言机进行复合优化的方法。我们证明了新方法的收敛速度，匹配相应的速度为一阶方法的一个因素成比例的空间的尺寸，或在某些情况下，其平方对数。我们应用这种方法的分散分布式优化，并推导出上界的通信轮数为这种方法匹配已知的下界。此外，我们对每个节点的零阶Oracle调用的数量的限制与一阶分散式分布式优化的类似的最先进的限制相匹配，直到与空间的维度成比例的因子，或者在某些情况下，甚至是其平方对数。
2020-09-10 math.OC
A piecewise conservative method for unconstrained convex optimization
我们考虑一种基于动力系统的连续时间最优化方法，其中一个静止的大质量粒子在由目标函数产生的保守力场中移动，没有任何摩擦。我们提出了一个基于动能平均耗散的重新开始准则，并证明了强凸函数的一个整体收敛结果。利用辛欧拉离散格式，我们得到了一个迭代优化算法。我们已经考虑了一个离散的平均耗散重启计划，但我们也引入了一个新的重启程序的基础上，确保在每次迭代的目标函数的减少大于一个步骤的经典梯度法。对于离散保守算法，这最后一个重新启动标准是能够保证收敛结果。我们将同样的重新启动方案应用于Nesterov加速梯度（NAG-C），并将此重新启动的NAG-C作为数值实验的基准。在光滑凸问题中，我们的方法显示出比重新启动的NAG-C更快的收敛速度。我们提出了一个扩展的离散保守算法的复合优化：在数值测试涉及非强凸函数与$\ell^1$ -正则化，它有更好的性能比著名的高效快速迭代收缩-保持算法，自适应重启计划加速。
2021-10-18 math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
本文提出两种通用方法，用于解决凸和强凸混合复合优化问题，无需参数且无需最优值知识，具有高效的复杂度界。
2025-11-20 math.OC
Adaptive Restart of the Optimized Gradient Method for Convex Optimization
带动量的一阶方法，如Nesterov的快速梯度法，对于凸优化问题非常有用，但在某些应用中可能会出现不希望的振荡，从而导致缓慢的收敛速度。当强凸费用函数的参数未知或迭代过程进入局部强凸区域时，自适应重新启动方案可以提高快速梯度法的收敛速度.最近，我们介绍了优化的梯度法，一阶算法，具有廉价的每次迭代的计算成本类似的快速梯度法，但有一个最坏情况下的费用函数的速度比快速梯度法的两倍，这是最佳的大规模光滑凸问题。在利用自适应重启加速快速梯度法的成功基础上，本文研究了优化梯度法的类似启发式加速。我们首先推导出一个新的一阶方法，类似于优化的梯度法的强凸二次问题与已知的函数参数，产生的线性收敛速率比类似版本的快速梯度法。然后，我们提供了一个启发式的分析和数值实验，说明自适应重新启动可以加快收敛的优化梯度法。数值结果还表明，自适应重新启动有助于非光滑复合凸函数的优化梯度法的近似形式。
2017-11-28 math.OC
Stochastic Intermediate Gradient Method for Convex Problems with Inexact Stochastic Oracle
本文介绍了求解具有不精确随机预言的凸优化问题的新方法。第一种方法是Devolder，Glineur和Nesterov提出的中间梯度法的推广，用于求解不精确预言问题。我们的新方法可以应用于复合结构，随机不精确预言的问题，并允许使用非欧设置。我们证明估计的平均收敛速率和概率的大偏差从这个速度。对于强凸问题，我们还介绍了该方法的两个修正。对于第一个修改，我们证明了平均收敛速率估计和第二个，我们证明了大偏差的平均收敛速度收敛速率估计。所有速率给出了所提出的方法的复杂性估计，直到乘法常数符合所考虑的一类凸组合最优化问题的随机不精确预言的复杂性下界。
2015-12-07 math.OC
Complexities of Weak Proximal Oracle Methods for Composite Convex Optimization
Technion - Israel Institute of Technology（以色列理工学院）
本文研究基于弱近端预言机的复合凸优化方法，证明其无法加速，并给出新的上界，指出其预言机复杂性存在固有损失。
2026-09-22 cs.LG math.OC
Accelerated Gradient Methods with Gradient Restart: Global Linear Convergence
本文从数学上分析梯度重启对加速梯度方法的影响，证明其在强凸复合优化和二次凸目标下实现全局线性收敛，弥补未重启版本的不足。
2025-05-25 cs.NA math.NA math.OC
Accelerated-gradient-based generalized Levenberg--Marquardt method with oracle complexity bound and local quadratic convergence
本文提出一种具有oracle复杂度界和局部二次收敛性的加速梯度法广义LM方法，用于解决包含光滑复合函数的优化问题。
2024-01-11 math.OC
Universal Intermediate Gradient Method for Convex Problems with Inexact Oracle
在本文中，我们提出了一个新的一阶方法，用于最小化一个简单的凸集上的凸函数。我们假设目标函数是一个复合函数，它是一个简单的凸函数和一个具有不精确Hölder连续次梯度的凸函数的和。本文提出了通用中间梯度法。我们的方法具有普适性和中介性。继Y. Nesterov（Math.Prog.，2015）在通用梯度法上，我们的方法不需要任何关于Hölder参数和常数的信息，并自动调整自身以适应局部平滑度。另一方面，在O. Devolder，F.Glineur，and Y. Nesterov（CORE DP 2013/17），我们的方法是介于通用梯度法和通用快速梯度法之间的中间方法。这允许平衡该方法的收敛速率和预言错误累积的速度。在目标函数强凸性的假设下，我们证明了如何利用重新启动技术来获得一个具有更快收敛速率的算法。
2019-10-21 math.OC
Localize, Restart, Accelerate: Stochastic Optimization under Generalized Smoothness
HSE University（高等经济大学）；Innopolis University（伊诺波利斯大学）；MSU AI Center（莫斯科国立大学人工智能中心）
针对非对称广义光滑性下的随机凸优化，提出两阶段加速方法ARC-SG，通过局部化与重启认证实现加速收敛并恢复经典速率。
2026-09-09 math.OC
Composite Logconcave Sampling with a Restricted Gaussian Oracle
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们考虑从复合密度$\mathbb{R}^d$的形式$dπ(x) \propto \exp(-f(x) - g(x))dx$的采样良好的条件$f$和凸（但可能是非光滑）$g$，一个家庭推广到一个凸集的限制，通过抽象的限制高斯预言。对于条件数为$κ$的$f$，我们的算法在$O \left(κ^2 d \log^2\tfrac{κd}ε\right)$迭代中运行，每次查询$f$的梯度和受限的高斯预言，以实现总变化距离$ε$。限制高斯预言机，从分布的负对数似然总和二次和$g$，以前已经研究过，是一个自然的扩展，在复合优化中使用的邻近预言机。我们的算法是概念上简单，并获得更强的可证明的保证和更大的通用性比现有的复合抽样方法。我们进行的实验表明，我们的算法大大提高了打了就跑算法采样的限制（非对角）高斯的正正交。
2020-06-10 cs.DS cs.LG cs.NA
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization II: Function-constrained Optimization
Purdue University（普渡大学）
本文提出重启式惩罚APEX算法，用于求解未知分段光滑的凸函数约束优化问题，该算法可在无需知晓增长模或精确惩罚系数的情况下达到最优预言复杂度，还能生成界定最优性间隙与约束违反量的新可验证证书。
2026-09-04 math.OC
Accelerated gradient sliding and variance reduction
考虑了具有光滑凸非邻近友好复合函数（第二项）的和型强凸优化问题（首项）。我们发现，这个问题的复杂性可以分为最佳数量的增量Oracle调用的第一（和型）长期和最佳数量的Oracle调用的第二（复合）长期。在这里，在“最佳数”下，我们指的是在没有另一项的情况下对应于众所周知的下界的估计。
2020-03-11 math.OC
An Inexact Frank-Wolfe Algorithm for Composite Convex Optimization Involving a Self-Concordant Function
本文提出一种带不精确预言机的Frank-Wolfe算法变体，用于求解涉及对数齐次自协和函数的复合凸优化问题，在放宽子问题精确求解假设的同时保持相似收敛保证，并应用于大规模半定规划。
2023-10-23 math.OC
Zero Order Stochastic Weakly Convex Composite Optimization
本文考虑随机弱凸复合问题，但不存在随机次梯度预言。我们提出了一个导数免费算法，使用两点近似计算的平滑函数的梯度估计。我们证明了收敛速度与最先进的方法相似，但具有较大的常数，并报告了一些数值结果，表明该方法的有效性。
2020-02-19 math.OC
Proximal-Linearized NEP Method for Composite Optimization with Set-Inclusion and Manifold Constraints
School of Mathematics, South China University of Technology（华南理工大学数学学院）
本文提出一种非精确近端线性化精确惩罚算法，用于求解带锥约束与流形约束的DC复合优化问题，在温和假设下达到O(ε^{-2})复杂度，数值实验验证其有效性。
2026-10-27 math.OC
Fast gradient descent method for convex optimization problems with an oracle that generates a $(δ,L)$-model of a function in a requested point
在这篇文章中，我们提出了一个新的概念，一个$(δ,L)$ -模型的功能，推广的概念，$(δ,L)$ -oracle（Devolder-Glineur-Nesterov）。使用这个概念，我们描述了梯度下降法和快速梯度下降法，我们表明，许多流行的方法（复合最优化方法，水平方法，共轭梯度法，邻近方法）是本文所提出的方法的特殊情况。
2019-06-24 math.OC
Smoothing technique for nonsmooth composite minimization with linear operator
介绍并分析了一种由线性算子构成的可微项与可逼近项之和的凸函数的极小化算法。该方法建立在最近开发的平滑间隙技术。除了一个精确的收敛速度的结果，有效的，即使在存在的线性包含约束，这种新方法允许一个明确的治疗梯度的可微函数，可以增强线搜索。我们还研究了在给定频率下重新启动算法加速的后果。这些新的功能是不经典的原始-对偶方法，使我们能够解决困难的大规模凸优化问题。我们数值说明了卓越的性能的算法的基础上追求，TV正则化最小二乘回归和L1回归问题对国家的最先进的。
2017-06-19 math.OC
Lower and upper bounds of the convergence rate of gradient methods with composite noise in gradient
Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Innopolis University（因诺波利斯大学）；Institute for Information Transmission Problems（信息传输问题研究所）
本文研究了在梯度优化中使用复合噪声的一阶方法的收敛性，提出了一种最优累积绝对误差的算法，并探讨了重启技术、正则化变换和停止准则对不同函数类的影响。
2026-03-12 math.OC
One-Point Feedback for Composite Optimization with Applications to Distributed and Federated Learning
本文针对光滑部分有梯度、非光滑部分仅有单点零阶信息的复合优化问题，提出基于滑动算法的新方法以分离预言机复杂度并减少梯度计算，并验证了其在分布式优化与联邦学习中的有效性。
2025-05-10 cs.DC math.OC
On Composite Foster Functions for a Class of Singularly Perturbed Stochastic Hybrid Inclusions
本文提出了一类复合Foster函数用于分析退化扰动随机混合系统的稳定性与复发性质，通过慢子系统和快子系统的相关函数来验证稳定性与复发。
2025-12-28 math.OC
Tight Complexity Bounds for Optimizing Composite Objectives
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供严格的上限和下界的复杂性最小化的平均$m$凸函数使用梯度和prox预言的组件功能。我们发现确定性与随机优化的复杂性之间存在显着的差距。对于光滑函数，我们表明，加速梯度下降（AGD）和SVRG的加速变体分别是最佳的确定性和随机设置，梯度预言是足够的最佳速率。对于非光滑函数，有接近预言机的访问降低了复杂性，我们提出了最佳的方法的基础上平滑，提高了方法，只使用梯度访问。
2019-04-04 cs.LG math.OC stat.ML
Composite Online-to-Nonconvex Conversion with Optimal Oracle Complexity
The University of Tokyo（东京大学）；The University of Osaka（大阪大学）；RIKEN（理化学研究所）
针对随机非光滑非凸复合优化问题，扩展在线到非凸转换框架，提出新的在线学习器损失，得到的算法在一阶或零阶查询下达到最优神谕复杂度，且凸正则项未增加复杂度。
2026-10-09 cs.LG math.OC stat.ML
An optimal first-order method for smooth and strongly convex composite optimization and its stationary limit
Inria, D.I. ENS, CNRS, PSL Research University（法国国家信息与自动化研究所，高等师范学院信息系，法国国家科学研究中心，巴黎文理研究大学）；CMAP, École Polytechnique, Institut Polytechnique de Paris（综合理工学院数学与计算机应用中心，巴黎理工学院）
提出Prox-ITEM，一种用于最小化光滑强凸函数f与凸下半连续函数g之和的最优近端梯度方法，证明其距离收敛率达到极小极大最优，并给出其平稳极限Prox-TMM。
2026-08-25 math.OC
Lower Complexity Bounds of First-order Methods for Affinely Constrained Composite Non-convex Problems
针对带线性约束的复合非凸非光滑优化，本文在两种一阶预言机下建立FOMs生成ε稳定点的复杂度下界，揭示非光滑凸正则项增加求解难度，并证明其中一个下界紧。
2025-05-13 math.OC
A Smooth Primal-Dual Optimization Framework for Nonsmooth Composite Convex Minimization
我们提出了一个新的一阶原始-对偶优化框架的凸优化模板具有广泛的应用。我们的优化算法具有最优收敛保证下的各种常见的结构假设的问题模板。我们的分析依赖于一个新的组合的三个经典的想法适用于原始对偶间隙函数：平滑，加速，同伦。由于新的方法的算法实现了最佳的已知的收敛速度的结果，特别是当模板只包括非光滑函数。我们还概述了一个重启策略的加速显着提高实际性能。我们展示了增广拉格朗日方法的关系，并展示了如何利用强凸目标与严格的收敛速度保证。我们提供了两个例子的数值证据，并说明新的方法可以优于国家的最先进的，包括Chambolle-Pock，和交替方向法的乘法器算法。
2018-02-22 math.OC
Optimal Algorithms for Convex Nested Stochastic Composite Optimization
Georgia Institute of Technology（佐治亚理工学院）
近年来，凸嵌套随机复合优化算法（NSCO）因其在强化学习和风险规避优化中的应用而受到广泛关注。当前的NSCO算法具有比用于更简单的随机复合最优化问题（例如，光滑函数和非光滑函数之和）。此外，它们要求所有的外层函数是光滑的，这是不满足一些重要的应用。这些差异促使我们问：“嵌套组合是否使随机最优化在Oracle复杂性的顺序方面更加困难？”“在本文中，我们回答了这个问题，通过开发顺序最优算法的凸NSCO问题，从任意组成的光滑，结构化的非光滑和一般的非光滑层函数。当所有外层函数光滑时，我们提出了一种随机序列对偶（SSD）方法，当问题是非强（强）凸时，可以获得$\mathcal{O}(1/ε^2)$（$\mathcal{O}(1/ε)$）的预言复杂度。当存在结构化非光滑或一般非光滑外层函数时，我们提出了一种非光滑随机序列对偶（nSSD）方法，使预言复杂度达到$\mathcal{O}(1/ε^2)$ .我们提供了一个较低的复杂性约束，后者$\mathcal{O}(1/ε^2)$复杂性是不可改进的，即使在一个强凸设置。所有这些复杂性结果在文献中似乎是新的，他们表明，凸NSCO问题具有相同的顺序的预言复杂性，除了强凸和外非光滑的问题没有嵌套的组合。
2022-06-21 cs.AI cs.LG math.OC
Variable Smoothing for Weakly Convex Problems with Non-Euclidean Directions
DAVID Lab, UVSQ（UVSQ大学DAVID实验室）
本文提出MELMO算法，针对非欧几里得方向下的弱凸复合优化问题，建立多组收敛界，在稀疏低秩矩阵分解和图像去噪任务上表现具竞争力。
2026-08-06 math.OC
Momentum Schemes with Stochastic Variance Reduction for Nonconvex Composite Optimization
最近提出了两个新的随机方差缩减算法SARAH和SPIDER，SPIDER已被证明可以实现非凸优化的近似最优梯度预言复杂度。然而，SPIDER的理论优势并没有导致SVRG的实际性能的实质性改善。为了解决这个问题，动量技术可以是一个很好的候选人，以提高性能的SPIDER。然而，现有的动量方案中使用的方差减少算法是专为凸优化，并不适用于非凸的情况。在本文中，我们开发了新的动量计划与灵活的系数设置，以加速SPIDER的非凸和非光滑的复合优化，并表明，由此产生的算法实现了接近最优的梯度预言复杂性，实现了广义一阶平稳条件。此外，我们将我们的算法推广到在线非凸和非光滑最优化，并建立了一个预言的复杂性结果，匹配国家的最先进的。我们广泛的实验表明，我们提出的算法优于其他随机方差减少算法。
2019-05-15 cs.LG math.OC
Projection-Free Non-Smooth Convex Programming
本文提出无投影的非光滑凸优化算法，通过乐观原始-对偶更新和局部线性优化预言机，分别对Lipschitz和强凸目标实现最优误差界，并消除对数因子。
2026-09-15 math.OC
Optimal Oracle Complexity for Finite-Sum Monotone Inclusions
本文提出一种切换正则化方法，在均方Lipschitz条件下实现有限和单调包含问题的最优预言机复杂度，达到$\mathcal{O}(n+\sqrt{n}LR/\varepsilon)$的期望分量评估次数，并证明其匹配下界。
2026-10-06 cs.LG math.OC
A Unified Zeroth-Order Proximal Newton-Type Framework for Composite Optimization
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种无导数的近似牛顿型算法框架，用于解决复合优化问题，该问题可表示为黑盒函数与已知正则化项之和。研究建立了在非凸和强凸情况下，算法达到ε-最优解的迭代和oracle复杂度界，并基于Dennis--Moré条件证明了局部R超线性收敛性。
2026-05-07 math.OC
Inexact Zeroth-Order Nonsmooth and Nonconvex Stochastic Composite Optimization and Applications
本文提出了一种近似零阶方法，用于解决非光滑非凸随机复合优化问题，并展示了其在广泛问题中的应用，超越了现有方法的局限性。
2025-12-10 math.OC
Optimal Decentralized Distributed Algorithms for Stochastic Convex Optimization
我们考虑具有仿射约束的随机凸优化问题，并开发了几种使用原始方法或对偶方法来求解该问题的方法。在原始情况下，我们使用特殊的惩罚技术使初始问题更方便地使用最优化方法。对于凸光滑和强凸光滑目标函数，我们提出了基于不精确邻近步长的相似三角形算法来求解该问题，对于非光滑情况，我们提出了基于梯度滑动算法来求解该问题。我们证明了在光滑凸的情况下，确定性的一阶预言的收敛保证。本文提出并分析了三种新的处理仿射约束随机凸优化问题的方法：SPDSTM，R-RRMA-AC-SA $^2$，和SSTM_sc。SPDSTM是STM的随机原始-对偶修正，它被应用于原泛函在球上强凸且Lipschitz连续的对偶问题。我们将Dvinskikh & Gasnikov（2019）的结果扩展到只有有偏随机预言可用的情况。R-RRMA-AC-SA $^2$是基于Foster等人（2019）的RRMA-AC-SA $^2$重新启动的加速随机方法，SSTM_sc只是强凸问题的随机STM。这两种方法都适用于对偶问题时，原始功能是强凸，光滑，Lipschitz连续的一些球，并使用随机对偶一阶预言。我们分别对无偏和有偏的预言机进行了收敛性分析。最后，我们应用上述所有的结果和方法来解决分散的分布式最优化问题，并讨论所获得的结果的最优性方面的通信轮数和每节点的Oracle调用的数量。
2020-11-11 math.OC
Fast Stochastic Composite Minimization and an Accelerated Frank-Wolfe Algorithm under Parallelization
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Google Research（谷歌研究院）
本文针对随机复合凸优化问题提出一种Bregman型加速算法，并基于该框架设计出在并行化下实现加速的Frank-Wolfe变体，以O(1/√ε)次迭代达到ε原始-对偶间隙。
2024-11-25 cs.LG math.OC
Asynchronous Variance-reduced Block Schemes for Composite Nonconvex Stochastic Optimization: Block-specific Steplengths and Adapted Batch-sizes
我们考虑的期望值坐标明智$L_i$光滑非凸函数和非光滑块可分凸正则化的总和的最小化。我们提出了一个异步方差减少算法，在每次迭代中，一个单一的块被随机选择更新其估计由一个邻近的可变样本大小的随机梯度计划，而其余的块保持不变。值得注意的是，每个块采用根据其块特定的Lipschitz常数的步长，而块特定的批量大小是以随着该块被选择的（随机）次数以几何或多项式速率增长的速率更新的随机变量。我们证明了几乎每个样本路径的每个极限点都是平稳点，并建立了遍历非渐近速率$\mathcal{O}(1/K) $。迭代和预言复杂性，以获得$ε$ -平稳点被证明是$\mathcal{O}(1/ε)$和$\mathcal{O}(1/ε^2)$，分别。进一步证明了在$ μ$ -proximal Polyak-Proximojasiewicz（PL）条件下，当批量以几何速率增加时，次优性以{ \em几何}速率减小，而获得$ε$ -最优解的迭代和预言复杂性分别被证明为$\mathcal{O}( (L_{\rm max}/μ) \ln(1/ε))$和$\mathcal{O}\left((L_{\rm ave}/μ) (1/ε)^{1+c} \right)$ with $c\geq 0$.在追求不太积极的采样率，当批量大小增加的次数$v \geq 1$的多项式率，次优衰减在相应的多项式率，而迭代和预言复杂性，以获得$ε…
2020-02-19 math.OC
First-order Methods for Affinely Constrained Composite Non-convex Non-smooth Problems: Lower Complexity Bound and Near-optimal Methods
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Iowa（爱荷华大学）
本文针对带线性约束的复合非凸非光滑优化，建立两类一阶预言机下的复杂度下界，并提出仅差对数因子即匹配下界的近最优IPG方法。
2023-07-14 cs.LG math.OC
Lower Complexity Bounds for Minimizing Regularized Functions
本文建立了极小化正则化凸函数的一阶方法的预言复杂度的下界。我们考虑目标的复合表示。光滑部分具有$ν\in [0, 1]$度的Hölder连续梯度，并且可以通过黑盒本地oracle访问。合成部分是规范的幂。我们证明了在大规模设置为欧几里德范数的一阶方法的最佳可能的速度是$O(k^{- p(1 + 3ν) / (2(p - 1 - ν))})$的顺序为功能性残留，其中$k$是迭代计数器和$p$是正则化的权力。我们的公式涵盖了几种情况，包括通过一阶梯度法计算立方正则化牛顿步，在这种情况下，速率变为$O(k^{-6})$。它可以通过快速梯度法来实现。因此，我们的结果证明后一种速率是最优的。我们还发现了非欧几里德规范的复杂性下界。
2022-02-09 math.OC
SpiderBoost and Momentum: Faster Stochastic Variance Reduction Algorithms
The Ohio State University（俄亥俄州立大学）；The University of Utah（犹他大学）；Duke University（杜克大学）
SARAH和SPIDER是最近发展起来的两种随机方差缩减算法，SPIDER在光滑非凸优化问题上具有接近最优的一阶预言复杂度。然而，SPIDER使用了一个依赖于精度的步长，这在实践中减慢了收敛速度，并且不能处理涉及非光滑正则化器的目标函数。在本文中，我们提出了SpiderBoost作为一个改进的计划，它允许使用更大的常数级步长，同时保持相同的接近最优的预言复杂度，并可以扩展与邻近映射处理复合优化（这是非光滑和非凸）与可证明的收敛保证。特别是，我们表明，近端SpiderBoost实现了复合非凸优化的$\mathcal{O}(\min\{n^{1/2}ε^{-2},ε^{-3}\})$的预言复杂性，提高了$\mathcal{O}(\min\{n^{1/6},ε^{-1/3}\})$的因子的国家的最先进的结果。我们进一步开发了一种新的动量方案来加速复合优化的SpiderBoost，该方案在理论上实现了接近最优的预言复杂度，并在实验中得到了实质性的改善。
2020-05-15 cs.LG math.OC stat.ML
Accelerated Algorithms for Stochastic Monotone Inclusions with Fixed Queries
Samsung Electronics（三星电子）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对固定查询次数的随机单调包含问题，提出VRAF和RRSEG两种加速算法，分别实现最优方差依赖和近乎最优复杂度，并证明确定性项下界不可达。
2026-09-29 math.OC
Constrained and Composite Sampling via Proximal Sampler
Department of Computer Science, University of Rochester（计算机科学系，罗切斯特大学）；Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)（数据科学与人工智能研究所（GIDS-AI））
本文提出通过近端采样器解决约束和复合采样问题，利用epigraph变换和切割平面方法实现高效采样，无需了解约束集几何结构。
2026-02-16 cs.DS cs.LG math.OC
Accelerated Cyclic Coordinate Dual Averaging with Extrapolation for Composite Convex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
以循环的方式利用部分一阶信息可以说是获得可扩展的一阶方法的最自然的策略。然而，尽管它们在实践中广泛使用，但从理论角度来看，循环方案远不如它们的随机对应方案那么容易理解。最近成功地分析了广义变分不等式的外推循环方案的启发，我们提出了一个加速循环坐标对偶平均与外推（A-CODER）方法的复合凸优化，其中目标函数可以表示为一个光滑的凸函数可通过梯度预言和一个凸的，可能是非光滑的，通过一个接近预言的功能。我们表明，A-编码器达到最佳的收敛速度与改进的依赖于块的数量相比，以前的工作。此外，对于目标函数的平滑分量可以用有限和形式表示的设置，我们引入了具有最先进的复杂性保证的方差减小的A-编码器，VR-A-编码器变体。最后，我们通过数值实验证明了我们的算法的有效性。
2023-03-28 cs.LG math.OC
Decentralized Saddle-Point Problems with Different Constants of Strong Convexity and Strong Concavity
大规模鞍点问题出现在机器学习任务中，如GANs和具有仿射约束的线性模型。本文研究了具有强凸-强凹光滑目标的分布鞍点问题，其中复合项的强凸性和强凸性参数（对应于最小变量和最大变量）以及双线性鞍点部分不同.我们考虑两种类型的一阶预言机：确定性（回报梯度）和随机（回报无偏随机梯度）。我们的方法在这两种情况下都有效，并在Oracle调用之间采取了几个共识步骤。
2022-10-03 math.OC
Value-Function Root-Finding Algorithms for Composite Convex Simple Bilevel Optimization
Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Nankai University（南开大学）
针对复合凸简单双层优化问题，提出基于拉格朗日对偶的一阶谕示值函数评估方法，结合二分法与带保护牛顿型方法求(ε,ε)-解，复杂度达$\tilde{\u2112}(ε^{-1/2})$，匹配现有近最优结果。
2026-08-28 math.OC
HPR-QP: A dual Halpern Peaceman-Rachford method for solving large-scale convex composite quadratic programming
本文提出 HPR-QP 方法，通过受限 Wolfe 对偶、对称 Gauss-Seidel 更新、值域空间邻近算子及自适应重启策略，在 GPU 上显著提升大规模凸复合二次规划的求解速度与可扩展性。
2025-07-03 math.OC
PANOC-lite: A simpler and more efficient algorithm for composite minimization
KU Leuven（鲁汶大学）；Kyushu University（九州大学）
本文提出了一种简单高效的线搜索方法，用于加速邻近梯度迭代，通过快速牛顿型方向实现复合最小化。算法基于简单操作，仅需标准邻近梯度 oracle，且在非光滑项为凸函数时有效。改进包括更低成本的回溯过程和更大的步长范围，证明了全局子序列收敛性和局部超线性收敛性。
2026-04-16 math.OC
An accelerated rearrangement method for two-phase composite optimization
Claremont McKenna College（克莱蒙特梅肯纳学院）；University of Dundee（邓迪大学）；University of The Witwatersrand（威特沃特斯兰德大学）；University of Utah（犹他大学）
本文提出了一种加速重排方法用于解决两相复合优化问题，通过引入动量加速机制和重启变体，实现了更高效的收敛性。
2026-02-24 cs.NA math.AP math.NA
