Minimal-Variance Distributed Deadline Scheduling
许多现代的服务器可以动态地调整其服务容量以匹配传入的工作负载。然而，与此同时，服务能力的不可预测性和不稳定性往往造成业务和基础设施费用。在本文中，我们寻求最佳分布式算法的特点，最大限度地提高可预测性，稳定性，或两者兼而有之时，调度作业的最后期限。具体来说，我们表明，精确调度最大限度地减少了固定的平均值和方差的服务能力，严格的需求和截止日期的要求。对于更一般的设置，我们的特点是最小方差分布式政策的软需求的要求，软期限的要求，或两者兼而有之。最佳分布式政策的性能相比，最佳的集中式政策，通过推导出封闭形式的界限，并通过测试集中式和分布式算法，使用实际数据从加州理工学院的电动汽车充电设施和许多件的合成数据从不同的到达分布。此外，我们推导出的Pareto-最优性条件的分布式政策，平衡方差和均方的服务能力。最后，我们讨论了一个可扩展的部分集中式算法，使用集中的信息，以提高性能和一种方法来处理缺失的服务需求信息。
2020-05-10 math.OC
Variance Reduced methods for Non-convex Composition Optimization
本文研究了含有大量分支函数的内外有限和函数形式的非凸复合优化问题。这个问题出现在一些重要的应用中，如非线性嵌入和强化学习。虽然现有的方法，如随机梯度下降（SGD）和随机方差降低梯度（SVRG）下降可以应用于解决这个问题，他们的查询复杂度往往很高，特别是当内部组件函数的数量很大。在本文中，我们应用方差减少技术，推导出两个方差减少算法，显着提高查询的复杂性，如果内部组件功能的数量是大的。据我们所知，这是第一个工作，建立了非凸随机组合的查询复杂性分析。实验验证了所提出的算法和理论分析。
2017-11-13 math.OC stat.ML
A Proximal Stochastic Gradient Method with Adaptive Step Size and Variance Reduction for Convex Composite Optimization
School of Mathematics and Statistics, Chongqing University of Posts and Telecommunications（重庆邮电大学数学与统计学院）
本文提出一种近端随机梯度算法（PSGA），通过引入方差减少技术和自适应步长策略，解决复合优化问题。证明了在光滑凸函数Lipschitz连续时方法的强收敛性，并得到O(√(1/k))的收敛速率。
2026-04-03 math.OC
On variance reduction for stochastic smooth convex optimization with multiplicative noise
提出了一种求解重尾分布（有限二阶矩）随机优化问题的动态采样随机逼近（SA）方法。目标函数是光滑凸函数与凸正则化子的和。通常，假设Oracle在其方差（OUBV）上具有上限$σ^2$。因此，我们假设一个带有\emph{multiplicative noise}的oracle。这种很少涉及的设置更具侵略性，但现实，其中方差可能没有限制。我们的方法实现了最优的迭代复杂度和（接近）最优的预言复杂度。对于光滑的凸类，我们使用一个加速SA方法一la FISTA实现，给定公差$ε>0$，最佳的迭代复杂度的$\mathcal{O}(ε^{-\frac{1}{2}})$与接近最佳的预言复杂度$\mathcal{O}(ε^{-2})[\ln(ε^{-\frac{1}{2}})]^2$。这改进了Ghadimi和Lan [ \emph{Math. Program.}，156：59-99，2016]，其中假设OUBV。对于强凸类，我们的方法达到了$\mathcal{O}(\ln(ε^{-1}))$的最优迭代复杂度和$\mathcal{O}(ε^{-1})$的最优预言复杂度.这改进了Byrd等人[ \emph{Math. Program.}，134：127-155，2012]，其中假设OUBV。在方差方面，我们的边界是局部的：它们取决于在解$x^*$和每单位距离乘法方差$σ^2_L$处的方差$σ(x^*)^2…
2017-05-24 math.OC
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度（SVRG）下降算法的收敛速度的理论分析。最近的研究表明，基于异步随机梯度下降（SGD）算法的方差减少收敛于凸问题的线性收敛速度。然而，目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中，我们研究了SVRG的两个异步并行实现：一个是在分布式存储系统上，另一个是在共享存储系统上。我们提供的理论分析，这两种算法可以获得$O(1/T)$的收敛速度，和线性加速是可以实现的，如果工人的数量是上界。由于参考问题，V1、V2、V3已被撤回，请参考最新版本V4。
2016-12-20 cs.LG math.OC
Accelerated Zeroth-order Method for Non-Smooth Stochastic Convex Optimization Problem with Infinite Variance
本文针对无限噪声方差下的非光滑随机凸优化问题，将改进截断的加速梯度方法适配到两点零阶 oracle，并扩展分批技术以处理无限方差，从而突破有限方差假设的限制。
2023-10-28 math.OC
A Stochastic Variance Reduced Primal Dual Fixed Point Method For Linearly Constrained Separable Optimization
本文将随机方差约化梯度（SVRG）方法与文献[7]中提出的原始对偶不动点方法（PDFP）结合起来求解两个凸函数之和，其中一个凸函数是线性复合函数。这类问题通常出现在稀疏信号和图像重建中。所提出的SVRG-PDFP可以被视为Prox-SVRG [37]的推广，最初设计用于两个凸函数的和的最小化。基于一些标准的假设，我们提出了两个变体，一个是强凸的目标函数，另一个是一般凸的情况下。收敛性分析表明，对于一般凸目标函数，SVRG-PDFP的收敛速度为O（1/k）（k为迭代次数），对于k强凸情形，SVRG-PDFP的收敛速度为线性.机器学习和CT图像重建的数值例子表明了算法的有效性。
2020-07-23 math.OC
Convergence rate of distributed Dykstra's algorithm with sets defined as level sets of convex functions
当某些集合被定义为凸函数的水平集时，我们研究了分布式Dykstra算法的收敛速度。我们进行了数值实验与理论结果进行了比较。
2018-09-25 math.OC
Variance Reduced Distributed Non-Convex Optimization Using Matrix Stepsizes
针对非凸优化问题，本文提出两种融合MARINA、DASHA方法的det-CGD方差缩减变体，经理论与实验验证，其迭代与通信复杂度均优于原有算法。
2024-10-10 math.OC
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research（谷歌研究院）；Boston University（波士顿大学）
近年来，方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者，它为提高随机梯度下降的收敛速度提供了第一个算法。然而，方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”，以实现其改进的结果。我们提出了一种新的算法，风暴，不需要任何批次，并利用自适应学习率，使更简单的实现和更少的超参数调整。我们的技术，用于删除批次使用一个变种的动量，以实现非凸优化的方差减少。在平滑损失$F$上，STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$，匹配最优速率，但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization
EPFL（洛桑联邦理工学院）
我们提出了一种自适应方差缩减方法，称为AdaSpider，用于最小化具有有限和结构的$L$ -光滑非凸函数。本质上，AdaSpider结合了AdaGrad启发的[Duchi等人，2011，McMahan & Streeter，2010]，但是在[Fang等人，2018年]。据我们所知，Adaspider是第一个无参数非凸方差缩减方法，因为它不需要问题相关参数的知识，例如平滑常数$L$，目标精度$ε$或梯度范数的任何界限。在这样做的时候，我们能够计算一个$ε$ -固定点与$\tilde{O}\left(n + \sqrt{n}/ε^2\right)$ oracle-calls，它匹配相应的下界的对数因子。
2022-11-03 cs.LG math.OC
Stochastic Distributed Learning with Gradient Quantization and Variance Reduction
我们考虑分布式优化，其中目标函数分布在不同的设备中，每个设备向中央服务器发送增量模型更新。为了缓解通信瓶颈，最近的工作提出了各种方案来压缩（例如，稀疏化或稀疏化）梯度，从而引入可能减慢收敛的附加方差$ω\geq 1$。对于条件数$κ$分布在$n$机上的强凸函数，我们（i）给出了一个以$\mathcal{O}((κ+ κ\fracω{n} + ω)$ $\log (1/ε))$步收敛到最优解邻域的方案.对于目标函数的有限和结构，每个工人有少于$m$组件，我们（ii）提出了新的方差减少计划，收敛在$\mathcal{O}((κ+ κ\fracω{n} + ω+ m)\log(1/ε))$步骤任意精度$ε> 0$。这些是实现任意量化更新的线性收敛的第一种方法。我们还（iii）分析了弱凸和非凸的情况下，（iv）在实验中验证，我们的新的方差减少计划比基线更有效。
2019-04-10 math.OC
A Zeroth-Order Variance-Reduced Method for Decentralized Stochastic Non-convex Optimization
本文提出DZOVR算法，结合两点梯度估计、动量方差缩减与梯度跟踪，首次在去中心化随机非凸优化中实现O(dn^{-1}ε^{-3})采样复杂度，并具有网络无关性和线性加速特性。
2023-10-29 math.OC
A unified variance-reduced accelerated gradient method for convex optimization
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
我们提出了一种新的随机增量梯度算法，即方差减少加速梯度（Varag），有限和优化。配备了一个统一的步长政策，调整自己的值的条件数，瓦拉格表现出统一的最优收敛速度，直接解决光滑凸有限和问题，而不管他们的强凸性。此外，Varag是第一个加速的随机增量梯度法，受益于数据保真度项的强凸性，以实现最佳的线性收敛。它还建立了一个最佳的线性收敛速率，解决了广泛的一类问题，只满足一定的误差界条件，而不是强凸性。瓦拉格也可以扩展到解决随机有限和问题。
2019-10-30 cs.DS cs.LG math.OC
Variance Reduction for Faster Non-Convex Optimization
Princeton University（普林斯顿大学）
本文研究了非凸优化中有效到达稳定点的基本问题。与凸情况相反，在这个基本问题的长期历史中，关于一阶非凸优化的唯一已知的理论结果仍然是对于光滑目标在$O(1/\varepsilon)$迭代中收敛的全梯度下降，以及对于作为光滑函数之和的目标在$O(1/\varepsilon^2)$迭代中收敛的随机梯度下降。我们提供了这一研究领域的第一个改进。我们的结果是基于最近引入凸优化的方差减少技巧，以及一个全新的适合于非凸优化的方差减少方差分析。对于光滑函数和的目标，我们的一阶小批量随机方法以$O(1/\varepsilon)$速率收敛，并且比$Ω(n^{1/3})$的全梯度下降快。我们证明了我们的方法的有效性经验风险最小化与非凸损失函数和训练神经网络。
2016-08-25 cs.DS cs.LG cs.NE
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney（悉尼大学）
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法，包括R-SVRG和R-SRG/R-SPIDER。我们表明，这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下，有限和在线设置。因此，我们还提供了更简单的收敛性分析R-SVRG和有限和设置下，提高R-SRG的复杂性界限。具体来说，我们证明了R-SRG实现了相同的接近最优的复杂性，R-SPIDER，而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University（浙江大学）；Purdue University（普渡大学）
本文提出了一种新的家庭的原始对偶为基础的分布式算法，光滑，凸，多智能体优化网络，只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析，他们的收敛速度，测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速，速率被证明是最佳的，在这个意义上，它匹配（根据建议的度量）现有的复杂性下界的分布式算法适用于这样一类问题，只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明，该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
Distributed Inexact Successive Convex Approximation ADMM: Analysis-Part I
在这两部分的工作中，我们提出了一个算法框架来解决非凸问题，其目标函数是一些光滑的分量函数加上凸（可能非光滑）或/和光滑（可能非凸）正则化函数的总和。该算法结合了现有的几种方法，如交替方向乘法器（ADMM），连续凸逼近（SCA），分布式和异步算法，不精确的梯度法的想法。然而，不同于现有的方法，所提出的框架是足够灵活的，以纳入一类非凸目标函数，允许分布式操作与不融合中心，并包括方差减少的方法作为特殊情况。值得注意的是，所提出的算法是强大的随机，确定性和对抗性来源所产生的不确定性。本文的第一部分在非常温和的假设下开发了算法的两个变体，并建立了一阶收敛速度保证。这里开发的证明允许一般的错误和延迟，为不同的方差减少，异步和随机实现铺平了道路，在第二部分中概述和评估。
2019-07-21 cs.DC math.OC stat.ML
Accelerated Primal-Dual Algorithm for Distributed Non-convex Optimization
本文研究了非凸问题分布式优化算法的加速收敛问题。我们提出了一个分布式的原始-对偶随机梯度下降~（SGD）配备了“强力球”方法来加速。我们表明，该算法实现了一般光滑（可能非凸）费用函数的线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$。我们通过在MNIST数据集上训练两层全连接神经网络和卷积神经网络，与最先进的分布式SGD算法和集中式SGD算法进行比较，通过数值实验证明了该算法的效率。
2021-10-13 math.OC
Distributed robust adaptive equilibrium computation for generalized convex games
本文考虑了一类广义凸对策，其中每个局中人与凸目标函数、凸不等式约束和凸约束集相关联。参与者的目标是通过与相邻参与者的通信来计算纳什均衡。我们考虑的特殊挑战是，相关的球员的组件功能是未知的先验。研究了两种分布式计算算法，分析了它们在数据传输延迟和网络拓扑动态变化情况下的收敛性质。通过IEEE 30节点测试系统的需求响应验证了算法的性能。我们的技术工具集成了凸分析，变分不等式和同时扰动随机逼近。
2015-09-22 math.OC
A Gradient-Free Distributed Optimization Method for Convex Sum of Non-Convex Cost Functions
本文提出了一种特殊类型的分布式最优化问题，其中代理的局部费用函数（即，全局费用函数）是凸的，但是每个个体可以是非凸的。不同于大多数分布式优化算法利用梯度的优点，考虑的问题是非光滑的，梯度信息是未知的代理。为了解决这一问题，引入了高斯平滑技术，并提出了一种无梯度方法。我们证明了每个代理的最优解近似收敛到最优解的概率为1和平均值，并提供了一个上界的最优性差距，其特征在于之间的差异的函数值的最优解和最优值。通过数值例子和在隐私增强中的应用，证明了该算法的性能。
2021-08-13 math.OC
One-Point Residual Feedback Algorithms for Distributed Online Convex and Non-convex Optimization
针对局部目标为凸或非凸的分布式在线优化问题，提出基于单点残差反馈梯度估计的分布式算法，推导其次线性遗憾界，并通过数值算例验证算法有效性。
2025-03-21 cs.SY eess.SY math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题，该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和，这些局部目标函数由可微的（可能是非凸的）费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题，提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识，收敛到一组临界点的收敛速度$O(1/T)$。最后，通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Efficient Distributed SGD with Variance Reduction
University of Maryland, College Park（马里兰大学学院市分校）
随机梯度下降（SGD）已经成为在大规模数据集上训练机器学习模型的最流行的优化方法之一。然而，SGD具有两个主要缺点：（i）噪声梯度更新具有高方差，这在迭代接近最优时减慢了收敛，以及（ii）SGD在分布式设置中的扩展性差，通常随着工人数量的增加而经历快速降低的边际效益。在本文中，我们提出了一种高度并行的方法，CentralVR，它使用错误校正来减少SGD梯度更新的方差，并随着工作节点的数量线性扩展。CentralVR具有较低的迭代复杂度，可证明的线性收敛速度，并在大规模数据集上表现出高达数百个核心的线性性能增益。我们在各种模型和数据集上将CentralVR与最先进的并行随机优化方法进行了比较，发现我们提出的方法比其他SGD变体具有更强的扩展性。
2017-04-07 cs.DC cs.LG math.OC
Achieving Social Optimum in Non-convex Cooperative Aggregative Games: A Distributed Stochastic Annealing Approach
本文设计了一种求解非凸合作聚集对策的分布式随机退火算法，该算法的费用函数不仅依赖于Agent自身的决策变量，而且依赖于Agent决策变量之和。为了寻求合作聚集博弈的社会最优解，提出了一种分布式随机退火算法，其中局部费用函数是非凸的，Agent之间的通信拓扑是时变的。进一步分析了该算法对社会最优解的弱收敛性。 算例验证了算法的有效性.
2022-04-02 math.OC
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题，分析了随机复合方差约化梯度（SCVRG）方法. SCVRG及其变体最近因其优于随机成分梯度下降（SCGD）而引起了广泛关注;但理论分析仅假设目标的强凸性，排除了几个重要的例子，如Lasso，逻辑斯谛回归，主成分分析和深度神经网络。相比之下，我们证明了非渐近增量的一阶预言（IFO）复杂性SCVRG或其新的变种非光滑凸组合优化，并表明它们是可证明的速度比SCGD和梯度下降。更具体地说，我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$，提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降（AGD）。实验结果证实，我们的方法优于几个现有的方法，例如，稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Recent theoretical advances in decentralized distributed convex optimization
近年来，分散分布凸优化理论取得了重大进展。已经出现了通信轮和oracle调用的下界，以及达到这两个界限的方法。在本文中，我们专注于如何解释这些结果的基础上的非分布式设置的最佳算法。特别是，我们提供了我们最近的结果，这些结果尚未发表，只能在arXiv预印本中找到详细信息。
2021-11-29 math.OC
Sensitivity-Based Distributed Programming for Non-Convex Optimization
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）
本文提出了一种基于灵敏度的分布式编程方法，用于解决大规模非线性规划问题，通过邻居间通信和并行计算实现非凸问题的局部收敛性分析。
2026-03-27 math.OC
Distributed coordination for nonsmooth convex optimization via saddle-point dynamics
本文考虑连续时间协调算法的代理网络，寻求集体解决一般类的非光滑凸优化问题与固有的分布式结构。我们的算法设计建立在非光滑凸规划的解作为增广拉格朗日量的鞍点的特征上。我们表明，相关的鞍点动力学是渐近正确的，但在一般情况下，不分布，因为存在一个全球罚参数。这促使设计一个不连续的鞍点样算法，享有相同的收敛性能，是完全服从分布式实现。我们的收敛性证明依赖于一个新的全球李雅普诺夫函数的鞍点动态识别。这种新颖性也使我们能够确定温和的凸性和正则性条件的目标函数，保证指数收敛速度的凸优化问题的等式约束的算法。各种例子说明了我们的讨论。
2017-05-16 math.OC
Distributed Convex Optimization With Coupling Constraints Over Time-Varying Directed Graphs
研究了时变多智能体网络上的分布式凸优化问题，其中每个智能体都有自己的决策变量，这些决策变量的设置应使其个体目标最小化，且受局部约束和全局耦合等式约束.在有向图上，提出了一种将推和协议与对偶次梯度方法相结合的分布式算法。在凸性假设下，首先建立了原始变量、对偶变量和约束违反的最优性。然后给出了算法的显式收敛速度。最后，通过对经济调度问题的数值实验，验证了算法的有效性。
2018-05-21 math.OC
Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity
UC Berkeley（加州大学伯克利分校）；The University of Iowa（爱荷华大学）；Princeton University（普林斯顿大学）
研究了最小化凸函数平均值的分布式优化算法。这些应用包括统计机器学习中的经验风险最小化问题，其中数据集很大，必须存储在不同的机器上。我们设计了一个分布式的随机方差约简梯度算法，在一定的条件下的条件数，同时实现了最佳的并行运行时间，通信量和通信轮之间的所有分布式一阶方法常数的因素。我们的方法和它的加速扩展也优于现有的分布式算法的轮通信，只要条件数是不是太大的数据在每台机器的大小相比。我们还证明了一个下界的通信轮数广泛的一类分布式一阶方法，包括本文提出的算法。我们表明，我们的加速分布式随机方差降低梯度算法达到这个下界，使它使用最少的通信轮之间的所有分布式一阶算法。
2016-01-06 cs.LG math.OC stat.ML
ALADIN-$α$ -- An open-source MATLAB toolbox for distributed non-convex optimization
本文介绍了一个开源的分布式非凸优化软件ALADIN- $α$。ALADIN- $α$是增广拉格朗日交替方向不精确牛顿（ALADIN）算法的定制变体的MATLAB实现。它的用户界面是方便的非凸分布式优化算法的快速原型。包括最近提出的ALADIN的两级变体的改进版本，使分散的非凸优化与减少信息交换。从不同的应用领域，包括化学工程，机器人和电力系统的例子集合巩固了ALADIN- $α$的潜力。
2021-10-04 cs.DC cs.MA cs.SY
Distributed Optimal Gas-Power Flow Using Convex Optimization and ADMM
提出了一种基于凸优化的分布式算法来求解能量耦合配电系统多时段最优气电潮流。在配气系统侧，非凸Weymouth气体流动方程被转化为二次约束。最优气体流量（OGF）子问题的求解采用迭代二阶锥规划方法，其效率比传统的非线性方法高两个数量级。提出了一种基于凸二次规划的起爆方案，该方案有助于找到高质量的起爆点。在配电系统侧，对非凸支路潮流方程进行凸松弛，最优潮流（OPF）子问题转化为二阶锥规划。径向拓扑保证了紧密性。在分布式算法中，OGF和OPF独立求解，并通过交替方向乘子法（ADMM）协调。数值结果证实了显着增强的计算鲁棒性和效率相比，现有的集中式OGPF方法。
2016-10-15 math.OC
Distributed Event-Triggered Algorithm for Convex Optimization with Coupled Constraints
针对一类具有局部集合约束、等式和不等式约束的凸优化问题，提出了一种基于事件触发机制的分布式原始对偶法.与已有的一些分布式算法的逐步减小的步长，我们的算法使用恒定的步长，并实现了一个精确的收敛到最优解的$O(1/k)$收敛速度一般凸目标函数，其中$k>0$是迭代次数.此外，通过采用事件触发通信机制，该算法可以有效地降低通信成本，而不牺牲收敛速度。最后通过数值算例验证了算法的有效性。
2022-10-26 math.OC
Lower Bounds and Proximally Anchored SGD for Non-Convex Minimization Under Unbounded Variance
School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文研究了非凸优化中无界方差条件下SGD变种的下界，并提出PASTA算法在多种非凸情形下达到最优复杂度。
2026-04-17 cs.LG math.OC
Distributed Convex Optimization for Continuous-Time Dynamics with Time-Varying Cost Function
研究了连续时间多智能体系统的时变分布凸优化问题。控制算法的情况下，单积分器和双积分器的动态设计。在每种情况下，提出了两种基于符号函数的不连续算法来解决问题。然后，在双积分动力学的情况下，两个连续的算法的基础上，分别提出了一个时变和固定的边界层连续近似的signum函数。此外，考虑到代理间碰撞的物理代理，一个分布式的群体跟踪行为的凸优化问题的单积分器和双积分器的动态。
2016-09-06 math.OC
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University（同济大学）
本文研究了协作多智能体强化学习（MARL）中的分布式策略梯度，其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数，现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题，提出了一种具有方差缩减和梯度跟踪的分布式策略梯度，并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后，我们提供了一个上界的均方固定间隙，这取决于迭代次数，小批量的大小，历元的大小，问题的参数，和网络拓扑结构。我们进一步建立了样本和通信复杂性，以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Finding Global Optima in Nonconvex Stochastic Semidefinite Optimization with Variance Reduction
近年来，随机凸半定最优化问题的低秩分解非凸重构方法在效率和可扩展性方面受到了广泛的关注。与原始的凸公式相比，非凸公式通常涉及更少的变量，允许它们扩展到具有数百万变量的场景。然而，它打开了一个新的挑战，在什么条件下，非凸随机算法可以找到有效的全局最优，尽管他们的经验成功的应用。在本文中，我们提供了一个答案，一个随机梯度下降法与方差减少，可以适应于解决非凸的原始凸问题的重组，与\textit{global linear convergence}，即，在约束强凸情形下，在适当的初始选择下，以指数速度收敛到全局最优值。仿真和实际应用的序数嵌入实验研究提供了所提出的算法的有效性。
2018-02-26 math.OC
Convex scalarizations of the mean-variance-skewness-kurtosis problem in portfolio selection
我们考虑多目标均值-方差-偏度-峰度（MVSK）问题的投资组合选择，有和没有卖空和杠杆。此外，我们定义了一个稀疏的MVSK的变体，其中可行的投资组合包含在一个选定的集合类的支持。为了找到MVSK问题的Pareto前沿，我们将MVSK的四个目标线性标化为一个依赖于某个超参数$λ\in Δ^4$的标量值四次多项式$F_λ$。作为我们的主要结果之一，我们确定了一组超参数，$F_λ$是凸的概率单纯形（或立方体）。通过利用标量化的凸性和整齐性，我们可以计算部分Pareto前沿。我们计算一个优化器的标量$F_λ$为每个$λ$在网格采样$Δ^4$。为了查看每个优化器的质量，我们绘制了缩放的投资组合目标值与超参数的关系。这样做，我们揭示了一个子集的优化，提供了一个优越的权衡之间的四个目标MVSK。
2023-02-21 math.OC q-fin.PM
Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach
本文研究了具有局部约束的非光滑凸费用函数和的分布式最优化问题。首先，我们提出了一种新的分布式连续时间投影算法，其中每个代理知道其本地费用函数和本地约束集，约束最优化问题。然后证明了算法中的所有智能体在寻找最优解时都能找到相同的最优解，同时保持状态有界。利用非光滑李雅普诺夫函数对微分包含的稳定性进行了全收敛分析。最后，我们提供了一个数值例子来说明。
2016-11-28 math.OC
Distributed Circumferential Coverage Control in Non-Convex Annulus Environments
School of Automation, China University of Geosciences（中国地质大学自动化学院）；Hubei Key Laboratory of Advanced Control and Intelligent Automation for Complex Systems（复杂系统先进控制与智能自动化湖北省重点实验室）；Engineering Research Center of Intelligent Technology for Geo-Exploration, Ministry of Education（教育部地球探测与智能技术工程研究中心）
本文提出了一种分布式周向覆盖控制方法，通过构建黎曼度量和虚拟分区杆实现非凸环形区域的负载均衡与覆盖控制。
2026-02-06 math.OC
Fenchel Dual Gradient Methods for Distributed Convex Optimization over Time-varying Networks
在现有的大量凸多智能体优化分布式算法中，只有少数算法能保证智能体网络在时变拓扑下的收敛速度，而这又限制了问题的无约束性.出于这一动机，我们开发了一个家庭的分布式Fenchel双梯度法解决约束，强凸，但不一定光滑的多智能体最优化问题随时间变化的无向网络。所提出的算法构造的基础上应用加权梯度法的Fenchel对偶的多智能体最优化问题，并可以实现在一个完全分散的方式。我们表明，所提出的算法驱动所有的代理原始和对偶最优渐近下的最小连通性条件和次线性速率下的标准连通性条件。最后，通过仿真验证了分布式Fenchel对偶梯度法的良好收敛性能.
2018-04-05 math.OC
Improved Rates for Stochastic Variance-Reduced Difference-of-Convex Algorithms
提出DCA-PAGE算法，通过结合DCA与PAGE求解结构化非光滑DC规划，在有限和与在线设置下均实现优于现有SVR DCA方法的梯度计算复杂度，并利用间隙函数在更温和假设下获得收敛保证。
2025-09-15 math.OC
Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization under Infinite Noise Variance
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Davis（加州大学戴维斯分校）
研究了噪声方差为无穷大时的随机凸优化问题。具体地说，当随机梯度是无偏的且具有一致有界的$(1+κ)$阶矩时，对于某些$κ\in (0,1]$，我们根据优化问题的迭代次数、维数和相关的几何参数，量化了具有一类特殊的一致凸镜映射的随机镜像下降算法的收敛速度.有趣的是，该算法不需要任何显式的梯度裁剪或归一化，这已被广泛用于最近的几个经验和理论工作。我们补充我们的收敛结果与信息理论的下限表明，没有其他算法只使用随机一阶预言机可以实现提高利率。我们的研究结果有几个有趣的后果，设计在线/流随机逼近算法的鲁棒统计和机器学习中出现的问题。
2022-02-23 cs.LG math.OC stat.ML
Zero-Gradient-Sum Algorithms for Distributed Convex Optimization: The Continuous-Time Case
University of Oklahoma（俄克拉荷马大学）
针对固定拓扑无向网络上的无约束可分凸优化问题，提出基于李雅普诺夫函数的连续时间分布式零梯度求和算法，保证渐近收敛到全局最优解，并分析了指数收敛速率与网络拓扑、问题特性及算法参数的关系。
2011-09-26 cs.DC cs.SY eess.SY
Convergence Analysis of Noisy Distributed Gradient Descent for Non-convex Optimization -- Saddle Point Escape
University of Melbourne（墨尔本大学）
研究基于共识的分布式梯度下降变体，通过随机扰动局部梯度项使每个智能体以高概率收敛到公共二阶驻点（局部极小点）的邻域，收敛速率与集中式一阶算法相当。
2026-10-08 math.OC
An Enhanced Gradient-Tracking Bound for Distributed Online Stochastic Convex Optimization
在求解分布式在线随机最优化问题时，基于梯度跟踪（GT）的分散方法已成为分散（随机）梯度下降（DSGD）的一种有效可行的替代方法。对GT方法的初步研究表明，GT方法比DSGD方法具有更差的网络依赖率，这与实验结果相矛盾。这一难题最近得到了解决，GT方法的更严格的费率已经建立，这改进了DSGD。在这项工作中，我们建立了更多的增强率的GT方法在线随机凸设置。我们提出了另一种方法来分析GT方法的凸问题和静态图。与以前的分析相比，这种方法使我们能够建立增强的网络依赖率。
2023-01-07 math.OC
An Augmented Lagrangian Coordination-Decomposition Algorithm for Solving Distributed Non-Convex Programs
提出了一种新的增广拉格朗日方法，用于求解分布式框架下具有非线性费用和约束耦合的非凸规划问题。提出的分解算法由两层组成：外层是一个标准的乘子方法，对非线性等式约束进行惩罚，而内层由块坐标下降（BCD）方案组成。基于乘子方法的标准结果和最近的结果在近端正则化BCD技术，它被证明是收敛到一个KKT点的非凸非线性规划下的半代数性假设。数值算例验证了算法的有效性。
2014-07-21 math.OC
An Accelerated Asynchronous Distributed Method for Convex Constrained Optimization Problems
考虑了一类带有局部非线性凸约束的多智能体协作共识最优化问题，其中只有通过边连接的智能体可以直接通信，因此最优共识决策位于这些私有集的交集中.我们开发了一个异步分布式加速原始对偶法来解决所考虑的问题。该计划是第一个异步方法，这类问题的最佳收敛保证，据我们所知。特别是，我们提供了一个最佳的收敛速度的$\mathcal{O(1/K)}$次优，不可行性，共识违反。
2023-02-21 math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Dynamic Regret of Distributed Online Frank-Wolfe Convex Optimization
本文研究了分布式在线凸约束优化问题，在该问题中，多智能体系统中的多个智能体通过与时变网络中的邻居进行通信来协作以最小化全局费用函数。当最优化问题的约束集是高维的、复杂的时，投影运算的计算量往往变得令人望而却步。为了解决这个问题，我们开发了一个分布式的在线Frank-Wolfe优化算法结合梯度跟踪技术。我们严格建立动态遗憾界的建议优化算法为$\mathcal{O}(\sqrt{T(1+H_T)}+D_T)$，这显式地依赖于迭代轮$T$，功能变化$H_T$，和梯度变化$D_T$。最后，在分布式在线岭回归问题的情况下，对理论结果进行了验证和比较。
2023-02-01 math.OC
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文考虑$n$节点网络上的分散随机最优化问题，其中每个节点具有光滑的非凸局部费用函数，网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置，每个节点访问其本地成本仅通过随机一阶预言机，返回一个嘈杂的版本的确切梯度。在这种情况下，我们提出了一种新的单循环分散混合方差减少随机梯度法，称为GT-HSGD，优于现有的方法，在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器，这些估计器在网络上融合以跟踪全局梯度。值得注意的是，GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时，所需的容错$ε$是足够小的，导致相对于集中式最佳在线方差减少的方法，在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
On the Q-linear convergence of Distributed Generalized ADMM under non-strongly convex function components
求解多智能体网络中的最优化问题已成为一个日益重要的问题，其中每个智能体只有部分知识的问题。本文考虑了最小化$n$凸函数和的问题。我们假设每个函数只有一个智能体知道。我们表明，广义分布式ADMM Q-线性收敛到上述最优化问题的解决方案，如果在所有的目标函数是强凸的，但每个代理已知的功能只允许是凸的。建立Q-线性收敛允许跟踪语句，如果仅保证R-线性收敛，则不能进行跟踪语句。此外，我们建立了广义分布ADMM和P-EXTRA之间的等价性的混合矩阵的子集。这种等价性在P-EXTRA的收敛性方面产生了见解，当过冲以加速收敛时。
2018-05-04 math.OC
Two-timescale EXTRA for Distributed Smooth Non-convex Optimization
本文针对光滑非凸分布式优化问题，提出引入双步长的双时间尺度EXTRA算法，通过Lyapunov分析证明其到共识一阶稳定点的次线性收敛，并给出离线参数选择方法及数值验证。
2025-09-21 math.OC
