Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression
Carnegie Mellon University（卡内基梅隆大学）
本文首次研究了在带有通信压缩的去中心化非凸优化中梯度裁剪的作用，提出PORTER框架及其两种变体，在无需梯度有界假设下证明了收敛性并分析了收敛速率、压缩比、网络连通性与隐私间的权衡。
2023-05-17 cs.LG math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化，我们专注于分布式随机梯度下降（D-SGD）-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证，并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化，我们讨论了基于退火的方法，其中缓慢衰减的噪声被添加到D-SGD。条件下，收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
A Primal-Dual SGD Algorithm for Distributed Nonconvex Optimization
考虑了利用局部信息交换极小化由多个$n$局部费用函数之和构成的全局费用函数的分布式非凸最优化问题。这个问题是许多具有数据并行性的机器学习技术的重要组成部分，例如深度学习和联邦学习。本文提出了一种分布式的原始-对偶随机梯度下降（SGD）算法，适用于任意连接的通信网络和任何光滑（可能非凸）的费用函数。证明了该算法对一般非凸费用函数具有线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$，对全局代价函数满足Polyak--P-Jasiewicz（P-Jasiewicz）条件具有线性加速收敛速度$\mathcal{O}(1/(nT))$，其中$T$为迭代总次数.我们还表明，具有常数参数的该算法的输出线性收敛到全局最优值的附近。我们通过数值实验证明了我们的算法的效率与基线集中式SGD和最近提出的分布式SGD算法相比。
2022-01-07 math.OC
Asynchronous Distributed Method of Multipliers for Constrained Nonconvex Optimization
研究了一类局部费用函数和约束条件均为非凸的网络上的约束最优化问题。我们提出了一个异步分布式优化算法，依赖于集中式乘法器，其中每个节点唤醒在一个不协调的方式，并执行下降步骤的本地增广拉格朗日或上升步骤的本地乘子向量。这两个阶段由分布式逻辑AND调节，这使得节点能够理解（整个）增广拉格朗日函数的下降何时足够小。我们表明，这种分布式算法是相当于块坐标下降算法的增广拉格朗日最小化，然后更新整个乘子向量。因此，该算法继承了乘数法的收敛性。
2018-03-17 math.OC
A two-level distributed algorithm for nonconvex constrained optimization
本文的目的是发展分布式算法，用于解决与网络相关的具有复杂约束的非凸最优化问题。该网络可以是一个物理网络，如电力网络，其中的约束是非线性潮流方程，或一个抽象的一个代表不同的代理之间的决策变量的约束耦合。尽管近年来非凸规划的分布式算法得到了发展，但高度复杂的约束条件仍然在理论和实践中构成了重大挑战。我们首先找出一些困难与现有的算法的基础上的交替方向法的乘法器（ADMM）处理这样的问题。然后，我们提出了一个重新制定，使我们能够设计一个两级算法，其中嵌入了一个特殊结构的三块ADMM在内部一级的增广拉格朗日方法（ALM）的框架。此外，我们还证明了新格式对一般非凸约束规划的全局收敛性、局部收敛性和迭代复杂性，并证明了我们的分析可以推广到处理更复杂的多块内层问题.最后，我们证明与计算，新的计划提供了收敛和并行化算法的各种非凸应用，并能够补充的最先进的分布式算法在实践中实现更快的收敛在最优性差距或在可行性或两者兼而有之的性能。
2022-11-18 math.OC
Quantized Distributed Nonconvex Optimization Algorithms with Linear Convergence under the Polyak--$Ł$ojasiewicz Condition
本文提出两种基于编码器-解码器方案的量化分布式非凸优化算法，在Polyak--Łojasiewicz条件下实现线性收敛，且量化级别越大收敛越快，低数据速率亦可保证收敛。
2025-02-28 math.OC
Regularized coordinate minimization for nonconvex composite optimization with application to quantized image compression
Politehnica Bucharest（布加勒斯特理工大学）；Gheorghe Mihoc-Caius Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy（罗马尼亚科学院格奥尔基·米霍克-卡尤斯·雅各布数学统计与应用数学研究所）
本文提出一种正则化循环坐标最小化方法求解非凸复合优化问题，应用于量化图像压缩，在KODAK和CLIC 2024数据集上低比特率下优于JPEG，且分类精度无明显下降。
2026-09-09 math.OC
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下，随机梯度下降（SGD）算法避免了鞍点并收敛于非凸问题的局部极小值。然而，分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降（D-SGD）-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先，我们考虑计算临界点的问题。假设损失函数是非凸的，可能是非光滑的，它表明，对于每个固定的初始化，D-SGD收敛到临界点的损失概率为1。接下来，我们考虑避免鞍点的问题。在这种情况下，我们再次假设损失函数可以是非凸和非光滑的，但在鞍点的邻域内是光滑的。结果表明，对于任何固定的初始化，D-SGD避免这样的鞍点的概率为1。通过研究底层（分布式）梯度流，使用常微分方程（ODE）方法的随机逼近，并从动力系统理论，如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化，其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Distributed optimization with nonconvex velocity constraints, nonuniform position constraints and nonuniform stepsizes
研究了具有非凸速度约束、非均匀位置约束和非均匀步长的多智能体系统的分布式最优化问题。通过引入切换机制保证所有智能体的位置状态保持在一个有界区域内，分别在存在和不存在非均匀位置约束的情况下，提出了两种具有非凸速度约束和非均匀步长的分布式约束算法.算法增益不需要预先设计，并且可以由每个代理使用其自己和邻居的信息来选择。通过模型变换，将原非线性时变系统转化为带有非线性误差项的线性时变系统。基于随机阵的性质，证明了只要通信拓扑是联合强连通和平衡的，该最优化问题就可以求解。最后给出了数值例子来说明所得到的理论结果。
2020-02-29 math.OC
A Communication-Efficient Stochastic Gradient Descent Algorithm for Distributed Nonconvex Optimization
针对多智能体分布式非凸优化，本文提出支持通用压缩器的通信高效分布式 SGD，证明其线性加速收敛及 PL 条件下的邻域线性收敛，并通过实验验证效率。
2024-03-02 math.OC
Linear Convergence of First- and Zeroth-Order Primal-Dual Algorithms for Distributed Nonconvex Optimization
本文研究了利用局部信息交换极小化由局部费用函数之和构成的全局费用函数的分布式非凸最优化问题。我们首先考虑一个分布式的一阶原始对偶法。我们证明了，如果每个局部代价函数是光滑的，并且在全局费用函数满足Polyak-Striojasiewicz条件的条件下线性收敛到全局最优值，则它次线性收敛到一个稳定点.这个条件比强凸性弱，强凸性是证明分布式优化算法线性收敛的标准条件，全局最小值不一定唯一。出于梯度不可用的情况下，我们提出了一个分布式零阶算法，来自考虑的一阶算法通过使用确定性梯度估计，并表明它具有相同的收敛性能，考虑的一阶算法在相同的条件下。通过数值模拟说明了理论结果。
2021-08-25 math.OC
Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
针对非光滑非凸分布式优化问题，提出统一框架整合多种带压缩的随机次梯度方法，证明全局收敛性，并开发基于符号正则化和梯度跟踪动量的新方法。
2026-07-03 cs.AI cs.LG math.OC
A Robust Compressed Push-Pull Method for Decentralized Nonconvex Optimization
针对去中心化非凸优化中的通信瓶颈，本文提出融合梯度跟踪与通信压缩的RCPP算法，可同时容纳相对与绝对压缩误差，并在一般有向网络上证明次线性及PL条件下的线性收敛。
2024-08-03 math.OC
Compressed Momentum-based Single-Point Zeroth-Order Algorithm for Stochastic Distributed Nonconvex Optimization
Shanghai University（上海大学）；Tongji University（同济大学）
本文提出一种压缩动量单点零阶算法，旨在降低通信开销并解决显式梯度信息不可用问题，通过局部随机更新和压缩交换实现非凸优化。
2026-05-10 math.OC
Compressed Zeroth-Order Algorithm for Stochastic Distributed Nonconvex Optimization
针对带宽受限且无显式梯度的随机分布式非凸优化，提出CZSD算法，利用压缩通信与两点零阶预言机实现线性加速及低通信、低采样复杂度。
2025-08-29 math.OC
Fully Distributed Continuous-Time Algorithm for Nonconvex Optimization over Unbalanced Directed Networks
研究了非平衡有向网络上分布式连续时间非凸最优化问题。我们的目标是合作驱动所有的代理状态的最优解，最小化的本地费用函数的总和。基于拓扑平衡技术和适应控制方法，提出了一种新的完全分布式算法，该算法既不需要网络连通性的全局先验信息，也不需要局部费用函数的凸性。将该算法看作一个摄动系统，首先建立了该算法在摄动为零时的输入-状态稳定性，然后在松弛条件下证明了决策变量向最优解的渐近收敛.算法设计的一个关键特点是它消除了对局部费用函数的最小强凸性常数的依赖，以及不平衡有向拓扑的拉普拉斯矩阵的零特征值对应的左特征向量。两个例子说明了所提出的全分布式算法的有效性。
2022-11-30 math.OC
On Distributed Nonconvex Optimisation Via Modified ADMM
针对多智能体网络中的非凸非光滑分散优化问题，提出一种带多轮信息聚合内循环的改进 ADMM 框架，并证明其在循环次数对数增长时渐近收敛至驻点。
2023-12-07 math.OC
Differentially Private and Communication-Efficient Distributed Nonconvex Optimization Algorithms
本文针对有限通信下的隐私保护分布式非凸优化问题，提出两种压缩通信差分隐私算法，证明其在光滑非凸情形下次线性收敛、在Polyak-Łojasiewicz条件下线性收敛，且隐私分析不依赖压缩器具体形式。
2024-05-01 math.OC
Distributed Nonconvex Optimization with Exponential Convergence Rate via Hybrid Systems Methods
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Merlin Labs（梅林实验室）；Georgia Institute of Technology（佐治亚理工学院）
本文提出混合系统框架用于分布式非凸优化，通过连续时间计算与离散时间通信实现指数收敛，证明了在满足PL条件下的全局稳定性，并通过仿真展示收敛速率与初始条件的影响。
2026-03-14 math.OC
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求，设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新，只需要可分块非线性规划（NLP）问题的局部解。我们提供了一个便宜的，明确可计算的李雅普诺夫函数，使我们能够建立我们的算法，其迭代复杂性，以及简单，实用和理论上的收敛规则，自动调整其参数的全局和局部次线性收敛。这与现有的算法相比，非凸约束优化的基础上的交替方向法的乘法器，依赖于至少以下之一：高斯-赛德尔或顺序更新，全局解决方案的NLP问题，不可计算的李雅普诺夫函数，手动调整参数。数值实验展示了其在大规模问题上的优势，包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化，并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
A Distributed Asynchronous Method of Multipliers for Constrained Nonconvex Optimization
本文提出了一种完全异步分布式的方法来处理目标函数和约束条件都可能是非凸的最优化问题。在所考虑的网络设置中，每个节点在触发本地定时器时是活动的，并且仅可以访问目标函数的一部分和约束的子集。在所提出的技术中，基于乘子方法，每个节点在醒来时对局部增广拉格朗日函数执行下降步骤，或者对局部乘子向量执行上升步骤。节点通过异步分布式逻辑AND实现何时从下降步骤切换到上升步骤，该逻辑AND检测所有节点何时达到增广拉格朗日函数最小化中的预定义容限。结果表明，由此产生的分布式算法是相当于块坐标下降的全球增广拉格朗日最小化。这使得人们可以将乘数的集中式方法的属性扩展到所考虑的分布式框架。两个应用实例验证了所提出的方法：分布式源定位问题和神经网络的参数估计。
2019-02-22 math.OC
Robust Distributed Nonconvex Optimization Enabling Communication Acceleration and Privacy Protection
School of Information Science and Technology, Shanghaitech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Energy Efficient and Custon AI IC（上海市能效与定制人工智能集成电路工程研究中心）
本文提出鲁棒近端对偶算法RPP，通过引入随机噪声提升分布式非凸优化的隐私保护和通信效率。
2026-02-26 math.OC
Nonconvex, Fully Distributed Optimization based CAV Platooning Control under Nonlinear Vehicle Dynamics
在下一代智能交通系统的推动下，CAV编队技术在过去几年中受到了相当大的关注。不同于大多数现有的队列方法，专注于线性车辆动力学的CAV，本文认为非线性车辆动力学和开发完全分布式优化的CAV队列控制方案，通过模型预测控制（MPC）的方法，可能异构CAV排。车辆动力学的非线性给分布式算法开发和控制分析设计带来了一些困难。具体而言，底层MPC最优化问题是非凸的和密集耦合的。此外，闭环动态成为一个时变的非线性系统受到外部扰动，使闭环稳定性分析相当复杂。为了克服这些困难，我们制定了基本的MPC最优化问题作为一个局部耦合，虽然非凸，最优化问题和开发一个顺序的凸规划为基础的完全分布式计划的一般MPC地平线。这样的方案可以有效地实现实时计算使用算子分裂方法。为了分析闭环系统的稳定性，我们应用各种工具，从全局隐函数定理，线性时变系统的稳定性，和输入-状态稳定性的李雅普诺夫理论表明，闭环系统是局部输入-状态稳定的所有小系数有关的非线性动态一致。对同构和异构CAV编队的数值试验表明了所提出的全分布式方案和CAV编队控制的有效性。
2021-04-18 math.OC
Distributed velocity-constrained consensus of discrete-time multi-agent systems with nonconvex constraints, switching topologies, and delays
本文研究了离散时间多智能体系统的分布式速度约束一致性问题，其中每个智能体的速度被约束为位于一个非凸集内。提出了一种分布式约束控制算法，使所有的代理收敛到一个共同点，只使用本地信息。{The所有代理的算法增益不需要是相同的或预先设计的，并且可以由每个代理自身基于其自己的和邻居的信息来调整。研究表明，只要通信图的并集在每个特定的时间间隔内具有有向生成树，该算法对任意有界的通信时延和任意切换的通信图具有鲁棒性.分析方法是基于多种新的模型转换，适当的控制参数的选择，状态相关的随机阵的有界性分析，开发的凸性随机阵，和联合连通的通信图。数值例子来说明理论结果。
2020-03-04 math.OC
Distributed Nonconvex Optimization with Double Privacy Protection and Exact Convergence
针对分布式非凸优化中的隐私缺失问题，提出双重隐私保护分散式近端原始-对偶算法$\ ext{DPP}^2$，通过变量变换与随机扰动实现零信息泄露，在保证差分隐私的同时实现精确收敛。
2025-11-04 math.OC
Heterogeneous Distributed Zeroth-Order Nonconvex Optimization with Communication Compression
Tongji University（同济大学）；Shanghai Institute of Intelligent Science and Technology, Tongji University（同济大学上海智能科学技术研究院）
本文提出HEDZOC算法，首次在不依赖数据同质性、P--L条件和精确通信假设的情况下实现异构分布式零阶非凸优化的收敛性。
2026-10-30 math.OC
Compressed Distributed Stochastic Nonconvex Optimization with Differential Privacy
Shanghai University（上海大学）；Tongji University（同济大学）；Northeastern University（东北大学）
本文研究了具有压缩通信和差分隐私的分布式随机非凸优化问题，提出了一种压缩分布式随机梯度下降算法，在一般压缩算子下实现线性加速收敛率。
2026-03-23 math.OC
Zeroth-Order Algorithms for Stochastic Distributed Nonconvex Optimization
在本文中，我们考虑了一个随机分布的非凸最优化问题的成本函数分布在$n$代理只访问零阶（ZO）的成本信息。这个问题有各种机器学习应用。作为一种解决方案，我们提出了两个分布式ZO算法，在每次迭代中，每个代理样本的本地随机ZO预言在两个点随时间变化的平滑参数。我们证明了所提出的算法实现了线性加速收敛速度$\mathcal{O}(\sqrt{p/(nT)})$光滑的费用函数下的状态依赖方差的假设，这是更一般的比常用的有界方差和Lipschitz假设，和$\mathcal{O}(p/(nT))$收敛速度时，全局成本函数另外满足Polyak-Jasiewicz（P-Jasiewicz）条件此外，其中，$p$和$T$分别是决策变量的维数和迭代的总次数。据我们所知，这是分布式ZO算法的第一个线性加速结果，它通过添加更多的代理来提高系统的处理性能。我们还表明，所提出的算法线性收敛的相对有界的二阶矩假设和P-S条件下。我们通过数值实验证明了我们的算法在从深度神经网络生成对抗性示例方面的效率，并与基线和最近提出的集中式和分布式ZO算法进行了比较。
2021-12-13 math.OC
Distributed nonconvex optimization for control of water networks with time-coupling constraints
本文提出一种基于ADMM的分布式非凸优化方法，解决配水网络中压力与水质联合控制的时间耦合约束问题，双层算法收敛性更优，计算时间满足近实时控制需求。
2024-09-23 math.OC
Distributed Gradient Flow: Nonsmoothness, Nonconvexity, and Saddle Point Evasion
研究了多智能体非凸优化问题的分布式梯度流（DGF）。DGF是分布式梯度下降的连续时间近似，通常比其离散时间对应物更容易研究。该文件有两个主要贡献。首先，本文考虑非光滑，非凸目标函数的优化。结果表明，在这种情况下，DGF收敛到临界点。然后考虑避免鞍点的问题。证明了如果智能体的目标函数是光滑非凸的，则DGF只能从一个零测度的初始条件集收敛到一个鞍点。为了建立这一结果，本文证明了DGF的稳定流形定理，这是一个独立的兴趣的基本贡献。在配套文件中，类似的结果推导出离散时间算法。
2020-08-12 cs.MA math.OC
Heterogeneous Stochastic Momentum ADMM for Distributed Nonconvex Composite Optimization
Sun Yat-Sen University（中山大学）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）；University of Victoria（维多利亚大学）
HSM-ADMM通过自适应步长策略和递归动量估计器，实现分布式非凸优化的高效稳健收敛。
2026-03-08 math.OC
BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with Communication Compression
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
通信效率已被广泛认为是多智能体或联邦环境中大规模分散式机器学习应用的瓶颈。为了解决通信瓶颈，已经有许多努力来设计用于分散式非凸优化的通信压缩算法，其中客户端仅允许通过预定义的图拓扑与其邻居通信少量量化信息（aka比特）。尽管付出了巨大的努力，但非凸设置中的最先进算法仍然遭受与其未压缩对应物相比更慢的收敛速率$O((G/T)^{2/3})$的困扰，其中$G$测量不同客户端之间的数据异质性，并且$T$是通信轮数。本文提出了BEER，它采用了梯度跟踪的通信压缩，并表明它的收敛速度更快的$O(1/T)$。通过匹配速率而不压缩，即使在任意数据异构性下，这也显著提高了最先进的速率。数值实验也证实了我们的理论，并确认BEER在数据异构制度的实际优势。
2022-10-14 cs.DC cs.DS cs.LG
A Unifying Primal-Dual Proximal Framework for Distributed Nonconvex Optimization
School of Information Science and Technology, Shanghaitech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Energy Efficient and Custon AI IC（上海市能效与定制人工智能集成电路工程研究中心）
本文提出了一种统一的对偶近似 proximal 框架，用于解决分布式非凸优化问题，并通过实验验证了其在收敛速度和通信效率上的优势。
2026-03-10 math.OC
Distributed Load Balancing with Nonconvex Constraints: A Randomized Algorithm with Application to Electric Vehicle Charging Scheduling
针对实际非凸充电约束条件下的电动汽车调度问题，提出了一种分布式随机算法。该算法假设协调器的可用性，该协调器可以与所有EV通信。在算法的每次迭代中，协调器从EV接收试验性充电简档并计算广播控制信号。在接收到该广播控制信号之后，每个EV在其可容许的充电简档上生成概率分布，并且从该分布中采样以更新其暂定充电简档。我们证明了该算法收敛几乎肯定在有限的迭代充电配置文件。（算法收敛到的）最终充电曲线是随机的，即，这取决于实现。我们的特点是最终的充电配置文件-充电配置文件可以是一个实现的最终充电配置文件，当且仅当它是一个纳什均衡的游戏中，每个电动汽车寻求最小化的内积自己的充电配置文件和总电力需求。此外，我们提供了一个统一的次优性上界，缩放O（1/n）的电动汽车的数量n，为最终的充电配置文件的所有实现。
2014-04-11 math.OC
Resilient Federated Learning under Byzantine Attack in Distributed Nonconvex Optimization with 2-f Redundancy
针对分布式非凸优化中拜占庭攻击导致联邦学习求解精度不足的问题，提出带比较消除（CE）滤波器的局部梯度下降法，证明其在非凸场景下的收敛性并通过数值模拟验证。
2023-12-15 math.OC
Parallel and Distributed Methods for Nonconvex Optimization-Part I: Theory
在这篇由两部分组成的论文中，我们提出了一个通用的算法框架，用于最小化非凸光滑约束下的非凸光滑函数。该算法解决了一系列（可分）强凸问题，并在每次迭代的可行性。收敛到一个固定的解决方案，原来的非凸优化。我们的框架是非常通用和灵活的，它统一了几个现有的连续凸逼近（SCA）为基础的算法，如（近端）梯度或牛顿型方法，块坐标（并行）下降计划，凸函数方法的差异，并提高其收敛性能。更重要的是，与当前的SCA方法不同的是，它自然会为一大类非凸问题带来分布式和可并行化的实现。第一部分是对框架的一般性描述。在第二部分中，我们自定义我们的一般方法的几个多代理优化问题，主要是在通信和网络，其结果是一类新的（分布式）算法相比，有利现有的ad-hoc（集中式）计划（当它们存在）。
2016-01-14 cs.MA math.OC
Distributed Stochastic Nonconvex Optimization and Learning based on Successive Convex Approximation
Sapienza University of Rome（罗马萨皮恩扎大学）
研究了多智能体网络中的分布式随机非凸优化问题。我们引入了一个新的算法框架的分布最小化的平滑（可能非凸）函数（代理的总和效用）加上凸（可能非平滑）正则化的期望值的总和。所提出的方法取决于连续凸近似（SCA）技术，利用动态共识作为一种机制来跟踪代理之间的平均梯度，递归平均恢复的总和效用函数的预期梯度。几乎必然收敛到（平稳）的非凸问题的解决方案。最后，将该方法应用于神经网络的分布式随机训练。数值结果证实了理论的要求，并说明了所提出的方法相对于文献中的其他方法的优势。
2020-05-12 cs.LG eess.SP math.OC
Private and Robust Distributed Nonconvex Optimization via Polynomial Approximation
针对分布式非凸优化中的隐私与网络鲁棒性问题，提出PR-CPOA算法，利用多项式近似实现高精度全局优化，并通过新隐私机制与push-sum共识协议兼顾隐私保护与鲁棒性。
2023-12-22 math.OC
NESTT: A Nonconvex Primal-Dual Splitting Method for Distributed and Stochastic Optimization
Iowa State University（爱荷华州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）
我们研究了一个随机和分布式算法的非凸问题，其目标包括一个总和的$N$非凸$L_i/N$ -光滑函数，加上一个非光滑正则化。提出的NonconvEx原始-对偶分裂（NESTT）算法将问题分解为$N$子问题，并利用基于增广拉格朗日的原始-对偶方案以分布式和随机的方式求解。通过特殊的非均匀采样，NESTT的一个版本使用$\mathcal{O}((\sum_{i=1}^N\sqrt{L_i/N})^2/ε)$梯度评估来实现$ε$ -稳态解，其可以比（邻近的）梯度下降方法好$\mathcal{O}(N)$倍。对于带多面体约束的非凸二次$\ell_1$惩罚问题，也达到了Q-线性收敛速率.此外，我们揭示了原始对偶的方法和一些原始的方法，如IAG/SAG/SAGA之间的根本联系。
2016-11-07 cs.LG math.OC stat.ML
Distributed Nonconvex Optimization for Sparse Representation
我们考虑一个非凸约束拉格朗日公式的基本双标准最优化问题的变量选择在统计学习;这两个标准是一个光滑的（可能）非凸损失函数，测量数据的模型的适应性，和后一个功能是一个凸差（DC）正则化，用于促进一些额外的结构的解决方案，如稀疏性。这类一般的非凸问题出现在许多大数据应用中，从统计机器学习到物理科学和工程。我们开发了第一个统一的分布式算法框架，这些问题，并建立其渐近收敛的d-平稳的解决方案。该方法的两个关键特征是：i）它可以在具有（可能）时变连通性的任意网络（有向图）上实现; ii）它不需要目标函数的（子）梯度有界的限制性假设，这大大扩大了可以用收敛保证解决的统计学习问题的类别。
2016-11-20 cs.DC math.OC
Convergence Analysis of Nonconvex Distributed Stochastic Zeroth-order Coordinate Method
University of North Texas（北得克萨斯大学）；Huazhong University of Science and Technology（华中科技大学）
研究了随机分布非凸最优化问题，即最小化由$n$局部费用函数求和形成的全局费用函数。我们解决这样的问题，涉及零阶（ZO）信息交换。本文提出了一种求解随机最优化问题的ZO分布原始-对偶坐标方法。代理近似自己的本地随机ZO预言与坐标与自适应平滑参数。我们表明，该算法实现了一般非凸费用函数的$\mathcal{O}(\sqrt{p}/\sqrt{T})$的收敛速度。我们证明了所提出的算法的效率，通过一个数值例子与现有的国家的最先进的集中式和分布式ZO算法的比较。
2021-10-13 cs.LG cs.SY eess.SY
Distributed Nonconvex Constrained Optimization over Time-Varying Digraphs
本文考虑网络上的非凸分布约束优化问题，模型为有向（可能是时变）图。我们介绍了第一个算法框架的总和最小化的光滑非凸（不可分）函数-代理的总和效用-加上一个差分凸（DC）函数（与非光滑凸部分）。这种通用公式出现在许多应用中，从统计机器学习到工程。所提出的分布式方法结合了连续凸逼近技术与明智设计的扰动推和共识机制，旨在跟踪局部的梯度（平滑部分）和效用。次线性收敛速度证明时，一个固定的步长（可能不同的代理），而渐近收敛到固定的解决方案证明使用递减的步长。数值结果表明，我们的算法与目前的计划相比，在凸和非凸问题。
2018-09-04 cs.DC cs.MA math.OC
A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting
KAUST（阿卜杜拉国王科技大学）
提出一种结合随机梯度方差缩减、部分参与和压缩通信的分布式非凸优化新方法，在部分参与设置下实现了最优 oracle 复杂度和最优通信复杂度，且无需所有节点参与或有界梯度假设。
2024-01-03 cs.LG math.OC
A Provably Communication-Efficient Asynchronous Distributed Inference Method for Convex and Nonconvex Problems
University of Minnesota（明尼苏达大学）
针对异步协议下的一般非凸非光滑信号处理和机器学习问题，提出并分析了一个通信高效的分布式优化框架。在每次迭代中，工作机器使用它们自己的本地数据计算已知经验损失函数的梯度，并且主机器解决相关的最小化问题以更新当前估计。我们证明了，对于非凸非光滑问题，该算法收敛于一个次线性率的通信轮数，符合最好的理论速度，可以实现这类问题。对于光滑部分为强凸的复合损失函数问题，在不对局部数据作任何统计假设的情况下建立了线性收敛.大量的数值实验验证，所提出的方法的性能确实提高-有时显着-在其他国家的最先进的算法在总的通信效率。
2019-03-16 cs.LG math.OC
Distributed Optimal Power Flow for VSC-MTDC Meshed AC/DC Grids Using ALADIN
随着电压源换流器（VSC）高压直流（VSC-HVDC）技术在电网中的广泛应用，将直流电网和换流器并入现有输电网络的重要性日益提高。这对处理由此产生的最优潮流（OPF）问题提出了重大挑战。针对基于电压源换流器（VSC）的多端高压直流（VSC-MTDC）交直流混合系统，提出了一种新的非凸分布式优化算法--基于增广拉格朗日的交替方向不精确牛顿法（ALADIN）。该方案分解这个AC/DC混合OPF问题，并在一个完全分布式的方式处理它。与现有的乘子交替方向法（ADMM）相比，ALADIN具有理论上的收敛性保证。将这两种方法应用于与IEEE基准交流电力系统耦合的（VSC-MTDC），表明定制的ALADIN在收敛速度和数值鲁棒性方面优于ADMM。
2022-03-05 math.OC
Distributed Stochastic Search for Multi-Agent Model Predictive Control
针对大规模非线性多智能体MPC的非凸与可扩展难题，提出结合随机搜索与ADMM的分布式采样优化框架，并在导航和64车编队任务中显著优于分布式IPOPT。
2025-10-21 math.OC
Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Skoltech（斯科尔科沃科技学院）
针对分布式优化中下行通信低效问题，提出新型下行压缩方法MARINA-P及结合上行压缩与动量的双向压缩方法M3，理论和实验均验证其通信复杂度随工作节点数增加而优化的优势。
2024-11-02 cs.LG math.OC stat.ML
Guaranteed Privacy of Distributed Nonconvex Optimization via Mixed-Monotone Functional Perturbations
在本文中，我们引入了一个新的概念，保证隐私，要求相应的包含函数的范围的变化是真的函数很小。特别是，利用混合单调包含函数，我们提出了一个隐私保护机制的非凸分布式优化，这是基于确定性的，但未知的，仿射扰动的局部目标函数，这是强于概率微分隐私。该设计需要一个强大的最优化方法，以表征最佳的精度，可以通过一个最佳的扰动。随后，这是用来指导细化的私有扰动机制，可以通过理论上的上界，这被证明是独立的所选择的优化算法，以实现可量化的精度。
2022-09-23 cs.SY eess.SY math.OC
An Asynchronous Decentralised Optimisation Algorithm for Nonconvex Problems
Department of Electrical and Electronic Engineering, University of Melbourne（墨尔本大学电气与电子工程系）；CIICADA Lab, School of Engineering, The Australian National University（澳大利亚国立大学工程学院CIICADA实验室）
针对分布式智能体网络的非凸去中心化优化问题，提出基于随机块坐标Douglas-Rachford分裂的异步ADMM算法，是首个带收敛证明的此类算法，在相位恢复等任务中验证了有效性。
2025-07-30 cs.LG math.OC
On the Convergence of Alternating Direction Lagrangian Methods for Nonconvex Structured Optimization Problems
非凸和结构化最优化问题出现在许多工程应用中，需要可扩展的和分布式的解决方法。由于问题的非凸性，这些方法的收敛性的研究通常是困难的。在本文中，两个分布式解决方案的方法相结合的快速收敛性能的增广拉格朗日为基础的方法与交替优化的可分性进行了研究。第一种方法是从经典的二次罚函数方法改编而来的，称为交替方向罚函数法（ADPM）。与采用单步优化的原始二次罚函数方法不同，ADPM使用交替优化，这反过来又使其具有可扩展性。第二种方法是众所周知的乘法器的交替方向法（ADMM）。证明了非凸问题的ADPM在较弱的条件下渐近收敛于原可行点，并引入了保证其渐近达到局部最优性标准一阶必要条件的附加条件.在ADMM的情况下，新的充分条件下，该算法渐近达到标准的一阶必要条件的建立。在此基础上，对一类低维问题，刻画了ADMM的全收敛性。最后，通过将ADPM和ADMM应用于无线传感器网络中的非凸定位问题来说明结果。
2015-04-30 math.OC
Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum
IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）；Georgia Institute of Technology（佐治亚理工学院）
动量方法已广泛用于深度学习的优化器中。最近的研究表明，通过K步平均的分布式训练具有许多良好的特性。我们提出了一个动量方法，这样的模型平均方法。在每个个体学习者水平上应用传统的随机梯度。在元级（全局学习器级），应用一个动量项，我们称之为块动量。我们分析了这种动量方法的收敛性和标度性质。我们的实验结果表明，块动量不仅可以加速训练，而且可以取得更好的效果。
2021-10-01 cs.AI cs.LG math.OC
Communication-Efficient Distributed Online Nonconvex Optimization with Time-Varying Constraints
针对时变有向图下带时变约束的分布式在线非凸优化问题，提出两种带压缩通信的分布式 bandit 在线原对偶算法，证明其具有次线性网络遗憾和累积约束违反界，Slater 条件下约束违反界更小，并通过仿真验证。
2025-11-18 cs.SY eess.SY math.OC
Distributed stochastic inertial-accelerated methods with delayed derivatives for nonconvex problems
随机梯度法是求解随机最优化问题的主要方法。在光滑非凸问题上，一些加速技术被用来提高SGM的收敛速度。然而，很少有人探索应用某种加速技术的随机次梯度方法（SsGM）的非光滑非凸问题。此外，很少有人努力分析（加速）SsGM与延迟衍生物。信息延迟自然发生在分布式系统中，其中计算工作者彼此不协调。本文提出了一种求解非光滑非凸随机最优化问题的惯性近似SsGM。该方法可以保证收敛，即使在分布式环境中的延迟导数信息。对三类非凸问题：弱凸非光滑凸正则化问题、复合非凸非光滑凸正则化问题和光滑非凸问题建立了收敛速度结果.对于每个问题类，对于$K$迭代，收敛速度是梯度范数平方的期望值的$O(1/K^{\frac{1}{2}})$。在分布式环境中，所提出的方法的收敛速度将被信息延迟减慢。然而，对于后两个问题类，慢化效果将随着迭代次数的增加而衰减。我们测试所提出的方法在三个应用程序。数值结果清楚地表明了使用基于惯性的加速度的优点。此外，我们观察到更高的并行化速度在异步更新同步对应，虽然前者使用延迟导数。我们的信源编码发布于https://github.com/RPI-OPT/Inertial-SsGM
2021-12-23 cs.DC cs.NA math.NA
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
由于训练数据集规模的爆炸式增长，分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的，在减少通信成本与随机梯度下降（SGD），有很少的尝试，在建立通信有效的自适应梯度方法与可证明的保证，这是广泛用于训练大规模机器学习模型。在本文中，我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题，这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点，具有相同的迭代复杂度，未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
