Convergence Analysis of Noisy Distributed Gradient Descent for Non-convex Optimization -- Saddle Point Escape
University of Melbourne(墨尔本大学)
研究基于共识的分布式梯度下降变体,通过随机扰动局部梯度项使每个智能体以高概率收敛到公共二阶驻点(局部极小点)的邻域,收敛速率与集中式一阶算法相当。
2026-10-08 math.OC
Distributed coordination for nonsmooth convex optimization via saddle-point dynamics
本文考虑连续时间协调算法的代理网络,寻求集体解决一般类的非光滑凸优化问题与固有的分布式结构。我们的算法设计建立在非光滑凸规划的解作为增广拉格朗日量的鞍点的特征上。我们表明,相关的鞍点动力学是渐近正确的,但在一般情况下,不分布,因为存在一个全球罚参数。这促使设计一个不连续的鞍点样算法,享有相同的收敛性能,是完全服从分布式实现。我们的收敛性证明依赖于一个新的全球李雅普诺夫函数的鞍点动态识别。这种新颖性也使我们能够确定温和的凸性和正则性条件的目标函数,保证指数收敛速度的凸优化问题的等式约束的算法。各种例子说明了我们的讨论。
2017-05-16 math.OC
Distributed Gradient Descent: Nonconvergence to Saddle Points and the Stable-Manifold Theorem
本文研究了一个分布式梯度下降(DGD)过程,并认为在非凸最优化问题,DGD通常收敛到局部极小点,而不是鞍点的问题。本文考虑光滑目标函数的无约束极小化问题。在集中式的设置中,证明梯度下降(和变体)的鞍点不收敛的问题通常通过经典动力系统理论的稳定流形定理来处理。然而,经典的稳定流形定理是不适用于分布式设置。本文发展了一个适当的稳定流形定理DGD表明,收敛到鞍点可能只发生在一个低维稳定流形。在适当的假设下(例如,但是,这个结果意味着DGD通常收敛到局部最小值而不是鞍点。
2019-10-23 cs.MA math.OC
Input-Output Performance of Linear-Quadratic Saddle-Point Algorithms with Application to Distributed Resource Allocation Problems
鞍点或原始-对偶方法作为一种系统化的设计分布式算法来解决凸优化问题的技术,最近吸引了新的兴趣。当在线实现流数据或作为动态反馈控制器时,这些算法会受到干扰和噪声的影响;收敛速度提供不完整的性能信息,量化输入输出性能变得更加重要。我们分析了应用于线性约束二次规划的连续时间鞍点方法的输入输出性能,在相关的输入输出配置下提供了鞍点H2范数的显式表达式。然后,我们继续得到类似的结果,正则化和增广版本的鞍点算法。我们观察到一些相当特殊的效果-适度的正则化显着提高了瞬态性能,而增强并不一定提供改进。然后,我们提出了一个分布式的双重版本的算法,克服了一些增强所施加的性能限制。最后,我们将我们的研究结果应用到资源分配问题,比较各种集中式和分布式鞍点实现的输入输出性能,并表明分布式算法可能会执行以及他们的集中式同行。
2018-11-07 math.OC
A Unified Distributed Method for Constrained Networked Optimization via Saddle-Point Dynamics
本文将最优一致性与非相同集合约束资源分配问题统一为鞍点框架,提出基于 OGDA 和 EG 的投影原始-对偶分布式算法,证明 O(1/k) 遍历收敛并通过数值算例验证。
2023-07-14 math.OC
Distributed Gradient Flow: Nonsmoothness, Nonconvexity, and Saddle Point Evasion
研究了多智能体非凸优化问题的分布式梯度流(DGF)。DGF是分布式梯度下降的连续时间近似,通常比其离散时间对应物更容易研究。该文件有两个主要贡献。首先,本文考虑非光滑,非凸目标函数的优化。结果表明,在这种情况下,DGF收敛到临界点。然后考虑避免鞍点的问题。证明了如果智能体的目标函数是光滑非凸的,则DGF只能从一个零测度的初始条件集收敛到一个鞍点。为了建立这一结果,本文证明了DGF的稳定流形定理,这是一个独立的兴趣的基本贡献。在配套文件中,类似的结果推导出离散时间算法。
2020-08-12 cs.MA math.OC
Distributed Learning in Non-Convex Environments -- Part II: Polynomial Escape from Saddle-Points
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
从流数据中进行分布式学习的扩散策略采用局部随机梯度更新以及邻域上的迭代交换。在这项工作的第一部分[2]中,我们建立了代理围绕网络质心聚集,并继续研究这一点的动力学。我们建立了大梯度制度中的非凸环境中的预期下降,并引入了一个短期模型来研究有限时间范围内的动态。使用这个模型,我们建立在这项工作中的扩散策略是能够逃脱严格的鞍点O(1/ $μ$)迭代,它也能够返回近似二阶稳定点的多项式迭代次数。相对于以前的工作多项式逃离鞍点,其中大部分集中扰动或随机梯度下降,我们的方法需要较少的限制条件的梯度噪声过程。
2019-07-03 cs.LG cs.MA eess.SP
Efficient Gradient Methods for Distributed Saddle Problems
Institute of Science and Technology Austria(奥地利科学技术研究院);CISPA Helmholtz Center(CISPA赫尔姆霍兹中心)
本文提出了一种新的解分布式鞍点问题的高效梯度方法,通过正式定义通信和计算成本,实现了最优通信成本,并将该方法扩展到变分不等式问题,展示了更优的通信复杂度。
2026-05-18 cs.DC cs.MA math.OC
On the Convergence of a Noisy Gradient Method for Non-convex Distributed Resource Allocation: Saddle Point Escape
University of Melbourne(墨尔本大学)
针对非凸分布式资源分配问题,本文在拉普拉斯加权梯度下降基础上加入随机扰动以实现鞍点逃逸,证明了二阶收敛性,实验显示其性能优于标准加权梯度下降。
2026-08-26 math.OC
Distributed saddle-point subgradient algorithms with Laplacian averaging
我们提出了分布式次梯度方法的最小最大问题的协议约束的一个子集的论点的凸和凹的部分。应用包括约束最小化问题,其中每个约束是代理的局部变量中的凸函数的和。在后一种情况下,该算法减少到原始-对偶更新使用局部次梯度和拉普拉斯平均的本地副本的乘数相关联的全球约束。对于一般的凹凸鞍点问题,我们的分析建立了局部估计的运行时间平均值在通信有向图的周期连通性下收敛到一个鞍点.具体地说,选择梯度步长在一个合适的方式,我们表明,评估误差是成正比的$1/\sqrt{t}$,其中$t$是迭代步骤。我们说明了我们的结果在模拟的优化方案与非线性约束耦合的代理,不能直接沟通的决定。
2016-05-24 math.OC
Distributed saddle point problems for strongly concave-convex functions
Tufts University(塔夫茨大学)
在本文中,我们提出了GT-GDA,分布式最优化方法来解决鞍点问题的形式:$\min_{\mathbf{x}} \max_{\mathbf{y}} \{F(\mathbf{x},\mathbf{y}) :=G(\mathbf{x}) + \langle \mathbf{y}, \overline{P} \mathbf{x} \rangle - H(\mathbf{y})\}$,其中的功能$G(\cdot)$,$H(\cdot)$,和耦合矩阵$\overline{P}$分布在一个强连接的网络节点。GT-GDA是一种一阶方法,它使用梯度跟踪来消除节点之间的异构数据分布所造成的不相似性。在最一般的形式中,GT-GDA包括在局部耦合矩阵上的共识,以实现最佳(唯一)鞍点,然而,以增加通信为代价。为了避免这种情况,我们提出了一个更有效的变种GT-GDA-Lite,不会引起额外的通信,并分析其在各种情况下的收敛。证明了当$G(\cdot)$光滑且凸,$H(\cdot)$光滑且强凸,全局耦合矩阵$\overline{P}$具有满列秩秩时,GT-GDA线性收敛于唯一的鞍点解.我们进一步描述的制度下,GT-GDA表现出网络拓扑无关的收敛行为。接下来,我们展示了GT-GDA线性收敛到唯一鞍点周围的误差,当耦合成本${\langle \mathbf y, \overline{P} \mathbf x \ra…
2022-07-01 cs.LG cs.MA math.OC
Second-order Guarantees of Distributed Gradient Algorithms
本文考虑网络上的分布光滑非凸无约束优化问题,网络模型为连通图。我们研究了分布式基于梯度的算法在严格鞍点附近的行为。具体来说,我们建立,(i)著名的分布式梯度下降(DGD)算法可能收敛到一个二阶平稳(SoS)解决方案的邻域;和(ii)最近的一类分布式算法的基础上梯度跟踪-实现也有向图-可能收敛到确切的SoS解决方案,从而避免(严格)鞍点。此外,对后一类算法建立了新的一阶临界点的收敛速度结果。
2020-05-25 cs.DC math.OC
Technical Report: Distributed Asynchronous Large-Scale Mixed-Integer Linear Programming via Saddle Point Computation
我们通过分布式异步鞍点计算求解大规模混合整数线性规划。这是由于MILP能够在多代理自治中建模问题,例如,多机器人系统中具有避碰约束的任务分配和轨迹规划问题。为了解决MILP,我们放松它与非线性程序近似,其精度收紧代理的数量增加相对于耦合约束的数量。接下来,我们形成一个等价的拉格朗日鞍点问题,然后在原始空间和对偶空间中正则化拉格朗日,以创建一个正则化的拉格朗日是强凸-强凹的。然后,我们开发了一个并行算法来计算正则化拉格朗日的鞍点。该算法将问题划分为原始或对偶决策变量的标量或子向量块,并且在原始和对偶变量的计算和通信中显示出容忍冗余。给出了收敛到鞍点的次优界和收敛速度。次优性界包括(i)正则化拉格朗日量引起的正则化误差和(ii)原始MILP和其松弛形式的解之间的次优性间隙。仿真结果说明了这些理论在实践中的发展,并表明松弛和正则化一起得到的解决方案的质量只有轻微的影响。
2022-11-21 math.OC
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下,随机梯度下降(SGD)算法避免了鞍点并收敛于非凸问题的局部极小值。然而,分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降(D-SGD)-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先,我们考虑计算临界点的问题。假设损失函数是非凸的,可能是非光滑的,它表明,对于每个固定的初始化,D-SGD收敛到临界点的损失概率为1。接下来,我们考虑避免鞍点的问题。在这种情况下,我们再次假设损失函数可以是非凸和非光滑的,但在鞍点的邻域内是光滑的。结果表明,对于任何固定的初始化,D-SGD避免这样的鞍点的概率为1。通过研究底层(分布式)梯度流,使用常微分方程(ODE)方法的随机逼近,并从动力系统理论,如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化,其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Optimal Methods for Convex Risk Averse Distributed Optimization
Georgia Institute of Technology(佐治亚理工学院)
研究了网络上凸风险厌恶优化问题的通信复杂性。该问题是风险中性有限和分布式最优化问题的推广,其重要性源于在不确定环境中处理风险的需要。对于文献中的算法,在解决风险规避和风险中性问题的通信复杂性方面存在差距。我们提出了两个分布式算法,即分布式风险规避优化(DRAO)方法和分布式风险规避优化滑动(DRAO-S)方法,以缩小差距。具体而言,DRAO方法通过假设某个鞍点子问题可以在服务器节点中容易地求解来实现最优通信复杂度。DRAO-S方法通过引入一个新的鞍点滑动子程序消除了强假设,该子程序只需要在模糊度集$P$上的投影。我们观察到由DRAO-S执行的$P$ -投影的数量是最佳的。此外,我们开发了匹配的较低的复杂度界限,以显示两个DRAO和DRAO-S的通信复杂度是可以改进的。数值实验表明,令人鼓舞的DRAO-S方法的经验性能。
2023-03-07 cs.DC cs.LG math.OC
Compression and Data Similarity: Combination of Two Techniques for Communication-Efficient Solving of Distributed Variational Inequalities
Moscow Institute of Physics and Technology(莫斯科物理技术学院);HSE University(高等经济大学);IITP RAS(俄罗斯科学院信息传输问题研究所);Adyghe State University(阿迪格国立大学)
变分不等式是研究极小化、鞍点、对策、不动点问题的重要工具。现代大规模和计算昂贵的实际应用,使分布式方法来解决这些问题的流行。同时,大多数分布式系统都有一个基本问题-通信瓶颈。有各种各样的技术来处理它。特别是,在本文中,我们考虑了两种流行的方法:压缩和数据相似性的组合。我们表明,这种协同作用可以更有效地解决分布光滑强单调变分不等式的方法。实验验证了理论结论。
2022-09-03 cs.DC cs.LG math.OC
A novel multigrid method for elliptic distributed control problems
鞍点型大线性系在计算科学和工程中有着广泛的应用。分布式控制问题的离散化具有鞍点结构。鞍点问题的数值解近年来引起了人们的极大兴趣。在这项工作中,我们提出了一种新的Braess-Sarazin多重网格松弛格式的分布控制问题的有限元离散,其中我们使用的刚度矩阵得到的五点有限差分法的拉普拉斯近似的鞍点系统中产生的质量矩阵的逆。我们应用局部傅里叶分析来研究Braess-Sarazin多重网格松弛的平滑特性。从我们的分析,Braess-Sarazin松弛的最佳平滑因子。数值实验验证了我们的理论结果。这里考虑的松弛计划显示其高效率和鲁棒性的正则化参数和网格大小。
2021-11-30 cs.NA math.NA math.OC
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法,用于求解约束双线性鞍点问题,实现$O(1/t^2)$收敛率,并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所);Sber AI Lab(Sber AI实验室);Skoltech(斯科尔科沃科学技术学院)
本文提出首个在数据相似性下结合无偏/有偏压缩、方差缩减与误差反馈的分布式优化加速算法,理论创纪录并经实验验证。
2024-12-21 cs.DC cs.LG math.OC
Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity
KAUST(阿卜杜拉国王科技大学);MIPT(莫斯科物理技术学院);Purdue University(普渡大学)
我们研究结构凸优化问题,添加剂的目标$r:=p + q$,其中$r$是($μ$ -强)凸,$q$是$L_q$ -光滑和凸,和$p$是$L_p$ -光滑,可能非凸。针对这类问题,我们提出了一种不精确的加速梯度滑动方法,该方法可以跳过其中一个分量的梯度计算,同时仍然可以实现$p$和$q$的梯度调用的最优复杂度,即分别为$\mathcal{O}(\sqrt{L_p/μ})$和$\mathcal{O}(\sqrt{L_q/μ})$.这个结果比经典的黑盒复杂度$\mathcal{O}(\sqrt{(L_p+L_q)/μ})$更精确,特别是当$L_q$和$L_q$之间的差异很大时。然后,我们应用所提出的方法来解决分布式优化问题的主从架构下,代理的功能相似性,由于统计数据的相似性或其他。分布式算法实现了第一次较低的复杂性界限{ \it都}通信和本地梯度调用,与前者一直是一个长期存在的开放问题。最后通过求解一类变分不等式,将该方法推广到分布式鞍点问题(函数相似),得到了较低的通信和计算复杂度。
2022-05-30 cs.DC cs.LG math.OC
Distributed Saddle-Point Dynamics in Multilayer Networks
本文用张量形式推广分布式优化到多层网络,消除副本节点限制,推导组合拉普拉斯张量并扩展梯度下降算法,理论分析收敛性,数值实验验证并探讨层拓扑与层间动力学对共识时间的影响。
2025-02-25 math.OC physics.app-ph
Saddle Flow Dynamics: Observable Certificates and Separable Regularization
本文从能观性出发,证明了凸凹函数鞍流动力学解渐近收敛到鞍点。这个可观察的证书直接弥合了LaSalle参数中的不变集和平衡集之间的差距,并推广了传统的条件,如严格的凸性和邻近正则化。我们进一步建立在这个证书,提出了一个可分离的正则化方法鞍流动力学,使凸性的要求最低,但仍然保证渐近收敛的鞍点。我们的结果推广到鞍流动力学与向量场上的投影,并有一个直接的应用作为一个分布式解决方案的线性规划。
2020-09-30 math.OC
Robust distributed linear programming
本文提出了一种求解一般线性规划的鲁棒分布式算法。算法设计建立在线性规划的解作为修改的拉格朗日函数的鞍点的特征上。我们表明,所得到的连续时间鞍点算法是可证明正确的,但在一般情况下,不分布,因为一个全局参数与非光滑精确罚函数编码的线性规划的不等式约束。这促使设计一个不连续的鞍点动态,同时享受相同的收敛保证,是完全分布式和可扩展的解决方案向量的尺寸。我们还描述了鲁棒性对干扰和链路故障的建议动态。具体地说,我们证明了它是积分输入状态稳定的,但不是输入状态稳定的。后一个事实是一个更普遍的结果,我们也建立,其中指出,没有算法解决方案的线性规划是输入状态稳定的不确定性时,在问题数据影响的动态作为一个干扰的后果。我们的研究结果使我们能够建立所提出的分布式动态的弹性有限变化和代理之间的通信经常断开的干扰。在最优控制应用中的仿真说明了结果。
2014-09-25 math.OC
Efficient Algorithms for Federated Saddle Point Optimization
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
我们考虑了联邦环境下的强凸-凹极大极小问题,其中通信约束是主要的瓶颈。当客户端任意异构时,简单的Minibatch代理可以实现最佳性能。随着客户端变得更加同质化,在客户端使用多个局部梯度更新通过降低通信频率显著改善了Minibatch代理。我们的目标是设计一种算法,可以利用客户端的相似性的好处,同时恢复任意异构性(最多日志因素)下的Minibatch代理性能。我们给出了第一个实现这一目标的联邦极大极小优化算法。其主要思想是结合(i)SCAFFOLD(一种在客户端之间执行凸优化方差缩减的算法)来消除对异质性的最坏情况依赖性,以及(ii)Catalyst(一种基于修改目标的加速框架)来加速收敛,而不会放大客户端漂移。我们证明了该算法实现了我们的目标,并包括实验来验证理论。
2021-02-12 cs.DC cs.LG math.OC
Decentralized Saddle-Point Problems with Different Constants of Strong Convexity and Strong Concavity
大规模鞍点问题出现在机器学习任务中,如GANs和具有仿射约束的线性模型。本文研究了具有强凸-强凹光滑目标的分布鞍点问题,其中复合项的强凸性和强凸性参数(对应于最小变量和最大变量)以及双线性鞍点部分不同.我们考虑两种类型的一阶预言机:确定性(回报梯度)和随机(回报无偏随机梯度)。我们的方法在这两种情况下都有效,并在Oracle调用之间采取了几个共识步骤。
2022-10-03 math.OC
Acceleration in Distributed Optimization under Similarity
Purdue University(普渡大学);MIPT(莫斯科物理技术学院);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息传输问题研究所可信人工智能研究中心)
我们研究分布式(强凸)最优化问题在网络的代理,没有集中的节点。由于统计数据的相似性或其他原因,代理的损失函数被假定为\textit{similar}。为了减少通信次数以达到求解精度,提出了一种{ \it预处理,加速}分布式方法。$\varepsilon$ -解决方案是在$\tilde{\mathcal{O}}\big(\sqrt{\frac{β/μ}{1-ρ}}\log1/\varepsilon\big)$通信步骤数中实现的,其中$β/μ$是全局和局部损失函数之间的相对条件数,并且$ρ$表征网络的连通性。该速率匹配(多对数因子)较低的复杂性通信边界的分布式八卦算法适用于感兴趣的问题的类。数值结果表明,显着的通信节省现有的加速分布式计划,特别是在解决病态问题。
2022-04-10 cs.LG math.OC
Distributed Hessian-Free Optimization for Deep Neural Network
Lehigh University(理海大学);Intel Labs(英特尔实验室)
训练深度神经网络是一个高维、高度非凸的优化问题。随机梯度下降(SGD)算法及其变体是当前最先进的解决方案。然而,由于问题的非凸性性质,观察到SGD在鞍点附近减慢。最近的实证研究表明,通过有效地检测和逃逸鞍点,更有可能提高训练性能。为此,我们重新审视了深度网络的无海森优化方法。我们还开发了它的分布式变体,并展示了SGD的卓越扩展潜力,它允许更有效地利用更大的计算资源,从而实现大型模型和更快的时间来获得所需的解决方案。此外,不同于截断牛顿法(Marten的HF),忽略负曲率信息,通过使用朴素的共轭梯度法和高斯-牛顿海森近似信息-我们提出了一种新的算法来探索负曲率方向,通过稳定的双共轭方法解决的子问题,涉及可能的不确定的随机海森信息。我们表明,这些技术加快了标准MNIST数据集和TIMIT语音识别问题的训练过程,表现出强大的性能,批量大小高达一个数量级。对于一个简单的4层网络,最多可在16个CPU节点上实现接近线性的加速,说明了这种增加的扩展潜力。
2017-01-15 cs.DC cs.LG math.OC
Escaping Saddle Points with Compressed SGD
Indiana University(印第安纳大学)
随机梯度下降(SGD)是一种流行的大规模分布式机器学习优化技术。虽然SGD计算可以在多台机器之间有效地划分,但通信通常会成为分布式环境中的瓶颈。梯度压缩方法可以用来缓解这个问题,最近的工作表明,SGD增强梯度压缩收敛到一个$\varepsilon$ -一阶稳定点。在本文中,我们将这些结果推广到收敛到一个$\varepsilon$ -二阶稳定点($\varepsilon$ -SOSP),这是尽我们所知的第一个结果,这种类型。此外,我们表明,当随机梯度不是Lipschitz时,具有RandomK压缩器的压缩SGD收敛到具有与未压缩SGD相同的迭代次数的$\varepsilon$ -SOSP [Jin等人,2021](JACM),同时以因子$\tilde Θ(\sqrt{d} \varepsilon^{-3/4})$改进总通信,其中$d$是优化问题的维度。我们提出了额外的结果的情况下,压缩机是任意的,当随机梯度是Lipschitz。
2021-05-21 cs.LG math.OC stat.ML
Second-order Properties of Noisy Distributed Gradient Descent
针对非凸分布式优化问题,提出带随机扰动的固定步长噪声分布式梯度下降算法,证明其收敛到局部极小点邻域,并通过实验验证该算法能更快逃离鞍点。
2023-07-20 math.OC
A Regularized Saddle-Point Algorithm for Networked Optimization with Resource Allocation Constraints
Delft University of Technology(代尔夫特理工大学);Royal Institute of Technology (KTH)(皇家理工学院(KTH))
提出一种正则化鞍点算法,用于解决具有资源分配约束的凸网络优化问题,通过推导步长条件保证几何收敛,并应用于机器人网络目标保持任务。
2012-08-06 cs.SY eess.SY math.OC
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University(浙江大学);Purdue University(普渡大学)
本文提出了一种新的家庭的原始对偶为基础的分布式算法,光滑,凸,多智能体优化网络,只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析,他们的收敛速度,测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速,速率被证明是最佳的,在这个意义上,它匹配(根据建议的度量)现有的复杂性下界的分布式算法适用于这样一类问题,只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明,该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
MIPT(莫斯科物理技术学院);ISP RAS(俄罗斯科学院信息学问题研究所);Innopolis University(因诺波利斯大学)
针对分布式与联邦学习的通信和隐私问题,提出结合 Hessian 相似性、同质梯度及客户端采样的加速随机额外梯度方法,并通过加噪分析收敛,实验验证理论。
2024-09-22 cs.LG math.OC
Stochastic Proximal Point Methods for Monotone Inclusions under Expected Similarity
针对单调包含问题,提出带或不带方差缩减的随机近端点算法,利用算子相似性概念,在强单调条件下实现线性收敛。
2024-05-23 math.OC
Distributed Asynchronous Mixed-Integer Linear Programming with Feasibility Guarantees
本文提出一种分布式异步鞍点计算方法求解混合整数线性规划,通过线性规划松弛、正则化Lagrangian及并行算法,保证解的可行性且对异步通信具有容忍度。
2024-09-27 math.OC
Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities
Innopolis University(因诺波利斯大学);Skoltech(斯科尔科沃科技学院);MIPT(莫斯科物理技术学院);Yandex(Yandex公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学);IITP RAS(俄罗斯科学院信息传输问题研究所)
本文首次将局部函数相似性、信息压缩和局部更新三种技术结合用于分布式变分不等式,提出具有最佳通信复杂度理论保证的新方法,并通过对抗学习实验验证其优越性。
2024-03-30 cs.DC cs.GT cs.LG
Distributed Approximate Newton Algorithms and Weight Design for Constrained Optimization
针对经济调度和线性约束资源分配问题,提出了一类新的近似牛顿最优化方法的分布式近似牛顿算法。我们首先开发的概念,代理实现二阶算法的通信图的最佳边缘加权,并提出了一个凸近似的非凸权重设计问题。接下来,我们建立在最优权重设计开发一个离散的分布式近似牛顿算法,该算法线性收敛到最优解的经济调度问题的未知费用函数和放松的局部框约束。对于满箱约束问题,我们开发了一个连续的分布式近似牛顿算法,该算法受到一阶鞍点方法的启发,并严格证明了其收敛到原始和对偶优化器。这些分布式算法的一个主要特性是,它们只需要代理交换恒定大小的通信消息,这有助于可扩展的实现。仿真结果表明,与一阶鞍点法和梯度下降法的加权策略相比,采用我们的加权设计的分布式近似牛顿算法具有更好的收敛性能.
2019-11-19 math.OC
Distributed Resource Allocation with Binary Decisions via Newton-like Neural Network Dynamics
本文旨在解决一个具有二元局部约束的分布式资源分配问题。该问题被制定为一个二进制程序的费用函数定义的总和代理成本加上全球失配/惩罚条款。我们提出了一种修改的Hopfield神经网络(HNN)动力学,以解决这个问题,同时将一个新的牛顿样的权重因子。这种添加有助于快速避免鞍点,这是梯度类HNN容易受到的。转向多代理设置,我们重新制定的问题,并开发一个分布式实现的牛顿式的动态。我们表明,如果一个本地解决方案的分布式重组获得,它也是一个本地解决方案的集中式问题。这项工作的一个主要贡献是表明,收敛到一个适当定义的能量函数的鞍点的概率在集中式和分布式的设置是零下轻的假设。最后,我们扩大我们的算法与退火技术,逐步学习一个可行的二进制解决方案。仿真结果表明,所提出的方法与集中式贪婪和SDP松弛方法的解决方案的质量方面的竞争力,而我们的方法的主要优点是一个显着的改善,在运行时间比SDP松弛法和分布式质量的实施。
2020-07-27 math.OC
Push-Pull Based Distributed Primal-Dual Algorithm for Coupled Constrained Convex Optimization in Multi-Agent Networks
本文研究多智能体网络中的分布式耦合约束凸优化问题,基于推拉方法提出一种保护隐私的分布式原始-对偶算法,并证明其在Slater条件下收敛于Lagrange函数鞍点。
2023-10-24 math.OC
Distributed Optimization Using the Primal-Dual Method of Multipliers
在本文中,我们提出了原始-对偶乘数法(PDMM)的分布优化图。特别是,我们优化的凸函数定义在一个图,其中图中的每一个边缘进行线性等式约束的总和。在设计新算法时,构造了一个增广的原始-对偶拉格朗日函数,它可以平滑地捕捉图的拓扑结构。结果表明,鞍点的构造函数提供了原问题的最优解。在同步更新和异步更新两种情况下,PDMM对一般闭函数、真函数和凸函数都具有O(1/K)的收敛速度(K表示迭代次数).通过分布平均实验,研究了PDMM的其他性能,如不同参数设置下的收敛速度和对传输失败的恢复能力。
2017-02-02 cs.DC math.OC
Cooperative data-driven distributionally robust optimization
研究了一类多智能体随机最优化问题,其目标是极小化依赖于随机变量的函数的期望值。代理不知道随机变量的概率分布,因此每个代理收集随机变量的样本。代理的目标是使用它们的数据合作找到最优化问题的解决方案,并保证样本外性能。该方法是制定一个数据驱动的分布式鲁棒最优化问题使用Wasserstein模糊集,这是等价的凸规划。我们将后者重新表述为一个分布式最优化问题,并确定了一个凸-凹增广拉格朗日函数,其鞍点与最优化器相对应,提供了一个最小-最大可扩展性标准得到满足。我们的分布式算法设计,然后由鞍点动态相关的增广拉格朗日。我们正式建立的动态轨迹渐近收敛到一个鞍点,因此优化的问题。最后,我们提供了一类函数,满足最小-最大可拓性准则。模拟结果说明了我们的结果。
2018-12-16 math.OC
Communication Complexity of Distributed Convex Learning and Optimization
Weizmann Institute of Science(魏茨曼科学研究所)
我们研究了凸学习和优化的通信有效的分布式方法的基本限制,在不同的假设下,对单个机器的信息,以及考虑的功能类型。我们确定的情况下,现有的算法已经是最坏情况下的最佳,以及进一步改进的空间仍然是可能的情况下。除此之外,我们的研究结果表明,如果局部目标函数之间没有相似性(由于统计数据相似性或其他原因),即使机器具有无限的计算能力,也可能需要许多通信回合。
2015-10-28 cs.LG math.OC stat.ML
A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features
Kuwait University(科威特大学);Michigan State University(密歇根州立大学);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院)
本文研究了多智能体共享最优化问题,其目标函数是光滑局部函数加上一个耦合所有智能体的凸(可能是非光滑)函数的和。这种情况出现在许多机器学习和工程应用中,例如分布式特征和资源分配的回归。我们将这个问题转化为一个等价的鞍点问题,这个问题可以用分散的方法解决。然后,我们提出了一个近似的原始对偶法,并建立了它的线性收敛的最优解的局部函数是强凸的。据我们所知,这是第一个线性收敛的分散算法的多智能体共享问题的一般凸(可能是非光滑的)耦合函数。
2020-06-15 cs.LG math.OC
Stochastic Distributed Optimization under Average Second-order Similarity: Algorithms and Analysis
Academy for Advanced Interdisciplinary Studies(北京大学前沿交叉学科研究院);Peking University(北京大学数学科学学院);School of Mathematical Sciences(国家电网有限公司SGIT人工智能实验室);Peking University;SGIT AI Lab, State Grid Corporation of China
本文针对平均二阶相似性条件下的分布式有限和优化问题,提出SVRS和AccSVRS两种算法,获得了不依赖光滑性参数的更优通信复杂度上界,并给出几乎匹配的下界以验证其最优性。
2023-10-30 cs.LG math.OC stat.ML
Bregman Proximal Method for Efficient Communications under Similarity
本文提出一种基于Bregman近端映射的随机分布式方法,利用相似性在任意问题几何下求解单调及强单调变分不等式,达到最优通信复杂度并填补了现有研究空白。
2024-10-04 math.OC
Distributed Constrained Optimization over Networked Systems via A Singular Perturbation Method
研究了具有无向连通通信拓扑的网络系统的约束最优化问题。在这项工作中提出的算法利用奇异扰动,动态平均共识,鞍点动力学方法来解决问题的一般类的目标函数和仿射约束在一个完全分布式的方式。结果表明,在互联网络中的代理的私人信息是保证我们提出的策略。严格的分析提供了理论保证的解决方案的最优性。我们将新提出的解决方案应用到能源网络的两个模拟演示。
2017-10-23 math.OC
Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);AIRI;Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Skoltech(斯科尔科沃科技学院)
针对分布式优化中下行通信低效问题,提出新型下行压缩方法MARINA-P及结合上行压缩与动量的双向压缩方法M3,理论和实验均验证其通信复杂度随工作节点数增加而优化的优势。
2024-11-02 cs.LG math.OC stat.ML
Near-Optimal Distributed Minimax Optimization under the Second-Order Similarity
School of Data Science, Fudan University(复旦大学数据科学学院);School of Management, Xi’an Jiaotong University(西安交通大学管理学院)
针对二阶相似性下的分布式凸-凹极小极大优化,提出随机方差缩减乐观梯度滑动(SVOGS)方法,实现近最优的通信与计算复杂度,并在强凸情形下达到几乎紧的界,数值实验验证其优势。
2024-05-25 cs.LG math.OC
Min-max optimization over slowly time-varying graphs
本文研究缓慢时变网络上的去中心化鞍点极小极大优化问题,证明每次迭代仅改变两条边即可将收敛减缓至任意时变情形,并探讨了几类可降低通信复杂度的时变图。
2023-09-07 math.OC
Decentralized Personalized Federated Learning for Min-Max Problems
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Ivannikov Institute for System Programming RAS(俄罗斯科学院伊万尼科夫系统编程研究所);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对现有个性化联邦学习理论多聚焦极小化问题的局限,本文提出去中心化混合目标PFL框架及新算法,完成凸凹鞍点问题理论分析,实验验证了方法有效性。
2024-04-17 cs.DC cs.LG math.OC
An Approach for Non-Convex Uniformly Concave Structured Saddle Point Problem
近年来,鞍点问题由于其强大的建模能力而受到广泛关注。这些问题的应用出现在许多应用领域,如鲁棒优化,分布式优化,对策论,以及机器学习中的许多应用,如经验风险最小化和生成对抗网络训练。因此,许多研究人员积极致力于发展数值方法来解决许多不同环境下的鞍点问题。本文致力于发展一种求解非凸一致凹背景下鞍点问题的数值方法。研究了一类具有复合结构和高阶Hölder连续导数的鞍点问题.为了解决所考虑的问题,我们提出了一种方法,在该方法中,我们减少了两个辅助最优化问题分别为每组变量,外部最小化问题w.r.t.原始变量和关于对偶变量的内极大化问题。对于解决外部最小化问题,我们使用的\textit{Adaptive Gradient Method},这是适用于非凸问题,也与一个不精确的预言,是通过近似解决内部问题。为了解决内部最大化问题,我们使用\textit{Restarted Unified Acceleration Framework},这是一个框架,统一的高阶加速方法,最小化一个凸函数,具有Hölder连续高阶导数。单独的复杂性界限提供了外部最小化问题和内部最大化问题的高阶预言机的一阶预言机的调用次数。此外,整个所提出的方法的复杂性,然后估计。
2022-02-13 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT(莫斯科物理技术学院);Research Center of the Artificial Intelligence Institute, Innopolis University(因诺波利斯大学人工智能研究所);ISP RAS(俄罗斯科学院斯捷克洛夫数学研究所)
本文研究了在时间变化网络上非光滑随机去中心化优化问题,针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法,应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Distributed Proximal Algorithms for Multi-Agent Optimization with Coupled Inequality Constraints
本文研究了有向时变网络上的分布式最优化问题,其中全局目标函数由一组局部可达的凸目标函数组成,它们受可行集约束和耦合的不等式约束的约束,每个智能体只能部分地获取这些约束的信息.针对这一问题,在著名的集中式邻近点法的基础上,提出了一种基于邻近点的分布式算法--分布式邻近原对偶算法(DPPD)。结果表明,该算法能以一般步长得到全局最优解,该步长是递减的且不可和的,但不一定是平方和的,鞍点运行估计误差与$O(1/\sqrt{k})$成比例地消失,其中$k>0$是迭代次数.最后,通过仿真实例验证了该算法的有效性.
2020-07-11 math.OC
Contractivity of Distributed Optimization and Nash Seeking Dynamics
本文从收缩理论视角研究分布式优化与纳什均衡寻求动态,给出鞍点矩阵对数范数新界,建立分布式梯度流在不变子空间上的强收缩性,并给出伪梯度与最优响应博弈中强收缩的充分条件及其等价性。
2023-09-21 cs.SY eess.SY math.OC
Optimal management and spatial patterns in a distributed shallow lake model
我们提出了一个数值框架来处理无限时域空间分布的最优控制问题,通过相关的正则系统由庞特里亚金的最大值原理。基本思想是分两步考虑规范系统。首先,我们使用延续和分叉包pde2path进行正则稳态的分叉分析,产生一些所谓的平坦和图案化的正则稳态。在第二步中,我们将pde2path链接到两点边值问题求解器TOM,以研究具有所谓的鞍点性质的稳态的不定常正则路径。作为一个例子,我们考虑一个浅水湖模型的扩散。
2015-06-10 math.AP math.OC