Quantization Avoids Saddle Points in Distributed Optimization
Clemson University(克莱姆森大学)
该研究提出一种随机量化方案,利用量化过程使分布式非凸优化逃离鞍点并收敛至二阶稳定点,同时通过可调量化粒度降低通信开销,实验验证其有效性。
2024-03-15 cs.LG math.OC
Distributed Gradient Flow: Nonsmoothness, Nonconvexity, and Saddle Point Evasion
研究了多智能体非凸优化问题的分布式梯度流(DGF)。DGF是分布式梯度下降的连续时间近似,通常比其离散时间对应物更容易研究。该文件有两个主要贡献。首先,本文考虑非光滑,非凸目标函数的优化。结果表明,在这种情况下,DGF收敛到临界点。然后考虑避免鞍点的问题。证明了如果智能体的目标函数是光滑非凸的,则DGF只能从一个零测度的初始条件集收敛到一个鞍点。为了建立这一结果,本文证明了DGF的稳定流形定理,这是一个独立的兴趣的基本贡献。在配套文件中,类似的结果推导出离散时间算法。
2020-08-12 cs.MA math.OC
On the Convergence of a Noisy Gradient Method for Non-convex Distributed Resource Allocation: Saddle Point Escape
University of Melbourne(墨尔本大学)
针对非凸分布式资源分配问题,本文在拉普拉斯加权梯度下降基础上加入随机扰动以实现鞍点逃逸,证明了二阶收敛性,实验显示其性能优于标准加权梯度下降。
2026-08-26 math.OC
Distributed saddle-point subgradient algorithms with Laplacian averaging
我们提出了分布式次梯度方法的最小最大问题的协议约束的一个子集的论点的凸和凹的部分。应用包括约束最小化问题,其中每个约束是代理的局部变量中的凸函数的和。在后一种情况下,该算法减少到原始-对偶更新使用局部次梯度和拉普拉斯平均的本地副本的乘数相关联的全球约束。对于一般的凹凸鞍点问题,我们的分析建立了局部估计的运行时间平均值在通信有向图的周期连通性下收敛到一个鞍点.具体地说,选择梯度步长在一个合适的方式,我们表明,评估误差是成正比的$1/\sqrt{t}$,其中$t$是迭代步骤。我们说明了我们的结果在模拟的优化方案与非线性约束耦合的代理,不能直接沟通的决定。
2016-05-24 math.OC
Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
Ivannikov Institute for System Programming of the RAS(俄罗斯科学院伊万尼科夫系统编程研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Innopolis University(因诺波利斯大学);Artificial Intelligence Research Institute(人工智能研究所);Institute for Information Transmission Problems of the RAS(俄罗斯科学院信息传输问题研究所)
本文研究分布式随机鞍点问题,提出下界与近最优算法,并设计新联邦算法Extra Step Local SGD,通过分布式训练GAN验证其有效性。
2025-04-25 cs.DC cs.LG math.OC
Technical Report: Distributed Asynchronous Large-Scale Mixed-Integer Linear Programming via Saddle Point Computation
我们通过分布式异步鞍点计算求解大规模混合整数线性规划。这是由于MILP能够在多代理自治中建模问题,例如,多机器人系统中具有避碰约束的任务分配和轨迹规划问题。为了解决MILP,我们放松它与非线性程序近似,其精度收紧代理的数量增加相对于耦合约束的数量。接下来,我们形成一个等价的拉格朗日鞍点问题,然后在原始空间和对偶空间中正则化拉格朗日,以创建一个正则化的拉格朗日是强凸-强凹的。然后,我们开发了一个并行算法来计算正则化拉格朗日的鞍点。该算法将问题划分为原始或对偶决策变量的标量或子向量块,并且在原始和对偶变量的计算和通信中显示出容忍冗余。给出了收敛到鞍点的次优界和收敛速度。次优性界包括(i)正则化拉格朗日量引起的正则化误差和(ii)原始MILP和其松弛形式的解之间的次优性间隙。仿真结果说明了这些理论在实践中的发展,并表明松弛和正则化一起得到的解决方案的质量只有轻微的影响。
2022-11-21 math.OC
Escaping Saddle Points in Distributed Newton's Method with Communication Efficiency and Byzantine Resilience
UCSD(加州大学圣迭戈分校);UMass Amherst(马萨诸塞大学阿默斯特分校);UC Berkeley(加州大学伯克利分校)
在大规模分布式学习框架(如联邦学习)中,非凸优化的鞍点避免问题具有相当大的挑战性,特别是在拜占庭工人存在的情况下。\cite{nest}中著名的正则化牛顿法是在标准集中式(非分布式)设置中避免鞍点的最优雅的方法之一。在本文中,我们扩展的正则化牛顿方法的分布式框架,同时解决一些实际的挑战,如通信瓶颈和拜占庭攻击。注意,在拜占庭机器存在的情况下,鞍点避免的问题变得更加关键,因为流氓机器可能在损失函数的鞍点附近创建\emph{fake local minima},也称为鞍点攻击。作为一个二阶算法,我们的迭代复杂度比一阶算法低得多。此外,我们使用压缩(或稀疏化)技术,如$δ$ -近似压缩通信效率。我们获得了理论保证,我们提出的计划下的几个设置,包括近似(二次采样)梯度和海森。此外,我们使用标准数据集和几种类型的拜占庭攻击的实验验证了我们的理论研究结果,并获得了改进的$25\%$相对于一阶方法的迭代复杂度。
2021-12-25 cs.DC cs.LG math.OC
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下,随机梯度下降(SGD)算法避免了鞍点并收敛于非凸问题的局部极小值。然而,分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降(D-SGD)-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先,我们考虑计算临界点的问题。假设损失函数是非凸的,可能是非光滑的,它表明,对于每个固定的初始化,D-SGD收敛到临界点的损失概率为1。接下来,我们考虑避免鞍点的问题。在这种情况下,我们再次假设损失函数可以是非凸和非光滑的,但在鞍点的邻域内是光滑的。结果表明,对于任何固定的初始化,D-SGD避免这样的鞍点的概率为1。通过研究底层(分布式)梯度流,使用常微分方程(ODE)方法的随机逼近,并从动力系统理论,如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化,其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Defending Against Saddle Point Attack in Byzantine-Robust Distributed Learning
UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
我们研究鲁棒分布式学习,涉及最小化非凸损失函数鞍点。我们考虑拜占庭设置,其中一些工人机器具有异常甚至任意和对抗性行为。在这种情况下,拜占庭机器可能会在远离任何真正的局部最小值的鞍点附近创建假的局部最小值,即使使用了鲁棒的梯度估计器。我们开发ByzantinePGD,一个强大的一阶算法,可以证明逃脱鞍点和假的局部极小值,并收敛到一个近似的真正的局部极小,具有低迭代复杂度。作为副产品,我们给出了一个更简单的算法和分析,在通常的非拜占庭设置逃逸鞍点。我们进一步讨论了三个强大的梯度估计,可用于ByzantinePGD,包括中位数,修剪均值,迭代滤波。我们在具体的统计环境中的性能特点,并认为他们的近最优的低维和高维制度。
2020-07-29 cs.CR cs.DC cs.LG
Distributed Learning in Non-Convex Environments -- Part II: Polynomial Escape from Saddle-Points
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
从流数据中进行分布式学习的扩散策略采用局部随机梯度更新以及邻域上的迭代交换。在这项工作的第一部分[2]中,我们建立了代理围绕网络质心聚集,并继续研究这一点的动力学。我们建立了大梯度制度中的非凸环境中的预期下降,并引入了一个短期模型来研究有限时间范围内的动态。使用这个模型,我们建立在这项工作中的扩散策略是能够逃脱严格的鞍点O(1/ $μ$)迭代,它也能够返回近似二阶稳定点的多项式迭代次数。相对于以前的工作多项式逃离鞍点,其中大部分集中扰动或随机梯度下降,我们的方法需要较少的限制条件的梯度噪声过程。
2019-07-03 cs.LG cs.MA eess.SP
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法,用于求解约束双线性鞍点问题,实现$O(1/t^2)$收敛率,并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
A novel multigrid method for elliptic distributed control problems
鞍点型大线性系在计算科学和工程中有着广泛的应用。分布式控制问题的离散化具有鞍点结构。鞍点问题的数值解近年来引起了人们的极大兴趣。在这项工作中,我们提出了一种新的Braess-Sarazin多重网格松弛格式的分布控制问题的有限元离散,其中我们使用的刚度矩阵得到的五点有限差分法的拉普拉斯近似的鞍点系统中产生的质量矩阵的逆。我们应用局部傅里叶分析来研究Braess-Sarazin多重网格松弛的平滑特性。从我们的分析,Braess-Sarazin松弛的最佳平滑因子。数值实验验证了我们的理论结果。这里考虑的松弛计划显示其高效率和鲁棒性的正则化参数和网格大小。
2021-11-30 cs.NA math.NA math.OC
Efficient Gradient Methods for Distributed Saddle Problems
Institute of Science and Technology Austria(奥地利科学技术研究院);CISPA Helmholtz Center(CISPA赫尔姆霍兹中心)
本文提出了一种新的解分布式鞍点问题的高效梯度方法,通过正式定义通信和计算成本,实现了最优通信成本,并将该方法扩展到变分不等式问题,展示了更优的通信复杂度。
2026-05-18 cs.DC cs.MA math.OC
Distributed saddle point problems for strongly concave-convex functions
Tufts University(塔夫茨大学)
在本文中,我们提出了GT-GDA,分布式最优化方法来解决鞍点问题的形式:$\min_{\mathbf{x}} \max_{\mathbf{y}} \{F(\mathbf{x},\mathbf{y}) :=G(\mathbf{x}) + \langle \mathbf{y}, \overline{P} \mathbf{x} \rangle - H(\mathbf{y})\}$,其中的功能$G(\cdot)$,$H(\cdot)$,和耦合矩阵$\overline{P}$分布在一个强连接的网络节点。GT-GDA是一种一阶方法,它使用梯度跟踪来消除节点之间的异构数据分布所造成的不相似性。在最一般的形式中,GT-GDA包括在局部耦合矩阵上的共识,以实现最佳(唯一)鞍点,然而,以增加通信为代价。为了避免这种情况,我们提出了一个更有效的变种GT-GDA-Lite,不会引起额外的通信,并分析其在各种情况下的收敛。证明了当$G(\cdot)$光滑且凸,$H(\cdot)$光滑且强凸,全局耦合矩阵$\overline{P}$具有满列秩秩时,GT-GDA线性收敛于唯一的鞍点解.我们进一步描述的制度下,GT-GDA表现出网络拓扑无关的收敛行为。接下来,我们展示了GT-GDA线性收敛到唯一鞍点周围的误差,当耦合成本${\langle \mathbf y, \overline{P} \mathbf x \ra…
2022-07-01 cs.LG cs.MA math.OC
Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出Power-EF算法,通过误差反馈压缩通信,首次在异构联邦学习中无需数据同质性假设即可证明逃离鞍点并达到二阶驻点,且通信开销与一阶收敛几乎同阶。
2023-10-29 cs.DC cs.LG math.OC
Saddle Flow Dynamics: Observable Certificates and Separable Regularization
本文从能观性出发,证明了凸凹函数鞍流动力学解渐近收敛到鞍点。这个可观察的证书直接弥合了LaSalle参数中的不变集和平衡集之间的差距,并推广了传统的条件,如严格的凸性和邻近正则化。我们进一步建立在这个证书,提出了一个可分离的正则化方法鞍流动力学,使凸性的要求最低,但仍然保证渐近收敛的鞍点。我们的结果推广到鞍流动力学与向量场上的投影,并有一个直接的应用作为一个分布式解决方案的线性规划。
2020-09-30 math.OC
Robust distributed linear programming
本文提出了一种求解一般线性规划的鲁棒分布式算法。算法设计建立在线性规划的解作为修改的拉格朗日函数的鞍点的特征上。我们表明,所得到的连续时间鞍点算法是可证明正确的,但在一般情况下,不分布,因为一个全局参数与非光滑精确罚函数编码的线性规划的不等式约束。这促使设计一个不连续的鞍点动态,同时享受相同的收敛保证,是完全分布式和可扩展的解决方案向量的尺寸。我们还描述了鲁棒性对干扰和链路故障的建议动态。具体地说,我们证明了它是积分输入状态稳定的,但不是输入状态稳定的。后一个事实是一个更普遍的结果,我们也建立,其中指出,没有算法解决方案的线性规划是输入状态稳定的不确定性时,在问题数据影响的动态作为一个干扰的后果。我们的研究结果使我们能够建立所提出的分布式动态的弹性有限变化和代理之间的通信经常断开的干扰。在最优控制应用中的仿真说明了结果。
2014-09-25 math.OC
Decentralized Saddle-Point Problems with Different Constants of Strong Convexity and Strong Concavity
大规模鞍点问题出现在机器学习任务中,如GANs和具有仿射约束的线性模型。本文研究了具有强凸-强凹光滑目标的分布鞍点问题,其中复合项的强凸性和强凸性参数(对应于最小变量和最大变量)以及双线性鞍点部分不同.我们考虑两种类型的一阶预言机:确定性(回报梯度)和随机(回报无偏随机梯度)。我们的方法在这两种情况下都有效,并在Oracle调用之间采取了几个共识步骤。
2022-10-03 math.OC
Second-order Guarantees of Distributed Gradient Algorithms
本文考虑网络上的分布光滑非凸无约束优化问题,网络模型为连通图。我们研究了分布式基于梯度的算法在严格鞍点附近的行为。具体来说,我们建立,(i)著名的分布式梯度下降(DGD)算法可能收敛到一个二阶平稳(SoS)解决方案的邻域;和(ii)最近的一类分布式算法的基础上梯度跟踪-实现也有向图-可能收敛到确切的SoS解决方案,从而避免(严格)鞍点。此外,对后一类算法建立了新的一阶临界点的收敛速度结果。
2020-05-25 cs.DC math.OC
Second-order Properties of Noisy Distributed Gradient Descent
针对非凸分布式优化问题,提出带随机扰动的固定步长噪声分布式梯度下降算法,证明其收敛到局部极小点邻域,并通过实验验证该算法能更快逃离鞍点。
2023-07-20 math.OC
Distributed Saddle-Point Problems Under Similarity
Moscow Institute of Physics and Technology(莫斯科物理技术学院);ISP RAS(俄罗斯科学院信息传输问题研究所);Research Center for Trusted Artificial Intelligence(可信人工智能研究中心);MIPT(莫斯科物理技术学院);HSE University(高等经济大学);Yandex(扬德克斯);Purdue University(普渡大学)
本文研究了两类网络上的(强)凸-(强)凹鞍点问题(SPP)的求解方法--主/工(中心化)网络和网状(分散化)网络。由于统计数据相似性或其他原因,假设每个节点处的局部函数是相似的。我们建立一个相当一般的一类算法解决SPP的复杂性较低的界限。我们发现,一个给定的次优$ε>0$是实现在主/工人网络在$Ω\big(Δ\cdot δ/μ\cdot \log (1/\varepsilon)\big)$轮的通信,其中$δ>0$措施的相似程度的本地功能,$μ$是他们的强凸常数,和$Δ$是网络的直径。网状网络上的较低通信复杂度界限读作$Ω\big(1/{\sqrtρ} \cdot δ/μ\cdot\log (1/\varepsilon)\big)$,其中$ρ$是用于相邻节点之间的通信的流言矩阵的(归一化)本征间隙。然后,我们提出了算法匹配的下界在任何类型的网络(对数因子)。我们评估所提出的算法的有效性上一个强大的逻辑斯谛回归问题。
2022-08-22 cs.DC cs.LG math.OC
A Regularized Saddle-Point Algorithm for Networked Optimization with Resource Allocation Constraints
Delft University of Technology(代尔夫特理工大学);Royal Institute of Technology (KTH)(皇家理工学院(KTH))
提出一种正则化鞍点算法,用于解决具有资源分配约束的凸网络优化问题,通过推导步长条件保证几何收敛,并应用于机器人网络目标保持任务。
2012-08-06 cs.SY eess.SY math.OC
Distributed Asynchronous Mixed-Integer Linear Programming with Feasibility Guarantees
本文提出一种分布式异步鞍点计算方法求解混合整数线性规划,通过线性规划松弛、正则化Lagrangian及并行算法,保证解的可行性且对异步通信具有容忍度。
2024-09-27 math.OC
Accelerated Distributed Primal-Dual Dynamics using Adaptive Synchronization
本文提出了一种自适应的原始-对偶动力学多智能体系统的分布式优化。所提出的动态结合了自适应同步法,加强了耦合代理的原始变量之间的互连强度,给定的法律加速所提出的动态鞍点解的收敛。由此产生的动态表示为一个反馈互联网络系统,证明是被动的。利用所提出的动态的无源性特性与混合动力系统的LaSalle不变原理,建立鞍点解的渐近收敛和稳定性。进一步分析了原动力学的收敛速率,建立了原动力学的较强收敛界,证明了原动力学在自适应同步下实现了加速收敛。使用L2增益分析和收敛速率和鲁棒性之间的相关性的建议动态的鲁棒性进行量化。通过将其应用于分布式最小二乘和分布式支持向量机问题,证明了所提出的动态的有效性。
2019-05-02 math.OC
Distributed Resource Allocation with Binary Decisions via Newton-like Neural Network Dynamics
本文旨在解决一个具有二元局部约束的分布式资源分配问题。该问题被制定为一个二进制程序的费用函数定义的总和代理成本加上全球失配/惩罚条款。我们提出了一种修改的Hopfield神经网络(HNN)动力学,以解决这个问题,同时将一个新的牛顿样的权重因子。这种添加有助于快速避免鞍点,这是梯度类HNN容易受到的。转向多代理设置,我们重新制定的问题,并开发一个分布式实现的牛顿式的动态。我们表明,如果一个本地解决方案的分布式重组获得,它也是一个本地解决方案的集中式问题。这项工作的一个主要贡献是表明,收敛到一个适当定义的能量函数的鞍点的概率在集中式和分布式的设置是零下轻的假设。最后,我们扩大我们的算法与退火技术,逐步学习一个可行的二进制解决方案。仿真结果表明,所提出的方法与集中式贪婪和SDP松弛方法的解决方案的质量方面的竞争力,而我们的方法的主要优点是一个显着的改善,在运行时间比SDP松弛法和分布式质量的实施。
2020-07-27 math.OC
Push-Pull Based Distributed Primal-Dual Algorithm for Coupled Constrained Convex Optimization in Multi-Agent Networks
本文研究多智能体网络中的分布式耦合约束凸优化问题,基于推拉方法提出一种保护隐私的分布式原始-对偶算法,并证明其在Slater条件下收敛于Lagrange函数鞍点。
2023-10-24 math.OC
Escaping Saddle Points with Compressed SGD
Indiana University(印第安纳大学)
随机梯度下降(SGD)是一种流行的大规模分布式机器学习优化技术。虽然SGD计算可以在多台机器之间有效地划分,但通信通常会成为分布式环境中的瓶颈。梯度压缩方法可以用来缓解这个问题,最近的工作表明,SGD增强梯度压缩收敛到一个$\varepsilon$ -一阶稳定点。在本文中,我们将这些结果推广到收敛到一个$\varepsilon$ -二阶稳定点($\varepsilon$ -SOSP),这是尽我们所知的第一个结果,这种类型。此外,我们表明,当随机梯度不是Lipschitz时,具有RandomK压缩器的压缩SGD收敛到具有与未压缩SGD相同的迭代次数的$\varepsilon$ -SOSP [Jin等人,2021](JACM),同时以因子$\tilde Θ(\sqrt{d} \varepsilon^{-3/4})$改进总通信,其中$d$是优化问题的维度。我们提出了额外的结果的情况下,压缩机是任意的,当随机梯度是Lipschitz。
2021-05-21 cs.LG math.OC stat.ML
Cooperative data-driven distributionally robust optimization
研究了一类多智能体随机最优化问题,其目标是极小化依赖于随机变量的函数的期望值。代理不知道随机变量的概率分布,因此每个代理收集随机变量的样本。代理的目标是使用它们的数据合作找到最优化问题的解决方案,并保证样本外性能。该方法是制定一个数据驱动的分布式鲁棒最优化问题使用Wasserstein模糊集,这是等价的凸规划。我们将后者重新表述为一个分布式最优化问题,并确定了一个凸-凹增广拉格朗日函数,其鞍点与最优化器相对应,提供了一个最小-最大可扩展性标准得到满足。我们的分布式算法设计,然后由鞍点动态相关的增广拉格朗日。我们正式建立的动态轨迹渐近收敛到一个鞍点,因此优化的问题。最后,我们提供了一类函数,满足最小-最大可拓性准则。模拟结果说明了我们的结果。
2018-12-16 math.OC
Consensus-based Distributed Optimization for Multi-agent Systems over Multiplex Networks
针对多层网络分布式优化研究不足,提出基于超拉普拉斯矩阵的鞍点与梯度下降算法,分析收敛性并验证于能源-天然气协调调度。
2024-11-11 cond-mat.stat-mech math.OC physics.soc-ph
Distributed Constrained Optimization over Networked Systems via A Singular Perturbation Method
研究了具有无向连通通信拓扑的网络系统的约束最优化问题。在这项工作中提出的算法利用奇异扰动,动态平均共识,鞍点动力学方法来解决问题的一般类的目标函数和仿射约束在一个完全分布式的方式。结果表明,在互联网络中的代理的私人信息是保证我们提出的策略。严格的分析提供了理论保证的解决方案的最优性。我们将新提出的解决方案应用到能源网络的两个模拟演示。
2017-10-23 math.OC
Min-max optimization over slowly time-varying graphs
本文研究缓慢时变网络上的去中心化鞍点极小极大优化问题,证明每次迭代仅改变两条边即可将收敛减缓至任意时变情形,并探讨了几类可降低通信复杂度的时变图。
2023-09-07 math.OC
An Approach for Non-Convex Uniformly Concave Structured Saddle Point Problem
近年来,鞍点问题由于其强大的建模能力而受到广泛关注。这些问题的应用出现在许多应用领域,如鲁棒优化,分布式优化,对策论,以及机器学习中的许多应用,如经验风险最小化和生成对抗网络训练。因此,许多研究人员积极致力于发展数值方法来解决许多不同环境下的鞍点问题。本文致力于发展一种求解非凸一致凹背景下鞍点问题的数值方法。研究了一类具有复合结构和高阶Hölder连续导数的鞍点问题.为了解决所考虑的问题,我们提出了一种方法,在该方法中,我们减少了两个辅助最优化问题分别为每组变量,外部最小化问题w.r.t.原始变量和关于对偶变量的内极大化问题。对于解决外部最小化问题,我们使用的\textit{Adaptive Gradient Method},这是适用于非凸问题,也与一个不精确的预言,是通过近似解决内部问题。为了解决内部最大化问题,我们使用\textit{Restarted Unified Acceleration Framework},这是一个框架,统一的高阶加速方法,最小化一个凸函数,具有Hölder连续高阶导数。单独的复杂性界限提供了外部最小化问题和内部最大化问题的高阶预言机的一阶预言机的调用次数。此外,整个所提出的方法的复杂性,然后估计。
2022-02-13 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT(莫斯科物理技术学院);Research Center of the Artificial Intelligence Institute, Innopolis University(因诺波利斯大学人工智能研究所);ISP RAS(俄罗斯科学院斯捷克洛夫数学研究所)
本文研究了在时间变化网络上非光滑随机去中心化优化问题,针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法,应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Distributed Hessian-Free Optimization for Deep Neural Network
Lehigh University(理海大学);Intel Labs(英特尔实验室)
训练深度神经网络是一个高维、高度非凸的优化问题。随机梯度下降(SGD)算法及其变体是当前最先进的解决方案。然而,由于问题的非凸性性质,观察到SGD在鞍点附近减慢。最近的实证研究表明,通过有效地检测和逃逸鞍点,更有可能提高训练性能。为此,我们重新审视了深度网络的无海森优化方法。我们还开发了它的分布式变体,并展示了SGD的卓越扩展潜力,它允许更有效地利用更大的计算资源,从而实现大型模型和更快的时间来获得所需的解决方案。此外,不同于截断牛顿法(Marten的HF),忽略负曲率信息,通过使用朴素的共轭梯度法和高斯-牛顿海森近似信息-我们提出了一种新的算法来探索负曲率方向,通过稳定的双共轭方法解决的子问题,涉及可能的不确定的随机海森信息。我们表明,这些技术加快了标准MNIST数据集和TIMIT语音识别问题的训练过程,表现出强大的性能,批量大小高达一个数量级。对于一个简单的4层网络,最多可在16个CPU节点上实现接近线性的加速,说明了这种增加的扩展潜力。
2017-01-15 cs.DC cs.LG math.OC
Contractivity of Distributed Optimization and Nash Seeking Dynamics
本文从收缩理论视角研究分布式优化与纳什均衡寻求动态,给出鞍点矩阵对数范数新界,建立分布式梯度流在不变子空间上的强收缩性,并给出伪梯度与最优响应博弈中强收缩的充分条件及其等价性。
2023-09-21 cs.SY eess.SY math.OC
Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities
Innopolis University(因诺波利斯大学);Skoltech(斯科尔科沃科技学院);MIPT(莫斯科物理技术学院);Yandex(Yandex公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学);IITP RAS(俄罗斯科学院信息传输问题研究所)
本文首次将局部函数相似性、信息压缩和局部更新三种技术结合用于分布式变分不等式,提出具有最佳通信复杂度理论保证的新方法,并通过对抗学习实验验证其优越性。
2024-03-30 cs.DC cs.GT cs.LG
A distributed ADMM-like method for resource sharing over time-varying networks
我们考虑合作的多智能体资源共享问题在时变通信网络,只允许本地通信。我们的目标是最小化的总和代理特定的复合凸函数受到圆锥约束,耦合代理的决定。我们提出了一个分布式的原始对偶法DPDA-D解决鞍点公式的共享问题的时变(非)有向通信网络,我们表明,原始对偶序列收敛到一个点定义的原始最优解和一个共识的双重价格的耦合约束。此外,我们提供了收敛速度的次优,不可行性和共识违反代理的双重价格评估;检查底层网络拓扑结构的影响,建议分散算法的收敛速度;并比较DPDA-D与集中式方法的基础上追求去噪和多通道功率分配问题。
2019-08-25 math.OC
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University(浙江大学);Purdue University(普渡大学)
本文提出了一种新的家庭的原始对偶为基础的分布式算法,光滑,凸,多智能体优化网络,只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析,他们的收敛速度,测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速,速率被证明是最佳的,在这个意义上,它匹配(根据建议的度量)现有的复杂性下界的分布式算法适用于这样一类问题,只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明,该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
A Chebyshev-Accelerated Primal-Dual Method for Distributed Optimization
我们考虑一个分布式最优化问题在网络的代理,旨在最小化一个全球目标函数,这是当地的凸和复合费用函数的总和。为此,我们提出了一个分布式Chebyshev加速原始对偶法,以实现更快的遍历收敛速度。在标准分布式原始对偶法中,向全局最优值(即,相应拉格朗日函数中的鞍点)直接受到表示通信图的拉普拉斯矩阵的特征值的影响。在本文中,我们使用Chebyshev矩阵多项式来生成八卦矩阵,其频谱特性导致更快的收敛速度,同时允许完全分布式的实现。因此,所提出的算法需要更少的梯度更新的成本代理之间的额外的几轮通信。我们说明了所提出的算法在分布式信号恢复问题的性能。我们的模拟表明,如何使用Chebyshev矩阵多项式可以用来提高收敛速度的原始对偶法在通信网络,特别是在网络的频谱特性差,通过贸易的本地计算的通信轮。
2018-10-15 math.OC
Decentralized Feature-Distributed Optimization for Generalized Linear Models
研究了广义线性模型的“全对一”分散学习问题。每个样本的特征被划分在连接的网络中的多个协作代理之间,但是只有一个代理观察响应变量。为了解决正则化的经验风险最小化,在这个分布式设置,我们应用Chambolle-Pock原始对偶法的一个等价的鞍点制定的问题。原始和对偶迭代要么是封闭形式的,要么是标量凸函数的坐标最小化。我们建立了经验风险最小化的收敛速度的损失函数(Lipschitz和平方根Lipschitz)的两个不同的假设下,并显示它们如何依赖于设计矩阵和网络的拉普拉斯算子的特性。
2021-10-28 cs.MA math.OC stat.ML
Distributed Certifiably Correct Pose-Graph Optimization
Massachusetts Institute of Technology(麻省理工学院)
本文提出了分布式姿态图优化(PGO)的第一个可证明正确的算法,现代协同同时定位和地图(CSLAM)和摄像机网络定位(CNL)系统的骨干。我们的方法是基于一个稀疏的半定松弛,我们证明在中等测量噪声下提供全局最优的PGO解决方案(与最先进的集中式方法所享有的保证相匹配),但适用于使用低秩黎曼阶梯框架的分布式优化。为了在分布式环境中实现黎曼阶梯,我们开发了黎曼块坐标下降(RBCD),这是一种(局部)最小化黎曼流形乘积上函数的新方法。我们还提出了第一个分布式解决方案验证和鞍逃逸方法来证明通过RBCD恢复的临界点的全局最优性,并从次优临界点下降(如果需要)。我们方法的所有组件本质上都是分散的:它们只需要本地通信,提供隐私保护,并且易于并行化。在人工数据集和真实数据集上进行的大量测试表明,该方法在中等噪声下能够正确地恢复全局最优解,并且在解的精度和收敛速度方面优于其他分布式技术.
2021-05-19 cs.RO math.OC
Projected Primal-Dual Gradient Flow of Augmented Lagrangian with Application to Distributed Maximization of the Algebraic Connectivity of a Network
本文提出了一种求解不一定是严格凸的凸优化问题的增广拉格朗日投影原始-对偶梯度流。优化变量由一个在其切锥上具有可计算投影运算的凸集以及等式约束约束。作为\cite{niederlander2016distributed}中分析的补充,我们证明了投影的动力系统收敛于鞍点之一,从而找到了一个最优解。此外,考虑了通过优化每个节点(基站)的端口增益来分布式地最大化无向网络的代数连通度的问题。将原来的半定规划(SDP)问题松弛为一个非线性规划(NP)问题,并通过上述投影动力系统求解。数值例子表明,上述算法收敛到最优解之一。松弛的效果说明经验与数值例子。提出了一种方法,使达到平衡所需的迭代次数被抑制。用数值例子说明了算法的每次迭代的复杂性。
2018-10-30 math.OC
Multiplicative Weights Update as a Distributed Constrained Optimization Algorithm: Convergence to Second-order Stationary Points Almost Always
非凹最大化一直是优化和机器学习社区最近研究的主题,特别是在深度学习中。最近的论文Ge等人,Lee等人(以及其中的参考文献)表明,一阶方法工作良好,避免了鞍点。然而,Lee等人的结果仅限于\textit{unconstrained}的情况或临界点位于可行性集内部的情况,这无法捕获一些最有趣的应用。在本文中,我们专注于\textit{constrained}非凹最大化。我们分析了机器学习中一个成熟的算法的变体,称为乘法权重更新(MWU)的最大化问题$\max_{\mathbf{x} \in D} P(\mathbf{x})$,其中$P$是非凹的,两次连续可微的和$D$是一个产品的单纯形。我们表明,MWU收敛几乎总是足够小的步长的临界点,满足二阶KKT条件。我们结合技术,从动力系统,以及利用最近的连接鲍姆Eagon不等式和MWU(Palaiopanos等)。
2020-01-12 math.OC
Distributed convergence to Nash equilibria in two-network zero-sum games
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, San Diego(加州大学圣地亚哥分校)
针对两个具有相反目标的网络智能体在零和博弈中优化共同目标函数的问题,提出分布式鞍点策略并证明其在无向拓扑下收敛到纳什均衡,在有向拓扑下通过改进动力学实现收敛。
2012-12-21 cs.SY eess.SY math.OC
Robust Distributed Averaging: When are Potential-Theoretic Strategies Optimal?
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究网络设计者与对抗者在动态网络中的互动,分析对抗者如何断开链接阻止达成共识,网络设计者通过调整有限链接权重帮助达成共识,提出两个Stackelberg博弈模型,利用潜在理论提供最优策略的替代描述,并给出零和博弈均衡存在的充分条件。
2015-02-20 cs.SY eess.SY math.OC
Robust Distributed Averaging on Networks with Adversarial Intervention
Coordinated Science Laboratory, ECE Department, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院协调科学实验室);ECE Department, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
研究网络设计者与对手在动态网络中的博弈,利用庞特里亚金最大值原理推导最优策略,并给出零和博弈鞍点均衡存在的充分条件。
2013-03-30 cs.SY eess.SY math.OC
Distributed Online Stochastic Convex-Concave Optimization: Dynamic Regret Analyses under Single and Multiple Consensus Steps
本文研究多智能体网络上的分布式在线凸-凹优化问题,提出一种基于时变预测映射的在线随机镜像下降算法,证明其动态鞍点遗憾上界并利用多次一致性技术收紧了界,最后通过目标跟踪仿真验证了有效性。
2025-08-13 math.OC
Distributed Asynchronous Primal-Dual Optimization for Supply-Chain Networks
针对不可靠通信和无界延迟下的分布式供应链流分配问题,提出全异步原始-对偶算法 DAPD-SCO,证明其 $O(K^{-1/2})$ 鞍点收敛速率,并在仿真中展现更低开销与更强鲁棒性。
2025-05-29 math.OC
Decentralized Personalized Federated Learning for Min-Max Problems
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Ivannikov Institute for System Programming RAS(俄罗斯科学院伊万尼科夫系统编程研究所);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对现有个性化联邦学习理论多聚焦极小化问题的局限,本文提出去中心化混合目标PFL框架及新算法,完成凸凹鞍点问题理论分析,实验验证了方法有效性。
2024-04-17 cs.DC cs.LG math.OC
From Local SGD to Local Fixed-Point Methods for Federated Learning
Moscow Institute of Physics and Technology(莫斯科物理技术学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
大多数求解最优化问题或寻找凹凸函数鞍点的算法都是不动点算法。在这项工作中,我们考虑的一般问题,找到一个不动点的平均运营商,或其近似值,在分布式设置。我们的工作是由联邦学习的需求推动的。在此上下文中,每个本地运营商对在移动终端上本地完成的计算进行建模。我们研究两种策略来实现这样的共识:一个是基于固定数量的本地步骤,另一个是基于随机计算。在这两种情况下,目标都是限制本地计算变量的通信,这通常是分布式框架中的瓶颈。我们进行收敛性分析,这两种方法,并进行了一些实验,突出我们的方法的好处。
2020-06-16 cs.LG math.OC stat.ML