On the Relationship Between CoCoA and ADMM for Distributed Empirical Risk Minimization
Department of Industrial & Systems Engineering, University of Wisconsin–Madison(工业与系统工程系,威斯康星大学麦迪逊分校)
本文从统一原始-对偶视角揭示CoCoA与ADMM两类分布式ERM算法的内在联系,证明岭正则化下CoCoA等价于特定近端ADMM方案,并给出ADMM型方法的统一收敛分析和早停准则。
2026-06-28 cs.LG math.OC stat.ML
Improving the Privacy and Accuracy of ADMM-Based Distributed Algorithms
University of Michigan(密歇根大学)
交替方向乘法器(ADMM)是一种用于设计机器学习算法的分布式版本的流行方法,由此对本地数据执行本地计算,其中输出以迭代方式在邻居之间交换。在这个迭代过程中,数据隐私的泄露出现了。在以前的工作中提出了一种差分私有ADMM(Zhang & Zhu,2017),其中只有一个节点在一次迭代期间的隐私损失是有界的,这种方法使得在考虑整个迭代过程中所有节点的总隐私损失时,难以平衡通过分布式计算获得的效用和隐私保证之间的权衡。我们提出了一种扰动方法ADMM的扰动项与惩罚参数相关,这是提高效用和隐私的同时。该方法是基于一个修改的ADMM,每个节点独立地确定自己的惩罚参数在每次迭代,并从双重更新步长的迭代。文中还给出了修正ADMM的收敛条件和收敛速度的下界。
2018-06-06 cs.CR cs.LG stat.ML
Newton-ADMM: A Distributed GPU-Accelerated Optimizer for Multiclass Classification Problems
Purdue Univ.(普渡大学);Univ. of Queensland(昆士兰大学);ICSI(国际计算机科学研究所);Univ. of California at Berkeley(加州大学伯克利分校)
诸如随机梯度下降(SGD)及其变体的一阶优化方法由于其简单性和低的每次迭代成本而广泛用于机器学习应用中。然而,它们通常需要大量的迭代,在分布式环境中具有相关的通信成本。相比之下,牛顿型方法虽然具有较高的每次迭代成本,但通常需要显著较少的迭代次数,这直接转化为降低的通信成本。在本文中,我们提出了一种新的分布式优化分类问题,它集成了一个GPU加速牛顿型求解器的全局共识制定交替方向的方法乘数(ADMM)。通过利用ADMM的通信效率,GPU加速的不精确牛顿求解器和有效的谱惩罚参数选择策略,我们表明我们提出的方法(i)在几个分类问题上产生更好的泛化性能;(ii)在分布式求解时间上显着优于最先进的方法;(iii)在大型分布式平台上提供更好的扩展性。
2020-02-04 cs.LG stat.ML
Distributed ADMM with Synergetic Communication and Computation
Zhejiang University(浙江大学);NC State University(北卡罗来纳州立大学)
本文提出了一种新的分布式交替方向乘法器(ADMM)算法,该算法具有协同通信和计算的特点,称为SCCD-ADMM,以减少系统的总通信和计算开销。解释,在所提出的算法中,每个节点只与其相邻节点的一部分,其数量是逐步确定根据启发式搜索过程,它考虑到预测的收敛速度和通信和计算成本在每次迭代,从而在通信和计算之间的权衡。然后,节点选择它的邻居节点根据理论推导出的重要性抽样分布,以最大限度地减少与本地存储的最新信息的方差。最后,节点更新其本地信息与新的更新规则,适应通信节点的数量。我们证明了算法的收敛性,并给出了随机性带来的收敛方差的上界。大量的仿真验证了所提出的算法的优良性能的收敛速度和方差,整体通信和计算成本,网络拓扑的影响,以及评估的时间,与传统的同行相比。
2020-09-29 cs.DC cs.LG eess.SP
Markov Chain Lifting and Distributed ADMM
Boston College(波士顿学院);Johns Hopkins University(约翰斯·霍普金斯大学)
提升操作在扩展的状态空间上产生一个新的马尔可夫链,从而大大缩短了有限马尔可夫链收敛到稳定状态的时间。对于一类二次目标,我们展示了一个类似的行为,分布式ADMM算法可以被看作是梯度下降算法的提升。这为最优参数调整下的更快收敛速度提供了深刻的见解。我们推测,这种增益总是存在的,而不是提升的马尔可夫链,有时只提供一个边际加速。
2017-03-10 cs.DS cs.IT cs.LG
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS(LAAS-法国国家科学研究中心);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
我们描述了并行或分布式异步迭代算法的几个特点,如无界延迟,可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后,给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
Gradient Energy Matching for Distributed Asynchronous Gradient Descent
University of Liège(列日大学)
分布式异步SGD已被广泛用于大型系统中的深度学习,但在增加工人数量时仍然因其不稳定而臭名昭着。在这项工作中,我们研究了拉格朗日力学的镜头下的分布式异步SGD的动力学。使用这种描述,我们引入能量的概念来描述优化过程,并推导出一个充分条件,确保其稳定性,只要集体引起的积极的工人的能量仍然低于目标同步过程的能量。利用这一标准,我们得到一个稳定的分布式异步优化程序,GEM,估计和保持的异步系统的能量低于或等于能量的顺序SGD与动量。实验结果突出的稳定性和加速的GEM相比,现有的计划,即使扩展到100个异步工人。结果还表明,更好的推广相比,有针对性的SGD动量。
2018-05-22 cs.DC cs.LG stat.ML
Asynchronous Distributed Semi-Stochastic Gradient Optimization
Hong Kong University of Science and Technology(香港科技大学)
随着最近大规模学习问题的激增,人们对分布式机器学习算法产生了很大的兴趣,特别是那些基于随机梯度下降(SGD)及其变体的算法。然而,现有的算法要么由于随机梯度的固有方差而收敛缓慢,要么具有快速的线性收敛速度,但以较差的解质量为代价。在本文中,我们结合他们的优点,提出了一个快速的分布式异步SGD为基础的算法与方差减少。可以使用恒定的学习率,并且还保证线性地收敛到最优解。在Google云计算平台上的实验表明,该算法在挂钟时间和解的质量方面都优于最先进的分布式异步算法。
2015-12-04 cs.DC cs.LG
Distributed Convex Optimization with Many Convex Constraints
Friedrich-Schiller-University Jena(耶拿弗里德里希-施特劳斯大学)
本文提出一种扩展的ADMM方法,用于解决具有众多凸约束的分布式凸优化问题,继承了ADMM和增广拉格朗日方法的收敛性保证。
2018-04-06 cs.LG cs.NA math.NA
Distributed Optimization, Averaging via ADMM, and Network Topology
Mathematical Institute for Data Science, Johns Hopkins University(约翰斯·霍普金斯大学数据科学数学研究所);Department of Computer Science, Boston College(波士顿学院计算机科学系)
对于可扩展的最优化方法的需求越来越大,特别是由于现代机器学习应用中数据集大小和模型复杂性的爆炸。可伸缩求解器通常将计算分布在处理单元的网络上。对于简单的算法,如梯度下降,收敛时间与该网络拓扑的依赖性是众所周知的。然而,对于更复杂的算法,如乘法器的交替方向法(ADMM),知之甚少。在许多分布式优化算法的核心,存在一个gossip子例程,它在网络上平均本地信息,其效率对方法的整体性能至关重要。在本文中,我们回顾了最近的研究在这方面,隔离这样的通信交换行为的目标,我们比较不同的算法时,适用于一个典型的分布平均共识问题。我们还显示了有趣的ADMM和解除马尔可夫链之间的连接,除了提供一个明确的表征其收敛性和最佳参数调整的网络的频谱特性。最后,我们实证研究了网络拓扑结构和收敛速度不同的算法在现实世界中的传感器定位问题之间的连接。
2020-09-05 cs.LG math.OC stat.ML
Taming Momentum in a Distributed Asynchronous Environment
Technion – Israel Institute of Technology(以色列理工学院);University of Toronto Scarborough(多伦多大学士嘉堡校区)
尽管分布式计算可以显著减少深度神经网络的训练时间,但在保持高效率和最终准确性的同时扩展训练过程具有挑战性。分布式异步训练可以获得接近线性的加速,但这会导致梯度失效--这是将随机梯度下降扩展到大型集群的主要困难。动量,这是经常用来加速收敛和逃避局部极小值,加剧了梯度陈旧,从而阻碍收敛。我们建议DANA:一种用于异步分布式SGD的新技术,其通过计算模型参数的估计未来位置上的梯度来减轻梯度陈旧。因此,我们第一次表明,动量可以完全纳入异步训练,几乎没有影响到最终的准确性。我们对CIFAR和ImageNet数据集的评估表明,DANA在最终准确性和收敛速度方面都优于现有方法,同时在64个异步工人上扩展到16 K的总批量大小。
2020-10-14 cs.DC cs.LG stat.ML
Joint Cooperative and Non-Cooperative Localization in WSNs with Distributed Scaled Proximal ADMM Algorithms
Sichuan University(四川大学);Syracuse University(雪城大学)
本文提出一种联合优化方法,解决无线传感器网络中协同与非协同定位问题,通过分布式缩放近端ADMM算法实现高效可靠定位,理论证明其收敛性。
2026-03-31 cs.LG math.OC
Communication Efficient Distributed Learning with Censored, Quantized, and Generalized Group ADMM
Deakin University(迪肯大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(巴黎中央理工-高等电力学院);Lagrange Mathematical and Computing Research Center(拉格朗日数学与计算研究中心);University of Oulu(奥卢大学)
在本文中,我们提出了一个有效的通信分散的机器学习框架,解决了一个共识优化问题定义在网络上的相互连接的工人。所提出的算法,删失和量化广义GADMM(CQ-GGADMM),利用工人分组和分散学习的思想组交替方向乘法(GADMM),并通过扩展其适用性广义网络拓扑结构,推动通信效率的前沿,同时将链接删失量化后可忽略不计的更新。我们从理论上证明了在一些温和的假设下,当局部目标函数是强凸的时,CQ-GGADMM具有线性收敛速度。数值模拟证实,CQ-GGADMM具有更高的通信效率,在通信轮数和传输能量消耗方面,而不影响精度和收敛速度,相比,审查分散ADMM,和工作分组方法的GADMM。
2021-01-12 cs.IT cs.LG cs.NI
Ordered Local Momentum for Asynchronous Distributed Learning under Arbitrary Delays
本文提出OrLoMo方法,通过有序局部动量实现异步分布式学习,在任意延迟下提升非凸问题的收敛性并优于同步和异步方法。
2026-01-18 cs.LG
Sparsification as a Remedy for Staleness in Distributed Asynchronous SGD
大规模机器学习越来越依赖于分布式优化,其中多台机器有助于统计模型的训练过程。在这项工作中,我们研究的异步,分布式设置的性能时,应用稀疏化,用于减少通信开销的技术。特别是,第一次在一个异步的,非凸的设置,我们从理论上证明,在存在陈旧,稀疏不损害SGD的性能:遍历收敛速度匹配的标准SGD,即$\mathcal{O} \left( 1/\sqrt{T} \right)$的已知结果。我们还进行了实证研究,以补充我们的理论,并确认稀疏化的收敛速度的影响是可以忽略不计的,相比“香草”SGD,即使在具有挑战性的情况下,异步,分布式系统。
2021-01-18 cs.LG stat.ML
ADMM Algorithms for Residual Network Training: Convergence Analysis and Parallel Implementation
The Hong Kong Polytechnic University(香港理工大学);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
提出用于训练残差神经网络的串行与并行近端ADMM算法,理论证明R-线性收敛,缓解梯度爆炸,支持并行分布式训练,实验验证快速稳定收敛与高计算效率。
2025-03-31 cs.LG math.OC
SYNTHESIS: A Semi-Asynchronous Path-Integrated Stochastic Gradient Method for Distributed Learning in Computing Clusters
The Ohio State University(俄亥俄州立大学);Iowa State University(爱荷华州立大学)
为了提高分布式学习的训练速度,近年来,人们对开发同步和异步分布式随机方差减少优化方法产生了极大的兴趣。然而,所有现有的同步和异步分布式训练算法遭受的各种限制,无论是收敛速度或实现复杂度。这促使我们提出了一种算法称为STNTHESIS(半异步路径集成随机梯度搜索),它利用特殊结构的方差减少框架,以克服同步和异步分布式学习算法的局限性,同时保留其显着的功能。我们认为两个实现STNTHESIS下的分布式和共享内存架构。我们表明,我们的STNTHESIS算法有$O(\sqrt{N}ε^{-2}(Δ+1)+N)$和$O(\sqrt{N}ε^{-2}(Δ+1) d+N)$计算复杂性为实现一个$ε$ -固定点在非凸学习分布式和共享内存架构下,分别,其中N表示的训练样本的总数和$Δ$代表的最大延迟的工人。此外,我们研究了\algname的推广性能,通过建立算法的稳定性界的二次强凸和非凸优化。我们进一步进行了大量的数值实验来验证我们的理论发现
2022-08-27 cs.LG
Asynchronous ADMM for Distributed Non-Convex Optimization in Power Systems
电力系统等复杂网络中的大规模、非凸优化问题需要高效、可扩展的分布式优化算法。现有的分布式方法通常是迭代的,并且在每次迭代时需要所有工作者的同步,这是难以扩展的,并且由于子问题的异构性可能导致计算资源的利用不足。针对同步算法的这些局限性,提出了一种基于交替方向乘子法(ADMM)的异步分布式非凸最优化方法。所提出的方法只需要本地通信,并允许每个工作者执行本地更新的信息从一个子集,但不是所有的邻居。给出了问题形式、算法参数选择和网络时延的充分条件,并证明了在这些条件下,异步ADMM方法渐近收敛于非凸问题的KKT点.我们验证了异步ADMM的有效性,将其应用到多个电力系统的最优潮流问题,并表明,所提出的异步计划的收敛速度可能比同步对应的大规模应用。
2017-10-24 cs.DC math.OC
Impact of Communication Delay on Asynchronous Distributed Optimal Power Flow Using ADMM
近年来,分布式优化在电力系统运行中引起了广泛的关注,它将一个大的区域分解为多个小的控制区域,每个控制区域通过与相邻区域的周期性信息交换来解决局部优化问题。然而,大多数分布式优化方法是迭代的,并且需要在每次迭代时同步所有区域,这在没有集中式协调器的情况下很难实现,并且由于区域的异构性可能导致计算资源的利用不足。为了解决同步方案的这些局限性,本文研究了异步分布式优化方法在电力系统优化中的适用性。特别是,我们专注于解决交流最优潮流问题,并提出了一个算法框架的基础上的交替方向乘法(ADMM)的方法,允许区域执行本地更新的信息从一个子集,但不是所有的邻居。通过实验研究,我们证明了所提出的异步方案的收敛性能是依赖于区域之间传递消息的通信延迟。在轻微的通信延迟下,该方案可以实现与同步算法相当甚至更快的收敛速度,这可以作为集中式或同步分布式优化方法的一个很好的替代方案。
2017-11-06 cs.DC math.OC
An Asynchronous Approximate Distributed Alternating Direction Method of Multipliers in Digraphs
在这项工作中,我们考虑异步分布式最优化问题,其中每个节点都有自己的凸费用函数,可以直接与它的邻居,由一个有向通信拓扑(有向图或有向图)。首先,我们重新制定的最优化问题,使交替方向法的乘数(ADMM)可以利用。在此基础上,提出了一种基于有限时间异步近似比率一致性的多节点凸最优化问题的求解算法--异步近似分布式乘子交替方向法(AsyAD-ADMM),该算法中每个节点进行迭代计算,并与相邻节点异步交换信息.更具体地说,在AsyAD-ADMM的每次迭代中,每个节点为原始变量之一求解局部凸优化问题,并利用有限时间异步近似共识协议来获得接近最优值的另一变量的值,因为第二原始变量的费用函数是不可分解的。如果各个费用函数是凸的但不一定是可微的,则所提出的算法以$\mathcal{O}(1/k)$的速率收敛,其中$k$是迭代计数器。AsyAD-ADMM的功效是通过一个分布式最小二乘最优化问题的概念验证与不同的性能影响因素的调查。
2021-04-24 cs.DC math.OC
P-GADMM: Parallel Group-Based ADMM for Asynchronous Optimization in Heterogeneous Edge Networks
Southern University of Science and Technology(南方科技大学);Pengcheng Laboratory(鹏城实验室)
针对异构边缘网络中同步ADMM因等待慢客户端而效率低的问题,提出P-GADMM,按计算能力分组并结合有界异步协调,在保证收敛的同时减少训练时间并保持精度。
2026-09-18 cs.DC
Distributed AC-DC Optimal Power Flow in the European Transmission Grid with ADMM
分布式或多区域的最优潮流似乎是有前途的,以应付在大规模电网的计算负担,而没有区域系统运营商失去对各自领域的控制。然而,算法通常在小型测试案例或单个国家进行测试。我们提出了一个现实的案例研究,在互联的欧洲输电网超过5000总线和315吉瓦的负载。网格划分为24个区域,分别对应于各个国家。我们使用全交流模型并集成多端直流系统。分解后的问题通过一种改进的交替方向乘子法(ADMM)来解决,其中单个国家只与每个邻居交换边界节点信息。在发电成本方面,分布式最优潮流问题的解决方案偏离只有0.02%,从集中计算。在200次迭代之前,所有区域之间达成共识,这在如此大的系统中是非常了不起的。
2019-12-09 cs.DC cs.SY eess.SY
Learning Privately over Distributed Features: An ADMM Sharing Approach
University of Alberta(阿尔伯塔大学);University of Kent(肯特大学)
分布式机器学习已被广泛研究,以处理爆炸式增长的数据量。在本文中,我们研究了一个重要的但访问量较少的分布式学习问题,其中的功能是固有的分布或垂直划分在多方之间,和各方之间的原始数据或模型参数的共享是禁止的,由于隐私问题。我们提出了一个ADMM共享框架,以接近分布式特征的风险最小化,其中每一方只需要在训练过程中为每个样本共享一个值,从而最大限度地减少数据泄漏风险。我们建立了收敛性和迭代复杂性的结果,建议并行ADMM算法下的非凸损失。我们进一步介绍了一种新的差分隐私ADMM共享算法和绑定的隐私保证精心设计的噪声扰动。基于原型系统的实验表明,所提出的ADMM算法收敛效率高,在一个强大的方式,表现出优于基于梯度的方法,特别是对数据集的高维特征空间。
2019-07-17 cs.DC cs.LG stat.ML
Generalized ADMM in Distributed Learning via Variational Inequality
University of Toronto(多伦多大学)
由于现代数据集的规模和复杂性的爆炸性增长以及数据持有者的隐私问题,能够以分布式方式解决机器学习问题变得越来越重要。通过共识变量的概念,交替方向乘法(ADMM)是一种实用的算法,在这种情况下,它的各种变化和它的性能已在不同的应用领域进行了研究。本文研究了用户的局部数据集对ADMM分布式学习的影响。我们的目标是部署变分不等式(VI),以达到统一的ADMM变化的看法。通过仿真结果,我们证明了在分布式方法中引入不确定性参数和更一般的一致性参数的定义,有助于在学习过程中获得更好的结果。
2021-04-26 cs.DC cs.LG cs.NI
Unwrapping ADMM: Efficient Distributed Computing via Transpose Reduction
University of Maryland, College Park(马里兰大学帕克分校);United States Naval Academy(美国海军学院)
最近的分布式模型拟合方法严重依赖于共识ADMM,其中每个节点仅使用本地数据解决小的子问题。我们提出了迭代法,解决{ \em全球}的子问题,在整个分布式数据集。这可以使用转置约简策略,允许单个节点在不将所有数据放在一个地方的情况下解决大规模数据集的最小二乘问题。这导致简单的迭代法,避免了共识方法所需的昂贵的内部循环。为了证明这种方法的效率,我们适合线性分类器和稀疏线性模型的数据集超过5 Tb的大小使用分布式实现超过7000个核心,在更短的时间比以前的方法。
2015-04-08 cs.DC cs.LG
Distributed Reconstruction of Nonlinear Networks: An ADMM Approach
Centre for Synthetic Biology(合成生物学中心);the Department of Bioengineering, Imperial College London, United Kingdom(生物工程系,伦敦帝国理工学院,英国)
本文提出了一种分布式算法用于大规模非线性网络的重建,通过ADMM将问题分解为子问题,用于识别时间序列数据中的非线性函数形式和参数。
2014-03-28 cs.DC cs.LG cs.SY
Analysis of Distributed ADMM Algorithm for Consensus Optimization in Presence of Error
ADMM算法是求解凸优化问题的一种常用算法。将该算法应用于分布式共识优化问题,得到了一个完全分布式的迭代解,该解依赖于节点的处理和邻居之间的通信。本地计算通常遭受不同类型的误差,例如,观测或量化噪声,这会降低算法的性能。在这项工作中,我们专注于分析分布式ADMM的一致性优化存在的附加节点误差的收敛行为。我们特别表明,(一个嘈杂的)ADMM在一定条件下线性收敛,并检查相关的收敛点。数值结果证明了所提出的分析的有效性。
2017-01-14 cs.DC math.OC
A Distributed Accelerated Preconditioned ADMM for Solving Quadratically Regularized Optimal Transport on Bipartite Graphs
Sun Yat-sen University(中山大学)
针对二部图上二次正则化最优传输问题,提出分布式加速预条件ADMM(DAP-ADMM),实现全局收敛与非遍历O(1/k)界,并通过无求解器投影和自适应惩罚机制加速收敛。
2026-10-08 cs.DC math.OC
Parallel Collaborative ADMM Privacy Computing and Adaptive GPU Acceleration for Distributed Edge Networks
College of Cyber Security, Jinan University(暨南大学网络空间安全学院);Department of Electrical and Computer Engineering, Western University(韦仕敦大学电气与计算机工程系);School of Computer Science, Guangzhou University(广州大学计算机科学与工程学院)
本文提出了一种结合并行协作ADMM与自适应GPU加速的隐私计算算法,用于优化分布式边缘网络中的协作计算任务,提升了计算效率和隐私保护能力。
2026-01-21 cs.DC
Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation
Oklahoma State University(俄克拉荷马州立大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
交替方向乘子法(ADMM)是一种流行的分布式学习算法,其中节点网络通过与分布式数据和数据交换相关联的迭代局部计算来协作求解正则化的经验风险最小化。当训练数据是敏感数据时,交换的迭代将引起严重的隐私问题。在本文中,我们的目标是提出一个新的差分私有分布式ADMM算法,提高了精度的范围广泛的凸学习问题。在我们提出的算法中,我们采用的目标函数的近似在本地计算中引入校准噪声的更新鲁棒性,并允许多个原始变量更新每个节点在每次迭代。我们的理论结果表明,我们的方法可以获得更高的效用,通过这样的多次近似更新,并实现了最先进的差分私人经验风险最小化的误差界渐近。
2020-05-16 cs.CR cs.DC cs.LG
Adaptive ADMM in Distributed Radio Interferometric Calibration
基于一致性优化的分布式射电干涉校准已被证明可以改善射电天文观测中系统误差的估计。一致性多项式利用系统误差在频率上的内在连续性来惩罚传统的校准。共识是通过使用交替方向乘法器(ADMM)算法。在本文中,我们扩展了现有的分布式校准算法,使用ADMM与自适应惩罚参数更新。与固定惩罚相比,其自适应更新在ADMM的各种应用中表现更好。在本文中,我们比较了两种流行的惩罚参数更新方案:剩余平衡惩罚更新和频谱惩罚更新(Barzilai-Borwein)。我们将这两种方案应用于分布式无线电干涉校准,并比较它们的性能与ADMM与固定的惩罚参数。仿真结果表明,两种自适应罚参数更新方法都能提高ADMM的收敛性,但谱罚参数更新方法的稳定性更好。
2017-10-16 astro-ph.IM cs.DC
Distributed Inexact Successive Convex Approximation ADMM: Analysis-Part I
在这两部分的工作中,我们提出了一个算法框架来解决非凸问题,其目标函数是一些光滑的分量函数加上凸(可能非光滑)或/和光滑(可能非凸)正则化函数的总和。该算法结合了现有的几种方法,如交替方向乘法器(ADMM),连续凸逼近(SCA),分布式和异步算法,不精确的梯度法的想法。然而,不同于现有的方法,所提出的框架是足够灵活的,以纳入一类非凸目标函数,允许分布式操作与不融合中心,并包括方差减少的方法作为特殊情况。值得注意的是,所提出的算法是强大的随机,确定性和对抗性来源所产生的不确定性。本文的第一部分在非常温和的假设下开发了算法的两个变体,并建立了一阶收敛速度保证。这里开发的证明允许一般的错误和延迟,为不同的方差减少,异步和随机实现铺平了道路,在第二部分中概述和评估。
2019-07-21 cs.DC math.OC stat.ML
Analysis of Distributed ADMM Algorithm for Consensus Optimization in Presence of Node Error
交替方向乘子法(ADMM)是一种常用的凸优化算法,可用于求解分布式一致性优化问题。在这种情况下,代理在本地估计优化问题的最优解,并通过连接的网络与邻居交换消息。分布式算法在实践中通常暴露于不同类型的错误,例如,这是由于量化或通信噪声或损失。在这里,我们专注于分析分布式ADMM的共识优化的收敛性存在的附加随机节点误差,在这种情况下,节点通信的噪声版本的最新估计的解决方案,他们的邻居在每次迭代。当局部目标函数为强凸函数且具有Lipschitz连续梯度时,给出了算法稳态误差的上下界.此外,我们还证明了,当局部目标函数是凸的和加性节点误差是有界的,噪声ADMM的一致性优化的估计误差也是有界的。数值结果表明,所提出的分析的有效性和阐明的作用,系统和网络参数的性能。
2019-01-08 cs.DC eess.SP
A Survey of ADMM Variants for Distributed Optimization: Problems, Algorithms and Features
通过协调终端智能设备或微处理器参与协同计算以实现系统级目标,分布式优化越来越受到工程和计算机科学的青睐。乘子交替方向法(ADMM)具有模块化结构、收敛性好、易于实现和灵活性高等优点,已成为分布式优化中最受欢迎的工具之一。在过去的十年中,ADMM经历了广泛的发展。这些发展既表现在处理了更普遍的问题,也表现在使执行工作更加有效。具体地,该方法已经被推广到广泛的问题类别(即,多块、耦合目标、非凸等)。此外,它已被广泛加强更有效的实施,如提高收敛速度,更容易的子问题,更高的计算效率,灵活的通信,与不准确的信息兼容,强大的通信延迟等,这些发展导致了大量的ADMM的变种庆祝广泛的领域,从智能电网,智能建筑,无线通信,机器学习和超越。然而,缺乏一项调查来记录这些事态发展并查明结果。为了实现这一目标,本文提供了一个全面的调查ADMM变种。特别是,我们识别的五个主要类别的问题,一直最关心的和讨论相关的ADMM变体的主要思想,主要假设,收敛行为和主要特征。此外,我们指出了几个重要的未来研究方向要解决。这项调查预计将作为一个教程,在广泛的领域开发分布式优化,并确定现有的理论研究差距。
2022-08-23 cs.DC
Online Distributed ADMM on Networks
研究了在线分布式乘子交替方向法。目标是在线性约束下,在决策者网络上分布式优化全局目标函数。全局目标函数由与每个代理相关联的凸费用函数组成。另一方面,当地的费用函数,假设已被分解成两个不同的凸函数,其中之一是揭示了决策者随着时间的推移和一个已知的先验。此外,代理必须通过线性约束在与私有局部变量相关的全局变量上达成共识。在这项工作中,我们将在线ADMM扩展到基于双平均和分布式梯度下降的分布式设置。然后,我们提出了一个性能指标,这样的在线分布式算法和探索的算法所产生的决策序列的性能相比,最好的固定的决定在事后。这种表现指标被称为社交遗憾。一个次线性上界的社会遗憾的算法,然后得到强调的作用,底层网络拓扑结构和某些条件的措施与线性约束。在线分布式ADMM算法,然后施加到一个编队捕获问题,证明了分布式机器人的应用程序,建议的设置。
2015-10-02 cs.DC cs.DS cs.MA
Distributed and Asynchronous Operational Optimization of Networked Microgrids
智能可编程微电网(SPM)是一种新兴技术,用于使微电网更加软件定义和更少的硬件独立性,使得将分布式能源(DER)转换为联网的社区微电网变得负担得起,自主和安全。作为SPM的基石之一,本文开创了一种软件定义的网络化微电网运行优化的概念,其中运行目标,电网连接和DER参与将由软件和即插即用定义,并可以快速重新配置,基于模块化和收紧模型的发展和一种新的异步基于价格的分解和协调方法。主要贡献包括:(1)设计易于实现的微网运行优化体系结构,以保证孤岛微网在求解分布式优化模型时的可编程性;(2)实现一种新的下垂控制器离散模型;(3)引入一种强大的分布式异步方法--分布式异步代理拉格朗日松弛法(DA-SLR),以有效地异步协调微网。通过两个实例验证了DA-SLR算法的有效性,并与ADMM算法进行了比较,验证了DA-SLR算法的优越性。
2021-02-06 cs.DC cs.SY eess.SY
Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing
Royal Institute of Technology (KTH)(瑞典皇家理工学院);Princeton University(普林斯顿大学)
大数据,包括具有高安全要求的应用,通常被收集并存储在多个异构设备上,例如移动设备、无人机和车辆。由于通信成本和安全要求的限制,以分散的方式提取信息而不是将数据聚合到融合中心至关重要。为了训练大规模机器学习模型,边缘/雾计算通常被用作集中式学习的替代方案。我们考虑的问题,学习模型参数的多智能体系统的数据通过分布式边缘节点进行本地处理。研究了一类小批量随机交替方向乘子法(ADMM)算法,建立了分布式学习模型。为了解决分布式网络中的两个主要关键挑战,即,针对通信瓶颈和落后节点(响应慢的节点),研究了基于差错控制编码的随机增量ADMM。给出了一个适当的小批量大小,我们表明,小批量随机ADMM为基础的方法收敛速度为$O(\frac{1}{\sqrt{k}})$,其中$k$表示的迭代次数。数值实验表明,与现有算法相比,该算法具有通信效率高、响应速度快、鲁棒性强等优点.
2020-10-02 cs.DC cs.LG
Asynchronous Distributed Optimization using a Randomized Alternating Direction Method of Multipliers
考虑一组网络代理赋予私人成本函数,并寻求找到一个共识的最小化的总成本。介绍了一类新的随机异步分布优化方法。该方法将标准的交替方向乘法器(ADMM)推广到异步设置,其中网络的隔离组件以不协调的方式被激活。该算法依赖于引入随机高斯-赛德尔迭代的道格拉斯-Rachford运营商寻找两个单调运营商的总和的零。收敛到所寻求的极小提供温和的连接条件下。数值结果支持我们的主张。
2013-03-12 cs.DC math.OC
Distributed Linear Model Clustering over Networks: A Tree-Based Fused-Lasso ADMM Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑通过聚合邻居的信息以及识别网络中每个节点的子组成员来提高模型估计效率。提出了一种基于树的$l_1$惩罚算法,以节省计算和通信开销。设计了一种分散广义交替方向乘子算法,用于并行求解目标函数。理论性质推导,以保证模型的一致性和算法收敛。数值实验结果表明,该方法在估计精度、计算速度和通信开销等方面都有较好的性能。
2019-05-28 cs.DC cs.LG cs.NI
DHO$_2$: Accelerating Distributed Hybrid Order Optimization via Model Parallelism and ADMM
National University of Defense Technology, Changsha, China(国防科技大学);Fudan University, Shanghai, China(复旦大学)
本文提出DHO$_2$,一种基于模型并行和ADMM的分布式混合阶优化方法,利用部分曲率信息并行计算,在资源受限下加速DNN训练,实现内存线性降低和1.4-2.1倍加速。
2025-08-04 cs.DC cs.LG
Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
Applied AI Institute(应用人工智能研究所)
本文提出Rennala NIGT和Malenia NIGT算法,通过异步策略梯度聚合在异步并行计算中提升分布式强化学习效率,理论和实验均优于现有方法。
2026-03-28 cs.DC cs.LG math.OC
Generalized Asynchronous Systems
本文研究了异步系统中并发问题的数学模型。介绍了分布式异步自动机。证明了具有独立性的Petri网和变迁系统可以看作是分布式异步自动机。时间分布异步自动机是由映射以标准的方式定义的,该映射为事件分配时间间隔。证明了时间分布异步自动机是时间Petri网和异步系统的推广。
2012-03-14 cs.DC
Residual-Evasive Attacks on ADMM in Distributed Optimization
Graduate School of Mathematics, ETH Zurich(苏黎世联邦理工学院数学研究生院);School of Systems and Computing, University of New South Wales(新南威尔士大学系统与计算学院);Reliability and Risk Engineering Laboratory, Institute of Energy and Process Engineering, Department of Mechanical and Process Engineering, ETH Zurich(苏黎世联邦理工学院能源与过程工程研究所可靠性与风险工程实验室)
本文提出两种针对ADMM的残差规避攻击策略,通过保持残差不变来逃避虚假数据注入检测,并在IEEE 14-bus系统上验证了其有效性与权衡,揭示了系统漏洞。
2025-04-22 cs.CR cs.DC cs.LG
Fantom: A scalable framework for asynchronous distributed systems
我们描述了\emph{Fantom},异步分布式系统的框架。\emph{Fantom}基于Lachesis协议~ \cite{lachesis01},该协议使用异步事件传输来实现实用的拜占庭容错(pBFT),以创建无领导的、可扩展的、异步有向无环图(DAG)。我们进一步优化的\emph{Lachesis Protocol}通过引入一个无权限的网络动态参与。通过引入n行标志表进一步优化了根选择代价,并通过引入支配关系优化了路径选择。我们提出了一个分布式账本的替代框架,基于异步偏序集,具有逻辑时间排序,而不是区块链。本文建立在原来提出的家庭的\emph{Lachesis-class}共识协议。我们形式化我们的证明到一个模型,可以应用到抽象的异步分布式系统。
2018-10-22 cs.DC
Proximal ADMM for Nonconvex and Nonsmooth Optimization
通过使节点或代理解决小规模的子问题,以实现协调,分布式算法的青睐,许多网络系统的高效和可扩展的计算。虽然对于凸问题,大量的分布式算法是可用的,更广泛的非凸的结果是非常缺乏的。针对一类非凸非光滑问题,提出了一种分布式算法,该问题的特征在于:i)由独立和复合目标分量构成的非凸目标,ii)局部有界凸约束,iii)耦合线性约束.这个问题直接源于智能建筑,在其他领域也很广泛。为了提供一个具有收敛保证的分布式算法,我们对乘子的交替方向法进行了改进,提出了一种近似的乘子交替方向法。具体来说,注意到的主要困难,建立收敛的非凸和非光滑最优化ADMM框架内是假设的有界性的双重更新,我们建议更新的对偶变量在折扣的方式。这导致建立一个所谓的充分下降和下界的李雅普诺夫函数,这是建立收敛性的关键。我们证明了该方法收敛于某些近似稳定点。此外,我们还通过一个数值例子展示了该方法的有效性和性能,并将其具体应用于智能建筑中的多区域供暖、通风和空调(HVAC)控制。
2022-08-23 cs.DC math.OC
D-iteration based asynchronous distributed computation
Alcatel-Lucent Bell Labs(阿尔卡特-朗讯贝尔实验室)
本文通过简单示例解释D-迭代方法如何用于高效的异步分布式计算。
2012-02-14 cs.DC cs.NA math.NA
Distributed Computability in Byzantine Asynchronous Systems
在这项工作中,我们扩展了基于拓扑的异步崩溃故障分布式系统的可计算性的特征异步拜占庭系统的方法。我们给出了第一个定理的必要和充分条件,以解决任意任务的对手选择错误的进程在异步拜占庭系统。在我们的对抗公式中,非故障过程的输出仅受非故障过程的输入的约束。对于无色任务,分布式问题的一个重要子类,一般的结果减少到一个优雅的模型,有效地捕捉进程的数量之间的关系,故障的数量,以及任务的单纯复合体的拓扑结构。
2014-06-10 cs.DC
Testing fine-grained parallelism for the ADMM on a factor-graph
目前正在努力开发应用分布式计算资源来解决大型问题或减少解决这些问题的时间的工具。在这种情况下,交替方向乘法(ADMM)出现作为一种方法,可以利用分布式资源,如双上升方法,并具有增广拉格朗日方法的鲁棒性和改进的收敛性。使用多核加速ADMM的传统方法是特定于问题的,并且通常需要多核编程。相比之下,我们提出了一个问题独立的计划,加速ADMM,不需要用户编写任何并行代码。我们表明,该计划,ADMM的解释作为一个消息传递算法的因子图,可以自动利用细粒度并行在GPU和共享内存的多核计算机,并实现显着的加速在不同的应用领域,如组合优化,机器学习,和最优控制。具体来说,我们在ADMM的串行优化C版本上使用GPU获得了10 - 18倍的加速,使用多个CPU核心获得了5 - 9倍的加速,这与现有GPU加速库报告的典型加速相似,包括cuFFT(19倍),cuBLAS(17倍)和cuRAND(8倍)。
2016-03-08 cs.DC cs.MS math.OC
Distributed Constraint-Coupled Optimization: Harnessing ADMM-consensus for robustness
本文针对智能体网络中的分布式约束耦合优化问题,提出一种基于原始-对偶架构的新算法,利用时间尺度分离理论证明其线性收敛,并验证了其在异步通信和丢包场景下的鲁棒性以及在微电网辅助服务中的有效性。
2025-02-10 cs.DC math.OC
Partially ordered distributed computations on asynchronous point-to-point networks
分布式算法的异步执行由于处理交换的消息的顺序的不确定性而彼此不同。在许多感兴趣的情况下,限制非确定性所导致的异步执行在特定于应用程序的意义上比其他异步执行更有效。在这项工作中,我们定义了部分有序的执行的分布式算法的执行满足一些限制的命令,他们的行动在两个不同的框架,即所谓的事件和脉冲驱动的计算。这些限制的目的是描述异步执行的特征,这些异步执行对于某些重要的应用程序类别可能更有效。此外,异步算法,确保发生偏序执行的情况下,每一种情况下。两个应用程序,我们认为可能会受益于有限的非确定性回溯搜索,在事件驱动的情况下,和线性方程组的迭代算法,在脉冲驱动的情况下。
2006-11-30 cs.DC
Making Asynchronous Distributed Computations Robust to Noise
我们考虑的问题,使分布式计算鲁棒噪声,特别是最坏的情况下(对抗)腐败的消息。我们给出了一个通用的分布式交互式编码方案,它模拟任何异步分布式协议,同时容忍所有消息的$Θ(1/n)$部分的最佳腐败,同时在通信复杂性中引起$O(n\log^2 n)$的适度爆破。我们的结果是第一个完全分布式的交互式编码方案,其中的通信网络的拓扑结构是不知道在事先。以前的工作需要一个协调节点连接到网络中的所有其他节点,或者假设一个同步网络,其中所有节点都已经知道网络的完整拓扑结构。
2017-02-23 cs.DC cs.DS
L-DQN: An Asynchronous Limited-Memory Distributed Quasi-Newton Method
本文提出了一种在主/工通信模型下求解经验风险最小化问题的分布式算法L-DQN。L-DQN是一种支持工作节点间异步计算的分布式有限内存拟牛顿法。我们的方法在存储和通信成本方面都是有效的,即,在每次迭代中,主节点和工作节点传送大小为$O(d)$的向量,其中$d$是决策变量的维数,并且每个节点上所需的存储器量是$O(md)$,其中$m$是可调参数。据我们所知,这是第一个分布式拟牛顿法与可证明的全球线性收敛保证在异步设置节点之间的延迟。数值实验验证了该方法的理论和实际性能。
2021-09-04 cs.DC math.OC
Asynchronous Distributed Automata: A Characterization of the Modal Mu-Fragment
我们建立了一类异步分布式自动机和一个小片段的最小不动点逻辑之间的等价性,当限制到有限有向图。更具体地说,我们考虑的逻辑是模态$μ$的片段(的变体)-允许最少固定点但禁止最大固定点的演算。相应的自动机模型使用相同的有限状态机网络,这些有限状态机以异步方式进行通信,并且其状态图必须是非循环的,除了自循环。利用与逻辑的连接,我们还证明了这些机器的表达能力是独立的消息是否可以丢失。
2017-03-06 cs.DC cs.FL cs.LO
Distributed Event Localization via Alternating Direction Method of Multipliers
本文讨论了分布式事件定位的问题,使用噪声距离测量与已知位置的传感器。事件定位是许多无线传感器网络应用的基础,如国土安全,执法和环境研究。然而,大多数现有的分布式算法要求目标事件在部署的传感器的凸包内。基于交替方向乘子法(ADMM),提出了两种不要求目标事件在传感器部署的凸包内的可扩展分布式算法GS-ADMM和J-ADMM。更具体地说,这两种算法可以在整个传感器网络被划分为几个簇的场景中实现,簇头收集每个簇内的测量值并交换中间计算信息以实现所有簇之间的定位一致性(共识)。这种情况在许多应用中非常重要,例如国土安全和执法。仿真结果验证了所提算法的有效性。
2018-07-01 cs.DC cs.IT math.IT