Adaptive Stochastic Gradient Descent for Fast and Communication-Efficient Distributed Learning
Technical University of Munich(慕尼黑工业大学);Indian Institute of Science(印度科学学院);US Army Research Laboratory(美国陆军研究实验室);Rutgers University(罗格斯大学)
我们考虑这样一种设置,其中主节点希望在$n$工作节点上运行分布式随机梯度下降(SGD)算法,每个工作节点都有一个数据子集。分布式SGD可能遭受离散者的影响,即,缓慢或反应迟钝的工人造成延误。文献中研究的一种解决方案是在每次迭代时等待最快的$k<n$工人的响应,然后更新模型,其中$k$是固定参数。对$k$的值的选择呈现了运行时间(即,收敛速度)和模型的误差。为了优化错误-运行时权衡,我们研究了具有自适应~ $k$的分布式SGD,即,在算法的整个运行时间内改变$k$。首先,我们设计了一个自适应的政策,为不同的$k$,优化这种权衡的基础上的误差上限作为一个函数的挂钟的时间,我们得出。然后,我们提出并实现了一个算法,自适应分布式SGD是基于统计启发式。我们的研究结果表明,自适应版本的分布式SGD可以达到更低的误差值在更短的时间相比,非自适应实现。此外,结果还表明,自适应版本是通信效率,其中所需的主和工人之间的通信量小于非自适应版本。
2022-08-04 cs.DC cs.IT cs.LG
Distributed and Adaptive Fast Multipole Method In Three Dimensions
我们开发了一个通用的分布式实现的自适应快速多极子方法在三维空间。我们依赖于一种平衡的自适应空间离散化,它支持高度透明和完全分布式的实现。复杂性分析表明,有利的标度特性和数值实验上多达512个核心和10亿个源点验证他们。控制算法的参数进行了深入的实验,对输入参数的性能响应意味着整体实现非常适合自动调谐。
2020-02-12 cs.DC cs.DS cs.NA
Adaptive Domain Model: Dealing With Multiple Attributes of Self-Managing Distributed Object Systems
随着现代系统变得越来越复杂,自我管理软件应运而生。一些分布式对象系统可能包含部署在数十甚至数百台主机上的数千个对象。这种系统的开发和支持通常需要花费很多。为了解决这个问题,需要创建能够支持多个自管理属性的系统。在本文中,自适应域的概念被引入作为一个扩展的基本域的概念,以支持一个通用的自适应环境,用于构建具有多个自我管理属性的分布式对象系统。
2003-07-13 cs.AR cs.DC
Internet-based Adaptive Distributed Simulation of Mobile Ad-hoc Networks
在本文中,我们专注于基于互联网的仿真,分布式仿真的一种形式,其中一组执行单元,物理上位于全球各地的工作在一起运行的仿真模型。由于通信的延迟/可变性,这种设置非常具有挑战性。因此,在分布式仿真中必须采用灵活的机制,如仿真模型的自适应划分和执行单元之间的负载均衡策略。我们模拟了一个无线模型在一个真正的基于互联网的分布式仿真设置,并评估的可扩展性的模拟器,并没有使用自适应策略,降低通信开销和负载平衡增强。结果证实了我们的方法来建立基于互联网的模拟的可行性。
2020-03-31 cs.DC cs.NI
Distributed Optimization via Adaptive Regularization for Large Problems with Separable Constraints
许多实际应用需要解决大型高维数据集的优化问题,这使得这些问题难以解决并且非常耗时。在本文中,我们提出了一个并行分布式算法,使用自适应正则化(PDAR)解决可分离约束的联合优化问题。正则化器是自适应的,并且取决于迭代之间的步长和迭代次数。理论上证明了算法收敛于最优解,并通过一个多智能体三箱资源分配问题的算例说明了算法的有效性.数值模拟表明,我们的算法收敛到相同的最优解,与其他分布式方法,显着减少计算时间。
2012-11-30 cs.DC math.OC
Adaptive Top-K in SGD for Communication-Efficient Distributed Learning
City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);City University of Hong Kong(香港城市大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校)
本文提出一种SGD框架中的自适应Top-K梯度稀疏化方法,通过动态调整稀疏化程度平衡通信成本与收敛误差,在MNIST和CIFAR-10上实现优于现有方法的收敛速率。
2023-09-11 cs.DC cs.LG math.OC
Scalable Distributed Algorithms for Size-Constrained Submodular Maximization in the MapReduce and Adaptive Complexity Models
Texas A&M University(德克萨斯农工大学);Florida State University(佛罗里达州立大学)
该研究针对规模约束单调子模最大化问题,证明多类亚自适应算法满足MapReduce模型的一致性要求,提出首个线性查询复杂度的分布式算法,并给出提升MR算法最大基数约束的方法。
2024-09-16 cs.DC cs.DS cs.LG
GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization
University of Bologna(博洛尼亚大学)
本文提出GTAdam分布式在线优化算法,结合梯度跟踪与一阶和二阶动量估计,在强凸条件下证明动态遗憾上界并保证静态线性收敛,多智能体实验验证其优于现有方法。
2023-09-12 cs.DC cs.LG math.OC
Adaptive ADMM in Distributed Radio Interferometric Calibration
基于一致性优化的分布式射电干涉校准已被证明可以改善射电天文观测中系统误差的估计。一致性多项式利用系统误差在频率上的内在连续性来惩罚传统的校准。共识是通过使用交替方向乘法器(ADMM)算法。在本文中,我们扩展了现有的分布式校准算法,使用ADMM与自适应惩罚参数更新。与固定惩罚相比,其自适应更新在ADMM的各种应用中表现更好。在本文中,我们比较了两种流行的惩罚参数更新方案:剩余平衡惩罚更新和频谱惩罚更新(Barzilai-Borwein)。我们将这两种方案应用于分布式无线电干涉校准,并比较它们的性能与ADMM与固定的惩罚参数。仿真结果表明,两种自适应罚参数更新方法都能提高ADMM的收敛性,但谱罚参数更新方法的稳定性更好。
2017-10-16 astro-ph.IM cs.DC
Compressed Communication for Distributed Training: Adaptive Methods and System
The University of Hong Kong(香港大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Web Services(亚马逊云科技);ByteDance Inc.(字节跳动有限公司)
通信开销严重阻碍了分布式机器学习系统的可扩展性。最近,人们对使用梯度压缩来减少分布式训练的通信开销越来越感兴趣。然而,对将梯度压缩应用于自适应梯度方法的理解很少。此外,其性能优势往往受到不可忽略的压缩开销的限制。在本文中,我们首先介绍了一种新的自适应梯度方法的梯度压缩。我们证明了该方法对非凸问题具有$\mathcal{O}(1/\sqrt{T})$的收敛速度。此外,我们开发了一个可扩展的系统,称为BytePS-Compress的双向压缩,其中梯度在工人和参数服务器之间的两个方向上压缩。BytePS-Compress在CPU上实现压缩和解压缩的流水线,并实现高度并行。经验评估表明,我们将ResNet 50,VGG 16和BERT-base的训练时间分别提高了5.0%,58.1%,23.3%,并且在25 Gb/s网络中没有任何准确性损失。此外,对于训练BERT模型,与混合精度训练相比,我们实现了333倍的压缩率。
2021-05-17 cs.DC cs.LG stat.ML
Distributed adaptive stabilization
本文研究具有时变对角矩阵增益的不确定多变量线性系统的分布式自适应镇定问题。证明了当系统矩阵是具有正对角元的H矩阵时,不确定多变量线性系统可通过对角矩阵高增益镇定。基于矩阵测度和对角占优系统的稳定性理论,考虑了两类不确定线性系统,通过对角增益矩阵单调递增,得到了保证其指数稳定的阈值条件.当矩阵增益中的每个增益函数由仅使用局部状态信息的状态相关函数更新时,系统状态和自适应矩阵增益的有界性和收敛性都得到了保证。本文将自适应分布式镇定方法应用于由非线性节点动态和时变耦合权值组成的大规模复杂网络的自适应同步控制。提出了一个统一的自适应同步框架,其中包括几种通用的自适应耦合权重的设计方法,以保证网络同步。
2021-05-28 cs.DC cs.MA cs.SY
Communication-Efficient Distributed Learning via Sparse and Adaptive Stochastic Gradient
本文提出通信高效的分布式算法SASG,通过自适应聚合规则动态选择通信节点并对传输梯度进行稀疏化,在保持与SGD相同的次线性收敛速率的同时显著降低通信轮次和通信比特数。
2024-06-09 cs.DC
Distributed Fractional Bayesian Learning for Adaptive Optimization
Department of Control Science and Engineering, Tongji University(控制科学与工程系,同济大学);State Key Laboratory of Autonomous Intelligent Unmanned Systems(自主智能无人系统国家重点实验室);Frontiers Science Center for Intelligent Autonomous Systems, Ministry of Education(智能自主系统前沿科学中心,教育部);Shanghai Institute of Intelligent Science and Technology, Tongji University(上海智能科学与技术研究院,同济大学)
针对含公共未知参数的分布式自适应优化问题,提出结合分布式分数阶贝叶斯学习与梯度下降的方案,证明了收敛性与次线性速率,并用实验验证理论。
2025-09-01 cs.DC cs.LG cs.MA
Self-adaptive Gossip Policies for Distributed Population-based Algorithms
流言是P2P网络中一种有效的信息传播机制。在P2P计算的背景下,我们提出了所谓的进化代理模型的分布式人口为基础的算法,使用八卦作为通信策略,并表示每个人作为一个自我调度的单线程。该模型通过定义一个自适应的刷新率来避免种群中的过时节点,该刷新率取决于网络的延迟和带宽。这种机制平衡了移徙率与追求全球人口一致性的联系的拥挤程度。我们在一个真正的并行系统上对该模型进行了实验评估,并观察了解决方案的质量和算法速度如何随着处理器的数量而变化。
2007-03-23 cs.DC
Layer-wise Adaptive Gradient Sparsification for Distributed Deep Learning with Convergence Guarantees
Hong Kong Baptist University(香港浸会大学)
为了减少大型深度神经网络(DNN)模型的长训练时间,分布式同步随机梯度下降(S-SGD)通常用于一组工作者。然而,多个工作者带来的加速受到通信开销的限制。两种方法,即流水线和梯度稀疏化,已分别提出,以减轻通信开销的影响。然而,梯度稀疏化方法只能在反向传播之后发起通信,因此错过了流水线机会。在本文中,我们提出了一种新的分布式优化方法LAGS-SGD,它结合了S-SGD和一种新的分层自适应梯度稀疏化(LAGS)计划。在LAGS-SGD中,每个工作者独立地从每个层中选择一小组“显著”梯度,其大小可以自适应于该层的通信计算比率。LAGS-SGD的逐层性质开启了将通信与计算重叠的机会,而LAGS-SGD的自适应性质使其能够灵活地控制通信时间。我们证明了LAGS-SGD具有收敛保证,并且在较弱的分析假设下,它具有与vanilla S-SGD相同的收敛速度阶。大量的实验验证了分析假设和LAGS-SGD的收敛性能。在16 GPU集群上的实验结果表明,LAGS-SGD在不损失明显模型精度的情况下,性能优于原始S-SGD和现有的稀疏S-SGD。
2020-03-02 cs.DC cs.LG stat.ML
Distributed Computing with Adaptive Heuristics
我们使用来自分布式计算的思想来研究动态环境,在动态环境中,计算节点或决策者遵循自适应算法(Hart 2005),即,简单和不复杂的行为规则,例如,反复对别人的行为做出“最好的回应”,并最大限度地减少“后悔”,这在博弈论和经济学中得到了广泛的研究。我们探讨当收敛这样简单的动态平衡是保证在异步计算环境中,节点可以在任何时候采取行动。我们的研究议程,分布式计算与自适应算法,位于边缘的计算机科学(包括分布式计算和学习)和博弈论(包括博弈动力学和自适应算法)。我们展示了一个一般的非终止性的结果,广泛的类有界召回-也就是说,简单的行为规则,只依赖于最近的历史节点之间的相互作用。我们认为我们的结果在各种有趣的和及时的应用:博弈论,电路设计,社交网络,路由和拥塞控制的影响。我们还研究了异步动态的计算和通信复杂性,并提出了一些基本的意见,关于无遗憾动态的影响。我们相信我们的工作为分布式计算和博弈论的研究开辟了一条新的途径。
2010-10-12 cs.DC cs.GT
Communication efficient privacy-preserving distributed optimization using adaptive differential quantization
隐私问题和通信成本都是分布式优化中的主要问题。它们之间通常存在权衡,因为隐私保护所需的加密方法通常会导致昂贵的通信带宽。为了解决这个问题,我们,在本文中,提出了一种基于量化的方法来实现通信效率和隐私保护的解决方案的背景下,分布式优化。通过部署自适应差分量化方案,我们允许网络中的每个节点以较低的通信成本实现其最佳解决方案,同时保持其私有数据不被泄露。此外,所提出的方法是通用的,可以应用于各种分布式优化方法,如原始对偶乘法器(PDMM)和交替方向乘法器(ADMM)。移动,我们考虑两个广泛使用的对手模型:被动和窃听。最后,我们调查所提出的方法使用不同的应用程序的属性,并证明其优越的性能,包括准确性,隐私和通信成本的几个参数。
2021-05-30 cs.DC eess.SP
QuantPipe: Applying Adaptive Post-Training Quantization for Distributed Transformer Pipelines in Dynamic Edge Environments
流水线并行在云环境中部署大规模Transformer模型方面取得了巨大成功,但在边缘环境中受到的关注较少。与具有高速和稳定网络互连的云场景不同,边缘系统中的动态带宽可能会降低分布式管道性能。我们使用QuantPipe解决这个问题,QuantPipe是一种通信高效的分布式边缘系统,它引入了训练后量化(PTQ)来压缩通信张量。QuantPipe使用自适应PTQ来更改位宽以响应带宽动态,从而保持Transformer管道性能,同时导致有限的推理精度损失。我们进一步提高了精度与直接搜索分析裁剪整数量化方法(DS-ACIQ),估计和真实数据分布之间的差距的桥梁。实验结果表明,QuantPipe适应动态带宽以保持流水线性能,同时使用宽范围的量化位宽实现实际的模型精度,例如,在ImageNet上,与朴素量化相比,2位量化下的准确率提高了15.85%。
2022-11-08 cs.DC
An Adaptive Distributed Stencil Abstraction for GPUs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种面向多节点GPU的自适应分布式Stencil抽象,通过CharmTyles框架实现,采用NumPy-like语法降低移植成本,并展示其在资源弹性与性能优化上的优势。
2025-12-22 cs.DC
Performance Limits for Distributed Estimation Over LMS Adaptive Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文分析LMS自适应网络中分布式估计的均方性能,证明通过优化组合权重,扩散策略可优于集中式块或增量LMS策略,并扩展到N节点网络。
2012-06-17 cs.DC cs.IT cs.SY
DASHMM Accelerated Adaptive Fast Multipole Poisson-Boltzmann Solver on Distributed Memory Architecture
我们提出了一个更新版本的AFMPB软件包的快速计算分子的溶剂化自由能。新版本的主要特点是成功采用了DASHMM库,使AFMPB能够在分布式内存计算机上运行。因此,新版本可以轻松处理更大的分子或精度要求更高的情况。为了演示更新后的代码,我们将新版本应用于一个拥有超过100万个原子和大约2000万个三角形网格的登革热病毒系统,并且能够将解决问题的时间从上一版本中报告的10小时减少到使用12,288个核心的Cray XC 30集群上的不到30秒。
2017-10-17 cs.DC
Distributed Adaptive Newton Methods with Global Superlinear Convergence
研究了对等网络中每个节点通过与相邻节点通信来最小化有限个目标函数和的分布式最优化问题。与现有文献中最快的分布式算法以全局线性或局部超线性速度收敛形成鲜明对比,我们提出了一种具有全局平方收敛速率的分布式自适应牛顿(DAN)算法。我们的核心思想在于设计一个有限时间的集一致性方法与Polyak的自适应步长。此外,我们引入了一种低秩矩阵近似(LA)技术来压缩黑塞矩阵的新息,使得每个节点每次迭代只需要发送维度为$\mathcal{O}(p)$(其中$p$是决策向量的维度)的消息,这在本质上与一阶方法相同。然而,由此产生的DAN-LA收敛到一个最优解的全局超线性率。通过对逻辑斯谛回归问题的数值实验,验证了该方法的优越性.
2022-01-14 cs.DC cs.MA cs.SY
Distributed Adaptive Greedy Quasi-Newton Methods with Explicit Non-asymptotic Convergence Bounds
本文提出一种无需线搜索的自适应贪婪拟牛顿方法,建立显式非渐近全局与局部超线性收敛界,并将其扩展为通信代价与一阶方法相当的分布式版本。
2023-11-30 cs.DC math.OC
Kimad: Adaptive Gradient Compression with Bandwidth Awareness
KAUST(阿卜杜拉国王科技大学);HKUST(香港科技大学)
针对分布式训练中的通信瓶颈问题,提出具备带宽感知能力的自适应梯度压缩方案Kimad,可根据实时带宽动态调整各神经网络层的压缩比,经测试验证性能优异,成为该领域的基准方案。
2023-12-13 cs.DC cs.IT cs.LG
A Distributed Algorithm for Training Augmented Complex Adaptive IIR Filters
在本文中,我们考虑的问题,分散(分布式)自适应学习,网络的目的是训练的系数广泛的线性自回归移动平均(ARMA)模型的测量收集的节点。这样的问题出现在许多传感器网络为基础的应用,如目标跟踪,快速重路由,数据减少和数据聚合。我们假设网络中的每个节点使用增广复自适应无限脉冲响应(ACAIIR)滤波器作为学习规则,节点之间以增量的合作方式进行交互。由于所提出的算法(增量增广复IIR(IACA-IIR)算法)依赖于增广复统计,它可以用来模拟两种类型的复值信号(正确和不正确的信号)。为了评估所提出的算法的性能,我们使用合成和真实世界的复杂信号在我们的模拟。实验结果表明,该算法优于非合作ACAIIR算法。
2016-07-12 cs.DC cs.PF
NetSenseML: Network-Adaptive Compression for Efficient Distributed Machine Learning
NetSenseML根据实时网络状况动态调整梯度压缩策略,在带宽受限条件下平衡负载与精度,将训练吞吐量提升1.55至9.84倍。
2025-06-19 cs.DC
Gravitational Clustering: A Simple, Robust and Adaptive Approach for Distributed Networks
无线传感器网络的分布式信号处理使得不同的设备能够协作解决不同的信号处理任务。关键的第一步是回答这个问题:谁观察什么?最近,已经提出了几种分布式算法,这些算法在提取源特定的特征之后,将信号/对象标记问题框架在聚类分析方面,然而,聚类的数量被假设为已知的。我们提出了一种新的方法,称为引力聚类(GC),自适应地估计的一组特征向量的基础上随时间变化的集群数量。其关键思想是利用质量单元之间引力的物理原理:流入特征向量被认为是特征空间中固定位置的质量单元,在每个时刻围绕其注入移动质量单元。集群枚举利用了移动质量单元上的最高吸引力由具有高密度特征向量的区域施加的事实,即,引力星团通过扩散-自适应机制在相邻节点之间共享估计,实现了协作和分布式簇枚举。数值实验进行了有关的鲁棒性对野值,收敛性和计算复杂性。在分布式协作多视角摄像机网络中的应用说明了对现实世界问题的适用性。
2017-08-31 cs.CV cs.DC
Adaptive Fixed Priority End-To-End Imprecise Scheduling In Distributed Real Time Systems
在端到端分布式实时的系统中,任务可以在不同的处理器上顺序执行。端到端任务的响应时间不能超过端到端任务的截止时间,才能将该任务视为可执行任务。在瞬时过载期间,可能错过最后期限或处理器可能饱和。不精确计算技术是通过权衡精确性和及时性来克服上述问题的一种方法。通过扩展现有的集成框架,我们开发了一个不精确的集成框架,用于在分布式实时的系统中调度固定优先级的端到端任务。为了满足不精确计算的要求,我们设计了一种新的优先级分配方案,称为全局强制相关方案。我们设计了一个处理器利用率调整算法,当处理器利用率大于1时,该算法可以减少处理器的负载。我们还扩展了在旧框架中提出的可扩展性分析算法,以允许自适应优先级分配,并满足不精确的计算概念。仿真结果表明,我们的新框架是更可靠和可预测的比现有的框架在瞬态过载期间。
2013-06-03 cs.DC
Distributed Adaptive Formation Control for Multi-UAV to Enable Connectivity
多机器人的控制以及将大量内容分发到无人机集群上的操作需求越来越大。近年来,发生了几起重大事故。为了便利救援行动和收集信息,需要能够进入和绘制无法进入地区地图的技术。本文提出了一种突破性的方法来解决无人机单元在不可访问或死区中的通信、数据收集和数据共享问题,并证明了该方法的可行性,并评估了其相对于包含自治网关的Ad Hoc架构的优势
2020-08-17 cs.DC eess.SP
Decentralized Periodic Approach for Adaptive Fault Diagnosis in Distributed Systems
提出了一种适用于任意拓扑结构分布式系统故障诊断的分散周期自适应故障诊断算法(DP-AFD)。故障节点可能没有响应,可能有软件或硬件故障。该算法检测故障节点位于地理上分布的位置。该算法不依赖于单个节点或领导者来检测系统中的故障。然而,它授权多个节点检测系统中的无故障和故障节点。因此,在每个测试周期结束时,每个无故障节点都充当领导者来诊断系统中的故障。该算法的这一特点使其适用于任何网络。在算法的每个测试周期之后,所有节点都知道故障节点,并且每个节点只测试一次。有了这个知识,可以重新分配负载,这是以前分配给故障节点。此外,该算法允许修复的节点重新进入和新的节点进入。在n个节点的系统中,DP-AFD算法检测到的最大故障节点数为(n-1)。DP-AFD本质上是周期性的,它在规则的间隔之后执行测试周期以检测给定分布式系统中的故障节点。
2018-12-19 cs.DC
Adaptive Penalty-Based Distributed Stochastic Convex Optimization
在这项工作中,我们研究的任务,分布式优化网络的学习者,其中每个学习者拥有一个凸费用函数,一组仿射等式约束,和一组凸不等式约束。我们提出了一种基于惩罚方法的全分布式自适应扩散算法,该算法允许网络协作优化全局费用函数,该函数定义为网络上各个成本的总和,受所有约束。我们表明,当小的恒定步长,预期的最优解向量之间的距离,并在网络中的每个节点得到的可以任意小。所提出的解决方案相对于其他相关方法的两个显着特点是,所开发的策略不需要使用预测,并且能够适应和跟踪由于约束或总成本本身的变化而导致的最小值的位置漂移。所提出的策略也能够应付不断变化的网络拓扑结构,是强大的网络中断,不需要全局信息或依赖于中央处理器。
2013-12-16 cs.DC cs.MA math.OC