Efficient Heuristics and Machine Learning Approach for Fault Characterization in Distributed Self-Stabilizing Programs
University of Wyoming(怀俄明大学)
本文针对分布式自稳定程序中的一致性违反故障,提出基于冲突边的状态空间探索与机器学习两种互补方法,以高效表征故障发生位置,提升系统正确性与计算效率。
2026-10-16 cs.DC
Internet-based Adaptive Distributed Simulation of Mobile Ad-hoc Networks
在本文中,我们专注于基于互联网的仿真,分布式仿真的一种形式,其中一组执行单元,物理上位于全球各地的工作在一起运行的仿真模型。由于通信的延迟/可变性,这种设置非常具有挑战性。因此,在分布式仿真中必须采用灵活的机制,如仿真模型的自适应划分和执行单元之间的负载均衡策略。我们模拟了一个无线模型在一个真正的基于互联网的分布式仿真设置,并评估的可扩展性的模拟器,并没有使用自适应策略,降低通信开销和负载平衡增强。结果证实了我们的方法来建立基于互联网的模拟的可行性。
2020-03-31 cs.DC cs.NI
Distributed Optimization via Adaptive Regularization for Large Problems with Separable Constraints
许多实际应用需要解决大型高维数据集的优化问题,这使得这些问题难以解决并且非常耗时。在本文中,我们提出了一个并行分布式算法,使用自适应正则化(PDAR)解决可分离约束的联合优化问题。正则化器是自适应的,并且取决于迭代之间的步长和迭代次数。理论上证明了算法收敛于最优解,并通过一个多智能体三箱资源分配问题的算例说明了算法的有效性.数值模拟表明,我们的算法收敛到相同的最优解,与其他分布式方法,显着减少计算时间。
2012-11-30 cs.DC math.OC
Communication-Efficient Distributed Learning via Sparse and Adaptive Stochastic Gradient
本文提出通信高效的分布式算法SASG,通过自适应聚合规则动态选择通信节点并对传输梯度进行稀疏化,在保持与SGD相同的次线性收敛速率的同时显著降低通信轮次和通信比特数。
2024-06-09 cs.DC
Adaptive Energy-aware Scheduling of Dynamic Event Analytics across Edge and Cloud Resources
作为物联网(IoT)的一部分,传感器的部署越来越多,正在产生数千个事件流。复杂事件处理(CEP)查询提供了一个有用的范例,对这些数据源的快速决策。虽然通常集中在云中,但在现场部署有能力的边缘设备激发了对跨边缘和云计算的协作事件分析的需求。在这里,我们确定了一个新的问题,即在边缘和云资源上放置查询,以动态地到达和离开分析流程。我们将其定义为一个优化问题,以最小化所有事件分析的总完工时间,同时满足资源的能量和计算约束。我们提出了4种自适应算法和3种重新平衡策略,并使用100 - 1000个边缘设备和虚拟机的详细模拟来验证它们。结果表明,我们的算法提供O(秒)的规划时间,在所有情况下,提供一个有效的和高质量的解决方案,并减少查询迁移的数量。此外,再平衡策略在这些物流中应用时,显着减少了约20 - 25%的完工时间。
2018-01-03 cs.DC
Self-adaptive Gossip Policies for Distributed Population-based Algorithms
流言是P2P网络中一种有效的信息传播机制。在P2P计算的背景下,我们提出了所谓的进化代理模型的分布式人口为基础的算法,使用八卦作为通信策略,并表示每个人作为一个自我调度的单线程。该模型通过定义一个自适应的刷新率来避免种群中的过时节点,该刷新率取决于网络的延迟和带宽。这种机制平衡了移徙率与追求全球人口一致性的联系的拥挤程度。我们在一个真正的并行系统上对该模型进行了实验评估,并观察了解决方案的质量和算法速度如何随着处理器的数量而变化。
2007-03-23 cs.DC
CADA: Communication-Adaptive Distributed Adam
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
随机梯度下降(SGD)已经成为大规模机器学习的主要工具。它通常与其自适应变体一起使用,如AdaGrad,Adam和AMSGrad。本文提出了一种用于分布式机器学习的自适应随机梯度下降方法,它可以被看作是著名的亚当方法的通信自适应对应物-证明其名称CADA。CADA的关键组成部分是一组新的规则,自适应随机梯度,可以实现节省通信上传量。新算法自适应地重用陈旧的亚当梯度,从而节省通信,并且仍然具有与原始亚当相当的收敛速度。在数值实验中,CADA实现了令人印象深刻的经验性能方面的总通信轮减少。
2020-12-31 cs.DC cs.LG math.OC
Adaptive ADMM in Distributed Radio Interferometric Calibration
基于一致性优化的分布式射电干涉校准已被证明可以改善射电天文观测中系统误差的估计。一致性多项式利用系统误差在频率上的内在连续性来惩罚传统的校准。共识是通过使用交替方向乘法器(ADMM)算法。在本文中,我们扩展了现有的分布式校准算法,使用ADMM与自适应惩罚参数更新。与固定惩罚相比,其自适应更新在ADMM的各种应用中表现更好。在本文中,我们比较了两种流行的惩罚参数更新方案:剩余平衡惩罚更新和频谱惩罚更新(Barzilai-Borwein)。我们将这两种方案应用于分布式无线电干涉校准,并比较它们的性能与ADMM与固定的惩罚参数。仿真结果表明,两种自适应罚参数更新方法都能提高ADMM的收敛性,但谱罚参数更新方法的稳定性更好。
2017-10-16 astro-ph.IM cs.DC
Achieving Near-Optimal Convergence for Distributed Minimax Optimization with Adaptive Stepsizes
College of Control Science and Engineering(控制科学与工程学院);Zhejiang University(浙江大学);Department of Computer Science(计算机科学系);ETH Zurich(苏黎世联邦理工学院)
针对分布式 minimax 优化中自适应步长不一致导致不收敛的问题,提出 D-AdaST 方法,通过步长跟踪协议确保节点步长一致性,在非凸-强凹问题中实现了无需问题参数的近最优收敛。
2024-06-05 cs.DC cs.LG math.OC
Adaptive Stochastic Gradient Descent for Fast and Communication-Efficient Distributed Learning
Technical University of Munich(慕尼黑工业大学);Indian Institute of Science(印度科学学院);US Army Research Laboratory(美国陆军研究实验室);Rutgers University(罗格斯大学)
我们考虑这样一种设置,其中主节点希望在$n$工作节点上运行分布式随机梯度下降(SGD)算法,每个工作节点都有一个数据子集。分布式SGD可能遭受离散者的影响,即,缓慢或反应迟钝的工人造成延误。文献中研究的一种解决方案是在每次迭代时等待最快的$k<n$工人的响应,然后更新模型,其中$k$是固定参数。对$k$的值的选择呈现了运行时间(即,收敛速度)和模型的误差。为了优化错误-运行时权衡,我们研究了具有自适应~ $k$的分布式SGD,即,在算法的整个运行时间内改变$k$。首先,我们设计了一个自适应的政策,为不同的$k$,优化这种权衡的基础上的误差上限作为一个函数的挂钟的时间,我们得出。然后,我们提出并实现了一个算法,自适应分布式SGD是基于统计启发式。我们的研究结果表明,自适应版本的分布式SGD可以达到更低的误差值在更短的时间相比,非自适应实现。此外,结果还表明,自适应版本是通信效率,其中所需的主和工人之间的通信量小于非自适应版本。
2022-08-04 cs.DC cs.IT cs.LG
Communication efficient privacy-preserving distributed optimization using adaptive differential quantization
隐私问题和通信成本都是分布式优化中的主要问题。它们之间通常存在权衡,因为隐私保护所需的加密方法通常会导致昂贵的通信带宽。为了解决这个问题,我们,在本文中,提出了一种基于量化的方法来实现通信效率和隐私保护的解决方案的背景下,分布式优化。通过部署自适应差分量化方案,我们允许网络中的每个节点以较低的通信成本实现其最佳解决方案,同时保持其私有数据不被泄露。此外,所提出的方法是通用的,可以应用于各种分布式优化方法,如原始对偶乘法器(PDMM)和交替方向乘法器(ADMM)。移动,我们考虑两个广泛使用的对手模型:被动和窃听。最后,我们调查所提出的方法使用不同的应用程序的属性,并证明其优越的性能,包括准确性,隐私和通信成本的几个参数。
2021-05-30 cs.DC eess.SP
Distributed adaptive stabilization
本文研究具有时变对角矩阵增益的不确定多变量线性系统的分布式自适应镇定问题。证明了当系统矩阵是具有正对角元的H矩阵时,不确定多变量线性系统可通过对角矩阵高增益镇定。基于矩阵测度和对角占优系统的稳定性理论,考虑了两类不确定线性系统,通过对角增益矩阵单调递增,得到了保证其指数稳定的阈值条件.当矩阵增益中的每个增益函数由仅使用局部状态信息的状态相关函数更新时,系统状态和自适应矩阵增益的有界性和收敛性都得到了保证。本文将自适应分布式镇定方法应用于由非线性节点动态和时变耦合权值组成的大规模复杂网络的自适应同步控制。提出了一个统一的自适应同步框架,其中包括几种通用的自适应耦合权重的设计方法,以保证网络同步。
2021-05-28 cs.DC cs.MA cs.SY
A Social Cognitive Heuristic for Adaptive Data Dissemination in Mobile Opportunistic Networks
人们普遍认为,数据将是未来互联网系统的基石之一。在这种情况下,移动互联网(ON)是以自组织和分散的方式支持用户移动设备之间以及用户与附近设备(如IoT节点)之间的本地化交互所生成的数据增长的关键范例之一。在ON中,移动设备之间的自发协作被利用来向感兴趣的用户传播数据。然而,由于每个节点的资源和知识有限,而且数据量巨大,因此很难制定有效的计划来完成这项任务。最近的解决方案建议为每个设备配备源自人类数据处理方案的数据过滤方法,称为认知启发式,即大脑用于快速丢弃无用信息的非常有效的方法,同时保留最相关的信息。当面临动态场景或节点无法完全协作的情况时,这些解决方案可能会变得不那么有效。其中一个原因是,到目前为止提出的解决方案没有考虑到节点移动的环境的社会结构。为了更有效,每个节点在选择信息时应考虑到环境的这一层面。在本文中,我们提出了一种基于认知社交圈启发式的基于社交的数据传播方案。这种评估方法利用社会环境的结构来推断所发现信息的相关性。我们展示了如何社交圈启发式,再加上一个基于认知的社区发现计划,可以利用设计一个有效的数据传播算法ON。我们提供了一个详细的分析所提出的解决方案的性能,通过模拟。
2021-09-30 cs.DC cs.HC cs.MA
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
由于训练数据集规模的爆炸式增长,分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的,在减少通信成本与随机梯度下降(SGD),有很少的尝试,在建立通信有效的自适应梯度方法与可证明的保证,这是广泛用于训练大规模机器学习模型。在本文中,我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题,这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点,具有相同的迭代复杂度,未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
Distributed Adaptive Greedy Quasi-Newton Methods with Explicit Non-asymptotic Convergence Bounds
本文提出一种无需线搜索的自适应贪婪拟牛顿方法,建立显式非渐近全局与局部超线性收敛界,并将其扩展为通信代价与一阶方法相当的分布式版本。
2023-11-30 cs.DC math.OC
Performance Limits for Distributed Estimation Over LMS Adaptive Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文分析LMS自适应网络中分布式估计的均方性能,证明通过优化组合权重,扩散策略可优于集中式块或增量LMS策略,并扩展到N节点网络。
2012-06-17 cs.DC cs.IT cs.SY
Distributed Adaptive Newton Methods with Global Superlinear Convergence
研究了对等网络中每个节点通过与相邻节点通信来最小化有限个目标函数和的分布式最优化问题。与现有文献中最快的分布式算法以全局线性或局部超线性速度收敛形成鲜明对比,我们提出了一种具有全局平方收敛速率的分布式自适应牛顿(DAN)算法。我们的核心思想在于设计一个有限时间的集一致性方法与Polyak的自适应步长。此外,我们引入了一种低秩矩阵近似(LA)技术来压缩黑塞矩阵的新息,使得每个节点每次迭代只需要发送维度为$\mathcal{O}(p)$(其中$p$是决策向量的维度)的消息,这在本质上与一阶方法相同。然而,由此产生的DAN-LA收敛到一个最优解的全局超线性率。通过对逻辑斯谛回归问题的数值实验,验证了该方法的优越性.
2022-01-14 cs.DC cs.MA cs.SY
Adaptive Top-K in SGD for Communication-Efficient Distributed Learning
City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);City University of Hong Kong(香港城市大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校)
本文提出一种SGD框架中的自适应Top-K梯度稀疏化方法,通过动态调整稀疏化程度平衡通信成本与收敛误差,在MNIST和CIFAR-10上实现优于现有方法的收敛速率。
2023-09-11 cs.DC cs.LG math.OC
Scalable Distributed Algorithms for Size-Constrained Submodular Maximization in the MapReduce and Adaptive Complexity Models
Texas A&M University(德克萨斯农工大学);Florida State University(佛罗里达州立大学)
该研究针对规模约束单调子模最大化问题,证明多类亚自适应算法满足MapReduce模型的一致性要求,提出首个线性查询复杂度的分布式算法,并给出提升MR算法最大基数约束的方法。
2024-09-16 cs.DC cs.DS cs.LG