Massively Parallel Algorithms for Distance Approximation and Spanners
在过去的十年中,有越来越多的兴趣在分布式/并行算法处理大规模的图形。到目前为止,对于大规模并行计算(MPC)模型中的一些基本图形问题,我们已经有了相当快的算法--通常是亚临界时间,通常是$poly(\log\log n)$时间,甚至更快。该模型是MapReduce风格设置的广泛采用的理论抽象,其中许多机器以全对全的方式进行通信以处理大规模数据。贡献这一行的MPC图形算法的工作,我们提出了$poly(\log k) \in poly(\log\log n)$轮MPC算法计算$O(k^{1+{o(1)}})$ -spectrometry在强次线性制度的本地存储器。据我们所知,这些是第一个亚临界时间MPC算法的结构。作为主要的应用程序,我们得到两个重要的影响,如下:-对于MPC设置,我们得到了一个$O(\log^2\log n)$轮算法的$O(\log^{1+o(1)} n)$近似的所有对最短路径(APSP)在近线性制度的本地内存。据我们所知,这是第一个用于距离近似的亚临界时间MPC算法。- 我们上面的结果也扩展到分布式计算的拥塞集团模型,具有相同的轮复杂度和近似保证。这给出了拥塞集团模型中加权图中近似APSP的第一个亚对数算法。
2021-06-28 cs.DC cs.DS
An Efficient Construction of Yao-Graph in Data-Distributed Settings
该研究针对平面点对最短路径近似的几何生成树构建问题,利用亚线性范围树在MPC模型下设计了Yao图构建算法,将时间与内存复杂度从亚二次优化至近线性。
2023-08-29 cs.CG cs.DC
Ultra-Sparse Near-Additive Emulators
近加性(又名$(1+ε,β)$ -)仿真器和spectron是一种基本的图形算法构造,具有许多用于计算近似最短路径的应用程序以及分布式,流式和动态设置中的相关问题。近加性仿真器的已知构造使得人们能够在它们的稀疏性(即,边数)和附加拉伸$β$。具体地,对于任何一对参数$ε>0$、$ κ=1,2,\dots$,可以具有具有$O(n^{1+1/κ})$边的$(1+ε,β)$ -仿真器,具有$β= \left(\frac{\log κ}ε\right)^{\log κ}$。在它们的sparterly,这些仿真器使用$c\cdot n$边缘,对于一些恒定的$c\geq 2$。我们收紧这一界限,并表明,事实上正是$n^{1+1/κ}$边缘足够。特别地,我们的仿真器可以是\emph{ultra-sparse},即,我们可以有一个模拟器与$n+o(n)$边缘和$β= \left(\frac{\log {\log n}}{ε}\right)^{\log {\log n}(1+o(1))}$。我们还在CONGEST模型中设计了一个分布式确定性算法,该算法在低多项式时间内构建这些仿真器(即,在$O(n^ρ)$时间中,对于任意小常数参数$ρ>0$)。最后,我们还改进了PODC'19论文[ElkinM 19]中设计的$(1+ε,β)$ -spectrometry的最先进的分布式确定性\congest -模型…
2021-06-02 cs.DC cs.DS
Graph Spanners in the Message-Passing Model
图的稀疏子图是指近似保持输入图中所有两两最短路距离的稀疏子图。近似的概念可以是加法的,乘法的,或两者兼而有之,这个问题的许多变体已经被广泛研究。我们研究了当输入图的边分布在两个或多个站点中的任意,可能是最坏情况下的分区时计算图的问题,目标是使用于输出图的通信最小化。我们假设通信的消息传递模型,对于该模型,在所有站点对之间存在点对点链路以及负责产生输出的协调器。我们强调,每个站点的边的子集是不相关的网络拓扑结构,这是固定的点对点。虽然这个模型已经被广泛研究了相关的问题,如图的连通性,它还没有被系统地研究图的空间。我们提出了第一个权衡总通信与质量的speries计算,两个或多个网站,以及添加剂和乘法的概念失真。我们显示分离的通信复杂性时,边缘被允许发生在多个站点上,与每个边缘发生在最多一个站点上。我们获得几乎紧界(polylog因子)的通信添加剂$2$ -spectrum在有和没有重复的模型,乘法$(2k-1)$ -spectrum在有重复的模型,乘法$3$和$5$ -spectrum在没有重复的模型。我们的乘法$3$ -spectrometer的下界采用双正则二部图,而不是通常的Erdos的围长猜想图,可能会更广泛的兴趣。
2019-11-16 cs.DC cs.DS
Derandomizing Local Distributed Algorithms under Bandwidth Restrictions
本文讨论了分布式计算中的基石家族\emph{local problems},并研究了带宽限制下的随机和确定性解决方案之间的奇怪差距。我们的主要贡献是在提供工具去随机化的解决方案,当地的问题,当$n$节点只能发送$O(\log n)$位的消息,在每一轮的通信。我们结合有界的独立性,我们证明是足够的一些算法,与方法的条件期望和额外的机器,得到以下结果。我们的技术给出了一个确定性的最大独立集(MIS)算法在CONGEST模型,其中的通信图是相同的输入图,在$O(D\log^2 n)$轮,其中$D$是直径的图形。就$n$而言,最著名的运行时间是$2^{O(\sqrt{\log n})}$,它是超多对数的,需要大量的消息。对于CONGEST模型,唯一已知的先前解决方案是基于着色的$O(Δ+ \log^* n)$轮算法,其中$Δ$是图中的最大度。在获得上述内容的方法中,我们证明了在允许所有对所有通信的\emph{Congested Clique}模型中,存在一个确定性MIS算法,该算法运行在$O(\log Δ\log n)$轮中。其中PDMATHAMT是最大程度。当为$Δ=O(n^{1/3})$时,该界改进为$O(\log Δ)$,并且对于$(Δ+1)$着色也成立。此外,我们在$O(k \log n)$轮中确定性地构造了一个具有$O(kn^{1+1/k}\log n)$边的$(2k-1)$ -…
2016-08-04 cs.DC cs.DS
Near-Linear Lower Bounds for Distributed Distance Computations, Even in Sparse Networks
我们开发了一种新的技术,用于构建稀疏图,使我们能够证明在CONGEST模型中计算距离的轮复杂性的近线性下界。具体来说,我们展示了用于计算稀疏网络中的直径的$\widetildeΩ(n)$下限,这在以前仅对于密集网络是已知的[Frishknecht等人,SODA 2012]。事实上,我们甚至可以修改我们的构造,使用我们定义的简单但强大的降度技术来获得具有常数度的图。此外,我们的技术允许我们显示$\widetildeΩ(n)$下限计算$(\frac{3}{2}-\varepsilon)$ -近似的直径或半径,并计算一个$(\frac{5}{3}-\varepsilon)$ -近似的所有偏心率。对于半径,我们不知道任何以前的下限。对于直径,这些极大地改善了先前的下限,并且接近于多对数因子[Frishknecht等人,SODA 2012],而对于偏心率,在下限和近似因子方面都有改善[Holzer和Wattenhofer,PODC 2012]。有趣的是,我们的技术还允许显示一个几乎线性的下限验证的$(α,β)$ -spectrometry,为$α< β+1$。
2016-05-17 cs.DC cs.DS
Property Testing of Planarity in the CONGEST model
在{ \sf CONGEST}模型下,给出了一般(无界度)图的单侧误差平面性检验的分布式算法.在最近发起分布式设置中的属性测试研究的Censor-Hillel等人(DISC 2016)之后,我们的算法给出了以下保证:对于图$G = (V,E)$和距离参数$ε$,如果$G$是平面的,则每个节点输出{ \sf accept\/},并且如果$G$是$ε$ -远离平面(即,需要去除多于$ε\cdot |E|$的边以使$G$平面化),则至少一个节点以概率$1-1/{\rm poly}(n)$输出{ \sf reject}。该算法运行在$O(\log|V|\cdot{\rm poly}(1/ε))$轮,我们表明,这一结果是紧的依赖$|V|$。我们的算法结合了几种技术的图形划分和局部验证的平面嵌入。此外,我们展示了如何在我们的算法中的一个主要的子程序可以被应用到获得额外的结果,用于测试的周期自由性和biparteness,以及建设的spiritual,在未成年人的自由(unweighted)图。
2019-08-14 cs.DC
Optimal Resource Scheduling and Allocation in Distributed Computing Systems
分布式计算系统的本质是如何调度传入的请求以及如何分配所有计算节点以最小化时间和计算成本。在本文中,我们提出了一个成本意识的最优调度和分配策略的分布式计算系统,同时最小化的成本函数,包括响应时间和服务成本。首先,基于所提出的代价函数,我们同时推导出最优请求调度策略和最优资源分配策略。其次,考虑到请求到达对调度策略的影响,采用加性增乘性减(AIMD)机制对请求到达与调度之间的关系进行建模。特别是,AIMD参数可以设计为使得导出的最佳策略仍然有效。最后,给出了一个数值例子来说明推导的结果。
2021-10-15 cs.DC
CEDD-optimizer: Enabling Cost-Efficient Dataset Distillation on Geographically Distributed Edge Systems
Technical University of Munich(慕尼黑工业大学)
针对分布式边缘环境数据集蒸馏成本高的问题,提出CEDD-optimizer超参数调优框架,在质量约束下最小化总成本,实验实现20.8倍改进。
2026-09-10 cs.DC
Executing Bag of Distributed Tasks on the Cloud: Investigating the Trade-offs Between Performance and Cost
分布式任务包(BoDT)可以从云上的分散执行中受益。然而,在通过为任务采用大量云VM可以实现的性能与用户经常设置的货币限制之间存在权衡。本文中报告的研究旨在调查这种权衡,以便生成在云上部署BoDT应用程序的最佳计划。提出并实现了一种综合考虑用户对性能和成本偏好的启发式算法。通过生成一个示例应用程序的执行计划,证明了该算法的可行性。关键的结果是,该算法生成的应用程序的最佳执行计划超过91%的时间。
2014-10-30 cs.DC
RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization
RelJoin提出基于相对代价的分布式连接方法选择模型,利用运行时统计精确估计网络与本地计算代价,在SparkSQL中实现,TPC-DS上62/97查询最优,平均查询时间降低21%。
2023-11-24 cs.DB cs.DC
Optimizing Frequent Checkpointing via Low-Cost Differential for Distributed Training Systems
通过低成本微分优化分布式训练系统的频繁检查点,减少训练时间达89.2%。
2026-10-12 cs.DC
Scalable and Cost-effective Data Flow Analysis for Distributed Software: Algorithms and Applications
越来越多的分布式软件系统正在开发和部署。与其他软件一样,分布式软件系统也需要非常强大的质量保证支持。分布式软件通常非常庞大/复杂,具有分布式组件,并且没有全局时钟。所有这些特点使得分析这些系统的信息流以支持软件质量保证变得非常具有挑战性。一个挑战是现有的动态分析技术很难扩展到现实世界中的大型分布式软件系统。开发具有成本效益的动态分析方法也具有挑战性。分布式软件的动态分析算法/应用程序也存在适用性和可移植性的挑战。我的论文通过三种新的方法来解决这些挑战,分布式软件的数据流分析。我的第一种方法是基于测量进程间通信来理解分布式软件行为和预测分布式软件质量。然后,我开发了一种特殊的方法,可以通过分布式软件的多阶段和基于精化的动态信息流分析来精确定位敏感信息。最后,我探索了分布式系统的动态依赖分析,利用强化学习自动调整分析配置,以实现可扩展性和更好的成本效益权衡。
2023-03-07 cs.CR cs.DC cs.SE
Utilizing Redundancy in Cost Functions for Resilience in Distributed Optimization and Learning
Georgetown University(乔治城大学)
本文研究了基于服务器架构的弹性分布式优化和随机机器学习问题。该系统包括服务器和多个代理,其中每个代理具有本地成本函数。代理与服务器协作以找到它们的聚合成本函数的最小值。我们考虑的情况下,当一些代理可能是异步和/或拜占庭故障。在这种情况下,分布式梯度下降(DGD)的经典算法变得无效。我们的目标是设计技术,提高效率的DGD与拜占庭式的失败。要做到这一点,我们首先提出了一种方法来模拟代理的成本函数的通用概念的$(f, \,r; ε)$冗余,其中$f$和$r$是参数的拜占庭故障和冗余,分别和$ε$表征代理的成本函数之间的接近度。这使我们能够量化代理成本函数之间存在的冗余水平,对于任何给定的分布式优化问题。我们从理论和经验上证明了我们提出的冗余模型在提高DGD针对异步和拜占庭代理的鲁棒性方面的优点,以及它们对分布式随机梯度下降(D-SGD)的扩展,以实现具有异步和拜占庭代理的鲁棒分布式机器学习。
2021-10-21 cs.DC cs.LG
Distributed Nonparametric Function Estimation: Optimal Rate of Convergence and Cost of Adaptation
University of Pennsylvania(宾夕法尼亚大学)
研究了高斯序列模型和白噪声模型在通信约束下的分布式极小极大估计和分布式自适应估计。在给定的Besov类,作为一个基准的适应成本的分布式估计的极小极大收敛速率,建立。然后,我们量化的确切通信成本的适应和构建一个最佳的自适应过程中的分布估计范围内的Besov类。结果表明,在分布和传统的集中设置的非参数函数估计之间的显着差异。对于全局估计,自适应一般不能在分布式环境中免费实现。新的技术工具,以获得适应成本的确切特性可能是独立的利益。
2021-07-01 cs.DC cs.LG math.ST
Minimization of Storage Cost in Distributed Storage Systems with Repair Consideration
在分布式存储系统中,不同存储节点的存储成本通常可以不同。研究了如何在给定的存储节点集合中存储文件,以使总存储开销最小。通过分析信息流图的最小割约束,确定节点存储容量的可行域。然后,存储成本最小化可以简化为线性规划问题,该问题可以容易地求解。此外,存储成本和修复带宽之间的权衡建立。
2011-07-28 cs.DC cs.IT math.IT
Distributed Learning with Low Communication Cost via Gradient Boosting Untrained Neural Network
对于高维数据,分布式GBDT存在巨大的通信开销,因为GBDT的通信量与特征的数量有关。为了克服这个问题,我们提出了一种新的梯度提升算法,梯度提升未经训练的神经网络(GBUN)。GBUN集成了未经训练的随机生成的神经网络,该网络将数据样本软分布到多个神经元输出,并大大降低了分布式学习的通信成本。为了避免对高维数据建立庞大的神经网络,我们扩展了Simhash算法来模拟神经网络的前向计算。我们在多个公共数据集上的实验表明,GBUN在预测精度方面与传统的GBDT一样好,并且在分布式学习的缩放特性方面要优于它。与传统的GBDT品种相比,GBUN在64台机器的集群上将训练过程加快了13倍,在100 KB/s网络带宽的集群上加快了4614倍。因此,GBUN不仅是一种高效的分布式学习算法,而且在联邦学习中具有很大的应用潜力。
2020-11-10 cs.DC cs.LG
Asynchronous Distributed Optimization with Redundancy in Cost Functions
研究了基于服务器的系统结构上的异步分布式多Agent优化问题。在这个问题中,每个代理都有一个本地成本,代理的目标是共同找到他们的总成本的最小值。解决这个问题的标准算法是迭代分布式梯度下降(DGD)方法,由服务器和代理协同实现。在同步设置中,只有在所有代理完成与服务器的预期通信后,算法才从一个迭代进行到下一个迭代。然而,这种同步可能是昂贵的,甚至在现实世界的应用中是不可行的。我们表明,等待所有的代理是不必要的,在许多应用程序的分布式优化,包括分布式机器学习,由于冗余的成本函数(或{ \em数据})。具体而言,我们认为一个通用的概念冗余命名为$(r,ε)$ -冗余意味着可解性的原始多智能体优化问题与$ε$的准确性,尽管删除了高达$r$(总$n$)代理从系统中。我们提出了一个异步DGD算法,在每次迭代中,服务器只等待(任何)$n-r$代理,而不是所有的$n$代理。假设$(r,ε)$ -冗余,我们表明,我们的异步算法收敛到近似解的误差是线性的$ε$和$r$。此外,我们还提出了一个推广我们的算法容忍一些拜占庭故障代理系统中。最后,我们证明了改进的通信效率,我们的算法通过实验MNIST和时尚MNIST使用基准神经网络LeNet。
2021-06-07 cs.DC
SLFS: a Flexible, Low-Cost Distributed File System Using Serverless Designs
Northeastern University(东北大学)
针对传统分布式文件系统资源利用率低、弹性不足的问题,提出基于无服务器函数的SLFS系统,通过键值存储和短生命周期多线程设计,实现毫秒级弹性伸缩,在S3等后端上降低成本63%-68%。
2026-07-03 cs.DC
Preserving Statistical Privacy in Distributed Optimization
我们提出了一个分布式的优化协议,保护代理的本地成本函数的统计隐私,对被动的对手,腐败的一些代理在网络中。该协议是一个分布式的“{ \em零和}”混淆协议,混淆代理的本地成本函数,和一个标准的非私有分布式优化方法的组合。我们表明,我们的协议保护统计隐私的代理商的本地成本函数对一个被动的对手,腐败到$t$任意代理,只要通信网络有$(t+1)$顶点连接。"{ \em zero-sum}”混淆协议保留了代理的局部成本函数的总和,因此确保了计算解决方案的准确性。
2020-12-29 cs.CR cs.DC
Processing Regular Path Queries on Arbitrarily Distributed Data
正则路径查询(RPQ)是一种图查询,其中答案是由匹配正则表达式的一系列边连接的节点对。我们研究的技术来处理这种查询的分布式数据图。虽然许多技术假设每个数据元素(节点或边)的位置是已知的,但当分布式系统的组件是自治的时,数据将被任意分布。由于不同的查询处理策略在最坏的情况下是等价的成本,我们隔离查询相关的成本因素,并提出了一种方法来选择策略,使用新的查询成本估计技术。我们评估我们的技术使用有意义的查询生物医学数据。
2015-10-14 cs.DB cs.DC
Decentralized Minimum-Cost Repair for Distributed Storage Systems
已经出现了许多用于分布式存储系统的应用,无线传感器网络或云存储。由于无线传感器网络中的存储节点具有有限的电池,因此找到具有最优传输成本的修复方案(例如,能源)。最优费用修理最近已被集中研究。然而,集中式控制机制可能不可用或者非常昂贵。对于这些场景,研究分散设置中的最优成本修复是很有趣的。我们制定的最佳成本修复凸优化问题的网络凸传输成本。然后,我们使用原始和对偶分解的方法来解耦的子问题进行局部求解。因此,每个幸存的节点,与其他节点合作,可以使其传输成本最小化,从而使全局成本最小化。我们进一步研究了算法的最优性和收敛性。最后,我们讨论了码的构造和确定域的大小,以找到可行的网络码在我们的方法。
2013-01-30 cs.DC cs.IT math.IT
Zero-Shot Cost Models for Distributed Stream Processing
本文提出了一种分布式流处理系统(DSPS)的学习成本估计模型,旨在提供准确的执行查询的成本预测。这项工作的一个主要前提是,所提出的学习模型可以推广到开箱即用的流工作负载的动态。这意味着一旦训练好的模型就可以准确地预测性能指标,例如延迟和吞吐量,即使数据和工作负载的特性或操作员对硬件的部署在运行时发生变化。这样,该模型可用于解决诸如优化操作符的放置等任务,以最小化流查询的端到端延迟或最大化其吞吐量,即使在不同的条件下。我们对著名的DSPS Apache Storm的评估表明,该模型可以准确地预测看不见的工作负载和查询,同时在现实世界的基准测试中推广。
2022-07-08 cs.DB cs.DC
Cost Analysis of Redundancy Schemes for Distributed Storage Systems
分布式存储基础架构需要使用数据冗余来实现高数据可靠性。不幸的是,冗余的使用引入了存储和通信开销,这可能降低系统的总体存储容量或增加其成本。为了减轻存储和通信开销,已经提出了不同的冗余方案。然而,由于底层存储基础设施的种类繁多以及不同的应用需求,为每个存储基础设施优化这些冗余方案是很麻烦的。由于缺乏为每种存储配置确定最佳冗余级别的规则,导致行业中的开发人员经常选择更简单的冗余方案,而这些方案通常不是最佳方案。在本文中,我们分析了不同的冗余方案的成本,并推导出一组规则,以确定哪种冗余方案最大限度地减少了存储和通信成本为一个给定的系统配置。此外,我们使用模拟表明,理论上最优的方案可能是不可行的,在现实的设置中,节点可以离线和维修可能会延迟。在这些情况下,我们确定哪些是冗余方案的存储和通信开销与其数据可靠性之间的权衡。
2011-04-15 cs.DC cs.NI
Differentially Private Distributed Optimization
在分布式优化和迭代共识文献中,$N$代理的标准问题是在欧几里得空间的子集上最小化函数$f$,其中成本函数表示为和$\sum f_i$。在本文中,我们研究的私人分布式优化(PDOP)问题的额外要求,个别代理的成本函数应保持差异私人。对手试图从代理交换的消息中推断出关于私有成本函数的信息。实现差分隐私要求个体成本函数的任何改变仅导致消息统计的非实质性改变。提出了一类求解PDOP的迭代算法,该算法实现了差分隐私并收敛到最优值。我们的分析揭示了所实现的准确性和隐私级别对算法参数的依赖性。我们观察到,为了实现$ε$ -差分隐私,算法的准确性具有$O(\frac{1}{ε^2})$的数量级。
2014-01-12 cs.CR cs.DC
Distributed Zeroth-Order Stochastic Optimization in Time-varying Networks
考虑了时变网络中的分布凸优化问题,该问题不总是强连通的。每个节点的局部代价函数受某种随机过程的影响。网络的所有节点协作以最小化其局部费用函数的平均值。我们的工作的主要挑战是,费用函数的梯度应该是不可用的,只能估计的基础上的数值观测的费用函数。这种问题称为零阶随机凸优化(ZOSCO)。在本文中,我们采取了第一步的分布式最优化问题与ZOSCO设置。该算法在每次迭代时包含两个基本步骤:i)每个单元根据其局部成本函数的基于随机扰动的单点梯度估计器更新局部变量; ii)每个单元与其直接邻居交换其局部变量,然后执行加权平均。在代价函数光滑且强凸的情况下,经过$T$迭代,我们可达到的优化误差为$O(T^{-1/2})$。这个结果是有趣的,因为$O(T^{-1/2})$是ZOSCO问题中的最佳收敛速度。我们还研究了一般Lipschitz凸函数的优化误差,结果是$O(T^{-1/4})$。
2021-05-26 cs.DC math.OC
Energy and Network Aware Workload Management for Geographically Distributed Data Centers
云服务提供商正在地理上分布数据中心,以通过智能工作负载分配来最大限度地降低能源成本。随着新兴云工作负载中的数据量不断增加,将跨数据中心传输工作负载的网络成本考虑在内至关重要。对于地理分布的数据中心,许多研究人员一直在探索能源成本最小化和智能数据中心间的工作负载分配策略。然而,现有的工作并没有全面和同时考虑数据中心的能源成本,数据传输成本和数据中心的部署延迟。在本文中,我们提出了一种新的基于博弈论的工作负载管理框架,采取整体的方法来云运营成本最小化问题,通过智能调度决策,了解数据传输成本和数据中心的延迟。我们的框架执行智能工作负载管理,考虑数据中心计算能力的异构性,冷却能力,服务器中任务协同定位的干扰影响,使用时间电价,可再生能源,净计量,峰值需求定价分配和网络定价。我们的模拟表明,所提出的博弈论技术可以更有效地减少云运营成本比现有的方法。
2021-05-31 cs.DC cs.GT cs.NI
MiCRO: Near-Zero Cost Gradient Sparsification for Scaling and Accelerating Distributed DNN Training
Ajou University(明知大学)
MiCRO通过梯度分区分配和基于压缩比误差最小化的阈值估计,实现近零成本的梯度稀疏化,从而提升分布式DNN训练的可扩展性和加速效果。
2024-02-20 cs.DC cs.LG
Distributed Deep Learning Using Volunteer Computing-Like Paradigm
Eydle Inc.(Eydle公司)
深度学习(DL)在商业应用中的使用越来越多,如图像分类、情感分析和语音识别。当训练具有大量参数和/或大数据集的DL模型时,训练的成本和速度可能变得过高。分布式DL训练解决方案将训练作业拆分为子任务并在多个节点上执行,可以减少训练时间。然而,目前的解决方案,主要是为集群计算系统构建的成本,仍然是一个问题。与集群计算系统相比,志愿者计算(VC)系统可以降低计算成本,但运行在VC系统上的应用程序必须处理容错、可变网络延迟和计算节点的异构性,而当前的解决方案并不是这样设计的。我们设计了一个分布式的解决方案,可以运行DL训练VC系统通过使用数据并行的方法。我们实现了一种新的异步SGD方案称为VC-ASGD适合VC系统。与传统的通过使用不值得信任的志愿者设备来降低成本的VC系统相比,我们通过在商业云平台上利用可抢占的计算实例来降低成本。通过使用要求应用程序具有容错能力的可抢占实例,我们将成本降低了70-90%,并提高了数据安全性。
2021-05-27 cs.AI cs.DC cs.LG
Guessing Cost: Bounds and Applications to Data Repair in Distributed Storage
本文提出猜测代价框架,给出有限代价随机变量第ρ阶矩的最优策略及Rényi熵表示的渐近与非渐近界,并将其用于界定基站备份、二部图码保护的分布式存储修复带宽。
2023-12-08 cs.DC cs.IT math.IT
Distributed Stochastic Gradient Tracking Methods
本文研究了网络上的分布式多智能体优化问题,其中每个智能体具有一个光滑的强凸局部费用函数。全局目标是找到一个共同的解决方案,使所有费用函数的平均值最小化。假设代理人只能获得无偏估计的梯度的本地费用函数,我们考虑了分布式随机梯度跟踪方法(DSGT)和gossip样的随机梯度跟踪方法(GSGT)。我们表明,在预期中,由每个代理生成的迭代被吸引到最优解的邻域,在那里它们以指数速度积累(在恒定步长选择下)。在DSGT下,迭代与最优解的距离上的限制(预期)误差界随着网络大小$n$而减小,这与集中式随机梯度算法的性能相当。此外,我们表明,当网络连接良好时,GSGT比DSGT产生更低的通信成本,同时保持类似的计算成本。数值算例进一步验证了所提方法的有效性。
2020-03-10 cs.DC cs.SI math.OC
Cost-Efficient Distributed Learning via Combinatorial Multi-Armed Bandits
Technical University of Munich(慕尼黑工业大学);Imperial College London(帝国理工学院)
我们考虑分布式SGD问题,其中一个主节点分布梯度计算之间的$n$工人。通过将任务分配给所有工作者并仅等待最快的$k$,主节点可以通过随着算法的发展逐渐增加$k$来权衡算法的错误与其运行时间。然而,这种称为自适应$k$ -sync的策略忽略了未使用的计算的成本以及将模型传达给揭示离散行为的工作者的成本。我们提出了一个具有成本效益的计划,只分配任务的$k$工人,并逐步增加$k$。我们介绍了使用一个组合的多臂强盗模型来学习哪些工人是最快的,同时分配梯度计算。假设工人的响应时间呈指数分布,通过不同的方法进行参数化,我们给出了经验和理论上的保证,我们的策略,即遗憾,学习工作进程的平均响应时间所花费的额外时间。此外,我们提出并分析了一个策略适用于一个大类的响应时间分布。自适应$k$同步相比,我们的计划实现了显着降低的错误与相同的计算工作量和更少的下行链路通信,而在速度方面是低劣的。
2022-06-28 cs.DC cs.IT cs.LG