Rise and Shine Efficiently! Tight Bounds for Adversarial Wake-up
研究分布式网络中对抗性唤醒问题,证明了KT0和KT1模型下的消息复杂度下界,并提出了多种异步和同步唤醒算法及建议方案以实现近乎最优的时间和消息复杂度。
2025-07-15 cs.DC
Beating the Multiplicative Weights Update Algorithm
乘性权值更新算法已被广泛用于设计许多计算任务的迭代算法。其核心思想是维护一组专家的分布,并根据底层优化问题的参数在线更新此分布。在这份报告中,我们研究了一种特殊的MWU算法的行为,该算法用于在存在篡改专家建议的对手的情况下生成全局抛硬币。具体来说,我们将注意力集中在两种对抗策略上:(1)非自适应,其中对手先验地选择一组固定的专家,并在每一轮中破坏他们的建议;(2)自适应,其中随着算法的进展而选择该组。我们将这些对抗策略制定为贪婪策略,试图最大化MWU计算的最终加权建议中腐败专家的份额,并提供需要解决的底层优化问题以实现这一目标。我们提供的实证结果表明,在上述任何一个对手的存在下,MWU算法需要$\mathcal{O}(n)$轮预期产生所需的输出。该结果与$\mathcal{O}(n^3)$用于一般拜占庭共识问题的当前技术状态相比很好。最后,我们简要讨论了这些对抗策略的扩展一般MWU算法,并提供了一个框架的轮廓在该设置。
2017-08-15 cs.DC
Distributed Computation of the Conditional PCRLB for Quantized Decentralized Particle Filters
条件后验Cramer-Rao下界(PCRLB)是一种有效的传感器资源管理准则,适用于大规模、地理分布的传感器网络。用于PCRLB(dPCRLB)的分布式计算的现有算法是基于原始观测,导致对估计机制的显著通信开销。这封信推导出分布式计算技术,用于确定量化的,分散的传感器网络(CQ/dPCRLB)的条件dPCRLB。CQ/dPCRLB的解析表达式推导,这是特别有用的粒子滤波为基础的估计。CQ/dPCRLB的准确性进行了比较,其集中对应通过蒙特卡洛模拟。
2013-07-20 cs.DC
Distributed anonymous function computation in information fusion and multiagent systems
我们提出了一个模型,确定性分布函数计算的网络相同的和匿名的节点,有界的计算和存储能力,不与网络的规模。我们的目标是描述可以在这个模型中计算的函数类。在我们的主要结果中,我们展示了一类不可计算的函数,并证明了这类函数之外的每一个函数至少可以被近似。以分布式方式计算平均值的问题在我们的发展中起着核心作用。
2009-07-28 cs.DC
Linearizable Implementations Do Not Suffice for Randomized Distributed Computation
线性化是算法设计者的黄金标准,用于从使用相同对象的原子版本的相应算法的正确性推断使用实现的共享对象的分布式算法的正确性。我们表明,线性化不足以达到这个目的时,过程可以利用随机化,我们讨论了存在的替代正确性条件。
2011-09-20 cs.DC
Parallel and distributed Gröbner bases computation in JAS
本文研究了多核计算节点的分布式并行计算机上的并行格罗布纳基算法。总结了三种不同的格罗布纳基实现:共享内存并行、纯分布内存并行和分布内存与共享内存相结合的并行。最后一种算法称为分布式混合算法,在主节点和工作节点之间只使用一个控制通信信道,并将多项式保存在节点上的共享内存中。多项式在单独的分布式数据结构中被异步传输到算法的控制流。实现是通用的,适用于所有实现的(精确)字段。我们提出了新的性能测量和讨论的算法的性能。
2010-07-30 cs.DC
Distributed Abstraction Algorithm for Online Predicate Detection
分析分布式计算是一个困难的问题,一般由于组合爆炸的状态空间的大小与系统中的进程的数量。通过抽象计算,可以避免不必要的探索。计算切片是一种针对给定谓词抽象分布式计算的方法。我们关注的是常规谓词,这是一个谓词家族,涵盖了大量用于运行时验证的常用谓词。现有的计算切片算法本质上是集中式的,其中单个进程负责以离线或在线方式计算切片。在本文中,我们提出了一个分布式的在线算法计算片的分布式计算的一个定期谓词。我们的算法在整个系统中分配工作和存储需求,从而降低了每个进程的空间和计算复杂性。此外,对于合取谓词,我们的算法还减少了每个进程的消息负载。
2013-06-04 cs.DC
SerPyTor: A distributed context-aware computational graph execution framework for durable execution
本文提出 SerPyTor,一个轻量级、上下文感知的分布式计算图执行框架,以低设置开销和快速执行速度解决 Spark 集群在受限场景中上下文传播的不足。
2023-04-15 cs.DC
Lagom: Unleashing the Power of Communication and Computation Overlapping for Distributed LLM Training
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
Lagom通过统一成本模型和优先级搜索算法,优化分布式大模型训练中的通信与计算重叠,实现速度提升。
2026-02-24 cs.DC
SpDISTAL: Compiling Distributed Sparse Tensor Computations
我们介绍SpDISTAL,稀疏张量代数的编译器,目标是分布式系统。SpDISTAL结合了张量代数表达式、稀疏数据结构、数据分布和计算分布的单独描述。因此,它使得稀疏张量代数表达式的分布式执行具有各种各样的稀疏数据结构和数据分布。SpDISTAL作为一个C++库实现,目标是基于任务的分布式运行时系统,可以为具有多核CPU和多个GPU的节点生成代码。SpDISTAL生成的分布式代码可以与特定稀疏张量代数表达式的手写分布式函数竞争性能,并且性能优于基于一般解释的系统一到两个数量级。
2022-07-28 cs.DC cs.PL
Distributed Computation as Hierarchy
本文提出了一种新的分布式计算模型的分布式系统称为相网,扩展了V.Pratt的正交流关系从1986年。该模型用互斥表示序列,用一种新的层次结构代替事件序列、偏序集和偏序集。该模型明确地将计算连接到离散Clifford代数,该离散Clifford代数又扩展为同调和上同调,其中对象和边界的递归性质变得明显,并且本身受到分层递归的影响。Topsy是一个包含阶段网络的编程环境,可以从www.cs.auc.dk/topsy获得。
1998-09-14 cs.DC cs.NE
Making Asynchronous Distributed Computations Robust to Noise
我们考虑的问题,使分布式计算鲁棒噪声,特别是最坏的情况下(对抗)腐败的消息。我们给出了一个通用的分布式交互式编码方案,它模拟任何异步分布式协议,同时容忍所有消息的$Θ(1/n)$部分的最佳腐败,同时在通信复杂性中引起$O(n\log^2 n)$的适度爆破。我们的结果是第一个完全分布式的交互式编码方案,其中的通信网络的拓扑结构是不知道在事先。以前的工作需要一个协调节点连接到网络中的所有其他节点,或者假设一个同步网络,其中所有节点都已经知道网络的完整拓扑结构。
2017-02-23 cs.DC cs.DS
Communication Lower Bounds for Distributed-Memory Computations
我们给出了下限的通信复杂性需要解决几个计算问题,在分布式存储器并行机,即标准矩阵乘法,模板计算,比较排序,和快速傅立叶变换。我们重新审视的假设下,得出前面的结果,并提供新的下限,使用弱得多,适当的假设。我们的边界依赖于一个温和的假设工作分布,并加强以前的结果,需要计算之间的处理器平衡,或特定的初始分布的输入数据,或处理器的本地存储器的大小上界。
2013-09-20 cs.DC cs.DS
Encoding and Node Choices in Transversal Fault-Tolerant Distributed Quantum Computations: An Initial Study
School of Information Technology, Deakin University(迪肯大学信息技术学院)
本研究比较了双变量自行车编码和节点选择对横向容错分布式量子计算的影响,指出仅减少纠缠比特消耗并非最佳标准,并展示了特定编码可实现并发逻辑操作。
2026-09-30 cs.DC quant-ph
Distributed computation of homology using harmonics
提出了一种计算单纯复形第一同调的分布式算法。这类算法在传感器网络的拓扑分析中非常有用,如其覆盖特性。我们采用生成树计算代数1-圈的基础,然后使用谐波有效地确定可收缩和同源的循环。该算法的计算复杂性为$O(|P|^ω)$,其中$|P|$远小于边数,$ω$为矩阵矩阵的阶的复杂度阶数。对于几何图形,我们使用模拟表明,$|P|$是非常接近的第一个贝蒂数。
2013-06-05 cs.DC math.AT
D-iteration based asynchronous distributed computation
Alcatel-Lucent Bell Labs(阿尔卡特-朗讯贝尔实验室)
本文通过简单示例解释D-迭代方法如何用于高效的异步分布式计算。
2012-02-14 cs.DC cs.NA math.NA
Computation Offloading in Beyond 5G Networks: A Distributed Learning Framework and Applications
VTT Technical Research Centre of Finland(芬兰VTT技术研究中心);University of Electro-Communications(电气通信大学);Shizuoka University(静冈大学);University of Windsor(温莎大学);National Institute of Informatics(国立信息学研究所)
面对无线通信与多址边缘计算融合的趋势,研究了超五代网络中的计算卸载问题。为了解决MEC系统中的不确定性和有限资源共享所带来的技术挑战,我们将计算卸载问题表示为多代理马尔可夫决策过程,并提出了一个分布式学习框架。我们提出了一个案例研究的计算卸载资源编排展示潜力的在线分布式强化学习算法开发的框架下。实验结果表明,我们的学习算法优于基准资源编排算法。此外,我们概述了值得深入研究的研究方向,以尽量减少时间成本,这是一个主要的实际问题,防止建议的分布式学习框架的实施。
2020-07-15 cs.DC cs.LG
Distributed Parallelization of xPU Stencil Computations in Julia
我们提出了一种简单的方法,用于基于模板的xPU应用程序在规则交错网格上的分布式并行化,该网格在包ImplicitGlobalGrid.jl中实例化。该方法允许利用远程直接内存访问,并在数千个GPU上实现接近理想的实际应用程序的弱扩展。通信成本很容易隐藏在计算背后。
2022-11-28 cs.DC physics.comp-ph physics.geo-ph
Delay-Optimal Distributed Edge Computing in Wireless Edge Networks
分布式边缘计算(DEC)通过将边缘计算与并行计算相结合,利用边缘网络中的分布式设备并行执行计算,可以大幅降低服务延迟。在本文中,我们探讨DEC,利用分布式边缘设备连接的无线网络来执行计算任务卸载从终端设备。特别是,我们研究的基本问题,最大限度地减少执行分布式算法的计算任务的延迟。首先,我们建立了一些最优通信调度策略的结构特性。然后,给出了这些属性,我们的最优计算分配策略,它可以找到一个有效的算法。其次,基于最优计算分配,我们描述了一些特殊情况下的通信的最优调度顺序,并开发了一个有效的算法与有限的逼近比,以找到它的一般情况。最后,基于最优的计算分配和通信调度,我们进一步证明了在某些特殊情况下,可以有效地找到最优的设备选择。我们的研究结果提供了一些有用的见解,最佳的计算通信协同设计。我们使用模拟的理论研究结果的性能进行评估。
2020-02-07 cs.DC cs.NI
Fast Distributed Computation in Dynamic Networks via Random Walks
本文研究了动态网络中的高效分布式计算,其中网络拓扑结构的变化(任意)从一轮到一轮。我们的第一个贡献是一个严格的框架设计和分析的分布式随机游走算法在动态网络。然后,我们开发了一个快速的分布式随机游走算法,运行在$\tilde{O}(\sqrt{τΦ})$轮(具有高概率),其中$τ$是动态混合时间和$Φ$是网络的动态直径分别,并返回一个样本接近一个适当定义的静态分布的动态网络。我们还应用我们的快速随机游走算法设计快速分布式算法的两个关键问题,即,信息传播和分散计算的频谱特性在动态网络。我们的下一个贡献是一个快速的分布式算法的基本问题的信息传播(也称为八卦)在动态网络。在gossip中,或者更一般地,在$k$ -gossip中,存在最初存在于某些节点中的$k$信息(或令牌)片段,并且问题是将$k$令牌传播到所有节点。我们提出了一个基于随机游走的算法,运行在$\tilde{O}(\min\{n^{1/3}k^{2/3}(τΦ)^{1/3}, nk\})$轮(高概率)。据我们所知,这是第一个$o(nk)$时间全分布式令牌转发算法,它比之前最好的$O(nk)$轮分布式算法有所改进[Kuhn等人,STOC 2010],虽然在一个健忘的对手模型。我们的最后一个贡献是一个简单而快速的分布式算法估计的动态混合时间和相关的光谱特性的基础动态网络。
2012-05-24 cs.DC cs.DS
Fully distributed PageRank computation with exponential convergence
Engineering Division of NYU Abu Dhabi(纽约大学阿布扎比分校工程学院)
本文提出一种完全分布式算法用于计算PageRank向量,该算法受匹配追踪启发,具有完全分布式实现、期望收敛性及指数收敛率和低存储需求(每个页面仅需两个标量值)的特点,并通过实验验证了这些发现。
2018-10-22 cs.DC cs.SY eess.SY
Byzantine-Resilient Distributed Computation via Task Replication and Local Computations
本文针对拜占庭工作节点下的分布式计算问题,提出基于任务复制与最小化本地计算的协议,并给出循环分配的闭式性能结果及通信效率改进方案。
2025-07-21 cs.DC cs.IT math.IT
A Fundamental Tradeoff between Computation and Communication in Distributed Computing
我们如何以最佳方式交换额外的计算能力,以减少分布式计算中的通信负载?我们通过描述分布式计算中计算和通信之间的基本权衡来回答这个问题,即,两者成反比。更具体地说,一般的分布式计算框架,被认为是由常用的结构,如MapReduce,其中的整体计算被分解成计算一组“映射”和“减少”功能分布在多个计算节点。提出了一种名为“编码分布式计算“(CDC)的编码方案,以证明将Map函数的计算负载增加$r$的因子(即,在$r$仔细选择的节点处评估每一函数)可产生新颖的编码机会,所述编码机会将通信负载减少相同因子。还提供了一个信息理论上的通信负载的下限,它匹配的CDC计划实现的通信负载。结果,准确地描述了分布式计算中的最优计算-通信权衡。最后,CDC的编码技术应用于Hadoop TeraSort基准开发一种新的CodedTeraSort算法,这是经验证明,以加快整体作业执行的$1.97\times$ - $3.39\times$,为典型的设置感兴趣。
2017-09-23 cs.DC cs.IT math.IT
Distributed Computations with Layered Resolution
现代计算繁重的应用程序通常对时间敏感,需要分布式策略来加速它们。另一方面,分布式计算在实际应用中也遇到了工作速度慢的瓶颈。分布式编码计算是一种有吸引力的解决方案,它增加了冗余,使得分布式计算的子集足以获得最终结果。然而,最终结果仍然要么在期望的时间内获得要么没有获得,并且对于后者,所花费的资源被浪费。在本文中,我们引入了分层分辨率分布式编码计算的新概念,使得从工人的集体结果中获得最终结果的分辨率较低-在比最终结果更早的阶段。这一创新使得更有效的基于截止日期的系统成为可能,因为即使计算作业因时间而终止,也可以发布最终结果的近似版本。根据我们的理论和实证结果,平均执行延迟的第一个决议是显着小于一个最终决议。此外,满足最后期限的概率是第一个解决方案的最后解决方案几乎总是超过最后期限,降低了没有分层的系统的成功率。
2022-08-02 cs.DC cs.IT math.IT
Combating Computational Heterogeneity in Large-Scale Distributed Computing via Work Exchange
由于数据密集型的大规模应用,分布式计算系统已经获得了显着的最近的兴趣,由于他们的能力,在大量的商品节点上运行这样的任务,在一个时间有效的方式。对时间效率产生不利影响的主要瓶颈之一是分布式节点的计算异构性,通常由于最慢的工人而限制任务完成时间。在本文中,我们首先提出了一个下界的期望计算时间的基础上的工作守恒原理。然后,我们提出了我们的工作交换的方法来解决延迟问题,其中速度较快的工人可以重新分配额外的剩余计算,这些计算最初分配给速度较慢的工人。我们提出了两种变化的工作交换方法:a)当计算的异质性知识是已知的先验;和b)当异质性是未知的,估计在一个在线的方式分配任务的分布式工人。作为一个基线,我们还提出并分析了使用优化的最大距离可分离(MDS)编码的分布式计算方案在异构节点。仿真结果还比较了所提出的方法的工作交换,基线MDS编码方案和下界通过工作守恒原理。我们表明,工作交换计划实现的计算时间,这是非常接近的下限,有限的协调和通信开销,即使当有关的异质性水平的知识是不可用的。
2017-11-22 cs.DC cs.IT math.IT
Consensus-Based Distributed Computation of Link-Based Network Metrics
平均共识算法在分布式计算系统中有着广泛的应用。在分布式计算系统中,所有节点仅通过与其本地邻居交换信息就其初始状态的平均值达成一致。在这封信中,我们将研究基于链路的网络度量,这些度量是在网络中的链路上定义的成对节点属性的多项式函数。与基于节点的平均一致性不同,这种基于链路的度量依赖于节点属性的分布和底层网络拓扑。我们提出了一个通用的算法,使用加权平均共识协议的分布式计算基于链路的网络度量,并提供收敛条件和收敛速度分析。
2021-01-04 cs.DC cs.SI eess.SP
Distributed computation of persistent homology
持久同源性是一个流行的和强大的工具,用于捕获数据的拓扑特征。计算持久同源性的算法的进步已经大大减少了计算时间-只要算法不耗尽可用的内存。最近提出的并行方法持久性计算共享内存系统,我们证明了一个简单的适应标准的减少算法导致分布式系统的一个变种。我们的算法设计确保数据分布在节点上,没有冗余;这允许计算比单个机器大得多的实例。此外,我们观察到,并行至少补偿了节点之间的通信所造成的开销,并且与顺序甚至并行共享内存算法相比,通常甚至加快了计算速度。在我们的实验中,我们能够在一个具有32个节点的集群上,使用每个节点不到10GB的内存,在几秒钟内计算出具有超过10亿(10^9)个元素的过滤的持久同源性。
2013-10-02 cs.CG cs.DC math.AT
Compressed Coded Distributed Computing
通信开销是大规模分布式计算系统中的主要性能瓶颈之一,特别是对于机器学习应用。传统上,压缩技术用于通过尽可能多地组合相同计算任务的中间结果来减少通信的负荷。最近,通过编码的分布式计算(CDC)的发展,已经表明,可以实现跨不同计算任务的中间结果的编码机会,以进一步减少通信负载。我们提出了一个新的方案,命名为压缩编码分布式计算(简称压缩CDC),它联合利用上述两种技术(即,组合相同计算的中间结果并对不同计算的中间结果进行编码)以显著地减少在机器学习中普遍存在的具有最终阶段中的中间结果的线性聚集(约简)的计算的通信负载(例如,分布式训练算法,其中部分梯度被分布式地计算,然后在最后阶段被平均)。具体地,压缩CDC首先压缩/组合用于单个计算的若干中间结果,然后利用多个这样的组合分组来创建同时对多个计算有用的编码多播分组。我们的特点,可实现的压缩CDC的通信负载,并表明,它大大优于合并方法和CDC计划。
2018-05-05 cs.DC cs.IT math.IT
Collaborative Decoding of Polynomial Codes for Distributed Computation
我们发现,多项式代码(和一些相关的代码)用于分布式矩阵乘法交织里德-所罗门码,因此,可以协作解码。我们考虑一个容错设置,其中$t$工作节点返回错误的值。对于一个加性随机高斯误差模型,我们表明,对于所有的$t < N-K$,错误可以纠正概率为1。此外,数值结果表明,在存在加性错误的情况下,当$L$ Reed-Solomon码被协作解码时,恢复错误定位器多项式的数值稳定性随着$L$的增加而提高。
2019-05-31 cs.DC cs.IT math.IT
Exploiting Interference for Efficient Distributed Computation in Cluster-based Wireless Sensor Networks
本文提出了一些新的想法,如何提高共识算法在分布式无线传感器网络的性能,当考虑通信成本。特别感兴趣的是共识算法,利用无线信道的广播属性,以提高收敛速度方面的性能。为此,我们提出了一种新的基于聚类的共识算法,利用干扰计算,同时减少网络中的能量消耗。由此产生的优化问题是一个半定的程序,它可以离线解决系统启动之前。
2014-09-03 cs.DC cs.IT math.IT
D-iteration: Evaluation of the Asynchronous Distributed Computation
Alcatel-Lucent Bell Labs(阿尔卡特-朗讯贝尔实验室)
本文评估了基于流体扩散的D-迭代方法在异步分布式计算中的性能,实验表明该方法在K台虚拟机上可实现内存线性减少和计算速度几乎线性提升。
2012-02-28 cs.DC cs.NA math.NA
Distributed Gradient Descent with Coded Partial Gradient Computations
Imperial College London(帝国理工学院);University of Maryland(马里兰大学)
编码计算技术在分布式计算中提供了对离散服务器的鲁棒性,但具有以下限制:首先,它们增加了解码复杂度。其次,它们忽略了由分散的服务器执行的计算;并且它们通常被设计为恢复完整的梯度,因此不能在梯度的准确性和每次迭代完成时间之间提供平衡。在这里,我们介绍了一种混合的方法,称为编码的部分梯度计算(CPGC),从编码和未编码的计算方案的优点,并减少了计算时间和解码的复杂性。
2018-11-22 cs.DC cs.IT cs.LG
Breaking the Computation and Communication Abstraction Barrier in Distributed Machine Learning Workloads
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Ohio State University(俄亥俄州立大学);Chinese Academy of Sciences(中国科学院);University of California, Riverside(加州大学河滨分校);Microsoft Research(微软研究院)
最近的趋势是越来越多的大型机器学习模型需要分布训练和推理任务。考虑到训练这些模型的巨大成本,必须在计算和通信方面进行优化,以获得最佳性能。然而,当前深度学习框架中计算和通信内核之间的逻辑分离错过了跨越这种障碍的优化机会。通过整体考虑打破这种抽象可以提供许多优化,从而提高分布式工作负载的性能。手动应用这些优化需要为每个场景修改底层计算和通信库,这既耗时又容易出错。因此,我们提出了CoCoNeT,用DSL来表达一个既有计算又有通信的程序。CoCoNeT包含几个机器学习感知的转换来优化程序和编译器以生成高性能内核。将计算和通信作为第一类结构提供,允许用户在高级抽象上工作并应用强大的优化,例如通信和计算的融合或重叠。CoCoNeT使我们能够在大语言模型中优化数据、模型和流水线并行工作负载,只需几行代码。实验表明,CoCoNeT显著优于最先进的分布式机器学习实现。
2022-03-26 cs.DC cs.LG cs.PL
Distributed Linearly Separable Computation with Arbitrary Heterogeneous Data Assignment
Huazhong University of Science and Technology(华中科技大学);Guangxi Normal University(广西师范大学);University of Shanghai for Science and Technology(上海理工大学);Technische Universität Berlin(柏林工业大学)
本文研究了在任意异构数据分配下,分布式线性可分计算中任务函数可计算维度与通信成本之间的权衡,提出通用计算方案和反向界。
2026-01-15 cs.DC cs.IT math.IT
1st International Workshop on Distributed Evolutionary Computation in Informal Environments
IWDECIE研讨会的在线会议记录,于2011年6月5日在新奥尔良举行。研讨会的重点是非传统的生物启发算法及其概念的影响。
2011-06-02 cs.DC cs.ET cs.NE
Distributed Computation of Wasserstein Barycenters over Networks
提出了一种新的\cu{class-optimal}算法,用于网络上Wasserstein重心的分布式计算.假设图中的每个节点都有一个概率分布,我们证明了每个节点都可以通过使用符合图的拓扑结构的局部相互作用到达网络中所有分布的重心。我们提供了一个估计所需的最小数量的通信轮所提出的方法,以实现任意的相对精度在无向固定网络的解决方案的最优性和所有代理之间的共识。
2018-09-20 cs.DC cs.MA math.OC
Secure Distributed Matrix Computation with Discrete Fourier Transform
我们考虑的问题,安全的分布式矩阵计算(SDMC),其中\textit{user}查询的数据矩阵在分布式\textit{source}节点产生的功能。我们假设$N$诚实但好奇的计算服务器的可用性,这些服务器通过正交和可靠的通信链路连接到源、用户和彼此。我们的目标是最小化必须从源传输到服务器的数据量(称为\textit{upload cost}),同时保证没有$T$串通服务器可以了解有关源矩阵的任何信息,并且用户不能了解计算结果之外的任何信息。我们首先专注于安全的分布式矩阵乘法(SDMM),考虑两个矩阵,并提出了一种新的多项式编码方案,利用有限域离散傅立叶变换的性质,实现了上传成本显着低于现有的文献中的结果。然后,我们推广所提出的计划,包括掉队缓解,并在保持输入矩阵的多个矩阵的乘法,中间的计算结果,以及对任何$T$串通服务器的最终结果安全。我们还考虑了一种特殊情况,称为计算与自己的数据,其中用于计算的数据矩阵属于用户。在这种情况下,我们放弃了对用户的安全要求,并表明该方案实现了最小的上传成本。然后,我们提出了在分布式服务器上安全地执行其他常见矩阵计算的方法,包括改变秘密共享,矩阵转置,矩阵求幂,求解线性系统和矩阵求逆的参数,然后使用这些参数来展示如何使用所提出的程序在分布式服务器上安全地计算任意矩阵多项式。
2021-11-14 cs.CR cs.DC cs.IT
Models of fault-tolerant distributed computation via dynamic epistemic logic
分布式计算模型的可计算能力由进程可用的通信介质、进程和通信的时序假设以及进程可能遭受的故障的性质决定。在一个配套文件中,我们展示了如何动态认知逻辑可以用来给一个正式的语义给定的分布式计算模型,精确地捕获所需的知识来解决分布式任务,如共识。此外,通过移动到由单纯复形定义的认知逻辑的对偶模型,拓扑不变量被暴露,这决定了任务的可解性。在本文中,我们将展示如何扩展上述设置,以包括在知识的过程中,知识的计算模型本身。该扩展描述了知识流程获得有关当前执行,在过程中没有输入值的问题。
2017-04-25 cs.DC cs.LO cs.MA
Randomized algorithms for distributed computation of principal component analysis and singular value decomposition
本文提出面向高长方矩阵 PCA/SVD 及任意矩阵低秩近似的分布式随机算法,并在 Spark 上证明其优于现成确定性实现且左奇异向量接近机器精度正交归一。
2018-01-01 cs.DC cs.NA math.NA
Matrix Distributed Processing: A set of C++ Tools for implementing generic lattice computations on parallel systems
我们提出了一套编程工具(类和功能写在C++和消息传递接口的基础上)的通用并行(和非并行)晶格模拟的快速发展。它们统称为MDP 1.2。这些编程工具包括用于矩阵、随机数生成器、分布式网格(具有任意拓扑结构)、字段和并行迭代的类和算法。使用它们不需要以前的MPI知识。介绍了量子色动力学在电磁学、电子学、凝聚态和格点量子色动力学中的应用。
2001-08-14 cs.DC cs.MS hep-lat
Fast and Straggler-Tolerant Distributed SGD with Reduced Computation Load
Technical University of Munich(慕尼黑工业大学);Aalto University(阿尔托大学)
本文针对分布式SGD中的滞后节点问题,提出一种在运行过程中同时自适应调整工作节点数量和计算负载的新方案,从而在略微增加通信负载的代价下显著降低计算负载并加快收敛。
2023-04-17 cs.DC cs.IT cs.LG
Coded Distributed Computing with Partial Recovery
Imperial College London(帝国理工学院);University of Maryland(马里兰大学)
编码计算技术提供了对分布式计算中分散的工作者的鲁棒性。然而,大多数现有的计划需要精确的离散行为的规定,并忽略离散工人进行的计算。此外,这些方案通常被设计为准确地恢复期望的计算结果,而在许多机器学习和迭代优化算法中,已知更快的近似解导致总体收敛时间的改善。在本文中,我们首先介绍了一种新的编码矩阵向量乘法方案,称为编码计算与部分恢复(CCPR),它受益于编码和未编码的计算方案的优点,并通过允许的准确性和计算速度之间的权衡,降低了计算时间和解码的复杂度。然后,我们提出了一个编码的通信方案与部分恢复,其中的工作人员计算的子任务的结果被编码之前进行通信,将这种方法扩展到更一般的计算任务的分布式实现。一个大型线性回归任务的数值模拟证实了所提出的分布式计算方案与部分恢复的计算精度和延迟之间的权衡方面的好处。
2021-12-06 cs.DC cs.IT cs.LG
Distributed Computation for the Non-metric Data Placement Problem using Glauber Dynamics and Auctions
我们考虑非度量数据布局问题,并开发分布式算法计算或近似其最佳的整体解决方案。我们首先表明,非度量数据布局问题是不可逼近的对数因子。然后,我们提供了一个博弈论分解的目标函数,并表明,自然的Glauber动态,玩家更新他们的资源与概率成比例的效用,他们收到缓存这些资源将收敛到一个足够大的噪声参数的最优全局解。特别是,我们建立了多项式混合时间的Glauber动力学在一定范围内的噪声参数。最后,我们提供了另一种基于拍卖的分布式算法,它允许我们近似的最优全局解的性能保证,取决于从底层拍卖获得的收入与社会福利的比率。我们的研究结果提供了第一个分布式计算算法的非度量数据布局问题。
2022-10-14 cs.DC cs.GT cs.MA