Pre-fetching tree-structured data in distributed memory
分布式堆存储管理器已在FujitsuAP 1000多机上实现。实验比较了各种预取策略的性能。在某些应用程序中发现了预取的主观编程优势和高达10%的客观性能优势,但不是所有应用程序。预取的性能优势取决于特定的数据结构和访问模式。我们建议在应用程序的控制下动态地控制预取策略。
1998-10-02 cs.DB cs.DC
VHT: Vertical Hoeffding Tree
Telefonica Research(西班牙电信研究);Qatar Computing Research Institute(卡塔尔计算研究所);Telecom ParisTech(巴黎高等电信学院);LARC-SMU(新加坡管理大学智能系统实验室)
物联网大数据需要新的机器学习方法,能够扩展到高速到达的大数据。决策树是流行的机器学习模型,因为它们非常有效,但易于解释和可视化。在文献中,我们可以找到学习决策树的分布式算法,也可以找到流算法,但没有结合这两种特性的算法。在本文中,我们提出了垂直Hoeffding树(VHT),第一个分布式流学习决策树算法。它的特点是一种新的方式分布决策树通过垂直并行。该算法是在Apache SAMOA(一个用于挖掘分布式数据流的平台)上实现的,因此能够在真实世界的集群上运行。我们运行几个实验来研究我们的新VHT算法的准确性和吞吐量性能,以及它的扩展能力,同时保持其优越的性能,相对于非分布式决策树。
2016-07-28 cs.AI cs.DB cs.DC
Distributed Augmentation, Hypersweeps, and Branch Decomposition of Contour Trees for Scientific Exploration
本文提出分布式增强、超扫描和分支分解算法,实现轮廓树几何属性的并行计算,并支持将其作为科学探索的查询结构,以高效识别和提取大规模科学数据中的重要轮廓。
2024-09-30 cs.CG cs.DC
Distributed Algorithms for Minimum Degree Spanning Trees
最小度生成树(MDST)问题要求为具有$n$顶点的图$G=(V,E)$构造一棵生成树$T$,使得$T$的最大度$d$是$G$的所有生成树中最小的.在本文中,我们提出了两个新的分布式近似算法的MDST问题。我们的第一个结果是一个随机分布的算法,构造一个最大程度的生成树$\hat d = O(d\log{n})$。它需要$O((D + \sqrt{n}) \log^2 n)$轮(w.h.p.),其中$D$是图直径,其匹配(在对数因子内)相关最小生成树问题的最优轮复杂度。我们的第二个结果通过构建一个最大度为$\hat d = O(d + \log{n})$的树来改进这个近似因子,尽管代价是在轮复杂度中增加了额外的多对数因子。虽然有效的近似算法的MDST问题已经知道在顺序设置自20世纪90年代以来,我们的研究结果是第一个有效的分布式解决方案,这个问题。
2018-06-08 cs.DC cs.DS
Fully Sequential and Distributed Dynamic Algorithms for Minimum Spanning Trees
在本文中,我们提出了一个全动态的分布式算法,以保持一个最小生成树的一般图与正实边权重。动态MST算法的目标是在动态变化(如边权重变化)后有效地更新最小生成树,而不是每次都必须从scatch重新计算它。本文的第一部分调查了各种算法,今天在顺序和分布式环境中解决静态MST问题。我们还提出了一些有效的顺序算法计算动态MST像Frederickson的算法和Eppstein的稀疏化技术。最后,我们提出了我们的新的顺序和分布式算法的动态MST问题。据我们所知,这是第一个用于计算动态MST的分布式算法。
2000-02-08 cs.DC cs.DS
A Distributed Parallel Algorithm for Minimum Spanning Tree Problem
在本文中,我们提出并评估了一个并行算法求解最小生成树(MST)问题的超级计算机与分布式内存。与原始GHS(Gallager、Humblet、Spira)算法相比,该算法依赖于对一种特定消息类型的消息处理顺序要求的放宽。我们的算法采用哈希和消息压缩优化技术以及。据我们所知,这是GHS算法的第一个并行实现,线性扩展到Infiniband集群的32个节点(256个核心)以上。
2016-10-14 cs.DC
A distributed approximation algorithm for the minimum degree minimum weight spanning trees
Fischer已经展示了如何对任何常数$b > 1$计算在时间上度最多为$b Δ^* + \lceil \log\_b n\rceil$的最小权生成树$O(n^{4 + 1/\ln b})$,其中$Δ^*$是最优解的值,$n$是网络中的节点数。在本文中,我们提出了一个分布式版本的菲舍尔的算法,需要消息和时间复杂度$O(n^{2 + 1/\ln b})$,和O(n)空间每个节点。
2006-07-08 cs.DC cs.DM
Distributed protocols for spanning tree construction and leader election
我们提出了快速确定性的分布式协议在同步网络中的领导选举和生成树的建设。这些协议是在网络中的节点具有标识符但标识符的大小是无限的假设下设计的。因此,协议的时间界限取决于标识符的大小。我们提出了快速协议运行的时间$O(D\log L+L)$,其中$L$是最小标识符的大小和$D$是网络的直径。
2016-05-03 cs.DC
A Fast Distributed Approximation Algorithm for Minimum Spanning Trees in the SINR Model
无线网络中的基本问题是\emph{minimum spanning tree}(MST)问题:给定无线节点的集合$V$,计算生成树$T$,使得$T$的总成本最小化。近年来,人们对基于SINR约束的物理干扰模型产生了很大的兴趣。由于模型的非局部性,分布式算法在SINR模型中尤其具有挑战性。在本文中,我们开发了一个快速的分布式近似算法MST建设的SINR为基础的分布式计算模型。对于一个$n$节点网络,我们的算法的运行时间是$O(D\log{n}+μ\log{n})$,并产生一个生成树,其成本是在$O(\log n)$倍的最佳(MST成本),其中$D$表示通过使用最大可能的传输范围获得的磁盘图的直径,和$μ=\log{\frac{d_{max}}{d_{min}}}$表示“距离分集”w.r. t。两个节点之间的最大和最小距离。(When $\frac{d_{max}}{d_{min}}$是$n$ -多项式,$μ= O(\log n)$。)我们的算法的运行时间基本上是最佳的(对数因子),因为计算{ \em any}生成树需要$Ω(D)$时间,因此我们的算法产生一个低成本的生成树的时间只有一个对数因子以上的时间来计算一个生成树。该算法得到的生成树的分布式调度复杂度为$O(μ\log n)$。我们的算法设计技术可以是有用的,在设计高效的分布式算法,在无线网络中的SINR模型的相关“全球”的问题…
2012-06-06 cs.DC cs.DS
Distributed Dual Coordinate Ascent with Imbalanced Data on a General Tree Network
California State University, Northridge(加州州立大学北岭分校);Penn State Behrend(宾夕法尼亚州立大学贝伦德分校);University of California, Davis(加州大学戴维斯分校);University of Iowa(爱荷华大学)
本文提出延迟广义分布式双坐标上升法,以解决树形网络中不平衡数据导致的收敛问题,并通过数值实验验证其有效性。
2023-08-28 cs.DC cs.IT cs.LG
Concurrent self-adjusting distributed tree networks
SplayNet是经典splay树数据结构的分布式推广。给定一组通信请求和一个由n个节点组成的网络,使得任何一对节点都能够建立直接连接,目标是动态地找到一个(本地可路由的)二叉树拓扑,它连接所有节点并优化该通信模式的路由成本,在每个请求被服务之前进行本地拓扑变换(旋转)。在这项工作中,我们提出了一个分布式和并发实现的SplayNets。分析结果表明,我们提出的算法防止循环和死锁发生并发旋转之间。我们计算一个splay请求的总摊销平均成本的轮数和时隙数,并作为splay请求的源节点和目的节点的经验熵的函数。
2017-05-24 cs.DC
HAlign-II: efficient ultra-large multiple sequence alignment and phylogenetic tree reconstruction with distributed and parallel computing
多序列比对(MSA)在生物序列分析,特别是系统发育树的构建中起着关键作用。下一代测序的急剧增加导致缺乏有效的超大型生物序列比对方法来应对不同的序列类型。分布式和并行计算是加速超大型序列分析的关键技术。基于HAlign和Spark分布式计算系统,我们实现了一个高性价比和高时效的HAAlign-II工具,用于解决超大规模多生物序列比对和系统发育树构建问题。实验结果表明:1)HAlign-II能够高效地进行MSA,构建超大生物序列的系统发生树; 2)HAlign-II具有极高的内存效率,并能随着计算资源的增加而扩展; 3)HAlign-II提供了一个基于我们的分布式计算架构的用户友好的Web服务器。在http://lab.malab.cn/soft/halign上建立了具有开放源代码和数据集的HAlign-II。
2017-04-04 cs.DC q-bio.QM
Fastest Distributed Consensus Averaging Problem on Perfect and Complete n-ary Tree networks
解决最快的分布式共识平均问题(即,在具有不同拓扑结构的网络上找到边上的权重以最小化权重矩阵的第二大特征值模)是传感器网络领域中的主要研究领域之一,并且在这个问题中众所周知的网络之一是树形网络。在这项工作中,我们提出了最快的分布式共识平均算法的分层和半定规划的方法,为两种特殊类型的树网络,即完美和完整的n元树网络的问题的解析解。该方法基于最快分布式共识平均问题的凸性,通过对松弛条件下的特征多项式进行归纳比较,找到最优权值。此外,某些类型的分支(例如完美和完整的n元树分支)的边的最佳权重独立于网络的其余部分来确定。
2010-05-15 cs.DC cs.IT cs.NI
An Efficient Approach to Move Elements in a Distributed Geo-Replicated Tree
复制树数据结构广泛应用于协同应用和分布式文件系统中,客户端经常在其中执行移动操作。在不同副本的本地移动操作可能是安全的。但是,远程移动操作可能不安全。当客户端在不同的副本上同时执行任意移动操作时,可能会导致各种错误,使此操作难以实现。以前的工作揭示了错误,如数据复制和循环复制树。在本文中,我们提出了一个有效的算法来执行移动操作的分布式复制树,同时确保最终的一致性。所提出的技术主要涉及有效地解决冲突,不需要副本之间的交互,并与网络分区。我们使用的最后写赢语义的冲突解决方案的基础上,全球唯一的时间戳的操作。所提出的解决方案只需要一个补偿操作,以避免在应用移动操作时形成循环。在三个不同大陆的Microsoft Azure标准实例上的地理复制设置中,所提出的方法实现了68.19 $\times$的有效加速比。
2022-03-19 cs.DC
Distributed and Autonomic Minimum Spanning Trees
Western Parana State University (UNIOESTE)(西巴拉那州立大学);Federal University of Parana (UFPR)(巴拉那联邦大学);Sorbonne Université(索邦大学)
本文提出了一种自适应算法,用于在分布式系统中构建和维护生成树,以实现高效的广播通信。
2025-12-02 cs.DC
Sherman: A Write-Optimized Distributed B+Tree Index on Disaggregated Memory
内存解聚体系结构将CPU和内存物理分离为独立的组件,通过高速RDMA网络连接,大大提高了数据库的资源利用率。然而,这样的体系结构对数据库中的数据索引提出了独特的挑战,这是由于有限的RDMA语义和存储器侧接近零的计算能力。现有的索引支持分散的内存,要么遭受低写性能,或需要硬件修改。本文介绍了谢尔曼,写优化的分布式B+树索引的分散内存,提供高性能的商品RDMA存储器。Sherman结合了RDMA硬件功能和对RDMA友好的软件技术,从三个角度提高了索引写入性能。首先,为了减少往返,Sherman通过利用RDMA的按顺序传递属性来合并依赖的RDMA命令。第二,为了加速并发访问,Sherman引入了一种分层锁,利用了RDMA的片上存储器。最后,为了减轻写入放大,Sherman使用两级版本机制来定制B + Tree的数据结构布局。我们的评估表明,谢尔曼是一个数量级更快的吞吐量和第99百分位延迟典型的写密集型工作负载,与最先进的设计相比。
2021-12-19 cs.DB cs.DC cs.NI
Fast and Compact Distributed Verification and Self-Stabilization of a DFS Tree
我们提出了分布式验证和沉默稳定的DFS(深度优先搜索)生成树的连接网络的算法。计算和维护这样的DFS树是重要的任务,例如,用于构建有效的路由方案。我们的算法以各种方式改进了以前的工作。可比较的以前的工作具有空间和时间复杂度分别为每个节点的$O(n\log Δ)$比特和$O(nD)$,其中$Δ$是节点的最高度,$n$是节点的数量,$D$是网络的直径。相比之下,我们的算法有一个空间复杂度为$O(\log n)$位每节点,这是最佳的沉默稳定生成树和运行在$O(n)$时间。此外,我们的解决方案是模块化的,因为它利用分布式验证算法作为一个独立的子任务的整体解决方案。可以将验证算法用作独立任务或另一算法中的子任务。为了证明使用模块化方法构造高效DFS算法的简单性,我们还基于我们的沉默稳定DFS树提出了一个(非沉默)自稳定DFS令牌循环算法。该令牌循环算法的复杂度与已知算法相当。
2014-12-17 cs.DC
D3-Tree: A Dynamic Distributed Deterministic Load - Balancer for decentralized tree structures
在这项工作中,我们提出了D3树,一个动态的分布式确定性结构的数据管理在分散的网络。我们提出了简要的理论算法分析,我们提出的结构是基于,我们彻底描述的关键方面的实施。进行实验,我们验证了实现的结构优于其他知名的层次树为基础的结构,因为它提供了更好的负载平衡操作的复杂性。更具体地说,该结构实现了一个对数摊销的界限,使用一个有效的确定性负载平衡机制,这是一般的,足以适用于其他层次树为基础的结构。此外,我们调查的结构的容错,这还没有得到充分的解决,在以前的工作中,无论是理论上和通过严格的实验。我们证明了D3树是高度容错的,因为,即使是大规模的节点故障,它实现了显着的元素查询的成功率。然后,我们更进一步,为了达到亚对数复杂度,并提出了ART+结构(自治范围树),利用D3树的优异性能。ART+是一个完全动态的容错结构,它实现了查询和更新操作的亚对数性能,并在亚对数摊销成本下执行负载平衡。
2015-03-26 cs.DC cs.DS
Extremely Scalable Distributed Computation of Contour Trees via Pre-Simplification
针对大规模科学数据集中分布式层次等高线树分析任务内存开销大、阻碍可扩展性的问题,提出预简化策略显著降低内存开销,并在15分钟内构建了包含超5000亿节点的已知最大等高线树。
2025-08-11 cs.CG cs.DC cs.DS
Local Thresholding on Distributed Hash Tables
我们提出了一个二叉路由树协议的分布式哈希表覆盖。使用这个协议,每个对等体可以独立地将消息路由到它的父节点和两个动态的后代节点,而不需要任何维护、全局上下文和同步。该协议,然后扩展到支持树的变化通知具有类似的效率。生成的树几乎是完全稠密和平衡的,如果分布式哈希表是对称Chord,则具有O(1)拉伸。我们使用树路由协议,以克服在对等网络系统中的本地阈值算法的实施的主要障碍-他们的要求,无循环路由。直接比较基于流言的算法和相应的局部阈值算法上的多数表决问题表明,后者获得优越的精度使用一小部分的通信开销。
2013-01-14 cs.DC
A Distributed Algorithm for Constructing a Minimum Diameter Spanning Tree
本文提出了一个新的算法,它解决了分布式地寻找任何(非负)实加权图$G = (V,E,ω)$的最小直径生成树的问题。作为中间步骤,我们使用一个新的,快速的,线性时间的所有对最短路径分布式算法找到一个绝对中心的$G$。该分布式算法是异步的,适用于指定的异步任意网络,实现了$\mathcal{O}(|V|)$时间复杂度和$\mathcal{O}\left(|V|\,|E|\right)$
2013-12-11 cs.DC cs.DS cs.NI
Distributed Dual Coordinate Ascent in General Tree Networks and Communication Network Effect on Synchronous Machine Learning
Penn State Behrend(宾夕法尼亚州立大学贝伦德分校);University of California, Davis(加州大学戴维斯分校);University of Iowa(爱荷华大学)
由于数据量大,单台计算机或单台服务器的数据存储量有限,数据往往以分布式方式存储。因此,经常需要通过通信网络对分布式数据集执行大规模机器学习操作。本文研究了一般树结构网络中分布式机器学习问题的分布式双坐标上升的收敛速度。由于树型网络模型可以理解为星型网络模型的推广,因此我们的算法可以看作是星型网络模型中分布式对偶坐标上升的推广。本文以递归的方式给出了一般树状网络上分布式对偶坐标上升的收敛速度,并分析了网络对收敛速度的影响。其次,考虑网络通信时延,对分布式双坐标上升算法进行优化,使其收敛速度最大化。从我们的分析结果,我们可以选择最佳的局部迭代次数取决于通信延迟的严重程度,以达到最快的收敛速度。在数值实验中,我们考虑通信网络上的机器学习场景,其中本地工作者不能直接到达一个中心节点,由于通信的限制,并证明了我们的分布式双坐标上升算法在树网络的可用性。此外,我们还证明了在分布式双协调上升算法中,根据网络通信延迟调整局部和全局迭代次数可以提高算法的收敛速度。
2021-02-18 cs.DC cs.IT cs.LG
Self-Stabilizing Balancing Algorithm for Containment-Based Trees
基于容器的树包含各种方便的结构,如B+树,R树和M树。它们被广泛用于在集中式和分布式环境中构建数据索引、范围可查询覆盖、发布/订阅系统。除了它们的多功能性外,它们平衡的形状确保了令人满意的整体性能。最近,它已被证明,他们的分布式实现可以故障恢复。然而,这种鲁棒性是以不平衡结构为代价的。虽然结构在可搜索性方面保持正确,但其性能可能会显着降低。在本文中,我们提出了一个分布式的自稳定算法来平衡基于包含的树。
2012-12-14 cs.CC cs.DC
A Primal-Dual based Distributed Approximation Algorithm for Prize-Collecting Steiner Tree
奖品收集Steiner树(PCST)问题是Steiner树问题的推广,在网络设计,内容分发网络等方面有应用。有几个集中式近似算法\cite{DB_MG_DS_DW_1993, GW_1995, DJ_MM_SP_2000, AA_MB_MH_2011}用于解决PCST问题。然而,没有分布式算法是已知的,解决PCST与保证近似因子。在这项工作中,我们提出了一个异步分布式$(2 - \frac{1}{n - 1})$ -近似算法,构造一个PCST为一个给定的连接无向图与非负边权重和非负奖值为每个节点。我们的算法是Goemans和Williamson \cite{GW_1995}提出的集中式算法的分布式设置的适应,是基于原始-对偶方法。该算法的消息复杂度为$O(|V||E|)$,输入图的节点集为$V$,边集为$E$.最初,每个节点只知道自己的奖励值和每个入射边的权重。该算法在称为\emph{root node}的特殊节点处自发地发起,并且当它终止时,每个节点知道它是否在PCST中。据我们所知,这是第一个分布常数近似算法PCST。
2018-02-20 cs.DC
Dynamic Analysis of the Arrow Distributed Directory Protocol in General Networks
Arrow协议是一种简单而优雅的协议,用于协调对网络中共享对象的独占访问。该协议通过在预先计算的生成树(或在给定网络上模拟的任何其他树形拓扑)上使用路径反转来解决底层分布式路由问题。已知Arrow协议在直径为D的树上以O(log D)的竞争比解决问题。这意味着对于直径为D且长度为s的生成树的一般网络,竞争比为O(s*log D)的分布式搜索算法。在这项工作中,我们表明,当运行箭头协议上著名的概率树嵌入Fakcharoenphol,Rao和Talwar [STOC 03],我们得到了一个随机的分布式嵌入算法的竞争比O(log n),即使在一般的网络拓扑结构。结果保持即使在一个任意的动态和并发的方式,即使通信是异步的,发生的并发请求。从技术的角度来看,主要的文件表明,Arrow协议的竞争比是恒定的一个特殊的家庭的树拓扑结构,被称为分层良好分离的树。
2017-05-20 cs.DC cs.DS
Towards Distributed 2-Approximation Steiner Minimal Trees in Billion-edge Graphs
给定一个边加权图和一组已知的种子顶点,网络科学家通常希望了解图的关系,以解释种子顶点之间的连接。当种子集为3或更大时,Steiner最小树-包含所有种子顶点的(输入图的)最小权重无环连通子图-是最短加权路径的有吸引力的推广。一般来说,计算Steiner最小树是NP-难的,但已经设计了几个多项式时间算法,并证明产生Steiner树,其总重量是有界的2倍Steiner最小树。本文提出了一种并行的2-近似Steiner最小树算法及其基于MPI的分布式实现。在所有种子顶点对之间的距离计算,在许多算法中的昂贵的阶段,我们的解决方案利用Voronoi细胞计算。此外,这种方法具有更高的并行效率比其他涉及整个图上的最小生成树计算。此外,我们的分布式设计利用异步处理和消息优先级方案来加速距离计算的收敛,并利用顶点和边为中心的处理来提供快速的解决方案。我们使用真实世界的图形展示了我们解决方案的可扩展性和性能,其中包含多达1280亿条边和512个计算节点(8 K进程)。我们比较我们的解决方案与国家的最先进的精确施泰纳最小树求解器,SCIP-Jack,和两个串行算法。我们的解决方案在具有1000万条边的图形上轻松地优于这些相关作品,并提供了相当强大的扩展能力-高达90%的效率。我们的经验表明,平均而言,由我们的解决方案确定的Steiner树的总距离是Steiner最小树的1.0527倍-在小于等于2的理论…
2022-05-28 cs.DC
Note on distributed certification of minimum spanning trees
分布式证明(也称为本地证明或证明标记方案)是一种证明图问题的解决方案是正确的机制。它采取的形式是将标签分配给节点,可以在本地进行检查。对于最小生成树问题存在这样的证明,使用$O(\log n \log W)$位标签(其中$n$是图中的节点的数量,并且$W$是边的最大权重)。这是由于Korman和Kutten在[Korman和Kutten 07]中以简洁和正式的方式描述了它。在这篇文章中,我们提出了一个更直观的描述结果,以及一个温和的介绍问题。
2020-01-02 cs.DC cs.DS
Distributed Reconfiguration of Spanning Trees
在重构问题中,给定一个问题和该问题的两个可行解,任务是找到从一个解到达另一个解的变换序列,使得每个中间状态也是该问题的可行解。在本文中,我们研究了分布式生成树重构问题,我们定义了一个新的重构步骤,称为$k$ -同时添加和删除,其中每个节点被允许添加最多$k$边缘和删除最多$k$边缘,使多个节点不添加或删除相同的边缘。我们首先观察到,如果两个输入生成树是有根的,那么我们可以使用单个$1$ -在CONGEST模型中的一轮中同时添加和删除步骤来进行重新配置。因此,我们把我们的注意力集中到无根生成树,并表明,将一个无根生成树转换成另一个使用一个单一的$1$ -同时添加和删除步骤需要$Ω(n)$轮的$Ω(n)$模型。我们还表明,转换成另一个使用一个单一的$2$ -同时添加和删除步骤的无根生成树可以在$O(\log n)$轮的CONGEST模型。
2022-11-03 cs.DC cs.DS
Distributed Detection in Tree Networks: Byzantines and Mitigation Techniques
在本文中,分布式检测问题的树网络中存在拜占庭被认为是。得到了使融合中心处的漏检误差指数最小的最优攻击策略的封闭表达式。我们还从网络设计师(FC)的角度来看待这个问题。我们研究了在一个树形网络中存在拜占庭的最优分布式检测参数的设计问题。接下来,我们将FC和攻击者之间的战略互动建模为领导者-追随者(Stackelberg)博弈。该公式提供了一种预测攻击者和防御者(FC)均衡策略的方法,该方法可用于实现最佳检测器。最后,提出了一个基于信誉的方案来识别拜占庭,其性能进行了分析评估。我们还提供了一些数值例子来深入了解解决方案。
2014-10-22 cs.CR cs.DC math.OC
On Distributed Model Checking of MSO on Graphs
我们认为分布式模型检查的一元二阶逻辑(MSO)的图构成的通信网络的拓扑结构。因此,图既是被检查的结构,也是执行分布式计算的系统。我们证明了MSO可以分布式模型检查,只有一个常数的消息发送到每个链接的平面网络有界直径,以及网络有界度和有界树长。分布式算法依赖于非平凡变换的线性时间顺序算法有界树宽图的树分解。
2009-04-13 cs.DC cs.LO
Distributed Approximation Algorithms for Steiner Tree in the $\mathcal{CONGESTED}$ $\mathcal{CLIQUE}$
\emph{Steiner tree}问题是组合优化中最基本、最经典的问题之一。本文在分布式计算的$\mathcal{CONGESTED}$ $\mathcal{CLIQUE}$模型中研究了这一问题,并给出了两个确定性分布式近似算法。第一个算法计算一个斯坦纳树在$\tilde{O}(n^{1/3})$轮和$\tilde{O}(n^{7/3})$消息为一个给定的连接无向加权图的$n$节点。请注意,$\tilde{O}(\cdot)$符号在$n$中隐藏了多对数因子。第二种方法在$O(S + \log\log n)$轮和$O(S (n - t)^2 + n^2)$消息中计算Steiner树,其中$S$和$t$分别是给定输入图中的\emph{shortest path diameter}和\emph{terminal}节点的数量。这两种算法都承认$2(1 - 1/\ell)$的近似因子,其中$\ell$是最优Steiner树中的终端叶节点的数量。对于具有$S = ω(n^{1/3} \log n)$的图,第一算法在轮复杂度方面表现出比第二算法更好的性能。另一方面,对于具有$S = \tilde{o}(n^{1/3})$的图,第二算法在轮复杂度方面优于第一算法。事实上,当$S = O(\log\log n)$时,则第二算法承认$O(\log\log n)$的轮复杂度和$\tilde{O}(n…
2019-07-30 cs.DC
A Time- and Message-Optimal Distributed Algorithm for Minimum Spanning Trees
本文提出了一种随机化的Las Vegas分布式算法,该算法在加权网络中构造最小生成树(MST),具有最优的(多对数因子)时间和消息复杂度。该算法在$\tilde{O}(D + \sqrt{n})$时间内运行,并交换$\tilde{O}(m)$消息(两者都具有高概率),其中$n$是网络的节点数,$D$是直径,$m$是边数。这是使\emph{simultaneously}与$\tildeΩ(D + \sqrt{n})$的时间下限匹配的第一个分布式MST算法[Elkin,SIAM J. Comput. 2006]和$Ω(m)$的消息下界[Kutten等人,J.ACM 2015](两者都适用于随机算法)。使用两个完全不同的图构造导出先前的时间和消息下限;显示一个下限{ \em不}的现有下限构造对另一个有效。为了补充我们的算法,我们提出了一个新的下界图建设,任何分布式MST算法需要\emph{both} $\tildeΩ(D + \sqrt{n})$轮和$Ω(m)$消息。
2018-01-24 cs.DC cs.DS
Transform-based Distributed Data Gathering
提出了一类通用的单向转换,可以沿着任意路由树以分布式方式计算。此外,我们提供了一组条件下,这些变换是可逆的。这些变换可以在数据被路由到树中的收集(或汇)节点时计算,并利用树中节点之间的数据相关性。此外,当在无线传感器网络中使用时,这些变换还可以利用经由广播无线通信在节点处接收的数据。还提供了用于无线传感器网络中的数据收集的单向变换的各种构造。新的小波变换也提出了提供显着的改善现有的单向变换。
2010-01-27 cs.DC
Accelerating Geo-distributed Machine Learning with Network-Aware Adaptive Tree and Auxiliary Route
本文提出NetStorm通信调度器,通过多根FAPT拓扑度量、网络感知模块、多路径辅助传输和策略一致性协议,优化广域网参数同步,较MXNET加速6.5~9.2倍。
2024-04-17 cs.DC
A Distributed Laplacian Solver and its Applications to Electrical Flow and Random Spanning Tree Computation
本文利用神经网络提出了一种求解拉普拉斯方程组的新方法。这标志着一个显着偏离现有的技术,主要是基于图论的建设和采样。我们的分布式求解器适用于一个大的和重要的一类拉普拉斯系统,我们称之为“单汇”拉普拉斯系统。具体地说,我们的求解器可以产生$Lx = b$形式的系统的解,其中$b$的坐标中恰好有一个是负的。我们的求解器是一个分布式算法,需要$\widetilde{O}(t_{hit} d_{\max})$时间(其中$\widetilde{O}$隐藏了$\text{poly}\log n$因子)来产生一个近似解,其中$t_{hit}$是图上随机游走的最坏情况命中时间,这是一个大的重要图集的$Θ(n)$,$d_{\max}$是图的广义最大度。一类的单汇拉普拉斯算子包括重要的电压计算问题,并允许我们计算节点之间的有效电阻分布设置。因此,我们的Laplacian求解器可用于调整Kelner和Mackdry(2009)的方法,以给出第一个有效计算近似随机生成树的分布式算法。
2020-09-10 cs.DC cs.DS
A Simple Communication Scheme for Distributed Fast Multipole Methods
Graphcore(格科)
本文提出基于MPI邻域集体和统一树的简单分层通信方案,用于将现有的高性能共享内存统一树FMM实现扩展到分布式内存,同时保持共享内存优化。
2026-04-30 cs.DC
Hardness of minimal symmetry breaking in distributed computing
一个图是弱$2$ -着色的,如果节点被标记为黑色和白色,使得每个黑色节点至少与一个白色节点相邻,反之亦然。本文研究了在分布式计算的标准图论模型中弱$2$ -着色的分布式计算复杂性,以及它与其他图问题的分布式计算复杂性之间的关系.首先,我们证明了弱$2$ -染色是一个最小的分布式的破环问题的正则偶度树和高围长图:如果有任何非平凡的局部可检查的标记问题,是可解的$o(\log^* n)$轮与分布式图算法在中间的正则偶度树,那么弱$2$ -染色也可解的$o(\log^* n)$轮。其次,我们证明了一个紧的$Ω(\log^* n)$的弱$2$ -染色的正则树的分布式计算复杂性的下界;以前只有一个下界的$Ω(\log \log^* n)$是已知的。通过极小性,相同的下界对于正则偶度树内的任何非平凡局部可检查问题都成立。
2019-02-18 cs.CC cs.DC
Asynchronous Collective Tree Exploration: a Distributed Algorithm, and a new Lower Bound
本文研究异步分布式集体树探索问题,提出移动次数至多 $2n+O(k^2 2^kD)$ 的分布式异步算法及其变体,并给出竞争比 $Ω(\log^2 k)$ 的新下界,改进了此前结果。
2025-07-21 cs.DC cs.DS cs.MA
Distributed Maintenance of Anytime Available Spanning Trees in Dynamic Networks
我们解决的问题,建立和维护分布式生成树在高度动态的网络中,拓扑事件可以发生在任何时间和任何速率,并没有稳定的时期可以假设。在这些恶劣的环境中,我们努力保留一些属性,例如无周期性或每棵树中根的存在,以便能够(在可能的范围内)不间断地使用这些树。我们的算法在一个粗粒度的水平上运行,使用原子的成对相互作用的方式类似于最近的人口协议模型。该算法依赖于生成树森林的\emph{topology-induced splittings}和\emph{computation-induced mergings}的永久交替。林中的每棵树都只托管一个令牌(也称为根),该令牌在树中执行{ \em inside}随机游走,在跨越边时切换父子关系。当两个标记位于同一条边的两侧时,它们的树在该边上合并,并且一个标记消失。每当属于树的边消失时,其子端点立即重新生成一个新标记。这种方法的主要特点是\emph{merging}和\emph{splitting}都是纯粹的局部化现象。在本文中,我们提出和激励的算法,我们证明了它的正确性,在任意动态网络。然后,我们讨论围绕这个一般原则的几个实现选择。关于其分析的初步结果也进行了讨论,特别是在静态上下文中的两个给定的树的预期合并时间的解析表达式。
2013-07-22 cs.DC cs.NI
A Surprisingly Simple Method for Distributed Euclidean-Minimum Spanning Tree / Single Linkage Dendrogram Construction from High Dimensional Embeddings via Distance Decomposition
提出一种基于距离分解的分布式方法,用于高维嵌入的精确欧几里得最小生成树和单链接树状图构建,解决了神经网络高维聚类中低维算法失效的问题。
2024-06-03 cs.CG cs.DC cs.DS
sVIRGO: A Scalable Virtual Tree Hierarchical Framework for Distributed Systems
Hangzhou Domain Zones Technology Co., Ltd.(杭州域名区科技有限公司)
sVIRGO通过虚拟树分层框架实现大规模分布式系统的高效协调与容错,支持多角色节点和动态命令执行,降低故障概率并提高系统鲁棒性。
2026-02-02 cs.DC
A scalable approach for tree segmentation within small-footprint airborne LiDAR data
本文提出了一种分布式的方法,扩展到段树冠内的激光雷达点云代表一个任意大的森林面积。该方法使用一个单处理器的树分割算法作为一个构建块,以处理的数据提供的瓦片的形状在并行。以主从方式执行分布式处理,其中主设备维护图块的全局地图并协调在图块的边界内和跨越图块的边界分割树冠的从设备。最小的偏差被引入到检测到的树木的数量,因为树木躺在瓷砖的边界,这是量化和调整。理论和实验分析的运行时间的方法显示了一个接近线性的加速。按冠类分类的树木的估计数量和相关的误差幅度以及检测到的树木的高度分布与现场估计一致,验证了分布式方法的正确工作。该方法能够及时提供森林一级区域的单个树木位置和点云段的信息,这些信息可用于创建详细的遥感森林清查。虽然该方法是针对LiDAR点云中的树木分割提出的,但该想法也可以推广到处理其他大型空间数据集。重点:-一个可扩展的分布式方法的树木分割的发展和理论分析。- 在2.5小时内使用192个核心对7440公顷森林中的约200万棵树进行了分割。- 2%的假阳性树被识别为分布式运行的结果。- 该方法可用于其他大空间数据的放大处理
2017-03-19 cs.CE cs.DC
Distributed Q-learning-based Shortest-Path Tree Construction in IoT Sensor Networks
Sungkyunkwan University(成均馆大学);Hanoi University of Science and Technology(河内科学技术大学)
针对物联网传感器网络传统集中式路由算法不适配动态分布式环境的问题,提出分布式Q学习框架构建最短路径树,实现高精度低开销的自适应高效路由。
2025-10-29 cs.DC
Binary Linear Tree Commitment-based Ownership Protection for Distributed Machine Learning
Beijing Institute of Technology(北京理工大学);Institute of Information Engineering, CAS(中国科学院信息工程研究所)
本文提出基于二叉线性树承诺的所有权保护模型,通过可维护树结构、内积论证和身份密钥水印,以低开销和简洁证明保障分布式机器学习中的计算完整性并防止所有权冲突。
2024-01-11 cs.AI cs.CR cs.DC
Distributed Approximation of Minimum Routing Cost Trees
研究了有限带宽消息传递模型(CONGEST模型)中最小路由生成树的近似问题。在这个问题中,人们试图找到一个图$G$的生成树在$n$节点,最小化之间的距离和所有对节点。在所考虑的模型中,每个节点可以在每个同步轮中向其每个邻居发送不同的(但短的)消息。我们提供了一个随机的$(2+ε)$ -近似与运行时$O(D+\frac{\log n}ε)$的未加权图。这里,$D$是$G$的直径。这改进了先前已知的最佳算法的(预期)近似因子$O(\log n)$和运行时间$O(D\log^2 n)$。由于陈述我们的结果在一个非常一般的方式,我们也得到一个(最佳)运行时的$O(D)$考虑$O(\log n)$ -近似所做的最好的以前已知的算法。此外,我们推导出一个确定性的$2$ -近似。
2014-06-05 cs.DC cs.DS
Near-Optimal Distributed Ruling Sets for Trees and High-Girth Graphs
TU Graz(格拉茨工业大学);Aalto University(阿尔托大学)
本文提出在树和高环长图中寻找裁定集的近最优分布式算法,改进了现有算法并降低了裁定距离。
2026-04-02 cs.DC cs.DS
Distributed Linear Model Clustering over Networks: A Tree-Based Fused-Lasso ADMM Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑通过聚合邻居的信息以及识别网络中每个节点的子组成员来提高模型估计效率。提出了一种基于树的$l_1$惩罚算法,以节省计算和通信开销。设计了一种分散广义交替方向乘子算法,用于并行求解目标函数。理论性质推导,以保证模型的一致性和算法收敛。数值实验结果表明,该方法在估计精度、计算速度和通信开销等方面都有较好的性能。
2019-05-28 cs.DC cs.LG cs.NI
On the Design and Analysis of Parallel and Distributed Algorithms
本文探讨多核时代下并行与分布式算法取代串行算法的趋势,介绍其基础算法、分析及效率考量。
2023-11-10 cs.DC
Distributed Algorithms Made Secure: A Graph Theoretic Approach
在分布式图算法中,网络中的许多具有局部视图的实体通过与它们的邻居交换消息来解决某些计算任务。不幸的是,大多数现有分布式算法的固有属性是,在整个执行过程中,节点不仅要学习自己的输出,而且还要学习许多其他实体的输入或输出。这种信息的泄漏可能是一个主要的障碍,在设置中的输出(或输入)的网络的个人是一个私人信息。在本文中,我们介绍了一个新的框架\emph{secure distributed graph algorithms},并提供了第一个\emph{general compiler},采取任何“自然”的非安全分布式算法,运行在$r$轮,并把它变成一个安全的算法,运行在$\widetilde{O}(r \cdot D \cdot poly(Δ))$轮,其中$Δ$是图中的最大程度和$D$是它的直径。编译算法的安全性是信息理论的,但仅适用于控制网络中单个节点的半诚实对手。这个编译器是可能的,由于一个新的组合结构称为\emph{private neighborhood trees}:一个集合的$n$树$T(u_1),\ldots,T(u_n)$,一个为每个顶点$u_i \in V(G)$,使每个树$T(u_i)$跨越邻居的$u_i$ { \em没有经过$u_i$ }。直观地,每个树$T(u_i)$允许$u_i$的所有邻居交换对$u_i$隐藏的\emph{secret},\emph{secret…
2019-01-13 cs.CR cs.DC cs.DS
No Distributed Quantum Advantage for 3-Coloring Rooted Trees and 2-Coloring Even Cycles
CNRS, Université Paris Cité, IRIF(法国国家科学研究中心,巴黎西岱大学,IRIF)
研究量子资源在分布式计算中是否能提供优势。通过颜色提升技术给出 3 色有根树的轮数下限,表明量子资源无优势;还证明 2 色偶圈在量子 - LOCAL 模型中所需轮数,显示量子算法不比经典算法节省轮数。
2026-07-14 cs.DC quant-ph
Local problems in trees across a wide range of distributed models
本研究证明在树结构中,许多LCL问题在确定性LOCAL与随机在线-LOCAL模型下具有相同局部性,并给出近乎完整的分类,排除分布式量子优势。
2024-12-18 cs.DC
Tight Bounds for Distributed Minimum-Weight Spanning Tree Verification
本文介绍了无预处理分布式验证的概念。它侧重于最小权重生成树(MST)验证问题,并建立严格的上限和下限的时间和消息的复杂性,这个问题。具体来说,我们提供了一个MST验证算法,同时实现O(m)消息和O($\sqrt$ n+D)时间,其中m是给定图G中的边数,n是节点数,D是G的直径。另一方面,我们证明了任何MST验证算法必须发送Ω(m)消息,并在最坏情况下产生Ω($\sqrt$ n + D)时间。我们的上界结果似乎表明,MST的验证可能比它的构造更容易,因为对于MST构造,Ω(m)消息和Ω($\sqrt$ n+D)时间的下界都成立,但目前还没有已知的分布式算法来构造MST并同时实现O(m)消息和O($\sqrt$ n + D)时间。具体来说,最好的时间最优算法(使用O($\sqrt$ n + D)时间)需要O(m + n 3/2)消息,最好的消息最优算法(使用O(m)消息)需要O(n)时间。另一方面,我们的下界结果表明,MST的验证并不比其建设容易得多。
2015-12-15 cs.DC
Redundancy in Distributed Proofs
分布式证明是使得网络的节点能够集体地并且有效地检查关于网络的结构或者关于分布在节点上的数据结构(例如,生成树或路由表)。我们认为机制由两部分组成:一个\emph{prover}分配一个\emph{certificate}到每个节点,和一个分布式算法称为\emph{verifier},负责验证所有证书的集合所形成的分布式证明。在本文中,我们表明,许多网络谓词的分布式证明提供了高层次的冗余,显式或隐式。我们使用这个显着的分布式证明建立完美的权衡之间的\emph{size of the certificate}存储在每个节点,和\emph{number of rounds}的验证协议。如果我们允许每个节点通信的距离最多为$t$,则可能会期望证书大小可以减少至少~ $t$的乘法因子。在树,循环和网格,我们表明,这种权衡可以建立\emph{all}网络谓词,即,总是可以线性地减小证书大小。在任意图中,我们表明,所有节点共同的证书的任何部分都可以在这些节点之间均匀地重新分配,实现更好的权衡:证书的这一共同部分可以减少网络中半径$t$的最小球的大小。除了这些一般性的结果,我们建立了几个上限和下限的证书大小用于分布式证明的生成树,最小重量生成树,直径,加法和乘法spectrum,和更多,改进和推广以前的结果从文献中。
2020-09-21 cs.DC
Improved Distributed Lower Bounds for MIS and Bounded (Out-)Degree Dominating Sets in Trees
最近,Balliu,Brandt和Olivetti [FOCS '20]给出了树中最大独立集(MIS)问题的第一个$ω(\log^* n)$下界。在这项工作中,我们证明了一个更宽松的家庭分布对称性破缺问题的下限。作为一个副产品,我们得到了改进的下界的分布式MIS问题的树。对于一个参数$k$和一个图$G$的边的方向,如果$S$是$G$的一个控制集,并且在导出子图$G[S]$中,$S$中的每个节点最多有$k$的出度,我们称$G$的节点的子集$S$是$k$ -出度控制集.请注意,对于$k=0$,此定义与MIS的定义一致。对于给定的$k$,我们考虑计算一个$k$ -出度控制集的问题.我们表明,即使在最$Δ$度的正则树中,在标准\LOCAL模型中,也存在一个常数$ε>0$,使得对于$k\leq Δ^ε$,对于计算$k$ -outdegree支配集的问题,任何随机算法至少需要$Ω(\min\{\logΔ,\sqrt{\log\log n}\})$轮,任何确定性算法至少需要$Ω(\min\{\logΔ,\sqrt{\log n}\})$轮。我们的下界的证明是基于最近非常成功的轮消除技术。我们提供了一种新的方法来做轮消除,我们希望是独立的利益简化。我们的新证明比[FOCS '20]中的下界证明简单得多。特别是,我们的轮消证明使用了一系列只能用恒定数量的标签来描述的问题。[FOCS '20]的作者认…
2021-06-04 cs.DC