A Locality-Aware Bruck Allgather
集合算法是MPI的重要组成部分,允许应用程序员利用常见分布式操作的底层优化。MPI_Allgather收集数据,这些数据最初分布在所有进程中,因此所有数据都可用于每个进程。对于较小的数据大小,Bruck算法通常用于最小化任何进程所通信的最大消息数。然而,通信的每个步骤的成本取决于源和目的地进程的相对位置,其中非本地消息(诸如节点间消息)比本地消息(诸如节点内消息)成本高得多。本文对Bruck算法进行了局部感知优化,最大限度地减少非局部消息的数量和大小,以提高聚集操作的性能和可扩展性
2022-08-23 cs.DC
Interim Report on Adaptive Event Dispatching in Serverless Computing Infrastructures
无服务器计算是分布式计算系统中一种新兴的服务模型。该术语捕获基于云的事件驱动的分布式应用程序设计,并源于其完全资源透明的部署模型,即无服务器。本文认为自适应事件调度可以通过考虑局部性和依赖性来提高当前无服务器平台的资源效率。Hendrickson等人也制定了这些设计说明,它确定了“无服务器负载均衡器必须在考虑会话、代码和数据局部性的同时做出低延迟决策”的要求。这份中期报告调查了这一新兴趋势的经济重要性,并断言现有的无服务器平台仍然没有针对数据本地化进行优化,而分布式计算研究中的各种调度方法已被证明可以提高资源效率。
2019-01-09 cs.DC
Toward Efficient Online Scheduling for Distributed Machine Learning Systems
近年来,分布式机器学习(ML)框架迅速发展,这些框架利用计算集群的大规模并行性来加速ML训练。然而,分布式ML框架的激增也在计算系统设计和优化方面带来了许多独特的技术挑战。在支持大量训练任务的网络化计算集群中,一个关键问题是如何设计高效的调度算法,在不同的机器上分配工人和参数服务器,以最小化总的训练时间。为此,在本文中,我们开发了一个在线调度算法,共同优化资源分配和局部决策。我们的主要贡献有三个方面:(1)提出了一个新的分析模型,该模型同时考虑了资源分配和局部性;(2)基于等价的重新表述和对工作参数服务器局部性配置的观察,我们将问题转化为一个混合填充和覆盖整数规划问题,使得近似算法设计成为可能;(3)提出了一种基于随机舍入的近似算法,并对其性能进行了严格的分析。总的来说,我们的研究结果有助于分布式ML系统优化和算法设计的最新发展。
2022-05-12 cs.DC
GRACE-MoE: Grouping and Replication with Locality-Aware Routing for Efficient Distributed MoE Inference
University of Science and Technology of China(中国科学技术大学)
GRACE-MoE通过局部感知路由和分组复制优化,有效减少分布式MoE推理中的通信开销和计算负载不平衡,实现显著的推理加速。
2026-01-24 cs.DC
Exploiting Locality in Lease-Based Replicated Transactional Memory via Task Migration
我们提出了Lilac-TM,第一个本地感知的分布式软件传输内存(DSTM)的实现。Lilac-TM是一个完全分散的基于租赁的复制DSTM。它采用了一种新颖的自优化租赁循环方案,该方案基于动态确定是否将事务迁移到拥有其验证所需的租赁的节点,或者要求发起事务的节点获取这些租赁的思想。我们的实验评估表明,Lilac-TM为分布式工作负载提供了显着的性能增益,表现出数据本地性,而通常不会产生非数据本地工作负载的开销。
2013-08-09 cs.DB cs.DC
Locality in online, dynamic, sequential, and distributed graph algorithms
在这项工作中,我们给出了一个统一的观点的地方在四个设置:分布式算法,顺序贪心算法,动态算法和在线算法。我们引入了一种新的计算模型,称为在线搜索模型:对手以与经典在线算法相同的方式逐个显示输入图的节点,但是对于每个新节点,我们在选择输出之前看到其半径T邻域。我们比较了三个其他模型:分布式计算,其中每个节点产生其输出的基础上,其半径T邻域,其顺序对应的Sirp,和动态的,在动态输入图中的变化,只影响半径T邻域的变化点的动态的Sirp模型。SRESH和动态SRESH模型夹在SRESH和在线SRESH模型之间,SRESH是最弱的模型,而在线SRESH是最强的模型。在一般情况下,所有的模型是不同的,但我们特别研究局部可检查的标签问题(LCL),这是一个家庭的图形问题的背景下,分布式图算法的研究。我们证明了LCL问题的路径,循环,根树,所有的模型是大致相等的:任何LCL问题的地方属于同一个广泛的类- $O(\log^* n)$,$Θ(\log n)$,或$n^{Θ(1)}$ -在所有四个模型。特别是,这一结果使一个推广以前的下界结果从EQUIPMENT模型的所有四个模型,它也允许一个模拟,例如动态EQUIPMENT算法有效地在EQUIPMENT模型。我们还证明了这种等价性在一般的二部图中并不成立。我们为二分图中的$3$ -着色问题提供了一个具有局部性$O(\log n)$的在线搜索算法-这是一…
2022-11-12 cs.DC cs.DS
Online Locality Meets Distributed Quantum Computing
Aalto University(阿尔托大学);University of Calgary(卡尔加里大学);Technical University of Munich(慕尼黑工业大学);MCQST(慕尼黑量子科学与技术中心);Gran Sasso Science Institute(格兰萨索科学研究所);Nagoya University(名古屋大学);Technische Universität Berlin(柏林工业大学);Indian Institute of Technology Madras(马德拉斯印度理工学院);Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎-萨克雷大学);CPHT, Ecole Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院高等物理与化学理论中心,巴黎理工学院);LIX, Ecole Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院计算机实验室,巴黎理工学院);Charles University(查理大学)
本文研究了分布式量子计算与非信号分布、有限依赖过程及在线图算法的结合,证明了这些模型在解决局部可检查标记问题中的能力和限制,揭示了量子计算在分布式环境中的优势边界。
2026-02-13 cs.CC cs.DC math.PR
Domain decomposition and locality optimization for large-scale lattice Boltzmann simulations
我们提出了一个简单的,并行的和分布式的算法,建立和分区的稀疏表示的一个定期离散仿真域。该方法具有可扩展性,可用于大量进程,甚至是复杂的几何结构,保证了域间的负载平衡、合理的通信接口和域内良好的数据局部性。将该方案应用于基于列表的格子Boltzmann流求解器可以实现与广泛使用的基于标准图分区的工具(例如METIS和PT-SCOTCH)类似或甚至更高的流求解器性能。
2011-11-04 cs.DC
LSF-Join: Locality Sensitive Filtering for Distributed All-Pairs Set Similarity Under Skew
UCSD(加州大学圣地亚哥分校);Google(谷歌);CMU(卡内基梅隆大学)
全对集相似性是一个广泛使用的数据采掘任务,即使是大型和高维数据集。传统上,相似性搜索集中在发现非常相似的对,其中各种有效的算法是已知的。然而,最近的工作突出了寻找对集合的重要性,相对较小的交叉尺寸。例如,在推荐系统中,两个用户可能是相似的,即使他们的兴趣只在一小部分项目上重叠。在这样的系统中,一些维度通常是高度倾斜的,因为它们非常受欢迎。这两个属性一起使得以前的方法对于大输入大小是不可行的。为了解决这个问题,我们提出了一个新的分布式算法,LSF-Join,近似所有对集相似性。我们的算法的核心是一个随机选择过程的基础上局部敏感过滤。我们的方法偏离了以前的近似算法,这是基于局部敏感哈希。理论上,我们表明,LSF连接有效地找到最接近的对,即使是小的相似性阈值和倾斜的输入集。我们证明了LSF-Join的通信,工作和最大负载的保证,我们还通过实验证明了它在多个图上的准确性。
2020-03-06 cs.DC cs.DS cs.LG
Distributed graph problems through an automata-theoretic lens
图问题的局部性是最小距离$T$,使得每个节点可以基于其半径- $T$邻域选择其自己的部分解。在许多情况下,当且仅当一个图的局部性很小时,它才能用分布式或并行算法有效地解决。在这项工作中,我们寻求自动化的可解性和局部性的研究:鉴于描述的图形问题$Π$,我们想确定$Π$是可解的,什么是渐近局部性的$Π$作为一个函数的大小的图形。换句话说,我们寻求自动合成高效的分布式和并行算法求解$Π$。我们专注于局部可检查图的问题,这些问题的解决方案是全球可行的,如果它看起来可行的所有常数半径的邻域。关于这类问题的先前工作主要带来了坏消息:与局部性相关的问题通常是不可判定的,并且即使我们关注标记路径和循环的情况,确定局部性也是$\mathsf{PSPACE}$ -hard(Balliu et al.,PODC 2019)。我们补充以前的负面结果与有效的算法的情况下,未标记的路径和循环,作为一个扩展,根树。我们引入了一个新的自动机理论的角度来研究局部可检查图的问题。我们表示为一个非确定性有限自动机$\mathcal{M}$在一元字母表的局部可检查的问题$Π$。我们确定多项式时间可计算的自动机$\mathcal{M}$,几乎完全捕获$Π$的可解性和局部性的循环和路径,除了一个特定的情况下,是$\mbox{co-$ \mathsf{NP} $}$ -完成。
2021-12-13 cs.CC cs.DC cs.FL
Mesh-Attention: A New Communication-Efficient Distributed Attention with Improved Data Locality
Tsinghua University(清华大学);Purdue University(普渡大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ByteDance Seed(字节跳动种子)
Mesh-Attention通过改进的数据本地性,提高了分布式注意力的通信效率和可扩展性,实验显示在大规模GPU上实现了显著的加速和通信量减少。
2026-08-11 cs.AI cs.DC
Download Time Analysis for Distributed Storage Codes with Locality and Availability
本文介绍了技术分析预期的下载时间在分布式存储系统,采用系统的可用性代码。通过这些代码,可以通过包含对象和多个恢复组的系统服务器访问热数据。当收到对象请求时,可以将其复制(分叉)到系统服务器和所有恢复组。我们首先考虑低流量的制度,并提出了封闭形式的表达式的下载时间。通过比较系统的可用性,最大距离可分离(MDS),和复制代码,我们证明了可用性代码可以减少下载时间在某些设置中,但并不总是最佳的。在高流量状态下,系统由多个相互依赖的Fork-Join队列组成,使得精确分析变得困难。因此,我们提出了上界和下界的下载时间,和M/G/1队列近似几种情况下的利益。通过大量的数值模拟,我们评估我们的界限,并证明了M/G/1队列近似具有很高的精度。
2021-03-10 cs.DC cs.IT cs.PF
Locality, Statefulness, and Causality in Distributed Information Systems (Concerning the Scale Dependence Of System Promises)
一些流行的IT设计和架构最佳实践宣言使用了"有状态"、"无状态"、"无共享"等术语,并描述了因果进化的"基于事实"或"功能"描述,以描述计算机流程,特别是在云计算中。这些概念被模糊地使用,有时以相互矛盾的方式使用,这导致了许多关于其含义的不精确信念。本文概述了Promise理论中状态和因果关系的简单观点,它以自然的方式解释了过程的标度和不同观察者的相对性。结果表明,有状态或无状态的概念是人为的观察规模和因果偏见的功能评价。如果我们包括反馈循环,递归和过程收敛,这些对外部观察者来说是因果关系的,那么关于(不可)变状态的参数需要以依赖于尺度的方式进行修改。在大多数情况下,这些评论的重点不是"无国籍状态"等术语,而是程序的可预测性。在大多数情况下,可以用一个简单的原则来指导系统设计:动态尺度分离原则。理解数据依赖性和保持稳定承诺的能力对于数据管道的一致性和分布式客户端-服务器交互至关重要,尽管方式不同。随着广泛分散的分布式部署中数据密集型流程的不断增加,例如在物联网和人工智能应用中,不稳定性的影响需要更仔细的处理。这些笔记是一项倡议的一部分,该倡议旨在与思想家和实践者合作,为无处不在的扩展云计算时代的系统工程提供更理性和更有纪律的语言。
2019-09-20 cs.DC cs.NI
Decentralized utility- and locality-aware replication for heterogeneous DHT-based P2P cloud storage systems
作为一种分布式哈希表(DHT),Skip Graph路由覆盖被广泛应用于包括P2P云存储在内的多个P2P服务中。适用于基于Skip Graph的P2P云存储的完全分散式复制算法在副本可用性和响应时间方面都未能提高系统的性能。此外,他们假设系统在节点的延迟分布、可用性行为、带宽或存储方面是同质的。在本文中,我们提出了金字塔,这是第一个完全分散的实用程序和本地感知的复制方法跳过基于图的P2P云存储系统。Pyramid认为节点在延迟分布、可用性行为、带宽和存储方面是异构的。金字塔是实用性感知的,因为它最大化每个时隙的副本的平均可用带宽(例如,每小时)。此外,Pyramid是本地感知的,因为它最大限度地减少了节点与其最近副本之间的平均延迟。我们的模拟结果表明,相比于最先进的解决方案,无论是在效用意识,或在本地意识,我们提出的金字塔提高了效用和本地意识的副本与增益约1.2和1.1倍,分别在同一时间。
2019-07-28 cs.DC
Local problems in trees across a wide range of distributed models
本研究证明在树结构中,许多LCL问题在确定性LOCAL与随机在线-LOCAL模型下具有相同局部性,并给出近乎完整的分类,排除分布式量子优势。
2024-12-18 cs.DC
Towards the Locality of Vizing's Theorem
Vizing表明,使用$Δ+ 1$颜色对简单图的边进行着色就足够了,其中$Δ+ 1$是图的最大度。然而,到目前为止,没有有效的分布式边着色算法已知获得这样的着色,即使是常数度图。最接近该颜色数量的当前算法是Chang等人的随机$(Δ+ \tildeΘ(\sqrtΔ))$ -边着色算法(SODA '18)和Ghaffari等人的确定性$(Δ+ \text{polylog}(n))$ -边着色算法(STOC '18),该随机$(Δ+ \tildeΘ(\sqrtΔ))$-边着色算法在$\text{polylog}(n)$轮中运行,该确定性$\text{poly}(Δ, \log n)$轮中运行。我们提出了两个分布式边着色算法,运行在$\text{poly}(Δ,\log n)$轮。第一个算法,随机化,只使用$Δ+2$颜色。第二种算法是使用$Δ+ O(\log n/ \log \log n)$颜色的确定性算法。我们的方法是减少分布式边着色问题到一个在线的,限制版本的球到箱子的问题。如果$\ell$是箱的最大负载,则我们的算法使用$Δ+ 2\ell - 1$颜色。我们展示了如何实现随机化的$\ell = 1$和不随机化的$\ell = O(\log n / \log \log n)$。
2019-04-10 cs.DC cs.DS
Dynamic 3-Coloring of Bipartite Graphs with Optimal Locality
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全中心);Gran Sasso Science Institute(格兰萨索科学研究所);Aalto University(阿尔托大学)
该研究提出动态图算法维护二分图3着色,其局部性上界与在线模型下界匹配,缩小了动态与在线局部性的差距。
2026-10-14 cs.DC cs.DS
Large-Scale Distributed Learning via Private On-Device Locality-Sensitive Hashing
University of Maryland(马里兰大学)
针对分布式与联邦场景中端侧内存受限及数据隐私问题,提出基于新哈希函数族的私有个性化端侧 LSH 框架,支持压缩权重和串行生成/丢弃哈希表,并在大规模推荐网络训练中表现出竞争力。
2023-06-05 cs.CR cs.DC cs.LG
Locality-aware Fair Scheduling in LLM Serving
UC Berkeley(加州大学伯克利分校);LMSYS(大型语言模型系统实验室)
本文提出首个局部性感知的公平调度算法 DLPM 及其分布式扩展 D$^2$LPM,在保证公平性的同时提升前缀缓存命中率,实现高吞吐和低延迟。
2025-01-24 cs.DC cs.LG
Will LLMs Scaling Hit the Wall? Breaking Barriers via Distributed Resources on Massive Edge Devices
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Public Affairs, Zhejiang University(浙江大学公共管理学院)
本文探讨通过大规模边缘设备的分布式资源突破大语言模型扩展的瓶颈,提出利用边缘设备进行分布式训练以实现AI的民主化发展。
2026-04-09 cs.DC
On the Randomized Locality of Matching Problems in Regular Graphs
INSAIT, Sofia University “St. Kliment Ohridski”(索菲亚大学“圣克利门特奥赫里德斯基” INSAIT);Google Research(谷歌研究)
本研究分析正则图匹配问题的局部性,提出随机算法证明(1+ε)-近似匹配具备仅依赖ε的真正局部性,给出对应下界,还分离了最大匹配的平均与最坏复杂度,核心是基于鞅的Luby算法新分析。
2025-10-22 cs.DC cs.DS
Hardness of minimal symmetry breaking in distributed computing
一个图是弱$2$ -着色的,如果节点被标记为黑色和白色,使得每个黑色节点至少与一个白色节点相邻,反之亦然。本文研究了在分布式计算的标准图论模型中弱$2$ -着色的分布式计算复杂性,以及它与其他图问题的分布式计算复杂性之间的关系.首先,我们证明了弱$2$ -染色是一个最小的分布式的破环问题的正则偶度树和高围长图:如果有任何非平凡的局部可检查的标记问题,是可解的$o(\log^* n)$轮与分布式图算法在中间的正则偶度树,那么弱$2$ -染色也可解的$o(\log^* n)$轮。其次,我们证明了一个紧的$Ω(\log^* n)$的弱$2$ -染色的正则树的分布式计算复杂性的下界;以前只有一个下界的$Ω(\log \log^* n)$是已知的。通过极小性,相同的下界对于正则偶度树内的任何非平凡局部可检查问题都成立。
2019-02-18 cs.CC cs.DC
Distributed Symmetry Breaking in Hypergraphs
基本的局部对称破缺问题,如极大独立集(MIS)和着色问题,已经被公认为是重要的社区,并在(标准)图中得到广泛的研究。特别地,快速(即,对数运行时间)的随机算法对于MIS和$Δ+1$ -着色来说是很好地建立的,这两个模型都是分布式和CONGEST分布式计算模型。另一方面,对{ \em超图}的分布对称破缺的复杂性知之甚少。特别是,一个关键问题是是否存在一个快速(随机)算法MIS超图。本文在超图的自然分布式计算模型下,通过对超图中各种基本问题的分布式随机算法,研究超图对称破缺的分布式复杂性.我们首先证明了MIS在超图(任意维)可以解决在$O(\log^2 n)$轮($n$是超图的节点数)在ESTA模型。然后我们给出了本文的一个关键结果--在CONGEST模型下的一个$O(Δ^ε\text{polylog}(n))$ -轮超图MIS算法,其中$Δ$是超图的最大节点度,$ε> 0$是任意小的常数.为了证明超图MIS的有用性,我们提出了我们的超图算法解决问题的应用(标准)图。特别地,超图MIS产生用于{ \em平衡最小支配集}问题(在Harris等人[ICALP 2013]中未解决)和{ \em最小连通支配集问题}的快速分布式算法。我们还提出了超图着色,最大匹配,最大团的分布式算法。
2014-09-30 cs.DC cs.DS
Hierarchical QR factorization algorithms for multi-core cluster systems
本文描述了一种新的QR分解算法,它是专门为大规模并行平台结合并行分布式多核节点设计的。这些平台造就了高性能计算的现在和可预见的未来。我们的新QR分解算法属于瓦片算法的类别,其自然地为由核心执行的顺序内核实现良好的数据局部性(高顺序性能),并行分布式设置中的消息数量少(小延迟期),以及细粒度(高并行性)。
2011-10-07 cs.DC
DASH: A C++ PGAS Library for Distributed Data Structures and Parallel Algorithms
我们提出了DASH,一个C++模板库,提供分布式数据结构和并行算法,并实现了编译器免费PGAS(分区全局地址空间)的方法。DASH提供了许多生产力和性能功能,例如全局视图数据结构、对所有者计算模型的有效支持、灵活的多维数据分布方案以及与STL(标准模板库)算法的互操作性。DASH还具有并行目标机器的灵活表示,并允许通过团队的概念利用几个分层组织的本地级别。我们在许多基准应用程序上评估DASH,并使用MPI双侧模型将科学代理应用程序移植到DASH。我们发现DASH提供了出色的生产力和性能,并展示了高达9800个核心的可扩展性。
2016-10-05 cs.DC
Temporal Locality in Online Algorithms
在线算法根据过去的输入做出决策。一般而言,该决定可以取决于输入的整个历史。如果许多计算机使用相同的输入流运行相同的在线算法,但在不同的时间启动,则它们不一定会做出一致的决策。在这项工作中,我们引入时间本地在线算法。这些是在线算法,其中给定时间的输出仅取决于$T = O(1)$最新的输入。在分布式环境中使用(确定性)时间局部算法自动导致全局一致的决策。我们的关键观察是,时间局部在线算法(在给定时间的输出仅取决于时间维度上的本地输入)与局部分布式图算法(给定节点的输出仅取决于空间维度上的本地输入)密切相关。这使得有可能从在线算法的角度来解释分布式图算法的先前工作。我们描述了一种算法的合成方法,可以用来设计最佳的时间局部在线算法的小值的$T$。我们证明了该技术的力量的上下文中的一个变种的在线文件迁移问题,并表明,例如,对于两个节点和单位迁移成本存在一个$3$ -竞争力的时间本地算法的地平线$T=4$,而没有确定性的在线算法(在经典意义上)可以做得更好。我们还推导出一个更一般的版本的问题的上限和下限,我们表明,有一个$6$竞争确定性时间本地算法和$2.62$竞争随机时间本地算法的任何迁移成本$α\ge 1$。
2022-10-13 cs.DC cs.DS
Distributed Symmetry-Breaking with Improved Vertex-Averaged Complexity
本文研究了用图G=(V,E)表示通信网络的分布式消息传递模型。通常,在这个模型中考虑的复杂度的度量是最坏情况的复杂度,这是顶点v \in V执行的最大轮数。虽然这通常是一个合理的度量,但在某些情况下,它不能充分表达算法的实际性能。例如,一个处理器执行r轮,而所有其他处理器执行比r少得多的轮的执行与所有处理器执行相同轮数r的执行具有相同的运行时间。另一方面,后者的执行是在几个方面,如能源效率,任务执行效率,局部邻域效率和模拟效率较低。因此,在这些情况下需要采取更适当的措施。最近,\cite{Feuilloley2017}提出了顶点平均复杂度。在这个度量中,运行时间是图的所有顶点执行的最坏情况下的通信回合之和,在顶点数上取平均值。Feuilloley \cite{Feuilloley2017}证明了领导者选举允许一个顶点平均复杂度明显优于其最坏情况复杂度的算法。另一方面,对于O(1)-染色的环,最坏情况和顶点平均复杂度是相同的。这个复杂度是O \left(\log^{*} n \right)[12]。一般图的顶点平均破缺复杂度是否优于最坏情况复杂度,目前还没有定论。我们肯定地回答这个问题,通过展示一些改进的顶点平均复杂度的结果。
2018-12-29 cs.DC
SOCRATES: A System For Scalable Graph Analytics
提出了一种分布式语义图处理系统,该系统提供局部控制、索引、图查询和并行处理能力。
2017-08-16 cs.DC cs.DS
On the Locality of Some NP-Complete Problems
我们考虑分布式消息传递模型。在该模型中,通信网络由图表示,其中顶点主机处理器,并且在边缘上执行通信。计算在同步循环中进行。算法的运行时间是从开始到所有顶点终止的轮数。本地计算是免费的。一个算法被称为{local},如果它在一个常数轮数内终止。Naor和Stockmayer \cite{NS93}在STOC'93上的开创性论文中提出了什么问题可以局部计算的问题。从那时起,寻求问题的本地算法,并为问题,不能计算本地,已成为一个中心的研究方向,在该领域的分布式算法\cite{KMW04,KMW10,LOW08,PR01}。我们设计的第一个本地算法的{NP完全}问题。具体地说,我们的随机算法以高概率计算O(n^{1/2 + x} \cdot chi)-着色,在O(1)轮内,其中x> 0是任意小的常数,chi是输入图的色数。(This问题在\cite{Z07}中被证明是NP完全的。)在得到这个结果的过程中,我们设计了一个计算(O(1),O(n^{1/2 + n}))-网络分解的常数时间算法。网络分解是由Awerbuch等人在\cite{AGLP89}中提出的,它对于解决各种分布式问题非常有用。已知的最好的网络分解算法有一个多对数运行时间(但适用于更广泛的参数范围)\cite{LS93}。对于最大度Delta足够大的图,我们设计了一个Delta^{1 + n}-着色算法,该算法运行时间为O(1…
2012-04-30 cs.DC cs.DS
Quantum Advantage for Distributed Symmetry Breaking
Aalto University(阿尔托大学);University of Cambridge(剑桥大学)
提出分布式量子算法,以O(1)轮解决环的3着色,并推广至所有经典O(log* n)轮LCL问题,首次展示自然图问题的渐近量子优势。
2026-11-04 cs.DC quant-ph
Distributed Symmetry Breaking on Power Graphs via Sparsification
在本文中,我们提出了有效的分布式算法的经典对称破缺问题,最大独立集(MIS)和规则集,在功率图。我们在分布式消息传递的标准CONGEST模型中工作,其中通信网络被抽象为图$G$。通常,CONGEST中的问题实例与通信网络$G$相同,也就是说,我们在$G$中执行对称破缺。在这项工作中,我们考虑一个设置的问题实例对应于一个功率图$G^k$,其中每个节点的通信网络$G$连接到所有的$k$跳邻居。我们的主要贡献是一个确定性的多对数时间算法计算$k$统治集的$G^k$,其中(为$k>1$)提高指数对当前国家的最先进的运行时。这个结果的主要技术成分是一个确定性的稀疏化过程,这可能是独立的利益。除了是一个自然的问题家族之外,规则集(在幂图中)通过在强大的粉碎框架中的应用而得到了很好的激励[BEPS JACM'16,Ghaffari SODA'19](和其他人)。我们提出了随机算法计算最大独立集和规则集的$G^k$在基本上相同的时间,因为它们可以计算在$G$。我们还重新审视了MIS [BEPS JACM'16]的粉碎算法,并提出了粉碎后阶段的不同方法。我们的解决方案在算法和分析上都比现有的解决方案更简单(也是在RISK模型中),并获得与[Ghaffari SODA'16]相同的运行时间。
2023-02-14 cs.DC cs.DS
Breaking Boundaries: Distributed Domain Decomposition with Scalable Physics-Informed Neural PDE Solvers
University of California, Irvine(加州大学欧文分校)
该研究提出Mosaic Flow的端到端并行化方案,结合数据并行训练与域并行,大幅缩短拉普拉斯算子训练时间,实现大域可扩展推理且保持精度,为复杂物理建模与科学发现提供潜力工具。
2023-08-28 cs.DC cs.LG
Local Problems on Trees from the Perspectives of Distributed Algorithms, Finitary Factors, and Descriptive Combinatorics
我们研究了分布局部算法,iid过程的有限因子,和描述性组合学在正则树的上下文中的联系。我们扩展了Borel确定性技术的标记来自描述组合学,并使其适应分布式计算领域。使用这种技术,我们证明了确定性的分布式$Ω(\log n)$轮下界的问题,从一个自然类的同态问题。有趣的是,这些下界似乎超出了强大的轮消除技术负责所有实质性的地方下界的最后几年目前达到。我们的关键技术成分是一个新的ID图技术,我们希望是独立的利益。证明了局部问题存在Baire可测着色当且仅当它存在具有局部复杂性的局部算法$O(\log n)$,推广了Bernshteyn的Baire可测着色分类.证明的一个关键成分是一个新的和简单的表征,可以解决$O(\log n)$轮的本地问题。我们补充这一结果,显示分离的复杂性类分布计算,有限因素,和描述性组合。最值得注意的是,这类问题,允许一个分布式算法与sublogarithmic随机局部复杂性是无法比拟的一类问题的Borel解决方案。我们希望我们的处理将有助于将所有三个视角视为共同的定域性理论的一部分,其中我们遵循[Bernshteyn-arXiv 2004.04905]的富有洞察力的论文。
2021-06-03 cs.DC cs.DS math.CO
Breaking the Computation and Communication Abstraction Barrier in Distributed Machine Learning Workloads
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Ohio State University(俄亥俄州立大学);Chinese Academy of Sciences(中国科学院);University of California, Riverside(加州大学河滨分校);Microsoft Research(微软研究院)
最近的趋势是越来越多的大型机器学习模型需要分布训练和推理任务。考虑到训练这些模型的巨大成本,必须在计算和通信方面进行优化,以获得最佳性能。然而,当前深度学习框架中计算和通信内核之间的逻辑分离错过了跨越这种障碍的优化机会。通过整体考虑打破这种抽象可以提供许多优化,从而提高分布式工作负载的性能。手动应用这些优化需要为每个场景修改底层计算和通信库,这既耗时又容易出错。因此,我们提出了CoCoNeT,用DSL来表达一个既有计算又有通信的程序。CoCoNeT包含几个机器学习感知的转换来优化程序和编译器以生成高性能内核。将计算和通信作为第一类结构提供,允许用户在高级抽象上工作并应用强大的优化,例如通信和计算的融合或重叠。CoCoNeT使我们能够在大语言模型中优化数据、模型和流水线并行工作负载,只需几行代码。实验表明,CoCoNeT显著优于最先进的分布式机器学习实现。
2022-03-26 cs.DC cs.LG cs.PL
Combinatorial topology of the standard chromatic subdivision and Weak Symmetry Breaking for 6 processes
在本文中,我们研究了一族离散的配置空间,所谓的协议复合体,这是最重要的理论分布式计算。具体来说,我们考虑的问题的存在性,符合二进制标号的顶点迭代标准色细分的n-单纯形。这种标记的存在等价于标准计算模型中求解弱对称破缺任务的分布式协议的存在。作为我们的形式模型的一部分,我们引入函数sb(n),定义为自然数n,称为对称破缺函数。从几何的角度来看,sb(n)表示(n-1)-单形的标准色细分的最小迭代次数,这是存在兼容的二进制标记所需的。从分布式计算的角度来看,函数sb(n)度量解决弱对称性破坏任务的协议中的最小轮数。除了发展组合拓扑,这是适用于在更广泛的背景下,我们的主要贡献是证明新的界限的功能SB(n)。相应地,本文的大部分内容是深入分析了n-单形的迭代标准色剖分中n-单形集上邻接图的结构。在算法方面,我们提供了第一个分布式协议解决弱对称性破坏任务的分层立即快照计算模型的一些进程。众所周知,弱对称性破缺任务可解的进程的最小数量是6。基于我们的分析,我们能够找到一个非常快速的显式协议,仅用3轮就解决了6个过程的弱对称破缺。此外,我们证明了没有协议可以在少于2轮的时间内解决弱对称破缺。
2016-04-26 cs.DC math.CO
Entangled Polynomial Codes for Secure, Private, and Batch Distributed Matrix Multiplication: Breaking the "Cubic" Barrier
在分布式矩阵乘法中,一个常见的场景是通过将输入矩阵划分为更小的子矩阵,为每个工作者分配乘法任务的一部分。特别地,通过将两个输入矩阵划分为$m$ × $p$和$p$ × $n$子块,单个乘法任务可以被视为计算$pmn$子矩阵乘积的线性组合,其可以被分配给$pmn$工作器.这种基于块划分的设计已经在安全、私有和批量计算的主题下被广泛研究,其中现有技术都要求计算至少“立方”($pmn$)数量的子矩阵乘法。纠缠多项式码,首先提出的掉队缓解,提供了一个强大的方法来打破立方障碍。它实现了次立方恢复阈值,这意味着可以从乘法结果的\emph{any}子集恢复最终乘积,其大小顺序小于$pmn$。在这项工作中,我们表明,纠缠多项式码可以进一步扩展到也包括这三个重要的设置,并提供了一个统一的框架,顺序减少总的计算成本后,通过实现次立方恢复阈值的最新技术。
2020-04-13 cs.DC cs.IT math.IT
The Topology of Randomized Symmetry-Breaking Distributed Computing
在过去的二十年里,通过代数拓扑学的视角研究分布式计算已经成为许多重大突破的源泉,特别是在确定性算法的下界或不可能结果的设计方面。本文旨在从代数拓扑的角度研究随机同步分布式计算。我们通过研究广泛的(无输入)破坏性任务来做到这一点,例如,在同步无故障匿名系统中的领导者选举。我们表明,它是可能的,以重新定义可解性的任务“本地”,即,对于协议复合体的每个单纯形单独地,而不需要任何全局一致性。然而,这种方法有一个缺点:它消除了计算的拓扑方面,因为单个面具有平凡的拓扑结构。为了克服这个问题,我们引入了一个“投影”$π$的协议和输出复合物,其中每个单$σ$被映射到一个复杂的$π(σ)$ ;后者有一个丰富的结构,取代了我们失去了考虑一个单一的方面的时间结构。为了显示我们的拓扑方法的意义和适用性,我们推导出解决同步无故障匿名共享内存和消息传递模型中的领导选举的充分必要条件。在这两个模型中,我们都考虑了提供给节点的随机值之间可能存在相关性的场景。特别是,不同的参与方可能可以访问相同的随机性源,因此它们的随机性不是独立的,而是相等的。有趣的是,我们发现领导人选举的可解性与具有相关随机性的政党的数量有关,直接或通过其最大公约数,这取决于特定的通信模型。
2021-05-25 cs.DC cs.DS
Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation
Rice University(莱斯大学)
我们提出了SLASH(草图局部敏感哈希),MPI(消息传递接口)为基础的分布式系统的近似相似性搜索TB级规模的数据集。SLASH提供了流行的LSH(局部敏感哈希)算法的多节点实现,该算法通常在单个机器上实现。我们展示了如何在LSH算法中添加重打击者草图来证明解决(高)相似性搜索问题,而无需单个距离计算。总体而言,我们数学上表明,在现实的数据假设下,我们可以确定一个给定的查询$q$的近邻在次线性($ \ll O(n)$)数量的简单的草图聚合操作。为了使这样一个系统实用,我们提供了一个新颖的设计和草图解决方案,以减少机器间的通信开销指数。在可比硬件上的直接比较中,SLASH比PySpark中流行的LSH包快10000倍以上。PySpark是LSH算法在大型数据集上的广泛采用的分布式实现,并部署在商业平台上。最后,我们展示了我们的系统如何扩展到具有超过40亿个样本的Tera-scale Criteo数据集。SLASH可以在不到一小时的时间内为20个节点上的2.3TB数据建立索引,查询时间只需几毫秒。据我们所知,目前还没有一个开源系统可以对Criteo进行商品集群索引和相似性搜索。
2020-08-17 cs.DB cs.DC cs.IR
Breaking the Unit Throughput Barrier in Distributed Systems
提出了一种与随机接入协议(RAP)(例如ALOHA、IRSA)结合使用的多级随机功率传输策略,以从根本上提高分布式通信网络的吞吐量。考虑SIR模型,其中只要分组的SIR高于某个阈值,分组就可解码。在由RAP选择用于传输的时隙中,利用根据分布选择的功率电平来传输分组,使得通过确保由不同节点发送的多个分组的SIR在连续干扰消除的情况下高于阈值,可以在单个时隙中在接收器处对由不同节点发送的多个分组进行解码。由于网络是分布式的,这是一个具有挑战性的任务,我们提供了结构的结果,帮助找到可实现的吞吐量,以及可能的最大吞吐量的上限。可实现的吞吐量和上界示出的帮助下,全面的模拟接近。主要的收获是,通过结合RAP使用功率电平分布的明智选择,在分布式网络中超过1的吞吐量是可能的。
2020-10-16 cs.DC cs.IT cs.NI
Exponential Speedup Over Locality in MPC with Optimal Memory
局部可检查标号(LCL)问题是一个图问题,如果它的解在每个节点的局部邻域内满足给定的约束条件,则它是正确的。这类问题的例子包括最大匹配、最大独立集和着色问题。一个成功的研究路线一直在研究LCL问题的复杂性的路径/循环,树,和一般的图形,提供了许多有趣的结果,分布式计算的并行计算模型。在这项工作中,我们开始在低空间大规模并行计算(MPC)模型的LCL问题的研究。特别是,在森林,我们提供了一种方法,考虑到LCL问题的复杂性,自动提供了一个指数更快的算法的低空间MPC设置,使用最佳的全局内存,即真正的线性。虽然限制到森林似乎削弱了结果,但我们强调,MPC设置的所有已知(条件)下限都是通过提升树状网络(森林或高围长图)中分布式设置中获得的下限而获得的,因此我们研究的问题已经在森林上具有挑战性。此外,我们的算法的最重要的技术特点是,他们使用最佳的全局内存,即内存线性图的边数。相比之下,大多数最先进的算法使用的不仅仅是线性全局内存。此外,他们通常从密集图开始,将其稀疏化,然后在残差图上解决问题,利用全局内存的相对增加。在森林中,这是不可能的,因为给定的图已经尽可能稀疏,并且使用最佳内存需要新的解决方案。
2022-08-19 cs.DC cs.DS
Distributed Symmetry-Breaking Algorithms for Congested Cliques
拥塞集团是一种针对带宽受限的单跳网络的分布式计算模型,近年来得到了广泛的研究。它通过$n$ -顶点图对网络进行建模,其中任何一对顶点都可以通过在每一轮中传输$O(\log n )$位来彼此通信。在这一背景下,人们已经研究了各种各样的问题,但其中一些最著名的结果是针对一般网络的。在本文中,我们设计了显着改进的算法,如森林分解,顶点着色,和最大独立集的各种破坏问题。我们分析我们的算法的运行时间作为一个函数的荫度$a$的一个集团子图,作为输入。我们的算法在树、平面图、具有常亏格的图以及许多其他具有有界荫度但大小无界的图中特别有效。我们得到了$O(a)$ -森林分解算法与$O(\log a)$时间,改进了以前已知的$O(\log n)$时间,$O(a^{2 + ε})$ -着色在$O(\log^* n)$时间,改进了$O(\log n)$ -时间算法,$O(a)$ -着色在$O(a^ε)$ -时间,改进了以前的几个算法,以及具有$O(\sqrt a)$时间的最大独立集算法,该算法至少以二次方的方式改进了艺术的小和中等值的$a$。这些结果是使用几种技术实现的。首先,我们在$O(\log a)$轮中生成一个森林分解,其中包含一个名为{ $H$ -partition}的有用结构。在一般的图中,这种结构需要$Θ(\log n)$时间,但在拥塞集团中,我们能够更快地计算它。我们采用这种结构结合分区技…
2018-02-20 cs.DC cs.DS
A quantum walk inspired model for distributed computing on arbitrary graphs
本文提出一种受量子元胞自动机启发的任意图分布式计算模型,可重现量子行走动态,分析通信成本,并展示其在搜索问题上的应用及数值结果。
2025-02-28 cs.DC quant-ph
Locality of not-so-weak coloring
许多图问题是局部可检验的:如果一个解在所有常数半径邻域中看起来都是有效的,那么它是全局可行的。这个想法在Naor和Stockmeyer(1995)引入的局部可检查标签(LCL)的概念中得到了形式化。最近,Chang等人(2016)表明,在有界度图中,每个LCL问题都属于以下类别之一:-“简单”:可以在$O(\log^* n)$轮中使用确定性和随机分布式算法求解。- “硬”:至少需要具有确定性的$Ω(\log n)$轮和具有随机分布式算法的$Ω(\log \log n)$轮。因此,对于任何参数化的LCL问题,当我们从局部问题转向全局问题时,会有一个复杂度突然从容易跳到困难的点。例如,对于$d$ -正则图中的顶点着色,现在已知这种跳跃恰好是在$d$颜色上:用$d+1$颜色着色很容易,而用$d$颜色着色很难。然而,目前还不清楚当人们看到有缺陷的着色时,这种跳跃发生在哪里。为了研究这个问题,我们定义$k$ -部分$c$ -着色如下:节点标记为$1$和$c$之间的数字,每个节点至少与$k$正确着色的边关联。已知$1$ -部分$2$ -着色(a.k.a.弱$2$ -着色)对于任何$d \ge 1$都是容易的。作为我们的主要结果,我们表明,$k$ -部分$2$ -着色成为硬尽快$k \ge 2$,无论我们有多大的$d$。我们还表明,这与$k$ -部分$3$ -着色有根本不同:无论我们选择哪种$k…
2019-04-11 cs.CC cs.DC
Distributed Symmetry Breaking on Hyperbolic Random Graphs
TU Graz(格拉茨工业大学);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所)
研究双曲随机图上最大独立集和最大匹配的分布式对称性破缺问题,证明其比\(\Delta + 1\)着色问题更难并给出下界,还设计了多项式紧的高效算法,改进了一般最坏情况的轮数下界。
2026-07-13 cs.DC math.PR
G-Tran: Making Distributed Graph Transactions Fast
图事务处理提出了许多独特的挑战,例如由于图结构的不规则性而导致的随机数据访问、由于图事务中相对较大的读/写集合而导致的低吞吐量和高中止率。为了解决这些挑战,我们提出了G-Tran --一个支持RDMA的分布式内存图形数据库,具有可序列化和快照隔离支持。首先,我们提出了一个图形原生的数据存储,以实现良好的数据本地性和快速的数据访问的事务更新和查询。其次,G-Tran采用完全分散的架构,利用RDMA以MPP模型处理分布式事务,可以利用所有计算资源实现高性能。此外,我们提出了一个新的MV-OCC实现与两个优化,以解决大的读/写集在图形事务的问题。大量的实验表明,G-Tran实现了竞争力的性能相比,其他流行的图数据库的基准工作负载。
2021-05-11 cs.DB cs.DC
Exponential convergence of a distributed divide-and-conquer algorithm for constrained convex optimization on networks
University of Central Florida(中佛罗里达大学);Old Dominion University(老道明大学)
针对网络上带约束凸优化问题,提出完全分布式分治DAC算法,在标准假设与图多项式增长条件下证明其指数收敛性并推导显式界,数值实验验证了理论及算法的可扩展性与有效性。
2025-10-01 cs.DC cs.NA math.NA
The Reverse Cuthill-McKee Algorithm in Distributed-Memory
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出首个分布式内存实现的反Cuthill-McKee算法,用于减少稀疏矩阵的轮廓,通过二维稀疏矩阵分解和优化原语实现高性能。
2016-10-26 cs.DC cs.MS cs.NA
Breaking the Storage-Bandwidth Tradeoff in Distributed Storage with Quantum Entanglement
University of Maryland, College Park(马里兰大学帕克分校)
本文利用量子纠缠在分布式存储中实现存储和带宽的同步最小化,突破经典存储-带宽权衡限制。
2026-01-15 cs.DC cs.IT cs.NI