Automatic Parallelization of Sequential Programs
自动可扩展计算(ASC)的先前工作表明,通过构建整个程序执行的模型,使用该模型预测未来的计算,然后推测性地执行这些未来的计算,可以并行化顺序计算。虽然之前的工作演示了扩展,但它没有演示加速,因为它完全是在仿真中运行的。我们将此视为一个挑战,构建一个体现ASC思想的硬件原型,但可以在更广泛的程序上工作,并在硬件上本地运行。由此产生的系统是类似的精神,原来的工作,但不同的几乎在每一个方面。我们提出了一个实现的ASC架构,原生运行在x86硬件上,并实现了近线性加速高达44核(我们的测试平台的大小)的几类程序,如计算内核,地图风格的程序,矩阵运算。我们观察到,程序要么是完全可预测的,达到近乎完美的预测精度,或完全不可预测的,因此不适合通过ASC类技术进行扩展。我们还发现,在大多数情况下,加速仅受实现细节的限制:依赖跟踪基础设施的开销和对大型状态空间的操作。我们能够自动并行化程序与链接的数据结构,不服从其他形式的自动并行化。
2018-07-29 cs.DC
The Landscape of Distributed Complexities on Trees and Beyond
我们研究了常度图上的局部可检查标记(LCL)问题的局部复杂度景观,重点关注$\log^* n$以下的复杂度。我们的贡献有三个方面:我们的主要贡献是,我们完成了分类的LCL问题的复杂性景观的树的树模型,通过证明每一个LCL问题的局部复杂性$o(\log^* n)$实际上有复杂性$O(1)$。该结果改进了[Chang,Pettie,FOCS 2017]之前从$o(\log \log^* n)$到$O(1)$的加速结果。在相关的LCA和Volume模型[Alon,Rubinfeld,Vardi,Xie,SODA 2012,Rubinfeld,Tamir,Vardi,Xie,2011,Rosenbaum,Suomela,PODC 2020]中,我们证明了对于所有有界度图,从$o(\log^* n)$到$O(1)$的相同加速。同样,我们完成了分类的面向$d$维网格的复杂性景观证明,任何LCL问题的本地复杂性$o(\log^* n)$实际上有复杂性$O(1)$。这改进了之前Suomela在[Chang,Pettie,FOCS 2017]中对$o(\sqrt[d]{\log^* n})$的加速。
2022-09-23 cs.DC cs.DS
One-Shot Averaging for Distributed TD($λ$) Under Markov Sampling
Boston University(波士顿大学)
研究分布式强化学习下 TD($λ$) 策略评估的线性加速问题,提出“一次性平均”方法,使 $N$ 个智能体在最后一步才平均结果,显著减少通信量并实现 $N$ 倍加速。
2024-06-01 cs.DC cs.LG
DSA: Scalable Distributed Sequence Alignment System Using SIMD Instructions
序列比对算法是许多生物信息学领域的基础和关键组成部分。随着测序技术的快速发展,参考数据库的数量迅速增长,查询序列的长度越来越长,这给序列比对带来了新的挑战。然而,该算法在时间和空间复杂度方面是过高的。本文提出了一种可扩展的分布式序列比对系统DSA,该系统采用Spark在水平可扩展的分布式环境中处理序列数据,并利用基于单指令多数据(SIMD)指令的数据并行策略,在工作节点的每个核中并行化算法。实验结果表明:1)DSA具有优异的性能,与SparkSW相比,其加速比高达201倍。2)DSA具有良好的可扩展性,当集群中的节点数量增加时,可以获得接近线性的加速比。
2017-01-06 cs.DC
Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates
EPFL(洛桑联邦理工学院)
通过实验观察到,随机梯度(SGD)分布式训练的效率决定性地取决于批量大小和(在异步实现中)梯度的陈旧性。特别地,已经观察到,超过一定的批量大小和/或当延迟变得太大时,加速饱和。我们确定了一个依赖于数据的参数,解释了这两种设置中的加速饱和。我们的全面的理论分析,强凸,凸和非凸设置,统一和推广以前的工作方向,往往只集中在这两个方面之一。特别是,我们的方法使我们能够在经常考虑的稀疏性假设下得到改进的加速结果。我们的见解产生了理论上的指导方针,如何学习率可以在实践中进行调整。我们表明,我们的结果是紧密的,并说明在数值实验中的关键发现。
2021-03-03 cs.DC cs.LG stat.ML
Load Balancing in a Networked Environment through Homogenization
跨网络环境的分布式处理由于远程机器中的硬件和软件的异构性而遭受不可预测的加速行为。如何在不影响系统加速比的前提下,以智能的方式分配任务,从而提高分布式系统的性能,是一个具有挑战性的课题。本文介绍了均匀化,一种技术,分布和平衡的工作负载,这样的方式,用户得到最高的加速可能从分布式环境。除了提供更好的性能,同质化对用户来说是完全透明的,不需要与系统进行交互。
2011-03-29 cs.DC
A 2D Parallel Triangle Counting Algorithm for Distributed-Memory Architectures
三角形计数是一种基本的图分析操作,广泛用于网络科学和图挖掘。随着需要分析的图形的大小不断增长,需要为分布式存储器并行系统开发可扩展的算法。为此,我们提出了一个分布式内存三角形计数算法,它使用了一个二维循环分解,以平衡的计算和减少通信开销。该算法构造其通信和计算步骤,以减少其内存开销,并包括利用图的稀疏性和计算结构的方式的关键优化。合成和真实世界的图上的实验表明,我们的算法获得了平均相对加速比,范围在3.24和7.22之间的10.56跨数据集使用169 MPI排名超过16 MPI排名所取得的性能。此外,我们得到了10.2倍的平均加速比与以前开发的分布式存储器并行算法。
2019-07-22 cs.DC
Communication/Computation Tradeoffs in Consensus-Based Distributed Optimization
我们研究基于共识的分布式优化算法的可扩展性,考虑两个问题:有多少处理器,我们应该使用一个给定的问题,以及多久应该沟通时,通信是不自由的。我们分析的核心是一个问题特定的值$r$,它量化了通信/计算的权衡。我们表明,组织节点之间的通信作为一个$k$ -定期扩展图(Reingold,Vadhan,和Wigderson,2002年)产生加速,而当所有对节点通信(如在一个完整的图),有一个最佳的处理器数量取决于$r$。令人惊讶的是,在达到固定精度水平的时间方面,随着计算的进行,通信的频率越来越低,可以获得加速。一个真实的集群解决度量学习和非光滑凸最小化任务的实验证明了理论和实践之间的高度一致。
2012-09-05 cs.DC
Highly Scalable, Parallel and Distributed AdaBoost Algorithm using Light Weight Threads and Web Services on a Network of Multi-Core Machines
University of Bridgeport(布里奇波特大学)
AdaBoost是机器学习中的一种重要算法,在目标检测中得到了广泛的应用。AdaBoost的工作原理是迭代地选择弱分类器中的最佳分类器,然后将多个弱分类器组合起来以获得强分类器。尽管AdaBoost已经被证明是非常有效的,但它的学习执行时间可能会很长,具体取决于应用程序,例如,在人脸检测中,学习时间可以是几天。由于其在计算机视觉应用中的日益增加的使用,需要大幅减少学习时间,使得可以结合自适应的近实时的目标检测系统。在本文中,我们开发了一个混合并行和分布式AdaBoost算法,利用多个核心的CPU通过轻量级线程,并通过Web服务软件架构使用多台机器,以实现高可扩展性。我们提出了一种新的基于分层Web服务的分布式体系结构,并实现了近线性的加速比的处理器数量提供给我们。与以前发表的工作相比,它使用单级主从并行和分布式实现[1],在四个节点上仅实现了2.66的加速比,我们在31个工作站上实现了95.1的加速比,每个工作站都有一个四核处理器,每个功能的学习时间仅为4.8秒。
2013-06-06 cs.DC cs.LG
Distributed Reductions for the Maximum Weight Independent Set Problem
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Heidelberg(海德堡大学)
本文提出首个分布式内存并行归约算法及归约-贪心和归约-剥离启发式,用于大规模图的最大权独立集问题,在1024处理器上实现最高50倍加速,可处理超十亿顶点图。
2025-10-15 cs.DC cs.DS
DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);UCSD(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);USC(南加州大学)
DISTFLASHATTN通过token级负载均衡、键值通信重叠和重物化感知梯度检查点,在长上下文LLM训练中显著扩展序列长度并实现多倍加速。
2024-03-31 cs.AI cs.DC cs.LG
Distributed Balanced Butterfly Counting in Signed Bipartite Graphs
Indian Institute of Technology Jammu(印度技术学院贾穆分校)
针对大规模有符号二分图平衡蝴蝶计数效率低的问题,提出基于MPI+TBB的分布式算法D-BBC,在15个数据集上较串行和分布式基线分别实现最高1321倍和23.58倍加速。
2026-09-21 cs.DC
Gradient Diversity: a Key Ingredient for Scalable Distributed Learning
UC Berkeley(加州大学伯克利分校);UW Madison(威斯康星大学麦迪逊分校)
实验发现,小批量随机梯度下降(SGD)算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中,我们提出了一个分析暗示,并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念,衡量并发梯度更新之间的相异性,并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题,小批量SGD是适合更好的加速,同时保持串行(一个样本)SGD的泛化性能。我们进一步建立了收敛的下限,其中小批量SGD减慢超过特定的批量大小,仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用,并讨论了如何像dropout,Langevin动力学和量化可以改善它。
2018-01-07 cs.DC cs.LG
SOLANET: Distributed Neighbor Graph Construction on GPU-Accelerated Systems
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
提出SOLANET,一种在GPU加速分布式系统上通过本地图构建和远程近似最近邻搜索实现高效邻居图构建的工具,在MI300A APU上单GPU性能优于现有方法,并在大规模数据上展示近线性加速。
2026-05-26 cs.DC
Parallelizing Deadlock Resolution in Symbolic Synthesis of Distributed Programs
以前的工作已经表明,有两个主要的复杂性障碍,在容错分布式程序的合成:(1)故障跨度的生成,在故障的存在下可达到的状态集,和(2)解决死锁状态,从那里程序没有传出的转换。其中,前者与模型检验非常相似,因此,有效的验证技术直接适用于它。我们提出了两种并行化的方法,考虑不同的设计选择。第一种方法是基于由于分布问题而需要的程序转换的等价类的计算(称为组计算)(即,进程无法原子地读取和写入所有程序变量)。我们表明,在大多数情况下,这种方法的加速比接近理想的加速比,在某些情况下,它是超线性的。第二种方法使用在多个线程之间划分死锁状态的传统技术。然而,我们的实验表明,这种方法的加速比是小的。因此,我们的分析表明,一个简单的方法,并行组计算可能是有效的方法,使用多核计算的背景下,死锁解决。
2009-12-14 cs.DC cs.SC cs.SE
FastSV: A Distributed-Memory Connected Component Algorithm with Fast Convergence
本文提出了一种新的分布式内存算法FastSV,用于寻找无向图中的连通分支。我们的算法简化了经典的Shiloach-Vishkin算法,并采用了几种新颖而有效的挂钩策略,以加快收敛速度。我们将FastSV的不同步骤映射到线性代数运算,并在可扩展图形库的帮助下实现它们。FastSV使用稀疏操作来避免冗余工作,并优化MPI通信以避免瓶颈。由此产生的算法显示出高性能和可扩展性,因为它可以在30秒内使用262 K内核在Cray XC 40超级计算机上找到具有超过134 B边缘的超链接图的连接组件。FastSV优于最先进的算法,在各种真实世界的图形上的平均加速比为2.21倍(最大4.27倍)。
2020-01-03 cs.DC cs.DS
TD-Orch: Efficient Task-Data Orchestration for Distributed Systems with Application to Graph Processing
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Tsinghua University(清华大学);University of Maryland(马里兰大学);University of California, Riverside(加州大学河滨分校);Reed College(里德学院)
TD-Orch是一种高效的分布式协调框架,通过推拉技术实现负载均衡,应用于图处理系统,提升性能4.1倍。
2026-08-06 cs.DC
High-Performance Sorting-Based k-mer Counting in Distributed Memory with Flexible Hybrid Parallelism
针对现有分布式内存k-mer计数方法缓存效率低、内存消耗高、并行灵活性不足的问题,提出基于排序的HySortK计数器,通过优化通信与混合并行实现性能提升与内存降低,并验证了实际集成效果。
2024-07-10 cs.DC q-bio.GN
Homomorphic Parameter Compression for Distributed Deep Learning Training
Seoul National University(首尔大学)
深度神经网络的分布式训练已经引起了极大的研究兴趣,其主要方法包括在多个GPU和集群上实现。网格化可以显著提高使用大规模数据训练深度和复杂模型的效率。然而,DNN训练加速的一个根本障碍是计算和通信时间之间的权衡。换句话说,增加工作节点的数量减少了计算消耗的时间,同时在受限的网络带宽下增加了通信开销,特别是在商品硬件环境中。为了减轻这种权衡,我们提出了同态参数压缩的想法,它以最小的代价压缩参数,并使用压缩的表示来训练DNN。虽然具体的方法尚未被发现,我们证明,有一个很高的概率,同态可以减少通信开销,由于很少的压缩和解压缩时间。我们还提供了理论上的同态压缩的加速比。
2017-11-28 cs.AI cs.DC cs.LG
Sapphire: Automatic Configuration Recommendation for Distributed Storage Systems
现代的分布式存储系统带有过多的可配置参数,这些参数控制模块行为并影响系统性能。开发人员提供的默认设置通常不适合特定的用户案例。调整参数可以提供显着的性能增益,但由于可配置参数的数量庞大,复杂的内部依赖性和非线性系统行为,这是一项需要丰富经验和专业知识的艰巨任务。为了克服这些困难,我们提出了一个自动模拟为基础的方法,蓝宝石,建议最佳配置,利用机器学习和黑盒优化技术。我们在Ceph上评估Sapphire。结果显示,与默认配置相比,Sapphire将Ceph性能显著提升至2.2倍。
2020-07-07 cs.DC cs.LG
Distributed Learning with Sublinear Communication
Cornell University(康奈尔大学);MIT(麻省理工学院)
在分布式统计学习中,$N$样本在$m$机器上被分割,并且学习者希望使用最少的通信来学习,就像示例在单个机器上一样。该模型由于其可扩展性和并行加速的潜力而在机器学习中受到了极大的关注。然而,在高维设置中,其中示例的数量小于特征的数量(“维度”),分布式学习提供的加速可能会被传达单个示例的成本所掩盖。本文探讨了以下问题:当它是可能的学习$d$维模型在分布式设置与总通信次线性$d$?从一个否定的结果,我们表明,学习$\ell_1$有界或稀疏线性模型,没有算法可以获得最佳的错误,直到通信是线性的维度。我们的主要结果是,通过稍微放松线性模型的标准有界性假设,我们可以得到分布式算法,享受最佳的误差与通信对数的维度。这个结果是基于一个家庭的算法,结合镜像下降与随机稀疏化/量化的迭代,并扩展到一般的随机凸优化模型。
2019-03-18 cs.DC cs.LG stat.ML
Online Distributed Scheduling on a Fault-prone Parallel System
我们考虑一个并行系统的$m$相同的机器容易发生不可预测的崩溃和重新启动,试图应付不断到来的任务要执行。任务具有不同的计算要求(即,处理时间或大小)。任务的流程、大小以及机器的崩溃和重启都被假设为由对手控制。然后,我们重点研究了在线分布式算法的任务的有效调度。我们使用竞争分析,考虑作为效率度量的完成负载,即,已完成任务的聚合大小。我们首先提出了最佳的完成负载竞争力算法时,可以注入的对手的不同的任务大小的数量是有界的。(It众所周知,如果没有限制,竞争力是无法实现的。我们首先考虑只有两种不同的任务大小,然后进行$k$不同的,在这两种情况下,最佳的完成负载的竞争力可以实现。然后,我们考虑有某种形式的资源增加的可能性,允许调度算法运行加速$s \geq 1$。在这种情况下,我们表明,所有的工作保存调度算法的竞争力可以通过使用足够大的加速比增加。
2016-03-18 cs.DC
DaggerFFT: A Distributed FFT Framework Using Task Scheduling in Julia
Northeastern University(东北大学);Massachusetts Institute of Technology(麻省理工学院)
DaggerFFT是一种基于任务调度的Julia分布式FFT框架,通过动态调度提升CPU和GPU集群的FFT性能,实现高达2.6倍的加速。
2026-01-18 cs.DC
Automatic Parallelization of Python Programs for Distributed Heterogeneous Computing
本文介绍了一种新的方法来自动提前(AOT)并行化和优化的顺序Python程序在分布式异构平台上执行。我们的方法支持Python程序的AOT源到源转换,由包含函数参数和返回值的类型提示驱动。这些提示可以由程序员提供,也可以通过动态分析器工具获得;多版本代码生成保证了AOT转换在所有情况下的正确性。我们的编译框架执行自动并行化和复杂的高级代码优化的目标分布式异构硬件平台。它包括对多面体框架的扩展,统一了矩阵/张量运算符中的用户编写的循环和隐式循环,以及CPU与GPU代码变体的自动化部分。此外,我们的多面体优化使节点内和节点间的并行。最后,使用Ray运行时部署优化的输出代码,以跨集群中的多个异构节点调度分布式任务。我们的经验评估显示,在单节点和多节点实验中,相对于顺序Python,性能有了显著的提高,当在OLCF Summit超级计算机中使用24个节点和144个GPU进行空时自适应处理(STAP)雷达应用时,性能提高了20,000多$\times$。
2022-03-11 cs.DC
Exact Distributed Stochastic Block Partitioning
本文提出精确分布式随机块划分算法EDiSt,通过推理过程中计算节点定期共享社区分配解决分治方法的收敛问题,在64节点上实现最高38倍加速。
2023-05-30 cs.DC
EasyASR: A Distributed Machine Learning Platform for End-to-end Automatic Speech Recognition
Alibaba Group(阿里巴巴集团)
EasyASR是一个分布式机器学习平台,用于训练和服务大规模自动语音识别(ASR)模型,以及大规模收集和处理音频数据。我们的平台基于阿里云的人工智能机器学习平台。它的主要功能是支持分布式GPU集群上端到端ASR模型的有效学习和推理。它允许用户通过简单的用户界面学习具有预定义或用户自定义网络架构的ASR模型。在EasyASR上,我们已经在几个公共数据集上为普通话语音识别产生了最先进的结果。
2020-10-24 cs.AI cs.CL cs.DC
NOMAD: Generating Embeddings for Massive Distributed Graphs
NOMAD通过改进传统图嵌入方法,实现大规模分布式图的高效嵌入,提供更快的速度和更好的性能。
2026-04-10 cs.DC cs.LG
A Data and Model-Parallel, Distributed and Scalable Framework for Training of Deep Networks in Apache Spark
IBM Research India(IBM印度研究院);CSIR-CEERI(印度科学与工业研究理事会-中央电子工程研究所);IIT Delhi(印度理工学院德里分校)
训练深度网络既昂贵又耗时,训练周期会随着数据大小和模型参数的增长而增加。在本文中,我们提供了一个在Apache Spark的CPU集群上分布式训练深度网络的框架。该框架实现了数据分类主义和模型分类主义,使其适用于需要大量训练数据和模型参数的深度网络,这些数据和模型参数太大,无法放入单个机器的内存中。它可以很容易地扩展到一个廉价的商品硬件集群上,以实现显着的加速,并获得更好的结果,使其与GPU和超级计算机的农场相比非常经济。我们提出了一种用于训练深度网络的新算法,适用于网络在机器上划分的情况(模型分解),以及详细的成本分析和收敛性证明。我们已经开发了全连接前馈网络,卷积神经网络,递归神经网络和长短期记忆体系结构的实现。我们提出了广泛的模拟结果,展示了我们的框架对于不同大小的数据和模型参数以及工作核心/分区数量的变化所获得的加速和准确性;从而表明我们提出的框架可以实现显着的加速(对于CNN高达11倍),并且也具有相当的可扩展性。
2017-08-19 cs.AI cs.CV cs.DC
Fast and Flexible Spiking Network Simulations on Massively Distributed On-Chip Memory Accelerators
Jülich Research Centre(于利希研究中心);RWTH Aachen University(亚琛工业大学)
本研究针对脉冲神经网络模拟速度不足的问题,提出基于分组的映射与通信策略,在Graphcore IPU上实现皮质微电路22.7倍生物实时速度,为神经元模拟提供通用加速策略。
2026-10-13 cs.DC cs.PF
Analytical Estimation of the Scalability of Iterative Numerical Algorithms on Distributed Memory Multiprocessors
本文提出了一种新的高级并行计算模型BSF-Bulk Synchronous Farm。BSF模型扩展了BSP模型,以处理在分布式内存多处理器系统上执行的计算密集型迭代数值方法。BSF模型基于主-工作者范式和SPMD编程模型。BSF模型使得能够以很高的精度预测BSF程序的可伸缩性上界。BSF模型还提供了用于估计BSF程序的加速比和并行效率的方程。
2017-11-10 cs.DC
GreediRIS: Scalable Influence Maximization using Distributed Streaming Maximum Cover
本文提出GreediRIS,一种基于RandGreedi框架和分布式流式最大覆盖的并行近似算法,用于可扩展的影响力最大化,在512节点上实现高达36倍加速,并显著优于现有分布式实现。
2024-08-20 cs.DC
PCCL: Photonic circuit-switched collective communication for distributed ML
Cornell University(康奈尔大学)
PCCL 提出通过光子电路交换动态重构网络拓扑以匹配集体通信模式,消除拥塞和路径扩张,并在 128 GPU 上实现最高 3 倍通信加速和 1.3 倍端到端训练吞吐量提升。
2025-09-18 cs.DC
Distributed Training of Deep Neural Network Acoustic Models for Automatic Speech Recognition
IBM Research AI(IBM研究院人工智能部);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
由于深度学习的进步,过去十年在自动语音识别(ASR)方面取得了巨大进展。性能的提高可以归因于改进的模型和大规模的训练数据。训练这种模型的关键是采用高效的分布式学习技术。在本文中,我们概述了用于ASR的深度神经网络声学模型的分布式训练技术。从数据并行随机梯度下降(SGD)和ASR声学建模的基本原理开始,我们将研究各种分布式训练策略及其在高性能计算(HPC)环境中的实现,重点是在通信和计算之间取得平衡。实验进行了一个流行的公共基准研究的收敛性,加速比和识别性能的研究策略。
2020-02-24 cs.DC cs.LG cs.SD
Accelerated Training for CNN Distributed Deep Learning through Automatic Resource-Aware Layer Placement
卷积神经网络(CNN)模型通常用于图像分类,需要大量的训练时间来获得高精度。为此,使用多个服务器的参数服务器(PS)架构执行分布式训练。不幸的是,可扩展性已被发现是穷人在现有的架构。我们发现,PS网络是瓶颈,因为它与许多工人沟通大量的梯度和参数。这是因为在训练的每一步都必须与许多工人同步。根据模型的不同,每次同步的通信可以是几百MB。在本文中,我们提出了一个计划,以减少网络流量,通过层放置,考虑到每一层使用的资源。通过分析CNN的特点,我们发现层的放置可以以一种有效的方式进行。然后,我们将此观察结果纳入TensorFlow框架,以便可以自动放置层以进行更有效的训练。我们的评估利用这种布局方案表明,训练时间可以显着减少,而不损失许多CNN模型的准确性。
2019-01-17 cs.DC
Distributed non-negative RESCAL with Automatic Model Selection for Exascale Data
随着计算机硬件和软件、社交媒体、物联网平台和通信的蓬勃发展,世界各地产生的数据量呈指数级增长。在这些数据中,关系数据集越来越受欢迎,因为它们提供了关于社区及其交互的演变的独特见解。关系数据集自然是非负的,稀疏的,超大的。关系数据通常包含三元组(主体、关系、对象),并表示为图/多重图,称为知识图谱,需要嵌入到低维稠密向量空间中。在各种嵌入模型中,RESCAL允许学习关系数据,以提取潜在变量的后验分布,并对缺失的关系进行预测。然而,RESCAL对计算要求很高,需要快速和分布式的实现来分析超大的真实世界数据集。在这里,我们介绍了一个分布式的非负RESCAL算法的异构CPU/GPU架构与自动选择的数量的潜在社区(模型选择),称为pyDRESCALK。我们用真实世界和大型合成张量证明了pyDRESCALK的正确性,以及与理论复杂性一致的近线性缩放的功效。最后,pyDRESCALK确定了11 TB密集和9 EB稀疏合成张量中潜在社区的数量。
2022-02-19 cs.DC
Distributed Simulation for Digital Twins of Large-Scale Real-World DiffServ-Based Networks
本文提出基于乐观PDES引擎ROSS的仿真工具包Quaint,通过新颖的事件处理模型对基于DiffServ的大规模网络进行详细建模,在5000个路由器的真实拓扑下相比传统仿真器实现最高232倍加速。
2024-05-31 cs.DC cs.NI
Communication-Efficient, 2D Parallel Stochastic Gradient Descent for Distributed-Memory Optimization
Wake Forest University(维克森林大学);Oak Ridge National Laboratory(橡树岭国家实验室)
提出二维并行SGD方法HybridSGD,通过理论分析和实验验证,在通信效率与收敛性能间取得连续权衡,相比一维方法实现高达121倍加速。
2026-06-26 cs.DC stat.ML
Efficient and Scalable Algorithms for Smoothed Particle Hydrodynamics on Hybrid Shared/Distributed-Memory Architectures
本文介绍了一种新的快速和隐式并行的方法来寻找邻居的多分辨率光滑粒子流体动力学(SPH)模拟。这种新方法是基于分层细胞分解和排序的相互作用,在一个基于任务的配方。它被证明是比传统的基于树的代码更快,并扩展比域分解为基础的方法在混合共享/分布式存储器并行架构,例如集群的多核,实现了$40\times$加速的小工具-2模拟代码。
2014-04-08 astro-ph.IM cs.DC physics.comp-ph
Distributed Hybrid CPU and GPU training for Graph Neural Networks on Billion-Scale Graphs
图神经网络(GNN)在从图结构数据中学习方面取得了巨大的成功。它们被广泛用于各种应用,例如推荐、欺诈检测和搜索。在这些域中,图通常是大的和异构的,包含数百万或数十亿个不同类型的顶点和边。为了应对这一挑战,我们开发了DistDGLv 2,这是一个扩展DistDGL的系统,用于使用分布式混合CPU/GPU训练,以小批量方式在大规模异构图上训练GNN。DistDGLv 2将图形数据放置在分布式CPU内存中,并在GPU中执行小批量计算。为了便于使用,DistDGLv 2采用了与Deep Graph Library(DGL)的小批量训练和异构图形API兼容的API,这使得分布式训练几乎不需要修改代码。为了确保模型的准确性,DistDGLv 2遵循同步训练方法,并允许形成小批量的自我网络包含非局部顶点。为了保证数据的局部性和负载均衡,DistDGLv 2使用一种带最小边割和多个均衡约束的多级划分算法对异构图进行划分. DistDGLv 2部署了一个异步小批量生成管道,使计算和数据访问异步,以充分利用所有硬件(CPU,GPU,网络,PCIe)。这种组合使DistDGLv 2能够训练高质量的模型,同时实现高并行效率和内存可扩展性。我们在各种GNN工作负载上演示了DistDGLv 2。我们的结果表明,DistDGLv 2实现了2- 3倍的速度比DistDGL和18倍的速度比欧拉。在具有64个GPU的…
2022-03-13 cs.DC
SDSL-Solver: Scalable Distributed Sparse Linear Solvers for Large-Scale Interior Point Methods
Institute of Computing Technology, Chinese Academy of Science(中国科学院计算技术研究所);Theory Lab, Huawei Technologies Co., Ltd.(华为技术有限公司理论实验室)
本文提出SDSL-Solver,一种用于大规模内点法的可扩展分布式稀疏线性求解器,采用Krylov子空间方法和稀疏过滤技术,针对不同问题特性提供Block Jacobi和Bordered Block Diagonal两种并行方法,实验显示其在多节点集群上显著提升求解效率。
2026-04-30 cs.DC
AutoDDL: Automatic Distributed Deep Learning with Near-Optimal Bandwidth Cost
针对分布式系统训练大规模模型需复杂并行组合的问题,提出AutoDDL框架,利用OneFlow的SBP抽象描述并行方案,结合分析性能模型与定制坐标下降算法,实现近最优带宽成本的自动并行化,显著缩短训练时间。
2025-08-21 cs.DC
Lion Cub: Minimizing Communication Overhead in Distributed Lion
Institute of Science Tokyo(东京科学研究所);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出 Lion Cub,通过适配 Lion 的量化技术和选择性动量同步,在保持收敛性的同时显著降低分布式训练通信开销,实现最高 5 倍端到端加速。
2025-07-04 cs.DC cs.LG
Galvatron: An Automatic Distributed System for Efficient Foundation Model Training
Key Lab of High Confidence Software Technologies (MOE), School of CS, Peking University(高性能软件技术重点实验室(教育部)、计算机学院、北京大学)
Galvatron是一个自动分布式系统,通过集成多种并行策略和重计算,利用分析器、搜索引擎和运行时自动寻找最优混合策略,显著提升大规模基础模型训练效率。
2025-04-30 cs.AI cs.DC cs.LG
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks
The University of Iowa(爱荷华大学);Tencent AI Lab(腾讯AI实验室)
在本文中,我们研究了大规模AUC最大化的分布式算法,并将深度神经网络作为预测模型。尽管分布式学习技术在深度学习中得到了广泛的研究,但由于其与标准损失最小化问题(例如,交叉熵)。为了解决这一挑战,我们提出并分析了一个通信高效的分布式优化算法的基础上的{ \it非凸凹}重新制定的AUC最大化,其中的通信的原始变量和每个工人和参数服务器之间的对偶变量只发生在多个步骤的基于梯度的更新后,在每个工人。与现有算法的朴素并行版本相比,该算法在单个机器上计算随机梯度并将其平均以更新模型参数,我们的算法需要的通信轮数少得多,理论上仍然实现了线性加速。据我们所知,这是\textbf{first}的工作,它以通信高效的分布式方式解决了深度神经网络的AUC最大化的{ \it非凸凹最小-最大}问题,同时仍然保持理论上的线性加速特性。我们在几个基准数据集上的实验表明了我们的算法的有效性,也证实了我们的理论。
2020-10-08 cs.DC cs.LG math.OC
AutoParallel: A Python module for automatic parallelization and distributed execution of affine loop nests
程序设计语言、编程模型和框架的最新改进集中在将用户从许多编程问题中抽象出来。其中,最近的编程框架包括更简单的语法,自动存储管理和垃圾回收,这通过库包和易于配置的部署工具简化了代码重用。例如,Python由于其语法的简单性而上升到程序设计语言列表的顶部,同时即使是解释语言也仍然实现了良好的性能。此外,社区还帮助开发了大量的库和模块,并对其进行了调整以获得更好的性能。然而,在阻止用户直接处理分布式和并行计算问题时,仍有改进的空间。本文提出并评估AutoParallel,一个Python模块,自动找到一个适当的基于任务的并行仿射循环嵌套并行执行它们在分布式计算基础设施。这种并行化还可以包括构建数据块以增加任务粒度,以便实现良好的执行性能。此外,AutoParallel基于顺序编程,只包含一个Python装饰器形式的小注释,因此任何编程技能不高的人都可以将应用程序扩展到数百个核心。
2018-10-26 cs.DC cs.PL
A Speedup Theorem for Asynchronous Computation with Applications to Consensus and Approximate Agreement
我们研究了分布式计算的两个基本问题,共识和近似协议,通过一种新的方法来证明下界和不可能的结果,我们称之为异步加速定理。对于给定的$n$ -过程任务$Π$和给定的计算模型$M$,我们定义了一个新的任务,称为$Π$关于$M$的闭包。异步加速定理指出,如果任务$Π$在$M$的$t\geq 1$轮中可解,则其闭包w.r.t. $M$可在$M$的$t-1$轮中求解。我们证明这个定理的迭代模型,只要模型允许独奏。我们说明了我们的异步加速定理的力量,通过提供一个新的证明的无等待的不可能的共识使用读/写寄存器,和一个新的证明的无等待的不可能的解决共识使用寄存器和测试\&设置对象$n>2$。证明仅仅是通过表明,在每一种情况下,共识的结束(w.r.t.(一)共识本身。我们的主要应用是研究额外对象的能力,即测试集和二元共识,以更快地解决近似一致性。通过分析近似一致w.r.t.这两个模型中的每一个,我们表明,虽然从可计算性的角度来看,这些对象比读/写寄存器更强大,但就帮助更快地解决近似一致性而言,它们并不更强大。
2022-11-18 cs.DC
The Big Send-off: Scalable and Performant Collectives for Deep Learning
本文提出PCCL库,通过学习驱动的自适应算法选择,提升深度学习分布式任务中all-gather、reduce-scatter和all-reduce的性能,实现在Frontier系统上reduce-scatter性能提升达168倍,Perlmutter上NCCL性能提升达5.7倍。
2026-03-15 cs.AI cs.DC cs.LG
On Extending Brandt's Speedup Theorem from LOCAL to Round-Based Full-Information Models
给定任何任务$Π$,勃兰特加速定理(PODC 2019)提供了一种机械的方法来设计另一个任务$Π'$,与$Π$相同的输入集,使得对于任何$t\geq 1$,$Π$在$t$轮中可解,当且仅当$Π'$在$t-1$轮中可解。该定理适用于匿名的变种,在图中有足够大的围长,并局部可检查标记(LCL)的任务。在本文中,使用组合拓扑应用于分布式计算,我们剖析了勃兰特的加速比定理的建设表示它在更广泛的框架轮为基础的模型支持全信息协议,其中包括不同的模型,如无等待共享内存计算迭代即时快照,同步无故障网络计算。特别是,我们提供的概念,如本地可查性和本地独立性的一般定义,在我们更广泛的框架。通过这种方式,我们能够确定计算模型和任务上的假设,这些假设足以应用勃兰特加速定理。更准确地说,我们确定哪些假设是充分的每个方向的if-and-only-if条件。有趣的是,这些假设是不同的性质。我们的一般方法能够将Brandt的加速比定理从有向网络扩展到有向网络、超图、动态网络,甚至扩展到包括过程之间的短循环依赖关系的图(即,大周长条件在某种程度上是不必要的)。该定理甚至可以扩展到共享内存的无等待计算。特别是,我们提供了新的不可能性证明的共识和完美的重命名2进程系统。
2021-08-04 cs.DC
Popt4jlib: A Parallel/Distributed Optimization Library for Java
本文描述了开源popt 4jlib库(https://githhub.org/ioannislogou/popt4jlib)的架构设计以及关键实现细节,该库包含相当大量的元启发式和其他精确优化算法并行/分布式Java实现。虽然我们报告的加速和效率问题的一些算法在图书馆,我们主要关心的是详细的设计决策的关键并行/分布式基础设施内置到图书馆,使开发人员更容易开发自己的并行实现的算法,而不是简单地使用它作为一个关闭的自我应用程序库。
2019-08-01 cs.DC cs.NE
Communication-Aware Qubit Placement and Automatic Node-Count Allocation for Distributed State-Vector Simulation
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心(BSC));Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(加泰罗尼亚理工大学-巴塞罗那理工(UPC))
针对分布式量子电路模拟中节点间通信开销大的问题,提出通信感知的量子比特布局优化框架,集成于QuCSLO库,支持动态节点分配,在合成与真实基准上实现超2倍加速。
2026-11-02 cs.DC cs.ET
MixServe: An Automatic Distributed Serving System for MoE Models with Hybrid Parallelism Based on Fused Communication Algorithm
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系)
MixServe通过融合AR-A2A通信算法的混合并行机制,实现MoE模型的高效部署,显著提升了推理性能和吞吐量。
2026-01-13 cs.DC
Modeling Scalability of Distributed Machine Learning
Hewlett Packard Laboratories(惠普实验室)
当今的机器学习是计算密集型的,并且处理大量数据。它以分布式方式实现,以解决这些可伸缩性问题。这项工作在多个计算节点上并行进行。通常很难提前估计有多少节点用于特定的工作负载。我们提出了一个简单的框架,估计分布式机器学习算法的可扩展性。我们衡量的可扩展性的加速算法实现更多的节点。我们提出了梯度下降和图形模型推理的时间复杂度模型。我们通过深度学习训练和信念传播的实验来验证我们的模型。该框架用于研究Apache Spark中机器学习算法的可扩展性。
2017-03-25 cs.DC cs.LG
Galvatron: Automatic Distributed Training for Large Transformer Models
本文提出开源框架Galvatron,通过动态结合数据、张量模型和流水线并行并自动实时调整策略,优化大型Transformer模型在GPU集群上的分布式训练吞吐量。
2025-03-13 cs.DC
Graph Partitioning via Parallel Submodular Approximation to Accelerate Distributed Machine Learning
Carnegie Mellon University(卡内基梅隆大学)
分布式计算擅长处理大规模数据,但是同步共享参数的通信成本可能会降低整体性能。幸运的是,在许多问题中,参数和数据之间的交互是稀疏的,这允许有效的划分,以减少通信开销。在本文中,我们制定的数据放置图分区问题。我们提出了一个分布式划分算法。我们提供理论保证和高效的实施。我们还提供了一个高效的实现算法,并证明其有前途的结果,文本数据集和社交网络。我们表明,该算法通过消除90%的网络通信,导致1.6倍的加速的状态的开始分布式机器学习系统。
2015-05-18 cs.AI cs.DC cs.LG