Distributed SLIDE: Enabling Training Large Neural Networks on Low Bandwidth and Simple CPU-Clusters via Model Parallelism and Sparsity
Rice University（莱斯大学）；ThirdAI Corp.（ThirdAI公司）
超过70%的云计算是付费的，但处于闲置状态。这些空闲计算中的很大一部分是廉价的CPU，其核心很少，在不太繁忙的时间内不会被利用。本文旨在使这些CPU周期能够训练重量级AI模型。我们的目标是反对主流框架，这些框架专注于利用昂贵的专用超高带宽互连来解决分布式神经网络训练中的通信瓶颈。本文提出了一种分布式模型并行训练框架，使训练大型神经网络上的小CPU集群与低互联网带宽。我们建立在SLIDE算法引入的自适应稀疏训练框架之上。通过在分布式节点上仔细部署稀疏性，我们展示了比Horovod（大多数商业软件背后的主引擎）快几个数量级的模型并行训练。我们表明，减少通信，由于稀疏性，我们可以训练接近十亿参数模型上简单的4-16核心CPU节点连接的基本低带宽互连。此外，训练时间与一些最好的硬件加速器相当。
2022-01-29 cs.DC cs.LG
Provable Model-Parallel Distributed Principal Component Analysis with Parallel Deflation
Rice University（莱斯大学）
本文提出一种基于并行消去法的分布式PCA框架，允许工作节点异步更新并针对不同特征向量，理论分析证明其收敛性，实验表明性能与最先进的EigenGame-μ相当。
2025-02-24 cs.DC cs.LG math.OC
Probabilistic Synchronous Parallel
Computer Laboratory, University of Cambridge（剑桥大学计算机实验室）
大多数机器学习和深度神经网络算法依赖于某些迭代算法来优化其效用/成本函数，例如随机梯度下降。在分布式学习中，网络节点必须协同工作以更新模型参数，并且它们如何进行的方式被称为同步并行设计（或屏障控制）。同步并行协议是任何分布式学习框架的基石，其设计直接影响系统的性能和可扩展性。本文提出了一种新的屏障控制技术-概率同步并行（PSP）。该方案通过在系统中引入采样原语，有效地提高了SGD算法的收敛速度和可扩展性。此外，我们还表明，采样原语可以应用于现有的障碍控制机制，以获得完全分布式的基于PSP的同步并行。我们不仅对基于PSP的SGD算法的收敛性进行了深入的理论分析，而且实现了一个功能齐全的分布式学习框架Actor，并在其上进行了深入的评估。
2017-10-05 cs.DC cs.LG
Universal Checkpointing: A Flexible and Efficient Distributed Checkpointing System for Large-Scale DNN Training with Reconfigurable Parallelis
UIUC（伊利诺伊大学香槟分校）；Microsoft（微软）；Snowflake
本文提出通用检查点系统UCP，通过将检查点结构与并行策略和硬件配置解耦，并设计基于模式的重配置流水线，实现大规模DNN训练中灵活高效的并行策略重配置，显著提升训练对动态硬件环境的适应能力。
2025-07-04 cs.DC cs.LG
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS（LAAS-法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
我们描述了并行或分布式异步迭代算法的几个特点，如无界延迟，可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后，给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
最先进的深度学习算法依赖于分布式训练系统来处理不断增加的模型和训练数据集。小批量随机梯度下降（SGD）算法要求工作者停止前向/反向传播，等待所有工作者聚集的梯度，并在下一批任务之前接收权重更新。这种同步执行模型暴露了分布式训练系统中大量工作者之间的梯度/权重通信的开销。我们提出了一个新的SGD算法，DaSGD（本地SGD与延迟平均），并行SGD和前/后传播隐藏100%的通信开销。该算法通过调整梯度更新机制，有效地利用了硬件资源，减少了对低延迟高吞吐量互连的依赖。理论分析和实验结果表明，该算法的收敛速度为O（1/sqrt（K）），与SGD算法相同。性能评估表明，它可以实现随集群大小的线性性能扩展。
2020-05-31 cs.DC cs.LG
Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning
UC Berkeley（加州大学伯克利分校）；Amazon Web Services（亚马逊云科技）；Google（谷歌）；Shanghai Jiao Tong University（上海交通大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）
Alpa通过生成统一数据、运算符和流水线并行的执行计划，自动化大型深度学习（DL）模型的模型并行训练。现有的模型并行训练系统要么需要用户手动创建并行化计划，要么从模型并行配置的有限空间自动生成并行化计划。它们不足以在分布式计算设备上扩展复杂的DL模型。Alpa通过将并行性视为两个层次来分配大型DL模型的训练：操作员间和操作员内并行性。在此基础上，Alpa构造了一种新的面向大规模模型并行执行计划的层次空间。Alpa设计了许多编译通道，以在每个并行级别自动导出高效的并行执行计划。Alpa实现了一个高效的运行时来协调分布式计算设备上的两级并行执行。我们的评估表明，Alpa生成的并行化计划可以匹配或优于手动调整的模型并行训练系统，即使是针对它们设计的模型。与专门的系统不同，Alpa还可以推广到具有异构架构的模型和没有手动设计计划的模型。Alpa的源代码可在https://github.com/alpa-projects/alpa上公开获取
2022-06-28 cs.DC cs.LG cs.PL
Highly Scalable, Parallel and Distributed AdaBoost Algorithm using Light Weight Threads and Web Services on a Network of Multi-Core Machines
University of Bridgeport（布里奇波特大学）
AdaBoost是机器学习中的一种重要算法，在目标检测中得到了广泛的应用。AdaBoost的工作原理是迭代地选择弱分类器中的最佳分类器，然后将多个弱分类器组合起来以获得强分类器。尽管AdaBoost已经被证明是非常有效的，但它的学习执行时间可能会很长，具体取决于应用程序，例如，在人脸检测中，学习时间可以是几天。由于其在计算机视觉应用中的日益增加的使用，需要大幅减少学习时间，使得可以结合自适应的近实时的目标检测系统。在本文中，我们开发了一个混合并行和分布式AdaBoost算法，利用多个核心的CPU通过轻量级线程，并通过Web服务软件架构使用多台机器，以实现高可扩展性。我们提出了一种新的基于分层Web服务的分布式体系结构，并实现了近线性的加速比的处理器数量提供给我们。与以前发表的工作相比，它使用单级主从并行和分布式实现[1]，在四个节点上仅实现了2.66的加速比，我们在31个工作站上实现了95.1的加速比，每个工作站都有一个四核处理器，每个功能的学习时间仅为4.8秒。
2013-06-06 cs.DC cs.LG
Model Parallelism on Distributed Infrastructure: A Literature Review from Theory to LLM Case-Studies
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Radboud University（拉德堡德大学）；National Institute for Subatomic Physics (Nikhef)（国家亚原子物理研究所（Nikhef））；University of Twente（屯特大学）
本文是一篇模型并行文献综述，梳理了算子内、算子间两类模型并行维度，总结了实现与算子图最优划分的挑战，并结合公开信息介绍了其在数十亿参数Transformer网络中的应用。
2024-03-06 cs.DC cs.LG
Data-parallel distributed training of very large models beyond GPU capacity
IBM；IBM Research（IBM研究院）
GPU的内存有限，很难训练宽和/或深的模型，这会导致训练过程耗尽内存。本文展示了一种名为Large Model Support（LMS）的开源工具如何利用CPU和GPU之间的高带宽NVLink连接来完成深度卷积网络的训练。LMS在CPU内存和GPU内存之间执行张量交换，使得在训练步骤中仅将所需的最小数量的张量保留在GPU内存中。它还显示了LMS如何与基于MPI的分布式深度学习模块相结合，以跨多个GPU的数据并行方式训练模型，使得每个GPU都利用CPU内存进行张量交换。讨论了支持高带宽GPU与CPU链接的硬件架构，以及作为PowerAI包提供的相关软件工具集。
2018-11-29 cs.DC cs.LG
Parallel and Distributed Collaborative Filtering: A Survey
协同过滤是实现推荐系统时最优选的技术之一。最近，极大的兴趣已经转向并行和分布式实现的协同过滤算法。这项工作是一个调查的并行和分布式协同过滤的实现，旨在不仅提供一个全面的介绍该领域的发展，但也提供了未来的研究方向，突出的问题，需要进一步发展。
2014-09-09 cs.DC cs.IR
A Distributed Chunk Calculation Approach for Self-scheduling of Parallel Applications on Distributed-memory Systems
循环调度技术旨在实现科学应用程序的负载平衡执行。用于分布式存储器系统的动态循环自调度（DLS）库通常是基于MPI的，并且采用集中式块计算方法（CCA）来分配循环迭代的可变大小的块。我们提出了一个分布式块计算方法（DCA），支持各种类型的DLS技术。使用CCA和DCA，十二DLS技术的实施和评估在不同的CPU减速的情况下。结果表明，使用DCA实现的DLS技术优于其相应的CCA实现的，特别是在极端的系统减速的情况下。
2021-01-18 cs.DC
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology（国防科技大学）
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法，涵盖系统架构、仿真与计算并行、同步机制及进化强化学习，并比较了16个开源库，展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
A Distributed Parallel Algorithm for Minimum Spanning Tree Problem
在本文中，我们提出并评估了一个并行算法求解最小生成树（MST）问题的超级计算机与分布式内存。与原始GHS（Gallager、Humblet、Spira）算法相比，该算法依赖于对一种特定消息类型的消息处理顺序要求的放宽。我们的算法采用哈希和消息压缩优化技术以及。据我们所知，这是GHS算法的第一个并行实现，线性扩展到Infiniband集群的32个节点（256个核心）以上。
2016-10-14 cs.DC
TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with Auto-Parallelism
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies Co. Ltd（华为技术有限公司）
一个好的并行化策略可以显著提高深度神经网络（DNN）分布式训练的效率或降低成本。最近，已经提出了几种方法来找到有效的并行化策略，但它们都优化了单个目标（例如，执行时间、内存消耗）并仅产生一个策略。我们提出了FT，一个有效的算法，搜索一组最佳的并行化策略，以允许不同的目标之间的权衡。FT可以通过在设备数量有限的情况下最小化内存消耗来适应不同的场景，并充分利用额外的资源来减少执行时间。对于流行的DNN模型（例如，视觉，语言），进行了深入的分析，以了解不同的目标之间的权衡及其对并行化策略的影响。我们还开发了一个用户友好的系统，称为TensorOpt，它允许用户运行他们的分布式DNN训练作业，而不关心并行化策略的细节。实验结果表明，FT运行效率高，提供了准确的运行时成本估计，与现有框架相比，TensorOpt在适应资源可用性方面更加灵活。
2020-04-16 cs.DC cs.LG stat.ML
A Linear Algebraic Approach to Model Parallelism in Deep Learning
Virginia Tech（弗吉尼亚理工大学）
随着网络规模和复杂性的增长，在大型集群计算环境中训练深度神经网络（DNN）变得越来越必要。本地内存和处理限制需要强大的数据和模型并行来跨越计算节点边界。我们提出了一种线性代数方法来建模深度学习中的并行性，它允许DNN中任何张量的并行分布。而不是依赖于自动微分工具，这并不普遍支持分布式内存并行模型，我们表明，并行数据移动操作，例如，广播、求和-归约和晕圈交换是线性算子，通过定义相关的空间和内积，我们手动开发了DNN的基于梯度的训练所需的伴随或向后算子。我们使用这些并行原语构建分布式DNN层，与顺序层实现组合，并通过使用DistDL（基于PyTorch和MPI的分布式深度学习工具包）构建和训练分布式DNN来演示其应用。
2020-06-04 cs.DC cs.LG stat.ML
Graph Partitioning via Parallel Submodular Approximation to Accelerate Distributed Machine Learning
Carnegie Mellon University（卡内基梅隆大学）
分布式计算擅长处理大规模数据，但是同步共享参数的通信成本可能会降低整体性能。幸运的是，在许多问题中，参数和数据之间的交互是稀疏的，这允许有效的划分，以减少通信开销。在本文中，我们制定的数据放置图分区问题。我们提出了一个分布式划分算法。我们提供理论保证和高效的实施。我们还提供了一个高效的实现算法，并证明其有前途的结果，文本数据集和社交网络。我们表明，该算法通过消除90%的网络通信，导致1.6倍的加速的状态的开始分布式机器学习系统。
2015-05-18 cs.AI cs.DC cs.LG
Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator
Baidu, Inc.（百度公司）
联邦学习是一种新的分布式学习机制，它允许在不同数据提供者拥有的分散数据的大型语料库上进行模型训练，而不会共享或泄漏原始数据。根据数据分发的特点，通常可以将其分为三大类：水平联邦学习、垂直联邦学习和联邦迁移学习。在本文中，我们提出了一种解决方案，用于垂直联邦学习的并行分布逻辑回归。与现有的作品相比，第三方协调员的作用是删除在我们提出的解决方案。该系统建立在参数服务器体系结构上，目的是在大容量训练数据的情况下，通过利用服务器集群来加快模型训练。我们还评估了并行分布式模型训练的性能，实验结果表明该系统具有很好的可扩展性。
2019-11-22 cs.CR cs.DC cs.LG
Basic Parallel and Distributed Computing Curriculum
随着多核处理器的出现及其快速扩展，很明显，{ \em并行计算}现在是计算机科学和工程（及相关）课程的真正要求。除了并行计算设备的普遍性之外，我们还应该考虑到这样一个事实，即有很多现有的软件是以顺序模式实现的，因此需要适应并行执行。因此，它要求程序员能够设计并行程序，也有一些技能，从一个给定的顺序代码移动到相应的并行代码。在本文中，我们提出了一个基本的教育方案，如何在并行计算的普通计算机科学家和工程师的一致和有效的背景。
2018-02-12 cs.DC
Modern Distributed Data-Parallel Large-Scale Pre-training Strategies For NLP models
分布式深度学习由于对具有更大量参数的深度学习模型的计算资源的不断扩大的需求而变得越来越流行。与传统的训练方法不同，数据并行训练允许多个计算节点同时训练大型深度学习模型，以提高训练效率。在本文中，我们提出并比较了使用PyTorch在语言模型GPT-2上使用100 M参数进行数据并行训练的六种策略。这些策略是单GPU，单参数服务器，分布式参数服务器，Horovod，分布式参数服务器与Apex混合精度策略，Horovod与Apex混合精度策略。我们还分析了定量的实验结果，从每一个策略。最后，我们得出结论，具有Apex混合精度策略的分布式参数服务器在单节点训练上具有最好的性能，而具有Apex的Horovod是在我们有单个或多个节点时使用的最鲁棒的方法。
2022-06-13 cs.DC
High Performance Parallel Sort for Shared and Distributed Memory MIMD
我们提出了四种高性能的混合排序方法开发的各种并行平台：共享内存多处理器，分布式多处理器，集群利用共享和分布式内存的存在。合并排序以其稳定性而闻名，被用于设计我们的几个算法。我们通过将其与快速排序相结合来提高其并行性能。我们提出了两个模型设计的共享内存MIMD（OpenMP）：（a）一个非递归的合并排序和（b）混合快速排序和合并排序。第三个模型是设计用于分布式内存MIMD（MPI）使用混合快速排序和合并排序。我们的第四个模型的目的是利用共享内存的各个节点的今天的集群系统，并消除所有的内部数据传输之间的不同节点，我们的模型实现了一个一步MSD-Radix分发数据在10个包（MPI），而每个节点的并行核心使用Quicksort排序他们的数据分区顺序，然后合并和排序他们在并行采用OpenMp。所有开发的模型的性能优于基线性能。在对小数据进行排序时，混合快速排序和合并排序的性能优于集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序，但对于较大的数据，集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序的加速比变得更大并且不断改进。其中分布存储并行混合快速排序和归并排序的加速比最好。
2020-03-02 cs.DC
Restructuring, Pruning, and Adjustment of Deep Models for Parallel Distributed Inference
使用多个节点和并行计算算法已经成为提高深度神经网络的训练和执行时间以及传感器网络中的有效集体智能的主要工具。在本文中，我们考虑在多个处理节点上并行实现一个已经训练好的深度模型（也称为worker），其中深度模型被划分为若干并行子模型，每个子模型由worker执行。由于工作者之间的同步和数据传输引起的延迟会对并行实现的性能产生负面影响，因此希望并行子模型之间的相互依赖性最小。为了实现这一目标，我们建议重新安排神经网络中的神经元，并将它们分区（而不改变神经网络的一般拓扑结构），使得子模型之间的相互依赖性最小化的计算和通信约束下的工人。我们提出了RePurpose，逐层模型重构和修剪技术，保证了整体并行模型的性能。为了有效地应用RePurpose，我们提出了一种基于$\ell_0$优化和Munkres分配算法的方法。我们表明，与现有的方法相比，RePurpose显着提高了效率的分布式推理通过并行实现，无论是在通信和计算复杂性。
2020-08-19 cs.DC cs.LG stat.ML
OneFlow: Redesign the Distributed Deep Learning Framework from Scratch
OneFlow Research（OneFlow研究院）；Zhejiang Laboratory（之江实验室）；The University of Hong Kong（香港大学）；University of Pennsylvania（宾夕法尼亚大学）；State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
TensorFlow和PyTorch等深度学习框架为在单个设备上表达和训练深度神经网络（DNN）模型或使用数据并行提供了高效的接口。然而，它们在分布式设备上训练新兴的大型模型时可能不够灵活或有效，这需要比数据并行更复杂的并行性。已经开发了插件或包装器来加强这些框架的模型或流水线并行，但它们使分布式深度学习的使用和实现复杂化。针对一个简单的，整洁的重新设计的分布式深度学习框架的各种并行范例，我们提出了OneFlow，一个新的分布式训练框架的基础上SBP（分裂，广播和部分值）抽象和演员模型。SBP比现有框架更容易编程数据并行性和模型并行性，并且Actor模型提供了一种简洁的运行时机制来管理分布式深度学习中资源约束、数据移动和计算所带来的复杂依赖关系。我们通过案例研究和广泛的实验证明了OneFlow在训练各种大型DNN模型方面的普遍适用性和效率。结果表明，OneFlow的性能优于许多基于最先进框架构建的知名定制库。OneFlow的代码可在以下网址获得：https://github.com/Oneflow-Inc/oneflow。
2022-04-19 cs.AI cs.DC cs.LG
Theoretical Limits of Pipeline Parallel Optimization and Application to Distributed Deep Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们研究了深度学习架构的流水线并行学习的理论限制，这是一种分布式设置，其中计算是按层而不是按示例分布的。对于光滑的凸和非凸目标函数，我们提供了匹配的复杂性下限和上限，并表明Nesterov的加速梯度下降的朴素流水线并行化是最佳的。对于非光滑凸函数，我们提出了一种新的算法流水线并行随机平滑（PPRS），是在一个$d^{1/4}$乘法因子的最佳收敛速度，其中$d$是底层的尺寸。虽然收敛速度仍然遵循缓慢的$\varepsilon^{-2}$收敛速度，但深度依赖部分被加速，导致接近线性的加速和收敛时间，仅略微取决于深度学习架构的深度。最后，我们对非光滑非凸的情况进行了实证分析，结果表明，对于困难和高度非光滑的问题，PPRS优于更传统的优化算法，如梯度下降和Nesterov的加速梯度下降，用于样本量有限的问题，如Few-Shot或对抗学习。
2019-10-11 cs.DC cs.LG stat.ML
Parallel and Distributed Simulation: Five W's (and One H)
新闻业（以及许多其他领域）的一条众所周知的黄金法则是，如果你想知道某件事的全部故事，你必须回答所有五个W（谁，什么，何时，何地，为什么）和H（如何）。这个扩展的摘要是关于并行和分布式仿真中缺少什么，以及这如何影响其普及。
2011-05-03 cs.DC cs.MA
Distributed and Parallel Algorithms for Set Cover Problems with Small Neighborhood Covers
本文研究了一类集合覆盖问题，它满足一个特殊性质，我们称之为{ \em小邻域覆盖}性质.这个类包含几个研究得很好的问题，包括顶点覆盖，区间覆盖，袋区间覆盖和树覆盖。我们设计了统一的分布式和并行算法，可以处理任何集覆盖问题属于上述框架下，并产生常数因子近似。这些算法在分布式环境中以多对数通信轮运行，在并行环境中以NC运行。
2013-12-27 cs.DC cs.DS
A Load-Balanced Parallel and Distributed Sorting Algorithm Implemented with PGX.D
排序一直是科学研究中最具挑战性的问题之一。虽然许多技术和算法已经提出了有效的并行排序实现的理论，然而，实现所需的性能在不同类型的架构与大量的处理器仍然是一个具有挑战性的问题。最大限度地提高应用程序的并行性水平，可以通过最小化由于负载不平衡和等待时间，由于内存延迟的开销。在本文中，我们提出了一个分布式排序算法实现PGX.D，一个快速的分布式图形处理系统，它优于Spark的分布式排序实现约2倍-3倍，通过隐藏通信延迟和最大限度地减少不必要的开销。此外，它表明，建议的PGX.D排序方法处理数据集包含许多重复的数据录入有效，并始终保持平衡的工作负载为不同的输入数据分布类型。
2017-01-14 cs.DC
Optimizations to the Parallel Breath First Search on Distributed Memory
图及其遍历由于其适用于数学、科学和技术的各个领域而变得越来越重要。生物化学（基因组学）、电子工程（通信网络）、计算机科学（算法和计算）等领域的各种问题都可以建模为图问题。真实世界的场景，包括社区，他们的相互联系和相关的属性可以使用图进行研究。因此快速、可扩展、低成本地执行并行图算法是非常重要的。在这个实现中的并行宽度优先搜索的图形，我们实现了并行BFS算法与1-D分区的图中所描述的[2]，并已减少了执行时间，通过优化通信的本地缓冲区。
2020-03-10 cs.DC
P4SGD: Programmable Switch Enhanced Model-Parallel Training on Generalized Linear Models on Distributed FPGAs
P4SGD提出一种基于分布式FPGA和可编程交换机的模型并行训练系统，通过流水线并行和交换机内聚合协议，实现广义线性模型的高效分布式训练，收敛速度比最先进的GPU方案快达6.5倍。
2023-05-10 cs.DC
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法，但据我们所知，混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法，提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现，它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色，给出了第一个已知的分布式，多GPU算法，这些问题。此外，我们提出了一种新的启发式，以减少通信的分布式图着色的包围圈。我们的实验表明，我们的方法有效地运行在输入太大，适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
CoInDiVinE: Parallel Distributed Model Checker for Component-Based Systems
CoInDiVinE是一个并行分布式模型检验的工具，在分层的基于组件的系统中组件之间的交互。该工具扩展了DiVinE框架与一个新的输入语言（组件交互自动机）和属性规范逻辑（CI-LTL）。由于该语言不同于DiVinE的输入语言，我们的工具采用了一种新的状态空间生成算法，也支持偏序约简。实验表明，该工具在并行环境下运行时具有良好的缩放性能。
2011-11-02 cs.DC cs.SE
A Discussion on Parallelization Schemes for Stochastic Vector Quantization Algorithms
Telecom ParisTech（巴黎高等电信学院）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学（巴黎第六大学））；Lokad（洛卡德公司）；Université Paris I Panthéon-Sorbonne（巴黎第一大学（先贤祠-索邦大学））
本文研究了随机矢量量化算法的并行化方案，以利用分布式资源获得时间加速。我们发现，最直观的并行化方案并没有导致更好的性能比顺序算法。因此，另一个分布式计划，获得预期的加速。然后，它被改进，以适应分布式体系结构的通信速度慢，机器间的同步成本太高。该计划进行了测试，模拟分布式架构，并为最后一个，与Microsoft Windows Azure平台获得加速到32个虚拟机。
2012-05-10 cs.DC cs.LG stat.ML
DuctTeip: An efficient programming model for distributed task based parallel computing
用于科学计算的当前高性能计算机系统通常在分布式存储器环境中组合共享存储器计算节点。从这些复杂的系统中提取高性能需要量身定制的方法。基于任务的并行编程在简化编程和利用共享存储器系统的硬件并行性方面都取得了成功。本文重点讨论如何将任务并行编程扩展到分布式内存系统。我们使用任务和数据的分层分解，以适应不同级别的硬件。我们测试所提出的编程模型在两个不同的应用程序，Cholesky分解，和浅水方程求解器。我们还比较了我们的实现与其他框架的分布式任务并行编程的性能，并表明它是有竞争力的。
2018-01-10 cs.CE cs.DC cs.PF
Popt4jlib: A Parallel/Distributed Optimization Library for Java
本文描述了开源popt 4jlib库（https：//githhub.org/ioannislogou/popt4jlib）的架构设计以及关键实现细节，该库包含相当大量的元启发式和其他精确优化算法并行/分布式Java实现。虽然我们报告的加速和效率问题的一些算法在图书馆，我们主要关心的是详细的设计决策的关键并行/分布式基础设施内置到图书馆，使开发人员更容易开发自己的并行实现的算法，而不是简单地使用它作为一个关闭的自我应用程序库。
2019-08-01 cs.DC cs.NE
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习（ML）算法的实现归结为解决数值优化问题。在这种情况下，随机梯度下降（SGD）方法长期以来已被证明提供良好的结果，无论是在收敛性和准确性。最近，已经提出了几种并行化方法，以扩展SGD来解决非常大的ML问题。在其核心，这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD，它利用异步单边通信范式。与现有的方法相比，异步并行随机梯度下降（ASGD）提供更快（或至少相等）的收敛，接近线性缩放和稳定的精度。
2015-10-05 cs.DC
A Unified Cloud-Enabled Discrete Event Parallel and Distributed Simulation Architecture
Universidad Complutense de Madrid（马德里康普顿斯大学）；The MITRE Corporation（米特雷公司）
如今的云仿真环境主要用于对复杂系统进行建模和仿真，以满足远程访问和可变容量需求。在这方面，建模与仿真（M\&S）计算需求中的可扩展性问题可以通过按需云部署的弹性来解决。然而，按照这些弹性原则实现高性能云M\&S框架并不是一项简单的任务，因为并行化和分布现有架构是具有挑战性的。事实上，并行和分布式M\&S的发展都是按照不同的方式发展的。并行解决方案一直专注于ad-hoc解决方案，而分布式方法，另一方面，导致了标准分布式框架的定义，如高层体系结构（HLA）或影响了分布式技术的使用，如消息传递接口（MPI）。只有少数开发能够随着计算硬件资源部署的当前弹性而发展，主要集中在模拟即服务（SaaS）的实现上，尽管独立于并行ad-hoc方法分支。在本文中，我们提出了一个统一的并行和分布式M\&S架构，具有足够的灵活性，部署并行和分布式仿真在云中，以较低的努力，而无需修改底层模型的源代码，并达到重要的加速比对顺序模拟，特别是在并行实现。我们的框架是基于离散事件系统规范（DEVS）的形式主义。使用xDEVS M\&S工具，应用程序编程接口（API）和DEVStone基准测试多达8个计算节点的并行和分布式框架的性能，分别获得最大的加速比$15.95\times$和$1.84\times$。
2023-02-22 cs.AI cs.DC
Parallel and Distributed Data Series Processing on Modern and Emerging Hardware
本文总结了数据序列处理的最新进展，重点介绍了利用现代计算平台算力的并行与分布式数据序列索引，内容涵盖作者在MEDES'23会议上的教程。
2023-10-21 cs.DB cs.DC
Proceedings 8th International Workshop on Parallel and Distributed Methods in verifiCation
第八届并行和分布式验证方法国际研讨会（PDMC 2009）于2009年11月4日在埃因霍温理工大学举行，与正式方法2009和其他相关活动一起首次在正式方法周的标题下举行。本卷载有研讨会的最后会议记录。
2009-12-15 cs.CE cs.DC cs.LO
IMSuite: A Benchmark Suite for Simulating Distributed Algorithms
考虑到现实世界的分布式应用程序的多样性，很难确定一个有代表性的子集的分布式基准，我们专注于其底层的分布式算法。我们提出并描述了一个新的内核基准套件（名为IMSuite），模拟任务并行语言中的一些经典的分布式算法。我们提出了我们的内核的多种变体，大致分为两个方面：（a）不同的同步原语（有和没有细粒度同步原语）;以及（b）不同形式的并行化（数据并行和递归任务并行）。我们的表征涵盖了分布式应用程序的有趣的方面，如远程通信请求的分布，同步，任务创建，任务终止和原子操作的数量。我们通过改变问题的大小、计算线程的数量和输入配置来研究内核的行为（执行时间）。我们还提出了一套涉及的输入生成器和输出验证器。
2013-10-10 cs.DC
Horn: A System for Parallel Training and Regularizing of Large-Scale Neural Networks
Samsung Electronics（三星电子）
我介绍了一种新的分布式系统，用于在分布式计算架构上有效地训练和正则化大规模神经网络。实验证明了基于神经元计算模型的灵活模型划分和并行化策略的有效性，并实现了集体和并行的丢弃神经网络训练。最后对MNIST手写体数字分类进行了实验，并给出了实验结果。
2017-02-26 cs.DC cs.LG cs.NE
A 2D Parallel Triangle Counting Algorithm for Distributed-Memory Architectures
三角形计数是一种基本的图分析操作，广泛用于网络科学和图挖掘。随着需要分析的图形的大小不断增长，需要为分布式存储器并行系统开发可扩展的算法。为此，我们提出了一个分布式内存三角形计数算法，它使用了一个二维循环分解，以平衡的计算和减少通信开销。该算法构造其通信和计算步骤，以减少其内存开销，并包括利用图的稀疏性和计算结构的方式的关键优化。合成和真实世界的图上的实验表明，我们的算法获得了平均相对加速比，范围在3.24和7.22之间的10.56跨数据集使用169 MPI排名超过16 MPI排名所取得的性能。此外，我们得到了10.2倍的平均加速比与以前开发的分布式存储器并行算法。
2019-07-22 cs.DC
A Distributed Block Chebyshev-Davidson Algorithm for Parallel Spectral Clustering
Purdue University（普渡大学）；University of Maryland（马里兰大学）
本文提出一种分布式块Chebyshev-Davidson算法，通过解析谱估计解决大规模前特征值问题，并实现具有$\sqrt{p}$加速比的并行计算，显著提升了谱聚类在大数据环境下的效率与可扩展性。
2024-01-05 cs.DC cs.LG cs.NA
Atomic RMI 2: Highly Parallel Pessimistic Distributed Transactional Memory
分布式事务存储器（DTM）是一种新兴的分布式同步方法，它基于事务抽象在分布式计算中的应用。DTM有几种系统模型，但控制流模型（CF）特别强大，因为它允许事务将计算委托给远程节点以及访问共享数据。然而，没有现有的CF DTM系统与在其他模型中操作的最先进的系统具有同等的性能。因此，我们介绍了一个CF DTM同步算法，OptSVA-CF。它支持细粒度的悲观并发控制，因此避免了中止，从而避免了不可撤销操作的问题。此外，它使用早期发布和可扩展性来高度并行并发事务，同时保持强大的安全属性。我们将其实现为Atomic RMI 2，实际上产生了一个CF DTM系统，正如我们的评估所示，它可以胜过最先进的非CF DTM，如HyFlow 2。
2016-06-13 cs.DC
Design of a Parallel and Distributed Web Search Engine
本文描述了MOSE（我自己的搜索引擎）的体系结构，一个可扩展的并行和分布式搜索引擎的Web。MOSE是专门设计来有效地利用负担得起的并行架构，如工作站集群。其模块化和可扩展的体系结构可以很容易地进行调整，以满足手头应用的带宽要求。任务并行和数据并行的方法，利用MOSE内，以提高吞吐量和有效地使用通信，存储和计算资源。我们使用一组html文档作为基准，并在三台SMP Linux PC的集群上进行了初步实验。
2004-07-21 cs.DC cs.IR
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来，人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战，并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的，统一的，算法框架，连续凸逼近（SCA）技术的基础上，并行和分布式解决方案的一般类的非凸约束（不可分离的，网络）的问题。所提出的框架统一和概括了现有的几种SCA方法，使他们呼吁并行/分布式实现，同时提供了一个灵活的选择函数逼近，步长时间表，和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法，在Cetraro，意大利，2014年6月23日至27日举行的讲座。这些讲座是：I）连续凸逼近方法：基础; II）并行连续凸逼近方法;和III）分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
Parallel Implementation of Distributed Global Optimization (DGO)
分布式全局优化（DGO）[13]在MP-1和NCUBE并行计算机上的并行实现显示了该算法性能的近似O（n）增长。因此，在并行处理器上实现DGO可以弥补该算法的唯一缺点，即随着维数的增加，执行时间为O（n2）。DGO的并行实现的加速因子是相对于相同的问题的顺序执行时间在IBM-IV计算机上测量的。在MP-1上对算法进行SIMD实现，对于n = 9的优化问题，总加速比为126，实现了最佳的加速。该优化问题分布在Mas-Par的128个PE上。
2020-12-16 cs.DC math.OC
DASH: A C++ PGAS Library for Distributed Data Structures and Parallel Algorithms
我们提出了DASH，一个C++模板库，提供分布式数据结构和并行算法，并实现了编译器免费PGAS（分区全局地址空间）的方法。DASH提供了许多生产力和性能功能，例如全局视图数据结构、对所有者计算模型的有效支持、灵活的多维数据分布方案以及与STL（标准模板库）算法的互操作性。DASH还具有并行目标机器的灵活表示，并允许通过团队的概念利用几个分层组织的本地级别。我们在许多基准应用程序上评估DASH，并使用MPI双侧模型将科学代理应用程序移植到DASH。我们发现DASH提供了出色的生产力和性能，并展示了高达9800个核心的可扩展性。
2016-10-05 cs.DC
Distributed Parallel Inference on Large Factor Graphs
Carnegie Mellon University（卡内基梅隆大学）；Intel Research（英特尔研究院）
随着计算机集群变得越来越普遍，人工智能领域遇到的问题越来越多，对高效并行推理算法的需求也越来越大。我们考虑的问题，并行推理的大因素图在分布式内存设置的计算机集群。我们开发了一个新的高效的并行推理算法，DBRSplash，它结合了过分割图分割，信念剩余调度，和统一的工作飞溅操作。我们凭经验评估DBRSplash算法在120处理器集群，并证明线性超线性的性能增益大因素图模型。
2012-05-09 cs.AI cs.DC
MPI-rical: Data-Driven MPI Distributed Parallelism Assistance with Transformers
Ben-Gurion University（本-古里安大学）；Israel Atomic Energy Commission（以色列原子能委员会）；Intel Labs（英特尔实验室）；Nuclear Research Center – Negev（内盖夫核研究中心）；Technion – Israel Institute of Technology（以色列理工学院）
针对手动编写MPI并行代码易出错的问题，本文提出数据驱动的编程辅助工具MPI-RICAL，利用监督语言模型实时建议MPI函数及位置，并构建了MPICodeCorpus语料库，在真实科学计算基准上达到0.87-0.91的F1分数。
2023-08-30 cs.CL cs.DC cs.LG
Distributed Hybrid Parallelism for Large Language Models: Comparative Study and System Design Guide
Huawei Canada（华为加拿大）
本文研究大规模语言模型的分布式混合并行方法，通过比较分析和系统设计指南，探讨优化并行策略以提升训练和推理效率。
2026-02-09 cs.AI cs.CV cs.DC
Quantum Algorithms and Simulation for Parallel and Distributed Quantum Computing
构建大规模量子计算机的一种可行方法是将小规模量子计算机与量子网络互连，以创建更大的分布式量子计算机。当为这种分布式量子计算机设计量子算法时，可以利用系统中固有的附加并行化和分布能力。分布式量子计算需要克服的另一个困难是，需要一个复杂的控制系统来协调各种组件。在这项工作中，我们旨在解决这些问题。我们明确定义了量子算法的分布式意味着什么，然后提出了各种符合定义的量子算法。我们讨论了潜在的好处，并提出了一个高层次的计划控制系统。有了这个，我们提出了我们的软件框架称为Interlin-q，一个模拟平台，旨在简化设计和验证并行和分布式量子算法。我们通过使用Interlin-q实现一些讨论过的算法来演示Interlin-q，并规划将Interlin-q开发成分布式量子计算机控制系统的未来步骤。
2022-04-07 cs.DC quant-ph
ZenLDA: An Efficient and Scalable Topic Model Training System on Distributed Data-Parallel Platform
本文介绍了我们最近的努力，zenLDA，一个有效的和可扩展的Collapsed Gibbs Sampling系统的潜在狄利克雷分配训练，这被认为是具有挑战性的，需要数据并行和模型并行，因为大样本数据高达数十亿的文档和大模型大小高达数万亿的参数。zenLDA结合了算法级改进和系统级优化。首先提出了一种新的CGS算法，该算法平衡了时间复杂度、模型精度和并行化灵活性。zenLDA中的输入语料库表示为有向图，模型参数标注为相应的顶点属性。分布式训练通过划分图来并行化，在每次迭代中，它首先并行地对所有分区应用CGS步骤，然后使计算的模型彼此同步。通过将数据并行和模型并行转化为图并行，实现了数据并行和模型并行。我们重新审视了系统效率和模型精度之间的权衡，并提出了近似方法，如非同步模型，稀疏模型初始化和“收敛”令牌排除。zenLDA基于Spark中的GraphX构建，提供分布式数据抽象（RDD）和富有表现力的API，以简化编程工作，同时隐藏系统复杂性。这使我们能够实现其他CGS算法与几行代码的变化。为了更好地适应分布式数据并行框架，并实现与当代系统相当的性能，我们还提出了几个系统级优化，以推动性能极限。在Web规模语料库上对zenLDA进行了测试，结果表明zenLDA在获得更好的性能的同时，也获得了更高的模型精度。
2015-11-02 cs.DC
Parallel/distributed implementation of cellular training for generative adversarial neural networks
生成对抗网络（GANs）被广泛用于学习生成模型。GANs由两个网络组成，一个生成器和一个自适应器，它们应用对抗学习来优化它们的参数。本文提出了一种并行/分布式实现的细胞竞争协同进化方法训练两个种群的GANs。提出了一种适用于高性能/超级计算中心的分布式存储并行实现方案。高效的结果报告解决生成的手写数字（MNIST数据集样本）。此外，所提出的实现是能够减少训练时间和规模适当考虑不同的网格大小的训练。
2020-08-03 cs.DC cs.NE
I CAN HAS SUPERCOMPUTER? A Novel Approach to Teaching Parallel and Distributed Computing Concepts Using a Meme-Based Programming Language
提出了一种新的方法来教授同步和远程存储器访问的并行和分布式计算概念。本文提出的单程序多数据（SPMD）分区全局地址空间（PGAS）模型使用一种面向本科生的过程式程序设计语言。我们建议，有趣的性质的方法可能会产生创造力和兴趣，使用这些概念后，在更清醒的环境。具体来说，我们实现了并行扩展LOLCODE内的源到源编译器足够的并行和分布式算法的发展，通常使用传统的高性能计算语言和API。
2017-03-29 cs.DC cs.PL
