HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism
National University of Singapore（新加坡国立大学）
HelixPipe提出注意力并行划分与双重先进后出微批次调度，结合无注意力重计算和分块MLP，显著提升长序列Transformer分布式训练的吞吐量和可扩展性，在128k序列长度下实现26%加速。
2025-07-01 cs.DC cs.LG
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS（LAAS-法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
我们描述了并行或分布式异步迭代算法的几个特点，如无界延迟，可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后，给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
Systems for Parallel and Distributed Large-Model Deep Learning Training
University of California, San Diego（加州大学圣迭戈分校）
深度学习（DL）已经改变了各种领域的应用，包括计算机视觉、自然语言处理和表格数据分析。对改进的DL模型准确性的研究已经导致从业者探索越来越大的神经架构，最近的一些Transformer模型跨越了数千亿个可学习参数。这些设计为DL空间引入了新的规模驱动系统挑战，例如内存瓶颈，运行时效率低下以及模型开发的高成本。解决这些问题的努力已经探索了诸如神经架构的并行化、跨存储层次结构溢出数据以及存储器高效数据表示之类的技术。本次调查将探讨大型培训系统的前景，重点介绍主要挑战以及用于解决这些挑战的各种技术。
2023-01-06 cs.DC cs.LG
Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning
UC Berkeley（加州大学伯克利分校）；Amazon Web Services（亚马逊云科技）；Google（谷歌）；Shanghai Jiao Tong University（上海交通大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）
Alpa通过生成统一数据、运算符和流水线并行的执行计划，自动化大型深度学习（DL）模型的模型并行训练。现有的模型并行训练系统要么需要用户手动创建并行化计划，要么从模型并行配置的有限空间自动生成并行化计划。它们不足以在分布式计算设备上扩展复杂的DL模型。Alpa通过将并行性视为两个层次来分配大型DL模型的训练：操作员间和操作员内并行性。在此基础上，Alpa构造了一种新的面向大规模模型并行执行计划的层次空间。Alpa设计了许多编译通道，以在每个并行级别自动导出高效的并行执行计划。Alpa实现了一个高效的运行时来协调分布式计算设备上的两级并行执行。我们的评估表明，Alpa生成的并行化计划可以匹配或优于手动调整的模型并行训练系统，即使是针对它们设计的模型。与专门的系统不同，Alpa还可以推广到具有异构架构的模型和没有手动设计计划的模型。Alpa的源代码可在https://github.com/alpa-projects/alpa上公开获取
2022-06-28 cs.DC cs.LG cs.PL
Parallel and Distributed Collaborative Filtering: A Survey
协同过滤是实现推荐系统时最优选的技术之一。最近，极大的兴趣已经转向并行和分布式实现的协同过滤算法。这项工作是一个调查的并行和分布式协同过滤的实现，旨在不仅提供一个全面的介绍该领域的发展，但也提供了未来的研究方向，突出的问题，需要进一步发展。
2014-09-09 cs.DC cs.IR
A Distributed Chunk Calculation Approach for Self-scheduling of Parallel Applications on Distributed-memory Systems
循环调度技术旨在实现科学应用程序的负载平衡执行。用于分布式存储器系统的动态循环自调度（DLS）库通常是基于MPI的，并且采用集中式块计算方法（CCA）来分配循环迭代的可变大小的块。我们提出了一个分布式块计算方法（DCA），支持各种类型的DLS技术。使用CCA和DCA，十二DLS技术的实施和评估在不同的CPU减速的情况下。结果表明，使用DCA实现的DLS技术优于其相应的CCA实现的，特别是在极端的系统减速的情况下。
2021-01-18 cs.DC
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology（国防科技大学）
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法，涵盖系统架构、仿真与计算并行、同步机制及进化强化学习，并比较了16个开源库，展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
A Distributed Parallel Algorithm for Minimum Spanning Tree Problem
在本文中，我们提出并评估了一个并行算法求解最小生成树（MST）问题的超级计算机与分布式内存。与原始GHS（Gallager、Humblet、Spira）算法相比，该算法依赖于对一种特定消息类型的消息处理顺序要求的放宽。我们的算法采用哈希和消息压缩优化技术以及。据我们所知，这是GHS算法的第一个并行实现，线性扩展到Infiniband集群的32个节点（256个核心）以上。
2016-10-14 cs.DC
A Linear Algebraic Approach to Model Parallelism in Deep Learning
Virginia Tech（弗吉尼亚理工大学）
随着网络规模和复杂性的增长，在大型集群计算环境中训练深度神经网络（DNN）变得越来越必要。本地内存和处理限制需要强大的数据和模型并行来跨越计算节点边界。我们提出了一种线性代数方法来建模深度学习中的并行性，它允许DNN中任何张量的并行分布。而不是依赖于自动微分工具，这并不普遍支持分布式内存并行模型，我们表明，并行数据移动操作，例如，广播、求和-归约和晕圈交换是线性算子，通过定义相关的空间和内积，我们手动开发了DNN的基于梯度的训练所需的伴随或向后算子。我们使用这些并行原语构建分布式DNN层，与顺序层实现组合，并通过使用DistDL（基于PyTorch和MPI的分布式深度学习工具包）构建和训练分布式DNN来演示其应用。
2020-06-04 cs.DC cs.LG stat.ML
Graph Partitioning via Parallel Submodular Approximation to Accelerate Distributed Machine Learning
Carnegie Mellon University（卡内基梅隆大学）
分布式计算擅长处理大规模数据，但是同步共享参数的通信成本可能会降低整体性能。幸运的是，在许多问题中，参数和数据之间的交互是稀疏的，这允许有效的划分，以减少通信开销。在本文中，我们制定的数据放置图分区问题。我们提出了一个分布式划分算法。我们提供理论保证和高效的实施。我们还提供了一个高效的实现算法，并证明其有前途的结果，文本数据集和社交网络。我们表明，该算法通过消除90%的网络通信，导致1.6倍的加速的状态的开始分布式机器学习系统。
2015-05-18 cs.AI cs.DC cs.LG
Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator
Baidu, Inc.（百度公司）
联邦学习是一种新的分布式学习机制，它允许在不同数据提供者拥有的分散数据的大型语料库上进行模型训练，而不会共享或泄漏原始数据。根据数据分发的特点，通常可以将其分为三大类：水平联邦学习、垂直联邦学习和联邦迁移学习。在本文中，我们提出了一种解决方案，用于垂直联邦学习的并行分布逻辑回归。与现有的作品相比，第三方协调员的作用是删除在我们提出的解决方案。该系统建立在参数服务器体系结构上，目的是在大容量训练数据的情况下，通过利用服务器集群来加快模型训练。我们还评估了并行分布式模型训练的性能，实验结果表明该系统具有很好的可扩展性。
2019-11-22 cs.CR cs.DC cs.LG
Basic Parallel and Distributed Computing Curriculum
随着多核处理器的出现及其快速扩展，很明显，{ \em并行计算}现在是计算机科学和工程（及相关）课程的真正要求。除了并行计算设备的普遍性之外，我们还应该考虑到这样一个事实，即有很多现有的软件是以顺序模式实现的，因此需要适应并行执行。因此，它要求程序员能够设计并行程序，也有一些技能，从一个给定的顺序代码移动到相应的并行代码。在本文中，我们提出了一个基本的教育方案，如何在并行计算的普通计算机科学家和工程师的一致和有效的背景。
2018-02-12 cs.DC
Modern Distributed Data-Parallel Large-Scale Pre-training Strategies For NLP models
分布式深度学习由于对具有更大量参数的深度学习模型的计算资源的不断扩大的需求而变得越来越流行。与传统的训练方法不同，数据并行训练允许多个计算节点同时训练大型深度学习模型，以提高训练效率。在本文中，我们提出并比较了使用PyTorch在语言模型GPT-2上使用100 M参数进行数据并行训练的六种策略。这些策略是单GPU，单参数服务器，分布式参数服务器，Horovod，分布式参数服务器与Apex混合精度策略，Horovod与Apex混合精度策略。我们还分析了定量的实验结果，从每一个策略。最后，我们得出结论，具有Apex混合精度策略的分布式参数服务器在单节点训练上具有最好的性能，而具有Apex的Horovod是在我们有单个或多个节点时使用的最鲁棒的方法。
2022-06-13 cs.DC
High Performance Parallel Sort for Shared and Distributed Memory MIMD
我们提出了四种高性能的混合排序方法开发的各种并行平台：共享内存多处理器，分布式多处理器，集群利用共享和分布式内存的存在。合并排序以其稳定性而闻名，被用于设计我们的几个算法。我们通过将其与快速排序相结合来提高其并行性能。我们提出了两个模型设计的共享内存MIMD（OpenMP）：（a）一个非递归的合并排序和（b）混合快速排序和合并排序。第三个模型是设计用于分布式内存MIMD（MPI）使用混合快速排序和合并排序。我们的第四个模型的目的是利用共享内存的各个节点的今天的集群系统，并消除所有的内部数据传输之间的不同节点，我们的模型实现了一个一步MSD-Radix分发数据在10个包（MPI），而每个节点的并行核心使用Quicksort排序他们的数据分区顺序，然后合并和排序他们在并行采用OpenMp。所有开发的模型的性能优于基线性能。在对小数据进行排序时，混合快速排序和合并排序的性能优于集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序，但对于较大的数据，集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序的加速比变得更大并且不断改进。其中分布存储并行混合快速排序和归并排序的加速比最好。
2020-03-02 cs.DC
Restructuring, Pruning, and Adjustment of Deep Models for Parallel Distributed Inference
使用多个节点和并行计算算法已经成为提高深度神经网络的训练和执行时间以及传感器网络中的有效集体智能的主要工具。在本文中，我们考虑在多个处理节点上并行实现一个已经训练好的深度模型（也称为worker），其中深度模型被划分为若干并行子模型，每个子模型由worker执行。由于工作者之间的同步和数据传输引起的延迟会对并行实现的性能产生负面影响，因此希望并行子模型之间的相互依赖性最小。为了实现这一目标，我们建议重新安排神经网络中的神经元，并将它们分区（而不改变神经网络的一般拓扑结构），使得子模型之间的相互依赖性最小化的计算和通信约束下的工人。我们提出了RePurpose，逐层模型重构和修剪技术，保证了整体并行模型的性能。为了有效地应用RePurpose，我们提出了一种基于$\ell_0$优化和Munkres分配算法的方法。我们表明，与现有的方法相比，RePurpose显着提高了效率的分布式推理通过并行实现，无论是在通信和计算复杂性。
2020-08-19 cs.DC cs.LG stat.ML
Theoretical Limits of Pipeline Parallel Optimization and Application to Distributed Deep Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们研究了深度学习架构的流水线并行学习的理论限制，这是一种分布式设置，其中计算是按层而不是按示例分布的。对于光滑的凸和非凸目标函数，我们提供了匹配的复杂性下限和上限，并表明Nesterov的加速梯度下降的朴素流水线并行化是最佳的。对于非光滑凸函数，我们提出了一种新的算法流水线并行随机平滑（PPRS），是在一个$d^{1/4}$乘法因子的最佳收敛速度，其中$d$是底层的尺寸。虽然收敛速度仍然遵循缓慢的$\varepsilon^{-2}$收敛速度，但深度依赖部分被加速，导致接近线性的加速和收敛时间，仅略微取决于深度学习架构的深度。最后，我们对非光滑非凸的情况进行了实证分析，结果表明，对于困难和高度非光滑的问题，PPRS优于更传统的优化算法，如梯度下降和Nesterov的加速梯度下降，用于样本量有限的问题，如Few-Shot或对抗学习。
2019-10-11 cs.DC cs.LG stat.ML
Parallel and Distributed Simulation: Five W's (and One H)
新闻业（以及许多其他领域）的一条众所周知的黄金法则是，如果你想知道某件事的全部故事，你必须回答所有五个W（谁，什么，何时，何地，为什么）和H（如何）。这个扩展的摘要是关于并行和分布式仿真中缺少什么，以及这如何影响其普及。
2011-05-03 cs.DC cs.MA
Distributed and Parallel Algorithms for Set Cover Problems with Small Neighborhood Covers
本文研究了一类集合覆盖问题，它满足一个特殊性质，我们称之为{ \em小邻域覆盖}性质.这个类包含几个研究得很好的问题，包括顶点覆盖，区间覆盖，袋区间覆盖和树覆盖。我们设计了统一的分布式和并行算法，可以处理任何集覆盖问题属于上述框架下，并产生常数因子近似。这些算法在分布式环境中以多对数通信轮运行，在并行环境中以NC运行。
2013-12-27 cs.DC cs.DS
A Load-Balanced Parallel and Distributed Sorting Algorithm Implemented with PGX.D
排序一直是科学研究中最具挑战性的问题之一。虽然许多技术和算法已经提出了有效的并行排序实现的理论，然而，实现所需的性能在不同类型的架构与大量的处理器仍然是一个具有挑战性的问题。最大限度地提高应用程序的并行性水平，可以通过最小化由于负载不平衡和等待时间，由于内存延迟的开销。在本文中，我们提出了一个分布式排序算法实现PGX.D，一个快速的分布式图形处理系统，它优于Spark的分布式排序实现约2倍-3倍，通过隐藏通信延迟和最大限度地减少不必要的开销。此外，它表明，建议的PGX.D排序方法处理数据集包含许多重复的数据录入有效，并始终保持平衡的工作负载为不同的输入数据分布类型。
2017-01-14 cs.DC
Optimizations to the Parallel Breath First Search on Distributed Memory
图及其遍历由于其适用于数学、科学和技术的各个领域而变得越来越重要。生物化学（基因组学）、电子工程（通信网络）、计算机科学（算法和计算）等领域的各种问题都可以建模为图问题。真实世界的场景，包括社区，他们的相互联系和相关的属性可以使用图进行研究。因此快速、可扩展、低成本地执行并行图算法是非常重要的。在这个实现中的并行宽度优先搜索的图形，我们实现了并行BFS算法与1-D分区的图中所描述的[2]，并已减少了执行时间，通过优化通信的本地缓冲区。
2020-03-10 cs.DC
P4SGD: Programmable Switch Enhanced Model-Parallel Training on Generalized Linear Models on Distributed FPGAs
P4SGD提出一种基于分布式FPGA和可编程交换机的模型并行训练系统，通过流水线并行和交换机内聚合协议，实现广义线性模型的高效分布式训练，收敛速度比最先进的GPU方案快达6.5倍。
2023-05-10 cs.DC
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法，但据我们所知，混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法，提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现，它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色，给出了第一个已知的分布式，多GPU算法，这些问题。此外，我们提出了一种新的启发式，以减少通信的分布式图着色的包围圈。我们的实验表明，我们的方法有效地运行在输入太大，适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
CoInDiVinE: Parallel Distributed Model Checker for Component-Based Systems
CoInDiVinE是一个并行分布式模型检验的工具，在分层的基于组件的系统中组件之间的交互。该工具扩展了DiVinE框架与一个新的输入语言（组件交互自动机）和属性规范逻辑（CI-LTL）。由于该语言不同于DiVinE的输入语言，我们的工具采用了一种新的状态空间生成算法，也支持偏序约简。实验表明，该工具在并行环境下运行时具有良好的缩放性能。
2011-11-02 cs.DC cs.SE
A Discussion on Parallelization Schemes for Stochastic Vector Quantization Algorithms
Telecom ParisTech（巴黎高等电信学院）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学（巴黎第六大学））；Lokad（洛卡德公司）；Université Paris I Panthéon-Sorbonne（巴黎第一大学（先贤祠-索邦大学））
本文研究了随机矢量量化算法的并行化方案，以利用分布式资源获得时间加速。我们发现，最直观的并行化方案并没有导致更好的性能比顺序算法。因此，另一个分布式计划，获得预期的加速。然后，它被改进，以适应分布式体系结构的通信速度慢，机器间的同步成本太高。该计划进行了测试，模拟分布式架构，并为最后一个，与Microsoft Windows Azure平台获得加速到32个虚拟机。
2012-05-10 cs.DC cs.LG stat.ML
DuctTeip: An efficient programming model for distributed task based parallel computing
用于科学计算的当前高性能计算机系统通常在分布式存储器环境中组合共享存储器计算节点。从这些复杂的系统中提取高性能需要量身定制的方法。基于任务的并行编程在简化编程和利用共享存储器系统的硬件并行性方面都取得了成功。本文重点讨论如何将任务并行编程扩展到分布式内存系统。我们使用任务和数据的分层分解，以适应不同级别的硬件。我们测试所提出的编程模型在两个不同的应用程序，Cholesky分解，和浅水方程求解器。我们还比较了我们的实现与其他框架的分布式任务并行编程的性能，并表明它是有竞争力的。
2018-01-10 cs.CE cs.DC cs.PF
Popt4jlib: A Parallel/Distributed Optimization Library for Java
本文描述了开源popt 4jlib库（https：//githhub.org/ioannislogou/popt4jlib）的架构设计以及关键实现细节，该库包含相当大量的元启发式和其他精确优化算法并行/分布式Java实现。虽然我们报告的加速和效率问题的一些算法在图书馆，我们主要关心的是详细的设计决策的关键并行/分布式基础设施内置到图书馆，使开发人员更容易开发自己的并行实现的算法，而不是简单地使用它作为一个关闭的自我应用程序库。
2019-08-01 cs.DC cs.NE
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习（ML）算法的实现归结为解决数值优化问题。在这种情况下，随机梯度下降（SGD）方法长期以来已被证明提供良好的结果，无论是在收敛性和准确性。最近，已经提出了几种并行化方法，以扩展SGD来解决非常大的ML问题。在其核心，这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD，它利用异步单边通信范式。与现有的方法相比，异步并行随机梯度下降（ASGD）提供更快（或至少相等）的收敛，接近线性缩放和稳定的精度。
2015-10-05 cs.DC
A Unified Cloud-Enabled Discrete Event Parallel and Distributed Simulation Architecture
Universidad Complutense de Madrid（马德里康普顿斯大学）；The MITRE Corporation（米特雷公司）
如今的云仿真环境主要用于对复杂系统进行建模和仿真，以满足远程访问和可变容量需求。在这方面，建模与仿真（M\&S）计算需求中的可扩展性问题可以通过按需云部署的弹性来解决。然而，按照这些弹性原则实现高性能云M\&S框架并不是一项简单的任务，因为并行化和分布现有架构是具有挑战性的。事实上，并行和分布式M\&S的发展都是按照不同的方式发展的。并行解决方案一直专注于ad-hoc解决方案，而分布式方法，另一方面，导致了标准分布式框架的定义，如高层体系结构（HLA）或影响了分布式技术的使用，如消息传递接口（MPI）。只有少数开发能够随着计算硬件资源部署的当前弹性而发展，主要集中在模拟即服务（SaaS）的实现上，尽管独立于并行ad-hoc方法分支。在本文中，我们提出了一个统一的并行和分布式M\&S架构，具有足够的灵活性，部署并行和分布式仿真在云中，以较低的努力，而无需修改底层模型的源代码，并达到重要的加速比对顺序模拟，特别是在并行实现。我们的框架是基于离散事件系统规范（DEVS）的形式主义。使用xDEVS M\&S工具，应用程序编程接口（API）和DEVStone基准测试多达8个计算节点的并行和分布式框架的性能，分别获得最大的加速比$15.95\times$和$1.84\times$。
2023-02-22 cs.AI cs.DC
Parallel and Distributed Data Series Processing on Modern and Emerging Hardware
本文总结了数据序列处理的最新进展，重点介绍了利用现代计算平台算力的并行与分布式数据序列索引，内容涵盖作者在MEDES'23会议上的教程。
2023-10-21 cs.DB cs.DC
Proceedings 8th International Workshop on Parallel and Distributed Methods in verifiCation
第八届并行和分布式验证方法国际研讨会（PDMC 2009）于2009年11月4日在埃因霍温理工大学举行，与正式方法2009和其他相关活动一起首次在正式方法周的标题下举行。本卷载有研讨会的最后会议记录。
2009-12-15 cs.CE cs.DC cs.LO
IMSuite: A Benchmark Suite for Simulating Distributed Algorithms
考虑到现实世界的分布式应用程序的多样性，很难确定一个有代表性的子集的分布式基准，我们专注于其底层的分布式算法。我们提出并描述了一个新的内核基准套件（名为IMSuite），模拟任务并行语言中的一些经典的分布式算法。我们提出了我们的内核的多种变体，大致分为两个方面：（a）不同的同步原语（有和没有细粒度同步原语）;以及（b）不同形式的并行化（数据并行和递归任务并行）。我们的表征涵盖了分布式应用程序的有趣的方面，如远程通信请求的分布，同步，任务创建，任务终止和原子操作的数量。我们通过改变问题的大小、计算线程的数量和输入配置来研究内核的行为（执行时间）。我们还提出了一套涉及的输入生成器和输出验证器。
2013-10-10 cs.DC
Horn: A System for Parallel Training and Regularizing of Large-Scale Neural Networks
Samsung Electronics（三星电子）
我介绍了一种新的分布式系统，用于在分布式计算架构上有效地训练和正则化大规模神经网络。实验证明了基于神经元计算模型的灵活模型划分和并行化策略的有效性，并实现了集体和并行的丢弃神经网络训练。最后对MNIST手写体数字分类进行了实验，并给出了实验结果。
2017-02-26 cs.DC cs.LG cs.NE
A 2D Parallel Triangle Counting Algorithm for Distributed-Memory Architectures
三角形计数是一种基本的图分析操作，广泛用于网络科学和图挖掘。随着需要分析的图形的大小不断增长，需要为分布式存储器并行系统开发可扩展的算法。为此，我们提出了一个分布式内存三角形计数算法，它使用了一个二维循环分解，以平衡的计算和减少通信开销。该算法构造其通信和计算步骤，以减少其内存开销，并包括利用图的稀疏性和计算结构的方式的关键优化。合成和真实世界的图上的实验表明，我们的算法获得了平均相对加速比，范围在3.24和7.22之间的10.56跨数据集使用169 MPI排名超过16 MPI排名所取得的性能。此外，我们得到了10.2倍的平均加速比与以前开发的分布式存储器并行算法。
2019-07-22 cs.DC
A Distributed Block Chebyshev-Davidson Algorithm for Parallel Spectral Clustering
Purdue University（普渡大学）；University of Maryland（马里兰大学）
本文提出一种分布式块Chebyshev-Davidson算法，通过解析谱估计解决大规模前特征值问题，并实现具有$\sqrt{p}$加速比的并行计算，显著提升了谱聚类在大数据环境下的效率与可扩展性。
2024-01-05 cs.DC cs.LG cs.NA
Atomic RMI 2: Highly Parallel Pessimistic Distributed Transactional Memory
分布式事务存储器（DTM）是一种新兴的分布式同步方法，它基于事务抽象在分布式计算中的应用。DTM有几种系统模型，但控制流模型（CF）特别强大，因为它允许事务将计算委托给远程节点以及访问共享数据。然而，没有现有的CF DTM系统与在其他模型中操作的最先进的系统具有同等的性能。因此，我们介绍了一个CF DTM同步算法，OptSVA-CF。它支持细粒度的悲观并发控制，因此避免了中止，从而避免了不可撤销操作的问题。此外，它使用早期发布和可扩展性来高度并行并发事务，同时保持强大的安全属性。我们将其实现为Atomic RMI 2，实际上产生了一个CF DTM系统，正如我们的评估所示，它可以胜过最先进的非CF DTM，如HyFlow 2。
2016-06-13 cs.DC
Design of a Parallel and Distributed Web Search Engine
本文描述了MOSE（我自己的搜索引擎）的体系结构，一个可扩展的并行和分布式搜索引擎的Web。MOSE是专门设计来有效地利用负担得起的并行架构，如工作站集群。其模块化和可扩展的体系结构可以很容易地进行调整，以满足手头应用的带宽要求。任务并行和数据并行的方法，利用MOSE内，以提高吞吐量和有效地使用通信，存储和计算资源。我们使用一组html文档作为基准，并在三台SMP Linux PC的集群上进行了初步实验。
2004-07-21 cs.DC cs.IR
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来，人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战，并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的，统一的，算法框架，连续凸逼近（SCA）技术的基础上，并行和分布式解决方案的一般类的非凸约束（不可分离的，网络）的问题。所提出的框架统一和概括了现有的几种SCA方法，使他们呼吁并行/分布式实现，同时提供了一个灵活的选择函数逼近，步长时间表，和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法，在Cetraro，意大利，2014年6月23日至27日举行的讲座。这些讲座是：I）连续凸逼近方法：基础; II）并行连续凸逼近方法;和III）分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
Parallel Implementation of Distributed Global Optimization (DGO)
分布式全局优化（DGO）[13]在MP-1和NCUBE并行计算机上的并行实现显示了该算法性能的近似O（n）增长。因此，在并行处理器上实现DGO可以弥补该算法的唯一缺点，即随着维数的增加，执行时间为O（n2）。DGO的并行实现的加速因子是相对于相同的问题的顺序执行时间在IBM-IV计算机上测量的。在MP-1上对算法进行SIMD实现，对于n = 9的优化问题，总加速比为126，实现了最佳的加速。该优化问题分布在Mas-Par的128个PE上。
2020-12-16 cs.DC math.OC
DASH: A C++ PGAS Library for Distributed Data Structures and Parallel Algorithms
我们提出了DASH，一个C++模板库，提供分布式数据结构和并行算法，并实现了编译器免费PGAS（分区全局地址空间）的方法。DASH提供了许多生产力和性能功能，例如全局视图数据结构、对所有者计算模型的有效支持、灵活的多维数据分布方案以及与STL（标准模板库）算法的互操作性。DASH还具有并行目标机器的灵活表示，并允许通过团队的概念利用几个分层组织的本地级别。我们在许多基准应用程序上评估DASH，并使用MPI双侧模型将科学代理应用程序移植到DASH。我们发现DASH提供了出色的生产力和性能，并展示了高达9800个核心的可扩展性。
2016-10-05 cs.DC
Distributed Parallel Inference on Large Factor Graphs
Carnegie Mellon University（卡内基梅隆大学）；Intel Research（英特尔研究院）
随着计算机集群变得越来越普遍，人工智能领域遇到的问题越来越多，对高效并行推理算法的需求也越来越大。我们考虑的问题，并行推理的大因素图在分布式内存设置的计算机集群。我们开发了一个新的高效的并行推理算法，DBRSplash，它结合了过分割图分割，信念剩余调度，和统一的工作飞溅操作。我们凭经验评估DBRSplash算法在120处理器集群，并证明线性超线性的性能增益大因素图模型。
2012-05-09 cs.AI cs.DC
Quantum Algorithms and Simulation for Parallel and Distributed Quantum Computing
构建大规模量子计算机的一种可行方法是将小规模量子计算机与量子网络互连，以创建更大的分布式量子计算机。当为这种分布式量子计算机设计量子算法时，可以利用系统中固有的附加并行化和分布能力。分布式量子计算需要克服的另一个困难是，需要一个复杂的控制系统来协调各种组件。在这项工作中，我们旨在解决这些问题。我们明确定义了量子算法的分布式意味着什么，然后提出了各种符合定义的量子算法。我们讨论了潜在的好处，并提出了一个高层次的计划控制系统。有了这个，我们提出了我们的软件框架称为Interlin-q，一个模拟平台，旨在简化设计和验证并行和分布式量子算法。我们通过使用Interlin-q实现一些讨论过的算法来演示Interlin-q，并规划将Interlin-q开发成分布式量子计算机控制系统的未来步骤。
2022-04-07 cs.DC quant-ph
ZenLDA: An Efficient and Scalable Topic Model Training System on Distributed Data-Parallel Platform
本文介绍了我们最近的努力，zenLDA，一个有效的和可扩展的Collapsed Gibbs Sampling系统的潜在狄利克雷分配训练，这被认为是具有挑战性的，需要数据并行和模型并行，因为大样本数据高达数十亿的文档和大模型大小高达数万亿的参数。zenLDA结合了算法级改进和系统级优化。首先提出了一种新的CGS算法，该算法平衡了时间复杂度、模型精度和并行化灵活性。zenLDA中的输入语料库表示为有向图，模型参数标注为相应的顶点属性。分布式训练通过划分图来并行化，在每次迭代中，它首先并行地对所有分区应用CGS步骤，然后使计算的模型彼此同步。通过将数据并行和模型并行转化为图并行，实现了数据并行和模型并行。我们重新审视了系统效率和模型精度之间的权衡，并提出了近似方法，如非同步模型，稀疏模型初始化和“收敛”令牌排除。zenLDA基于Spark中的GraphX构建，提供分布式数据抽象（RDD）和富有表现力的API，以简化编程工作，同时隐藏系统复杂性。这使我们能够实现其他CGS算法与几行代码的变化。为了更好地适应分布式数据并行框架，并实现与当代系统相当的性能，我们还提出了几个系统级优化，以推动性能极限。在Web规模语料库上对zenLDA进行了测试，结果表明zenLDA在获得更好的性能的同时，也获得了更高的模型精度。
2015-11-02 cs.DC
Parallel/distributed implementation of cellular training for generative adversarial neural networks
生成对抗网络（GANs）被广泛用于学习生成模型。GANs由两个网络组成，一个生成器和一个自适应器，它们应用对抗学习来优化它们的参数。本文提出了一种并行/分布式实现的细胞竞争协同进化方法训练两个种群的GANs。提出了一种适用于高性能/超级计算中心的分布式存储并行实现方案。高效的结果报告解决生成的手写数字（MNIST数据集样本）。此外，所提出的实现是能够减少训练时间和规模适当考虑不同的网格大小的训练。
2020-08-03 cs.DC cs.NE
I CAN HAS SUPERCOMPUTER? A Novel Approach to Teaching Parallel and Distributed Computing Concepts Using a Meme-Based Programming Language
提出了一种新的方法来教授同步和远程存储器访问的并行和分布式计算概念。本文提出的单程序多数据（SPMD）分区全局地址空间（PGAS）模型使用一种面向本科生的过程式程序设计语言。我们建议，有趣的性质的方法可能会产生创造力和兴趣，使用这些概念后，在更清醒的环境。具体来说，我们实现了并行扩展LOLCODE内的源到源编译器足够的并行和分布式算法的发展，通常使用传统的高性能计算语言和API。
2017-03-29 cs.DC cs.PL
Parallel QEC Decoding Applied to Distributed Quantum Computing
University of Parma（帕尔马大学）
研究针对分布式量子计算提出并行QEC解码新方法，核心是用奇异值分解预处理信念传播所得错误向量，经复杂度、准确性和可扩展性评估，为分布式量子计算的QEC解码提供了新途径。
2026-07-10 cs.DC cs.PF quant-ph
Asynchronous and Load-Balanced Union-Find for Distributed and Parallel Scientific Data Visualization and Analysis
我们提出了一种新的分布式union-find算法，其特点是异步并行和基于k-d树的负载均衡可扩展的可视化和科学数据的分析。union-find的应用包括水平集提取和临界点跟踪，但分布式union-find可能会受到高同步成本和跨并行进程的不平衡工作负载的影响。在这项研究中，我们证明了现有的分布式union-find中的全局同步可以在不改变最终结果的情况下消除，从而允许重叠的通信和计算进行可扩展的处理。我们还使用k-d树分解来重新分配输入，以改善工作负载平衡。我们使用合成和应用数据对算法的可扩展性进行了基准测试，最多可使用1，024个进程。我们证明了我们的算法在临界点跟踪和超水平集提取与高速成像实验和聚变等离子体模拟，分别使用。
2021-04-13 cs.DC
Massively Parallel Methods for Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）
我们提出了第一个用于深度强化学习的大规模分布式架构。该架构使用四个主要组件：生成新行为的并行演员;从存储的经验中训练的并行学习者;表示价值函数或行为策略的分布式神经网络;以及分布式经验存储。我们使用我们的架构来实现深度Q网络算法（DQN）。我们的分布式算法被应用到49个游戏从雅达利2600游戏的街机学习环境，使用相同的超参数。我们的性能在49款游戏中的41款中超过了非分布式DQN，并且在大多数游戏中减少了实现这些结果所需的墙时间。
2015-07-16 cs.AI cs.DC cs.LG
Compression and Sieve: Reducing Communication in Parallel Breadth First Search on Distributed Memory Systems
对于大规模分布式存储系统上的并行广度优先搜索（BFS）算法，通信开销往往比运算开销大得多，限制了算法的可扩展性。在本文中，我们充分降低分布式BFS的通信成本，通过压缩和筛选的消息。首先，我们利用位图压缩算法，以减少通信之前的消息的大小。其次，我们提出了一种新的分布式目录算法，交叉目录，以筛选消息中的冗余数据。在一个6,144核的SMP集群上的实验表明，该算法的性能是Graph 500中基准实现的2.2倍，通信时间减少了79.0%，性能速率达到了12.1 GTEPS（每秒十亿次边缘访问）。
2012-08-28 cs.DC cs.DS
Matrix Distributed Processing: A set of C++ Tools for implementing generic lattice computations on parallel systems
我们提出了一套编程工具（类和功能写在C++和消息传递接口的基础上）的通用并行（和非并行）晶格模拟的快速发展。它们统称为MDP 1.2。这些编程工具包括用于矩阵、随机数生成器、分布式网格（具有任意拓扑结构）、字段和并行迭代的类和算法。使用它们不需要以前的MPI知识。介绍了量子色动力学在电磁学、电子学、凝聚态和格点量子色动力学中的应用。
2001-08-14 cs.DC cs.MS hep-lat
Scalable data abstractions for distributed parallel computations
将程序表示为部件的分层组合的能力是管理软件复杂性的重要工具，并且这提供的关键抽象是将数据的表示与计算分离。许多当前的并行编程模型使用共享存储器模型来提供数据抽象，但是由于非确定性和访问延迟，这不能很好地与大量核一起扩展。本文提出了一个简单的编程模型，允许可扩展的并行程序表示与分布式表示的数据，它提供了程序员的灵活性，采用共享或分布式风格的数据并行在适用的情况下。它能够有效地实现，并且在硬件中提供一小部分原始功能，它可以被编译为直接在硬件上操作，就像基于堆栈的分配在顺序机中的子程序中操作一样。
2012-10-03 cs.DC cs.PL
A UML-based Approach to Design Parallel and Distributed Applications
并行和分布式应用程序设计是高性能科学和工业计算领域的一个主要领域。多年来，已经提出了各种方法来帮助并行程序开发人员建模他们的应用程序。在本文中，它将使用一些概念，从敏捷开发方法和统一建模语言（UML）的建模并行和分布式应用程序。本文基于UML的方法描述了通过不同的工件和图形的事件在并行和高性能的应用程序的开发中的主要流程。在这里，我们提出了三个工作流程来描述和建模我们的并行程序，领域模型，设计和建模和测试。开发软件的所有这些阶段都允许程序员将问题的要求转换为一个良好而有效的解决方案。
2013-11-27 cs.DC cs.DS cs.SE
Families of Distributed Memory Parallel Graph Algorithms from Self-Stabilizing Kernels-An SSSP Case Study
自稳定算法是一个重要的，因为它们的鲁棒性和保证收敛。自稳定算法从任意状态开始，保证收敛到一个合法的状态，但当性能和可扩展性很重要时，这些算法不能直接用于解决分布式图处理问题。在本文中，我们展示了“抽象图机”（AGM）模型，可用于转换自稳定算法的形式适合于分布式图形处理。AGM是一种在图上并行计算的数学模型，它为自稳定算法添加了工作依赖性和排序。使用AGM模型，我们表明，一些现有的分布式单源最短路径（SSSP）算法实际上是自稳定SSSP的专业化。我们扩展AGM模型，在不同的空间层次上应用更细粒度的排序，以获得额外的可扩展的SSSP算法的变体，基本上使算法能够为特定的目标架构生成。实验结果表明，这种方法可以产生新的算法变种，优于标准的分布式算法SSSP。
2017-06-19 cs.DC
Distributed dynamic load balancing for task parallel programming
在本文中，我们推导和研究的方法，动态负载平衡的分布式任务并行应用软件。负载均衡策略是基于任务迁移的。忙进程将其就绪任务队列的一部分导出到空闲进程。空闲-忙碌的进程对通过随机搜索过程找到彼此，该过程在几个步骤内以高概率成功。我们评估的负载均衡的方法块Cholesky分解实现，并观察到在所选的测试用例的顺序上的5\%的执行时间减少。
2018-01-14 cs.DC cs.MS cs.PF
A Unifying Framework for Parallel and Distributed Processing in R using Futures
一个未来是设计用于代码的并发和异步评估的编程构造，使其对于并行处理特别有用。future包实现了Future API，用于在R中使用future进行编程。这个最小的API提供了足够的结构来实现并行版本的完善的高级映射缩减API。未来的生态系统支持异常处理、输出和条件中继、并行随机数生成以及全局自动识别，从而降低了代码并行化的阈值。Future API将并行前端与并行后端连接起来，遵循的理念是最终用户选择并行后端，而开发人员则专注于并行化的内容。存在各种各样的后端，并且自动支持满足规范的第三方贡献，这确保相同的代码在所有后端上都能工作。未来的框架解决了R中其他并行框架没有解决的几个问题。
2021-11-11 cs.DC stat.CO
