The Multi-Core Era - Trends and Challenges
从硬件开发的一开始，计算机处理器就被发明了不断增加的时钟频率和复杂的内置优化策略。由于物理条件的限制，这种提速的“免费午餐”已经走到了尽头。下面的文章给出了CMP体系结构的最新趋势和挑战的摘要和参考书目。它讨论了在即将到来的多核时代，需要如何考虑40年的并行计算研究。我们认为，未来的研究必须从两个方面驱动-更好地表达硬件结构，和特定领域的软件并行性的理解。
2008-10-30 cs.DC
A Survey of Current Trends in Distributed, Grid and Cloud Computing
从20世纪90年代到2012年，互联网彻底改变了计算世界。在发展到分布式计算和进一步发展到网格计算之后，它开始了并行计算之旅。在目前的情况下，它创造了一个新的世界，被称为云计算[1]。这三个术语有不同的含义。云计算基于后向计算方案，如集群计算、分布式计算、网格计算和效用计算。云计算的基本概念是虚拟化。它为各种请求程序提供虚拟硬件和软件资源。本文对集群计算、网格计算和云计算进行了详细的介绍，并对它们的实现进行了分析。我们试图列出所有这些技术出现的灵感。我们还占一些目前的情况下的网格计算的故障，并讨论了新的云计算项目正在管理的印度政府的学习。本文还回顾了现有的工作，并涵盖（分析），在一定程度上，一些创新的想法，可以实施。
2013-08-08 cs.DC
Basic Parallel and Distributed Computing Curriculum
随着多核处理器的出现及其快速扩展，很明显，{ \em并行计算}现在是计算机科学和工程（及相关）课程的真正要求。除了并行计算设备的普遍性之外，我们还应该考虑到这样一个事实，即有很多现有的软件是以顺序模式实现的，因此需要适应并行执行。因此，它要求程序员能够设计并行程序，也有一些技能，从一个给定的顺序代码移动到相应的并行代码。在本文中，我们提出了一个基本的教育方案，如何在并行计算的普通计算机科学家和工程师的一致和有效的背景。
2018-02-12 cs.DC
Modern Distributed Data-Parallel Large-Scale Pre-training Strategies For NLP models
分布式深度学习由于对具有更大量参数的深度学习模型的计算资源的不断扩大的需求而变得越来越流行。与传统的训练方法不同，数据并行训练允许多个计算节点同时训练大型深度学习模型，以提高训练效率。在本文中，我们提出并比较了使用PyTorch在语言模型GPT-2上使用100 M参数进行数据并行训练的六种策略。这些策略是单GPU，单参数服务器，分布式参数服务器，Horovod，分布式参数服务器与Apex混合精度策略，Horovod与Apex混合精度策略。我们还分析了定量的实验结果，从每一个策略。最后，我们得出结论，具有Apex混合精度策略的分布式参数服务器在单节点训练上具有最好的性能，而具有Apex的Horovod是在我们有单个或多个节点时使用的最鲁棒的方法。
2022-06-13 cs.DC
High Performance Parallel Sort for Shared and Distributed Memory MIMD
我们提出了四种高性能的混合排序方法开发的各种并行平台：共享内存多处理器，分布式多处理器，集群利用共享和分布式内存的存在。合并排序以其稳定性而闻名，被用于设计我们的几个算法。我们通过将其与快速排序相结合来提高其并行性能。我们提出了两个模型设计的共享内存MIMD（OpenMP）：（a）一个非递归的合并排序和（b）混合快速排序和合并排序。第三个模型是设计用于分布式内存MIMD（MPI）使用混合快速排序和合并排序。我们的第四个模型的目的是利用共享内存的各个节点的今天的集群系统，并消除所有的内部数据传输之间的不同节点，我们的模型实现了一个一步MSD-Radix分发数据在10个包（MPI），而每个节点的并行核心使用Quicksort排序他们的数据分区顺序，然后合并和排序他们在并行采用OpenMp。所有开发的模型的性能优于基线性能。在对小数据进行排序时，混合快速排序和合并排序的性能优于集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序，但对于较大的数据，集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序的加速比变得更大并且不断改进。其中分布存储并行混合快速排序和归并排序的加速比最好。
2020-03-02 cs.DC
PyTorch Distributed: Experiences on Accelerating Data Parallel Training
Facebook AI；University of Warsaw（华沙大学）
本文介绍了PyTorch分布式数据并行模块的设计、实现和评估。PyTorch是一个广泛采用的科学计算包，用于深度学习研究和应用。深度学习的最新进展证明了大型数据集和大型模型的价值，这需要将模型训练扩展到更多计算资源的能力。数据并行由于其简单的原理和广泛的适用性而成为分布式训练的流行解决方案。通常，分布式数据并行技术在每个计算资源上复制模型以独立地生成梯度，然后在每次迭代时传递这些梯度以保持模型副本一致。尽管该技术在概念上很简单，但计算和通信之间的微妙依赖关系使得优化分布式训练效率变得非常重要。从v1.5开始，PyTorch原生地提供了几种技术来加速分布式数据并行，包括分级梯度，重叠计算与通信，以及跳过梯度同步。评估表明，在适当配置时，PyTorch分布式数据并行模块使用256个GPU实现了接近线性的可扩展性。
2020-06-28 cs.DC cs.LG
Parallel and Distributed Simulation: Five W's (and One H)
新闻业（以及许多其他领域）的一条众所周知的黄金法则是，如果你想知道某件事的全部故事，你必须回答所有五个W（谁，什么，何时，何地，为什么）和H（如何）。这个扩展的摘要是关于并行和分布式仿真中缺少什么，以及这如何影响其普及。
2011-05-03 cs.DC cs.MA
Distributed and Parallel Algorithms for Set Cover Problems with Small Neighborhood Covers
本文研究了一类集合覆盖问题，它满足一个特殊性质，我们称之为{ \em小邻域覆盖}性质.这个类包含几个研究得很好的问题，包括顶点覆盖，区间覆盖，袋区间覆盖和树覆盖。我们设计了统一的分布式和并行算法，可以处理任何集覆盖问题属于上述框架下，并产生常数因子近似。这些算法在分布式环境中以多对数通信轮运行，在并行环境中以NC运行。
2013-12-27 cs.DC cs.DS
A Load-Balanced Parallel and Distributed Sorting Algorithm Implemented with PGX.D
排序一直是科学研究中最具挑战性的问题之一。虽然许多技术和算法已经提出了有效的并行排序实现的理论，然而，实现所需的性能在不同类型的架构与大量的处理器仍然是一个具有挑战性的问题。最大限度地提高应用程序的并行性水平，可以通过最小化由于负载不平衡和等待时间，由于内存延迟的开销。在本文中，我们提出了一个分布式排序算法实现PGX.D，一个快速的分布式图形处理系统，它优于Spark的分布式排序实现约2倍-3倍，通过隐藏通信延迟和最大限度地减少不必要的开销。此外，它表明，建议的PGX.D排序方法处理数据集包含许多重复的数据录入有效，并始终保持平衡的工作负载为不同的输入数据分布类型。
2017-01-14 cs.DC
Optimizations to the Parallel Breath First Search on Distributed Memory
图及其遍历由于其适用于数学、科学和技术的各个领域而变得越来越重要。生物化学（基因组学）、电子工程（通信网络）、计算机科学（算法和计算）等领域的各种问题都可以建模为图问题。真实世界的场景，包括社区，他们的相互联系和相关的属性可以使用图进行研究。因此快速、可扩展、低成本地执行并行图算法是非常重要的。在这个实现中的并行宽度优先搜索的图形，我们实现了并行BFS算法与1-D分区的图中所描述的[2]，并已减少了执行时间，通过优化通信的本地缓冲区。
2020-03-10 cs.DC
P4SGD: Programmable Switch Enhanced Model-Parallel Training on Generalized Linear Models on Distributed FPGAs
P4SGD提出一种基于分布式FPGA和可编程交换机的模型并行训练系统，通过流水线并行和交换机内聚合协议，实现广义线性模型的高效分布式训练，收敛速度比最先进的GPU方案快达6.5倍。
2023-05-10 cs.DC
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法，但据我们所知，混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法，提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现，它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色，给出了第一个已知的分布式，多GPU算法，这些问题。此外，我们提出了一种新的启发式，以减少通信的分布式图着色的包围圈。我们的实验表明，我们的方法有效地运行在输入太大，适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
CoInDiVinE: Parallel Distributed Model Checker for Component-Based Systems
CoInDiVinE是一个并行分布式模型检验的工具，在分层的基于组件的系统中组件之间的交互。该工具扩展了DiVinE框架与一个新的输入语言（组件交互自动机）和属性规范逻辑（CI-LTL）。由于该语言不同于DiVinE的输入语言，我们的工具采用了一种新的状态空间生成算法，也支持偏序约简。实验表明，该工具在并行环境下运行时具有良好的缩放性能。
2011-11-02 cs.DC cs.SE
Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis
ETH Zurich（苏黎世联邦理工学院）
深度神经网络（DNN）正在成为现代计算应用中的重要工具。加速他们的训练是一个重大挑战，技术范围从分布式算法到低级电路设计。在这次调查中，我们从理论的角度来描述这个问题，其次是其并行化的方法。我们提出了DNN架构的趋势以及由此产生的并行化策略的影响。然后，我们回顾并建模DNN中不同类型的并发：从单个操作符，通过网络推理和训练中的并行性，到分布式深度学习。我们讨论异步随机优化，分布式系统架构，通信方案和神经结构搜索。基于这些方法，我们推断了深度学习中并行性的潜在方向。
2018-09-15 cs.CV cs.DC cs.LG
DuctTeip: An efficient programming model for distributed task based parallel computing
用于科学计算的当前高性能计算机系统通常在分布式存储器环境中组合共享存储器计算节点。从这些复杂的系统中提取高性能需要量身定制的方法。基于任务的并行编程在简化编程和利用共享存储器系统的硬件并行性方面都取得了成功。本文重点讨论如何将任务并行编程扩展到分布式内存系统。我们使用任务和数据的分层分解，以适应不同级别的硬件。我们测试所提出的编程模型在两个不同的应用程序，Cholesky分解，和浅水方程求解器。我们还比较了我们的实现与其他框架的分布式任务并行编程的性能，并表明它是有竞争力的。
2018-01-10 cs.CE cs.DC cs.PF
Popt4jlib: A Parallel/Distributed Optimization Library for Java
本文描述了开源popt 4jlib库（https：//githhub.org/ioannislogou/popt4jlib）的架构设计以及关键实现细节，该库包含相当大量的元启发式和其他精确优化算法并行/分布式Java实现。虽然我们报告的加速和效率问题的一些算法在图书馆，我们主要关心的是详细的设计决策的关键并行/分布式基础设施内置到图书馆，使开发人员更容易开发自己的并行实现的算法，而不是简单地使用它作为一个关闭的自我应用程序库。
2019-08-01 cs.DC cs.NE
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习（ML）算法的实现归结为解决数值优化问题。在这种情况下，随机梯度下降（SGD）方法长期以来已被证明提供良好的结果，无论是在收敛性和准确性。最近，已经提出了几种并行化方法，以扩展SGD来解决非常大的ML问题。在其核心，这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD，它利用异步单边通信范式。与现有的方法相比，异步并行随机梯度下降（ASGD）提供更快（或至少相等）的收敛，接近线性缩放和稳定的精度。
2015-10-05 cs.DC
A Unified Cloud-Enabled Discrete Event Parallel and Distributed Simulation Architecture
Universidad Complutense de Madrid（马德里康普顿斯大学）；The MITRE Corporation（米特雷公司）
如今的云仿真环境主要用于对复杂系统进行建模和仿真，以满足远程访问和可变容量需求。在这方面，建模与仿真（M\&S）计算需求中的可扩展性问题可以通过按需云部署的弹性来解决。然而，按照这些弹性原则实现高性能云M\&S框架并不是一项简单的任务，因为并行化和分布现有架构是具有挑战性的。事实上，并行和分布式M\&S的发展都是按照不同的方式发展的。并行解决方案一直专注于ad-hoc解决方案，而分布式方法，另一方面，导致了标准分布式框架的定义，如高层体系结构（HLA）或影响了分布式技术的使用，如消息传递接口（MPI）。只有少数开发能够随着计算硬件资源部署的当前弹性而发展，主要集中在模拟即服务（SaaS）的实现上，尽管独立于并行ad-hoc方法分支。在本文中，我们提出了一个统一的并行和分布式M\&S架构，具有足够的灵活性，部署并行和分布式仿真在云中，以较低的努力，而无需修改底层模型的源代码，并达到重要的加速比对顺序模拟，特别是在并行实现。我们的框架是基于离散事件系统规范（DEVS）的形式主义。使用xDEVS M\&S工具，应用程序编程接口（API）和DEVStone基准测试多达8个计算节点的并行和分布式框架的性能，分别获得最大的加速比$15.95\times$和$1.84\times$。
2023-02-22 cs.AI cs.DC
Parallel and Distributed Data Series Processing on Modern and Emerging Hardware
本文总结了数据序列处理的最新进展，重点介绍了利用现代计算平台算力的并行与分布式数据序列索引，内容涵盖作者在MEDES'23会议上的教程。
2023-10-21 cs.DB cs.DC
Proceedings 8th International Workshop on Parallel and Distributed Methods in verifiCation
第八届并行和分布式验证方法国际研讨会（PDMC 2009）于2009年11月4日在埃因霍温理工大学举行，与正式方法2009和其他相关活动一起首次在正式方法周的标题下举行。本卷载有研讨会的最后会议记录。
2009-12-15 cs.CE cs.DC cs.LO
IMSuite: A Benchmark Suite for Simulating Distributed Algorithms
考虑到现实世界的分布式应用程序的多样性，很难确定一个有代表性的子集的分布式基准，我们专注于其底层的分布式算法。我们提出并描述了一个新的内核基准套件（名为IMSuite），模拟任务并行语言中的一些经典的分布式算法。我们提出了我们的内核的多种变体，大致分为两个方面：（a）不同的同步原语（有和没有细粒度同步原语）;以及（b）不同形式的并行化（数据并行和递归任务并行）。我们的表征涵盖了分布式应用程序的有趣的方面，如远程通信请求的分布，同步，任务创建，任务终止和原子操作的数量。我们通过改变问题的大小、计算线程的数量和输入配置来研究内核的行为（执行时间）。我们还提出了一套涉及的输入生成器和输出验证器。
2013-10-10 cs.DC
A 2D Parallel Triangle Counting Algorithm for Distributed-Memory Architectures
三角形计数是一种基本的图分析操作，广泛用于网络科学和图挖掘。随着需要分析的图形的大小不断增长，需要为分布式存储器并行系统开发可扩展的算法。为此，我们提出了一个分布式内存三角形计数算法，它使用了一个二维循环分解，以平衡的计算和减少通信开销。该算法构造其通信和计算步骤，以减少其内存开销，并包括利用图的稀疏性和计算结构的方式的关键优化。合成和真实世界的图上的实验表明，我们的算法获得了平均相对加速比，范围在3.24和7.22之间的10.56跨数据集使用169 MPI排名超过16 MPI排名所取得的性能。此外，我们得到了10.2倍的平均加速比与以前开发的分布式存储器并行算法。
2019-07-22 cs.DC
Atomic RMI 2: Highly Parallel Pessimistic Distributed Transactional Memory
分布式事务存储器（DTM）是一种新兴的分布式同步方法，它基于事务抽象在分布式计算中的应用。DTM有几种系统模型，但控制流模型（CF）特别强大，因为它允许事务将计算委托给远程节点以及访问共享数据。然而，没有现有的CF DTM系统与在其他模型中操作的最先进的系统具有同等的性能。因此，我们介绍了一个CF DTM同步算法，OptSVA-CF。它支持细粒度的悲观并发控制，因此避免了中止，从而避免了不可撤销操作的问题。此外，它使用早期发布和可扩展性来高度并行并发事务，同时保持强大的安全属性。我们将其实现为Atomic RMI 2，实际上产生了一个CF DTM系统，正如我们的评估所示，它可以胜过最先进的非CF DTM，如HyFlow 2。
2016-06-13 cs.DC
Design of a Parallel and Distributed Web Search Engine
本文描述了MOSE（我自己的搜索引擎）的体系结构，一个可扩展的并行和分布式搜索引擎的Web。MOSE是专门设计来有效地利用负担得起的并行架构，如工作站集群。其模块化和可扩展的体系结构可以很容易地进行调整，以满足手头应用的带宽要求。任务并行和数据并行的方法，利用MOSE内，以提高吞吐量和有效地使用通信，存储和计算资源。我们使用一组html文档作为基准，并在三台SMP Linux PC的集群上进行了初步实验。
2004-07-21 cs.DC cs.IR
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来，人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战，并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的，统一的，算法框架，连续凸逼近（SCA）技术的基础上，并行和分布式解决方案的一般类的非凸约束（不可分离的，网络）的问题。所提出的框架统一和概括了现有的几种SCA方法，使他们呼吁并行/分布式实现，同时提供了一个灵活的选择函数逼近，步长时间表，和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法，在Cetraro，意大利，2014年6月23日至27日举行的讲座。这些讲座是：I）连续凸逼近方法：基础; II）并行连续凸逼近方法;和III）分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
Parallel Implementation of Distributed Global Optimization (DGO)
分布式全局优化（DGO）[13]在MP-1和NCUBE并行计算机上的并行实现显示了该算法性能的近似O（n）增长。因此，在并行处理器上实现DGO可以弥补该算法的唯一缺点，即随着维数的增加，执行时间为O（n2）。DGO的并行实现的加速因子是相对于相同的问题的顺序执行时间在IBM-IV计算机上测量的。在MP-1上对算法进行SIMD实现，对于n = 9的优化问题，总加速比为126，实现了最佳的加速。该优化问题分布在Mas-Par的128个PE上。
2020-12-16 cs.DC math.OC
DASH: A C++ PGAS Library for Distributed Data Structures and Parallel Algorithms
我们提出了DASH，一个C++模板库，提供分布式数据结构和并行算法，并实现了编译器免费PGAS（分区全局地址空间）的方法。DASH提供了许多生产力和性能功能，例如全局视图数据结构、对所有者计算模型的有效支持、灵活的多维数据分布方案以及与STL（标准模板库）算法的互操作性。DASH还具有并行目标机器的灵活表示，并允许通过团队的概念利用几个分层组织的本地级别。我们在许多基准应用程序上评估DASH，并使用MPI双侧模型将科学代理应用程序移植到DASH。我们发现DASH提供了出色的生产力和性能，并展示了高达9800个核心的可扩展性。
2016-10-05 cs.DC
Distributed Parallel Inference on Large Factor Graphs
Carnegie Mellon University（卡内基梅隆大学）；Intel Research（英特尔研究院）
随着计算机集群变得越来越普遍，人工智能领域遇到的问题越来越多，对高效并行推理算法的需求也越来越大。我们考虑的问题，并行推理的大因素图在分布式内存设置的计算机集群。我们开发了一个新的高效的并行推理算法，DBRSplash，它结合了过分割图分割，信念剩余调度，和统一的工作飞溅操作。我们凭经验评估DBRSplash算法在120处理器集群，并证明线性超线性的性能增益大因素图模型。
2012-05-09 cs.AI cs.DC
Quantum Algorithms and Simulation for Parallel and Distributed Quantum Computing
构建大规模量子计算机的一种可行方法是将小规模量子计算机与量子网络互连，以创建更大的分布式量子计算机。当为这种分布式量子计算机设计量子算法时，可以利用系统中固有的附加并行化和分布能力。分布式量子计算需要克服的另一个困难是，需要一个复杂的控制系统来协调各种组件。在这项工作中，我们旨在解决这些问题。我们明确定义了量子算法的分布式意味着什么，然后提出了各种符合定义的量子算法。我们讨论了潜在的好处，并提出了一个高层次的计划控制系统。有了这个，我们提出了我们的软件框架称为Interlin-q，一个模拟平台，旨在简化设计和验证并行和分布式量子算法。我们通过使用Interlin-q实现一些讨论过的算法来演示Interlin-q，并规划将Interlin-q开发成分布式量子计算机控制系统的未来步骤。
2022-04-07 cs.DC quant-ph
ZenLDA: An Efficient and Scalable Topic Model Training System on Distributed Data-Parallel Platform
本文介绍了我们最近的努力，zenLDA，一个有效的和可扩展的Collapsed Gibbs Sampling系统的潜在狄利克雷分配训练，这被认为是具有挑战性的，需要数据并行和模型并行，因为大样本数据高达数十亿的文档和大模型大小高达数万亿的参数。zenLDA结合了算法级改进和系统级优化。首先提出了一种新的CGS算法，该算法平衡了时间复杂度、模型精度和并行化灵活性。zenLDA中的输入语料库表示为有向图，模型参数标注为相应的顶点属性。分布式训练通过划分图来并行化，在每次迭代中，它首先并行地对所有分区应用CGS步骤，然后使计算的模型彼此同步。通过将数据并行和模型并行转化为图并行，实现了数据并行和模型并行。我们重新审视了系统效率和模型精度之间的权衡，并提出了近似方法，如非同步模型，稀疏模型初始化和“收敛”令牌排除。zenLDA基于Spark中的GraphX构建，提供分布式数据抽象（RDD）和富有表现力的API，以简化编程工作，同时隐藏系统复杂性。这使我们能够实现其他CGS算法与几行代码的变化。为了更好地适应分布式数据并行框架，并实现与当代系统相当的性能，我们还提出了几个系统级优化，以推动性能极限。在Web规模语料库上对zenLDA进行了测试，结果表明zenLDA在获得更好的性能的同时，也获得了更高的模型精度。
2015-11-02 cs.DC
Parallel/distributed implementation of cellular training for generative adversarial neural networks
生成对抗网络（GANs）被广泛用于学习生成模型。GANs由两个网络组成，一个生成器和一个自适应器，它们应用对抗学习来优化它们的参数。本文提出了一种并行/分布式实现的细胞竞争协同进化方法训练两个种群的GANs。提出了一种适用于高性能/超级计算中心的分布式存储并行实现方案。高效的结果报告解决生成的手写数字（MNIST数据集样本）。此外，所提出的实现是能够减少训练时间和规模适当考虑不同的网格大小的训练。
2020-08-03 cs.DC cs.NE
I CAN HAS SUPERCOMPUTER? A Novel Approach to Teaching Parallel and Distributed Computing Concepts Using a Meme-Based Programming Language
提出了一种新的方法来教授同步和远程存储器访问的并行和分布式计算概念。本文提出的单程序多数据（SPMD）分区全局地址空间（PGAS）模型使用一种面向本科生的过程式程序设计语言。我们建议，有趣的性质的方法可能会产生创造力和兴趣，使用这些概念后，在更清醒的环境。具体来说，我们实现了并行扩展LOLCODE内的源到源编译器足够的并行和分布式算法的发展，通常使用传统的高性能计算语言和API。
2017-03-29 cs.DC cs.PL
Parallel QEC Decoding Applied to Distributed Quantum Computing
University of Parma（帕尔马大学）
研究针对分布式量子计算提出并行QEC解码新方法，核心是用奇异值分解预处理信念传播所得错误向量，经复杂度、准确性和可扩展性评估，为分布式量子计算的QEC解码提供了新途径。
2026-07-10 cs.DC cs.PF quant-ph
Provable Model-Parallel Distributed Principal Component Analysis with Parallel Deflation
Rice University（莱斯大学）
本文提出一种基于并行消去法的分布式PCA框架，允许工作节点异步更新并针对不同特征向量，理论分析证明其收敛性，实验表明性能与最先进的EigenGame-μ相当。
2025-02-24 cs.DC cs.LG math.OC
Asynchronous and Load-Balanced Union-Find for Distributed and Parallel Scientific Data Visualization and Analysis
我们提出了一种新的分布式union-find算法，其特点是异步并行和基于k-d树的负载均衡可扩展的可视化和科学数据的分析。union-find的应用包括水平集提取和临界点跟踪，但分布式union-find可能会受到高同步成本和跨并行进程的不平衡工作负载的影响。在这项研究中，我们证明了现有的分布式union-find中的全局同步可以在不改变最终结果的情况下消除，从而允许重叠的通信和计算进行可扩展的处理。我们还使用k-d树分解来重新分配输入，以改善工作负载平衡。我们使用合成和应用数据对算法的可扩展性进行了基准测试，最多可使用1，024个进程。我们证明了我们的算法在临界点跟踪和超水平集提取与高速成像实验和聚变等离子体模拟，分别使用。
2021-04-13 cs.DC
Compression and Sieve: Reducing Communication in Parallel Breadth First Search on Distributed Memory Systems
对于大规模分布式存储系统上的并行广度优先搜索（BFS）算法，通信开销往往比运算开销大得多，限制了算法的可扩展性。在本文中，我们充分降低分布式BFS的通信成本，通过压缩和筛选的消息。首先，我们利用位图压缩算法，以减少通信之前的消息的大小。其次，我们提出了一种新的分布式目录算法，交叉目录，以筛选消息中的冗余数据。在一个6,144核的SMP集群上的实验表明，该算法的性能是Graph 500中基准实现的2.2倍，通信时间减少了79.0%，性能速率达到了12.1 GTEPS（每秒十亿次边缘访问）。
2012-08-28 cs.DC cs.DS
Matrix Distributed Processing: A set of C++ Tools for implementing generic lattice computations on parallel systems
我们提出了一套编程工具（类和功能写在C++和消息传递接口的基础上）的通用并行（和非并行）晶格模拟的快速发展。它们统称为MDP 1.2。这些编程工具包括用于矩阵、随机数生成器、分布式网格（具有任意拓扑结构）、字段和并行迭代的类和算法。使用它们不需要以前的MPI知识。介绍了量子色动力学在电磁学、电子学、凝聚态和格点量子色动力学中的应用。
2001-08-14 cs.DC cs.MS hep-lat
Scalable data abstractions for distributed parallel computations
将程序表示为部件的分层组合的能力是管理软件复杂性的重要工具，并且这提供的关键抽象是将数据的表示与计算分离。许多当前的并行编程模型使用共享存储器模型来提供数据抽象，但是由于非确定性和访问延迟，这不能很好地与大量核一起扩展。本文提出了一个简单的编程模型，允许可扩展的并行程序表示与分布式表示的数据，它提供了程序员的灵活性，采用共享或分布式风格的数据并行在适用的情况下。它能够有效地实现，并且在硬件中提供一小部分原始功能，它可以被编译为直接在硬件上操作，就像基于堆栈的分配在顺序机中的子程序中操作一样。
2012-10-03 cs.DC cs.PL
A UML-based Approach to Design Parallel and Distributed Applications
并行和分布式应用程序设计是高性能科学和工业计算领域的一个主要领域。多年来，已经提出了各种方法来帮助并行程序开发人员建模他们的应用程序。在本文中，它将使用一些概念，从敏捷开发方法和统一建模语言（UML）的建模并行和分布式应用程序。本文基于UML的方法描述了通过不同的工件和图形的事件在并行和高性能的应用程序的开发中的主要流程。在这里，我们提出了三个工作流程来描述和建模我们的并行程序，领域模型，设计和建模和测试。开发软件的所有这些阶段都允许程序员将问题的要求转换为一个良好而有效的解决方案。
2013-11-27 cs.DC cs.DS cs.SE
Families of Distributed Memory Parallel Graph Algorithms from Self-Stabilizing Kernels-An SSSP Case Study
自稳定算法是一个重要的，因为它们的鲁棒性和保证收敛。自稳定算法从任意状态开始，保证收敛到一个合法的状态，但当性能和可扩展性很重要时，这些算法不能直接用于解决分布式图处理问题。在本文中，我们展示了“抽象图机”（AGM）模型，可用于转换自稳定算法的形式适合于分布式图形处理。AGM是一种在图上并行计算的数学模型，它为自稳定算法添加了工作依赖性和排序。使用AGM模型，我们表明，一些现有的分布式单源最短路径（SSSP）算法实际上是自稳定SSSP的专业化。我们扩展AGM模型，在不同的空间层次上应用更细粒度的排序，以获得额外的可扩展的SSSP算法的变体，基本上使算法能够为特定的目标架构生成。实验结果表明，这种方法可以产生新的算法变种，优于标准的分布式算法SSSP。
2017-06-19 cs.DC
Distributed dynamic load balancing for task parallel programming
在本文中，我们推导和研究的方法，动态负载平衡的分布式任务并行应用软件。负载均衡策略是基于任务迁移的。忙进程将其就绪任务队列的一部分导出到空闲进程。空闲-忙碌的进程对通过随机搜索过程找到彼此，该过程在几个步骤内以高概率成功。我们评估的负载均衡的方法块Cholesky分解实现，并观察到在所选的测试用例的顺序上的5\%的执行时间减少。
2018-01-14 cs.DC cs.MS cs.PF
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS（LAAS-法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
我们描述了并行或分布式异步迭代算法的几个特点，如无界延迟，可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后，给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
A Unifying Framework for Parallel and Distributed Processing in R using Futures
一个未来是设计用于代码的并发和异步评估的编程构造，使其对于并行处理特别有用。future包实现了Future API，用于在R中使用future进行编程。这个最小的API提供了足够的结构来实现并行版本的完善的高级映射缩减API。未来的生态系统支持异常处理、输出和条件中继、并行随机数生成以及全局自动识别，从而降低了代码并行化的阈值。Future API将并行前端与并行后端连接起来，遵循的理念是最终用户选择并行后端，而开发人员则专注于并行化的内容。存在各种各样的后端，并且自动支持满足规范的第三方贡献，这确保相同的代码在所有后端上都能工作。未来的框架解决了R中其他并行框架没有解决的几个问题。
2021-11-11 cs.DC stat.CO
Proceedings 10th International Workshop on Parallel and Distributed Methods in verifiCation
本卷包含2011年7月14日在犹他州雪鸟举行的第10届并行和分布式验证方法国际研讨会（PDMC 2011）的会议记录。该研讨会与第23届计算机辅助验证国际会议（CAV 2011）在同一地点举行。PDMC研讨会系列涵盖了与使用特别是利用当代并行硬件架构的方法和技术来验证和分析非常大型和复杂系统有关的所有方面。为了庆祝PDMC成立10周年，研讨会包括半天的邀请会议和半天的定期贡献演讲。
2011-10-31 cs.DC cs.LO cs.SE
Automatic Parallelization of Python Programs for Distributed Heterogeneous Computing
本文介绍了一种新的方法来自动提前（AOT）并行化和优化的顺序Python程序在分布式异构平台上执行。我们的方法支持Python程序的AOT源到源转换，由包含函数参数和返回值的类型提示驱动。这些提示可以由程序员提供，也可以通过动态分析器工具获得;多版本代码生成保证了AOT转换在所有情况下的正确性。我们的编译框架执行自动并行化和复杂的高级代码优化的目标分布式异构硬件平台。它包括对多面体框架的扩展，统一了矩阵/张量运算符中的用户编写的循环和隐式循环，以及CPU与GPU代码变体的自动化部分。此外，我们的多面体优化使节点内和节点间的并行。最后，使用Ray运行时部署优化的输出代码，以跨集群中的多个异构节点调度分布式任务。我们的经验评估显示，在单节点和多节点实验中，相对于顺序Python，性能有了显著的提高，当在OLCF Summit超级计算机中使用24个节点和144个GPU进行空时自适应处理（STAP）雷达应用时，性能提高了20，000多$\times$。
2022-03-11 cs.DC
Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning
UC Berkeley（加州大学伯克利分校）；Amazon Web Services（亚马逊云科技）；Google（谷歌）；Shanghai Jiao Tong University（上海交通大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）
Alpa通过生成统一数据、运算符和流水线并行的执行计划，自动化大型深度学习（DL）模型的模型并行训练。现有的模型并行训练系统要么需要用户手动创建并行化计划，要么从模型并行配置的有限空间自动生成并行化计划。它们不足以在分布式计算设备上扩展复杂的DL模型。Alpa通过将并行性视为两个层次来分配大型DL模型的训练：操作员间和操作员内并行性。在此基础上，Alpa构造了一种新的面向大规模模型并行执行计划的层次空间。Alpa设计了许多编译通道，以在每个并行级别自动导出高效的并行执行计划。Alpa实现了一个高效的运行时来协调分布式计算设备上的两级并行执行。我们的评估表明，Alpa生成的并行化计划可以匹配或优于手动调整的模型并行训练系统，即使是针对它们设计的模型。与专门的系统不同，Alpa还可以推广到具有异构架构的模型和没有手动设计计划的模型。Alpa的源代码可在https://github.com/alpa-projects/alpa上公开获取
2022-06-28 cs.DC cs.LG cs.PL
OSDP: Optimal Sharded Data Parallel for Distributed Deep Learning
提出OSDP自动化并行训练系统，结合数据与模型并行优势，通过权衡内存与硬件利用率自动生成计算图，并引入算子拆分降低峰值内存，实现更高吞吐量，在多种大规模模型上优于现有方法。
2023-05-19 cs.DC
OSDP: Optimal Sharded Data Parallel for Distributed Deep Learning
本文提出自动化并行训练系统OSDP，通过权衡内存与硬件利用率自动生成分布式计算图，并引入算子拆分技术降低峰值内存，实现了更高吞吐量和更大模型训练能力。
2023-05-18 cs.DC
Hardware Scaling Trends and Diminishing Returns in Large-Scale Distributed Training
Carnegie Mellon University（卡内基梅隆大学）；FAIR, Meta AI（Meta AI FAIR）
本研究通过实证分析表明，大规模分布式训练中硬件配置与并行化策略的选择至关重要，超过特定规模后次优并行策略或更优，且扩展加速器总数易出现收益递减。
2025-04-12 cs.DC cs.LG
Parallel Collaborative ADMM Privacy Computing and Adaptive GPU Acceleration for Distributed Edge Networks
College of Cyber Security, Jinan University（暨南大学网络空间安全学院）；Department of Electrical and Computer Engineering, Western University（韦仕敦大学电气与计算机工程系）；School of Computer Science, Guangzhou University（广州大学计算机科学与工程学院）
本文提出了一种结合并行协作ADMM与自适应GPU加速的隐私计算算法，用于优化分布式边缘网络中的协作计算任务，提升了计算效率和隐私保护能力。
2026-01-21 cs.DC
Computing Least Fixed Points with Overwrite Semantics in Parallel and Distributed Systems
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Purdue University（普渡大学）
本文提出在并行和分布式系统中利用覆盖语义计算最小固定点的方法，解决了传统方法无法处理的非原子更新和过期读取问题。
2026-02-11 cs.DC cs.DS
Parallel and Distributed Simulation from Many Cores to the Public Cloud (Extended Version)
在这篇教程中，我们将首先回顾一些基本的仿真概念，然后介绍并行和分布式仿真技术，鉴于一些新的挑战，今天和明天。更特别的是，在过去的几年里，许多核心架构已经广泛传播，我们可以预期这种趋势将继续下去。另一方面，云计算的成功有力地推动了一切即服务的范式。并行和分布式仿真准备好迎接这些新挑战了吗？目前的方法在可用性和适应性方面存在许多局限性：迫切需要新的评价指标和修订目前实施的机制。在论文的最后一部分，我们提出了一种新的方法，基于多智能体系统的复杂系统的仿真。有可能实现高级技术，例如模拟实体的迁移，以构建自适应且非常易于使用的机制。自适应机制能够显着降低并行/分布式体系结构中的通信成本，实现负载平衡技术，并应付执行环境的变化和动态。最后，这种机制将用于在不可靠的云服务之上构建模拟。
2014-07-29 cs.DC
Multicore-aware parallel temporal blocking of stencil codes for shared and distributed memory
需要新的算法和优化技术来平衡带宽匮乏的多核芯片的加速趋势。众所周知，模板代码的性能可以通过时间分块来改善，从而减轻对存储器接口的压力。我们介绍了一种新的流水线的方法，使显式使用共享缓存在多核环境中，最大限度地减少同步和边界开销。对于共享内存节点的集群，我们演示了如何在混合共享/分布式内存环境中成功地采用时间块。
2009-12-22 cs.DC cs.PF
HDArray: Parallel Array Interface for Distributed Heterogeneous Devices
具有包含一个或多个加速器（诸如GPU）的节点的异构集群已经变得常见。虽然MPI提供了地址空间间的通信，而OpenCL提供了一个可以访问异构计算资源的进程，但程序员被迫编写混合程序来管理这两个系统的交互。本文介绍了一个数组编程接口，为用户提供自动和手动分配的数据和工作。使用工作分配和内核定义和使用信息，自动执行进程和进程中的设备之间的通信。通过向用户提供统一的编程模型，简化了程序开发。
2018-09-18 cs.DC
