AutoParallel: A Python module for automatic parallelization and distributed execution of affine loop nests
程序设计语言、编程模型和框架的最新改进集中在将用户从许多编程问题中抽象出来。其中,最近的编程框架包括更简单的语法,自动存储管理和垃圾回收,这通过库包和易于配置的部署工具简化了代码重用。例如,Python由于其语法的简单性而上升到程序设计语言列表的顶部,同时即使是解释语言也仍然实现了良好的性能。此外,社区还帮助开发了大量的库和模块,并对其进行了调整以获得更好的性能。然而,在阻止用户直接处理分布式和并行计算问题时,仍有改进的空间。本文提出并评估AutoParallel,一个Python模块,自动找到一个适当的基于任务的并行仿射循环嵌套并行执行它们在分布式计算基础设施。这种并行化还可以包括构建数据块以增加任务粒度,以便实现良好的执行性能。此外,AutoParallel基于顺序编程,只包含一个Python装饰器形式的小注释,因此任何编程技能不高的人都可以将应用程序扩展到数百个核心。
2018-10-26 cs.DC cs.PL
TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with Auto-Parallelism
The Chinese University of Hong Kong(香港中文大学);Huawei Technologies Co. Ltd(华为技术有限公司)
一个好的并行化策略可以显著提高深度神经网络(DNN)分布式训练的效率或降低成本。最近,已经提出了几种方法来找到有效的并行化策略,但它们都优化了单个目标(例如,执行时间、内存消耗)并仅产生一个策略。我们提出了FT,一个有效的算法,搜索一组最佳的并行化策略,以允许不同的目标之间的权衡。FT可以通过在设备数量有限的情况下最小化内存消耗来适应不同的场景,并充分利用额外的资源来减少执行时间。对于流行的DNN模型(例如,视觉,语言),进行了深入的分析,以了解不同的目标之间的权衡及其对并行化策略的影响。我们还开发了一个用户友好的系统,称为TensorOpt,它允许用户运行他们的分布式DNN训练作业,而不关心并行化策略的细节。实验结果表明,FT运行效率高,提供了准确的运行时成本估计,与现有框架相比,TensorOpt在适应资源可用性方面更加灵活。
2020-04-16 cs.DC cs.LG stat.ML
DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging
Alibaba Group(阿里巴巴集团);Peking University(北京大学)
最先进的深度学习算法依赖于分布式训练系统来处理不断增加的模型和训练数据集。小批量随机梯度下降(SGD)算法要求工作者停止前向/反向传播,等待所有工作者聚集的梯度,并在下一批任务之前接收权重更新。这种同步执行模型暴露了分布式训练系统中大量工作者之间的梯度/权重通信的开销。我们提出了一个新的SGD算法,DaSGD(本地SGD与延迟平均),并行SGD和前/后传播隐藏100%的通信开销。该算法通过调整梯度更新机制,有效地利用了硬件资源,减少了对低延迟高吞吐量互连的依赖。理论分析和实验结果表明,该算法的收敛速度为O(1/sqrt(K)),与SGD算法相同。性能评估表明,它可以实现随集群大小的线性性能扩展。
2020-05-31 cs.DC cs.LG
Effective GPU Parallelization of Distributed and Localized Model Predictive Control
模型预测控制(MPC)要对大规模分布式系统进行有效的在线控制,必须快速求解底层的高维优化问题。文献中应用了多种技术来加速求解过程,主要归功于基于软件的算法进步和硬件辅助计算增强。然而,这些方法专注于算术加速,而忽略了底层系统结构的好处。特别地,现有的解耦的软件-硬件算法设计通过硬件简单地并行化算术运算,并不以原则性的方式解决诸如CPU-GPU和线程到线程通信的硬件开销。此外,并行子问题分解在分布式MPC的优势没有得到很好的认识和利用。因此,我们还没有充分发挥MPC硬件加速的潜力。在本文中,我们探索这些机会,利用GPU并行化的分布式和本地化的MPC(DLMPC)算法。我们利用嵌入在DLMPC制定的局部约束,以减少硬件固有的通信开销。我们的并行实现在各种参数下的运行速度比CPU同行快50倍。此外,我们发现,本地感知的GPU并行化可以减半的优化运行时间相比,天真的加速。总的来说,我们的研究结果表明,考虑到信息交换结构的软硬件协同设计带来的性能增益。
2021-03-27 cs.DC cs.SY eess.SY
Specx: a C++ task-based runtime system for heterogeneous distributed architectures
本文提出了Specx,一种用现代C++编写的基于任务的运行时系统,通过同时利用CPU和GPU(CUDA/HIP)并将通信纳入任务图来支持分布式异构计算,并在并行应用中展示了其潜力。
2024-11-15 cs.DC cs.SE
Proteus: Simulating the Performance of Distributed DNN Training
本文提出独立模拟器 Proteus,利用 Strategy Tree 与 HTAE 建模并模拟分布式 DNN 训练的复杂并行策略,在三类硬件上实现 3.0% 平均预测误差。
2023-06-04 cs.DC
Adaptive Message Quantization and Parallelization for Distributed Full-graph GNN Training
University of Hong Kong(香港大学)
针对分布式全图 GNN 训练中的通信瓶颈,提出 AdaQP,通过随机低精度消息量化、通信-计算并行及自适应位宽分配实现最高 3.01 倍加速且几乎无损精度。
2023-06-02 cs.AI cs.DC cs.LG
Hardware Scaling Trends and Diminishing Returns in Large-Scale Distributed Training
Carnegie Mellon University(卡内基梅隆大学);FAIR, Meta AI(Meta AI FAIR)
本研究通过实证分析表明,大规模分布式训练中硬件配置与并行化策略的选择至关重要,超过特定规模后次优并行策略或更优,且扩展加速器总数易出现收益递减。
2025-04-12 cs.DC cs.LG
Efficient Parallelization Layouts for Large-Scale Distributed Model Training
Aleph Alpha(阿莱夫阿尔法公司);Hasso Plattner Institute(哈索·普拉特纳研究所)
本研究通过全面消融实验分析大型语言模型训练配置,提出使用微批次大小为1等关键建议,实现最高效的并行化布局,在训练Llama 13B模型时达到70.5%的模型FLOPs利用率。
2024-09-24 cs.DC cs.LG
Characterizing Communication Patterns in Distributed Large Language Model Inference
本文通过性能剖析与预测模型分析分布式大语言模型推理中的通信模式,揭示张量并行、流水线并行及组合方案的性能权衡,为生产部署中的并行化策略选择提供指导。
2025-07-18 cs.DC
Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis
ETH Zurich(苏黎世联邦理工学院)
深度神经网络(DNN)正在成为现代计算应用中的重要工具。加速他们的训练是一个重大挑战,技术范围从分布式算法到低级电路设计。在这次调查中,我们从理论的角度来描述这个问题,其次是其并行化的方法。我们提出了DNN架构的趋势以及由此产生的并行化策略的影响。然后,我们回顾并建模DNN中不同类型的并发:从单个操作符,通过网络推理和训练中的并行性,到分布式深度学习。我们讨论异步随机优化,分布式系统架构,通信方案和神经结构搜索。基于这些方法,我们推断了深度学习中并行性的潜在方向。
2018-09-15 cs.CV cs.DC cs.LG
QAOA in Quantum Datacenters: Parallelization, Simulation, and Orchestration
本文提出面向量子数据中心的大规模并行自动化QAOA工作流,集成问题分解、批量作业生成与高性能仿真,通过Divi、Maestro及云平台实现自动化资源编排,验证了QAOA划分不损害优化性能且优于经典求解器。
2025-03-08 cs.DC quant-ph
Parallelization of Network Dynamics Computations in Heterogeneous Distributed Environment
本文提出一种在异构分布式环境中透明并行化大型非线性振子网络动力学计算的方法,通过运行时调度实现准最优加速,并在多种模型和硬件上验证了近线性加速效果。
2025-07-02 cs.DC nlin.CD nlin.PS
A Bit-Compatible Shared Memory Parallelization for ILU(k) Preconditioning and a Bit-Compatible Generalization to Distributed Memory
ILU(k)是稀疏、非对称系统的迭代线性求解器的常用预处理器。它通常是为了它的稳定性。我们提出了TPILU(k),第一个有效的并行ILU(k)预条件,保持这一重要的稳定性。甚至更好的是,TPILU(k)预处理产生与顺序ILU(k)预处理位兼容的答案。在性能方面,TPILU(k)预处理被证明运行更快,只要更多的核心提供给它-同时继续作为顺序ILU(k)的稳定。这与一些竞争方法形成对比,如果线程并行度提高太多,这些方法可能会变得不稳定。如果Block Jacobi ILU(k)在应用中失败,则可以用TPILU(k)代替,以保持良好的性能,同时还实现完全的稳定性。作为进一步的优化,TPILU(k)提供了一个可选的基于水平的不完全逆方法,作为对原始ILU(k)预处理矩阵的快速近似。虽然这种增强与经典的ILU(k)不是位兼容的,但它与来自相同算法的单线程版本的输出是位兼容的。在16核计算机上的实验中,增强的基于TPILU(k)的迭代线性求解器的执行速度提高了9倍。随着我们进入众核计算时代,有效利用多核的能力将变得越来越重要。TPILU(k)在集群或网格上也表现出良好的性能。例如,新算法实现了50倍的加速与80个节点的一般稀疏矩阵的维数为160,000,是对角占优。
2011-05-12 cs.DC
DistMLIP: A Distributed Inference Platform for Machine Learning Interatomic Potentials
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);LBNL(劳伦斯伯克利国家实验室)
DistMLIP是一种基于图级并行化的分布式推断平台,可提升机器学习互原子势的模拟效率和规模。
2026-01-31 cond-mat.mtrl-sci cs.DC cs.LG
Efficient Parallelization for AMR MHD Multiphysics Calculations; Implementation in AstroBEAR
当前的自适应网格细化(AMR)仿真需要高度并行化和有效管理内存的算法。随着计算引擎变得越来越大,AMR模拟将需要实现新的高效并行化和内存管理水平的算法。我们试图采用新技术来实现这两个目标。基于块或网格的AMR通常采用虚单元来解耦给定细化水平上的每个网格的双曲线前进。这种解耦允许每个网格独立地前进。在AstroBEAR中,我们利用这种独立性,通过线程在每个级别上推进网格,并优先选择更精细的网格。这允许全局负载平衡而不是逐层负载平衡,并允许跨物理空间和AMR级别的更大并行化。级别推进的线程化还可以通过将通信与计算交织在一起来提高性能,特别是在具有许多细化级别的深度模拟中。虽然我们看到在几个核心上运行的深度模拟的性能提高了30%,但对于更大规模的模拟,加速通常更为温和(5-20%)。为了改进内存管理,我们采用了分布式树算法,该算法要求处理器仅存储AMR树结构的本地部分并与相邻处理器进行通信。使用这种分布式方法,我们能够获得合理的扩展效率(> 80%),扩展到12288个核心和多达8个级别的AMR -与线程的使用无关。
2013-02-21 astro-ph.SR cs.DC physics.comp-ph
Benchmarking and Parallelization of Electrostatic Particle-In-Cell for low-temperature Plasma Simulation by particle-thread Binding
针对PIC模拟中电荷沉积子程序的并行瓶颈,提出基于粒子-线程绑定的方法,仅需极少量私有网格即可增强可扩展性,在1000核系统上验证了其高效性且硬件依赖低。
2025-06-26 cs.DC physics.comp-ph physics.plasm-ph
A parallel gravitational N-body kernel
我们描述了{ \tt kira}直接引力$N$ -体积分器的源代码级并行化,它是{ \tt starlab}生产环境中用于模拟致密恒星系统的主力。并行化策略,称为“j-并行化”,涉及通过将系统中的所有粒子分布在可用处理器之间来划分计算域。粒子上的部分力由它们的父处理器并行计算,然后在最终的全局操作中求和。一旦获得总的力,计算元件就继续计算它们的粒子轨迹。我们报告的时间测量的结果在四个不同的并行计算机,并比较它们与理论预测。计算机采用高速互连、NUMA架构以最小化通信开销,或者分布在网格中。代码在测试的域中扩展良好,范围从1024 - 65536星,1 - 128处理器,提供令人满意的加速比。对于分布在三个站点上的60多个处理器来说,在网格上运行生产环境变得低效。
2007-11-05 astro-ph cs.DC
Efficient Parallelization for AMR MHD Multiphysics Calculations; Implementation in AstroBEAR
当前AMR仿真需要高度并行化并有效管理内存的算法。随着计算引擎变得越来越大,AMR模拟将需要实现新的高效并行化和内存管理水平的算法。我们试图采用新技术来实现这两个目标。基于块或网格的AMR通常采用虚单元来解耦给定细化水平上的每个网格的双曲线前进。这种解耦允许每个网格独立地前进。在AstroBEAR中,我们利用这种独立性,通过线程在每个级别上推进网格,并优先选择更精细的网格。这允许全局负载平衡而不是逐层负载平衡,并允许跨物理空间和AMR级别的更大并行化。级别推进的线程化还可以通过将通信与计算交织在一起来提高性能,特别是在具有许多细化级别的深度模拟中。为了改进内存管理,我们采用了分布式树算法,该算法要求处理器仅存储AMR树结构的本地部分并与相邻处理器进行通信。
2011-10-07 astro-ph.IM astro-ph.SR cs.DC
Scalable Synthesis of distributed LLM workloads through Symbolic Tensor Graphs
本文提出STAGE框架,通过符号张量图高效建模分布式AI工作负载,支持多种并行策略,实现大规模LLM和MoE模型的高保真仿真。
2026-06-26 cs.AI cs.DC
Colossal-Auto: Unified Automation of Parallelization and Activation Checkpoint for Large-scale Models
HPC-AI Technology Inc.(潞晨科技);Fudan University(复旦大学);National University of Singapore(新加坡国立大学)
近年来,大规模模型在各个领域都表现出了最先进的性能。然而,训练这样的模型需要各种技术来解决诸如GPU之类的设备上的有限计算能力和存储器的问题。一些常用的技术包括流水线并行、张量并行和激活检查点。虽然现有的工作集中在寻找有效的分布式执行计划(Zheng et al. 2022)和激活检查点调度(Herrmann et al. 2019,Beaumont et al. 2021),但还没有提出联合优化这两个计划的方法。此外,提前编译在很大程度上依赖于准确的内存和计算开销估计,这通常是耗时和误导的。现有的训练系统和机器学习流水线或者物理地执行每个操作数,或者利用缩放的输入张量来估计存储器使用。为了解决这些挑战,我们引入了一个系统,可以联合优化分布式执行和梯度检查点计划。此外,我们还提供了一个易于使用的符号分析器,可以以最小的时间成本为任何PyTorch模型生成内存和计算统计数据。我们的方法允许用户在给定的硬件上并行化他们的模型训练,并以最小的代码更改为基础。源代码可在Colossal-AI GitHub或https://github.com/hpcaitech/ColossalAI上公开获取
2023-02-22 cs.AI cs.DC cs.LG
DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72
NVIDIA
本文提出DWDP,一种无需层间同步的分布式权重数据并行策略,通过跨peer GPU卸载MoE权重和按需获取缺失专家,提升LLM推理性能,实测在8K输入和1K输出序列长度下,端到端TPS/GPU提升8.8%。
2026-05-12 cs.AI cs.DC
Distributed and heterogeneous tensor-vector contraction algorithms for high performance computing
本文提出分布式与异构张量-向量收缩算法,实现高效并行化,节省内存并提升性能,适用于高性能计算场景。
2025-02-25 cs.DC
Bisynchronous FIFOs and the FITO Category Mistake: Silicon-Proven Interaction Primitives for Distributed Coordination
DÆDÆLUS(达德罗斯)
本文提出通过双同步FIFO等交互原语取代时间戳协调,挑战FITO假设,为分布式系统提供硅验证的解决方案。
2026-03-03 cs.DC
Distributed Kernel K-Means for Large Scale Clustering
根据有效的度量和/或向量空间表示对样本进行聚类是具有广泛应用的具有挑战性的无监督学习任务。在几种聚类算法中,k-means及其内核化版本仍然拥有广泛的受众,因为它们的概念简单和有效性。然而,k-means的内核化版本的系统应用受到其固有的平方缩放内存中的样本数量的阻碍。在这方面的贡献,我们设计了一个近似的策略,以最大限度地减少内核k-means成本函数,其中精度和速度之间的权衡是自动统治可用的系统内存。此外,我们定义了一个ad-hoc的并行化方案,非常适合混合的cpu-gpu国家的最先进的并行架构。我们证明了有效性的近似方案和标准UCI数据集和分子动力学(MD)数据在计算化学领域的并行化方法。在这个应用领域,聚类可以在通过马尔可夫状态模型定量估计动力学速率或定性给出所研究的潜在化学现象的与人类兼容的总结方面发挥关键作用。出于这些原因,我们选择它作为一个有价值的现实世界的应用场景。
2017-10-09 cs.DC stat.ML
MPI-rical: Data-Driven MPI Distributed Parallelism Assistance with Transformers
Ben-Gurion University(本-古里安大学);Israel Atomic Energy Commission(以色列原子能委员会);Intel Labs(英特尔实验室);Nuclear Research Center – Negev(内盖夫核研究中心);Technion – Israel Institute of Technology(以色列理工学院)
针对手动编写MPI并行代码易出错的问题,本文提出数据驱动的编程辅助工具MPI-RICAL,利用监督语言模型实时建议MPI函数及位置,并构建了MPICodeCorpus语料库,在真实科学计算基准上达到0.87-0.91的F1分数。
2023-08-30 cs.CL cs.DC cs.LG
Development of an Equation-based Parallelization Method for Multiphase Particle-in-Cell Simulations
制造商一直在开发具有大容量、高带宽存储器和极高带宽节点内互连的新图形处理单元(GPU)节点。这使得能够以低成本在同一节点上的GPU之间移动大量数据。然而,小数据包的带宽和延迟并没有减少,这使得全球点产品昂贵。这些特点有利于一种新的问题分解称为“方程分解”,而不是传统的区域分解。在这种方法中,每个GPU被分配一个方程组并行求解,从而消除了传统分布式线性求解器中频繁和昂贵的点积同步点。作为交换,该方法涉及状态变量在高带宽、节点内互连上的不频繁移动。为了测试这一理论,我们将旗舰代码Multiphase Flow with Interphase eXchanges(MFiX)移植到了TensorFlow。这种新产品被称为MFiX-AI,可以产生与原始版本MFiX几乎相同的结果,并在多相粒子模拟(MP-PIC)中显着加速。通过NVLINK 2.0连接4个NVIDIA A100的单个节点的性能与JOULE 2.0超级计算机上的1000个CPU核心(25个节点)相比具有竞争力,从而节省高达90%的能源。这对于小型到中型的问题来说是一个巨大的性能优势。随着GPU节点变得更加强大,这一优势预计将不断增长。此外,MFiX-AI准备接受原生人工智能/机器学习模型,以进一步加速和开发。
2022-11-28 cs.DC cs.MS cs.SE
ASTRA-sim2.0: Modeling Hierarchical Networks and Disaggregated Systems for Large-model Training at Scale
Georgia Institute of Technology(佐治亚理工学院);Meta;Intel(英特尔公司)
针对分布式训练软硬件协同设计栈复杂的问题,扩展开源ASTRA-sim基础设施为ASTRA-sim2.0,支持任意模型并行化策略、多维异构拓扑生成及解耦内存系统建模,助力系统设计人员高效开展大规模分布式训练平台的设计空间探索。
2023-03-24 cs.DC cs.LG
Cache Blocking of Distributed-Memory Parallel Matrix Power Kernels
Institute of Physics, University of Greifswald(格赖夫斯瓦尔德大学物理研究所);Delft Institute of Applied Mathematics, Delft University of Technology(代尔夫特理工大学应用数学研究所)
本文提出一种灵活的方法,将RACE的缓存阻塞能力与MPI通信方案结合,实现分布式内存并行矩阵幂核的高效计算,显著提升了现代Intel和AMD架构上的稀疏矩阵处理速度。
2024-05-22 cs.DC cs.PF
Systems for Parallel and Distributed Large-Model Deep Learning Training
University of California, San Diego(加州大学圣迭戈分校)
深度学习(DL)已经改变了各种领域的应用,包括计算机视觉、自然语言处理和表格数据分析。对改进的DL模型准确性的研究已经导致从业者探索越来越大的神经架构,最近的一些Transformer模型跨越了数千亿个可学习参数。这些设计为DL空间引入了新的规模驱动系统挑战,例如内存瓶颈,运行时效率低下以及模型开发的高成本。解决这些问题的努力已经探索了诸如神经架构的并行化、跨存储层次结构溢出数据以及存储器高效数据表示之类的技术。本次调查将探讨大型培训系统的前景,重点介绍主要挑战以及用于解决这些挑战的各种技术。
2023-01-06 cs.DC cs.LG
Parallel image thinning through topological operators on shared memory parallel machines
在本文中,我们提出了一个强大的拓扑细化算子的并发实现。该算子能够直接作用于灰度图像而不修改其拓扑结构。我们介绍了一种适应并行化方法,它结合了分裂,分布和合并(SDM)的战略和混合并行技术(数据和线程并行)。引入的策略允许有效的并行化的一大类拓扑算子,主要包括,λ-leveling,crossonization和波峰恢复算法。为了实现良好的加速,我们关心线程的协调。细化过程中的分布式工作由可变数量的线程完成。在2D灰度图像(512*512)上的测试,使用具有8个CPU内核(2个Xeon E5405,以2 GHz的频率运行)的共享内存并行机(SMPM),显示出6.2的增强,使用8个线程最大实现125张图像/秒的节奏。
2016-03-30 cs.DC
Real-time topological image smoothing on shared memory parallel machines
平滑滤波是图像预处理和模式识别的首选方法。本文提出了一种新的二值情况下二维物体的并行光顺方法。所提出的方法提供了一个并行计算,同时通过使用同伦变换保持拓扑结构。我们引入了一个适应的并行化策略,称为分裂,分布和合并(SDM)的策略,它允许有效的并行化的一大类拓扑算子,主要包括,平滑,tenonization,分水岭算法。为了实现良好的加速比,我们关心任务调度。平滑过程中的分布式工作由可变数量的线程完成。使用具有8个CPU核心(2个Xeon E5405以2GHz的频率运行)的共享内存并行机(SMPM)对2D二值图像(512*512)进行测试,显示出5.2的增强,从而实现每秒32幅图像的节奏。
2016-03-30 cs.DC
Quantum Algorithms and Simulation for Parallel and Distributed Quantum Computing
构建大规模量子计算机的一种可行方法是将小规模量子计算机与量子网络互连,以创建更大的分布式量子计算机。当为这种分布式量子计算机设计量子算法时,可以利用系统中固有的附加并行化和分布能力。分布式量子计算需要克服的另一个困难是,需要一个复杂的控制系统来协调各种组件。在这项工作中,我们旨在解决这些问题。我们明确定义了量子算法的分布式意味着什么,然后提出了各种符合定义的量子算法。我们讨论了潜在的好处,并提出了一个高层次的计划控制系统。有了这个,我们提出了我们的软件框架称为Interlin-q,一个模拟平台,旨在简化设计和验证并行和分布式量子算法。我们通过使用Interlin-q实现一些讨论过的算法来演示Interlin-q,并规划将Interlin-q开发成分布式量子计算机控制系统的未来步骤。
2022-04-07 cs.DC quant-ph
DeepStack: Facilitating Co-Design Exploration of 3D DRAM-Stacked Accelerators for Distributed LLM Inference
Imperial College London(帝国理工学院);Peking University(北京大学);Tile-AI
DeepStack通过高效模型和工具实现分布式3D堆叠AI系统的早期设计空间探索,利用双阶段网络抽象和计算通信重叠技术,提升性能模拟效率,并揭示批量大小对架构设计的根本影响。
2026-09-14 cs.AR cs.DC
The Reverse Cuthill-McKee Algorithm in Distributed-Memory
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出首个分布式内存实现的反Cuthill-McKee算法,用于减少稀疏矩阵的轮廓,通过二维稀疏矩阵分解和优化原语实现高性能。
2016-10-26 cs.DC cs.MS cs.NA
A Distributed Particle-PHD Filter with Arithmetic-Average PHD Fusion
School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);University of Salamanca(萨拉曼卡大学);Institute of Telecommunications, TU Wien(维也纳科技大学电信研究所);Brno University of Technology(布尔诺理工大学)
本文提出了一种基于粒子的分布式PHD滤波器,用于跟踪未知且随时间变化的目标数量。通过让相邻传感器的局部PHD滤波器通信高斯混合(GM)参数来减少通信开销,采用算术平均融合方法,同时开发了粒子-高斯混合转换和高斯混合-粒子转换方法以实现并行化。仿真结果表明该滤波器具有出色的性能和小的通信与计算需求。
2018-12-20 cs.DC cs.SY eess.SY
Distributed Memory Techniques for Classical Simulation of Quantum Circuits
在本文中,我们描述,实现和测试的性能分布式存储器模拟的量子线路上的MSU拉科尼亚Top500超级计算机。使用OpenMP和MPI混合并行化,我们首先使用一个分布式的矩阵-向量乘法与一维分区,并讨论了这种方法的缺点,由于模拟量子计算机的指数内存需求。然后,我们描述了一种更有效的方法,该方法仅存储$n$量子比特状态向量$|ψ\rangle$的$2^n$幅度,并优化其单节点性能。在我们的多节点实现中,我们使用单振幅通信协议,该协议最大化能够被模拟的量子位的数量,并且最小化需要通信的量子位与不需要通信的量子位的比率,并且我们提出了一种用于有效地确定处理器之间的通信对的算法。我们在单个节点上模拟了多达30个量子位,在64个节点上模拟了33个量子位。最后,我们讨论了我们的通信方案的优点和缺点,提出了潜在的改进,并描述了其他优化,如存储在内存中的状态向量非顺序映射通信要求的电路中的空闲量子位。
2018-06-21 cs.DC quant-ph
A Parallel and Distributed Rust Library for Core Decomposition on Large Graphs
University of Pisa(比萨大学);University of Calabria(卡拉布里亚大学)
本文提出了一种基于Rust语言的并行和分布式库,用于高效计算大规模图的核心分解,通过优化算法和并发机制实现了显著的速度提升。
2025-11-28 cs.DC
knor: A NUMA-Optimized In-Memory, Distributed and Semi-External-Memory k-means Library
k-means是最有影响力和最常用的机器学习算法之一。它的计算限制了许多统计分析和机器学习任务的性能和可扩展性。我们重新思考和优化现代NUMA架构的k均值,开发一种新的并行化方案,延迟和最大限度地减少同步障碍。\textit{k-means NUMA Optimized Routine}(\textsf{knor})库具有(i)内存中(\textsf{knori})、(ii)分布式内存(\textsf{knord})和(iii)半外部内存(\textsf{knors})模块,这些模块可以针对不同的内存和硬件预算从根本上提高k均值算法的性能。\textsf{knori}可将单机数据集的性能提高一个数量级或更多。\textsf{knors}提高了k均值算法在使用SSD的内存预算上的可扩展性。\textsf{knors}可在一台机器上扩展到数十亿个点,只使用分布式内存系统所需资源的一小部分。\textsf{knord}保留了\textsf{knori}的性能特征,同时通过云中的分布式计算在内存中进行扩展。\textsf{knor}修改埃尔坎的三角不等式修剪算法,使我们利用它对十亿点的数据集没有显着的内存开销的原始算法。我们证明了\textsf{knor}优于分布式商业产品,如H $_2$ O,Turi(以前的Dato,GraphLab)和Spark的MLlib超过一个数量级的数据集的$1…
2017-06-24 cs.DC
PSelInv -- A Distributed Memory Parallel Algorithm for Selected Inversion : the Symmetric Case
我们描述了一个有效的并行实现的分布式存储计算机系统,我们称之为\texttt{PSelInv}的选定的反演算法。\texttt{PSelInv}方法计算可分解为$A = LU$的一般稀疏矩阵$A$的选定元素,其中$L$是下三角形,而$U$是上三角形。本文所描述的实现集中在稀疏对称矩阵的情况下。它包含一个与分布式内存并行稀疏直接因式分解\texttt{SuperLU\_DIST}兼容的接口。然而,\texttt{PSelInv}的底层数据结构和设计允许它容易地与其他因式分解例程(如\texttt{PARDISO})组合。我们讨论一般的并行化策略,如数据和任务分配方案。特别是,我们描述了如何利用与$A$的$LU$因子分解相关的消除树所暴露的并发性。我们证明了\texttt{PSelInv}的效率和准确性,提出了一些数值实验。特别是,我们表明,\texttt{PSelInv}可以有效地运行在一个中等大小的矩阵超过$4,000$核心。我们还演示了如何\texttt{PSelInv}可以用来加速大规模的电子结构计算。
2015-05-28 cs.DC cs.NA math.NA
diBELLA: Distributed Long Read to Long Read Alignment
我们提出了一个并行算法和可扩展的实现基因组分析,特别是从“第三代”长读测序仪的数据发现重叠和对齐的问题。虽然DNA的长序列为生物分析和洞察提供了巨大的优势,但目前的长读取测序仪器具有高出错率,因此需要与其短读取对应物不同的分析方法。我们的工作集中在一个有效的分布式内存并行化的准确的单节点算法重叠和对齐长读。我们实现了这种不规则的算法的可扩展性,通过解决竞争的问题,增加并行度,最大限度地减少通信,限制内存占用,并确保良好的负载平衡。由此产生的应用程序diBELLA是第一个专门为长时间读取和并行可扩展性设计的分布式内存分配器和对齐器。我们描述并提出了高层次的设计权衡分析,并进行了广泛的实证分析,比较性能特征的国家的最先进的HPC系统以及商业云架构,突出国家的最先进的网络技术的优势。
2020-01-27 cs.DC
Performance Assessment of Diffusive Load Balancing for Distributed Particle Advection
粒子平流是从矢量场中提取积分曲线的方法。由于负载不平衡的问题,粒子平流的有效并行化是一项具有挑战性的任务,其中进程被分配不平等的工作负载,导致其中一些进程在其他进程执行计算时空闲。负载均衡的方法有很多种,但它们都需要权衡,比如增加进程间的通信,或者需要中央控制结构。在这项工作中,我们提出了两个本地负载均衡方法的基础上扩散负载均衡家庭的粒子平流。每个进程都可以访问其相邻进程的块,这使得能够基于由邻域的工作负载定义的度量来动态共享粒子。这些方法在强和弱缩放以及负载不平衡方面进行评估。我们表明,该方法减少了总的运行时间的平流和缩放方面是有前途的,因为他们在本地孤立的进程邻域。
2022-08-16 cs.DC cs.GR
Capabilities for Distributed Authorization in Information-Centric Networking
本文针对信息中心网络中授权引入部分集中化的问题,提出一种基于权能的完全分布式授权方案,以增强信任模型并缓解拒绝服务攻击。
2023-08-08 cs.CR cs.DC cs.NI
Primitives for Dynamic Big Model Parallelism
School of Computer Science Carnegie Mellon University(卡内基梅隆大学计算机科学学院)
当训练具有许多变量或参数的大型机器学习模型时,单个机器通常是不够的,因为模型可能太大而无法容纳在内存中,而即使使用随机更新,训练也可能需要很长时间。一个自然的办法是转向分布式集群计算,以利用额外的内存和处理器。然而,ML算法的幼稚的非结构化并行化可能会使分布式内存的使用效率低下,同时无法获得成比例的收敛加速,甚至可能导致发散。我们开发了一个用于动态模型并行的原语框架,STRADS,以探索分布式ML算法中模型变量的分区和更新调度-从而提高其内存效率,同时提供新的机会来加快收敛而不影响推理正确性。我们证明了有效的模型并行算法实现的STRADS与流行的实现主题建模,矩阵分解和套索。
2014-06-18 cs.DC cs.LG stat.ML