Accurate, Efficient and Scalable Graph Embedding
US Army Research Lab-West（美国陆军研究实验室西区）
图卷积网络（GCN）模型及其变体是用于促进图上的分类和聚类的强大的图嵌入工具。然而，一个主要的挑战是降低分层GCN的复杂性，并使它们在非常大的图上可并行化和可扩展-最先进的技术无法在不损失准确性和效率的情况下实现可扩展性。在本文中，我们提出了新的并行化技术的图形采样为基础的GCN，实现卓越的可扩展性能非常大的图形，而不影响准确性。具体来说，我们的GCN保证了工作效率的培训，并在计算和通信方面节省了大量的费用。为了在紧密耦合的共享内存系统上扩展GCN训练，我们为训练中的关键步骤开发了并行化策略：对于图形采样步骤，我们利用多个采样实例内和多个采样实例之间的并行性，并设计了一种高效的并发访问数据结构，为处理单元数量提供了近线性加速的理论保证。对于采样图中的特征传播步骤，我们通过数据分区来提高缓存利用率并减少DRAM通信。我们证明，我们的分区策略是一个2-近似最小化的通信时间相比，最优策略。我们证明了我们的并行图嵌入在几个大型数据集上的可扩展性（关于处理器数量，图形大小和GCN模型大小），效率和准确性方面优于最先进的方法。在40核Xeon平台上，与串行实现相比，我们的并行训练在采样步骤中实现了$64\times$加速（使用AVX），在特征传播步骤中实现了$25\times$加速，从而实现了$21\times$的净加速。
2020-08-05 cs.LG cs.PF stat.ML
MergeComp: A Compression Scheduler for Scalable Communication-Efficient Distributed Training
Rice University（莱斯大学）
大规模的分布式训练越来越受到通信的限制。许多梯度压缩算法已经被提出来减少通信开销和提高可扩展性。然而，已经观察到，在某些情况下，梯度压缩甚至可能损害分布式训练的性能。在本文中，我们提出了MergeComp，压缩调度器，以优化通信高效的分布式训练的可扩展性。它自动安排压缩操作，以优化压缩算法的性能，而无需了解模型架构或系统参数。我们已经将MergeComp应用于九种流行的压缩算法。我们的评估表明，MergeComp可以将压缩算法的性能提高高达3.83倍，而不会损失准确性。它甚至可以在高速网络上实现高达99%的分布式训练比例。
2021-03-28 cs.DC cs.LG
GossipGraD: Scalable Deep Learning using Gossip Communication based Asynchronous Gradient Descent
Pacific Northwest National Laboratory（太平洋西北国家实验室）
在本文中，我们提出了GossipGraD -一种基于流言通信协议的随机梯度下降（SGD）算法，用于在大规模系统上扩展深度学习（DL）算法。GossipGraD的突出特点是：1）将总体通信复杂性从充分研究的SGD中的p个计算节点的θ（log（p））降低到O（1），2）模型扩散，使得计算节点交换它们的更新（梯度）在每个log（p）步之后间接地，3）通信伙伴的旋转以便于梯度的直接扩散，4）在SGD中的前馈阶段期间异步分布式混洗样本以防止过拟合，5）异步梯度通信以进一步降低SGD和GossipGraD的通信成本。我们为GPU和CPU集群实现了GossipGraD，并使用NVIDIA GPU（Pascal P100）与InfiniBand连接，以及Intel Knights Landing（KNL）与Aries网络连接。我们使用经过充分研究的数据集ImageNet-1 K（~ 250 GB）和广泛研究的神经网络拓扑结构（如GoogLeNet和ResNet 50（ImageNet大规模可视化研究挑战赛（ILSVRC）的当前获胜者）来评估GossipGraD。我们使用KNL和Pascal GPU的性能评估表明，GossipGraD可以实现这些数据集及其相关的神经网络拓扑结构的完美效率。具体而言，对于ResNet 50，GossipGraD能够使用128个NVIDIA Pascal P100 GP…
2018-03-15 cs.DC cs.LG
FedRings: A Scalable and Topology-Aware Federated Learning Framework for LEO Satellite Constellations
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对低轨卫星网络联邦学习的动态拓扑与通信限制，提出FedRings环形去中心化框架，通过感知链路的路由调度、自适应聚合及历史补偿实现高效稳定学习，性能优于现有方法。
2026-08-05 cs.DC cs.LG
Scalable Average Consensus with Compressed Communications
Rice University（莱斯大学）
我们提出了一个新的分散的平均共识算法与压缩通信，规模与网络大小n线性。我们证明了所提出的方法收敛到平均值的初始值由本地代理的网络时，代理被允许与压缩消息进行通信。所提出的算法适用于广泛的一类压缩运营商（可能有偏见），代理人在任意静态，无向和连接的网络进行交互。我们进一步提出了数值实验，证实了我们的理论结果，并说明了我们的算法的可扩展性和通信效率。
2021-09-14 cs.DC cs.LG cs.SY
FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
在经典的联邦学习中，客户端通过将其私有数据上的底层模型的本地更新传达给协调服务器来对整体训练做出贡献。然而，当资源受限的客户端共同旨在训练大型机器学习模型时，更新和通信整个模型变得极其昂贵。在这种情况下，分裂学习提供了一种自然的解决方案，其中只有一小部分模型在客户端存储和训练，而其余大部分模型仅停留在服务器上。然而，分裂学习中采用的模型划分引入了大量的通信成本。本文解决了这个问题，通过压缩额外的通信使用一种新的聚类方案伴随着梯度校正方法。对图像和文本基准测试的大量经验评估表明，该方法可以实现高达$490\times$的通信成本降低，精度下降最小，并实现理想的性能与通信权衡。
2022-02-16 cs.DC cs.LG
Layered SGD: A Decentralized and Synchronous SGD Algorithm for Scalable Deep Neural Network Training
Brookhaven National Laboratory（布鲁克海文国家实验室）
随机梯度下降（SGD）是训练深度神经网络（DNN）最流行的算法。由于较大的网络和数据集会导致较长的训练时间，因此在分布式系统上进行训练很常见，并且分布式SGD变体（主要是异步和同步SGD）被广泛使用。异步SGD是通信高效的，但是由于延迟的参数更新而遭受精度降级。当节点数量增加时，同步SGD变得通信密集，而不管其优点如何。为了解决这些问题，我们引入分层SGD（LSGD），一个新的分散同步SGD算法。LSGD将计算资源划分为子组，每个子组包含一个通信层（communicator）和一个计算层（worker）。每个子组具有用于参数更新的集中式通信，而子组之间的通信由通信器处理。因此，通信时间与工作器的I/O延迟重叠。通过在ImageNet分类任务上训练深度网络来测试该算法的效率。
2019-06-13 cs.DC cs.LG stat.ML
BeACONS: A Blockchain-enabled Authentication and Communications Network for Scalable IoV
本研究提出名为BeACONS的区块链赋能车联网认证通信网络，通过主层与车内子层的分层架构结合区块链域名服务与双向认证，减少对中心化设施依赖，提升通信安全与效率，为去中心化可信车联网提供新方案。
2024-05-14 cs.DC
Scalable Communication Endpoints for MPI+Threads Applications
混合MPI+线程编程作为传统的“MPI无处不在”模型的替代方案越来越突出，以更好地处理与其他节点上资源相比核数量不成比例的增加。这两个模型的当前实现代表了现代MPI实现中通信资源共享的两种极端情况。在MPI-everywhere模型中，每个MPI进程都有一组专用的通信资源（也称为端点），这对性能来说是理想的，但浪费资源。使用MPI+线程，当前的MPI实现为所有线程共享一个通信端点，这对于资源使用是理想的，但对性能是有害的。在本文中，我们探讨了MPI+线程环境中的性能和通信资源使用之间的权衡空间。我们首先演示了两种极端情况-一种是所有线程共享一个通信端点，另一种是每个线程都有自己的专用通信端点（类似于MPI无处不在模型），并展示了这两种情况下的效率低下。接下来，我们将对Mellanox InfiniBand环境中的不同级别的资源共享进行全面分析。利用从这种分析中吸取的经验教训，我们设计了一个改进的资源共享模型，以产生\emph{scalable communication endpoints}，可以实现相同的性能，每个线程专用的通信资源，但只使用三分之一的资源。
2020-02-06 cs.DC
The PetscSF Scalable Communication Layer
PetscSF是科学计算便携式可扩展工具包（PETSc）的通信组件，旨在提供PETSc的通信基础设施，适用于使用GPU和其他加速器的百万亿次计算机。PetscSF提供了一个简单的应用程序编程接口（API），通过使用星森林图表示来管理科学计算中的常见通信模式。PetscSF支持多种基于MPI和NVSHMEM的实现，其选择基于应用程序或目标体系结构的特征。一个高效、可移植的网络和节点间通信模型对于实现大规模应用是必不可少的。消息传递接口已成为分布式内存系统的事实标准，它已发展成为一个大型复杂API，但尚未在新兴的基于CPU-GPU的异构exascale系统上提供高性能。在本文中，我们讨论了PetscSF的设计，它如何克服在GPU上直接与MPI一起工作的一些困难，并展示了它的性能，可扩展性和新功能。
2021-05-22 cs.DC
High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
针对大规模分布式训练中通信成本高、现有方法更新发散且难处理高维稀疏性的问题，提出通信高效的分布式逻辑回归方案，仅需少量更新即可大幅提升准确率，运行速度更优。
2024-07-08 cs.DC cs.LG stat.ML
Optimizing Communication by Compression for Multi-GPU Scalable Breadth-First Searches
广度优先搜索（BFS）算法是许多基于图的高级操作（如生成树、最短路径和介数中心性）的基础和构建块。该算法的重要性与日俱增，因为它是当今流行的许多数据结构的关键要求。当BFS算法通过将图分布在多个处理器之间来并行化时，互连网络限制了性能。因此，在这方面的改进可能有利于算法的整体性能。这项工作提出了一种替代的压缩方案，在分布式BFS处理通信。它侧重于使用通用图形处理单元的BFS处理器。
2017-04-03 cs.DC cs.DS cs.PF
Scalable K-FAC Training for Deep Neural Networks with Distributed Preconditioning
The Hong Kong University of Science and Technology（香港科技大学）
二阶优化方法，特别是D-KFAC（分布式克罗内克因子近似曲率）算法，在加速GPU集群上的深度神经网络（DNN）训练方面取得了进展。然而，现有的D-KFAC算法需要计算和传递大量的二阶信息，即，Kronecker因子（KFs），在预处理梯度之前，导致大的计算和通信开销以及高的存储器占用。在本文中，我们提出了DP-KFAC，一种新的分布式预处理方案，将KF构建任务分布在不同的DNN层到不同的工人。DP-KFAC不仅保持了现有D-KFAC算法的收敛特性，而且具有三个优点：减少了构造KF的计算开销，没有KF的通信，以及低内存占用。在64 GPU集群上的大量实验表明，与现有的D-KFAC方法相比，DP-KFAC方法在每次二阶更新中的计算开销减少了1.55倍-1.65倍，通信开销减少了2.79倍-3.15倍，内存占用减少了1.14倍-1.47倍。
2022-06-30 cs.DC cs.LG
FSD-Inference: Fully Serverless Distributed Inference with Scalable Cloud Communication
University of Warwick（华威大学）
提出首个完全无服务器分布式ML推理系统FSD-Inference，利用云发布/订阅、队列和对象存储设计新通信方案，实现比有服务器方案更优的成本效益、可扩展性及与优化HPC方案相当的竞争性能。
2024-03-22 cs.AI cs.DC cs.LG
Scalable Graph Convolutional Network Training on Distributed-Memory Systems
Imagination Technologies（想象力科技）；University of Warwick（华威大学）
图卷积网络（GCN）被广泛用于图上的深度学习。图的大数据量及其顶点特征使得可扩展的训练算法和分布式存储系统成为必要。由于图上的卷积运算会导致不规则的内存访问模式，因此为GCN训练设计一个高效的内存和通信并行算法带来了独特的挑战。我们提出了一个高度并行的训练算法，可扩展到大型处理器计数。在我们的解决方案中，大型邻接矩阵和顶点特征矩阵在处理器之间进行划分。我们利用图的顶点分区使用处理器之间的非阻塞点对点通信操作，以获得更好的可扩展性。为了进一步减少并行化的开销，我们引入了一个稀疏矩阵分区计划的超图分区模型的基础上进行全批训练。我们还提出了一种新的随机超图模型来编码小批量训练中的预期通信量。我们展示了超图模型的优点，以前未探索的GCN训练，在标准的图划分模型，它不准确地编码的通信成本。在真实世界的图数据集上进行的实验表明，所提出的算法实现了相当大的加速比替代解决方案。在具有许多处理器的高可扩展性下，通信成本方面的优化变得更加明显。性能优势在具有更多层的更深GCN中以及在十亿级图中得以保留。
2022-12-13 cs.AI cs.DC cs.LG
AsyncHZP: Hierarchical ZeRO Parallelism with Asynchronous Scheduling for Scalable LLM Training
ByteDance Seed（字节跳动种子）
本文提出AsyncHZP，一种异步分层的ZeRO并行方法，通过自适应重分片和多流异步调度降低通信开销，在保持简单性的同时实现优于ND并行的可扩展LLM训练性能。
2025-10-23 cs.DC cs.LG
HongTu: Scalable Full-Graph GNN Training on Multiple GPUs (via communication-optimized CPU data offloading)
提出可扩展全图GNN训练系统HongTu，通过CPU数据卸载、去重通信和成本模型引导的图重组技术，在多GPU上支持十亿规模图训练，显著降低通信开销并实现大幅加速。
2023-11-25 cs.DC
BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models
Anonymous Authors（匿名作者）
BOOST通过引入瓶颈感知张量并行和优化技术，提升低秩瓶颈架构的训练效率，实现1.46-1.91倍的速度提升，同时减少通信开销和GPU利用率。
2026-05-11 cs.DC cs.LG
Scalable Breadth-First Search on a GPU Cluster
在GPU集群上，高计算能力与通信带宽的比率使得在无标度图上扩展广度优先搜索（BFS）极具挑战性。通过分离出度高和出度低的顶点，我们提出了一个可扩展的计算和可扩展的通信模型的BFS和方向优化的BFS的实现。我们的通信模型使用全球减少高程度的顶点，和点对点的低程度的顶点传输。利用度分离的特性，我们将图的大小减少到传统边列表表示的三分之一。通过其他几项优化，我们观察到随着GPU数量的增加，线性弱缩放，并在最新的CORAL抢先体验系统上使用124个GPU在scale-33 Graph 500 RMAT图上实现259.8 GTEPS。
2018-04-05 cs.DC cs.DS
Scalable Resilience Against Node Failures for Communication-Hiding Preconditioned Conjugate Gradient and Conjugate Residual Methods
观察到的和预期的大规模并行计算机中的节点数量的持续增长引起了两个主要的挑战：全球通信业务正在成为主要的瓶颈，由于其有限的可扩展性，和节点故障的可能性正在增加。我们研究的方法来解决这些挑战的背景下，解决大型稀疏线性系统。特别是，我们专注于流水线预处理共轭梯度法（PPCG），已被证明成功地处理这些挑战的第一个。在本文中，我们解决第二个挑战。我们提出了扩展PPCG求解器和它的两个变种，使它们对计算节点的故障有弹性，同时完全保留其通信隐藏属性，从而其可扩展性。其基本思想是以非常小的开销将局部向量元素的一些冗余副本有效地传送到相邻节点。如果节点发生故障，这些冗余副本将在替换节点处收集，然后可以准确地重建求解器状态的丢失部分。之后，并行求解器可以像在无故障场景中一样继续。我们的方法的实验评估表明，平均非常低的运行时开销相比，标准的非弹性算法。这表明可以以较低的额外成本实现可扩展的算法弹性。
2019-12-19 cs.DC
Lattica: A Decentralized Cross-NAT Communication Framework for Scalable AI Inference and Training
Gradient；Technische Universität Darmstadt, Germany（达姆施塔特工业大学）；Emory University, USA（埃默里大学）
针对分布式AI工作负载跨数据中心部署时的NAT与防火墙限制，以及现有方案耦合性强、适配性不足的问题，研究提出集成NAT穿透、CRDT去中心化存储与DHT内容发现的Lattica框架，为无集中式中介的可扩展分布式AI系统提供完整通信协议栈。
2025-10-02 cs.DC
Scalable In Situ Lagrangian Flow Map Extraction: Demonstrating the Viability of a Communication-Free Model
我们介绍和评估一种新的算法，在现场提取拉格朗日流图，我们称之为边界终止优化（BTO）。我们的方法是一个无通信的模型，不需要消息传递或进程之间的同步，提高可扩展性，从而减少整体执行时间，并减轻在原位处理的模拟代码上放置的障碍。我们在节点边界处终止粒子集成，并仅存储通过跨节点通信粒子而提取的流图的子集，从而引入了准确性-性能权衡。我们运行实验多达2048 GPU和多个模拟数据集。对于我们考虑的实验配置，我们的研究结果表明，我们的无通信技术在原位节省了2倍至4倍的执行时间，同时在定量和定性上与以前的工作几乎一样准确。最重要的是，这项研究建立了可行性接近在原位拉格朗日流图提取使用无通信模型在未来。
2020-04-04 cs.CE cs.DC physics.comp-ph
Sparse Allreduce: Efficient Scalable Communication for Power-Law Data
University of California Berkeley（加州大学伯克利分校）
许多大型数据集表现出幂律统计：Web图，社交网络，文本数据，点击数据等，它们的邻接图被称为自然图，并且已知难以划分。因此，这些图上的大多数分布式算法都是通信密集型的。自然图上的许多算法都涉及Allreduce：分区数据的总和或平均值，然后共享回集群节点。例子包括PageRank、谱划分和许多机器学习算法，包括回归、因子（主题）模型和聚类。在本文中，我们描述了一个有效的和可扩展的Allreduce原语的幂律数据。我们指出现有的蝴蝶和循环网络稀疏Allreduce的缩放问题，并表明，一种混合的方法，提高了两者。此外，我们表明，稀疏Allreduce阶段应该嵌套，而不是级联（如在密集的情况下）。最佳吞吐量的Allreduce网络应该是一个异度的蝴蝶，异度随着网络深度的增加而减小。最后，一个简单的复制计划，介绍了处理节点故障。我们目前的实验显示显着的改进，如PowerGraph和Hadoop的现有系统。
2013-12-11 cs.AI cs.DC cs.MS
A Scalable Architecture for Monitoring IoT Devices Using Ethereum and Fog Computing
随着物联网（IoT）的近期显著发展，数十亿资源受限的设备通过互联网互连。监控大量在底层通信协议和数据格式方面异构的物联网设备具有挑战性。大多数现有的物联网设备监控解决方案严重依赖于集中式架构。由于使用集中式架构是以信任权威为代价的，因此它有几个固有的缺点，包括易受安全攻击，缺乏数据隐私和未经授权的数据操纵。因此，一种新的去中心化方法对于弥补这些缺陷至关重要。被广泛用于提供去中心化的最有前途的技术之一是区块链。此外，为了减轻资源受限的物联网设备上的通信开销和计算能力的负担，可以利用雾计算来减少通信延迟并提供更好的网络可扩展性。在本文中，我们提出了一种可扩展的基于区块链的架构，用于使用雾计算监控物联网设备。为了证明所提出的解决方案的可行性和可用性，我们利用以太坊智能合约实现了一个概念验证原型。最后，进行了综合评价。评估结果表明，所提出的解决方案具有显著的可扩展性，并与资源受限的物联网设备兼容。
2020-11-11 cs.DC
FlowMoE: A Scalable Pipeline Scheduling Framework for Distributed Mixture-of-Experts Training
Zhejiang University（浙江大学）；Institute for Communication Systems (ICS), University of Surrey（萨里大学通信系统研究所）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Northeastern University（东北大学）；Khalifa University（哈利法大学）
FlowMoE提出统一流水线调度框架，覆盖MHA、门控、专家计算及A2A通信，并通过张量块优先级机制重叠全归约通信，显著降低训练时间、能耗和内存使用。
2025-10-07 cs.DC
Scalable and Secure Aggregation in Distributed Networks
我们考虑的问题，计算聚合函数的\emph{secure}和\emph{scalable}的方式。而以前的分布式解决方案具有类似的安全保证有$O(n^3)$的通信成本，我们提出了一个分布式协议，只需要一个$O(n\log^3 n)$，我们证明是接近最优的通信复杂性。我们的协议确保了完美的安全性，对计算有界的对手，容忍$(1/2-ε)n$恶意节点的任何常数$1/2 > ε> 0$（不依赖于$n$），并以高概率输出的聚合函数的确切值。
2011-11-23 cs.CC cs.CR cs.DC
PCCL: Process Group-Aware Scalable and Generic Collective Algorithm Synthesizer
Georgia Institute of Technology（佐治亚理工学院）；Intel Labs（英特尔实验室）；Intel（英特尔）
提出PCCL框架，通过进程组感知和拓扑感知，自动生成针对任意集合模式（如All-to-All）的近似最优算法，显著提升分布式训练中集合通信的效率。
2026-06-05 cs.DC
TACO: Efficient Communication Compression of Intermediate Tensors for Scalable Tensor-Parallel LLM Training
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Science and Technology of China（中国科学技术大学）
本文提出TACO框架，通过FP8压缩技术减少大规模张量并行训练中的通信开销，提升训练吞吐量并保持高精度。
2026-04-27 cs.AI cs.DC
SDP: Scalable Real-time Dynamic Graph Partitioner
时间演化大型图因其在社交网络和PageRank计算等实际应用中的参与而受到关注。为了克服计算负载划分时的内存瓶颈，需要对大规模动态图进行流划分。减少网络通信和平衡分区之间的负载是在图分区中实现有效运行时性能的标准。此外，需要最优的资源分配来利用资源，同时将图形流迎合到分区中。许多现有的分割算法（ADP，LogGP和LEOPARD）已被提出来解决上述问题。然而，这些划分方法不能缩放资源并实时的【形】处理数据流。在这项研究中，我们提出了一个动态图分区方法称为可扩展的动态图分区（SDP）使用流分区技术。SDP贡献了一种新的顶点分配方法，通信感知的平衡方法，和缩放技术，以产生一个有效的动态图分区。实验结果表明，与已有算法相比，该方法可降低通信开销90%以上，动态均衡负载60%~ 70%。此外，所提出的算法显着减少了分区过程中的执行时间。
2021-10-29 cs.DC
Kudu: An Efficient and Scalable Distributed Graph Pattern Mining Engine
本文提出了Kudu，这是一个分布式执行引擎，具有定义良好的抽象，可以与现有的单机图形模式挖掘（GPM）系统集成，同时提供效率和可扩展性。关键的新颖性是可扩展的嵌入抽象，它可以表达模式枚举算法，允许细粒度的任务调度，并使低成本的特定于GPM的数据重用，以降低通信成本。有效的BFSDFS混合探索产生足够的通信计算重叠的并发任务与有限的内存消耗。通过在Kudu上移植Automine和GraphPi实现了两个可扩展的分布式GPM系统。我们的评估表明，基于Kudu的系统显著优于最先进的分布式GPM系统，分区图高达75.5倍（平均19.0倍），与最快的分布式GPM系统相比，复制图实现了类似甚至更好的性能，并可扩展到具有超过1000亿条边的大型图形。
2022-11-11 cs.DC
Hubs and Spokes Learning: Efficient and Scalable Collaborative Machine Learning
Atul Sharma（未知）；Kavindu Kherath（未知）；Saurabh Bagchi（未知）；Somali Chaterji（未知）；Chaoyue Liu（未知）
本文提出HSL协作机器学习框架，结合FL与P2PL优势，采用两层通信结构避免单点故障，在更低通信预算下达到或超越ELL性能，适用于资源受限的大规模系统。
2025-04-29 cs.AI cs.DC cs.LG
Scalable communication for high-order stencil computations using CUDA-aware MPI
高性能计算中的现代计算节点提供了巨大的并行性和处理能力。然而，由于已经观察到算术性能相对于存储器和网络带宽以更快的速率增加，因此优化数据移动对于在许多通信繁重的应用中实现强大的可扩展性变得至关重要。随着图形处理单元的引入，这种性能差距进一步加剧，图形处理单元可以通过多种因素提供比中央处理单元更高的数据并行任务吞吐量。在这项工作中，我们探讨了迭代模板循环的计算方面，并实现了一个通用的通信方案，使用CUDA感知MPI，我们用它来加速基于高阶有限差分和三阶龙格库塔积分的磁流体力学模拟。我们特别关注提高工作负载的节点内局部性。我们的GPU实现可在$50\%$上从一个$64$设备强烈扩展--基于理论性能模型的预期效率的$87\%$。与多核CPU求解器相比，我们的实现在$16$节点上的计算约束基准测试中表现出$20$-$60\times$加速和$9$ - $12\times$提高的能量效率。
2022-05-10 cs.DC physics.comp-ph physics.flu-dyn
SparCML: High-Performance Sparse Communication for Machine Learning
将机器学习技术应用于科学和工业中快速增长的数据需要高度可扩展的算法。大型数据集通常是分布在许多节点上的“数据并行”处理。每个节点对整体梯度的贡献使用全局allreduce求和。这种allreduce是单一通信，因此是大多数机器学习工作负载的可扩展性瓶颈。我们经常观察到，许多梯度值（接近）为零，导致稀疏的稀疏通信。为了利用这一洞察力，我们分析，设计，并实现了一组通信高效的协议稀疏输入数据，结合高效的机器学习算法，可以利用这些原语。我们的通信协议通过允许进程贡献任意稀疏的输入数据向量来概括标准的集体操作。我们的通用通信库SparCML扩展了MPI以支持其他功能，例如非阻塞（异步）操作和低精度数据表示。因此，SparCML及其技术将成为未来高度可扩展的机器学习框架的基础。
2019-08-16 cs.DC stat.ML
Efficient and Scalable Architecture for Multiple-chip Implementation of Simulated Bifurcation Machines
针对多芯片模拟分岔伊辛机性能饱和问题，提出流式架构使计算与通信重叠，实现线性扩展，八FPGA集群达97.9%流水线效率，性能媲美光学伊辛机。
2023-11-29 cs.AR cs.DC cs.ET
Unleashing Scalable Context Parallelism for Foundation Models Pre-Training via FCP
University of California, Berkeley（加州大学伯克利分校）；ByteDance Seed（字节跳动种子实验室）；University of Washington（华盛顿大学）；University of California, Davis（加州大学戴维斯分校）
本文提出FCP，一种灵活的上下文并行范式，通过块级粒度划分和调度序列，实现高效计算和负载平衡，提升基础模型预训练的可扩展性。
2026-05-08 cs.DC
Scalable Byzantine Fault Tolerance via Partial Decentralization
拜占庭共识是许多许可区块链和分布式账本的关键组成部分。我们提出了一个新的范例，设计BFT协议称为DQBFT，解决了三个主要的性能和可扩展性的挑战，困扰过去的协议：（i）高通信成本，以达到地理分布的协议，（ii）不均匀的资源利用率阻碍性能，（iii）性能下降，在不同的节点和网络条件和高竞争的工作负载。具体来说，DQBFT将共识分为两个部分：1）没有全局顺序的持久命令复制，以及2）跨所有副本的命令的一致全局顺序。DQBFT通过分散复制命令的繁重任务，同时集中订购过程来实现这一点。在新的范式下，我们开发了一个新的协议，命运，使用三种技术的组合，以实现高性能和可扩展性：使用一个可信的子系统，以减少共识的仲裁大小，使用阈值签名，以达到线性通信成本，减少客户端通信。我们对300个副本的地理分布部署的评估表明，DQBFT协议实现了优于现有技术的显著性能增益：$\approx$ 3倍更好的吞吐量和$\approx$ 50%更好的延迟。
2022-02-27 cs.DB cs.DC
A Scalable Framework for Wireless Distributed Computing
我们考虑一个无线分布式计算系统，其中多个移动用户，通过无线接入点连接，合作执行一个计算任务。特别地，用户经由接入点彼此通信以交换其本地计算的中间计算结果，这被称为数据混洗。我们提出了一个可扩展的框架，该系统中，所需的通信带宽数据洗牌不增加网络中的用户数量。关键思想是利用放置数据集的特定重复模式（因此中间计算的特定重复模式），以便在用户和接入点处提供编码机会，这将从用户到接入点的所需上行链路通信带宽和从接入点到用户的下行链路通信带宽减少了随着用户数量线性增长的因子。我们还证明了所提出的数据集放置和编码洗牌方案是最佳的（即，实现最小所需的混洗负载）。
2017-05-05 cs.DC cs.IT math.IT
Eidola: Modeling Multi-GPU Network Communication Traffic in Distributed AI Workloads
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；AMD Research and Advanced Development（AMD研究与先进开发）
提出Eidola，一种可扩展的gem5模拟框架扩展，通过注释时序配置精确建模多GPU间通信流量，支持细粒度同步分析和架构探索。
2026-06-12 cs.AR cs.DC
Towards Efficient and Scalable Distributed Vector Search with RDMA
针对分布式向量搜索中计算与通信效率的矛盾，提出CoTra系统，通过聚类数据划分、异步执行和任务推送等协同设计及系统优化，在16台机器上实现9.8-13.4倍扩展，吞吐量达最佳基线的2.12-3.58倍。
2025-07-09 cs.DC
Distributed Graph Layout for Scalable Small-world Network Analysis
内存中的图形布局或组织对分布式内存图形计算的时间和能量效率具有相当大的影响。它影响内存局部性、任务间负载平衡、通信时间和整体内存利用率。图形布局可以指顶点和边数组的分区或复制、保存元数据的数据结构的选择性复制以及顶点和边标识符的重新排序。在这项工作中，我们提出了DGL，一个快速，并行和内存高效的分布式图形布局策略，是专门为小世界网络（低直径图与倾斜的顶点度分布）。基于标签传播的分区和可扩展的基于BFS的排序是布局策略中的主要步骤。我们表明，DGL布局可以显着提高五个具有挑战性的图分析工作负载的端到端性能：PageRank，一个并行子图枚举程序，调整实现的广度优先搜索和单源最短路径，和RDF 3X-MPI，一个分布式SPARQL查询处理引擎。使用这些基准测试，我们还提供了一个全面的分析，关于图布局如何影响具有可变计算和通信特性的图分析的性能。
2017-01-02 cs.DC
Social Hash Partitioner: A Scalable Distributed Hypergraph Partitioner
我们设计并实现了一个分布式算法平衡$k$ -路超图分区，最大限度地减少扇出，一个基本的超图数量也被称为通信量和（$k-1$）切割度量，通过优化一个新的目标称为概率扇出。这种选择允许一个简单的局部搜索启发式算法实现与现有最佳超图划分器相当的解决方案质量。我们的算法是任意可扩展的，由于精心设计，控制计算复杂性，空间复杂度，和通信。在实践中，我们通常在几个小时内处理具有数十亿个顶点和超边的超图。我们解释了算法的可扩展性，无论是在超图的大小和桶数，是有限的，只有可用的机器的数量。我们进行了广泛的比较，现有的分布式超图分区，并发现我们的方法是能够优化超图大致$100$倍以上的同一组机器。我们称之为社会哈希分区工具（SHP），并伴随着这篇论文，我们开源的最可扩展的版本的基础上递归二分法。
2017-07-20 cs.DC cs.DS
Scalable and Differentially Private Distributed Aggregation in the Shuffled Model
Google Research（谷歌研究院）；IT University of Copenhagen（哥本哈根信息技术大学）
联邦学习通过使用安全聚合方法实现梯度下降，有望使机器学习在分布式私有数据集上变得可行。这个想法是计算全局权重更新，而不显示单个用户的贡献。当前用于安全聚合的实际协议在“诚实但好奇”的设置中工作，其中好奇的对手观察到所有去往和来自服务器的通信，无法获知任何私人信息，假设服务器是诚实的并且遵循协议。隐私保护协议的一个更可扩展和鲁棒的原语是用户数据的混洗，以便隐藏每个数据项的来源。用于混洗的高度可扩展和安全的协议，即所谓的混合网，已经被提出作为Bittau等人的编码-混洗-分析框架中的隐私保护分析的原语，后来Erlingsson等人和Cheu等人对其进行了分析研究。Cheu等人最近的论文，和Balle等人已经给出了用于安全聚集的协议，其在该“混洗模型”中实现了差分隐私保证。然而，他们的协议是有代价的：预期的聚合错误或每个用户的通信量都是用户数$n$的多项式$n^{Ω(1)}$。在本文中，我们提出了简单且更有效的洗牌模型聚合协议，其中通信和错误在$n$中仅呈多对数增加。我们的新技术是一种概念上的“隐形斗篷”，它使用户的数据几乎无法与随机噪声区分开来，同时在总和上引入零失真。
2019-12-02 cs.CR cs.DC cs.DS
Scalable Dual Coordinate Descent for Kernel Methods
针对核支持向量机和核岭回归中DCD和BDCD方法的通信瓶颈，提出$s$-step变体以降低通信频率，在保证数值稳定性的同时，最高实现了9.8倍的强扩展加速。
2024-06-26 cs.DC stat.ML
Overview of Swallow --- A Scalable 480-core System for Investigating the Performance and Energy Efficiency of Many-core Applications and Operating Systems
我们提出了燕子，一个可扩展的众核架构，与480 x 32位处理器的当前配置。Swallow是一种开源架构，旨在提供可扩展的可用计算能力，以允许对多核应用程序和支持它们的操作系统进行实验。可扩展性是通过创建具有低延迟互连的可平铺系统来实现的，该系统具有有吸引力的通信计算比和分布式内存配置的使用。我们分析了燕子的能量和计算和通信性能。该系统提供240 GIPS，每个核心消耗71- 193 mW，取决于工作负载。每条指令的功耗低于几乎所有同等规模的系统。我们还展示了如何使用分布式操作系统（nOS）允许轻松创建可扩展的软件，利用燕子的潜力。最后，我们展示了两个用例研究：神经元建模和分布式内存系统上共享内存的覆盖。
2015-04-23 cs.AR cs.DC cs.DS
Towards a Scalable and Efficient PGAS-based Distributed OpenMP
本文提出 DiOMP，将 PGAS 概念集成到 OpenMP 中，基于 LLVM 和 GASNet-EX 实现，实验表明其带宽比 MPI+OpenMP 最高提升 25%、延迟最多降低 45%，为分布式内存并行编程提供了更高效的替代方案。
2024-09-04 cs.DC cs.PF
SwiftFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs
University of Toronto \&\ Institute；Amazon；University of Toronto \& Vector Institute \& NVIDIA
针对扩散Transformer推理中序列并行方法的通信和同步瓶颈，提出拓扑感知的StreamFusion引擎，通过Torus Attention和单边通信实现平均1.35倍加速。
2026-05-22 cs.CV cs.DC
Fast and Scalable Sparse Triangular Solver for Multi-GPU Based HPC Architectures
在现代基于多GPU的HPC系统上设计高效且可扩展的稀疏线性代数内核是一项艰巨的任务，这是由于GPU之间存在显著的不规则内存引用和工作负载不平衡。对于稀疏三角形求解器（SpTRSV）来说尤其如此，SpTRSV在后续计算步骤中引入了额外的二维计算依赖性。依赖信息在GPU之间交换和共享，从而保证高效的内存分配，数据分区和工作负载分配以及细粒度的通信和同步支持。在这项工作中，我们证明了直接采用统一内存会对SpTRSV在多GPU架构上的性能产生不利影响，尽管通过NVLinks和NVSwitches等快速互连进行链接。另外，我们采用最新的NVSHMEM技术的分区全局地址空间编程模型的基础上，使有效的细粒度通信和大幅减少同步开销。此外，为了处理工作负载不平衡，我们提出了一个可延展的任务池执行模型，可以进一步提高GPU的利用率。通过应用这些技术，我们在NVIDIA多GPU超级节点V100-DGX-1和DGX-2系统上的实验表明，我们的设计可以实现平均3.53倍（高达9.86倍）的DGX-1系统上的加速比和3.66倍（高达9.64倍）的DGX-2系统上的4个GPU的统一内存设计。全面的灵敏度和可扩展性研究也表明，提出的零拷贝SpTRSV是能够充分利用多GPU系统的计算和通信资源。
2020-12-13 cs.AR cs.DC
A Communication Efficient and Scalable Distributed Data Mining for the Astronomical Data
到2020年，天文学家将可以访问约60PB的存档数据。但分析这样一个至关重要的数据将是一项具有挑战性的任务。这主要是由于计算模型用于将数据从复杂的地理分布的档案下载到中央站点，然后在本地系统中进行分析。由于数据必须下载到中心站点，网络带宽限制将成为科学发现的障碍。此外，以集中的方式在本地机器上分析这种PB规模是具有挑战性的。在这个虚拟天文台是朝着这个问题迈出了一步，但是，它不提供数据挖掘模型。在VO中增加分布式数据挖掘层可以是解决方案，其中知识可以由天文学家下载而不是原始数据，然后天文学家可以从下载的知识中重建数据或直接使用知识进行进一步分析。我们提出了分布式负载平衡主成分分析，用于在可用节点之间优化分配计算，以最小化传输成本以及最终用户的下载成本。用Fundamental Plane（FP）数据、Gadotti数据和复Mfeat数据进行了实验分析。在传输成本方面，我们的方法比Qi更好。Yue.et分析表明，对于复杂的Mfeat数据，可以为最终用户减少约90%的下载成本，而精度损失可以忽略不计。
2016-06-23 astro-ph.IM cs.DC
