D2NO: Efficient Handling of Heterogeneous Input Function Spaces with Distributed Deep Neural Operators
Florida State University（佛罗里达州立大学）；Purdue University（普渡大学）；Yale University（耶鲁大学）；UCLA（加州大学洛杉矶分校）
本文提出分布式深度神经算子方法D2NO，通过划分输入函数空间并用独立网络处理异构函数，以集中式网络共享信息，从而放宽离散化要求、减少反向传播步骤并保持精度。
2023-10-29 cs.LG cs.NA math.NA
Scalable Distributed DNN Training using TensorFlow and CUDA-Aware MPI: Characterization, Designs, and Performance Evaluation
TensorFlow是最广泛采用的机器/深度学习框架。然而，文献中几乎没有提供对TensorFlow为需要大规模计算和通信的大型ML/DL模型的分布式训练提供的功能的全面理解。最常用的TF分布式训练方法可以分为以下几类：1）Google Remote Procedure Call（gRPC），2）gRPC+X：X=（InfiniBand Verbs，Message Passing Interface，GPUDirect RDMA），3）No-gRPC：Baidu Allreduce with MPI，Horovod with MPI，Horovod with NVIDIA NCCL。在本文中，我们对这些分布式训练方法在各种GPU集群上的性能进行了深入的表征和分析，包括Piz Daint系统（Top500排名第6）。我们进行实验以获得以下向量的新见解：1）DNN训练的应用级可扩展性，2）批量大小对扩展效率的影响，3）用于no-gRPC方法的MPI库的影响，以及4）DNN架构的类型和大小。基于这些实验，我们提出了两个关键的见解：1）总体而言，与大多数配置的基于gRPC的方法相比，No-gRPC设计实现了更好的性能，以及2）No-gRPC的性能受到使用Allreduce的梯度聚合的严重影响。最后，我们提出了一个真正的CUDA感知MPI Allreduce设计，利用CUDA内核和指针缓存，…
2018-10-25 cs.DC
TF-Replicator: Distributed Machine Learning for Researchers
DeepMind（深度思维）
我们描述了TF-Replicator，这是一个为DeepMind研究人员设计的分布式机器学习框架，并作为TensorFlow的抽象实现。TF-Replicator简化了数据并行和模型并行研究代码的编写。使用同步或异步训练方案，可以毫不费力地将相同的模型部署到不同的集群架构（即一台或多台包含CPU、GPU或TPU加速器的机器）。为了证明TF-Replicator的通用性和可扩展性，我们实现并测试了三个非常不同的模型：（1）用于ImageNet分类的ResNet-50，（2）用于类条件ImageNet图像生成的SN-GAN，以及（3）用于连续控制的D4 PG强化学习代理。我们的研究结果表明，强大的可扩展性的性能，而不需要任何分布式系统的专业知识的用户。TF-Replicator编程模型将作为TensorFlow 2.0的一部分开源（参见https：//github.com/tensorflow/community/pull/25）。
2019-02-01 cs.AI cs.DC cs.LG
secureTF: A Secure TensorFlow Framework
TU Dresden（德累斯顿工业大学）；Scontain UG（Scontain有限责任公司）；TU Munich（慕尼黑工业大学）
数据驱动的智能应用在现代在线服务中已经无处不在。这些应用程序通常托管在不受信任的云计算基础设施中。这带来了重大的安全风险，因为这些应用程序依赖于在可能包含私人和敏感信息的大型数据集上应用机器学习算法。为了应对这一挑战，我们设计了secureTF，这是一个基于Tensorflow的分布式安全机器学习框架，用于不受信任的云基础设施。secureTF是一个通用平台，可支持未经修改的TensorFlow应用程序，同时为输入数据、ML模型和应用程序代码提供端到端安全性。secureTF是基于可信执行环境（TEE）提供的安全属性从头构建的。然而，它扩展了由单节点TEE提供的易失性存储器区域（或安全飞地）的信任，以保护支持在云中运行的未修改的有状态机器学习应用所需的分布式基础设施。本文报告了我们在系统设计选择和生产用例中的系统部署方面的经验。最后，我们总结了我们的商业平台的局限性的基础上吸取的教训，并讨论了开放的研究问题，为未来的工作。
2021-01-20 cs.CR cs.DC cs.LG
Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on GPU Clusters
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
深度学习模型可能需要数周的时间在一台配备GPU的机器上进行训练，因此需要将DL训练扩展到GPU集群。然而，当前的分布式DL实现由于网络上的大量参数同步而可伸缩性差，因为GPU的高吞吐量允许每单位时间比CPU处理更多的数据批次，从而导致更频繁的网络同步。我们提出了Poseidon，一个有效的通信架构，用于GPU上的分布式DL。Poseidon利用DL程序中的分层模型结构来重叠通信和计算，减少突发网络通信。此外，Poseidon使用混合通信方案，根据层属性和机器数量优化同步每个层所需的字节数。我们通过将Poseidon插入Caffe和TensorFlow来证明Poseidon适用于不同的DL框架。我们展示了Poseidon使Caffe和TensorFlow能够在16台单GPU机器上实现15.5倍的速度提升，即使带宽有限（10 GbE）和具有挑战性的VGG 19 - 22 K网络用于图像分类。此外，Poseidon支持的TensorFlow在Inception-V3上使用32台单GPU机器实现了31.5倍的速度提升，比开源TensorFlow（20倍速度提升）提高了50%。
2017-06-11 cs.CV cs.DC cs.LG
Scaling GRPC Tensorflow on 512 nodes of Cori Supercomputer
我们探索了标准分布式Tensorflow与GRPC原语在Cori超级计算机的多达512个Intel Xeon Phi（KNL）节点上的扩展，同步随机梯度下降（SGD），并确定了在更高节点数下扩展效率低下的原因。据我们所知，这是首次在HPC超级计算机上使用同步SGD大规模探索分布式GRPC Tensorflow可扩展性。我们研究了两个卷积神经网络的缩放- ResNet-50，一个用于分类的最先进的深度网络，大约有2550万个参数，以及HEP-CNN，一个用于常见科学用途的参数少于100万个的浅层拓扑结构。对于ResNet-50，我们使用32个参数服务器（PS任务）在多达128个工作者上实现了>80%的扩展效率，而使用64个PS任务的512个工作者的扩展效率急剧下降到23%。我们对效率下降的分析指出，由于三个因素的综合影响，网络带宽利用率较低。(a)异构分布式并行算法使用PS任务作为集中式服务器进行梯度平均，对于利用互连带宽是次优的。(b)PS任务之间的负载不平衡阻碍了它们的有效扩展。(c)底层通信原语GRPC目前在Cori高速互连上效率低下。HEP-CNN需要较少的互连带宽，并且对于多达256个节点仅具有1个PS任务显示>80%的弱缩放效率。我们的发现也适用于其他深度学习网络。拥有数百万参数的大型网络偶然发现了这里讨论的问题。像HEP-CNN这样参数数量相对较少的浅网络即使使用单个参…
2017-12-26 cs.DC
TensorFlow: A system for large-scale machine learning
Google Brain（谷歌大脑）
TensorFlow是一个机器学习系统，可在大规模和异构环境中运行。TensorFlow使用递归图来表示计算、共享状态以及改变该状态的操作。它可以在集群中的多台机器上以及在多个计算设备上的一台机器内映射一个Cumblow图的节点，这些计算设备包括多核CPU、通用GPU和定制设计的ASIC（称为张量处理单元（TPU））。这种架构为应用程序开发人员提供了灵活性：在以前的“参数服务器”设计中，共享状态的管理是内置在系统中的，而TensorFlow使开发人员能够尝试新的优化和训练算法。TensorFlow支持各种应用程序，特别是对深度神经网络的训练和推理的强大支持。几个Google服务在生产中使用TensorFlow，我们已经将其作为开源项目发布，它已广泛用于机器学习研究。在本文中，我们描述了TensorFlow的低层模型与现有系统的对比，并展示了TensorFlow在几个实际应用中所实现的令人信服的性能。
2016-05-31 cs.AI cs.DC
HetSeq: Distributed GPU Training on Heterogeneous Infrastructure
University of Notre Dame（圣母大学）
像PyTorch和Tensorflow这样的现代深度学习系统能够在分布式基础设施上训练具有数十亿（或数万亿）参数的巨大模型。这些系统要求内部节点具有相同的内存容量和计算性能。不幸的是，大多数组织，尤其是大学，都采用零敲碎打的方法来购买计算机系统，从而导致异构的基础设施，无法用于计算大型模型。目前的工作描述了HetSeq，一个软件包改编自流行的PyTorch包，提供了在异构基础设施上训练大型神经网络模型的能力。使用Transformer翻译和BERT语言模型的实验表明，HetSeq可在异构系统上扩展。HetSeq可以很容易地扩展到其他模型，如图像分类。包含支持文档的软件包可在https://github.com/yifding/hetseq上公开获取。
2020-09-25 cs.DC cs.LG
TensorFlow Estimators: Managing Simplicity vs. Flexibility in High-Level Machine Learning Frameworks
Google, Inc.（谷歌公司）；Uptake Technologies, Inc.（Uptake技术公司）
我们提出了一个框架，用于指定，训练，评估和部署机器学习模型。我们的重点是简化从业者的尖端机器学习，以便将这些技术投入生产。认识到深度学习领域的快速发展，我们没有尝试在特定领域语言（DSL）或类似的配置语言中捕获所有可能的模型架构的设计空间。我们允许用户编写代码来定义他们的模型，但提供了抽象，指导开发人员以有利于生产化的方式编写模型。我们还提供了一个统一的Estimate接口，使得独立于模型实现编写下游基础设施（例如分布式训练，超参数调优）成为可能。我们通过提供不同抽象级别的API来平衡灵活性和简单性的竞争需求，使通用模型架构开箱即用，同时提供旨在加速模型架构实验的实用程序库。为了使开箱即用的模型在广泛的问题中灵活可用，这些固定估计器不仅在传统的超参数上进行参数化，而且还使用特征列进行参数化，特征列是一种描述如何解释输入数据的声明性规范。我们讨论了在研究和生产环境中使用该框架的经验，并展示了对代码健康、可维护性和开发速度的影响。
2017-08-08 cs.DC cs.LG
RCD-SGD: Resource-Constrained Distributed SGD in Heterogeneous Environment via Submodular Partitioning
New York University（纽约大学）；IBM Research（IBM研究院）
本文提出RCD-SGD框架，通过基于子模优化的数据划分算法在异构计算环境中兼顾资源差异与类别级特征分布，可将现有SOTA分布式训练算法加速最高32%。
2023-09-18 cs.DC cs.LG
Dynamic Control Flow in Large-Scale Machine Learning
Microsoft（微软）；Google Brain（谷歌大脑）；Google（谷歌）；DeepMind；Cerebras Systems
许多最近的机器学习模型依赖于细粒度的动态控制流进行训练和推理。特别是，基于递归神经网络和强化学习的模型依赖于递归关系、数据依赖的条件执行以及其他需要动态控制流的特征。这些应用程序受益于跨分布式系统中的一组计算设备做出快速控制流决策的能力。为了提高性能、可伸缩性和表现力，机器学习系统必须支持分布式和异构环境中的动态控制流。提出了一种支持动态控制流的分布式机器学习编程模型。我们描述了编程模型的设计，以及它在分布式机器学习系统TensorFlow中的实现。我们的方法扩展了使用图来表示机器学习模型，提供了几个独特的功能。首先，条件的分支和循环的主体可以在许多机器上划分，以便在一组异构设备上运行，包括CPU，GPU和自定义ASIC。其次，在我们的模型中编写的程序支持自动微分和分布式梯度计算，这对于训练使用控制流的机器学习模型是必要的。第三，我们对非严格语义的选择使多个循环迭代能够跨机器并行执行，并重叠计算和I/O操作。我们已经在TensorFlow的背景下完成了我们的工作，它已经广泛用于研究和生产。我们评估它使用几个现实世界的应用程序，并证明其性能和可扩展性。
2018-05-04 cs.DC cs.LG
Distributed Machine Learning through Heterogeneous Edge Systems
The University of Hong Kong（香港大学）；The Hong Kong Polytechnic University（香港理工大学）
许多新兴的人工智能应用要求在边缘系统之间进行分布式机器学习（ML）（例如，物联网设备和互联网边缘的个人电脑），由于数据量大和/或安全/隐私问题，无法将数据上传到中心地点进行模型训练。边缘设备在计算能力上本质上是异构的，这对参数服务器（PS）架构的并行训练的参数同步提出了重大挑战。本文提出了一种用于异构边缘系统的分布式机器学习参数同步方案ADSP。ADSP的核心思想是消除现有参数同步模型中出现的大量等待时间，让更快的边缘设备继续训练，同时以战略决定的间隔提交模型更新。我们设计的算法，决定每个工人提交其模型更新的时间点，并确保不仅全局模型收敛，但也更快的收敛。我们的测试床实现和实验表明，ADSP优于现有的参数同步模型显着ML模型的收敛时间，可扩展性和适应性大的异构性。
2019-11-16 cs.DC cs.LG
Distributed Optimization using Heterogeneous Compute Systems
Indian Institute of Science（印度科学研究所）
近年来，硬件计算能力以前所未有的速度增长。在学术界和工业界，利用这些进步在用更少的时间取得更好的成果方面发挥着关键作用。然而，将现有硬件与同一生态系统中的最新硬件合并是一项具有挑战性的任务。在这种情况下，关键挑战之一是不同的计算能力。在本文中，我们考虑在具有不同计算能力的分布式系统上训练深度神经网络。同步分布式训练的简单实现将导致更快的工作者等待最慢的工作者完成处理。为了缓解这个问题，我们建议在训练过程中动态调整为每个工人分配的数据。我们为每个工作者分配一个与其计算能力成比例的总数据分区。我们的实验表明，动态调整数据分区有助于提高系统的利用率，并显着减少训练所需的时间。代码可在存储库中获得：\url{https://github.com/vineeths96/Heterogeneous-Systems}。
2021-10-03 cs.DC cs.LG
HyperTune: Dynamic Hyperparameter Tuning For Efficient Distribution of DNN Training Over Heterogeneous Systems
UC Irvine（加州大学欧文分校）；NGD Systems Inc.（NGD Systems公司）
分布式训练是一种加速深度神经网络（DNN）训练的新方法，但常见的训练库无法解决异构处理器的分布式情况或处理节点被其他工作负载中断的情况。本文描述了DNN在计算存储设备（CSD）上的分布式训练，CSD是基于NAND闪存的高容量数据存储，具有内部处理引擎。基于CSD的分布式体系结构通过消除存储设备和主机处理器之间不必要的数据移动，结合了联邦学习在性能可扩展性、弹性和数据隐私方面的优势。本文还描述了Stannis，这是一种DNN训练框架，通过动态调整异构系统中的训练超参数来改善现有分布式训练框架的缺点，以保持每秒处理图像和能源效率方面的最大总体处理速度。在图像分类训练基准上的实验结果表明，与通用系统相比，使用Stannis加CSD时，性能提高了3.1倍，能耗降低了2.45倍。
2020-07-16 cs.DC cs.LG
Rosella: A Self-Driving Distributed Scheduler for Heterogeneous Clusters
William & Mary（威廉与玛丽学院）
大规模交互式Web服务和高级AI应用程序基于在数千台服务器上执行大量计算任务，实时做出复杂的决策。通常在异构和易失性环境中操作的任务调度器需要高吞吐量，即，每秒调度数百万个任务，以及低延迟，即，对于毫秒级的任务，导致最小的调度延迟。由于共享系统中其他用户的工作负载、其他后台活动以及数据中心内部的各种硬件配置，调度变得更加复杂。我们提出了Rosella，一种新的自驱动，分布式方法在异构集群任务调度。Rosella自动学习计算环境，并实时调整其调度策略。该解决方案同时提供了高吞吐量和低延迟，因为它以最小的协调在多台机器上并行运行，并且只对每个调度决策执行简单的操作。我们的学习模块监控总的系统负载，并使用这些信息来动态地确定后端计算能力的最佳估计策略。Rosella推广了两种选择的幂算法来处理异构工人，将先前算法获得的O（log n）的最大队列长度减少到O（log log n）。我们在32节点AWS集群上使用各种工作负载评估Rosella。实验结果表明，Rosella算法显著缩短了任务响应时间，并能快速适应环境变化。
2021-10-27 cs.DC cs.LG
Sailor: Automating Distributed Training over Dynamic, Heterogeneous, and Geo-distributed Clusters
Sailor系统通过结合搜索空间探索算法、运行时与内存模拟及支持异构的分布式训练框架，在动态、异构和地理分布式集群上自动化分布式训练，以优化吞吐量和成本。
2025-09-26 cs.DC
Towards Performance Portable Programming for Distributed Heterogeneous Systems
硬件异构性是高性能计算的基础。大规模系统目前每个计算节点都配备了多个GPU加速器，预计未来将采用更专业的硬件。计算生态系统的这种转变为性能改进提供了许多机会;然而，它也增加了此类架构的编程复杂性。这项工作介绍了一个运行时框架，使异构系统轻松编程，同时有效地利用硬件资源。该框架集成在一个分布式的和可扩展的运行时系统，以促进跨异构节点的性能可移植性。随着设计，本文描述了实施和优化执行，实现了高达300%的改进，在共享内存基准和分布式设备通信高达10倍。初步结果表明，我们的软件产生的开销低，实现了40%的改善，在分布式Jacobi代理应用程序，同时隐藏的特质的硬件。
2022-10-03 cs.DC
HDArray: Parallel Array Interface for Distributed Heterogeneous Devices
具有包含一个或多个加速器（诸如GPU）的节点的异构集群已经变得常见。虽然MPI提供了地址空间间的通信，而OpenCL提供了一个可以访问异构计算资源的进程，但程序员被迫编写混合程序来管理这两个系统的交互。本文介绍了一个数组编程接口，为用户提供自动和手动分配的数据和工作。使用工作分配和内核定义和使用信息，自动执行进程和进程中的设备之间的通信。通过向用户提供统一的编程模型，简化了程序开发。
2018-09-18 cs.DC
HiDP: Hierarchical DNN Partitioning for Distributed Inference on Heterogeneous Edge Platforms
University of Turku（图尔库大学）；Politecnico di Milano（米兰理工大学）
针对边缘推理未考虑节点核心级异构性、资源利用率低导致延迟高的问题，提出分层DNN划分策略HiDP，通过全局与局部分层划分利用异构资源，在商用设备上评估显示延迟降38%、能耗降46%、吞吐量升56%。
2024-11-25 cs.AI cs.DC cs.LG
DHLP 1&2: Giraph based distributed label propagation algorithms on heterogeneous drug-related networks
背景与目的：异构复杂网络是由不同类型的节点和边组成的大型图。从这些网络中提取知识是复杂的。此外，这些网络的规模正在稳步扩大。因此，需要可扩展的方法。方法：介绍了两种适用于异构网络的分布式标签传播算法DHLP-1和DHLP-2。生物网络是异质复杂网络的一种。作为一个案例研究，我们已经测量了我们提出的DHLP-1和DHLP-2算法在由药物，疾病和靶标组成的生物网络上的效率。我们在这个网络中研究的主题是药物重新定位，但我们的算法可以用作生物网络以外的异构网络的一般方法。结果：我们比较了所提出的算法与类似的非分布式版本，即MINProp和Heter-LP。实验结果表明，该算法在运行时间和准确性方面具有良好的性能。
2020-06-20 cs.DC
MPI-Q: A Message Communication Library for Large-Scale Classical-Quantum Heterogeneous Hybrid Distributed Computing
Laboratory for Advanced Computing and Intelligence Engineering, Information Engineering University（信息工程大学先进计算与智能工程实验室）
针对经典-量子系统异构性问题，提出MPI-Q库，通过统一管理经典与量子进程、轻量通信路径和异构同步机制，实现高效混合分布式计算，实验显示其具有接近线性扩展性。
2026-04-02 cs.DC
Optimal Load Allocation for Coded Distributed Computation in Heterogeneous Clusters
近年来，编码技术已成为分布式计算中有效减轻离散节点影响的一种技术。然而，在这种情况下的编码主要是在同构工作者的假设下探索的，尽管现实世界的计算集群通常可以由具有不同计算能力的异构工作者组成。没有异构性意识的均匀负载分配可能会导致延迟的显著损失。在本文中，我们提出了最佳的负载分配编码分布式计算与异构工作者。具体来说，我们专注于存在具有相同计算能力的工人的情况下，这可以被视为一组进行分析。我们依赖于预期延迟的下限，并通过显示我们提出的负载分配达到足够大数量的工人的下限的最小值来获得最佳负载分配。从数值模拟，当假设组的异质性，我们的负载分配减少了预期的延迟的数量级超过现有的负载分配方案。
2020-02-17 cs.DC
3LC: Lightweight and Effective Traffic Compression for Distributed Machine Learning
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
分布式机器学习（ML）的性能和效率在很大程度上取决于节点交换状态更改所需的时间。过度积极地尝试减少通信通常会牺牲最终模型的准确性，并需要额外的ML技术来补偿这种损失，从而限制了它们的通用性。一些减少通信的尝试会导致高计算开销，这使得它们的性能优势仅在慢速网络上可见。我们提出了3LC，一个有损压缩计划的状态变化流量，罢工之间的平衡多个目标：流量减少，准确性，计算开销，和一般性。它结合了三种新的技术-3值量化与稀疏乘法、四次编码和零游程编码-以利用量化和稀疏化技术的优势并避免它们的缺点。它实现了高达39- 107倍的数据压缩比，几乎与训练模型相同的测试精度，以及较高的压缩速度。分布式ML框架可以使用3LC，而无需修改现有的ML算法。我们的实验表明，与TensorFlow的基线设计相比，3LC将基于ResNet-110的图像分类器在10 GPU集群上用于CIFAR-10的挂钟训练时间减少了16- 23倍。
2018-02-21 cs.DC cs.LG stat.ML
Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Power-EF算法，通过误差反馈压缩通信，首次在异构联邦学习中无需数据同质性假设即可证明逃离鞍点并达到二阶驻点，且通信开销与一阶收敛几乎同阶。
2023-10-29 cs.DC cs.LG math.OC
Poplar: Efficient Scaling of Distributed DNN Training on Heterogeneous GPU Clusters
本文提出Poplar分布式训练系统，通过扩展ZeRO实现异构感知，结合细粒度测量、批处理分配与搜索算法优化异构GPU集群利用率，实现全自动化并行，吞吐量提升1.02-3.92倍。
2024-08-22 cs.DC
Software-Distributed Shared Memory for Heterogeneous Machines: Design and Use Considerations
分布式共享内存（DSM）允许使用方便的共享内存编程模型将应用程序实现和部署到分布式体系结构上，在该模型中，一组任务能够分配和访问数据，而不管它们的远程本地化。随着HPC和嵌入式环境中分布式异构体系结构的发展，人们对诸如DSM之类的系统重新产生了兴趣，这些系统简化了复杂硬件的可编程性。在这份报告中，一些设计考虑，建立一个完整的软件DSM（S-DSM）。这个S-DSM被称为SAT（Share Among Things），是在欧洲项目M2 DC（Modular Microserver DataCentre）的框架内由CEA（法国替代能源和原子能委员会）开发的，以解决在微服务器架构上管理共享数据的问题。S-DSM的特点是将大型数据自动分解为称为块的原子块，可以部署多个一致性协议来管理不同的块，基于事件编程的混合编程模型和微睡眠机制来减少消息接收的能耗。
2020-09-03 cs.DC
HiCR, an Abstract Model for Distributed Heterogeneous Programming
本文提出分布式异构编程抽象模型 HiCR，通过最小抽象操作集合与插件化运行时支持层，实现跨当前及未来硬件平台的应用执行。
2025-09-01 cs.DC
Bracing Heterogeneous Distributed Systems via Built-in Frameworks
本文介绍了一种新的分布式系统体系结构--框架式分布式系统（framed distributed system，FDS）--它通过一个内置的【形】虚拟框架来支撑给定的系统，该框架控制系统组件之间以及组件与环境之间的消息流，而不关心通信组件的代码。这种控制是以分散的方式进行的，因此是可扩展的。FDS体系结构将对分布式系统的可靠性和安全性以及此类系统的整个生存周期产生重大影响。尽管这种体系结构是专门为类似SOA的异构和开放系统设计的--这些系统的组件可能用不同的语言编写，可能在不同的平台上运行，可能在不同的管理域下设计、构造甚至维护--但它对一般的分布式系统应该是有用的。
2014-03-19 cs.DC cs.SE
CONE-DHT: A distributed self-stabilizing algorithm for a heterogeneous storage system
我们考虑的问题，管理一个动态的异构存储系统中的分布式方式，使分配给该系统中的主机的数据量与其容量。为此，必须解决两个中心问题：（1）在具有低度和直径的覆盖网络中组织主机，使得可以有效地检查任何两个主机之间的数据和路由的正确分布，以及（2）在主机之间分布数据，使得分布尊重主机的容量，并且可以容易地随着主机集合或它们的容量改变而适应。我们提出了分布式协议，这些问题是自我稳定的，不需要任何全球知识的系统，如节点的数量或系统的整体能力。在此之前的工作没有解决方案是已知的满足这些性质。
2013-07-25 cs.DC
Automatic Parallelization of Python Programs for Distributed Heterogeneous Computing
本文介绍了一种新的方法来自动提前（AOT）并行化和优化的顺序Python程序在分布式异构平台上执行。我们的方法支持Python程序的AOT源到源转换，由包含函数参数和返回值的类型提示驱动。这些提示可以由程序员提供，也可以通过动态分析器工具获得;多版本代码生成保证了AOT转换在所有情况下的正确性。我们的编译框架执行自动并行化和复杂的高级代码优化的目标分布式异构硬件平台。它包括对多面体框架的扩展，统一了矩阵/张量运算符中的用户编写的循环和隐式循环，以及CPU与GPU代码变体的自动化部分。此外，我们的多面体优化使节点内和节点间的并行。最后，使用Ray运行时部署优化的输出代码，以跨集群中的多个异构节点调度分布式任务。我们的经验评估显示，在单节点和多节点实验中，相对于顺序Python，性能有了显著的提高，当在OLCF Summit超级计算机中使用24个节点和144个GPU进行空时自适应处理（STAP）雷达应用时，性能提高了20，000多$\times$。
2022-03-11 cs.DC
DiOMP-Offloading: Toward Portable Distributed Heterogeneous OpenMP
Stony Brook University（石溪大学）
针对传统HPC混合编程模型在分布式GPU内存管理与可移植性上的不足，提出分布式OpenMP框架DiOMP，融合OpenMP目标卸载与PGAS模型，实验证明其在多类异构平台上具备更优性能、可扩展性与可编程性。
2025-06-03 cs.DC
On Batch-Processing Based Coded Computing for Heterogeneous Distributed Computing Systems
近年来，编码分布式计算（CDC）由于能够有效地解决分布式计算系统中的延迟敏感计算问题而受到广泛关注。尽管有这样一个突出的特点，许多设计的挑战和机遇仍然存在。本文针对具有异构计算资源的实际计算系统，设计了一种新的基于批处理的编码计算（BPCC）方法。为此，我们首先描述了BPCC框架的主要思想，然后制定一个优化问题BPCC，以最大限度地减少任务完成时间，通过配置计算负载。通过正式的理论分析，广泛的仿真研究，并在亚马逊EC2计算集群上进行全面的真实实验，我们证明了所提出的BPCC方案在高计算效率和对不确定干扰的鲁棒性方面具有良好的性能。
2021-07-09 cs.DC
Heta: Distributed Training of Heterogeneous Graph Neural Networks
针对现有分布式GNN系统不适应异构图特性导致训练效率低的问题，提出Heta框架，采用关系聚合优先范式、新型图划分与GPU缓存策略，大幅提升分布式HGNN训练速度。
2024-08-20 cs.DC
Topology-Aware Node Selection for Data Regeneration in Heterogeneous Distributed Storage Systems
分布式存储系统引入冗余来保护数据免受节点故障的影响。存储节点发生故障后，应尽快在替换存储节点上重新生成丢失的数据，以保持相同的冗余级别。最小化这种再生时间对于分布式存储系统的可靠性至关重要。现有的工作致力于通过最小化再生流量或调整再生流量模式来减少再生时间，而参与数据再生的节点通常被假定为预先给定的。然而，这样的再生时间也很大程度上取决于参与节点的选择。选择不同的参与节点实际上涉及节点之间不同的数据链路。现实世界的分布式存储系统通常表现出异构链路容量。通过利用这种链路容量差异并避免链路瓶颈，可以进一步减少再生时间。在本文中，我们考虑的再生时间最小化通过选择参与节点在异构网络。我们分析了再生时间，并提出节点选择算法的覆盖网络和现实世界的拓扑结构。考虑到来自每个提供商的灵活的数据块量可能会深刻影响再生时间，设计了几种技术来增强我们的方案在覆盖网络。实验结果表明，我们的节点选择方案可以显着减少再生时间为每个拓扑结构，特别是在实际的网络与异构链路容量。
2015-06-18 cs.DC
On Heterogeneous Coded Distributed Computing
我们考虑最近提出的编码分布式计算（CDC）的框架，利用精心设计的冗余计算，使编码的机会，大大减少了通信负载的分布式计算。我们将此框架推广到异构系统，其中计算集群中的不同节点可以具有不同的存储（或处理）能力。我们提供了信息理论上的最佳数据集的位置和编码数据洗牌计划，最大限度地减少了3个节点的集群中的通信负载。对于具有$K>3$节点的集群，我们提供了一个算法描述，以将我们的编码思想推广到更大的网络。
2017-09-01 cs.DC cs.IT math.IT
Specx: a C++ task-based runtime system for heterogeneous distributed architectures
本文提出了Specx，一种用现代C++编写的基于任务的运行时系统，通过同时利用CPU和GPU（CUDA/HIP）并将通信纳入任务图来支持分布式异构计算，并在并行应用中展示了其潜力。
2024-11-15 cs.DC cs.SE
Runtime Support for Performance Portability on Heterogeneous Distributed Platforms
硬件异构性是高性能计算的基础。大规模系统目前每个计算节点都配备了多个GPU加速器，预计将整合更多专业硬件。计算生态系统的这种转变为性能改进提供了许多机会;然而，它也增加了此类架构的编程复杂性。这项工作介绍了一个运行时框架，使异构系统轻松编程，同时有效地利用硬件资源。该框架集成在一个分布式的和可扩展的运行时系统，以促进跨异构节点的性能可移植性。随着设计，本文描述了实施和优化执行，实现了高达300%的改进，在一个单一的设备和线性可扩展性的节点上配备了四个GPU。分布式存储器环境中的框架提供了可移植的抽象，使得具有不同能力的设备之间能够进行有效的节点间通信。与MPI+CUDA相比，它在大消息方面提供了高达20%的卓越性能，同时将小消息的开销保持在10%以内。此外，我们的性能评估在分布式Jacobi代理应用程序的结果表明，我们的软件施加最小的开销，并实现了高达40%的性能提高。这是通过库级别的优化以及通过创造机会来利用特定于应用程序的优化（如过度分解）来实现的。
2023-03-08 cs.DC
Distributed Training with Heterogeneous Data: Bridging Median- and Mean-Based Algorithms
University of Minnesota（明尼苏达大学）
近年来，基于中值的分布式非凸优化算法的研究引起了越来越多的关注。两个突出的这样的算法包括signSGD与多数表决，一个有效的方法，通过1位压缩的局部梯度，和medianSGD，最近提出的算法，以确保对拜占庭工人的鲁棒性通信减少。这些算法的收敛性分析主要依赖于假设所有的分布式数据都是从同一个分布中抽取的。然而，在诸如联邦学习之类的应用中，跨不同节点或机器的数据可能本质上是异构的，这违反了这样的iid假设。这项工作分析了signSGD和medianSGD在分布式设置与异构数据。我们表明，这些算法是非收敛的，每当有一些差距的预期中值和平均值在当地的梯度。为了克服这一差距，我们提供了一种新的梯度校正机制，扰动局部梯度与噪声，连同一系列的结果，证明关闭之间的差距的平均值和中位数的梯度。所提出的方法在很大程度上保留了这些方法的优良性质，如低的每迭代通信复杂性的signSGD，并进一步享受全局收敛到平稳的解决方案。我们的扰动技术可以独立的兴趣，当一个人希望估计平均通过中位数估计。
2019-06-06 cs.DC cs.LG math.OC
HETHUB: A Distributed Training System with Heterogeneous Cluster for Large-Scale Models
Infinigence-AI；Tsinghua University（清华大学）；Hangzhou Dianzi University（杭州电子科技大学）；China Mobile Research Institute（中国移动研究院）；Shanghai Jiao Tong University（上海交通大学）
针对现有分布式训练系统不支持异构GPU集群的问题，本文提出HETHUB，通过统一通信器、性能预测器和自动并行规划器实现混合并行，并在768个异构加速器上高效训练Llama-140B。
2024-08-09 cs.AI cs.DC
MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems
U. Washington（华盛顿大学）；CMU（卡内基梅隆大学）；Stanford（斯坦福大学）；NUS（新加坡国立大学）；TuSimple（图森未来）；NYU（纽约大学）；Microsoft（微软）；U. Alberta（阿尔伯塔大学）；MIT（麻省理工学院）；NYU Shanghai（上海纽约大学）
MXNet是一个多语言机器学习（ML）库，用于简化ML算法的开发，特别是深度神经网络。嵌入在宿主语言中，它混合了声明性符号表达式和命令式张量计算。它提供自动微分来导出梯度。MXNet具有计算和内存效率，可在各种异构系统上运行，从移动设备到分布式GPU集群。本文描述了MXNet的API设计和系统实现，并解释了如何以统一的方式处理符号表达式和张量运算的嵌入。我们的初步实验表明，使用多个GPU机器的大规模深度神经网络应用程序的结果很有希望。
2015-12-03 cs.DC cs.LG cs.MS
Distributed Heterogeneous Relational Data Warehouse In A Grid Environment
本文探讨了如何“分布式异构关系数据仓库“可以集成在一个网格环境中，将提供物理学家有效地访问大型和小型的对象集合从数据库在多个站点。本文探讨了网格使这样一个仓库的要求，并探讨了如何满足这些要求扩展现有的网格中间件。我们提出了初步的结果，这种工作原型仓库使用SQLServer和Oracle9i，网格启用的Web服务接口，使它更容易为Web应用程序安全地访问分布式数据库的内容。在原型成功的基础上，我们提出了一个通过Web服务接口使用异构关系型数据仓库的框架，为用户创建一个单一的“虚拟数据库系统”。以这种方式透明地访问数据的能力，如原型所示，对于希望整理和分析分布在网格上的信息的HENP和其他网格用户来说，可能是一个非常强大的工具。
2003-06-18 cs.DB cs.DC
Consensus-based Decentralized Distributed Swarm Learning with Heterogeneous Big Data
Georgia State University（佐治亚州立大学）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）；George Mason University（乔治梅森大学）
针对边缘智能中非凸目标、数据异构和复杂网络拓扑的挑战，提出融合共识优化与粒子群优化的去中心化分布式群体学习框架，实现无需原始数据交换的协作，并缓解异构数据导致的性能退化。
2026-09-14 cs.DC
Distributed Linearly Separable Computation with Arbitrary Heterogeneous Data Assignment
Huazhong University of Science and Technology（华中科技大学）；Guangxi Normal University（广西师范大学）；University of Shanghai for Science and Technology（上海理工大学）；Technische Universität Berlin（柏林工业大学）
本文研究了在任意异构数据分配下，分布式线性可分计算中任务函数可计算维度与通信成本之间的权衡，提出通用计算方案和反向界。
2026-01-15 cs.DC cs.IT math.IT
FogMQ: A Message Broker System for Enabling Distributed, Internet-Scale IoT Applications over Heterogeneous Cloud Platforms
由于大量地理上分布的设备通过消息代理进行通信，传统消息代理会出现过度的尾端到端延迟。另一方面，无代理消息传送系统虽然确保低延迟，但高度依赖于直接设备到设备（D2D）通信技术的限制，并且不能很好地扩展，因为大量资源有限的设备交换消息。在本文中，我们提出了FogMQ，一个基于云的消息代理系统，克服了传统系统的局限性，使自主发现，自我部署，并在异构云平台上的消息代理的在线迁移。对于每个设备，FogMQ都提供了一个高容量的设备克隆服务，可以订阅设备消息。克隆有助于在资源丰富的云计算节点中进行近边缘数据分析。FogMQ中的克隆应用了Flock，这是一种模拟群集行为的算法，允许克隆以分布式方式动态选择并自主迁移到不同的异构云平台。
2016-10-03 cs.DC cs.NI
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University（普渡大学）；NC State University（北卡罗来纳州立大学）
机器学习（ML）任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术，通过利用收集数据的节点的处理能力，在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战，这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题，我们提倡一种称为雾学习的新学习范式，它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习：网络、异构性和邻近性。它认为是一个多层混合学习框架，包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构，通过设备到设备（D2 D）通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
Distributed Protocols and Heterogeneous Trust: Technical Report
分布式系统的鲁棒性通常用它们可以承受的某些类型的故障的数量来描述。然而，这些失败模型过于粗糙，无法描述现代世界中参与者的不同类型的信任和期望，复杂的集成系统跨越不同的所有者，网络和管理域。现代系统通常存在于异构信任的环境中，其中不同的参与者可能对其他节点的可信度有不同的意见，并且单个参与者可能认为其他节点在其可信度方面不同。我们探讨如何构建分布式协议，满足所有参与者的要求，即使在异构的信任环境。我们的方法的关键是使用基于格的信息流来分析和证明协议的属性。为了证明这种方法，我们展示了两个早期的分布式算法可以推广到异构信任的存在下工作：第一，异构快速共识，早期Bosco快速共识协议的适应;和第二，Nysiad，一个算法转换为崩溃容忍协议拜占庭容忍。通过模拟，我们表明，定制一个协议，异构的信任配置产生的性能改善了传统的协议设计的同质信任。
2014-12-09 cs.CR cs.DB cs.DC
HeterPS: Distributed Deep Learning With Reinforcement Learning Based Scheduling in Heterogeneous Environments
Baidu Inc.（百度公司）；University of Science and Technology of China（中国科学技术大学）
本文提出Paddle-HeterPS分布式框架，通过异构资源架构与基于RL的逐层调度及数据管理，在满足吞吐量约束下降低成本，实验显示吞吐量提升14.5倍、成本降低312.3%。
2023-06-07 cs.AI cs.DC cs.LG
Capacity and Security of Heterogeneous Distributed Storage Systems
研究了异构分布式存储系统在修复动态下的容量问题。这些系统的示例包括对等存储云、无线和互联网缓存系统。异构系统中的节点可以具有不同的存储容量和不同的修复带宽。我们给出了系统容量的上下界。这些界限取决于每个节点的平均资源，或对节点特性的详细知识。此外，我们研究的情况下，节点可能会受到窃听，并给出了系统的保密能力的界限。我们的研究结果的一个含义是，对称修复最大化一个同质系统的容量，这证明了在文献中广泛使用的模型。
2012-11-02 cs.DC cs.IT cs.NI
Failure-Resilient Distributed Inference with Model Compression over Heterogeneous Edge Devices
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications (BUPT)（北京邮电大学计算机学院（国家示范性软件学院））；Frontier Research Center, Peng Cheng Laboratory（鹏城实验室前沿研究中心）；School of Electronic Engineering, Beijing University of Posts and Telecommunications (BUPT)（北京邮电大学电子工程学院）
针对异构边缘IoT设备分布式推理的故障与延迟挑战，提出基于知识蒸馏和冗余分组的RoCoIn鲁棒推理机制，可兼顾故障弹性与低延迟推理性能。
2024-06-20 cs.AI cs.DC
Bring the BitCODE -- Moving Compute and Data in Distributed Heterogeneous Systems
在本文中，我们提出了一个框架，在分布式异构系统的处理元素之间移动计算和数据。该框架的实现基于LLVM编译器工具链结合UCX通信框架。该框架可以为多个CPU架构生成二进制机器码或LLVM位码，并将代码移动到远程机器，同时在目标平台上动态优化和链接代码。远程注入的代码可以递归地将其自身传播到其他远程机器或生成新代码。本文的目标有三个方面：（a）提出一种架构和框架的实现，该架构和框架的实现提供了对新的分类系统进行编程的基本基础设施，其中诸如计算节点和数据处理单元（DPU）的异构编程元件分布在系统上，（b）演示该框架如何能够与诸如Julia的现代高级程序设计语言集成，以及（c）演示和评估由该框架实现的扩展远程直接存储器访问（X-RDMA）通信操作的新类别。为了评估该框架的功能，我们使用了一个具有富士通CPU的集群和一个具有英特尔CPU和BlueField-2 DPU的异构集群，这些CPU和DPU使用高性能RDMA结构互连。我们演示了一个X-RDMA指针追踪应用程序，它的性能比基于RDMA GET的实现高出70%，并且与Active Messages一样快，但不需要在远程平台上进行功能预部署。
2022-08-01 cs.DC cs.NI
A New Combinatorial Coded Design for Heterogeneous Distributed Computing
Li等人在2015年提出的编码分布式计算（CDC）提供了一种有效的方法来交易计算能力，以减少MapReduce和Spark等一般分布式计算框架中的通信负载。特别地，将映射阶段中的计算负载增加因子r可以创建编码的多播机会，以将混洗阶段中的通信负载减少相同的因子。然而，CDC方案是为同构设置而设计的，其中计算节点上的存储、计算负载和通信负载是相同的。此外，它需要一个指数级的大量输入文件（数据批次），减少功能和多播组相对于节点的数量，以实现承诺的收益。我们提出了一种新的CDC方法的基础上的组合设计，它适应异构网络的节点具有不同的存储和计算能力，解决了CDC的局限性。此外，所提出的方法需要一个指数级更少的输入文件的数量相比，李等人提出的原始CDC计划。同时，由此产生的计算通信权衡保持乘法增益相比，传统的未编码单播和渐近实现李等人提出的最佳性能。
2020-07-21 cs.DC cs.IT math.IT
