Poplar: Efficient Scaling of Distributed DNN Training on Heterogeneous GPU Clusters
本文提出Poplar分布式训练系统，通过扩展ZeRO实现异构感知，结合细粒度测量、批处理分配与搜索算法优化异构GPU集群利用率，实现全自动化并行，吞吐量提升1.02-3.92倍。
2024-08-22 cs.DC
Software-Distributed Shared Memory for Heterogeneous Machines: Design and Use Considerations
分布式共享内存（DSM）允许使用方便的共享内存编程模型将应用程序实现和部署到分布式体系结构上，在该模型中，一组任务能够分配和访问数据，而不管它们的远程本地化。随着HPC和嵌入式环境中分布式异构体系结构的发展，人们对诸如DSM之类的系统重新产生了兴趣，这些系统简化了复杂硬件的可编程性。在这份报告中，一些设计考虑，建立一个完整的软件DSM（S-DSM）。这个S-DSM被称为SAT（Share Among Things），是在欧洲项目M2 DC（Modular Microserver DataCentre）的框架内由CEA（法国替代能源和原子能委员会）开发的，以解决在微服务器架构上管理共享数据的问题。S-DSM的特点是将大型数据自动分解为称为块的原子块，可以部署多个一致性协议来管理不同的块，基于事件编程的混合编程模型和微睡眠机制来减少消息接收的能耗。
2020-09-03 cs.DC
HiCR, an Abstract Model for Distributed Heterogeneous Programming
本文提出分布式异构编程抽象模型 HiCR，通过最小抽象操作集合与插件化运行时支持层，实现跨当前及未来硬件平台的应用执行。
2025-09-01 cs.DC
CONE-DHT: A distributed self-stabilizing algorithm for a heterogeneous storage system
我们考虑的问题，管理一个动态的异构存储系统中的分布式方式，使分配给该系统中的主机的数据量与其容量。为此，必须解决两个中心问题：（1）在具有低度和直径的覆盖网络中组织主机，使得可以有效地检查任何两个主机之间的数据和路由的正确分布，以及（2）在主机之间分布数据，使得分布尊重主机的容量，并且可以容易地随着主机集合或它们的容量改变而适应。我们提出了分布式协议，这些问题是自我稳定的，不需要任何全球知识的系统，如节点的数量或系统的整体能力。在此之前的工作没有解决方案是已知的满足这些性质。
2013-07-25 cs.DC
Automatic Parallelization of Python Programs for Distributed Heterogeneous Computing
本文介绍了一种新的方法来自动提前（AOT）并行化和优化的顺序Python程序在分布式异构平台上执行。我们的方法支持Python程序的AOT源到源转换，由包含函数参数和返回值的类型提示驱动。这些提示可以由程序员提供，也可以通过动态分析器工具获得;多版本代码生成保证了AOT转换在所有情况下的正确性。我们的编译框架执行自动并行化和复杂的高级代码优化的目标分布式异构硬件平台。它包括对多面体框架的扩展，统一了矩阵/张量运算符中的用户编写的循环和隐式循环，以及CPU与GPU代码变体的自动化部分。此外，我们的多面体优化使节点内和节点间的并行。最后，使用Ray运行时部署优化的输出代码，以跨集群中的多个异构节点调度分布式任务。我们的经验评估显示，在单节点和多节点实验中，相对于顺序Python，性能有了显著的提高，当在OLCF Summit超级计算机中使用24个节点和144个GPU进行空时自适应处理（STAP）雷达应用时，性能提高了20，000多$\times$。
2022-03-11 cs.DC
DiOMP-Offloading: Toward Portable Distributed Heterogeneous OpenMP
针对传统HPC混合编程模型在分布式GPU内存管理与可移植性上的不足，提出分布式OpenMP框架DiOMP，融合OpenMP目标卸载与PGAS模型，实验证明其在多类异构平台上具备更优性能、可扩展性与可编程性。
2025-06-03 cs.DC
On Batch-Processing Based Coded Computing for Heterogeneous Distributed Computing Systems
近年来，编码分布式计算（CDC）由于能够有效地解决分布式计算系统中的延迟敏感计算问题而受到广泛关注。尽管有这样一个突出的特点，许多设计的挑战和机遇仍然存在。本文针对具有异构计算资源的实际计算系统，设计了一种新的基于批处理的编码计算（BPCC）方法。为此，我们首先描述了BPCC框架的主要思想，然后制定一个优化问题BPCC，以最大限度地减少任务完成时间，通过配置计算负载。通过正式的理论分析，广泛的仿真研究，并在亚马逊EC2计算集群上进行全面的真实实验，我们证明了所提出的BPCC方案在高计算效率和对不确定干扰的鲁棒性方面具有良好的性能。
2021-07-09 cs.DC
Topology-Aware Node Selection for Data Regeneration in Heterogeneous Distributed Storage Systems
分布式存储系统引入冗余来保护数据免受节点故障的影响。存储节点发生故障后，应尽快在替换存储节点上重新生成丢失的数据，以保持相同的冗余级别。最小化这种再生时间对于分布式存储系统的可靠性至关重要。现有的工作致力于通过最小化再生流量或调整再生流量模式来减少再生时间，而参与数据再生的节点通常被假定为预先给定的。然而，这样的再生时间也很大程度上取决于参与节点的选择。选择不同的参与节点实际上涉及节点之间不同的数据链路。现实世界的分布式存储系统通常表现出异构链路容量。通过利用这种链路容量差异并避免链路瓶颈，可以进一步减少再生时间。在本文中，我们考虑的再生时间最小化通过选择参与节点在异构网络。我们分析了再生时间，并提出节点选择算法的覆盖网络和现实世界的拓扑结构。考虑到来自每个提供商的灵活的数据块量可能会深刻影响再生时间，设计了几种技术来增强我们的方案在覆盖网络。实验结果表明，我们的节点选择方案可以显着减少再生时间为每个拓扑结构，特别是在实际的网络与异构链路容量。
2015-06-18 cs.DC
Runtime Support for Performance Portability on Heterogeneous Distributed Platforms
硬件异构性是高性能计算的基础。大规模系统目前每个计算节点都配备了多个GPU加速器，预计将整合更多专业硬件。计算生态系统的这种转变为性能改进提供了许多机会;然而，它也增加了此类架构的编程复杂性。这项工作介绍了一个运行时框架，使异构系统轻松编程，同时有效地利用硬件资源。该框架集成在一个分布式的和可扩展的运行时系统，以促进跨异构节点的性能可移植性。随着设计，本文描述了实施和优化执行，实现了高达300%的改进，在一个单一的设备和线性可扩展性的节点上配备了四个GPU。分布式存储器环境中的框架提供了可移植的抽象，使得具有不同能力的设备之间能够进行有效的节点间通信。与MPI+CUDA相比，它在大消息方面提供了高达20%的卓越性能，同时将小消息的开销保持在10%以内。此外，我们的性能评估在分布式Jacobi代理应用程序的结果表明，我们的软件施加最小的开销，并实现了高达40%的性能提高。这是通过库级别的优化以及通过创造机会来利用特定于应用程序的优化（如过度分解）来实现的。
2023-03-08 cs.DC
Consensus-based Decentralized Distributed Swarm Learning with Heterogeneous Big Data
Georgia State University（佐治亚州立大学）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）；George Mason University（乔治梅森大学）
针对边缘智能中非凸目标、数据异构和复杂网络拓扑的挑战，提出融合共识优化与粒子群优化的去中心化分布式群体学习框架，实现无需原始数据交换的协作，并缓解异构数据导致的性能退化。
2026-09-14 cs.DC
Training DNN Models over Heterogeneous Clusters with Optimal Performance
针对异构集群中分布式DNN训练性能不佳的问题，提出Cannikin系统，通过建模最优性能与预测自适应批大小，实现接近最优的训练效率，实验显示训练时间显著降低。
2024-02-07 cs.DC
Distributed network for measuring climatic parameters in heterogeneous environments: Application in a greenhouse
本文设计了一个分布式气象站网络，依据 ISO 7726 从水平与垂直方向测量西班牙东南部温室的热环境，证明温室为异构环境，需在不同点位及脚踝、腹部、头部三个高度测量以评估工人热应激。
2024-01-24 cs.DC
Bracing Heterogeneous Distributed Systems via Built-in Frameworks
本文介绍了一种新的分布式系统体系结构--框架式分布式系统（framed distributed system，FDS）--它通过一个内置的【形】虚拟框架来支撑给定的系统，该框架控制系统组件之间以及组件与环境之间的消息流，而不关心通信组件的代码。这种控制是以分散的方式进行的，因此是可扩展的。FDS体系结构将对分布式系统的可靠性和安全性以及此类系统的整个生存周期产生重大影响。尽管这种体系结构是专门为类似SOA的异构和开放系统设计的--这些系统的组件可能用不同的语言编写，可能在不同的平台上运行，可能在不同的管理域下设计、构造甚至维护--但它对一般的分布式系统应该是有用的。
2014-03-19 cs.DC cs.SE
Adaptive Asynchronous Work-Stealing for distributed load-balancing in heterogeneous systems
针对异构系统中大量同构任务调度的负载不均衡问题，提出利用节点信息优化受害者选择与任务卸载的自适应异步工作窃取方法，并在无需额外通信线程的情况下实现约10.1%的性能提升。
2024-01-23 cs.DC
Accelerating Data Regeneration for Distributed Storage Systems with Heterogeneous Link Capacities
分布式存储系统通过在大量存储节点上分散冗余来提供大规模可靠的数据存储服务。在这样一个大型系统中，节点故障经常发生。当存储节点发生故障时，期望替换节点尽快重新生成冗余数据，以便保持相同的冗余级别。以前的研究主要集中在再生过程中网络流量的最小化上。然而，在实际网络中，链路容量在很大范围内变化，最小化网络流量并不总是产生最小再生时间。在本文中，我们研究了两种方法来最小化网络中的再生时间与异构链路容量的问题。第一种方法是根据链路容量从帮助节点下载不同量的修复数据。第二种方法将传统的星型结构的再生拓扑推广到树型结构的拓扑，这样我们就可以利用帮助节点之间的链路，绕过低容量的链路。仿真结果表明，灵活的树结构再生方案，结合了这两种方法的优点，可以实现再生时间大幅减少。
2016-03-16 cs.DC
HetSeq: Distributed GPU Training on Heterogeneous Infrastructure
University of Notre Dame（圣母大学）
像PyTorch和Tensorflow这样的现代深度学习系统能够在分布式基础设施上训练具有数十亿（或数万亿）参数的巨大模型。这些系统要求内部节点具有相同的内存容量和计算性能。不幸的是，大多数组织，尤其是大学，都采用零敲碎打的方法来购买计算机系统，从而导致异构的基础设施，无法用于计算大型模型。目前的工作描述了HetSeq，一个软件包改编自流行的PyTorch包，提供了在异构基础设施上训练大型神经网络模型的能力。使用Transformer翻译和BERT语言模型的实验表明，HetSeq可在异构系统上扩展。HetSeq可以很容易地扩展到其他模型，如图像分类。包含支持文档的软件包可在https://github.com/yifding/hetseq上公开获取。
2020-09-25 cs.DC cs.LG
Specx: a C++ task-based runtime system for heterogeneous distributed architectures
本文提出了Specx，一种用现代C++编写的基于任务的运行时系统，通过同时利用CPU和GPU（CUDA/HIP）并将通信纳入任务图来支持分布式异构计算，并在并行应用中展示了其潜力。
2024-11-15 cs.DC cs.SE
RCD-SGD: Resource-Constrained Distributed SGD in Heterogeneous Environment via Submodular Partitioning
New York University（纽约大学）；IBM Research（IBM研究院）
本文提出RCD-SGD框架，通过基于子模优化的数据划分算法在异构计算环境中兼顾资源差异与类别级特征分布，可将现有SOTA分布式训练算法加速最高32%。
2023-09-18 cs.DC cs.LG
HETHUB: A Distributed Training System with Heterogeneous Cluster for Large-Scale Models
Infinigence-AI；Tsinghua University（清华大学）；Hangzhou Dianzi University（杭州电子科技大学）；China Mobile Research Institute（中国移动研究院）；Shanghai Jiao Tong University（上海交通大学）
针对现有分布式训练系统不支持异构GPU集群的问题，本文提出HETHUB，通过统一通信器、性能预测器和自动并行规划器实现混合并行，并在768个异构加速器上高效训练Llama-140B。
2024-08-09 cs.AI cs.DC
On Heterogeneous Coded Distributed Computing
我们考虑最近提出的编码分布式计算（CDC）的框架，利用精心设计的冗余计算，使编码的机会，大大减少了通信负载的分布式计算。我们将此框架推广到异构系统，其中计算集群中的不同节点可以具有不同的存储（或处理）能力。我们提供了信息理论上的最佳数据集的位置和编码数据洗牌计划，最大限度地减少了3个节点的集群中的通信负载。对于具有$K>3$节点的集群，我们提供了一个算法描述，以将我们的编码思想推广到更大的网络。
2017-09-01 cs.DC cs.IT math.IT
Distributed Heterogeneous Relational Data Warehouse In A Grid Environment
本文探讨了如何“分布式异构关系数据仓库“可以集成在一个网格环境中，将提供物理学家有效地访问大型和小型的对象集合从数据库在多个站点。本文探讨了网格使这样一个仓库的要求，并探讨了如何满足这些要求扩展现有的网格中间件。我们提出了初步的结果，这种工作原型仓库使用SQLServer和Oracle9i，网格启用的Web服务接口，使它更容易为Web应用程序安全地访问分布式数据库的内容。在原型成功的基础上，我们提出了一个通过Web服务接口使用异构关系型数据仓库的框架，为用户创建一个单一的“虚拟数据库系统”。以这种方式透明地访问数据的能力，如原型所示，对于希望整理和分析分布在网格上的信息的HENP和其他网格用户来说，可能是一个非常强大的工具。
2003-06-18 cs.DB cs.DC
FogMQ: A Message Broker System for Enabling Distributed, Internet-Scale IoT Applications over Heterogeneous Cloud Platforms
由于大量地理上分布的设备通过消息代理进行通信，传统消息代理会出现过度的尾端到端延迟。另一方面，无代理消息传送系统虽然确保低延迟，但高度依赖于直接设备到设备（D2D）通信技术的限制，并且不能很好地扩展，因为大量资源有限的设备交换消息。在本文中，我们提出了FogMQ，一个基于云的消息代理系统，克服了传统系统的局限性，使自主发现，自我部署，并在异构云平台上的消息代理的在线迁移。对于每个设备，FogMQ都提供了一个高容量的设备克隆服务，可以订阅设备消息。克隆有助于在资源丰富的云计算节点中进行近边缘数据分析。FogMQ中的克隆应用了Flock，这是一种模拟群集行为的算法，允许克隆以分布式方式动态选择并自主迁移到不同的异构云平台。
2016-10-03 cs.DC cs.NI
Distributed Linearly Separable Computation with Arbitrary Heterogeneous Data Assignment
Huazhong University of Science and Technology（华中科技大学）；Guangxi Normal University（广西师范大学）；University of Shanghai for Science and Technology（上海理工大学）；Technische Universität Berlin（柏林工业大学）
本文研究了在任意异构数据分配下，分布式线性可分计算中任务函数可计算维度与通信成本之间的权衡，提出通用计算方案和反向界。
2026-01-15 cs.DC cs.IT math.IT
Distributed Machine Learning through Heterogeneous Edge Systems
The University of Hong Kong（香港大学）；The Hong Kong Polytechnic University（香港理工大学）
许多新兴的人工智能应用要求在边缘系统之间进行分布式机器学习（ML）（例如，物联网设备和互联网边缘的个人电脑），由于数据量大和/或安全/隐私问题，无法将数据上传到中心地点进行模型训练。边缘设备在计算能力上本质上是异构的，这对参数服务器（PS）架构的并行训练的参数同步提出了重大挑战。本文提出了一种用于异构边缘系统的分布式机器学习参数同步方案ADSP。ADSP的核心思想是消除现有参数同步模型中出现的大量等待时间，让更快的边缘设备继续训练，同时以战略决定的间隔提交模型更新。我们设计的算法，决定每个工人提交其模型更新的时间点，并确保不仅全局模型收敛，但也更快的收敛。我们的测试床实现和实验表明，ADSP优于现有的参数同步模型显着ML模型的收敛时间，可扩展性和适应性大的异构性。
2019-11-16 cs.DC cs.LG
Distributed Optimization using Heterogeneous Compute Systems
Indian Institute of Science（印度科学研究所）
近年来，硬件计算能力以前所未有的速度增长。在学术界和工业界，利用这些进步在用更少的时间取得更好的成果方面发挥着关键作用。然而，将现有硬件与同一生态系统中的最新硬件合并是一项具有挑战性的任务。在这种情况下，关键挑战之一是不同的计算能力。在本文中，我们考虑在具有不同计算能力的分布式系统上训练深度神经网络。同步分布式训练的简单实现将导致更快的工作者等待最慢的工作者完成处理。为了缓解这个问题，我们建议在训练过程中动态调整为每个工人分配的数据。我们为每个工作者分配一个与其计算能力成比例的总数据分区。我们的实验表明，动态调整数据分区有助于提高系统的利用率，并显着减少训练所需的时间。代码可在存储库中获得：\url{https://github.com/vineeths96/Heterogeneous-Systems}。
2021-10-03 cs.DC cs.LG
Failure-Resilient Distributed Inference with Model Compression over Heterogeneous Edge Devices
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications (BUPT)（北京邮电大学计算机学院（国家示范性软件学院））；Frontier Research Center, Peng Cheng Laboratory（鹏城实验室前沿研究中心）；School of Electronic Engineering, Beijing University of Posts and Telecommunications (BUPT)（北京邮电大学电子工程学院）
针对异构边缘IoT设备分布式推理的故障与延迟挑战，提出基于知识蒸馏和冗余分组的RoCoIn鲁棒推理机制，可兼顾故障弹性与低延迟推理性能。
2024-06-20 cs.AI cs.DC
Distributed Protocols and Heterogeneous Trust: Technical Report
分布式系统的鲁棒性通常用它们可以承受的某些类型的故障的数量来描述。然而，这些失败模型过于粗糙，无法描述现代世界中参与者的不同类型的信任和期望，复杂的集成系统跨越不同的所有者，网络和管理域。现代系统通常存在于异构信任的环境中，其中不同的参与者可能对其他节点的可信度有不同的意见，并且单个参与者可能认为其他节点在其可信度方面不同。我们探讨如何构建分布式协议，满足所有参与者的要求，即使在异构的信任环境。我们的方法的关键是使用基于格的信息流来分析和证明协议的属性。为了证明这种方法，我们展示了两个早期的分布式算法可以推广到异构信任的存在下工作：第一，异构快速共识，早期Bosco快速共识协议的适应;和第二，Nysiad，一个算法转换为崩溃容忍协议拜占庭容忍。通过模拟，我们表明，定制一个协议，异构的信任配置产生的性能改善了传统的协议设计的同质信任。
2014-12-09 cs.CR cs.DB cs.DC
Capacity and Security of Heterogeneous Distributed Storage Systems
研究了异构分布式存储系统在修复动态下的容量问题。这些系统的示例包括对等存储云、无线和互联网缓存系统。异构系统中的节点可以具有不同的存储容量和不同的修复带宽。我们给出了系统容量的上下界。这些界限取决于每个节点的平均资源，或对节点特性的详细知识。此外，我们研究的情况下，节点可能会受到窃听，并给出了系统的保密能力的界限。我们的研究结果的一个含义是，对称修复最大化一个同质系统的容量，这证明了在文献中广泛使用的模型。
2012-11-02 cs.DC cs.IT cs.NI
HyperTune: Dynamic Hyperparameter Tuning For Efficient Distribution of DNN Training Over Heterogeneous Systems
UC Irvine（加州大学欧文分校）；NGD Systems Inc.（NGD Systems公司）
分布式训练是一种加速深度神经网络（DNN）训练的新方法，但常见的训练库无法解决异构处理器的分布式情况或处理节点被其他工作负载中断的情况。本文描述了DNN在计算存储设备（CSD）上的分布式训练，CSD是基于NAND闪存的高容量数据存储，具有内部处理引擎。基于CSD的分布式体系结构通过消除存储设备和主机处理器之间不必要的数据移动，结合了联邦学习在性能可扩展性、弹性和数据隐私方面的优势。本文还描述了Stannis，这是一种DNN训练框架，通过动态调整异构系统中的训练超参数来改善现有分布式训练框架的缺点，以保持每秒处理图像和能源效率方面的最大总体处理速度。在图像分类训练基准上的实验结果表明，与通用系统相比，使用Stannis加CSD时，性能提高了3.1倍，能耗降低了2.45倍。
2020-07-16 cs.DC cs.LG
Bring the BitCODE -- Moving Compute and Data in Distributed Heterogeneous Systems
在本文中，我们提出了一个框架，在分布式异构系统的处理元素之间移动计算和数据。该框架的实现基于LLVM编译器工具链结合UCX通信框架。该框架可以为多个CPU架构生成二进制机器码或LLVM位码，并将代码移动到远程机器，同时在目标平台上动态优化和链接代码。远程注入的代码可以递归地将其自身传播到其他远程机器或生成新代码。本文的目标有三个方面：（a）提出一种架构和框架的实现，该架构和框架的实现提供了对新的分类系统进行编程的基本基础设施，其中诸如计算节点和数据处理单元（DPU）的异构编程元件分布在系统上，（b）演示该框架如何能够与诸如Julia的现代高级程序设计语言集成，以及（c）演示和评估由该框架实现的扩展远程直接存储器访问（X-RDMA）通信操作的新类别。为了评估该框架的功能，我们使用了一个具有富士通CPU的集群和一个具有英特尔CPU和BlueField-2 DPU的异构集群，这些CPU和DPU使用高性能RDMA结构互连。我们演示了一个X-RDMA指针追踪应用程序，它的性能比基于RDMA GET的实现高出70%，并且与Active Messages一样快，但不需要在远程平台上进行功能预部署。
2022-08-01 cs.DC cs.NI
Rosella: A Self-Driving Distributed Scheduler for Heterogeneous Clusters
William & Mary（威廉与玛丽学院）
大规模交互式Web服务和高级AI应用程序基于在数千台服务器上执行大量计算任务，实时做出复杂的决策。通常在异构和易失性环境中操作的任务调度器需要高吞吐量，即，每秒调度数百万个任务，以及低延迟，即，对于毫秒级的任务，导致最小的调度延迟。由于共享系统中其他用户的工作负载、其他后台活动以及数据中心内部的各种硬件配置，调度变得更加复杂。我们提出了Rosella，一种新的自驱动，分布式方法在异构集群任务调度。Rosella自动学习计算环境，并实时调整其调度策略。该解决方案同时提供了高吞吐量和低延迟，因为它以最小的协调在多台机器上并行运行，并且只对每个调度决策执行简单的操作。我们的学习模块监控总的系统负载，并使用这些信息来动态地确定后端计算能力的最佳估计策略。Rosella推广了两种选择的幂算法来处理异构工人，将先前算法获得的O（log n）的最大队列长度减少到O（log log n）。我们在32节点AWS集群上使用各种工作负载评估Rosella。实验结果表明，Rosella算法显著缩短了任务响应时间，并能快速适应环境变化。
2021-10-27 cs.DC cs.LG
HiDP: Hierarchical DNN Partitioning for Distributed Inference on Heterogeneous Edge Platforms
University of Turku（图尔库大学）；Politecnico di Milano（米兰理工大学）
针对边缘推理未考虑节点核心级异构性、资源利用率低导致延迟高的问题，提出分层DNN划分策略HiDP，通过全局与局部分层划分利用异构资源，在商用设备上评估显示延迟降38%、能耗降46%、吞吐量升56%。
2024-11-25 cs.AI cs.DC cs.LG
Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction
King’s College London（伦敦国王学院）
尽管联邦学习近年来取得了许多突破性进展，但学习环境的异构性极大地限制了其性能，阻碍了其在现实世界中的应用。异构数据、时变无线条件和计算有限的设备是三个主要挑战，这通常会导致训练过程不稳定和精度下降。在此，我们提出了应对这些挑战的战略。针对异构数据分布，我们提出了一种新的自适应混合聚合（AMA）方案，将前几轮的模型更新与当前轮混合，以避免大的模型偏移，从而保持训练稳定性。我们进一步提出了一种新的基于过时的加权方案的异步模型更新所造成的动态无线环境。最后，我们提出了一种新的CPU友好的计算减少计划的基础上迁移学习共享的特征提取器（FES），让计算有限的设备更新只有分类器。仿真结果表明，所提出的框架优于现有的最先进的解决方案，并提高了测试精度和训练稳定性分别高达2.38%，93.10%。此外，所提出的框架可以容忍的通信延迟高达15轮下的中等延迟环境下，没有显着的准确性下降。
2023-02-16 cs.DC cs.LG
Distributed Bandits with Heterogeneous Agents
The Chinese University of Hong Kong（香港中文大学）
本文解决了一个多智能体的强盗设置$M$代理合作解决同一个$K$武装随机强盗问题的情况下。代理商为\textit{heterogeneous}：每个代理具有对本地分支子集的有限访问，并且代理是异步的，在决策回合之间具有不同的间隙。每个智能体的目标是找到其最优的局部分支，并且智能体可以通过与其他智能体共享他们的观察结果来进行合作。虽然代理之间的合作提高了学习的性能，但它带来了代理之间通信的额外复杂性。对于这种异构的多代理设置，我们提出了两种学习算法，\ucbo和\AAE。我们证明了这两种算法实现了订单最优的遗憾，这是$O\left(\sum_{i:\tildeΔ_i>0} \log T/\tildeΔ_i\right)$，其中$\tildeΔ_i$是最小次优差距之间的奖励平均臂$i$和任何局部最优臂。此外，仔细选择有价值的信息合作，\AAE实现了低的通信复杂性度$O(\log T)$。最后，数值实验验证了这两种算法的有效性。
2022-02-16 cs.DC cs.LG
Distributed Training with Heterogeneous Data: Bridging Median- and Mean-Based Algorithms
University of Minnesota（明尼苏达大学）
近年来，基于中值的分布式非凸优化算法的研究引起了越来越多的关注。两个突出的这样的算法包括signSGD与多数表决，一个有效的方法，通过1位压缩的局部梯度，和medianSGD，最近提出的算法，以确保对拜占庭工人的鲁棒性通信减少。这些算法的收敛性分析主要依赖于假设所有的分布式数据都是从同一个分布中抽取的。然而，在诸如联邦学习之类的应用中，跨不同节点或机器的数据可能本质上是异构的，这违反了这样的iid假设。这项工作分析了signSGD和medianSGD在分布式设置与异构数据。我们表明，这些算法是非收敛的，每当有一些差距的预期中值和平均值在当地的梯度。为了克服这一差距，我们提供了一种新的梯度校正机制，扰动局部梯度与噪声，连同一系列的结果，证明关闭之间的差距的平均值和中位数的梯度。所提出的方法在很大程度上保留了这些方法的优良性质，如低的每迭代通信复杂性的signSGD，并进一步享受全局收敛到平稳的解决方案。我们的扰动技术可以独立的兴趣，当一个人希望估计平均通过中位数估计。
2019-06-06 cs.DC cs.LG math.OC
MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems
U. Washington（华盛顿大学）；CMU（卡内基梅隆大学）；Stanford（斯坦福大学）；NUS（新加坡国立大学）；TuSimple（图森未来）；NYU（纽约大学）；Microsoft（微软）；U. Alberta（阿尔伯塔大学）；MIT（麻省理工学院）；NYU Shanghai（上海纽约大学）
MXNet是一个多语言机器学习（ML）库，用于简化ML算法的开发，特别是深度神经网络。嵌入在宿主语言中，它混合了声明性符号表达式和命令式张量计算。它提供自动微分来导出梯度。MXNet具有计算和内存效率，可在各种异构系统上运行，从移动设备到分布式GPU集群。本文描述了MXNet的API设计和系统实现，并解释了如何以统一的方式处理符号表达式和张量运算的嵌入。我们的初步实验表明，使用多个GPU机器的大规模深度神经网络应用程序的结果很有希望。
2015-12-03 cs.DC cs.LG cs.MS
Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Power-EF算法，通过误差反馈压缩通信，首次在异构联邦学习中无需数据同质性假设即可证明逃离鞍点并达到二阶驻点，且通信开销与一阶收敛几乎同阶。
2023-10-29 cs.DC cs.LG math.OC
A New Combinatorial Coded Design for Heterogeneous Distributed Computing
Li等人在2015年提出的编码分布式计算（CDC）提供了一种有效的方法来交易计算能力，以减少MapReduce和Spark等一般分布式计算框架中的通信负载。特别地，将映射阶段中的计算负载增加因子r可以创建编码的多播机会，以将混洗阶段中的通信负载减少相同的因子。然而，CDC方案是为同构设置而设计的，其中计算节点上的存储、计算负载和通信负载是相同的。此外，它需要一个指数级的大量输入文件（数据批次），减少功能和多播组相对于节点的数量，以实现承诺的收益。我们提出了一种新的CDC方法的基础上的组合设计，它适应异构网络的节点具有不同的存储和计算能力，解决了CDC的局限性。此外，所提出的方法需要一个指数级更少的输入文件的数量相比，李等人提出的原始CDC计划。同时，由此产生的计算通信权衡保持乘法增益相比，传统的未编码单播和渐近实现李等人提出的最佳性能。
2020-07-21 cs.DC cs.IT math.IT
Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
Applied AI Institute（应用人工智能研究所）
本文提出Rennala NIGT和Malenia NIGT算法，通过异步策略梯度聚合在异步并行计算中提升分布式强化学习效率，理论和实验均优于现有方法。
2026-03-28 cs.DC cs.LG math.OC
Stream Iterative Distributed Coded Computing for Learning Applications in Heterogeneous Systems
为了提高学习应用的效用并使机器学习解决方案对于复杂应用可行，需要大量的繁重计算。因此，它是必不可少的委托计算之间的几个工人，这带来了重大的挑战，应付延迟和故障所造成的系统的异质性和不确定性。特别是，最小化从到达到交付的端到端作业顺序执行延迟，对于现实世界的延迟敏感的应用程序是非常重要的。在本文中，对于计算的每个工作迭代在一个随机异构的分布式系统中的工人在他们的计算和通信能力不同，我们提出了一种新的联合调度编码框架，最佳地分裂工人之间的编码计算负荷。这缩短了工作进程的响应时间之间的差距，并且对于最大化资源利用率至关重要。为了进一步减少有序执行延迟，我们还将冗余计算在分布式计算作业的每次迭代中。我们的仿真结果表明，使用所提出的解决方案获得的延迟是显着低于均匀分裂，这是无视系统的异质性，事实上，是非常接近一个理想的下限只是通过引入一小部分的冗余计算。
2022-04-27 cs.DC cs.IT math.IT
DeepCEE: Efficient Cross-Region Model Distributed Training System under Heterogeneous GPUs and Networks
针对云-边-端跨区域环境中异构GPU和不稳定网络带来的挑战，DeepCEE采用以通信为中心的设计，通过异构设备分析、零气泡流水线并行和动态环境适配，实现1.3-2.8倍训练吞吐量提升。
2025-05-27 cs.DC cs.SY eess.SY
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University（普渡大学）；NC State University（北卡罗来纳州立大学）
机器学习（ML）任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术，通过利用收集数据的节点的处理能力，在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战，这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题，我们提倡一种称为雾学习的新学习范式，它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习：网络、异构性和邻近性。它认为是一个多层混合学习框架，包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构，通过设备到设备（D2 D）通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
HeterPS: Distributed Deep Learning With Reinforcement Learning Based Scheduling in Heterogeneous Environments
Baidu Inc.（百度公司）；University of Science and Technology of China（中国科学技术大学）
本文提出Paddle-HeterPS分布式框架，通过异构资源架构与基于RL的逐层调度及数据管理，在满足吞吐量约束下降低成本，实验显示吞吐量提升14.5倍、成本降低312.3%。
2023-06-07 cs.AI cs.DC cs.LG
Distributed User Clustering and Resource Allocation for Imperfect NOMA in Heterogeneous Networks
在本文中，我们提出了一个分布式集群形成（CF）和资源分配（RA）的异构网络中的非理想非正交多址接入（NOMA）计划的框架。基础NOMA方案的不完善是由于接收机灵敏度和来自非理想连续干扰消除（SIC）的干扰残留，其通常由分数误差因子（FEF）表征。我们的分析结果首先表明，几个因素对可实现的NOMA增益有显着影响。然后，我们调查NOMA集群大小作为FEF水平，集群带宽，和服务质量（QoS）的用户设备（UE）的需求的函数的基本限制。之后，通过考虑可行的簇大小和UE的信道增益差异来开发分簇算法。最后，我们开发了一个分布式阿尔法公平RA框架，阿尔法管理之间的权衡最大吞吐量和比例公平目标。基于导出的闭合形式的最优功率电平，所提出的分布式解决方案迭代地更新带宽、簇和UE的传输功率。数值结果表明，所提出的解决方案提供了更高的频谱和能量效率比传统上采用的基本NOMA集群大小为2。我们还表明，一个不完美的NOMA不能总是提供更好的性能比正交多址在某些条件下。最后，我们的数值研究表明，NOMA增益最大化下行链路/上行链路去耦（DUDe）UE关联。
2019-07-05 cs.DC cs.IT cs.NI
HetEng: An Improved Distributed Energy Efficient Clustering Scheme for Heterogeneous IoT Networks
在电池供电的网络中，由于在某些情况下难以充电或更换节点，因此网络寿命一直是一个具有挑战性的问题。聚类方法是一种很有前途的方法来解决这一挑战，并通过有效地分配集群中的节点之间的任务，延长生命周期。本研究旨在使用能量感知聚类方法来改善异构物联网设备的能耗。在异构IoT网络中，节点（即，电池供电的IoT设备）可以具有各种能量简档和通信能力。现有的分簇算法大多忽略了节点间能量容量的异质性，并假设它们具有相同的能量水平。在这项工作中，我们提出了HetEng，簇头（CH）的选择过程，扩展了现有的聚类算法，名为智能BEEM。为此，我们提出了一种统计方法，该方法通过根据节点的真实能量水平（焦耳）不断改变节点之间的CH角色，在网络拓扑中的高能量节点之间分配能量消耗。实验结果表明，与SmartBEEM相比，HetEng使存活节点增加了6.6%，节点之间的剩余能量提高了3%。此外，我们的方法平均减少了1%的总迭代次数。
2021-06-29 cs.DC cs.DM cs.NI
The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
研究分布式异构学习中局部随机梯度下降的局限性与潜力，在一阶数据异构性假设下给出其新下界，证明加速小批量SGD的极小极大最优性，考虑高阶假设给出新上界，强调需更好数据异构性模型理解其有效性。
2026-07-15 cs.DC cs.LG math.OC
