PruneX: A Hierarchical Communication-Efficient System for Distributed CNN Training with Structured Pruning
American University of Beirut（贝鲁特美国大学）
PruneX通过分层结构ADMM算法和分层执行模型，在分布式CNN训练中减少60%的节点间通信量并实现6.75倍的强标称加速。
2025-12-16 cs.DC
Hierarchical Coding for Distributed Computing
为分布式计算编码通过减轻分散工作人员的负担来支持低延迟计算。虽然大多数现有的作品假设一个简单的主-工人模型，我们认为一个层次化的计算结构，由工人组，动机是需要反映现实世界的分布式计算系统的架构。在这项工作中，我们提出了一个分层编码方案，该模型，以及分析其解码成本和预期的计算时间。具体来说，我们首先提供上界和下界所提出的计划的预期计算时间。我们还表明，我们的计划，使高效的并行解码，从而降低解码成本的数量级超过非层次的计划。当同时考虑解码成本和计算时间时，所提出的分层编码在许多实际场景中表现出优于现有方案。
2018-01-15 cs.DC cs.IT math.IT
Hierarchical Information and the Synthesis of Distributed Strategies
不完全信息的无限博弈是不可判定的，除非信息流受到严格限制。一个基本的可判定情况发生在参与者之间存在完全排序时，这样每个参与者都可以访问后面的参与者接收的所有信息。在本文中，我们认为这种层次结构的原则与完美的同步游戏的变化，并确定新的可判定类的分布式合成问题是可解决的有限状态策略。特别是，我们表明，可判定性保持时，信息层次可能会改变沿播放，或当没有层次信息的瞬态阶段是允许的。最后，我们解释我们的结果在分布式系统架构。
2016-07-16 cs.DC cs.GT
Hierarchical QR factorization algorithms for multi-core cluster systems
本文描述了一种新的QR分解算法，它是专门为大规模并行平台结合并行分布式多核节点设计的。这些平台造就了高性能计算的现在和可预见的未来。我们的新QR分解算法属于瓦片算法的类别，其自然地为由核心执行的顺序内核实现良好的数据局部性（高顺序性能），并行分布式设置中的消息数量少（小延迟期），以及细粒度（高并行性）。
2011-10-07 cs.DC
Distributed Incremental SAT Solving with Mallob: Report and Case Study with Hierarchical Planning
本报告扩展了Mallob平台以支持增量SAT求解，并在层次规划案例中验证，通过并行处理587个规划实例，在多个领域显著加速了求解过程。
2025-05-24 cs.DC cs.LO
Hierarchical Parallel Matrix Multiplication on Large-Scale Distributed Memory Platforms
矩阵乘法是一个非常重要的计算内核，它本身就是许多科学应用的构建块，也是其他科学应用的流行代表。1969年提出的Cannon算法是第一个有效的并行矩阵乘法算法，它提供了理论上最优的通信开销。然而，该算法需要平方数量的处理器。在20世纪90年代中期，SUMMA算法被引入。SUMMA克服了Cannon算法的缺点，因为它也可以用于非平方数的处理器上。从那时起，HPC平台中的处理器数量增加了两个数量级，使得通信在总执行时间中的贡献更加显着。因此，应重新审视现有的并行矩阵乘法算法，以进一步降低通信成本。本文介绍了一种新的并行矩阵乘法算法--分层SUMMA（HSUMMA），它是对SUMMA的重新设计。我们的算法减少了通信成本的SUMMA通过引入一个两级的虚拟层次结构的二维安排的处理器。在IBM BlueGene-P上的实验表明，在2048核和16384核上，通信成本分别降低了2.08倍和5.89倍。
2013-06-18 cs.DC
Fault-Tolerant Distributed Directories
分布式目录是图$G$上的覆盖数据结构，有助于访问共享令牌$t$。该目录支持三种操作：发布（用于通告令牌）、查找（用于读取令牌的内容）和移动（用于获得对令牌的独占更新访问）。该目录是建立在一个分层分区的图形使用弱或强集群。主要机制是维护目录路径，该路径从层次结构中的根结点开始，指向令牌的当前所有者。在文献中，有已知的基于层次图结构的目录算法，但他们都没有考虑故障。给定一个分层分区，我们考虑$f$边缘故障对分布式目录的功能和性能的影响。边缘故障可能会导致集群分裂为多达$f+1$连接的组件，并增加层次结构中的级别数量。为了在故障后恢复分层分区，我们在集群及其连接组件中维护生成树。如果$G$保持连接，我们表明，每一级的目录路径是扩大只有一个因素$f$。我们还表明，在最坏的情况下，发布和查找操作的性能受到影响的一个因素$f$的消息的复杂性。移动操作的消息复杂性增加了$f$因子和层次结构中的附加层的数量。
2023-02-16 cs.DC
HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases
最近在无共享、事务性、内存中的NewSQL数据库的性能和可伸缩性方面的改进重新开启了一个研究问题，即分层文件系统的分布式元数据是否可以使用商品数据库进行管理。在本文中，我们介绍HopsFS，Hadoop分布式文件系统（HDFS）的下一代发行版，取代HDFS的单节点内存中的元数据服务，与分布式元数据服务建立在一个新的SQL数据库。通过消除元数据瓶颈，与HDFS相比，HopsFS支持更大数量级和更高吞吐量的集群。元数据容量已经增加到HDFS容量的至少37倍，并且在基于Spotify的工作负载跟踪的实验中，我们表明HopsFS支持Apache HDFS的16到37倍的吞吐量。HopsFS对于许多并发客户端也具有较低的延迟，并且在故障转移期间没有停机时间。最后，由于元数据现在存储在商品数据库中，因此可以安全地扩展并轻松导出到外部系统，以进行在线分析和自由文本搜索。
2017-02-22 cs.DC
A Hybrid Communication Approach for Metadata Exchange in Geo-Distributed Fog Environments
针对地理分布式雾计算中元数据交换缺乏地理感知和容错能力的问题，本文提出混合层次化与P2P通信的HFCS系统，并通过仿真验证其在集群节点分布下具有更优的任务完成性能。
2024-02-26 cs.DC
Distributed Hierarchical GPU Parameter Server for Massive Scale Deep Learning Ads Systems
Baidu Research（百度研究院）；Baidu Inc.（百度公司）
广告系统的神经网络通常从多个资源获取输入，查询广告相关性、广告特征和用户画像。这些输入被编码为一热或多热二进制特征，每个示例通常只有一小部分非零特征值。在线广告行业中的深度学习模型可能具有TB级的参数，这些参数不适合计算节点上的GPU内存或CPU主内存。例如，赞助的在线广告系统可以包含多于$10^{11}$的稀疏特征，使得神经网络成为具有大约10 TB参数的大规模模型。本文介绍了一种面向大规模深度学习广告系统的分布式GPU层次化参数服务器。我们提出了一个分层的工作流程，利用GPU高带宽内存，CPU主内存和SSD作为3层分层存储。所有的神经网络训练计算都包含在GPU中。在真实数据上的大量实验证实了该系统的有效性和可扩展性。在MPI集群中，4节点分层GPU参数服务器可以比150节点内存中分布式参数服务器快2倍以上训练模型。此外，我们提出的系统的性价比是4-9倍优于MPI集群解决方案。
2020-03-12 cs.DC cs.LG stat.ML
Compression and Sieve: Reducing Communication in Parallel Breadth First Search on Distributed Memory Systems
对于大规模分布式存储系统上的并行广度优先搜索（BFS）算法，通信开销往往比运算开销大得多，限制了算法的可扩展性。在本文中，我们充分降低分布式BFS的通信成本，通过压缩和筛选的消息。首先，我们利用位图压缩算法，以减少通信之前的消息的大小。其次，我们提出了一种新的分布式目录算法，交叉目录，以筛选消息中的冗余数据。在一个6,144核的SMP集群上的实验表明，该算法的性能是Graph 500中基准实现的2.2倍，通信时间减少了79.0%，性能速率达到了12.1 GTEPS（每秒十亿次边缘访问）。
2012-08-28 cs.DC cs.DS
Straggler Mitigation and Latency Optimization in Blockchain-based Hierarchical Federated Learning
提出基于区块链的去中心化层次化联邦学习框架BHFL，利用Raft联盟区块链保障可信聚合，设计HieAvg聚合方法利用历史权重估计掉队者缺失提交，并联合优化模型收敛与共识延迟，在非凸和非IID数据下性能优于传统方法。
2023-08-02 cs.DC
HiDP: Hierarchical DNN Partitioning for Distributed Inference on Heterogeneous Edge Platforms
University of Turku（图尔库大学）；Politecnico di Milano（米兰理工大学）
针对边缘推理未考虑节点核心级异构性、资源利用率低导致延迟高的问题，提出分层DNN划分策略HiDP，通过全局与局部分层划分利用异构资源，在商用设备上评估显示延迟降38%、能耗降46%、吞吐量升56%。
2024-11-25 cs.AI cs.DC cs.LG
Design and Optimization of Hierarchical Gradient Coding for Distributed Learning at Edge Devices
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
针对含边缘节点层的分层分布式学习系统，本文提出并优化分层梯度编码框架，刻画计算负载与掉队者容忍度折中，并最小化异构场景下的期望迭代时间。
2024-06-16 cs.AI cs.DC cs.NI
Hierarchical Secure Distributed Linearly Separable Computation with Arbitrary Heterogeneous Data Assignment
Technical University of Berlin（柏林工业大学）
本文针对三层分层网络中的安全分布式线性可分计算，提出一种容忍用户掉线与串通的方案，在Kc=1时实现最优或阶最优通信速率，并扩展至Kc>1的多维任务。
2026-09-30 cs.DC
Data Replication for Reducing Computing Time in Distributed Systems with Stragglers
在具有离散节点的分布式计算系统中，各种形式的冗余可以提高系统的平均延迟性能。研究了作业执行时间为随机递减凸随机变量的系统中数据的最优复制问题。我们表明，在这样的系统中，最优分配策略是不相交的数据批次的平衡复制。此外，指数和移位指数的服务时间，我们得出的最佳冗余水平，最小化的期望值和方差的工作完成时间。我们的分析表明，最佳的冗余水平可能是不相同的两个指标，因此有一个折衷之间减少的期望值的完成时间和减少其方差。
2019-12-31 cs.DC cs.IT math.IT
Sustainable Grid through Distributed Data Centers: Spinning AI Demand for Grid Stabilization and Optimization
提出一种将AI作业调度至分布式高性能计算中心的范式，利用其庞大负荷稳定电网并促进可再生能源利用，通过市场激励机制实现能源与学习的联合优化。
2025-03-14 cs.DC
Multilevel communication optimal LU and QR factorizations for hierarchical platforms
本文主要研究了两种经典的稠密线性代数算法LU和QR分解在多级层次平台上的性能。我们首先介绍了一个新的模型，称为层次集群平台（HCP），封装的特点，这样的平台。的重点是设置在降低所研究的算法在层次结构的每个级别的通信要求。因此，通信的下限扩展相对于HCP模型。然后，我们介绍了为这些平台量身定制的多级LU和QR算法，并提供了详细的性能分析。我们还提供了一组数值实验和性能预测，证明需要这样的算法在大型平台上。
2013-03-23 cs.DC
Distributed Hierarchical Machine Learning for Joint Resource Allocation and Slice Selection in In-Network Edge Systems
Chonnam National University（全南国立大学）
本文提出一种分布式分层DeepSets模型，用于网络边缘系统中联合资源分配与切片选择，通过分解问题并优化模型结构，实现高效且接近最优的资源管理。
2026-02-02 cs.DC
CD-Raft: Reducing the Latency of Distributed Consensus in Cross-Domain Sites
School of Artificial Intelligence, Nanchang University（南昌大学人工智能学院）；School of Mathematics and Computer Sciences, Nanchang University（南昌大学数学与计算机科学学院）
CD-Raft通过优化跨领域RTT和领导者节点位置，显著降低跨领域站点分布式一致性协议的延迟，提升系统性能。
2026-03-11 cs.DC
Accelerating Multigrid-based Hierarchical Scientific Data Refactoring on GPUs
科学数据的快速增长以及计算速度和I/O带宽之间的差距越来越大，使得存储和共享科学模拟产生的所有数据变得越来越不可行。相反，我们需要减少数据量的方法：理想情况下，可以自适应地扩展数据量的方法，以便在不同情况下进行性能和保真度权衡的协商。基于多重网格的分层数据表示有望解决这个问题，允许不同分辨率之间的灵活转换，例如，数据可以以高保真度创建，然后通过逻辑简单和数学上合理的操作以较低的保真度传输或存储。然而，直到现在，创建、访问、减少和以其他方式操作这些表示的相对高的成本阻碍了这些表示的有效使用。我们在这里描述了用于GPU加速器的高度优化的数据重构内核，这些内核能够以基于多网格的分层形式有效地创建和操作数据。我们证明，我们的优化设计可以实现高达250 TB/s的聚合数据重构吞吐量-理论峰值的83%-在1024个节点的首脑会议超级计算机。我们展示了我们的优化设计，将其应用到一个大规模的科学可视化工作流程和MGARD有损压缩软件。
2021-02-27 cs.DC
Hardware locality-aware partitioning and dynamic load-balancing of unstructured meshes for large-scale scientific applications
我们提出了一个开放源码的拓扑感知分层非结构化网格划分和负载均衡工具TreePart。该框架提供了强大的抽象功能，可以在运行时自动检测和构建类似硬件的分层MPI拓扑。利用这些信息，它可以智能地在共享和分布式并行算法之间进行选择，以实现分区和负载均衡。它通过与现有的共享和分布式内存并行分区库接口，提供了一系列分区方法。它提供了强大的和可扩展的抽象，如单侧分布式字典和基于MPI3共享内存的光环通信器，用于优化HPC代码。该工具被成功地集成到我们的内部代码，我们目前的结果从一个燃烧问题的大涡模拟。
2020-08-03 cs.DC
Hierarchical Aggregation Approach for Distributed clustering of spatial datasets
Insight Centre for Data Analytics School of Computer Science University College Dublin（都柏林大学学院计算机科学学院数据洞察中心）；School of Computer Science University College Dublin（都柏林大学学院计算机科学学院）
在本文中，我们提出了一种新的方法，分布式聚类的空间数据集，基于创新和有效的聚合技术。这种分布式方法包括两个阶段：1）局部聚类阶段，其中每个节点对其本地数据执行聚类，2）聚合阶段，其中局部聚类被聚合以产生全局聚类。这种方法的特点是，本地集群表示在一个简单而有效的方式。聚合阶段的设计使得最终的聚类是紧凑和准确的，而整个过程在响应时间和内存分配方面都是有效的。我们使用不同的数据集评估了这种方法，并将其与众所周知的聚类技术进行了比较。实验结果表明，该方法是非常有前途的，并优于所有这些算法
2018-02-01 cs.DB cs.DC cs.LG
A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在分布式平台上训练大规模机器学习应用时，减少通信仍然是一个很大的挑战。为了解决这个问题，我们提出了一个分布式分层平均随机梯度下降（Hier-AVG）算法，通过引入局部约简，减少了全局约简。作为一种通用的并行SGD，Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明，Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外，我们还表明，更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG，我们表明，通过部署局部平均与更少的全局平均，Hier-AVG仍然可以达到相当的训练速度，同时经常得到更好的测试精度。这表明，局部平均可以作为一种替代的补救措施，以有效地减少通信开销时，学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验，以验证我们的分析并显示其优越性。
2019-09-09 cs.DC cs.LG math.OC
Scalable Multigrid-based Hierarchical Scientific Data Refactoring on GPUs
科学数据的快速增长以及计算速度和I/O带宽之间的差距越来越大，使得存储和共享科学模拟产生的所有数据变得越来越不可行。相反，我们需要减少数据量的方法：理想情况下，可以自适应地扩展数据量的方法，以便在不同情况下进行性能和保真度权衡的协商。基于多重网格的分层数据表示有望解决这个问题，允许不同分辨率之间的灵活转换，例如，数据可以以高保真度创建，然后通过逻辑简单和数学上合理的操作以较低的保真度传输或存储。然而，直到现在，创建、访问、减少和以其他方式操作这些表示的相对高的成本阻碍了这些表示的有效使用。我们在这里描述了用于GPU加速器的高度优化的数据重构内核，这些内核能够以基于多网格的分层形式有效地创建和操作数据。我们证明，我们的优化设计可以实现高达264 TB/s的聚合数据重构吞吐量-理论峰值的92%-在1024个节点的首脑会议超级计算机。我们展示了我们的优化设计，将其应用到一个大规模的科学可视化工作流程和MGARD有损压缩软件。
2021-05-26 cs.DC
Loading Large Sparse Matrices Stored in Files in the Adaptive-Blocking Hierarchical Storage Format
提出了一种将大型稀疏矩阵从文件加载到高性能计算系统分布式存储器的并行算法。该算法是专门为存储在空间有效的自适应分块层次存储格式（ABHSF）文件中的矩阵设计的。即使矩阵存储和加载过程使用不同数量的进程、不同的矩阵-进程映射或不同的内存存储格式，也可以使用该算法。并介绍了基于HDF 5库的文件格式。最后，所提出的实验研究评估所提出的算法经验。
2014-12-29 cs.DC
Configurable and Hierarchical Allreduce
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Temple University（天普大学）；Politecnico di Milano（米兰理工大学）
针对MPI_Allreduce中小消息场景的性能挑战，提出可配置分层Allreduce算法CHIARA，在Polaris等超算平台及并行k均值应用中实现显著加速。
2026-08-05 cs.DC
Array BP-XOR Codes for Hierarchically Distributed Matrix Multiplication
提出了一种基于阵列置信传播（BP）-可译码异或（BP-XOR）码的分布式矩阵-矩阵乘法容错计算方法。所提出的方案被证明是可配置的，并适合于现代分层计算架构，如图形处理单元（GPU）配备了多个节点，其中每个都有许多小的独立处理单元，增加了核心到核心的通信。研究表明，在存在缓慢节点的情况下，所提出的方案在端到端总执行时间方面优于一些众所周知的早期策略，称为$stragglers$。这种性能优势是由于阵列码的精心设计，它以增加主从通信为代价将编码操作分布在集群（从）节点上。端到端延迟和总通信成本之间的一个有趣的权衡精确地描述。此外，为了能够解决一个确定的问题，缩放落后者，一个渐进版本的阵列BP-XOR码的基础上投影几何提出了一些计算开销的代价。对所有方案进行了彻底的延迟分析，以证明所提出的方案从端到端延迟的角度来看，在计算产品的大小的次线性和线性制度中实现了顺序最优计算。
2021-12-10 cs.DC cs.IT math.IT
LocalNewton: Reducing Communication Bottleneck for Distributed Learning
为了解决分布式优化中的通信瓶颈问题，在主从框架内，我们提出了LocalNewton，一个分布式的二阶局部平均算法。在LocalNewton中，工作机器通过仅使用存储在其本地内存中的数据和模型来找到合适的二阶下降方向，从而在每次迭代中更新其模型。我们让工作者在本地运行多个这样的迭代，并每隔几次（比如L次）迭代将模型传递给主节点。LocalNewton非常实用，因为它只需要一个超参数，即局部迭代次数L。我们使用新的矩阵浓度为基础的技术，以获得理论保证LocalNewton，我们验证他们与详细的经验评估。为了提高实用性，我们设计了一个自适应方案来选择L，我们表明，随着训练的进行，这减少了两个模型同步之间的工人机器中的局部迭代次数，从而连续改进了主模型的质量。通过使用AWS Lambda worker和AWS EC2 master的几个真实数据集进行的广泛实验，我们表明，与最先进的算法相比，LocalNewton需要不到60%的通信回合（master和worker之间）和不到40%的端到端运行时间，以达到相同的训练损失。
2021-05-16 cs.DC stat.ML
ASTRA-sim2.0: Modeling Hierarchical Networks and Disaggregated Systems for Large-model Training at Scale
Georgia Institute of Technology（佐治亚理工学院）；Meta；Intel（英特尔公司）
针对分布式训练软硬件协同设计栈复杂的问题，扩展开源ASTRA-sim基础设施为ASTRA-sim2.0，支持任意模型并行化策略、多维异构拓扑生成及解耦内存系统建模，助力系统设计人员高效开展大规模分布式训练平台的设计空间探索。
2023-03-24 cs.DC cs.LG
Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；NVIDIA（英伟达）
大规模分布式训练需要大量的通信带宽用于梯度交换，这限制了多节点训练的可扩展性，并且需要昂贵的高带宽网络基础设施。在移动设备上进行分布式训练（联邦学习）的情况更糟，它会遭受更高的延迟，更低的吞吐量和间歇性的不良连接。在本文中，我们发现99.9%的梯度交换在分布式SGD是冗余的，并提出了深度梯度压缩（DGC），以大大减少通信带宽。为了在压缩过程中保持准确性，DGC采用四种方法：动量校正、局部梯度裁剪、动量因子掩蔽和预热训练。我们已经将深度梯度压缩应用于图像分类、语音识别和语言建模，使用了多个数据集，包括Cifar 10、ImageNet、Penn Treebank和Librispeech Corpus。在这些情况下，深度梯度压缩实现了从270倍到600倍的梯度压缩比，而不会损失准确性，将ResNet-50的梯度大小从97 MB削减到0.35 MB，将DeepSpeech从488 MB削减到0.74 MB。深度梯度压缩使廉价商品1Gbps以太网上的大规模分布式训练成为可能，并促进了移动设备上的分布式训练。代码可从以下网址获得：https://github.com/synxlin/deep-gradient-compression。
2020-06-23 cs.CV cs.DC cs.LG
H2Opus: A distributed-memory multi-GPU software package for non-local operators
分层$\mathcal{H}^2$ -矩阵是非局部算子离散化的渐近最优表示，例如积分方程或核函数中的非局部算子。它们的$O(N)$在内存和操作应用程序方面的复杂性使它们特别适合于大规模问题。因此，有必要为这些矩阵上的分布式操作提供支持的软件，以允许大规模的问题被表示。在本文中，我们提出了高性能，分布式内存GPU加速算法和实现矩阵向量乘法和矩阵再压缩的分层矩阵的$\mathcal{H}^2$格式。这些算法是H2Opus的一个新模块，H2Opus是一个面向性能的软件包，支持CPU和GPU上的各种$\mathcal{H}^2$矩阵运算。分布式GPU设置中的性能是通过编组分层矩阵表示的树数据来实现的，以允许在各个GPU上执行批处理内核。MPI用于进程间通信。我们优化的通信数据量和隐藏的通信成本与本地计算阶段的算法。测试结果显示，Summit上最多可支持1024个NVIDIA V100 GPU的近乎理想的可扩展性，矩阵向量乘法的性能超过2.3 Tflops/s/GPU，矩阵压缩的性能超过670 Gflops/s/GPU，其中包括批量QR和SVD运算。我们说明了该库的灵活性和效率，通过求解一个二维可变扩散率积分分数扩散问题的代数多重网格预处理Krylov求解器，并展示了可扩展性高达16 M自由度的问题上64 GPU。
2021-09-12 cs.DC cs.MS
Reducing the Communication of Distributed Model Predictive Control: Autoencoders and Formation Control
University of Stuttgart（斯图加特大学）；LUT University（卢霍斯大学）
针对分布式模型预测控制（DMPC）中通信开销过大的问题，提出利用自编码器压缩智能体间传输数据的方法，并在差分驱动机器人编队控制实验中验证其优于缩短预测时域的朴素方法，且在嵌入式硬件和无线通信的实际场景中表现良好。
2025-04-22 cs.DC cs.RO cs.SY
SHIRO: Near-Optimal Communication Strategies for Distributed Sparse Matrix Multiplication
Institute of Science Tokyo（东京科学大学）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Intel Corporation（英特尔公司）
本文提出SHIRO框架，通过细粒度稀疏感知通信策略和分层通信策略，减少通信开销，提升分布式稀疏矩阵乘法的性能与可扩展性。
2026-05-13 cs.DC cs.PF
Performance and Energy Trade-Off Analysis of Hierarchical Federated Learning for Plant Disease Classification
University of Zagreb（扎格雷布大学）；University of Thessaly（塞萨洛尼基大学）；University of Glasgow（格拉斯哥大学）；Trinity College Dublin（都柏林信任学院）；Italian National Research Council（意大利国家研究委员会）
本文分析了分层联邦学习在植物疾病分类中的性能与能耗权衡，提出了一种考虑能耗的优化框架，评估了不同模型聚合策略下的性能表现。
2026-04-28 cs.DC cs.LG
Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Missouri University of Science and Technology（密苏里科技大学）；CNRS（法国国家科学研究中心）；Telecom Sud Paris（南巴黎电信学院）；Institut Mines Telecom（矿业电信学院）；Paris-Saclay University（巴黎-萨克雷大学）
深度神经网络（DNN）的进步极大地支持了异常物联网数据的实时检测。然而，物联网设备很难负担复杂的DNN模型，并且将异常检测任务卸载到云端会导致长时间的延迟。在本文中，我们提出并构建了一个用于分布式分层边缘计算（HEC）系统的自适应异常检测方法的演示，以解决单变量和多变量物联网数据的这个问题。首先，我们构建了多个异常检测DNN模型，其复杂度不断增加，并将每个模型与HEC中的一个层从下到上相关联。然后，我们设计了一个自适应方案，选择这些模型之一的飞行，从每个输入数据提取的上下文信息的基础上。模型的选择制定为一个上下文的强盗问题，其特征在于一个单步马尔可夫决策过程，并使用强化学习策略网络解决。我们构建了一个HEC测试平台，实现了我们提出的方法，并使用真实的物联网数据集对其进行了评估。演示表明，我们提出的方法显着降低了检测延迟（例如，单变量数据集的71.4%），而不会牺牲准确性，而不是将检测任务卸载到云端。我们还将其与其他基线方案进行了比较，并证明了它实现了最佳的精度-延迟权衡。我们的演示也可在线获得：https://rebrand.ly/91a71
2020-04-15 cs.DC cs.LG cs.NI
FedPhD: Federated Pruning with Hierarchical Learning of Diffusion Models
School of Computing Science, University of Glasgow（Glasgow大学计算机科学学院）；College of Finance and Statistics, Hunan University（湖南大学金融与统计学院）
FedPhD提出结合同质性感知聚合的分层联邦学习与分布式结构化剪枝，高效训练扩散模型，降低通信成本88%，FID提升至少34%。
2025-07-08 cs.AI cs.DC cs.LG
A Hierarchical Framework of Cloud Resource Allocation and Power Management Using Deep Reinforcement Learning
Syracuse University（雪城大学）
自动决策方法，如强化学习（RL），已被应用于（部分）解决自适应云计算系统中的资源分配问题。然而，一个完整的云资源分配框架在状态和动作空间中表现出高维度，这阻止了传统RL技术的有用性。此外，高功耗已经成为云计算系统的设计和控制中的关键问题之一，这降低了系统可靠性并增加了冷却成本。一个有效的动态电源管理（DynamicPowerManagement）策略应该最大限度地降低功耗，同时将性能下降保持在可接受的水平。因此，联合虚拟机（VM）资源分配和功率管理框架对于整个云计算系统是关键的。此外，新的解决方案框架是必要的，以解决更高的维度在状态和动作空间。在本文中，我们提出了一种新的层次框架，解决整体资源分配和电源管理问题的云计算系统。所提出的分层框架包括用于将VM资源分配到服务器的全局层和用于本地服务器的分布式功率管理的本地层。采用新兴的深度强化学习（DRL）技术来解决全局层问题，该技术可以处理具有大状态空间的复杂控制问题。此外，采用自编码器和一种新的权值分配结构来处理高维状态空间，加快了收敛速度。另一方面，分布式服务器功率管理的本地层包括以分布式方式操作的基于LSTM的工作负载预测器和基于无模型RL的功率管理器。
2017-08-11 cs.AI cs.DC
Recursive Multi-Section on the Fly: Shared-Memory Streaming Algorithms for Hierarchical Graph Partitioning and Process Mapping
如何将图划分为平衡的块，使得块之间的边较少，是大规模分布式处理的关键问题。目前的趋势是分割巨大的图流算法，它使用低计算资源。在这项工作中，我们提出了一个共享内存流多递归分区方案，执行递归多节的飞行，而不知道整体输入图。我们的方法有一个相当低的运行时间复杂度相比，国家的最先进的非缓冲的一遍分割算法的标准图分割的情况下。此外，如果分布式系统的拓扑是已知的，则可以通过将分区映射到处理元件上来进一步优化通信成本。我们的实验表明，我们的算法是速度更快，产生更好的进程映射比竞争工具。在图分区的情况下，与Fennel相比，我们的框架以多5%的切割边缘为代价快了两个数量级。
2022-02-01 cs.DC cs.DS
RedSync : Reducing Synchronization Traffic for Distributed Deep Learning
Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）
数据并行已成为跨多个节点扩展深度神经网络（DNN）训练的主要方法。由于局部模型的大量梯度同步可能是大规模分布式训练的瓶颈，因此压缩通信数据近年来得到了广泛的关注。在最近提出的几种压缩算法中，残差梯度压缩（RGC）是最成功的方法之一，它可以在保持正确精度和相同收敛速度的前提下，显著地压缩每个节点的发送消息大小（0.1%的梯度大小）。然而，关于压缩深度网络的文献几乎完全集中在实现良好的理论压缩率上，而RGC在实际分布式实现中的效率却很少被研究。在本文中，我们开发了一个基于RGC的系统，能够减少真实世界多GPU系统上的端到端训练时间。我们提出的设计称为RedSync，它引入了一组优化，以减少通信带宽的要求，同时引入有限的开销。我们在两个不同的多GPU平台上评估了RedSync的性能，包括128个GPU的超级计算机和8-GPU服务器。我们的测试用例包括Cifar 10和ImageNet上的图像分类任务，以及Penn Treebank和Wiki 2数据集上的语言建模任务。对于具有高通信计算比的DNN，长期以来被认为可扩展性差，RedSync带来了显着的性能改进。
2019-07-22 cs.CV cs.DC cs.LG
A Hierarchical Approach to Conditional Random Fields for System Anomaly Detection
PES University（PES大学）
在许多行业中，以时间敏感的方式识别大规模系统中的异常事件的异常检测是至关重要的，例如。银行欺诈、企业系统、医疗警报等。大规模系统的规模和复杂性通常会随着时间的推移而增长，异常检测算法需要适应不断变化的结构。层次化方法利用了复杂系统和局部环境中的隐含关系。复杂系统中的功能在数据分布方面可能会有很大的不同，从多个数据源捕获不同的方面，并在放在一起时提供更完整的系统视图。在本文中，考虑两个数据集，第一个包括来自运行在云服务上的机器的系统度量，第二个是来自大规模分布式软件系统的应用度量，其系统节点之间具有固有的层次结构和互连。通过比较基于变点的PELT算法、基于认知学习的分层时间记忆算法、支持向量机和条件随机场的算法，为提出分层全局-局部条件随机场方法提供了基础，该方法可以准确地捕获复杂系统中各种特征的异常。分层算法可以学习特定特征的复杂性，并在全局抽象表示中利用这些特征来鲁棒地检测多源特征数据和分布式系统中的异常模式。对复杂系统的图形网络分析可以进一步微调数据集，以基于可用特征挖掘关系，这可以使分层模型受益。此外，分层解决方案可以很好地适应本地级别的变化，在系统的某些部分进行大修时学习新数据和不断变化的环境，并将这些学习转化为系统的全局视图。
2022-10-28 cs.DC cs.LG
Flight: A FaaS-Based Framework for Complex and Hierarchical Federated Learning
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
提出基于 FaaS 的 Flight 联邦学习框架，支持复杂层次化多层拓扑与异步聚合，相比 Flower 支持多达 2048 个并发设备并将通信开销降低 60% 以上。
2024-09-24 cs.DC cs.LG
FoggyTrust: Robust Federated Learning with Hierarchical Trust Networks
School of Engineering and Applied Sciences (SEAS)（工程与应用科学学院）；Harvard（哈佛大学）；Cambridge, MA, USA（马萨诸塞州剑桥市）
提出FoggyTrust，通过分层信任网络将信任计算本地化到雾节点，结合本地信任聚合与异构感知全局优化器，在异构数据下提升鲁棒性，在CIFAR-10上比FLTrust提升超50%。
2026-06-29 cs.DC cs.LG
Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data
Qatar University（卡塔尔大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
分布式学习算法旨在利用存储在用户设备处的分布式和多样的数据，以通过在参与设备之间执行训练并周期性地将它们的局部模型的参数聚合成全局模型来学习全局现象。联邦学习是一种有前途的范例，其允许在聚合参数之前在参与设备之间扩展本地训练，从而提供更好的通信效率。然而，在参与者的数据严重偏斜的情况下（即，非IID），局部模型可能过拟合局部数据，导致低性能的全局模型。在本文中，我们首先证明了性能下降的一个主要原因是用户设备上的类分布与全局分布之间的加权距离。然后，为了面对这一挑战，我们利用边缘计算范式设计了一个分层学习系统，该系统在用户边缘层执行联邦梯度下降，在边缘云层执行联邦平均。在这种分层架构中，我们形式化并优化了这个用户边分配问题，使得边级数据分布变得相似（即，接近IID），这增强了联合平均性能。我们在多个真实世界数据集上的实验表明，所提出的优化分配是易于处理的，并导致模型更快地收敛到更好的精度值。
2021-02-03 cs.DC cs.LG
MOHAF: A Multi-Objective Hierarchical Auction Framework for Scalable and Fair Resource Allocation in IoT Ecosystems
针对物联网生态系统中分布式资源分配的效率与公平性挑战，本文提出MOHAF多目标分层拍卖框架，通过分层聚类降低复杂度并结合贪心子模优化，联合优化成本、QoS、能效和公平性，在实验中展现出优于现有方法的性能与完美公平性。
2025-08-20 cs.DC cs.GT cs.NE
