Accelerating Partial Evaluation in Distributed SPARQL Query Evaluation
部分评估最近已被用于在分布式环境中处理大型资源描述框架（RDF）图上的SPARQL查询。然而，以前的方法在处理复杂查询时效率低下。在这项研究中，我们进一步提高了“部分评估和组装”的框架，回答SPARQL查询分布式RDF图，同时提供性能保证。我们的主要思想是探索部分匹配的内在结构特征，以过滤掉不相关的部分结果，同时提供网络跟踪（数据运输）或计算成本（响应时间）的性能保证。我们还提出了一个有效的组装算法，利用部分匹配的特点，合并它们，并形成最终的结果。为了进一步提高查找部分匹配的效率，我们提出了一种优化方法，在站点之间传递变量的候选项，以避免冗余计算。此外，虽然我们的方法是分区容忍，不同的分区策略会导致不同的性能，我们评估不同的分区策略，我们的方法。在真实和合成RDF数据集上的实验证实了我们方法的优越性。
2019-02-15 cs.DC
Generalizing and accelerating consistency checking for non-transactional distributed storage systems
Indian Institute of Technology Delhi（印度德里理工学院）
本文泛化WG算法实现了分布式存储系统一致性检查的通用性，可检查Zookeeper等的一致性保证，实验显示该方法速度最高提升370倍，还发现5个现有工具无法检测的新一致性漏洞。
2026-08-19 cs.DC
Accelerating Distributed-Memory Autotuning via Statistical Analysis of Execution Paths
大规模自动性能调优的高昂费用在很大程度上限制了对共享内存和GPU架构库的自动调优。我们介绍了一个框架，近似自动调整，实现了所需的信心，在每个算法配置的性能，通过构建置信区间来描述个别内核（基准程序的子程序）的性能。一旦内核的性能被认为对于一组输入是足够可预测的，则避免后续调用，并用执行时间的预测模型代替。然后，我们利用在线执行路径分析来协调选择性的内核执行和传播每个内核的统计配置文件。这种策略在频繁循环的计算和通信内核的存在下是有效的，这是数值线性代数算法的特征。我们封装这个框架的一部分，一个新的分析工具，克里特，自动内核执行决策和传播统计配置文件沿关键路线的执行。我们使用Stampede2上最先进的Cholesky和QR分解的分布式内存实现来评估我们的选择性执行方法所获得的性能预测准确性，并展示了高达7.1倍的速度提升和98%的预测准确性。
2021-03-01 cs.DC
Accelerating Data Regeneration for Distributed Storage Systems with Heterogeneous Link Capacities
分布式存储系统通过在大量存储节点上分散冗余来提供大规模可靠的数据存储服务。在这样一个大型系统中，节点故障经常发生。当存储节点发生故障时，期望替换节点尽快重新生成冗余数据，以便保持相同的冗余级别。以前的研究主要集中在再生过程中网络流量的最小化上。然而，在实际网络中，链路容量在很大范围内变化，最小化网络流量并不总是产生最小再生时间。在本文中，我们研究了两种方法来最小化网络中的再生时间与异构链路容量的问题。第一种方法是根据链路容量从帮助节点下载不同量的修复数据。第二种方法将传统的星型结构的再生拓扑推广到树型结构的拓扑，这样我们就可以利用帮助节点之间的链路，绕过低容量的链路。仿真结果表明，灵活的树结构再生方案，结合了这两种方法的优点，可以实现再生时间大幅减少。
2016-03-16 cs.DC
Accelerating Geo-distributed Machine Learning with Network-Aware Adaptive Tree and Auxiliary Route
本文提出NetStorm通信调度器，通过多根FAPT拓扑度量、网络感知模块、多路径辅助传输和策略一致性协议，优化广域网参数同步，较MXNET加速6.5~9.2倍。
2024-04-17 cs.DC
ShoreKeeper: Accelerating Iterative Data Analytics in the Cloud via Distributed Recovery-Cost-Aware Caching
POSTECH（浦项工科大学）；Amazon Web Services（亚马逊云服务）
ShoreKeeper是将集群内存视为统一弹性池的框架，通过全局优化模型和图剪枝技术降低数据恢复成本，在各类云实例上运行，性能优于现有最先进系统。
2026-10-12 cs.DC
DreamDDP: Accelerating Data Parallel Distributed LLM Training with Layer-wise Scheduled Partial Synchronization
针对低带宽地理分布 DDP 中通信瓶颈，本文提出 DreamDDP，通过逐层部分同步、无额外显存的通信计算重叠及细粒度调度，实现 1.49×–3.91× 加速。
2025-02-16 cs.DC
CHIRON: Accelerating Node Synchronization without Security Trade-offs in Distributed Ledgers
ISTA（维也纳科学与技术研究院）；TU Wien（维也纳工业大学）；Imperial College London（伦敦帝国理工学院）；Mystenlabs
本文提出CHIRON系统，通过提取执行提示加速滞后节点和全节点，无需牺牲系统安全或增加共识关键路径的开销，实测提速达30%。
2026-05-17 cs.DC
Accelerating Distributed MoE Training and Inference with Lina
本文针对分布式MoE训练和推理中all-to-all通信瓶颈，提出系统Lina，通过张量分区优先调度通信并动态调度推理资源，在A100上使训练步长最多减少1.73倍，95%ile推理时间平均减少1.63倍。
2024-04-28 cs.DC
PyTorch Distributed: Experiences on Accelerating Data Parallel Training
Facebook AI；University of Warsaw（华沙大学）
本文介绍了PyTorch分布式数据并行模块的设计、实现和评估。PyTorch是一个广泛采用的科学计算包，用于深度学习研究和应用。深度学习的最新进展证明了大型数据集和大型模型的价值，这需要将模型训练扩展到更多计算资源的能力。数据并行由于其简单的原理和广泛的适用性而成为分布式训练的流行解决方案。通常，分布式数据并行技术在每个计算资源上复制模型以独立地生成梯度，然后在每次迭代时传递这些梯度以保持模型副本一致。尽管该技术在概念上很简单，但计算和通信之间的微妙依赖关系使得优化分布式训练效率变得非常重要。从v1.5开始，PyTorch原生地提供了几种技术来加速分布式数据并行，包括分级梯度，重叠计算与通信，以及跳过梯度同步。评估表明，在适当配置时，PyTorch分布式数据并行模块使用256个GPU实现了接近线性的可扩展性。
2020-06-28 cs.DC cs.LG
DHO$_2$: Accelerating Distributed Hybrid Order Optimization via Model Parallelism and ADMM
National University of Defense Technology, Changsha, China（国防科技大学）；Fudan University, Shanghai, China（复旦大学）
本文提出DHO$_2$，一种基于模型并行和ADMM的分布式混合阶优化方法，利用部分曲率信息并行计算，在资源受限下加速DNN训练，实现内存线性降低和1.4-2.1倍加速。
2025-08-04 cs.DC cs.LG
Accelerating Local LLMs on Resource-Constrained Edge Devices via Distributed Prompt Caching
Keio University（庆应义塾大学）
本文提出分布式提示缓存方法，通过多台低功耗边缘设备协同共享中间状态以提升LLM推理性能，实验表明可显著降低TTFT和TTLT。
2026-04-10 cs.DC cs.LG
Zepp: Accelerating Distributed MoE Serving under Relaxed Balance Constraints
UCSD（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）；ETH Zürich（苏黎世联邦理工学院）；NVIDIA（英伟达）
Zepp将平衡视为约束而非目标，通过分阶段优化通信等技术，实现分布式MoE服务的高效执行，在7种基准系统中最高获6.68倍MoE层加速、几何平均1.86倍加速。
2026-10-12 cs.DC
Accelerating Edge Inference for Distributed MoE Models with Latency-Optimized Expert Placement
Sun Yat-sen University（中山大学）；City University of Hong Kong（香港城市大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出Prism框架，通过优化边缘服务器间的通信和专家放置，降低MoE模型的推理延迟和通信成本，提升边缘环境下的模型部署效率。
2026-04-15 cs.DC
DynaComm: Accelerating Distributed CNN Training between Edges and Clouds through Dynamic Communication Scheduling
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Qingdao Huanghai University（青岛黄海学院）；Tianjin University（天津大学）；Macquarie University（麦考瑞大学）
为了减少上传带宽和解决隐私问题，网络边缘的深度学习一直是一个新兴的话题。通常，边缘设备通过参数服务器框架使用实时生成的数据协作地训练共享模型。虽然所有边缘设备可以共享计算工作负载，但由于参数服务器和边缘设备之间的参数和梯度传输过程，边缘网络上的分布式训练过程仍然非常耗时。专注于加速分布式卷积神经网络（CNN）在网络边缘的训练，我们提出了DynaComm，一种新的调度器，动态地将每个传输过程分解成几个部分，以实现最佳的逐层通信和计算重叠在运行时。通过实验，我们验证了DynaComm管理，以实现最佳的逐层调度的所有情况下相比，竞争策略，而模型的准确性保持不变。
2021-10-08 cs.AI cs.DC cs.LG
Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling
Keio University（庆应义塾大学）
将多个计算节点互连的计算集群用于加速基于DQN（Deep Q-Network）的分布式强化学习。在分布式强化学习中，Actor节点通过与给定环境交互来获取经验，而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加，因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信，并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器，该服务器通过40 GbE（40 Gbit Ethernet）网络互连。评估结果表明，作为一种网络优化技术，内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术，行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%，并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。
2023-03-10 cs.DC cs.LG
MiCRO: Near-Zero Cost Gradient Sparsification for Scaling and Accelerating Distributed DNN Training
Ajou University（明知大学）
MiCRO通过梯度分区分配和基于压缩比误差最小化的阈值估计，实现近零成本的梯度稀疏化，从而提升分布式DNN训练的可扩展性和加速效果。
2024-02-20 cs.DC cs.LG
SHORTSTACK: Distributed, Fault-tolerant, Oblivious Data Access
本文针对云服务中集中式代理在故障环境下破坏不经意数据访问安全的问题，提出分布式代理架构SHORTSTACK，在被动持久攻击者可任意迫使有界数量代理故障的模型下形式化证明并实验验证其安全性与近线性扩展性能。
2022-06-08 cs.CR cs.DC cs.NI
Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO)
Steinbuch Centre for Computing (SCC)（施泰因布赫计算中心（SCC））；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））；Institute for Software Technology (SC)（软件技术研究所（SC））；German Aerospace Center (DLF)（德国航空航天中心（DLF））
随着数据和模型复杂性的增加，训练神经网络所需的时间变得非常长。为了解决训练时间的指数增长，用户转向数据并行神经网络（DPNN），以利用计算机集群上的大规模分布式资源。目前的DPNN方法通过阻塞通信操作来同步和平均所有进程的梯度来实现网络参数更新。这种同步是算法的核心瓶颈。为了解决这个问题，我们引入了分布式异步和选择性优化（DASO）方法，该方法利用多GPU计算节点架构来加速网络训练。DASO使用分层和异步通信方案，包括节点本地和全局网络，同时在学习过程中调整全局同步速率。我们表明，与其他现有的数据并行训练方法相比，DASO在经典和最先进的网络上的训练时间减少了34%。
2021-04-15 cs.DC cs.LG
ScissionLite: Accelerating Distributed Deep Neural Networks Using Transfer Layer
Chung-Ang University（中央大学）
工业物联网（IIoT）应用可以从利用边缘计算中受益。例如，由深度神经网络（DNN）模型支持的应用可以被切片并分布在IIoT设备和网络边缘上，以提高推理的整体性能并增强输入数据（例如工业产品图像）的隐私。然而，IIoT设备和边缘之间的低网络性能往往是一个瓶颈。在这项研究中，我们开发了ScissionLite，这是一个使用传输层（TL）加速分布式DNN推理的整体框架。TL是插入DNN模型切片的最佳切片点之间的流量感知层，以减少出站网络流量而不会显着降低准确性。对于TL，我们为性能受限的IIoT设备实现了一个新的轻量级下采样/上采样网络。在ScissionLite中，我们开发了ScissionTL、预处理器和卸载器，用于使用TL部署DNN切片的端到端活动。他们决定DNN的最佳切片点，准备包括TL在内的预训练DNN切片，并在IIoT设备和边缘上执行DNN切片。将TL用于切片DNN模型的开销可以忽略不计。与在本地设备上执行和现有的最先进的模型切片方法相比，ScissionLite将推理延迟分别提高了16倍和2.8倍。
2021-05-05 cs.AI cs.DC
DeAR: Accelerating Distributed Deep Learning with Fine-Grained All-Reduce Pipelining
The Hong Kong University of Science and Technology（香港科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Shenzhen Technology University（深圳技术大学）
针对现有分布式深度学习通信调度存在启动延迟高、性能次优的问题，提出将all-reduce拆分为两步的DeAR算法及张量融合方案，可同时重叠反向与前馈计算，在64-GPU集群上实现最高83%和15%的加速。
2023-06-15 cs.DC cs.LG
Magnum.np.distributed: Accelerating Finite Difference Micromagnetic Simulations with Multiple GPUs
Kyushu University（九州大学）
本文通过PyTorch Distributed扩展Python原生微磁框架magnum.np，首次实现多GPU加速，在8个NVLink连接的GPU上对退磁有效场计算获得7.0倍加速，并通过MPI后端在CPU上实现6.8倍加速。
2026-05-31 cond-mat.mes-hall cs.DC
TicTac: Accelerating Distributed Deep Learning with Communication Scheduling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最先进的深度学习系统依赖于迭代分布式训练来解决模型和输入数据日益复杂的问题。在这些通信繁重的系统中，迭代时间取决于计算时间、通信时间以及计算和通信的重叠程度。在这项工作中，我们发现了使用图形表示进行计算的系统（如TensorFlow和PyTorch）中的一个缺点，这导致迭代时间的高方差-工人之间接收参数的随机顺序。我们开发了一个系统TicTac，通过使用参数服务器解决分布式深度学习中的这个问题来改善迭代时间，同时保证通信和计算的接近最佳重叠。TicTac识别并强制执行网络传输的顺序，从而使用优先级提高迭代时间。我们的系统是通过TensorFlow实现的，不需要对模型或开发人员输入进行更改。TicTac在推理中将吞吐量提高了$37.7\%$，在训练中提高了$19.2\%$，同时还将落伍者效应降低了$2.3\times$。我们的代码是公开的。
2018-10-04 cs.DC cs.LG cs.PF
Accelerating Distributed K-FAC with Smart Parallelism of Computing and Communication Tasks
The Hong Kong University of Science and Technology（香港科技大学）
在GPU集群上使用同步随机梯度下降（SGD）的分布式训练已被广泛用于加速深度模型的训练过程。然而，SGD仅在模型参数更新中利用一阶梯度，这可能需要数天或数周。最近的研究已经成功地利用近似二阶信息来加速训练过程，其中Kronecker因子近似曲率（KFAC）成为训练深度模型的最有效的近似算法之一。然而，当利用GPU集群来训练具有分布式KFAC（D-KFAC）的模型时，其在每次迭代期间引起大量计算以及引入额外通信。在这项工作中，我们提出了D-KFAC（SPD-KFAC）与智能并行的计算和通信任务，以减少迭代时间。具体而言，1）我们首先描述了D-KFAC的性能瓶颈，2）我们设计并实现了一个流水线机制的克罗内克因子计算和通信与动态张量融合，3）我们开发了一个负载均衡布局，在GPU集群上的多个矩阵求逆。我们在一个64 GPU的集群上进行了实际的实验，该集群具有100 Gb/s的InfiniBand互连。实验结果表明，我们提出的SPD-KFAC训练方案可以实现10%-35%的国家的最先进的算法的改进。
2021-07-14 cs.AI cs.DC
Accelerating Exact and Approximate Inference for (Distributed) Discrete Optimization with GPUs
University of Michigan（密歇根大学）；New Mexico State University（新墨西哥州立大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
离散优化问题是人工智能的核心问题。成本函数网络的聚合成本的优化出现在各种问题中，包括（W）CSP，DCOP，以及随机变量中的优化，例如在信念网络中找到最可能解释（MPE）的任务。基于推理的算法是解决离散优化问题的强大技术，可以单独使用或与其他技术结合使用。然而，它们的适用性往往受到其计算密集型性质和空间要求的限制。本文提出了一种新的推理为基础的技术，利用现代大规模并行架构，如图形处理单元（GPU），以加快精确和近似推理为基础的离散优化算法的分辨率的设计和实现。本文研究了所提出的算法在集中式和分布式优化上下文中。该文件表明，GPU的使用提供了显着的优势，在运行时间和可扩展性方面，实现了两个数量级的加速，并显示出相当大的减少执行时间（高达345倍的速度）相对于顺序版本。
2017-06-16 cs.AI cs.DC
Caramel: Accelerating Decentralized Distributed Deep Learning with Computation Scheduling
Google（谷歌）；UC Irvine（加州大学欧文分校）；VMware Research（VMware研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；VMware
深度神经网络（DNN）训练中的参数聚合选择方法是一项网络密集型任务，受理论保证更好性能的启发，正在从参数服务器模型转向分散聚合方案（AllReduce）。然而，目前的AllReduce实现忽略了通信和计算的相互依赖性，导致显着的性能下降。在本文中，我们开发了Caramel，这是一个通过模型感知计算调度和AllReduce通信优化来加速分散式分布式深度学习的系统。Caramel通过（a）计算DAG调度来实现这一目标，该计算DAG调度为每个参数（传输边界）扩展了可行的传输窗口，以及（b）用于平滑负载的网络优化，包括参数传输的自适应优化和流水线化。Caramel保持了Refllow模型的正确性，是硬件独立的，并且不需要任何用户级或框架级的更改。我们在TensorFlow上实现了Caramel，并表明在云环境中DNN训练的迭代时间可以提高3.62倍。
2020-04-29 cs.DC cs.LG cs.NI
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory（阿贡国家实验室）；Wayne State University（韦恩州立大学）
在分布式机器学习中，跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器，实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中，我们解决了强凸，凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法，（加速）梯度上升多随机梯度下降（GA-MSGD），适用于分布式优化的拉格朗日固有地包含本地更新，因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是，对于强凸目标，（加速）GA-MSGD在通信轮次中实现线性收敛，尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质，使得对偶问题是强凹的。当与Catalyst框架集成时，我们的方法在各种设置中实现了接近最佳的通信复杂性，而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
Sky Computing: Accelerating Geo-distributed Computing in Federated Learning
HPC-AI Technology Inc.（HPC-AI技术公司）；National University of Singapore（新加坡国立大学）
联邦学习是由谷歌提出的，通过在用户设备上本地训练模型来保护数据隐私。然而，随着深度学习模型的规模不断增长以获得更好的结果，在单个设备上容纳整个模型变得越来越困难。因此，然后使用模型并行来在若干设备之间划分模型权重。通过这种逻辑，目前使用的方法在设备之间均匀分配权重。然而，在现实中，由于不同用户设备的不同计算能力，可能会出现计算瓶颈。为了解决这个问题，需要负载均衡来基于设备的计算能力分配模型权重。在本文中，我们提出了天空计算，一个负载平衡的模型并行框架，自适应地分配权重的设备。当训练具有64个节点的160层BERT时，Sky Computing在训练时间上优于基线方法55%。源代码可以在https://github.com/hpcaitech/SkyComputing上找到。
2022-02-24 cs.AI cs.DC cs.LG
Accelerating Domain-aware Deep Learning Models with Distributed Training
Iowa State University（爱荷华州立大学）
数据生成技术的最新进展导致地理时空数据的爆炸性增长。在水文、生态和交通等领域，借助深度学习技术解释时空相互作用的复杂潜在模式因此成为时代的需要。然而，在没有特定领域知识的情况下应用深度学习技术往往会提供次优的预测性能。其次，在大规模数据上训练这样的模型需要大量的计算资源。为了消除这些挑战，我们提出了一种新的分布式域感知时空网络，利用特定领域的知识，提高模型性能。我们的网络由像素贡献块、分布式多头多通道卷积（CNN）空间块和递归时间块组成。我们选择水文学中的洪水预测作为用例来测试我们提出的方法。根据我们的分析，该网络有效地预测了流域出口流量测量的高峰，加速高达4.1倍，预测性能提高了93%。我们的方法实现了12.6倍的整体加速，平均预测性能提高了16%。我们在美国北部一个州的23个流域的数据集上进行了广泛的实验，并提出了我们的研究结果。
2023-01-25 cs.DC cs.LG cs.PF
Accelerating Distributed Deep Learning using Lossless Homomorphic Compression
UT Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）；Airbnb（爱彼迎）
提出一种无损同态压缩算法，将worker级压缩与网内聚合相结合，无需CPU/GPU处理即可高效聚合且不损失训练精度，在多种DNN模型上显著提升了聚合吞吐量和训练速度。
2024-02-12 cs.DC cs.DS cs.LG
Accelerating Deep Neuroevolution on Distributed FPGAs for Reinforcement Learning Problems
IBM Almaden Research Center（IBM阿尔马登研究中心）
由深度神经网络的表征能力增强的强化学习在高维问题上显示出有希望的结果，例如游戏和机器人控制。然而，这些问题的连续性对计算效率提出了根本性的挑战。最近，进化策略和深度神经进化等替代方法在分布式CPU内核上表现出更快的训练时间。在这里，我们报告了Atari 2600游戏使用分布式FPGA实现的深度神经进化的创纪录训练时间（每秒约100万帧）。将游戏控制台、图像预处理和神经网络的硬件实现结合在优化的流水线中，乘以系统级并行性，实现了加速。这些结果是IBM神经计算机上的第一个应用演示，这是一个定制设计的系统，由432个Xilinx FPGA以3D网状网络拓扑互连组成。除了高性能外，实验还显示，与CPU实现的相同算法相比，所有游戏的准确性都有所提高。
2020-05-10 cs.AI cs.AR cs.DC
Accelerating Distributed ML Training via Selective Synchronization
Indiana University Bloomington（印第安纳大学布卢明顿分校）
针对分布式BSP训练通信成本高、现有替代方案易损失精度的问题，本文提出低开销的SelSync选择性同步方法，通过动态决策每步是否通信及配套优化，在半同步训练下实现与BSP相当或更优精度，最高提速14倍。
2024-01-29 cs.CV cs.DC cs.LG
Accelerating Data Loading in Deep Neural Network Training
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Data Centric Systems（数据中心系统）
在大规模系统中，数据加载可以支配深度神经网络训练时间。我们提出了一个全面的研究，在大规模分布式训练中加速数据加载性能。我们首先确定当前数据加载实现中的性能和可伸缩性问题。然后，我们提出了利用CPU资源的数据加载器设计的优化。我们使用一个分析模型来描述数据加载对整体训练时间的影响，并在扩展分布式训练时建立性能趋势。我们的模型表明，I/O速率限制了分布式训练的可扩展性，这启发我们设计了一个本地感知的数据加载方法。通过利用软件缓存，我们的方法可以大大减少数据加载的通信量相比，原来的数据加载实现。最后，我们评估所提出的优化与各种实验。我们使用256个节点和1，024个学习器实现了超过30倍的数据加载加速。
2019-10-02 cs.DC cs.LG cs.PF
Accelerating Fair Federated Learning: Adaptive Federated Adam
Uppsala University（乌普萨拉大学）
联邦学习是一种分布式和隐私保护的方法，用于从不同方的分散数据协作地训练统计模型。然而，当参与者的数据集不是独立和同分布的（非IID）时，由朴素联邦算法训练的模型可能偏向于某些参与者，并且参与者之间的模型性能是不均匀的。这被称为联邦学习中的公平性问题。在本文中，我们制定公平控制的联邦学习作为一个动态的多目标优化问题，以确保所有参与者的公平性能。为了有效地解决这一问题，本文研究了Adam作为联邦学习服务器优化器的收敛性和偏差，提出了自适应联邦Adam（AdaFedAdam）算法，在减轻偏差的同时加速公平的联邦学习。我们验证了AdaFedAdam的有效性，Pareto最优性和鲁棒性的数值实验，并表明AdaFedAdam优于现有的算法，提供更好的收敛性和公平性的联邦计划。
2023-01-23 cs.DC cs.LG
Accelerating Federated Learning in Heterogeneous Data and Computational Environments
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
在某些情况下，与机器学习问题相关的数据分布在多个位置，这些位置由于监管、竞争或隐私原因而无法共享数据。例如，存在于用户手机中的数据、给定工业部门中的公司的制造数据或位于不同医院的医疗记录。此外，参与站点通常具有不同的数据分布和计算能力。联邦学习提供了一种在这些环境中学习所有可用数据的联合模型的方法。在本文中，我们介绍了一种新的分布式验证加权计划（DVW），评估联邦中的学习者对分布式验证集的性能。每个学习者保留一小部分（例如，5%）的本地训练样本作为验证dataset.We经验表明，DVW结果更好的性能相比，建立的方法，如FedAvg，在数据和计算异构环境下的同步和异步通信协议。
2020-08-25 cs.AI cs.DC cs.LG
Accelerating Federated Learning with a Global Biased Optimiser
University of Exeter（埃克塞特大学）
联邦学习（FL）是分布式机器学习的最新发展，其在训练数据不离开客户端设备的情况下协作训练模型，从而保护数据隐私。在现实世界的FL中，训练集以高度非独立和相同分布（非IID）的方式分布在客户端上，损害了模型收敛速度和最终性能。为了解决这一挑战，我们提出了一种新的，通用的方法，将自适应优化到FL与联邦全球偏置优化（FedGBO）算法。FedGBO通过在训练期间采用一组全局偏置优化器值来加速FL，减少来自非IID数据的“客户端漂移”，同时受益于自适应优化。我们表明，在FedGBO中，全局模型的更新可以重新表述为使用有偏梯度和优化器更新的集中训练，并应用此框架来证明FedGBO在使用动量SGD（SGDm）优化器时在非凸目标上的收敛性。我们还使用4个FL基准数据集（CIFAR100，Sent140，FEMNIST，Shakespeare）和3个流行的优化器（SGDm，RMSProp，Adam）进行了广泛的实验，将FedGBO与六种最先进的FL算法进行比较。结果表明，FedGBO在数据集上显示出卓越或具有竞争力的性能，同时具有较低的数据上传和计算成本，并提供了与不同自适应FL算法和优化器相关的权衡的实际见解。
2022-10-05 cs.DC cs.LG
Optimizing and accelerating space-time Ripley's K function based on Apache Spark for distributed spatiotemporal point pattern analysis
随着越来越多的兴趣点数据集具有细粒度的空间和时间属性，时空Ripley的K函数被认为是一个强大的方法来分析时空点过程。然而，时空Ripley的K函数是计算密集型的逐点距离比较，边缘校正和模拟的显着性测试。利用OpenMP、MPI和CUDA等并行计算技术对K函数进行了加速，相关实验证明了其显著的加速效果。然而，以前的工作还没有扩大Ripley的K函数的优化从空间维到时空维。如果没有复杂的时空查询和分区机制，额外的计算开销可能是有问题的。同时，这些研究受到并行框架可扩展性受限和相对昂贵的编程成本的限制，阻碍了它们在大型POI数据集和Ripley的K函数变化中的应用。本文在最先进的分布式计算框架Apache Spark上提出了一种加速时空Ripley K函数的分布式计算方法，并分别采用四种策略来简化计算过程和加速分布式计算。在此基础上，开发了一个基于Web的可视化分析框架原型。实验证明了该方法的可行性和时间效率，并对时空Ripley K函数在生态学、地理学、社会学、经济学、城市交通等领域的应用具有推广价值。
2019-12-10 cs.CG cs.DC cs.DS
SpecFed: Accelerating Federated LLM Inference with Speculative Decoding and Compressed Transmission
Pengcheng Laboratory（鹏城实验室）；Dalian Maritime University（大连海事大学）
本文提出SpecFed方法，通过推测解码和压缩传输技术，提升联邦学习中大语言模型推理效率，减少通信开销并保持生成质量。
2026-07-07 cs.DC eess.SP
DASH: A C++ PGAS Library for Distributed Data Structures and Parallel Algorithms
我们提出了DASH，一个C++模板库，提供分布式数据结构和并行算法，并实现了编译器免费PGAS（分区全局地址空间）的方法。DASH提供了许多生产力和性能功能，例如全局视图数据结构、对所有者计算模型的有效支持、灵活的多维数据分布方案以及与STL（标准模板库）算法的互操作性。DASH还具有并行目标机器的灵活表示，并允许通过团队的概念利用几个分层组织的本地级别。我们在许多基准应用程序上评估DASH，并使用MPI双侧模型将科学代理应用程序移植到DASH。我们发现DASH提供了出色的生产力和性能，并展示了高达9800个核心的可扩展性。
2016-10-05 cs.DC
Personal Data Access Control Through Distributed Authorization
本文提出了一种个人信息管理系统的架构，在该系统中，个人可以通过智能合约定义对其个人数据的访问。这些运行在以太坊区块链上的智能合约实现了访问控制列表，并授予对个人数据引用的不变性，可追溯性和可验证性，这些数据本身存储在（可能是分布式的）文件系统中。设计了一种分布式授权机制，其中来自多个网络节点的信任是授予对数据的访问所必需的。为了这个目的，两个可能的替代方案描述：秘密共享方案和门限代理重新加密方案。这些替代品的性能进行实验比较的执行时间。阈值代理重新加密在不同的场景中似乎更快，特别是当增加消息大小，节点数量和阈值时，即授权数据公开所需的节点数量。
2021-01-25 cs.CR cs.DC cs.NI
Accelerating the Dutch Atmospheric Large-Eddy Simulation (DALES) model with OpenACC
本文通过OpenACC将DALES模型移植到GPU，评估了性能、弱扩展性及在A100/H100上的可移植性，并利用Kernel Tuner优化内核。
2025-02-21 cs.CE cs.DC physics.ao-ph
Accelerating Wireless Distributed Learning via Hybrid Split and Federated Learning Optimization
School of Communications and Electronics Engineering, East China Normal University（通信与电子工程学院，东华大学）；School of Electronics and Information Technology, Sun Yat-sen University（电子与信息学院，中山大学）；Zhejiang University/University of Illinois at Urbana-Champaign Institute, Zhejiang University（浙江大学/伊利诺伊大学厄巴纳-香槟分校研究院，浙江大学）；Department of Electronic Engineering, State Key Laboratory of Space Network and Communications, Tsinghua University（电子工程系，空间网络与通信国家重点实验室，清华大学）；Information Systems Technology and Design Pillar, Singapore University of Technology and Design（信息系统技术与设计学院，新加坡科技设计大学）
本文提出混合分割与联邦学习优化方法，通过学习模式选择、批量大小优化和资源联合优化，提升无线分布式学习的收敛速度和效率。
2025-11-25 cs.DC cs.LG
Accelerating Distributed Online Meta-Learning via Multi-Agent Collaboration under Limited Communication
Arizona State University（亚利桑那州立大学）
在线元学习正在成为物联网生态系统中实现边缘智能的一种使能技术。然而，为了学习一个好的元模型，以实现任务内的快速适应，单个智能体必须单独学习许多任务，这就是所谓的“冷启动”问题。观察到在多智能体网络中，不同智能体之间的学习任务通常具有一些模型相似性，我们提出了以下基本问题：“是否有可能通过有限的通信来加速智能体之间的在线元学习，如果是的话，可以实现多大的好处？为了回答这个问题，我们提出了一个多智能体在线元学习框架，并将其转换为一个等价的两级嵌套在线凸优化（OCO）问题。通过表征代理任务平均遗憾的上界，我们表明，多代理在线元学习的性能在很大程度上取决于有多少代理可以受益于分布式网络级的OCO元模型更新通过有限的通信，但这是不是很好地理解。为了解决这一挑战，我们设计了一个分布式的在线梯度下降算法与梯度跟踪，每个代理跟踪全局梯度使用只有一个通信步骤与它的邻居每次迭代，它的结果是在一个平均遗憾$O(\sqrt{T/N})$每个代理，表明$\sqrt{1/N}$的一个因素的加速比最佳的单代理遗憾$O(\sqrt{T})$后，$T$迭代，其中$N$是代理的数量。在此基础上，我们接下来开发了一个多智能体在线元学习算法，并表明它可以通过有限的通信以更快的$O(1/\sqrt{NT})$速度实现最佳任务平均遗憾，相比单智能体在线元学习。大量的实验证实了理论结果。
2020-12-19 cs.DC cs.LG cs.MA
DisTRaC: Accelerating High Performance Compute Processing for Temporary Data Storage
高性能计算（HPC）集群通常会在代码执行过程中生成中间文件，并且消息传递并不总是能够为这些集群作业提供数据。在这些情况下，I/O返回到中央分布式存储以允许跨节点数据共享。这些系统通常具有高性能，其特点是每TB成本高，对工作负载类型（如调整为小型或大型文件I/O）敏感。但是，计算节点通常具有大量RAM，因此在处理系统寿命或可靠性不那么重要的中间文件时，可以使用本地RAM磁盘来获得性能优势。在本文中，我们将展示如何通过创建一个可以与对象存储系统Ceph交互的RAM块，以及创建一个部署工具来有效地在HPC基础设施上部署Ceph来解决这个问题。这项工作导致了一个系统，比中央高性能分布式存储系统在钻石减少I/O开销和处理时间Savu，层析成像数据处理应用程序，分别由81.04%和8.32%。
2022-12-06 cs.DC cs.OS
Accelerating MoE Training through Expert Placement and Replica Coordination
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；Hong Kong University of Science and Technology（香港科技大学）
PlaceMoE通过联合优化专家布局与令牌-副本映射，结合梯度同步与注意力反向传播重叠技术，在32-GPU和64-NPU集群上，使MoE模型训练的A2A通信提速最高6.94倍、端到端训练提速1.74-2.33倍，优于VeOmni框架。
2026-10-14 cs.DC
Tiga: Accelerating Geo-Distributed Transactions with Synchronized Clocks [Technical Report]
本研究提出面向地理复制事务数据库的Tiga设计，通过同步时钟主动分配未来时间戳合并并发控制与共识，多数场景1次广域往返即可提交事务，性能显著优于现有方案且已开源。
2025-09-06 cs.DB cs.DC cs.NI
Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients
National Laboratory for Parallel and Distributed Processing（并行与分布式处理国家实验室）
本文提出BHerd策略，通过Herding方法选择更接近梯度集合平均值的局部梯度子集上传至服务器，以缓解Non-IID数据对联邦学习收敛的不利影响，并在多种数据集和场景下验证了其加速模型收敛的有效性。
2024-03-25 cs.DC cs.LG
Accelerating an Iterative Eigensolver for Nuclear Structure Configuration Interaction Calculations on GPUs using OpenACC
为了加速在配备通用图形处理单元（GPU）的分布式内存并行系统上解决核物理多体计算中产生的大型本征值问题，我们修改了之前开发的本征值求解器的混合MPI/OpenMP实现。使用基于OpenACC指令的编程模型，以FORTRAN 90编写。这种方法需要对原始代码进行最小的更改，并且能够将大规模核结构模拟从分布式存储器众核CPU系统平滑迁移到分布式GPU系统。然而，为了使基于OpenACC的特征值求解器在GPU上高效运行，我们需要考虑众核CPU和GPU设备之间的架构差异。因此，插入OpenACC指令的最佳方式可能与插入OpenMP指令的原始方式不同。我们指出这些差异的实施稀疏矩阵矩阵乘法（SpMM），这构成了本征解算器的主要成本，以及其他差异的预处理步骤和密集的线性代数运算。我们比较了基于OpenACC的实现在多个GPU上执行的性能与分布式内存众核CPU上的性能，并证明了GPU上实现的显着加速比众核CPU的节点上性能。我们还表明，多个GPU上的特征值求解器的整体性能提高是更温和的，由于不同的MPI行列之间的通信开销。
2021-09-01 cs.DC cs.MS cs.NA
Multicore-aware parallel temporal blocking of stencil codes for shared and distributed memory
需要新的算法和优化技术来平衡带宽匮乏的多核芯片的加速趋势。众所周知，模板代码的性能可以通过时间分块来改善，从而减轻对存储器接口的压力。我们介绍了一种新的流水线的方法，使显式使用共享缓存在多核环境中，最大限度地减少同步和边界开销。对于共享内存节点的集群，我们演示了如何在混合共享/分布式内存环境中成功地采用时间块。
2009-12-22 cs.DC cs.PF
Accelerating Large-scale Data Exploration through Data Diffusion
数据密集型应用程序通常需要对大型数据集进行探索性分析。如果在分布式资源上执行分析，数据局部性对于高吞吐量和性能至关重要。我们提出了一个“数据扩散”的方法，获取计算和存储资源动态，复制数据响应需求，并安排计算接近数据。随着需求的增加，会获得更多的资源，从而允许对引用相同数据的后续请求做出更快的响应;当需求下降时，资源会被释放。这种方法可以提供专用硬件的好处，而不会产生相关的高成本，具体取决于工作负载和资源特性。这种方法让人联想到协作缓存，Web缓存和对等存储系统，但解决了不同的应用需求。其他数据感知调度方法假设专用资源，如果负载显著变化，则这可能是昂贵的和/或低效的。为了探索数据扩散方法的可行性，我们扩展了Falkon资源提供和任务调度系统，以支持数据缓存和数据感知调度。微基准测试和大规模天文学应用程序的性能结果表明，我们的方法相对于替代方法提高了性能，并提供了更好的可扩展性，因为聚合I/O带宽随数据缓存节点的数量线性扩展。
2008-08-26 cs.DC
Accelerating Gossip SGD with Periodic Global Averaging
Alibaba Group（阿里巴巴集团）
通信开销阻碍了大规模分布式训练的可扩展性。Gossip SGD，其中每个节点仅与其邻居平均，比流行的并行SGD更具通信效率。然而，其收敛速率与测量网络连通性的量$1-β$成正比。在使用$1-β\to 0$的大型稀疏网络上，Gossip SGD需要更多的迭代来收敛，这抵消了其通信优势。本文介绍了Gossip-PGA算法，它在GossipSGD算法的基础上增加了周期全局平均算法。其过渡阶段，即，对于非凸问题，达到渐近线性加速阶段所需的迭代从$Ω(β^4 n^3/(1-β)^4)$改进为$Ω(β^4 n^3 H^4)$。Gossip-PGA中网络拓扑的影响可以通过平均周期$H$来控制。其瞬态复杂度也优于具有$Ω(n^3 H^4)$阶的局部SGD。大规模图像分类（ResNet 50）和语言建模（BERT）训练的实验结果验证了我们的理论研究结果。
2021-05-19 cs.DC cs.LG
Communication optimization strategies for distributed deep neural network training: A survey
National University of Defense Technology（国防科技大学）
高性能计算和深度学习的最新趋势导致了大规模深度神经网络训练研究的激增。然而，计算节点之间频繁的通信需求大大降低了整体训练速度，这导致了分布式训练的瓶颈，特别是在网络带宽有限的集群中。为了减轻分布式通信的缺点，研究人员提出了各种优化策略。在本文中，我们提供了一个全面的调查，从算法的观点和计算机网络的角度来看，通信策略。算法优化侧重于减少分布式训练中使用的通信量，而网络优化则侧重于加速分布式设备之间的通信。在算法层面，我们描述了如何减少通信轮数和每轮传输的比特数。此外，我们阐明了如何重叠计算和通信。在网络层次，我们讨论了网络基础设施，包括逻辑通信方案和网络协议所造成的影响。最后，我们推断了未来潜在的挑战和新的研究方向，以加速分布式深度神经网络训练的通信。
2020-11-23 cs.DC cs.LG
Federated Graph Learning with Structure Proxy Alignment
University of Virginia（弗吉尼亚大学）
针对联邦图学习中数据异构与少数类节点邻域有偏导致的节点分类性能下降问题，提出FedSpray框架，通过对齐局部类别级结构代理生成无偏软标签正则化本地训练，在四个数据集上优于基线方法。
2024-08-18 cs.AI cs.DC cs.LG
Accelerating Privacy-Preserving Federated Learning in Large-Scale LEO Satellite Systems
School of Telecommunication Engineering, Xidian University（电信工程学院，西安电子科技大学）；Tianjin Artificial Intelligence Innovation Center (TAIIC)（天津人工智能创新中心）；Pillar of ISTD, Singapore University of Technology and Design（ISTD支柱，新加坡科技与设计大学）；School of Electrical and Electronic Engineering, Nanyang Technological University（电子与电气工程学院，南洋理工大学）；Department of Electrical and Computer Engineering, University of Houston（电气与计算机工程系，休斯顿大学）
针对大规模LEO卫星系统中联邦学习因动态拓扑和有限带宽导致训练时间延长的问题，提出基于离散时间图的按需调度框架，动态分配通信资源，使整体轮次时间减少14.20%至41.48%，且在更大模型和更多客户端下加速效果更显著。
2025-09-05 cs.AI cs.DC cs.LG
