Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling
Keio University(庆应义塾大学)
将多个计算节点互连的计算集群用于加速基于DQN(Deep Q-Network)的分布式强化学习。在分布式强化学习中,Actor节点通过与给定环境交互来获取经验,而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加,因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信,并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器,该服务器通过40 GbE(40 Gbit Ethernet)网络互连。评估结果表明,作为一种网络优化技术,内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术,行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%,并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。
2023-03-10 cs.DC cs.LG
MiCRO: Near-Zero Cost Gradient Sparsification for Scaling and Accelerating Distributed DNN Training
Ajou University(明知大学)
MiCRO通过梯度分区分配和基于压缩比误差最小化的阈值估计,实现近零成本的梯度稀疏化,从而提升分布式DNN训练的可扩展性和加速效果。
2024-02-20 cs.DC cs.LG
Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO)
Steinbuch Centre for Computing (SCC)(施泰因布赫计算中心(SCC));Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT));Institute for Software Technology (SC)(软件技术研究所(SC));German Aerospace Center (DLF)(德国航空航天中心(DLF))
随着数据和模型复杂性的增加,训练神经网络所需的时间变得非常长。为了解决训练时间的指数增长,用户转向数据并行神经网络(DPNN),以利用计算机集群上的大规模分布式资源。目前的DPNN方法通过阻塞通信操作来同步和平均所有进程的梯度来实现网络参数更新。这种同步是算法的核心瓶颈。为了解决这个问题,我们引入了分布式异步和选择性优化(DASO)方法,该方法利用多GPU计算节点架构来加速网络训练。DASO使用分层和异步通信方案,包括节点本地和全局网络,同时在学习过程中调整全局同步速率。我们表明,与其他现有的数据并行训练方法相比,DASO在经典和最先进的网络上的训练时间减少了34%。
2021-04-15 cs.DC cs.LG
DeAR: Accelerating Distributed Deep Learning with Fine-Grained All-Reduce Pipelining
The Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shenzhen Technology University(深圳技术大学)
针对现有分布式深度学习通信调度存在启动延迟高、性能次优的问题,提出将all-reduce拆分为两步的DeAR算法及张量融合方案,可同时重叠反向与前馈计算,在64-GPU集群上实现最高83%和15%的加速。
2023-06-15 cs.DC cs.LG
Accelerating Data Loading in Deep Neural Network Training
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Data Centric Systems(数据中心系统)
在大规模系统中,数据加载可以支配深度神经网络训练时间。我们提出了一个全面的研究,在大规模分布式训练中加速数据加载性能。我们首先确定当前数据加载实现中的性能和可伸缩性问题。然后,我们提出了利用CPU资源的数据加载器设计的优化。我们使用一个分析模型来描述数据加载对整体训练时间的影响,并在扩展分布式训练时建立性能趋势。我们的模型表明,I/O速率限制了分布式训练的可扩展性,这启发我们设计了一个本地感知的数据加载方法。通过利用软件缓存,我们的方法可以大大减少数据加载的通信量相比,原来的数据加载实现。最后,我们评估所提出的优化与各种实验。我们使用256个节点和1,024个学习器实现了超过30倍的数据加载加速。
2019-10-02 cs.DC cs.LG cs.PF
Caramel: Accelerating Decentralized Distributed Deep Learning with Computation Scheduling
Google(谷歌);UC Irvine(加州大学欧文分校);VMware Research(VMware研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校);VMware
深度神经网络(DNN)训练中的参数聚合选择方法是一项网络密集型任务,受理论保证更好性能的启发,正在从参数服务器模型转向分散聚合方案(AllReduce)。然而,目前的AllReduce实现忽略了通信和计算的相互依赖性,导致显着的性能下降。在本文中,我们开发了Caramel,这是一个通过模型感知计算调度和AllReduce通信优化来加速分散式分布式深度学习的系统。Caramel通过(a)计算DAG调度来实现这一目标,该计算DAG调度为每个参数(传输边界)扩展了可行的传输窗口,以及(b)用于平滑负载的网络优化,包括参数传输的自适应优化和流水线化。Caramel保持了Refllow模型的正确性,是硬件独立的,并且不需要任何用户级或框架级的更改。我们在TensorFlow上实现了Caramel,并表明在云环境中DNN训练的迭代时间可以提高3.62倍。
2020-04-29 cs.DC cs.LG cs.NI
Woodpecker-DL: Accelerating Deep Neural Networks via Hardware-Aware Multifaceted Optimizations
Ant Group(蚂蚁集团)
加速深度模型训练和推理在实践中至关重要。现有的深度学习框架通常专注于优化训练速度,而很少关注特定于推理的优化。实际上,模型推理在计算方面不同于训练,例如,在训练期间的每个梯度更新步骤中更新参数,但在推理期间保持不变。模型推理的这些特性为其优化提供了新的机会。在本文中,我们提出了一个硬件感知的优化框架,即啄木鸟DL(WPK),以加速推理,利用多个联合优化的角度,图优化,自动搜索,域特定语言(DSL)编译器技术和系统级探索。在WPK中,我们研究了两种新的自动搜索方法,分别基于遗传算法和强化学习,以寻找针对特定硬件的最佳操作符代码配置。定制的DSL编译器进一步附加到这些搜索算法以生成高效的代码。为了创建优化的推理计划,WPK系统地探索了来自第三方库的高速运算符实现,以及我们自动生成的代码,并挑选出每个运算符的最佳实现供使用。大量的实验表明,在Tesla P100 GPU上,我们可以在单个卷积运算符上实现cuDNN的最大加速比5.40和TVM的最大加速比1.63,并且端到端模型推理的运行速度比TensorRT快1.18倍。
2020-08-11 cs.DC cs.LG
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory(阿贡国家实验室);Wayne State University(韦恩州立大学)
在分布式机器学习中,跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器,实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中,我们解决了强凸,凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法,(加速)梯度上升多随机梯度下降(GA-MSGD),适用于分布式优化的拉格朗日固有地包含本地更新,因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是,对于强凸目标,(加速)GA-MSGD在通信轮次中实现线性收敛,尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质,使得对偶问题是强凹的。当与Catalyst框架集成时,我们的方法在各种设置中实现了接近最佳的通信复杂性,而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
Accelerating Neural Network Inference by Overflow Aware Quantization
Alibaba Group(阿里巴巴集团)
深度神经网络固有的繁重计算阻碍了其广泛应用。一种广泛使用的加速模型推理的方法是量化,通过使用定点值替换网络的输入操作数。然后,大部分的计算成本集中在整数矩阵乘法累加。事实上,高位累加器会导致部分计算浪费,而低位累加器通常会发生数值溢出。为了解决这个问题,我们提出了一种溢出感知量化方法,通过设计可训练的自适应定点表示,以优化每个输入张量的位数,同时在计算过程中禁止数值溢出。利用该方法,我们能够充分利用计算能力,以最大限度地减少量化损失,并获得优化的推理性能。为了验证我们的方法的有效性,我们分别在ImageNet,Pascal VOC和COCO数据集上进行图像分类,目标检测和语义分割任务。实验结果表明,该方法可以实现与国家的最先进的量化方法相当的性能,同时加快约2倍的推理过程。
2020-05-27 cs.CV cs.LG
Sky Computing: Accelerating Geo-distributed Computing in Federated Learning
HPC-AI Technology Inc.(HPC-AI技术公司);National University of Singapore(新加坡国立大学)
联邦学习是由谷歌提出的,通过在用户设备上本地训练模型来保护数据隐私。然而,随着深度学习模型的规模不断增长以获得更好的结果,在单个设备上容纳整个模型变得越来越困难。因此,然后使用模型并行来在若干设备之间划分模型权重。通过这种逻辑,目前使用的方法在设备之间均匀分配权重。然而,在现实中,由于不同用户设备的不同计算能力,可能会出现计算瓶颈。为了解决这个问题,需要负载均衡来基于设备的计算能力分配模型权重。在本文中,我们提出了天空计算,一个负载平衡的模型并行框架,自适应地分配权重的设备。当训练具有64个节点的160层BERT时,Sky Computing在训练时间上优于基线方法55%。源代码可以在https://github.com/hpcaitech/SkyComputing上找到。
2022-02-24 cs.AI cs.DC cs.LG
Accelerating Distributed Deep Learning using Lossless Homomorphic Compression
UT Austin(德克萨斯大学奥斯汀分校);Peking University(北京大学);Airbnb(爱彼迎)
提出一种无损同态压缩算法,将worker级压缩与网内聚合相结合,无需CPU/GPU处理即可高效聚合且不损失训练精度,在多种DNN模型上显著提升了聚合吞吐量和训练速度。
2024-02-12 cs.DC cs.DS cs.LG
Accelerating Deep Neuroevolution on Distributed FPGAs for Reinforcement Learning Problems
IBM Almaden Research Center(IBM阿尔马登研究中心)
由深度神经网络的表征能力增强的强化学习在高维问题上显示出有希望的结果,例如游戏和机器人控制。然而,这些问题的连续性对计算效率提出了根本性的挑战。最近,进化策略和深度神经进化等替代方法在分布式CPU内核上表现出更快的训练时间。在这里,我们报告了Atari 2600游戏使用分布式FPGA实现的深度神经进化的创纪录训练时间(每秒约100万帧)。将游戏控制台、图像预处理和神经网络的硬件实现结合在优化的流水线中,乘以系统级并行性,实现了加速。这些结果是IBM神经计算机上的第一个应用演示,这是一个定制设计的系统,由432个Xilinx FPGA以3D网状网络拓扑互连组成。除了高性能外,实验还显示,与CPU实现的相同算法相比,所有游戏的准确性都有所提高。
2020-05-10 cs.AI cs.AR cs.DC
Accelerating Distributed ML Training via Selective Synchronization
Indiana University Bloomington(印第安纳大学布卢明顿分校)
针对分布式BSP训练通信成本高、现有替代方案易损失精度的问题,本文提出低开销的SelSync选择性同步方法,通过动态决策每步是否通信及配套优化,在半同步训练下实现与BSP相当或更优精度,最高提速14倍。
2024-01-29 cs.CV cs.DC cs.LG
A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities
Intel Corporation(英特尔公司);Intel Labs(英特尔研究院)
神经架构搜索(NAS)的最新进展,如one-shot NAS,提供了从特定于任务的超级网络中提取专用硬件感知子网络配置的能力。虽然已经为改进第一阶段(即超级网络的训练)做出了相当大的努力,但对衍生的高性能子网络的搜索仍处于探索阶段。流行的方法将超级网络训练与子网络搜索解耦,并使用性能预测器来减少在不同硬件平台上搜索的计算负担。我们提出了一个灵活的搜索框架,自动和有效地找到最佳的子网络,优化不同的性能指标和硬件配置。具体来说,我们展示了进化算法如何在迭代周期中与经过轻度训练的客观预测器配对,以加速多目标环境中的架构搜索,包括机器翻译和图像分类。
2022-05-19 cs.LG cs.NE
A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation
Huawei Canada(华为加拿大)
A-3PO通过近似近端策略优化方法,减少大语言模型异步训练中的计算开销,实现1.8倍的加速同时保持性能
2026-08-13 cs.AI cs.DC cs.LG
Accelerating Fair Federated Learning: Adaptive Federated Adam
Uppsala University(乌普萨拉大学)
联邦学习是一种分布式和隐私保护的方法,用于从不同方的分散数据协作地训练统计模型。然而,当参与者的数据集不是独立和同分布的(非IID)时,由朴素联邦算法训练的模型可能偏向于某些参与者,并且参与者之间的模型性能是不均匀的。这被称为联邦学习中的公平性问题。在本文中,我们制定公平控制的联邦学习作为一个动态的多目标优化问题,以确保所有参与者的公平性能。为了有效地解决这一问题,本文研究了Adam作为联邦学习服务器优化器的收敛性和偏差,提出了自适应联邦Adam(AdaFedAdam)算法,在减轻偏差的同时加速公平的联邦学习。我们验证了AdaFedAdam的有效性,Pareto最优性和鲁棒性的数值实验,并表明AdaFedAdam优于现有的算法,提供更好的收敛性和公平性的联邦计划。
2023-01-23 cs.DC cs.LG
EmbRace: Accelerating Sparse Communication for Distributed Training of NLP Neural Networks
National University of Defense Technology(国防科技大学);Xiamen University(厦门大学)
分布式数据并行训练已被广泛用于深度神经网络(DNN)模型。虽然目前的深度学习(DL)框架可以很好地扩展图像分类模型等密集模型,但我们发现这些DL框架对于具有高度稀疏嵌入表的自然语言处理(NLP)模型等稀疏模型的可扩展性相对较低。大多数现有的作品忽略了模型参数的稀疏性,从而遭受显着的,但不必要的通信开销。在本文中,我们提出了EmbRace,一个有效的通信框架,以加速稀疏模型的分布式训练的通信。EmbRace引入了稀疏感知混合通信,将AlltoAll和模型并行集成到数据并行训练中,以减少高度稀疏参数的通信开销。为了有效地将稀疏通信与向后和向前计算重叠,EmbRace进一步设计了一种2D通信调度方法,该方法优化了模型计算过程,放松了嵌入的依赖性,并使用优先级队列调度每个嵌入行的稀疏通信。我们已经实现了一个基于PyTorch和Horovod的EmbRace原型,并对四个代表性的NLP模型进行了全面的评估。实验结果表明,与最先进的分布式训练基线相比,EmbRace实现了高达2.41倍的加速比。
2022-06-27 cs.LG cs.MA
SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching
École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院(EPFL))
SenCache通过敏感性感知缓存策略,提升扩散模型推理效率与视觉质量。
2026-09-22 cs.CV cs.LG
Effective Gradient Sample Size via Variation Estimation for Accelerating Sharpness aware Minimization
Beijing University of Technology(北京工业大学);Beihang University(北京航空航天大学)
本文提出一种基于PSF变异的自适应采样方法,通过重用采样梯度显著加速SAM,同时保持与SAM相当的精度。
2024-02-24 cs.CV cs.LG
Accelerating Byzantine-Robust Distributed Learning with Compressed Communication via Double Momentum and Variance Reduction
Sichuan University(四川大学);East China University of Science and Technology(华东理工大学)
本文提出Byz-DM21算法,通过双动量机制和误差反馈技术,实现容错分布式学习的高效通信与加速收敛,证明其在O(ε⁻⁴)迭代内达到ε- stationary点。
2026-04-05 cs.LG
TawPipe: Topology-Aware Weight Pipeline Parallelism for Accelerating Long-Context Large Models Training
针对长上下文大模型训练中现有流水线并行方法通信开销高、带宽利用率低的问题,提出拓扑感知权重流水线并行方法TawPipe,通过拓扑分组、固定分片、通信计算重叠优化效率,实验验证其吞吐量与可扩展性优于现有最优基线。
2025-11-12 cs.AI cs.DC cs.LG
Accelerating Federated Learning in Heterogeneous Data and Computational Environments
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
在某些情况下,与机器学习问题相关的数据分布在多个位置,这些位置由于监管、竞争或隐私原因而无法共享数据。例如,存在于用户手机中的数据、给定工业部门中的公司的制造数据或位于不同医院的医疗记录。此外,参与站点通常具有不同的数据分布和计算能力。联邦学习提供了一种在这些环境中学习所有可用数据的联合模型的方法。在本文中,我们介绍了一种新的分布式验证加权计划(DVW),评估联邦中的学习者对分布式验证集的性能。每个学习者保留一小部分(例如,5%)的本地训练样本作为验证dataset.We经验表明,DVW结果更好的性能相比,建立的方法,如FedAvg,在数据和计算异构环境下的同步和异步通信协议。
2020-08-25 cs.AI cs.DC cs.LG
Accelerating Federated Learning with a Global Biased Optimiser
University of Exeter(埃克塞特大学)
联邦学习(FL)是分布式机器学习的最新发展,其在训练数据不离开客户端设备的情况下协作训练模型,从而保护数据隐私。在现实世界的FL中,训练集以高度非独立和相同分布(非IID)的方式分布在客户端上,损害了模型收敛速度和最终性能。为了解决这一挑战,我们提出了一种新的,通用的方法,将自适应优化到FL与联邦全球偏置优化(FedGBO)算法。FedGBO通过在训练期间采用一组全局偏置优化器值来加速FL,减少来自非IID数据的“客户端漂移”,同时受益于自适应优化。我们表明,在FedGBO中,全局模型的更新可以重新表述为使用有偏梯度和优化器更新的集中训练,并应用此框架来证明FedGBO在使用动量SGD(SGDm)优化器时在非凸目标上的收敛性。我们还使用4个FL基准数据集(CIFAR100,Sent140,FEMNIST,Shakespeare)和3个流行的优化器(SGDm,RMSProp,Adam)进行了广泛的实验,将FedGBO与六种最先进的FL算法进行比较。结果表明,FedGBO在数据集上显示出卓越或具有竞争力的性能,同时具有较低的数据上传和计算成本,并提供了与不同自适应FL算法和优化器相关的权衡的实际见解。
2022-10-05 cs.DC cs.LG
MoNTA: Accelerating Mixture-of-Experts Training with Network-Traffc-Aware Parallel Optimization
Shanghai Enflame Technology Co. Ltd(上海燧原科技有限公司)
针对现有分布式训练框架对大基座MoE模型通信优化不足的问题,本文提出网络流量感知的并行优化方法MoNTA,可依据通信量和集群拓扑选最优策略,显著提升通信效率与训练速度。
2024-11-01 cs.AI cs.LG
Noise-Adaptive Layerwise Learning Rates: Accelerating Geometry-Aware Optimization for Deep Neural Network Training
George Mason University(乔治·玛斯纳大学)
本文提出了一种基于几何感知优化的噪声自适应分层学习率方案,通过动态调整学习率提升深度神经网络训练效率。
2026-02-02 cs.LG
Accelerating Diffusion Planners in Offline RL via Reward-Aware Consistency Trajectory Distillation
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种奖励感知一致性轨迹蒸馏方法,通过解耦训练和无噪声奖励信号,在离线强化学习中实现高效扩散规划器,提升性能并加快推理速度。
2026-02-06 cs.AI cs.LG
Accelerating Distributed Online Meta-Learning via Multi-Agent Collaboration under Limited Communication
Arizona State University(亚利桑那州立大学)
在线元学习正在成为物联网生态系统中实现边缘智能的一种使能技术。然而,为了学习一个好的元模型,以实现任务内的快速适应,单个智能体必须单独学习许多任务,这就是所谓的“冷启动”问题。观察到在多智能体网络中,不同智能体之间的学习任务通常具有一些模型相似性,我们提出了以下基本问题:“是否有可能通过有限的通信来加速智能体之间的在线元学习,如果是的话,可以实现多大的好处?为了回答这个问题,我们提出了一个多智能体在线元学习框架,并将其转换为一个等价的两级嵌套在线凸优化(OCO)问题。通过表征代理任务平均遗憾的上界,我们表明,多代理在线元学习的性能在很大程度上取决于有多少代理可以受益于分布式网络级的OCO元模型更新通过有限的通信,但这是不是很好地理解。为了解决这一挑战,我们设计了一个分布式的在线梯度下降算法与梯度跟踪,每个代理跟踪全局梯度使用只有一个通信步骤与它的邻居每次迭代,它的结果是在一个平均遗憾$O(\sqrt{T/N})$每个代理,表明$\sqrt{1/N}$的一个因素的加速比最佳的单代理遗憾$O(\sqrt{T})$后,$T$迭代,其中$N$是代理的数量。在此基础上,我们接下来开发了一个多智能体在线元学习算法,并表明它可以通过有限的通信以更快的$O(1/\sqrt{NT})$速度实现最佳任务平均遗憾,相比单智能体在线元学习。大量的实验证实了理论结果。
2020-12-19 cs.DC cs.LG cs.MA
On Accelerating Distributed Convex Optimizations
University of Maryland(马里兰大学);École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
研究了一个分布式多智能体凸优化问题。该系统包括多个代理在这个问题中,每个具有一组本地数据点和相关的本地费用函数。代理连接到服务器,并且没有代理间通信。智能体的目标是学习一个参数向量,该参数向量优化其本地成本的总和,而不暴露其本地数据点。原则上,代理可以通过使用传统的分布式梯度-下降法与服务器协作来解决这个问题。然而,当总成本是病态的,梯度-下降法(i)需要大量的迭代收敛,(ii)是非常不稳定的过程噪声。我们提出了一种迭代预处理技术,以减轻有害影响的费用函数的条件分布梯度下降的收敛速度。与传统的预处理技术不同,在我们提出的技术中的预处理矩阵迭代更新,以促进分布式网络上的实现。在分布式环境下,我们证明了该算法的线性收敛性,比传统的自适应梯度下降法具有更高的收敛速率。此外,对于总成本的极小值是唯一的特殊情况,我们的算法超线性收敛。我们证明了我们的算法的优越性能相比,突出的分布式算法解决真正的逻辑斯谛回归问题,并通过一个嘈杂的二次模型仿真神经网络训练,从而标志着该算法的效率分布式解决非凸优化。此外,我们的经验表明,该算法的结果在更快的训练,而不影响泛化性能。
2021-08-19 cs.LG cs.SY eess.SY
Accelerating Wireless Distributed Learning via Hybrid Split and Federated Learning Optimization
School of Communications and Electronics Engineering, East China Normal University(通信与电子工程学院,东华大学);School of Electronics and Information Technology, Sun Yat-sen University(电子与信息学院,中山大学);Zhejiang University/University of Illinois at Urbana-Champaign Institute, Zhejiang University(浙江大学/伊利诺伊大学厄巴纳-香槟分校研究院,浙江大学);Department of Electronic Engineering, State Key Laboratory of Space Network and Communications, Tsinghua University(电子工程系,空间网络与通信国家重点实验室,清华大学);Information Systems Technology and Design Pillar, Singapore University of Technology and Design(信息系统技术与设计学院,新加坡科技设计大学)
本文提出混合分割与联邦学习优化方法,通过学习模式选择、批量大小优化和资源联合优化,提升无线分布式学习的收敛速度和效率。
2025-11-25 cs.DC cs.LG
Accelerating Distributed SGD for Linear Regression using Iterative Pre-Conditioning
University of Maryland, College Park(马里兰大学帕克分校);Georgetown University(乔治城大学)
研究了多智能体分布式线性最小二乘问题。该系统包括多个代理,每个代理具有本地观察的数据点集,以及代理可以与之交互的公共服务器。代理的目标是计算一个线性模型,该模型最适合所有代理观察到的集体数据点。在基于服务器的分布式设置中,服务器不能访问代理持有的数据点。最近提出的迭代预条件连续下降(IPG)方法已被证明收敛速度比其他现有的分布式算法,解决这个问题。在IPG算法中,服务器和代理执行许多迭代计算。这些迭代中的每一个都依赖于代理观察到的整批数据点来更新解决方案的当前估计。在这里,我们将迭代预处理的思想扩展到随机设置,其中服务器在每次迭代时基于单个随机选择的数据点更新估计和迭代预处理矩阵。我们表明,我们提出的迭代预处理随机一致性下降(IPSG)方法的线性收敛的期望接近的解决方案。重要的是,我们的经验表明,建议的IPSG方法的收敛速度相比,毫不逊色,突出的随机算法解决线性最小二乘问题,在基于服务器的网络。
2020-11-28 cs.LG cs.SY eess.SY
Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients
National Laboratory for Parallel and Distributed Processing(并行与分布式处理国家实验室)
本文提出BHerd策略,通过Herding方法选择更接近梯度集合平均值的局部梯度子集上传至服务器,以缓解Non-IID数据对联邦学习收敛的不利影响,并在多种数据集和场景下验证了其加速模型收敛的有效性。
2024-03-25 cs.DC cs.LG
DIVEBATCH: Accelerating Model Training Through Gradient-Diversity Aware Batch Size Adaptation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出DiveBatch算法,利用梯度多样性动态调整批量大小,在保持小批量训练泛化性能的同时显著加速SGD收敛,并在多个数据集上验证其优于标准SGD和AdaBatch。
2025-09-19 cs.LG
Accelerating Diffusion Transformer via Increment-Calibrated Caching with Channel-Aware Singular Value Decomposition
Peking University(北京大学)
本文提出一种无需训练的增量校准缓存方法加速扩散Transformer,利用低秩近似生成校准参数,并引入通道感知SVD增强校正效果,在减少45%以上计算量的同时提升IS并保持FID几乎不变。
2025-05-09 cs.CV cs.LG eess.IV
DARTS: Distribution-Aware Active Rollout Trajectory Shaping for Accelerating LLM Reinforcement Learning
School of Computer Science \& Beijing Key Laboratory of Software;Hardware Cooperative Artificial Intelligence Systems, Peking University, Beijing, China;School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China;Institute of Computational Social Science, Peking University (Qingdao), Qingdao, China
针对强化学习中长尾响应分布导致的效率瓶颈,提出分布感知的主动轨迹塑造方法,通过细粒度识别提示内长尾并削减无效冗余,实现高达1.77倍的加速而不损失模型性能。
2026-05-29 cs.AI cs.LG
FastMMoE: Accelerating Multimodal Large Language Models through Dynamic Expert Activation and Routing-Aware Token Pruning
Beijing University of Posts and Telecommunications(北京邮电大学);Li Auto(利亚自动化)
本文提出FastMMoE,一种无需训练的加速框架,通过动态专家激活和路由感知标记剪枝,显著降低计算量并保持性能,优于现有基线方法。
2026-03-20 cs.CV cs.LG
Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement
研究针对混合专家模型服务中专家放置问题,提出Director系统,通过预测驱动的在线专家放置、轻量级预测器或量化副本及在线迁移模块,结合多项式时间运行的优化器,有效降低端到端延迟,实验证明其对流行MoE模型延迟降低显著。
2026-07-13 cs.AI cs.LG
MicroScopiQ: Accelerating Foundational Models through Outlier-Aware Microscaling Quantization
Georgia Institute of Technology(佐治亚理工学院);Intel Labs(英特尔实验室)
本文提出MicroScopiQ,一种结合剪枝与异常值感知量化的协同设计技术,通过剪枝最不重要的权重来分配异常值比特,在保证高精度的同时实现了高硬件效率,推理速度最高提升3倍。
2025-04-29 cs.AI cs.AR cs.LG
FastGRPO: Accelerating Policy Optimization via Concurrency-aware Speculative Decoding and Online Draft Learning
Lanzhou University(兰州大学);The University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学)
针对GRPO训练中生成阶段慢的问题,提出并发感知投机解码与在线草稿学习,实现2.35x-2.72x端到端加速,显著提升效率。
2025-09-26 cs.AI cs.LG
THC: Accelerating Distributed Deep Learning Using Tensor Homomorphic Compression
Harvard University(哈佛大学);University College London(伦敦大学学院);VMware Research(威睿研究中心)
针对分布式深度学习中双向梯度压缩带来的参数服务器计算开销大、压缩误差高的问题,提出支持压缩值直接聚合且兼容网内聚合的THC双向压缩框架,可显著提升训练速度。
2024-03-05 cs.AI cs.LG cs.NI
MMR-GRPO: Accelerating GRPO-Style Training through Diversity-Aware Reward Reweighting
Department of Computer Science and Engineering(计算机科学与工程系)
提出MMR-GRPO方法,利用最大边际相关性根据完成多样性重加权奖励,减少冗余样本,加速GRPO训练,在保持性能的同时平均减少47.9%训练步数和70.2%时间。
2026-06-07 cs.AI cs.CL cs.IR
Priority-Aware Model-Distributed Inference at Edge Networks
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对边缘网络中多数据源共存的模型分布式推理,提出优先级感知的模型分配算法PA-MDI,基于优化问题求解,在真实测试平台上验证了其降低推理时间并实现优先级分配。
2024-12-16 cs.DC cs.LG
APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs
NLP Group, DCST, IAI, BNRIST, Tsinghua University, Beijing, China(清华大学);Department of CS&T, Central South University, Changsha, China(中南大学);BUPT, Beijing, China(北京邮电大学);Pattern Recognition Center, WeChat AI, Tencent Inc.(腾讯人工智能研究院)
APB通过多主机近似注意力与跨GPU传递压缩上下文块,同时减少计算和增强并行性,实现长上下文推理预填充速度的大幅提升。
2025-05-26 cs.CL cs.LG
SHADHO: Massively Scalable Hardware-Aware Distributed Hyperparameter Optimization
University of Notre Dame(圣母大学)
计算机视觉正在经历人工智能的复兴,其中机器学习模型正在加速学术研究和商业应用的重要突破。然而,有效地训练这些模型并不容易,部分原因是超参数:用户配置的值控制模型从数据中学习的能力。现有的超参数优化方法是高度并行的,但没有努力平衡跨异构硬件的搜索或优先搜索高影响空间。在本文中,我们介绍了一个大规模可扩展的硬件感知分布式超参数优化(SHADHO)的框架。我们的框架计算每个搜索空间的相对复杂度,并在所有试验中监控学习任务的性能。然后,这些指标被用作算法,以基于其硬件将超参数分配给分布式工作者。我们首先证明,我们的框架实现了一倍的吞吐量的标准分布式超参数优化框架优化SVM MNIST使用150个分布式工人。然后,我们在一周的时间里使用两个计算集群中的74个GPU使用SHADHO进行模型搜索,以优化U-Net的细胞分割任务,发现515个模型实现了比标准U-Net更低的验证损失。
2018-01-22 cs.DC cs.LG
Accelerating Wireless Federated Learning via Nesterov's Momentum and Distributed Principle Component Analysis
Shenzhen MSU-BIT University(深圳北理莫斯科大学);Shenzhen University(深圳大学);University of Science and Technology Beijing(北京科技大学);Carleton University(卡尔顿大学);The University of British Columbia(不列颠哥伦比亚大学)
针对无线联邦学习的上行通信瓶颈,提出基于分布式PCA降维和Nesterov动量的PCA-WFL及加速版PCA-AWFL算法,理论证明其收敛更快且随节点数线性加速,数值实验验证了其优于基准的收敛性能。
2023-03-31 cs.IT cs.LG math.IT
Dash: Accelerating Distributed Private Convolutional Neural Network Inference with Arithmetic Garbled Circuits
University of Luebeck(吕贝克大学);Technische Hochschule Luebeck(吕贝克应用科技大学)
本文提出 Dash,一种基于算术混淆电路的分布式私有卷积神经网络推理方案,通过引入 LabelTensors 利用 GPU 并行性,并结合中国剩余定理余数缩放操作,将性能提升约 100 倍,实现更高精度,且每步推理仅需一轮通信。
2024-10-15 cs.CR cs.LG
ConsistencyTTA: Accelerating Diffusion-Based Text-to-Audio Generation with Consistency Distillation
Microsoft Corporation(微软公司);University of California, Berkeley(加利福尼亚大学伯克利分校)
针对扩散模型文本转音频生成推理慢的问题,提出ConsistencyTTA框架,通过感知CFG的潜一致性模型实现单步非自回归生成,还支持闭环微调,在AudioCaps上计算量降400倍且保质量多样性。
2024-06-24 cs.LG cs.MM cs.SD
User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling
Stockholm University(斯德哥尔摩大学)
针对AI推理服务需求增长带来的集中式服务成本上升问题,提出结合专用与用户贡献资源的协作式分布式推理系统,通过高维生成马尔可夫模型优化调度,可在用户规模扩大时提升性能并降低专用资源消耗。
2026-08-13 cs.AI cs.DC cs.LG
Accelerating Local AI on Consumer GPUs: A Hardware-Aware Dynamic Strategy for YOLOv10s
School of Computing(计算学院);Information Sciences Florida International University(信息科学佛罗里达国际大学);Department of Computer(计算机系);Information Systems Saint Leo University(信息系统圣路易大学)
针对消费级GPU上目标检测器基准性能与实际可行性的差距,提出双路自适应推理算法,通过低/高分辨率双处理实现1.85倍加速且mAP损失小,为消费级设备部署实时AI提供实用方案。
2025-11-18 cs.AI cs.CV cs.LG
LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization
针对SAM在分布式大批量训练中效率低的问题,提出结合SAM对抗步骤与异步分布式采样的LSAM优化器,消除同步瓶颈、加快收敛且准确率更高,兼顾泛化优势与训练效率。
2025-09-03 cs.LG stat.ML
SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling
National University of Singapore(新加坡国立大学);Microsoft Research Asia(微软亚洲研究院);The Chinese University of Hong Kong(香港中文大学)
SortedRL通过在线长度感知调度策略提升大语言模型强化学习训练效率,减少训练气泡比例并提升性能,实验表明在不同任务中表现优于基线。
2026-03-24 cs.AI cs.LG
Chainer: A Deep Learning Framework for Accelerating the Research Cycle
Preferred Networks, Inc.(首选网络公司)
神经网络的软件框架在深度学习方法的开发和应用中起着关键作用。在本文中,我们介绍了Chainer框架,它旨在提供一种灵活,直观和高性能的方法来实现研究人员和从业者所需的全方位深度学习模型。Chainer通过CuPy使用图形处理单元和熟悉的NumPy类API提供加速,通过Define-by-Run支持Python中的通用和动态模型,还为最先进的计算机视觉模型和分布式训练提供附加包。
2019-08-01 cs.CV cs.DC cs.LG
SUMO: Subspace-Aware Moment-Orthogonalization for Accelerating Memory-Efficient LLM Training
Faculty of Engineering(工程学院);Tel Aviv University(特拉维夫大学);Department of Computer science(计算机科学系);Ben Gurion University(本· Gurion大学);Faculty of Engineering Bar-Ilan University(巴伊兰大学工程学院);Bar-Ilan University(巴伊兰大学)
SUMO是一种利用子空间内精确SVD进行矩正交化的优化器,通过对齐损失景观谱特征,加速LLM训练收敛,提升稳定性,并减少高达20%的内存需求。
2025-10-25 cs.CL cs.LG math.OC
Accelerating Distributed Stochastic Optimization via Self-Repellent Random Walks
North Carolina State University(北卡罗来纳州立大学);IQVIA Inc.(艾昆纬公司)
本文提出由广义自排斥随机游走SRRW驱动的随机近似算法SA-SRRW,用于分布式随机优化,并证明其迭代误差几乎必然收敛及渐近协方差以O(1/α^2)降低。
2024-01-18 cs.LG math.OC math.PR
A QoE-Aware Split Inference Accelerating Algorithm for NOMA-based Edge Intelligence
本文提出一种名为ERA的资源分配算法,通过基于梯度下降的循环迭代方法优化模型分割与资源分配策略,在边缘智能中实现推理延迟、QoE与资源消耗的最佳权衡。
2024-09-25 cs.LG