MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs
Iowa State University(爱荷华州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对大规模连接分布式图上GNN训练存在的通信开销与负载不均问题,提出MassiveGNN方法,在DistDGL框架上加入参数化连续预取驱逐方案,在Perlmutter超算的OGB数据集上实现15%-40%的端到端训练性能提升。
2024-11-03 cs.DC cs.LG cs.PF
GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy
Ant Group(蚂蚁集团);Fudan University(复旦大学);Guangzhou University(广州大学);Zhejiang University(浙江大学);Tsinghua University(清华大学)
图神经网络(GNNs)已被证明是一个强大的工具,用于分析非欧几里德图数据。然而,缺乏有效的分布式图学习系统严重阻碍了GNN的应用,特别是当图很大并且GNN相对较深时。在这里,我们提出了GraphTheta,第一个分布式和可扩展的图形学习系统建立在以顶点为中心的分布式图形处理与神经网络运营商实现为用户定义的功能。该系统支持多种训练策略,并在低内存的分布式(虚拟)机器上实现高效和可扩展的大图学习。为了方便图卷积,GraphTheta提出了一种新的图学习抽象NN-TGAR,以弥合图处理和图深度学习之间的差距。提出了一种分布式图引擎来进行混合并行执行的随机梯度下降优化,并支持一种新的集群批量训练策略。我们使用几个数据集来评估GraphTheta,这些数据集的网络大小从小到大。实验结果表明,GraphTheta可以很好地扩展到1,024名员工,用于在具有14亿个节点和41亿条属性边的行业规模支付宝数据集上训练内部开发的GNN,其中每个CPU虚拟机(dockers)的内存较小(5个)。$\sim$ 12 GB)。此外,GraphTheta可以通过高达$2.02\times$的性能优于DistDGL,具有更好的可扩展性,并且GraphLearn可以高达$30.56\times$。至于模型的准确性,GraphTheta能够学习与现有框架一样好的GNN。据我们所知,这项工作提出了文献中最大的边缘属性…
2023-01-17 cs.DC cs.LG
GraphScale: A Framework to Enable Machine Learning over Billion-node Graphs
Bytedance(字节跳动);Dartmouth College(达特茅斯学院)
GraphScale提出统一框架,通过分离存储与计算工作节点解耦图训练,异步流水线提升十亿节点图监督与无监督学习效率,端到端训练时间至少减少40%,已部署于TikTok生产环境。
2024-07-22 cs.DC cs.LG cs.SI
Dorylus: Affordable, Scalable, and Accurate GNN Training with Distributed CPU Servers and Serverless Threads
UCLA(加州大学洛杉矶分校);University of Wisconsin(威斯康星大学);CMU(卡内基梅隆大学);Google Brain(谷歌大脑);Simon Fraser(西蒙弗雷泽大学);Princeton University(普林斯顿大学)
图神经网络(GNN)使得能够对结构化图数据进行深度学习。GNN训练有两个主要障碍:1)它依赖于高端服务器,这些服务器具有许多购买和维护昂贵的GPU,2)GPU上有限的内存无法扩展到今天的十亿边图。本文介绍了Dorylus:一个用于训练GNN的分布式系统。独特的是,Dorylus可以利用无服务器计算以低成本提高可扩展性。指导我们设计的关键见解是计算分离。计算分离使得构建一个深度的有界异步流水线成为可能,其中图和张量并行任务可以完全重叠,有效地隐藏了Lambdas引起的网络延迟。在数千个Lambda线程的帮助下,Dorylus将GNN训练扩展到十亿边图。目前,对于大型图形,CPU服务器提供了比GPU服务器更好的每美元性能。仅在CPU服务器上使用Lambdas,每美元的性能就比仅使用CPU服务器的培训高出2.75倍。具体来说,对于大规模稀疏图,Dorylus比GPU服务器快1.22倍,便宜4.83倍。与现有的基于采样的系统相比,Dorylus的速度快3.8倍,价格便宜10.7倍。
2021-05-25 cs.DC cs.LG
Taurus: Accelerating Out-of-Core Graph Neural Network Inference on Billion-Scale Graphs
Department of Computational and Data Sciences (CDS), Indian Institute of Science (IISc), Bangalore 560012 India(计算与数据科学系,印度科学院(IISc),班加罗尔)
针对十亿规模图的GNN推理难题,提出单机系统金牛座,通过重新制定推理方式,借助多种技术手段,在核外图推理中避免读取浪费,减少相关压力和开销,相比基线性能提升显著。
2026-07-21 cs.DC cs.LG
NOMAD: Generating Embeddings for Massive Distributed Graphs
NOMAD通过改进传统图嵌入方法,实现大规模分布式图的高效嵌入,提供更快的速度和更好的性能。
2026-04-10 cs.DC cs.LG
Distributed Graph Neural Network Training with Periodic Stale Representation Synchronization
George Mason University(乔治梅森大学);Emory University(埃默里大学)
尽管图神经网络最近取得了成功,但在具有数百万个节点和数十亿条边的大型图上训练GNN仍然具有挑战性,这在许多基于图的应用中很普遍。传统的基于采样的方法通过丢弃边和节点来加速GNN训练,这会损害图的完整性和模型性能。目前,分布式GNN算法通过利用多个计算设备来加速GNN训练,并且可以分为两种类型:“基于分区”的方法具有较低的通信成本,但由于丢弃边缘而遭受信息丢失,而“基于传播”的方法避免了信息丢失,但由于邻居爆炸而遭受禁止的通信开销。为了共同解决这些问题,本文提出了DIGEST(DIRECT Graph Representation SynchronizaTion),这是一种新型的分布式GNN训练框架,它可以协同现有方法的互补优势。我们建议允许每个设备在子图并行训练期间利用其邻居在其他子图中的陈旧表示。通过这种方式,我们的方法保留了邻居的全局图信息,以避免信息丢失并降低通信成本。我们的收敛性分析表明,DIGEST享有国家的最先进的收敛速度。对大型真实图形数据集的广泛实验评估表明,与最先进的分布式GNN训练框架相比,DIGEST在不影响性能的情况下实现了高达21.82的加速比。
2022-10-02 cs.DC cs.LG
Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
针对分布式GNN训练的特征通信瓶颈,本文提出基于顶点包含概率的缓存策略,构建SALIENT++系统,在大幅降低通信量与存储开销的同时显著提升训练速度。
2023-05-04 cs.DC cs.LG cs.PF
Plexus: Taming Billion-edge Graphs with 3D Parallel Full-graph GNN Training
Department of Computer Science\ of Maryland College Park Maryland USA;Department of Computer Science\ of Maryland
针对大规模图GNN训练的内存限制与分布式全图训练的通信、负载问题,提出带双重置换负载均衡等优化的3D并行全图训练框架Plexus,在超算多GPU上实现显著性能提升。
2025-10-29 cs.AI cs.DC cs.LG
Deal: Distributed End-to-End GNN Inference for All Nodes
Amazon(亚马逊);Rutgers University(罗格斯大学)
本文提出Deal,一个专用于数十亿边图的所有节点端到端推理的分布式GNN推理系统,通过挖掘采样中的共享机会、引入内存节省和通信高效的分布式原语以及分区流水线通信,将端到端推理时间最多减少7.70倍,图构建时间最多减少21.05倍。
2025-03-04 cs.DC cs.LG
Ginex: SSD-enabled Billion-scale Graph Neural Network Training on a Single Machine via Provably Optimal In-memory Caching
Seoul National University(首尔国立大学)
最近,图神经网络(GNN)作为一种强大的工具,可以有效地为图结构数据的各种推理任务提供服务,因此受到了人们的关注。随着真实世界图形的规模不断扩大,GNN训练系统面临着可扩展性的挑战。分布式训练是通过扩展CPU节点来解决这一挑战的流行方法。然而,基于磁盘的GNN训练并没有受到太多关注,它可以通过利用NVMe SSD等高性能存储设备以更经济高效的方式扩展单节点系统。我们观察到,主存储器和磁盘之间的数据移动是基于SSD的训练系统的主要瓶颈,而传统的GNN训练管道在不考虑这种开销的情况下是次优的。因此,我们提出了Ginex,这是第一个基于SSD的GNN训练系统,可以在一台机器上处理数十亿规模的图数据集。受编译器优化中的检查器-执行器执行模型的启发,Ginex通过分离采样和收集阶段来重构GNN训练管道。这种分离使Ginex能够实现一种可证明的最佳替换算法,称为Belady算法,用于在内存中缓存特征向量,这些特征向量占I/O访问的主要部分。根据我们对40亿级图数据集的评估,Ginex的训练吞吐量平均比SSD扩展的PyTorch Geometric高2.11倍(最高可达2.67倍)。
2022-08-19 cs.LG
Distributed Graph Neural Network Inference With Just-In-Time Compilation For Industry-Scale Graphs
Ant Group(蚂蚁集团)
本文针对工业级大规模图数据上GNN推理的内存与计算瓶颈,提出基于新编程接口和即时编译的分布式图学习范式,消除子图采样带来的信息丢失与冗余计算,在5亿节点、224亿边的图上实现最高27.4倍性能提升。
2025-03-08 cs.AI cs.DC cs.LG
PyTorch-BigGraph: A Large-scale Graph Embedding System
Facebook AI Research(脸书人工智能研究院)
图嵌入方法从图中产生无监督的节点特征,然后可以用于各种机器学习任务。现代图,特别是在工业应用中,包含数十亿个节点和数万亿条边,这超过了现有嵌入系统的能力。我们提出了PyTorch-BigGraph(PBG),这是一个嵌入系统,它对传统的多关系嵌入系统进行了几项修改,使其能够扩展到具有数十亿个节点和数万亿条边的图形。PBG使用图划分来训练任意大的嵌入在单个机器上或在分布式环境中。我们在常见的基准测试中展示了与现有嵌入系统相当的性能,同时允许扩展到任意大的图形和多台机器上的并行化。我们对几个大型社交网络图以及完整的Freebase数据集进行了训练和评估嵌入,该数据集包含超过1亿个节点和20亿条边。
2019-04-09 cs.AI cs.DC cs.LG
Empowering Credit Risk Detection in Weixin Pay with Billion-Scale Deep Graph Learning
Tongji University(同济大学);Tencent Inc.(腾讯公司)
该研究针对微信支付十亿级用户信用风险检测需求,提出风险感知重叠子图学习框架,解决工业级GNN拓扑完整性损失问题,实验显示其性能优于现有策略。
2026-08-13 cs.LG
Communication-Free Distributed GNN Training with Vertex Cut
Stanford University(斯坦福大学);Amazon(亚马逊)
本文提出CoFree-GNN框架,采用顶点割划分实现无通信分布式GNN训练,并通过重加权机制和改进DropEdge技术保持精度并进一步加速,实验表明训练速度最高可达现有方法的10倍。
2023-08-06 cs.LG
xFraud: Explainable Fraud Transaction Detection
ETH Zurich(苏黎世联邦理工学院);eBay China(亿贝中国)
在网上零售平台,积极检测交易风险以改善客户体验并尽量减少财务损失至关重要。在这项工作中,我们提出了xFraud,一个可解释的欺诈交易预测框架,主要由一个检测器和一个解释器。xFraud检测器可以有效地预测传入交易的合法性。具体来说,它利用一个异构的图神经网络学习表达的表示,从信息的异构类型的实体在事务日志。xFraud中的解释器可以从图表生成有意义且人类可理解的解释,以促进业务部门的进一步流程。在我们使用xFraud对具有多达11亿个节点和37亿条边的真实交易网络进行的实验中,xFraud能够在许多评估指标上优于各种基线模型,同时在分布式设置中保持可扩展性。此外,我们表明,xFraud解释器可以生成合理的解释,以显着帮助业务分析,通过定量和定性评估。
2022-05-25 cs.AI cs.LG cs.SI
Exact Distributed Training: Random Forest with Billions of Examples
Google(谷歌)
我们引入了一个精确的分布式算法来训练随机森林模型以及其他决策森林模型,而不依赖于近似最佳分裂搜索。我们解释了所提出的算法,并将其与各种复杂性措施(时间,RAM,磁盘和网络复杂性分析)的相关方法进行比较。我们报告了它在人工和真实世界数据集上的运行性能,这些数据集包含多达180亿个示例。这个数字比现有文献中处理的数据集大几个数量级。最后,我们通过经验证明,随机森林受益于在更多数据上进行训练,即使是在已经巨大的数据集的情况下。给定一个包含17.3B个样本和82个特征的数据集(3个数值特征,其他类别特征),我们的实现在22小时内训练出一棵树。
2018-04-18 cs.LG stat.ML
Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation
Rice University(莱斯大学)
我们提出了SLASH(草图局部敏感哈希),MPI(消息传递接口)为基础的分布式系统的近似相似性搜索TB级规模的数据集。SLASH提供了流行的LSH(局部敏感哈希)算法的多节点实现,该算法通常在单个机器上实现。我们展示了如何在LSH算法中添加重打击者草图来证明解决(高)相似性搜索问题,而无需单个距离计算。总体而言,我们数学上表明,在现实的数据假设下,我们可以确定一个给定的查询$q$的近邻在次线性($ \ll O(n)$)数量的简单的草图聚合操作。为了使这样一个系统实用,我们提供了一个新颖的设计和草图解决方案,以减少机器间的通信开销指数。在可比硬件上的直接比较中,SLASH比PySpark中流行的LSH包快10000倍以上。PySpark是LSH算法在大型数据集上的广泛采用的分布式实现,并部署在商业平台上。最后,我们展示了我们的系统如何扩展到具有超过40亿个样本的Tera-scale Criteo数据集。SLASH可以在不到一小时的时间内为20个节点上的2.3TB数据建立索引,查询时间只需几毫秒。据我们所知,目前还没有一个开源系统可以对Criteo进行商品集群索引和相似性搜索。
2020-08-17 cs.DB cs.DC cs.IR
DinTucker: Scaling up Gaussian process models on multidimensional arrays with billions of elements
Purdue University(普渡大学);IBM T. J. Watson Research Center(IBM T·J·沃森研究中心)
无限Tucker分解(InfTucker)和随机函数先验模型作为无限可交换阵列上的非参数贝叶斯模型,是比广泛使用的多线性分解方法(包括Tucker和PARAFAC分解)更强大的模型,(部分)由于它们能够建模阵列元素之间的非线性关系。尽管它们具有很好的预测性能和良好的理论基础,但由于训练时间过长,它们无法处理大量数据。为了克服这一限制,我们提出了分布式无限塔克(DINTUCKER),一个大规模的非线性张量分解算法的MAPREDUCE。在保持InfTucker的预测准确性的同时,它可以在海量数据上进行扩展。DINTUCKER基于一种新的分层贝叶斯模型,可以在子阵列上对InfTucker进行本地训练,并从所有本地训练结果中集成信息。我们使用分布式随机梯度下降,再加上变分推理,训练这个模型。我们将DINTUCKER应用于来自“Read the Web”项目(Carlson et al.,2010)和信息安全领域,并将其与最先进的大规模张量分解方法GigaTensor进行比较。在这两个数据集上,DINTUCKER以更少的计算时间实现了更高的预测精度。
2014-02-01 cs.DC cs.LG stat.ML
Breaking the Training Barrier of Billion-Parameter Universal Machine Learning Interatomic Potentials
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所 processors 国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Independent Researcher(独立研究者);Sun Yat-Sen University(中山大学)
本文提出MatRIS-MoE和Janus框架,解决十亿参数uMLIP训练中的高维分布式训练与计算效率问题,将训练时间从周缩短至小时,为AI4S基础模型树立新标杆。
2026-04-17 cs.DC cs.LG
On Distributed Larger-Than-Memory Subset Selection With Pairwise Submodular Functions
ETH Zurich(苏黎世联邦理工学院);Google(谷歌公司)
针对超大规模数据集子集选择中的单机内存和串行计算瓶颈,提出一种具有近似保证的分布式定界与贪心算法,在保证质量的同时扩展至130亿数据点。
2025-04-03 cs.AI cs.CV cs.DC
HetSeq: Distributed GPU Training on Heterogeneous Infrastructure
University of Notre Dame(圣母大学)
像PyTorch和Tensorflow这样的现代深度学习系统能够在分布式基础设施上训练具有数十亿(或数万亿)参数的巨大模型。这些系统要求内部节点具有相同的内存容量和计算性能。不幸的是,大多数组织,尤其是大学,都采用零敲碎打的方法来购买计算机系统,从而导致异构的基础设施,无法用于计算大型模型。目前的工作描述了HetSeq,一个软件包改编自流行的PyTorch包,提供了在异构基础设施上训练大型神经网络模型的能力。使用Transformer翻译和BERT语言模型的实验表明,HetSeq可在异构系统上扩展。HetSeq可以很容易地扩展到其他模型,如图像分类。包含支持文档的软件包可在https://github.com/yifding/hetseq上公开获取。
2020-09-25 cs.DC cs.LG
Systems for Parallel and Distributed Large-Model Deep Learning Training
University of California, San Diego(加州大学圣迭戈分校)
深度学习(DL)已经改变了各种领域的应用,包括计算机视觉、自然语言处理和表格数据分析。对改进的DL模型准确性的研究已经导致从业者探索越来越大的神经架构,最近的一些Transformer模型跨越了数千亿个可学习参数。这些设计为DL空间引入了新的规模驱动系统挑战,例如内存瓶颈,运行时效率低下以及模型开发的高成本。解决这些问题的努力已经探索了诸如神经架构的并行化、跨存储层次结构溢出数据以及存储器高效数据表示之类的技术。本次调查将探讨大型培训系统的前景,重点介绍主要挑战以及用于解决这些挑战的各种技术。
2023-01-06 cs.DC cs.LG
OpenDiLoCo: An Open-Source Framework for Globally Distributed Low-Communication Training
Prime Intellect, Inc.(Prime Intellect公司)
本研究提出开源框架OpenDiLoCo,基于Hivemind库实现可复现的DiLoCo低通信大模型训练,经跨多国实验验证计算利用率达90-95%,支持FP16全规约梯度且无性能损失,可扩展至原工作3倍规模适配十亿参数模型。
2024-07-10 cs.DC cs.LG
A Scalable Asynchronous Distributed Algorithm for Topic Modeling
University of Texas, Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊);University of California, Santa Cruz(加州大学圣克鲁兹分校)
学习具有大量文档集合(包含数百万个文档和数十亿个令牌)的有意义的主题模型具有挑战性,因为有两个原因:首先,需要处理大量主题(通常为数千个)。其次,需要一种可扩展且高效的方法来将计算分布在多台机器上。在本文中,我们提出了一种新的算法F+游牧LDA,同时解决这两个问题。为了处理大量的主题,我们使用适当修改的芬威克树。这种数据结构允许我们在$O(\log T)$时间内对$T$项进行多项分布采样。此外,当主题计数改变时,可以在$O(\log T)$时间内更新数据结构。为了将计算分布在多个处理器上,我们提出了一种新的异步框架的启发游牧算法的\cite{YunYuHsietal13}。我们发现,F+Nomad LDA在涉及数百万文档、数十亿单词和数千个主题的大规模问题上的表现明显优于最先进的技术。
2014-12-16 cs.DC cs.IR cs.LG
Billion-scale Network Embedding with Iterative Random Projection
Tsinghua University(清华大学)
网络嵌入是一种学习网络中节点的低维向量表示的方法,近年来受到了广泛的关注。然而,现有的方法是无法处理十亿规模的网络,因为它们是计算昂贵的,同时,难以被加速的分布式计算计划。为了解决这些问题,我们提出了RandNE(迭代随机投影网络嵌入),一种新颖而简单的十亿级网络嵌入方法。具体来说,我们提出了一种高斯随机投影方法,将网络映射到一个低维嵌入空间,同时保持节点之间的高阶近似。为了降低算法的时间复杂度,我们设计了一个迭代投影过程,避免了对高阶近似的显式计算。理论分析表明,该方法是非常有效的,友好的分布式计算方案,没有任何通信成本的计算。我们还设计了一个动态更新过程,可以有效地纳入网络的动态变化,而不会产生错误聚集。大量的实验结果表明,RandNE在多个任务中的效率和功效超过了最先进的方法,包括网络重建,链接预测和节点分类,多个数据集具有不同的规模,从数千到数十亿的节点和边缘。
2018-09-10 cs.LG cs.SI stat.ML
K-Core Decomposition on Super Large Graphs with Limited Resources
School of Electronic and Computer Engineering of Shenzhen Graduate School, Peking University(北京大学深圳研究生院电子与计算机工程学院);Tencent Inc.(腾讯公司);Center for Data Science, Peking University(北京大学数据科学中心);National Engineering Laboratory for Big Data Analysis and Applications(大数据分析与应用国家工程实验室);Key Laboratory of High Confidence Software Technologies, Peking University(北京大学高可信软件技术重点实验室);Institute of Computational Social Science, Peking University (Qingdao)(北京大学(青岛)计算社会科学研究院)
K-核分解是分析图的结构或研究复杂图中节点的相对重要性的常用度量。近年来,图表的规模迅速增长,特别是在工业环境中。例如,我们的工业合作伙伴运行着拥有数十亿用户的流行社交应用,能够收集丰富的用户数据。因此,将K-核分解应用于大型图的研究越来越受到学术界和工业界的关注。在分布式环境下对大型图进行训练是处理大型图的一种简单而有效的方法,并提出了一些分布式K-核分解算法。尽管它们的有效性,我们实验和理论上观察到,这些算法消耗太多的资源,变得不稳定的超大规模图,特别是当给定的资源是有限的。本文针对超大规模图,在分布式K核分解算法的基础上,提出了一种分而治之的策略。我们评估我们的方法在三个大型图。实验结果表明,该方法可以显著降低资源消耗,并且在大规模图上的计算比现有方法更加稳定。例如,分布式K核分解算法可以扩展到具有1360亿条边的大型图,而不会丢失我们的分治技术的正确性。
2021-12-26 cs.DC cs.LG
Distributed SLIDE: Enabling Training Large Neural Networks on Low Bandwidth and Simple CPU-Clusters via Model Parallelism and Sparsity
Rice University(莱斯大学);ThirdAI Corp.(ThirdAI公司)
超过70%的云计算是付费的,但处于闲置状态。这些空闲计算中的很大一部分是廉价的CPU,其核心很少,在不太繁忙的时间内不会被利用。本文旨在使这些CPU周期能够训练重量级AI模型。我们的目标是反对主流框架,这些框架专注于利用昂贵的专用超高带宽互连来解决分布式神经网络训练中的通信瓶颈。本文提出了一种分布式模型并行训练框架,使训练大型神经网络上的小CPU集群与低互联网带宽。我们建立在SLIDE算法引入的自适应稀疏训练框架之上。通过在分布式节点上仔细部署稀疏性,我们展示了比Horovod(大多数商业软件背后的主引擎)快几个数量级的模型并行训练。我们表明,减少通信,由于稀疏性,我们可以训练接近十亿参数模型上简单的4-16核心CPU节点连接的基本低带宽互连。此外,训练时间与一些最好的硬件加速器相当。
2022-01-29 cs.DC cs.LG
Oobleck: Resilient Distributed Training of Large Models Using Pipeline Templates
University of Michigan(密歇根大学);Amazon Web Services(亚马逊云服务);Peking University(北京大学)
该研究提出Oobleck框架,通过规划-执行协同设计、异构流水线模板与f+1个等价副本实现大模型分布式训练的容错,可证明避免资源闲置,在数十亿参数模型上吞吐量远超现有最优方案。
2023-11-07 cs.DC cs.LG
DD-PPO: Learning Near-Perfect PointGoal Navigators from 2.5 Billion Frames
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院);Oregon State University(俄勒冈州立大学);Simon Fraser University(西蒙弗雷泽大学)
我们提出了分散式分布式近端策略优化(DD-PPO),一种在资源密集型模拟环境中进行分布式强化学习的方法。DD-PPO是分布式的(使用多台机器),分散的(缺乏集中式服务器)和同步的(没有计算是过时的),使其概念简单,易于实现。在我们训练虚拟机器人在MPERAT-Sim中导航的实验中,DD-PPO表现出接近线性的扩展-在128个GPU上实现了107倍的串行实现加速。我们利用这种扩展来训练一个智能体,使其拥有25亿步的经验(相当于80年的人类经验)--在64个GPU上,在不到3天的挂钟时间内完成6个月的GPU时间训练。这项大规模的培训不仅为2019年人居自主导航挑战赛奠定了基础,而且从根本上解决了任务--在看不见的环境中近乎完美的自主导航,无需访问地图,直接通过RGB-D相机和GPS+指南针传感器。幸运的是,误差与计算呈现出类似幂律的分布;因此,90%的峰值性能相对较早(在1亿步时)和相对较便宜(使用8个GPU不到1天)。最后,我们证明了学习到的场景理解和导航策略可以转移到其他导航任务中-模拟ImageNet预训练+针对具体AI的特定任务微调。我们的模型在这些传输任务上优于ImageNet预训练的CNN,并且可以作为通用资源(所有模型和代码都是公开的)。
2020-01-20 cs.AI cs.CV cs.LG
CubicML: Automated ML for Large ML Systems Co-design with ML Prediction of Performance
AI at Meta(Meta人工智能部门)
本文提出CubicML框架,利用ML模型作为代理预测训练性能,自动优化大型分布式ML系统的训练速度,有效提升了730亿参数广告推荐模型和4050亿参数大语言模型的训练性能。
2024-09-21 cs.AI cs.DC cs.LG
TrainVerify: Equivalence-Based Verification for Distributed LLM Training
University of Michigan(密歇根大学);Northeastern University(东北大学);Microsoft Research(微软研究院)
针对大规模LLM分布式训练缺乏验证、易出错浪费算力的问题,提出TrainVerify系统,通过形状缩减与分阶段并行验证算法,形式化验证分布式执行计划与逻辑规范等价,并成功验证Llama3(405B)与DeepSeek-V3(671B)训练计划。
2025-06-24 cs.AI cs.DC cs.LG
Model Parallelism on Distributed Infrastructure: A Literature Review from Theory to LLM Case-Studies
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Radboud University(拉德堡德大学);National Institute for Subatomic Physics (Nikhef)(国家亚原子物理研究所(Nikhef));University of Twente(屯特大学)
本文是一篇模型并行文献综述,梳理了算子内、算子间两类模型并行维度,总结了实现与算子图最优划分的挑战,并结合公开信息介绍了其在数十亿参数Transformer网络中的应用。
2024-03-06 cs.DC cs.LG
AdaDelay: Delay Adaptive Distributed Stochastic Convex Optimization
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
研究了延迟梯度模型下的分布式随机凸优化问题,其中服务节点执行参数更新,而工作节点计算随机梯度。我们讨论、分析和实验一个由真实世界的分布式计算网络的行为激励的设置,其中机器在不同的时间有不同的速度。因此,我们允许参数更新对所经历的实际延迟敏感,而不是对最大延迟的最坏情况界限敏感。这种敏感性导致更大的步长,这可以帮助获得快速的初始收敛,而不必等待太长时间的较慢的机器,同时保持相同的渐近复杂度。我们在具有多达数十亿个示例和特征的真实数据集上进行分布式实验,在总体收敛性方面取得了令人鼓舞的改进。
2015-08-20 cs.LG math.OC stat.ML
Secure Distributed Training at Scale
MIPT(莫斯科物理技术学院);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Yandex(扬德克斯);HSE University(俄罗斯国立高等经济大学)
深度学习的许多领域都受益于使用越来越大的在公共数据上训练的神经网络,就像NLP和计算机视觉的预训练模型一样。训练这样的模型需要大量的计算资源(例如,HPC集群),这是小型研究小组和独立研究人员无法使用的。解决这个问题的一种方法是让几个较小的小组将他们的计算资源集中在一起,并训练一个有利于所有参与者的模型。不幸的是,在这种情况下,任何参与者都可能故意或错误地发送不正确的更新,从而危及整个培训运行。在存在这样的对等体的情况下进行训练需要具有拜占庭容忍度的专门分布式训练算法。这些算法通常会引入冗余通信或通过可信服务器传递所有更新,从而牺牲效率,这使得将它们应用于大规模深度学习变得不可行,其中模型可能具有数十亿个参数。在这项工作中,我们提出了一种新的协议,安全(拜占庭容忍)分散训练,强调通信效率。
2023-01-02 cs.DC cs.LG math.OC
FlexModel: A Framework for Interpretability of Distributed Large Language Models
Vector Institute(向量研究所)
本文提出 FlexModel 框架,通过兼容分布式库、封装 PyTorch 模型并提供可注册 HookFunctions,降低多GPU、多节点大模型内部交互门槛,以支持可解释性研究。
2023-12-05 cs.AI cs.CL cs.DC
End-to-end Adaptive Distributed Training on PaddlePaddle
Baidu Inc.(百度公司);Peking University(北京大学)
分布式训练已成为一种普遍而有效的训练大型神经网络(NN)模型处理大量数据的方法。然而,它是非常具有挑战性的,以满足各种神经网络模型的要求,不同的计算资源,以及它们在训练工作中的动态变化。在这项研究中,我们设计了我们的分布式培训框架在一个系统的端到端的观点,提供内置的自适应能力,为不同的场景,特别是工业应用和生产环境,充分考虑资源分配,模型划分,任务放置,和分布式执行。基于统一的分布式图和统一的集群对象,我们的自适应框架配备了一个全局成本模型和一个全局规划器,它可以实现任意并行,资源感知的布局,多模式执行,容错和弹性分布式训练。实验表明,该框架能够满足应用程序的多样性和资源的异构性的各种需求,具有很强的竞争力的性能。拥有2600亿个参数的ERNIE语言模型在数千个AI处理器上高效训练,具有91.7%的弱可扩展性。通过采用异构流水线异步执行,推荐系统的模型的吞吐量可以分别增加到仅GPU和仅CPU训练的2.1倍和3.3倍。此外,容错和弹性的分布式训练已成功地应用于在线工业应用程序,这给长期训练失败的工作数量减少了34.49%,并提高了33.91%的生产环境中的全局调度效率。
2021-12-06 cs.AI cs.DC cs.LG
JSDoop and TensorFlow.js: Volunteer Distributed Web Browser-Based Neural Network Training
Universidad de Málaga(马拉加大学)
2019年,全球约57%的人口拥有宽带接入互联网。此外,还有59亿移动宽带用户,即,1.3订阅每个用户。因此,世界各地的用户拥有巨大的互联计算能力。此外,据估计,互联网用户每天上网的时间超过六个半小时。但是,尽管有大量的时间,这些资源在一天的大部分时间里都是闲置的。因此,利用它们提供了一个有趣的机会。在这项研究中,我们介绍了JSDoop,一个原型实现,以利用这个机会。特别是,我们提出了一个志愿者基于Web浏览器的高性能计算库。JSdoop将问题划分为多个任务,并使用不同的队列来分配计算。然后,志愿者访问问题的网页,并开始在他们的Web浏览器中处理任务。我们使用我们的提案和TensorFlow.js进行了概念验证,以训练预测文本的递归神经网络。我们在一个计算机集群中测试了它,有多达32名志愿者。实验结果表明,在分布式浏览器环境下训练神经网络是可行的、准确的,具有很高的可扩展性,是一个值得研究的领域。
2019-10-12 cs.DC cs.LG cs.NI
RNE: A Scalable Network Embedding for Billion-scale Recommendation
Tsinghua University(清华大学);Ant Financial Services Group(蚂蚁金融服务集团);Alibaba Group(阿里巴巴集团)
设计一个真正的推荐系统已经成为学术界和工业界的一个关键问题。然而,由于用户数量和项目数量的巨大性、用户兴趣的多样性和动态性,如何设计一个可扩展的推荐系统,使其能够在数十亿级的场景中高效地产生有效的、多样化的推荐结果,仍然是现有方法面临的一个挑战性和开放性问题。在本文中,给定的用户-项目交互图,我们提出了RNE,一个数据有效的基于推荐的网络嵌入方法,给个性化和多样化的项目给用户。具体来说,我们提出了一个多样性和动态感知的邻居采样方法的网络嵌入。一方面,该方法能够保持用户和项目之间的局部结构,同时建模用户兴趣的多样性和动态性,以提高推荐质量。另一方面,抽样方法从理论上降低了整个方法的复杂度,使十亿级推荐成为可能。为了进一步提高算法的可扩展性,我们还采用分布式的方式实现了所设计的算法。在实验上,我们将RNE部署在中国最大的电子商务平台淘宝的推荐场景上,并在十亿级用户-项目图上对其进行训练。正如A/B测试的几个在线指标所示,与基于CF的方法相比,RNE能够实现高质量和多样化的结果。在Pinterest数据集上进行了离线实验,并与现有的推荐方法和网络嵌入方法进行了比较。结果表明,我们的方法是能够产生一个很好的结果,而运行速度远远快于基线方法。
2020-04-09 cs.IR cs.LG stat.ML
Scalable Graph Convolutional Network Training on Distributed-Memory Systems
Imagination Technologies(想象力科技);University of Warwick(华威大学)
图卷积网络(GCN)被广泛用于图上的深度学习。图的大数据量及其顶点特征使得可扩展的训练算法和分布式存储系统成为必要。由于图上的卷积运算会导致不规则的内存访问模式,因此为GCN训练设计一个高效的内存和通信并行算法带来了独特的挑战。我们提出了一个高度并行的训练算法,可扩展到大型处理器计数。在我们的解决方案中,大型邻接矩阵和顶点特征矩阵在处理器之间进行划分。我们利用图的顶点分区使用处理器之间的非阻塞点对点通信操作,以获得更好的可扩展性。为了进一步减少并行化的开销,我们引入了一个稀疏矩阵分区计划的超图分区模型的基础上进行全批训练。我们还提出了一种新的随机超图模型来编码小批量训练中的预期通信量。我们展示了超图模型的优点,以前未探索的GCN训练,在标准的图划分模型,它不准确地编码的通信成本。在真实世界的图数据集上进行的实验表明,所提出的算法实现了相当大的加速比替代解决方案。在具有许多处理器的高可扩展性下,通信成本方面的优化变得更加明显。性能优势在具有更多层的更深GCN中以及在十亿级图中得以保留。
2022-12-13 cs.AI cs.DC cs.LG
Multi Part Deployment of Neural Network
IBM(国际商业机器公司)
本文提出一种将神经网络划分到多服务器的分布式架构,通过元数据驱动的远程神经元调用和NFS共享模型实现可扩展、低成本的云部署。
2025-06-02 cs.LG cs.NE
Enhancing Stability for Large Language Models Training in Constrained Bandwidth Networks
Foundational AI Technologies (FAIT), LinkedIn(领英基础人工智能技术(FAIT));AI Platforms, LinkedIn(领英人工智能平台)
针对低带宽集群中ZeRO++的hpZ方案因竞态条件导致大模型训练收敛不稳定的问题,提出分区算法改进方案,在保持训练效率的同时实现大模型可靠收敛,且不损失收敛质量。
2024-10-06 cs.AI cs.LG
DSSLP: A Distributed Framework for Semi-supervised Link Prediction
Ant Financial Services Group(蚂蚁金融服务集团)
链接预测广泛应用于商家推荐、欺诈交易检测等工业应用中,然而在具有数十亿节点和边的工业规模图上训练和部署链接预测模型是一个巨大的挑战。在这项工作中,我们提出了一个用于半监督链接预测问题的可扩展和分布式框架(名为DSSLP),该框架能够处理工业规模的图。DSSLP不是在整个图上训练模型,而是在小批量环境下对节点的\emph{$k$-hops neighborhood}进行训练,这有助于减少输入图的规模并分布训练过程。为了有效地生成反例,DSSLP包含分布式批处理运行时采样模块。它实现了统一和动态的采样方法,并能够自适应地构建正面和负面的例子来指导训练过程。此外,DSSLP提出了一种模型分裂策略,以加快链接预测任务的推理过程的速度。实验结果表明,DSSLP的有效性和效率在几个公共数据集以及真实世界的数据集的工业规模的图。
2020-03-10 cs.LG cs.SI
Zero redundancy distributed learning with differential privacy
Amazon Web Services AI(亚马逊云科技人工智能部门)
本文提出DP-ZeRO系统性解决方案,将差分隐私与零冗余优化器结合,实现大规模模型的高效训练,支持混合精度并达到标准ZeRO的计算通信效率。
2023-11-20 cs.CC cs.CR cs.DC
Automatic Operator-level Parallelism Planning for Distributed Deep Learning -- A Mixed-Integer Programming Approach
本文提出一种基于混合整数规划的算子级自动并行规划方法,通过双层求解框架兼顾最优性与计算效率,在相同内存约束下将计算气泡减少一半,性能达到或超越 DeepSeek DualPipe 等专家策略。
2025-03-12 cs.AI cs.DC cs.DM
Quantized Distributed Training of Large Models with Convergence Guarantees
Institute of Science and Technology Austria(奥地利科学技术研究所);CNRS(法国国家科学研究中心);IRIF(法国信息与自动化研究所);Université Paris Cité(巴黎西岱大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
通信缩减技术是提高深度神经网络(DNN)数据并行训练可扩展性的一种流行方法。最近出现的大语言模型,如GPT,需要新的方法来利用数据并行。其中,全分片数据并行(FSDP)训练非常受欢迎,但它仍然遇到可扩展性瓶颈。一个原因是将压缩技术应用于FSDP具有挑战性:由于绝大多数通信涉及模型的权重,直接压缩会改变收敛并导致精度损失。我们提出了QSDP,FSDP的一个变种,它支持梯度和权重量化与理论保证,是简单的实现,基本上没有开销。为了得到QSDP,我们证明了SGD的自然修改实现收敛,即使我们只保持量化的权重,因此,我们训练的域由量化点组成,因此,高度非凸。我们通过在多节点集群上训练具有多达13亿个参数的GPT系列模型来验证这种方法。实验表明,QSDP保留了模型的准确性,同时完全消除了FSDP的通信瓶颈,提供了高达2.2倍的端到端加速比。
2023-02-05 cs.LG
Adaptive Batch Size Schedules for Distributed Training of Language Models with Data and Model Parallelism
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Northwestern University(西北大学);University of Southern California Marshall School of Business(南加州大学马歇尔商学院)
本文提出兼容数据并行与模型并行、具备理论收敛保证的自适应批量大小调度,并基于 FSDP 实现,验证其在 Llama 2 小模型预训练中优于恒定与启发式预热策略。
2025-03-16 cs.LG math.OC stat.ML
Scaling Recurrent Neural Networks to a Billion Parameters with Zero-Order Optimization
Department of Computer Science Stanford University(计算机科学系 斯坦福大学);Department of Aeronautics and Astronautics Stanford University(航空与航天系 斯坦福大学)
本文提出用零阶优化(如随机向量梯度估计)替代BPTT训练大规模RNN,在保持推理模式的同时实现十亿参数规模,收敛速度匹配或超越BPTT达19倍,内存成本大幅降低,并在多种任务中泛化性能相当或更优。
2025-05-23 cs.AI cs.LG
DBLP: Phase-Aware Bounded-Loss Transport for Burst-Resilient Distributed ML Training
Department of Computer Science, University of Toronto(多伦多大学计算机科学系)
针对分布式ML训练受网络瞬态拥塞影响的问题,提出相位感知的DBLP传输协议,动态调整梯度损失容忍度,大幅降低训练时延、提升突发场景下的通信效率。
2026-07-07 cs.LG cs.NI
DiLoCoX: A Low-Communication Large-Scale Training Framework for Decentralized Cluster
Zero Gravity Labs(零重力实验室)
本文提出DiLoCoX,一个低通信的去中心化集群大规模训练框架,结合流水线并行、双优化器策略、一步延迟重叠和自适应梯度压缩,在1Gbps网络上实现107B模型预训练并获得357倍加速,是首个支持超千亿参数模型的去中心化训练框架。
2025-06-26 cs.AI cs.CL cs.LG
TLeague: A Framework for Competitive Self-Play based Distributed Multi-Agent Reinforcement Learning
Tencent Robotics X(腾讯机器人X实验室);Tsinghua University(清华大学)
基于竞争自玩(CSP)的多智能体强化学习(MARL)近年来取得了惊人的突破。强大的AI在多个基准测试中获得,包括Dota 2,王者荣耀,雷神之锤III,星际争霸II,仅举几例。尽管取得了成功,但MARL训练非常需要数据,通常需要在训练期间从环境中看到数十亿(如果不是数万亿)帧,以便学习高性能代理。这给研究人员或工程师带来了不小的困难,并阻止了MARL在更广泛的现实问题中的应用。为了解决这个问题,在本文中,我们描述了一个框架,称为TLeague,旨在大规模的训练和实现几个主流的CSP-MARL算法。培训可以部署在单个机器或混合机器(CPU和GPU)集群中,其中以云原生方式支持标准Kubernetes。TLeague在执行分布式训练时实现了高吞吐量和合理的扩展。由于采用了模块化设计,该算法也易于扩展,用于解决其他多智能体问题或实现和验证MARL算法。我们在星际争霸II,ViZDoom和Pommerman上进行了实验,以显示TLeague的效率和有效性。该代码是开源的,可在https://github.com/tencent-ailab/tleague_projpage上获得
2020-11-30 cs.AI cs.LG cs.MA
WDMoE: Wireless Distributed Large Language Models with Mixture of Experts
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作媒介网络创新中心);Pengcheng Laboratory(鹏城实验室);Future Network of Intelligent Institute (FNii), the Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)未来网络智能研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出WDMoE范式,将大语言模型的MoE层分解并跨基站与移动设备分布式部署专家网络,同时设计兼顾模型性能与端到端时延的专家选择策略,在多种LLMs和数据集上验证其性能优于Llama 2 70B并显著降低时延。
2024-05-06 cs.AI cs.IT cs.LG