No Clustering, No Routing: How Transformers Actually Process Rare Tokens
ENS, Université PSL, EHESS, CNRS Paris, France(巴黎大学PSL研究所、EHESS、CNRS)
该研究针对大语言模型稀有词元特化机制不明的问题,通过神经元分析、聚类和注意力头消融实验,发现稀有词元处理依赖分布式的平台神经元形成双重计算机制,且无注意力优先路由,揭示其特化源于训练驱动的分布式分化而非架构模块化。
2025-08-30 cs.AI cs.CL
PIM-Opt: Demystifying Distributed Optimization Algorithms on a Real-World Processing-In-Memory System
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达公司);Wuhan University(武汉大学);University of Chicago(芝加哥大学)
本文在真实UPMEM存内计算系统上实现并评估了多种分布式SGD算法,发现PIM在受内存限制的ML训练中是CPU/GPU的可行替代方案,但需算法-硬件协同设计且扩展性存在非线性限制。
2024-09-27 cs.AI cs.AR cs.DC
Towards Demystifying Serverless Machine Learning Training
ETH Zürich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
无服务器(FaaS)的吸引力引发了人们对如何在数据密集型应用程序(如ETL,查询处理或机器学习(ML))中使用它的兴趣越来越大。存在几种用于在无服务器基础设施之上训练大规模ML模型的系统(例如,AWS Lambda),但就其性能和相对于“服务器”基础设施(IaaS)的相对优势而言,结果并不确定。在本文中,我们对FaaS和IaaS上的分布式ML训练进行了系统的比较研究。我们提出了一个设计空间,涵盖设计选择,如优化算法和同步协议,并实现了一个平台,LambdaML,使FaaS和IaaS之间的公平比较。我们使用LambdaML展示了实验结果,并进一步开发了一个分析模型来捕获选择无服务器基础设施时必须考虑的成本/性能权衡。我们的研究结果表明,ML训练在无服务器中只对具有高效(即,减少)通信并且快速收敛。一般来说,FaaS可以更快,但它永远不会比IaaS便宜。
2021-05-17 cs.DC cs.LG
Encoder-Decoder Transformers: Logical Characterizations and Periodicity
Mathematics Research Centre, Tampere University(塔尔皮奥大学数学研究中心)
本文通过一种新的时序逻辑对编码器-解码器变换器进行逻辑刻画,扩展了命题逻辑并引入计数全局模态和过去模态,同时探讨了变换器在自回归设置中的应用。
2026-09-29 cs.AI cs.LO
Demystifying BERT: Implications for Accelerator Design
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Advanced Micro Devices Inc.(超威半导体公司)
自然语言处理(NLP)中的迁移学习,如使用BERT(来自Transformer的双向编码器表示)等模型实现的,已经通过可以解决具有挑战性的语言问题的模型显着改善了语言表示。因此,这些应用正在推动未来系统的需求。因此,我们专注于BERT,最流行的NLP迁移学习算法之一,以确定其算法行为如何指导未来的加速器设计。为此,我们仔细分析了BERT训练,并确定了加速器设计中值得注意的关键算法行为。我们观察到,虽然表现为矩阵乘法的计算主导了BERT的整体运行时间,但与许多卷积神经网络一样,内存密集型计算也很突出。我们描述这些计算,迄今为止很少受到关注。此外,我们还确定计算密集型BERT计算的异构性,并讨论软件和可能的硬件机制,以进一步优化这些计算。最后,我们讨论了这些行为的影响,随着网络变得越来越大,并使用分布式训练环境,以及如何技术,如微训练和混合精度训练规模。总的来说,我们的分析确定了整体解决方案,以优化系统的BERT类模型。
2021-04-14 cs.AR cs.DC cs.LG
Parallel Restarted SGD with Faster Convergence and Less Communication: Demystifying Why Model Averaging Works for Deep Learning
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)有限公司)
在深度神经网络的分布式训练中,并行小批量SGD被广泛用于通过使用多个工人来加速训练过程。它使用多个工人并行采样局部随机梯度,在单个服务器中聚合所有梯度以获得平均值,并使用平均梯度的SGD更新来更新每个工人的局部模型。理想情况下,与单个工作者上的SGD相比,并行小批量SGD可以实现训练时间的线性加速(相对于工作者的数量)。然而,这种线性可扩展性在实践中受到越来越多的工人参与的梯度通信需求的限制。模型平均,定期对在并行工作者上训练的单个模型进行平均,是自Zinkevich et al. 2010以来用于深度神经网络分布式训练的另一种常见做法(McDonald,Hall,and Mann 2010)。与并行小批量SGD相比,模型平均的通信开销显著降低。令人印象深刻的是,大量的实验工作已经证明,模型平均仍然可以实现良好的加速的训练时间,只要平均间隔是仔细控制。然而,为什么这样一个简单的启发式如此有效,在理论上仍然是一个谜。本文提供了一个彻底和严格的理论研究,为什么模型平均可以工作,以及并行小批量SGD显着减少通信开销。
2018-11-16 cs.DC cs.LG math.OC
Demystifying Pipeline Parallelism: First Theory for PipeDream
KAUST(卡斯土尼亚大学)
本文通过引入随机化 PipeDream (RPD) 抽象,首次为 PipeDream 风格方法提供了非凸收敛保证,并分析了其稳态延迟与阶段数的缩放关系,同时与 LocalSGD 进行了比较。
2026-06-02 cs.DC cs.LG
Ultra-Long Sequence Distributed Transformer
Oak Ridge National Laboratory(橡树岭国家实验室);Agency for Science, Technology and Research(新加坡科技研究局)
针对传统Transformer长序列训练计算内存需求高的问题,提出LSS Transformer分布式训练方法,通过序列分段、融合通信与双梯度平均技术,实现了更优的速度、内存效率与超大规模扩展能力。
2023-11-08 cs.AI cs.DC
Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment
Aarhus University(奥胡斯大学);Tampere University(塔尔基耶大学)
通过结合分段均值压缩和轻量级离线剖析,自适应地在运行时选择本地或分布式执行,解决了嵌入式设备上分布式Transformer推理中CPU-GPU通信瓶颈问题,相比全张量交换降低了65%-77%延迟和34%-52%能耗。
2026-05-25 cs.AI cs.DC
On the Performance and Memory Footprint of Distributed Training: An Empirical Study on Transformers
本文针对 Transformer 分布式训练,提出兼顾架构、并行策略与计算内存开销的分析框架,并通过理论与实验比较证明流水线并行的优势及划分、通信因素的影响。
2024-07-02 cs.DC
QuantPipe: Applying Adaptive Post-Training Quantization for Distributed Transformer Pipelines in Dynamic Edge Environments
流水线并行在云环境中部署大规模Transformer模型方面取得了巨大成功,但在边缘环境中受到的关注较少。与具有高速和稳定网络互连的云场景不同,边缘系统中的动态带宽可能会降低分布式管道性能。我们使用QuantPipe解决这个问题,QuantPipe是一种通信高效的分布式边缘系统,它引入了训练后量化(PTQ)来压缩通信张量。QuantPipe使用自适应PTQ来更改位宽以响应带宽动态,从而保持Transformer管道性能,同时导致有限的推理精度损失。我们进一步提高了精度与直接搜索分析裁剪整数量化方法(DS-ACIQ),估计和真实数据分布之间的差距的桥梁。实验结果表明,QuantPipe适应动态带宽以保持流水线性能,同时使用宽范围的量化位宽实现实际的模型精度,例如,在ImageNet上,与朴素量化相比,2位量化下的准确率提高了15.85%。
2022-11-08 cs.DC
TF-DDRL: A Transformer-enhanced Distributed DRL Technique for Scheduling IoT Applications in Edge and Cloud Computing Environments
针对边缘与云计算中物联网应用调度的动态性、多任务依赖等挑战,提出融合Transformer、PER与离策略校正的分布式DRL调度技术TF-DDRL,在多类成本指标上较同类方法最高降幅达60%。
2024-10-31 cs.DC
CoCoDiff: Optimizing Collective Communications for Distributed Diffusion Transformer Inference Under Ulysses Sequence Parallelism
University of California, Merced(加州大学默塞德分校);Argonne National Laboratory(阿贡国家实验室)
CoCoDiff通过利用V仅需线性投影而Q/K需额外归一化和RoPE的特性,以及相邻去噪步骤的时序冗余,提出三种机制优化集体通信,实现3.6至8.4倍加速。
2026-04-21 cs.DC
TAGC: Optimizing Gradient Communication in Distributed Transformer Training
ITMO University(ITMO大学);VK Lab(VK实验室)
本文提出TAGC算法,通过分层选择性压缩和动态稀疏化优化Transformer分布式训练中的梯度通信,在PyTorch FSDP框架下实现最高15%的训练加速且对模型质量影响极小。
2025-04-08 cs.DC cs.LG
BurstEngine: an Efficient Distributed Framework for Training Transformers on Extremely Long Sequences of over 1M Tokens
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
BurstEngine通过BurstAttention、序列级选择性检查点及工作负载平衡等优化,在超长序列(>1M tokens)上实现1.2倍加速和更低内存开销,高效训练大语言模型。
2025-09-24 cs.DC
Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种分布式训练框架,通过自动选择和优化并行策略提升图变换器在大规模图上的可扩展性,实现3.8倍的加速和78%的内存节省。
2026-04-17 cs.AI cs.DC cs.LG
HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism
National University of Singapore(新加坡国立大学)
HelixPipe提出注意力并行划分与双重先进后出微批次调度,结合无注意力重计算和分块MLP,显著提升长序列Transformer分布式训练的吞吐量和可扩展性,在128k序列长度下实现26%加速。
2025-07-01 cs.DC cs.LG
Making local algorithms efficiently self-stabilizing in arbitrary asynchronous environments
本文提出转换器,将任意终止型同步局部算法转为在不公平守护进程下移动与轮数均高效的异步静默自稳定算法,并给出着色、BFS树、k-聚类和领导者选举实例。
2023-07-13 cs.DC
ChunkFlow: Communication-Aware Chunked Prefetching for Layerwise Offloading in Distributed Diffusion Transformer Inference
University of California, Merced(加州大学梅尔德分校);University of Chicago(芝加哥大学);Yotta Labs(Yotta实验室)
ChunkFlow通过通信感知分块预取优化分层卸载,减少GPU内存占用并提升推理效率,在不同工作负载下实现内存与延迟的可调平衡。
2026-05-11 cs.DC cs.LG
Galvatron: Automatic Distributed Training for Large Transformer Models
本文提出开源框架Galvatron,通过动态结合数据、张量模型和流水线并行并自动实时调整策略,优化大型Transformer模型在GPU集群上的分布式训练吞吐量。
2025-03-13 cs.DC
SwiftFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs
University of Toronto \&\ Institute;Amazon;University of Toronto \& Vector Institute \& NVIDIA
针对扩散Transformer推理中序列并行方法的通信和同步瓶颈,提出拓扑感知的StreamFusion引擎,通过Torus Attention和单边通信实现平均1.35倍加速。
2026-05-22 cs.CV cs.DC
StarTrail: Concentric Ring Sequence Parallelism for Efficient Near-Infinite-Context Transformer Model Training
National University of Singapore(新加坡国立大学);University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校)
针对长序列分布式 Transformer 训练的通信瓶颈,提出 StarTrail 同心环多维序列并行系统,在 NLP 与 CV 任务中显著提升训练性能。
2025-09-28 cs.DC
MPI-rical: Data-Driven MPI Distributed Parallelism Assistance with Transformers
Ben-Gurion University(本-古里安大学);Israel Atomic Energy Commission(以色列原子能委员会);Intel Labs(英特尔实验室);Nuclear Research Center – Negev(内盖夫核研究中心);Technion – Israel Institute of Technology(以色列理工学院)
针对手动编写MPI并行代码易出错的问题,本文提出数据驱动的编程辅助工具MPI-RICAL,利用监督语言模型实时建议MPI函数及位置,并构建了MPICodeCorpus语料库,在真实科学计算基准上达到0.87-0.91的F1分数。
2023-08-30 cs.CL cs.DC cs.LG
Characterizing Communication Patterns in Distributed Large Language Model Inference
本文通过性能剖析与预测模型分析分布式大语言模型推理中的通信模式,揭示张量并行、流水线并行及组合方案的性能权衡,为生产部署中的并行化策略选择提供指导。
2025-07-18 cs.DC
SkyMemory: A LEO Edge Cache for Transformer Inference Optimization and Scale Out
该研究提出SkyMemory低轨边缘缓存方案,将缓存拓展至LEO星座,通过KVC协议提升LLM缓存命中率与推理速度,经仿真和含5台迷你PC、Jetson Nano的测试床验证,优势可推广至多地点分布式缓存。
2025-05-20 cs.DC
A Distributed Framework for Privacy-Enhanced Vision Transformers on the Edge
Rutgers University(罗切斯特大学)
本文提出了一种分布式框架,通过在边缘设备上进行数据处理,有效提升视觉变换器在边缘-云环境中的隐私保护能力。
2025-12-10 cs.CR cs.CV cs.DC
Fine-tuning Multimodal Transformers on Edge: A Parallel Split Learning Approach
Eindhoven University of Technology(埃因霍温理工大学)
针对多模态Transformer在边缘设备上微调的计算瓶颈,提出并行分割学习方法MPSL,通过轻量级客户端分词器和统一编码器,在7个数据集上匹配或超越联邦学习,减少250倍客户端计算并提升通信可扩展性。
2025-07-08 cs.DC cs.LG
AutoDDL: Automatic Distributed Deep Learning with Near-Optimal Bandwidth Cost
针对分布式系统训练大规模模型需复杂并行组合的问题,提出AutoDDL框架,利用OneFlow的SBP抽象描述并行方案,结合分析性能模型与定制坐标下降算法,实现近最优带宽成本的自动并行化,显著缩短训练时间。
2025-08-21 cs.DC
ATTENTION2D: Communication Efficient Distributed Self-Attention Mechanism
Microsoft(微软)
本文提出ATTENTION2D,一种通过在query和key/value两维度并行化自注意力计算来提升分布式训练与推理效率的方法,相比Ring Attention在多节点多GPU上实现数倍性能提升且有效扩展。
2025-06-28 cs.AI cs.DC cs.LG
Galvatron: Efficient Transformer Training over Multiple GPUs Using Automatic Parallelism
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
Transformer模型已经在各个应用领域取得了最先进的性能,并逐渐成为高级大型深度学习(DL)模型的基础。然而,由于大量的并行选择,如何在多个GPU上有效地训练这些模型仍然具有挑战性。现有的DL系统要么依赖于人工努力来制定分布式训练计划,要么在非常有限的搜索空间内应用并行组合。在这种方法中,我们提出了Galvatron,一个新的系统框架,它结合了多个流行的并行度,并自动找到最有效的混合并行策略。为了更好地探索这样一个罕见的巨大的搜索空间,我们1)涉及一个决策树进行分解和修剪的基础上一些合理的直觉,然后2)设计一个动态规划搜索算法来生成最优方案。对四个代表性的Transformer工作负载的评估表明,Galvatron可以使用不同的GPU内存预算执行自动分布式训练。在所有评估的情况下,惊破天总是实现优越的系统吞吐量相比,以前的工作与有限的并行。
2022-11-25 cs.DB cs.DC cs.LG
HydroGAT: Distributed Heterogeneous Graph Attention Transformer for Spatiotemporal Flood Prediction
Iowa State University(爱荷华州立大学);Tulane University(路易斯安那州立大学)
针对现有洪水预测模型忽略拓扑信息、时空依赖分离建模、高分辨率训练成本高的问题,提出异构图注意力Transformer网络HydroGAT及分布式训练流水线,在两个流域实现更高预测精度与可解释性,训练效率显著提升。
2025-09-02 cs.DC cs.LG
Cephalo: Harnessing Heterogeneous GPU Clusters for Training Transformer Models
针对异构GPU集群中因GPU算力和内存差异导致的资源分配低效问题,提出Cephalo系统,通过将计算分布与训练状态分配解耦来优化计算和内存使用,在支持更大模型和批次规模的同时实现了显著更高的训练吞吐量。
2024-11-14 cs.DC
Distributed Low-Communication Training with Decoupled Momentum Optimization
针对大模型分布式训练对高带宽互连的依赖问题,提出结合低频同步与DCT分解Nesterov动量的方法,仅同步高频分量,通信量较DiLoCo最多降16倍,适配多架构,提升低带宽分布式训练大模型的可行性。
2025-10-03 cs.AI cs.DC cs.LG
Federated Knowledge Distillation
Seoul National University(首尔大学);University of Oulu(奥卢大学);Deakin University(迪肯大学);Yonsei University(延世大学)
分布式学习框架通常依赖于在工作者之间交换模型参数,而不是揭示他们的原始数据。一个主要的例子是联邦学习,它交换每个神经网络模型的梯度或权重。然而,在有限的通信资源下,这种方法变得极其昂贵,特别是对于具有大量模型参数的现代深度神经网络。在这方面,联邦蒸馏(FD)是一种引人注目的分布式学习解决方案,其仅交换维度通常远小于模型大小的模型输出(例如,MNIST数据集中的10个标签)。本章的目标是提供对FD的深入理解,同时展示其通信效率和对各种任务的适用性。为此,本章的第一部分利用神经切线核(NTK)理论,对FD的两个基本算法,即知识蒸馏(KD)和共蒸馏(CD)进行了新的渐近分析,以揭开FD的工作原理。接下来,第二部分详细阐述了FD的分类任务的基线实现,并说明了其性能的准确性和通信效率相比,FL。最后,为了证明FD的适用性,各种分布式学习任务和环境,第三部分提出了两个选定的应用程序,即FD在非对称上行链路和下行链路无线信道和FD的强化学习。
2020-11-04 cs.DC cs.IT cs.LG
The R(1)W(1) Communication Model for Self-Stabilizing Distributed Algorithms
Ryukoku University(近江学园大学);Hiroshima University(广岛大学);Kyushu Institute of Technology(九州工业大学);Fukui University of Technology(福井工业大学)
本文提出R(1)W(1)通信执行模型,在该模型下设计了三类图问题的自稳定分布式算法,并给出可在同步消息传递模型中模拟该模型算法的转换器。
2025-10-06 cs.DC
HetSeq: Distributed GPU Training on Heterogeneous Infrastructure
University of Notre Dame(圣母大学)
像PyTorch和Tensorflow这样的现代深度学习系统能够在分布式基础设施上训练具有数十亿(或数万亿)参数的巨大模型。这些系统要求内部节点具有相同的内存容量和计算性能。不幸的是,大多数组织,尤其是大学,都采用零敲碎打的方法来购买计算机系统,从而导致异构的基础设施,无法用于计算大型模型。目前的工作描述了HetSeq,一个软件包改编自流行的PyTorch包,提供了在异构基础设施上训练大型神经网络模型的能力。使用Transformer翻译和BERT语言模型的实验表明,HetSeq可在异构系统上扩展。HetSeq可以很容易地扩展到其他模型,如图像分类。包含支持文档的软件包可在https://github.com/yifding/hetseq上公开获取。
2020-09-25 cs.DC cs.LG
Computation vs. Communication Scaling for Future Transformers on Future Hardware
本研究从多维度分析未来Transformer模型在未来硬件上的计算与通信扩展关系,通过算子模型推算降低剖析成本,发现通信占比将达40-75%且难以被隐藏,为未来高效训练大模型的系统设计提供指导。
2023-05-03 cs.AR cs.DC
Systems for Parallel and Distributed Large-Model Deep Learning Training
University of California, San Diego(加州大学圣迭戈分校)
深度学习(DL)已经改变了各种领域的应用,包括计算机视觉、自然语言处理和表格数据分析。对改进的DL模型准确性的研究已经导致从业者探索越来越大的神经架构,最近的一些Transformer模型跨越了数千亿个可学习参数。这些设计为DL空间引入了新的规模驱动系统挑战,例如内存瓶颈,运行时效率低下以及模型开发的高成本。解决这些问题的努力已经探索了诸如神经架构的并行化、跨存储层次结构溢出数据以及存储器高效数据表示之类的技术。本次调查将探讨大型培训系统的前景,重点介绍主要挑战以及用于解决这些挑战的各种技术。
2023-01-06 cs.DC cs.LG
Peering Beyond the Gradient Veil with Distributed Auto Differentiation
Tri-Institutional Research Center for Neuroimaging and Data Science (TReNDS)(三机构神经影像与数据科学研究中心(TReNDS));Georgia State University(佐治亚州立大学);Georgia Institue of Technology(佐治亚理工学院);Maynooth University(梅努斯大学)
虽然分布式机器学习开辟了许多新的和令人兴奋的研究前沿,但不同机器、节点和站点之间的模型和数据碎片化仍然会导致相当大的通信开销,阻碍了真实环境中的可靠训练。在训练过程中将梯度作为主要的共享统计数据的关注催生了许多用于分布式深度学习的直观算法;然而,大型深度神经网络(DNN)的以梯度为中心的训练往往是通信繁重的,通常需要额外的调整,例如稀疏约束、压缩、量化等,以减少带宽。我们引入了一种创新的、通信友好的方法来训练分布式DNN,该方法利用了自动微分机制所揭示的梯度的外积结构。梯度的暴露结构唤起了一类新的分布式学习算法,这自然比完全梯度共享更有通信效率。我们的方法,称为分布式自动微分(dAD),建立了基于秩的压缩和梯度的固有结构作为外产品的婚姻。我们证明了,当应用于大规模文本和成像数据集时,dAD比现代架构(如Transformers)上的其他最先进的分布式方法更有效地训练。我们确定,分布式学习的未来不需要由以梯度为中心的算法主导。
2022-02-03 cs.DC cs.LG