Design-CP: Context Parallelism for Design of Protein Nanoparticles
研究针对全原子生成蛋白质模型内存受限问题，提出 Design-CP 上下文并行推理策略，用于 RFdiffusion 3，在多 GPU 上扩展设计能力，可用于二十面体和八面体纳米颗粒设计，推动大型组装蛋白质设计发展。
2026-07-08 cs.DC cs.LG q-bio.QM
Seesaw: High-throughput LLM Inference via Model Re-sharding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；CentML
Seesaw提出动态模型重分片技术，在LLM推理的预填充和解码阶段动态调整并行化策略，并结合分层KV缓存缓冲与最小化转换调度，实现比vLLM最高1.78倍的吞吐量提升。
2025-03-09 cs.AI cs.DC
Themis: Efficient Sparse Model Training Through Fully Sharded Sparse Data Parallelism
The University of Hong Kong（香港大学）
Themis提出FSSDP方法，通过原位负载均衡与异构分片优化MoE训练，消除专家重排的开销，在2个集群的多样工作负载下实现1.26-2.42倍加速。
2026-08-24 cs.DC
2BP: 2-Stage Backpropagation
EPCC, The University of Edinburgh（爱丁堡大学EPCC）；The University of Edinburgh（爱丁堡大学）
针对流水线并行受自动微分工具瓶颈的问题，提出两阶段反向传播（2BP），通过拆分反向传播减少空闲计算，在多种架构上提升吞吐量，并在4个GPU上训练70亿参数模型时实现1.70倍加速。
2024-05-28 cs.AI cs.DC cs.LG
WLB-LLM: Workload-Balanced 4D Parallelism for Large Language Model Training
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Meta
针对大语言模型四维并行训练中的工作负载不均衡问题，提出WLB-LLM方法，通过流水线层面的变长文档打包与上下文层面的细粒度逐文档分片实现负载均衡，实验验证其在内部训练框架中可带来1.23倍平均加速。
2025-03-23 cs.AI cs.DC cs.LG
Folding Tensor and Sequence Parallelism for Memory-Efficient Transformer Training & Inference
Zyphra
本文提出TSP并行策略，通过在同一设备轴上融合张量并行与序列并行，减少内存开销，适用于长上下文和内存受限的模型训练，同时可与现有并行方案结合使用。
2026-04-29 cs.CL cs.DC
Arena: Efficiently Training Large Models via Dynamic Scheduling and Adaptive Parallelism Co-Design
Shanghai Jiao Tong University（上海交通大学）；Lenovo Research（联想研究院）；Microsoft（微软公司）；Guizhou University（贵州大学）；National University of Singapore（新加坡国立大学）
本文提出Arena系统，通过动态调度与自适应并行性协同设计，提升GPU集群效率，减少作业完成时间达49.3%，集群吞吐量提升1.6倍。
2026-03-24 cs.DC cs.LG
AsyncHZP: Hierarchical ZeRO Parallelism with Asynchronous Scheduling for Scalable LLM Training
ByteDance Seed（字节跳动种子）
本文提出AsyncHZP，一种异步分层的ZeRO并行方法，通过自适应重分片和多流异步调度降低通信开销，在保持简单性的同时实现优于ND并行的可扩展LLM训练性能。
2025-10-23 cs.DC cs.LG
Two-dimensional Sparse Parallelism for Large Scale Deep Learning Recommendation Model Training
Meta, Inc.（Meta公司）
针对大规模DLRM嵌入表完全并行带来的扩展性瓶颈，提出二维稀疏并行（模型并行加数据并行）并配合动量缩放行式AdaGrad，在4K GPU上实现近线性加速且性能持平，树立新基准。
2025-08-05 cs.DC cs.LG
SplitBrain: Hybrid Data and Model Parallel Deep Learning
NEC Laboratories America, Inc.（NEC美国实验室公司）
最近深度学习应用的成功与那些广泛可用的强大计算资源相吻合，这些计算资源用于训练具有巨大数据集的复杂机器学习模型。尽管如此，使用模型并行（与数据并行相反）训练诸如卷积神经网络之类的大型模型是具有挑战性的，因为模型碎片之间的通信的复杂性质使得难以以可接受的折衷在多个机器上有效地划分计算。本文介绍了SplitBrain，一个支持混合数据和模型并行的高性能分布式深度学习框架。具体来说，SplitBrain提供了特定于层的分区，可以将计算密集型卷积层放在一起，同时对内存需求层进行分片。提出了一种新的可扩展组通信，以进一步提高训练吞吐量，减少通信开销。实验结果表明，SplitBrain在实现数据和模型并行VGG时，与CIFAR-10相比，可以实现接近线性的加速比，同时节省高达67%的内存消耗。
2021-12-31 cs.CV cs.DC cs.LG
Demystifying Pipeline Parallelism: First Theory for PipeDream
KAUST（卡斯土尼亚大学）
本文通过引入随机化 PipeDream (RPD) 抽象，首次为 PipeDream 风格方法提供了非凸收敛保证，并分析了其稳态延迟与阶段数的缩放关系，同时与 LocalSGD 进行了比较。
2026-06-02 cs.DC cs.LG
Merak: An Efficient Distributed DNN Training Framework with Automated 3D Parallelism for Giant Foundation Models
National University of Defense Technology（国防科技大学）
基础模型正在成为主导的深度学习技术。由于基础模型的模型参数和训练数据集的规模都很大，因此对基础模型进行预训练通常很耗时。除了计算密集型之外，训练过程也是非常内存密集型和通信密集型的。这些特点使得有必要应用三维并行技术来实现高训练效率，三维并行技术集成了数据并行、管道模型并行和张量模型并行。为了实现这一目标，开发了一些定制软件框架，如Megatron-LM和DeepSpeed。然而，当前的3D并行框架仍然遇到两个问题：i）它们对模型开发人员不透明，需要手动修改模型以并行化训练。ii）它们对计算、GPU内存和网络带宽的利用不足。我们提出了Merak，一个自动化的3D并行深度学习训练框架，具有高资源利用率。Merak使用自动模型分区器自动部署，该分区器在模型的代理表示上使用图形分片算法。Merak还提供了非侵入式API，用于以最少的代码修改扩展基础模型训练。此外，我们在Merak中设计了一个高性能的3D并行运行引擎。它使用了几种技术来利用可用的训练资源，包括带来更高的计算利用率的移位关键路线流水线调度，利用空闲工作内存的阶段感知重计算，以及重叠通信和计算的子流水线张量模型并行。在64个GPU上进行的实验表明，与具有1.5亿、2.5亿、8.3亿和200亿参数的模型的最先进3D并行框架相比，Merak可以将训练性能分别提高高达1.42倍、1.39倍、1.43倍和1.61倍。
2023-03-21 cs.DC cs.LG cs.MA
Heterogeneous Parallelism for Multimodal Large Language Model Training
NVIDIA
针对多模态大语言模型训练中单一LLM中心并行布局导致的吞吐量瓶颈，提出异构并行抽象，允许各模块独立布局和放置，并通过边界通信器实现张量语义保持，实验表明可提升TFLOPS/GPU最高49.3%。
2026-05-26 cs.DC cs.LG
NEST: Network- and Memory-Aware Device Placement For Distributed Deep Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Washington（华盛顿大学）
提出NEST框架，通过结构化动态规划统一模型并行、拓扑建模和内存可行性，在多种硬件和网络上实现高达2.43倍的吞吐量提升。
2026-05-24 cs.DC cs.LG stat.ML
ByteScale: Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000 GPUs
Peking University（北京大学）
针对长短序列混合训练中静态并行网格导致的冗余通信与计算不均衡，本文提出ByteScale框架，利用HDP、动态通信优化和并行感知调度，在超12,000块GPU上实现最高7.89倍加速。
2025-02-28 cs.AI cs.DC cs.LG
Parm: Efficient Training of Large Sparsely-Activated Models with Dedicated Schedules
Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）数据科学与分析学域）；Hong Kong Baptist University（香港浸会大学）；School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程学系）
Parm 通过设计两种专用通信调度，消除冗余计算与通信并实现节点内外通信重叠，从而加速大规模稀疏激活 MoE 模型的 MP+EP+ESP 训练，实验表明其性能显著优于 DeepSpeed-MoE。
2024-07-03 cs.DC cs.LG
A Scalable Pipeline for LLM-Teacher Distillation Labeling: Work-Stealing Job Scheduling and Memory-Aware GPU Concurrency
该研究提出了一种用于LLM教师蒸馏标注的可扩展流水线，通过工作窃取作业调度、内存感知GPU并发控制及重标注基准方法，解决了标注的质量成本与GPU集群负载问题，性能优于静态分片且可复现。
2026-08-18 cs.AI cs.CL cs.DC
Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models
研究旨在解决大语言模型训练资源受限问题，提出Agora系统，通过互联网级链路的带宽高效流水线并行模型分片与多方容错集体操作相结合，实现集体训练、集体所有模型，首次展示Pluralis - 8B预训练，效率达集中式基线63%。
2026-07-16 cs.DC cs.LG
cuSBF: A Minimizer-Aware Bloom Filter for Genomic Sequence Data on Modern GPUs
Institute of Computer Science Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨计算机研究所）
提出cuSBF，一种基于CUDA的超级布隆过滤器实现，通过扇区分片、协作共享内存平铺等技术，利用序列局部性实现GPU加速，在RTX PRO 6000上比cuCollections布隆过滤器快9.1倍（插入）和7.7倍（查询）。
2026-06-24 cs.DC cs.DS q-bio.GN
Beyond the Trial-and-Error Loop: Hybrid Projection and Automated Tuning for Distributed Training
Advanced Micro Devices, Inc.（超威半导体有限公司）
本文提出Primus Projection，通过混合投影引擎与Primus Tuning Agent实现分布式LLM训练配置的自动调优，在多款模型与GPU上验证，可高效找到高吞吐量配置，比参考方案提升27%且耗时短。
2026-10-14 cs.AI cs.DC
