Will LLMs Scaling Hit the Wall? Breaking Barriers via Distributed Resources on Massive Edge Devices
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Public Affairs, Zhejiang University(浙江大学公共管理学院)
本文探讨通过大规模边缘设备的分布式资源突破大语言模型扩展的瓶颈,提出利用边缘设备进行分布式训练以实现AI的民主化发展。
2026-04-09 cs.DC
Accelerating Physics Simulations with TPUs: An Inundation Modeling Example
硬件加速器(如张量处理单元(TPU))的最新进展加快了相对于中央处理单元(CPU)的计算时间,不仅用于机器学习,而且如本文所示,还用于科学建模和计算机模拟。为了研究分布式科学计算的TPU硬件,我们求解偏微分方程(PDE)的物理模拟流体模拟河流洪水。我们证明,TPU实现了两个数量级的CPU加速。在TPU上运行物理模拟可以通过Google Cloud Platform公开访问,我们发布了模拟的Python交互式笔记本版本。
2022-04-21 cs.CE cs.DC physics.comp-ph
An Explorative Study on Distributed Computing Techniques in Training and Inference of Large Language Models
Bangladesh University of Engineering and Technology(孟加拉国工程与技术大学)
本文探索了分布式计算技术在大型语言模型训练与推理中的应用,研究了在消费级计算机上运行大模型的技术并提出基于元启发式的系统改进,同时对三种最先进的LLM服务技术进行了比较研究。
2025-10-13 cs.DC
Data-parallel distributed training of very large models beyond GPU capacity
IBM;IBM Research(IBM研究院)
GPU的内存有限,很难训练宽和/或深的模型,这会导致训练过程耗尽内存。本文展示了一种名为Large Model Support(LMS)的开源工具如何利用CPU和GPU之间的高带宽NVLink连接来完成深度卷积网络的训练。LMS在CPU内存和GPU内存之间执行张量交换,使得在训练步骤中仅将所需的最小数量的张量保留在GPU内存中。它还显示了LMS如何与基于MPI的分布式深度学习模块相结合,以跨多个GPU的数据并行方式训练模型,使得每个GPU都利用CPU内存进行张量交换。讨论了支持高带宽GPU与CPU链接的硬件架构,以及作为PowerAI包提供的相关软件工具集。
2018-11-29 cs.DC cs.LG
Efficient Training of Large Language Models on Distributed Infrastructures: A Survey
本综述探讨了分布式基础设施上大型语言模型(LLMs)训练的最新进展,涵盖AI加速器、并行策略、计算通信内存优化及系统可靠性,并指出光计算等创新方案的需求。
2024-07-29 cs.DC
MemExchange: Utility-Driven Distributed Memory Reallocation for Multi-Tenant Datacenters
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Microsoft(微软)
研究云环境下内存管理问题,提出MemExchange系统,利用基于在线未命中率曲线估计的边际效用分配,通过RDMA重新分配空闲内存,设计MTC协议支持远程访问,经实验验证其能降低远程访问开销、提高内存利用率并降低租户未命中率。
2026-07-15 cs.DC
BurstEngine: an Efficient Distributed Framework for Training Transformers on Extremely Long Sequences of over 1M Tokens
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
BurstEngine通过BurstAttention、序列级选择性检查点及工作负载平衡等优化,在超长序列(>1M tokens)上实现1.2倍加速和更低内存开销,高效训练大语言模型。
2025-09-24 cs.DC
Accelerating Local LLMs on Resource-Constrained Edge Devices via Distributed Prompt Caching
Keio University(庆应义塾大学)
本文提出分布式提示缓存方法,通过多台低功耗边缘设备协同共享中间状态以提升LLM推理性能,实验表明可显著降低TTFT和TTLT。
2026-04-10 cs.DC cs.LG
Efficient KV Cache Migration for Geo-Distributed LLM Inference in Collaborative Edge Computing
The Hong Kong Polytechnic University(香港理工大学);National University of Defense Technology(国防科技大学);Wuhan University(武汉大学)
针对协同边缘计算中分布式LLM推理的KV缓存迁移难题,提出EdgeFlow混合迁移方案,结合并行计算与通信,经实验可将迁移时间最多降低45%,提升了推理的鲁棒性与效率。
2026-10-16 cs.DC
Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs
本文提出超越传统BSP模型,利用Iris for Triton库的内核内通信原语设计细粒度编程模式,消除多GPU分布式LLM执行中的三大性能税,实现端到端延迟10-20%的加速。
2025-11-04 cs.DC cs.LG
HeteGen: Heterogeneous Parallel Inference for Large Language Models on Resource-Constrained Devices
针对资源受限设备上 LLM 推理受 I/O 瓶颈限制的问题,本文提出 HeteGen,利用 CPU/GPU 异构并行与异步重叠降低延迟,推理速度最高较 SOTA 提升逾 317%。
2024-03-02 cs.DC cs.PF
Distributed Retrieval-Augmented Generation
本文提出分布式检索增强生成框架 DRAG,通过消除集中式知识库提升隐私,并设计 TARW 算法利用 LLMs 在对等网络中实现高效知识检索,以一半消息量达到接近集中式 RAG 的性能。
2025-05-01 cs.DC
DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);UCSD(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);USC(南加州大学)
DISTFLASHATTN通过token级负载均衡、键值通信重叠和重物化感知梯度检查点,在长上下文LLM训练中显著扩展序列长度并实现多倍加速。
2024-03-31 cs.AI cs.DC cs.LG
Cloud-native and Distributed Systems for Efficient and Scalable Large Language Models -- A Research Agenda
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Hyderabad(海德拉巴大学);Western Sydney University(西悉尼大学);Newcastle University(纽卡斯尔大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Electronic Science and Technology of China(电子科技大学);University of Macau(澳门大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Carleton University(卡尔顿大学);University of Ljubljana(卢布尔雅那大学);University of Melbourne(墨尔本大学)
本文探讨云平台和分布式系统在支持大语言模型的可扩展性、效率和优化中的作用,分析部署复杂性及新兴趋势,提出未来研究方向。
2026-10-01 cs.DC
Scalability Evaluation of HPC Multi-GPU Training for ECG-based LLMs
本研究评估了HPC多节点与多GPU环境下训练心电图大语言模型的可扩展性,比较了Horovod、DeepSpeed及PyTorch/TensorFlow内置分布式框架,发现扩展GPU时加速比为亚线性(2个GPU为1.6倍,4个GPU为1.9倍)。
2025-03-26 cs.DC
TrainVerify: Equivalence-Based Verification for Distributed LLM Training
University of Michigan(密歇根大学);Northeastern University(东北大学);Microsoft Research(微软研究院)
针对大规模LLM分布式训练缺乏验证、易出错浪费算力的问题,提出TrainVerify系统,通过形状缩减与分阶段并行验证算法,形式化验证分布式执行计划与逻辑规范等价,并成功验证Llama3(405B)与DeepSeek-V3(671B)训练计划。
2025-06-24 cs.AI cs.DC cs.LG
Towards Distributed Inference of LLMs on a P2P Network
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系)
提出一种去中心化的前缀缓存感知路由方案,用于P2P网络中的LLM推理,通过本地基数树和异步反熵更新缓存信息,避免集中协调和KV缓存传输,在低延迟和偏斜前缀分布下提升性能。
2026-06-17 cs.AI cs.DC
Incentivizing Permissionless Distributed Learning of LLMs
Templar AI;Concordia University, Mila(康科德大学,Mila);Opentensor Foundation(Opentensor基金会)
提出部署于bittensor区块链的激励系统Gauntlet,通过两阶段机制和OpenSkill评分评估伪梯度贡献,成功在无许可环境下训练出1.2B LLM,验证了分布式训练激励的有效性。
2025-05-27 cs.DC cs.LG
Sustainable Carbon-Aware and Water-Efficient LLM Scheduling in Geo-Distributed Cloud Datacenters
Colorado State University(科罗拉多州立大学);Hewlett Packard Labs(慧与实验室)
针对LLM推理阶段的高碳排放与水资源消耗问题,提出SLIT框架,利用基于机器学习的元启发式方法跨地理分布式云数据中心协同优化服务质量、碳排放、水资源使用和能源成本。
2025-05-29 cs.AI cs.DC cs.LG
Distributed LLMs and Multimodal Large Language Models: A Survey on Advances, Challenges, and Future Directions
Knight Foundation School of Computing and Information Sciences, Florida International University(佛罗里达国际大学奈特基金会计算与信息科学学院);Security, Optimization, and Learning for InterDependent networks laboratory(相互依赖网络的安全、优化与学习实验室);School of Computing, Southern Illinois University(南伊利诺伊大学计算机学院);SambaNova Systems(SambaNova系统公司)
本文综述了大语言模型、多模态大语言模型等各类语言模型的分布式解决方案,梳理训练、推理等全流程进展,按去中心化六大方向分类文献,指出当前方法空白并提出未来研究方向。
2025-03-20 cs.CL cs.CV cs.DC
H2Opus: A distributed-memory multi-GPU software package for non-local operators
分层$\mathcal{H}^2$ -矩阵是非局部算子离散化的渐近最优表示,例如积分方程或核函数中的非局部算子。它们的$O(N)$在内存和操作应用程序方面的复杂性使它们特别适合于大规模问题。因此,有必要为这些矩阵上的分布式操作提供支持的软件,以允许大规模的问题被表示。在本文中,我们提出了高性能,分布式内存GPU加速算法和实现矩阵向量乘法和矩阵再压缩的分层矩阵的$\mathcal{H}^2$格式。这些算法是H2Opus的一个新模块,H2Opus是一个面向性能的软件包,支持CPU和GPU上的各种$\mathcal{H}^2$矩阵运算。分布式GPU设置中的性能是通过编组分层矩阵表示的树数据来实现的,以允许在各个GPU上执行批处理内核。MPI用于进程间通信。我们优化的通信数据量和隐藏的通信成本与本地计算阶段的算法。测试结果显示,Summit上最多可支持1024个NVIDIA V100 GPU的近乎理想的可扩展性,矩阵向量乘法的性能超过2.3 Tflops/s/GPU,矩阵压缩的性能超过670 Gflops/s/GPU,其中包括批量QR和SVD运算。我们说明了该库的灵活性和效率,通过求解一个二维可变扩散率积分分数扩散问题的代数多重网格预处理Krylov求解器,并展示了可扩展性高达16 M自由度的问题上64 GPU。
2021-09-12 cs.DC cs.MS
AI for Distributed Systems Design: Scalable Cloud Optimization Through Repeated LLMs Sampling And Simulators
Jacopo Tagliabue(独立研究者)
本文提出结合 LLM 随机代码生成与领域模拟器确定性验证的迭代生成-验证循环,用于分布式系统调度策略设计,并在 Bauplan 运行时上初步验证了吞吐量提升。
2025-10-20 cs.AI cs.DB cs.DC
AGoQ: Activation and Gradient Quantization for Memory-Efficient Distributed Training of LLMs
School of Computer Science(计算机科学学院);Technology, Harbin Institute of Technology, Shenzhen(技术学院,哈尔滨工业大学,深圳);Huawei Technologies Ltd(华为技术有限公司)
AGoQ通过层感知激活量化和梯度量化技术,实现近4位激活存储和8位梯度存储,降低内存使用并提升训练速度,实验表明在不同规模LLM上内存减少达52%,训练速度提升1.34倍。
2026-05-11 cs.CL cs.DC
VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo
ByteDance(字节跳动)
VeOmni提出以模型为中心的分布式配方,解耦通信与计算,实现高效3D并行训练全模态LLM,支持30B MoE模型在128 GPU上达2800 tokens/sec/GPU吞吐和160K上下文。
2025-08-07 cs.AI cs.CL cs.DC
PIM-Opt: Demystifying Distributed Optimization Algorithms on a Real-World Processing-In-Memory System
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达公司);Wuhan University(武汉大学);University of Chicago(芝加哥大学)
本文在真实UPMEM存内计算系统上实现并评估了多种分布式SGD算法,发现PIM在受内存限制的ML训练中是CPU/GPU的可行替代方案,但需算法-硬件协同设计且扩展性存在非线性限制。
2024-09-27 cs.AI cs.AR cs.DC
Preble: Efficient Distributed Prompt Scheduling for LLM Serving
University of California, San Diego(加利福尼亚大学圣迭戈分校)
Preble 是首个面向提示共享的分布式 LLM 服务平台,通过新调度算法和分层调度机制协同优化 KV 状态重用与负载均衡,在真实负载下平均延迟和 p99 延迟显著优于现有系统。
2024-10-03 cs.DC cs.LG
Scaling Large-scale GNN Training to Thousands of Processors on CPU-based Supercomputers
针对大规模图上的分布式全批次GCN训练面临的内存访问低效和通信开销高问题,提出了一种面向CPU超级计算机的高效可扩展框架,通过优化聚合算子、分层聚合和通信感知量化,实现了高达6倍加速并扩展到数千CPU。
2025-05-26 cs.DC cs.PF
Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM
本文提出将 LLM 训练分解为算子级原语、结合轻量采样硬件模型与端到端集成的 GPU 性能预测框架,在两套 HPC 系统上实现低误差且无需占用集群。
2025-09-26 cs.AI cs.DC cs.LG
Distributed Convolutional Neural Network Training on Mobile and Edge Clusters
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对边缘端分布式CNN训练研究不足、现有方案依赖中心服务器的问题,提出一种完全基于移动边缘设备、通过分块融合与层分组实现的分布式训练方法,在Pi3集群上可实现2-15倍加速、最高8倍内存降低且无损精度。
2024-09-11 cs.DC cs.LG
Distributed Mixture-of-Agents for Edge Inference with Large Language Models
University of Maryland(马里兰大学);Princeton University(普林斯顿大学)
本文研究边缘设备上基于大语言模型的分布式智能体混合架构,通过去中心化 gossip 协作推理,并从理论和实验上分析了设备队列的稳定性条件及不同配置对回答质量的影响。
2024-12-30 cs.CL cs.DC cs.IT
WDMoE: Wireless Distributed Mixture of Experts for Large Language Models
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作中位数网络创新中心);Pengcheng Laboratory(鹏城实验室);Future Network of Intelligent Institute (FNii), the Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)未来网络智能研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出无线分布式混合专家(WDMoE)架构,将LLM的MoE层分解部署于基站与移动设备,联合优化专家选择与带宽分配,在保持模型性能的同时显著降低推理延迟。
2024-11-11 cs.AI cs.DC cs.IT
Scalable Synthesis of distributed LLM workloads through Symbolic Tensor Graphs
本文提出STAGE框架,通过符号张量图高效建模分布式AI工作负载,支持多种并行策略,实现大规模LLM和MoE模型的高保真仿真。
2026-06-26 cs.AI cs.DC
Distributed LLM Pretraining During Renewable Curtailment Windows: A Feasibility Study
TU Berlin(柏林技术大学)
本研究探讨在可再生能源削减窗口期间利用清洁廉价电力进行分布式LLM预训练的可行性,通过联邦学习框架实现跨地理分布集群的弹性训练,降低碳排放。
2026-02-26 cs.AI cs.DC
Optimizing Distributed Training on Frontier for Large Language Models
Oak Ridge National Laboratory(橡树岭国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
本研究探索在Frontier超级计算机上高效训练大规模语言模型的分布式策略,通过张量、流水线和分片数据并行技术及超参数调优,实现了不同规模模型的高吞吐量和扩展效率。
2023-12-21 cs.AI cs.DC
Accelerating an Iterative Eigensolver for Nuclear Structure Configuration Interaction Calculations on GPUs using OpenACC
为了加速在配备通用图形处理单元(GPU)的分布式内存并行系统上解决核物理多体计算中产生的大型本征值问题,我们修改了之前开发的本征值求解器的混合MPI/OpenMP实现。使用基于OpenACC指令的编程模型,以FORTRAN 90编写。这种方法需要对原始代码进行最小的更改,并且能够将大规模核结构模拟从分布式存储器众核CPU系统平滑迁移到分布式GPU系统。然而,为了使基于OpenACC的特征值求解器在GPU上高效运行,我们需要考虑众核CPU和GPU设备之间的架构差异。因此,插入OpenACC指令的最佳方式可能与插入OpenMP指令的原始方式不同。我们指出这些差异的实施稀疏矩阵矩阵乘法(SpMM),这构成了本征解算器的主要成本,以及其他差异的预处理步骤和密集的线性代数运算。我们比较了基于OpenACC的实现在多个GPU上执行的性能与分布式内存众核CPU上的性能,并证明了GPU上实现的显着加速比众核CPU的节点上性能。我们还表明,多个GPU上的特征值求解器的整体性能提高是更温和的,由于不同的MPI行列之间的通信开销。
2021-09-01 cs.DC cs.MS cs.NA
MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training
Microsoft(微软)
本文提出MTraining方法,通过动态稀疏注意力机制解决超长上下文训练中的计算不平衡和通信开销问题,实现了Qwen2.5-3B模型上下文窗口从32K扩展到512K,并在多个下游任务中达到6倍更高的训练吞吐量同时保持模型准确性。
2026-05-19 cs.CL cs.DC cs.LG
Design and implementation of a distributed security threat detection system integrating federated learning and multimodal LLM
University of California San Diego(加利福尼亚大学圣迭戈分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一种集成联邦学习与多模态大语言模型的分布式威胁检测系统,在10TB数据集上实现96.4%准确率,较基线提升4.1个百分点,兼顾隐私与效率。
2025-02-25 cs.AI cs.CR cs.DC
Training Ultra Long Context Language Model with Fully Pipelined Distributed Transformer
Microsoft Inc.(微软公司)
本文提出 FPDT 全流水线分布式 Transformer,通过序列块流水线在 4 GPU 上训练 200 万上下文的 8B 模型,序列长度较 SOTA 提升 16 倍且 MFU 超 55%。
2025-05-13 cs.AI cs.DC cs.LG
HeterPS: Distributed Deep Learning With Reinforcement Learning Based Scheduling in Heterogeneous Environments
Baidu Inc.(百度公司);University of Science and Technology of China(中国科学技术大学)
本文提出Paddle-HeterPS分布式框架,通过异构资源架构与基于RL的逐层调度及数据管理,在满足吞吐量约束下降低成本,实验显示吞吐量提升14.5倍、成本降低312.3%。
2023-06-07 cs.AI cs.DC cs.LG
APWA: A Distributed Architecture for Parallelizable Agentic Workflows
Northeastern University(东北大学)
本文提出APWA架构,通过分解任务为非干扰子问题,提升多代理系统处理高并行任务的效率和扩展性。
2026-05-14 cs.AI cs.DC cs.MA