Efficient Scaling of LLM Training with Flexible Context Parallelism
利用灵活上下文并行实现LLM训练的高效扩展
机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) ; Huawei Technologies Co., Ltd.(华为技术有限公司)
专题命中 其他VLM :MLLM(abstract,abstract_cn);分类 cs.LG
AI总结 针对数据异构导致负载不均和通信冗余问题,提出自适应重配置通信组和上下文并行度的FCP策略,实现近线性加速比,最高达1.46倍吞吐提升。