多样尺寸专家混合
Mixture of Diverse Size Experts
AI总结：
本文提出多样尺寸专家混合（MoDSE）架构，通过不同尺寸专家和专家对分配策略，在保持总参数和专家数不变的情况下，提升大语言模型性能并均匀分配GPU工作负载。
摘要：
稀疏激活的混合专家（MoE）在扩展大型语言模型（LLM）方面越来越受欢迎，因为它不会导致计算成本爆炸式增长。尽管取得了成功，但当前的设计面临一个挑战：所有专家具有相同的大小，限制了令牌选择具有最合适尺寸的专家来生成下一个令牌的能力。在本文中，我们提出了多样尺寸专家混合（MoDSE），这是一种新的MoE架构，其层被设计为具有不同尺寸的专家。我们对困难令牌生成任务的分析表明，不同尺寸的专家能实现更好的预测，并且专家的路由路径在训练一段时间后趋于稳定。然而，拥有不同尺寸的专家可能导致工作负载分布不均。为了解决这一限制，我们引入了一种专家对分配策略，以在多个GPU上均匀分配工作负载。跨多个基准的综合评估证明了MoDSE的有效性，它通过自适应地分配参数预算，同时保持相同的总参数大小和专家数量，优于现有的MoE。
英文摘要：
The Sparsely-Activated Mixture-of-Experts (MoE) has gained increasing popularity for scaling up large language models (LLMs) without exploding computational costs. Despite its success, the current design faces a challenge where all experts have the same size, limiting the ability of tokens to choose the experts with the most appropriate size for generating the next token. In this paper, we propose the Mixture of Diverse Size Experts (MoDSE), a new MoE architecture with layers designed to have experts of different sizes. Our analysis of difficult token generation tasks shows that experts of various sizes achieve better predictions, and the routing path of the experts tends to be stable after a training period. However, having experts of diverse sizes can lead to uneven workload distribution. To tackle this limitation, we introduce an expert-pair allocation strategy to evenly distribute the workload across multiple GPUs. Comprehensive evaluations across multiple benchmarks demonstrate the effectiveness of MoDSE, as it outperforms existing MoEs by allocating the parameter budget to experts adaptively while maintaining the same total parameter size and the number of experts.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
