DA-MoE：迈向 Mixture-of-Experts 模型的动态专家分配
DA-MoE: Towards Dynamic Expert Allocation for Mixture-of-Experts Models
AI总结：
针对 MoE 路由器为每个 token 固定分配专家的问题，本文提出 DA-MoE，利用 Transformer 注意力衡量 token 重要性并动态选择最优 top-K 专家，在 GLUE 上持续优于现有 Transformer MoE。
摘要：
基于 Transformer 的 Mixture-of-Experts（MoE，混合专家）模型推动了近期自然语言处理（NLP）领域的多项技术进步。这些 MoE 模型采用路由器机制来决定在路由输入 token 时激活哪些专家。然而，现有路由器机制为每个 token 分配固定数量的专家，忽视了不同输入 token 的重要性差异。在本研究中，我们提出一种新颖的动态路由器机制，它基于有效的 token 重要性度量，为 Mixture-of-Experts 模型动态分配可变数量的专家，即 DA-MoE。首先，我们表明 Transformer 注意力机制提供了一种自然且有效的计算 token 重要性的方法。其次，我们提出一种动态路由器机制，可有效确定最优专家数量（K），并为每个输入 token 分配 top-K 专家。第三，在多个基准数据集上的综合实验表明，我们的 DA-MoE 方法在流行的 GLUE 基准上持续优于最先进的基于 Transformer 的 MoE 模型。
英文摘要：
Transformer-based Mixture-of-Experts (MoE) models have been driving several recent technological advancements in Natural Language Processing (NLP). These MoE models adopt a router mechanism to determine which experts to activate for routing input tokens. However, existing router mechanisms allocate a fixed number of experts to each token, which neglects the varying importance of different input tokens. In this study, we propose a novel dynamic router mechanism that Dynamically Allocates a variable number of experts for Mixture-of-Experts (DA-MoE) models based on an effective token importance measure. First, we show that the Transformer attention mechanism provides a natural and effective way of calculating token importance. Second, we propose a dynamic router mechanism that effectively decides the optimal number of experts (K) and allocates the top-K experts for each input token. Third, comprehensive experiments on several benchmark datasets demonstrate that our DA-MoE approach consistently outperforms the state-of-the-art Transformer based MoE model on the popular GLUE benchmark.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
