基于任务的 MoE 用于多任务多语言机器翻译
Task-Based MoE for Multitask Multilingual Machine Translation
AI总结：
本文提出一种将任务信息通过共享动态适配器融入 MoE 模型不同粒度层级的新方法，在多任务多语言机器翻译上优于稠密与标准 MoE 模型，并能高效泛化至新任务。
摘要：
混合专家（MoE）架构已被证明是训练深度模型用于许多应用中多样化任务的强大方法。然而，当前的 MoE 实现与任务无关，以相同方式处理来自不同任务的所有 token。在本工作中，我们设计了一种新方法，通过共享的动态基于任务的适配器，将任务信息融入 MoE 模型的不同粒度层级。我们的实验和分析表明，在多任务多语言机器翻译上，我们的方法优于稠密模型和标准 MoE 模型。借助任务特定适配器，我们的模型还能高效泛化至新任务。
英文摘要：
Mixture-of-experts (MoE) architecture has been proven a powerful method for diverse tasks in training deep models in many applications. However, current MoE implementations are task agnostic, treating all tokens from different tasks in the same manner. In this work, we instead design a novel method that incorporates task information into MoE models at different granular levels with shared dynamic task-based adapters. Our experiments and analysis show the advantages of our approaches over the dense and canonical MoE models on multi-task multilingual machine translations. With task-specific adapters, our models can additionally generalize to new tasks efficiently.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
