MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts
MoST:通过模态感知混合专家混合语音和文本
机构 * School of Computer Science, National University of Singapore(新加坡国立大学计算机科学学院) ; School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
专题命中 音频语音多模态 :multimodal(abstract);cross-modal(abstract);分类 cs.CL、cs.AI
AI总结 MoST通过模态感知混合专家架构,实现语音和文本的高效融合,首次公开了基于混合专家的语音-文本大语言模型。