M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval
University of Texas at Austin（得克萨斯大学奥斯汀分校）；National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本研究利用仅基于英语的大规模预训练模型（CLIP和HuBERT）实现多语种图像-语音检索，大幅超越现有最优性能，并扩展至零样本的跨模态与跨语种检索任务。
2023-04-10 cs.CL cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data
LIA - Avignon Universite（阿维尼翁大学LIA实验室）；University of Cambridge（剑桥大学）
提出基于离散语音单元的多语言情感嵌入方法，通过预测音高和时长实现跨语言情感保持的语音重合成，无需并行数据且优于基线。
2023-06-29 cs.CL cs.SD eess.AS
Efficient Weight factorization for Multilingual Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
端到端多语言语音识别涉及在包括许多语言的合成语音语料库上使用单个模型训练，从而产生单个神经网络来处理不同语言的转录。由于训练数据中的每种语言具有不同的特性，共享网络可能难以同时针对所有各种语言进行优化。在本文中，我们提出了一种新的多语言架构，目标是在神经网络的核心操作：线性变换函数。该方法的核心思想是通过将每个权重矩阵分解为共享分量和语言相关分量，为每种语言分配快速权重矩阵。然后使用秩1假设将后者分解为向量，以减少每种语言的参数数量。这种有效的因式分解方案被证明是有效的，在两个多语种设置与$7$和$27$语言，减少字出错率由$26\%$和$27\%$相对。分别用于两种流行的架构LSTM和Transformer。
2021-05-07 cs.CL cs.SD eess.AS
Configurable Multilingual ASR with Speech Summary Representations
Fano（范诺）
针对多语种ASR的可配置需求，提出带语音摘要向量的csvMASR模型，结合适配器与辅助分类损失，在7语种MLS数据集上降低WER且语言分类等任务表现更优。
2024-10-06 cs.CL cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
CoLLD: Contrastive Layer-to-layer Distillation for Compressing Multilingual Pre-trained Speech Encoders
Meta AI
提出对比层到层蒸馏（CoLLD）方法，利用掩码预测和对比学习压缩多语言预训练语音编码器，在多语言语音翻译和识别基准上优于先前方法，缩小了小型与大型模型的差距。
2023-12-27 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.（阿尔马威公司）
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点，提出说话人分离与语言识别级联系统，相比传统方法显著降低语言分离错误和词错误率，且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University（四川大学）；Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)（中国民用航空局西南空中交通管理局）；Wisesoft Co., Ltd.（四川川大智胜软件股份有限公司）
自动语音识别（ASR）技术在近几年得到了迅速的发展，促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础，尤其是对于垂直行业，如空中交通管制（ATC）。有一些语音语料库用于公共或付费的常见应用。然而，对于ATC来说，由于安全问题，很难从真实系统中收集原始语音。更重要的是，对于像ASR这样的监督学习任务，注释转录是一项更加繁重的工作，这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库（ATC Speech），包括带口音的汉语和英语，以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外，我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知，这是第一个工作，旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.（Freshworks公司）
基于转换器的模型最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器，两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器（PHN-DEC）的音素识别任务和一个字素解码器（GRP-DEC）预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别，字形识别和语言识别任务的网络。我们的实验表明，我们可以获得一个显着减少WER的基线方法。我们还表明，我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
Multilingual End-to-End Speech Recognition with A Single Transformer on Low-Resource Languages
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于序列到序列注意力的模型将声学、发音和语言模型集成到单个神经网络中，这使得它们非常适合于多语言自动语音识别（ASR）。在本文中，我们关注的是在低资源语言的多语种语音识别的一个单一的Transformer，序列到序列的注意力为基础的模型。在不使用任何语音词典的情况下，采用子词作为多语建模单元。首先，我们表明，一个单一的多语言ASR Transformer执行低资源的语言，尽管一些语言混乱。然后，我们研究在训练过程中已知语言信息的条件下，通过在原始子词序列的开头或结尾插入语言符号来将语言信息纳入模型。在CALLHOME数据集上的实验表明，与带残差学习的SHL-MLSTM相比，带语言符号的多语言ASR Transformer性能更好，平均字错误率（WER）降低了10.5%.我们继续表明，假设在训练和测试过程中已知语言信息，通过将语言符号作为句子开始标记，与具有剩余学习的SHL-MLSTM相比，可以观察到大约12.4%的平均WER减少。
2018-06-14 cs.CL cs.SD eess.AS
Classification of Spontaneous and Scripted Speech for Multilingual Audio
Spotify Ltd（Spotify公司）；Queen Mary University of London（伦敦玛丽女王大学）
本文构建多语言音频中脚本化与即兴语音分类器，系统比较传统特征与音频变换器，后者在11种语言组及非播客领域均达最优性能。
2024-12-16 cs.CL cs.SD eess.AS
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University（卡内基梅隆大学）
本文针对ML-SUPERB 2.0多语言语音任务，提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略，使LID准确率相对提升14%、ASR CER相对降低30%，并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
Weighted Cross-entropy for Low-Resource Languages in Multilingual Speech Recognition
University of Vigo（维戈大学）；DFKI GmbH（德国人工智能研究中心）
本文提出在持续多语言学习中应用加权交叉熵和数据增强，将低资源语言集成到预训练Whisper多语言ASR模型中，使低资源语言WER降低6.69%，且不损害高资源语言性能。
2024-09-25 cs.CL cs.SD eess.AS
Low-Resourced Speech Recognition for Iu Mien Language via Weakly-Supervised Phoneme-based Multilingual Pre-training
Guangxi Minzu University（广西民族大学）；Tsinghua University（清华大学）
针对勉语标注语音稀缺的低资源语音识别问题，研究对比三类低资源ASR方法，发现弱监督音素多语言预训练的Whistle模型效果最优、数据效率更高。
2024-09-16 cs.CL cs.SD eess.AS
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
NAVER LABS Europe（NAVER欧洲实验室）；Télécom Paris（巴黎电信学院）
DistilWhisper通过语言特定专家和知识蒸馏提升欠代表语言的ASR性能，同时保持多任务和多语言能力。
2025-11-29 cs.CL cs.SD eess.AS
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Le Mans University（勒芒大学）
我们提出了SAMU-XLSR：语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同，它以声学帧（10- 20 ms）的分辨率学习多语言上下文语音嵌入，这项工作专注于学习多模态（语音-文本）多语言语音嵌入，以句子（5- 10 s）的分辨率，使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入（LaBSE）模型，创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据，跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张，我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索，并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.（Freshworks公司）
Transformers最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。在这项工作中，我们提出了一个基于多任务学习的Transformer模型，用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器（PHN-DEC）的音素识别任务和字素解码器（GRP-DEC）预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案，在预测字素序列之前将语言信息注入模型。我们的实验表明，我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明，我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后，我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
Multilingual Bottleneck Features for Improving ASR Performance of Code-Switched Speech in Under-Resourced Languages
Stellenbosch University（斯泰伦博斯大学）
在这项工作中，我们探讨的好处，使用多语言瓶颈功能（MBNF）在声学建模的自动语音识别的代码切换（CS）语音在非洲语言。在为这种资源严重不足的语音类型开发语音识别系统时，感兴趣语言的注释语料库的不可用性一直是主要挑战。因此，值得研究的潜力，使用语音语料库可用于其他资源更好的语言，以提高语音识别性能。为了实现这一目标，我们训练的mBNF提取器使用九个南部班图语言的一部分，免费提供的多语言NCHLT语料库。我们将这些mBNF附加到现有的MFCC、音高特征和i向量上，以训练声学模型，用于目标代码切换语言的自动语音识别（ASR）。我们的研究结果表明，包含的mBNF功能导致明显的性能改善基线训练没有mBNF代码切换英语-isiZulu，英语-isiXhosa，英语-Sesperium和英语-Setperium语音。
2020-10-31 cs.CL cs.LG cs.SD
MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting
Kohli Centre on Intelligent Systems, IIIT Hyderabad（海得拉巴国际信息技术学院科利智能系统中心）；TCS Research（塔塔咨询服务公司研究部）
本文提出MParrotTTS模型，利用自监督语音表示的模块化训练范式，在低资源下实现高质量多语言多说话人TTS及跨语言声音转换，仅用少量监督数据即超越现有基线。
2023-05-19 cs.CL cs.LG cs.SD
A Unified Speech LLM for Diarization and Speech Recognition in Multilingual Conversations
Institute of Science Tokyo（东京科学研究所）
本文提出一种统一语音大语言模型，以端到端方式联合执行多语言对话中的说话人分离与语音识别，通过重构训练数据格式和推理流程，在 MLC-SLM Challenge 任务 II 上较基线实现 54.87% 的相对改进。
2025-06-26 cs.AI cs.CL cs.SD
PART: Progressive Alignment Representation Training for Multilingual Speech-To-Text with LLMs
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）；The Chinese University of Hong Kong（香港中文大学）；NLP 2 CT Lab, University of Macau（自然语言处理2CT实验室，澳门大学）
针对多语言语音与文本对齐难题，提出渐进式对齐表示训练框架，分离语言内与跨语言对齐并动态激活LLM参数，在四个数据集上超越传统方法。
2025-09-24 cs.CL cs.SD
The TEA-ASLP System for Multilingual Conversational Speech Recognition and Speech Diarization in MLC-SLM 2025 Challenge
Tencent Ethereal Audio Lab（腾讯灵云音频实验室）；Tencent Corporation（腾讯公司）
本文提出 TEA-ASLP 系统，通过语言识别、MOE LoRA 与 CTC 提示增强 Ideal-LLM，并优化英文说话人分轨，在 MLC-SLM 2025 两项任务中分获冠亚军。
2025-07-24 cs.SD eess.AS
Ideal-LLM: Integrating Dual Encoders and Language-Adapted LLM for Multilingual Speech-to-Text
Northwestern Polytechnical University（西北工业大学）；Chongqing Changan Automobile Co., Ltd（重庆长安汽车股份有限公司）
针对多语言语音转文本中现有方法忽略语言适配的问题，提出融合Whisper与MMS双编码器、搭配语言适配连接器的Ideal-LLM模型，显著提升了ASR和AST任务性能。
2024-09-17 cs.SD eess.AS
Selective Invocation for Multilingual ASR: A Cost-effective Approach Adapting to Speech Recognition Difficulty
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
提出SIMA，一种基于口语大语言模型的选择性调用方法，根据语音难度决定直接转录或调用SOTA模型，词错误率降低18.7%，调用成本减半，在三个数据集上验证了可扩展性和经济高效性。
2025-05-22 cs.SD eess.AS
Learning to Speak from Text: Zero-Shot Multilingual Text-to-Speech with Unsupervised Text Pretraining
The University of Tokyo（东京大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种零样本多语言TTS方法，通过纯文本掩码语言模型预训练结合冻结语言感知嵌入层的监督微调，使低资源语言无需成对音频数据即可实现高可懂度语音合成，未见语言的字符错误率低于12%。
2023-05-27 cs.CL eess.AS
Boosting End-to-End Multilingual Phoneme Recognition through Exploiting Universal Speech Attributes Constraints
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；Norwegian University of Science and Technology（挪威科技大学）
本文提出利用通用发音方式和发音部位属性构建属性到音素映射约束，联合属性和音素信息进行多语言端到端音素识别，在6种语言上平均相对提升6.85%。
2023-09-16 cs.SD eess.AS
Layer-wise Analysis for Quality of Multilingual Synthesized Speech
National Institute of Information and Communications Technology（国家信息与通信技术研究所）；Nagoya University（名古屋大学）
针对有监督合成语音质量预测器泛化性差、无监督方法质量编码机制不明的问题，对多语言预训练语音模型开展逐层分析，明确了SSL早期层、ASR后期层的质量相关特性及参考数据匹配的重要性。
2025-09-05 cs.SD eess.AS
Cross-lingual and Multilingual Speech Emotion Recognition on English and French
University of Stuttgart（斯图加特大学）
多语言语音情感识别研究面临的问题是，大多数可用的语音语料库在重要方面，如注释方法或交互场景彼此不同。这些不一致性使构建多语言系统变得复杂。我们目前的结果跨语言和多语言的情感识别英语和法语的语音数据具有相似的特点，在互动（人与人的对话）。此外，我们探索了微调预训练的跨语言模型的可能性，只有少量的样本从目标语言，这是非常感兴趣的低资源语言。为了更深入地了解部署的卷积神经网络所学习的内容，我们对网络内部的注意力机制进行了分析。
2018-03-01 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
LLM-ForcedAligner: A Non-Autoregressive and Accurate LLM-Based Forced Aligner for Multilingual and Long-Form Speech
College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
LLM-ForcedAligner通过非自回归方法实现多语言和长文本语音的准确强制对齐，显著减少时间偏移。
2026-01-30 cs.SD eess.AS
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；LIG（格勒诺布尔信息学实验室）；Facebook AI（脸书人工智能）；Naver Labs Europe（Naver欧洲实验室）
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数，并在层之间注入轻量级模块，从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时，本文提出了多语言语音翻译（ST）适配器的全面分析。从不同的预训练模型开始（在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART（mBART）），我们表明适配器可用于：（a）以参数方面的低额外成本将ST有效地专门化为特定语言对，以及（b）从自动语音识别（ASR）任务和mBART预训练模型转换为多语言ST任务。实验表明，适配器调整提供了与完全微调相竞争的结果，同时参数效率更高。
2021-07-12 cs.CL
Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations
National Institute of Technology, Trichy（印度Trichy国家理工学院）；Indian Institute of Technology, Madras（印度Madras理工学院）
分析基于BigVGAN的单元声码器在多语言多说话人语音生成中的表现，发现聚类大小控制可懂度，显式说话人条件防止身份崩溃，语言监督在低聚类大小时有益。
2026-06-04 cs.AI cs.CL cs.SD
One Model, Many Languages: Meta-learning for Multilingual Text-to-Speech
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）
我们介绍了一种多语言语音合成的方法，它使用上下文参数生成的元学习概念，并使用更多的语言和更少的训练数据比以前的方法产生自然的多语言语音。我们的模型基于Tacotron 2，具有完全卷积的输入文本编码器，其权重由单独的参数生成器网络预测。为了增强语音克隆，该模型使用了一个带有梯度反转层的对抗性说话者分类器，该梯度反转层可以从编码器中删除特定于说话者的信息。我们安排了两个实验，使用不同水平的跨语言参数共享将我们的模型与基线进行比较，以评估：（1）在少量数据上训练时的稳定性和性能，（2）发音准确性和代码切换合成的语音质量。在训练中，我们使用了CSS10数据集和基于五种语言的通用语音录音的新的小数据集。我们的模型被证明可以有效地跨语言共享信息，并且根据主观评估测试，它产生比基线更自然和准确的码切换语音。
2020-08-03 cs.CL cs.LG eess.AS
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA（谷歌（美国））
我们提出了mSLAM，一种多语言语音和语言模型，它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合，以及配对语音和转录数据的连接主义时间分类（CTC）损失，以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM，发现与仅语音预训练相比，与文本的联合预训练提高了语音翻译，语音意图分类和语音语言识别的质量，同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译，而无需看到任何文本翻译数据，为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调，通过在微调过程中直接利用文本翻译数据，进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战，为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Model
Google, Inc.（谷歌公司）
多语言端到端（E2E）模型在扩展自动语音识别（ASR）对世界语言的覆盖方面显示出巨大的前景。它们已经显示出对单语系统的改进，并且通过消除特定于语言的声学，发音和语言模型来简化训练和服务。这项工作提出了一个E2E多语言系统，该系统配备了低延迟的交互式应用程序，以及处理现实世界的数据的一个关键挑战：跨语言的训练数据的不平衡。使用九种印度语言，我们比较了各种技术，并发现在一个语言向量和训练语言特定的适配器层的条件相结合，产生最好的模型。由此产生的E2E多语言模型实现了比单语E2E模型（九种语言中的八种）和单语传统系统（所有九种语言）更低的单词错误率（WER）。
2019-09-11 cs.LG cs.SD eess.AS
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer
NVIDIA（英伟达）
提出一种多语言音视频语音识别模型，采用混合CTC/RNN-T架构的Fast Conformer，扩展训练数据，在LRS3上WER达0.8%，在MuAViC上平均WER降低11.9%，支持音频、视觉及音视频识别。
2024-03-14 cs.AI cs.CV cs.MM
Transformer-Encoder Trees for Efficient Multilingual Machine Translation and Speech Translation
Worcester Polytechnic Institute（沃斯特理工学院）
本文提出Transformer-编码树(TET)，通过共享相似语言的中间表示提升低资源语言准确率，减少计算冗余，实现单次前向传递生成所有目标语言，比传统多语言设计减少66%参数和60%推理计算。
2026-09-01 cs.AI cs.CL
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research（Meta人工智能研究院）
本文提出首个支持多种目标语言的多语言S2ST系统，通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器，在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training
University of Stuttgart（斯图加特大学）
针对大语言模型难以应用于语音领域的问题，提出融合多语言大语言模型与语音编码器的BLOOMZMMS模型，通过多指令训练实现知识跨模态迁移，在139种语言的多任务零样本评估中表现鲁棒。
2024-04-16 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research（Facebook AI研究院）
在本文中，我们描述了我们的端到端多语言语音翻译系统，该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先，我们利用通用的多语言模块，这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后，我们的多语言模型在语音翻译任务特定的数据上进行微调，以达到最佳的翻译结果。实验结果表明，我们的系统优于报告的系统，包括端到端和级联的方法，由一个很大的利润。在某些翻译方向上，我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
Enhancing Multilingual Speech Recognition through Language Prompt Tuning and Frame-Level Language Adapter
Meituan（美团）
本文针对多语言语音识别提出语言提示微调和帧级语言适配器两种参数高效方法，分别提升语言可配置与语言无关场景下的识别性能，并在七种语言上验证了显著效果。
2023-09-19 cs.CL cs.SD eess.AS
MLS: A Large-Scale Multilingual Dataset for Speech Research
Facebook AI Research（脸书人工智能研究院）
本文介绍了多语言LibriSpeech（MLS）数据集，这是一个适合语音研究的大型多语言语料库。该数据集来自LibriVox的有声读物，由8种语言组成，包括大约44.5K小时的英语和大约6K小时的其他语言。此外，我们还为数据集中的所有语言提供语言模型（LM）和基线自动语音识别（ASR）模型。我们相信这样一个大的转录数据集将为ASR和文本到语音（TTS）研究开辟新的途径。该数据集将在http://www.openslr.org上免费提供给任何人。
2020-12-19 cs.CL cs.SD eess.AS
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance（字节跳动）
本文提出利用IPA多语言模型生成帧级伪标签，以音素信息指导方式引导HuBERT预训练，在低资源ASR任务中持续优于标准HuBERT，节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
Speech-MASSIVE: A Multilingual Speech Dataset for SLU and Beyond
University of Trento（特伦托大学）；NAVER LABS Europe（NAVER欧洲实验室）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文构建涵盖12种语言的多模态多任务数据集 Speech-MASSIVE，支持 SLU 基线评测及语音转写、语言识别、语音翻译等任务。
2024-08-07 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Multilingual Simultaneous Speech Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为会议等活动期间的同步语音翻译而设计的应用程序需要在显示翻译文本时平衡质量和延迟，以提供良好的用户体验。构建在线口语翻译系统的一种常见方法是利用为离线语音翻译构建的模型。基于一种适应端到端单语模型的技术，我们研究了多语言模型和不同的架构（端到端和级联）执行在线语音翻译的能力。在多语言TEDx语料库，我们表明，该方法推广到不同的架构。我们看到不同语言和架构在延迟减少方面有类似的收益（相对40%）。然而，在适应在线模式后，端到端架构导致的翻译质量损失较小。此外，该方法甚至可扩展到zero-shot方向。
2022-03-29 cs.CL cs.SD eess.AS
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation（英特尔公司）；SIL International（SIL国际）
由于资源限制，在边缘设备上运行自动语音识别（ASR）并非易事，特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一，每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的，我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
Zambezi Voice: A Multilingual Speech Corpus for Zambian Languages
University of Zambia（赞比亚大学）；George Mason University（乔治梅森大学）
本研究推出首个面向赞比亚语言的开源多语言语音语料库Zambezi Voice，含160小时未标注与超80小时标注语音数据，通过微调Wav2Vec2.0构建语音识别基线模型，数据集已公开发布。
2023-06-13 cs.CL cs.SD eess.AS
CAMEO: Collection of Multilingual Emotional Speech Corpora
Adam Mickiewicz University（亚当·密茨凯维奇大学）
CAMEO是一个多语言情感语音数据集，旨在提供标准化基准以评估不同语言和情感状态下的语音情感识别系统。
2026-01-27 cs.CL cs.SD eess.AS
Efficient neural speech synthesis for low-resource languages through multilingual modeling
ReadSpeaker（ReadSpeaker公司）
神经TTS的最新进展导致了可以产生高质量合成语音的模型。然而，这些模型通常需要大量的训练数据，这使得产生具有所需质量的新语音的成本很高。虽然多说话人建模可以减少新语音所需的数据要求，但这种方法通常不适用于许多缺乏丰富多说话人数据的低资源语言。因此，在本文中，我们研究了多语言多说话者建模在多大程度上可以替代单语多说话者建模，并探讨了如何将外语数据与低资源语言数据最好地结合起来。我们发现多语言建模可以增加低资源语言语音的自然度，表明多语言模型可以产生与单语多说话者模型相当的自然度，并看到目标语言自然度受到用于添加外语数据的策略的影响。
2020-08-20 cs.CL cs.SD eess.AS
