Generating Multilingual Voices Using Speaker Space Translation Based on Bilingual Speaker Data
Apple（苹果公司）
我们目前的双语文本到语音，这是能够转换单语语音讲第二语言，同时保持扬声器的语音质量的进展。我们表明，双语扬声器嵌入空间包含一个单独的分布，为每种语言和扬声器嵌入所产生的扬声器空间中的一个简单的变换可以用来控制的程度口音的合成语音的语言。同样的变换甚至可以应用于单语说话者。在我们的实验中，使用来自英语-西班牙语（墨西哥）双语扬声器的扬声器数据，目标是使英语扬声器讲西班牙语和西班牙语扬声器讲英语。我们发现，简单的变换足以将语音从一种语言转换为另一种语言，具有高度的自然性。在一种情况下，转换后的声音在听力测试中优于母语声音。实验进一步表明，该变换保留了原始语音的许多特征。可以控制重音的程度，并且自然度在重音值的范围内相对一致。
2020-04-10 cs.CL cs.LG cs.SD
Towards Natural Bilingual and Code-Switched Speech Synthesis Based on Mix of Monolingual Recordings and Cross-Lingual Voice Conversion
Alibaba Group（阿里巴巴集团）
最近的国家的最先进的神经文本到语音（TTS）合成模型，显着提高了可懂度和自然度的生成语音的文本。然而，建立一个良好的双语或代码转换的TTS为特定的声音仍然是一个挑战。主要原因是，它是不容易获得一个双语语料库的发言者谁达到母语水平的流利性，在两种语言。在本文中，我们探讨了使用普通话语音录音从普通话扬声器，英语语音录音从另一个英语扬声器，以建立高品质的双语和代码切换TTS为两个扬声器。基于Tacotron 2的跨语言语音转换系统被用来生成汉语人的英语语音和英语人的汉语语音，它们表现出良好的自然度和说话人相似度。然后，使用Transformer模型合成的码切换话语来增强所获得的双语数据。在此基础上，本文采用Tacotron 2、Transformer和FastSpeech三种神经元TTS模型分别构建了双语和语码转换的TTS系统。主观评价结果表明，这三个系统都可以产生（近）母语水平的语音在两种语言的每个扬声器。
2020-10-16 cs.LG cs.SD eess.AS
End-to-End Speech to Intent Prediction to improve E-commerce Customer Support Voicebot in Hindi and English
Flipkart（Flipkart（弗利普卡特））
本文提出一种基于预训练ASR模型微调的端到端语音到意图模型，用于印地语和英语双语电商客服语音机器人，在F1分数上比传统流水线相对提升约27%。
2022-10-26 cs.CL cs.HC cs.LG
From Voice to Safety: Language AI Powered Pilot-ATC Communication Understanding for Airport Surface Movement Collision Risk Assessment
Department of Aerospace Engineering and Engineering Mechanics（航空航天工程与工程力学系）
本文提出语言AI驱动的飞行员-ATC通信理解框架，结合规则增强NER与时空碰撞风险建模，实现机场场面移动碰撞风险的实时评估。
2025-09-30 cs.SD eess.AS
Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
Carnegie Mellon University（卡内基梅隆大学）；FAU Erlangen-Nürnberg（弗赖堡大学埃尔兰根-纽伦堡分校）；Universidad de Antioquia（安东尼奥基亚大学）；TU Delft（代尔夫特理工大学）；Fortemedia（福特媒体）
针对低资源语言构音障碍语音识别数据稀缺问题，本文微调语音转换模型生成构音障碍样语音，增强多语言ASR，在三种语言上显著优于传统方法。
2025-09-25 cs.CL cs.SD eess.AS
Cross-lingual Multi-speaker Text-to-speech Synthesis for Voice Cloning without Using Parallel Corpus for Unseen Speakers
我们研究了一种新的跨语言多说话人文本转语音合成方法，用于生成高质量的本地或口音的语音，为本地/外国看到/看不见的发言人在英语和普通话。该系统由三个单独训练的组件组成：x矢量扬声器编码器，基于Tacotron的合成器和WaveNet声码器。它以3种嵌入为条件：（1）说话人嵌入，以便系统可以用来自许多说话人的语音进行训练，而每个说话人的数据很少;（2）具有共享音素输入的语言嵌入;（3）重音和音调嵌入，提高了合成语音的自然度，特别是对于像普通话这样的音调语言。通过调整各种嵌入，MOS结果表明，我们的方法可以生成高质量的自然和可理解的母语语音的母语/外国看到/看不见的扬声器。口音语音的可懂度和自然度低于预期。说话人相似性对母语者的母语语音有好处。有趣的是，说话人相似性对外国人的口音也有好处。我们还发现，在许多情况下，通过L2范数归一化或白化对说话人嵌入x向量进行归一化可以大大提高输出质量，并且WaveNet的性能似乎与语言无关：我们的WaveNet是用粤语语音训练的，可以很好地用于生成普通话和英语语音。
2019-11-26 eess.AS
First Steps Towards Voice Anonymization for Code-Switching Speech
本文首次研究语码转换语音的匿名化，构建两个语料库并适配多语言匿名化模型，实验表明只有该多语言系统能兼顾隐私与效用。
2025-07-02 eess.AS
$τ$-Multilingual: Benchmarking Voice Agents Across Languages
Sierra；Mercor；Princeton University（普林斯顿大学）
提出τ-Multilingual多语言语音代理基准，扩展至五种语言，发现韩语和普通话任务完成度显著下降，并发布语言包与评估工具。
2026-09-30 cs.AI cs.CL cs.SD
1000 African Voices: Advancing inclusive multi-speaker multi-accent speech synthesis
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用实验室）；Intron Health（Intron健康公司）；Amazethu Research（Amazethu研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；AI Saturdays Lagos（拉各斯AI周六组织）；University of Pretoria（比勒陀利亚大学）；University of Minnesota - Twin Cities（明尼苏达大学双城分校）；Luleå University of Technology（吕勒奥理工大学）；Masakhane NLP（马萨卡内自然语言处理组织）
针对非洲语音在语音合成系统中代表性不足的问题，提出首个泛非洲口音英语语音合成系统Afro-TTS，支持86种非洲口音和1000个角色，并验证了说话人插值创造新语音的有效性。
2024-06-27 cs.CL eess.AS
Analysis of Voice Conversion and Code-Switching Synthesis Using VQ-VAE
本文提出了一种分析的语音合成的质量，同时执行语音转换和语言代码切换使用多语种VQ-VAE语音合成在德语，法语，英语和意大利语。在本文中，我们利用VQ代码索引表示电话信息VQ-VAE进行代码切换和VQ扬声器代码进行语音转换在一个单一的系统与神经声码器。我们的分析考察了语码转换的几个方面，包括语言转换的数量和每个转换所涉及的单词数量。我们发现，语音合成质量下降后，增加的话语内的语言切换的数量和减少的单词的数量。我们还发现了一些证据的口音转移时，进行语音转换跨语言观察时，扬声器的原始语言不同于合成目标话语的语言。我们目前的结果，从我们的听力测试和讨论固有的困难，评估口音转移语音合成。我们的工作突出了使用像VQ-VAE这样的半监督端到端系统来处理多语言合成的一些局限性和优势。我们的工作提供了深入了解为什么多语言语音合成是具有挑战性的，我们提出了一些方向，扩大在这一领域的工作。
2022-03-28 eess.AS
Learning to Speak Fluently in a Foreign Language: Multilingual Speech Synthesis and Cross-Language Voice Cloning
Google（谷歌）
我们提出了一个多说话人，多语言的文本到语音（TTS）合成模型的基础上，Tacotron，能够产生高质量的语音在多种语言。此外，该模型能够跨语言传输语音，例如使用英语说话者的语音合成流利的西班牙语语音，而无需对任何双语或并行示例进行训练。这种迁移可以跨远亲语言工作，例如英语和普通话。实现这一目标的关键是：1。使用音素输入表示来鼓励跨语言共享模型容量，以及2.结合对抗损失项以鼓励模型将其说话者身份的表示（其与训练数据中的语言完全相关）从语音内容中分离出来。通过对每种语言的多个说话者进行训练，并结合自动编码输入以帮助在训练期间稳定注意力，进一步扩大模型，从而产生一种模型，该模型可用于一致地合成可理解的语音，用于训练在训练期间看到的所有语言的训练说话者，以及母语或外国口音。
2019-07-24 cs.CL cs.SD eess.AS
Wanna hear your voice? A sample is all we need!
针对低资源语言目标说话人提取的数据不足问题，提出 WHYV 跨语言零样本框架，通过调频门控机制降低语言依赖，并在英语与越南语数据集上取得先进性能。
2025-06-09 eess.AS
The Emotional Voices Database: Towards Controlling the Emotion Dimension in Voice Generation Systems
Northeastern University（东北大学）；University of Mons（蒙斯大学）
在本文中，我们提出了一个数据库的情感语音打算是开源的，用于合成和生成的目的。它包含男性和女性演员的数据在英语和法语的男性演员。该数据库涵盖了5个情感类，因此它可以适合于构建具有连续控制情感维度潜力的合成和语音转换系统。我们通过构建一个简单的MLP系统将中性语音风格转换为愤怒语音风格，并通过CMOS感知测试对其进行评估，从而展示了数据的有效性。尽管该系统是一个非常简单的系统，但测试显示了数据的有效性，这是有希望的未来工作。
2018-06-25 cs.AI cs.CL eess.AS
SPIRE-SIES: A Spontaneous Indian English Speech Corpus
本文提出了170.83小时的众包自发性印度英语语音语料库SPIRE-SIES，采用图像刺激诱导自发语音，并通过VAD分割、性别验证和图像语义相关性验证语料质量，其中23小时转录文本可作为自发性语音ASR基准。
2023-12-01 eess.AS
Multilingual Turn-taking Prediction Using Voice Activity Projection
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文研究语音活动投影（VAP）在多语言对话中的话轮转换预测，发现多语言模型性能与单语模型相当，并学会辨别语言，同时分析了音高敏感性和两种音频编码器。
2024-03-14 cs.CL cs.SD eess.AS
StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion
Columbia University（哥伦比亚大学）
我们提出了一种无监督的非并行多对多语音转换（VC）方法，使用生成对抗网络（GAN）称为StarGAN v2。使用对抗源分类器损失和感知损失的组合，我们的模型显着优于以前的VC模型。虽然我们的模型只训练了20名英语使用者，但它可以推广到各种语音转换任务，例如任意到多个，跨语言和唱歌转换。使用风格编码器，我们的框架还可以将普通阅读语音转换为风格语音，如情感语音和假声语音。主观和客观的评价实验的非并行多对多语音转换任务显示，我们的模型产生自然的声音，接近最先进的文本到语音（TTS）的语音转换方法，而不需要文本标签的声音质量。此外，我们的模型是完全卷积的，并且具有比实时更快的声码器，如并行WaveGAN，可以执行实时语音转换。
2021-07-23 cs.LG cs.SD eess.AS
DeepFry: Identifying Vocal Fry Using Deep Neural Networks
Technion--Israel Institute of Technology（以色列理工学院）；Bar-Ilan University（巴伊兰大学）；Northwestern University（西北大学）；University of York（约克大学）
嗓音脆或吱吱声是指以不规则的声门开口和低音调为特征的声音质量。它出现在不同的语言中，在美国英语中很普遍，它不仅用于标记短语的结尾，而且还用于社会语言学因素和影响。由于其不规则的周期性，吱吱声挑战了自动语音处理和识别系统，特别是对于经常使用吱吱声的语言。本文提出了一种深度学习模型来检测流利语音中的吱吱声。该模型由一个编码器和一个分类器一起训练。编码器获取原始波形并使用卷积神经网络学习表示。该分类器被实现为一个多头全连接网络，经过训练可以检测吱吱声、浊音和音高，其中后两个用于改进吱吱声预测。该模型是训练和测试的美国英语说话者的语音，由受过训练的语音学家为吱吱声注释。我们使用两个编码器评估了系统的性能：一个是为任务量身定制的，另一个是基于最先进的无监督表示。结果表明，与以前的方法相比，我们性能最好的系统在看不见的数据上提高了召回率和F1分数。
2022-06-26 cs.LG cs.SD eess.AS
Effects of language mismatch in automatic forensic voice comparison using deep learning embeddings
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of Public Service（国家公共服务大学）
本文研究英语预训练深度学习说话人嵌入在匈牙利语法庭语音比对中的跨语言适用性，发现大语料预训练模型对语言不匹配样本仍表现良好，且样本时长越长性能越好，说话风格影响不大。
2022-09-26 cs.CL cs.SD eess.AS
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
本文提出自回归神经编解码语言模型VoiceCraft-X，基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务，在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
EmoCat: Language-agnostic Emotional Voice Conversion
Amazon（亚马逊）
情感语音转换模型在不改变说话人身份或语言内容的情况下适应语音中的情感。与文本到语音模型相比，它们对数据的需求更少，并且可以为下游任务生成大量的情感数据。在这项工作中，我们提出了一个与语言无关的情感语音转换模型-Cat。它通过利用美国英语中的大量情感数据，在不到45分钟的德语情感录音中实现了高质量的德语情感转换。PencilCat是一个基于CopyCat的编码器-解码器模型，CopyCat是一个传输韵律的语音转换系统。我们使用对抗训练来消除从编码器到解码器的情感泄漏。对抗训练通过对梯度反转的新贡献来改进，以真正反转梯度。这允许仅移除泄漏信息，并以更高的转换性能收敛到更好的最优值。评估表明，Mascat可以转换为不同的情绪，但与录音相比，情绪强度有所下降，特别是对于非常富有表现力的情绪。在六种测试的情感强度中，有五种的音频质量与录音相当。
2021-01-14 cs.SD eess.AS
Latent linguistic embedding for cross-lingual text-to-speech and voice conversion
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（高等研究生院大学））
由于最近提出的语音克隆系统，NAUTILUS，是能够克隆看不见的声音使用未转录的语音，我们调查的可行性，使用它来开发一个统一的跨语言的TTS/VC系统。跨语言语音生成是指用目标说话人的声音生成一种非母语的语音。这种类型的系统不是简单地克隆目标说话者的声音，而是在特定的框架下创建一个可以被认为比原始声音更好的新声音。通过使用经过良好训练的英语潜在语言嵌入来为2020年语音转换挑战赛中的几个德语，芬兰语和普通话使用者创建跨语言TTS和VC系统，我们表明我们的方法不仅可以创建具有高说话者相似性的跨语言VC，而且可以无缝地用于跨语言TTS，而无需执行任何额外的步骤。然而，主观评价的感知自然度似乎不同的目标扬声器，这是未来的改进之一。
2020-10-08 cs.CL cs.SD eess.AS
Voice Quality Dimensions as Interpretable Primitives for Speaking Style for Atypical Speech and Affect
AppleUSA（苹果公司）
本文针对七个语音和话语维度开发并评估了语音质量模型，在SAP数据集上训练探针，验证了其出色的跨类别泛化能力，并在多语言非典型语音和情感语音数据集上实现了出色的零样本性能，证明了语音质量维度在语音风格任务中的实用性。
2025-05-27 cs.LG cs.SD eess.AS
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.（索尼印度私人有限公司研究院）；Indraprastha Institute of Information Technology (IIIT)（因德拉普拉斯信息技术学院（IIIT））
本文提出VECL-TTS端到端跨语言语音合成系统，同时控制语音身份与情感风格，并通过内容与风格一致性损失提升合成质量，在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
Zero-shot Cross-lingual Voice Transfer for TTS
Google LLC（谷歌公司）
提出零样本语音迁移模块，通过说话人编码器、瓶颈层和残差适配器实现多语言TTS系统中的跨语言语音迁移，在九种目标语言中达到73%相似度，并成功恢复构音障碍者语音。
2024-09-20 cs.SD eess.AS
Voice Biomarker Analysis and Automated Severity Classification of Dysarthric Speech in a Multilingual Context
Seoul National University（首尔国立大学）；Graduate School of Linguistics（语言学研究生院）
针对构音障碍评估的单语言局限，提出一种分析英语、韩语和泰米尔语的多语言严重程度分类方法，以支持临床决策。
2024-12-01 cs.CL cs.SD eess.AS
Building Bilingual and Code-Switched Voice Conversion with Limited Training Data Using Embedding Consistency Loss
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）；Wuhan University（武汉大学）；Advanced Computing East China Sub-center（先进计算华东分中心）
长期以来，为多个说话者和多种语言构建跨语言语音转换（VC）系统一直是一项具有挑战性的任务。本文描述了一种并行的非自回归网络，以实现双语和代码切换的语音转换，多个扬声器时，只有单语种语料库的每种语言。通过应用双语瓶颈特征，实现了多说话人汉语语音和多说话人英语语音的跨语言VC。为了提高语音克隆的性能，我们使用一个带有梯度反转层的对抗性说话人分类器来减少编码器输出中的源说话人信息。此外，为了提高参考语音和转换语音之间的说话人相似性，我们在我们的网络中采用合成语音和其自然参考语音之间的嵌入一致性损失。实验结果表明，我们提出的方法可以实现高质量的转换语音的平均意见得分（MOS）约4。该转换系统在说话人相似度方面表现良好，无论是集内说话人转换还是集外一次转换。
2021-04-22 cs.SD eess.AS
Luganda Speech Intent Recognition for IoT Applications
Makerere University（马凯雷雷大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）
本研究针对低资源语言卢干达语在物联网智能家居中的支持不足问题，开发了一种基于Raspberry Pi部署、采用MFCC特征和Conv2D架构的卢干达语语音意图分类系统，并开源了相关数据集，解决了本地化挑战。
2024-05-16 cs.AI cs.CL cs.SD
CrossSinger: A Cross-Lingual Multi-Singer High-Fidelity Singing Voice Synthesizer Trained on Monolingual Singers
Beijing Bombax XiaoIce Technology Co., Ltd（北京木棉小冰科技有限公司）；National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出基于XiaoiceSing2的跨语言歌声合成器CrossSinger，通过IPA统一表示、条件层归一化融入语言信息及梯度反转层去除歌手偏差，在单语歌手数据上实现多歌手高保真跨语言歌声合成。
2023-09-22 cs.SD eess.AS
Zero-Shot Face-to-Speech Synthesis via Latent Space Adaptation of a Style-Diffusion TTS Model
Universitat Oberta de Catalunya (UOC)（开放加泰罗尼亚大学（UOC））；Monoceros Labs（麒麟座实验室）；University of Granada（格拉纳达大学）
该研究提出基于StyleTTS 2的人脸到语音合成框架，通过人脸适配器实现静态人脸到语音的零样本生成，在LRS3数据集上验证了效果，且映射具有语言无关性。
2026-07-30 cs.AI cs.SD eess.AS
A Device to Control and Manipulate Occlusion Effects for Own Voice Perception Studies
Institute for Hearing Technology and Acoustics, RWTH Aachen University（听力技术与声学研究所，亚琛工业大学）
本文提出一种基于改进商用耳罩的装置，可分别控制插入损耗和闭塞增益，以可重复地模拟任意闭塞效应曲线，用于自身声音感知研究。
2026-09-14 eess.AS
I Know You're Listening: Adaptive Voice for HRI
Faculty of Applied Sciences（应用科学学院）；School of Computing Science（计算科学学院）；FEMTO-ST Institute Centre national de la recherche scientifique (CNRS)（FEMTO-ST研究所，国家科学研究中心）；Centre national de la recherche scientifique (CNRS)（国家科学研究中心）
本研究针对语言教学机器人专用合成语音研究不足的问题，基于微调的Matcha-TTS提出三项贡献：用表情提示生成轻量实时的表现力语音、根据环境调整音高提升适配性、增设二语清晰度模式优化元音时长以提升二语听者理解效果。
2025-07-30 cs.HC cs.RO cs.SD
A Comparative Study of Voice Conversion Models with Large-Scale Speech and Singing Data: The T13 Systems for the Singing Voice Conversion Challenge 2023
Nagoya University（名古屋大学）；LINE Corp.（LINE公司）
本研究面向2023年歌唱语音转换挑战赛，提出基于扩散模型的任意到任意语音转换T13系统，先利用750小时大规模语音歌唱数据预训练再针对目标对象微调，在跨域任务中取得有竞争力的效果，验证了大数据对跨域SVC的增益。
2023-10-08 cs.CL cs.LG cs.SD
Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University（哈利法大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）；University of Sharjah（沙迦大学）
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法，将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件，从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法，使用预先训练的深度神经网络掩码和语音VGG，在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能，在瑞尔森视听数据集（RAVDESS）、模拟和实际压力下的语音数据集（SUSAS）和阿拉伯口音语音数据集（ESD）上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Real-Time Neural Voice Camouflage
Columbia University（哥伦比亚大学）
自动语音识别系统为应用创造了令人兴奋的可能性，然而它们也为系统窃听提供了机会。我们提出了一种方法来伪装一个人的声音在空中从这些系统，而不干扰房间里的人之间的对话。标准的对抗攻击在实时的【形】流情况下是无效的，因为信号的特征在攻击执行时已经改变。我们引入了预测攻击，它通过预测未来最有效的攻击来实现实时的【形】性能。在实时的【形】约束下，我们的方法对已建立的语音识别系统DeepSpeech的干扰比通过单词出错率测量的基线多3.9倍，通过字符出错率测量的基线多6.6倍。我们还证明了我们的方法是实际有效的，在现实环境中的物理距离。
2022-02-16 cs.LG cs.SD eess.AS
Multimodal Deep Learning for ATCO Command Lifecycle Modeling and Workload Prediction
针对ATCO指令生命周期中指令与飞机机动的时间偏移及指令持续时间估计问题，提出整合多模态数据的CNN-Transformer集成模型，构建高质量数据集并实现准确预测，为智能指令生成及工作负荷管理提供支持。
2025-09-04 cs.AI cs.CV cs.LG
Contextual Semi-Supervised Learning: An Approach To Leverage Air-Surveillance and Untranscribed ATC Data in ASR Systems
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；ReplayWell（ReplayWell公司）
空中交通管理，特别是空中交通管制（ATC）主要依赖于空中交通管制员（ATCos）和飞行员之间的语音通信。在大多数情况下，这些语音通信遵循可以在自动语音识别（ASR）技术中利用的定义良好的语法。用于称呼飞机的呼号是所有ATCo-飞行员通信的重要组成部分。我们提出了一个两步的方法，在半监督训练过程中添加上下文知识，以降低ASR系统在识别包含呼号的话语部分时的出错率。最初，我们表示在WFST的上下文知识（即空中监视数据）的ATCo飞行员通信。然后，在半监督学习（SSL）期间，通过第二遍解码（即，格重新评分）添加上下文知识。结果表明，“看不见的域”（例如，来自机场的数据不存在于监督训练数据）进一步协助上下文SSL相比，独立的SSL。对于这项任务，我们引入呼号字出错率（CA-WER）作为评估指标，它只评估语音呼号在话语中的ASR性能。我们获得了32.1%的CA-WER相对改善应用SSL与额外的17.5%的CA-WER改善通过添加上下文知识在SSL期间从LiveATC收集的具有挑战性的基于ATC的测试集。
2021-08-27 cs.CL cs.CV cs.LG
CommonAccent: Exploring Large Acoustic Pretrained Models for Accent Classification Based on Common Voice
Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；Texas A&M University（得克萨斯农工大学）；Vilnius Gediminas Technical University（维尔纽斯盖迪米纳斯技术大学）；Université Laval（拉瓦尔大学）；Concordia University（康考迪亚大学）；Mila-Québec AI Institute（米拉-魁北克人工智能研究所）
本文基于 Common Voice 数据集，利用 ECAPA-TDNN 和 Wav2Vec 2.0/XLSR 架构构建多语言口音分类方法，在英语口音分类上达到 95% 准确率的新最优结果，并开源了 SpeechBrain 配方。
2023-05-29 cs.AI cs.CL cs.LG
Grammar Based Speaker Role Identification for Air Traffic Control Speech Recognition
Idiap Research Institute（Idiap研究所）；Brno University of Technology（布尔诺理工大学）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Zurich（苏黎世大学）；German Aerospace Center (DLR)（德国航空航天中心）
用于空中交通管制的自动语音识别（ASR）通常通过将空中交通管制员（ATCO）和飞行员数据汇集到一个集合中来训练。这是因为飞行员的语音通信比ATCO更稀缺。由于这种数据不平衡和其他原因（例如，在不同的声学条件下），ATCO的语音通常比飞行员的语音识别得更准确。自动识别说话者角色是一项具有挑战性的任务，特别是在使用甚高频（VHF）接收器收集的嘈杂语音记录的情况下，或者由于一键通（PTT）信号的不可用，即，两个音频通道被混合。在这项工作中，我们建议（1）自动分割ATCO和飞行员数据的基础上，利用ASR成绩单的直观方法和（2）随后考虑自动识别ATCO和飞行员的声音作为两个独立的任务。我们的工作是在具有高噪声水平的VHF音频数据上进行的，即，信噪比（SNR）低于15 dB，因为该数据被认为有助于各种基于语音的机器学习任务。具体而言，对于扬声器的角色识别任务，该模块是由一个简单而有效的知识为基础的系统，利用国际民用航空组织（ICAO）定义的语法。系统接受文本作为输入，无论是手动验证的注释还是自动生成的抄本。所开发的方法提供了约83%的说话人角色识别的平均准确率。最后，我们证明了单独训练ASR任务的声学模型（即，ATCO和飞行员的单独模型）或使用多任务方法非常适合噪音数据，并且优于将所有数据汇集在一起的传统ASR系统。
2022-12-14 cs.CL cs.LG eess.AS
Less Stress, More Privacy: Stress Detection on Anonymized Speech of Air Traffic Controllers
Saarland University（萨尔大学）
本文评估了在匿名化ATCO语音上进行压力检测的不同深度学习架构，在SUSAS和ATC模拟数据集上分别达到93.6%和80.1%的准确率，证明隐私保护不会阻碍高性能模型的构建。
2025-07-10 cs.CL cs.SD eess.AS
Description-based Controllable Text-to-Speech with Cross-Lingual Voice Control
LY Corporation（LY公司）
提出一种基于描述的跨语言可控TTS方法，通过结合目标语言TTS模型与另一语言的描述控制模型，并利用SSL共享解耦的音色与风格表示，在缺乏目标语言配对数据时实现高自然度与可控性的跨语言语音控制。
2024-09-26 cs.CL cs.LG cs.SD
The Voice Behind the Words: Quantifying Intersectional Bias in SpeechLLMs
1 Department of Speech, Music；Hearing, KTH Royal Institute of Technology, Sweden 2 Centre for Speech Technology Research, University of Edinburgh, UK 3 Texas A\&M University, USA
本研究通过2880次受控交互，评估三种语音大语言模型在六种英语口音和两种性别呈现中的口音与性别交叉偏见，发现东欧口音（尤其女性）获得更低有用性评分，且人类评估者比LLM评判更敏感。
2026-06-19 cs.CL cs.SD eess.AS
Synchronising speech segments with musical beats in Mandarin and English singing
Radboud University（拉德堡德大学）；University of Michigan（密歇根大学）
用语音数据训练的模型生成合成歌声具有许多优点，这是由于模型的灵活性和可控性。然而，由于语音训练数据中缺少关于片段和节拍之间的时间关系的信息，所以合成的歌唱有时听起来可能不合拍。因此，语音片段和音乐节拍之间的时间关系的信息的可用性是至关重要的。本研究以P-中心理论和响度层次理论为基础，对歌唱数据中的音段节拍同步现象进行了研究。一个普通话语料库和一个英语语料库的专业歌唱数据进行人工标注和分析。结果表明，音乐节拍的存在更依赖于段的持续时间比响亮。然而，响度等级和P中心理论与节拍的位置高度相关。普通话和英语表现出跨语言的差异，尽管表现出共同的模式。
2021-06-18 cs.CL cs.SD eess.AS
Sonos Voice Control Bias Assessment Dataset: A Methodology for Demographic Bias Assessment in Voice Assistants
Sonos Inc.（搜诺思公司）
本文发布了一个包含受控人口统计学标签的语音助手请求数据集及配套的统计偏差评估方法，利用口语理解指标发现最先进模型在年龄、方言和种族等维度上存在显著的性能差异。
2024-05-14 cs.CL cs.LG cs.SD
Iteratively Improving Speech Recognition and Voice Conversion
Sony Research India（索尼印度研究院）；Sony Group Corporation（索尼集团公司）
针对低数据资源下ASR模型训练困难的问题，提出一种迭代改进ASR与VC模型的框架，通过相互利用对方进行数据增强和微调，在英语歌唱和印地语语音低资源设置下优于基线模型。
2023-05-24 cs.AI cs.SD eess.AS
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们探讨了连续无声语音识别使用脑电图（EEG）信号。我们实现了一个连接主义的时间分类（CTC）的自动语音识别（ASR）模型，以翻译并行记录的EEG信号，而受试者正在阅读英语句子在他们的脑海中，没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果，有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
我们提出了自动编码说话人转换的训练数据增强自动语音翻译。这种技术直接转换音频序列，导致音频合成为类似于另一个说话者的声音。我们的方法相比毫不逊色SpecAugment英语$\to$法语和英语$\to$罗马尼亚语自动语音翻译（AST）的任务，以及低资源英语自动语音识别（ASR）的任务。此外，在消融中，我们展示了增强数据的数量和多样性的好处。最后，我们表明，我们可以结合我们的方法与增强机器翻译的成绩单，以获得一个有竞争力的端到端AST模型，优于一个非常强大的级联模型上的英语$\to$法国AST任务。我们的方法是足够的一般，它可以应用到其他语音生成和分析任务。
2020-02-27 cs.CL cs.SD eess.AS
Voice Conversion Based Speaker Normalization for Acoustic Unit Discovery
Paderborn University（帕德博恩大学）
纯粹从语音输入中发现与扬声器无关的声学单元是一个困难的问题。在这项工作中，我们提出了一个无监督的说话人归一化技术之前，单位发现。它是基于分离说话人相关的内容引起的变化，在语音信号与对抗性对比预测编码方法。这种技术既不需要转录的语音，也不需要扬声器标签，而且，可以以多语言的方式进行训练，从而实现扬声器标准化，即使只有很少的未标记的数据是从目标语言。说话人规范化是通过将所有的话语映射到一个代表整个数据库的medoid风格来完成的。我们证明了该方法的有效性进行声学单元发现与隐马尔可夫模型变分自动编码器注意到，但是，建议的扬声器归一化可以作为任何单位发现系统的前端。在英语、约鲁巴语和姆博希语上的实验表明，与使用非规范化输入相比，该方法有所改进。
2021-05-04 cs.CL cs.SD eess.AS
Voice Conversion Can Improve ASR in Very Low-Resource Settings
Stellenbosch University（斯泰伦博斯大学）
语音转换（VC）可以用来提高语音识别系统在低资源的语言，通过使用它来增加有限的训练数据。然而，由于实际问题，例如计算速度和转换时的限制，VC尚未广泛用于此目的。此外，目前还不清楚在一种资源丰富的语言上训练的VC模型是否可以应用于另一种资源较少的语言的语音，以实现数据增强的目的。在这项工作中，我们评估VC系统是否可以跨语言使用，以提高低资源语音识别。我们结合了几种最新的技术，设计和训练一个实用的VC系统在英语中，然后使用这个系统来增加数据的训练语音识别模型在几个低资源的语言。当使用一个合理的VC增强数据量，语音识别性能提高在所有四个低资源的语言考虑。我们还表明，基于VC的增强优于SpecAugment（一种广泛使用的信号处理增强方法）在低资源的语言考虑。
2022-06-21 cs.CL cs.SD eess.AS
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur（贝兰布尔印度科学教育与研究院（IISER））
自动语音识别是计算机科学和语言学的交叉学科应用，它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用，如高性能战斗机，直升机，空中交通管制员。除了军事领域，语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本（STT）的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech，它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统，它使用利用多个图形处理单元（GPU）的优化的递归神经网络（RNN）训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的，这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到，有几种英语口音因州而异。在这项工作中，我们使用了迁移学习方法，使用最新的深度语音模型，即，deepspeech-0.9.3，用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型，我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Selective Attention System (SAS): Device-Addressed Speech Detection for Real-Time On-Device Voice AI
Attention Labs
本文提出SAS系统，通过设备地址语音检测解决边缘部署中的语音识别问题，利用序列路由方法提升多说话人环境下的检测性能，实验显示融合音频视频信息可显著提升F1分数。
2026-04-09 cs.AI cs.SD eess.AS
An End-to-End Approach for Korean Wakeword Systems with Speaker Authentication
Dongguk University（东国大学）
本文提出一种端到端方法，利用OpenWakeWord和FCN架构为韩语训练唤醒词，并通过余弦相似度实现语音认证，实验获得16.79%和6.6%的等错误率，兼顾安全与准确。
2025-01-21 cs.AI cs.LG cs.SD
Developing vocal system impaired patient-aimed voice quality assessment approach using ASR representation-included multiple features
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；School of Informatics, Daido University（大同大学信息学研究科）；Nagoya University Graduate School of Medicine（名古屋大学大学院医学系研究科）；Aichi Gakuin University（爱知学院大学）；Nagoya University（名古屋大学）
本文提出利用预训练的ASR和自监督学习表示评估发声系统受损患者语音质量，在PVQD和STN-DBS数据集上取得高相关性与准确度。
2024-08-22 cs.AI cs.SD eess.AS
Towards Language-Independent Face-Voice Association with Multimodal Foundation Models
Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系）
本文提出了一种基于多模态基础模型的跨语言面容-语音关联方法，通过ImageBind与LoRA结合，实现了在未见过语言上的有效验证。
2025-12-02 cs.SD eess.AS eess.IV
