Robustness of end-to-end Automatic Speech Recognition Models -- A Case Study using Mozilla DeepSpeech
University of Duisburg-Essen（杜伊斯堡-埃森大学）
在评估自动语音识别模型的性能时，通常使用特定数据集内的单词出错率。在理解数据集时必须特别小心，以便报告真实的性能数字。我们认为，许多性能数据报告可能低估了预期的出错率。我们进行实验，控制选择偏差，性别以及重叠（训练和测试数据之间）的内容，声音和录音条件。我们发现，内容重叠的影响最大，但其他因素，如性别也发挥了作用。
2021-05-08 cs.CL cs.SD eess.AS
No Pitch Left Behind: Addressing Gender Unbalance in Automatic Speech Recognition through Pitch Manipulation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
针对ASR中女性数据不足导致的性别偏差，提出操控基频和共振峰的数据增强方法，在自发英语语音上使女性话语相对WER降低最高9.87%。
2023-10-10 cs.CL
Gender Identification using MFCC for Telephone Applications - A Comparative Study
Sejong University（世宗大学）；King Mongkut's University of Technology North Bangkok（北曼谷国王科技大学）
性别识别是自动语音识别和交互式语音应答系统的重要组成部分。确定说话者的性别减少了这种系统用于任何进一步处理的计算负担。从语音中识别性别的典型方法主要依赖于特征提取和分类过程。本研究的目的是评估各种最先进的分类方法的性能，以及调整其参数，以帮助选择最佳的分类方法进行性别识别任务。利用Mel频率倒谱系数对k-近邻、朴素贝叶斯、多层感知器、随机森林和支持向量机等5种分类方法进行了电话语音性别判别的综合评价。不同的实验进行，以确定训练数据的大小，语音流的长度，和参数调整对分类性能的影响。结果表明，支持向量机是最好的分类器中的所有五个方案的性别识别。
2016-01-07 cs.SD
Retrieving Speaker Information from Personalized Acoustic Models for Speech Recognition
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
能够收集其用户的语音的功能强大的个人设备的广泛使用为构建说话者自适应语音识别系统（ASR）或参与ASR的协作学习提供了机会。在这两种情况下，可以构建个性化的声学模型（AM），即具有特定扬声器数据的微调AM。一个自然出现的问题是，个性化声学模型的传播是否会泄露个人信息。在本文中，我们表明，它是可以检索的性别的扬声器，而且他的身份，只是利用权矩阵的变化，神经声学模型本地适应这个扬声器。顺便说一句，我们观察到的现象可能有助于在语音处理的背景下解释深度神经网络。性别几乎可以肯定地确定，只有使用第一层和说话人验证时，使用中间层。我们在TED-LIUM 3数据集上使用HMM/TDNN模型进行的实验研究表明，性别检测的准确率为95%，并且通过仅利用可以交换的个性化模型而不是用户数据的权重进行说话人验证任务的相等出错率为9.07%。
2021-11-07 cs.CL cs.SD eess.AS
Twists, Humps, and Pebbles: Multilingual Speech Recognition Models Exhibit Gender Performance Gaps
Instituto de Telecomunicações（电信研究所）；University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；Bocconi University（博科尼大学）
本文系统评估两个多语言ASR模型在19种语言上的性别性能差距，发现差距无法由声学或词汇属性解释，但与模型内部性别可区分性相关，并强调训练数据可及性和细致评估对缓解性别差距的重要性。
2024-10-03 cs.CL
Exploring Dynamic Parameters for Vietnamese Gender-Independent ASR
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Institute of Digital Research and Innovation, CADT（数字研究与创新研究所，CADT）
本研究针对越南语ASR，提出结合极坐标SSCF动态参数与MFCC、用SSCF0作F0伪特征的方法，有效降低词错率并提升性别无关性。
2025-07-30 cs.CL cs.SD eess.AS
Everyone deserves their voice to be heard: Analyzing Predictive Gender Bias in ASR Models Applied to Dutch Speech Data
Eindhoven University of Technology（埃因霍温理工大学）；Netherlands Organisation for Applied Scientific Research (TNO)（荷兰应用科学研究组织（TNO））
本研究分析了 Whisper 模型在荷兰语音数据上的预测性别偏见，发现不同性别群体在所有模型规模下均存在显著的词错误率差异，并探讨了其对自动字幕等服务公平性的影响。
2024-11-14 cs.CL
Quantifying Bias in Automatic Speech Recognition
Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）
自动语音识别（ASR）系统承诺提供对人类语音的客观解释。实践和最近的证据表明，最先进的（SotA）ASR与语音中的大变化作斗争，性别年龄语言障碍种族和口音许多因素会导致ASR系统的偏差。我们的首要目标是发现ASR系统中的偏见，以积极主动地减轻ASR中的偏见。本文是实现这一目标的第一步，系统地量化了荷兰SotA ASR系统对性别，年龄，地区口音和非母语口音的偏见。单词错误率进行比较，并进行深入的音素级错误分析，以了解偏见发生的地方。我们主要关注由于数据集中的清晰度差异而导致的偏倚。根据我们的研究结果，我们建议偏见缓解策略ASR的发展。
2021-04-01 cs.CL cs.SD eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University（西江大学）；Naver Corp.（NAVER公司）；Clova AI Research（Clova人工智能研究院）
通常，由于训练环境和测试环境之间的不匹配，自动语音识别（ASR）系统的性能显著降低。最近，提出了一种基于深度学习的图像到图像翻译技术，将图像从源域翻译到所需域，并应用循环一致性对抗网络（CycleGAN）来学习从说话人到目标说话人的语音到语音转换的映射。然而，该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量，因为它被设计为转换语音本身。在本文中，我们提出了一种基于生成对抗网络（GANs）的域自适应方法，具有解纠缠表示学习，以实现ASR系统的鲁棒性。特别是，两个独立的编码器，上下文和域编码器，引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR，将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外，与基于CycleGAN的方法类似，该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Unified Autoregressive Modeling for Joint End-to-End Multi-Talker Overlapped Speech Recognition and Speaker Attribute Estimation
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）；Nagaoka University of Technology（长冈技术科学大学）
提出了一种新的单通道多说话人重叠自动语音识别（ASR）系统建模方法。完全基于神经网络的端到端模型已经显著地提高了多接受者重叠ASR任务的性能。一种很有前途的端到端建模方法是自回归建模与序列化输出训练，其中多个扬声器的transmittance一个接一个地递归生成。这使我们能够自然地捕捉说话者之间的关系。然而，传统的建模方法不能显式地考虑个体话语的说话者属性，例如性别和年龄信息。事实上，当每个说话者是同一性别或年龄接近时，性能会恶化。为了解决这个问题，我们提出了统一的自回归建模联合端到端的多说话人重叠ASR和说话人属性估计。我们的核心思想是在统一的自回归模型中处理性别和年龄估计任务。在该方法中，基于变换的自回归模型不仅递归地生成文本标记，而且还生成每个说话人的属性标记。这使得我们能够有效地利用说话人属性来改善多说话人重叠ASR。在日语多人重叠ASR任务上的实验验证了该方法的有效性。
2021-07-04 cs.CL cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）
本文提出了一种端到端（E2 E）的自动语音识别（ASR）模型，该模型以鲁棒的语音识别为目标，称为增强语音输入的集成语音识别自监督学习表示（IRIS）。与传统的E2 E ASR模型相比，该模型集成了语音增强（SE）和自监督学习表示（SSLR）两个重要模块。SE模块增强带噪语音。然后，SSLR模块从增强的语音中提取用于语音识别（ASR）的特征。为了对模型进行训练，我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明，IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能（实际开发为2.0%，实际测试为3.9%），这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.（谷歌公司）
训练最先进的自动语音识别（ASR）模型通常需要大量的转录语音。在这项工作中，我们证明了一个模态匹配的联合语音和文本模型，可以利用训练一个大规模的多语言ASR模型，没有任何监督（手动转录）的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言，零监督语音，现实世界的设置，以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集，我们定义了覆盖$102$语言的任务，其中转录的语音在这些语言的$52$中可用，并且可以用于提高其余$50$上的端到端ASR质量。首先，我们表明，通过将语音表示与字节级文本表示相结合，并使用语言嵌入，我们可以显着降低字符出错率（CER）的语言没有监督语音从64.8%到30.8%，相对减少53%。其次，使用南亚语言的一个子集，我们表明，Maestro-U可以促进知识转移的语言与监督语音，即使有限制，没有字形重叠。总体而言，Maestro-U相对于Oracle的性能差距缩小了68.5%，并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译（S2 ST）模型遭受数据稀缺问题，因为与包括自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）合成的常规级联系统可用的数据量相比，几乎不存在并行S2 ST数据。在这项工作中，我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译（S2 UT）框架，该框架将目标语音编码为离散表示，并通过研究语音编码器和离散单元解码器的预训练，将适用于语音到文本翻译（S2 T）的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明，与平均6.6-12.1 BLEU增益的多任务学习相比，自监督预训练始终提高了模型性能，并且可以进一步与数据增强技术相结合，该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales（新南威尔士大学）
儿童语音识别是一个至关重要的领域，但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而，自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中，我们利用自我监督的成人语音表示，并使用三个著名的儿童语音语料库，建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能，检查跨域儿童语料库的效果，并调查微调模型所需的最小儿童语音量，该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明，微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明，只要5个小时的转录儿童的讲话，它是可能的微调儿童的语音识别系统，表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI（Facebook人工智能）
端到端语音到文本翻译可以提供更简单，更小的系统，但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据，并且已被证明在数据稀缺的情况下是有效的。在这项工作中，我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务，它们是否可以很好地转移到其他语言，以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合，例如使用预训练的高资源语音识别系统。我们证明，自我监督的预训练特征可以持续提高翻译性能，跨语言迁移允许扩展到各种语言，而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
Self-supervised Learning with Random-projection Quantizer for Speech Recognition
Google Research（谷歌研究院）
提出了一种简单有效的自监督学习方法用于语音识别。该方法学习一个模型来预测掩蔽的语音信号，以随机投影量化器生成的离散标签的形式。特别地，量化器用随机初始化的矩阵投影语音输入，并且在随机初始化的码本中进行最近邻查找。在自监督学习期间，矩阵和码本都不更新。由于随机投影量化器没有经过训练，并且与语音识别模型分离，该设计使得该方法灵活，并且与通用语音识别架构兼容。在LibriSpeech上，我们的方法实现了与以前使用非流模型的自监督学习的工作相似的单词错误率，并且提供了比wav 2 vec 2.0和w2 v-BERT更低的单词错误率和延迟。在多语言任务上，该方法也比wav 2 vec 2.0和w2 v-BERT提供了显着的改进。
2022-06-29 cs.CL cs.SD eess.AS
ASR Under the Stethoscope: Evaluating Biases in Clinical Speech Recognition across Indian Languages
本研究评估了印度多种语言中临床语音识别的偏见，发现不同模型在不同语言和人口群体中的表现差异显著，凸显了开发包容性ASR系统的重要性。
2025-11-30 cs.CL cs.SD eess.AS
DiscreteSLU: A Large Language Model with Self-Supervised Discrete Speech Units for Spoken Language Understanding
ASAPP；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出DiscreteSLU，用自监督编码器与k-means生成离散语音单元并适配LLM，提升跨领域口语理解与口语问答的指令遵循能力。
2024-06-13 cs.CL cs.SD eess.AS
Fast Development of ASR in African Languages using Self Supervised Speech Representation Learning
African Masters of Machine Intelligence（非洲机器学习硕士项目）；Naver Labs, Europe（欧洲 Naver 实验室）
本文描述了2020年6月非洲机器智能硕士（AMMI）期间启动的非正式合作的结果。在一系列关于使用移动应用程序收集语音数据和从语音中进行自我监督表示学习的讲座和实验之后，一小群学生和讲师继续研究三种语言的自动语音识别（ASR）项目：沃洛夫语，Ga和索马里语。本文介绍了如何收集数据和ASR系统开发与少量（1小时）的转录语音作为训练数据。在这些低资源条件下，在大量原始语音上预训练模型对于所开发的ASR系统的效率至关重要。
2021-03-16 cs.CL cs.SD eess.AS
Ensemble knowledge distillation of self-supervised speech models
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
近年来，蒸馏自监督模型显示出具有竞争力的性能和效率。然而，在联合提取多个自监督语音模型方面缺乏经验。在我们的工作中，我们对各种自监督语音模型（如HuBERT，RobustHuBERT和WavLM）进行了Ensemble Knowledge Distillation（EKD）。我们尝试了两种不同的聚合技术，分层平均和分层连接，不同的教师模型的表示，发现前者是更有效的。在此基础上，我们提出了一种学生模型的多预测头方法，可以同时预测多个教师模型的不同层输出。实验结果表明，该方法在SUPERB测试的隐藏集跟踪下，提高了提取模型在音素识别、说话人识别、情感识别和自动语音识别四个下游语音处理任务上的性能。
2023-02-24 cs.CL cs.SD eess.AS
token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
自监督预训练在文本和语音处理方面都取得了成功。语音和文本提供不同但互补的信息。问题是我们是否能够对未配对的语音和文本进行语音-文本联合预训练。在本文中，我们将自监督预训练的思想更进一步，并提出了token 2 vec，这是一种基于语音离散表示的非成对语音和文本的新型联合预训练框架。首先，由于语音和文本模态之间的不同特征，其中语音是连续的，而文本是离散的，我们首先将语音离散成一系列离散的语音令牌来解决模态失配问题。其次，为了解决语音序列通常比文本序列长得多的长度不匹配问题，我们将文本中的单词转换为音素序列，并随机重复序列中的每个音素。最后，我们将离散的语音和文本令牌馈送到与模态无关的Transformer编码器中，并使用令牌级掩蔽语言建模（tMLM）进行预训练。实验表明，token 2 vec显着优于各种仅语音预训练基线，相对WER降低高达17.7%。Token 2 vec模型也在非ASR任务上进行验证，即，口语意图分类，并表现出良好的可移植性。
2022-10-30 cs.CL cs.SD eess.AS
Investigating self-supervised, weakly supervised and fully supervised training approaches for multi-domain automatic speech recognition: a study on Bangladeshi Bangla
Shahjalal University of Science and Technology（沙贾拉尔科技大学）；University of Malta（马耳他大学）；Leading University（领先大学）
本研究通过BanSpeech基准（6.52小时、13领域）评估自监督wav2vec 2.0、弱监督Whisper和全监督CNN，发现自监督跨语言预训练最优，且模型对自发语音领域识别困难。
2023-05-11 cs.CL cs.SD eess.AS
Gender Representation in TV and Radio: Automatic Information Extraction methods versus Manual Analyses
INA（法国国家视听研究院）；ARCOM（法国视听和数字通信监管机构）；CARISM（媒体信息与传播跨学科分析中心）；LERASS（应用符号学与社会科学研究实验室）
该研究基于32,000小时法语广播电视语料，比较自动提取指标与人工频道报告，揭示女性在语音、画面和提及上的系统性代表性不足及其影响因素。
2024-06-14 cs.CY cs.MM cs.SD
Gender-dependent emotion recognition based on HMMs and SPHMMs
University of Sharjah（沙迦大学）
众所周知，情感识别的性能并不理想。本研究的工作是致力于提高情感识别性能，采用两阶段识别器，结合和集成的性别识别器和情感识别器到一个系统。隐马尔可夫模型（HALF）和超分段隐马尔可夫模型（SPHALF）已被用作两阶段识别器中的分类器。该识别器已在两个不同的和独立的情感语音数据库上进行了测试。第一个数据库是我们收集的数据库，第二个是情感韵律语音和成绩单数据库。在每个数据库中使用了包括中性状态在内的六种基本情绪。我们的研究结果表明，基于两阶段的方法（性别相关的情感识别器）的情感识别性能已显着提高相比，基于情感识别器没有性别信息和情感识别器与正确的性别信息，平均分别为11%和5%，分别。这项工作表明，最高的情感识别性能发生时，分类器是完全偏向于超分割模型和声学模型没有影响。两阶段框架的基础上实现的结果落在2.28%的人的主观评价中获得的。
2018-01-20 cs.SD eess.AS
Cross-Dataset, Age, and Gender Generalization: A Comprehensive Analysis of Fine-Tuning Strategies for Low-Resource Children's ASR
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India（印度西西姆国立技术学院电子与通信工程系）；Signal Analysis and Interpretation Laboratory, University of Southern California, Los Angeles, USA（美国南加州大学洛杉矶分校信号分析与解释实验室）
针对低资源儿童语音识别，系统分析了不同微调策略在跨数据集、年龄和性别泛化上的表现，发现特定策略能显著提升泛化能力。
2026-06-24 cs.AI cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
Acoustic models of Brazilian Portuguese Speech based on Neural Transformers
Universidade de São Paulo（圣保罗大学）
本研究基于Transformer构建巴西葡萄牙语语音声学模型，经800余小时语音预训练后，在呼吸功能不全检测等任务上微调，性能较无预训练模型显著提升，部分任务达最优水平。
2023-12-14 cs.CL cs.LG cs.SD
Investigating Self-supervised Pretraining Frameworks for Pathological Speech Recognition
Nagoya University（名古屋大学）
我们研究了用于自动语音识别（ASR）的病理语音数据集上的自监督预训练框架的性能。现代端到端模型需要数千小时的数据才能很好地进行训练，但只有少量的病理语音数据集是公开的。解决这个问题的一个行之有效的方法是首先在大量健康语音数据集上对模型进行预训练，然后在病理语音数据集上对其进行微调。一种新的预训练框架称为自监督学习（SSL），它只使用语音数据训练网络，在训练数据要求方面提供了更大的灵活性，并允许在预训练中使用更多的语音数据。我们研究SSL框架，如wav2vec 2.0和WavLM模型使用不同的设置，并比较它们的性能与不同的监督预训练设置，使用两种类型的病理语音，即日语electrolaryngeal和英语dysarthric。我们的研究结果表明，虽然SSL已显示出成功的最低限度的资源健康的语音，我们没有发现这是病态的语音的情况。最好的监督设置优于最好的SSL设置的13.9%的字符出错率在喉电语音和16.8%的字出错率在构音障碍的语音。
2022-06-29 cs.SD eess.AS
Leveraging Weakly Supervised Data to Improve End-to-End Speech-to-Text Translation
Google Research（谷歌研究院）
与自动语音识别（ASR）和文本机器翻译（MT）模型的级联相比，端到端语音翻译（ST）模型具有许多潜在优势，包括降低推理延迟和避免错误复合。然而，端到端ST的质量往往受到缺乏训练数据的限制，因为很难收集大型并行语料库的语音和翻译的抄本对。以前的研究已经提出了使用预训练的组件和多任务学习，以便从弱监督的训练数据中受益，例如语音到成绩单或文本到外国文本对。在本文中，我们证明了使用预训练的MT或文本到语音（TTS）合成模型将弱监督数据转换为ST训练的语音到翻译对可能比多任务学习更有效。此外，我们证明了一个高质量的端到端ST模型可以只使用弱监督数据集进行训练，并且来自未标记的单语文本或语音的合成数据可以用于提高性能。最后，我们讨论了避免过拟合合成语音的定量消融研究的方法。
2019-02-10 cs.CL cs.LG cs.SD
Weakly-Supervised Speech Pre-training: A Case Study on Target Speech Recognition
MoE Key Lab of Artificial Intelligence, AI Institute（人工智能研究院教育部人工智能重点实验室）；Department of Computer Science and Engineering（计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
针对弱监督数据在语音预训练中探索不足的问题，提出引入目标说话人注册信息作为辅助输入的弱监督预训练方法，在重叠语音下引导表征向目标说话人，在目标语音识别任务上显著优于WavLM。
2023-06-29 cs.SD eess.AS
TESSP: Text-Enhanced Self-Supervised Speech Pre-training
Northwestern Polytechnical University（西北工业大学）；Microsoft Corporation（微软公司）
自监督语音预训练为模型赋予语音信号中固有的上下文结构，而自监督文本预训练为模型赋予语言信息。这两种方法都有利于下游语音任务，如ASR。然而，不同的预训练目标使得在同一模型中联合优化语音和文本表示具有挑战性。为了解决这个问题，我们提出了文本增强的自监督语音预训练（TESSP），旨在将语言信息纳入语音预训练。我们的模型由三部分组成，即，语音编码器、文本编码器和共享编码器。该模型以无监督的语音和文本数据作为输入，并分别利用常见的HuBERT和MLM损失。我们还提出了音素上采样和表示交换，使联合建模的语音和文本信息。具体来说，为了解决语音和文本数据之间的长度不匹配问题，我们将文本序列音素化，并使用从一小组监督数据中提取的对齐信息对音素进行上采样。此外，为了缩小学习的语音和文本表示之间的差距，我们根据对齐信息将文本表示与由相应的私有编码器提取的语音表示交换。在Librispeech数据集上的实验结果表明，与WavLM相比，TESSP模型在测试干净集和测试其他集上的性能提高了10%以上.在SUPERB基准测试中，我们对模型进行了测试，结果表明，与WavLM相比，我们的模型在音素识别、声学语音识别和语音翻译方面有更好的性能。
2022-11-24 cs.SD eess.AS
Self-supervised Learning with Speech Modulation Dropout
Johns Hopkins University（约翰斯·霍普金斯大学）
我们证明，训练一个基于多头自我注意力的深度网络来预测1.5秒内被删除的、信息密集的2-8 Hz语音调制，是一种有效的方法，可以让机器学习使用时域上下文信息来提取语音调制。我们的工作表明，一旦在大量未标记的数据上进行训练，自我注意层的输出会随着时间的推移而变化，调制峰值为4 Hz。这些预训练的层可用于初始化自动语音识别系统的部分，以大大减少其对标记语音数据的依赖。
2023-03-22 cs.SD eess.AS
VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation
Facebook AI（脸书人工智能研究院）
我们介绍VoxPopuli，一个大规模的多语种语料库，提供10万小时的未标记的语音数据在23种语言。它是迄今为止无监督表示学习和半监督学习最大的开放数据。VoxPopuli还包含1.8K小时的16种语言的转录演讲，以及他们对齐的口头翻译成其他5种语言，总计5.1K小时。我们提供语音识别基线，并验证VoxPopuli未标记数据在具有挑战性的域外设置下的半监督学习中的多功能性。我们将在开放许可下在https://github.com/facebookresearch/voxpopuli上发布语料库。
2021-07-27 cs.CL eess.AS
Self-supervised learning with bi-label masked speech prediction for streaming multi-talker speech recognition
Microsoft（微软）
自监督学习（SSL）利用输入数据本身进行表示学习，已经为各种下游语音任务取得了最先进的结果。然而，大多数以前的研究集中在离线单说话人的应用程序，与有限的调查，在多说话人的情况下，特别是流媒体场景。在本文中，我们研究SSL的流式多说话人语音识别，它产生的transmarts重叠扬声器在流的方式。我们首先观察到，传统的SSL技术不能很好地完成这项任务，由于重叠语音的代表性差。然后，我们提出了一种新的SSL训练目标，称为双标签掩蔽语音预测，它明确保留重叠语音中所有扬声器的表示。我们调查所提出的系统，包括数据配置和量化器的选择的各个方面。建议的SSL设置在LibriSpeechMix数据集上实现了更好的单词错误率。
2022-11-10 cs.SD eess.AS
Censer: Curriculum Semi-supervised Learning for Speech Recognition Based on Self-supervised Pre-training
Tokyo Institute of Technology（东京工业大学）；Tencent Cloud Xiaowei（腾讯云小微）
最近的研究表明，自我监督预训练和自我训练（伪标签）提供的好处是互补的。然而，在预训练框架下的半监督微调策略仍然没有得到充分的研究。此外，现代半监督语音识别算法要么不加区别地对待未标记的数据，要么用置信度阈值过滤掉噪声样本。不同的未标记数据之间的差异往往被忽视。在本文中，我们提出了Censer，半监督语音识别算法的基础上，自我监督的预训练，以最大限度地利用未标记的数据。Censer的预训练阶段采用wav2vec2.0，微调阶段采用slimIPL的改进半监督学习算法，该算法根据伪标签的质量逐步利用未标记的数据。我们还结合了一个时间伪标签池和一个指数移动平均来控制伪标签的更新频率，以避免模型发散。在Libri-Light和LibriSpeech数据集上的实验结果表明，与现有方法相比，该方法具有更好的性能，同时更加统一。
2022-06-27 cs.SD eess.AS
Speech SIMCLR: Combining Contrastive and Reconstruction Objective for Self-supervised Speech Representation Learning
AI Labs, YuanFuDao（元福道AI实验室）；AI Labs, Didi Chuxing（滴滴出行AI实验室）
自我监督的视觉预训练最近取得了重大进展。在这些方法中，Simplified极大地推进了ImageNet上自监督和半监督学习的最新技术水平。语音和视觉任务的输入特征表示都是连续的，因此考虑将类似的目标应用于语音表示学习是很自然的。在本文中，我们提出了语音模拟，一个新的自我监督的目标语音表示学习。在训练期间，Speech SimCLR对原始语音及其谱图应用增强。它的目标是最大化潜在空间中不同增强样本之间的一致性的对比损失和输入表示的重建损失的组合。该方法在语音情感识别和语音识别上取得了较好的效果。
2021-07-05 cs.CL
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
针对汉语自动语音识别（ASR）提出了一种新的多模态多任务编码解码器预训练框架（MMSpeech），该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异，特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同，普通话使用表意书写系统，其中字符和声音并不紧密地相互映射。因此，我们建议将音素模态引入预训练，这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说，我们采用了一个多任务学习框架，包括五个自我监督和监督任务，语音和文本数据。对于端到端预训练，我们引入了利用未标记语音和文本数据的自监督语音到伪代码（S2 C）和音素到文本（P2 T）任务，其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示，我们引入了自监督掩蔽语音预测（MSP）和监督音素预测（PP）任务来学习将语音映射到音素。此外，我们直接将下游有监督的语音到文本（S2 T）任务添加到预训练过程中，这可以进一步提高预训练性能，即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明，该方法具有最佳的性能，与其他预训练方法相比，相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
A Convolutional Neural Network Based Approach to Recognize Bangla Spoken Digits from Speech Signal
Khulna University of Engineering & Technology（库尔纳工程技术大学）
语音识别是一种将人类的语音信号转换成文本或单词或任何形式的计算机或其他机器可以容易地理解的技术。有一些关于孟加拉数字识别系统的研究，其中大多数使用的是小数据集，性别，年龄，方言和其他变量的变化很少。在这项研究中，不同性别、年龄和方言的孟加拉人的录音被用来创建一个大型的孟加拉语数字语音数据集。在这里，每个数字记录了400个有噪声和无噪声的样本，用于创建数据集。梅尔频率倒谱系数（MFCC）已被用于从原始语音数据中提取有意义的特征。然后，利用卷积神经网络（CNN）检测孟加拉数字。所建议的技术在整个数据集中以97.1%的准确率识别“0-9”孟加拉语口语数字。还使用10倍交叉验证评估了模型的效率，其准确度为96.7%。
2021-11-12 cs.AI cs.CL cs.LG
Interpreting and Steering a Text-to-Speech Language Model with Sparse Autoencoders
T-Tech；AI Foundation and Algorithm Lab（人工智能基础与算法实验室）
本文在CosyVoice3语言模型骨干上训练BatchTopK稀疏自编码器，发现特征可解释且因果可控，能操纵笑声、性别和语速。
2026-06-08 cs.AI cs.CL cs.LG
Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining
Amazon（亚马逊）
最近关于口语语言理解（SLU）的许多工作至少在以下三种方式中的一种上受到限制：模型在Oracle文本输入上进行训练并忽略ASR错误，模型被训练为仅预测意图而没有槽值，或者模型在大量内部数据上进行训练。在本文中，我们提出了一个干净的和一般的框架来学习语义直接从语音半监督从转录或未转录的语音来解决这些问题。我们的框架建立在预训练的端到端（E2E）ASR和自监督语言模型（如BERT）基础上，并在有限的目标SLU数据上进行了微调。我们研究了ASR组件的两个半监督设置：对转录语音进行监督预训练，以及通过用自监督语音表示（如wav2vec）替换ASR编码器进行无监督预训练。同时，我们确定了两个基本标准评估SLU模型：环境噪声鲁棒性和E2E语义评估。ATIS上的实验表明，我们的SLU框架与语音作为输入可以执行等同于使用甲骨文文本作为输入的语义理解，即使环境噪声是存在的，有限数量的标记语义数据可用于训练。
2020-10-26 cs.CL
Hypergraph based semi-supervised learning algorithms applied to speech recognition problem: a novel approach
Ho Chi Minh City University of Technology-VNU HCM（胡志明市理工大学（越南国家大学胡志明市分校））
大多数基于网络的语音识别方法都是基于网络中两个相邻语音样本的标签可能相同的假设。然而，假设语音样本之间的成对关系是不完整的。一组语音样本显示非常相似的模式，往往有类似的标签的信息被错过了。克服上述假设的信息损失的自然方法是将语音样本的特征数据表示为超图。因此，本文介绍了三种基于半监督学习的非规范化、随机游动和对称规范化超图Laplacian方法，并将其应用于由语音样本特征数据构造的超图，以预测语音样本的标签。实验结果表明，这三种基于超图拉普拉斯算子的半监督学习方法的灵敏度性能指标均大于隐马尔可夫模型方法的灵敏度性能指标（当前应用于语音识别问题的最先进的方法）和基于图的半监督学习方法（即当前最先进的基于网络的分类问题的方法）应用于从语音样本的特征数据创建的网络。
2018-10-28 cs.LG cs.SD eess.AS
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法，联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据，并且（自）监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务，以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别，分别，以减轻子任务的干扰。实验结果表明，该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进，并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
Design and implementation of audio communication system for social-humanoid robot Lumen as an exhibition guide in Electrical Engineering Days 2015
Bandung Institute of Technology（万隆理工学院）
社会机器人流明是一个人形机器人创建的行为像人类和人类的朋友。在这项研究中，Lumen场景仅限于Lumen作为2015年电气工程日的展览指南，万隆理工学院电气工程本科生和研究生的研讨会和展览。作为一个展览指南，Lumen配备了Nao机器人，服务器和处理应用程序。音频通信系统就是其中的一种处理应用。该系统的目的是创建语言交流，使Lumen能够接收人类的声音并自然地对其做出反应。为了能够像人类一样进行交流，音频通信系统由语音识别模块将语音数据转换为文本，语音合成器模块将文本数据转换为语音，以及性别识别模块区分成年女性和男性声音。语音识别模块采用Google语音识别API实现，语音合成模块采用Acapela引擎实现，性别识别模块采用快速傅立叶变换算法提取的语音信号特征实现。用于实现的硬件是Nao机器人、计算机和无线调制解调器。- Lumen Robot Sosial Robot是一种能够像人类一样工作并为人类服务的类人机器人。音频通讯系统是一个应用最广泛的照明系统，它能够控制人体的亮度，并对自然产生响应，比如人体对自然的响应。为了实现人类等通讯，通讯音频系统需要一个强大的模块：语音识别来提供数据支持，语音合成器来提供数据支持，性别识别来提供想要和想要的东西。
2016-07-16 cs.HC cs.RO cs.SD
Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching
Stanford University（斯坦福大学）
针对低资源非洲语言语码转换语音数据集过小难以训练模型的问题，提出微调 wav2vec 2.0 XLSR 等自监督多语言表征并结合 n-gram 语言模型，使绝对词错率最多降低 20%，是数据有限时的更优方案。
2023-11-25 cs.CL
Self-Supervised Speech Representations Preserve Speech Characteristics while Anonymizing Voices
Universidad de Antioquia UdeA（安蒂奥基亚大学）；Pratech group SAS（普拉泰克集团股份有限公司）
收集语音数据是训练语音识别系统和其他基于语音的机器学习模型的重要步骤。然而，隐私保护问题日益受到关注，必须加以解决。目前的研究调查使用的声音转换作为匿名的声音的方法。特别是，我们训练几个语音转换模型，使用自监督语音表示，包括Wav2Vec2.0，Hubert和UniSpeech。转换后的声音保留了低字出错率内的1%的原始声音。在LibriSpeech测试集上，等出错率从1.52%增加到46.24%，在来自VCTK语料库的说话人上，等错误率从3.75%增加到45.84%，这表明说话人验证的性能下降。最后，我们对构音障碍语音数据进行了实验，表明可以从匿名语音中提取与发音、韵律、发声和音韵相关的语音特征，以区分健康语音和病态语音。
2022-04-04 cs.CL
Efficiency-oriented approaches for self-supervised speech representation learning
Orange（Orange（法国电信））
针对自监督语音表示学习现有方法计算成本高的问题，梳理了该领域的发展现状、现有效率优化方向，指出仍需更多工作解决高计算成本问题。
2023-12-18 cs.CL
Beyond the binary: Limitations and possibilities of gender-related speech technology research
The Centre for Speech Technology Research（言语技术研究中心）；University of Edinburgh（爱丁堡大学）；Institute for Analytics and Data Science（分析与数据科学研究所）；University of Essex（埃塞克斯大学）
本文回顾了2013至2023年间107篇ISCA Interspeech相关论文，指出性别相关语音技术研究的匮乏及术语使用问题，强调其与社会学非二元光谱观点的脱节，并为研究人员提供了反思建议以避免对边缘化群体造成潜在伤害。
2024-09-24 cs.CL cs.SD eess.AS
vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations
Facebook AI Research（脸书人工智能研究院）；University of Tübingen（图宾根大学）
我们提出了vq-wav 2 vec，通过wav 2 vec风格的自监督上下文预测任务来学习音频片段的离散表示。该算法使用gumbel softmax或在线k-means聚类来消除密集表示。离散化使得来自NLP社区的算法能够直接应用，这些算法需要离散输入。实验表明，BERT预训练在TIMIT音素分类和WSJ语音识别上达到了新的水平。
2020-02-16 cs.CL cs.LG
Streaming Speaker Change Detection and Gender Classification for Transducer-Based Multi-Talker Speech Translation
Microsoft（微软公司）
本文提出将说话人嵌入整合到基于 Transducer 的流式端到端语音翻译模型中，以同时实现多说话人场景下的流式说话人变更检测与性别分类，实验验证了该方法的高准确率。
2025-02-04 cs.AI cs.CL cs.SD
Gender in Danger? Evaluating Speech Translation Technology on the MuST-SHE Corpus
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
从没有生产性语法性别的语言（如英语）翻译成性别标记的语言是机器的一个众所周知的困难。这种困难也是由于这样一个事实，即建立模型的训练数据通常反映了自然语言的不对称性，包括性别偏见。机器翻译只提供文本数据，因此在本质上受到输入句子并不总是包含有关所指人类实体性别身份的线索的事实的限制。但是，如果输入是音频信号，语音翻译会发生什么？音频能否提供更多信息以减少性别偏见？我们提出了第一次彻底调查的性别偏见在语音翻译，有助于：i）发布一个基准有用的未来的研究，和ii）不同的技术（级联和端到端）的比较两种语言方向（英语-意大利语/法语）。
2020-06-10 cs.AI cs.CL cs.SD
Exploring Gender Bias in Alzheimer's Disease Detection: Insights from Mandarin and Greek Speech Perception
University of Science and Technology of China（科学技术大学）；University of Edinburgh（爱丁堡大学）；University of Minnesota（明尼苏达大学）；Jiangsu Normal University（江苏师范大学）
本研究通过16名中文听众对中希语音的感知实验，揭示了阿尔茨海默病语音感知中的性别偏见，发现男性语音更易被误判为AD，强调开发检测模型时须解决性别偏见。
2025-07-16 cs.CL cs.HC cs.SD
Acoustic-based Gender Differentiation in Speech-aware Language Models
Chung-Ang University（中央大学）
本研究提出新数据集分析语音感知语言模型的性别区分现象，发现其存在矛盾模式，并证实该偏见主要源于Whisper语音编码器，凸显了语音技术中性别信息利用的挑战。
2025-09-25 cs.CL
