Multi-resolution HuBERT: Multi-resolution Speech Self-Supervised Learning with Masked Unit Prediction
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Meta AI
针对现有语音自监督模型固定分辨率忽略多尺度信息的问题，提出结合分层Transformer与HuBERT掩码预测目标的多分辨率SSL模型，在推理效率及多基准任务上性能更优或相当。
2024-01-30 cs.SD eess.AS
Refining Self-Supervised Learnt Speech Representation using Brain Activations
National Engineering Research Center of Speech and Language Information Processing（国家语言信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出利用fMRI脑激活对齐wav2vec2.0表征以细化自监督语音模型，并在SUPERB上验证其对说话人验证、语音识别和意图分类等任务的有效性。
2024-06-13 cs.SD eess.AS
On the Impact of Quantization and Pruning of Self-Supervised Speech Models for Downstream Speech Recognition Tasks "In-the-Wild''
Institut National de la Recherche Scientifique（国家科学研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文评估量化与剪枝对鲁棒 wav2vec 2.0 在噪声、混响等训练/测试不匹配条件下语音识别准确率的影响，以推动自监督模型在边缘设备部署。
2023-09-25 cs.SD eess.AS
Improving Accent Identification and Accented Speech Recognition Under a Framework of Self-supervised Learning
Tencent Cloud Xiaowei（腾讯云小微）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，自监督预训练在自动语音识别（ASR）中取得了成功。然而，考虑到真实场景中语音口音之间的差异，如何识别口音并使用口音特征来提高ASR仍然具有挑战性。在本文中，我们采用自监督预训练方法的口音识别和口音语音识别任务。对于前一个任务，标准偏差约束损失（SDC-loss）为基础的端到端（E2 E）架构，提出了在同一语言下识别口音。对于带口音的语音识别任务，我们设计了一个口音相关的ASR系统，它可以利用额外的口音输入特征。此外，我们提出了一个帧级的口音特征，这是基于所提出的口音识别模型提取，并可以动态调整。我们使用960小时未标记的LibriSpeech数据集预训练我们的模型，并在AESRC 2020语音数据集上对其进行微调。实验结果表明，我们提出的口音相关的ASR系统是显着领先于AESRC 2020基线，并实现了$6.5\%$相对字错误率（WER）降低相比，我们的口音无关的ASR系统。
2021-09-15 cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）
本文提出了一种端到端（E2 E）的自动语音识别（ASR）模型，该模型以鲁棒的语音识别为目标，称为增强语音输入的集成语音识别自监督学习表示（IRIS）。与传统的E2 E ASR模型相比，该模型集成了语音增强（SE）和自监督学习表示（SSLR）两个重要模块。SE模块增强带噪语音。然后，SSLR模块从增强的语音中提取用于语音识别（ASR）的特征。为了对模型进行训练，我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明，IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能（实际开发为2.0%，实际测试为3.9%），这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.（谷歌公司）
训练最先进的自动语音识别（ASR）模型通常需要大量的转录语音。在这项工作中，我们证明了一个模态匹配的联合语音和文本模型，可以利用训练一个大规模的多语言ASR模型，没有任何监督（手动转录）的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言，零监督语音，现实世界的设置，以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集，我们定义了覆盖$102$语言的任务，其中转录的语音在这些语言的$52$中可用，并且可以用于提高其余$50$上的端到端ASR质量。首先，我们表明，通过将语音表示与字节级文本表示相结合，并使用语言嵌入，我们可以显着降低字符出错率（CER）的语言没有监督语音从64.8%到30.8%，相对减少53%。其次，使用南亚语言的一个子集，我们表明，Maestro-U可以促进知识转移的语言与监督语音，即使有限制，没有字形重叠。总体而言，Maestro-U相对于Oracle的性能差距缩小了68.5%，并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales（新南威尔士大学）
儿童语音识别是一个至关重要的领域，但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而，自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中，我们利用自我监督的成人语音表示，并使用三个著名的儿童语音语料库，建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能，检查跨域儿童语料库的效果，并调查微调模型所需的最小儿童语音量，该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明，微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明，只要5个小时的转录儿童的讲话，它是可能的微调儿童的语音识别系统，表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
Self-supervised Learning with Random-projection Quantizer for Speech Recognition
Google Research（谷歌研究院）
提出了一种简单有效的自监督学习方法用于语音识别。该方法学习一个模型来预测掩蔽的语音信号，以随机投影量化器生成的离散标签的形式。特别地，量化器用随机初始化的矩阵投影语音输入，并且在随机初始化的码本中进行最近邻查找。在自监督学习期间，矩阵和码本都不更新。由于随机投影量化器没有经过训练，并且与语音识别模型分离，该设计使得该方法灵活，并且与通用语音识别架构兼容。在LibriSpeech上，我们的方法实现了与以前使用非流模型的自监督学习的工作相似的单词错误率，并且提供了比wav 2 vec 2.0和w2 v-BERT更低的单词错误率和延迟。在多语言任务上，该方法也比wav 2 vec 2.0和w2 v-BERT提供了显着的改进。
2022-06-29 cs.CL cs.SD eess.AS
Don't speak too fast: The impact of data bias on self-supervised speech models
National Taiwan University（台湾大学）
自监督语音模型（S3M）已被证明在许多语音下游任务中是成功的，如ASR。然而，预训练数据如何影响S3M的下游行为仍然是一个未探索的问题。在本文中，我们研究了预训练数据如何影响S3M，通过针对不同语音因素（包括性别，内容和韵律）的偏见数据集上的预训练模型，并在SUPERB Benchmark中选择的下游任务上评估这些预训练的S3M。我们的实验表明，S3Ms对性别偏见具有容忍性。此外，我们发现，语音的内容对S3Ms在下游任务中的性能影响不大，但S3Ms确实表现出对较慢的语音速率的偏好。
2022-04-26 cs.CL cs.SD eess.AS
DiscreteSLU: A Large Language Model with Self-Supervised Discrete Speech Units for Spoken Language Understanding
ASAPP；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出DiscreteSLU，用自监督编码器与k-means生成离散语音单元并适配LLM，提升跨领域口语理解与口语问答的指令遵循能力。
2024-06-13 cs.CL cs.SD eess.AS
Fast Development of ASR in African Languages using Self Supervised Speech Representation Learning
African Masters of Machine Intelligence（非洲机器学习硕士项目）；Naver Labs, Europe（欧洲 Naver 实验室）
本文描述了2020年6月非洲机器智能硕士（AMMI）期间启动的非正式合作的结果。在一系列关于使用移动应用程序收集语音数据和从语音中进行自我监督表示学习的讲座和实验之后，一小群学生和讲师继续研究三种语言的自动语音识别（ASR）项目：沃洛夫语，Ga和索马里语。本文介绍了如何收集数据和ASR系统开发与少量（1小时）的转录语音作为训练数据。在这些低资源条件下，在大量原始语音上预训练模型对于所开发的ASR系统的效率至关重要。
2021-03-16 cs.CL cs.SD eess.AS
Ensemble knowledge distillation of self-supervised speech models
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
近年来，蒸馏自监督模型显示出具有竞争力的性能和效率。然而，在联合提取多个自监督语音模型方面缺乏经验。在我们的工作中，我们对各种自监督语音模型（如HuBERT，RobustHuBERT和WavLM）进行了Ensemble Knowledge Distillation（EKD）。我们尝试了两种不同的聚合技术，分层平均和分层连接，不同的教师模型的表示，发现前者是更有效的。在此基础上，我们提出了一种学生模型的多预测头方法，可以同时预测多个教师模型的不同层输出。实验结果表明，该方法在SUPERB测试的隐藏集跟踪下，提高了提取模型在音素识别、说话人识别、情感识别和自动语音识别四个下游语音处理任务上的性能。
2023-02-24 cs.CL cs.SD eess.AS
token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
自监督预训练在文本和语音处理方面都取得了成功。语音和文本提供不同但互补的信息。问题是我们是否能够对未配对的语音和文本进行语音-文本联合预训练。在本文中，我们将自监督预训练的思想更进一步，并提出了token 2 vec，这是一种基于语音离散表示的非成对语音和文本的新型联合预训练框架。首先，由于语音和文本模态之间的不同特征，其中语音是连续的，而文本是离散的，我们首先将语音离散成一系列离散的语音令牌来解决模态失配问题。其次，为了解决语音序列通常比文本序列长得多的长度不匹配问题，我们将文本中的单词转换为音素序列，并随机重复序列中的每个音素。最后，我们将离散的语音和文本令牌馈送到与模态无关的Transformer编码器中，并使用令牌级掩蔽语言建模（tMLM）进行预训练。实验表明，token 2 vec显着优于各种仅语音预训练基线，相对WER降低高达17.7%。Token 2 vec模型也在非ASR任务上进行验证，即，口语意图分类，并表现出良好的可移植性。
2022-10-30 cs.CL cs.SD eess.AS
Investigating self-supervised, weakly supervised and fully supervised training approaches for multi-domain automatic speech recognition: a study on Bangladeshi Bangla
Shahjalal University of Science and Technology（沙贾拉尔科技大学）；University of Malta（马耳他大学）；Leading University（领先大学）
本研究通过BanSpeech基准（6.52小时、13领域）评估自监督wav2vec 2.0、弱监督Whisper和全监督CNN，发现自监督跨语言预训练最优，且模型对自发语音领域识别困难。
2023-05-11 cs.CL cs.SD eess.AS
Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition
Universidad de Antioquia UdeA（安蒂奥基亚大学）
最先进的自动语音识别（ASR）系统在健康语音上表现良好。然而，对受损言语的表现仍然是一个问题。目前的研究探讨了使用Wav 2 Vec自我监督语音表示作为训练构音障碍语音的ASR系统的功能的有用性。构音障碍语音识别特别困难，因为语音的几个方面，如发音、韵律和发声可能受损。具体来说，我们训练一个声学模型，从Wav 2 Vec，Hubert和跨语言XLSR模型中提取的特征。结果表明，在大的未标记的数据上预训练的语音表示可以提高字出错率（WER）的性能。特别是，多语言模型的功能导致WER低于过滤器组（Fbank）或在单一语言上训练的模型。在患有脑瘫引起的构音障碍的英语使用者（UASpeech语料库）、患有帕金森氏症构音障碍的西班牙语使用者（PC-GITA语料库）和患有基于麻痹的构音障碍的意大利语使用者（EasyCall语料库）中观察到改善。与使用Fbank特征相比，基于XLSR的特征分别使UASpeech、PC-GITA和EasyCall语料库的WER减少了6.8%、22.0%和7.0%。
2022-04-04 cs.CL cs.SD eess.AS
Front-End Adapter: Adapting Front-End Input of Speech based Self-Supervised Learning for Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
近年来，自监督学习（SSL）在包括语音处理在内的各个领域蓬勃发展。基于语音的SSL模型在一系列与语音相关的任务中表现出良好的性能。然而，SSL模型的训练在计算上是昂贵的，并且常见的做法是在特定任务上微调已发布的SSL模型。在预训练和微调期间使用一致的前端输入至关重要。当最佳前端与预训练中使用的前端不相同时，这种一致性可能会引入潜在的问题。在本文中，我们提出了一个简单但有效的前端适配器来解决这个前端的差异。通过最小化不同前端的输出之间的距离，滤波器组特征（Fbank）可以与用波形预训练的SSL模型兼容。实验结果表明，我们提出的前端适配器上的几个流行的SSL模型的语音识别任务的有效性。
2023-02-18 cs.CL cs.SD eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Evaluating Automatic Speech Recognition in an Incremental Setting
Boise State University（博伊西州立大学）
自动语音识别的可靠性不断提高，使其日常使用范围不断扩大。然而，出于研究目的，通常不清楚应该为任务选择哪种模型，特别是如果需要速度和准确性。在本文中，我们系统地评估六个语音识别器使用的指标，包括字的出错率，延迟，和更新的数量已经认识到的话，英语测试数据，以及提出和比较两种方法的流式音频到识别器的增量识别。我们进一步提出了每秒撤销作为一个新的指标，用于评估增量识别，并证明它提供了对整体模型性能的见解。我们发现，一般来说，本地识别器比基于云的识别器更快，需要的更新更少。最后，我们发现Meta的Wav2Vec模型是最快的，Mozilla的DeepSpeech模型在预测中是最稳定的。
2023-02-23 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory（上海人工智能实验室）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展，像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别（ASR）的性能方面取得了成功。然而，与监督学习类似，多语言预训练也可能受到语言干扰，并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术，包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务，包括16种语言。我们的实验结果表明，与标准XLSR模型相比，相对增益为14.3%，与没有预训练的多语言模型相比，相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Edinburgh, Informatics（爱丁堡大学信息学院）
本文从互信息视角重新审视自监督语音表征学习，提出基于线性探针的监督与无监督度量方法，用于评估表征对目标信息的可获取性，并验证其与下游任务表现的一致性。
2024-01-16 cs.CL cs.SD eess.AS
LASER: Learning by Aligning Self-supervised Representations of Speech for Improving Content-related Tasks
The University of Sheffield（谢菲尔德大学）
本文提出LASER自监督微调方法，利用带时间正则化的soft-DTW对齐损失优化语音表示，并以低成本显著提升HuBERT与WavLM在ASR和PR任务上的性能。
2024-06-13 cs.CL cs.SD eess.AS
Self-Supervised Speech Representation Learning: A Review
Meta；National Taiwan University（国立台湾大学）；Corti AI（Corti人工智能公司）；University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；AWS AI Labs, Amazon（亚马逊AWS人工智能实验室）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
尽管监督式深度学习已经彻底改变了语音和音频处理，但它需要为单个任务和应用场景构建专业模型。同样，很难将其应用于只有有限标记数据可用的方言和语言。自我监督的表示学习方法承诺一个单一的通用模型，将有利于各种各样的任务和领域。这些方法在自然语言处理和计算机视觉领域取得了成功，实现了新的性能水平，同时减少了许多下游场景所需的标签数量。语音表示学习在三个主要类别中经历了类似的进展：生成，对比和预测方法。其他方法依赖于多模态数据进行预训练，将文本或视觉数据流与语音混合。尽管自监督语音表示仍然是一个新兴的研究领域，但它与声学词嵌入和零词汇资源学习密切相关，这两个领域已经有多年的研究。本文介绍了自监督语音表示学习的方法及其与其他研究领域的联系。由于目前的许多方法只专注于自动语音识别作为一个下游任务，我们回顾了最近的努力基准学习表示扩展应用程序超越语音识别。
2022-10-27 cs.CL cs.SD eess.AS
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC（谷歌有限责任公司）
流传输端到端语音识别模型已经广泛应用于移动设备，并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是，服务器数据分布可能与用户设备上的数据分布非常不同，这可能会影响模型性能。在设备上训练有两个主要挑战，有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配，但由于内存限制，它们不直接适用于移动设备。在本文中，我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上，其中只有一层更新的时间。大量的实验结果表明，该算法获得了一个字的出错率（WER）在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Benchmarking Children's ASR with Supervised and Self-supervised Speech Foundation Models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究针对儿童 ASR 缺乏系统基准的问题，评估多种监督与自监督语音基础模型，并比较数据增强和 PEFT 微调策略，提出 PIF 损失以稳定增强数据微调。
2024-06-15 cs.CL cs.SD eess.AS
Improving Semi-supervised End-to-end Automatic Speech Recognition using CycleGAN and Inter-domain Losses
University of Stuttgart（斯图加特大学）
我们提出了一种新的方法，结合CycleGAN和域间损失的半监督端到端自动语音识别。域间丢失的目标是使用共享网络提取语音和文本输入的中间共享表示。CycleGAN使用循环一致性损失和身份映射损失来保留从一个域转换到另一个域后输入特征的相关特征。因此，这两种方法都适合于在不成对的语音-文本输入上训练端到端模型。在本文中，我们利用域间损失和CycleGAN的优势来实现未配对语音和文本输入的更好共享表示，从而改进语音到文本的映射。我们在WSJ eval 92和Voxforge（非英语）上的实验结果显示，字符出错率比基线降低了8~8.5%，在LibriSpeech test_clean上的结果也显示出明显的改善。
2022-10-20 cs.CL cs.SD eess.AS
KinSPEAK: Improving speech recognition for Kinyarwanda via semi-supervised learning methods
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出KinSPEAK，结合自监督预训练、课程式微调和五代半监督学习，仅用公有领域数据训练卢旺达语ASR模型，在新数据集与Mozilla Common Voice上分别取得3.2%和15.6% WER。
2024-03-02 cs.LG cs.SD eess.AS
WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing
Microsoft（微软）
自监督学习（SSL）在语音识别中取得了巨大的成功，而在其他语音处理任务中的探索却很有限。由于语音信号包含多方面的信息，包括说话人身份、语言、口语内容等，学习所有语音任务的通用表示是具有挑战性的。为了解决这个问题，我们提出了一个新的预训练模型WavLM，来解决全栈下游语音任务。WavLM在预训练中联合学习掩蔽语音预测和去噪。通过这种方式，WavLM不仅通过掩蔽语音预测保持了语音内容建模能力，而且通过语音去噪提高了非ASR任务的潜力。此外，WavLM采用门控相对位置偏置的Transformer结构，以更好地捕捉输入语音的序列排序。我们还将训练数据集从60k小时扩展到94k小时。WavLM Large在SUPERB基准测试中实现了最先进的性能，并在其代表性基准测试中为各种语音处理任务带来了显着改进。代码和预训练模型可在https://aka.ms/wavlm上获得。
2022-06-17 cs.CL cs.SD eess.AS
Representative Subset Selection for Efficient Fine-Tuning in Self-Supervised Speech Recognition
Lahore University of Management Sciences（拉合尔管理科学大学）
本文提出COWERAGE算法，通过基于早期训练WER的样本覆盖度选择代表性子集，在自监督ASR微调中相比随机采样和现有剪枝方法实现最高17%的相对WER提升。
2023-04-11 cs.LG cs.SD eess.AS
Bridging ASR and LLMs for Dysarthric Speech Recognition: Benchmarking Self-Supervised and Generative Approaches
NLP Department（自然语言处理部门）
本研究系统基准测试了Wav2Vec等自监督模型及CTC、seq2seq和LLM增强解码策略在构音障碍语音识别中的表现，发现LLM增强解码能利用语言约束恢复音素和纠正语法，有效提升识别可懂度。
2025-08-11 cs.AI cs.SD eess.AS
Using heterogeneity in semi-supervised transcription hypotheses to improve code-switched speech recognition
Raytheon BBN Technologies（雷神BBN科技公司）
码转换语音的建模是自动语音识别（ASR）中的一个重要问题。标记的码转换数据是罕见的，所以单语数据通常被用来建模码转换语音。这些单语数据可能更接近于代码转换对中的语言之一。我们发现，这种不对称性会使预测偏向更匹配的语言，并降低整体模型性能。为了解决这个问题，我们提出了一个半监督的方法代码切换ASR。我们考虑的情况下，英语-汉语码转换，和使用单语数据建立双语“转录模型”的注释的无标记的代码转换数据的问题。我们首先建立多个转录模型，使他们的个人预测不同程度地偏向于英语或普通话。然后，我们结合这些有偏见的transmittance使用基于信心的选择。这种策略为半监督训练生成了更好的成绩单，与依赖于仅使用最佳匹配单语数据构建的转录模型的半监督系统相比，获得了19%的相对改进。
2021-06-14 cs.CL cs.SD eess.AS
General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个自监督学习框架，命名为MGF，通用语音表示学习。在MGF的设计中，考虑了语音的层次性。具体来说，我们建议使用生成学习方法在小时间尺度上捕获细粒度信息，并使用判别学习方法在大时间尺度上提取粗粒度或语义信息。对于音素级学习，我们借用了掩蔽语言模型的思想，但通过用对比损失代替分类损失来为连续语音信号定制它。我们证实了我们的设计，通过评估MGF表示在各种下游任务，包括音素分类，说话人分类，语音识别，和情感分类。实验表明，在不同的时间尺度上进行训练需要不同的训练目标和损失函数，这在总体上是相辅相成的，从而导致更好的性能。
2021-02-03 cs.LG cs.SD eess.AS
Injecting Text in Self-Supervised Speech Pretraining
Google, Inc.（谷歌公司）
自动语音识别（ASR）的自我监督预训练已经显示出不同程度的成功。在本文中，我们建议在预训练期间从两种不同的形式（语音和文本）联合学习表示。所提出的方法，tts 4pretrain补充了对比学习的力量，在自我监督与语言/词汇表示来自合成语音，有效地学习从未转录的语音和未说出的文本。语音编码器中的词汇学习是通过一个附加的序列损失项来实现的，该序列损失项与预训练期间的对比损失相结合。我们证明，这种新的预训练方法产生的字出错率（WER）减少10%相对于良好的基准，Librispeech任务在一个国家的最先进的基线预训练wav2vec2.0。所提出的方法也可以作为一种有效的策略，以弥补缺乏转录的语音，有效地匹配性能的5000小时的转录语音只有100小时的转录语音的AMI会议转录任务。最后，我们展示了WER减少高达15%的内部语音搜索任务比传统的预训练。将文本转换为编码器预训练是对使用更大或域内语言模型重新评分的补充，从而使WER相对减少6%。
2021-08-27 cs.CL cs.SD eess.AS
Leveraging Weakly Supervised Data to Improve End-to-End Speech-to-Text Translation
Google Research（谷歌研究院）
与自动语音识别（ASR）和文本机器翻译（MT）模型的级联相比，端到端语音翻译（ST）模型具有许多潜在优势，包括降低推理延迟和避免错误复合。然而，端到端ST的质量往往受到缺乏训练数据的限制，因为很难收集大型并行语料库的语音和翻译的抄本对。以前的研究已经提出了使用预训练的组件和多任务学习，以便从弱监督的训练数据中受益，例如语音到成绩单或文本到外国文本对。在本文中，我们证明了使用预训练的MT或文本到语音（TTS）合成模型将弱监督数据转换为ST训练的语音到翻译对可能比多任务学习更有效。此外，我们证明了一个高质量的端到端ST模型可以只使用弱监督数据集进行训练，并且来自未标记的单语文本或语音的合成数据可以用于提高性能。最后，我们讨论了避免过拟合合成语音的定量消融研究的方法。
2019-02-10 cs.CL cs.LG cs.SD
Back Transcription as a Method for Evaluating Robustness of Natural Language Understanding Models to Speech Recognition Errors
Adam Mickiewicz University, Poznań（亚当·密茨凯维奇大学）；Samsung Research Poland（三星电子波兰研究院）
本文提出一种结合反向转录与细粒度错误分类的方法，利用合成语音评估语音识别错误对自然语言理解模型性能的影响，并证实合成语音可替代真实音频。
2023-10-25 cs.AI cs.CL cs.SD
Hypergraph based semi-supervised learning algorithms applied to speech recognition problem: a novel approach
Ho Chi Minh City University of Technology-VNU HCM（胡志明市理工大学（越南国家大学胡志明市分校））
大多数基于网络的语音识别方法都是基于网络中两个相邻语音样本的标签可能相同的假设。然而，假设语音样本之间的成对关系是不完整的。一组语音样本显示非常相似的模式，往往有类似的标签的信息被错过了。克服上述假设的信息损失的自然方法是将语音样本的特征数据表示为超图。因此，本文介绍了三种基于半监督学习的非规范化、随机游动和对称规范化超图Laplacian方法，并将其应用于由语音样本特征数据构造的超图，以预测语音样本的标签。实验结果表明，这三种基于超图拉普拉斯算子的半监督学习方法的灵敏度性能指标均大于隐马尔可夫模型方法的灵敏度性能指标（当前应用于语音识别问题的最先进的方法）和基于图的半监督学习方法（即当前最先进的基于网络的分类问题的方法）应用于从语音样本的特征数据创建的网络。
2018-10-28 cs.LG cs.SD eess.AS
Evaluating and reducing the distance between synthetic and real speech distributions
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
本文通过话语级统计量和Wasserstein距离量化TTS合成语音与真实语音分布差异，并在生成时引入真实值以缩小分布距离，最佳系统实现10%的改进。
2023-05-25 cs.CL cs.LG cs.SD
Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
一致性正则化最近被应用于半监督序列到序列（S2S）自动语音识别（ASR）。该原理鼓励ASR模型针对具有不同扰动的相同输入语音输出类似的预测。半监督S2S ASR的现有范例利用SpecAugment作为数据增强，并且需要静态教师模型来为未转录的语音产生伪转录。然而，这种范式未能充分利用一致性正则化。首先，SpecAugment的掩蔽操作可能会破坏语音的语言内容，从而影响伪标签的质量。其次，S2S ASR需要输入语音和前缀令牌两者来进行下一个预测。离线教师模型制作的静态前缀标记在一致性训练期间无法匹配动态伪标签。在这项工作中，我们提出了一个改进的一致性训练范式的半监督S2S ASR。我们利用语音链重建作为弱增强来生成高质量的伪标签。此外，我们证明了学生ASR模型产生的动态伪成绩单有利于一致性训练。在LJSpeech和LibriSpeech语料库上的实验表明，与有监督的基线相比，我们的改进范式在单说话人环境下的CER提高了12.2%，在多说话人环境下提高了38.6%。
2022-05-14 cs.CL cs.LG cs.SD
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Cocktail HuBERT: Generalized Self-Supervised Pre-training for Mixture and Single-Source Speech
Meta AI - FAIR
自监督学习有效地利用了未标记的数据，提高了标记效率，并推广到没有标记数据的领域。虽然最近的工作已经研究了泛化到更多的声学/语言学领域，语言和模态，这些调查仅限于单源语音与一个主要发言人在录音。本文介绍了鸡尾酒HuBERT，一个自监督学习框架，推广到混合语音使用掩蔽伪声源分离目标。这个目标鼓励模型识别源的数量，分离和理解上下文，并推断表示为发现单元的掩蔽区域的内容。Cocktail HuBERT在多扬声器ASR上的WER降低了69%，在日记化上的DER降低了31%，并且在SUPERB的单扬声器和多扬声器任务上具有竞争力。
2023-03-20 cs.CL cs.LG cs.SD
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
针对汉语自动语音识别（ASR）提出了一种新的多模态多任务编码解码器预训练框架（MMSpeech），该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异，特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同，普通话使用表意书写系统，其中字符和声音并不紧密地相互映射。因此，我们建议将音素模态引入预训练，这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说，我们采用了一个多任务学习框架，包括五个自我监督和监督任务，语音和文本数据。对于端到端预训练，我们引入了利用未标记语音和文本数据的自监督语音到伪代码（S2 C）和音素到文本（P2 T）任务，其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示，我们引入了自监督掩蔽语音预测（MSP）和监督音素预测（PP）任务来学习将语音映射到音素。此外，我们直接将下游有监督的语音到文本（S2 T）任务添加到预训练过程中，这可以进一步提高预训练性能，即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明，该方法具有最佳的性能，与其他预训练方法相比，相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
EAT: Enhanced ASR-TTS for Self-supervised Speech Recognition
Brno University of Technology（布尔诺理工大学）
自监督ASR-TTS模型在域外数据条件下受到影响。在这里，我们提出了一个增强的ASR-TTS（EAT）模型，它包括两个主要特征：1）ASR $\rightarrow$ TTS方向配备了一个语言模型奖励，以惩罚ASR假设，然后将其转发到TTS。2)在TTS $\rightarrow$ ASR方向上，引入超参数以在将合成语音发送到ASR以处理域外数据之前缩放来自合成语音的注意力上下文。训练策略和EAT模型的有效性进行了探讨域外数据条件下。结果表明，EAT在Librispeech和BABEL上分别将监督训练和自监督训练的性能差距缩小了2.6%和2.7%。
2021-04-13 cs.AI cs.LG cs.SD
Experiments on Turkish ASR with Self-Supervised Speech Representation Learning
Computer Engineering Department, Koç University（科奇大学计算机工程系）
虽然土耳其语被列为低资源语言，但关于土耳其语自动语音识别（ASR）的文献相对较旧。在这份报告中，我们提出了我们的研究结果土耳其ASR与语音表示学习使用HUBERT。我们使用从在线资源中收集的大规模数据调查土耳其语的HUBERT预培训。我们使用来自YouTube的6，500小时的语音数据对模型进行预训练。结果表明，这些模型还没有准备好用于商业用途，因为它们对通常发生在现实世界中的干扰（如口音，俚语，背景噪声和干扰的变化）不鲁棒。我们分析了在商业环境中使用的模型的典型错误和局限性。
2022-12-23 cs.CL cs.LG cs.SD
Semi-supervised Sequence-to-sequence ASR using Unpaired Speech and Text
Brno University of Technology（布尔诺理工大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；MERL（三菱电机研究实验室）
序列到序列的自动语音识别（ASR）模型需要大量的数据来获得高性能。出于这个原因，最近对此类模型中的无监督和半监督训练的兴趣激增。这项工作建立在最近的结果显示显着改善半监督训练使用周期一致性和相关技术。这样的技术通过将ASR与文本到语音（TTS）模型组合来导出能够利用未配对的语音和/或文本数据的训练过程和损失。特别是，这项工作提出了一种新的半监督损失结合端到端可区分ASR $\rightarrow$ TTS损失与TTS $\rightarrow$ ASR损失。该方法能够充分利用未配对的语音和文本数据，在WER方面优于最近提出的相关技术。我们提供了大量的结果分析数据量和语音和文本模态的影响，并显示在华尔街日报和Librispeech语料库的一致收益。我们的代码在ESPnet中提供，以重现实验。
2019-08-20 cs.CL cs.IR cs.LG
ViP-VL: Vietnamese Self-supervised Speech Pretraining Model with Vector-Quantization Learning
VinUniversity（越南 Vin 大学）
提出ViP-VL模型，通过声学堆叠、感受野对齐和掩码选择策略，在BEST-RQ框架上实现高效自监督预训练，在越南语ASR、情感识别、方言分类和说话人验证四项任务上取得最优结果。
2026-06-11 cs.SD
Listening or Reading? Evaluating Speech Awareness in Chain-of-Thought Speech-to-Text Translation
Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya, Spain（加泰罗尼亚理工大学）；DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany（DFKI GmbH萨尔兰信息技术校区）
该研究评估CoT式S2TT系统的语音感知能力，发现其仍依赖转录文本，未充分利用语音，需构建明确整合声学信息的翻译架构。
2026-08-20 cs.CL cs.SD
SelfRemaster: Self-Supervised Speech Restoration with Analysis-by-Synthesis Approach Using Channel Modeling
The University of Tokyo（东京大学）
提出了一种无需配对语音库的自监督语音恢复方法。由于先前的一般语音恢复方法使用通过将各种失真应用于高质量语音语料库而创建的人工配对数据，因此其不能充分地表示真实数据的声学失真，从而限制了适用性。我们的模型包括分析，合成和通道模块，模拟退化语音的记录过程，并以自我监督的方式用真实的退化语音数据进行训练。分析模块从退化语音中提取无失真语音特征和失真特征，而合成模块合成恢复的语音波形，并且信道模块将失真添加到语音波形。我们的模型还支持音频效果传输，其中仅从降级的语音中提取声学失真并添加到任意高质量音频中。模拟和真实数据的实验评估表明，我们的方法实现了显着更高质量的语音恢复比以前的监督方法，表明其适用于真正的退化语音材料。
2022-06-27 cs.SD eess.AS
Evaluating Speech Enhancement Systems Through Listening Effort
SINTEF Digital（SINTEF数字研究院）；University of Granada（格拉纳达大学）
针对现有聆听努力度测量方法复杂难推广的问题，本研究提出一种可同时评估语音可懂度与聆听努力度的简便方法，经两国76名受试者、9种处理条件的测试验证，该方法鲁棒性强且易落地。
2024-07-09 cs.SD eess.AS
SpeechLMScore: Evaluating speech generation using speech language model
Carnegie Mellon University（卡内基梅隆大学）；The University of Tokyo（东京大学）
虽然人工评估是评估语音生成系统的最可靠指标，但它通常成本高且耗时。以往的语音质量自动评估研究都是通过机器学习模型预测人的语音质量评估分数来解决这个问题。然而，它们依赖于监督学习，因此遭受高注释成本和域转移问题。我们提出了SpeechLMScore，一个无监督的度量来评估生成的语音使用语音语言模型。SpeechLMScore通过将语音信号映射到离散标记来计算语音信号的平均对数概率，并测量生成标记序列的平均概率。因此，它不需要人工注释，是一个高度可扩展的框架。评估结果表明，该指标显示出良好的相关性与人类的评价分数在不同的语音生成任务，包括语音转换，文本到语音，和语音增强。
2022-12-08 cs.LG cs.SD eess.AS
Self-supervised Learning for Speech Enhancement
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
单通道语音增强的监督学习需要仔细标记的训练示例，其中将噪声混合输入到网络中，并训练网络以产生接近理想目标的输出。为了放松对训练数据的条件，我们考虑以自监督的方式训练语音增强网络的任务。我们首先使用有限的干净语音训练集，并通过对其幅度谱图进行自动编码来学习潜在表示。然后，我们自动编码的语音混合记录在嘈杂的环境和训练产生的自动编码器共享一个潜在的代表性与干净的例子。我们表明，使用这种训练模式，我们现在可以使用一个可自主训练的网络将嘈杂的语音映射到其干净的版本，而不需要标记的训练示例或人工干预。
2020-06-18 cs.SD eess.AS
A Supervised Speech enhancement Approach with Residual Noise Control for Voice Communication
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
对于语音通信，重要的是从其噪声版本中提取语音而不引入不自然的人工噪声。通过研究非监督语音增强方法的子带均方误差（MSE），揭示其与已有的有监督语音增强方法的损失函数之间的关系，导出了考虑残余噪声控制的有监督语音增强方法的广义损失函数。我们的广义损失函数包含著名的MSE损失函数和许多其他常用的损失函数作为特殊情况。与传统的损失函数相比，本文提出的广义损失函数能够更灵活地在语音失真和噪声抑制之间进行权衡。这是因为可以引入一组经过充分研究的噪声整形方案来控制实际应用中的残余噪声。客观和主观测试结果验证了残余噪声控制对有监督语音增强方法的重要性。
2019-12-08 cs.SD eess.AS
Emotion-Coherent Speech Data Augmentation and Self-Supervised Contrastive Style Training for Enhancing Kids's Story Speech Synthesis
Supply Chain MultiTech R\&D Centre, Pok Fu Lam, Hong Kong \
本文提出通过情感一致的语音数据增强和自监督对比训练，提升儿童故事语音合成的表达性和自然度。
2026-02-10 cs.SD eess.AS
Evaluating Multichannel Speech Enhancement Algorithms at the Phoneme Scale Across Genders
Université de Lorraine, CNRS, Inria, LORIA（卢瓦尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、LORIA研究所）
本文在音素尺度上评估多通道语音增强算法，发现性别差异在语句级微小但在音素级显著，算法对女性语音（尤其塞音、擦音、元音）干扰抑制更好且伪影更少。
2025-06-23 cs.SD eess.AS
