Realistic Speech-to-Face Generation with Speech-Conditioned Latent Diffusion Model with Face Prior
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tencent AI Lab（腾讯人工智能实验室）；Aarhus University（奥胡斯大学）
针对现有GAN-based语音人脸生成方法稳定性差、真实感不足的问题，提出带人脸先验的SCLDM框架，通过对比预训练对齐跨模态属性、引入统计人脸先残差控制多样性，在两个基准数据集上实现身份保留与真实感的显著提升。
2023-10-05 cs.CV
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research（Meta人工智能研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta Reality Labs Research（Meta现实实验室）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真（例如，分离、修复、视频到语音）并呈现定制的算法。本文提出将这些学科结合起来，研究广义语音增强，其目标不是重建精确的参考干净信号，而是专注于改善语音的某些方面。特别是，本文关注的可懂度，质量和视频同步。我们将这个问题归结为视听语音再合成，它包括两个步骤：伪视听语音识别（P-AVSR）和伪文本到语音合成（P-TTS）。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外，我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型，并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性，还在EasyCom上对ReVISE进行了评估，EasyCom是在具有挑战性的声学条件下收集的视听基准，只有1.6小时的训练数据。同样，ReVISE极大地抑制了噪声并提高了质量。项目页面：https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
Residual-guided Personalized Speech Synthesis based on Face Image
Tianjin University（天津大学）；Chinese Academy of Social Sciences（中国社会科学院）；the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
以前的作品通过在由他/她的音频声音组成的大型数据集上训练模型来获得个性化的语音特征。据报道，人脸信息与语音有很强的联系。因此，在这项工作中，我们创新性地提取个性化语音特征的人脸合成个性化语音使用神经声码器。为个性化语音合成设计了一个基于人脸的残差个性化语音合成模型（FR-PSS），该模型包括语音编码器、语音合成器和人脸编码器。在该模型中，通过设计两个语音先验，引入残差引导策略，引导人脸特征在训练中逼近真实语音特征。此外，考虑到特征绝对值的误差和方向偏差，我们提出了一种新的三项损失函数用于人脸编码。实验结果表明，我们的模型合成的语音是可比的个性化语音合成大量的音频数据在以前的作品。
2022-04-01 cs.CV cs.SD eess.AS
Face-StyleSpeech: Enhancing Zero-shot Speech Synthesis from Face Images with Improved Face-to-Speech Mapping
KAIST（韩国科学技术院）；AITRICS
本文提出Face-StyleSpeech零样本TTS模型，通过分离人脸编码器与韵律编码器，仅从人脸图像生成自然语音，实验证明其效果优于基线方法且适用于未见过的面孔。
2024-12-28 cs.AI cs.CL cs.CV
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook（脸书）
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行，但很少有作品全面分析非语音音频任务的音频表示学习。在本文中，我们提出了一种自监督的音频表示学习方法，并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架，它已经成功地在自监督学习的语音任务，参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中，我们实现了0.415的平均精度（mAP）得分，这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
Exploring Efficient-tuning Methods in Self-supervised Speech Models
National Taiwan University（国立台湾大学）；Amazon AI（亚马逊人工智能）
在这项研究中，我们的目标是探索有效的语音自监督学习的调整方法。最近的研究表明，自监督学习（SSL）可以学习不同的语音任务的强大的表示。然而，为每个下游任务微调预训练模型是参数效率低下的，因为SSL模型非常大，有数百万个参数。适配器是NLP中常用的轻量级模块，用于解决这个问题。在下游任务中，SSL模型的参数被冻结，并且只训练适配器。由于缺乏研究，一般探索适配器的自我监督语音任务的有效性，我们打算通过在预训练的语音SSL模型中添加各种适配器模块来填补这一空白。我们表明，性能的奇偶校验可以实现超过90%的参数减少，并讨论了有效的调整技术的优点和缺点。这是第一次全面调查各种适配器类型的语音任务。
2023-01-30 cs.LG cs.SD eess.AS
Speech Resynthesis from Discrete Disentangled Self-Supervised Representations
Tel Aviv University（特拉维夫大学）
我们建议使用自监督离散表示的语音再合成的任务。为了生成解纠缠表示，我们分别提取语音内容，韵律信息和扬声器身份的低比特率表示。这允许以可控的方式合成语音。我们分析了各种最先进的，自我监督的表示学习方法，并阐明了每种方法的优点，同时考虑重建质量和解纠缠属性。具体来说，我们评估的F0重建，说话人辨识性能（重新合成和语音转换），录音的可懂度，和整体质量使用主观的人的评价。最后，我们演示了如何将这些表示用于超轻量语音编解码器。使用获得的表示，我们可以得到每秒365比特的速率，同时提供比基线方法更好的语音质量。音频样本可以在以下链接中找到：speechbot.github.io/resynthesis。
2021-07-27 cs.LG cs.SD eess.AS
Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation
National Taiwan University（台湾大学）；Google Brain（谷歌大脑）
语音失真是一个长期存在的问题，它降低了监督训练的语音处理模型的性能。因此，我们需要提高语音处理模型的鲁棒性，以在不损害原始语音处理性能的前提下，在遇到语音失真时获得良好的性能。在这项工作中，我们提出了提高域对抗训练（DAT）的语音处理模型的鲁棒性。我们进行了实验的SUPERB框架的基础上，五个不同的语音处理任务。如果我们并不总是知道语音数据的失真类型，我们分析了二进制域和多域设置，其中前者将所有失真的语音视为一个域，而后者将不同的失真视为不同的域。与监督训练方法相比，我们在目标域中获得了有希望的结果，其中语音数据被不同的失真所扭曲，包括测试过程中引入的新的不可见失真。
2022-07-25 cs.LG cs.SD eess.AS
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中，自监督学习（SSL）已经成为一个重要的研究方向。事实证明，SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面，监督多任务学习（MTL）是另一种表示学习范式，已被证明在计算机视觉（CV）和自然语言处理（NLP）中有效。然而，在语音处理中，还没有系统的研究，一般表示学习模型的监督MTL训练。在本文中，我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性，以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
SelfRemaster: Self-Supervised Speech Restoration with Analysis-by-Synthesis Approach Using Channel Modeling
The University of Tokyo（东京大学）
提出了一种无需配对语音库的自监督语音恢复方法。由于先前的一般语音恢复方法使用通过将各种失真应用于高质量语音语料库而创建的人工配对数据，因此其不能充分地表示真实数据的声学失真，从而限制了适用性。我们的模型包括分析，合成和通道模块，模拟退化语音的记录过程，并以自我监督的方式用真实的退化语音数据进行训练。分析模块从退化语音中提取无失真语音特征和失真特征，而合成模块合成恢复的语音波形，并且信道模块将失真添加到语音波形。我们的模型还支持音频效果传输，其中仅从降级的语音中提取声学失真并添加到任意高质量音频中。模拟和真实数据的实验评估表明，我们的方法实现了显着更高质量的语音恢复比以前的监督方法，表明其适用于真正的退化语音材料。
2022-06-27 cs.SD eess.AS
Perceive and predict: self-supervised speech representation based loss functions for speech enhancement
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）；M Health Information Systems Inc.（3M健康信息系统公司）
本研究发现干净与带噪语音的自监督早期特征编码距离与语音质量及可懂度高度相关，将其作为损失函数训练语音增强模型，在PESQ和STOI等客观指标上优于STFT频谱图距离等常见损失函数。
2023-06-26 cs.CL cs.LG cs.SD
Investigating Self-supervised Pretraining Frameworks for Pathological Speech Recognition
Nagoya University（名古屋大学）
我们研究了用于自动语音识别（ASR）的病理语音数据集上的自监督预训练框架的性能。现代端到端模型需要数千小时的数据才能很好地进行训练，但只有少量的病理语音数据集是公开的。解决这个问题的一个行之有效的方法是首先在大量健康语音数据集上对模型进行预训练，然后在病理语音数据集上对其进行微调。一种新的预训练框架称为自监督学习（SSL），它只使用语音数据训练网络，在训练数据要求方面提供了更大的灵活性，并允许在预训练中使用更多的语音数据。我们研究SSL框架，如wav2vec 2.0和WavLM模型使用不同的设置，并比较它们的性能与不同的监督预训练设置，使用两种类型的病理语音，即日语electrolaryngeal和英语dysarthric。我们的研究结果表明，虽然SSL已显示出成功的最低限度的资源健康的语音，我们没有发现这是病态的语音的情况。最好的监督设置优于最好的SSL设置的13.9%的字符出错率在喉电语音和16.8%的字出错率在构音障碍的语音。
2022-06-29 cs.SD eess.AS
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Characterizing the adversarial vulnerability of speech self-supervised learning
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；The Chinese University of Hong Kong（香港中文大学）
一个名为Speech processing Universal Permeable Benchmark（SUPERB）的排行榜，其目的是以最小的架构修改和少量的数据来对跨各种下游语音任务的共享自监督学习（SSL）语音模型的性能进行基准测试，推动了语音表示学习的研究。SUPERB演示了语音SSL上游模型通过最小的调整提高了各种下游任务的性能。随着自监督学习的上游模型和下游任务的研究受到越来越多的关注，表征这种模型的对抗鲁棒性具有重要意义。在本文中，我们第一次尝试研究这种模式下的攻击脆弱性的零知识的对手和有限知识的对手。实验结果表明，SUPERB提出的攻击范式对有限知识攻击者具有严重的脆弱性，零知识攻击者产生的攻击具有可转移性。XAB测试验证了精心制作的对抗攻击的不可感知性。
2022-03-29 cs.LG cs.SD eess.AS
The Effect of Spoken Language on Speech Enhancement using Self-Supervised Speech Representation Loss Functions
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
研究探讨自监督语音表示的训练语言对语音增强模型性能的影响，发现训练语言匹配对性能影响较小，而特定语言的训练数据量显著影响增强性能。
2023-10-20 cs.LG cs.SD eess.AS
Feature Normalization for Fine-tuning Self-Supervised Models in Speech Enhancement
Yonsei University（延世大学）
针对预训练自监督语音表征模型用于语音增强时的特征不匹配问题，提出采用特征归一化技术衔接模块，结合多种预训练模型均实现了语音质量的显著提升。
2023-06-14 cs.LG cs.SD eess.AS
Diffusion-based speech enhancement with a weighted generative-supervised learning loss
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）
针对扩散语音增强模型仅依赖无监督损失导致条件带噪语音利用不足的问题，本文提出在扩散训练目标中引入逐迭代均方误差损失，将估计增强语音与真实干净语音的差异纳入训练，实验验证了该方法能有效提升语音增强性能。
2023-09-19 cs.CV cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation（日本电信电话株式会社）
针对零样本TTS在含噪参考语音下质量下降的问题，提出通过在SSL模型中引入适配器并用含噪语音联合微调，同时结合语音增强前端，实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC（谷歌有限责任公司）
流传输端到端语音识别模型已经广泛应用于移动设备，并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是，服务器数据分布可能与用户设备上的数据分布非常不同，这可能会影响模型性能。在设备上训练有两个主要挑战，有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配，但由于内存限制，它们不直接适用于移动设备。在本文中，我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上，其中只有一层更新的时间。大量的实验结果表明，该算法获得了一个字的出错率（WER）在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
Leveraging Weakly Supervised Data to Improve End-to-End Speech-to-Text Translation
Google Research（谷歌研究院）
与自动语音识别（ASR）和文本机器翻译（MT）模型的级联相比，端到端语音翻译（ST）模型具有许多潜在优势，包括降低推理延迟和避免错误复合。然而，端到端ST的质量往往受到缺乏训练数据的限制，因为很难收集大型并行语料库的语音和翻译的抄本对。以前的研究已经提出了使用预训练的组件和多任务学习，以便从弱监督的训练数据中受益，例如语音到成绩单或文本到外国文本对。在本文中，我们证明了使用预训练的MT或文本到语音（TTS）合成模型将弱监督数据转换为ST训练的语音到翻译对可能比多任务学习更有效。此外，我们证明了一个高质量的端到端ST模型可以只使用弱监督数据集进行训练，并且来自未标记的单语文本或语音的合成数据可以用于提高性能。最后，我们讨论了避免过拟合合成语音的定量消融研究的方法。
2019-02-10 cs.CL cs.LG cs.SD
Efficient Personalized Speech Enhancement through Self-Supervised Learning
这项工作提出了用于开发单声道扬声器特定（即，个性化）语音增强模型。虽然通才模型必须广泛地解决许多扬声器，但专家模型可以针对特定扬声器的声音调整其增强功能，期望解决更窄的问题。因此，专家能够实现更优化的性能，除了降低计算复杂性。然而，朴素的个性化方法可能需要来自目标用户的干净语音，这不便于获取，例如，由于低于标准的记录条件。为此，我们将个性化设置为zero-shot任务，其中没有额外的目标说话者的干净语音用于训练，或Few-Shot学习任务，其中的目标是最小化用于迁移学习的干净语音的持续时间。在本文中，我们提出了自监督学习方法作为零和Few-Shot个性化任务的解决方案。所提出的方法被设计为从未标记的数据（即，来自目标用户的野外噪声记录）而不知道相应的干净源。我们的实验研究了三种不同的自监督学习机制。实验结果表明，自监督模型能够利用较少的模型参数和来自目标用户的干净数据实现zero-shot和Few-Shot个性化，达到了数据效率和模型压缩的目的。
2022-07-27 cs.LG cs.SD eess.AS
Weakly-Supervised Speech Pre-training: A Case Study on Target Speech Recognition
MoE Key Lab of Artificial Intelligence, AI Institute（人工智能研究院教育部人工智能重点实验室）；Department of Computer Science and Engineering（计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
针对弱监督数据在语音预训练中探索不足的问题，提出引入目标说话人注册信息作为辅助输入的弱监督预训练方法，在重叠语音下引导表征向目标说话人，在目标语音识别任务上显著优于WavLM。
2023-06-29 cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）
本文提出了一种端到端（E2 E）的自动语音识别（ASR）模型，该模型以鲁棒的语音识别为目标，称为增强语音输入的集成语音识别自监督学习表示（IRIS）。与传统的E2 E ASR模型相比，该模型集成了语音增强（SE）和自监督学习表示（SSLR）两个重要模块。SE模块增强带噪语音。然后，SSLR模块从增强的语音中提取用于语音识别（ASR）的特征。为了对模型进行训练，我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明，IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能（实际开发为2.0%，实际测试为3.9%），这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Hypergraph based semi-supervised learning algorithms applied to speech recognition problem: a novel approach
Ho Chi Minh City University of Technology-VNU HCM（胡志明市理工大学（越南国家大学胡志明市分校））
大多数基于网络的语音识别方法都是基于网络中两个相邻语音样本的标签可能相同的假设。然而，假设语音样本之间的成对关系是不完整的。一组语音样本显示非常相似的模式，往往有类似的标签的信息被错过了。克服上述假设的信息损失的自然方法是将语音样本的特征数据表示为超图。因此，本文介绍了三种基于半监督学习的非规范化、随机游动和对称规范化超图Laplacian方法，并将其应用于由语音样本特征数据构造的超图，以预测语音样本的标签。实验结果表明，这三种基于超图拉普拉斯算子的半监督学习方法的灵敏度性能指标均大于隐马尔可夫模型方法的灵敏度性能指标（当前应用于语音识别问题的最先进的方法）和基于图的半监督学习方法（即当前最先进的基于网络的分类问题的方法）应用于从语音样本的特征数据创建的网络。
2018-10-28 cs.LG cs.SD eess.AS
SPADE: Self-supervised Pretraining for Acoustic DisEntanglement
Amazon Alexa AI（亚马逊Alexa人工智能部门）；Google Research（谷歌研究院）
自监督表示学习方法由于能够在大量未标记的数据上训练模型而变得越来越流行，并且在诸如自然语言处理、计算机视觉和语音的不同领域中已经证明了成功。以前在语音领域的自我监督工作已经解开了语音的多个属性，如语言内容，说话者身份和节奏。在这项工作中，我们引入了一个自我监督的方法来解开房间声学语音，并使用设备仲裁的下游任务的声学表示。我们的结果表明，当标记的训练数据稀缺时，我们提出的方法比基线显着提高了性能，这表明我们的预训练方案学会了对房间声学信息进行编码，同时保持对语音信号的其他属性的不变。
2023-02-03 cs.LG cs.SD eess.AS
Multimodal Target Speech Separation with Voice and Face References
University of Hamburg（汉堡大学）
目标语音分离是指通过条件化有关目标说话人的辅助信息，从多说话人混合信号中分离出目标语音。不同于主流的视听方法，通常需要同时的视觉流作为额外的输入，例如相应的嘴唇运动序列，在我们的方法中，我们提出了一种新的使用目标扬声器的一个单一的面部轮廓，以分离预期的干净的语音。我们利用的事实是，一张脸的图像包含有关人的语音的信息。与使用同步视觉序列相比，面部图像更容易通过预注册或在网站上获得，这使得系统能够推广到没有摄像头的设备。为此，我们将从用于人脸识别的预训练模型中提取的人脸嵌入到语音分离中，从而指导系统在时频域中预测目标说话人掩码。实验结果表明，预注册的人脸图像能够有利于分离预期的语音信号。此外，人脸信息是语音参考的补充，我们表明，当结合人脸和语音嵌入时，可以实现进一步的改进。
2020-05-17 cs.SD eess.AS
KinSPEAK: Improving speech recognition for Kinyarwanda via semi-supervised learning methods
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出KinSPEAK，结合自监督预训练、课程式微调和五代半监督学习，仅用公有领域数据训练卢旺达语ASR模型，在新数据集与Mozilla Common Voice上分别取得3.2%和15.6% WER。
2024-03-02 cs.LG cs.SD eess.AS
Towards Spontaneous Style Modeling with Semi-supervised Pre-training for Conversational Text-to-Speech Synthesis
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；XVerse Inc.（元象科技）；The Chinese University of Hong Kong（香港中文大学）
针对自发性语音数据稀缺和标注成本高的问题，提出半监督预训练方法，结合文本与语音信息检测自发性行为，并利用语言感知编码器建模会话关系，实现表现性语音合成。
2023-08-31 cs.CL cs.LG cs.SD
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.（谷歌公司）
训练最先进的自动语音识别（ASR）模型通常需要大量的转录语音。在这项工作中，我们证明了一个模态匹配的联合语音和文本模型，可以利用训练一个大规模的多语言ASR模型，没有任何监督（手动转录）的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言，零监督语音，现实世界的设置，以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集，我们定义了覆盖$102$语言的任务，其中转录的语音在这些语言的$52$中可用，并且可以用于提高其余$50$上的端到端ASR质量。首先，我们表明，通过将语音表示与字节级文本表示相结合，并使用语言嵌入，我们可以显着降低字符出错率（CER）的语言没有监督语音从64.8%到30.8%，相对减少53%。其次，使用南亚语言的一个子集，我们表明，Maestro-U可以促进知识转移的语言与监督语音，即使有限制，没有字形重叠。总体而言，Maestro-U相对于Oracle的性能差距缩小了68.5%，并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
Speech Emotion Recognition using Self-Supervised Features
IBM Research AI（IBM 人工智能研究院）
自监督预训练特征在自然语言处理（NLP）领域一直提供最先进的结果;然而，它们在语音情感识别（SER）领域的优点仍然需要进一步研究。在本文中，我们介绍了一个模块化的端到端（E2 E）SER系统的基础上的上游+下游架构的范例，它允许轻松使用/集成的各种自我监督功能。从IEMOCAP数据集预测分类情感类的几个SER实验。这些实验研究了自监督特征模型的微调，将帧级特征聚合为话语级特征和后端分类网络之间的相互作用。所提出的基于单模态speechonly的系统不仅实现了SOTA结果，而且还揭示了强大且微调良好的自监督声学特征的可能性，所述自监督声学特征达到了与使用语音和文本模态的SOTA多模态系统所实现的结果类似的结果。
2022-02-07 cs.AI cs.LG cs.SD
Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation
National Taiwan University（台湾大学）
近年来，端到端的多说话人文本转语音（TTS）系统在大量高质量语音及其对应的传输可用的情况下获得了成功。然而，费力的配对数据收集过程阻止了许多机构构建具有良好性能的多扬声器TTS系统。在这项工作中，我们提出了一个半监督学习方法的多说话人TTS。多说话人TTS模型可以通过所提出的具有离散语音表示的编码器-解码器框架从未转录的音频中学习。实验结果表明，该模型仅用一小时的配对语音数据，无论是多个说话人还是单个说话人的配对语音，都能生成不同语音的可理解语音。我们发现该模型可以受益于所提出的半监督学习方法，即使部分未配对的语音数据是嘈杂的。此外，我们的分析表明，不同的说话人特征的配对数据的半监督TTS的有效性有影响。
2020-08-04 cs.CL cs.SD eess.AS
QS-TTS: Towards Semi-Supervised Text-to-Speech Synthesis via Vector-Quantized Self-Supervised Speech Representation Learning
Chinese University of Hong Kong（香港中文大学）；Xiaohongshu（小红书）
QS-TTS通过向量量化自监督语音表征学习，利用无标签音频降低监督数据需求，提升半监督TTS质量，在低资源场景下取得最优性能。
2023-08-31 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译（S2 ST）模型遭受数据稀缺问题，因为与包括自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）合成的常规级联系统可用的数据量相比，几乎不存在并行S2 ST数据。在这项工作中，我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译（S2 UT）框架，该框架将目标语音编码为离散表示，并通过研究语音编码器和离散单元解码器的预训练，将适用于语音到文本翻译（S2 T）的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明，与平均6.6-12.1 BLEU增益的多任务学习相比，自监督预训练始终提高了模型性能，并且可以进一步与数据增强技术相结合，该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Representative Subset Selection for Efficient Fine-Tuning in Self-Supervised Speech Recognition
Lahore University of Management Sciences（拉合尔管理科学大学）
本文提出COWERAGE算法，通过基于早期训练WER的样本覆盖度选择代表性子集，在自监督ASR微调中相比随机采样和现有剪枝方法实现最高17%的相对WER提升。
2023-04-11 cs.LG cs.SD eess.AS
General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个自监督学习框架，命名为MGF，通用语音表示学习。在MGF的设计中，考虑了语音的层次性。具体来说，我们建议使用生成学习方法在小时间尺度上捕获细粒度信息，并使用判别学习方法在大时间尺度上提取粗粒度或语义信息。对于音素级学习，我们借用了掩蔽语言模型的思想，但通过用对比损失代替分类损失来为连续语音信号定制它。我们证实了我们的设计，通过评估MGF表示在各种下游任务，包括音素分类，说话人分类，语音识别，和情感分类。实验表明，在不同的时间尺度上进行训练需要不同的训练目标和损失函数，这在总体上是相辅相成的，从而导致更好的性能。
2021-02-03 cs.LG cs.SD eess.AS
Self-Supervised Learning from Contrastive Mixtures for Personalized Speech Enhancement
这项工作探讨了如何自我监督学习可以普遍用于发现扬声器的特定功能，使个性化的语音增强模型。我们专门解决了Few-Shot学习场景，其中对测试时间扬声器的清洁录音的访问限于几秒钟，但扬声器的嘈杂录音是丰富的。我们开发了一个简单的对比学习过程，将丰富的噪声数据作为临时的训练目标，通过成对的噪声注入：该模型进行预训练，以最大限度地提高对不同变形的相同的话语之间的协议，并尽量减少对类似变形的不相同的话语之间的协议。我们的实验比较了所提出的预训练方法与两个基线替代方案：说话者不可知的全监督预训练，和说话者特定的自我监督预训练没有对比损失条款。在所有三种方法中，使用对比混合物的方法被发现对模型压缩（使用少85%的参数）和减少干净语音（仅需要3秒）是最鲁棒的。
2022-08-09 cs.LG cs.SD eess.AS
Non Intrusive Intelligibility Predictor for Hearing Impaired Individuals using Self Supervised Speech Representations
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文将自监督语音表征用于非侵入式听障语音可懂度预测，在Clarity Prediction Challenge 1数据上达到与复杂系统竞争的性能，并指出泛化仍需更多数据。
2023-12-07 cs.LG cs.SD eess.AS
SESQA: semi-supervised learning for speech quality assessment
Dolby Laboratories（杜比实验室）
自动语音质量评估是一个重要的，横向的任务，其进展受到人类注释的缺乏，对看不见的记录条件的概括性差，以及现有方法缺乏灵活性的阻碍。在这项工作中，我们使用半监督学习方法来解决这些问题，将可用的注释与编程生成的数据相结合，并使用3种不同的优化标准以及5个互补的辅助任务。我们的结果表明，这种半监督方法可以将现有方法的错误减少36%以上，同时在可重用特征或辅助输出方面提供额外的好处。改进进一步证实了一个样本外测试显示有前途的泛化能力。
2021-02-08 cs.LG cs.SD eess.AS
Self-supervised Learning for Speech Enhancement
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
单通道语音增强的监督学习需要仔细标记的训练示例，其中将噪声混合输入到网络中，并训练网络以产生接近理想目标的输出。为了放松对训练数据的条件，我们考虑以自监督的方式训练语音增强网络的任务。我们首先使用有限的干净语音训练集，并通过对其幅度谱图进行自动编码来学习潜在表示。然后，我们自动编码的语音混合记录在嘈杂的环境和训练产生的自动编码器共享一个潜在的代表性与干净的例子。我们表明，使用这种训练模式，我们现在可以使用一个可自主训练的网络将嘈杂的语音映射到其干净的版本，而不需要标记的训练示例或人工干预。
2020-06-18 cs.SD eess.AS
RobustL2S: Speaker-Specific Lip-to-Speech Synthesis exploiting Self-Supervised Representations
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务研究院）
RobustL2S提出模块化唇语到语音合成框架，先用非自回归模型从自监督视觉特征解耦语音内容，再用声码器生成波形，在多个数据集上取得最先进性能。
2023-07-03 cs.LG cs.SD eess.AS
TESSP: Text-Enhanced Self-Supervised Speech Pre-training
Northwestern Polytechnical University（西北工业大学）；Microsoft Corporation（微软公司）
自监督语音预训练为模型赋予语音信号中固有的上下文结构，而自监督文本预训练为模型赋予语言信息。这两种方法都有利于下游语音任务，如ASR。然而，不同的预训练目标使得在同一模型中联合优化语音和文本表示具有挑战性。为了解决这个问题，我们提出了文本增强的自监督语音预训练（TESSP），旨在将语言信息纳入语音预训练。我们的模型由三部分组成，即，语音编码器、文本编码器和共享编码器。该模型以无监督的语音和文本数据作为输入，并分别利用常见的HuBERT和MLM损失。我们还提出了音素上采样和表示交换，使联合建模的语音和文本信息。具体来说，为了解决语音和文本数据之间的长度不匹配问题，我们将文本序列音素化，并使用从一小组监督数据中提取的对齐信息对音素进行上采样。此外，为了缩小学习的语音和文本表示之间的差距，我们根据对齐信息将文本表示与由相应的私有编码器提取的语音表示交换。在Librispeech数据集上的实验结果表明，与WavLM相比，TESSP模型在测试干净集和测试其他集上的性能提高了10%以上.在SUPERB基准测试中，我们对模型进行了测试，结果表明，与WavLM相比，我们的模型在音素识别、声学语音识别和语音翻译方面有更好的性能。
2022-11-24 cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Personalized Speech Enhancement through Self-Supervised Data Augmentation and Purification
Indiana University（印第安纳大学）
训练个性化的语音增强模型本质上是一个无镜头学习问题，由于隐私的限制和有限的访问从目标用户的无噪声语音。如果测试时用户有大量未标记的嘈杂语音，则可以使用自监督学习来训练个性化的语音增强模型。模型个性化的一种直接方法是使用目标说话者的嘈杂录音作为伪源。然后，伪去噪模型学习去除注入的训练噪声并恢复伪源。然而，这种方法是不稳定的，因为它取决于伪源的质量，这可能是太嘈杂。作为补救措施，我们提出了一个改进的自我监督的方法，通过数据净化。我们首先训练一个SNR预测器模型来估计伪源的逐帧SNR。然后，预测器的估计被转换成权重，该权重调整伪源对训练个性化模型的逐帧贡献。我们的经验表明，建议的数据净化步骤提高了可用性的扬声器特定的噪声数据的背景下，个性化的语音增强。在不依赖任何干净的语音记录或说话者嵌入的情况下，我们的方法可以被视为隐私保护。
2021-04-05 cs.LG cs.SD eess.AS
An empirical study on speech restoration guided by self supervised speech representation
本文实证研究自监督语音表示对语音恢复任务的影响，通过在多种语音恢复网络中引入该表示，证明其上下文信息能提升复杂失真场景下的恢复性能，并增强对语音衰减时长和不匹配测试条件的鲁棒性。
2023-05-30 eess.AS
Stabilizing Label Assignment for Speech Separation by Self-supervised Pre-training
National Taiwan University（国立台湾大学）；University of Edinburgh（爱丁堡大学）
语音分离已经得到了很好的发展，非常成功的排列不变训练（PIT）的方法，虽然频繁的标签分配切换发生在PIT训练过程中仍然是一个问题，当需要更好的收敛速度和可实现的性能。在本文中，我们建议进行自我监督的预训练，以稳定训练语音分离模型中的标签分配。在几种自监督方法、几种典型的语音分离模型和两个不同的数据集上的实验表明，如果选择适当的自监督方法，可以取得很好的效果。
2021-08-22 cs.CL cs.SD eess.AS
Speech Driven Talking Face Generation from a Single Image and an Emotion Condition
University of Rochester（罗切斯特大学）
视觉情感表达在视听言语交际中起着重要的作用。在这项工作中，我们提出了一种新的方法来渲染视觉情感表达的语音驱动的说话人脸生成。具体来说，我们设计了一个端到端的说话脸生成系统，以语音话语，一个单一的人脸图像，和一个分类的情感标签作为输入，以呈现说话的脸视频同步的语音和表达的条件情感。对图像质量、视听同步和视觉情感表达的客观评价表明，该系统优于最先进的基线系统。视觉情感表达和视频真实性的主观评价也证明了该系统的优越性。此外，我们进行了人类情感识别试点研究，使用生成的视频之间的音频和视觉形式的不匹配的情绪。结果表明，人类对视觉模态的反应比听觉模态更显着。
2021-07-21 cs.CV cs.LG cs.MM
Leveraging unsupervised and weakly-supervised data to improve direct speech-to-speech translation
Google Research（谷歌研究院）
不依赖中间文本表示的端到端语音到语音翻译（S2 ST）是一个迅速兴起的研究前沿。最近的工作表明，这种直接S2 ST系统的性能接近传统的级联S2 ST在可比的数据集上训练时。然而，在实践中，直接S2 ST的性能受到成对S2 ST训练数据的可用性的限制。在这项工作中，我们探索了多种方法，利用更广泛的无监督和弱监督语音和文本数据来提高基于Translatotron 2的直接S2 ST的性能。使用我们最有效的方法，与之前在没有额外数据的情况下训练的最先进的方法相比，CVSS-C语料库上21种语言对的直接S2 ST的平均翻译质量提高了+13.6 BLEU（或相对+113%）。低资源语言的改善更显着（平均增加398%）。我们的比较研究为S2 ST和语音表示学习的未来研究方向提出了建议。
2022-06-27 cs.CL cs.LG cs.SD
Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
一致性正则化最近被应用于半监督序列到序列（S2S）自动语音识别（ASR）。该原理鼓励ASR模型针对具有不同扰动的相同输入语音输出类似的预测。半监督S2S ASR的现有范例利用SpecAugment作为数据增强，并且需要静态教师模型来为未转录的语音产生伪转录。然而，这种范式未能充分利用一致性正则化。首先，SpecAugment的掩蔽操作可能会破坏语音的语言内容，从而影响伪标签的质量。其次，S2S ASR需要输入语音和前缀令牌两者来进行下一个预测。离线教师模型制作的静态前缀标记在一致性训练期间无法匹配动态伪标签。在这项工作中，我们提出了一个改进的一致性训练范式的半监督S2S ASR。我们利用语音链重建作为弱增强来生成高质量的伪标签。此外，我们证明了学生ASR模型产生的动态伪成绩单有利于一致性训练。在LJSpeech和LibriSpeech语料库上的实验表明，与有监督的基线相比，我们的改进范式在单说话人环境下的CER提高了12.2%，在多说话人环境下提高了38.6%。
2022-05-14 cs.CL cs.LG cs.SD
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
Similarity Analysis of Self-Supervised Speech Representations
Technion（以色列理工学院）
自监督语音表示学习是近年来语音表示学习领域的一个研究热点。人们已经提出了许多算法来从大规模的未标记数据中学习有用的表示，并且还研究了它们在广泛的语音任务中的应用。然而，很少有研究集中在了解现有方法的属性。在这项工作中，我们的目标是提供一些最具代表性的自我监督算法的比较研究。具体来说，我们使用现有的相似性度量来量化不同自监督表示之间的相似性。我们还设计了探测任务来研究模型的预训练损失与其学习表示中包含的特定语音信息量之间的相关性。除了显示在相同输入下各种自监督模型的行为如何不同之外，我们的研究还发现，训练目标对表示相似性的影响比构建模块（RNN/Transformer/CNN）和方向性（单向/双向）等架构选择更大。我们的研究结果还表明，对于一些自监督算法，预训练损失和下游性能之间存在很强的相关性。
2021-02-02 cs.CL cs.LG cs.SD
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research（京东人工智能研究院）
端到端自动语音识别（ASR）模型通常被训练为优化整个令牌序列的丢失，而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题，我们提出了一个新的框架，基于监督对比学习（SCaLa），以增强音素表征学习的端到端ASR系统。具体来说，我们将自监督的掩蔽对比预测编码（MCPC）扩展到完全监督的设置，其中监督以以下方式应用。首先，SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签，以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明，我们提出的方法实现了2.8和1.4点字符错误率（CER）的绝对减少相比，基线，分别。
2022-06-20 cs.LG cs.SD eess.AS
Self-supervised Learning with Speech Modulation Dropout
Johns Hopkins University（约翰斯·霍普金斯大学）
我们证明，训练一个基于多头自我注意力的深度网络来预测1.5秒内被删除的、信息密集的2-8 Hz语音调制，是一种有效的方法，可以让机器学习使用时域上下文信息来提取语音调制。我们的工作表明，一旦在大量未标记的数据上进行训练，自我注意层的输出会随着时间的推移而变化，调制峰值为4 Hz。这些预训练的层可用于初始化自动语音识别系统的部分，以大大减少其对标记语音数据的依赖。
2023-03-22 cs.SD eess.AS
