Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg（汉堡大学）
最近，变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然而，变分自编码器仅在干净的语音上训练，这导致与监督方法相比，从噪声语音中提取语音信号的能力有限。在本文中，我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号（例如语音活动）的高级分类变量，与标准变分自动编码器相比，允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能，所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Prosodic ABX: A Language-Agnostic Method for Measuring Prosodic Contrast in Speech Representations
The University of Tokyo（东京大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出语调ABX方法，用于评估语音表示中的语调对比度，通过少量示例和无显式标签进行测试，展示了其在英语重音、日语声调和汉语声调中的有效性。
2026-09-29 cs.CL cs.LG cs.SD
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook（脸书）
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行，但很少有作品全面分析非语音音频任务的音频表示学习。在本文中，我们提出了一种自监督的音频表示学习方法，并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架，它已经成功地在自监督学习的语音任务，参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中，我们实现了0.415的平均精度（mAP）得分，这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
Data Efficient Direct Speech-to-Text Translation with Modality Agnostic Meta-Learning
Samsung Research（三星研究院）
端到端语音翻译（ST）模型具有几个优点，例如较低的延迟、较小的模型大小以及比组合自动语音识别（ASR）和文本机器翻译（MT）模型的常规流水线更少的错误复合。然而，收集大量的并行数据的ST任务是更困难的ASR和MT任务相比。以往的研究提出了使用迁移学习的方法来克服上述困难。这些方法受益于弱监督的训练数据，例如ASR语音到转录本或MT文本到文本翻译对。然而，这些模型中的参数独立于每个任务进行更新，这可能导致次优解决方案。在这项工作中，我们采用Meta学习算法训练一个模态无关的多任务模型，将知识从源任务=ASR+MT转移到目标任务=ST，其中ST任务严重缺乏数据。在元学习阶段，模型的参数暴露于大量的语音转录（例如，英语ASR）和文本翻译（例如，英语-德语MT）。在此阶段，参数以理解语音、文本表示、它们之间的关系的方式更新，并作为目标ST任务的良好初始化点。我们评估建议的元学习方法ST任务的英语-德语（En-De）和英语-法语（En-Fr）的语言对多语言语音翻译语料库（Must-C）。我们的方法优于以前的迁移学习方法，并通过分别获得9.18和11.76的BLEU点改进，为En-De和En-Fr ST任务设置了新的最先进的结果。
2020-04-28 cs.CL cs.LG cs.SD
Exploring Efficient-tuning Methods in Self-supervised Speech Models
National Taiwan University（国立台湾大学）；Amazon AI（亚马逊人工智能）
在这项研究中，我们的目标是探索有效的语音自监督学习的调整方法。最近的研究表明，自监督学习（SSL）可以学习不同的语音任务的强大的表示。然而，为每个下游任务微调预训练模型是参数效率低下的，因为SSL模型非常大，有数百万个参数。适配器是NLP中常用的轻量级模块，用于解决这个问题。在下游任务中，SSL模型的参数被冻结，并且只训练适配器。由于缺乏研究，一般探索适配器的自我监督语音任务的有效性，我们打算通过在预训练的语音SSL模型中添加各种适配器模块来填补这一空白。我们表明，性能的奇偶校验可以实现超过90%的参数减少，并讨论了有效的调整技术的优点和缺点。这是第一次全面调查各种适配器类型的语音任务。
2023-01-30 cs.LG cs.SD eess.AS
Speech Resynthesis from Discrete Disentangled Self-Supervised Representations
Tel Aviv University（特拉维夫大学）
我们建议使用自监督离散表示的语音再合成的任务。为了生成解纠缠表示，我们分别提取语音内容，韵律信息和扬声器身份的低比特率表示。这允许以可控的方式合成语音。我们分析了各种最先进的，自我监督的表示学习方法，并阐明了每种方法的优点，同时考虑重建质量和解纠缠属性。具体来说，我们评估的F0重建，说话人辨识性能（重新合成和语音转换），录音的可懂度，和整体质量使用主观的人的评价。最后，我们演示了如何将这些表示用于超轻量语音编解码器。使用获得的表示，我们可以得到每秒365比特的速率，同时提供比基线方法更好的语音质量。音频样本可以在以下链接中找到：speechbot.github.io/resynthesis。
2021-07-27 cs.LG cs.SD eess.AS
Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation
National Taiwan University（台湾大学）；Google Brain（谷歌大脑）
语音失真是一个长期存在的问题，它降低了监督训练的语音处理模型的性能。因此，我们需要提高语音处理模型的鲁棒性，以在不损害原始语音处理性能的前提下，在遇到语音失真时获得良好的性能。在这项工作中，我们提出了提高域对抗训练（DAT）的语音处理模型的鲁棒性。我们进行了实验的SUPERB框架的基础上，五个不同的语音处理任务。如果我们并不总是知道语音数据的失真类型，我们分析了二进制域和多域设置，其中前者将所有失真的语音视为一个域，而后者将不同的失真视为不同的域。与监督训练方法相比，我们在目标域中获得了有希望的结果，其中语音数据被不同的失真所扭曲，包括测试过程中引入的新的不可见失真。
2022-07-25 cs.LG cs.SD eess.AS
CUPE: Contextless Universal Phoneme Encoder for Language-Agnostic Speech Processing
Bournemouth University（博尔蒙德大学）
本文提出轻量级模型 CUPE，在约 120 毫秒的音素长度窗口内独立捕获无上下文的通用音素特征，以较少参数实现有竞争力的跨语言语音处理性能。
2025-08-21 cs.CL cs.LG eess.AS
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Characterizing the adversarial vulnerability of speech self-supervised learning
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；The Chinese University of Hong Kong（香港中文大学）
一个名为Speech processing Universal Permeable Benchmark（SUPERB）的排行榜，其目的是以最小的架构修改和少量的数据来对跨各种下游语音任务的共享自监督学习（SSL）语音模型的性能进行基准测试，推动了语音表示学习的研究。SUPERB演示了语音SSL上游模型通过最小的调整提高了各种下游任务的性能。随着自监督学习的上游模型和下游任务的研究受到越来越多的关注，表征这种模型的对抗鲁棒性具有重要意义。在本文中，我们第一次尝试研究这种模式下的攻击脆弱性的零知识的对手和有限知识的对手。实验结果表明，SUPERB提出的攻击范式对有限知识攻击者具有严重的脆弱性，零知识攻击者产生的攻击具有可转移性。XAB测试验证了精心制作的对抗攻击的不可感知性。
2022-03-29 cs.LG cs.SD eess.AS
The Effect of Spoken Language on Speech Enhancement using Self-Supervised Speech Representation Loss Functions
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
研究探讨自监督语音表示的训练语言对语音增强模型性能的影响，发现训练语言匹配对性能影响较小，而特定语言的训练数据量显著影响增强性能。
2023-10-20 cs.LG cs.SD eess.AS
Perceive and predict: self-supervised speech representation based loss functions for speech enhancement
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）；M Health Information Systems Inc.（3M健康信息系统公司）
本研究发现干净与带噪语音的自监督早期特征编码距离与语音质量及可懂度高度相关，将其作为损失函数训练语音增强模型，在PESQ和STOI等客观指标上优于STFT频谱图距离等常见损失函数。
2023-06-26 cs.CL cs.LG cs.SD
Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech
NVIDIA（英伟达）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出VQScore自监督语音质量评估指标及基于向量量化与自蒸馏对抗训练的语音增强模型，仅用干净语音训练即可达到与监督基线相当的性能。
2024-02-26 cs.AI cs.LG cs.SD
Feature Normalization for Fine-tuning Self-Supervised Models in Speech Enhancement
Yonsei University（延世大学）
针对预训练自监督语音表征模型用于语音增强时的特征不匹配问题，提出采用特征归一化技术衔接模块，结合多种预训练模型均实现了语音质量的显著提升。
2023-06-14 cs.LG cs.SD eess.AS
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中，自监督学习（SSL）已经成为一个重要的研究方向。事实证明，SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面，监督多任务学习（MTL）是另一种表示学习范式，已被证明在计算机视觉（CV）和自然语言处理（NLP）中有效。然而，在语音处理中，还没有系统的研究，一般表示学习模型的监督MTL训练。在本文中，我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性，以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC（谷歌有限责任公司）
流传输端到端语音识别模型已经广泛应用于移动设备，并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是，服务器数据分布可能与用户设备上的数据分布非常不同，这可能会影响模型性能。在设备上训练有两个主要挑战，有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配，但由于内存限制，它们不直接适用于移动设备。在本文中，我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上，其中只有一层更新的时间。大量的实验结果表明，该算法获得了一个字的出错率（WER）在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
Efficient Personalized Speech Enhancement through Self-Supervised Learning
这项工作提出了用于开发单声道扬声器特定（即，个性化）语音增强模型。虽然通才模型必须广泛地解决许多扬声器，但专家模型可以针对特定扬声器的声音调整其增强功能，期望解决更窄的问题。因此，专家能够实现更优化的性能，除了降低计算复杂性。然而，朴素的个性化方法可能需要来自目标用户的干净语音，这不便于获取，例如，由于低于标准的记录条件。为此，我们将个性化设置为zero-shot任务，其中没有额外的目标说话者的干净语音用于训练，或Few-Shot学习任务，其中的目标是最小化用于迁移学习的干净语音的持续时间。在本文中，我们提出了自监督学习方法作为零和Few-Shot个性化任务的解决方案。所提出的方法被设计为从未标记的数据（即，来自目标用户的野外噪声记录）而不知道相应的干净源。我们的实验研究了三种不同的自监督学习机制。实验结果表明，自监督模型能够利用较少的模型参数和来自目标用户的干净数据实现zero-shot和Few-Shot个性化，达到了数据效率和模型压缩的目的。
2022-07-27 cs.LG cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
SPADE: Self-supervised Pretraining for Acoustic DisEntanglement
Amazon Alexa AI（亚马逊Alexa人工智能部门）；Google Research（谷歌研究院）
自监督表示学习方法由于能够在大量未标记的数据上训练模型而变得越来越流行，并且在诸如自然语言处理、计算机视觉和语音的不同领域中已经证明了成功。以前在语音领域的自我监督工作已经解开了语音的多个属性，如语言内容，说话者身份和节奏。在这项工作中，我们引入了一个自我监督的方法来解开房间声学语音，并使用设备仲裁的下游任务的声学表示。我们的结果表明，当标记的训练数据稀缺时，我们提出的方法比基线显着提高了性能，这表明我们的预训练方案学会了对房间声学信息进行编码，同时保持对语音信号的其他属性的不变。
2023-02-03 cs.LG cs.SD eess.AS
KinSPEAK: Improving speech recognition for Kinyarwanda via semi-supervised learning methods
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出KinSPEAK，结合自监督预训练、课程式微调和五代半监督学习，仅用公有领域数据训练卢旺达语ASR模型，在新数据集与Mozilla Common Voice上分别取得3.2%和15.6% WER。
2024-03-02 cs.LG cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation（日本电信电话株式会社）
针对零样本TTS在含噪参考语音下质量下降的问题，提出通过在SSL模型中引入适配器并用含噪语音联合微调，同时结合语音增强前端，实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Representative Subset Selection for Efficient Fine-Tuning in Self-Supervised Speech Recognition
Lahore University of Management Sciences（拉合尔管理科学大学）
本文提出COWERAGE算法，通过基于早期训练WER的样本覆盖度选择代表性子集，在自监督ASR微调中相比随机采样和现有剪枝方法实现最高17%的相对WER提升。
2023-04-11 cs.LG cs.SD eess.AS
Leveraging Weakly Supervised Data to Improve End-to-End Speech-to-Text Translation
Google Research（谷歌研究院）
与自动语音识别（ASR）和文本机器翻译（MT）模型的级联相比，端到端语音翻译（ST）模型具有许多潜在优势，包括降低推理延迟和避免错误复合。然而，端到端ST的质量往往受到缺乏训练数据的限制，因为很难收集大型并行语料库的语音和翻译的抄本对。以前的研究已经提出了使用预训练的组件和多任务学习，以便从弱监督的训练数据中受益，例如语音到成绩单或文本到外国文本对。在本文中，我们证明了使用预训练的MT或文本到语音（TTS）合成模型将弱监督数据转换为ST训练的语音到翻译对可能比多任务学习更有效。此外，我们证明了一个高质量的端到端ST模型可以只使用弱监督数据集进行训练，并且来自未标记的单语文本或语音的合成数据可以用于提高性能。最后，我们讨论了避免过拟合合成语音的定量消融研究的方法。
2019-02-10 cs.CL cs.LG cs.SD
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research（Meta人工智能研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta Reality Labs Research（Meta现实实验室）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真（例如，分离、修复、视频到语音）并呈现定制的算法。本文提出将这些学科结合起来，研究广义语音增强，其目标不是重建精确的参考干净信号，而是专注于改善语音的某些方面。特别是，本文关注的可懂度，质量和视频同步。我们将这个问题归结为视听语音再合成，它包括两个步骤：伪视听语音识别（P-AVSR）和伪文本到语音合成（P-TTS）。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外，我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型，并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性，还在EasyCom上对ReVISE进行了评估，EasyCom是在具有挑战性的声学条件下收集的视听基准，只有1.6小时的训练数据。同样，ReVISE极大地抑制了噪声并提高了质量。项目页面：https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
Towards Spontaneous Style Modeling with Semi-supervised Pre-training for Conversational Text-to-Speech Synthesis
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；XVerse Inc.（元象科技）；The Chinese University of Hong Kong（香港中文大学）
针对自发性语音数据稀缺和标注成本高的问题，提出半监督预训练方法，结合文本与语音信息检测自发性行为，并利用语言感知编码器建模会话关系，实现表现性语音合成。
2023-08-31 cs.CL cs.LG cs.SD
Supervised Speech Separation Based on Deep Learning: An Overview
The Ohio State University（俄亥俄州立大学）；Northwestern Polytechnical University（西北工业大学）；Baidu Research（百度研究院）
语音分离是将目标语音从背景干扰中分离出来的任务。传统上，语音分离是作为信号处理问题来研究的。最近的方法将语音分离公式化为监督学习问题，其中从训练数据学习语音、说话者和背景噪声的判别模式。在过去的十年中，许多监督分离算法被提出。特别是，最近将深度学习引入到监督语音分离中，大大加快了进展并提高了分离性能。本文综述了近几年来基于深度学习的有监督语音分离的研究进展。首先介绍了语音分离的背景和监督分离的概念。然后，我们讨论了监督分离的三个主要组成部分：学习机，训练目标和声学特征。大部分概述是关于分离算法的，我们回顾了单声道方法，包括语音增强（语音-非语音分离），扬声器分离（多说话者分离）和语音去混响，以及多麦克风技术。推广的重要问题，独特的监督学习，进行了讨论。这一概述提供了一个历史的角度来看，如何取得进展。此外，我们还讨论了一些概念问题，包括什么构成目标源。
2018-06-15 cs.CL cs.LG cs.NE
Speech Emotion Recognition using Self-Supervised Features
IBM Research AI（IBM 人工智能研究院）
自监督预训练特征在自然语言处理（NLP）领域一直提供最先进的结果;然而，它们在语音情感识别（SER）领域的优点仍然需要进一步研究。在本文中，我们介绍了一个模块化的端到端（E2 E）SER系统的基础上的上游+下游架构的范例，它允许轻松使用/集成的各种自我监督功能。从IEMOCAP数据集预测分类情感类的几个SER实验。这些实验研究了自监督特征模型的微调，将帧级特征聚合为话语级特征和后端分类网络之间的相互作用。所提出的基于单模态speechonly的系统不仅实现了SOTA结果，而且还揭示了强大且微调良好的自监督声学特征的可能性，所述自监督声学特征达到了与使用语音和文本模态的SOTA多模态系统所实现的结果类似的结果。
2022-02-07 cs.AI cs.LG cs.SD
Leveraging unsupervised and weakly-supervised data to improve direct speech-to-speech translation
Google Research（谷歌研究院）
不依赖中间文本表示的端到端语音到语音翻译（S2 ST）是一个迅速兴起的研究前沿。最近的工作表明，这种直接S2 ST系统的性能接近传统的级联S2 ST在可比的数据集上训练时。然而，在实践中，直接S2 ST的性能受到成对S2 ST训练数据的可用性的限制。在这项工作中，我们探索了多种方法，利用更广泛的无监督和弱监督语音和文本数据来提高基于Translatotron 2的直接S2 ST的性能。使用我们最有效的方法，与之前在没有额外数据的情况下训练的最先进的方法相比，CVSS-C语料库上21种语言对的直接S2 ST的平均翻译质量提高了+13.6 BLEU（或相对+113%）。低资源语言的改善更显着（平均增加398%）。我们的比较研究为S2 ST和语音表示学习的未来研究方向提出了建议。
2022-06-27 cs.CL cs.LG cs.SD
Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
一致性正则化最近被应用于半监督序列到序列（S2S）自动语音识别（ASR）。该原理鼓励ASR模型针对具有不同扰动的相同输入语音输出类似的预测。半监督S2S ASR的现有范例利用SpecAugment作为数据增强，并且需要静态教师模型来为未转录的语音产生伪转录。然而，这种范式未能充分利用一致性正则化。首先，SpecAugment的掩蔽操作可能会破坏语音的语言内容，从而影响伪标签的质量。其次，S2S ASR需要输入语音和前缀令牌两者来进行下一个预测。离线教师模型制作的静态前缀标记在一致性训练期间无法匹配动态伪标签。在这项工作中，我们提出了一个改进的一致性训练范式的半监督S2S ASR。我们利用语音链重建作为弱增强来生成高质量的伪标签。此外，我们证明了学生ASR模型产生的动态伪成绩单有利于一致性训练。在LJSpeech和LibriSpeech语料库上的实验表明，与有监督的基线相比，我们的改进范式在单说话人环境下的CER提高了12.2%，在多说话人环境下提高了38.6%。
2022-05-14 cs.CL cs.LG cs.SD
Similarity Analysis of Self-Supervised Speech Representations
Technion（以色列理工学院）
自监督语音表示学习是近年来语音表示学习领域的一个研究热点。人们已经提出了许多算法来从大规模的未标记数据中学习有用的表示，并且还研究了它们在广泛的语音任务中的应用。然而，很少有研究集中在了解现有方法的属性。在这项工作中，我们的目标是提供一些最具代表性的自我监督算法的比较研究。具体来说，我们使用现有的相似性度量来量化不同自监督表示之间的相似性。我们还设计了探测任务来研究模型的预训练损失与其学习表示中包含的特定语音信息量之间的相关性。除了显示在相同输入下各种自监督模型的行为如何不同之外，我们的研究还发现，训练目标对表示相似性的影响比构建模块（RNN/Transformer/CNN）和方向性（单向/双向）等架构选择更大。我们的研究结果还表明，对于一些自监督算法，预训练损失和下游性能之间存在很强的相关性。
2021-02-02 cs.CL cs.LG cs.SD
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Cocktail HuBERT: Generalized Self-Supervised Pre-training for Mixture and Single-Source Speech
Meta AI - FAIR
自监督学习有效地利用了未标记的数据，提高了标记效率，并推广到没有标记数据的领域。虽然最近的工作已经研究了泛化到更多的声学/语言学领域，语言和模态，这些调查仅限于单源语音与一个主要发言人在录音。本文介绍了鸡尾酒HuBERT，一个自监督学习框架，推广到混合语音使用掩蔽伪声源分离目标。这个目标鼓励模型识别源的数量，分离和理解上下文，并推断表示为发现单元的掩蔽区域的内容。Cocktail HuBERT在多扬声器ASR上的WER降低了69%，在日记化上的DER降低了31%，并且在SUPERB的单扬声器和多扬声器任务上具有竞争力。
2023-03-20 cs.CL cs.LG cs.SD
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
针对汉语自动语音识别（ASR）提出了一种新的多模态多任务编码解码器预训练框架（MMSpeech），该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异，特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同，普通话使用表意书写系统，其中字符和声音并不紧密地相互映射。因此，我们建议将音素模态引入预训练，这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说，我们采用了一个多任务学习框架，包括五个自我监督和监督任务，语音和文本数据。对于端到端预训练，我们引入了利用未标记语音和文本数据的自监督语音到伪代码（S2 C）和音素到文本（P2 T）任务，其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示，我们引入了自监督掩蔽语音预测（MSP）和监督音素预测（PP）任务来学习将语音映射到音素。此外，我们直接将下游有监督的语音到文本（S2 T）任务添加到预训练过程中，这可以进一步提高预训练性能，即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明，该方法具有最佳的性能，与其他预训练方法相比，相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
EAT: Enhanced ASR-TTS for Self-supervised Speech Recognition
Brno University of Technology（布尔诺理工大学）
自监督ASR-TTS模型在域外数据条件下受到影响。在这里，我们提出了一个增强的ASR-TTS（EAT）模型，它包括两个主要特征：1）ASR $\rightarrow$ TTS方向配备了一个语言模型奖励，以惩罚ASR假设，然后将其转发到TTS。2)在TTS $\rightarrow$ ASR方向上，引入超参数以在将合成语音发送到ASR以处理域外数据之前缩放来自合成语音的注意力上下文。训练策略和EAT模型的有效性进行了探讨域外数据条件下。结果表明，EAT在Librispeech和BABEL上分别将监督训练和自监督训练的性能差距缩小了2.6%和2.7%。
2021-04-13 cs.AI cs.LG cs.SD
StyleCap: Automatic Speaking-Style Captioning from Speech Based on Speech and Language Self-supervised Learning Models
The University of Tokyo（东京大学）；NTT Corporation（日本电信电话公司）
StyleCap提出一种端到端方法，利用语音和语言自监督学习模型，从语音生成自然语言说话风格描述，通过LLM解码器和SSL特征提升准确性与多样性。
2023-12-27 cs.CL cs.LG cs.SD
Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach
NavInfo Europe（四维图新欧洲）
非平稳数据流上的持续学习（CL）仍然是深度神经网络（DNN）中长期存在的挑战之一，因为它们容易发生灾难性遗忘。CL模型可以从自我监督的预训练中受益，因为它可以学习更多可推广的任务不可知特征。然而，自我监督预训练的效果随着任务序列长度的增加而减弱。此外，预训练数据分布和任务分布之间的域移位降低了学习表示的泛化能力。为了解决这些局限性，我们提出了任务不可知表征整合（TARC），这是一种两阶段的CL训练范式，它将任务不可知和任务特定的学习交织在一起，其中自我监督训练之后是每个任务的监督学习。为了进一步限制在自监督阶段从学习的表示的偏差，我们在监督阶段采用任务不可知的辅助损失。我们表明，我们的训练范式可以很容易地添加到内存或正则化为基础的方法，并提供一致的性能增益在更具挑战性的CL设置。我们进一步表明，它会导致更强大和良好的校准模型。
2022-07-13 cs.AI cs.CV cs.LG
Semi-supervised Sequence-to-sequence ASR using Unpaired Speech and Text
Brno University of Technology（布尔诺理工大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；MERL（三菱电机研究实验室）
序列到序列的自动语音识别（ASR）模型需要大量的数据来获得高性能。出于这个原因，最近对此类模型中的无监督和半监督训练的兴趣激增。这项工作建立在最近的结果显示显着改善半监督训练使用周期一致性和相关技术。这样的技术通过将ASR与文本到语音（TTS）模型组合来导出能够利用未配对的语音和/或文本数据的训练过程和损失。特别是，这项工作提出了一种新的半监督损失结合端到端可区分ASR $\rightarrow$ TTS损失与TTS $\rightarrow$ ASR损失。该方法能够充分利用未配对的语音和文本数据，在WER方面优于最近提出的相关技术。我们提供了大量的结果分析数据量和语音和文本模态的影响，并显示在华尔街日报和Librispeech语料库的一致收益。我们的代码在ESPnet中提供，以重现实验。
2019-08-20 cs.CL cs.IR cs.LG
Semi-Supervised Speech Recognition via Local Prior Matching
Massachusetts Institute of Technology（麻省理工学院）；Facebook AI Research（Facebook人工智能研究）
对于像语音识别这样的序列转换任务，强结构化的先验模型编码了关于目标空间的丰富信息，通过分配低概率来隐含地排除无效序列。在这项工作中，我们提出了本地先验匹配（LPM），一个半监督的目标，从一个强先验（例如语言模型）提取知识，提供学习信号的判别模型训练的未标记的语音。我们证明，LPM理论上是动机良好，易于实现，并优于现有的知识蒸馏技术在可比的设置。从100小时的标记语音训练的基线开始，再加上360小时的未标记数据，LPM在干净和嘈杂的测试集上恢复了54%和73%的单词错误率出错率，相对于相同数据上的完全监督模型。
2020-02-24 cs.CL cs.LG eess.AS
DABS: A Domain-Agnostic Benchmark for Self-Supervised Learning
Stanford University（斯坦福大学）
自监督学习算法，包括BERT和Simplified，已经在自然语言处理、计算机视觉和语音处理等领域取得了重大进展。然而，这些算法是特定于领域的，这意味着必须为每个新的设置开发新的自监督学习算法，包括无数的医疗保健，科学和多模式领域。为了促进领域不可知方法的发展，我们引入了DABS：一个用于自监督学习的领域不可知基准。为了在DABS上表现良好，算法在七个不同的领域进行评估：自然图像，多通道传感器数据，英语文本，语音记录，多语言文本，胸部X射线和带有文本描述的图像。每个域都包含一个用于预训练的未标记数据集;然后根据模型在域中一组标记任务上的下游性能对模型进行评分。我们还提出了e-Mix和ShED：两个基线域不可知算法;它们相对温和的性能表明，在自监督学习成为任意域的开箱即用解决方案之前，需要取得重大进展。基准数据集和基线算法的代码可在https://github.com/alextamkin/dabs上获得。
2023-01-05 cs.CL cs.CV cs.LG
Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model
National Taiwan University（国立台湾大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出PW-HuBERT框架，利用视觉基础语音模型生成伪词级目标，无需语音-文本配对数据，在四个SLU基准上提升语义理解性能。
2024-02-08 cs.CL cs.LG eess.AS
Non-Contrastive Self-supervised Learning for Utterance-Level Information Extraction from Speech
Johns Hopkins University（约翰斯·霍普金斯大学）
在最近的研究中，自我监督的预训练模型在迁移学习中往往优于监督的预训练模型。特别地，话语级语音表示的自监督学习（SSL）可以用于需要话语内的一致属性（说话者、语言、情感和年龄）的区别性表示的语音应用中。现有的帧级自监督语音表示，例如，wav 2 vec可以用作具有池化的话语级表示，但是模型通常很大。也有SSL技术来学习话语级表示。最成功的方法之一是对比方法，该方法需要负采样：选择替代样本与当前样本（锚点）进行对比。然而，这并不能确保所有阴性样本属于与没有标签的锚点类不同的类。本文采用一种非对比的自监督方法来学习话语级嵌入。我们将DINO（Distillation with NO Labels）从计算机视觉应用到语音。与对比方法不同，DINO不需要负采样。我们将DINO与以监督方式训练的x向量进行了比较。当转移到下游任务（说话人验证，语音情感识别（SER）和阿尔茨海默病检测）时，DINO的表现优于x-vector。我们研究了迁移学习过程中几个方面的影响，例如将微调过程划分为步骤，块长度或增强。在微调过程中，首先调整最后一个仿射层，然后整个网络一次性超过微调。使用较短的块长度，尽管它们生成更多样化的输入，但并不一定提高性能，这意味着每个应用程序需要至少具有特定长度的语音片段才能获得更好的性能。增强对SER有帮助。
2022-08-10 cs.AI cs.LG eess.AS
Machine Unlearning for Speaker-Agnostic Detection of Gender-Based Violence Condition in Speech
University Carlos III of Madrid (UC3M)（马德里卡斯蒂利亚-拉曼恰大学）；Department of Signal Theory and Communications（信号理论与通信系）；Ludwig-Maximilian-University of Munich（慕尼黑路德维希-马克西米利安大学）；German Center for Mental Health (DZPG)（德国心理健康中心（DZPG））；Institute of Gender Studies, Universidad Carlos III de Madrid (UC3M)（性别研究学院，马德里卡斯蒂利亚-拉曼恰大学）
本研究提出了一种说话者无关的语音检测方法，用于识别性别暴力受害者状况，通过领域对抗训练提升模型泛化能力，提高分类准确性并捕捉与性别暴力相关的语调生物标记物。
2025-09-26 cs.LG
Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
Stanford University（斯坦福大学）
本文提出自引导掩码自编码器SMA，通过可学习的掩码采样消除领域特定假设，实现完全领域无关的自监督学习，并在蛋白质、化学和粒子物理三个基准上取得最优性能。
2024-02-22 cs.AI cs.LG
PLATINUM: Semi-Supervised Model Agnostic Meta-Learning using Submodular Mutual Information
University of Texas at Dallas（德克萨斯大学达拉斯分校）
Few-Shot分类（FSC）要求每个类使用几个（通常为一到五个）数据点来训练模型。元学习已被证明能够通过对各种其他分类任务进行训练来学习FSC的参数化模型。在这项工作中，我们提出了PLATINUM（半监督模型不可知元学习使用子模块互信息），一种新的半监督模型不可知元学习框架，使用子模块互信息（SMI）功能，以提高FSC的性能。PLATINUM在元训练期间使用SMI函数在内外循环中利用未标记的数据，并为元测试获得更丰富的元学习参数化。我们研究了PLATINUM在两种情况下的性能- 1）未标记的数据点属于与某个事件的标记集相同的类集，以及2）存在不属于标记集的分布外类。我们在miniImageNet，tieredImageNet和Fewshot-CIFAR 100数据集上的各种设置上评估了我们的方法。我们的实验表明，PLATINUM优于MAML和半监督方法，如半监督FSC的伪标记，特别是对于每个类的标记样本比例很小。
2022-07-05 cs.LG
VARAN: Variational Inference for Self-Supervised Speech Models Fine-Tuning on Downstream Tasks
VK LabRussia（VK实验室俄罗斯）；T-TechRussia（T-Tech俄罗斯）
本文提出 VARAN 框架，通过层专用探测头和数据依赖加权实现自监督语音模型微调中的动态层聚合，在 ASR 和 SER 任务上表现优越，尤其结合 LoRA 时效果更佳。
2025-08-16 cs.LG
vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations
Facebook AI Research（脸书人工智能研究院）；University of Tübingen（图宾根大学）
我们提出了vq-wav 2 vec，通过wav 2 vec风格的自监督上下文预测任务来学习音频片段的离散表示。该算法使用gumbel softmax或在线k-means聚类来消除密集表示。离散化使得来自NLP社区的算法能够直接应用，这些算法需要离散输入。实验表明，BERT预训练在TIMIT音素分类和WSJ语音识别上达到了新的水平。
2020-02-16 cs.CL cs.LG
data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language
Meta AI；SambaNova（SambaNova公司）
虽然自监督学习的一般思想在不同的模式中是相同的，但实际的算法和目标却有很大的不同，因为它们是在考虑单一模式的情况下开发的。为了让我们更接近一般的自监督学习，我们提出了data2vec，这是一个对语音、NLP或计算机视觉使用相同学习方法的框架。其核心思想是使用标准Transformer架构，基于自蒸馏设置中输入的掩蔽视图来预测完整输入数据的潜在表示。data2vec不是预测特定于模态的目标，如单词、视觉标记或人类语音单元，它们本质上是本地的，而是预测包含整个输入信息的上下文化潜在表示。在语音识别、图像分类和自然语言理解的主要基准上的实验展示了与主流方法相比的新的艺术状态或竞争性能。
2022-10-25 cs.LG
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型，例如wav 2 vec 2.0和HuBERT，已经对自动语音识别（ASR）的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显，当使用可用的标记数据进行微调时。然而，微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中，我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练（CoPT）。CoPT比半监督训练（SST）更有效，半监督训练是在ASR中利用未标记数据的标准方法，因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率（WERs）的结果，等于或略优于使用SST。此外，我们表明，使用CoPT模型的伪标签，并使用这些标签在SST中，结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
Exploring the Task-agnostic Trait of Self-supervised Learning in the Context of Detecting Mental Disorders
Indian Institute of Technology Guwahati（印度古瓦哈蒂理工学院）
本研究在检测MDD和PTSD背景下，利用音频和视频数据探索SSL生成的任务无关表示，通过提出固定目标列表和修改SSL编码器超参数生成全局表示，提升了精神障碍检测性能并验证了任务无关特性。
2024-03-22 cs.AI cs.LG eess.SP
