Unsupervised Learning of Disentangled Speech Content and Style Representation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google LLC（谷歌有限责任公司）
我们提出了一种无监督学习的语音表示解开内容和风格的方法。我们的模型包括：（1）捕获每帧信息的局部编码器;（2）捕获每话语信息的全局编码器;以及（3）在给定局部和全局潜在变量的情况下重构语音的条件解码器。实验结果表明：（1）局部隐变量对语音内容进行编码，即使采用不同的全局编码，重构语音也能以较低的词出错率（WER）被ASR识别;（2）全局隐变量对说话人风格进行编码，重构语音与全局编码的源话语具有说话人身份。此外，我们展示了一个有用的应用程序，从我们的预训练模型，我们可以训练的说话人识别模型的全球潜在变量，并实现高精度的微调与尽可能少的数据，每个扬声器一个标签。
2021-06-20 cs.CL cs.SD eess.AS
Confidence Score Based Conformer Speaker Adaptation for Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
自动语音识别（ASR）系统的一个关键挑战是对说话人电平的变化进行建模。在本文中，紧凑的说话人相关学习隐藏单元贡献（LHUC）被用来促进说话人自适应训练（SAT）和测试时间无监督说话人自适应国家的最先进的基于Conformer的端到端ASR系统。使用基于置信度分数的对说话者特定数据的更“可信”子集的选择来降低对监督错误率的适应期间的灵敏度。置信度估计模块用于在用作置信度分数之前平滑过度置信的Conformer解码器输出概率。使用贝叶斯估计的LHUC参数，由于扬声器级数据选择的数据稀疏性增加。在300小时的Switchboard语料库上的实验表明，基于置信度分数的测试时间无监督自适应的LHUC-SAT Conformer系统的性能比基本的说话人独立和i向量自适应Conformer系统分别高出1.0%、1.0%和1.2 NIST Hub 5 '00、RT 02和RT 03评估集上的字错误率（WER）分别降低了9.0%、7.9%和8.9%（相对）。在使用外部Transformer和LSTM语言模型进行重新评分后，保持了一致的性能改进。
2022-06-24 cs.SD eess.AS
Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）；Microsoft Corporation（微软公司）
这项工作提出了一个广泛的研究适应神经网络声学模型通过学习隐藏单元的贡献（LHUC）-一种方法，线性重新组合隐藏单元在扬声器或环境依赖的方式使用少量的无监督的适应数据。我们还将LHUC扩展到一个说话者自适应训练（SAT）框架，该框架导致一个更具适应性的DNN声学模型，以说话者相关和说话者无关的方式工作，而不需要维护辅助说话者相关特征提取器或向DNN结构引入显着的说话者相关变化。通过一系列的实验，四个不同的语音识别基准（TED会谈，Switchboard，AMI会议，极光4），包括270个测试扬声器，我们表明，LHUC在其测试和SAT的变种结果一致的字出错率减少5%至23%，相对取决于任务和训练和测试数据之间的不匹配程度。此外，我们还研究了每个扬声器的自适应数据量的影响，无监督自适应目标的质量，与其他自适应技术的互补性，一次性自适应，以及以序列判别方式训练的自适应DNN的扩展。
2016-07-13 cs.CL cs.LG cs.SD
Confidence Score Based Speaker Adaptation of Conformer Speech Recognition Systems
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
说话人自适应技术为个体用户定制自动语音识别（ASR）系统提供了一种强大的解决方案。基于无监督模型的说话人自适应技术在数据密集型端到端ASR系统中的实际应用受到说话人级别数据的稀缺性和对转录错误的性能敏感性的阻碍。为了解决这些问题，一组紧凑和数据高效的说话人相关（SD）参数表示，以促进说话人自适应训练和测试时间无监督说话人自适应的国家的最先进的构象ASR系统。使用基于置信度分数的扬声器级自适应数据的较少错误子集的选择来降低对监督质量的敏感度。提出了两个轻量级的置信度估计模块，以产生更可靠的置信度。的数据稀疏性问题，这是加剧了数据的选择，解决了建模的SD参数的不确定性，使用贝叶斯学习。在基准300小时Switchboard和233小时AMI数据集上的实验表明，所提出的基于置信度分数的自适应方案始终优于基线说话者独立（SI）Conformer模型和传统的非贝叶斯，基于点估计的自适应，不使用说话者数据选择。在外部Transformer和LSTM语言模型重新评分后，保持了类似的一致性能改进。特别是，在300小时Switchboard语料库中，NIST Hub5'00、RT02和RT03评价集上的基线SI Conformer分别获得了1.0%、1.3%和1.4%的绝对（9.5%、10.9%和11.3%）统计学显著WER降低。在AMI发展和评价集上也获得了相似的绝对WER降低2.7%和3.3%（…
2023-02-15 cs.SD eess.AS
Unspeech: Unsupervised Speech Context Embeddings
我们介绍了“非语音”嵌入，这是基于无监督学习的上下文特征表示的口语。通过使用基于负采样的上下文和非上下文歧视的直接学习目标，在长达9500小时的抓取英语语音数据上对嵌入进行了训练，而没有transmittance或扬声器信息。我们使用Siamese卷积神经网络架构来训练Unspeech嵌入，并在说话人比较，话语聚类以及在TED-LIUM上训练的TDNN-HMM声学模型中作为上下文特征对其进行评估，将其与i向量基线进行比较。特别是从最近发布的普通语音语料库中解码域外语音数据显示出一致的WER降低。我们在许可的开源许可下发布我们的源代码和预训练的Unspeech模型。
2018-08-23 cs.CL cs.SD eess.AS
Disentangling Prosody Representations with Unsupervised Speech Reconstruction
Zhejiang Lab（之江实验室）；University of Hamburg（汉堡大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出无监督语音重构模型Prosody2Vec，通过离散语义单元、说话人嵌入和可训练韵律编码器解耦情感韵律，并在EVC与IEMOCAP的SER任务上验证其迁移性和性能提升。
2023-09-26 cs.CL cs.SD eess.AS
Speaker Identification using Speech Recognition
Bahria University（巴赫里亚大学）
随着电话交谈、视频会议和语音信息的增加，全球音频数据日益增加。本研究提供了一种机制，用于确定一个扬声器在音频文件中，基于人类语音的生物特征，如音高，幅度，频率等，我们提出了一个无监督学习模型，该模型可以学习语音表示有限的数据集。Librispeech数据集被用于这项研究，我们能够达到1.8的单词出错率。
2022-05-29 cs.LG cs.SD eess.AS
Improving Fairness and Robustness in End-to-End Speech Recognition through unsupervised clustering
Meta
针对自动语音识别存在群体公平性不足且需兼顾隐私的问题，研究提出用公开数据集训练的说话人ID模型提取话语嵌入做无监督声学聚类，以聚类ID为训练特征，在保护隐私的同时提升了端到端ASR的公平性与鲁棒性，各群体尤其不同口音性能均有提升。
2023-06-06 cs.CL cs.LG cs.SD
Unsupervised Fine-Tuning Data Selection for ASR Using Self-Supervised Speech Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
自监督学习（SSL）已经能够利用未标记的数据来提高自动语音识别（ASR）模型的性能，当我们只能访问少量的转录语音数据时。然而，这提出了一个问题，即应该选择可用的未标记数据的哪个子集进行转录。我们的工作研究了不同的无监督数据选择技术，用于在有限的转录预算下微调HuBERT模型。我们研究了说话人多样性、性别偏见和话题多样性对下游ASR性能的影响。我们还设计了两种新的无监督数据选择技术：基于预训练损失的数据选择和字节对编码聚类单元（PBPE）的困惑，我们展示了这些技术与纯随机数据选择的比较。最后，我们分析了所选微调子集的固有特性之间的相关性，以及这些特性如何与所得的字错误率相关。我们证明了令牌的多样性，扬声器的多样性和主题的多样性，在WER方面实现最佳性能的重要性。
2022-12-03 cs.CL cs.SD eess.AS
Bayesian Learning for Deep Neural Network Adaptation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Chinese University of Hong Kong（香港中文大学）
针对少数据说话人自适应易过拟合的问题，提出全贝叶斯 DNN 自适应框架，用潜变量后验分布建模说话人参数不确定性，并在 Switchboard 上显著降低词错误率。
2024-06-14 cs.SD eess.AS stat.ML
Lattice-Based Unsupervised Test-Time Adaptation of Neural Network Acoustic Models
University of Edinburgh（爱丁堡大学）
声学模型适应看不见的测试记录旨在减少训练和测试条件之间的不匹配。神经网络模型的大多数自适应方案需要使用由未自适应模型生成的测试数据的初始一最佳转录，以便估计自适应变换。已经发现，使用判别目标函数的自适应方法-例如交叉熵损失-通常需要仔细的正则化，以避免过度拟合到最佳transmittance中的错误。在本文中，我们解决了这个问题，通过执行歧视性的自适应使用从第一次通过解码，一种方法，可以很容易地集成到无格最大互信息（LF-MMI）框架中获得的格。我们调查了三个不同难度的转录任务：TED演讲，多体裁广播（MGB）和低资源语言（索马里）的这种方法。我们发现，我们提出的方法使更多的参数进行调整，而没有过度拟合被观察到，并且是成功的，即使当初始转录有一个WER超过50%。
2019-06-27 cs.CL cs.SD eess.AS
Unsupervised Learning of Disentangled and Interpretable Representations from Sequential Data
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个因式分解的分层变分自编码器，它学习解开和可解释的表示从序列数据没有监督。具体来说，我们利用多尺度性质的信息在序列数据中制定明确的因子分解层次图形模型，将序列相关的先验和序列无关的先验不同的潜在变量集。两个语音语料库的模型进行评估，定性地证明，它的能力，通过操纵不同的潜变量集转换扬声器或语言内容;和定量地，它的能力优于一个i-向量基线扬声器验证和减少字出错率高达35%，在不匹配的训练/测试方案的自动语音识别任务。
2017-09-22 cs.CL cs.LG cs.SD
Structured Speaker-Deficiency Adaptation of Foundation Models for Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；National Research Council of Canada（加拿大国家研究委员会）
本文提出结构化说话人缺陷自适应方法，通过分离建模说话人身份与语音缺陷的适配器组合，显著提升 HuBERT 和 Wav2vec2-conformer 在构音障碍及老年语音识别上的泛化能力，并在 UASpeech 上取得最低词错误率。
2024-12-25 cs.SD eess.AS
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training
Microsoft（微软公司）
自监督学习（SSL）是语音处理的一个长期目标，因为它利用了大规模的未标记数据，避免了大量的人工标记。近年来，自监督学习在语音识别中的应用取得了巨大的成功，而SSL在说话人特征建模方面的探索还很有限。在本文中，我们的目标是改善现有的SSL框架的说话人表示学习。介绍了两种增强无监督说话人信息抽取的方法。首先，我们将多任务学习应用到当前的SSL框架中，其中我们将话语对比损失与SSL目标函数相结合。第二，为了更好地区分说话人，我们提出了一种用于数据增强的话语混合策略，其中额外的重叠话语在训练过程中被无监督地创建和合并。我们将所提出的方法集成到HuBERT框架中。在SUPERB基准测试上的实验结果表明，该系统在通用表示学习，特别是面向说话人辨识的任务中，取得了较好的性能.进行消融研究，验证每种方法的有效性。最后，我们将训练数据集扩展到9.4万小时的公共音频数据，并在所有SUPERB任务中实现了进一步的性能提升。
2021-10-12 cs.CL cs.SD eess.AS
Speaker-Invariant Training via Adversarial Learning
Microsoft AI and Research（微软人工智能与研究部）
我们提出了一种新的对抗性多任务学习方案，旨在主动减少说话者间的特征变异性，同时最大化其senone可区分性，以提高基于深度神经网络（DNN）的ASR系统的性能。我们称该方案为说话人不变训练（SIT）。在SIT中，DNN声学模型和说话人分类器网络被联合优化，以最小化senone（绑三音子状态）分类损失，同时最小化说话人分类损失。通过这种对抗性多任务学习，学习了说话人不变和senone区分的深度特征。使用SIT，可以学习输出概率方差显著降低的规范DNN声学模型，而无需在训练或测试中使用显式的说话者独立（SI）变换或特定于说话者的表示。在CHiME-3数据集上进行评估，SIT比传统的SI声学模型实现了4.99%的相对字错误率（WER）改善。通过额外的无监督说话人自适应，说话人自适应（SA）SIT模型比SA SI声学模型实现了4.86%的相对WER增益。
2019-04-30 cs.AI cs.CL cs.SD
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University（西江大学）；Naver Corp.（NAVER公司）；Clova AI Research（Clova人工智能研究院）
通常，由于训练环境和测试环境之间的不匹配，自动语音识别（ASR）系统的性能显著降低。最近，提出了一种基于深度学习的图像到图像翻译技术，将图像从源域翻译到所需域，并应用循环一致性对抗网络（CycleGAN）来学习从说话人到目标说话人的语音到语音转换的映射。然而，该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量，因为它被设计为转换语音本身。在本文中，我们提出了一种基于生成对抗网络（GANs）的域自适应方法，具有解纠缠表示学习，以实现ASR系统的鲁棒性。特别是，两个独立的编码器，上下文和域编码器，引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR，将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外，与基于CycleGAN的方法类似，该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Interpretable Dysarthric Speaker Adaptation based on Optimal-Transport
University of Genoa（热那亚大学）；Italian Institute of Technology（意大利技术研究院）；University of Ferrara（费拉拉大学）；PerVoice
针对构音障碍语音识别中训练与测试数据分布不匹配问题，提出基于最优传输的无监督多源域自适应算法MSDA-WJDOT，实现可解释的说话人自适应，命令错误率相对降低最高达16%，并无需额外训练即可达到95%的构音障碍诊断准确率。
2022-03-14 cs.CL cs.SD eess.AS
USM-SCD: Multilingual Speaker Change Detection Based on Large Pretrained Foundation Models
Google LLC（谷歌有限责任公司）
提出多语言说话人变更检测模型USM-SCD，基于大型语音基础模型微调，在96种语言上实现高精度检测与ASR，仅需训练四分之一参数即达SOTA性能。
2024-01-06 cs.LG cs.SD eess.AS
Speaker Adaptation for Attention-Based End-to-End Speech Recognition
Microsoft Corporation（微软公司）
我们提出了三种基于正则化的说话人自适应方法，以适应基于注意力的编码器-解码器（AED）模型与非常有限的适应数据从目标说话人的端到端自动语音识别。第一种方法是Kullback-Leibler发散（KLD）正则化，其中通过将KLD正则化添加到自适应标准中，迫使说话者相关（SD）AED的输出分布接近说话者无关（SI）模型的输出分布。为了弥补KLD正则化中的不对称缺陷，提出了一种对抗性说话人自适应（ASA）方法，通过辅助学习器和SD AED的对抗性学习来正则化SD AED的深度特征分布.第三种方法是多任务学习，其中SD AED被训练为联合执行预测大量输出单元的主要任务和预测少量输出单元的辅助任务，以减轻目标稀疏性问题。微软短消息听写任务的评估，所有三种方法都非常有效地适应AED模型，实现了高达12.2%和3.0%的字出错率改善超过一个SI AED训练从3400小时的数据，分别为监督和无监督的适应。
2019-11-09 cs.CL cs.LG cs.SD
Unsupervised Representation Learning for Speaker Recognition via Contrastive Equilibrium Learning
Seoul National University（首尔国立大学）
在本文中，我们提出了一个简单的，但强大的无监督学习方法说话人识别，即对比均衡学习（CEL），它增加了潜在的干扰因素的不确定性，在嵌入的均匀性损失。此外，为了保持说话人的可辨别性，一个对比相似性损失函数一起使用。实验结果表明，该模型在VoxCeleb1和VOiCES评价集上的EER分别为8.01%和4.01%，显著优于现有的无监督说话人确认系统。最重要的是，使用通过CEL预训练的初始参数训练的有监督说话人嵌入网络的性能比使用随机初始化参数训练的网络表现出更好的性能。
2020-10-22 cs.SD eess.AS
Adversarial Speaker Adaptation
Microsoft Corporation（微软公司）
我们提出了一种新的对抗性说话人自适应（ASA）方案，其中对抗性学习应用于调节说话人相关（SD）深度神经网络（DNN）声学模型中的深度隐藏特征的分布，以接近于自适应过程中固定的说话人无关（SI）DNN声学模型。引入了一个附加的神经网络来区分SD模型产生的深度特征和SI模型产生的深度特征。在ASA中，以固定的SI模型为参考，SD模型与SVM网络联合优化，以最小化状态分类损失，同时最小化适应数据上的SI/SD区分损失。使用ASA，在SD模型中学习具有与SI模型相似分布的senone判别深度特征。利用这种正则化和自适应的深度特征，SD模型可以对目标说话者的语音执行改进的自动语音识别。在微软短消息听写数据集上进行评估，ASA对于监督和无监督自适应分别实现了14.4%和7.9%的相对单词出错率改进，超过了从2600小时数据训练的SI模型，每个扬声器具有200个自适应话语。
2019-04-29 cs.CL cs.LG cs.SD
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon（亚马逊公司）；Rasa Technologies（Rasa科技公司）
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据，并评估两种说话模式的匹配测试集：无声和模态语音。我们观察到，与模态语音识别相比，来自成像数据的无声语音识别表现不佳，这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术，如fMLLR和无监督模型自适应，来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间，我们计算从超声舌图像中提取的舌样条的凸包。总的来说，我们观察到，沉默语的持续时间比情态语的持续时间长，并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义，但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
Unsupervised Phoneme and Word Discovery from Multiple Speakers using Double Articulation Analyzer and Neural Network with Parametric Bias
Emergent Systems Laboratory, College of Information Science and Engineering, Ritsumeikan University（立命馆大学信息科学与工程学院新兴系统实验室）
本文描述了一种新的无监督机器学习方法，用于从多个说话人中同时发现音素和单词。人类婴儿可以通过与母亲以及周围人的交互来获得音素和单词的知识，从计算的角度来看，多个说话人的音素和单词发现比单个说话人更具挑战性，因为来自不同说话人的语音信号表现出不同的声学特征。本文提出了一种无监督的音素和单词发现方法，同时使用非参数贝叶斯双发音分析器（NPB-DAA）和深稀疏自动编码器与参数偏置隐藏层（DSAE-PBHL）。我们假设婴儿可以根据某些其他特征识别和区分说话者，例如，视觉面部识别DSAE-PBHL旨在能够减去说话人相关的声学特征并提取说话人无关的特征。实验表明，DSAE-PBHL可以减去声音信号的分布式表示，使提取基于音素的类型，而不是扬声器。另一个实验表明，NPB-DAA和DSAE-PB的组合优于音素和单词发现任务，涉及语音信号与来自多个扬声器的日语元音序列的可用方法。
2019-06-21 cs.SD eess.AS
Unsupervised Speech Representation Pooling Using Vector Quantization
Sogang University（西江大学）
针对语音表示长度可变的池化问题，提出一种无需额外训练的基于向量量化的无监督池化方法，通过压缩声学相似表示，在多个下游任务上优于平均池化。
2023-04-08 cs.AI cs.LG cs.SD
Unsupervised Feature Enhancement for speaker verification
L’École de Technologie Supérieure（高等技术学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
使说话人确认系统对不利场景具有鲁棒性的任务仍然是一个具有挑战性和活跃的研究领域。我们开发了一种在对数滤波器组域的无监督特征增强方法，最终目标是提高说话人确认性能。我们实验使用真实的语音记录在恶劣的环境和退化的语音通过模拟得到的训练增强系统。通过对几个真实的、模拟的噪声和混响测试集的测试，证明了该方法的有效性。当说话人确认流水线中不使用数据增强或仅在x向量训练期间使用增强时，该方法在真实和模拟集上都得到了显着的改进。当数据增强用于x向量和PLDA训练时，我们的增强方法略有改进。
2020-02-14 cs.SD eess.AS
Speaker-IPL: Unsupervised Learning of Speaker Characteristics with i-Vector based Pseudo-Labels
Apple（苹果公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Speaker-IPL，证明简单成熟的i-vector模型即可启动迭代伪标签过程，实现无监督说话人表征学习，并系统研究各组件影响，最终达到与最先进方法媲美的验证性能。
2025-01-17 cs.SD eess.AS
Nonlinear ISA with Auxiliary Variables for Learning Speech Representations
Carnegie Mellon University（卡内基梅隆大学）
本文扩展了非线性独立分量分析（ICA）的最新工作，引入了一个理论框架，非线性独立子空间分析（ISA）的辅助变量的存在。所观察到的高维声学特征（如对数梅尔频谱图）可以被认为是在个体多变量信息源（如说话者特征）上的非线性变换的表面水平表现，在基于能量模型的假设下，我们使用非线性ISA理论提出了一种学习无监督语音表示的算法，该算法的子空间是独立的，并且与原始语音表示潜在地高度相关。非平稳多变量源。我们展示了如何与辅助变量的非线性ICA可以扩展到一个通用的可识别模型的子空间，同时也提供了这些高维子空间的可识别性的充分条件。我们提出的方法是通用的，可以与标准的无监督方法相结合，学习语音表示与子空间，理论上可以捕获独立的高阶语音信号。我们评估我们的算法的增益时，结合自回归预测解码（APC）模型的说话人验证和音素识别任务的实证结果。
2020-07-25 cs.LG cs.SD eess.AS
Unsupervised Single-Channel Speech Separation with Diffusion under Speaker-Embedding Guidance
Institute of Science Tokyo（东京科学研究所）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）
该研究针对无监督单通道语音分离问题，提出说话人嵌入引导与分离导向求解器，提升了基于源模型的无监督语音分离性能。
2026-08-03 cs.SD eess.AS
The CORAL++ Algorithm for Unsupervised Domain Adaptation of Speaker Recogntion
VoiceAI Technologies, Co. Ltd.（VoiceAI科技有限公司）
最先进的说话人识别系统是用大量人类标记的训练数据集来训练的。这种训练集通常由各种数据源组成，以增强模型的建模能力。然而，在实际部署中，看不见的情况几乎是不可避免的。由于训练数据集和测试数据集之间的统计差异，域不匹配是实际应用中常见的问题。为了减轻域不匹配所造成的退化，我们提出了一种新的基于特征的无监督域自适应算法。我们提出的算法是基于著名的相关对齐（CORAL）的进一步优化，所以我们称之为CORAL++。在NIST 2019说话人识别评测（SRE 19）上，我们使用SRE 18 CTS集作为开发集，验证CORAL++的有效性。在典型的x-向量/PLDA设置下，CORAL++在EER方面的性能相对CORAL高出9.40%。
2022-02-02 cs.SD eess.AS
Robust speaker recognition using unsupervised adversarial invariance
University of Southern California（南加州大学）
在本文中，我们解决的问题，说话人识别在具有挑战性的声学条件下，使用一种新的方法来提取强大的说话人区分的语音表示。我们采用最近提出的无监督对抗不变性架构来训练网络，该网络将使用预训练模型提取的说话人嵌入映射到两个较低维的嵌入空间。学习嵌入空间以将说话者辨别信息从音频记录中存在的所有其他信息中分离出来，而无需监督声学条件。我们分析了鲁棒性的建议嵌入到各种来源的变异存在于信号中的说话人验证和无监督聚类任务的大规模说话人识别语料库。我们的分析表明，所提出的系统大大优于基线在各种具有挑战性的声学场景。此外，对于真实世界会议语料库上的发言人日记化任务，与最先进的基线相比，我们的系统在日记化错误率方面显示出36%的相对改善。
2019-11-03 cs.SD eess.AS eess.SP
MK-SGC-SC: Multiple Kernel Guided Sparse Graph Construction in Spectral Clustering for Unsupervised Speaker Diarization
Institute for Advancing Intelligence, TCG CREST（先进智能研究所）；Department of Computer Science, RKMVERI（计算机科学系）；Electronics and Communication Sciences Unit, Indian Statistical Institute（印度统计研究所电子与通信科学单元）
本文提出基于多核引导的稀疏图构建方法，用于无监督语音说话人分离，通过多项式核和反余弦核测量嵌入相似性，提升局部相似性，实现高性能的说话人区域分割。
2026-01-29 cs.LG cs.SD eess.AS
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics（国立信息学研究所）；Unversity of Edinburgh（爱丁堡大学）
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构，在该结构中，一个看不见的说话人的声音可以建立在一个相对少量的语音数据，而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说，当执行无监督说话者自适应时，我们将这些层连接到音频输入，而当从文本合成语音时，我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成，还提出了其它应用。实验结果表明，该模型不仅可以适应看不见的扬声器使用未转录的语音，但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
Prototype and Instance Contrastive Learning for Unsupervised Domain Adaptation in Speaker Verification
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文提出原型与实例对比学习（PICL），通过聚类伪标签的原型对比和实例增强的不变性对比实现说话人验证的无监督域适应，在多个数据集上取得最先进性能并验证了泛化能力。
2024-10-22 cs.SD eess.AS
Robust End-to-end Speaker Diarization with Generic Neural Clustering
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
与传统的模块化方法相比，端到端的说话人日志化方法表现出了卓越的性能。为了进一步提高真实语音记录的端到端说话人日记化的性能，最近已经提出了将无监督聚类算法与端到端神经日记化模型相结合的工作。然而，这些方法有一些缺点：1）无监督聚类算法不能利用来自可用数据集的监督; 2）探索的基于K-means的无监督算法经常遭受约束违反问题; 3）有监督训练和无监督推理之间不可避免的不匹配。本文提出了一种鲁棒的通用神经聚类方法，该方法可以与任何块级预测器集成，以实现完全监督的端到端说话人日志化模型。此外，通过利用递归神经网络的序列建模能力，所提出的神经聚类方法可以在推理过程中动态估计说话者的数量。实验结果表明，在不匹配的情况下，与基于约束K-means的聚类方法相比，在结合基于吸引子的块级预测器的情况下，所提出的神经聚类方法可以获得更好的Diarization出错率（DER）.
2022-04-18 cs.SD eess.AS
Semi-Supervised Contrastive Learning with Generalized Contrastive Loss and Its Application to Speaker Recognition
Tokyo Institute of Technology（东京工业大学）
本文介绍了一种半监督对比学习框架及其在文本无关说话人确认中的应用。所提出的框架采用广义对比损失（GCL）。GCL统一了两种不同的学习框架，监督度量学习和无监督对比学习的损失，因此它自然决定了半监督学习的损失。在实验中，我们将所提出的框架应用于VoxCeleb数据集上的文本无关的说话人验证。我们证明了GCL能够以三种方式学习说话人嵌入，监督学习，半监督学习和无监督学习，而损失函数的定义没有任何变化。
2020-06-08 cs.SD eess.AS
An empirical analysis of information encoded in disentangled neural speaker representations
University of Southern California（南加州大学）
鲁棒说话人表示的主要特征是它们对与说话人身份无关的可变性因素是不变的。说话者表示的解纠缠是用于提高说话者表示对在语音产生期间获得的内在因素（例如，情感，词汇内容）和在信号捕获期间获得的外在因素（例如，信道、噪声）。神经扬声器表示中的解纠缠可以以具有滋扰因素（与扬声器身份无关的因素）的注释的监督方式或以没有要移除的因素的标签的无监督方式来实现。在这两种情况下，重要的是要理解各种可变性因素在表征中纠缠的程度。在这项工作中，我们研究了扬声器表示与无监督解纠缠的信息量，他们捕获的一套相关的因素。使用分类实验，我们提供的经验证据表明，解纠缠减少了信息方面的滋扰因素从扬声器表示，同时保留扬声器信息。这是进一步验证了说话人确认实验上的VOiCES语料库在几个具有挑战性的声学条件。我们还表明，在说话人验证任务中使用数据增强在训练过程中解开说话人嵌入提高了鲁棒性。最后，根据我们的研究结果，我们提供了使用无监督解缠技术可以有效分离的因素的见解，并讨论了潜在的未来方向。
2020-04-08 cs.SD eess.AS
Neural Predictive Coding using Convolutional Neural Networks towards Unsupervised Learning of Speaker Characteristics
在说话人识别、日记化和语音识别等应用中，学习特定于说话人的特征至关重要。本文提出了一种新的方法，我们称之为神经预测编码（NPC），学习说话人特定的特征，在一个完全无监督的方式从大量的未标记的训练数据，甚至包含许多非语音事件和多说话人的音频流。NPC框架利用了所提出的短期活动说话人平稳性假设，该假设假设两个时间上接近的短语音段属于同一说话人，因此可以对两个段的共性进行编码的共同表示应该捕获该说话人的声音特征。我们训练一个卷积深度连体网络，通过学习分离从音频流的未标记数据生成的“相同”与“不同”扬声器对来产生“扬声器嵌入”。在不同的场景下进行了两组实验，以评估NPC嵌入的强度，并与最先进的域内监督方法进行比较。首先，两个说话人辨识实验与不同的上下文长度进行的情况下，相对有限的说话人内通道的变化。NPC嵌入被发现在短时间实验中表现最好，并且它们为完整话语实验提供了i-向量的补充信息。其次，一个大规模的扬声器确认任务具有广泛的扬声器内通道的变化被采用作为上限实验，其中比较绘制与域监督方法。
2019-04-25 cs.CL cs.SD eess.AS
Unsupervised Speaker Diarization in Distributed IoT Networks Using Federated Learning
Michigan State University（密歇根州立大学）
本文针对分布式物联网音频设备提出了基于联邦学习的无监督说话人日志记录框架，通过无监督更新机制、说话人变化检测技术和聚类方法，实现了非IID数据下的高效识别，降低了计算开销和检测误差。
2024-11-29 cs.LG cs.SD eess.AS
Momentum Contrast Speaker Representation Learning
SNU（首尔国立大学）
无监督表示学习通过减少与有监督特征学习的性能差距而取得了显着的成就，特别是在图像领域。在这项研究中，为了将无监督学习技术扩展到语音领域，我们提出了VoxCeleb（MoCoVox）的动量对比作为一种学习机制。我们通过实施实例歧视在VoxCeleb1上预训练MoCoVox。将MoCoVox应用于说话人验证表明，它的性能大大优于最先进的基于度量学习的方法。我们还通过分析学习表征的分布，实证展示了语音领域对比学习的特征。此外，我们探讨了哪些借口任务是足够的话者确认。我们期望在没有人监督的情况下学习说话人表示有助于解决开集说话人识别问题。
2020-10-22 cs.SD eess.AS
Cross-lingual Text-independent Speaker Verification using Unsupervised Adversarial Discriminative Domain Adaptation
UT-Dallas（德克萨斯大学达拉斯分校）；JD AI Research（京东人工智能研究院）
当训练数据和测试数据之间存在语言不匹配时，说话人确认系统通常会显着降低。利用未标注数据改进跨语言说话人确认系统，可以大大提高系统的鲁棒性，降低人工标注成本。在这项研究中，我们引入了一种无监督的对抗性判别域自适应（ADDA）方法来有效地学习一个非对称映射，该映射将目标域编码器适应到源域，其中目标域和源域是来自不同语言的语音数据。ADDA与流行的领域对抗训练（DAT）方法一起在跨语言说话人确认任务上进行评估：训练数据来自NIST SRE 04 -08，Mixer 6和Switchboard的英语，测试数据来自AISHELL-I的中文。结果表明，在ADDA自适应下，x向量系统的等误率（EER）从9.331%下降到7.645%，相对于DAT降低了18.07%，降低了6.32%.对ADDA自适应说话人嵌入的进一步数据分析表明，学习的说话人嵌入可以很好地对目标域数据进行说话人分类，并且对语言转换的依赖性较小。
2019-08-05 cs.LG cs.SD eess.AS
Graph Convolutional Network Based Semi-Supervised Learning on Multi-Speaker Meeting Data
Alibaba（阿里巴巴）
说话人的无监督聚类由于其在半监督学习中的潜在用途而变得越来越重要。在现实中，我们经常从多方会议和讨论中获得大量未标记的数据。一个有效的无监督聚类方法将使我们能够显着增加训练数据的数量，而无需额外的注释成本。最近，基于图卷积网络（GCN）的方法在无监督聚类中受到越来越多的关注，因为这些方法利用节点之间的连接模式来提高学习性能。在这项工作中，我们提出了一种基于GCN的半监督学习方法。给定一个预训练的嵌入提取器，一个图卷积网络在标记的数据上训练，并用“伪标签”聚类未标记的数据。我们提出了一种自校正训练机制，该机制迭代地在伪标签上运行聚类训练校正过程。我们表明，该方法有效地使用未标记的数据，提高了说话人识别的准确性。
2022-04-25 cs.SD eess.AS
The IDLAB VoxCeleb Speaker Recognition Challenge 2020 System Description
IDLAB（ID实验室）
在这份技术报告中，我们描述了IDLAB在有监督和无监督说话人验证轨道中为VoxCeleb说话人识别挑战赛2020（VoxSRC-20）提交的最高得分。对于监督验证跟踪，我们训练了6个最先进的ECAPA-TDNN系统和4个基于Resnet 34的系统。在所有模型上，我们应用了一个大间隔微调策略，这使得训练过程能够通过使用更长的训练话语来使用更高的间隔惩罚。此外，我们使用质量感知的分数校准，在校准系统中引入质量指标，以产生更一致的分数在不同水平的话语条件。所有系统的融合以及两种增强功能的应用导致了开放式和封闭式监督核查轨道的第一名。通过对比学习来训练无监督系统。随后通过训练嵌入的迭代聚类生成的伪标签允许使用监督技术。这一过程导致了在无监督的轨道上获胜的提交，其性能正在接近监督训练。
2020-10-23 cs.SD eess.AS
A study of semi-supervised speaker diarization system using gan mixture model
University of Southern California（南加州大学）
我们提出了一个新的发言人日记系统的基础上最近推出的无监督聚类技术，即生成对抗网络混合模型（GANMM）。所提出的系统使用x向量作为前端表示。频谱嵌入用于降维，然后在GANMM预训练期间进行k均值初始化。GANMM通过有效地捕获复杂的数据分布来执行无监督的说话人聚类。在AMI会议语料库上的实验结果表明，本文提出的半监督日志化系统的性能达到或超过了竞争基线。在包含50个具有不同持续时间的会话的评估集上，最佳实现的平均日志化错误率（DER）为17.11%，比信息瓶颈基线相对改善了33%，与xvector基线相当。
2019-10-24 cs.SD eess.AS
UNSSOR: Unsupervised Neural Speech Separation by Leveraging Over-determined Training Mixtures
Carnegie Mellon University（卡内基梅隆大学）
UNSSOR利用麦克风数多于说话人数时的混合信号求和约束，结合DNN估计与子频带前向卷积预测滤波，并通过最小化源内幅度散射解决频率置换问题，实现无监督神经语音分离，且可推广至欠定单声道分离。
2023-10-29 cs.LG cs.SD eess.AS
Spoofing-Aware Speaker Verification with Unsupervised Domain Adaptation
University of Eastern Finland（东芬兰大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用数学实验室）
在本文中，我们开始关注提高欺骗鲁棒性的自动说话人确认（ASV）系统，没有一个单独的对策模块的主要存在。我们从ASVspoof 2019基线的标准ASV框架开始，并基于概率线性判别分析从后端分类器解决问题。我们采用三种无监督领域自适应技术，使用ASVspoof 2019数据集的训练分区中的音频数据来优化后端。我们在逻辑和物理访问场景上都表现出显着的改进，特别是在后者系统受到重放音频攻击的情况下，善意和欺骗情况下的最大相对改进分别为36.1%和5.3%。我们进行额外的研究，如每攻击故障分析，数据组合，并与对策系统集成在分数级与高斯后端。
2022-04-26 cs.AI cs.SD eess.AS
Improving Unsupervised Subword Modeling via Disentangled Speech Representation Learning and Transformation
The Chinese University of Hong Kong（香港中文大学）
这项研究解决了无监督的子词建模在零资源的情况下，学习帧级语音表示，语音歧视和说话人不变，只使用目标语言的未转录语音。帧标签获取是解决这一问题的关键步骤。高质量的帧标签应该与黄金透明度保持良好的一致性，并对扬声器变化具有鲁棒性。我们建议通过应用因式分解的分层变分自编码器（FHVAE）来改进我们先前采用的深度神经网络瓶颈特征（DNN-BNF）架构中的帧标签获取。FHVAE学习解开语言内容和说话者身份信息编码的语音。通过丢弃或统一说话人信息，学习说话人不变特征并将其作为DPGMM帧聚类和DNN-BNF训练的输入。在ZeroSpeech 2017上进行的实验表明，与不应用FHVAE的基线DNN-BNF系统相比，我们提出的方法在跨扬声器和扬声器内条件下实现了$2.4\%$和$0.6\%$绝对ABX错误率降低。我们提出的方法显着优于声道长度归一化，提高帧标记和子字建模。
2019-07-03 cs.LG cs.SD eess.AS
Towards Unsupervised Speaker Diarization System for Multilingual Telephone Calls Using Pre-trained Whisper Model and Mixture of Sparse Autoencoders
针对现有说话人日志系统依赖标注数据、多语言适配性差的问题，提出基于预训练多语言Whisper模型提取嵌入、结合Mix-SAE网络的无监督聚类方案，在多语言电话数据集上取得优于同类方法的性能，可集成至多任务语音分析应用。
2024-09-12 eess.AS
EDITnet: A Lightweight Network for Unsupervised Domain Adaptation in Speaker Verification
语言不匹配导致的性能下降是将说话人确认系统应用于不同语言的语音数据时的常见问题。本文提出了一个域转移网络，命名为EDITnet，以减轻语言不匹配的问题，说话人嵌入，而不需要说话人标签。该网络利用条件变分自动编码器将嵌入从目标域转移到源域。一个自监督学习策略施加在转移的嵌入，以增加嵌入之间的余弦距离从不同的发言人。在EDITnet的训练过程中，嵌入提取模型是固定的，无需微调，这使得训练效率高，成本低。在Voxceleb和CN-Celeb上的实验表明，使用ECAPA-TDNN 512，EDITnet传输的嵌入比未传输的嵌入高出约30%。性能改进也可以通过其他嵌入提取模型来实现，例如，TDNN，SE-ResNet34.
2022-06-15 eess.AS
Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training
Tencent PCG（腾讯平台与内容事业群）
提出旋律无监督多说话人预训练方法，利用多歌手数据增强单说话人歌声合成音域，并引入可微分时长调节器与双向流模型提升节奏自然度和音质。
2023-09-01 cs.CL cs.SD eess.AS
Novel Architectures for Unsupervised Information Bottleneck based Speaker Diarization of Meetings
说话人日记化是一个重要的话题，是特别有用的会话语音相关的应用程序作为预处理器。本文的目标是双重的：（i）段初始化均匀分布的扬声器信息在初始段，以及（ii）将扬声器区分功能的无监督的日记框架内。在第一部分的工作中，提出了一种可变长度的段初始化技术的信息瓶颈（IB）的说话人日记系统使用音素率作为边信息。该初始化跨段均匀地分布说话者信息，并且为基于IB的聚类提供更好的起点。在第二部分的工作中，我们提出了一个基于两遍信息瓶颈（TPIB）的说话人日记化系统，在日记化过程中加入了说话人的鉴别特征。基于TPIB的说话人日记系统已经显示出比基于IB的基线系统的改进。在TPIB系统的第一次通过期间，使用基于IB的聚类来执行粗略分割。使用浅前馈神经网络和线性判别分析得到的对齐用于生成说话人判别特征。在第二遍中使用所获得的鉴别特征以获得最终的说话人边界。在文章的最后部分，可变段初始化与TPIB框架相结合。这充分利用了更好的段初始化和说话人区分功能的优势，从而进一步提高了性能。对标准会议数据集的评估表明，NIST和AMI数据集分别获得了3.9%和4.7%的显著绝对改善。
2020-10-13 eess.AS
Bayesian Learning of LF-MMI Trained Time Delay Neural Networks for Speech Recognition
判别训练技术定义了自动语音识别系统的最新性能。然而，它们本质上容易过拟合，导致在使用有限的训练数据时泛化性能较差。为了解决这个问题，本文提出了一个完整的贝叶斯框架，考虑到模型的不确定性，在序列判别训练因子TDNN声学模型。提出了几种基于贝叶斯学习的TDNN变体系统来模拟权重参数和隐藏激活函数的选择或隐藏层输出的不确定性。有效的变分推理方法使用几个作为一个单一的参数样本，确保其计算成本在训练和评估时间与基线TDNN系统。统计学显著字错误率（WER）绝对值降低0.4%-1.8%（5%-11%相对）是在最先进的900小时速度扰动Switchboard语料库训练的基线LF-MMI因子TDNN系统上使用多种正则化方法获得的，所述正则化方法包括F平滑、L2范数惩罚、自然梯度、模型平均和丢弃，除了i-Vector加上基于学习隐藏单元贡献（LHUC）的说话者自适应和RNNLM重新评分之外。在450小时的香港科技大学普通话电话会话语音识别任务上也获得了一致的性能改善。在第三个跨域自适应任务，需要快速移植1000小时LibriSpeech数据训练的系统到一个小的DementiaBank老年人语音语料库，所提出的贝叶斯TDNN LF-MMI系统优于基线系统使用直接权重微调高达2.5\%的绝对WER减少。
2021-05-10 eess.AS
Cluster-Guided Unsupervised Domain Adaptation for Deep Speaker Embedding
Shanghai Acoustics Laboratory, Chinese Academy of Sciences（中国科学院上海声学实验室）；University of Chinese Academy of Sciences（中国科学院大学）；The Shenzhen Research Institute, The Hong Kong Polytechnic University（香港理工大学深圳研究院）；The Hong Kong Polytechnic University（香港理工大学）
本文提出聚类引导的无监督域适应框架，通过聚类打标签并联合训练说话人嵌入网络，在CN-Celeb1上达到8.10%的EER，优于监督基线39.6%。
2023-03-28 cs.LG cs.SD eess.AS
