Towards High-fidelity Singing Voice Conversion with Acoustic Reference and Contrastive Predictive Coding
Soochow University(苏州大学);ByteDance AI Lab(字节跳动人工智能实验室)
近年来,基于语音后验图(PPG)的方法在非并行歌唱声音转换系统中已经相当流行。然而,由于PPG中声学信息的缺乏,转换后的歌声的风格和自然度仍然有限。为了解决这些问题,在本文中,我们利用一个声学参考编码器隐式模型歌唱特征。我们使用不同的辅助特征,包括mel声谱图、HuBERT和预训练的自动语音识别(ASR)模型的中间隐藏特征(PPG-Mid)作为参考编码器的输入进行实验,最终发现HuBERT特征是最佳选择。此外,我们使用对比预测编码(CPC)模块,通过预测潜在空间中的未来观测值来进一步平滑语音。实验表明,与基线模型相比,该模型能显著提高转换后歌声的自然度和与目标歌手的相似度。此外,我们提出的模型也可以使说话人与语音数据唱歌。
2021-10-10 cs.CL cs.SD eess.AS
Unsupervised Speech Segmentation and Variable Rate Representation Learning using Segmental Contrastive Predictive Coding
Johns Hopkins University(约翰斯·霍普金斯大学)
通常,将语音无监督分割成音素和类词单元被视为单独的任务,并且通常通过不同的方法来完成,这些方法不能充分利用这两个任务的相互依赖性。在这里,我们将它们统一起来,并提出了一种可以联合执行这两项任务的技术,表明这两项任务确实相互受益。最近的尝试采用自监督学习,例如对比预测编码(CPC),其中下一帧是在给定过去上下文的情况下预测的。然而,CPC仅查看音频信号的帧级结构。我们用分段对比预测编码(SCPC)框架克服了这一限制,以在更高级别上对信号结构进行建模,例如,电话水平。卷积神经网络通过噪声对比估计(NCE)从原始波形学习帧级表示。可微分边界检测器找到可变长度的段,然后通过NCE优化段编码器以学习段表示。可微边界检测器允许我们联合训练帧级和段级编码器。实验表明,我们的单一模型优于现有的电话和词分割方法TIMIT和七叶树数据集。我们发现音素类别会影响边界侦测的效能,而连续元音或半元音之间的边界是最难侦测的。最后,我们使用SCPC在段级而不是在均匀间隔的帧级提取语音特征(例如,10 ms),并产生根据话语的内容而改变的可变速率表示。我们可以将特征提取率从典型的100 Hz降低到平均低至14.5 Hz,同时在线性电话分类任务上仍然优于MFCC特征。
2021-10-08 cs.SD eess.AS
Vector Quantized Contrastive Predictive Coding for Template-based Music Generation
Sony Computer Science Laboratories(索尼计算机科学实验室)
在这项工作中,我们提出了一种灵活的方法来生成离散序列的变化,其中令牌可以被分组为基本单位,如文本中的句子或音乐中的酒吧。更确切地说,给定一个模板序列,我们的目标是产生与原始模板具有可感知相似性的新序列,而不依赖于任何注释;因此,我们生成变体的问题与在没有监督的情况下学习相关高级表示的问题密切相关。我们的贡献是双重的:首先,我们提出了一个自我监督的编码技术,称为矢量量化对比预测编码,它允许学习一个有意义的分配的基本单位在一组离散的代码,连同机制,允许控制这些学习的离散表示的信息内容。其次,我们展示了如何使用这些压缩表示可以用来生成模板序列的变化,通过使用适当的注意模式中的Transformer架构。我们说明了我们的方法上的语料库J. S.巴赫合唱,我们讨论了音乐意义的学习离散代码,并表明我们提出的方法允许生成一个给定的模板的连贯性和高质量的变化。
2020-04-21 cs.LG cs.SD eess.AS
VQCPC-GAN: Variable-Length Adversarial Audio Synthesis Using Vector-Quantized Contrastive Predictive Coding
Sony Computer Science Laboratory(索尼计算机科学实验室);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎综合理工学院)
受计算机视觉领域的影响,生成对抗网络(GANs)通常用于音频域,使用固定大小的二维频谱图表示作为“图像数据”。然而,在(音乐)音频域中,通常期望生成可变持续时间的输出。本文提出了VQCPC-GAN,一个对抗性的框架,通过利用矢量量化对比预测编码(VQCPC)合成可变长度的音频。从真实音频数据中提取的VQCPC令牌序列用作GAN架构的条件输入,提供所生成内容的逐步时间相关特征。输入噪声z(对抗架构中的特征)随时间保持固定,确保全局特征的时间一致性。我们通过比较不同的指标集对各种强基线来评估所提出的模型。结果表明,即使基线得分最好,VQCPC-GAN即使在生成可变长度音频时也能实现相当的性能。在附带的网站中提供了许多合理的示例,我们发布了可重复性的代码。
2021-07-30 cs.AI cs.LG cs.SD
Guided contrastive self-supervised pre-training for automatic speech recognition
Amazon(亚马逊)
对比预测编码(CPC)是一种表示学习方法,它最大化中间潜在表示与给定模型的输出之间的互信息。它可用于有效地初始化自动语音识别(ASR)模型的编码器。我们提出了一种新的修改CPC称为引导对比预测编码(GCPC)。我们所提出的方法最大限度地提高了从先验知识模型的表示和模型的输出之间的互信息进行预训练,允许在预训练过程中的先验知识注入。我们验证我们的方法3 ASR任务:德语,法语和英语。与从头开始训练相比,我们的方法在所有三个数据集上的表现都优于CPC预训练,德语、法语和英语(Librisepeech)任务的单词出错率(WER)相对分别降低了4.44%、6.55%和15.43%,而CPC预训练仅带来了2.96%、1.01%和14.39%的相对WER降低。
2022-10-22 cs.CL cs.SD eess.AS
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon Alexa(亚马逊Alexa)
语音情感识别是实现更自然的人机交流的关键技术。然而,SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题,我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明,对比预测编码(CPC)方法可以学习显着表示从未标记的数据集,这提高了情感识别性能。在我们的实验中,这种方法实现了最先进的一致性相关系数(CCC)的性能,所有的情绪原语(激活,效价,和优势)IEMOCAP。此外,在MSP-Podcast数据集上,与基线相比,我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research(京东人工智能研究院)
端到端自动语音识别(ASR)模型通常被训练为优化整个令牌序列的丢失,而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题,我们提出了一个新的框架,基于监督对比学习(SCaLa),以增强音素表征学习的端到端ASR系统。具体来说,我们将自监督的掩蔽对比预测编码(MCPC)扩展到完全监督的设置,其中监督以以下方式应用。首先,SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签,以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明,我们提出的方法实现了2.8和1.4点字符错误率(CER)的绝对减少相比,基线,分别。
2022-06-20 cs.LG cs.SD eess.AS
A Contrastive Self-Supervised Learning scheme for beat tracking amenable to few-shot learning
LTCI - Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院电信巴黎LTCI实验室)
提出一种基于对比预测编码的自监督预训练方案,利用主局部脉冲函数生成正负样本,在未标注数据上预训练Transformer编码器,实现少样本节拍跟踪。
2024-11-06 cs.SD eess.AS
Data Augmenting Contrastive Learning of Speech Representations in the Time Domain
Facebook AI Research(脸书人工智能研究院);EHESS(法国高等社会科学研究院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);ENS-PSL University(巴黎高等师范学院-巴黎文理研究大学)
对比预测编码(CPC)是一种基于过去语音段预测未来语音段的编码方法,是语音信号表示学习的有效算法。然而,它在无监督的评估基准上仍然表现不佳。在这里,我们介绍了WavAugment,一个时域数据增强库,并发现在过去应用增强通常是更有效的,并产生更好的性能比其他方法。我们发现,音调修改,加性噪声和混响的组合大大提高了CPC的性能(相对提高18-22%),用少600倍的数据击败了参考Libri-light结果。使用域外数据集,时域数据增强可以推动CPC在2017年零语音基准测试中达到最先进水平。我们还表明,时域数据增强一贯提高下游有限监督音素分类任务的12-15%相对的一个因素。
2020-07-02 cs.CL cs.SD eess.AS
Contrastive prediction strategies for unsupervised segmentation and categorization of phonemes and words
University of Wroclaw(弗罗茨瓦夫大学);NavAlgo;NVIDIA(英伟达)
针对自监督语音学习中分类与分割性能的权衡问题,提出融合多层建模的mACPC方法,同时提升分类指标并实现单词分割的SOTA性能。
2022-02-25 cs.LG cs.SD eess.AS
A comparison of self-supervised speech representations as input features for unsupervised acoustic word embeddings
Stellenbosch University(斯泰伦博斯大学)
许多语音处理任务涉及测量语音段之间的声学相似性。声学词嵌入(AWE)允许通过将任意持续时间的语音段映射到固定维向量来进行有效的比较。对于零资源语音处理,其中未标记的语音是唯一可用的资源,一些最好的AWE方法依赖于自动发现的单词片段形式的弱自上而下的约束。零资源研究的另一个方向是在短时间框架水平上的表示学习,而不是在片段水平上学习嵌入。最近的方法包括自监督预测编码和对应自动编码器(CAE)模型。在本文中,我们考虑这些帧级特征在用作无监督AWE模型的训练输入时是否有益。我们比较帧级功能,从对比预测编码(CPC),自回归预测编码和CAE到传统的MFCC。这些被用作输入到一个经常性的CAE为基础的AWE模型。在英语和Xitsonga数据的单词辨别任务中,所有三种表示学习方法都优于MFCC,CPC始终显示出最大的改善。在跨语言的实验中,我们发现,CPC功能的英语培训也可以转移到Xitsonga。
2020-12-14 cs.CL eess.AS
Evaluating Speaker Identity Coding in Self-supervised Models and Humans
本文比较多类自监督语音模型与人类的说话人身份编码,发现自监督表征优于传统声学特征,并能在多层表征、感知相似性及脑响应预测上揭示其与人类加工机制的联系。
2024-06-14 cs.AI cs.SD eess.AS
Unsupervised pretraining transfers well across languages
Facebook AI Research(Facebook人工智能研究院);Ecole des Hautes Etudes en Sciences Sociales(社会科学高等研究院)
跨语言和多语言的自动语音识别(ASR)训练在有监督的环境中得到了广泛的研究。这是假设存在一个平行语料库的语音和拼写transmittance。最近,人们提出了对比预测编码(CPC)算法来用未标记的数据预训练ASR系统。在这项工作中,我们研究了无监督的预训练是否可以很好地跨语言迁移。我们表明,CPC预训练的轻微修改提取了可以很好地转移到其他语言的功能,与监督预训练不相上下,甚至优于监督预训练。这表明了无监督方法在语言资源较少的语言中的潜力。
2020-02-07 cs.CL cs.LG cs.SD
Analyzing Speaker Information in Self-Supervised Models to Improve Zero-Resource Speech Processing
Stellenbosch University(斯泰伦博斯大学)
对比预测编码(CPC)旨在通过区分未来的观察结果和一组否定的例子来学习语音的表示。以前的工作表明,在CPC特征上训练的线性分类器可以准确地预测说话者和电话标签。然而,目前还不清楚这些特征实际上是如何捕获说话者和语音信息的,以及是否可以将不相关的细节标准化(取决于下游任务)。在本文中,我们首先表明,每话语平均CPC功能捕获说话人的信息在很大程度上。具体来说,我们发现比较方法在说话人确认任务中表现良好。接下来,探测实验表明,标准化的功能有效地消除了说话人的信息。基于这一观察,我们提出了一个扬声器归一化步骤,以提高声学单元发现使用K-means聚类的CPC功能。最后,我们展示了在结果单元上训练的语言模型在ZeroSpeech 2021 ~Challenge中取得了一些最佳结果。
2021-08-02 cs.SD eess.AS
Speech Representation Learning Combining Conformer CPC with Deep Cluster for the ZeroSpeech Challenge 2021
Yahoo Japan Corporation(雅虎日本公司);Carnegie Mellon University(卡内基梅隆大学)
我们为2021年零资源语音挑战赛提出了一个系统,该系统将对比预测编码(CPC)与深度聚类相结合。在深度聚类中,我们首先准备通过使用k-means对CPC网络的输出进行聚类而获得的伪标签。然后,我们训练一个额外的自回归模型,以监督的方式对先前获得的伪标签进行分类。音素判别表示是通过执行第二轮聚类与自回归模型的最后一层的输出。我们表明,替换一个Transformer层与一个构象层导致进一步增益的词汇度量。实验结果表明,在语音度量,1.5%的词汇度量,和2.3%的句法度量相比,实现了一个相对的改进的基准方法的CPC-小,这是训练LibriSpeech 460小时的数据。我们在这个挑战中取得了最好的结果与语法度量。
2022-02-16 cs.SD eess.AS
Voice Conversion Based Speaker Normalization for Acoustic Unit Discovery
Paderborn University(帕德博恩大学)
纯粹从语音输入中发现与扬声器无关的声学单元是一个困难的问题。在这项工作中,我们提出了一个无监督的说话人归一化技术之前,单位发现。它是基于分离说话人相关的内容引起的变化,在语音信号与对抗性对比预测编码方法。这种技术既不需要转录的语音,也不需要扬声器标签,而且,可以以多语言的方式进行训练,从而实现扬声器标准化,即使只有很少的未标记的数据是从目标语言。说话人规范化是通过将所有的话语映射到一个代表整个数据库的medoid风格来完成的。我们证明了该方法的有效性进行声学单元发现与隐马尔可夫模型变分自动编码器注意到,但是,建议的扬声器归一化可以作为任何单位发现系统的前端。在英语、约鲁巴语和姆博希语上的实验表明,与使用非规范化输入相比,该方法有所改进。
2021-05-04 cs.CL cs.SD eess.AS
Vector-quantized neural networks for acoustic unit discovery in the ZeroSpeech 2020 challenge
Stellenbosch University(斯泰伦博斯大学)
在本文中,我们探讨矢量量化的声学单位发现。利用未标记的数据,我们的目标是学习语音的离散表示,将语音内容与特定于说话者的细节分开。我们提出了两种神经模型来应对这一挑战-都使用矢量量化来将连续特征映射到有限的代码集。第一种模型是一种矢量量化变分自编码器(VQ-VAE)。VQ-VAE在重构音频波形之前将语音编码成离散单元的序列。我们的第二个模型结合了矢量量化与对比预测编码(VQ-CPC)。这个想法是通过预测未来的声学单元来学习语音的表示。我们在英语和印度尼西亚语数据上评估了ZeroSpeech 2020挑战的模型。在ABX手机识别测试中,这两款机型的表现都超过了2019年和2020年挑战赛的所有参赛作品,相对提高了30%以上。这些模型在下游语音转换任务上也具有竞争力。两者中,VQ-CPC总体上表现稍好,训练更简单、更快。最后,探测实验表明,矢量量化是一个有效的瓶颈,迫使模型丢弃说话人信息。
2020-08-19 cs.CL eess.AS
Bigger is not Always Better: The Effect of Context Size on Speech Pre-Training
University of Toronto(多伦多大学)
本文通过可控上下文的CPC自监督语音预训练实验,发现音素区分能力在约40 ms前文上下文时最佳、超过约320 ms反而下降,并影响冻结特征的监督ASR。
2023-12-03 cs.CL cs.SD eess.AS
Word Segmentation on Discovered Phone Units with Dynamic Programming and Self-Supervised Scoring
Stellenbosch University(斯泰伦博斯大学)
最近的无监督语音分割工作使用了自监督模型,其中包含联合训练的电话和分词模块。相反,本文重新审视了一个旧的方法,分词:自下而上的电话样单位的发现是第一次,符号分词,然后在发现的单位(不影响较低的水平)。为此,我提出了一个新的单元发现模型,一个新的符号分词模型,然后链接这两个模型来分割语音。这两种模型都使用动态规划来最小化来自自我监督网络的分段成本,并具有鼓励更长单位的额外持续时间惩罚。具体地,对于声学单元发现,使用持续时间惩罚动态规划(DPDP)与对比预测编码模型作为评分网络。对于分词,DPDP与作为评分网络的自编码递归神经一起应用。这两个模型被链接以分割语音。这种方法提供了可比的分词结果,以最先进的联合自监督分割模型的英语基准。在法语、普通话、德语和沃洛夫语数据上,它在ZeroSpeech基准测试中的表现优于以前的系统。分析表明,链式DPDP系统分割较短的填充字,但较长的字可能需要一些外部自顶向下的信号。
2023-01-09 cs.CL cs.SD eess.AS
Do self-supervised speech models develop human-like perception biases?
University of Paris(巴黎大学);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);EHESS(社会科学高等学院);INRIA(法国国家信息与自动化研究所);University of Toronto(多伦多大学)
用于语音处理的自监督模型在不使用任何外部标签的情况下形成表示空间。越来越多地,它们似乎是一种可行的方法,至少可以部分消除昂贵的手动注释,这是低资源语言特别关注的问题。但是这些模型构建了什么样的表征空间呢?人类的感知专门针对听众的母语的声音。同样的事情也会发生在自我监督模型中吗?我们研究了三种最先进的自我监督模型的代表空间:wav2vec 2.0,HuBERT和对比预测编码(CPC),并将它们与讲法语和讲英语的人类听众的感知空间进行比较,无论是全球还是考虑到两个语言群体之间的行为差异。我们发现,CPC模型显示出一个小的母语效果,但wav2vec 2.0和休伯特似乎开发了一个通用的语音感知空间,这是不是语言特定的。对监督电话识别器的预测进行比较表明,所有三种自我监督模型都捕捉到了相对细粒度的感知现象,而监督模型更善于捕捉听众母语对感知的粗糙、电话级别的影响。
2022-05-31 cs.CL cs.SD eess.AS
Variable-rate hierarchical CPC leads to acoustic unit discovery in speech
University of Wrocław(弗罗茨瓦夫大学);Université de Toulon(土伦大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);NVIDIA(英伟达);Pathway
深度学习的成功来自于它通过学习根据低级表示定义的高级表示来捕获数据的层次结构的能力。在本文中,我们探讨了自监督学习的分层表示的语音应用多层次的对比预测编码(CPC)。我们观察到,简单地堆叠两个CPC模型不会产生显着的改进,单级架构。受语音通常被描述为时间上不均匀分布的离散单元序列这一事实的启发,我们提出了一种模型,在该模型中,低级别CPC模块的输出被非均匀下采样,以直接最小化高级别CPC模块的损失。后者的目的也是通过集中负采样和量化的预测目标,通过强制执行连续的高级表示的相异性,在其表示的可分性和离散性的先验。考虑到语音信号的结构,改进了单级CPC特征,并增强了所学习的表示的解纠缠,如由下游语音识别任务所测量的,同时导致信号的有意义的分段,其非常类似于音素边界。
2022-12-04 cs.AI cs.CL cs.LG