Voice Conversion Based Speaker Normalization for Acoustic Unit Discovery
Paderborn University（帕德博恩大学）
纯粹从语音输入中发现与扬声器无关的声学单元是一个困难的问题。在这项工作中，我们提出了一个无监督的说话人归一化技术之前，单位发现。它是基于分离说话人相关的内容引起的变化，在语音信号与对抗性对比预测编码方法。这种技术既不需要转录的语音，也不需要扬声器标签，而且，可以以多语言的方式进行训练，从而实现扬声器标准化，即使只有很少的未标记的数据是从目标语言。说话人规范化是通过将所有的话语映射到一个代表整个数据库的medoid风格来完成的。我们证明了该方法的有效性进行声学单元发现与隐马尔可夫模型变分自动编码器注意到，但是，建议的扬声器归一化可以作为任何单位发现系统的前端。在英语、约鲁巴语和姆博希语上的实验表明，与使用非规范化输入相比，该方法有所改进。
2021-05-04 cs.CL cs.SD eess.AS
Subword and Crossword Units for CTC Acoustic Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种新的方法来创建一个基于CTC的语音识别系统的单元集。通过使用字节对编码，我们在给定的训练文本上学习任意大小的单元集。与使用字符或单词作为单位相比，这使我们能够在单位集的大小和可用的训练数据之间找到一个很好的折衷。我们评估填字游戏单位，这可能会跨越多个字，和子字单位。通过将这种方法与使用单独的语言模型的解码方法相结合，我们能够实现基于字素的CTC系统的最新结果。
2018-06-18 cs.CL
Vector-quantized neural networks for acoustic unit discovery in the ZeroSpeech 2020 challenge
Stellenbosch University（斯泰伦博斯大学）
在本文中，我们探讨矢量量化的声学单位发现。利用未标记的数据，我们的目标是学习语音的离散表示，将语音内容与特定于说话者的细节分开。我们提出了两种神经模型来应对这一挑战-都使用矢量量化来将连续特征映射到有限的代码集。第一种模型是一种矢量量化变分自编码器（VQ-VAE）。VQ-VAE在重构音频波形之前将语音编码成离散单元的序列。我们的第二个模型结合了矢量量化与对比预测编码（VQ-CPC）。这个想法是通过预测未来的声学单元来学习语音的表示。我们在英语和印度尼西亚语数据上评估了ZeroSpeech 2020挑战的模型。在ABX手机识别测试中，这两款机型的表现都超过了2019年和2020年挑战赛的所有参赛作品，相对提高了30%以上。这些模型在下游语音转换任务上也具有竞争力。两者中，VQ-CPC总体上表现稍好，训练更简单、更快。最后，探测实验表明，矢量量化是一个有效的瓶颈，迫使模型丢弃说话人信息。
2020-08-19 cs.CL eess.AS
A Multi-layered Acoustic Tokenizing Deep Neural Network (MAT-DNN) for Unsupervised Discovery of Linguistic Units and Generation of High Quality Features
National Taiwan University（台湾大学）
本文总结了作者为Interspeech 2015技术计划中组织的零资源语音挑战所做的工作。挑战的目标是直接从未标记的语音数据中发现语言单位。在这项工作中提出的多层声学标记器（MAT）自动发现多组声学标记从给定的语料库。每个声学标记集由描述模型配置的一组超参数指定。这些声学标记集携带给定语料库的不同特征，因此可以相互加强背后的语言。然后，将多组标记标签用作在低级声学特征上训练的多目标DNN（MDNN）的目标。从MDNN中提取的瓶颈特征被用作MAT和MDNN本身的反馈。我们将该迭代系统称为多层声学标记化深度神经网络（MAT-DNN），其为挑战的轨道1生成高质量特征，并为挑战的轨道2生成声学标记。
2015-06-07 cs.CL cs.LG cs.NE
An Iterative Deep Learning Framework for Unsupervised Discovery of Speech Features and Linguistic Units with Applications on Spoken Term Detection
National Taiwan University（台湾大学）
在这项工作中，我们的目标是发现高质量的语音特征和语言单位直接从无标记的语音数据在零资源的情况下。使用Interspeech 2015组织的零资源语音挑战中提出的指标和语料库对结果进行评估。提出了一种多层声学标记器（MAT），用于从给定的语料库中自动发现多组声学标记。每个声学标记集由描述模型配置的一组超参数指定。这些声学标记集携带了语料库和语言的不同特征，因此可以相互加强。然后，将多组标记标签用作在低级声学特征上训练的多目标深度神经网络（MDNN）的目标。从MDNN中提取的瓶颈特征然后在下一次迭代中用作MAT和MDNN本身的反馈输入。我们将这种迭代深度学习框架称为多层声学标记化深度神经网络（MAT-DNN），它为挑战赛的轨道1生成高质量的语音特征，并为挑战赛的轨道2生成声学标记。此外，我们在相同的语料库上进行了额外的实验，以应用于按实例查询的口语术语检测。实验结果表明，MAT-DNN的迭代深度学习框架由于更好的底层语音特征和声学标记而提高了检测性能。
2016-02-01 cs.CL cs.LG
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University（斯泰伦博斯大学）；The University of Edinburgh（爱丁堡大学）
对于我们提交的ZeroSpeech 2019挑战，我们将离散潜变量神经网络应用于未标记的语音，并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器（AE）架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时，单元发现从一个看不见的扬声器的语音进行，然后由一个已知的目标扬声器单元解码条件，以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化，分类变分自编码器（CatVAE），矢量量化的VAE（VQ-VAE）和直通估计进行了比较，在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码，VQ-VAE离散化，解卷积解码和FFTNet声码器。我们表明，解耦扬声器调节本质上提高了离散的声学表示，产生竞争力的合成质量相比，挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
An Acoustic Segment Model Based Segment Unit Selection Approach to Acoustic Scene Classification with Partial Utterances
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）；University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个子话语单元选择框架，以消除音频记录中的声学片段，进行声学场景分类（ASC）的信息很少。我们的方法是建立在一组通用的声学段单元覆盖整个声学场景空间。首先，这些单元被建模与声学段模型（ASMs）用于标记声学场景话语成序列的声学段单元。其次，与信息检索中的停用词的思想并行，自动检测停用ASMs。最后，与停止ASM相关联的声学段被阻止，因为它们在大多数声学场景的检索中的索引能力低。与用整个话语构建场景模型相比，ASM去除的子话语，即，然后，没有停止声学段的声学话语被用作AlexNet-L后端的输入，用于最终分类。在DCASE 2018数据集上，场景分类准确率从68%（整个话语）提高到72.1%（片段选择）。这表示在没有任何数据增强和/或集成策略的情况下具有竞争力的准确性。此外，我们的方法与AlexNet-L相比更受关注。
2020-07-31 cs.CL cs.SD eess.AS
Advancing Acoustic-to-Word CTC Model with Attention and Mixed-Units
Microsoft Corporation（微软公司）
基于连接主义时间分类（CTC）准则的声学到词模型是一种直接以词为输出单位的自然的端到端（E2 E）系统。系统中存在两个问题：第一，CTC模型的当前输出依赖于当前输入，并且不考虑上下文加权输入。这就是硬对齐问题。其次，基于单词的CTC模型遭受词汇表外（OOV）问题。这意味着它可以只对频繁出现的单词进行建模，而将剩余的单词标记为OOV。因此，这样的模型是有限的，它的能力，只有一个固定的一组频繁的单词识别。在这项研究中，我们建议使用注意力机制和混合单元的组合来解决这些问题。特别地，我们介绍了注意力CTC、自注意力CTC、混合CTC和混合单元CTC。首先，我们使用Attention CTC和Self-Attention CTC将注意力建模功能直接融入CTC网络。其次，为了缓解OOV问题，我们提出了混合CTC，它使用一个字和字母CTC共享隐藏层。当单词CTC发出OOV时，混合CTC查询字母CTC。然后，我们提出了一个更好的解决方案，通过训练一个混合单元CTC，它将所有的OOV单词分解成频繁单词和多字母单元的序列。在3400小时的Microsoft Cortana语音助理任务上进行评估，我们最终的使用注意力和混合单元的声学到单词的解决方案实现了单词出错率（WER）的相对降低，比普通单词CTC降低了12.09%。这种不使用任何语言模型（LM）或复杂解码器的E2 E模型相对于具有强LM和解码器的传…
2019-09-04 cs.CL
Linguistic unit discovery from multi-modal inputs in unwritten languages: Summary of the "Speaking Rosetta" JSALT 2017 Workshop
JHU（约翰斯·霍普金斯大学）；CMU（卡内基梅隆大学）
我们总结了一个多学科研讨会的成果，探讨了在没有正字法的语言中发现语言单位（子词和词）的计算和科学问题。我们研究了在资源丰富的语言中用图像和/或翻译文本替换正字法transmittance，以帮助从原始语音中进行无监督发现。
2018-02-14 cs.CL
Bayesian Models for Unit Discovery on a Very Low Resource Language
Brno University of Technology（布尔诺理工大学）；LIMSI（法国信息与自动化实验室）；CNRS（法国国家科学研究中心）；LIG（格勒诺布尔信息学实验室）；University of Illinois（伊利诺伊大学）；Centre for Language Studies, Radboud University（拉德堡德大学语言研究中心）；CoML（计算语言学实验室）；ENS（巴黎高等师范学院）；EHESS（法国高等社会科学研究院）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
在过去的十年里，为低资源语言开发语音技术已经成为一个非常活跃的研究领域。其中，贝叶斯模型在人工样本上显示出一些有希望的结果，但仍然缺乏现场实验。我们的工作适用于国家的最先进的贝叶斯模型，以无监督的声学单元发现（AUD）在一个真正的低资源的语言场景。我们还表明，贝叶斯模型可以自然地整合信息，从其他资源丰富的语言，通过信息的事先导致更一致的发现单位。最后，使用所发现的声学单元，作为1-最佳序列或作为网格，以执行分词。分词结果表明，这种贝叶斯方法明显优于Segmental-DTW基线相同的语料库。
2018-02-20 cs.CL
A Temporal Extension of Latent Dirichlet Allocation for Unsupervised Acoustic Unit Discovery
Stellenbosch University（斯泰伦博斯大学）
潜在狄利克雷分配（LDA）被广泛用于文档集的无监督主题建模。模型中没有使用时间信息。然而，在连续标记的对应主题之间通常存在关系。在本文中，我们提出了一个扩展LDA，使用马尔可夫链建模的时间信息。我们使用这个新的模型从语音声学单位发现。作为输入令牌，该模型从具有512个代码的矢量量化（VQ）神经网络中获取语音的离散化编码。然后，目标是将这512个VQ代码映射到50个类似于电话的单元（主题），以便更接近真实的电话。与仅考虑VQ码如何在话语（文档）内共同出现的基础LDA相比，马尔可夫链LDA另外捕获连续码如何彼此跟随。与基础LDA相比，这种扩展导致集群质量和电话分割结果的增加。与最近的矢量量化神经网络方法（也学习50个单元）相比，扩展的LDA模型在电话分割方面表现更好，但在互信息方面表现较差。
2022-06-29 cs.CL cs.LG eess.AS
A Nonparametric Bayesian Approach for Spoken Term detection by Example Query
College of Engineering, Temple University（天普大学工程学院）
现有技术的语音识别系统使用数据密集的上下文相关音素作为声学单元。然而，这些方法不能很好地转换到资源较少的语言，在这些语言中，大量的训练数据不可用。对于这样的语言，声学单位的自动发现是至关重要的。在本文中，我们展示了应用非参数贝叶斯模型的声学单元发现。我们发现，所发现的单位与音素，因此是有意义的语言。我们还提出了一个口语术语检测（STD）的例子查询算法的基础上，这些自动学习的单位。我们表明，我们提出的系统在TIMIT数据集上产生了61.2%的P@N和13.95%的EER。EER的改善为5%，而P@N仅略低于文献中报道的最佳系统。
2016-06-20 cs.CL
Unsupervised Acoustic Unit Discovery by Leveraging a Language-Independent Subword Discriminative Feature Representation
Delft University of Technology（代尔夫特理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文解决了自动发现类音素声学单元（AUD）从未标记的语音数据。过去的研究通常提出一步的方法。我们提出了一个两阶段的方法：第一阶段学习一个子字判别特征表示和第二阶段适用于聚类学习表示，并获得类似电话的集群作为发现的声学单元。在第一阶段，最近提出的方法在无监督子词建模的任务进行了改进，取代单语的域外（OOD）ASR系统与多语言的一个创建一个子词判别表示，是更独立的语言。在第二阶段，采用段级k均值，并比较了两种方法来表示的可变长度的语音段作为固定维度的特征向量。在一个资源非常有限的Mboshi语言语料库上的实验表明，该方法在归一化互信息（NMI）和F分数方面都优于最先进的AUD。多语言ASR在提供OOD电话标签和估计电话边界方面优于单语言ASR。我们的系统与不知道地面实况电话边界的比较显示了16%的NMI性能差距，这表明当前的方法可以从改进的电话边界估计中显着受益。
2021-06-07 cs.CL cs.SD eess.AS
Acoustic Data-Driven Subword Modeling for End-to-End Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
针对端到端语音识别中缺乏完全面向声学的子词建模方法的问题，提出声学数据驱动的子词建模（ADSM）方法，生成声学结构化子词单元，在LibriSpeech上优于BPE和PASM，适用于时间与标签同步模型。
2021-08-27 cs.CL
Advancing Acoustic-to-Word CTC Model
Microsoft（微软）
基于连接主义时间分类（CTC）标准的声学到词模型被示出为直接以词作为输出单元的自然端到端（E2E）模型。然而，基于单词的CTC模型遭受词汇表外（OOV）问题，因为它只能在输出层中对有限数量的单词进行建模，并将所有剩余的单词映射到OOV输出节点中。因此，这种基于词的CTC模型只能识别由网络输出节点建模的频繁词。我们的第一次尝试，以改善声学到字的模型是一个混合的CTC模型，咨询基于字母的CTC时，基于字的CTC模型发出OOV令牌在测试时间。然后，我们提出了一个更好的解决方案，通过训练一个混合单元CTC模型，将所有的OOV单词分解成频繁单词和多字母单元的序列。在3400小时的Microsoft Cortana语音助理任务上进行评估，当与我们提出的注意力CTC相结合时，最终的声学到单词解决方案通过相对12.09%的单词出错率（WER）降低来改善基于单词的基线CTC。这种E2E模型不使用任何语言模型（LM）或复杂的解码器，优于传统的上下文相关的音素CTC，具有强大的LM和解码器的相对6.79%。
2018-03-15 cs.CL
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong（香港中文大学）
本文研究了零资源环境下的自动语音识别（ASR）的无监督声学建模（UAM）问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要，而且对于许多非主流应用也至关重要，例如语言保护，语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本（子字级）语音单元的无监督发现。在零资源条件下，可以仅从声学信号推断语音单元，而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲，需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的，并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Exploring the Benefits of Tokenization of Discrete Acoustic Units
IBM Research（IBM研究院）
本文将NLP中成熟的分词算法引入音素和离散声学单元表示，在字素到音素、字素到DAU及无监督语音生成三个任务上验证了其在性能与训练推理速度上的显著优势，并给出理论解释。
2024-06-08 cs.CL cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Improving Gated Recurrent Unit Based Acoustic Modeling with Batch Normalization and Enlarged Context
Kwai（快手）；Beijing Institute of Technology（北京理工大学）
未来的上下文信息的使用通常被示出为有助于声学建模。最近，我们提出了一种称为具有输入投影的最小门控递归单元（mGRUIP）的RNN模型，其中专门设计了一个上下文模块，即时间卷积，用于对未来上下文进行建模。该模型mGRUIP with context module（mGRUIP-Ctx）能够有效地利用未来的上下文信息，同时具有较低的模型延迟和计算开销。在本文中，我们继续改进mGRUIP-Ctx两个修订：应用BN方法和扩大模型上下文。在两个普通话ASR任务（8400小时和60 K小时）上的实验结果表明，修改后的mGRUIP-Ctx以较大的幅度（11%至38%）优于LSTM。它甚至在8400小时任务上的表现略好于优越的BLSTM，参数少了33 M，模型延迟仅为290 ms。
2018-11-26 cs.CL eess.AS
Direct Text to Speech Translation System using Acoustic Units
University of Zaragoza（萨拉戈萨大学）；Aragón Institute for Engineering Research (I3A)（阿拉贡工程研究所）；Le Mans University（勒芒大学）；Avignon University（阿维尼翁大学）
本文提出一种基于离散声学单元的直接文本到语音翻译系统，通过语音编码器与聚类算法提取声学单元并结合编码器-解码器架构与声码器生成目标语音，在CVSS语料库上取得有竞争力的性能。
2023-09-14 cs.CL cs.LG cs.SD
Pretraining End-to-End Keyword Search with Automatically Discovered Acoustic Units
Bogazici University（博阿齐奇大学）；Brno University of Technology（布尔诺理工大学）
本文提出利用声学单元发现从未转录数据中获取离散单元来预训练端到端关键词搜索系统，实验表明微调后性能显著优于从头训练，且提升与AUD系统质量相关。
2024-07-05 cs.CL eess.AS
Acoustics Based Intent Recognition Using Discovered Phonetic Units for Low Resource Languages
Carnegie Mellon University（卡内基梅隆大学）
随着语言技术的进步，人类现在可以对着设备说话。扩大口语技术的覆盖范围需要用当地语言建立系统。这里的一个主要瓶颈是构成此类系统的底层数据密集型部分，包括需要大量标记数据的自动语音识别（ASR）系统。为了帮助开发低资源语言的口语对话系统，我们提出了一种新的基于声学的意图识别系统，该系统使用发现的语音单元进行意图分类。该系统由两个块组成-第一块是通用音素识别系统，其生成输入音频的所发现的语音单元的转录本，并且第二块从所生成的语音转录本执行意图分类。我们提出了一个基于CNN+LSTM的架构，并针对两种不同的意图识别任务，为两种语言家族-印度语和罗曼语提供了结果。我们还对我们的意图分类器进行多语言训练，并在同一语言家族中的未知语言上显示出改进的跨语言迁移和zero-shot性能。
2021-02-19 cs.AI cs.CL
Unsupervised Iterative Deep Learning of Speech Features and Acoustic Tokens with Applications to Spoken Term Detection
在本文中，我们的目标是自动发现高质量的帧级语音特征和声学令牌直接从未标记的语音数据。提出了一种多粒度声学标记器（MAT），用于从给定的语料库中自动发现多组声学标记。每个声学标记集由描述模型配置的一组超参数指定。这些不同的声学标记集对于给定的语料库和背后的语言具有不同的特征，因此可以相互加强。然后，将多组标记标签用作在帧级声学特征上训练的多目标深度神经网络（MDNN）的目标。从MDNN中提取的瓶颈特征然后在下一次迭代中用作MAT和MDNN本身的反馈输入。可以在迭代深度学习框架中迭代地优化多粒度声学令牌集合和帧级语音特征。我们将这个框架称为多粒度声学标记化深度神经网络（MATDNN）。使用Interspeech 2015组织的零资源语音挑战中定义的度量和语料库对结果进行了评估，并通过在同一语料库上进行一组按示例查询的口语术语检测实验来获得改进的性能。还显示了针对英语音素的所发现的标记的可视化。
2017-07-17 cs.CL
Deep convolutional acoustic word embeddings using word-pair side information
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
最近的研究已经重新审视了整个单词作为语音识别和查询应用程序中的基本建模单元，而不是语音单元。这种全词分段系统依赖于将可变长度的语音片段映射到固定维度空间中的向量的函数;所得到的声学词嵌入需要允许直接在嵌入空间中准确区分不同的词类型。我们比较了几个老的和新的方法在一个词的歧视任务。我们最好的方法是使用已知单词对形式的辅助信息来训练一个连体卷积神经网络（CNN）：一对绑定的网络，将两个语音片段作为输入并产生它们的嵌入，训练时使用铰链损失，将相同的单词对和不同的单词对分开一定的距离。单词分类器CNN的表现类似，但需要更强的监督。这两种类型的CNN都比之前发表的关于单词识别任务的最佳结果有了很大的改进。
2016-01-08 cs.CL
Phoneme Recognition Using Acoustic Events
本文提出了一种利用非连续子音素单元进行音素识别的新方法。这些单位被称为声学事件，在语音学上是有意义的，也可以从语音信号中识别出来。与区别性特征相比，声学事件形成语音上不完整的表征。这个问题可以部分地克服纳入语音的限制。目前，24个描述发音方式和发音位置、元音质量和发音的二进制事件被用于识别所有德语音素。在这种范式中的音素识别包括两个步骤：声学事件已经确定的语音信号后，一个音位分析器被用来产生音节和音素的假设从事件格。在一个依赖于说话人的语料库上得到的结果。
1994-07-15 cmp-lg cs.CL
Gated Recurrent Unit Based Acoustic Modeling with Future Context
Kwai（快手）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
未来的上下文信息的使用通常被示出为有助于声学建模。然而，对于递归神经网络（RNN），它不是那么容易有效地建模未来的时间上下文，同时保持较低的模型延迟。在本文中，我们试图设计一个RNN声学模型，能够有效地利用未来的上下文，与模型的延迟和计算成本尽可能低。该模型基于最小门控递归单元（mGRU），在mGRU中插入一个输入投影层，并设计了两个上下文模块：时间编码和时间卷积，用于对未来上下文进行建模。在Switchboard任务和内部普通话ASR任务上的实验结果表明，该模型的性能远远优于长短期记忆（LSTM）和mGRU模型，而在线解码的最大延迟为170 ms。该模型甚至优于非常强大的基线TDNN-LSTM，具有更小的模型延迟和几乎一半的参数。
2018-05-18 cs.CL cs.SD eess.AS
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University（斯泰伦博斯大学）
我们调查的无监督模型，可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中，这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督，如单词或音素边界。在这里，我们提出了编码器-解码器对应自动编码器（EncDec-CAE），它不是真正的单词段，而是使用自动发现的段：一个无监督的术语发现系统发现相同的未知类型的单词对，并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器（AE），具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）；Microsoft Corporation（微软公司）
这项工作提出了一个广泛的研究适应神经网络声学模型通过学习隐藏单元的贡献（LHUC）-一种方法，线性重新组合隐藏单元在扬声器或环境依赖的方式使用少量的无监督的适应数据。我们还将LHUC扩展到一个说话者自适应训练（SAT）框架，该框架导致一个更具适应性的DNN声学模型，以说话者相关和说话者无关的方式工作，而不需要维护辅助说话者相关特征提取器或向DNN结构引入显着的说话者相关变化。通过一系列的实验，四个不同的语音识别基准（TED会谈，Switchboard，AMI会议，极光4），包括270个测试扬声器，我们表明，LHUC在其测试和SAT的变种结果一致的字出错率减少5%至23%，相对取决于任务和训练和测试数据之间的不匹配程度。此外，我们还研究了每个扬声器的自适应数据量的影响，无监督自适应目标的质量，与其他自适应技术的互补性，一次性自适应，以及以序列判别方式训练的自适应DNN的扩展。
2016-07-13 cs.CL cs.LG cs.SD
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.（谷歌公司）
我们目前的结果表明，它是有可能建立一个有竞争力的，大大简化，大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125，000小时的半监督声学训练数据上训练的，这使我们能够减轻单词模型的数据稀疏问题。我们表明，CTC字模型工作得很好，作为一个端到端的全神经语音识别模型，而不使用传统的上下文相关的子字音素单位，需要一个发音词典，没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的，更复杂的，最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
Variable-rate hierarchical CPC leads to acoustic unit discovery in speech
University of Wrocław（弗罗茨瓦夫大学）；Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；NVIDIA（英伟达）；Pathway
深度学习的成功来自于它通过学习根据低级表示定义的高级表示来捕获数据的层次结构的能力。在本文中，我们探讨了自监督学习的分层表示的语音应用多层次的对比预测编码（CPC）。我们观察到，简单地堆叠两个CPC模型不会产生显着的改进，单级架构。受语音通常被描述为时间上不均匀分布的离散单元序列这一事实的启发，我们提出了一种模型，在该模型中，低级别CPC模块的输出被非均匀下采样，以直接最小化高级别CPC模块的损失。后者的目的也是通过集中负采样和量化的预测目标，通过强制执行连续的高级表示的相异性，在其表示的可分性和离散性的先验。考虑到语音信号的结构，改进了单级CPC特征，并增强了所学习的表示的解纠缠，如由下游语音识别任务所测量的，同时导致信号的有意义的分段，其非常类似于音素边界。
2022-12-04 cs.AI cs.CL cs.LG
A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings
University of Chicago（芝加哥大学）；Stellenbosch University（斯泰伦博斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提出了一个新的无监督模型，用于将可变持续时间的语音段映射到固定维度的表示。由此产生的声学词嵌入可以形成低资源和零资源语言的搜索、发现和索引系统的基础。我们的模型，我们称之为最大采样对应变分自编码器（MCVAE），是一个递归神经网络（RNN），使用一种新的自监督对应丢失进行训练，鼓励同一单词的不同实例的嵌入之间的一致性。我们的训练方案通过使用和比较来自近似后验分布的多个样本来改进以前的对应训练方法。在零资源设置中，MCVAE可以通过使用经由无监督术语发现系统发现的类词片段以无监督方式训练，而不需要任何地面实况词对。在这种设置和半监督低资源设置（具有有限的地面实况词对）中，MCVAE的性能优于以前的最先进模型，例如基于Siamese，CAE和VAE的RNN。
2020-12-03 cs.CL cs.SD eess.AS
R-Spin: Efficient Speaker and Noise-invariant Representation Learning with Acoustic Pieces
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出R-Spin自监督方法，通过说话人不变聚类学习离散声学单元并预测声学片段，以12倍更少计算资源在严重失真语音中实现更优的说话人与噪声不变表征。
2024-04-01 cs.CL cs.SD eess.AS
A Survey of Voice Translation Methodologies - Acoustic Dialect Decoder
SSN College Of Engineering（SSN工程学院）
语音翻译一直是关于提供源文本或音频输入，并等待系统以所需的形式提供翻译输出。在本文中，我们提出了声学方言解码器（ADD）-语音语音耳机翻译设备。我们介绍和调查的语音工程领域的最新进展，采用在ADD，特别是侧重于识别，翻译和合成的三个主要处理步骤。通过设计源音频到文本的识别单元、源语言文本到目标语言文本的翻译单元和目标语言文本到目标语言语音的合成单元，解决了机器理解自然语言的问题。来自周围环境的语音将被耳机上的识别单元记录下来，一旦成功阅读一个句子，翻译就会开始。通过这种方式，我们希望在读取输入时提供翻译后的输出。识别单元将使用基于隐马尔可夫模型（HMM）的工具包（HTK），具有门控存储单元的混合RNN系统，以及合成单元，基于HMM的语音合成系统HTS。该系统最初将作为英语到泰米尔语的翻译设备。
2016-10-13 cs.CL cs.NE cs.SD
DiscoPhon: Benchmarking the Unsupervised Discovery of Phoneme Inventories With Discrete Speech Units
LSCP, ENS, EHESS, CNRS, PSL University, France（法国国家科学研究中心（CNRS）、巴黎高等师范学院（ENS）、高等科学研究所（EHESS）、巴黎社会科学大学（PSL University）和LSCP实验室）
DiscoPhon通过评估无监督音素发现方法，测试在未知语言中从离散语音单元生成音素库存的能力，提供四个预训练多语言模型基准，展示当前模型能有效关联语音单元与音素。
2026-09-25 cs.CL cs.SD eess.AS
Towards Visually Grounded Sub-Word Speech Unit Discovery
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在本文中，我们调查的方式，可解释的子字语音单元出现在一个卷积神经网络模型训练关联原始语音波形与语义相关的自然图像场景。我们展示了如何从模型中间层的激活模式中表面上提取双音子边界，这表明该模型可能会利用这些事件进行单词识别。我们提出了一系列的实验调查这些事件编码的信息。
2019-02-21 cs.CL cs.LG cs.SD
Pushing the Limits of Unsupervised Unit Discovery for SSL Speech Representation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）
针对现有自监督语音表示学习中k-means聚类目标无法充分激发模型性能的问题，提出采用上下文无关/相关音素基单元的MonoBERT与PolyBERT无监督方法，在LibriSpeech基准上无需迭代重训练即超越多种SSL模型及用标注数据优化目标的模型。
2023-06-15 cs.CL cs.SD eess.AS
Learning When to Translate for Streaming Speech
ByteDance（字节跳动）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
如何找到适当的时刻，以产生部分句子翻译流语音输入？现有的等待-翻译算法由于语音中声学单元之间的边界不均匀，往往会破坏语音中的声学单元。在本文中，我们提出了MoSST，一个简单而有效的方法来翻译流语音内容。给定一个通常很长的语音序列，我们开发了一个高效的单调分割模块内的编码器-解码器模型，以积累声学信息增量和检测适当的语音单元边界的输入语音翻译任务。在MuST-C数据集的多个翻译方向上的实验表明，MoSST优于现有方法，并在翻译质量（BLEU）和延迟之间实现了最佳权衡。我们的代码可在https://github.com/dqqcasia/mosst上获得。
2022-03-22 cs.CL eess.AS
Transformer VQ-VAE for Unsupervised Unit Discovery and Speech Synthesis: ZeroSpeech 2020 Challenge
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所先进智能项目中心）
在本文中，我们报告了我们在2019年赛道上提交的ZeroSpeech 2020挑战系统。这个挑战的主题是建立一个没有任何文本信息或语音标签的语音合成器。为了应对这些挑战，我们构建了一个系统，该系统必须解决两个主要组件，例如1）给定语音音频，以无监督的方式提取子字单元，2）重新合成来自新扬声器的音频。系统还需要在ABX出错率和比特率压缩率之间平衡码本性能。我们在这里的主要贡献是，我们提出了基于变换器的VQ-VAE的无监督单元发现和基于变换器的逆变器的语音合成给定提取的码书。此外，我们还探索了几种正则化方法来进一步提高性能。
2020-05-24 cs.CL cs.LG cs.SD
Discovery of Natural Language Concepts in Individual Units of CNNs
Seoul National University（首尔国立大学）；Kakao（Kakao公司）；Kakao Brain（Kakao Brain研究院）
尽管深度卷积网络在许多自然语言任务中实现了性能的提高，但由于难以解释，它们一直被视为黑箱。特别是，很少有人知道它们如何在中间层表示语言。为了理解在语言任务上训练的深度卷积网络的表示，我们证明了单个单元对特定的词素、单词和短语有选择性地做出响应，而不是对任意和不可解释的模式做出响应。为了定量分析这种有趣的现象，我们提出了一种概念对齐方法的基础上如何单位响应复制文本。我们使用不同的架构对多个数据集进行分析，以执行分类和翻译任务，并为深入了解模型如何理解自然语言提供新的见解。
2019-02-28 cs.CL cs.LG stat.ML
Acoustic word embeddings for zero-resource languages using self-supervised contrastive learning and multilingual adaptation
School of Data Science and Computational Thinking (SU)（数据科学与计算思维学院（南非大学））
声学词嵌入（AWE）是可变长度语音段的固定维表示。对于没有标记数据的零资源语言，一种AWE方法是使用无监督的基于自动编码器的递归模型。另一种最近的方法是使用多语言传输：在几种资源丰富的语言上训练有监督的AWE模型，然后将其应用于一种看不见的零资源语言。我们考虑如何最近的对比学习损失可以在纯粹的无监督和多语言传输设置。首先，我们证明了来自无监督术语发现系统的术语可以用于对比自我监督，从而改进了以前的无监督单语AWE模型。其次，我们考虑如何多语言AWE模型可以适应一个特定的零资源语言使用发现的条款。我们发现，自监督对比适应优于适应多语言对应自动编码器和暹罗AWE模型，在六种零资源语言的单词识别任务中获得了最佳的整体结果。
2021-03-19 cs.CL eess.AS
Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition
ITMO University（圣光机大学）；STC-innovations Ltd（STC创新有限公司）
随着语音助理的快速发展，使服务器预期的自动语音识别（ASR）解决方案适应直接设备已变得至关重要。研究人员和行业更喜欢将端到端ASR系统用于设备上的语音识别任务。这是因为与混杂系统相比，端到端系统可以在保持更高质量的同时节省资源。然而，构建端到端模型需要大量的语音数据。与语音助理相关的另一个具有挑战性的任务是个性化，这主要在于处理词汇表外（OOV）单词。在这项工作中，我们考虑建立一个有效的端到端的ASR系统，在低资源设置具有高OOV率，体现在巴贝尔土耳其语和巴贝尔格鲁吉亚任务。为了解决上述问题，我们提出了一种基于BPE-dropout技术的动态声学单元增强方法。它对话语进行非确定性的标记化，以扩展标记的上下文并将其分布规则化，以便模型识别未见过的单词。它还减少了对最佳子词词汇量搜索的需求。该技术提供了一个稳定的改善定期和个性化（OOV导向）语音识别任务（至少6%的相对WER和25%的相对F分数），在没有额外的计算成本。由于使用BPE-dropout，我们的单语土耳其语Conformer建立了具有竞争力的结果，具有22.2%的字符错误率（CER）和38.9%的单词错误率（WER），接近最好的多语言系统。
2021-03-12 cs.CL cs.LG cs.SD
Multilingual acoustic word embedding models for processing zero-resource languages
Stellenbosch University（斯泰伦博斯大学）；University of Edinburgh（爱丁堡大学）
声学词嵌入是可变长度语音段的固定维表示。在未标记语音是唯一可用资源的设置中，这种嵌入可以用于“零资源”语音搜索、索引和发现系统。在这里，我们建议训练一个单一的监督嵌入模型标记的数据从多个资源丰富的语言，然后将其应用到看不见的零资源语言。对于这种迁移学习方法，我们考虑了两种多语言递归神经网络模型：一种是在所有训练语言的联合词汇上训练的判别分类器，另一种是训练用于重建单词对的对应自动编码器。我们使用六个目标零资源语言的单词歧视任务来测试这些。当在七种资源丰富的语言上训练时，两种模型的表现相似，并且优于在零资源语言上训练的无监督模型。在只有一种训练语言的情况下，第二种模型工作得更好，但性能更多地取决于特定的训练-测试语言对。
2020-02-21 cs.CL eess.AS
Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer
Google Inc.（谷歌公司）
我们研究训练端到端的语音识别模型与循环神经网络传感器（RNN-T）：一个流，全神经，序列到序列的架构，共同学习声学和语言模型组件从转录的声学数据。我们探讨了各种模型架构，并演示了如果有额外的文本或发音数据，如何进一步改进模型。该模型包括一个“编码器”，这是从一个连接的时间分类为基础的（CTC）的声学模型初始化，和一个“解码器”，这是部分初始化的循环神经网络语言模型训练的文本数据。整个神经网络使用RNN-T损失进行训练，并直接将识别的转录作为字素序列输出，从而执行端到端的语音识别。我们发现，性能可以进一步提高，通过使用子词单元（“词片”），捕捉更长的上下文，并显着减少替换错误。最好的RNN-T系统是一个十二层LSTM编码器，带有一个两层LSTM解码器，以30，000个单词作为输出目标，在语音搜索和语音听写任务中实现了8.5\%的单词出错率和5.2\%的单词错误率，与语音搜索和语音听写任务中8.3\%的最先进基线相当。
2018-01-02 cs.CL cs.SD eess.AS
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器，通过捕获噪声无关的表现力表征，在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
Multilingual Jointly Trained Acoustic and Written Word Embeddings
University of Chicago（芝加哥大学）；TTI-Chicago（芝加哥丰田技术研究院）
声学词嵌入（AWE）是口语词段的矢量表示。AWE可以与字符序列的嵌入联合学习，以生成书面单词的语音有意义的嵌入，或声学接地词嵌入（AGWE）。这样的嵌入已被用于改善语音检索、识别和口语术语发现。在这项工作中，我们将这个想法扩展到多种低资源语言。我们联合训练一个AWE模型和一个AGWE模型，使用来自多种语言的语音转录数据。然后，预训练的模型可以用于看不见的零资源语言，或者对来自低资源语言的数据进行微调。我们还研究了独特的功能，作为电话标签的替代品，以更好地共享跨语言信息。我们测试了我们的模型在12种语言的单词识别任务。当在11种语言上进行训练并在剩余的看不见的语言上进行测试时，我们的模型优于传统的无监督方法，如动态时间扭曲。在对来自新语言的一个小时甚至十分钟的数据进行预训练后，性能通常比只训练目标语言数据要好得多。我们还发现，语音监督提高性能的字符序列，和独特的功能监督是在处理看不见的电话在目标语言有帮助的。
2020-06-24 cs.CL cs.SD eess.AS
Multilingual transfer of acoustic word embeddings improves when training on languages related to the target zero-resource language
Stellenbosch University（斯泰伦博斯大学）
声学词嵌入模型将可变持续时间语音段映射到固定维度向量，从而实现高效的语音搜索和发现。以前的工作探讨了如何嵌入可以在零资源设置，没有标记的数据是可用的目标语言。目前最好的方法是使用迁移学习：使用来自多个资源丰富的语言的标记数据训练单个监督多语言模型，然后将其应用于目标零资源语言（无需微调）。然而，目前还不清楚训练语言的具体选择如何影响下游性能。具体地说，我们在这里问，使用与目标相关的培训语言是否有益。使用来自南部非洲11种语言的数据，我们尝试添加来自不同语系的数据，同时控制每种语言的数据量。在词的歧视和查询的例子搜索评估，我们表明，从同一个家庭的语言培训提供了很大的改善。通过更细粒度的分析，我们表明，即使只对一种相关语言进行训练，也能获得最大的收益。我们还发现，添加来自不相关语言的数据通常不会影响性能。
2021-06-24 cs.CL cs.SD eess.AS
Whole-Word Segmental Speech Recognition with Acoustic Word Embeddings
TTI-Chicago（芝加哥信息技术研究所）
分段模型是序列预测模型，其中假设的分数基于帧的整个可变长度段。我们认为分段模型的全字（“声学到字”）语音识别，使用向量嵌入段定义的特征向量。这样的模型在计算上是具有挑战性的，因为路径的数量与词汇量大小成比例，这可能比使用子字单元（如音素）时大几个数量级。我们描述了一种有效的方法，端到端的全词分段模型，与前向-后向和Viterbi解码上的GPU和一个简单的段评分功能，降低了空间的复杂性。此外，我们还研究了通过联合训练的声学词嵌入（AWE）和声学接地词嵌入（AGWE）的书面词标签进行预训练的使用。我们发现，字错误率可以通过使用AWE预训练声学段表示来大幅降低，并且可以通过使用AGWE预训练字预测层来获得额外的（较小的）增益。我们的最终模型比之前的A2 W模型有所改进。
2020-11-24 cs.CL cs.SD eess.AS
Evaluating the reliability of acoustic speech embeddings
ENS-PSL（巴黎高等师范学院-巴黎文理研究大学）；EHESS（法国高等社会科学研究院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
语音嵌入是可变长度语音序列的固定大小的声学表示。它们越来越多地用于各种任务，从信息检索到无监督术语发现和语音分割。然而，目前还没有明确的方法来以任务中立的方式比较或优化这些嵌入的质量。在这里，我们系统地比较了两个流行的指标，ABX歧视和平均精度（MAP），在5种语言的17种嵌入方法，从监督到完全无监督，并使用不同的损失函数（自动编码器，对应自动编码器，连体）。然后，我们使用ABX和MAP来预测一个新的下游任务的性能：在给定的语料库中的语音段的频率的无监督估计。我们发现，总体而言，ABX和MAP相互关联，并与频率估计。然而，在语言和/或嵌入方法之间的细粒度区分中出现了实质性的差异。这使得目前提出一种独立于任务的银弹方法来计算语音嵌入的内在质量是不现实的。有必要对目前用于评估这种嵌入的指标进行更详细的分析。
2020-11-06 cs.CL cs.LG cs.SD
