Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University（斯泰伦博斯大学）；The University of Edinburgh（爱丁堡大学）
对于我们提交的ZeroSpeech 2019挑战，我们将离散潜变量神经网络应用于未标记的语音，并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器（AE）架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时，单元发现从一个看不见的扬声器的语音进行，然后由一个已知的目标扬声器单元解码条件，以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化，分类变分自编码器（CatVAE），矢量量化的VAE（VQ-VAE）和直通估计进行了比较，在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码，VQ-VAE离散化，解卷积解码和FFTNet声码器。我们表明，解耦扬声器调节本质上提高了离散的声学表示，产生竞争力的合成质量相比，挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
Bayesian Models for Unit Discovery on a Very Low Resource Language
Brno University of Technology（布尔诺理工大学）；LIMSI（法国信息与自动化实验室）；CNRS（法国国家科学研究中心）；LIG（格勒诺布尔信息学实验室）；University of Illinois（伊利诺伊大学）；Centre for Language Studies, Radboud University（拉德堡德大学语言研究中心）；CoML（计算语言学实验室）；ENS（巴黎高等师范学院）；EHESS（法国高等社会科学研究院）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
在过去的十年里，为低资源语言开发语音技术已经成为一个非常活跃的研究领域。其中，贝叶斯模型在人工样本上显示出一些有希望的结果，但仍然缺乏现场实验。我们的工作适用于国家的最先进的贝叶斯模型，以无监督的声学单元发现（AUD）在一个真正的低资源的语言场景。我们还表明，贝叶斯模型可以自然地整合信息，从其他资源丰富的语言，通过信息的事先导致更一致的发现单位。最后，使用所发现的声学单元，作为1-最佳序列或作为网格，以执行分词。分词结果表明，这种贝叶斯方法明显优于Segmental-DTW基线相同的语料库。
2018-02-20 cs.CL
DiscoPhon: Benchmarking the Unsupervised Discovery of Phoneme Inventories With Discrete Speech Units
LSCP, ENS, EHESS, CNRS, PSL University, France（法国国家科学研究中心（CNRS）、巴黎高等师范学院（ENS）、高等科学研究所（EHESS）、巴黎社会科学大学（PSL University）和LSCP实验室）
DiscoPhon通过评估无监督音素发现方法，测试在未知语言中从离散语音单元生成音素库存的能力，提供四个预训练多语言模型基准，展示当前模型能有效关联语音单元与音素。
2026-09-25 cs.CL cs.SD eess.AS
An Empirical Evaluation of Zero Resource Acoustic Unit Discovery
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Chinese Academy of Sciences（中国科学院大学）；Amazon（亚马逊）；International Institute of Information Technology（国际信息技术学院）；Stanford University（斯坦福大学）；Brno University of Technology（布尔诺理工大学）
声学单元发现（AUD）是从语音中自动识别分类声学单元库存并产生相应声学单元标记的过程。AUD为零资源环境中的无监督声学模型训练提供了一条重要途径，在这种环境中，专家提供的语言知识和转录语音不可用。因此，为了进一步促进零资源AUD过程，在本文中，我们证明了声学特征表示可以通过以下方式显着改进：（i）以无监督的自训练方式执行线性判别分析（LDA），以及（ii）通过构建多语言瓶颈（BN）特征提取器来利用其他语言的资源，以提供有效的跨语言泛化。此外，我们对多个下游语音应用程序进行AUD功效的全面评估，其相关性能表明，AUD评估是可行的，使用不同的替代语言资源时，只有这些评估资源的一个子集可以在典型的零资源应用程序。
2017-02-05 cs.CL
Pushing the Limits of Unsupervised Unit Discovery for SSL Speech Representation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）
针对现有自监督语音表示学习中k-means聚类目标无法充分激发模型性能的问题，提出采用上下文无关/相关音素基单元的MonoBERT与PolyBERT无监督方法，在LibriSpeech基准上无需迭代重训练即超越多种SSL模型及用标注数据优化目标的模型。
2023-06-15 cs.CL cs.SD eess.AS
An Iterative Deep Learning Framework for Unsupervised Discovery of Speech Features and Linguistic Units with Applications on Spoken Term Detection
National Taiwan University（台湾大学）
在这项工作中，我们的目标是发现高质量的语音特征和语言单位直接从无标记的语音数据在零资源的情况下。使用Interspeech 2015组织的零资源语音挑战中提出的指标和语料库对结果进行评估。提出了一种多层声学标记器（MAT），用于从给定的语料库中自动发现多组声学标记。每个声学标记集由描述模型配置的一组超参数指定。这些声学标记集携带了语料库和语言的不同特征，因此可以相互加强。然后，将多组标记标签用作在低级声学特征上训练的多目标深度神经网络（MDNN）的目标。从MDNN中提取的瓶颈特征然后在下一次迭代中用作MAT和MDNN本身的反馈输入。我们将这种迭代深度学习框架称为多层声学标记化深度神经网络（MAT-DNN），它为挑战赛的轨道1生成高质量的语音特征，并为挑战赛的轨道2生成声学标记。此外，我们在相同的语料库上进行了额外的实验，以应用于按实例查询的口语术语检测。实验结果表明，MAT-DNN的迭代深度学习框架由于更好的底层语音特征和声学标记而提高了检测性能。
2016-02-01 cs.CL cs.LG
Vector-quantized neural networks for acoustic unit discovery in the ZeroSpeech 2020 challenge
Stellenbosch University（斯泰伦博斯大学）
在本文中，我们探讨矢量量化的声学单位发现。利用未标记的数据，我们的目标是学习语音的离散表示，将语音内容与特定于说话者的细节分开。我们提出了两种神经模型来应对这一挑战-都使用矢量量化来将连续特征映射到有限的代码集。第一种模型是一种矢量量化变分自编码器（VQ-VAE）。VQ-VAE在重构音频波形之前将语音编码成离散单元的序列。我们的第二个模型结合了矢量量化与对比预测编码（VQ-CPC）。这个想法是通过预测未来的声学单元来学习语音的表示。我们在英语和印度尼西亚语数据上评估了ZeroSpeech 2020挑战的模型。在ABX手机识别测试中，这两款机型的表现都超过了2019年和2020年挑战赛的所有参赛作品，相对提高了30%以上。这些模型在下游语音转换任务上也具有竞争力。两者中，VQ-CPC总体上表现稍好，训练更简单、更快。最后，探测实验表明，矢量量化是一个有效的瓶颈，迫使模型丢弃说话人信息。
2020-08-19 cs.CL eess.AS
A Multi-layered Acoustic Tokenizing Deep Neural Network (MAT-DNN) for Unsupervised Discovery of Linguistic Units and Generation of High Quality Features
National Taiwan University（台湾大学）
本文总结了作者为Interspeech 2015技术计划中组织的零资源语音挑战所做的工作。挑战的目标是直接从未标记的语音数据中发现语言单位。在这项工作中提出的多层声学标记器（MAT）自动发现多组声学标记从给定的语料库。每个声学标记集由描述模型配置的一组超参数指定。这些声学标记集携带给定语料库的不同特征，因此可以相互加强背后的语言。然后，将多组标记标签用作在低级声学特征上训练的多目标DNN（MDNN）的目标。从MDNN中提取的瓶颈特征被用作MAT和MDNN本身的反馈。我们将该迭代系统称为多层声学标记化深度神经网络（MAT-DNN），其为挑战的轨道1生成高质量特征，并为挑战的轨道2生成声学标记。
2015-06-07 cs.CL cs.LG cs.NE
Self-supervised speech unit discovery from articulatory and acoustic features using VQ-VAE
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）
通常假设人类感知系统在处理听觉语音输入时会招募运动知识。使用发音建模和深度学习，这项研究探讨了如何在自我监督的环境中使用这种发音信息来发现语音单元。我们使用矢量量化的变分自编码器（VQ-VAE）从发音和声学语音数据中学习离散表示。与零资源范式，ABX测试，然后被用来调查如何提取的表征编码语音相关的属性。实验在三个不同的英语和法语语料库上进行。我们发现，发音的信息，而组织的潜在表示的发音的地方，而语音声学主要结构的潜在空间的发音方式。我们发现，这两种方式的最佳融合可以导致这些语音维度的联合表示比单独考虑每个模态更准确。由于发音信息通常是不可用的，在实际情况下，我们最后调查的好处，它提供了一个自我监督的方式从语音声学推断时。
2022-06-17 cs.CL
Empirical Evaluation of Sequence-to-Sequence Models for Word Discovery in Low-resource Settings
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)（格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；Institute of Informatics, Federal University of Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）
自Bahdanau等人[1]首次引入神经机器翻译的注意力以来，大多数序列到序列模型都使用了注意力机制[2，3，4]。虽然它们产生的软对齐矩阵可以被解释为目标语言和源语言之间的对齐，但我们缺乏量化其质量的指标，不清楚哪种方法产生最佳对齐。本文提出了一个经验评估的3个主要的序列到序列模型（CNN，RNN和基于Transformer-based）的单词发现从未分割的音素序列。该任务包括将源语言中的单词序列与目标语言中的音素序列进行比对，并从中推断目标侧的分词[5]。评估分词质量可以被看作是对训练期间产生的软对齐矩阵的外部评估。我们在Mboshi和英语语言（都与法语对齐）的低资源场景中的实验表明，RNN在这项任务中的表现出人意料地优于CNN和Transformer。我们的研究结果证实了通过使用平均归一化熵（ANE）的内在评价对齐质量。最后，我们通过使用对齐熵置信度度量来改进我们的最佳单词发现模型，该度量在集合中给定对齐对的所有出现上累积ANE。
2019-09-11 cs.CL
Multiple Range-Restricted Bidirectional Gated Recurrent Units with Attention for Relation Classification
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
大多数神经网络的关系分类方法都集中在使用卷积神经网络（CNN）来寻找表示语义关系的短模式，并且这些方法通常比使用递归神经网络（RNN）获得更好的性能。在与CNN模型类似的直觉中，我们提出了一种新的基于RNN的模型，该模型使用多个范围限制的双向层和对关系分类的关注，只关注句子的重要部分。SemEval-2010关系分类任务的实验结果表明，我们的模型与使用额外语言信息的最先进的基于CNN和基于RNN的模型相当。
2017-11-01 cs.CL
VQVAE Unsupervised Unit Discovery and Multi-scale Code2Spec Inverter for Zerospeech Challenge 2019
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所先进智能项目中心）；National University of Singapore（新加坡国立大学）
我们描述了我们为2019年零语音挑战赛提交的系统。当前的挑战主题解决了在没有任何文本或语音标签的情况下构建语音合成器的困难，并且需要能够（1）以无监督的方式发现子字单元，以及（2）将语音与目标说话者的声音合成的系统。此外，该系统还应该平衡区分分数ABX，比特率压缩率，以及所构建的语音的自然度和可懂度。为了解决这些问题，并实现最佳的权衡，我们利用矢量量化的变分自编码器（VQ-VAE）和多尺度码本频谱（Code 2Spec）逆变器训练的均方误差和对抗损失。VQ-VAE将语音提取到一个潜在空间，强迫自己将其映射到最近的码本中，并产生压缩表示。接下来，给定来自VQ-VAE的码本向量，反相器生成目标语音的幅度谱图。在我们的实验中，我们还研究了其他几种聚类算法，包括K-Means和GMM，并将它们与ABX分数和比特率的VQ-VAE结果进行了比较。与官方ZeroSpeech 2019基线甚至背线相比，我们提出的方法显着提高了可懂度（CER），MOS和辨别力ABX分数。
2019-05-29 cs.CL cs.LG cs.SD
Fast ASR-free and almost zero-resource keyword spotting using DTW and CNNs for humanitarian monitoring
Stellenbosch University（斯泰伦博斯大学）；UN Global Pulse（联合国全球脉动）
我们使用动态时间规整（DTW）作为监督训练的卷积神经网络（CNN）的关键字发现系统使用一个小的口语孤立的关键字。其目的是允许快速部署一个新语言的关键词识别系统，以支持联合国在非洲部分地区的紧急救济方案，这些地区的语言资源极其不足，而且开发注释语音资源是不可行的。首先，我们使用1920个记录的关键字（40个关键字类型，34分钟的讲话）作为范例，在DTW为基础的模板匹配系统，并将其应用到未转录的广播讲话。然后，我们使用得到的DTW分数作为目标，在相同的未标记的语音上训练CNN。通过这种方式，我们只使用了34分钟的标记语音，但利用了大量未标记的数据进行训练。虽然所得到的CNN关键字识别器无法与基于DTW的系统的性能相匹配，但它的性能大大优于仅在关键字上训练的CNN分类器，将ROC曲线下面积从0.54提高到0.64。因为我们的CNN系统在运行时比DTW系统快几个数量级，所以它代表了这个极其有限的数据集上最可行的关键字发现器。
2018-06-25 cs.CL
Toward a Knowledge Discovery Framework for Data Science Job Market in the United States
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
数据科学领域的发展需要更好的工具来理解这样一个快速增长的领域。此外，来自不同背景的人开始对数据科学家的职业感兴趣。因此，为个人和组织了解就业市场所需的技能提供量化指导至关重要。本文介绍了一个分析美国数据科学相关工作的就业市场的框架，同时提供了一个访问该市场见解的界面。拟议的框架包括三个子模块，允许连续的数据汇集，信息抽取，和基于Web的仪表板可视化调查的空间和时间分布的数据科学相关的工作和技能。这项工作的结果显示了数据科学工作的主要分支的重要技能，并试图为这些数据科学分支提供基于技能的定义。该应用程序的当前版本部署在Web上，允许个人和机构通过行业镜头调查数据科学职位所需的技能。
2021-07-20 cs.CL cs.CY
MauBERT: Universal Phonetic Inductive Biases for Few-Shot Acoustic Units Discovery
ENS, PSL Research University, EHESS, CNRS, Paris, France（巴黎高等师范学院，PSL研究大学，法国社会科学高等研究院，法国国家科学研究中心，法国巴黎）；Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, Grenoble, France（格勒诺布尔-阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院，GIPSA-lab，法国格勒诺布尔）；Meta AI Research, France（Meta AI研究，法国）
MauBERT通过多语言数据学习语音到发音特征的映射，实现跨语言语音表示学习，提升模型在少样本下的语音单元发现能力。
2026-08-26 cs.CL eess.AS
Unsupervised Acoustic Unit Discovery by Leveraging a Language-Independent Subword Discriminative Feature Representation
Delft University of Technology（代尔夫特理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文解决了自动发现类音素声学单元（AUD）从未标记的语音数据。过去的研究通常提出一步的方法。我们提出了一个两阶段的方法：第一阶段学习一个子字判别特征表示和第二阶段适用于聚类学习表示，并获得类似电话的集群作为发现的声学单元。在第一阶段，最近提出的方法在无监督子词建模的任务进行了改进，取代单语的域外（OOD）ASR系统与多语言的一个创建一个子词判别表示，是更独立的语言。在第二阶段，采用段级k均值，并比较了两种方法来表示的可变长度的语音段作为固定维度的特征向量。在一个资源非常有限的Mboshi语言语料库上的实验表明，该方法在归一化互信息（NMI）和F分数方面都优于最先进的AUD。多语言ASR在提供OOD电话标签和估计电话边界方面优于单语言ASR。我们的系统与不知道地面实况电话边界的比较显示了16%的NMI性能差距，这表明当前的方法可以从改进的电话边界估计中显着受益。
2021-06-07 cs.CL cs.SD eess.AS
Interpreting intermediate convolutional layers of generative CNNs trained on waveforms
University of California, Berkeley（加州大学伯克利分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种以无监督方式在原始语音数据上训练的生成CNN中解释和可视化中间层的技术。我们认为，在每个转置卷积层中的ReLU激活后，对特征图进行平均会产生可解释的时间序列数据。这种技术允许对中间层进行声学分析，这与人类语音数据的声学分析相似：我们可以从中间层提取F0，强度，持续时间，共振峰和其他声学属性，以测试CNN在哪里以及如何编码各种类型的信息。我们进一步将这种技术与模型潜在空间的线性插值相结合，以显示潜在空间中的个体变量与模型中间卷积层中的激活之间的因果关系。特别是，观察线性插值和中间层中所产生的变化之间的因果关系，可以揭示个体潜变量如何转化为中间层中激活的峰值。我们训练和探测两个模型的内部表示-一个裸WaveGAN架构和一个ciwGAN扩展，它迫使生成器输出信息丰富的数据，并导致出现语言上有意义的表示。解释和可视化的语音的三个基本的声学特性：周期性振动（对应于元音），非周期性噪声振动（对应于摩擦音），和沉默（对应于停止）。该提案还允许测试更高层次的形态音位变化，如重叠（复制）。简而言之，使用所提出的技术，我们可以分析语音中有语言意义的单元如何在生成神经网络的每个卷积层中编码。
2022-09-09 cs.AI cs.CL cs.SD
Variable-rate hierarchical CPC leads to acoustic unit discovery in speech
University of Wrocław（弗罗茨瓦夫大学）；Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；NVIDIA（英伟达）；Pathway
深度学习的成功来自于它通过学习根据低级表示定义的高级表示来捕获数据的层次结构的能力。在本文中，我们探讨了自监督学习的分层表示的语音应用多层次的对比预测编码（CPC）。我们观察到，简单地堆叠两个CPC模型不会产生显着的改进，单级架构。受语音通常被描述为时间上不均匀分布的离散单元序列这一事实的启发，我们提出了一种模型，在该模型中，低级别CPC模块的输出被非均匀下采样，以直接最小化高级别CPC模块的损失。后者的目的也是通过集中负采样和量化的预测目标，通过强制执行连续的高级表示的相异性，在其表示的可分性和离散性的先验。考虑到语音信号的结构，改进了单级CPC特征，并增强了所学习的表示的解纠缠，如由下游语音识别任务所测量的，同时导致信号的有意义的分段，其非常类似于音素边界。
2022-12-04 cs.AI cs.CL cs.LG
Word Segmentation on Discovered Phone Units with Dynamic Programming and Self-Supervised Scoring
Stellenbosch University（斯泰伦博斯大学）
最近的无监督语音分割工作使用了自监督模型，其中包含联合训练的电话和分词模块。相反，本文重新审视了一个旧的方法，分词：自下而上的电话样单位的发现是第一次，符号分词，然后在发现的单位（不影响较低的水平）。为此，我提出了一个新的单元发现模型，一个新的符号分词模型，然后链接这两个模型来分割语音。这两种模型都使用动态规划来最小化来自自我监督网络的分段成本，并具有鼓励更长单位的额外持续时间惩罚。具体地，对于声学单元发现，使用持续时间惩罚动态规划（DPDP）与对比预测编码模型作为评分网络。对于分词，DPDP与作为评分网络的自编码递归神经一起应用。这两个模型被链接以分割语音。这种方法提供了可比的分词结果，以最先进的联合自监督分割模型的英语基准。在法语、普通话、德语和沃洛夫语数据上，它在ZeroSpeech基准测试中的表现优于以前的系统。分析表明，链式DPDP系统分割较短的填充字，但较长的字可能需要一些外部自顶向下的信号。
2023-01-09 cs.CL cs.SD eess.AS
A Nonparametric Bayesian Approach for Spoken Term detection by Example Query
College of Engineering, Temple University（天普大学工程学院）
现有技术的语音识别系统使用数据密集的上下文相关音素作为声学单元。然而，这些方法不能很好地转换到资源较少的语言，在这些语言中，大量的训练数据不可用。对于这样的语言，声学单位的自动发现是至关重要的。在本文中，我们展示了应用非参数贝叶斯模型的声学单元发现。我们发现，所发现的单位与音素，因此是有意义的语言。我们还提出了一个口语术语检测（STD）的例子查询算法的基础上，这些自动学习的单位。我们表明，我们提出的系统在TIMIT数据集上产生了61.2%的P@N和13.95%的EER。EER的改善为5%，而P@N仅略低于文献中报道的最佳系统。
2016-06-20 cs.CL
Automatic Discovery of Non-Compositional Compounds in Parallel Data
将文本自动分割成最小的内容承载单元是一个尚未解决的问题，即使对于英语这样的语言也是如此。单词之间的空格提供了一个简单的第一近似，但这种近似对于机器翻译（MT）来说还不够好，因为许多单词序列不是逐字翻译的。本文提出了一种有效的自动方法来发现作为一个单位翻译的单词序列。该方法通过比较从两种语言的平行文本中导出的统计翻译模型对来进行。它可以在每次迭代中发现数百个非合成化合物，并从较短的化合物中构造出较长的化合物。对一个简单机械翻译任务的客观评价表明，该方法对提高机器翻译输出质量具有潜力。该方法对数据的假设很少，因此可以应用于并行文本以外的并行数据，如单词拼写和发音。
1997-06-24 cmp-lg cs.CL
SJTU-NLP at SemEval-2018 Task 9: Neural Hypernym Discovery with Term Embeddings
Shanghai Jiao Tong University（上海交通大学）；Huazhong University of Science and Technology（华中科技大学）
本文描述了我们参与SemEval-2018任务9的上位词发现系统，该系统旨在发现输入概念或实体的最佳（一组）候选上位词，给定预定义词汇的搜索空间。我们介绍了一个神经网络架构的有关任务，并实证研究各种神经网络模型，以建立潜在空间的单词和短语的表示。评价模型包括卷积神经网络、长短期记忆网络、门控递归单元和递归卷积神经网络。我们还探索了不同的嵌入方法，包括词嵌入和意义嵌入，以获得更好的性能。
2018-05-26 cs.CL
Self-Supervised Syllable Discovery Based on Speaker-Disentangled HuBERT
Tokyo Institute of Technology（东京工业大学）
针对SD-HuBERT中CLS token聚合的信息更偏向说话人身份而非语言内容的问题，提出引入说话人扰动增强、采用帧级目标的自监督微调方法，在Librispeech上多数音节相关指标优于SOTA。
2024-09-16 cs.CL cs.SD eess.AS
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong（香港中文大学）
本文研究了零资源环境下的自动语音识别（ASR）的无监督声学建模（UAM）问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要，而且对于许多非主流应用也至关重要，例如语言保护，语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本（子字级）语音单元的无监督发现。在零资源条件下，可以仅从声学信号推断语音单元，而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲，需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的，并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Revisiting Lexicon Evaluation in Unsupervised Word Discovery
Google Africa PhD Fellowship（谷歌非洲博士 fellowship）；South African National Research Foundation（南非国家研究基金会）
针对无监督词汇发现中常用评估指标（归一化编辑距离）偏向大簇质量且忽略真实类别分布的问题，提出两种新指标：修正的簇内一致性指标和逆分布指标，通过实验证明其与真实分布更相关且更鲁棒。
2026-09-22 cs.CL eess.AS
