Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（科大讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种分离引导的说话人日志化（SGSD）方法，充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化（CSD）方法不能很好地处理重叠的语音段，我们调查，在这项研究中，基于分离的说话人日记化（SSD），它固有的潜力，以处理说话人重叠区域。我们的初步分析表明，最先进的基于Conv-TasNet的语音分离，这是相当不错的模拟数据，是不稳定的，在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时，基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言，几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音（CTS）数据上的实验表明，所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能，产生的相对日记错误率降低20.2%和20.8%的开发集和评估集，分别。
2021-07-06 cs.SD eess.AS
Integrating end-to-end neural and clustering-based diarization: Getting the best of both worlds
NTT Corporation（日本电报电话公司）
最近的日志化技术可以分为两种方法，即，聚类和端到端神经方法，它们有不同的优点和缺点。基于聚类的方法通过聚类说话人嵌入（如x向量）来为语音区域分配说话人标签。虽然它可以被视为当前最先进的方法，以合理的鲁棒性和准确性适用于各种具有挑战性的数据，但它具有一个关键的缺点，即它不能处理自然对话数据中不可避免的重叠语音。相反，端到端神经日志化（EEND），它直接预测日志标签使用神经网络，被设计来处理重叠的语音。虽然可以很容易地结合新兴深度学习技术的EEND已经开始在一些现实数据库中优于x向量聚类方法，但很难使其适用于“长”记录（例如，超过10分钟的记录），例如，巨大的内存消耗。逐块独立处理也是困难的，因为它提出了块间标签置换问题，即，块之间的说话者标签分配的模糊性。在本文中，我们提出了一个简单但有效的混合日记框架，工作重叠的语音和长录音包含任意数量的扬声器。它修改了传统的EEND框架，以同时输出全局说话人嵌入，以便可以跨块执行说话人聚类，以解决排列问题。基于模拟嘈杂的混响2扬声器会议类数据的实验，我们表明，所提出的框架的效果显着优于原来的EEND，特别是当输入数据很长。
2021-02-05 cs.SD eess.AS stat.ML
Joint Training of Speaker Embedding Extractor, Speech and Overlap Detection for Diarization
Brno University of Technology（布尔诺理工大学）；NTT Corporation（NTT公司）
提出联合训练模型同时输出说话人嵌入、VAD和OSD，以低推理时间达到竞争性能，简化流水线，迈向端到端聚类方法。
2024-11-04 cs.SD eess.AS
An Experimental Review of Speaker Diarization methods with application to Two-Speaker Conversational Telephone Speech recordings
Università Politecnica delle Marche（马尔凯理工大学）；PerVoice S.p.A.（PerVoice公司）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文实验比较了八种电话语音说话人分离算法，发现EEND-VC在计算效率与准确率间权衡最佳，而聚类方法更稳定但计算较重，SSGD计算成本最高且对数据匹配敏感。
2023-05-29 cs.SD eess.AS eess.SP
Robust Speaker Clustering using Mixtures of von Mises-Fisher Distributions for Naturalistic Audio Streams
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
发言人日记（即确定谁发言以及何时发言？）对于多发言人自然交互，例如同伴领导的团队学习（PLTL）会话，是一项具有挑战性的任务。在这项研究中，我们提出了强大的说话人聚类的基础上混合的多元冯Mises-Fisher分布。我们的日记流水线有两个阶段：（i）地面实况分割;（ii）提出的扬声器聚类。地面实况语音活动信息用于从每个语音段提取i向量。我们使用主成分分析对i-Vectors进行后处理，以进行降维，然后进行长度归一化。归一化i向量是具有区分性方向特征的高维单位向量。我们使用由多变量von Mises-Fisher分布组成的混合模型对归一化i-向量进行建模。采用余弦距离的K均值聚类作为基线方法。评估数据来自：（i）CRSS-PLTL语料库;和（ii）AMI语料库的三次会议子集。CRSSPLTL数据包含PLTL课程的录音，这是学生主导的STEM教育范式。提出的方法始终优于基线，导致PLTL和AMI语料库的相对改善分别高达44.48%和53.68%。索引术语：扬声器聚类，von Mises-Fisher分布，同行领导的团队学习，i-Vector，自然主义音频。
2018-08-18 cs.SD eess.AS
Multi-channel Speech Separation Using Deep Embedding Model with Multilayer Bootstrap Networks
1 Center for Intelligent Acoustics；School of Marine Science；Technology, Northwestern Polytechnical University, China 2 Research \& Development Institute of Northwestern Polytechnical University in Shenzhen, China
近年来，基于深度聚类的非特定人语音分离技术由于不需要说话人先验信息而受到广泛关注。然而，它仍有很大的改进空间，特别是在混响环境中。如果训练环境和测试环境不匹配（这是常见的情况），则由DPCL产生的嵌入向量可能包含大量噪声和许多小的变化。针对这一问题，本文提出了一种基于多层引导网络（MBN）的无监督深度学习算法DPCL++，该算法在测试阶段采用无监督的方式进一步降低嵌入向量的噪声和微小变化，使k-means算法得到了较好的效果。MBN通过一堆k-质心聚类集合自下而上构建一个逐渐变窄的网络，其中k-质心聚类集合通过随机抽样和最近邻优化独立训练。为了进一步提高DPCL++在混响环境中的鲁棒性，我们将空间特征作为其输入的一部分。通过仿真和实测数据处理验证了所提方法的有效性。
2019-10-24 cs.LG cs.SD eess.AS
Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation
Microsoft Research（微软研究院）；Aalborg University（奥尔堡大学）
我们提出了一种新的深度学习模型，它支持排列不变训练（PIT），用于说话人无关的多说话人语音分离，通常称为鸡尾酒会问题。与将语音分离视为多类回归问题的大多数现有技术以及将其视为分割（或聚类）问题的深度聚类技术不同，我们的模型优化了分离回归误差，忽略了混合源的顺序。该策略巧妙地解决了长期存在的标签排列问题，该问题阻碍了基于深度学习的语音分离技术的进展。在丹麦语语料库上的等能量混合实验证实了PIT的有效性。我们相信，基于PIT的改进最终可以解决鸡尾酒会问题，并使现实世界能够采用，例如，自动会议转录和多方人机交互，其中重叠语音是常见的。
2017-01-03 cs.CL cs.LG cs.SD
Spatial and spectral deep attention fusion for multi-channel speech separation using deep embedding features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
多通道深度聚类（MDC）在语音分离中取得了良好的性能。然而，MDC仅将空间特征作为附加信息来应用。因此，很难了解空间和光谱特征之间的相互关系。此外，MDC的训练目标被定义为嵌入向量，而不是真正的分离源，这可能会损害分离性能。在这项工作中，我们提出了一种深度注意力融合方法来动态控制光谱和空间特征的权重，并将它们深度结合起来。另外，为了解决MDC的训练目标问题，采用真实分离源作为训练目标。具体来说，我们应用深度聚类网络来提取深度嵌入特征。代替使用无监督的K-means聚类来估计二进制掩码，使用另一个监督网络来从这些深度嵌入特征中学习软掩码。我们的实验是在WSJ 0 - 2 mix数据集的空间化混响版本上进行的。实验结果表明，该方法优于MDC基线，甚至优于Oracle理想二进制掩码（IBM）。
2020-02-05 cs.LG cs.SD eess.AS
On permutation invariant training for speech source separation
Dolby Laboratories（杜比实验室）
针对说话人无关声源分离模型的排列模糊问题，研究了排列不变训练（PIT）。我们扩展了两种最先进的PIT策略。首先，我们研究了基于帧级PIT（tPIT）和聚类的两阶段说话人分离和跟踪算法，该算法最初是针对STFT域提出的，我们将其调整为与波形和学习的潜在空间一起工作。此外，我们提出了一个有效的聚类损失可扩展到波形模型。其次，我们扩展了最近提出的辅助扬声器ID损失与深特征损失的基础上“问题不可知的语音特征”，以减少本地置换错误的话语级PIT（uPIT）。我们的研究结果表明，所提出的扩展有助于减少置换歧义。然而，我们也注意到，所研究的基于STFT的模型在减少排列错误方面比基于波形的模型更有效，这是最近研究中忽略的一个观点。
2021-04-05 cs.AI cs.SD eess.AS
NBC2: Multichannel Speech Separation with Revised Narrow-band Conformer
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
本文提出了一种多通道窄带语音分离网络。在短时傅立叶变换（STFT）域中，所提出的网络独立地处理每个频率，并且所有频率使用共享网络。对于每个频率，网络执行端到端语音分离，即将麦克风信号的STFT系数作为输入，并预测多个扬声器的分离的STFT系数。所提出的网络学习聚类属于不同扬声器的逐帧空间/导向向量。它主要由三部分组成。第一，自我关注网络。空间向量的聚类与自注意力机制在计算向量的相似性然后聚集相似向量的意义上共享类似的原理。第二，卷积前馈网络。卷积层用于信号平滑和混响处理。第三，一种新的隐藏层归一化方法，即组批量归一化（GBN），是专门设计的窄带网络，以保持隐藏单元的频率分布。总的来说，建议的网络被命名为NBC 2，因为它是我们以前的NBC（窄带构象）网络的修订版本。实验表明，1）所提出的网络大大优于其他最先进的方法，2）所提出的GBN相对于其他归一化方法（例如批/层/组归一化）将信号失真比提高了3dB，3）所提出的窄带网络是频谱不可知的，因为它不学习频谱模式，以及4）所提出的网络确实正在执行帧聚类（由注意力图证明）。
2022-12-05 cs.SD eess.AS
End-to-End Speaker Diarization Conditioned on Speech Activity and Overlap Detection
Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）
在本文中，我们提出了一个有条件的多任务学习方法的端到端神经说话人日记（EEND）。与传统的基于聚类的方法相比，EEND系统表现出良好的性能，特别是在重叠语音的情况下。在本文中，为了进一步提高EEND系统的性能，我们提出了一种新的多任务学习框架，解决了扬声器日记和所需的子任务，同时明确考虑任务依赖。我们优化说话人日记的条件下，语音活动和重叠检测的子任务的说话人日记，基于概率链规则。实验结果表明，我们提出的方法可以利用一个子任务来有效地建模说话人日记，并优于传统的EEND系统的日记错误率。
2021-06-08 cs.SD eess.AS
Deep neural network Based Low-latency Speech Separation with Asymmetric analysis-Synthesis Window Pair
Tampere University（坦佩雷大学）
通过短对称窗口计算的时频掩蔽或频谱预测通常用于基于低延迟深度神经网络（DNN）的源分离。在本文中，我们提出了一个不对称的分析合成窗口对，它允许训练与目标具有更好的频率分辨率，同时保留低延迟推理适合实时语音增强或辅助听力应用。为了在各种模型类型和数据集上评估我们的方法，我们使用与说话者无关的深度聚类（DC）模型和与说话者相关的掩码推理（MI）模型对其进行评估。我们报告了高达1.5 dB的源失真比（SDR）方面的分离性能的改善，同时保持8 ms的算法延迟。
2021-06-22 cs.SD eess.AS
Online Binaural Speech Separation of Moving Speakers With a Wavesplit Network
Columbia University（哥伦比亚大学）
真实世界场景中的双耳语音分离通常涉及移动扬声器。当前的语音分离方法大多使用话语级排列不变训练（u-PIT）进行训练。然而，在推理时间中，输出的顺序可能随着时间的推移而不一致，特别是在长形式语音分离中。当扬声器在空间中不断移动时，这种被称为扬声器交换问题的情况甚至更成问题，因此对输出声道中扬声器的一致放置提出了挑战。在这里，我们描述了一个实时双耳语音分离模型的基础上Wavesplit网络，以减轻扬声器交换问题的移动扬声器分离。我们的模型从混合音频中计算每个时间帧的每个扬声器的扬声器嵌入，使用在线聚类聚合嵌入，并使用聚类质心作为扬声器配置文件来跟踪每个扬声器。混响，长形式的移动多说话人语音分离的实验结果表明，该方法是不太容易说话人交换，并实现与基于u-PIT模型与地面真值跟踪在分离精度和保留耳间线索的性能相当。
2023-03-13 cs.SD eess.AS
Discriminative Learning for Monaural Speech Separation Using Deep Embedding Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
深度聚类（DC）和话语级排列不变训练（uPIT）已被证明有希望用于说话者无关的语音分离。DC通常被表述为两步过程：嵌入学习和嵌入聚类，这导致复杂的分离管道和直接优化实际分离目标的巨大障碍。对于uPIT，它只最小化所选的具有最小均方误差的排列，而不将其与其他排列区分开。在本文中，我们提出了一种使用深度嵌入特征的非特定人语音分离的判别学习方法。首先，训练DC网络提取深嵌入特征，这些特征包含每个源的信息，并且在区分每个目标说话人方面具有优势。然后，这些特征被用作uPIT的输入以直接分离不同源。最后，联合训练uPIT和DC，直接优化实际分离目标。此外，为了最大化每个排列的距离，应用判别学习来微调整个模型。我们的实验是在WSJ 0 - 2 mix数据集上进行的。实验结果表明，本文提出的模型在非特定人语音分离中取得了比DC和uPIT更好的性能。
2019-07-23 cs.LG cs.SD eess.AS
Onssen: an open-source speech separation and enhancement library
City University of New York（纽约城市大学）
语音分离是多说话人语音识别的一项重要任务。最近提出了许多深度学习方法，并不断刷新最先进的性能。算法实现的缺乏限制了研究人员使用相同的数据集进行比较。构建一个通用平台可以使研究人员受益，因为它可以轻松地实现新的分离算法，并将其与定制数据集上的现有算法进行比较。我们介绍“onssen”：一个开源的语音分离和增强库。Onssen是一个主要用于深度学习分离和增强算法的库。它使用LibRosa和NumPy库进行特征提取，PyTorch作为模型训练的后端。onssen支持大多数基于时频掩码的分离算法（例如，深度聚类、chimera net、chimera++等），也支持自定义数据集。在本文中，我们描述了Onssen模块的功能，并显示Onssen实现的算法达到了与原始论文中报告的相同的性能。
2019-11-03 cs.SD eess.AS
Multimodal Clustering with Role Induced Constraints for Speaker Diarization
University of Southern California（南加州大学）
说话人聚类是传统说话人日志化系统中的一个重要步骤，通常被视为纯音频语音处理任务。然而，参与者在对话中使用的语言携带了可以帮助提高聚类性能的附加信息。这在会话互动中尤其如此，例如商务会议，面试和讲座，其中对话者（经理，客户，教师等）承担的特定角色。通常与可区分的语言模式有关。在本文中，我们建议采用一个监督的基于文本的模型来提取扬声器的角色，然后使用这些信息来指导基于音频的谱聚类步骤，通过施加必须链接和不能链接段之间的约束。所提出的方法被应用在两个不同的领域，即医疗互动和播客节目，并产生改进的结果相比，只有音频的方法。
2022-07-11 cs.SD eess.AS
NEST: Self-supervised Fast Conformer as All-purpose Seasoning to Speech Processing Tasks
NVIDIA（英伟达）
提出NEST，一种基于FastConformer的高效自监督语音学习框架，采用固定随机投影和噪声增强，在多项语音任务上达到最先进性能。
2025-01-18 cs.SD eess.AS
Incorporating Spatial Cues in Modular Speaker Diarization for Multi-channel Multi-party Meetings
University of Science and Technology of China (USTC)（中国科学技术大学）；iFlytek Research（讯飞研究院）
本文提出一种三阶段模块化说话人日志系统，利用多通道语音空间线索为NSD解码各阶段提供准确初始化，在CHiME-8 NOTSOFAR-1挑战赛中获第一名并提升了识别性能。
2024-09-25 cs.SD eess.AS
Efficient Integration of Multi-channel Information for Speaker-independent Speech Separation
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；InstaDeep
尽管基于深度学习的方法在过去几年中显著提高了语音分离的性能，但如何整合多通道信号进行语音分离仍然是一个悬而未决的问题。本文提出了两种基于时域音频分离网络的多通道信息融合方法，即早期融合和后期融合方法，该方法在单通道语音分离中已被证明是有效的。我们还提出了通道顺序迁移学习，这是一种迁移学习框架，它将为低通道网络训练的参数作为高通道网络的初始值。为了公平比较，我们使用开源的wsj 0 - 2 mix数据集的空间化版本评估了我们提出的方法。结果发现，我们提出的方法可以优于多通道深度聚类，并与麦克风数量成比例地提高性能。实验还证明，无论扬声器之间的角度差如何，后期融合方法的性能始终高于单通道方法。
2020-08-11 cs.SD eess.AS
Speaker Diarization with Lexical Information
University of Southern California（南加州大学）；JD AI Research（京东人工智能研究院）
本文提出了一种利用自动语音识别提供的词汇信息进行说话人日志化的新方法。我们提出了一个说话人日记系统，可以将单词级说话人转向概率与说话人嵌入到说话人聚类过程中，以提高整体日记的准确性。为了在聚类过程中全面地整合词汇和声学信息，我们引入了一种邻接矩阵整合的谱聚类方法。由于单词和单词边界信息的单词级说话人转向概率估计提供的语音识别系统，我们提出的方法的工作原理，没有任何人为干预的手动transmittance。我们表明，所提出的方法提高了各种评估数据集上的日志化性能相比，基线日志化系统只使用声学信息在扬声器嵌入。
2020-04-13 cs.CL cs.SD eess.AS
Multi-channel Narrow-band Deep Speech Separation with Full-band Permutation Invariant Training
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
本文研究了基于深度学习技术的多通道多语音分离问题。在短时傅立叶变换域，提出了一种端到端的窄带网络，它直接将一个频率的多路混合信号作为输入，输出该频率的分离信号。在窄带中，空间信息（或声道间差异）可以很好地区分不同位置的说话者。该信息被广泛用于许多窄带语音分离方法中，例如空间矢量的波束形成和聚类。所提出的网络被训练来学习规则，以自动利用这些信息并执行语音分离。这样的规则应该对任何频率都有效，因此网络由所有频率共享。此外，提出了一种全频带置换不变训练准则，解决了大多数窄带方法遇到的频率置换问题。实验表明，该方法通过对窄带信息的深度学习，性能优于oracle波束形成方法和基于深度学习的方法。
2022-04-12 cs.SD eess.AS
Robust End-to-end Speaker Diarization with Generic Neural Clustering
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
与传统的模块化方法相比，端到端的说话人日志化方法表现出了卓越的性能。为了进一步提高真实语音记录的端到端说话人日记化的性能，最近已经提出了将无监督聚类算法与端到端神经日记化模型相结合的工作。然而，这些方法有一些缺点：1）无监督聚类算法不能利用来自可用数据集的监督; 2）探索的基于K-means的无监督算法经常遭受约束违反问题; 3）有监督训练和无监督推理之间不可避免的不匹配。本文提出了一种鲁棒的通用神经聚类方法，该方法可以与任何块级预测器集成，以实现完全监督的端到端说话人日志化模型。此外，通过利用递归神经网络的序列建模能力，所提出的神经聚类方法可以在推理过程中动态估计说话者的数量。实验结果表明，在不匹配的情况下，与基于约束K-means的聚类方法相比，在结合基于吸引子的块级预测器的情况下，所提出的神经聚类方法可以获得更好的Diarization出错率（DER）.
2022-04-18 cs.SD eess.AS
Spatio-spectral diarization of meetings by combining TDOA-based segmentation and speaker embedding-based clustering
Paderborn University（帕德博恩大学）
本文提出先基于TDOA分段、再基于说话人嵌入聚类的空谱会议分簇流程，无需多通道训练数据或麦克风布置先验，可适配阵列与分布式麦克风，并在重叠语音和说话人移动场景中优于pyannote。
2025-08-29 cs.SD eess.AS
End-to-End Supervised Hierarchical Graph Clustering for Speaker Diarization
Indian Institute of Science（印度科学学院）
针对多阶段说话人日志优化割裂、端到端系统训练成本高的问题，提出E-SHARC，用GNN联合优化嵌入提取与层次聚类，并可结合重叠检测器，在多个基准上取得有竞争力的结果。
2024-12-02 cs.AI cs.SD eess.AS
Analyzing Speaker Information in Self-Supervised Models to Improve Zero-Resource Speech Processing
Stellenbosch University（斯泰伦博斯大学）
对比预测编码（CPC）旨在通过区分未来的观察结果和一组否定的例子来学习语音的表示。以前的工作表明，在CPC特征上训练的线性分类器可以准确地预测说话者和电话标签。然而，目前还不清楚这些特征实际上是如何捕获说话者和语音信息的，以及是否可以将不相关的细节标准化（取决于下游任务）。在本文中，我们首先表明，每话语平均CPC功能捕获说话人的信息在很大程度上。具体来说，我们发现比较方法在说话人确认任务中表现良好。接下来，探测实验表明，标准化的功能有效地消除了说话人的信息。基于这一观察，我们提出了一个扬声器归一化步骤，以提高声学单元发现使用K-means聚类的CPC功能。最后，我们展示了在结果单元上训练的语言模型在ZeroSpeech 2021 ~Challenge中取得了一些最佳结果。
2021-08-02 cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group（阿里巴巴集团）
说话人嵌入是说话人相关任务的基本特征，如验证，聚类和日志化。传统上，说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计，特别是在处理较短的话语时。在本文中，我们提出了一个“浮动”向量，其状态是不确定的，而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型，该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调，例如说话人验证，说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
Is CQT more suitable for monaural speech separation than STFT? an empirical study
Fujitsu Research and Development Center（富士通研发中心）；Harbin Institute of Technology（哈尔滨工业大学）
短时傅立叶变换（STFT）被用作许多流行的成功的单声道语音分离方法的前端，例如深度聚类（DPCL）、排列不变训练（PIT）及其各种变体。由于短时傅立叶变换的频率成分是线性的，而人耳听觉系统的频率分布是非线性的。在这项工作中，我们提出并给出了一个实证研究，使用一个替代的前端称为恒定Q变换（CQT），而不是STFT，以实现更好的模拟人类听觉系统的频率分辨率。基于CQT的理想比率模板的理想语音分离的信号失真比（SDR）的上界比基于STFT的高。在WSJ 0 - 2 mix语料库上的相同实验设置中，我们检查了CQT在不同后端下的性能，包括原始DPCL，话语级PIT及其一些变体。实验结果表明，所有基于CQT的方法都优于基于STFT的方法，并且在SDR改进方面比基于STFT的方法平均提高了0.4dB。
2019-02-02 cs.SD eess.AS
End-to-End Neural Speaker Diarization with Permutation-Free Objectives
Center for Language and Speech Processing, Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）
在本文中，我们提出了一种新的端到端的基于神经网络的说话人日志化方法。与大多数现有的方法，我们提出的方法没有单独的模块提取和聚类的说话人表示。相反，我们的模型只有一个神经网络，直接输出说话者日志化结果。为了实现这样一个模型，我们制定了一个多标签分类问题的说话人日记化问题，并引入了一个置换自由的目标函数，直接最大限度地减少日记错误，而不遭受的说话人标签置换问题。除了端到端的简单性之外，所提出的方法还受益于能够在训练和推理期间显式地处理重叠语音。由于其优点，只需输入相应的多说话者段标签，我们的模型就可以轻松地通过真实记录的多说话者对话进行训练/调整。我们评估了所提出的方法对模拟语音混合。该方法实现了12.28%的日志错误率，而传统的基于聚类的系统产生的日志错误率为28.77%。此外，使用真实记录的语音的域自适应在CALLHOME数据集上提供了25.6%的相对改善。我们的源代码可以在https://github.com/hitachi-speech/EEND上获得。
2019-09-12 cs.CL cs.SD eess.AS
Content-Aware Speaker Embeddings for Speaker Diarisation
Cambridge University Engineering Dept.（剑桥大学工程系）
最近的说话人diarisation系统通常将可变长度的语音段转换为固定长度的向量表示用于说话人聚类，这被称为说话人嵌入。在本文中，内容感知的说话人嵌入（CASE）的方法，它扩展了说话人分类器的输入，不仅包括声学特征，但也包括其相应的语音内容，通过电话，字符，和词嵌入。与利用类似信息的替代方法（如多任务或对抗训练）相比，CASE将自动语音识别（ASR）从说话人识别中分解出来，专注于对说话人特征和与相应内容单元的相关性进行建模，以获得更具表现力的表示。使用AMI会议转录数据集，使用现实的扬声器diarisation设置评估CASE用于扬声器重新聚类，其中内容信息是通过基于自动分割执行ASR获得的。实验结果表明，与传统方法相比，CASE方法的相对说话人出错率降低了17.8%。
2021-02-12 cs.LG cs.SD eess.AS
Royalflush Speaker Diarization System for ICASSP 2022 Multi-channel Multi-party Meeting Transcription Challenge
Hithink RoyalFlush AI Research Institute（海智思皇家同花顺人工智能研究院）
本文介绍了Royalflush发言人日记系统提交给多通道多方会议转录挑战赛（M2MeT）。我们的系统包括语音增强，重叠语音检测，说话人嵌入提取，说话人聚类，语音分离和系统融合。在这个系统中，我们做出了三个贡献。首先，我们提出了一个架构相结合的多通道和U-Net为基础的模型，旨在利用这两个单独的架构的好处，远场重叠语音检测。其次，为了利用重叠语音检测模型来辅助说话人分类，提出了一种基于语音分离的重叠语音处理方法，并在此基础上进一步应用了说话人确认技术。第三，我们研究了三种说话人嵌入方法，并在CNCeleb-E测试集上获得了最佳的性能。通过这些建议，我们最好的单个系统将DER从15.25%显著降低到6.40%，并且四个系统的融合最终在远场Alimeeting评估集上实现了6.30%的DER。
2022-02-18 cs.AI cs.SD eess.AS
End-to-End Speaker Diarization as Post-Processing
Hitachi, Ltd. Research & Development Group（日立公司研发集团）；Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）
本文研究了利用端到端的日志模型作为传统的基于聚类的日志的后处理。基于聚类的日志化方法将帧划分为扬声器数量的集群;因此，它们通常不能处理重叠的语音，因为每个帧被分配给一个扬声器。另一方面，一些端到端的日志化方法可以通过将问题视为多标签分类来处理重叠语音。虽然一些方法可以处理灵活的说话人数量，但当说话人数量很大时，它们的性能并不好。为了弥补彼此的弱点，我们建议使用两个扬声器端到端的日记的方法作为后处理的结果，通过基于聚类的方法。我们迭代地从结果中选择两个说话人，并更新这两个说话人的结果，以改善重叠区域。实验结果表明，该算法在CALLHOME，AMI和DIHARD II数据集上始终提高了最先进方法的性能。
2020-12-23 cs.CL cs.SD eess.AS
End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors
Hitachi, Ltd.（日立公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了未知数量说话人的端到端说话人日志化问题。最近提出的端到端的发言人日记优于传统的基于聚类的发言人日记，但它有一个缺点：它是不太灵活的发言人的数量。本文提出了一种基于编码器-解码器的吸引子计算（EDA）方法，该方法首先从语音嵌入序列中生成灵活数量的吸引子。然后，将生成的多个吸引子乘以语音嵌入序列以产生相同数量的说话人活动。语音嵌入序列的提取使用传统的自注意端到端神经说话人日记（SA-EEND）网络。在双扬声器条件下，我们的方法在模拟混合物上实现了2.69%的日记化错误率（DER），在CALLHOME的双扬声器子集上实现了8.07%的DER，而vanilla SA-EEND分别达到了4.56%和9.54%。在未知说话人数量的条件下，我们的方法在CALLHOME上获得了15.29%的DER，而基于x向量的聚类方法获得了19.43%的DER。
2020-10-05 cs.CL cs.SD eess.AS
Continuous Speech Separation Using Speaker Inventory for Long Multi-talker Recording
Columbia University（哥伦比亚大学）；Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）；NTT Corporation（日本电报电话公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
近年来，利用额外的说话人信息来促进语音分离受到越来越多的关注。最近的研究包括通过使用目标说话人的语音片段来提取目标语音，并通过使用附加说话人信号池来联合分离所有参与说话人，这被称为使用说话人清单的语音分离（SSUSI）。然而，所有这些系统理想情况下都假设预登记的扬声器信号可用，并且仅在简单的数据配置上进行评估。在现实的多说话人对话中，语音信号包含很大比例的非重叠区域，在那里我们可以得到鲁棒的说话人嵌入的个人说话人。在这项工作中，我们采用SSUSI模型在长录音，并提出了一个自我知情的，基于聚类的库存形成计划长录音，扬声器库存是完全建立从输入信号，而不需要外部扬声器信号。在模拟的混响长记录数据集上的实验结果表明，该方法在各种条件下都能显著提高分离性能。
2020-12-18 cs.SD eess.AS eess.SP
Robust Feature Clustering for Unsupervised Speech Activity Detection
University of Texas at Dallas（德克萨斯大学达拉斯分校）
在诸如零资源语音处理或极低资源语音语言系统的某些应用中，收集语音活动检测（SAD）注释可能是不可行的。然而，基于神经网络或其他机器学习方法的最先进的监督SAD技术需要与目标域匹配的带注释的训练数据。本文建立了一个聚类方法，完全无监督SAD有用的情况下，SAD注释不可用。所提出的方法利用哈迪根浸渍测试的递归策略分割成突出的模式的特征空间。统计倾角对失真是不变的，这为所提出的方法提供了鲁棒性。我们在NIST OpenSAD 2015和NIST OpenSAT 2017公共安全通信数据上评估了该方法。结果表明，所提出的方法优于两个组件的GMM基线。索引术语：聚类，Hartigan dip test，NIST OpenSAD，NIST OpenSAT，语音活动检测，零资源语音处理，无监督学习。
2018-06-25 cs.SD eess.AS
Tight integration of neural- and clustering-based diarization through deep unfolding of infinite Gaussian mixture model
NTT Corporation（日本电报电话公司）
发言人日记作为会议分析的一项重要核心任务得到了广泛的研究。最近的趋势表明，基于端到端神经（EEND）和聚类的日志的集成是一种很有前途的方法来处理包含重叠语音的现实会话数据与任意大量的扬声器，并在各种任务上取得了最先进的结果。然而，到目前为止提出的方法还没有实现{ \it紧密}集成，因为其中采用的聚类对于聚类由EEND模块估计的说话人嵌入在任何意义上都不是最优的。为了解决这个问题，本文引入了{ \it可训练}聚类算法的集成框架，通过深入展开的非参数贝叶斯模型称为无限高斯混合模型（iGMM）。具体而言，在训练期间优化说话人嵌入，使得它更好地适合iGMM聚类，基于基于调整的兰德指数（ARI）的新聚类损失。基于CALLHOME数据的实验结果表明，与传统方法相比，该方法在区分错误率（DER）方面具有更好的性能，尤其是大大降低了说话人混淆错误，体现了iGMM融合的有效性.
2022-02-14 cs.LG cs.SD eess.AS
Probabilistic embeddings for speaker diarization
Brno University of Technology（布尔诺理工大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）
从非常短的语音片段中提取的说话人嵌入（x向量）最近被证明在说话人日记化中具有竞争力的性能。我们通过从每个语音段中提取与x向量并行的对角精度矩阵来概括此配方，从而为将有关语音段质量的信息传播到PLDA评分后端提供了一条路径。这些精度量化了如果从高质量语音段中提取嵌入的值可能是什么的不确定性。所提出的概率嵌入（具有精度的x向量）通过将x向量视为隐藏变量并将其边缘化来与PLDA模型接口。我们将所提出的概率嵌入作为凝聚层次聚类（AHC）算法的输入，在DIHARD'19评估集中进行日志化。对于AHC所考虑的每个聚类假设，我们“按书”计算完整的PLDA可能性。我们对PLDA参数和概率x向量提取器进行联合判别训练。我们证明了相对于基线AHC算法的准确性提高，该算法应用于传统的x向量（没有不确定性），并且使用二进制对数似然比的平均值，而不是按书评分。
2020-11-06 cs.LG cs.SD eess.AS
LSTM based Similarity Measurement with Spectral Clustering for Speaker Diarization
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）；LIMSI（法国计算机科学与自动化研究所）；CNRS（法国国家科学研究中心）；Univ. Paris-Sud（巴黎第十一大学）
越来越多的神经网络方法在说话人分类系统的子模块上取得了很大的进步，包括说话人变化检测和分段说话人嵌入提取。然而，在聚类阶段，像概率线性判别分析（PLDA）的传统算法被广泛用于评分两个语音段之间的相似性。在本文中，我们提出了一种有监督的方法来测量具有顺序双向长短期记忆网络（Bi-LSTM）的音频记录的所有片段之间的相似性矩阵。谱聚类应用于相似性矩阵的顶部，以进一步提高性能。实验结果表明，我们的系统显着优于国家的最先进的方法，并实现了6.63%的NIST SRE 2000 CALLHOME数据库上的日志错误率。
2019-07-23 cs.LG cs.SD eess.AS
Comparing heterogeneous visual gestures for measuring the diversity of visual speech signals
University of Surrey（萨里大学）；University of East Anglia（东英吉利大学）
唇读时观察到的视觉唇动作有几个工作定义，最常见的两个是：“音素的视觉等价物”和“嘴唇上无法区分的音素”。到目前为止，还没有正式的定义，部分原因是我们还没有在视位和音位之间建立双向关系或映射。一些证据表明，视觉言语高度依赖于说话者。因此，在这里，我们使用音素聚类的方法来形成新的音素到视位映射为个人和多个扬声器。我们测试这些音素视位图，以研究如何类似的扬声器说话的视觉，我们使用签署的秩检验来衡量个人之间的距离。我们的结论是，广义上讲，扬声器有相同的剧目的嘴的姿态，他们不同的是在使用的姿态。
2018-05-08 cs.CV cs.SD eess.AS
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.（谷歌公司）
本文提出口音聚类与挖掘方案，结合预训练、分布鲁棒优化和无监督聚类，在挖掘出的印度口音语音上微调ASR，相对随机采样分别提升10.0%和5.3%，实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
Mixture factorized auto-encoder for unsupervised hierarchical deep factorization of speech signal
The Chinese University of Hong Kong（香港中文大学）
语音信号是由语言内容、说话人特征等多种信息因素构成和贡献的。最近有一些值得注意的研究试图将语音信号分解为这些单独的因素，而不需要任何注释。这些研究通常假设语言内容的连续表示，这是不符合一般的语言学知识，可能会使说话人信息的提取不太成功。本文提出了用于无监督深度因子分解的混合因子分解自动编码器（mFAE）。mFAE的编码器部分包括帧标记器和话语嵌入器。框架标记器用离散分类分布对输入语音的语言内容进行建模。它通过为每个帧分配软混合标签来执行帧聚类。话语嵌入器生成话语级矢量表示。帧解码器用于从编码器的输出重建语音特征。在说话人确认（SV）任务和无监督子词建模（USM）任务上对mFAE进行评估。在VoxCeleb 1上的SV实验表明，该话语嵌入器能够提取说话者区分嵌入，其性能与x向量基线相当。在ZeroSpeech 2017数据集上的USM实验验证了帧标记器能够捕获语言内容，话语嵌入器可以获取说话人相关信息。
2019-10-30 cs.LG cs.MM cs.SD
Enhancing Self-Supervised Speaker Verification Using Similarity-Connected Graphs and GCN
School of Computer Science and Technology, Xinjiang University, Urumqi, China（新疆大学计算机科学与技术学院）；Hefei iFly Digital Technology Co. Ltd., Hefei, China（合肥iFly数字技术有限公司）；University of Science and Technology of China, Hefei, China（中国科学技术大学）
针对自监督说话人验证中DINO方法聚类生成的伪标签存在噪声的问题，提出结合相似连接图与GCN的改进聚类框架，优化聚类过程提升伪标签准确率，增强系统鲁棒性与性能。
2025-09-04 cs.SD
Say More with Less: Variable-Frame-Rate Speech Tokenization via Adaptive Clustering and Implicit Duration Coding
针对固定帧率语音分词与语音信息非均匀分布不匹配的问题，本文提出VARSTok可变帧率分词器，通过自适应聚类与隐式时长编码实现动态词元分配，在更少词元下取得更优性能，可无缝集成下游语音语言模型。
2025-11-13 cs.SD eess.AS
Improved MVDR Beamforming Using LSTM Speech Models to Clean Spatial Clustering Masks
The Graduate Center, City University of New York（纽约市立大学研究生中心）；Brooklyn College, City University of New York（纽约市立大学布鲁克林学院）
空间聚类技术可以在相对任意的麦克风配置上实现显著的多通道降噪，但难以结合详细的语音/噪声模型。相比之下，LSTM神经网络已经成功地被训练成在单通道输入上从噪声中识别语音，但很难充分利用多通道记录中的信息。本文结合这两种方法，训练LSTM语音模型来清理基于模型的EM声源分离和定位（MESSL）空间聚类方法生成的掩码。通过这样做，它既获得了多通道空间聚类的空间分离性能和通用性，又获得了多个并行单通道LSTM语音增强器的信号建模性能。我们的实验表明，当我们的系统被应用到CHiME-3数据集的嘈杂的平板电脑录音，它提高了语音质量的感知评价语音质量（PESQ）算法测量，并降低了字出错率的基线CHiME-3语音识别器，相比默认的BeamformIt波束形成器。
2020-12-02 cs.LG cs.SD eess.AS
Combining Spatial Clustering with LSTM Speech Models for Multichannel Speech Enhancement
The Graduate Center, City University of New York（纽约城市大学研究生中心）；Brooklyn College, City University of New York（纽约城市大学布鲁克林学院）
使用LSTM架构的递归神经网络可以实现显著的单通道降噪。然而，如何将它们应用于多通道输入，以推广到新的麦克风配置，这并不明显。相比之下，空间聚类技术可以实现这样的推广，但缺乏一个强大的信号模型。本文将这两种方法结合起来，以获得多通道空间聚类的空间分离性能和通用性以及多个并行单通道LSTM语音增强器的信号建模性能。该系统进行了比较，CHiME 3数据集上的几个基线的语音质量预测的PESQ算法和字出错率的识别器训练不匹配的条件下，为了专注于泛化。我们的实验表明，通过将LSTM模型与空间聚类相结合，我们将单词出错率降低了4.6%（17.2%相对）和11.2%绝对与空间聚类系统相比，与LSTM模型相比，在开发集上减少了10.75%（相对减少32.72%），在测试数据上减少了6.12%（相对减少15.76%）。
2020-12-02 cs.LG cs.SD eess.AS
Unsupervised lexicon learning from speech is limited by representations rather than clustering
Electrical and Electronic Engineering, Stellenbosch University, South Africa（斯蒂文森博斯大学电子与电气工程系）
该研究通过对比不同表示和聚类方法，发现词段表示的差异是限制语音词典学习性能的主要因素。
2026-01-27 cs.CL cs.SD eess.AS
Analysis of Deep Clustering as Preprocessing for Automatic Speech Recognition of Sparsely Overlapping Speech
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
当音频信号包含串扰时，自动语音识别（ASR）系统的性能显著下降。最近提出的解决多说话者ASR问题的方法之一是深度聚类（DPCL）方法。将DPCL与最先进的混合声学模型相结合，我们在常用的wsj 0 - 2 mix数据集上获得了16.5%的单词出错率（WER），这是迄今为止据我们所知的最佳性能。wsj 0 - 2 mix数据集包含模拟的串扰，其中多个说话者的语音几乎在整个话语中重叠。在更现实的ASR场景中，音频信号包含单说话者语音的显著部分，并且仅信号的一部分包含多个竞争说话者的语音。本文研究了在这种情况下，稀疏重叠的语音应用DPCL作为预处理方法的ASR的障碍。为此，我们提出了一种数据模拟方法，密切相关的wsj 0 - 2 mix数据集，生成稀疏重叠的语音数据集的任意重叠率。将DPCL应用于稀疏重叠语音的分析是完全重叠数据集（如wsj 0 - 2 mix）和更真实的ASR数据集（如CHiME-5或AMI）之间的重要中间步骤。
2019-09-25 cs.CL cs.SD eess.AS
Advanced Clustering Techniques for Speech Signal Enhancement: A Review and Metanalysis of Fuzzy C-Means, K-Means, and Kernel Fuzzy C-Means Methods
Artificial Intelligence and Innovation Centre, University of Kurdistan Hewler（库尔德斯坦赫勒大学人工智能与创新中心）；Computer Science and Engineering Department, University of Kurdistan Hewler（库尔德斯坦赫勒大学计算机科学与工程系）
本文针对噪声环境下语音分离识别的难题，综述对比了KFCM、KM、FCM等聚类语音增强方法，指出KFCM适配性更优，还提出了现有方法的不足与结合神经网络的混合模型优化方向。
2025-10-03 cs.AI cs.SD eess.AS
Adversarial Feature Learning and Unsupervised Clustering based Speech Synthesis for Found Data with Acoustic and Textual Noise
Northwestern Polytechnical University（西北工业大学）；Bytedance AI Lab（字节跳动人工智能实验室）
基于注意力的序列到序列（seq2seq）语音合成已经取得了非凡的性能。但是，一个工作室质量的语料库与手工转录是必要的训练这样的seq2seq系统。在本文中，我们提出了一种方法来建立高质量和稳定的seq2seq为基础的语音合成系统使用具有挑战性的发现数据，其中训练语音包含噪声干扰（声学噪声）和文本是不完善的语音识别成绩单（文本噪声）。为了处理文本端的噪声，我们提出了一种基于VQVAE的探试法，用直接从语音中学习到的语音信息来补偿错误的语言特征。对于语音侧噪声，我们提出通过对抗训练和数据增强在自回归解码器中学习与噪声无关的特征，这不需要额外的语音增强模型。实验结果表明，该方法在处理文本和语音噪声方面是有效的。超越了基于最先进的语音增强模型的去噪方法，我们的系统建立在嘈杂的发现数据可以合成干净和高质量的语音与MOS接近的系统建立在干净的对应。
2020-04-28 cs.LG cs.SD eess.AS
Feature Trajectory Dynamic Time Warping for Clustering of Speech Segments
University of Stellenbosch（斯泰伦博斯大学）
动态时间规整（DTW）可以用于计算通常不同长度的两个序列之间的相似性。我们提出了一个修改DTW，执行个人和独立的成对对齐的特征轨迹。修改后的技术，称为特征轨迹动态时间规整（FTDTW），适用于作为一个相似性度量的凝聚层次聚类的语音段。实验使用MFCC和PLP parametrisations提取TIMIT和阿拉伯语数字口语数据集（SADD）的F-措施和归一化互信息（NMI）的质量得到的集群一致和统计上显着的改善。
2018-10-30 cs.LG cs.SD eess.AS
Speech enhancement with mixture-of-deep-experts with clean clustering pre-training
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
在这项研究中，我们提出了一种用于单麦克风语音增强的深度专家（ModE）神经网络架构。我们的架构包括一组深度神经网络（DNN），每个网络都是不同语音频谱模式（如音素）的“专家”。门控DNN负责潜变量，这些潜变量是分配给给定语音片段的每个专家输出的权重。专家从噪声输入估计掩码，然后获得最终掩码作为专家估计的加权平均，其中权重由门控DNN确定。然后基于估计的掩模应用软频谱衰减来增强有噪语音信号。作为副产品，我们在测试时间的复杂性获得减少。我们表明，专家专业化可以更好地鲁棒性不熟悉的噪声类型。
2021-02-11 cs.LG cs.SD eess.AS
Unsupervised Spoken Term Discovery Based on Re-clustering of Hypothesized Speech Segments with Siamese and Triplet Networks
The Chinese University of Hong Kong（香港中文大学）
从未转录的语音音频中发现口语术语可以通过两个阶段的过程来实现。在第一阶段中，未标记的语音被解码成一系列的子字单元，这些子字单元以无监督的方式被学习和建模。在第二阶段中，对解码的子词序列执行部分序列匹配和聚类，从而产生一组发现的词或短语。这种方法的局限性在于子字解码的结果可能是错误的，并且错误将影响后续步骤。虽然Siamese/Triplet网络是一种学习片段表示的方法，可以改善发现过程，但在完全无监督的场景下口语术语发现的挑战是训练示例不可用。在本文中，我们提出了从初始假设序列聚类生成训练样本。在假设的示例上训练Siamese/Triplet网络以测量两个语音片段之间的相似性，并由此执行所有假设的子词序列的重新聚类以实现口语术语发现。实验结果表明，该方法能有效地获得Siamese和Triplet网络的训练样本，与原两阶段方法相比，提高了口语词发现的效率。
2021-06-02 cs.CL cs.SD eess.AS
Cross-lingual Embedding Clustering for Hierarchical Softmax in Low-Resource Multilingual Speech Recognition
提出一种基于跨语言嵌入聚类构建分层Softmax解码器的方法，通过共享相似令牌表示提升低资源多语言语音识别精度。
2026-06-16 cs.CL cs.SD eess.AS
Integration of variational autoencoder and spatial clustering for adaptive multi-channel neural speech separation
在本文中，我们提出了一种方法相结合的变分自动编码器模型的语音空间聚类方法的多通道语音分离。在几项工作中显示了将空间聚类与光谱模型相结合的优势。作为谱模型，以前的作品使用混合语音的阶乘生成模型或判别神经网络。在我们的工作中，我们结合了这两种方法的优势，通过建立一个基于生成神经网络的阶乘模型，变分自动编码器。通过这样做，我们可以利用神经网络的建模能力，但同时保持结构化模型。当适应新的噪声条件时，这种模型可以是有利的，因为仅需要修改模型的噪声部分。我们的实验表明，我们的模型显着优于以前的阶乘模型的基础上高斯混合模型（DOLPHIN），执行置换不变训练与空间聚类的集成，并使我们能够轻松地适应新的噪声条件。该方法的代码可在https://github.com/BUTSpeechFIT/vae_dolphin上获得
2020-11-24 eess.AS
Prosodic Clustering for Phoneme-level Prosody Control in End-to-End Speech Synthesis
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信事业部）
本文提出了一种在基于注意力的自回归文语转换系统中，在音素层次上控制韵律的方法。而不是学习潜在的韵律特征的变分框架，因为通常做的，我们直接提取音素级的F0和持续时间的语音数据中的训练集的功能。使用无监督聚类对每个韵律特征进行离散化，以便为每个话语产生韵律标签序列。该序列与音素序列并行使用，以便利用韵律编码器和相应的注意力模块来调节解码器。实验结果表明，该方法在保持高质量语音的同时，允许音素级的F0和时长控制。通过用音符替换F0簇质心，该模型还可以提供对扬声器范围内的音符和八度音的控制。
2021-11-19 cs.CL cs.LG cs.SD
