Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation
National Taiwan University(台湾大学)
近年来,端到端的多说话人文本转语音(TTS)系统在大量高质量语音及其对应的传输可用的情况下获得了成功。然而,费力的配对数据收集过程阻止了许多机构构建具有良好性能的多扬声器TTS系统。在这项工作中,我们提出了一个半监督学习方法的多说话人TTS。多说话人TTS模型可以通过所提出的具有离散语音表示的编码器-解码器框架从未转录的音频中学习。实验结果表明,该模型仅用一小时的配对语音数据,无论是多个说话人还是单个说话人的配对语音,都能生成不同语音的可理解语音。我们发现该模型可以受益于所提出的半监督学习方法,即使部分未配对的语音数据是嘈杂的。此外,我们的分析表明,不同的说话人特征的配对数据的半监督TTS的有效性有影响。
2020-08-04 cs.CL cs.SD eess.AS
DG^VoiC: Speaker Clustering for Fraud Investigation under Real Call-Centre Conditions
Aston University(阿斯顿大学);Domestic & General(国内与一般)
提出DG^VoiC框架,结合匿名化、语音预处理、滑动窗口嵌入提取和余弦相似度聚类,在真实呼叫中心音频中识别重复说话人,用于欺诈调查,在121条录音上达到96% AMI等高性能。
2026-06-29 cs.AI cs.CL cs.SD
Identifying Speaker Information in Feed-Forward Layers of Self-Supervised Speech Transformers
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);Centre of Speech Technology Research, University of Edinburgh(爱丁堡大学语音技术研究中心)
本文通过识别自监督语音 Transformer 前馈层中与说话人信息相关的神经元,发现其与自监督特征和 i-vector 的 k-means 聚类相关,并在剪枝中保护这些神经元以显著保留说话人任务性能。
2025-06-26 cs.CL cs.SD eess.AS
Discriminative Neural Clustering for Speaker Diarisation
Cambridge University(剑桥大学)
在本文中,我们提出了判别神经聚类(DNC),制定了数据聚类的最大数量的集群作为一个监督序列到序列的学习问题。与传统的无监督聚类算法相比,DNC从训练数据中学习聚类模式,而不需要显式定义相似性度量。基于Transformer架构的DNC实现被证明是有效的扬声器diarisation任务,使用具有挑战性的AMI数据集。由于AMI仅包含147个完整的会议作为单独的输入序列,因此数据稀缺是训练DNC的Transformer模型的重要问题。因此,本文提出了三种数据增强方案:子序列随机化,输入向量随机化,和Diaconis增强,它通过旋转整个输入序列的L2归一化扬声器嵌入生成新的数据样本。AMI上的实验结果表明,相对于谱聚类,DNC实现了29.4%的说话人错误率(SER)的降低。
2020-11-23 cs.CL cs.CV cs.LG
The HUAWEI Speaker Diarisation System for the VoxCeleb Speaker Diarisation Challenge
HUAWEI(华为)
本文描述了我们提交VoxCeleb Speaker Recognition Challenge 2020的扬声器diarisation Track(Track 4)的系统设置。我们的diarisation系统包括一个训练有素的神经网络为基础的语音增强模型作为预处理前端的输入语音信号。我们取代传统的基于能量的语音活动检测(VAD)与神经网络的VAD。基于神经网络的VAD提供了对仅包含背景音乐、噪声和其他干扰的语音段的更准确的注释,这对于日记性能是至关重要的。我们采用凝聚层次聚类(AHC)的x-向量和变分贝叶斯隐马尔可夫模型(VB-HMM)的迭代聚类的说话人聚类。实验结果表明,我们提出的系统实现了大幅改善基线系统,产生diarisation出错率(DER)的10.45%,和Jacard出错率(JER)的22.46%的评价集。
2020-10-23 cs.CL cs.SD eess.AS
Weakly Supervised Training of Speaker Identification Models
Tallinn University of Technology(塔林理工大学)
我们提出了一种弱监督方式训练说话人辨识模型的方法。我们集中在训练数据由一组音频记录组成的设置上,并且仅在记录级别提供说话者注释。该方法使用说话人日志化来找到每个记录中的唯一说话人,并且使用i向量来将每个说话人的语音投影到固定维向量。然后训练神经网络以使用特殊目标函数将i向量映射到扬声器,该特殊目标函数允许使用记录级扬声器标签来优化模型。我们在两个不同的真实世界的数据集上报告实验。在VoxCeleb数据集上,该方法在闭集说话人辨识任务上提供了94.6%的准确率,大大超过了基线性能。在爱沙尼亚广播新闻数据集上,该方法提供了66%的时间加权说话人辨识召回率,93%的准确率。
2018-06-22 cs.CL cs.HC cs.SD
Diarisation using location tracking with agglomerative clustering
Microsoft(微软)
以前的工作已经表明,空间位置信息可以补充扬声器diarisation任务的扬声器嵌入。然而,所使用的模型通常假设发言者在整个会议期间是相当固定的。本文提出放松这一假设,明确建模的运动的扬声器内的凝聚层次聚类(AHC)diarisation框架。跟踪说话者位置的卡尔曼滤波器用于计算对数似然比,该对数似然比有助于AHC合并和停止决策的聚类亲和度计算。实验表明,所提出的方法是能够产生改进的Microsoft丰富的会议转录任务,相比不使用位置信息或平稳性假设的方法。
2021-09-24 cs.CL cs.LG cs.SD
Interpreting Speaker Characteristics in the Dimensions of Self-Supervised Speech Features
Department of Electrical and Electronic Engineering, Stellenbosch University(斯特伦博斯大学电气与电子工程系);Concordia University(康科迪亚大学)
本文通过PCA分析自监督语音特征的维度,揭示了语音特征如音高、性别等在主成分中的分布及相互影响,展示了特征维度的独立性和可操控性。
2026-10-20 cs.CL eess.AS
End-to-End Speaker Diarization as Post-Processing
Hitachi, Ltd. Research & Development Group(日立公司研发集团);Center for Language and Speech Processing, Johns Hopkins University(约翰霍普金斯大学语言与语音处理中心)
本文研究了利用端到端的日志模型作为传统的基于聚类的日志的后处理。基于聚类的日志化方法将帧划分为扬声器数量的集群;因此,它们通常不能处理重叠的语音,因为每个帧被分配给一个扬声器。另一方面,一些端到端的日志化方法可以通过将问题视为多标签分类来处理重叠语音。虽然一些方法可以处理灵活的说话人数量,但当说话人数量很大时,它们的性能并不好。为了弥补彼此的弱点,我们建议使用两个扬声器端到端的日记的方法作为后处理的结果,通过基于聚类的方法。我们迭代地从结果中选择两个说话人,并更新这两个说话人的结果,以改善重叠区域。实验结果表明,该算法在CALLHOME,AMI和DIHARD II数据集上始终提高了最先进方法的性能。
2020-12-23 cs.CL cs.SD eess.AS
Self- and Pseudo-self-supervised Prediction of Speaker and Key-utterance for Multi-party Dialogue Reading Comprehension
Shanghai Jiao Tong University(上海交通大学)
多方对话机器阅读理解(MRC)带来了巨大的挑战,因为它涉及多个说话人在一个对话,导致复杂的说话人信息流和嘈杂的对话环境。为了缓解这些困难,以前的模型专注于如何使用复杂的基于图形的模块和额外的手动标记数据来整合这些信息,这在实际场景中通常很少见。在本文中,我们设计了两个劳动自由的自我和伪自我监督的预测任务的发言人和关键话语隐式建模的发言人的信息流,并捕捉显着的线索,在一个漫长的对话。在两个基准数据集上的实验结果证明了我们的方法在竞争基线和当前最先进模型上的有效性。
2021-09-16 cs.CL
What Do Self-Supervised Speech and Speaker Models Learn? New Findings From a Cross Model Layer-Wise Analysis
NTT Corporation(日本电信电话公司)
本文通过SUPERB探测任务和逐层跨模型对比分析,探究语音与说话人自监督模型的表征差异,发现内容表征与说话人表征能力关联弱、语音SSL部分层专于语言信息、说话人SSL重说话人表征而轻语言信息,为模型优化提供依据。
2024-01-31 cs.CL cs.SD eess.AS
Supervised Speaker Embedding De-Mixing in Two-Speaker Environment
University of Sheffield(谢菲尔德大学)
从多扬声器环境中分离不同的扬声器属性是具有挑战性的。与传统的语音声源分离方法不同,本文提出了一种说话人嵌入去混方法。该方法在嵌入空间中从双说话人信号中分离出不同的说话人属性。拟议的办法包括两个步骤。在第一步中,干净的说话人嵌入学习和收集的残余TDNN为基础的网络。在步骤2中,将两个扬声器信号和扬声器之一的嵌入都输入到扬声器嵌入解混网络。训练去混网络,通过重构损失产生另一个说话人的嵌入。利用说话人辨识准确率和纯净嵌入与去混嵌入之间的余弦相似度来评价所得到的嵌入的质量。在人工增强的双说话人数据(TIMIT)和真实世界的双说话人数据(MC-WSJ)上进行了实验。研究了六种不同的说话人嵌入去混结构。实验结果表明,本文提出的一种结构与纯说话人嵌入的性能相近,识别准确率达到96.9%,余弦相似度为0.89。
2021-02-05 cs.CL cs.LG cs.SD
Wavesplit: End-to-End Speech Separation by Speaker Clustering
Google Research(谷歌研究院)
我们介绍Wavesplit,一个端到端的源分离系统。从单个混合物,模型推断每个源的表示,然后在给定推断的表示的情况下估计每个源信号。该模型被训练为从原始波形联合执行两个任务。Wavesplit通过聚类来推断一组源表示,这解决了分离的基本置换问题。对于语音分离,与以前的工作相比,我们的序列范围的说话人表示提供了更强大的分离长,具有挑战性的录音。Wavesplit重新定义了2或3个扬声器的干净混合(WSJ 0 -2/3 mix)以及嘈杂和混响环境(WHAM/WHAMR)中的最新技术水平。我们还在最近的LibriMix数据集上设置了一个新的基准。最后,我们表明,Wavesplit也适用于其他领域,从一个单一的腹部心电图分离胎儿和产妇的心率。
2020-07-02 cs.CL cs.LG cs.SD
Bi-LSTM Scoring Based Similarity Measurement with Agglomerative Hierarchical Clustering (AHC) for Speaker Diarization
Columbia University(哥伦比亚大学);Recognition Technologies, Inc.(识别技术公司)
跨不同场景的大多数语音信号对于仅包含单个扬声器的明确定义的音频段是不可用的。两个说话者之间的典型对话由他们的声音重叠,相互打断或在多个句子之间停止讲话的片段组成。日记化技术的最新进展利用基于神经网络的方法来改进说话人日记化系统的多个子系统,包括提取分段嵌入特征和检测说话人在对话期间的变化。然而,为了通过聚类来识别说话人,模型依赖于PLDA等方法来生成从给定会话音频中提取的两个片段之间的相似性度量。由于这些算法忽略了会话的时间结构,它们往往会达到更高的日志化错误率(DER),从而导致在说话人和变化识别方面的误检测。因此,为了独立地和顺序地比较两个语音片段的相似性,我们提出了一个双向长短期记忆网络来估计相似性矩阵中的元素。一旦相似性矩阵的生成,凝聚层次聚类(AHC)应用于进一步确定基于阈值的说话人段。为了评估性能,使用日志化错误率(DER%)度量。与传统的基于PLDA的相似性度量机制相比,该模型在来自ICSI会议语料库的音频样本测试集上实现了34.80%的低DER,该机制实现了39.90%的DER。
2022-05-19 cs.AI cs.CL cs.CV
Weakly Supervised Training of Hierarchical Attention Networks for Speaker Identification
University of Sheffield(谢菲尔德大学)
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种层次化的注意力网络来解决弱标记说话人识别问题。使用的分层结构,包括一个帧级编码器和一个段级编码器,旨在学习本地和全球的扬声器相关的信息。语音流被分割成片段。具有注意力的帧级编码器学习特征并局部突出目标相关帧,并输出基于片段的嵌入。片段级编码器与第二关注层一起工作,以强调可能与目标说话者相关的片段。最后,从分段级模块中收集全局信息,通过分类器进行说话人预测。为了评估所提出的方法的有效性,基于Switchboard Cellular part1(SWBC)和Voxceleb1的人工数据集构造在两种情况下,其中说话人的声音重叠和不重叠。通过与两个基线的比较,结果表明该方法可以获得更好的性能。此外,进一步的实验进行评估的影响,话语分割。结果表明,合理的分割可以略微提高识别性能。
2020-08-27 cs.CL cs.SD eess.AS
Adapitch: Adaption Multi-Speaker Text-to-Speech Conditioned on Pitch Disentangling with Untranscribed Data
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
在本文中,我们提出了Adapitch,一个多说话人的TTS方法,使自适应的监督模块与未转录的数据。我们设计了两个自监督模块,分别用未转录的数据对文本编码器和梅尔解码器进行训练,以增强文本和梅尔的表现力。为了更好地处理合成语音中的韵律信息,设计了一个有监督的TTS模块,该模块以音高、文本和说话人的内容分解为条件。训练阶段分为两个部分,先用无监督模式对文本编码器和梅尔解码器进行预训练和固定,然后用有监督模式对TTS进行解缠。实验结果表明,自适应算法在图像质量上明显优于基线算法.
2022-10-25 cs.CL cs.SD eess.AS
Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis
Kwai(快手)
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。在大多数先前的方法中,合成的细粒度韵律特征通常表示源说话者的平均风格,类似于一对多问题(即,多个韵律变化对应于同一文本)。针对这一问题,提出了一种强度控制的半监督风格提取器,将风格与内容和音色分离,提高了全局风格嵌入的表示性和可解释性,缓解了韵律预测中的一对多映射和数据不平衡问题。提出了一种层次韵律预测器来改进韵律建模。我们发现,更好的风格转移可以通过使用源说话人的韵律特征,很容易预测。此外,扬声器转移明智的周期一致性损失,提出了在训练阶段学习看不见的风格音色组合,以协助模型。实验结果表明,该方法优于基线。我们提供了一个网站与音频样本。
2023-03-14 cs.AI cs.CL cs.SD
A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个统一的系统来实现单次语音转换(VC)的音高,节奏和扬声器属性。现有的研究普遍忽视了韵律与语言内容的相关性,导致转换语音的自然度下降。此外,缺乏适当的语言功能阻止了这些系统在转换后准确地保留语言内容。为了解决这些问题,我们设计了一个级联的模块化系统,利用自我监督的离散语音单元作为语言表示。这些离散单元提供了节奏建模所必需的持续时间信息。我们的系统首先从原始波形中提取话语级韵律和说话人表示。给定韵律表示,韵律预测器估计话语中每个离散单元的音高、能量和持续时间。合成器还基于预测的韵律、说话者表示和离散单元来重构语音。实验结果表明,我们的系统优于以前的方法在自然度,可懂度,说话人可转移性,韵律可转移性。代码和示例是公开的。
2022-11-12 cs.CL cs.LG cs.SD
TS-SUPERB: A Target Speech Processing Benchmark for Speech Self-Supervised Learning Models
Brno University of Technology(布拉格技术大学);NTT Corporation(NTT公司)
本文提出 TS-SUPERB 基准,通过四类目标说话人任务评估语音 SSL 模型,并用统一编码器验证跨任务联合优化的效果。
2025-05-10 cs.CL cs.SD eess.AS
Self-Supervised Syllable Discovery Based on Speaker-Disentangled HuBERT
Tokyo Institute of Technology(东京工业大学)
针对SD-HuBERT中CLS token聚合的信息更偏向说话人身份而非语言内容的问题,提出引入说话人扰动增强、采用帧级目标的自监督微调方法,在Librispeech上多数音节相关指标优于SOTA。
2024-09-16 cs.CL cs.SD eess.AS
Self-supervised Predictive Coding Models Encode Speaker and Phonetic Information in Orthogonal Subspaces
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
研究发现自监督预测编码模型将说话人与语音信息编码在近正交子空间,并据此提出无需转录的说话人归一化方法,在音素判别上优于基线且可泛化至未见说话人。
2023-12-11 cs.CL cs.SD
Graph-based Label Propagation for Semi-Supervised Speaker Identification
Amazon Alexa(亚马逊Alexa)
家庭场景中的说话人辨识(例如,对于智能说话者)通常仅基于几个登记话语,但是基于大得多的未标记数据集,这表明半监督学习可以改善说话者简档。我们提出了一种基于图的半监督学习方法的说话人辨识在家庭的情况下,利用未标记的语音样本。与大多数专注于说话人区分嵌入的说话人识别工作相反,这项工作专注于说话人标签推理(评分)。给定一个预先训练的嵌入提取器,基于图的学习允许我们整合有关标记和未标记话语的信息。考虑到每个话语作为一个图形节点,我们表示成对的话语相似性得分作为边权重。每个家庭构建图,并将扬声器身份传播到未标记的节点,以优化全局一致性标准。我们在VoxCeleb数据集上的实验表明,与两种最先进的评分方法及其基于伪标签的半监督变体相比,这种方法有效地利用了未标记的数据,提高了说话人辨识的准确性。
2021-06-15 cs.CL cs.LG cs.SD
Towards Neural Diarization for Unlimited Numbers of Speakers Using Global and Local Attractors
Hitachi, Ltd.(日立公司);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
基于吸引子的端到端日志化在具有挑战性的数据集上实现了与精心调整的传统基于聚类的方法相当的准确性。然而,主要的缺点是,它不能处理的情况下,说话人的数量大于在训练过程中观察到的。这是因为它的说话者计数依赖于监督学习。在这项工作中,我们引入了一个无监督的聚类过程中嵌入的吸引子为基础的端到端日志。我们首先将一系列逐帧嵌入拆分为短序列,然后对每个子序列执行基于吸引子的diarization。给定连续性的日记化结果,子序列间的说话人对应关系是通过从所有连续性的吸引子计算的向量的无监督聚类来获得的。这使得即使每个子序列的输出扬声器的数量有限,也可以为整个记录产生大量扬声器的日志化结果。实验结果表明,我们的方法可以产生准确的日记结果的一个看不见的数量的发言人。我们的方法在CALLHOME、DIHARD II和DIHARD III数据集上分别实现了11.84%、28.33%和19.49%,每一个都优于传统的端到端日志化方法。
2021-09-23 cs.CL cs.SD eess.AS
End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors
Hitachi, Ltd.(日立公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了未知数量说话人的端到端说话人日志化问题。最近提出的端到端的发言人日记优于传统的基于聚类的发言人日记,但它有一个缺点:它是不太灵活的发言人的数量。本文提出了一种基于编码器-解码器的吸引子计算(EDA)方法,该方法首先从语音嵌入序列中生成灵活数量的吸引子。然后,将生成的多个吸引子乘以语音嵌入序列以产生相同数量的说话人活动。语音嵌入序列的提取使用传统的自注意端到端神经说话人日记(SA-EEND)网络。在双扬声器条件下,我们的方法在模拟混合物上实现了2.69%的日记化错误率(DER),在CALLHOME的双扬声器子集上实现了8.07%的DER,而vanilla SA-EEND分别达到了4.56%和9.54%。在未知说话人数量的条件下,我们的方法在CALLHOME上获得了15.29%的DER,而基于x向量的聚类方法获得了19.43%的DER。
2020-10-05 cs.CL cs.SD eess.AS
Speakers Unembedded: Embedding-free Approach to Long-form Neural Diarization
AWS AI Labs(AWS 人工智能实验室)
提出一种无需额外说话人嵌入的局部与全局EEND框架,解决了长音频多说话人泛化问题,在Callhome和RT03-CTS数据集上显著降低DER并减少计算复杂度。
2024-06-26 cs.AI cs.CL cs.LG
Phone and speaker spatial organization in self-supervised speech representations
本文在不依赖下游模型的情况下,通过表示相似性分析和非参数统计检验,分析多种自监督语音表示中音素与说话人信息的空间组织,揭示预训练目标任务影响模型对语音属性的编码方式。
2023-02-24 cs.CL cs.SD eess.AS
System Description for the Displace Speaker Diarization Challenge 2023
MTS AI(MTS人工智能公司)
本研究针对Displace 2023挑战赛提出结合VAD、Resnet架构CNN与谱聚类的说话人分离方案,未用印地语训练仍在开发集和一阶段评估集分别取得27.1%、27.4%的DER。
2024-06-20 cs.CL cs.SD eess.AS
End-to-End Neural Speaker Diarization with Self-attention
Johns Hopkins University(约翰斯·霍普金斯大学)
说话人日志化主要是基于说话人嵌入的聚类。然而,基于聚类的方法具有两个主要问题;即,(i)它没有被优化以直接最小化日记化误差,以及(ii)它不能正确地处理扬声器重叠。为了解决这些问题,最近提出了端到端神经日志化(EEND),其中双向长短期记忆(BLSTM)网络直接输出给定多说话者录音的说话者日志化结果。在这项研究中,我们通过引入自我注意块而不是BLSTM块来增强EEND。与仅以其前一个和下一个隐藏状态为条件的BLSTM相反,自注意力直接以所有其他帧为条件,使得它非常适合处理说话人日记化问题。我们评估了我们提出的方法模拟混合物,真实的电话,和真实的对话录音。实验结果表明,自我注意力是实现良好性能的关键,我们提出的方法的性能显着优于传统的基于BLSTM的方法。我们的方法甚至比最先进的基于x向量聚类的方法更好。最后,通过可视化的潜在代表性,我们表明,自我注意可以捕捉全球发言人的特点,除了本地的语音活动动态。我们的源代码可以在https://github.com/hitachi-speech/EEND上获得。
2019-09-13 cs.CL cs.SD eess.AS
T-vectors: Weakly Supervised Speaker Identification Using Hierarchical Transformer Model
University of Sheffield(谢菲尔德大学)
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种分层网络与Transformer编码器和内存机制来解决这个问题。该模型包括帧级编码器和段级编码器,它们都使用了Transformer编码器模块。Transformer结构中的多头注意力机制可以在输入话语包含多个说话人时更好地捕捉不同的说话人属性。帧级编码器中使用的记忆机制可以建立一个循环连接,更好地捕捉长期的扬声器特征。实验在基于Switchboard Cellular part1(SWBC)和Voxceleb 1数据集的人工数据集上进行。在不同的数据构建场景(Concat和Overlap)下,与四个强基线相比,该模型表现出更好的性能,与H向量和S向量相比,相对性能分别提高了13.3%和10.5%。使用记忆机制与不使用记忆机制相比,相对提高了10.6%和7.7%。
2020-10-29 cs.CL cs.LG cs.SD
Any-to-One Sequence-to-Sequence Voice Conversion using Self-Supervised Discrete Speech Representations
Nagoya University(名古屋大学)
我们提出了一种新的方法,任何到一个(A2 O)的语音转换(VC)的序列到序列(seq 2seq)的框架。A2 O VC的目标是将任何说话者,包括那些在训练过程中看不见的说话者,转换为固定的目标说话者。我们利用vq-wav 2 vec(VQW 2 V),这是一种离散化的自监督语音表示,它是从大量未标记的数据中学习的,假设它是与说话者无关的,并且很好地对应于底层的语言内容。给定目标说话人的训练数据集,我们提取VQW 2 V和声学特征来估计从前者到后者的seq 2seq映射函数。在预训练方法和新设计的后处理技术的帮助下,我们的模型可以推广到只有5分钟的数据,甚至优于用并行数据训练的相同模型。
2020-10-23 cs.CL cs.SD eess.AS
Orthogonality and isotropy of speaker and phonetic information in self-supervised speech representations
University of Edinburgh(爱丁堡大学)
本文提出累积残差方差(CRV),用于衡量自监督语音表征中说话人与音素信息子空间的正交性及空间各向同性,并通过线性探测揭示其与音素识别准确率的关系。
2024-06-13 cs.CL
Target-Speaker Voice Activity Detection: a Novel Approach for Multi-Speaker Diarization in a Dinner Party Scenario
STC-innovations Ltd(STC创新有限公司);ITMO University(圣彼得堡国立信息技术机械与光学大学)
真实场景中的说话人日志化是一个极具挑战性的问题。广泛使用的基于聚类的日记化方法在这种情况下表现得相当差,主要是由于处理重叠语音的能力有限。我们提出了一种新的目标说话人语音活动检测(TS-VAD)的方法,它直接预测每个扬声器在每个时间帧上的活动。TS-VAD模型采用传统的语音特征(例如,MFCC)以及每个扬声器的i向量作为输入。一组二进制分类输出层产生每个说话者的活动。可以迭代地估计I向量,从基于强聚类的日志化开始。我们还扩展了TS-VAD方法的多麦克风的情况下,使用一个简单的注意力机制上的隐藏表示提取的单通道TS-VAD模型。此外,预测的说话人活动概率的后处理策略进行了研究。在CHiME-6未分割数据上的实验表明,TS-VAD实现了最先进的结果,优于基于x向量的基线系统超过30%的日志化错误率(DER)绝对值。
2020-07-27 cs.CL cs.SD eess.AS
ParrotTTS: Text-to-Speech synthesis by exploiting self-supervised representations
Kohli Centre on Intelligent Systems, IIIT Hyderabad(国际信息技术研究所(海得拉巴)科赫利智能系统中心);TCS Research(塔塔咨询服务公司研究部)
本文提出模块化 TTS 模型 ParrotTTS,利用解耦的自监督语音表征,实现单说话人转写训练多说话人模型、低资源语言适配、跨语言声音迁移,并以少量配对数据超越现有多语 TTS。
2023-12-17 cs.CL cs.SD eess.AS
MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting
Kohli Centre on Intelligent Systems, IIIT Hyderabad(海得拉巴国际信息技术学院科利智能系统中心);TCS Research(塔塔咨询服务公司研究部)
本文提出MParrotTTS模型,利用自监督语音表示的模块化训练范式,在低资源下实现高质量多语言多说话人TTS及跨语言声音转换,仅用少量监督数据即超越现有基线。
2023-05-19 cs.CL cs.LG cs.SD
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics(三星电子Innoetics);University of West Attica(西阿提卡大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程,用于离散化音素级F0和持续时间的功能,从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块,该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率,例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器,同时保持扬声器的身份。而不是依赖于参考话语的推理,我们引入了一个事先韵律编码器,学习每个扬声器的风格,使语音合成,而不需要参考音频。我们还微调的多说话人模型,以看不见的扬声器与有限的数据量,作为一个现实的应用场景,并显示韵律控制能力的维护,验证说话人无关的韵律聚类是有效的。实验结果表明,该模型具有较高的输出语音质量,所提出的方法允许有效的韵律控制在每个扬声器的范围内,尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
Self-Supervised Vision-Based Detection of the Active Speaker as Support for Socially-Aware Language Acquisition
University of Southern California(南加州大学);KTH Royal Institute of Technology(瑞典皇家理工学院);NTNU Norwegian University of Science and Technology(挪威科技大学)
提出了一种多人语音交互场景下主动说话人视觉检测的自监督方法。主动说话人检测是任何人工认知系统在社会环境中获取语言的基本前提。所提出的方法是为了补充有源扬声器的声学检测,从而提高系统在噪声条件下的鲁棒性。该方法可以检测任意数量的可能重叠的主动扬声器的基础上,专门对他们的脸的视觉信息。此外,该方法不依赖于外部注释,因此符合认知发展。相反,该方法使用来自听觉模态的信息来支持视觉域中的学习。本文报告了一个广泛的评估所提出的方法,使用一个大型的多人面对面的互动数据集。结果表明,良好的性能,在扬声器相关的设置。然而,在扬声器独立设置所提出的方法产生一个显着较低的性能。我们认为,所提出的方法代表了任何人工认知系统或机器人平台参与社会互动的重要组成部分。
2019-07-18 cs.CL cs.CV cs.HC