Separating Content from Speaker Identity in Speech for the Assessment of Cognitive Impairments
深度说话人嵌入已经被证明是有效的评估认知障碍,除了他们的说话人验证的原始目的。然而,研究发现,说话人嵌入编码说话人身份和一系列信息,包括说话人的人口统计数据,如性别和年龄,以及一定程度上的语音内容,这是认知障碍评估中已知的混杂因素。在本文中,我们假设,内容信息分离的扬声器身份使用的框架,语音转换是更有效的评估认知障碍和训练简单的分类比较分析的DementiaBank皮特语料库。我们的研究结果表明,虽然内容嵌入具有优势,扬声器嵌入的定义的问题,进一步的实验表明,其有效性取决于信息编码的扬声器嵌入由于用于提取内容的架构的固有设计。
2022-03-21 eess.AS
Y-Vector: Multiscale Waveform Encoder for Speaker Embedding
University of Rochester(罗切斯特大学);Beijing Institute of Technology(北京理工大学)
现有的文本无关说话人确认系统通常使用倒谱特征或滤波器组能量作为语音特征。最近的研究试图直接从原始波形中提取说话人嵌入,并显示出有竞争力的结果。在本文中,我们提出了一种新的多尺度波形编码器,使用三个卷积分支与不同的时间尺度计算语音特征的波形。然后,这些特征通过挤压和激励块、多级特征聚合器和时间延迟神经网络(TDNN)来处理以计算说话人嵌入。我们表明,建议的嵌入优于现有的原始波形为基础的说话人嵌入说话人确认的大幅度。对学习滤波器的进一步分析表明,多尺度编码器在其不同尺度下关注不同的频段,同时产生比任何单尺度对应物更平坦的总体频率响应。
2021-06-09 cs.SD eess.AS
SEF-PNet: Speaker Encoder-Free Personalized Speech Enhancement with Local and Global Contexts Aggregation
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(云知声人工智能科技有限公司);Samsung Research America(三星美国研究院)
SEF-PNet提出无说话人编码器的个性化语音增强网络,通过交互式说话人自适应和局部-全局上下文聚合,在Libri2Mix上取得最先进性能。
2025-01-20 cs.SD eess.AS
What can predictive speech coders learn from speaker recognizers?
Escola Universitaria Politècnica de Mataró (UPC)(马塔罗理工学院(加泰罗尼亚理工大学))
本文比较了语音编码器和说话人识别器的应用,显示了它们之间的一些并行性。本文将说话人识别中的一些方法应用到语音编码中,以提高预测精度。实验结果表明,分段信噪比(SEGSNR)的改善。
2022-04-05 cs.SD eess.AS
End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors
Hitachi, Ltd.(日立公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了未知数量说话人的端到端说话人日志化问题。最近提出的端到端的发言人日记优于传统的基于聚类的发言人日记,但它有一个缺点:它是不太灵活的发言人的数量。本文提出了一种基于编码器-解码器的吸引子计算(EDA)方法,该方法首先从语音嵌入序列中生成灵活数量的吸引子。然后,将生成的多个吸引子乘以语音嵌入序列以产生相同数量的说话人活动。语音嵌入序列的提取使用传统的自注意端到端神经说话人日记(SA-EEND)网络。在双扬声器条件下,我们的方法在模拟混合物上实现了2.69%的日记化错误率(DER),在CALLHOME的双扬声器子集上实现了8.07%的DER,而vanilla SA-EEND分别达到了4.56%和9.54%。在未知说话人数量的条件下,我们的方法在CALLHOME上获得了15.29%的DER,而基于x向量的聚类方法获得了19.43%的DER。
2020-10-05 cs.CL cs.SD eess.AS
Towards Privacy-Preserving ASR: Speaker-Level Machine Unlearning
Seoul National University(首尔大学)
本研究针对ASR模型中语言与说话人信息纠缠导致的隐私问题,通过分层分析SSL-ASR表示发现说话人身份编码于编码器中间层,提出特征级遗忘策略,在VCTK语料库上可消除特定说话人影响并维持转录性能。
2026-10-14 eess.AS
Sequence-level Speaker Change Detection with Difference-based Continuous Integrate-and-fire
说话人切换检测是会议、对话等多方交互中的一项重要任务。在本文中,我们解决说话人变化检测任务的角度来看,序列转导。具体来说,我们提出了一种新的编码器-解码器框架,直接将输入的特征序列转换为说话人身份序列。基于差异的连续集成和激发机制被设计用于支持该框架。它通过逐帧整合编码器输出之间的扬声器差异来检测扬声器变化,并根据检测到的扬声器变化将编码器输出传输到分段级扬声器嵌入。整个框架由说话人身份序列监督,这是一个比精确说话人转换点更弱的标签。AMI和DIHARD-I语料库上的实验表明,我们的序列级方法始终优于使用精确的说话人变化标签的强帧级基线。
2022-06-27 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent(腾讯)
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音,没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入,并且有几次尝试尝试了可变长度的说话人嵌入。然而,他们忽略了转移个人的发音特征相关的音素内容,导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力,我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系,一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模,并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明,该方法可以提高合成语音的说话人相似度,特别是对未知说话人。
2022-11-11 cs.SD eess.AS
Interpreting Content and Speaker Characteristics in Factorised Self-Supervised Subspaces
Stellenbosch University(斯泰伦博斯大学)
通过SVD分解WavLM特征为内容矩阵和说话人变换,发现内容空间主要编码强度、共振峰和发声,而说话人空间与音高和性别强相关,并可用于语音合成中的精细控制。
2026-10-20 eess.AS
Differentially Private Adversarial Auto-Encoder to Protect Gender in Voice Biometrics
本文提出一种基于对抗自编码器和拉普拉斯机制的差分隐私方法,在说话人嵌入中隐藏性别信息,同时保持说话人验证性能,并在VoxCeleb上验证了隐私与效用的可调权衡。
2023-07-05 eess.AS
UNet-Based Fusion and Exponential Moving Average Adaptation for Noise-Robust Speaker Recognition
The Hong Kong Polytechnic University(香港理工大学);Centre for Speech Technology Research, The University of Edinburgh(爱丁堡大学语音技术研究中心);The University of Hong Kong(香港大学)
本文提出UF-EMA框架,通过多通道输入融合噪声和增强语音,结合指数移动平均策略提升说话人识别在噪声环境中的鲁棒性。
2026-04-28 eess.AS
Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?
NEC Corporation(NEC公司)
本文提出了一种基于注意力机制的深度说话人嵌入的实验研究,该机制已被发现是说话人识别中一种强大的表示学习技术。在这个框架中,一个注意力模型作为一个帧选择器,计算每个帧级特征向量的注意力权重,根据该权重,在说话人嵌入网络的池化层产生一个话语级表示。一般来说,注意力模型与说话人嵌入网络一起在单个目标函数上训练,因此这两个组件彼此紧密结合。在本文中,我们考虑的可能性,注意力模型可能会从它的父网络解耦,并协助其他说话人嵌入网络,甚至传统的i向量提取器。这种可能性是通过一系列的实验证明了NIST的说话人识别评估(SRE)的任务,9.0%的EER减少和3.8%的min_Cprimary减少时,注意力的权重应用到i向量提取。另一个实验表明,基于DNN的柔和语音活动检测(VAD)可以有效地与注意力机制相结合,从而在深度说话人嵌入和i向量系统中分别将minCprimary进一步降低6.6%和1.6%。
2018-09-25 cs.SD eess.AS
Noise-robust voice conversion with domain adversarial training
Northwestern Polytechnical University(西北工业大学);National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
语音转换在过去的几年里取得了很大的进展,在演播室质量的测试场景下,在语音质量和说话人相似性方面。然而,在实际应用中,源说话人或目标说话人的测试语音会受到各种环境噪声的干扰,严重影响语音质量和说话人相似度。在本文中,我们提出了一种新的基于编码器-解码器的噪声鲁棒语音转换框架,该框架包括一个扬声器编码器,一个内容编码器,一个解码器,和两个域对抗神经网络。具体来说,我们将解纠缠扬声器和内容表示技术与域对抗训练技术相结合。领域对抗训练使说话人编码器和内容编码器分别从干净语音和含噪语音中提取出说话人表示和内容表示。以这种方式,学习的说话者和内容表示是噪声不变的。因此,解码器可以将这两个噪声不变表示作为输入,以预测干净的转换频谱。实验结果表明,我们提出的方法可以合成干净的转换语音在嘈杂的测试场景下,源语音和目标语音可以被损坏的训练过程中看到或看不到的噪声类型。此外,语音质量和说话人相似度都得到了提高。
2022-01-26 cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University(新疆大学计算机科学与技术学院);Tsinghua University(清华大学)
针对ASV在噪声下性能下降问题,提出结合噪声解耦与对抗训练的框架,通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失,构建噪声无关的说话人不变嵌入空间,在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
An empirical analysis of information encoded in disentangled neural speaker representations
University of Southern California(南加州大学)
鲁棒说话人表示的主要特征是它们对与说话人身份无关的可变性因素是不变的。说话者表示的解纠缠是用于提高说话者表示对在语音产生期间获得的内在因素(例如,情感,词汇内容)和在信号捕获期间获得的外在因素(例如,信道、噪声)。神经扬声器表示中的解纠缠可以以具有滋扰因素(与扬声器身份无关的因素)的注释的监督方式或以没有要移除的因素的标签的无监督方式来实现。在这两种情况下,重要的是要理解各种可变性因素在表征中纠缠的程度。在这项工作中,我们研究了扬声器表示与无监督解纠缠的信息量,他们捕获的一套相关的因素。使用分类实验,我们提供的经验证据表明,解纠缠减少了信息方面的滋扰因素从扬声器表示,同时保留扬声器信息。这是进一步验证了说话人确认实验上的VOiCES语料库在几个具有挑战性的声学条件。我们还表明,在说话人验证任务中使用数据增强在训练过程中解开说话人嵌入提高了鲁棒性。最后,根据我们的研究结果,我们提供了使用无监督解缠技术可以有效分离的因素的见解,并讨论了潜在的未来方向。
2020-04-08 cs.SD eess.AS
Exploring the Use of an Unsupervised Autoregressive Model as a Shared Encoder for Text-Dependent Speaker Verification
University of California Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一种新的方法来解决文本相关的自动说话人确认(TD-ASV)通过使用一个共享的编码器与特定任务的解码器。自回归预测编码(APC)编码器以无监督的方式使用域外(LibriSpeech,VoxCeleb)和域内(DeepMine)未标记数据集进行预训练,以学习封装扬声器和语音内容的通用高级特征表示。使用标记数据集训练两个特定于任务的解码器来分类说话者(SID)和短语(PID)。使用PLDA对从SID解码器提取的说话者嵌入进行评分。SID和PID系统在评分水平上融合。与跨语言DeepMine数据集上的完全监督x向量基线相比,我们的系统的minDCF相对提高了51.9%。然而,i-vector/HMM方法优于所提出的APC编码器-解码器系统。在PID融合之前,x向量/PLDA基线和SID/PLDA分数的融合进一步将性能提高了15%,表明所提出的方法与x向量系统的互补性。我们表明,所提出的方法可以利用大型,未标记,数据丰富的域,并学习语音模式独立于下游任务。这样的系统可以在测试数据来自数据稀缺域的域不匹配场景中提供有竞争力的性能。
2020-08-08 cs.LG eess.AS
DSARSR: Deep Stacked Auto-encoders Enhanced Robust Speaker Recognition
Central China Normal University(华中师范大学);Hubei University of Technology(湖北工业大学)
本文提出DSARSR方法,用深度堆叠自编码器替代PLDA对i-vector进行低维重构,以增强跨信道鲁棒性,实验表明其性能优于现有最优方法。
2023-07-06 cs.CR cs.SD eess.AS
Disentangled Speaker Representation Learning via Mutual Information Minimization
Seoul National University(首尔国立大学)
由说话人无关特征引起的域失配问题一直是说话人识别中的一个重要课题。在本文中,我们提出了一个明确的解纠缠框架解开扬声器相关的功能,从扬声器无关的功能,通过互信息(MI)最小化。为了实现我们的目标,最大限度地减少MI之间的扬声器相关和扬声器无关的功能,我们采用了对比对数比上限(CLUB),它利用了MI的上限。我们的框架是建立在一个3阶段的结构。首先,在前端编码器中,输入语音被编码成共享的初始嵌入。接下来,在解耦块中,共享的初始嵌入被分成单独的说话者相关嵌入和说话者不相关嵌入。最后,在最后一个阶段通过MI最小化进行解纠缠。远场说话人确认挑战赛2022(FFSVC 2022)上的实验表明,我们提出的框架是有效的解纠缠。此外,为了利用包含大量扬声器的未知域数据集,我们使用VoxCeleb数据集对前端编码器进行了预训练。然后,我们在FFSVC 2022数据集的解纠缠框架中微调了说话人嵌入模型。实验结果表明,使用解纠缠框架对现有预训练模型进行微调是有效的,可以进一步提高性能。
2022-10-12 cs.SD eess.AS
Do End-to-End Neural Diarization Attractors Need to Encode Speaker Characteristic Information?
National Institute of Informatics(信息学国立研究院);Omilia - Conversational Intelligence(Omilia对话智能公司);Athens University of Economics and Business(雅典经济与商业大学);Brno University of Technology(布尔诺理工大学)
本研究通过变分信息瓶颈方法分析EEND-EDA模型的吸引子,发现其无需必含说话人特征信息,但赋予其编码额外信息的自由度可稳定提升性能,且结论可推广至多数EEND变体,为相关系统设计提供参考。
2024-06-20 cs.SD eess.AS
Accent and Speaker Disentanglement in Many-to-many Voice Conversion
Northwestern Polytechnical University(西北工业大学);iQIYI Inc(爱奇艺公司);Databaker (Beijing) Technology Co., Ltd.(北京数据方舟科技有限公司)
本文提出了一种有趣的语音和口音联合转换方法,它可以将任意源说话人的语音转换为具有非母语口音的目标说话人的语音。这个问题是具有挑战性的,因为每个目标说话人只有本地口音的训练数据,并且我们需要在转换模型训练中解开口音和说话人信息,并在转换阶段重新组合它们。在我们的合成-合成转换框架中,我们通过两个建议的技巧来解决这个问题。首先,我们使用口音相关的语音识别器,以获得不同口音的扬声器的瓶颈功能。这旨在消除BN特征中语言信息之外的其他因素,用于转换模型训练。其次,我们建议使用对抗性训练来更好地理清基于编码器-解码器的转换模型中的说话者和口音信息。具体来说,我们将一个辅助说话人分类器插入编码器,用对抗性损失训练,从编码器输出中消除说话人信息。实验表明,我们的方法优于基线。所提出的技巧是非常有效的,在改善重音和音频质量和扬声器相似性很好地保持。
2020-11-17 cs.SD eess.AS
T-vectors: Weakly Supervised Speaker Identification Using Hierarchical Transformer Model
University of Sheffield(谢菲尔德大学)
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种分层网络与Transformer编码器和内存机制来解决这个问题。该模型包括帧级编码器和段级编码器,它们都使用了Transformer编码器模块。Transformer结构中的多头注意力机制可以在输入话语包含多个说话人时更好地捕捉不同的说话人属性。帧级编码器中使用的记忆机制可以建立一个循环连接,更好地捕捉长期的扬声器特征。实验在基于Switchboard Cellular part1(SWBC)和Voxceleb 1数据集的人工数据集上进行。在不同的数据构建场景(Concat和Overlap)下,与四个强基线相比,该模型表现出更好的性能,与H向量和S向量相比,相对性能分别提高了13.3%和10.5%。使用记忆机制与不使用记忆机制相比,相对提高了10.6%和7.7%。
2020-10-29 cs.CL cs.LG cs.SD
What Do Self-Supervised Speech and Speaker Models Learn? New Findings From a Cross Model Layer-Wise Analysis
NTT Corporation(日本电信电话公司)
本文通过SUPERB探测任务和逐层跨模型对比分析,探究语音与说话人自监督模型的表征差异,发现内容表征与说话人表征能力关联弱、语音SSL部分层专于语言信息、说话人SSL重说话人表征而轻语言信息,为模型优化提供依据。
2024-01-31 cs.CL cs.SD eess.AS
Who Spoke What When? Evaluating Spoken Language Models for Conversational ASR with Semantic and Overlap-Aware Metrics
NTT, Inc.(日本NTT公司);CMU(卡内基梅隆大学);BUT(捷克但尼奇技术大学)
本文通过语义和重叠感知指标评估对话ASR模型,发现基于LLM的系统在双人对话中表现良好,但随着说话人数和重叠增加而下降,而模块化流水线方法更稳健。
2026-03-24 cs.CL eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学);Kriston AI Lab(Kriston AI实验室)
说话人提取的目的是模仿人类的选择性听觉注意,从多说话人环境中提取目标说话人的声音。通常在频域中进行提取,并从提取的幅度谱和估计的相位谱重建时域信号。然而,这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发,我们提出了一种时域说话人提取网络(SpEx),它将混合语音转换为多尺度嵌入系数,而不是将语音信号分解为幅度和相位谱。通过这种方式,我们避免了相位估计。SpEx网络由四个网络组件组成,即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说,语音编码器将混合语音转换成多尺度嵌入系数,说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入,并估计接收掩码。最后,语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明,在开放评价条件下,该算法在信失真比(SDR)、尺度不变SDR(SI-SDR)和语音质量感知评价(PESQ)方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
Attention-based Encoder-Decoder End-to-End Neural Diarization with Embedding Enhancer
提出AED-EEND,采用teacher-forcing与迭代解码,引入Enhancer模块与Conformer架构,解决说话人数量未知泛化问题,在CALLHOME、DIHARD II、AMI上达到SOTA。
2023-09-13 cs.SD eess.AS
Towards zero-shot Text-based voice editing using acoustic context conditioning, utterance embeddings, and reference encoders
University of Edinburgh(爱丁堡大学);Meta AI
基于文本的语音编辑(TBVE)使用文本到语音(TTS)系统的合成输出来替换原始录音中的单词。最近的工作使用神经模型来产生编辑后的语音,这些语音在清晰度、说话者身份和韵律方面与原始语音相似。然而,先前工作的一个限制是使用微调来优化性能:这需要对来自目标说话者的数据进行进一步的模型训练,这是一个昂贵的过程,可能会将潜在的敏感数据合并到服务器端模型中。相比之下,这项工作的重点是zero-shot的方法,它避免了微调,而是使用预先训练的说话人验证嵌入与联合训练的参考编码器一起编码话语级信息,帮助捕获方面,如说话人的身份和韵律。主观听音测试发现,在zero-shot设置下,话语嵌入和参考编码器都提高了编辑后的合成语音和未编辑的原始录音之间的说话人身份和韵律的连续性。
2022-10-28 cs.CL cs.SD eess.AS
An Exploration of ECAPA-TDNN and x-vector Speaker Representations in Zero-shot Multi-speaker TTS
NTIS Research Centre(NTIS研究中心);Department of Cybernetics, Faculty of Applied Sciences, University of West Bohemia in Pilsen, Czechia(应用科学学院控制系,西波西米亚大学在比斯伦分校,捷克)
本文在基于 YourTTS 的零样本多说话人 TTS 框架中比较 H/ASP、x-vector 与 ECAPA-TDNN 说话人编码器,发现原始 H/ASP 的说话人相似度表现最佳。
2025-06-25 cs.SD eess.AS
DAME: Duration-Aware Matryoshka Embedding for Duration-Robust Speaker Verification
AI Solution Team, Samsung Research, Seoul, South Korea(三星研究院人工智能解决方案团队,首尔,韩国)
DAME提出一种面向持续时间鲁棒的说话人验证方法,通过构建嵌套子嵌入层次结构,提升短语音和长语音的识别性能。
2026-01-20 cs.AI eess.AS
Attentron: Few-Shot Text-to-Speech Utilizing Attention-Based Variable-Length Embedding
Hyperconnect(超连接公司)
由于对个性化的需求不断增长,出现了对所谓的Few-Shot TTS系统的需求,该TTS系统仅用少量数据克隆扬声器。为了解决这个问题,我们提出Attentron,一个Few-Shot TTS模型,克隆在训练过程中看不见的扬声器的声音。它引入了两种特殊的编码器,每种编码器都有不同的用途。细粒度编码器通过注意力机制提取可变长度的风格信息,粗粒度编码器极大地稳定了语音合成,即使对于合成看不见的说话者的语音也能避免难以理解的胡言乱语。此外,该模型可以扩展到任意数量的参考音频,以提高合成语音的质量。根据我们的实验,包括人的评价,该模型显着优于国家的最先进的模型时,生成语音的说话人相似性和质量方面看不见的发言人。
2020-08-12 cs.SD eess.AS
PseudoVC: Improving One-shot Voice Conversion with Pseudo Paired Data
Tencent Youtu Lab(腾讯优图实验室)
本文提出PseudoVC方法,通过Pseudo Conversion信息扰动和Speaker Sampling策略分别解决一次性语音转换中内容编码器与说话人编码器的训练推理不匹配问题,实验表明其性能优于现有公开VC模型。
2025-06-01 cs.SD eess.AS
Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion
Human-Computer Communications Laboratory(人机通信实验室);The Chinese University of Hong Kong(香港中文大学);SpeechX Limited(SpeechX有限公司);University of Cambridge(剑桥大学)
虽然典型语音的语音转换(VC)已经取得了显著的进展,但是对于非典型语音的VC,例如,构音障碍和第二语言(L2)语音仍然是一个挑战,因为它涉及在保持说话者身份的同时纠正非典型韵律。为了解决这个问题,我们提出了一个具有显式韵律建模和深度说话人嵌入(DSE)学习的VC系统。首先,语音编码器努力从非典型语音中提取鲁棒的音素嵌入。第二,韵律校正器接收音素嵌入以推断典型的音素持续时间和音高值。第三,转换模型将音素嵌入和典型韵律特征作为输入以生成转换后的语音,条件是通过扬声器编码器或扬声器自适应学习的目标DSE。大量的实验表明,说话人自适应可以实现更高的说话人相似度,和说话人编码器为基础的转换模型,可以大大减少构音障碍和非母语发音模式,提高语音可懂度。对构音障碍语音和转换语音的语音识别结果的比较表明,该方法可以实现47.6%的字符错误率(CER)和29.3%的单词错误率(WER)的绝对降低。
2021-06-17 cs.CL cs.SD eess.AS
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI(亚马逊 AWS 人工智能)
我们介绍BERTphone,一个Transformer编码器训练的大型语音语料库,输出语音感知的上下文表示向量,可用于扬声器和语言识别。这是通过对两个目标的训练来实现的:第一个目标,受BERT适应连续域的启发,涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标,受ASR瓶颈特征的成功启发,是应用于音素标签的序列级CTC损失,用于语音表示学习。我们预训练了两个BERTphone模型(一个在Fisher上,一个在TED-LIUM上),并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中,我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中,我们看到在BERTphone向量而不是MFCC上训练时,说话人EER相对降低了18%。一般来说,BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
Probing the Information Encoded in X-vectors
Center for Language and Speech Processing(语言与语音处理中心);Human Language Technology Center of Excellence(人类语言技术卓越中心);The Johns Hopkins University(约翰斯·霍普金斯大学)
基于深度神经网络的说话人嵌入,如x向量,已被证明在文本无关的说话人识别/验证任务中表现良好。在本文中,我们使用简单的分类器来研究x-向量嵌入编码的内容。我们探测这些嵌入的信息相关的扬声器,通道,转录(句子,单词,电话),Meta信息的话语(持续时间和增强类型),并将这些与信息编码的i向量在不同数量的维度。我们还研究了在提取器训练期间数据增强对x向量捕获的信息的影响。在RedDots数据集上的实验表明,x向量捕获口语内容和通道相关信息,同时在说话人验证任务中表现良好。
2019-09-30 cs.CL cs.SD eess.AS
Speaker Embedding-aware Neural Diarization: an Efficient Framework for Overlapping Speech Diarization in Meeting Scenarios
Speech Lab, Alibaba Group, China(阿里巴巴集团语音实验室, China(注:此处原机构中的“China”为国家名,按要求中文翻译仅保留机构名本身,不加入国家信息,正确中文翻译应为“阿里巴巴集团语音实验室”))
传统上,重叠语音分类被视为一个多标签分类问题。在本文中,我们将此任务重新表述为单标签预测问题,通过将多个二进制标签编码为具有幂集的单个标签,该幂集代表目标说话者的可能组合。这种提法有两个好处。首先,目标说话人的重叠显式建模。第二,不再需要阈值选择。通过这个公式,我们提出了扬声器嵌入感知神经日记(SEND)框架,其中语音编码器,扬声器编码器,两个相似性评分器和后处理网络联合优化,以预测编码标签根据语音特征和扬声器嵌入之间的相似性。实验结果表明,SEND具有稳定的学习过程,可以在高度重叠的数据上进行训练,而无需额外的初始化。更重要的是,我们的方法实现了国家的最先进的性能,在真实的会议场景与较少的模型参数和较低的计算复杂性。
2022-03-31 cs.LG cs.MM cs.SD
Unified Shared Encoder in Spoof-Aware Speaker Verification with Hybrid Wavelet Prompt Tuning
University of Zurich(苏黎世大学);Idiap Research Institute(Idiap研究所);Brno University of Technology(布尔诺理工大学)
本文提出统一共享编码器结合混合小波提示调优,解决防欺骗说话人验证中效率与准确性的权衡,仅训练少量参数即超越双编码器级联,并在现实威胁下保持稳健。
2026-10-08 cs.SD eess.AS
Decoupling Speaker-Independent Emotions for Voice Conversion Via Source-Filter Networks
Osaka University(大阪大学);Curtin University(科廷大学);National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);CyberAgent, Inc.(赛博代理公司)
情感语音转换(VC)的目的是将一个中性的声音转换成一个情感(如快乐),同时保留语言信息和说话人身份。我们注意到,情感特征与其他语音信息(如说话人、内容等)的解耦,是取得卓越业绩的关键由于情感语音的声学特性更为复杂,近年来一些关于中性语音的语音表示解耦的尝试不能很好地用于情感语音。为了解决这个问题,在这里,我们提出了一种新的基于源过滤器的情感VC模型(SFEVC),实现适当的过滤扬声器独立的情感特征的音色和音高功能。我们的SFEVC模型包括多通道编码器,情感分离编码器,和一个解码器。注意,所有编码器模块均采用了设计的信息瓶颈自动编码器。此外,为了进一步提高各种情绪的转换质量,提出了一种新的基于2D Valence-Arousal(VA)空间的两阶段训练策略。实验结果表明,所提出的SFEVC以及两个阶段的训练策略优于所有基线,并实现了最先进的性能,在说话人无关的情感VC与非并行数据。
2021-10-04 cs.LG cs.SD eess.AS
Learning Speaker Representations with Mutual Information
Mila(米拉研究所)
学习好的表示在深度学习中至关重要。互信息(MI)或类似的统计依赖性测量是以无监督的方式学习这些表示的有前途的工具。尽管两个随机变量之间的互信息很难在高维空间中直接测量,但最近的一些研究表明,可以使用类似于生成对抗网络(GANs)的编码器-网络架构来实现MI的隐式优化。在这项工作中,我们学习表示,捕获扬声器的身份,通过最大限度地提高从同一句话中随机采样的语音块的编码表示之间的互信息。所提出的编码器依赖于SincNet架构,并将原始语音波形转换成一个紧凑的特征向量。该算法由正样本(编码块的联合分布)或负样本(来自边缘的乘积)提供,并被训练以分离它们。我们报告的实验表明,这种方法有效地学习有用的说话人表示,导致说话人识别和验证任务的有希望的结果。我们的实验考虑了无监督和半监督设置,并比较了不同目标函数的性能。
2019-04-05 cs.CL cs.LG cs.NE
Mixture factorized auto-encoder for unsupervised hierarchical deep factorization of speech signal
The Chinese University of Hong Kong(香港中文大学)
语音信号是由语言内容、说话人特征等多种信息因素构成和贡献的。最近有一些值得注意的研究试图将语音信号分解为这些单独的因素,而不需要任何注释。这些研究通常假设语言内容的连续表示,这是不符合一般的语言学知识,可能会使说话人信息的提取不太成功。本文提出了用于无监督深度因子分解的混合因子分解自动编码器(mFAE)。mFAE的编码器部分包括帧标记器和话语嵌入器。框架标记器用离散分类分布对输入语音的语言内容进行建模。它通过为每个帧分配软混合标签来执行帧聚类。话语嵌入器生成话语级矢量表示。帧解码器用于从编码器的输出重建语音特征。在说话人确认(SV)任务和无监督子词建模(USM)任务上对mFAE进行评估。在VoxCeleb 1上的SV实验表明,该话语嵌入器能够提取说话者区分嵌入,其性能与x向量基线相当。在ZeroSpeech 2017数据集上的USM实验验证了帧标记器能够捕获语言内容,话语嵌入器可以获取说话人相关信息。
2019-10-30 cs.LG cs.MM cs.SD
Human-in-the-loop Speaker Adaptation for DNN-based Multi-speaker TTS
The University of Tokyo(东京大学)
提出了一种适用于多说话人文本到语音转换的人在回路说话人自适应方法。与传统的说话人自适应方法,目标说话人的嵌入向量提取他/她的参考语音使用的说话人编码器上训练的说话人判别任务。然而,当参考语音不可用时,该方法不能获得目标说话人的嵌入向量。我们的方法是基于一个人在回路优化框架,其中包括用户探索说话人嵌入空间,以找到目标说话人的嵌入。所提出的方法使用顺序线搜索算法,反复要求用户在嵌入空间中的线段上选择一个点。为了有效地从多个刺激中选择最佳语音样本,我们还开发了一个系统,在该系统中,用户可以在循环话语时为每个音素在多个扬声器的声音之间切换。实验结果表明,即使参考语音不直接作为说话人编码器的输入,该方法在客观评价和主观评价方面都能达到与传统方法相当的性能。
2022-06-21 cs.HC cs.NE cs.SD
Effective Incorporation of Speaker Information in Utterance Encoding in Dialog
Graduate School of Informatics(信息学研究生院);Kyoto University(京都大学)
在对话研究中,我们经常使用分层编码器对对话进行编码,其中每个话语被转换为话语向量,然后话语向量序列被转换为对话向量。由于知道谁产生了哪个话语对于理解对话是必不可少的,因此传统方法尝试将说话者标签整合到话语向量中。我们发现该方法在某些情况下,扬声器注释是不一致的不同的对话。针对这一问题,提出了一种相对说话人建模方法.对对话行为识别和响应生成的实验结果表明,该方法具有更好的一致性。
2019-07-12 cs.CL cs.LG cs.SD
Unsupervised Speaker Adaptation using Attention-based Speaker Memory for End-to-End ASR
MERL(三菱电机研究实验室)
我们提出了一种无监督的说话人自适应方法的启发神经图灵机的端到端(E2 E)自动语音识别(ASR)。该模型包含一个内存块,该内存块保存从训练数据中提取的说话者i向量,并通过注意力机制从内存中读取相关的i向量。所得到的记忆向量(M向量)被连接到声学特征或E2 E神经网络模型的隐藏层激活。E2 E ASR系统基于联合连接主义时间分类和基于注意力的编码器-解码器架构。使用WSJ和TED-LIUM 2 ASR基准测试将M向量和i向量结果进行比较,以将它们插入编码器神经网络的不同层。我们表明,M-向量,这不需要一个辅助扬声器嵌入提取系统在测试时,实现类似的词错误率(WRs)相比,i-向量的单扬声器的话语和显着降低WRs的话语中,有扬声器的变化。
2020-02-14 cs.CL cs.LG cs.SD
Speakers Localization Using Batch EM In Unfolding Neural Network
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
本文提出一种可解释的批量EM展开网络,通过将迭代EM过程嵌入编码器-EM-解码器架构中,提高了鲁棒性和收敛性,实验显示在回声条件下性能优于传统批量EM方法。
2026-03-17 eess.AS eess.SP
Disentangled Representation Learning for Environment-agnostic Speaker Recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院);Naver Cloud Corporation(Naver云公司);Carnegie Mellon University(卡内基梅隆大学)
本研究提出基于特征解耦的环境无关说话人识别框架,用自编码器分离说话人相关特征与环境残差信息,可兼容任意现有嵌入提取器,实验验证最高提升16%性能且代码开源。
2024-06-20 cs.SD eess.AS
VCVTS: Multi-speaker Video-to-Speech synthesis via cross-modal knowledge transfer from voice conversion
Tencent AI Lab(腾讯人工智能实验室)
虽然已经取得了显着的进展,扬声器相关的视频语音合成(VTS),很少有人关注多扬声器VTS,可以映射无声的视频到语音,同时允许灵活控制扬声器的身份,所有在一个单一的系统。提出了一种基于语音转换(VC)跨模态知识传递的多说话人VTS系统,其中VC的内容编码器采用矢量量化对比预测编码(VQCPC),得到离散的音素类声学单元,并将其传递到Lip2Ind网络,以推断声学单元的索引序列.然后,Lip2Ind网络可以替代VC的内容编码器,以形成多扬声器VTS系统,将无声视频转换为声学单元,以重建准确的语音内容。VTS系统还继承了VC的优点,通过使用说话人编码器来产生说话人表示,以有效地控制所生成的语音的说话人身份。广泛的评估验证了所提出的方法的有效性,它可以应用于限制的词汇和开放的词汇条件下,实现国家的最先进的性能,在生成高质量的语音具有高自然度,可懂度和说话人相似性。我们的演示页面在这里发布:https://wendison.github.io/VCVTS-demo/
2022-02-18 cs.AI cs.CV cs.MM
Character Identity is not Speaker Identity: KyaraBench and KyaraEmbed for Character Verification
Spellbrush
针对角色身份与说话人身份不同的问题,提出 KyaraBench 基准和 KyaraEmbed 编码器,直接验证角色声音,并在所有角色特定条件下取得最优性能。
2026-10-06 cs.SD eess.AS
Magnitude-aware Probabilistic Speaker Embeddings
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
最近,超球面嵌入已经成为人脸和语音识别的主要技术。具体来说,学习欧几里得空间向量嵌入以在其方向上编码特定于人的信息,而忽略幅度。然而,最近的研究表明,深度神经网络提取的嵌入的大小可能表明相应输入的质量。本文探讨了嵌入的质量评估和分布外检测相关的幅度的性质。我们提出了一种新的概率说话人嵌入提取器,使用嵌入幅度编码的信息,并利用它在说话人验证管道。我们还提出了几种质量感知的日记化方法,并将这些方法中的幅度。我们的研究结果表明,无论是在扬声器验证和日记任务的幅度不可知的基线显着改善。
2022-10-23 cs.LG cs.SD eess.AS
Universal Speaker Embedding Free Target Speaker Extraction and Personal Voice Activity Detection
School of Computer Science, Wuhan University, Wuhan, China(武汉大学计算机学院);Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University, Kunshan, China(多模态智能系统苏州市重点实验室、数字创新研究中心、杜克昆山大学)
针对说话人日志与目标说话人提取存在的输出不一致和场景不匹配问题,提出联合执行TSE和PVAD的USEF-TP模型,采用交叉注意力帧级特征与场景感知多任务学习,在多个数据集上取得优异或有竞争力的性能。
2025-05-19 cs.SD eess.AS
Unsupervised Learning of Disentangled Speech Content and Style Representation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Google LLC(谷歌有限责任公司)
我们提出了一种无监督学习的语音表示解开内容和风格的方法。我们的模型包括:(1)捕获每帧信息的局部编码器;(2)捕获每话语信息的全局编码器;以及(3)在给定局部和全局潜在变量的情况下重构语音的条件解码器。实验结果表明:(1)局部隐变量对语音内容进行编码,即使采用不同的全局编码,重构语音也能以较低的词出错率(WER)被ASR识别;(2)全局隐变量对说话人风格进行编码,重构语音与全局编码的源话语具有说话人身份。此外,我们展示了一个有用的应用程序,从我们的预训练模型,我们可以训练的说话人识别模型的全球潜在变量,并实现高精度的微调与尽可能少的数据,每个扬声器一个标签。
2021-06-20 cs.CL cs.SD eess.AS
A Unified Speaker Adaptation Method for Speech Synthesis using Transcribed and Untranscribed Speech with Backpropagation
National Institute of Informatics(国立信息学研究所);SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学);University of Edinburgh(爱丁堡大学)
通过将说话人特征表示为单独从语音中提取的单个固定长度的向量,我们可以通过对这些向量进行调节来训练神经多说话人语音合成模型。该模型也可以适应于看不见的扬声器,无论适应数据的转录是否可用。然而,这种设置将扬声器分量限制为仅单个偏置向量,这又限制了自适应过程的性能。在这项研究中,我们提出了一种新的语音合成模型,它可以适应于看不见的扬声器微调部分或全部的网络使用转录或未转录的语音。我们的方法基本上包括两个步骤:第一,我们分裂成一个独立于说话者(SI)的语言编码器和一个说话者自适应(SA)的声学解码器的传统声学模型;第二,我们训练一个辅助声学编码器,可以用作语言编码器的替代品时,语言功能是无法获得的。客观和主观评价的结果表明,适应使用转录或未转录的语音与我们的方法实现了一个合理的水平的性能与极其有限的数据量,并大大提高了性能与更多的数据。令人惊讶的是,适应与未转录的语音超过了转录对应的主观测试,这揭示了传统的声学模型的局限性,并提示潜在的改进方向。
2019-10-08 cs.CL cs.LG cs.SD
SpatialEmb: Extract and Encode Spatial Information for 1-Stage Multi-channel Multi-speaker ASR on Arbitrary Microphone Arrays
Center for Language and Speech Processing, Johns Hopkins University(语言与语音处理中心,约翰霍普金斯大学);Tencent AI Lab(腾讯AI实验室)
本文提出轻量级模块SpatialEmb,直接为ASR模型提取和编码空间信息,支持任意麦克风拓扑,提升多通道多说话人ASR性能。
2026-01-25 cs.AI cs.SD eess.AS
End-to-End Voice Conversion with Information Perturbation
Tencent AI Lab(腾讯人工智能实验室)
语音转换的理想目标是将源说话人的语音转换成自然的目标说话人的语音,同时保持源语音的语言内容和韵律。然而,目前的方法是不足以实现全面的源韵律转移和目标说话人的音质保持在转换后的语音,和转换后的语音的质量也是不满意的,由于声学模型和声码器之间的不匹配。在本文中,我们利用信息扰动的最新进展,并提出了一个完全端到端的方法来进行高质量的语音转换。我们首先采用信息扰动去除源语音中的说话人相关信息,以解开说话人音色和语言内容,从而语言信息随后由内容编码器建模。为了更好地将源语音的韵律传递给目标语音,我们特别引入了一个与说话人相关的基音编码器,它可以保持源说话人的一般基音模式,同时灵活地修改生成语音的基音强度。最后,通过连续说话人空间建模建立单次语音转换。实验结果表明,所提出的端到端的方法显着优于国家的最先进的模型在可懂度,自然度和说话人相似性。
2022-06-15 cs.SD eess.AS
Whisper Speaker Identification: Leveraging Pre-Trained Multilingual Transformers for Robust Speaker Embeddings
Hokkaido Denshikiki Co., Ltd.(北海道电気器株式会社);Barisal Information Technology College (BITC)(巴里萨尔信息技术学院(BITC))
本文提出WSI框架,将多语言预训练Whisper编码器与在线难例三元组挖掘及自监督NT-Xent损失相结合,在多语种语料上显著降低等错误率并提升AUC。
2025-03-13 cs.AI cs.SD eess.AS
End-to-end streaming model for low-latency speech anonymization
针对现有语音匿名化方法计算资源需求高、难适配实时流式场景的问题,提出基于端到端自编码器的低延迟流式匿名化模型,通过三类解耦表示合成语音,精简版在66ms延迟下仍保持最先进的自然度、可懂度与隐私保护性能。
2024-10-31 cs.CL cs.LG eess.AS
You Are What You Say: Exploiting Linguistic Content for VoicePrivacy Attacks
International Audio Laboratories Erlangen(国际音频实验室埃朗根);Department of Data Science(数据科学系);Department of Electrical and Electronics Engineering(电气与电子工程系);Friedrich-Alexander-University Erlangen-Nürnberg(弗里德里希-亚当-大学埃朗根-纽伦堡);Fraunhofer IIS(弗劳恩霍夫研究所IIS);Trinity College Dublin(都柏林三一学院)
本文研究了语音隐私保护系统中语言内容对语音隐私攻击的影响,通过调整BERT模型作为自动说话人验证系统,评估了说话人内部语言内容相似性对攻击性能的影响,并提出改进语音隐私数据集以实现更公平的隐私评估。
2026-05-20 cs.CL eess.AS