Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University(哈利法大学);Mohammed VI Polytechnic University(穆罕默德六世理工大学);University of Sharjah(沙迦大学)
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法,将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件,从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法,使用预先训练的深度神经网络掩码和语音VGG,在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能,在瑞尔森视听数据集(RAVDESS)、模拟和实际压力下的语音数据集(SUSAS)和阿拉伯口音语音数据集(ESD)上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
Robust Training for Speaker Verification against Noisy Labels
School of Information Science and Engineering(信息科学与工程学院);Xinjiang Key Laboratory of Signal Detection and Processing(新疆信号检测与处理重点实验室);Department of Electronic Engineering(电子工程系);School of Electronic Science and Engineering(电子科学与工程学院)
本文提出两阶段学习方法过滤说话人数据集中的噪声标签,通过OR-Gate与top-k机制选择干净标签数据提升验证性能。
2023-05-25 cs.SD eess.AS
Two-stage model and optimal SI-SNR for monaural multi-speaker speech separation in noisy environment
在日常的听音环境中,语音常常受到背景噪声、室内混响和扬声器干扰的影响而失真。随着深度学习方法的发展,单耳多说话人语音分离研究取得了很大进展。然而,在这方面的研究大多集中在一个简单的问题设置的实验室环境中,没有考虑背景噪声和房间混响。在本文中,我们提出了一个基于conv-TasNet的两阶段模型,分别处理噪声和干扰扬声器的显着影响,其中使用深度扩展时间卷积网络(TCN)依次进行增强和分离。此外,我们提出了一种新的目标函数,称为最佳尺度不变信噪比(OSI-SNR),它在任何情况下都优于原来的SI-SNR。通过与OSI-SNR联合训练两阶段模型,我们的算法大大优于一阶段分离基线。
2020-08-01 cs.SD eess.AS
Joint Separation and Denoising of Noisy Multi-talker Speech using Recurrent Neural Networks and Permutation Invariant Training
Aalborg University(奥尔堡大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出使用话语级排列不变训练(uPIT)的说话人无关的多说话人语音分离和去噪,同时。具体而言,我们使用uPIT训练深度双向长短期记忆(LSTM)循环神经网络(RNN),用于在多种噪声条件下(包括合成和真实噪声信号)进行单通道说话者独立的多说话者语音分离。我们专注于我们的实验依赖于各种类型的先验知识,例如在噪声类型和同时发言者的数量的模型的泛化能力和噪声鲁棒性。我们表明,在噪声环境中使用uPIT训练的深度双向LSTM RNN可以提高信号失真比(SDR)以及扩展的短时客观可懂度(ESTOI)测量,对于各种噪声类型和信噪比(SNR),在说话人独立的多说话人语音分离和去噪任务中。具体来说,我们首先表明,当使用已知的噪声类型进行评估时,LSTM RNN可以实现较大的SDR和ESTOI改进,并且单个模型能够处理多种噪声类型,性能仅略有下降。此外,我们证明了单个LSTM RNN可以处理两个扬声器和三个扬声器的噪声混合,而无需关于扬声器确切数量的先验知识。最后,我们证明了使用uPIT训练的LSTM RNN可以很好地推广到训练过程中看不到的噪声类型。
2017-08-31 cs.SD eess.AS
Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
语音去混响的一种有前途的方法是基于监督学习,其中训练深度神经网络(DNN)以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识,并且很少明确地利用混响中的线性滤波器结构,即,该混响由房间脉冲响应(RIR)和干源信号之间的线性卷积产生。在这项工作中,我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号,然后识别作为估计的直接路径信号的衰减和延迟副本的信号,因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响,也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本,我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器(或RIR)。然后,我们修改所提出的算法,在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB,SMS-WSJ,和WHAMR!数据集。
2021-11-10 cs.SD eess.AS
Target Speaker Extraction through Comparing Noisy Positive and Negative Audio Enrollments
Department of Computer Science, University of Oxford(计算机科学系,牛津大学)
本文提出通过比较噪声正样本与负样本音频提取目标说话人,提升单声道语音提取性能。
2025-12-05 cs.AI cs.SD eess.AS
CASA-Based Speaker Identification Using Cascaded GMM-CNN Classifier in Noisy and Emotional Talking Conditions
University of Sharjah(沙迦大学);The University of Tokyo(东京大学)
本文的工作旨在提高文本无关的说话人辨识在实际应用中的性能,如嘈杂和情绪化的谈话条件。这是通过合并两个不同的模块来实现的:用于降噪的基于计算听觉景物分析CASA的预处理模块和用于说话人辨识的级联高斯混合模型卷积神经网络GMM-CNN分类器,然后是情感识别。本研究提出并评估了一种新的算法,以提高说话人辨识的准确性,在情绪和高噪声敏感条件。实验表明,该模型产生有前途的结果与其他分类器相比,语音在模拟和实际压力SUSAS数据库,阿联酋语音数据库ESD,瑞尔森视听数据库的情感语音和歌曲RAVDESS数据库和流利的语音命令数据库在嘈杂的环境中使用。
2021-02-11 cs.AI cs.SD eess.AS
Data augmentation versus noise compensation for x- vector speaker recognition systems in noisy environments
Avignon University(阿维尼翁大学)
可用语音数据的爆炸式增长和基于深度神经网络(DNN)的新说话人建模方法已经赋予了开发更鲁棒的说话人识别系统的能力。在DNN说话人建模技术中,x向量系统在噪声环境中表现出一定程度的鲁棒性。先前的研究表明,通过增加训练数据中说话人的数量和使用数据增强,可以在噪声环境中实现更鲁棒的说话人识别系统。在这项工作中,我们想知道,如果显式噪声补偿技术继续有效,尽管这些系统的一般噪声鲁棒性。在这项研究中,我们将使用两个不同的x向量网络:第一个在Voxceleb1(协议1)上训练,第二个在Voxceleb1 + Voxveleb2(协议2)上训练。我们建议在评分之前添加一个去噪x向量子系统。实验结果表明,在协议2中使用的x-向量系统是更强大的比另一个使用协议1。尽管有这种观察,我们将表明,显式噪声补偿在两个协议中几乎相同的EER相对增益。例如,在Protocol2中,我们使用去噪技术将EER提高了21%到66%。
2020-06-29 cs.CL cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University(新疆大学计算机科学与技术学院);Tsinghua University(清华大学)
针对ASV在噪声下性能下降问题,提出结合噪声解耦与对抗训练的框架,通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失,构建噪声无关的说话人不变嵌入空间,在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
Single-Microphone Speaker Separation and Voice Activity Detection in Noisy and Reverberant Environments
Bar-Ilan University(巴伊兰大学)
针对嘈杂与混响环境,提出单麦克风说话人分离网络Sep-TFAnet及其结合VAD的变体,基于TCN和STFT/iSTFT实现,并验证了其在真实录音上优于竞争方法的泛化能力。
2024-01-07 cs.SD eess.AS
Improving RNN Transducer With Target Speaker Extraction and Neural Uncertainty Estimation
Tencent AI Lab(腾讯AI实验室)
目标说话人语音识别的目的是从含有背景噪声和干扰说话人的噪声环境中识别出目标说话人的语音。本文提出了一种结合时域目标说话人语音提取和递归神经网络转换器(RNN-T)的联合框架。为了稳定联合训练,我们提出了一种多阶段的训练策略,在联合训练之前对系统中的每个模块进行预训练和微调。同时,说话人身份和语音增强的不确定性措施,提出了补偿残余噪声和文物从目标语音提取模块。实验结果表明,与基于目标语音提取模型的识别器相比,加入神经元不确定性模块后,在有背景噪声的多说话人信号中,相对特征出错率(CER)降低了17%.多条件实验表明,我们的方法可以实现9%的相对性能增益在噪声条件下,而保持在清洁条件下的性能。
2021-02-26 cs.SD eess.AS
Quantifying Cochlear Implant Users' Ability for Speaker Identification using CI Auditory Stimuli
University of Texas at Dallas(德克萨斯大学达拉斯分校)
说话人识别是一种生物识别方式,它使用潜在的语音信息来确定说话人的身份。噪声条件下的说话人辨识(SID)是语音处理领域中具有挑战性的课题之一,特别是当涉及到人工耳蜗(CI)个体时。本研究分析并量化了CI用户基于直接电听觉刺激进行说话人辨识的能力。CI用户使用有限数量的频带(8至22),并使用电极直接刺激基底膜/耳蜗,以便识别语音信号。CI频率范围内的电刺激的稀疏性是人类语音识别以及SID性能损失的主要原因。因此,假设CI用户可能无法识别和区分给定相关信息(例如共振峰频率、音高等)的扬声器,这些信息会丢失给未模拟的电极。为了量化该假设,使用CI高级组合编码器(ACE)信号处理策略来处理输入语音信号以构建CI听觉电描记图。建议的研究使用50扬声器从三个不同的数据库中的每一个使用两个不同的分类器在安静的情况下训练系统,并在安静和嘈杂的条件下进行测试。客观结果表明,CI用户可以有效地识别有限数量的说话人。然而,当系统中添加更多扬声器以及引入噪声条件时,它们的性能会降低。因此,该信息可以用于改进CI用户信号处理技术以改进人类SID。
2019-07-31 cs.SD eess.AS
PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation Extraction
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);University of Eastern Finland(东芬兰大学)
语音增强旨在通过抑制背景噪声来改善语音信号的感知质量。然而,过度的抑制可能会导致语音失真和说话人信息丢失,从而降低说话人嵌入提取的性能。为了缓解这个问题,我们提出了一个端到端的深度学习框架,称为PL-EESR,用于鲁棒的说话人表示提取。该框架基于说话人辨识任务的反馈和原始语音信号与其噪声版本之间的高级感知偏差进行优化。我们分别在嘈杂和干净的环境中进行说话人确认任务,以评估我们的系统。与基线相比,我们的方法在干净和嘈杂的环境中都表现出更好的性能,这意味着我们的方法不仅可以增强说话人相关信息,而且可以避免增加失真。
2021-10-03 cs.AI cs.SD eess.AS
Training Multi-Task Adversarial Network for Extracting Noise-Robust Speaker Embedding
Xiamen University(厦门大学);Huawei Media Technology Institute(华为媒体技术研究院)
在噪声环境下,如何实现说话人识别的鲁棒性仍然是一个具有挑战性的课题。受多任务训练在各种图像处理任务中的良好表现的启发,我们探索了多任务对抗训练学习噪声鲁棒说话人嵌入的潜力。在本文中,我们提出了一种新的框架,它由三个部分组成:一个编码器,提取噪声鲁棒的扬声器嵌入;分类器,分类的扬声器;一个鉴别噪声类型的扬声器嵌入。此外,我们还提出了一种以训练精度为指标的训练策略,以稳定多类对抗优化过程。我们在英语和汉语语料库上进行了实验,实验结果表明,我们提出的多任务对抗训练方法可以大大优于其他方法,在嘈杂的环境中没有对抗训练。实验结果表明,该方法在纯净环境下也能提高说话人确认性能。
2019-05-12 cs.SD eess.AS
Source -Free Domain Adaptation for Speaker Verification in Data-Scarce Languages and Noisy Channels
Afeka Center for Language Processing(阿费卡语言处理中心);Afeka Tel-Aviv College of Engineering(阿费卡特拉维夫工程学院)
本文研究在数据稀缺语言和噪声信道下,无需访问源数据的说话人验证域自适应方法,比较不同规模有标签数据的微调策略,并提出迭代聚类-学习算法处理无标签目标数据。
2024-06-09 cs.LG cs.SD eess.AS
On the use of DNN Autoencoder for Robust Speaker Recognition
Brno University of Technology(布尔诺理工大学);IT4I Center of Excellence(IT4I卓越中心)
在本文中,我们分析了用于语音增强、去混响和去噪的基于DNN的自动编码器。目标应用是一个鲁棒的说话人识别系统。我们首先使用人工噪声和混响数据来增强Fisher数据库,然后训练自动编码器将噪声和混响语音映射到其干净版本。我们使用自动编码器作为一个国家的最先进的文本无关的说话人识别系统的预处理步骤。我们比较了纯自动编码器增强,多条件PLDA训练及其同时使用所取得的结果。我们提出了一个详细的分析与各种条件下的NIST SRE 2010,PRISM和人为损坏的NIST SRE 2010电话条件。我们的结论是,建议的预处理显着优于基线,这种技术可以用来建立一个强大的说话人识别系统的混响和噪声数据。
2018-11-07 cs.SD eess.AS
A Stage-Wise Learning Strategy with Fixed Anchors for Robust Speaker Verification
National University of Defense Technology, Changsha, China(国防科技大学,长沙,中国);University of Science and Technology of China, Hefei, China(中国科学技术大学,合肥,中国)
本文提出一种基于固定锚点的分阶段学习策略,用于在噪声条件下提高语音验证的鲁棒性和判别性。
2026-01-18 cs.SD eess.AS
Audio-Visual Target Speaker Extraction with Reverse Selective Auditory Attention
National University of Singapore(新加坡国立大学);University of Science and Technology Beijing(北京科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big data(深圳大数据研究院);University of Bremen(不来梅大学)
本文提出一种新颖的选择性听觉注意力机制,通过估计并利用不期望的含噪信号设计SEANet框架,有效抑制干扰说话人和非语音信号,在五个数据集上取得最先进的音视频目标说话人提取性能。
2025-03-03 cs.SD eess.AS
Speaker recognition with two-step multi-modal deep cleansing
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
基于神经网络的说话人识别近年来取得了显著的进展。鲁棒的说话人表示从训练集中的硬样本和简单样本中学习有意义的知识,以实现良好的性能。然而,噪声样本(即,具有错误标签)会引起混淆,并导致网络学习不正确的表示。在本文中,我们提出了一个两步的视听深度净化框架,以消除说话人表示学习中的噪声标签的影响。这个框架包含一个粗粒度的清洗步骤来搜索特殊的样本,然后是一个细粒度的清洗步骤来过滤掉嘈杂的标签。我们的研究从一个高效的视听说话人识别系统开始,该系统在Vox-O、E和H测试集上分别达到了接近完美的等误率(EER)0.01%、0.07%和0.13%。使用所提出的多模态净化机制,四个不同的说话人识别网络实现了平均5.9%的改进。代码已在以下网址提供:\textcolor{magenta}{\url{https://github.com/TaoRuijie/AVCleanse}}。
2022-10-28 cs.SD eess.AS eess.SP
CrossNet: Leveraging Global, Cross-Band, Narrow-Band, and Positional Encoding for Single- and Multi-Channel Speaker Separation
The Ohio State University(俄亥俄州立大学)
本研究提出用于说话人分离的CrossNet复频谱映射架构,融合多维度时频相关性与随机块位置编码,在多场景任务上达SOTA,训练更高效且适配多麦克风场景。
2024-03-06 cs.SD eess.AS
Noise Invariant Frame Selection: A Simple Method to Address the Background Noise Problem for Text-independent Speaker Verification
University of Nottingham(诺丁汉大学);Temple University(天普大学);Imperial College London(伦敦帝国理工学院);Augsburg University(奥格斯堡大学);Shenzhen University(深圳大学)
在实际应用中,说话人相关系统的性能通常会严重下降,这主要是由于背景噪声的存在。为了提高这种系统在未知噪声环境中的鲁棒性,本文提出了一种简单的预处理方法,称为噪声不变帧选择(NIFS)。该算法根据噪声约束条件,从语音中选择噪声不变性帧来表征说话人。在TIMIT数据库上进行的实验表明,在不同信噪比的未知噪声环境中,NIFS能显著提高矢量量化(VQ)、高斯混合模型-通用背景模型(GMM-UBM)和基于i矢量的说话人确认系统的性能。同时,当我们改变约束条件(超参数)或特征时,所提出的基于NIFS的说话人确认系统达到相似的性能,这表明它是鲁棒的,易于重现。由于NIFS是作为一个通用算法设计的,它可以进一步应用到其他类似的任务。
2018-05-03 cs.CV cs.SD eess.AS
Attention-based multi-task learning for speech-enhancement and speaker-identification in multi-speaker dialogue scenario
National Chiao Tung University(国立交通大学);Academia Sinica(中央研究院);Yuan Ze University(元智大学)
多任务学习(MTL)和注意机制已被证明可以有效地提取鲁棒的声学特征,用于噪声环境中的各种语音相关任务。在这项研究中,我们提出了一个基于注意力的MTL(ATM)的方法,集成MTL和注意力加权机制,同时实现多模型学习结构,执行语音增强(SE)和说话人识别(SI)。ATM系统由三部分组成:SE、SI和Attention-Net(AttNet)。SE部分由长短期记忆(LSTM)模型组成,深度神经网络(DNN)模型用于开发SI和AttNet部分。整个ATM系统首先提取代表性特征,然后在LSTM-SE中增强语音信号,并在DNN-SI中指定说话人身份。AttNet基于DNN-SI计算权重,为LSTM-SE准备更好的代表性特征。我们在噪音测试句子中测试了所提出的ATM系统对台湾普通话听力的影响。实验结果表明,该系统能够有效地提高语音质量和可懂度。此外,通过使用所提出的ATM系统,SI的准确性也可以显著提高。
2021-02-21 cs.SD eess.AS
PAS: Partial Additive Speech Data Augmentation Method for Noise Robust Speaker Verification
University of Seoul(首尔大学)
针对噪声环境下说话人验证性能下降的问题,提出部分加性语音(PAS)数据增强方法,在SE-ResNet34和ECAPA-TDNN上EER相对提升4.64%和5.01%,并通过可视化验证有效性。
2023-07-20 cs.SD eess.AS
Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO
本文提出Cocktail-Talker框架,结合Turn Action GRPO,通过动作令牌建模助手行为,利用Cocktail-DialogGen生成数据,实现嘈杂社交环境下的多说话人口语对话建模,推动更自然的对话系统发展。
2026-07-31 cs.CL cs.MM cs.SD
Libri2Vox Dataset: Target Speaker Extraction with Diverse Speaker Conditions and Synthetic Data
National Institute of Informatics(信息学研究科);Singapore Institute of Technology(新加坡科技学院)
针对目标说话人提取数据多样性和鲁棒性不足,提出Libri2Vox数据集,结合真实噪声与合成说话人,并采用课程学习,显著提升SDR性能。
2024-12-17 cs.SD eess.AS
USEF-TSE: Universal Speaker Embedding Free Target Speaker Extraction
School of Computer Science, Wuhan University(武汉大学计算机学院);Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University(多模态智能系统苏州市重点实验室、创新数字研究中心、杜克昆山大学)
针对传统目标说话人提取依赖说话人识别模型及嵌入的问题,提出无需说话人嵌入的USEF-TSE框架,以多头交叉注意力提取帧级特征,可适配多种分离模型,在多个标准基准及分布外数据上取得SOTA性能。
2025-05-20 cs.SD eess.AS
Noise-Aware Speech Separation with Contrastive Learning
Peking University(北京大学);Nanyang Technological University(南洋理工大学);Georgia Institute of Technology(佐治亚理工学院)
提出噪声感知语音分离方法NASS,通过将背景噪声作为额外输出并引入块级对比学习抑制噪声信息,在WHAM!和LibriMix数据集上比DPRNN和Sepformer提升1至2dB SI-SNRi或SDRi,且参数增加不到0.1M。
2024-01-08 cs.SD eess.AS
Linguistically Aided Speaker Diarization Using Speaker Role Information
University of Southern California(南加州大学)
说话人日记依赖于这样的假设,即对应于特定说话人的语音片段集中在说话人空间的特定区域中;该区域代表该说话人的身份。这些身份不是先验已知的,因此通常采用聚类算法,其传统上仅基于音频。然而,在嘈杂的条件下,这样的方法带来了产生不可靠的扬声器集群的风险。在这项工作中,我们的目标是利用语言信息作为一种补充方式,以更强大的方式来识别各种扬声器。我们专注于会话场景中的扬声器承担不同的角色,并预计将遵循不同的语言模式。这种独特的语言变异性可以用来帮助我们构建说话者身份。这样,我们就能够通过将聚类任务转换为分类任务来提高日志化性能。所提出的方法被应用在现实世界中的二元心理治疗提供者和患者之间的相互作用,并证明显示出改善的结果。
2020-02-05 cs.SD eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science;Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中,我们提出了VoiceID损失,一个新的损失函数训练的语音增强模型,以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数(例如L2损失)相比,VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图,以过滤掉用于说话人验证的不必要分量。在实验中,我们观察到增强网络在使用VoiceID丢失进行训练后,能够忽略大量的时频点,例如那些由噪声主导的时频点,以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
Focus on the Sound around You: Monaural Target Speaker Extraction via Distance and Speaker Information
Tsinghua University(清华大学);Xiaomi Inc.(小米公司)
针对强混响噪声环境下目标说话人提取难获取辅助说话人信息的问题,提出结合距离信息、采用说话人嵌入自注册和全子带建模的近场声音提取器,跨数据集实验验证其有效性和优异性能。
2023-10-07 cs.SD eess.AS
Data augmentation enhanced speaker enrollment for text-dependent speaker verification
Indian Institute of Information Technology (IIIT)(印度信息技术学院);Aalborg University(奥尔堡大学)
数据增强通常用于从可用的训练数据生成附加数据,以实现对复杂模型的参数的鲁棒估计,例如用于说话人验证(SV)的模型,特别是对于资源不足的应用。SV涉及训练说话者无关(SI)模型和说话者相关模型,其中说话者由在注册阶段期间使用特定说话者的训练数据从SI模型导出的模型表示。虽然用于训练SI模型的数据增强得到了很好的研究,但用于说话人登记的数据增强很少被探索。在本文中,我们提出了使用数据增强方法来生成额外的数据,使发言人登记。每种数据扩充方法都会生成一个新的数据集。研究了两种使用数据集的策略:一种是训练独立的系统并在分数水平上融合它们,另一种是进行多条件训练。此外,我们研究了噪声条件下的数据增强的效果。在RedDots challenge 2016数据库上进行实验,结果验证了所提方法的有效性。
2020-07-12 cs.SD eess.AS
End-to-end Recurrent Denoising Autoencoder Embeddings for Speaker Identification
University Carlos III of Madrid(马德里卡洛斯三世大学)
由于诸如环境噪声和说话人的情绪状态之类的真实生活条件引起的可变性,“野外”语音是说话人识别系统的障碍。利用表示学习的原理,我们的目标是设计一个经常性的去噪自动编码器,从嘈杂的频谱图中提取鲁棒的说话人嵌入来执行说话人识别。端到端的建议架构使用一个反馈回路来编码的信息,有关扬声器到低维表示提取的频谱图去噪自动编码器。我们采用数据增强技术添加腐败干净的语音与现实生活中的环境噪声在一个数据库中包含真正的强调语音。我们的研究表明,联合优化的降噪和扬声器识别模块优于压力和噪声失真以及手工制作的功能下的两个组件的独立优化。
2022-05-16 cs.SD eess.AS
X-CrossNet: A complex spectral mapping approach to target speaker extraction with cross attention speaker embedding fusion
AI Innovation Center FRI of the Ministry of Public Security of PRC(中华人民共和国公安部第一研究所AI创新中心)
本文提出X-CrossNet目标说话人提取模型,以抗噪抗混响的CrossNet为骨干,并在全局多头自注意力模块中引入交叉注意力机制融合目标说话人特征,在WSJ0-2mix和WHAMR!数据集上取得优越分离性能。
2024-11-25 cs.MM cs.SD eess.AS
Speaker-Aware Mixture of Mixtures Training for Weakly Supervised Speaker Extraction
Peking University(北京大学)
主流的说话人提取研究多采用有监督的训练方法,很少考虑理想纯净语料的缺乏和通道失配问题。为此,我们提出了说话人感知混合训练(SAMoM),利用目标源,注册话语和目标估计之间的说话人身份的一致性来弱监督深度说话人提取器的训练。在SAMoM中,输入是通过混合不同的说话者感知混合物(SAM)来构建的,每个SAM包含多个说话者,其身份已知并且可以注册话语。通过注册话语通知,从输入中逐个提取目标语音,使得估计的目标能够根据身份一致性在混音后近似于原始SAM。此外,在具有一定量的清洁源的半监督设置中使用SAMoM使得能够在噪声场景中应用。在Libri 2 Mix上的大量实验表明,该方法在不访问任何干净源的情况下取得了令人满意的结果(11.06dB SI-SDRi)。通过域自适应,我们的方法在AISHELL-1的跨域评估中甚至优于监督框架。
2022-04-15 cs.SD eess.AS
Unsupervised Feature Enhancement for speaker verification
L’École de Technologie Supérieure(高等技术学院);Johns Hopkins University(约翰斯·霍普金斯大学)
使说话人确认系统对不利场景具有鲁棒性的任务仍然是一个具有挑战性和活跃的研究领域。我们开发了一种在对数滤波器组域的无监督特征增强方法,最终目标是提高说话人确认性能。我们实验使用真实的语音记录在恶劣的环境和退化的语音通过模拟得到的训练增强系统。通过对几个真实的、模拟的噪声和混响测试集的测试,证明了该方法的有效性。当说话人确认流水线中不使用数据增强或仅在x向量训练期间使用增强时,该方法在真实和模拟集上都得到了显着的改进。当数据增强用于x向量和PLDA训练时,我们的增强方法略有改进。
2020-02-14 cs.SD eess.AS
Attractor-Based Speech Separation of Multiple Utterances by Unknown Number of Speakers
Tampere University(塔尔皮奥大学);Nokia Technologies(诺基亚技术)
本文提出一种基于吸引子的单通道语音分离模型,能同时分离、估计未知说话人数并检测活动,在多话语场景下优于现有方法。
2025-05-22 cs.SD eess.AS
The FFSVC 2020 Evaluation Plan
远场扬声器验证挑战赛2020(FFSVC 20)旨在推动扬声器验证研究,特别关注真实场景中噪声条件下的远场分布式麦克风阵列。本次挑战赛的目标是:1)在这种具有挑战性的条件下对当前的语音验证技术进行基准测试,2)促进说话人验证的新思想和新技术的发展,3)向社区提供一个开放,免费和大规模的语音数据库,展示真实场景中的远场特性。
2020-02-05 cs.SD eess.AS
Speaker Diarization and Identification from Single-Channel Classroom Audio Recording Using Virtual Microphones
University of New Mexico(新墨西哥大学)
在嘈杂的音频记录中,特别是那些来自协作学习环境的音频记录中,说话人识别可能极具挑战性。有必要从同时说话的其他学生中识别出在小组中说话的个别学生。为了解决这个问题,我们假设每个学生组使用单个麦克风,而不访问以前的大型数据集进行训练。本文提出了一种基于互相关模式的说话人识别方法。通过使用从视频记录中观察到的近似扬声器几何形状来模拟虚拟麦克风。基于每个虚拟麦克风的房间脉冲响应的估计来构造模式。然后使用相关模式来识别说话者。所提出的方法通过课堂音频进行了验证,并显示出大大优于Google Cloud和Amazon AWS提供的日志服务。
2022-07-01 cs.SD eess.AS
Multi-Label Training for Text-Independent Speaker Identification
University of Nanjing(南京大学)
本研究提出文本无关说话人识别的多标签训练策略,通过为说话人语音子组分设多标签实现识别,兼具集成学习优势且不显著增加负担,在纯净和含噪环境下均优于常规方法,可广泛适配现有模型提升性能。
2024-08-16 cs.SD eess.AS
Conditional Generative Adversarial Networks for Speech Enhancement and Noise-Robust Speaker Verification
Aalborg University(奥尔堡大学)
提高语音系统在噪声环境中的性能一直是一个具有挑战性的课题,而语音增强(SE)是解决这一问题的有效技术之一。受生成对抗网络(GANs)在各种图像处理任务中的良好结果的启发,我们探索了条件GANs(cGANs)用于SE的潜力,特别是,我们利用Isola等人提出的图像处理框架。[1]学习从噪声语音的频谱图到增强对应物的映射。SE cGAN由两个网络组成,以对抗的方式进行训练:一个生成器试图增强输入的噪声频谱图,另一个生成器试图区分生成器提供的增强频谱图和使用噪声频谱图作为条件的数据库中的干净频谱图。我们在语音质量的感知评估(PESQ),短时客观可懂度(STOI)和说话人验证的等错误率(EER)(示例应用)方面评估了cGAN方法的性能。实验结果表明,cGAN方法的整体性能优于经典的短时谱幅度最小均方误差(STSA-MMSE)SE算法,并且与基于深度神经网络的SE方法(DNN-SE)相当。
2017-09-07 cs.LG cs.SD eess.AS
Speakerfilter-Pro: an improved target speaker extractor combines the time domain and frequency domain
Inner Mongolia University(内蒙古大学)
本文介绍了一种改进的目标说话人提取器,称为Speakerfilter-Pro,我们以前的Speakerfilter模型的基础上。Speakerfilter-Pro使用双向门控递归单元(BGRU)模块从锚点语音中特征化目标说话者,并使用卷积递归网络(CRN)模块从有噪信号中分离目标语音。与Speakerfilter-Pro不同的是,Speakerfilter-Pro在开头和结尾分别粘贴了WaveUNet模块。WaveUNet已被证明具有更好的在时域中执行语音分离的能力。为了更好地提取目标说话人信息,采用复谱代替幅度谱作为CRN模块的输入特征。在广泛应用于说话人提取的双说话人数据集(WSJ 0-mix 2)上进行了实验。系统评估表明,Speakerfilter-Pro的性能优于Speakerfilter和其他基准,并实现了14.95 dB的信号失真比(SDR)。
2020-10-25 cs.LG cs.SD eess.AS
A Hybrid Continuity Loss to Reduce Over-Suppression for Time-domain Target Speaker Extraction
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);University of Bremen(不来梅大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
说话人提取算法从含有干扰语音和背景噪声的混合语音中提取目标语音。提取过程有时会过度抑制所提取的目标语音,这不仅在收听期间产生伪像,而且还会损害下游自动语音识别算法的性能。针对时域说话人提取算法中的过抑制问题,提出了一种混合连续性损失函数。在用于优良信号质量的波形电平损失之上,即,在SI-SDR中,我们在频域中引入了多分辨率的delta谱损失,以保证提取的语音信号的连续性,从而减轻过抑制。我们使用YouTube LRS 2-BBC数据集上的时域视听扬声器提取算法来检查混合连续性损失函数。实验结果表明,该损失函数在不影响重建语音质量的前提下,降低了过抑制现象,提高了语音识别的误识率。
2022-06-20 cs.SD eess.AS
Personalized Keyphrase Detection using Speaker and Environment Information
Google LLC(谷歌有限责任公司)
在本文中,我们介绍了一个流关键短语检测系统,可以很容易地定制,以准确地检测任何短语组成的单词从一个大的词汇。该系统实现了一个端到端的训练自动语音识别(ASR)模型和文本无关的说话人验证模型。为了解决在各种噪声条件下检测这些关键词的挑战,将说话人分离模型添加到说话人验证模型的特征前端,并包括自适应噪声消除(ANC)算法以利用跨麦克风噪声相干性。我们的实验表明,文本无关的说话人确认模型大大降低了错误触发率的关键词检测,而说话人分离模型和自适应噪声消除大大减少了错误拒绝。
2021-06-15 cs.LG cs.SD eess.AS
Robust Support Vector Machines for Speaker Verification Task
USTHB(阿尔及尔理工大学)
说话人确认的一个重要步骤是提取最能表征说话人语音的特征。本文研究了一种前端处理方法,旨在提高基于支持向量机分类器的文本独立模式下的说话人确认性能。该方法结合传统的梅尔倒谱系数(MFCC)和线性频谱频率(LSF)的基础上的功能,构成强大的多变量特征向量。为了减少训练这些特征向量所需的高维数,我们使用了一种称为主成分分析(PCA)的降维方法。为了评估这些系统的鲁棒性,已经使用了不同的噪声环境。使用TIMIT数据库获得的结果表明,使用结合这些光谱线索的范例导致验证精度的显着提高,特别是在低信噪比噪声环境下的PCA减少。
2013-06-12 cs.LG cs.SD stat.ML
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield(谢菲尔德大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
在本文中,我们提出了一种新的多通道语音提取系统,同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上,采用说话人嵌入来识别和提取多个目标,而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型,我们提出了一个新的扬声器调节机制,通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR!数据表明,在强多通道基线上,所提出的系统相对于源分离性能提高了9%,并且相对于相同基线,它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
WHAM!: Extending Speech Separation to Noisy Environments
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
最近在使用单个音频通道分离来自多个重叠扬声器的语音信号方面的进展使我们更接近于解决鸡尾酒会问题。然而,在这方面的大多数研究使用一个受约束的问题设置,比较性能时,扬声器几乎完全重叠,在人为的低采样率,并没有外部背景噪声。在本文中,我们努力将该领域推向更现实和更具挑战性的场景。为此,我们创建了WSJ 0 Hipster Ambient Mixtures(WHAM!)数据集,由来自wsj 0 - 2 mix数据集的两个扬声器混合物与真实环境噪声样本组合而成。这些样本是在旧金山湾区的咖啡店、餐馆和酒吧收集的,并公开提供。我们对各种语音分离架构和目标函数进行基准测试,以评估其对噪声的鲁棒性。虽然分离性能由于噪声而降低,但对于大多数方法,我们仍然观察到相对于噪声信号的实质性增益。
2019-07-02 cs.CL cs.LG cs.SD
VoxCeleb2: Deep Speaker Recognition
University of Oxford(牛津大学)
本文的目的是在噪声和无约束条件下的说话人识别。我们做出了两个重要贡献。首先,我们介绍了一个非常大规模的视听说话人识别数据集收集的开源媒体。使用全自动管道,我们策划了VoxCeleb2,其中包含来自6,000多名发言者的超过100万条话语。这是任何公开可用的说话人识别数据集的几倍。其次,我们开发和比较卷积神经网络(CNN)模型和训练策略,可以有效地识别身份的声音在各种条件下。在VoxCeleb2数据集上训练的模型大大超过了以前在基准数据集上的工作。
2018-06-27 cs.CV cs.SD eess.AS
Inconsistency Ranking-based Noisy Label Detection for High-quality Data
Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对深度学习中数据集规模与质量难以兼顾、众包数据含噪声标签的问题,本文提出结合不一致性排序的自动噪声标签检测技术,经ASV任务验证可提升大规模说话人识别数据集清洗的效率与效果。
2023-06-15 cs.CL cs.SD eess.AS
ResNeXt and Res2Net Structures for Speaker Verification
Microsoft Corporation(微软公司)
基于ResNet的架构已被广泛采用,以提取说话人嵌入文本无关的说话人确认系统。通过将残差连接引入到CNN并标准化残差块,ResNet结构能够训练深度网络,以实现极具竞争力的识别性能。然而,当输入特征空间变得更加复杂时,简单地增加ResNet网络的深度和宽度可能无法完全实现其性能潜力。在本文中,我们提出了ResNet架构的两个扩展,ResNeXt和Res2Net,用于说话人验证。ResNeXt和Res2Net最初是为图像识别而提出的,除了深度和宽度之外,还引入了两个维度,基数和规模,以提高模型的表示能力。通过增加尺度维数,Res2Net模型可以表示具有不同粒度的多尺度特征,这特别有利于短话语的说话人确认。我们评估我们提出的系统上的三个扬声器验证任务。在VoxCeleb测试集上的实验表明,ResNeXt和Res2Net可以显着优于传统的ResNet模型。Res2Net模型通过将EER相对降低18.5%实现了卓越的性能。在其他两个不匹配条件的内部测试集上进行的实验进一步证实了ResNeXt和Res2Net架构对噪声环境和段长度变化的通用性。
2020-11-30 cs.SD eess.AS
Diff-SV: A Unified Hierarchical Framework for Noise-Robust Speaker Verification Using Score-Based Diffusion Probabilistic Models
School of Computer Science, University of Seoul(首尔大学计算机科学学院)
针对背景噪声降低说话人验证系统性能的问题,提出融合扩散概率模型语音增强与说话人嵌入提取的分层框架Diff-SV,经多数据集噪声场景测试,性能达到当前最优水平。
2023-12-14 cs.SD eess.AS
Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Meta AI
本文研究了用于视听说话人表征学习的自监督预训练,其中显示说话人嘴部区域的视觉流与语音一起用作输入。我们的研究重点是视听隐藏单元BERT(AV-HuBERT)的方法,最近开发的通用视听语音预训练框架。我们进行了广泛的实验,探讨预训练和视觉模态的有效性。实验结果表明,AV-HuBERT体面地推广到扬声器相关的下游任务,提高标签效率约10倍的音频和视听扬声器验证。我们还表明,将视觉信息,即使只是嘴唇区域,大大提高了性能和噪声鲁棒性,减少EER的38%,在清洁条件下和75%,在嘈杂的条件下。
2022-07-14 cs.CV cs.SD eess.AS
Leveraging speaker attribute information using multi task learning for speaker verification and diarization
University of Edinburgh(爱丁堡大学)
深度说话人嵌入已经成为说话人识别任务中编码说话人身份的主要方法。理想情况下,嵌入空间应该捕获所有可能的扬声器之间的变化,对构成扬声器身份的多个声学方面进行编码,同时对非扬声器声学变化具有鲁棒性。深度说话人嵌入通常是有区别地训练的,在训练数据上预测说话人身份标签。我们假设,另外预测与说话者相关的辅助变量--如年龄和国籍--可能会产生更好地概括看不见的说话者的表示。我们提出了一个框架,利用辅助标签信息,即使它只适用于语音语料库不匹配的目标应用程序。在美国最高法院录音的测试集上,我们表明,通过利用分别来自匹配的训练数据和VoxCeleb语料库的两种额外形式的扬声器属性信息,我们提高了我们的深度扬声器嵌入的性能,用于验证和日志化任务,与仅使用扬声器标签的基线相比,DER和EER分别提高了26.2%和6.7%。尽管辅助标签已经从卷材上刮下并且潜在地有噪声,但是仍然获得了这种改进。
2021-04-23 cs.LG cs.SD eess.AS
Robust End-to-End Speaker Verification Using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们证明了说话人确认系统的性能可以通过级联脑电(EEG)信号特征与语音信号特征或仅使用EEG信号特征来提高。我们使用最先进的端到端深度学习模型来执行说话人验证,并展示了我们对嘈杂语音的结果。我们的研究结果表明,脑电信号可以提高说话人确认系统的鲁棒性,特别是在噪声环境中。
2020-06-10 cs.LG cs.SD eess.AS
Single Channel Far Field Feature Enhancement For Speaker Verification In The Wild
Johns Hopkins University(约翰斯·霍普金斯大学)
我们研究了一种增强和域自适应方法,使说话人确认系统对远场语音的扰动具有鲁棒性。在增强方法中,使用成对(并行)混响干净语音,我们训练了一个有监督的生成对抗网络(GAN)以及一个特征映射损失。对于域自适应方法,我们训练了一个循环一致的生成对抗网络(CycleGAN),它将远场域的特征映射到说话人嵌入训练域。这是以无监督的方式在未配对的数据上训练的。这两个网络,分别称为监督增强网络(SEN)和域自适应网络(DAN),在(滤波器组)特征域的多任务目标进行训练。在模拟测试设置中,我们首先注意到在SEN中使用特征映射(FM)损失和对抗性损失的好处。然后,我们在几个真实的噪声数据集上测试了监督和无监督方法。我们观察到的相对改善幅度为2%至31%。使用三种训练方案,我们还建立了新的DAN方法的有效性。
2020-05-17 cs.SD eess.AS