Multiple-Speaker Localization Based on Direct-Path Features and Likelihood Maximization with Spatial Sparsity Regularization
INRIA Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔罗讷-阿尔卑斯中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Bar Ilan University(巴伊兰大学)
本文讨论了多扬声器定位在嘈杂和混响环境中的问题,使用双耳录音的声学场景。采用高斯混合模型(GMM),其组成部分对应于所有可能的候选源位置定义在一个网格上。在优化基于GMM的目标函数后,给定一组观察到的双耳特征,通过选择具有最大先验的GMM分量来估计源的数量及其位置。这是通过实施稀疏解决方案来实现的,因此相对于大量的初始候选源位置有利于少量的扬声器。一个基于熵的惩罚项被添加到可能性,从而施加稀疏的GMM先验集。此外,直接路径相对传递函数(DP-RTF)被用来建立强大的双耳功能。DP-RTF,最近提出的单源定位,被证明是强大的混响,因为它编码的通道间信息对应的声音传播的直接路径。本文将DP-RTF估计推广到多源情况。在短时傅立叶变换域中,提出了一种一致性检验方法来检验一组连续帧是否与同一信源相关联。从通过一致性测试的帧中选择可靠的DP-RTF特征用于源定位。使用仿真数据和机器人头部收集的真实数据进行的实验证实了所提出的多源定位方法的效率。
2017-05-17 cs.SD
SAGRNN: Self-Attentive Gated RNN for Binaural Speaker Separation with Interaural Cue Preservation
The Ohio State University(俄亥俄州立大学);Facebook Reality Labs(Facebook现实实验室);Facebook AI Research(Facebook人工智能研究院);Tel-Aviv University(特拉维夫大学)
大多数现有的基于深度学习的双耳扬声器分离系统专注于为每个目标扬声器产生单耳估计,因此不保留耳间线索,这对于人类听众执行声音定位和侧化至关重要。在这项研究中,我们解决了独立于说话人的双耳扬声器分离与估计的双耳信号中保留的耳间线索。具体来说,我们扩展了一个新开发的门控递归神经网络的单声道分离,另外将自我注意力机制和密集的连接。我们开发了一个端到端的多输入多输出系统,它直接从混合的双耳波形映射到语音信号。实验结果表明,我们提出的方法实现了显着更好的分离性能比最近的双耳分离方法。此外,我们的方法有效地保留了耳间线索,提高了声音定位的准确性。
2020-11-14 cs.SD eess.AS
Optimized Power Normalized Cepstral Coefficients towards Robust Deep Speaker Verification
University of Eastern Finland(东芬兰大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
功率归一化倒谱系数(PNCC)特征被引入鲁棒语音识别后,被成功地应用于其他任务,包括说话人确认。然而,作为对功率谱图进行长期操作的特征提取器,其专用于环境补偿的时间处理和幅度缩放步骤可能是冗余的。此外,它们可能会抑制对基于深度神经网络(DNN)的说话者验证有用的固有说话者变化。因此,在这项研究中,我们重新审视和优化PNCCs烧蚀其中期时间处理器,并通过引入通道能量归一化。基于DNN的说话人验证系统的实验结果表明,在域内和跨域情况下,与基线PNCCs相比,VoxCeleb1和VoxMovies上的最大相等出错率分别降低了5.8%和61.2%,这反映了显着的改善。
2021-09-24 cs.AI cs.SD eess.AS
Deep Normalization for Speaker Vectors
Tsinghua University(清华大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
深度说话人嵌入在说话人识别任务中表现出了最先进的性能。然而,这种方法的一个潜在问题是,从深度嵌入模型导出的扬声器向量对于每个单独的扬声器往往是非高斯的,并且对于不同扬声器的分布是非均匀的。这些不规则的分布会严重影响说话人识别的性能,特别是对于流行的PLDA评分方法,它假设均匀高斯分布。在本文中,我们认为,深说话人向量需要深度归一化,并提出了一种基于新的判别归一化流(DNF)模型的深度归一化方法。我们使用广泛使用的SITW和CNCeleb语料库的实验证明了所提出的方法的有效性。在这些实验中,基于DNF的规范化提供了大量的性能增益,并且在域外测试中也显示出强大的泛化能力。
2020-11-02 cs.LG cs.SD eess.AS
Partial AUC optimization based deep speaker embeddings with class-center learning for text-independent speaker verification
Northwestern Polytechnical University(西北工业大学)
基于深度嵌入的文本无关说话人确认在许多具有挑战性的场景中表现出优于传统方法的性能。其损失函数一般可分为两类,即,核查和识别。验证损失函数与说话人验证的流水线相匹配,但其实现比较困难。因此,大多数最先进的深度嵌入方法使用具有softmax输出单元或其变体的识别损失函数。在本文中,我们提出了一个验证损失函数,命名为最大化的接收机操作特征(ROC)曲线下的部分面积(pAUC),基于深度嵌入文本无关的说话人验证。我们还提出了一种基于类中心的训练试验构建方法,以提高训练效率,这是关键的建议损失函数是可比的识别损失的性能。在Speaker in the Wild(SITW)和NIST SRE 2016数据集上的实验表明,所提出的pAUC损失函数与最先进的识别损失函数具有很强的竞争力。
2019-11-19 cs.LG cs.SD eess.AS
Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?
NEC Corporation(NEC公司)
本文提出了一种基于注意力机制的深度说话人嵌入的实验研究,该机制已被发现是说话人识别中一种强大的表示学习技术。在这个框架中,一个注意力模型作为一个帧选择器,计算每个帧级特征向量的注意力权重,根据该权重,在说话人嵌入网络的池化层产生一个话语级表示。一般来说,注意力模型与说话人嵌入网络一起在单个目标函数上训练,因此这两个组件彼此紧密结合。在本文中,我们考虑的可能性,注意力模型可能会从它的父网络解耦,并协助其他说话人嵌入网络,甚至传统的i向量提取器。这种可能性是通过一系列的实验证明了NIST的说话人识别评估(SRE)的任务,9.0%的EER减少和3.8%的min_Cprimary减少时,注意力的权重应用到i向量提取。另一个实验表明,基于DNN的柔和语音活动检测(VAD)可以有效地与注意力机制相结合,从而在深度说话人嵌入和i向量系统中分别将minCprimary进一步降低6.6%和1.6%。
2018-09-25 cs.SD eess.AS
An iterative framework for self-supervised deep speaker representation learning
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
在本文中,我们提出了一个基于深度神经网络(DNN)的自监督说话人表示学习的迭代框架。该框架首先通过对比损失最大化话语内不同段之间的一致性来训练自我监督说话人嵌入网络。利用DNN从带有标签噪声的数据中学习的能力,我们建议对从以前的说话人网络中获得的说话人嵌入进行聚类,并使用后续的类分配作为伪标签来训练一个新的DNN。此外,我们迭代地训练扬声器网络与从上一步生成的伪标签,以引导DNN的辨别能力。在VoxCeleb数据集上进行了说话人确认实验。结果表明,我们提出的迭代自监督学习框架优于以前的作品使用自我监督。经过5次迭代后的说话人网络比使用对比度损失训练的说话人嵌入模型获得了61%的性能增益。
2020-10-25 cs.SD eess.AS
Deep Speaker Embedding Learning with Multi-Level Pooling for Text-Independent Speaker Verification
JD AI Research(京东人工智能研究院)
本文旨在改进广泛使用的深度说话人嵌入x向量模型。我们提出了以下改进:(1)使用时间延迟神经网络(TDNN)和长短期记忆神经网络(LSTM)的混合神经网络结构,在不同的层次上产生互补的说话人信息;(2)多层次池化策略,从TDNN和LSTM层收集说话人信息;(3)在说话人嵌入提取层上的正则化方案,以使所提取的嵌入适合于随后的融合步骤。NIST SRE 2016 eval测试(EER降低19%)和SRE 2018 dev测试(EER降低9%)显示了这些改进的协同作用,以及这两个测试集在x向量基线上的DCF分数降低超过10%。
2019-02-21 cs.CL cs.SD eess.AS
Speaker Verification Across Ages: Investigating Deep Speaker Embedding Sensitivity to Age Mismatch in Enrollment and Test Speech
University of Eastern Finland(东芬兰大学);Institute for Advancing Intelligence, TCG CREST(TCG CREST 智能推进研究所)
该研究针对年龄不匹配对深度说话人嵌入ASV系统的影响,用VoxCeleb和LCFSH数据集在ECAPA-TDNN上测试,建立了衰老与ASV评分的量化关系,发现不同语言下衰老对不同性别说话人影响存在差异。
2023-06-13 cs.SD eess.AS
Speaker Diarization using Deep Recurrent Convolutional Neural Networks for Speaker Embeddings
Tooploox;Warsaw University of Technology(华沙理工大学);Polish-Japanese Academy of Information Technology(波兰日本信息技术学院)
在本文中,我们提出了一种新的说话人日记化方法,该方法采用深度学习架构来学习说话人嵌入。与使用手工制作的频谱特征构建扬声器嵌入的传统方法相比,我们提出了训练用于此目的的经常性卷积神经网络直接应用于幅度谱图。为了将我们的方法与最先进的方法进行比较,我们收集并向公众发布了一个额外的数据集,其中包含超过6小时的完全注释的广播材料。我们对新数据集和其他三个基准数据集的评估结果表明,我们提出的方法显着优于竞争对手,并降低了日志出错率的大幅幅度超过30%的基线。
2017-09-15 cs.MM cs.NE cs.SD
Sparse Architectures for Text-Independent Speaker Verification Using Deep Neural Networks
Boise State University(博伊西州立大学);FANAP Telecom(FANAP电信)
网络修剪是非常重要的,因为它消除了由于网络过度参数化而激活的不重要的权重或特征。稀疏性增强的优点包括防止过拟合和加速。考虑到深度架构中的大量参数,由于需要大量的计算能力,网络压缩变得至关重要。在这项工作中,我们施加结构稀疏的扬声器验证,这是验证的查询扬声器相比,扬声器库。我们将证明,由于网络中可能的初始过拟合,仅仅稀疏性强制可以改善验证结果。
2018-08-09 cs.SD eess.AS
Divide and Conquer: A Deep CASA Approach to Talker-independent Monaural Speaker Separation
The Ohio State University(俄亥俄州立大学)
我们从深度学习和计算听觉景物分析(CASA)的角度解决与说话者无关的单耳说话者分离。具体来说,我们将多说话人分离任务分解为同时分组和顺序分组两个阶段。同时分组首先在每个时间帧中进行分离的频谱不同的发言人与排列不变的训练神经网络。在第二阶段中,帧级分离的频谱通过聚类网络顺序地分组到不同的扬声器。所提出的深度CASA方法依次优化了帧级分离和说话人跟踪,并为这两个目标产生了良好的效果。在WSJ 0 - 2 mix基准数据库上的实验结果表明,该方法在模型规模较小的情况下取得了较好的效果.
2019-04-25 cs.LG cs.SD eess.AS
On deep speaker embeddings for text-independent speaker recognition
ITMO University(ITMO大学);STC-innovations Ltd.(STC创新有限公司)
我们研究了深度神经网络在与文本无关的说话人识别任务中的性能。我们证明,在分类神经网络的最后一个分类层使用角softmax激活,而不是一个简单的softmax激活允许训练一个更广义的判别扬声器嵌入提取器。余弦相似度是在该嵌入空间中进行说话人确认的有效度量。我们还解决了选择一个架构的提取器的问题。我们发现,具有残留帧级连接的深度网络优于宽但相对较浅的架构。本文还提出了一些改进以前的基于DNN的提取器系统,以提高说话人识别的准确性。我们表明,区别训练的相似性度量学习方法优于标准的LDA-PLDA方法作为嵌入后端。在Speakers in the Wild和NIST SRE 2016评估集上获得的结果证明了所提出的系统在处理接近现实生活条件时的鲁棒性。
2018-04-26 cs.CL cs.SD eess.AS
Attentive Statistics Pooling for Deep Speaker Embedding
NEC Corporation(日本电气股份有限公司);Tokyo Institute of Technology(东京工业大学)
本文提出了文本无关说话人验证中深层说话人嵌入的注意统计池。在传统的说话人嵌入中,帧级特征在单个话语的所有帧上被平均以形成话语级特征。我们的方法利用注意力机制,给不同的权重,不同的帧,不仅产生加权平均值,但也加权标准差。通过这种方式,它可以更有效地捕捉扬声器特性的长期变化。对NIST SRE 2012和VoxCeleb数据集的评估表明,与传统方法相比,它分别将等误差率(EER)降低了7.5%和8.1%。
2019-02-25 cs.SD eess.AS
Residual Information in Deep Speaker Embedding Architectures
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
说话人嵌入表示从语音信号中提取代表性矢量表示的手段,使得表示仅与说话人身份有关。嵌入通常用于分类和区分不同的扬声器。然而,没有客观的措施来评估说话人嵌入的能力,以解开从其他语音特征的说话人身份。这意味着嵌入远非理想,高度依赖于训练语料库,并且仍然包括与诸如语言内容、记录条件或话语的说话风格等因素有关的一定程度的残留信息。本文介绍了对使用一些最新和高性能DNN架构提取的六组说话人嵌入的分析,特别是它们能够真正从语音信号中分离说话人身份的程度。为了正确地评估架构,使用大型多扬声器并行语音数据集。该数据集包括46个说话者发出相同的提示,记录在专业工作室或他们的家庭环境中。分析着眼于内和扬声器间的相似性措施计算在不同的嵌入集,以及如果简单的分类和回归方法能够提取几个残留的信息因素的扬声器嵌入。结果表明,所分析的嵌入的辨别能力是非常高的,但在所有的分析架构,剩余信息仍然存在于表示的形式,一个高度相关的记录条件,语言内容和话语持续时间。
2023-02-06 cs.AI cs.SD eess.AS
Memory-Efficient Training for Deep Speaker Embedding Learning in Speaker Verification
Shanghai Jiao Tong University(上海交通大学)
针对深度说话人嵌入模型训练的高显存问题,提出可逆网络与8位动态量化优化器,在VoxCeleb上最高节省16.2倍显存且性能基本不变。
2024-12-02 cs.AI cs.SD eess.AS
VAE-based regularization for deep speaker embedding
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
深度说话人嵌入已经在说话人识别中实现了最先进的性能。这些嵌入向量(称为“x向量”)的潜在问题不是高斯的,导致著名的PLDA后端评分的性能下降。本文提出了一种基于变分自动编码器(VAE)的正则化方法。该模型将x向量转换到潜在空间,其中映射的潜在代码更具高斯性,因此更适合PLDA评分。
2019-04-07 cs.LG cs.SD eess.AS
Parameterized Channel Normalization for Far-field Deep Speaker Verification
University of Eastern Finland(东芬兰大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
本文提出了一种基于深度神经网络(DNN)的说话人嵌入提取器的远场说话人确认方法,其中注册和测试数据之间的不匹配通常来自卷积效应(例如房间混响)和噪声。为了减轻这些影响,我们专注于两个参数归一化方法:每通道能量归一化(PCEN)和参数化倒谱均值归一化(PCMN)。这两种方法都包含可微分参数,因此可以方便地集成到DNN中,并使用自动微分方法与DNN联合优化。我们考虑每种方法的固定和可训练(数据驱动)变体。我们评估的性能Hi-MIA,最近的大规模远场语音语料库,不同的麦克风和位置设置。我们的方法优于传统的梅尔滤波器组功能,最大的33.5%和39.5%的相对改善相等的出错率匹配麦克风和不匹配的麦克风条件下,分别。
2021-09-24 cs.AI cs.SD eess.AS
Overview of Speaker Modeling and Its Applications: From the Lens of Deep Speaker Representation Learning
Shanghai Jiao Tong University(上海交通大学);The Hong Kong Polytechnic University(香港理工大学)
本综述从理论与实践双视角梳理深度说话人表示学习的神经方法,涵盖编码器演进、可解释性、鲁棒性方案及开源工具,为说话人建模研究与下游应用提供参考。
2024-11-04 cs.SD eess.AS
Optimizing Multi-Taper Features for Deep Speaker Verification
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用研究中心);University of Eastern Finland(东芬兰大学)
多锥度估计器提供低方差功率谱估计,其可用于代替加窗离散傅立叶变换(DFT)来提取语音特征,诸如梅尔频率倒谱系数(MFCC)。即使过去的工作报告了有前途的自动说话人验证(ASV)的结果与高斯混合模型为基础的分类器,多锥度MFCC与深ASV系统的性能仍然是一个悬而未决的问题。而不是一个静态锥度设计,我们建议优化多锥度估计器联合深神经网络训练ASV任务。在静态锥度的相等出错率方面,SITW语料库的最大改进为25.8%,我们的方法有助于保持泄漏和方差的平衡水平,提供更多的鲁棒性。
2021-10-21 cs.AI cs.SD eess.AS
Speaker Recognition using Deep Belief Networks
Indian Institute of Information Technology, Allahabad(印度信息科学与技术研究所阿拉哈巴德分校)
诸如梅尔频率倒谱系数(MFCC)的短时间谱特征先前已经被部署在现有技术的说话人识别系统中,然而,较少注意可以通过生成学习模型从语音信号学习的短期谱特征。更高维度的编码器,如深度信念网络(DBN),可以通过更好地建模声波的统计结构来提高说话人识别任务的性能。在本文中,我们使用短期的频谱特征学习的DBN与MFCC功能增强执行说话人识别的任务。使用我们的功能,我们实现了0.95的识别准确率,而在ELSDSR数据集上使用独立的MFCC功能时为0.90。
2018-05-09 cs.SD eess.AS
Attacking Speaker Recognition With Deep Generative Models
UC Berkeley(加州大学伯克利分校)
在本文中,我们研究了生成对抗网络(GANs)对现代说话人识别系统合成欺骗攻击的能力。我们首先证明,使用SampleRNN和WaveNet生成的样本无法欺骗基于CNN的说话人识别系统。我们提出了一个修改的Wasserstein GAN目标函数,利用数据是真实的,但不是从正在学习的类。我们的半监督学习方法能够执行有针对性和无针对性的攻击,提出了与说话人认证系统的安全性相关的问题。
2018-01-08 cs.LG cs.SD eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University(首尔大学)
近年来,已经提出了各种基于深度学习的嵌入方法,并在说话人验证中表现出令人印象深刻的性能。然而,与大多数经典嵌入技术一样,已知基于深度学习的方法在处理具有不同条件的语音样本(例如,记录设备、情绪状态)。在本文中,我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明,该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
SNAP: Speaker Nulling for Artifact Projection in Speech Deepfake Detection
KAIST AI(韩国科学技术院人工智能实验室);NAVER Cloud(NAVER云)
针对语音深度伪造检测中说话人信息干扰问题,提出SNAP框架通过消除说话人依赖成分,提升检测器对伪影特征的识别能力。
2026-09-07 cs.AI cs.SD
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University(西北工业大学)
近年来,基于深度学习的自组织麦克风阵列的研究备受关注,特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域,以至于多个说话人可能相距很远并且独立地说话,所以目标相关语音分离(其目的是从混合语音中提取目标说话人)对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而,这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法,这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先,提出了一种基于说话人提取的有监督信道选择框架,该框架利用目标语音的话语级信噪比作为信道选择的依据。其次,我们将所选择的通道应用于基于深度学习的MVDR算法,其中,将单通道说话人提取算法应用于每个所选择的通道,以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
Margin Matters: Towards More Discriminative Deep Neural Network Embeddings for Speaker Recognition
AISpeech Co., Ltd.(思必驰有限公司)
最近,从说话人区分深度神经网络(DNN)中提取的说话人嵌入比传统方法(如i-vector)具有更好的性能。在大多数情况下,DNN说话人分类器使用softmax的交叉熵损失进行训练。然而,这种损失函数并没有明确地鼓励类间的可分性和类内的紧凑性。因此,嵌入对于说话人识别任务不是最佳的。为了解决这个问题,本文将三种不同的基于间隔的损失引入到深度说话人嵌入学习中,这些损失不仅分离了类,而且要求类之间有固定的间隔。可以证明,裕度是获得更具区分性的说话人嵌入的关键。实验在两个与文本无关的公共任务VoxCeleb 1和Speaker in The Wild(SITW)上进行。该方法在VoxCeleb 1测试集和SITW核心-核心测试集上分别获得了2.238%EER和2.761%EER。
2019-06-18 cs.CL cs.SD eess.AS
Deep learning methods in speaker recognition: a review
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本文总结了深度学习在说话人识别领域的应用实践,包括验证和识别。说话人识别是语音技术中应用广泛的领域。在过去的5-6年里,人们进行了许多研究工作,但进展甚微。然而,随着深度学习技术在大多数机器学习领域的发展,以前最先进的方法也在说话人识别中被它们取代。看来,DL成为现在国家的最先进的解决方案,为说话人确认和识别。标准的x-向量,除了i-向量,被用作基线在大多数的小说作品。收集的数据量越来越多,这为DL打开了一片天地,在那里它们是最有效的。
2019-11-14 cs.LG cs.SD eess.AS
Deep Speaker Feature Learning for Text-independent Speaker Verification
Tsinghua University(清华大学)
最近,深度神经网络(DNN)已被用于学习说话者特征。然而,学习到的特征的质量不够好,因此必须使用复杂的后端模型,无论是神经模型还是概率模型,来解决应用于说话人验证时的残余不确定性,就像原始特征一样。提出了一种用于说话人特征学习的卷积时延深度神经网络结构(CT-DNN)。我们在Fisher数据库上的实验结果表明,这种CT-DNN可以产生高质量的说话人特征:即使只有一个特征(包括上下文在内的0.3秒),EER也可以低至7.68%。这有效地证实了说话人特征在很大程度上是确定性的短时属性,而不是长时间的分布模式,因此可以从几十帧中提取。
2017-05-10 cs.CL cs.LG cs.SD
A Study on Bias and Fairness In Deep Speaker Recognition
Ingenuity Labs Research Institute(创造力实验室研究所)
随着使用说话人识别(SR)系统作为个人认证和个性化服务的手段的智能设备的普及,SR系统的公平性已成为一个重要的焦点。在本文中,我们研究的公平性的概念,在最近的SR系统的基础上3流行和相关的定义,即统计奇偶校验,均等赔率,机会均等。我们研究了5种流行的神经结构和5种常用的损失函数在训练SR系统,同时评估其对性别和民族群体的公平性。我们详细的实验阐明了这一概念,并证明了更复杂的编码器架构更好地符合公平性的定义。此外,我们发现损失函数的选择可以显着影响SR模型的偏差。
2023-03-14 cs.AI cs.SD eess.AS
A Review of Speaker Diarization: Recent Advances with Deep Learning
University of Southern California(南加州大学);Microsoft(微软);ASAPP;Johns Hopkins University(约翰斯·霍普金斯大学)
说话人日记是一个用与说话人身份相对应的类来标记音频或视频记录的任务,或者简而言之,一个识别“谁在什么时候说话”的任务。在早期,说话人日记化算法被开发用于多说话人音频记录上的语音识别,以实现说话人自适应处理。随着时间的推移,这些算法作为一个独立的应用程序也获得了自己的价值,为音频检索等下游任务提供特定于说话者的元信息。最近,随着深度学习技术的出现,它推动了语音应用领域研究和实践的革命性变化,扬声器日志化取得了快速进步。在本文中,我们不仅回顾了说话人日记化技术的历史发展,而且还在最近的神经说话人日记化方法的进展。此外,我们还讨论了说话人日志化系统如何与语音识别应用集成,以及最近的深度学习浪潮如何引领联合建模这两个组件以实现互补。通过考虑这些令人兴奋的技术趋势,我们相信本文是对社区的宝贵贡献,通过巩固神经方法的最新发展,从而促进更有效的扬声器日记的进一步进展,提供了一个调查工作。
2021-11-26 cs.CL cs.SD eess.AS
Centroid-based deep metric learning for speaker recognition
University of Toronto(多伦多大学);Vector Institute(向量研究所);St Michaels Hospital(圣迈克尔医院);Surgical Safety Technologies Inc(手术安全技术公司);Hospital for Sick Children(病童医院)
说话人嵌入模型利用神经网络将话语映射到空间,其中距离反映说话人之间的相似性,这推动了说话人识别任务的最新进展。然而,在识别训练集中的说话人和未见过的说话人之间仍然存在显着的性能差距。后一种情况对应于少样本学习任务,其中训练模型在看不见的类上进行评估。在这里,我们使用原型网络损失(PNL)优化了说话人嵌入模型,这是一种用于Few-Shot图像分类任务的最先进方法。由此产生的嵌入模型优于国家的最先进的三重损失为基础的模型在说话人验证和识别任务,为可见和不可见的扬声器。
2019-02-06 cs.LG cs.SD eess.AS
High-Resolution Speaker Counting In Reverberant Rooms Using CRNN With Ambisonics Features
Orange Labs(奥兰治实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);GIPSA-lab(格勒诺布尔图像语音信号与自动控制实验室);Grenoble-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心)
说话者计数是估计在音频记录中同时说话的人数的任务。对于若干音频处理任务,诸如扬声器日志化、分离、定位和跟踪,除了能够实现低延迟处理之外,知道每个时间步长处的扬声器的数量是先决条件,或者至少它可以是强优势。为此目的,我们解决了扬声器计数问题与多通道卷积递归神经网络,产生在短期帧分辨率的估计。我们训练网络来预测多通道混合中多达5个并发扬声器,模拟数据包括源和麦克风位置,混响和噪声方面的许多不同条件。该网络可以在帧分辨率下以良好的精度预测扬声器的数量。
2020-03-17 cs.SD eess.AS
How phonemes contribute to deep speaker models?
Xinjiang University(新疆大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
本研究通过LayerCAM和TAO事后解释方法,分析TDNN和CNN深度说话人模型中音素的贡献,发现元音比辅音更重要,但摩擦音重要性低,且音素重要性因说话人而异。
2024-02-05 cs.SD eess.AS
Practical applicability of deep neural networks for overlapping speaker separation
KU Leuven(鲁汶大学)
本文研究了两种基于深度学习的解决方案在实际场景中对重叠说话人分离问题的适用性。首先,我们提出的实验表明,这些方法适用于广泛的语言。进一步的实验表明,当未训练的语言与训练的语言具有共同特征时,未训练的语言的性能损失有限。其次,它研究了如何处理现实的背景噪声的方法,并提出了一些修改,以更好地应对这些干扰。我们将研究的深度学习方法是深度聚类和深度吸引子网络。
2019-12-19 cs.LG cs.SD eess.AS
Deep Discriminant Analysis for i-vector Based Robust Speaker Recognition
Shanghai Jiao Tong University(上海交通大学)
线性判别分析(LDA)已被用作许多最先进的说话人识别任务中的标准后处理过程。通过最大化说话人间差异和最小化说话人内差异,LDA将i向量投影到更低维和更具区分性的子空间。在本文中,我们提出了一个神经网络为基础的补偿方案(称为深度判别分析,DDA)的i-向量的说话人识别,它共享的精神与LDA。该方法同时针对softmax损失和中心损失进行了优化,学习了一个更紧凑和有区别的嵌入空间。与LDA中数据的高斯分布假设和学习线性投影相比,该方法不对数据作任何假设,可以学习非线性投影函数。在基于SRE语料库的短时间文本无关数据集上进行了实验,与常规LDA或PLDA方法相比,性能有明显的提高。
2018-05-03 cs.SD eess.AS
Deep Speaker Embeddings for Far-Field Speaker Recognition on Short Utterances
ITMO University(ITMO大学);STC-innovations Ltd.(STC-创新有限公司)
根据早期NIST SRE(说话人识别评估)数据集获得的结果,基于深度说话人嵌入的说话人识别系统在受控条件下取得了显著的性能。从实用的角度来看,考虑到人们对虚拟助手(如亚马逊Alexa、谷歌Home、AppleSiri等)的兴趣增加,在不受控制的噪声环境条件下对短话语的说话人确认是最具挑战性和高度要求的任务之一。本文提出了旨在实现两个目标的方法:a)在存在环境噪声、混响的情况下提高远场说话人确认系统的质量; b)减少短话语的系统质量下降。出于这些目的,我们考虑了基于TDNN(时延神经网络)和ResNet(残差神经网络)块的深度神经网络架构。我们试验了最先进的嵌入提取器及其训练程序。得到的结果证实,ResNet架构优于标准的x向量方法的说话人验证质量的长时间和短时间的话语。我们还研究了语音活动检测器,不同的评分模型,自适应和得分归一化技术的影响。实验结果公开提供的数据和验证协议的VoxCeleb1,VoxCeleb2和VOiCES数据集。
2020-02-14 cs.CL cs.SD eess.AS
A Deep Neural Network for Short-Segment Speaker Recognition
Queens University(皇后大学)
今天的交互式设备,如智能手机助手和智能扬声器,通常处理短时间的语音片段。结果,集成到这样的设备中的说话人识别系统将更好地适合于能够执行具有短持续时间话语的识别任务的模型。本文提出了一种新的深度神经网络UtterIdNet,它能够用短语音段进行说话人识别。我们提出的模型采用了一种新的架构,使其适合于短段说话人识别,通过有效地增加使用短语音段中的信息。UtterIdNet已经在VoxCeleb数据集上进行了训练和测试,VoxCeleb数据集是说话人识别的最新基准。对不同片段持续时间的评估表明,对于短片段,性能一致且稳定,对于2秒、1秒、尤其是亚秒持续时间(250 ms和500 ms)的片段,性能比以前的模型有显著改善。
2019-07-22 cs.LG cs.SD eess.AS
An Improved Deep Neural Network for Modeling Speaker Characteristics at Different Temporal Scales
University of Science and Technology of China(中国科学技术大学);National Engineering Laboratory for Speech and Language Information Processing(国家语音语言信息处理工程实验室)
提出了一种改进的基于卷积神经网络(CNN)的深度嵌入学习方法,用于文本无关的说话人确认。针对x向量嵌入学习提出了两点改进:(1)在帧级层采用多尺度卷积(MSCNN)来捕获不同感受野的互补说话人信息。(2)池化层采用Baum-Welch统计注意机制,在时域池化层中融合更多有用的说话人长时特征。在NIST SRE 16评估集上进行了实验。实验结果证明了MSCNN的有效性,并表明BWSA可以进一步提高DNN嵌入系统的性能
2020-01-14 cs.SD eess.AS eess.SP
Text-Independent Speaker Verification Based on Deep Neural Networks and Segmental Dynamic Time Warping
Microsoft Advanced Technology Lab(微软高级技术实验室);Microsoft Corporation(微软公司)
在本文中,我们提出了一种新的方法,文本无关的说话人确认,结合分段动态时间规整(SDTW)和d-向量的方法。d向量,从训练以区分说话者的前馈深度神经网络生成,作为特征来执行对齐,从而计算注册和测试话语之间的总体距离。我们提出了NIST 2008数据集上的说话人验证结果,其中所提出的方法优于传统的i向量基线PLDA分数,并优于d-矢量方法与基于余弦和PLDA分数的局部距离。此外,与i-vector/PLDA基线的评分组合导致两种方法的显著增益。
2018-06-26 cs.CL cs.SD eess.AS
Study on the temporal pooling used in deep neural networks for speaker verification
LIA - Avignon University(阿维尼翁大学LIA实验室)
x向量架构最近在说话人验证任务上取得了最先进的成果。该架构包括被称为时间池化的中心层,其堆叠声学帧分布的统计参数。这项工作提出了突出的时间池内容的训练动态和任务性能的显着影响。进行了具有不同汇集层的评估,即包括集中趋势的不同统计测量。值得注意的是,还测试了基于三阶和四阶矩的统计量(偏度和峰度),以完成通常的平均值和标准差参数。我们的实验显示了池化层内容在说话人验证性能方面的影响,但也适用于几个分类任务(说话人,通道或文本相关),并允许根据层内容更好地揭示说话人身份的外部信息的存在。
2021-05-10 cs.SD eess.AS
A Real-time Speaker Diarization System Based on Spatial Spectrum
Alibaba Group(阿里巴巴集团)
在本文中,我们描述了一个扬声器日记系统,使本地化和识别的所有扬声器在对话或会议。本文提出了一种新的系统方法来解决说话人日志化中的几个长期存在的挑战:(1)分割和分离来自两个说话人的重叠语音;(2)估计参与者随时可能进入或离开会话时的说话人数量;(3)对与文本无关的短话语提供准确的说话人辨识;(4)跟踪说话人在会话期间的移动;(5)跟踪说话人在会话中的移动。(5)实时的【形】检测说话人变化发生率。首先,采用基于差分方向性麦克风阵列的方法,在远场恶劣环境中捕获目标说话人的语音。其次,提出了一种在线的说话人位置联合聚类方法来跟踪说话人位置。第三,开发了一个即时说话人数目检测器,以触发分离重叠语音的机制。结果表明,我们的系统有效地结合了空间信息,并取得了显着的收益。
2021-07-20 cs.LG cs.SD eess.AS
A Comparative Re-Assessment of Feature Extractors for Deep Speaker Embeddings
University of Eastern Finland(东芬兰大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
现代自动说话人验证在很大程度上依赖于在梅尔频率倒谱系数(MFCC)特征上训练的深度神经网络(DNN)。虽然有基于相位,韵律和长期时间操作的替代特征提取方法,但它们尚未被基于DNN的方法广泛研究。我们的目标是通过对VoxCeleb和SITW数据集上的14个特征提取器进行广泛的重新评估来填补这一空白。我们的研究结果表明,配备频谱质心,群延迟函数和综合噪声抑制等技术的功能为深层说话人嵌入提取提供了有前途的替代方案。实验结果表明,等错误率(EER)相对于基线降低了16.3%(VoxCeleb)和25.1%(SITW)。
2020-07-30 cs.LG cs.SD eess.AS
Leveraging speaker attribute information using multi task learning for speaker verification and diarization
University of Edinburgh(爱丁堡大学)
深度说话人嵌入已经成为说话人识别任务中编码说话人身份的主要方法。理想情况下,嵌入空间应该捕获所有可能的扬声器之间的变化,对构成扬声器身份的多个声学方面进行编码,同时对非扬声器声学变化具有鲁棒性。深度说话人嵌入通常是有区别地训练的,在训练数据上预测说话人身份标签。我们假设,另外预测与说话者相关的辅助变量--如年龄和国籍--可能会产生更好地概括看不见的说话者的表示。我们提出了一个框架,利用辅助标签信息,即使它只适用于语音语料库不匹配的目标应用程序。在美国最高法院录音的测试集上,我们表明,通过利用分别来自匹配的训练数据和VoxCeleb语料库的两种额外形式的扬声器属性信息,我们提高了我们的深度扬声器嵌入的性能,用于验证和日志化任务,与仅使用扬声器标签的基线相比,DER和EER分别提高了26.2%和6.7%。尽管辅助标签已经从卷材上刮下并且潜在地有噪声,但是仍然获得了这种改进。
2021-04-23 cs.LG cs.SD eess.AS
VoxCeleb2: Deep Speaker Recognition
University of Oxford(牛津大学)
本文的目的是在噪声和无约束条件下的说话人识别。我们做出了两个重要贡献。首先,我们介绍了一个非常大规模的视听说话人识别数据集收集的开源媒体。使用全自动管道,我们策划了VoxCeleb2,其中包含来自6,000多名发言者的超过100万条话语。这是任何公开可用的说话人识别数据集的几倍。其次,我们开发和比较卷积神经网络(CNN)模型和训练策略,可以有效地识别身份的声音在各种条件下。在VoxCeleb2数据集上训练的模型大大超过了以前在基准数据集上的工作。
2018-06-27 cs.CV cs.SD eess.AS
Fine-grained Early Frequency Attention for Deep Speaker Recognition
Queen’s University(女王大学);Ingenuity Labs Research Institute(创意实验室研究所)
注意力机制已经成为重要的工具,通过允许深度模型专注于学习嵌入的关键部分来提高深度模型的性能。然而,在说话人识别任务中使用的当前注意力机制未能考虑细粒度的信息项,诸如由深度网络使用的输入频谱表示中的频率仓。为了解决这个问题,我们提出了新的细粒度早期频率注意(FEFA)的说话人识别在野外。一旦集成到深度神经网络中,我们提出的机制的工作原理是从网络的早期层获得查询,并生成可学习的权重,以关注与输入频谱表示中的频率段一样小的信息项。为了评估FEFA的性能,我们使用几个著名的深度模型作为骨干网络,并将我们的注意力模块集成到它们的管道中。在VoxCeleb1数据集上评估了这些网络(有和没有FEFA)的整体性能,当使用FEFA时,我们观察到相当大的改进。
2022-07-20 cs.SD eess.AS
Full-info Training for Deep Speaker Feature Learning
Tsinghua University(清华大学)
在最近的研究中,已经表明说话者模式可以从非常短的语音片段(例如,0.3秒)通过精心设计的卷积和时间延迟深度神经网络(CT-DNN)模型。通过对训练数据中的说话人进行识别,可以从最后一个隐藏层中得到帧级说话人特征。尽管其性能良好,但本模型的潜在问题在于其涉及参数分类器,即,最后的仿射层,这可能会消耗一些判别知识,从而导致特征学习的“信息泄漏”。本文提出了一种全信息训练方法,该方法放弃了参数分类器,并强制执行特征网络学习的所有判别知识。我们在Fisher数据库上的实验表明,这种新的训练方案可以产生更多的连贯特征,从而在说话人确认任务上获得一致和显着的性能改善。
2018-02-27 cs.LG cs.SD eess.AS
Multichannel CRNN for Speaker Counting: an Analysis of Performance
Orange Labs(奥兰奇实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble-INP(格勒诺布尔理工学院);CNRS(法国国家科学研究中心)
说话者计数是估计在音频记录中同时说话的人数的任务。对于若干音频处理任务,诸如扬声器日志化、分离、定位和跟踪,除了能够实现低延迟处理之外,知道每个时间步长处的扬声器的数量是先决条件,或者至少它可以是强优势。在以前的工作中,我们使用多通道卷积递归神经网络解决了说话人计数问题,该网络以短期帧分辨率产生估计。在这项工作中,我们表明,对于一个给定的帧,有一个最佳的位置,在输入序列的最佳预测精度。我们凭经验证明了最佳位置,输入序列的长度和卷积滤波器的大小之间的联系。
2021-01-06 cs.SD eess.AS
Dual-label Deep LSTM Dereverberation For Speaker Verification
Binghamton University(宾汉姆顿大学);Sony Interactive Entertainment Inc(索尼互动娱乐公司)
在本文中,我们提出了一种用于说话人验证的混响消除方法,利用双标签深度神经网络(DNN)。该网络执行混响和干净语音的频谱特征之间的特征映射。训练长短期记忆递归神经网络(LSTM)以将损坏的Mel滤波器组(MFB)特征映射到两组标签:i)干净的MFB特征,以及ii)干净语音的估计音高轨迹或快速傅里叶变换(FFT)谱图。混响消除的性能进行了评估的等错误率(EER)的扬声器确认实验。
2018-09-08 cs.LG cs.SD eess.AS
Phonetic-attention scoring for deep speaker features in speaker verification
Tsinghua University(清华大学)
最近的研究表明,帧级深度说话人特征可以从深度神经网络中导出,训练目标设置为通过短语音片段来区分说话人。通过合并帧级特征,可以导出称为d向量的话语级表示,并将其用于自动说话人确认(ASV)任务。然而,这种简单的平均池化固有地对话语的语音内容敏感。从机器翻译中借用的一个有趣的想法是基于注意力的机制,其中输入单词在特定时间对翻译的贡献由注意力得分加权。这个分数反映了输入单词和当前翻译的相关性。我们可以用同样的思想来排列具有不同语音内容的话语。本文提出了一种基于d-向量系统的语音注意力评分方法。通过这种方法,计算每个帧对的注意力分数。该分数反映了两个帧在语音内容上的相似性,并且用于在基于话语的评分中加权该帧对的贡献。这种新的评分方法强调具有相似语音内容的帧对,这本质上为具有任何语音内容的话语提供了软对齐。实验结果表明,与朴素平均池相比,这种语音注意力评分方法在文本相关和文本无关的ASV任务中都能提供一致的性能改善。
2018-11-08 cs.CL cs.SD eess.AS
Deep Learning for Speaker Identification: Architectural Insights from AB-1 Corpus Analysis and Performance Evaluation
University of Malta(马耳他大学)
针对安全、法医和个性化服务中的说话人识别任务,研究基于 AB-1 语料库比较六种深度学习架构,结合 Mel Spectrogram、MFCC、超参数调优及口音、性别与偏差分析评估性能。
2024-08-13 cs.AI cs.SD eess.AS
DSARSR: Deep Stacked Auto-encoders Enhanced Robust Speaker Recognition
Central China Normal University(华中师范大学);Hubei University of Technology(湖北工业大学)
本文提出DSARSR方法,用深度堆叠自编码器替代PLDA对i-vector进行低维重构,以增强跨信道鲁棒性,实验表明其性能优于现有最优方法。
2023-07-06 cs.CR cs.SD eess.AS
Deep Speaker Vector Normalization with Maximum Gaussianality Training
Tsinghua University(清华大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
深度说话人嵌入代表了说话人识别的最新技术。这种方法的一个关键问题是,所得到的深层扬声器矢量往往是不规则分布的。在以前的研究中,我们提出了一种基于新的判别归一化流(DNF)模型的深度归一化方法,通过该模型,可以将单个说话人的分布转换为均匀高斯分布。这种归一化被证明是有效的,但是尽管取得了显著的成功,我们根据经验发现,DNF模型产生的潜在代码通常既不是齐次的,也不是高斯的,尽管模型假设是这样的。在本文中,我们认为这个问题在很大程度上归因于DNF模型的最大似然(ML)训练标准,其目的是最大限度地提高观测的似然性,但不一定提高潜在代码的高斯性。因此,我们提出了一种新的最大高斯性(MG)训练方法,直接最大化的潜在代码的高斯性。我们在两个数据集SITW和CNCeleb上的实验表明,我们新的MG训练方法可以提供比以前的ML训练更好的性能,并且表现出更好的领域泛化能力,特别是在余弦评分方面。
2020-10-30 cs.LG cs.SD eess.AS
Feature Enhancement with Deep Feature Losses for Speaker Verification
L’École de Technologie Supérieure(高等技术学院);Johns Hopkins University(约翰斯·霍普金斯大学)
说话人确认仍然面临着推广到新的不利环境的挑战。我们利用基于深度学习的语音增强的最新进展,提出了一种基于特征域监督去噪的解决方案。我们建议使用深度特征丢失,它在预训练的辅助说话人嵌入网络的隐藏激活空间中优化增强网络。我们的模拟和真实数据的实验验证的方法。使用不同SNR水平下的各种噪声类型创建模拟测试设置。为了对真实数据进行评估,我们选择了BabyTrain语料库,该语料库由非受控环境中的儿童录音组成。我们观察到一致的增益,在每一个条件下的最先进的增强因子化TDNN x向量系统。在BabyTrain语料库上,我们观察到minDCF和EER的相对增益分别为10.38%和12.40%。
2020-02-14 cs.SD eess.AS
Deep multi-metric learning for text-independent speaker verification
Huazhong University of Science and Technology(华中科技大学)
与文本无关的说话人确认是一个重要的人工智能问题,具有广泛的应用,如刑事调查,支付认证和基于兴趣的客户服务。文本无关说话人确认的目的是确定两个给定的不受控制的话语是否来自同一说话人。使用深度神经网络为每个说话者提取语音特征是一个很有前途的探索方向,一个简单的解决方案是通过使用度量学习损失函数来训练区分特征提取网络。然而,单一的损失函数往往具有一定的局限性。因此,我们使用深度多度量学习来解决这个问题,并为此问题引入三种不同的损失,即,三重态损耗、n对损耗和角损耗。这三个损失函数以合作的方式工作,以训练配备有剩余连接和挤压-激励注意力的特征提取网络。我们在大规模的\texttt{VoxCeleb2}数据集上进行了实验,该数据集包含来自超过$6,000$说话者的超过一百万个话语,并且所提出的深度神经网络获得了$3.48\%$的相等错误率,这是一个非常有竞争力的结果。\url{https://github.com/GreatJiweix/DmmlTiSV}提供了用于训练和测试的代码以及预训练模型,这是第一个公开可用的代码库,用于大规模文本无关的说话人验证,其性能与最先进的系统相当。
2020-07-17 cs.CV cs.SD eess.AS