SpeakerNet: 1D Depth-wise Separable Convolutional Network for Text-Independent Speaker Recognition and Verification
我们提出了SpeakerNet -一个新的神经架构的说话人识别和说话人验证任务。它由具有1D深度可分离卷积、批量归一化和ReLU层的残差块组成。该架构使用基于x-向量的统计池化层来将可变长度的话语映射到固定长度的嵌入(q-向量)。SpeakerNet-M是一个简单的轻量级模型,只有5 M个参数。它不使用语音活动检测(VAD),并实现了接近最先进的性能,在VoxCeleb 1清理和VoxCeleb 1试用文件上的等错误率(EER)分别为2.10%和2.29%。
2020-10-23 eess.AS
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.(微软公司)
本文提出了一个端到端的说话人属性自动语音识别模型,该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练(SOT)与基于注意力的编码器-解码器,最近提出的方法,用于识别重叠的语音,包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入,以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化,该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明,该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
The DKU-DukeECE Systems for VoxCeleb Speaker Recognition Challenge 2020
在本文中,我们介绍了DKU-DukeECE团队为VoxCeleb说话人识别挑战赛2020(VoxSRC-20)提交的系统。对于第1轨,我们探索了各种最先进的前端提取器,它们具有不同的池化层和客观损失函数。对于轨道3,我们采用了一个迭代框架,用于基于深度神经网络(DNN)的自监督说话人表示学习。对于音轨4,我们研究了用于说话人日志化的整个系统流水线,包括语音活动检测(VAD),均匀分割,说话人嵌入提取和聚类。
2020-10-24 eess.AS
Disentangling Speakers in Multi-Talker Speech Recognition with Speaker-Aware CTC
The Chinese University of Hong Kong(香港中文大学)
本文提出说话人感知CTC训练目标,通过约束编码器在特定时间帧表示不同说话人token,与SOT结合后显著降低多说话人语音识别词错误率。
2025-01-03 cs.AI cs.SD eess.AS
Audio-visual Speaker Recognition with a Cross-modal Discriminative Network
视听说话人识别是最近2019年NIST说话人识别评估(SRE)的任务之一。神经科学和计算机科学的研究都指出,视觉和听觉神经信号在认知过程中相互作用。这促使我们研究一种跨模态网络,即语音-面部判别网络(VFNet),它建立了人类语音和面部之间的一般关系。实验表明,VFNet提供了额外的说话人判别信息。使用VFNet,我们在2019年NIST SRE的评估集上实现了16.54%的相对于评分水平融合视听基线的相等错误率降低。
2020-08-10 eess.AS
To train or not to train adversarially: A study of bias mitigation strategies for speaker recognition
说话人识别越来越多地用于智能扬声器、客户服务中心和其他语音驱动分析等日常应用中。准确评估和减轻基于机器学习(ML)的语音技术(如说话人识别)中存在的偏见至关重要,以确保其广泛采用。与其他以人为中心的应用(如人脸识别)相比,现代说话人识别系统中关于各种人口统计因素的ML公平性研究滞后。现有的说话人识别系统中的公平性研究主要局限于在系统的特定操作点上评估偏差,这可能导致对公平性的错误期望。此外,只有少数偏见减轻策略开发的说话人识别系统。在本文中,我们系统地评估了在说话人识别系统中存在的偏见,就性别在一系列的系统工作点。我们还提出了对抗和多任务学习技术,以提高这些系统的公平性。我们通过定量和定性评估表明,所提出的方法提高了ASV系统的公平性,超过了使用数据平衡技术训练的基线方法。我们还提出了一个公平效用权衡分析,共同检查公平性和整体系统性能。我们表明,虽然使用对抗技术训练的系统提高了公平性,但它们容易降低效用。另一方面,多任务方法可以在保持效用的同时提高公平性。这些研究结果可以为说话人识别领域中偏见缓解策略的选择提供参考。
2022-03-17 eess.AS
Speaker conditioning of acoustic models using affine transformation for multi-speaker speech recognition
University of Texas at Dallas(德克萨斯大学达拉斯分校);Erik Jonsson School of Engineering(埃里克·琼森工程学院);Center for Robust Speech Systems (CRSS)(鲁棒语音系统中心(CRSS))
本文研究了在重叠语音场景下目标说话人的单通道自动语音识别问题。该方法利用说话人辅助信息对声学模型中的隐藏表示进行调制,从而只识别期望的说话人。仿射变换层被插入到声学模型网络中,以将说话人信息与声学特征相结合。扬声器调节过程允许声学模型在目标扬声器辅助信息的上下文中执行计算。所提出的扬声器调节方法是一种通用的方法,可以应用于任何声学模型架构。在这里,我们在ResNet声学模型上使用扬声器调节。在WSJ语料库上的实验表明,该方法是一种有效的融合说话人辅助信息和声学特征的多说话人语音识别方法,与原始ResNet声学模型基线相比,在干净和重叠语音场景下分别实现了+9%和+20%的相对WER降低。
2021-10-30 cs.AI cs.LG cs.SD
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)(日本国立信息通信技术研究所)
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题,提出带说话人掩码分支的自回归Transformer模型,可单模型同时完成两项任务,在LibriSpeech重叠数据集上验证了有效性,尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Certification of Speaker Recognition Models to Additive Perturbations
AIRI;Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Moscow Technical University of Communications and Informatics(莫斯科通信与信息技术大学);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息学研究所可信人工智能研究中心)
本文首次将鲁棒性认证技术应用于说话人识别,改进随机平滑方法以抵御加性扰动,并在VoxCeleb数据集上验证其有效性。
2024-12-18 cs.AI cs.SD eess.AS
The Royalflush System for VoxCeleb Speaker Recognition Challenge 2022
Hithink RoyalFlush AI Research Institute(华创同花顺人工智能研究院)
在本技术报告中,我们描述了Royalflush为VoxCeleb Speaker Recognition Challenge 2022(VoxSRC-22)提交的申请。我们提交的文件包含轨道1,这是监督说话人验证和轨道3,这是半监督说话人验证。对于音轨1,我们开发了一个功能强大的基于U-Net的对称架构的说话人嵌入提取器。在验证集上,所提出的系统的EER和MinDCF分别达到2.06%和0.1293。与现有的ECAPA-TDNN相比,EER和MinDCF分别提高了20.7%和22.70%。对于音轨3,我们采用源域监督和目标域自监督的联合训练,得到一个说话人嵌入提取器。随后的聚类过程可以获得目标域伪说话人标签。我们使用所有源和目标域数据以监督的方式调整说话人嵌入提取器,它可以充分利用这两个域的信息。此外,可以重复聚类和监督领域自适应,直到性能收敛于验证集。我们最终提交的是10个模型的融合,在验证集上实现了7.75%的EER和0.3517 MinDCF。
2022-09-20 cs.AI cs.SD eess.AS
VoxBlink2: A 100K+ Speaker Recognition Corpus and the Open-Set Speaker-Identification Benchmark
本文构建了大规模视听说话人识别数据集VoxBlink2,并提出了开放集说话人识别任务及相应基准,在VoxCeleb1-O上实现了最先进的性能。
2024-07-16 eess.AS
In defence of metric learning for speaker recognition
Naver Corporation(NAVER公司)
本文的目标是“开集”的说话人识别看不见的发言人,理想的嵌入应该能够压缩到一个紧凑的话语级表示,具有小的内部扬声器和大的扬声器间的距离的信息。说话人识别中的一个流行观点是,用分类目标训练的网络优于度量学习方法。在本文中,我们提出了一个广泛的评价最流行的损失函数的VoxCeleb数据集上的说话人识别。我们证明,与基于分类的损失相比,香草三重损失显示出有竞争力的性能,并且用我们提出的度量学习目标训练的那些损失优于最先进的方法。
2020-04-24 cs.SD eess.AS
U-vectors: Generating clusterable speaker embedding from unlabeled data
Bangladesh University of Business & Technology(孟加拉国商业与技术大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学);University of Asia Pacific(亚太大学);University of Aizu(会津大学)
说话人识别是根据说话人的语音来识别说话人。大多数说话人识别系统都是建立在两个阶段上的,第一阶段从语音中提取低维相关嵌入,第二阶段执行分类任务。说话人识别系统的鲁棒性主要取决于语音嵌入的提取过程,语音嵌入主要是在大规模数据集上进行预训练的。由于嵌入系统是预先训练的,说话人识别模型的性能很大程度上取决于领域自适应策略,如果使用不充分的数据进行训练,则可能会降低。本文介绍了一种处理未标记数据的说话人识别策略,该策略从较小的固定大小的语音帧中生成可聚类的嵌入向量。无监督训练策略涉及一个假设,即一个小的语音段应该包括一个单一的扬声器。根据这样的信念,成对的约束构造与噪声增强策略,用于训练AutoEmbedder架构,生成扬声器嵌入。在不依赖于域自适应策略的情况下,该过程无监督地产生可聚类的说话人嵌入,称为无监督向量(u-向量)。评估的结论是在两个流行的说话人识别数据集的英语,TIMIT和LibriSpeech。此外,孟加拉语数据集包括说明域转移的多样性说话人识别系统。最后,我们得出结论,所提出的方法实现了令人满意的性能,使用成对的架构。
2021-10-22 cs.AI cs.LG cs.SD
Fine-tuning wav2vec2 for speaker recognition
Radboud University(拉德堡德大学)
本文探讨了将wav 2 vec 2框架应用于说话人识别而不是语音识别。我们研究了预训练权重在说话人识别任务中的有效性,以及如何将wav 2 vec 2输出序列合并到固定长度的说话人嵌入中。为了使该框架适用于说话人识别,我们提出了一个单一的话语分类变体CE或AAM softmax损失,和一个话语对分类变体BCE损失。我们表现最好的变体w2 v2-aam在扩展voxceleb 1测试集上实现了1.88%的EER,而ECAPA-TDNN基线的EER为1.69%。代码可在https://github.com/nikvaessen/w2v2-speaker上获得。
2022-05-06 cs.LG cs.SD eess.AS
Perceiver-Prompt: Flexible Speaker Adaptation in Whisper for Chinese Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);The Chinese University of Hong Kong(香港中文大学);Shenzhen Institute of Advanced Technology, CAS(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学)
针对中文构音障碍语音识别数据少、说话人差异大的问题,提出 Perceiver-Prompt,通过 LoRA 微调 Whisper 并利用可训练 Perceiver 生成定长说话人提示,CER 最高相对降低 13.04%。
2024-06-14 cs.AI cs.SD eess.AS
Frame-level speaker embeddings for text-independent speaker recognition and analysis of end-to-end model
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种基于卷积神经网络(CNN)的说话人识别模型,用于提取鲁棒的说话人嵌入。嵌入层的线性激活可以有效地提取嵌入。为了理解说话人识别模型如何与文本无关的输入操作,我们修改了结构,从每个隐藏层提取帧级说话人嵌入。我们将TIMIT数据集中的话语输入到训练好的网络中,并使用几个代理任务来研究网络表示语音输入和区分语音身份的能力。我们发现,网络更好地区分广泛的语音类比单个音素。特别是,属于相同语音类的帧级嵌入对于相同说话者是相似的(基于余弦距离)。帧级表示还允许我们在帧级分析网络,并且具有用于其他分析以改进说话人识别的潜力。
2018-09-12 cs.LG eess.AS
GIST-AiTeR System for the Diarization Task of the 2022 VoxCeleb Speaker Recognition Challenge
本报告介绍了GIST-AiTeR团队在2022年VoxCeleb说话人识别挑战赛(VoxSRC)Track 4上的提交系统。我们的系统主要包括语音增强、语音活动检测、多尺度说话人嵌入、基于概率线性判别分析的说话人聚类和重叠语音检测模型。我们首先根据不同的模型组合,以最佳的实验努力构建了四个不同的日记化系统。我们的最终提交是所有四个系统的集成系统,并在挑战评估集上实现了5.12%的日志错误率,在挑战的日志轨道上排名第三。
2022-10-06 eess.AS
The ins and outs of speaker recognition: lessons from VoxSRC 2020
Naver Corporation(NAVER 公司);Yonsei University(延世大学)
Interspeech 2020的VoxCeleb Speaker Recognition Challenge(VoxSRC)为说话人识别系统提供了一个具有挑战性的评估,其中包括名人在电影中扮演不同的角色。这项工作的目标是强大的说话人识别的话语记录在这些具有挑战性的环境。我们利用流行的ResNet架构的变体进行说话人识别,并使用一系列损失函数和训练参数进行广泛的实验。为此,我们优化了一个高效的训练框架,允许在有限的时间和资源下训练强大的模型。我们的训练模型通过更轻的模型和简单的管道展示了对大多数现有作品的改进。该文件分享了我们从参与挑战中吸取的经验教训。
2020-10-29 cs.SD eess.AS
GIST-AiTeR Speaker Diarization System for VoxCeleb Speaker Recognition Challenge (VoxSRC) 2023
GIST-AiTeR团队为VoxSRC-23赛道4构建集成说话人日志系统,融合不同参数配置的ResNet293与MFA-Conformer模型,在VAL46和赛事测试集上均取得优于单模型的DER表现。
2023-08-25 eess.AS
AutoSpeech: Neural Architecture Search for Speaker Recognition
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Science and Technology of China(中国科学技术大学)
基于卷积神经网络(CNN)的说话人识别系统通常使用现成的主干(如VGG-Net或ResNet)构建。然而,这些主干最初被提出用于图像分类,因此可能不自然地适合于说话人识别。由于人工探索设计空间的复杂性,我们提出了第一个神经结构搜索方法的说话人识别任务,命名为自动语音。该算法首先在神经元中确定最优操作组合,然后通过多次堆叠神经元得到CNN模型。通过标准方案训练推导出的CNN模型,可以得到最终的说话人识别模型。为了评估所提出的方法,我们使用VoxCeleb 1数据集对说话人识别和说话人验证任务进行了实验。结果表明,从所提出的方法衍生的CNN架构显着优于当前基于VGG-M,ResNet-18和ResNet-34骨干的说话人识别系统,同时享有较低的模型复杂度。
2020-08-31 cs.LG eess.AS
Self-supervised Speaker Recognition with Loss-gated Learning
在用于说话人识别的自监督学习中,伪标签用作监督信号。众所周知,由于伪标签的不可靠性,说话人识别模型并不总是受益于伪标签。在这项工作中,我们观察到一个说话人识别网络倾向于建模的数据与可靠的标签比那些不可靠的标签。这促使我们研究一种损失门控学习(LGL)策略,该策略通过神经网络在训练过程中的拟合能力来提取可靠的标签。与建议的LGL,我们的说话人识别模型获得了$46.3\%$性能增益超过没有它的系统。此外,建议的自监督说话人识别与LGL训练的VoxCeleb2数据集上没有任何标签,达到了相同的错误率$1.66\%$的VoxCeleb1原始测试集。代码已在https://github.com/TaoRuijie/Loss-Gated-Learning上提供。
2022-07-14 eess.AS eess.SP
Bias in Automated Speaker Recognition
Delft University of Technology(代尔夫特理工大学)
自动说话人识别使用数据处理来通过语音识别说话人。如今,自动说话人识别已部署在数十亿台智能设备和呼叫中心等服务中。尽管它们在人脸识别和自然语言处理等相关领域中得到了广泛的应用,并且已知偏见的来源,但自动说话人识别中的偏见尚未得到系统的研究。我们提出了一个深入的经验和分析研究的偏见,在机器学习开发工作流程的说话人验证,语音生物特征和自动说话人识别的核心任务。利用一个既定的框架来理解机器学习中的危害来源,我们表明偏见存在于著名的VoxCeleb说话人识别挑战赛的每个开发阶段,包括数据生成,模型构建和实施。受影响最大的是女性演讲者和非美国国籍的人,他们的表现明显下降。利用我们的研究结果的见解,我们为减轻自动说话人识别中的偏见提出了实用的建议,并概述了未来的研究方向。
2022-06-20 cs.CL cs.CY cs.LG
A Machine of Few Words -- Interactive Speaker Recognition with Reinforcement Learning
Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Deepmind(深度思维);Google Research(谷歌研究院)
说话人识别是语音处理领域中一个众所周知的研究课题。它有许多应用,用于个人设备的安全或扬声器适配。在本文中,我们提出了一个新的范例自动说话人识别,我们称之为交互式说话人识别(ISR)。在这个范例中,识别系统的目的是通过请求个性化的话语来逐步建立一个代表的发言者被发言的标准文本相关或文本无关的计划。为此,我们将说话人识别任务转换为一个顺序决策问题,并使用强化学习来解决。使用一个标准的数据集,我们表明,我们的方法取得了优异的性能,同时使用很少的语音信号量。该方法也可以作为一种发声选择机制,用于构建语音合成系统。
2020-08-07 cs.LG cs.SD eess.AS
GhostVec: A New Threat to Speaker Privacy of End-to-End Speech Recognition System
针对说话人自适应ASR系统的隐私泄露,提出GhostVec攻击方法,无需外部参考即可提取说话人信息,实验达到10.83% EER和0.47 minDCF,验证了攻击有效性。
2023-11-17 eess.AS
Adversarial Training for Multi-domain Speaker Recognition
Northwestern Polytechnical University(西北工业大学);School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);Tencent Media Lab(腾讯媒体实验室)
在实际应用中,说话人识别系统的性能往往会因为训练数据和评估数据的不匹配而下降。许多领域自适应方法已成功地用于消除说话人识别中的领域失配。然而,通常训练和评估数据本身都可以由几个子集组成。每个数据集的这些内部方差也可以被认为是不同的域。源域或目标域数据集的不同分布子集也会导致多域失配,影响说话人识别性能。在这项研究中,我们提出使用对抗训练多域说话人识别,以解决域失配和数据集方差问题。通过采用所提出的方法,我们能够获得多域不变和说话人区分的语音表示的说话人识别。在DAC13数据集上的实验结果表明,该方法不仅能有效解决多领域失配问题,而且性能优于无监督领域自适应方法.
2020-11-17 cs.SD eess.AS
Clova Baseline System for the VoxCeleb Speaker Recognition Challenge 2020
Naver Corporation(NAVER公司)
本报告描述了我们在Interspeech 2020上提交的VoxCeleb说话人识别挑战赛(VoxSRC)。我们对基于流行的ResNet架构的说话人识别模型进行了仔细的分析,并使用一系列损失函数训练了一些变体。我们的研究结果表明,显着的改进,大多数现有的作品,而不使用模型集成或后处理。我们发布了训练代码和预训练模型,作为今年挑战赛的非官方基线。
2020-09-29 cs.SD eess.AS
A Novel Speech Feature Fusion Algorithm for Text-Independent Speaker Recognition
针对文本无关说话人识别,提出了一种基于独立向量分析(IVA)和并行卷积神经网络(PCNN)的语音特征融合算法。首先,可以从说话人的语音中提取一些不同的特征类型,例如时域(TD)特征和频域(FD)特征,并且TD和FD特征可以被认为是独立特征分量(IFC)与未知混合系统的线性混合。为了估计IFC,说话人语音的TD和FD特征被级联以分别构建TD和FD特征矩阵。然后,通过将TD和FD特征矩阵并行化,得到说话人语音的特征张量。为了增强对不同特征类型的依赖性并去除相同特征类型的冗余,可以使用独立向量分析(IVA)来估计具有特征张量的TD和FD特征的IFC矩阵。IFC矩阵被用作PCNN的输入,以分别提取TD和FD特征的深度特征。深度特征可以被整合以获得说话人语音的融合特征。最后,说话人语音的融合特征被用作深度卷积神经网络(DCNN)分类器的输入,用于说话人识别。实验结果表明了所提出的说话人识别系统的有效性和性能。
2022-12-01 eess.AS
The DKU System for the Speaker Recognition Task of the 2019 VOiCES from a Distance Challenge
在本文中,我们介绍了DKU系统,用于2019年VOiCES远程挑战赛的说话人识别任务。我们研究了远场说话人确认的整个系统流程,包括数据预处理、短时谱特征表示、话语级说话人建模、后端评分和评分归一化。我们最好的单个系统采用了一个用角度softmax损失训练的残差神经网络。此外,加权预测误差算法可以进一步提高性能。它实现了0.3668 minDCF和5.58%EER的评价集上使用一个简单的余弦相似性评分。最后,提交的主要系统在评估集上获得0.3532 minDCF和4.96% EER。
2019-07-04 eess.AS
Emotion Recognition in Multi-Speaker Conversations through Speaker Identification, Knowledge Distillation, and Hierarchical Fusion
Institute of Science Tokyo(东京科学研究所)
本文提出通过说话人识别、知识蒸馏和分层融合方法,提升多说话人对话中情绪识别的准确性和鲁棒性。
2025-11-05 cs.SD eess.AS
The DKU-DukeECE Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
本文描述了DKU-DukeECE提交给VoxCeleb说话人识别挑战赛2022(VoxSRC-22)的第四轨道。我们的系统包含一个融合的语音活动检测模型,基于聚类的日记模型,和目标说话人的语音活动检测为基础的重叠检测模型。总体而言,提交的系统与我们去年在VoxSRC-21中的系统相似。不同的是,我们使用了更好的说话人嵌入和融合的语音活动检测,这显着提高了性能。最后,我们使用DOVER-lap融合4个不同的系统,并实现了4.75的日志错误率,排名第一位的轨道4。
2022-10-04 eess.AS
Multi-speaker Recognition in Cocktail Party Problem
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出了一种新颖的统计决策理论来实现鸡尾酒会问题中的多说话人识别任务。该理论假设说话人的不同频率服从高斯分布,并且他们之间的声纹关系可以用欧氏距离向量来表示。本文利用梅尔倒谱系数提取语音的特征,用于判断多说话人环境中是否包含说话人,并区分说话人是谁。最后,为了全面考虑总体影响因素,通过对说话人曼哈顿距离的映射,建立了一个13维星座图。
2017-12-05 cs.SD eess.AS
The BUCEA Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
Beijing University of Civil Engineering and Architecture(北京建筑大学)
本文介绍了BUCEA扬声器日记系统为2022 VoxCeleb扬声器识别挑战赛。Voxsrc-22提供VoxConverse的开发集和测试集,我们主要使用VoxConverse的测试集进行参数调整。该系统包括语音活动检测、说话人嵌入提取、聚类方法、重叠语音检测和结果融合等模块。在不考虑重叠的情况下,采用Dover-Rank(Diarization Output Voting Error Reduction)方法进行系统融合,最后进行重叠语音的检测和处理。我们最好的系统在VoxSRC 2022评估集上分别实现了5.48%的日记出错率(DER)和32.1%的Jaccard出错率(JER)。
2022-09-20 cs.SD eess.AS
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Corporation(微软公司)
最近,自监督学习(SSL)在说话人识别中表现出了很强的性能,即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验,研究了自监督学习在说话人相关任务(如说话人确认)中的成功因素。我们在Voxceleb-1数据集上的实证结果表明,SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合,而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Speaker Recognition using Deep Belief Networks
Indian Institute of Information Technology, Allahabad(印度信息科学与技术研究所阿拉哈巴德分校)
诸如梅尔频率倒谱系数(MFCC)的短时间谱特征先前已经被部署在现有技术的说话人识别系统中,然而,较少注意可以通过生成学习模型从语音信号学习的短期谱特征。更高维度的编码器,如深度信念网络(DBN),可以通过更好地建模声波的统计结构来提高说话人识别任务的性能。在本文中,我们使用短期的频谱特征学习的DBN与MFCC功能增强执行说话人识别的任务。使用我们的功能,我们实现了0.95的识别准确率,而在ELSDSR数据集上使用独立的MFCC功能时为0.90。
2018-05-09 cs.SD eess.AS
The DKU-DukeECE-Lenovo System for the Diarization Task of the 2021 VoxCeleb Speaker Recognition Challenge
DKU(昆山杜克大学);DukeECE(杜克大学电子与计算机工程系);Lenovo(联想)
本报告介绍了DKU-DukeECE-Lenovo团队提交的VoxCeleb说话人识别挑战赛(VoxSRC)2021年第4场比赛。我们的系统包括一个语音活动检测(VAD)模型,说话人嵌入模型,两个基于聚类的说话人日记系统与不同的相似性测量,两个不同的重叠语音检测(OSD)模型,和一个目标说话人语音活动检测(TS-VAD)模型。我们的最终提交,由5个独立的系统组成,在挑战测试集上实现了5.07%的DER。
2021-09-07 cs.SD eess.AS
XMUSPEECH System for VoxCeleb Speaker Recognition Challenge 2021
Xiamen University(厦门大学)
本文介绍了用于VoxCeleb说话人识别挑战赛2021的XMUSPEECH说话人识别和日记系统。对于第二轨道,我们评估了两个系统,包括ResNet 34-SE和ECAPA-TDNN。对于第四道,我们的系统的一个重要组成部分是VAD模块,大大提高了性能。我们在第4轨道上的最佳提交在评估集上获得了DER 5.54%和JER 27.11%,而在开发集上的表现是DER 2.92%和JER 20.84%。
2021-09-06 cs.SD eess.AS
Time-frequency Network for Robust Speaker Recognition
Fudan University(复旦大学)
基于语音的生物识别系统的广泛应用通常需要高性能的说话人识别算法。然而,大多数用于说话人识别的现有工作要么在频域要么在时域中处理语音,这可能产生次优的结果,因为时域和频域对于说话人识别都很重要。本文尝试对语音信号进行时域和频域分析,通过提取和融合时域和频域特征,提出了用于说话人识别的时频网络TFN。基于深度神经网络的最新进展,我们提出了一种卷积神经网络,将原始语音波形和频谱编码为特定于领域的特征,然后将其融合并转换为用于说话人识别的分类特征空间。在公开数据集TIMIT和LibriSpeech上的实验结果表明,该框架能够有效地将两个领域的信息结合起来,并且性能优于现有的说话人识别方法。
2023-03-07 cs.MM cs.SD eess.AS
VoxSRC 2019: The first VoxCeleb Speaker Recognition Challenge
University of Oxford(牛津大学);Naver Corporation(Naver公司);SRI International(斯坦福国际研究院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
VoxCeleb Speaker Recognition Challenge 2019旨在评估当前的说话人识别技术在不受约束或“野外”数据中识别说话人的能力。它包括:(i)来自YouTube视频的公开可用的说话人识别数据集以及地面实况注释和标准化评估软件;以及(ii)在奥地利格拉茨举行的Interspeech 2019上举行的公开挑战和研讨会。本文件概述了这一挑战,并提供了其基线、结果和讨论。
2019-12-05 cs.LG cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS))
本文介绍了我们在重叠语音的端到端自动语音识别(ASR)方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统,并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料,并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明,对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
A new Speech Feature Fusion method with cross gate parallel CNN for Speaker Recognition
Nanchang University(南昌大学)
提出了一种基于交叉门并行卷积神经网络(CG-PCNN)的语音特征融合方法用于说话人识别。通过多个Mel滤波器组从说话人语音的每一帧中提取不同频率分辨率的Mel滤波器组特征,其中Mel滤波器组中三角形滤波器的个数不同。由于这几种光纤的频率分辨率不同,所以它们之间存在一定的互补性。CG-PCNN用于从这些MBF中提取深层特征,该特征采用交叉门机制来捕获互补特征,以提高说话人识别系统的性能。然后,将这些深层特征串联起来,得到融合特征,用于说话人识别。实验结果表明,基于该语音特征融合方法的说话人识别系统是有效的,其识别性能略优于现有的说话人识别系统。
2022-11-24 cs.SD eess.AS
Learning to fool the speaker recognition
Institute of Computer Technology, Chinese Academic of Sciences(中国科学院计算技术研究所);Peking University(北京大学);University of Chinese Academic of Sciences(中国科学院大学)
由于指纹/人脸/说话人识别系统的广泛部署,攻击基于深度学习的生物特征系统引起了越来越多的关注。以往的研究主要是针对基于视觉的系统,如指纹、人脸识别等进行攻击。而对说话人识别的攻击虽然在日常生活中得到了广泛的应用,但至今还没有研究。在本文中,我们试图欺骗最先进的说话人识别模型,并提出了\textit{speaker recognition attacker},一个轻量级的模型,欺骗深层说话人识别模型,通过添加不可察觉的扰动到原始语音波形。我们发现说话人识别系统也容易受到攻击,并且我们在非目标攻击上取得了很高的成功率。此外,我们还提出了一种有效的方法来优化说话人识别攻击,以获得攻击成功率和感知质量之间的权衡。在TIMIT数据集上的实验表明,我们可以达到一个平均信噪比为$57.2\text{dB}$和PESQ 4.2的$99.2\%$的句子错误率,速度比实时快。
2020-04-07 cs.CR cs.SD eess.AS
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University(密歇根州立大学)
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中,我们提出了一个名为DeepTalk的韵律编码网络,用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合,进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中,以生成合成语音。对合成语音的详细分析表明,DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外,基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
Diarization-Aware Multi-Speaker Automatic Speech Recognition via Large Language Models
本文提出一种融合说话人分离与大语言模型的多说话人语音识别系统,通过结构化分离输入和帧级嵌入实现片段级转录,在高重叠会议场景中表现优异。
2025-06-06 eess.AS
The UPC Speaker Verification System Submitted to VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20)
UPC(加泰罗尼亚理工大学)
本报告描述了加泰罗尼亚技术大学(UPC)在Interspeech 2020上向VoxCeleb说话人识别挑战赛(VoxSRC-20)提交的材料。最后提交的是三个系统的组合。系统-1是基于自动编码器的方法,其尝试重构相似的i向量,而系统-2和系统-3是基于卷积神经网络(CNN)的连体架构。连体网络分别具有两个和三个分支,其中每个分支是CNN编码器。双分支连体机器人在训练过程中使用交叉熵损失进行二进制分类。然而,我们的三分支连体狗被训练成使用三重丢失来学习说话者嵌入。我们提供我们的系统在VoxCeleb-1测试,VoxSRC-20验证和测试集的结果。
2020-10-27 cs.SD eess.AS
Disentangled representation learning for multilingual speaker recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Oxford(牛津大学);Naver Corporation(NAVER公司);Carnegie Mellon University(卡内基梅隆大学)
针对跨语言说话人识别难题,本文构建了考虑双语场景的大规模评估集 VoxCeleb1-B,并提出一种结合对抗学习与度量学习、仅依赖语言伪标签的解耦表示学习方法。
2023-06-06 cs.SD eess.AS
VoxSRC 2021: The Third VoxCeleb Speaker Recognition Challenge
Google Research(谷歌研究院)
VoxCeleb Speaker Recognition Challenge的第三阶段与Interspeech 2021一起举行。这项挑战的目的是评估如何以及当前的说话人识别技术能够diarise和识别扬声器在不受约束的或“在野外”的数据。挑战包括:(i)提供来自YouTube视频的公开可用的说话人识别和日记数据,以及地面实况注释和标准化评估软件;以及(ii)在Interspeech 2021举行的虚拟公众挑战和研讨会。本文概述了挑战,并介绍了基线,方法和结果。最后,我们讨论了VoxSRC 2021的新多语言重点,以及自前两个版本以来挑战的进展。
2022-11-16 cs.SD eess.AS
Adversarial defense for deep speaker recognition using hybrid adversarial training
基于深度神经网络的说话人识别系统很容易被对手利用对输入语音样本的微小的不可感知的扰动欺骗。这些对抗性攻击对使用语音生物特征的说话人识别系统构成了严重的安全威胁。为了解决这个问题,在这项工作中,我们提出了一种基于混合对抗训练(HAT)设置的新防御机制。与现有的在深度说话人识别中对抗对抗性攻击的工作相比,这些工作仅使用监督交叉熵(CE)损失的类边界信息,我们建议利用来自监督和无监督线索的额外信息来制作多样化和更强的干扰用于对抗性训练。具体来说,我们使用CE,特征散射(FS)和边缘损失来创建对抗性扰动,并将其用于对抗性训练,以增强模型的鲁棒性。我们在Librispeech数据集上进行了说话人识别实验,并将其性能与仅采用CE目标的最先进的基于投影梯度下降(PGD)的对抗训练进行了比较。HAT在PGD和Carlini-Wagner(CW)攻击中分别将对抗准确率提高了3.29%和3.18%,同时在良性示例中保持了较高的准确率。
2020-10-30 eess.AS
A Comprehensive Investigation on Speaker Augmentation for Speaker Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文系统研究SP与VTLP两种说话人增强方法,在VoxCeleb和CN-Celeb上验证二者均可生成新说话人并显著提升识别性能,且特性互补、具有融合潜力。
2024-06-11 cs.SD eess.AS
Attacking Speaker Recognition With Deep Generative Models
UC Berkeley(加州大学伯克利分校)
在本文中,我们研究了生成对抗网络(GANs)对现代说话人识别系统合成欺骗攻击的能力。我们首先证明,使用SampleRNN和WaveNet生成的样本无法欺骗基于CNN的说话人识别系统。我们提出了一个修改的Wasserstein GAN目标函数,利用数据是真实的,但不是从正在学习的类。我们的半监督学习方法能够执行有针对性和无针对性的攻击,提出了与说话人认证系统的安全性相关的问题。
2018-01-08 cs.LG cs.SD eess.AS
x-vectors meet emotions: A study on dependencies between emotion and speaker recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
在这项工作中,我们探讨了说话人识别和情感识别之间的依赖关系。我们首先表明,知识学习说话人识别可以重用的情感识别,通过迁移学习。然后,我们展示了情绪对说话人识别的影响。对于情感识别,我们证明了使用简单的线性模型就足以在从预训练模型(如x向量模型)中提取的特征上获得良好的性能。然后,我们通过对情感分类进行微调来提高情感识别性能。我们在三种不同类型的数据集上评估了我们的实验:IEMOCAP,MSP-Podcast和Crema-D。通过微调,我们在IEMOCAP,MSP-Podcast和Crema-D上分别获得了30.40%,7.99%和8.61%的绝对改善,而不是没有预先训练的基线模型。最后,我们提出了情感对说话人确认的影响的结果。我们观察到,说话人确认的性能很容易改变测试说话人的情绪。我们发现,愤怒话语的试验在所有三个数据集中表现最差。我们希望我们的分析能够在说话人识别领域开创一条新的研究路线。
2020-02-12 cs.LG cs.SD eess.AS
A Deep Neural Network for Short-Segment Speaker Recognition
Queens University(皇后大学)
今天的交互式设备,如智能手机助手和智能扬声器,通常处理短时间的语音片段。结果,集成到这样的设备中的说话人识别系统将更好地适合于能够执行具有短持续时间话语的识别任务的模型。本文提出了一种新的深度神经网络UtterIdNet,它能够用短语音段进行说话人识别。我们提出的模型采用了一种新的架构,使其适合于短段说话人识别,通过有效地增加使用短语音段中的信息。UtterIdNet已经在VoxCeleb数据集上进行了训练和测试,VoxCeleb数据集是说话人识别的最新基准。对不同片段持续时间的评估表明,对于短片段,性能一致且稳定,对于2秒、1秒、尤其是亚秒持续时间(250 ms和500 ms)的片段,性能比以前的模型有显著改善。
2019-07-22 cs.LG cs.SD eess.AS
Speaker Attributed Automatic Speech Recognition Using Speech Aware LLMS
IBM Research(IBM研究院)
本文提出通过微调语音感知LLM实现带说话者属性的自动语音识别,引入说话者聚类标签提升识别精度,并通过数据增强方法解决训练数据限制问题。
2026-04-13 eess.AS
Query Expansion System for the VoxCeleb Speaker Recognition Challenge 2020
National Taiwan Normal University(国立台湾师范大学)
在本报告中,我们描述了我们提交给VoxCeleb Speaker Recognition Challenge(VoxSRC)2020的申请。采取了两种办法。一种是将查询扩展应用于说话人确认,与本研究的基线相比,取得了显著的进步。另一种是使用Kaldi提取x向量,并将其概率线性判别分析(PLDA)得分与ResNet得分相结合。
2020-11-04 cs.CL cs.SD eess.AS
Vocal Style Factorization for Effective Speaker Recognition in Affective Scenarios
Michigan State University(密歇根州立大学)
针对情感变化影响说话人识别准确率的问题,提出E-Vector架构,利用1-D CNN和语音风格因式分解技术学习并重组说话人身份特征,在MSP-Podcast数据集上显著提升了情感场景下的识别准确率。
2023-08-03 cs.SD eess.AS