JukeBox: A Multilingual Singer Recognition Dataset
Michigan State University（密歇根州立大学）
文本无关的说话人识别系统依赖于成功地编码语音因素，如音高，强度和音色，以实现良好的性能。大多数这样的系统都是使用口语或日常对话语音数据进行训练和评估的。然而，口语，表现出有限的范围内可能的扬声器动态，从而限制了效用的派生说话人识别模型。另一方面，歌唱声音涵盖了更广泛的声音和环境因素，因此可以用来评估说话人识别系统的鲁棒性。然而，大多数现有的说话人识别数据集只关注口语语音。相比之下，适合于说话人识别研究的带标签歌声数据明显不足。为了解决这个问题，我们组装\textit{JukeBox} -一个说话人识别数据集，多语言歌唱声音音频注释歌手身份，性别和语言标签。我们使用当前最先进的方法来证明使用单独训练口语的模型对唱歌的声音进行说话人识别的困难。我们还评估了性别和语言对说话人识别性能的影响，无论是在口语和唱歌的声音数据。完整的\textit{JukeBox}数据集可访问http://iprobe.cse.msu.edu/datasets/jukebox.html。
2020-08-08 cs.LG cs.SD eess.AS
Synth2Aug: Cross-domain speaker recognition with TTS synthesized speech
Google LLC（谷歌有限责任公司）；DeepMind（深度思维）
近年来，文语转换（TTS）已被用作语音识别的数据增强技术，以帮助补充训练数据中的不足。相应地，我们研究了使用多说话人TTS系统来合成支持说话人识别的语音。在这项研究中，我们专注于任务的分析，其中一个相对较少的扬声器可用于培训。我们在我们的数据集上观察到，TTS合成语音提高了跨域说话人识别性能，并且可以有效地与多风格训练相结合。此外，我们探讨了不同类型的文本转录用于TTS合成的有效性。结果表明，匹配目标域的文本内容是一个很好的做法，如果这是不可行的，一个足够大的词汇量的成绩单建议。
2020-11-24 cs.LG cs.SD eess.AS
VoxSRC 2022: The Fourth VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
本文总结了VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）的研究结果，该挑战赛与INTERSPEECH 2022联合举行。这项挑战的目标是评估如何以及国家的最先进的说话人识别系统可以diarise和识别说话人从语音获得“在野外”。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在INTERSPEECH 2022举行的公共挑战和混合研讨会。我们描述了我们的挑战的四个轨道以及基线，方法和结果。最后，我们讨论了VoxSRC-22的新域转移焦点，以及前三个版本的挑战进展。
2023-03-06 cs.LG cs.SD eess.AS
ShaneRun System Description to VoxCeleb Speaker Recognition Challenge 2020
Delta Electronics（台达电子）
在这份报告中，我们描述了ShaneRun团队提交给VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的情况。我们使用ResNet-34作为编码器来提取说话人嵌入，这参考了开源的voxceleb-trainer。我们还提供了一个简单的方法来实现最佳融合使用t-SNE归一化距离的测试话语对，而不是原来的负欧几里德距离的编码器。最终提交的系统对于固定数据跟踪得到0.3098 minDCF和5.076%ERR，分别比基线高1.3%minDCF和2.2%ERR。
2020-11-03 cs.LG cs.SD eess.AS
VoxSRC 2019: The first VoxCeleb Speaker Recognition Challenge
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；SRI International（斯坦福国际研究院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
VoxCeleb Speaker Recognition Challenge 2019旨在评估当前的说话人识别技术在不受约束或“野外”数据中识别说话人的能力。它包括：（i）来自YouTube视频的公开可用的说话人识别数据集以及地面实况注释和标准化评估软件;以及（ii）在奥地利格拉茨举行的Interspeech 2019上举行的公开挑战和研讨会。本文件概述了这一挑战，并提供了其基线、结果和讨论。
2019-12-05 cs.LG cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Tongji University Undergraduate Team for the VoxCeleb Speaker Recognition Challenge2020
Tongji University（同济大学）
在这份报告中，我们描述了同济大学本科团队在Interspeech 2020上参加VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的CLOSE赛道。为了提高网络的去噪能力，更好地完成复杂环境下的说话人确认任务，我们将RSBU-CW模块应用到ResNet 34框架中，训练ResNet的两个变体，使用分数融合和数据增强方法来提高模型的性能。我们的融合两个选定的系统的关闭轨道上的挑战评估集达到0.2973 DCF和4.9700\% EER。
2020-10-20 cs.LG cs.SD eess.AS
Adversarial Attack and Defense Strategies for Deep Speaker Recognition Systems
University of Southern California (USC)（南加州大学）；USC Information Sciences Institute（南加州大学信息科学学院）
稳健的说话人识别（包括在存在恶意攻击的情况下）正变得越来越重要和必不可少，特别是由于与个人的语音命令交互以执行各种甚至敏感任务的若干智能扬声器和个人代理的扩散。对抗性攻击是最近复兴的领域，它被证明可以有效地破坏基于深度神经网络的分类器，具体来说，通过仅对输入样本进行非常少量的扰动来迫使它们改变其后验分布。虽然在计算机视觉领域已经取得了显著的进展，但在说话人识别中的进展仍然有限。本文考虑了几种最先进的对抗性攻击的深度说话人识别系统，采用强大的防御方法作为对策，并报告了几个消融研究，以获得全面的了解这个问题。实验表明，说话人识别系统容易受到攻击，最强的攻击可以使系统的准确率从94%降低到甚至为0%。该研究还详细比较了所采用的防御方法的性能，并发现基于投影梯度下降（PGD）的对抗训练是我们设置中最好的防御方法。我们希望本文中提出的实验提供了基线，可以为有兴趣进一步研究说话人识别系统的对抗鲁棒性的研究社区是有用的。
2020-08-18 cs.LG cs.SD eess.AS
Multilayer bootstrap network for unsupervised speaker recognition
The Ohio State University（俄亥俄州立大学）
本文将最近提出的一种无监督学习方法多层自举网络（MBN）应用于无监督说话人识别。该方法首先从无监督通用背景模型中提取超向量，然后利用多层Bootstrap网络对高维超向量进行降维，最后对低维数据进行聚类进行无监督说话人识别。与2种无监督和1种有监督说话人识别方法的比较结果表明了该方法的有效性和鲁棒性。
2015-09-21 cs.LG cs.SD
x-vectors meet emotions: A study on dependencies between emotion and speaker recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们探讨了说话人识别和情感识别之间的依赖关系。我们首先表明，知识学习说话人识别可以重用的情感识别，通过迁移学习。然后，我们展示了情绪对说话人识别的影响。对于情感识别，我们证明了使用简单的线性模型就足以在从预训练模型（如x向量模型）中提取的特征上获得良好的性能。然后，我们通过对情感分类进行微调来提高情感识别性能。我们在三种不同类型的数据集上评估了我们的实验：IEMOCAP，MSP-Podcast和Crema-D。通过微调，我们在IEMOCAP，MSP-Podcast和Crema-D上分别获得了30.40%，7.99%和8.61%的绝对改善，而不是没有预先训练的基线模型。最后，我们提出了情感对说话人确认的影响的结果。我们观察到，说话人确认的性能很容易改变测试说话人的情绪。我们发现，愤怒话语的试验在所有三个数据集中表现最差。我们希望我们的分析能够在说话人识别领域开创一条新的研究路线。
2020-02-12 cs.LG cs.SD eess.AS
A Deep Neural Network for Short-Segment Speaker Recognition
Queens University（皇后大学）
今天的交互式设备，如智能手机助手和智能扬声器，通常处理短时间的语音片段。结果，集成到这样的设备中的说话人识别系统将更好地适合于能够执行具有短持续时间话语的识别任务的模型。本文提出了一种新的深度神经网络UtterIdNet，它能够用短语音段进行说话人识别。我们提出的模型采用了一种新的架构，使其适合于短段说话人识别，通过有效地增加使用短语音段中的信息。UtterIdNet已经在VoxCeleb数据集上进行了训练和测试，VoxCeleb数据集是说话人识别的最新基准。对不同片段持续时间的评估表明，对于短片段，性能一致且稳定，对于2秒、1秒、尤其是亚秒持续时间（250 ms和500 ms）的片段，性能比以前的模型有显著改善。
2019-07-22 cs.LG cs.SD eess.AS
The Phonexia VoxCeleb Speaker Recognition Challenge 2021 System Description
Phonexia s.r.o（Phonexia有限公司）
我们描述了Phonexia提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）的无监督说话人验证轨道。我们的解决方案与IDLab为VoxSRC-20提交的获奖作品非常相似。嵌入提取器使用动量对比学习自举，输入增强作为唯一的监督来源。随后进行多次聚类迭代，以分配伪说话人标签，然后用于监督嵌入提取器训练。最后，通过对五个不同嵌入提取器的zt归一化余弦分数进行平均来进行分数融合。我们还简要描述了不成功的解决方案，涉及i向量而不是DNN嵌入和PLDA而不是余弦评分。
2021-09-08 cs.LG cs.SD eess.AS
Meta-Learning Framework for End-to-End Imposter Identification in Unseen Speaker Recognition
LG Ad Solutions（LG广告解决方案）
针对未见说话人识别中固定阈值冒名者识别泛化差的问题，提出说话人专属阈值技术与解耦检测的端到端元学习框架，在多数据集上较基线最高提升10%。
2023-09-30 cs.LG cs.SD eess.AS
Robust Speaker Recognition with Transformers Using wav2vec 2.0
STC Ltd.（STC有限公司）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
无监督语音表示学习的最新进展为各种类型的语音处理任务发现了新的方法并提供了新的最先进的技术。本文提出了一种使用wav2vec 2.0深度语音表示进行说话人识别任务的研究。所提出的wav2vec 2.0的微调过程具有简单的TDNN和使用附加角裕度损失的统计池后端，可以获得在不同领域中通用的深度说话人嵌入提取器。它的结论是，对比预测编码预训练方案有效地利用了未标记数据的力量，从而打开了大门，强大的基于变压器的说话人识别系统。在这项研究中获得的实验结果表明，微调可以在相对较小的集合和一个干净的数据版本。在微调期间使用数据增强在说话者验证中提供额外的性能增益。在这项研究中，我们对说话人识别系统进行了广泛的验证：VoxCeleb1清洁测试集，NIST SRE 18开发集，NIST SRE 2016和NIST SRE 2019评估集，VOiCES评估集，NIST 2021 SRE和CTS挑战集。
2022-03-28 cs.LG cs.SD eess.AS
Bias in Automated Speaker Recognition
Delft University of Technology（代尔夫特理工大学）
自动说话人识别使用数据处理来通过语音识别说话人。如今，自动说话人识别已部署在数十亿台智能设备和呼叫中心等服务中。尽管它们在人脸识别和自然语言处理等相关领域中得到了广泛的应用，并且已知偏见的来源，但自动说话人识别中的偏见尚未得到系统的研究。我们提出了一个深入的经验和分析研究的偏见，在机器学习开发工作流程的说话人验证，语音生物特征和自动说话人识别的核心任务。利用一个既定的框架来理解机器学习中的危害来源，我们表明偏见存在于著名的VoxCeleb说话人识别挑战赛的每个开发阶段，包括数据生成，模型构建和实施。受影响最大的是女性演讲者和非美国国籍的人，他们的表现明显下降。利用我们的研究结果的见解，我们为减轻自动说话人识别中的偏见提出了实用的建议，并概述了未来的研究方向。
2022-06-20 cs.CL cs.CY cs.LG
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.（微软公司）
本文提出了一个端到端的说话人属性自动语音识别模型，该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练（SOT）与基于注意力的编码器-解码器，最近提出的方法，用于识别重叠的语音，包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入，以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化，该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明，该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
A comparative study of several parameterizations for speaker recognition
Escola Universitària Politècnica de Mataró（马塔罗理工学院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文详细研究了几种参数化方法在说话人确认和识别中的鲁棒性。我们研究了几种不匹配条件：不同的录音会话、麦克风和不同的语言（它是从一组双语扬声器中获得的）。本研究揭示了几个参数化的组合可以提高在所有情况下的鲁棒性的任务，识别和验证。此外，两种不同的方法进行了评估：矢量量化，和协方差矩阵的算术谐波球度测量。
2022-02-24 cs.LG cs.SD eess.AS
Exploring the Encoding Layer and Loss Function in End-to-End Speaker and Language Recognition System
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）
在本文中，我们探讨了端到端的说话人和语言识别系统中的编码/池化层和损失函数。首先，一个统一的和可解释的端到端系统的说话人和语言识别的开发。它接受可变长度的输入，并产生一个话语水平的结果。在端到端系统中，编码层在将可变长度输入序列聚合成话语级表示中起作用。除了基本的时间平均池，我们引入了一个自注意池层和一个可学习的字典编码层，以获得话语级表示。在开集说话人确认的损失函数方面，为了得到更有鉴别力的说话人嵌入，在端到端系统中引入了中心损失和角度softmax损失。在Voxceleb和NIST LRE 07数据集上的实验结果表明，本文提出的编码层和损失函数可以显著提高端到端学习系统的性能.
2018-04-14 cs.LG cs.SD eess.AS
Speaker recognition improvement using blind inversion of distortions
Escola Universitària Politècnica de Mataró, UPC（马塔罗理工大学学院，加泰罗尼亚理工大学）；Universitat de VIC（维克大学）
在本文中，我们提出了非线性失真的反演，以提高说话人识别系统的识别率。我们研究了饱和度对测试信号的影响，试图考虑到真实的情况下，训练材料已被记录在一个受控的情况下，但测试信号存在一些与输入信号电平（饱和度）不匹配。实验结果表明，采用非线性失真补偿和非线性失真补偿相结合的数据融合方法，对饱和语音的识别率从80%提高到88.57%，而对纯净语音（无饱和）的识别率为87.76%。
2022-02-23 cs.LG cs.SD eess.AS
Augmentation adversarial training for self-supervised speaker recognition
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文的目标是训练不需要说话人标签的鲁棒说话人识别模型。最近的无监督说话人表示的工作是基于对比学习，其中，他们鼓励内话语嵌入是相似的，跨话语嵌入是不同的。然而，由于话语内片段共享相同的声学特性，因此难以将说话者信息与声道信息分离。为此，我们提出了增强对抗训练策略，该策略训练网络对说话人信息具有辨别力，同时对所应用的增强保持不变。由于增强模拟了声学特性，因此训练网络对增强不变也鼓励网络对信道信息保持不变。在VoxCeleb和VOiCES数据集上进行的大量实验表明，与以前使用自我监督的作品相比，我们的自我监督模型的性能有了显着的改进，并且我们的自我监督模型的性能远远超过了人类。
2020-10-30 cs.LG cs.SD eess.AS
Dynamic Recognition of Speakers for Consent Management by Contrastive Embedding Replay
U. Roedig are with the School of Computer Science；Information Technology, Western Gateway Building, University College Cork, Cork, Ireland, emails
针对语音助手同意管理中说话人动态注册、移除和重注册问题，提出对比嵌入回放与多步幅随机采样方法，提升内存效率并优于现有方法。
2023-02-02 cs.LG cs.SD eess.AS
Delving into VoxCeleb: environment invariant speaker recognition
Naver Corporation（Naver公司）
由于神经网络模型的应用和新的大规模数据集的出现，说话人识别的研究取得了重大进展。已经有大量的工作在寻找更强大的架构或适合于该任务的损失函数，但这些工作没有考虑模型除了能够预测给定的标签之外还学习了什么信息。在这项工作中，我们引入了一个环境对抗训练框架，在这个框架中，网络可以有效地学习说话者区分和环境不变的嵌入，而无需在训练过程中进行显式域转移。我们通过利用VoxCeleb数据集中以前未使用的“视频”信息来实现这一点。环境对抗训练允许网络更好地概括看不见的条件。使用VoxCeleb数据集，我们证明了显着的性能改进基线上的说话人辨识和验证任务的方法进行评估。
2020-02-03 cs.LG cs.SD eess.AS
Joint Sound Source Separation and Speaker Recognition
KU Leuven（鲁汶大学）
非负矩阵分解（NMF）已经被应用于从单个或非同时语音中学习说话人特征，用于说话人识别应用。它还以其在同时语音的（盲）声源分离中的良好性能而闻名。本文介绍了如何NMF可以用来联合解决这两个问题的多通道说话人识别器的同时语音。它示出了如何国家的最先进的盲声源分离的多通道NMF可以很容易地扩展到将说话人识别。CHiME语料库上的实验表明，该方法优于先应用声源分离，然后使用最先进的i-向量技术的说话人识别的顺序方法。
2016-04-29 cs.LG cs.SD
In defence of metric learning for speaker recognition
Naver Corporation（NAVER公司）
本文的目标是“开集”的说话人识别看不见的发言人，理想的嵌入应该能够压缩到一个紧凑的话语级表示，具有小的内部扬声器和大的扬声器间的距离的信息。说话人识别中的一个流行观点是，用分类目标训练的网络优于度量学习方法。在本文中，我们提出了一个广泛的评价最流行的损失函数的VoxCeleb数据集上的说话人识别。我们证明，与基于分类的损失相比，香草三重损失显示出有竞争力的性能，并且用我们提出的度量学习目标训练的那些损失优于最先进的方法。
2020-04-24 cs.SD eess.AS
Deep learning methods in speaker recognition: a review
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
本文总结了深度学习在说话人识别领域的应用实践，包括验证和识别。说话人识别是语音技术中应用广泛的领域。在过去的5-6年里，人们进行了许多研究工作，但进展甚微。然而，随着深度学习技术在大多数机器学习领域的发展，以前最先进的方法也在说话人识别中被它们取代。看来，DL成为现在国家的最先进的解决方案，为说话人确认和识别。标准的x-向量，除了i-向量，被用作基线在大多数的小说作品。收集的数据量越来越多，这为DL打开了一片天地，在那里它们是最有效的。
2019-11-14 cs.LG cs.SD eess.AS
The ins and outs of speaker recognition: lessons from VoxSRC 2020
Naver Corporation（NAVER 公司）；Yonsei University（延世大学）
Interspeech 2020的VoxCeleb Speaker Recognition Challenge（VoxSRC）为说话人识别系统提供了一个具有挑战性的评估，其中包括名人在电影中扮演不同的角色。这项工作的目标是强大的说话人识别的话语记录在这些具有挑战性的环境。我们利用流行的ResNet架构的变体进行说话人识别，并使用一系列损失函数和训练参数进行广泛的实验。为此，我们优化了一个高效的训练框架，允许在有限的时间和资源下训练强大的模型。我们的训练模型通过更轻的模型和简单的管道展示了对大多数现有作品的改进。该文件分享了我们从参与挑战中吸取的经验教训。
2020-10-29 cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Centroid-based deep metric learning for speaker recognition
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；St Michaels Hospital（圣迈克尔医院）；Surgical Safety Technologies Inc（手术安全技术公司）；Hospital for Sick Children（病童医院）
说话人嵌入模型利用神经网络将话语映射到空间，其中距离反映说话人之间的相似性，这推动了说话人识别任务的最新进展。然而，在识别训练集中的说话人和未见过的说话人之间仍然存在显着的性能差距。后一种情况对应于少样本学习任务，其中训练模型在看不见的类上进行评估。在这里，我们使用原型网络损失（PNL）优化了说话人嵌入模型，这是一种用于Few-Shot图像分类任务的最先进方法。由此产生的嵌入模型优于国家的最先进的三重损失为基础的模型在说话人验证和识别任务，为可见和不可见的扬声器。
2019-02-06 cs.LG cs.SD eess.AS
Adversarial Training for Multi-domain Speaker Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Tencent Media Lab（腾讯媒体实验室）
在实际应用中，说话人识别系统的性能往往会因为训练数据和评估数据的不匹配而下降。许多领域自适应方法已成功地用于消除说话人识别中的领域失配。然而，通常训练和评估数据本身都可以由几个子集组成。每个数据集的这些内部方差也可以被认为是不同的域。源域或目标域数据集的不同分布子集也会导致多域失配，影响说话人识别性能。在这项研究中，我们提出使用对抗训练多域说话人识别，以解决域失配和数据集方差问题。通过采用所提出的方法，我们能够获得多域不变和说话人区分的语音表示的说话人识别。在DAC13数据集上的实验结果表明，该方法不仅能有效解决多领域失配问题，而且性能优于无监督领域自适应方法.
2020-11-17 cs.SD eess.AS
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield（谢菲尔德大学）
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时，语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别，而是通过使用深度神经网络的联合优化集成到一个框架中。此外，为了提高对噪声的鲁棒性，采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能，我们测试它的数据集VoxCeleb1，最常用的基准数据集之一。此外，我们所提出的方法的鲁棒性也测试VoxCeleb1数据时，被破坏的三种类型的干扰，一般的噪声，音乐，和串音，在不同的信噪比（SNR）水平。所得到的结果表明，在我们的实验中，使用语音增强和多阶段注意力模型的方法优于两个强基线，在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
Clova Baseline System for the VoxCeleb Speaker Recognition Challenge 2020
Naver Corporation（NAVER公司）
本报告描述了我们在Interspeech 2020上提交的VoxCeleb说话人识别挑战赛（VoxSRC）。我们对基于流行的ResNet架构的说话人识别模型进行了仔细的分析，并使用一系列损失函数训练了一些变体。我们的研究结果表明，显着的改进，大多数现有的作品，而不使用模型集成或后处理。我们发布了训练代码和预训练模型，作为今年挑战赛的非官方基线。
2020-09-29 cs.SD eess.AS
Emotion Recognition in Multi-Speaker Conversations through Speaker Identification, Knowledge Distillation, and Hierarchical Fusion
Institute of Science Tokyo（东京科学研究所）
本文提出通过说话人识别、知识蒸馏和分层融合方法，提升多说话人对话中情绪识别的准确性和鲁棒性。
2025-11-05 cs.SD eess.AS
Multi-speaker Recognition in Cocktail Party Problem
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出了一种新颖的统计决策理论来实现鸡尾酒会问题中的多说话人识别任务。该理论假设说话人的不同频率服从高斯分布，并且他们之间的声纹关系可以用欧氏距离向量来表示。本文利用梅尔倒谱系数提取语音的特征，用于判断多说话人环境中是否包含说话人，并区分说话人是谁。最后，为了全面考虑总体影响因素，通过对说话人曼哈顿距离的映射，建立了一个13维星座图。
2017-12-05 cs.SD eess.AS
The BUCEA Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
Beijing University of Civil Engineering and Architecture（北京建筑大学）
本文介绍了BUCEA扬声器日记系统为2022 VoxCeleb扬声器识别挑战赛。Voxsrc-22提供VoxConverse的开发集和测试集，我们主要使用VoxConverse的测试集进行参数调整。该系统包括语音活动检测、说话人嵌入提取、聚类方法、重叠语音检测和结果融合等模块。在不考虑重叠的情况下，采用Dover-Rank（Diarization Output Voting Error Reduction）方法进行系统融合，最后进行重叠语音的检测和处理。我们最好的系统在VoxSRC 2022评估集上分别实现了5.48%的日记出错率（DER）和32.1%的Jaccard出错率（JER）。
2022-09-20 cs.SD eess.AS
Speaker Recognition using Deep Belief Networks
Indian Institute of Information Technology, Allahabad（印度信息科学与技术研究所阿拉哈巴德分校）
诸如梅尔频率倒谱系数（MFCC）的短时间谱特征先前已经被部署在现有技术的说话人识别系统中，然而，较少注意可以通过生成学习模型从语音信号学习的短期谱特征。更高维度的编码器，如深度信念网络（DBN），可以通过更好地建模声波的统计结构来提高说话人识别任务的性能。在本文中，我们使用短期的频谱特征学习的DBN与MFCC功能增强执行说话人识别的任务。使用我们的功能，我们实现了0.95的识别准确率，而在ELSDSR数据集上使用独立的MFCC功能时为0.90。
2018-05-09 cs.SD eess.AS
The DKU-DukeECE-Lenovo System for the Diarization Task of the 2021 VoxCeleb Speaker Recognition Challenge
DKU（昆山杜克大学）；DukeECE（杜克大学电子与计算机工程系）；Lenovo（联想）
本报告介绍了DKU-DukeECE-Lenovo团队提交的VoxCeleb说话人识别挑战赛（VoxSRC）2021年第4场比赛。我们的系统包括一个语音活动检测（VAD）模型，说话人嵌入模型，两个基于聚类的说话人日记系统与不同的相似性测量，两个不同的重叠语音检测（OSD）模型，和一个目标说话人语音活动检测（TS-VAD）模型。我们的最终提交，由5个独立的系统组成，在挑战测试集上实现了5.07%的DER。
2021-09-07 cs.SD eess.AS
XMUSPEECH System for VoxCeleb Speaker Recognition Challenge 2021
Xiamen University（厦门大学）
本文介绍了用于VoxCeleb说话人识别挑战赛2021的XMUSPEECH说话人识别和日记系统。对于第二轨道，我们评估了两个系统，包括ResNet 34-SE和ECAPA-TDNN。对于第四道，我们的系统的一个重要组成部分是VAD模块，大大提高了性能。我们在第4轨道上的最佳提交在评估集上获得了DER 5.54%和JER 27.11%，而在开发集上的表现是DER 2.92%和JER 20.84%。
2021-09-06 cs.SD eess.AS
U-vectors: Generating clusterable speaker embedding from unlabeled data
Bangladesh University of Business & Technology（孟加拉国商业与技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；University of Asia Pacific（亚太大学）；University of Aizu（会津大学）
说话人识别是根据说话人的语音来识别说话人。大多数说话人识别系统都是建立在两个阶段上的，第一阶段从语音中提取低维相关嵌入，第二阶段执行分类任务。说话人识别系统的鲁棒性主要取决于语音嵌入的提取过程，语音嵌入主要是在大规模数据集上进行预训练的。由于嵌入系统是预先训练的，说话人识别模型的性能很大程度上取决于领域自适应策略，如果使用不充分的数据进行训练，则可能会降低。本文介绍了一种处理未标记数据的说话人识别策略，该策略从较小的固定大小的语音帧中生成可聚类的嵌入向量。无监督训练策略涉及一个假设，即一个小的语音段应该包括一个单一的扬声器。根据这样的信念，成对的约束构造与噪声增强策略，用于训练AutoEmbedder架构，生成扬声器嵌入。在不依赖于域自适应策略的情况下，该过程无监督地产生可聚类的说话人嵌入，称为无监督向量（u-向量）。评估的结论是在两个流行的说话人识别数据集的英语，TIMIT和LibriSpeech。此外，孟加拉语数据集包括说明域转移的多样性说话人识别系统。最后，我们得出结论，所提出的方法实现了令人满意的性能，使用成对的架构。
2021-10-22 cs.AI cs.LG cs.SD
A new Speech Feature Fusion method with cross gate parallel CNN for Speaker Recognition
Nanchang University（南昌大学）
提出了一种基于交叉门并行卷积神经网络（CG-PCNN）的语音特征融合方法用于说话人识别。通过多个Mel滤波器组从说话人语音的每一帧中提取不同频率分辨率的Mel滤波器组特征，其中Mel滤波器组中三角形滤波器的个数不同。由于这几种光纤的频率分辨率不同，所以它们之间存在一定的互补性。CG-PCNN用于从这些MBF中提取深层特征，该特征采用交叉门机制来捕获互补特征，以提高说话人识别系统的性能。然后，将这些深层特征串联起来，得到融合特征，用于说话人识别。实验结果表明，基于该语音特征融合方法的说话人识别系统是有效的，其识别性能略优于现有的说话人识别系统。
2022-11-24 cs.SD eess.AS
The UPC Speaker Verification System Submitted to VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20)
UPC（加泰罗尼亚理工大学）
本报告描述了加泰罗尼亚技术大学（UPC）在Interspeech 2020上向VoxCeleb说话人识别挑战赛（VoxSRC-20）提交的材料。最后提交的是三个系统的组合。系统-1是基于自动编码器的方法，其尝试重构相似的i向量，而系统-2和系统-3是基于卷积神经网络（CNN）的连体架构。连体网络分别具有两个和三个分支，其中每个分支是CNN编码器。双分支连体机器人在训练过程中使用交叉熵损失进行二进制分类。然而，我们的三分支连体狗被训练成使用三重丢失来学习说话者嵌入。我们提供我们的系统在VoxCeleb-1测试，VoxSRC-20验证和测试集的结果。
2020-10-27 cs.SD eess.AS
Disentangled representation learning for multilingual speaker recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Oxford（牛津大学）；Naver Corporation（NAVER公司）；Carnegie Mellon University（卡内基梅隆大学）
针对跨语言说话人识别难题，本文构建了考虑双语场景的大规模评估集 VoxCeleb1-B，并提出一种结合对抗学习与度量学习、仅依赖语言伪标签的解耦表示学习方法。
2023-06-06 cs.SD eess.AS
VoxSRC 2021: The Third VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
VoxCeleb Speaker Recognition Challenge的第三阶段与Interspeech 2021一起举行。这项挑战的目的是评估如何以及当前的说话人识别技术能够diarise和识别扬声器在不受约束的或“在野外”的数据。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2021举行的虚拟公众挑战和研讨会。本文概述了挑战，并介绍了基线，方法和结果。最后，我们讨论了VoxSRC 2021的新多语言重点，以及自前两个版本以来挑战的进展。
2022-11-16 cs.SD eess.AS
A Comprehensive Investigation on Speaker Augmentation for Speaker Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文系统研究SP与VTLP两种说话人增强方法，在VoxCeleb和CN-Celeb上验证二者均可生成新说话人并显著提升识别性能，且特性互补、具有融合潜力。
2024-06-11 cs.SD eess.AS
Probabilistic Back-ends for Online Speaker Recognition and Clustering
Nanyang Technological University（南洋理工大学）
针对在线说话人聚类中的多注册说话人识别问题，研究了不同评分后端的性能。首先，我们表明，流行的余弦评分遭受不同数量的注册话语的差的分数校准。其次，我们提出了一个简单的替代余弦评分的基础上，一个非常有限的版本的概率线性判别分析（PLDA）。所提出的模型改进了多注册识别的余弦评分，同时在一对一比较的情况下保持相同的性能。最后，我们考虑一个在线说话人聚类任务，其中每一步自然涉及多注册识别。我们提出了一种在线聚类算法，使我们能够从PLDA模型中获益，例如能够处理不确定性和更好的评分校准。实验证明了该算法的有效性。
2023-02-19 cs.LG cs.SD eess.AS
Vocal Style Factorization for Effective Speaker Recognition in Affective Scenarios
Michigan State University（密歇根州立大学）
针对情感变化影响说话人识别准确率的问题，提出E-Vector架构，利用1-D CNN和语音风格因式分解技术学习并重组说话人身份特征，在MSP-Podcast数据集上显著提升了情感场景下的识别准确率。
2023-08-03 cs.SD eess.AS
Inaudible Adversarial Perturbations for Targeted Attack in Speaker Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
说话人识别是生物特征认证领域的一个热门课题，许多深度学习方法都取得了优异的性能。然而，在图像和语音应用中已经表明，深度神经网络容易受到对抗性示例的影响。在这项研究中，我们的目标是利用这一弱点进行有针对性的对抗攻击对基于x向量的说话人识别系统。本文提出了一种基于心理声学频率掩蔽原理的说话人识别系统的白盒攻击方法。具体地说，我们将扰动限制在原始音频的掩蔽阈值之下，而不是使用公共的l_p范数来度量扰动。在Aishell-1语料库上的实验表明，该方法对任意性别说话人目标的攻击成功率高达98.5%，同时保持了对听者的不可区分属性。此外，我们还实现了一个有效的扬声器攻击时，所提出的方法应用到一个完全不相关的波形，如音乐。
2020-05-22 cs.SD eess.AS
Utterance-level Aggregation For Speaker Recognition In The Wild
University of Oxford（牛津大学）；Naver Corporation（NAVER公司）
本文的目标是“在野外”的说话人识别-其中话语可能是可变长度的，也包含不相关的信号。在设计用于此任务的深度网络时，关键要素是干线（帧级）网络的类型和时间聚合方法。我们提出了一个强大的说话人识别深度网络，使用“thin-ResNet”主干架构和基于字典的NetVLAD或GhostVLAD层来跨时间聚合特征，可以进行端到端训练。我们表明，我们的网络实现了最先进的性能的VoxCeleb 1测试集的说话人识别的显着利润率，同时需要更少的参数比以前的方法。我们还研究了话语长度对性能的影响，并得出结论，对于“在野外”的数据，较长的长度是有益的。
2019-05-17 cs.LG cs.MM cs.SD
Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021
Northwestern Polytechnical University（西北工业大学）；Beijing ZKJ Technology Co., Ltd.（北京中科金技术有限公司）
在这份报告中，我们描述了北京ZKJ-NPU团队提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）。我们参与了完全监督的说话人验证轨道1和轨道2。在挑战中，我们探索了具有不同池化层和目标损失函数的各种高级神经网络结构。此外，我们还引入了ResNet-DTCF、CoAtNet和PyConv网络来提高基于CNN的说话人嵌入模型的性能。此外，我们在评估阶段应用嵌入归一化和分数归一化。通过融合11和14个系统，我们最终的最佳性能（minDCF/EER）的评估试验分别为0.1205/2.8160%和0.1175/2.8400%的轨道1和2。随着我们的提交，我们来到了第二位的挑战，为两个轨道。
2021-11-18 cs.SD eess.AS
Non-local convolutional neural networks (nlcnn) for speaker recognition
Indiana University Bloomington（印第安纳大学伯明顿分校）
说话人识别是根据语音来识别说话人的过程。随着最近亚马逊Alexa等智能语音助手的普及，这项技术吸引了更多的关注。在过去的几年中，各种基于卷积神经网络（CNN）的说话人识别算法被提出并取得了令人满意的性能。然而，卷积运算是通常一次在局部邻域上执行的构建块，因此无法在特征级别捕获全局的长距离交互，这对于理解说话者语音中的模式至关重要。在这项工作中，我们提出了应用非局部卷积神经网络（NLCNN），以提高在特征级捕获长程依赖关系的能力，从而提高说话人识别性能。具体来说，我们引入非局部块，其中位置的输出响应被计算为所有位置处的输入特征的加权和。将非局部块与预定义的CNN网络相结合，我们研究了NL CNN模型的有效性。在没有广泛调整的情况下，所提出的NLCNN模型在公共Voxceleb数据集上的性能优于最先进的说话人识别算法。此外，我们还分别研究了应用于频时域、时域、频域和帧级的不同类型的非局部运算。其中，时域是说话人识别应用中最有效的方法。
2021-05-20 cs.SD eess.AS
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Corporation（微软公司）
最近，自监督学习（SSL）在说话人识别中表现出了很强的性能，即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验，研究了自监督学习在说话人相关任务（如说话人确认）中的成功因素。我们在Voxceleb-1数据集上的实证结果表明，SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合，而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Time-frequency Network for Robust Speaker Recognition
Fudan University（复旦大学）
基于语音的生物识别系统的广泛应用通常需要高性能的说话人识别算法。然而，大多数用于说话人识别的现有工作要么在频域要么在时域中处理语音，这可能产生次优的结果，因为时域和频域对于说话人识别都很重要。本文尝试对语音信号进行时域和频域分析，通过提取和融合时域和频域特征，提出了用于说话人识别的时频网络TFN。基于深度神经网络的最新进展，我们提出了一种卷积神经网络，将原始语音波形和频谱编码为特定于领域的特征，然后将其融合并转换为用于说话人识别的分类特征空间。在公开数据集TIMIT和LibriSpeech上的实验结果表明，该框架能够有效地将两个领域的信息结合起来，并且性能优于现有的说话人识别方法。
2023-03-07 cs.MM cs.SD eess.AS
Multi-View Self-Attention Based Transformer for Speaker Recognition
Microsoft Research Asia（微软亚洲研究院）
Transformer模型最初是为自然语言处理（NLP）而开发的，由于其强大的序列建模能力，现在被广泛用于语音处理任务，例如说话人识别。然而，传统的自注意机制最初是为了对文本序列进行建模而设计的，而没有考虑语音和说话人建模的特点。此外，用于说话人识别的不同Transformer变体还没有得到很好的研究。在这项工作中，我们提出了一种新的多视图的自我注意机制，并提出了一个实证研究不同的Transformer变量与或不建议的注意机制说话人识别。具体而言，为了平衡捕获全局依赖和建模局部性的能力，我们提出了一个多视图的自我注意机制的扬声器Transformer，其中不同的注意头可以参加不同范围的感受野。此外，我们介绍和比较了五个Transformer变体，它们具有不同的网络架构、嵌入位置和池化方法来学习说话人嵌入。在VoxCeleb1和VoxCeleb2数据集上的实验结果表明，所提出的多视角自注意机制提高了说话人识别的性能，与现有的说话人识别模型相比，所提出的说话人Transformer网络取得了优异的识别效果.
2022-01-27 cs.AI cs.LG cs.SD
Tongji University Team for the VoxCeleb Speaker Recognition Challenge 2020
Tongji University（同济大学）
在这份报告中，我们描述了同济大学团队在Interspeech 2020上提交VoxCeleb说话人识别挑战赛（VoxSRC）2020的CLOSE赛道。我们研究了基于流行的ResNet-34架构的不同说话人识别系统，并通过各种损失函数训练多个变体。离线和在线数据增强被引入以提高训练集的多样性，并在后处理中应用分数归一化与穷举网格搜索。我们为CLOSE赛道选择的五个系统的最佳融合在挑战赛中达到了0.2800 DCF和4.7770% EER。
2020-10-16 cs.SD eess.AS
Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?
NEC Corporation（NEC公司）
本文提出了一种基于注意力机制的深度说话人嵌入的实验研究，该机制已被发现是说话人识别中一种强大的表示学习技术。在这个框架中，一个注意力模型作为一个帧选择器，计算每个帧级特征向量的注意力权重，根据该权重，在说话人嵌入网络的池化层产生一个话语级表示。一般来说，注意力模型与说话人嵌入网络一起在单个目标函数上训练，因此这两个组件彼此紧密结合。在本文中，我们考虑的可能性，注意力模型可能会从它的父网络解耦，并协助其他说话人嵌入网络，甚至传统的i向量提取器。这种可能性是通过一系列的实验证明了NIST的说话人识别评估（SRE）的任务，9.0%的EER减少和3.8%的min_Cprimary减少时，注意力的权重应用到i向量提取。另一个实验表明，基于DNN的柔和语音活动检测（VAD）可以有效地与注意力机制相结合，从而在深度说话人嵌入和i向量系统中分别将minCprimary进一步降低6.6%和1.6%。
2018-09-25 cs.SD eess.AS
