Bias in Automated Speaker Recognition
Delft University of Technology（代尔夫特理工大学）
自动说话人识别使用数据处理来通过语音识别说话人。如今，自动说话人识别已部署在数十亿台智能设备和呼叫中心等服务中。尽管它们在人脸识别和自然语言处理等相关领域中得到了广泛的应用，并且已知偏见的来源，但自动说话人识别中的偏见尚未得到系统的研究。我们提出了一个深入的经验和分析研究的偏见，在机器学习开发工作流程的说话人验证，语音生物特征和自动说话人识别的核心任务。利用一个既定的框架来理解机器学习中的危害来源，我们表明偏见存在于著名的VoxCeleb说话人识别挑战赛的每个开发阶段，包括数据生成，模型构建和实施。受影响最大的是女性演讲者和非美国国籍的人，他们的表现明显下降。利用我们的研究结果的见解，我们为减轻自动说话人识别中的偏见提出了实用的建议，并概述了未来的研究方向。
2022-06-20 cs.CL cs.CY cs.LG
Fine-tuning wav2vec2 for speaker recognition
Radboud University（拉德堡德大学）
本文探讨了将wav 2 vec 2框架应用于说话人识别而不是语音识别。我们研究了预训练权重在说话人识别任务中的有效性，以及如何将wav 2 vec 2输出序列合并到固定长度的说话人嵌入中。为了使该框架适用于说话人识别，我们提出了一个单一的话语分类变体CE或AAM softmax损失，和一个话语对分类变体BCE损失。我们表现最好的变体w2 v2-aam在扩展voxceleb 1测试集上实现了1.88%的EER，而ECAPA-TDNN基线的EER为1.69%。代码可在https://github.com/nikvaessen/w2v2-speaker上获得。
2022-05-06 cs.LG cs.SD eess.AS
The DKU-DukeECE Systems for VoxCeleb Speaker Recognition Challenge 2020
在本文中，我们介绍了DKU-DukeECE团队为VoxCeleb说话人识别挑战赛2020（VoxSRC-20）提交的系统。对于第1轨，我们探索了各种最先进的前端提取器，它们具有不同的池化层和客观损失函数。对于轨道3，我们采用了一个迭代框架，用于基于深度神经网络（DNN）的自监督说话人表示学习。对于音轨4，我们研究了用于说话人日志化的整个系统流水线，包括语音活动检测（VAD），均匀分割，说话人嵌入提取和聚类。
2020-10-24 eess.AS
A Machine of Few Words -- Interactive Speaker Recognition with Reinforcement Learning
Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Deepmind（深度思维）；Google Research（谷歌研究院）
说话人识别是语音处理领域中一个众所周知的研究课题。它有许多应用，用于个人设备的安全或扬声器适配。在本文中，我们提出了一个新的范例自动说话人识别，我们称之为交互式说话人识别（ISR）。在这个范例中，识别系统的目的是通过请求个性化的话语来逐步建立一个代表的发言者被发言的标准文本相关或文本无关的计划。为此，我们将说话人识别任务转换为一个顺序决策问题，并使用强化学习来解决。使用一个标准的数据集，我们表明，我们的方法取得了优异的性能，同时使用很少的语音信号量。该方法也可以作为一种发声选择机制，用于构建语音合成系统。
2020-08-07 cs.LG cs.SD eess.AS
In defence of metric learning for speaker recognition
Naver Corporation（NAVER公司）
本文的目标是“开集”的说话人识别看不见的发言人，理想的嵌入应该能够压缩到一个紧凑的话语级表示，具有小的内部扬声器和大的扬声器间的距离的信息。说话人识别中的一个流行观点是，用分类目标训练的网络优于度量学习方法。在本文中，我们提出了一个广泛的评价最流行的损失函数的VoxCeleb数据集上的说话人识别。我们证明，与基于分类的损失相比，香草三重损失显示出有竞争力的性能，并且用我们提出的度量学习目标训练的那些损失优于最先进的方法。
2020-04-24 cs.SD eess.AS
Frame-level speaker embeddings for text-independent speaker recognition and analysis of end-to-end model
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于卷积神经网络（CNN）的说话人识别模型，用于提取鲁棒的说话人嵌入。嵌入层的线性激活可以有效地提取嵌入。为了理解说话人识别模型如何与文本无关的输入操作，我们修改了结构，从每个隐藏层提取帧级说话人嵌入。我们将TIMIT数据集中的话语输入到训练好的网络中，并使用几个代理任务来研究网络表示语音输入和区分语音身份的能力。我们发现，网络更好地区分广泛的语音类比单个音素。特别是，属于相同语音类的帧级嵌入对于相同说话者是相似的（基于余弦距离）。帧级表示还允许我们在帧级分析网络，并且具有用于其他分析以改进说话人识别的潜力。
2018-09-12 cs.LG eess.AS
VoxSRC 2019: The first VoxCeleb Speaker Recognition Challenge
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；SRI International（斯坦福国际研究院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
VoxCeleb Speaker Recognition Challenge 2019旨在评估当前的说话人识别技术在不受约束或“野外”数据中识别说话人的能力。它包括：（i）来自YouTube视频的公开可用的说话人识别数据集以及地面实况注释和标准化评估软件;以及（ii）在奥地利格拉茨举行的Interspeech 2019上举行的公开挑战和研讨会。本文件概述了这一挑战，并提供了其基线、结果和讨论。
2019-12-05 cs.LG cs.SD eess.AS
The ins and outs of speaker recognition: lessons from VoxSRC 2020
Naver Corporation（NAVER 公司）；Yonsei University（延世大学）
Interspeech 2020的VoxCeleb Speaker Recognition Challenge（VoxSRC）为说话人识别系统提供了一个具有挑战性的评估，其中包括名人在电影中扮演不同的角色。这项工作的目标是强大的说话人识别的话语记录在这些具有挑战性的环境。我们利用流行的ResNet架构的变体进行说话人识别，并使用一系列损失函数和训练参数进行广泛的实验。为此，我们优化了一个高效的训练框架，允许在有限的时间和资源下训练强大的模型。我们的训练模型通过更轻的模型和简单的管道展示了对大多数现有作品的改进。该文件分享了我们从参与挑战中吸取的经验教训。
2020-10-29 cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Audio-visual Speaker Recognition with a Cross-modal Discriminative Network
视听说话人识别是最近2019年NIST说话人识别评估（SRE）的任务之一。神经科学和计算机科学的研究都指出，视觉和听觉神经信号在认知过程中相互作用。这促使我们研究一种跨模态网络，即语音-面部判别网络（VFNet），它建立了人类语音和面部之间的一般关系。实验表明，VFNet提供了额外的说话人判别信息。使用VFNet，我们在2019年NIST SRE的评估集上实现了16.54%的相对于评分水平融合视听基线的相等错误率降低。
2020-08-10 eess.AS
AutoSpeech: Neural Architecture Search for Speaker Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Science and Technology of China（中国科学技术大学）
基于卷积神经网络（CNN）的说话人识别系统通常使用现成的主干（如VGG-Net或ResNet）构建。然而，这些主干最初被提出用于图像分类，因此可能不自然地适合于说话人识别。由于人工探索设计空间的复杂性，我们提出了第一个神经结构搜索方法的说话人识别任务，命名为自动语音。该算法首先在神经元中确定最优操作组合，然后通过多次堆叠神经元得到CNN模型。通过标准方案训练推导出的CNN模型，可以得到最终的说话人识别模型。为了评估所提出的方法，我们使用VoxCeleb 1数据集对说话人识别和说话人验证任务进行了实验。结果表明，从所提出的方法衍生的CNN架构显着优于当前基于VGG-M，ResNet-18和ResNet-34骨干的说话人识别系统，同时享有较低的模型复杂度。
2020-08-31 cs.LG eess.AS
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Corporation（微软公司）
最近，自监督学习（SSL）在说话人识别中表现出了很强的性能，即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验，研究了自监督学习在说话人相关任务（如说话人确认）中的成功因素。我们在Voxceleb-1数据集上的实证结果表明，SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合，而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Self-supervised Speaker Recognition with Loss-gated Learning
在用于说话人识别的自监督学习中，伪标签用作监督信号。众所周知，由于伪标签的不可靠性，说话人识别模型并不总是受益于伪标签。在这项工作中，我们观察到一个说话人识别网络倾向于建模的数据与可靠的标签比那些不可靠的标签。这促使我们研究一种损失门控学习（LGL）策略，该策略通过神经网络在训练过程中的拟合能力来提取可靠的标签。与建议的LGL，我们的说话人识别模型获得了$46.3\%$性能增益超过没有它的系统。此外，建议的自监督说话人识别与LGL训练的VoxCeleb2数据集上没有任何标签，达到了相同的错误率$1.66\%$的VoxCeleb1原始测试集。代码已在https://github.com/TaoRuijie/Loss-Gated-Learning上提供。
2022-07-14 eess.AS eess.SP
Time-frequency Network for Robust Speaker Recognition
Fudan University（复旦大学）
基于语音的生物识别系统的广泛应用通常需要高性能的说话人识别算法。然而，大多数用于说话人识别的现有工作要么在频域要么在时域中处理语音，这可能产生次优的结果，因为时域和频域对于说话人识别都很重要。本文尝试对语音信号进行时域和频域分析，通过提取和融合时域和频域特征，提出了用于说话人识别的时频网络TFN。基于深度神经网络的最新进展，我们提出了一种卷积神经网络，将原始语音波形和频谱编码为特定于领域的特征，然后将其融合并转换为用于说话人识别的分类特征空间。在公开数据集TIMIT和LibriSpeech上的实验结果表明，该框架能够有效地将两个领域的信息结合起来，并且性能优于现有的说话人识别方法。
2023-03-07 cs.MM cs.SD eess.AS
To train or not to train adversarially: A study of bias mitigation strategies for speaker recognition
说话人识别越来越多地用于智能扬声器、客户服务中心和其他语音驱动分析等日常应用中。准确评估和减轻基于机器学习（ML）的语音技术（如说话人识别）中存在的偏见至关重要，以确保其广泛采用。与其他以人为中心的应用（如人脸识别）相比，现代说话人识别系统中关于各种人口统计因素的ML公平性研究滞后。现有的说话人识别系统中的公平性研究主要局限于在系统的特定操作点上评估偏差，这可能导致对公平性的错误期望。此外，只有少数偏见减轻策略开发的说话人识别系统。在本文中，我们系统地评估了在说话人识别系统中存在的偏见，就性别在一系列的系统工作点。我们还提出了对抗和多任务学习技术，以提高这些系统的公平性。我们通过定量和定性评估表明，所提出的方法提高了ASV系统的公平性，超过了使用数据平衡技术训练的基线方法。我们还提出了一个公平效用权衡分析，共同检查公平性和整体系统性能。我们表明，虽然使用对抗技术训练的系统提高了公平性，但它们容易降低效用。另一方面，多任务方法可以在保持效用的同时提高公平性。这些研究结果可以为说话人识别领域中偏见缓解策略的选择提供参考。
2022-03-17 eess.AS
Learning to fool the speaker recognition
Institute of Computer Technology, Chinese Academic of Sciences（中国科学院计算技术研究所）；Peking University（北京大学）；University of Chinese Academic of Sciences（中国科学院大学）
由于指纹/人脸/说话人识别系统的广泛部署，攻击基于深度学习的生物特征系统引起了越来越多的关注。以往的研究主要是针对基于视觉的系统，如指纹、人脸识别等进行攻击。而对说话人识别的攻击虽然在日常生活中得到了广泛的应用，但至今还没有研究。在本文中，我们试图欺骗最先进的说话人识别模型，并提出了\textit{speaker recognition attacker}，一个轻量级的模型，欺骗深层说话人识别模型，通过添加不可察觉的扰动到原始语音波形。我们发现说话人识别系统也容易受到攻击，并且我们在非目标攻击上取得了很高的成功率。此外，我们还提出了一种有效的方法来优化说话人识别攻击，以获得攻击成功率和感知质量之间的权衡。在TIMIT数据集上的实验表明，我们可以达到一个平均信噪比为$57.2\text{dB}$和PESQ 4.2的$99.2\%$的句子错误率，速度比实时快。
2020-04-07 cs.CR cs.SD eess.AS
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University（密歇根州立大学）
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中，我们提出了一个名为DeepTalk的韵律编码网络，用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合，进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中，以生成合成语音。对合成语音的详细分析表明，DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外，基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
x-vectors meet emotions: A study on dependencies between emotion and speaker recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们探讨了说话人识别和情感识别之间的依赖关系。我们首先表明，知识学习说话人识别可以重用的情感识别，通过迁移学习。然后，我们展示了情绪对说话人识别的影响。对于情感识别，我们证明了使用简单的线性模型就足以在从预训练模型（如x向量模型）中提取的特征上获得良好的性能。然后，我们通过对情感分类进行微调来提高情感识别性能。我们在三种不同类型的数据集上评估了我们的实验：IEMOCAP，MSP-Podcast和Crema-D。通过微调，我们在IEMOCAP，MSP-Podcast和Crema-D上分别获得了30.40%，7.99%和8.61%的绝对改善，而不是没有预先训练的基线模型。最后，我们提出了情感对说话人确认的影响的结果。我们观察到，说话人确认的性能很容易改变测试说话人的情绪。我们发现，愤怒话语的试验在所有三个数据集中表现最差。我们希望我们的分析能够在说话人识别领域开创一条新的研究路线。
2020-02-12 cs.LG cs.SD eess.AS
Adversarial Training for Multi-domain Speaker Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Tencent Media Lab（腾讯媒体实验室）
在实际应用中，说话人识别系统的性能往往会因为训练数据和评估数据的不匹配而下降。许多领域自适应方法已成功地用于消除说话人识别中的领域失配。然而，通常训练和评估数据本身都可以由几个子集组成。每个数据集的这些内部方差也可以被认为是不同的域。源域或目标域数据集的不同分布子集也会导致多域失配，影响说话人识别性能。在这项研究中，我们提出使用对抗训练多域说话人识别，以解决域失配和数据集方差问题。通过采用所提出的方法，我们能够获得多域不变和说话人区分的语音表示的说话人识别。在DAC13数据集上的实验结果表明，该方法不仅能有效解决多领域失配问题，而且性能优于无监督领域自适应方法.
2020-11-17 cs.SD eess.AS
A Deep Neural Network for Short-Segment Speaker Recognition
Queens University（皇后大学）
今天的交互式设备，如智能手机助手和智能扬声器，通常处理短时间的语音片段。结果，集成到这样的设备中的说话人识别系统将更好地适合于能够执行具有短持续时间话语的识别任务的模型。本文提出了一种新的深度神经网络UtterIdNet，它能够用短语音段进行说话人识别。我们提出的模型采用了一种新的架构，使其适合于短段说话人识别，通过有效地增加使用短语音段中的信息。UtterIdNet已经在VoxCeleb数据集上进行了训练和测试，VoxCeleb数据集是说话人识别的最新基准。对不同片段持续时间的评估表明，对于短片段，性能一致且稳定，对于2秒、1秒、尤其是亚秒持续时间（250 ms和500 ms）的片段，性能比以前的模型有显著改善。
2019-07-22 cs.LG cs.SD eess.AS
Clova Baseline System for the VoxCeleb Speaker Recognition Challenge 2020
Naver Corporation（NAVER公司）
本报告描述了我们在Interspeech 2020上提交的VoxCeleb说话人识别挑战赛（VoxSRC）。我们对基于流行的ResNet架构的说话人识别模型进行了仔细的分析，并使用一系列损失函数训练了一些变体。我们的研究结果表明，显着的改进，大多数现有的作品，而不使用模型集成或后处理。我们发布了训练代码和预训练模型，作为今年挑战赛的非官方基线。
2020-09-29 cs.SD eess.AS
Emotion Recognition in Multi-Speaker Conversations through Speaker Identification, Knowledge Distillation, and Hierarchical Fusion
Institute of Science Tokyo（东京科学研究所）
本文提出通过说话人识别、知识蒸馏和分层融合方法，提升多说话人对话中情绪识别的准确性和鲁棒性。
2025-11-05 cs.SD eess.AS
Multi-speaker Recognition in Cocktail Party Problem
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出了一种新颖的统计决策理论来实现鸡尾酒会问题中的多说话人识别任务。该理论假设说话人的不同频率服从高斯分布，并且他们之间的声纹关系可以用欧氏距离向量来表示。本文利用梅尔倒谱系数提取语音的特征，用于判断多说话人环境中是否包含说话人，并区分说话人是谁。最后，为了全面考虑总体影响因素，通过对说话人曼哈顿距离的映射，建立了一个13维星座图。
2017-12-05 cs.SD eess.AS
The BUCEA Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
Beijing University of Civil Engineering and Architecture（北京建筑大学）
本文介绍了BUCEA扬声器日记系统为2022 VoxCeleb扬声器识别挑战赛。Voxsrc-22提供VoxConverse的开发集和测试集，我们主要使用VoxConverse的测试集进行参数调整。该系统包括语音活动检测、说话人嵌入提取、聚类方法、重叠语音检测和结果融合等模块。在不考虑重叠的情况下，采用Dover-Rank（Diarization Output Voting Error Reduction）方法进行系统融合，最后进行重叠语音的检测和处理。我们最好的系统在VoxSRC 2022评估集上分别实现了5.48%的日记出错率（DER）和32.1%的Jaccard出错率（JER）。
2022-09-20 cs.SD eess.AS
Speaker Recognition using Deep Belief Networks
Indian Institute of Information Technology, Allahabad（印度信息科学与技术研究所阿拉哈巴德分校）
诸如梅尔频率倒谱系数（MFCC）的短时间谱特征先前已经被部署在现有技术的说话人识别系统中，然而，较少注意可以通过生成学习模型从语音信号学习的短期谱特征。更高维度的编码器，如深度信念网络（DBN），可以通过更好地建模声波的统计结构来提高说话人识别任务的性能。在本文中，我们使用短期的频谱特征学习的DBN与MFCC功能增强执行说话人识别的任务。使用我们的功能，我们实现了0.95的识别准确率，而在ELSDSR数据集上使用独立的MFCC功能时为0.90。
2018-05-09 cs.SD eess.AS
Attacking Speaker Recognition With Deep Generative Models
UC Berkeley（加州大学伯克利分校）
在本文中，我们研究了生成对抗网络（GANs）对现代说话人识别系统合成欺骗攻击的能力。我们首先证明，使用SampleRNN和WaveNet生成的样本无法欺骗基于CNN的说话人识别系统。我们提出了一个修改的Wasserstein GAN目标函数，利用数据是真实的，但不是从正在学习的类。我们的半监督学习方法能够执行有针对性和无针对性的攻击，提出了与说话人认证系统的安全性相关的问题。
2018-01-08 cs.LG cs.SD eess.AS
The DKU-DukeECE-Lenovo System for the Diarization Task of the 2021 VoxCeleb Speaker Recognition Challenge
DKU（昆山杜克大学）；DukeECE（杜克大学电子与计算机工程系）；Lenovo（联想）
本报告介绍了DKU-DukeECE-Lenovo团队提交的VoxCeleb说话人识别挑战赛（VoxSRC）2021年第4场比赛。我们的系统包括一个语音活动检测（VAD）模型，说话人嵌入模型，两个基于聚类的说话人日记系统与不同的相似性测量，两个不同的重叠语音检测（OSD）模型，和一个目标说话人语音活动检测（TS-VAD）模型。我们的最终提交，由5个独立的系统组成，在挑战测试集上实现了5.07%的DER。
2021-09-07 cs.SD eess.AS
XMUSPEECH System for VoxCeleb Speaker Recognition Challenge 2021
Xiamen University（厦门大学）
本文介绍了用于VoxCeleb说话人识别挑战赛2021的XMUSPEECH说话人识别和日记系统。对于第二轨道，我们评估了两个系统，包括ResNet 34-SE和ECAPA-TDNN。对于第四道，我们的系统的一个重要组成部分是VAD模块，大大提高了性能。我们在第4轨道上的最佳提交在评估集上获得了DER 5.54%和JER 27.11%，而在开发集上的表现是DER 2.92%和JER 20.84%。
2021-09-06 cs.SD eess.AS
Speaker conditioning of acoustic models using affine transformation for multi-speaker speech recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Erik Jonsson School of Engineering（埃里克·琼森工程学院）；Center for Robust Speech Systems (CRSS)（鲁棒语音系统中心（CRSS））
本文研究了在重叠语音场景下目标说话人的单通道自动语音识别问题。该方法利用说话人辅助信息对声学模型中的隐藏表示进行调制，从而只识别期望的说话人。仿射变换层被插入到声学模型网络中，以将说话人信息与声学特征相结合。扬声器调节过程允许声学模型在目标扬声器辅助信息的上下文中执行计算。所提出的扬声器调节方法是一种通用的方法，可以应用于任何声学模型架构。在这里，我们在ResNet声学模型上使用扬声器调节。在WSJ语料库上的实验表明，该方法是一种有效的融合说话人辅助信息和声学特征的多说话人语音识别方法，与原始ResNet声学模型基线相比，在干净和重叠语音场景下分别实现了+9%和+20%的相对WER降低。
2021-10-30 cs.AI cs.LG cs.SD
A new Speech Feature Fusion method with cross gate parallel CNN for Speaker Recognition
Nanchang University（南昌大学）
提出了一种基于交叉门并行卷积神经网络（CG-PCNN）的语音特征融合方法用于说话人识别。通过多个Mel滤波器组从说话人语音的每一帧中提取不同频率分辨率的Mel滤波器组特征，其中Mel滤波器组中三角形滤波器的个数不同。由于这几种光纤的频率分辨率不同，所以它们之间存在一定的互补性。CG-PCNN用于从这些MBF中提取深层特征，该特征采用交叉门机制来捕获互补特征，以提高说话人识别系统的性能。然后，将这些深层特征串联起来，得到融合特征，用于说话人识别。实验结果表明，基于该语音特征融合方法的说话人识别系统是有效的，其识别性能略优于现有的说话人识别系统。
2022-11-24 cs.SD eess.AS
Query Expansion System for the VoxCeleb Speaker Recognition Challenge 2020
National Taiwan Normal University（国立台湾师范大学）
在本报告中，我们描述了我们提交给VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的申请。采取了两种办法。一种是将查询扩展应用于说话人确认，与本研究的基线相比，取得了显著的进步。另一种是使用Kaldi提取x向量，并将其概率线性判别分析（PLDA）得分与ResNet得分相结合。
2020-11-04 cs.CL cs.SD eess.AS
Multi-Task Learning with Auxiliary Speaker Identification for Conversational Emotion Recognition
Wuhan University（武汉大学）；Tianjin University（天津大学）
会话情感识别在自然语言处理领域引起了越来越多的关注。与普通的情感识别不同，有效的说话人敏感话语表示是CER的一个主要挑战。在本文中，我们利用说话人辨识（SI）作为一个辅助任务，以提高在会话中的话语表示。通过这种方法，我们可以从额外的SI语料库中学习更好的说话人感知的上下文表示。两个基准数据集上的实验表明，该架构是非常有效的CER，获得新的国家的最先进的结果在两个数据集上。
2020-03-05 cs.CL cs.SD eess.AS
The UPC Speaker Verification System Submitted to VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20)
UPC（加泰罗尼亚理工大学）
本报告描述了加泰罗尼亚技术大学（UPC）在Interspeech 2020上向VoxCeleb说话人识别挑战赛（VoxSRC-20）提交的材料。最后提交的是三个系统的组合。系统-1是基于自动编码器的方法，其尝试重构相似的i向量，而系统-2和系统-3是基于卷积神经网络（CNN）的连体架构。连体网络分别具有两个和三个分支，其中每个分支是CNN编码器。双分支连体机器人在训练过程中使用交叉熵损失进行二进制分类。然而，我们的三分支连体狗被训练成使用三重丢失来学习说话者嵌入。我们提供我们的系统在VoxCeleb-1测试，VoxSRC-20验证和测试集的结果。
2020-10-27 cs.SD eess.AS
Disentangled representation learning for multilingual speaker recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Oxford（牛津大学）；Naver Corporation（NAVER公司）；Carnegie Mellon University（卡内基梅隆大学）
针对跨语言说话人识别难题，本文构建了考虑双语场景的大规模评估集 VoxCeleb1-B，并提出一种结合对抗学习与度量学习、仅依赖语言伪标签的解耦表示学习方法。
2023-06-06 cs.SD eess.AS
VoxSRC 2021: The Third VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
VoxCeleb Speaker Recognition Challenge的第三阶段与Interspeech 2021一起举行。这项挑战的目的是评估如何以及当前的说话人识别技术能够diarise和识别扬声器在不受约束的或“在野外”的数据。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2021举行的虚拟公众挑战和研讨会。本文概述了挑战，并介绍了基线，方法和结果。最后，我们讨论了VoxSRC 2021的新多语言重点，以及自前两个版本以来挑战的进展。
2022-11-16 cs.SD eess.AS
VoxBlink2: A 100K+ Speaker Recognition Corpus and the Open-Set Speaker-Identification Benchmark
本文构建了大规模视听说话人识别数据集VoxBlink2，并提出了开放集说话人识别任务及相应基准，在VoxCeleb1-O上实现了最先进的性能。
2024-07-16 eess.AS
A Comprehensive Investigation on Speaker Augmentation for Speaker Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文系统研究SP与VTLP两种说话人增强方法，在VoxCeleb和CN-Celeb上验证二者均可生成新说话人并显著提升识别性能，且特性互补、具有融合潜力。
2024-06-11 cs.SD eess.AS
VoxSRC 2020: The Second VoxCeleb Speaker Recognition Challenge
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；SRI International（SRI国际）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们与Interspeech 2020一起举办了VoxCeleb Speaker Recognition Challenge的第二部分。这项挑战的目标是评估如何以及当前的说话人识别技术能够diarise和识别说话人在不受约束的或“在野生”的数据。它包括：（i）来自YouTube视频的公开可用的说话人识别和日记数据集，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2020举办的虚拟公共挑战和研讨会。本文概述了挑战，并描述了基线，使用的方法和结果。最后，我们讨论了第一阶段挑战的进展情况。
2020-12-12 cs.LG cs.SD eess.AS
Real-time, Universal, and Robust Adversarial Attacks Against Speaker Recognition Systems
Rutgers University（罗格斯大学）；The University of Tennessee（田纳西大学）
近年来，随着语音用户界面（VUI）的迅速普及，说话人识别系统已经成为许多安全应用和服务中识别说话人的重要手段。在本文中，我们提出了针对最先进的基于深度神经网络（DNN）的说话人识别系统的第一个实时、通用和鲁棒的对抗性攻击。通过在任意登记的说话者的语音输入上添加音频不可知的通用扰动，基于DNN的说话人识别系统将把说话者识别为任何目标（即，对手期望的）扬声器标签。此外，我们通过估计房间脉冲响应（RIR）对物理空中传播引起的声音失真进行建模，提高了攻击的鲁棒性。使用109名英语使用者的公共数据集的实验表明，我们提出的攻击的有效性和鲁棒性与高攻击成功率超过90%。攻击启动时间也比当代非通用攻击快100倍。
2020-05-01 cs.CL cs.SD eess.AS
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别（TS-ASR）的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是，当录音中的扬声器未知时，它不能使用，因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制，我们提出了一种迭代法，其中（i）说话人嵌入的估计和（ii）基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音，其中扬声器重叠率超过20%，评估所提出的方法。我们证实，所提出的方法显着降低了字出错率（WER）和日记出错率（DER）。我们提出的方法结合i-向量说话人嵌入最终实现了WER，其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外，我们的方法可以同时解决说话人日记作为一个副产品，并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
On deep speaker embeddings for text-independent speaker recognition
ITMO University（ITMO大学）；STC-innovations Ltd.（STC创新有限公司）
我们研究了深度神经网络在与文本无关的说话人识别任务中的性能。我们证明，在分类神经网络的最后一个分类层使用角softmax激活，而不是一个简单的softmax激活允许训练一个更广义的判别扬声器嵌入提取器。余弦相似度是在该嵌入空间中进行说话人确认的有效度量。我们还解决了选择一个架构的提取器的问题。我们发现，具有残留帧级连接的深度网络优于宽但相对较浅的架构。本文还提出了一些改进以前的基于DNN的提取器系统，以提高说话人识别的准确性。我们表明，区别训练的相似性度量学习方法优于标准的LDA-PLDA方法作为嵌入后端。在Speakers in the Wild和NIST SRE 2016评估集上获得的结果证明了所提出的系统在处理接近现实生活条件时的鲁棒性。
2018-04-26 cs.CL cs.SD eess.AS
On the relevance of language in speaker recognition
Escola Universitària Politècnica de Mataró（马塔罗理工大学学院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出了一个新的数据库收集的双语扬声器集（49），在两种不同的语言：西班牙语和加泰罗尼亚语。在语音上，两种语言之间存在着显著的差异。这些差异让我们建立了几个结论的相关性的语言在说话人识别，使用两种方法：矢量量化和协方差矩阵
2022-03-04 cs.LG cs.SD eess.AS
VoxCeleb2: Deep Speaker Recognition
University of Oxford（牛津大学）
本文的目的是在噪声和无约束条件下的说话人识别。我们做出了两个重要贡献。首先，我们介绍了一个非常大规模的视听说话人识别数据集收集的开源媒体。使用全自动管道，我们策划了VoxCeleb2，其中包含来自6，000多名发言者的超过100万条话语。这是任何公开可用的说话人识别数据集的几倍。其次，我们开发和比较卷积神经网络（CNN）模型和训练策略，可以有效地识别身份的声音在各种条件下。在VoxCeleb2数据集上训练的模型大大超过了以前在基准数据集上的工作。
2018-06-27 cs.CV cs.SD eess.AS
GIST-AiTeR System for the Diarization Task of the 2022 VoxCeleb Speaker Recognition Challenge
本报告介绍了GIST-AiTeR团队在2022年VoxCeleb说话人识别挑战赛（VoxSRC）Track 4上的提交系统。我们的系统主要包括语音增强、语音活动检测、多尺度说话人嵌入、基于概率线性判别分析的说话人聚类和重叠语音检测模型。我们首先根据不同的模型组合，以最佳的实验努力构建了四个不同的日记化系统。我们的最终提交是所有四个系统的集成系统，并在挑战评估集上实现了5.12%的日志错误率，在挑战的日志轨道上排名第三。
2022-10-06 eess.AS
Training speaker recognition systems with limited data
Radboud University（拉德堡德大学）
这项工作考虑训练神经网络的说话人识别与一个更小的数据集大小相比，当代的工作。我们通过提出流行的VoxCeleb 2数据集的三个子集来人为地限制数据量。这些子集被限制为50，k音频文件（相对于可用的超过1，M文件），并且在扬声器数量和会话可变性的轴上变化。我们在这些子集上训练了三个说话人识别系统：X-vector、ECAPA-TDNN和wav 2 vec 2网络架构。我们表明，自我监督，wav 2 vec 2的预训练的权重大大提高性能时，训练数据是有限的。代码和数据子集可在https://github.com/nikvaessen/w2v2-speaker-few-samples上获得。
2023-02-27 cs.LG cs.SD eess.AS
NIST SRE CTS Superset: A large-scale dataset for telephony speaker recognition
本文档简要描述了美国国家标准与技术研究所（NIST）的说话人识别评估（SRE）会话电话语音（CTS）超集。CTS超集的创建是为了向研究界提供大规模数据集以及统一的元数据，这些元数据可用于有效地训练和开发电话（窄带）说话人识别系统。它包含了大量的电话语音段，来自6800多个扬声器的语音持续时间均匀分布在[10 s，60 s]范围内。这些片段是从用于编译先前SRE数据集（SRE 1996 -2012）的源语料库中提取的，包括Greybeard语料库以及语言数据联盟（LDC）收集的Switchboard和Mixer系列。除了简要描述之外，我们还报告了NIST 2020 CTS Speaker Recognition Challenge的说话人识别结果，该结果是使用CTS Superset训练的系统获得的。结果将作为挑战的参考基线。
2021-08-16 cs.AI cs.SD eess.AS
JukeBox: A Multilingual Singer Recognition Dataset
Michigan State University（密歇根州立大学）
文本无关的说话人识别系统依赖于成功地编码语音因素，如音高，强度和音色，以实现良好的性能。大多数这样的系统都是使用口语或日常对话语音数据进行训练和评估的。然而，口语，表现出有限的范围内可能的扬声器动态，从而限制了效用的派生说话人识别模型。另一方面，歌唱声音涵盖了更广泛的声音和环境因素，因此可以用来评估说话人识别系统的鲁棒性。然而，大多数现有的说话人识别数据集只关注口语语音。相比之下，适合于说话人识别研究的带标签歌声数据明显不足。为了解决这个问题，我们组装\textit{JukeBox} -一个说话人识别数据集，多语言歌唱声音音频注释歌手身份，性别和语言标签。我们使用当前最先进的方法来证明使用单独训练口语的模型对唱歌的声音进行说话人识别的困难。我们还评估了性别和语言对说话人识别性能的影响，无论是在口语和唱歌的声音数据。完整的\textit{JukeBox}数据集可访问http://iprobe.cse.msu.edu/datasets/jukebox.html。
2020-08-08 cs.LG cs.SD eess.AS
GIST-AiTeR Speaker Diarization System for VoxCeleb Speaker Recognition Challenge (VoxSRC) 2023
GIST-AiTeR团队为VoxSRC-23赛道4构建集成说话人日志系统，融合不同参数配置的ResNet293与MFA-Conformer模型，在VAL46和赛事测试集上均取得优于单模型的DER表现。
2023-08-25 eess.AS
Synth2Aug: Cross-domain speaker recognition with TTS synthesized speech
Google LLC（谷歌有限责任公司）；DeepMind（深度思维）
近年来，文语转换（TTS）已被用作语音识别的数据增强技术，以帮助补充训练数据中的不足。相应地，我们研究了使用多说话人TTS系统来合成支持说话人识别的语音。在这项研究中，我们专注于任务的分析，其中一个相对较少的扬声器可用于培训。我们在我们的数据集上观察到，TTS合成语音提高了跨域说话人识别性能，并且可以有效地与多风格训练相结合。此外，我们探讨了不同类型的文本转录用于TTS合成的有效性。结果表明，匹配目标域的文本内容是一个很好的做法，如果这是不可行的，一个足够大的词汇量的成绩单建议。
2020-11-24 cs.LG cs.SD eess.AS
VoxSRC 2022: The Fourth VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
本文总结了VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）的研究结果，该挑战赛与INTERSPEECH 2022联合举行。这项挑战的目标是评估如何以及国家的最先进的说话人识别系统可以diarise和识别说话人从语音获得“在野外”。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在INTERSPEECH 2022举行的公共挑战和混合研讨会。我们描述了我们的挑战的四个轨道以及基线，方法和结果。最后，我们讨论了VoxSRC-22的新域转移焦点，以及前三个版本的挑战进展。
2023-03-06 cs.LG cs.SD eess.AS
Deep learning methods in speaker recognition: a review
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
本文总结了深度学习在说话人识别领域的应用实践，包括验证和识别。说话人识别是语音技术中应用广泛的领域。在过去的5-6年里，人们进行了许多研究工作，但进展甚微。然而，随着深度学习技术在大多数机器学习领域的发展，以前最先进的方法也在说话人识别中被它们取代。看来，DL成为现在国家的最先进的解决方案，为说话人确认和识别。标准的x-向量，除了i-向量，被用作基线在大多数的小说作品。收集的数据量越来越多，这为DL打开了一片天地，在那里它们是最有效的。
2019-11-14 cs.LG cs.SD eess.AS
Vocal Style Factorization for Effective Speaker Recognition in Affective Scenarios
Michigan State University（密歇根州立大学）
针对情感变化影响说话人识别准确率的问题，提出E-Vector架构，利用1-D CNN和语音风格因式分解技术学习并重组说话人身份特征，在MSP-Podcast数据集上显著提升了情感场景下的识别准确率。
2023-08-03 cs.SD eess.AS
Inaudible Adversarial Perturbations for Targeted Attack in Speaker Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
说话人识别是生物特征认证领域的一个热门课题，许多深度学习方法都取得了优异的性能。然而，在图像和语音应用中已经表明，深度神经网络容易受到对抗性示例的影响。在这项研究中，我们的目标是利用这一弱点进行有针对性的对抗攻击对基于x向量的说话人识别系统。本文提出了一种基于心理声学频率掩蔽原理的说话人识别系统的白盒攻击方法。具体地说，我们将扰动限制在原始音频的掩蔽阈值之下，而不是使用公共的l_p范数来度量扰动。在Aishell-1语料库上的实验表明，该方法对任意性别说话人目标的攻击成功率高达98.5%，同时保持了对听者的不可区分属性。此外，我们还实现了一个有效的扬声器攻击时，所提出的方法应用到一个完全不相关的波形，如音乐。
2020-05-22 cs.SD eess.AS
Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021
Northwestern Polytechnical University（西北工业大学）；Beijing ZKJ Technology Co., Ltd.（北京中科金技术有限公司）
在这份报告中，我们描述了北京ZKJ-NPU团队提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）。我们参与了完全监督的说话人验证轨道1和轨道2。在挑战中，我们探索了具有不同池化层和目标损失函数的各种高级神经网络结构。此外，我们还引入了ResNet-DTCF、CoAtNet和PyConv网络来提高基于CNN的说话人嵌入模型的性能。此外，我们在评估阶段应用嵌入归一化和分数归一化。通过融合11和14个系统，我们最终的最佳性能（minDCF/EER）的评估试验分别为0.1205/2.8160%和0.1175/2.8400%的轨道1和2。随着我们的提交，我们来到了第二位的挑战，为两个轨道。
2021-11-18 cs.SD eess.AS
