Weakly Supervised Training of Hierarchical Attention Networks for Speaker Identification
University of Sheffield（谢菲尔德大学）
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种层次化的注意力网络来解决弱标记说话人识别问题。使用的分层结构，包括一个帧级编码器和一个段级编码器，旨在学习本地和全球的扬声器相关的信息。语音流被分割成片段。具有注意力的帧级编码器学习特征并局部突出目标相关帧，并输出基于片段的嵌入。片段级编码器与第二关注层一起工作，以强调可能与目标说话者相关的片段。最后，从分段级模块中收集全局信息，通过分类器进行说话人预测。为了评估所提出的方法的有效性，基于Switchboard Cellular part1（SWBC）和Voxceleb1的人工数据集构造在两种情况下，其中说话人的声音重叠和不重叠。通过与两个基线的比较，结果表明该方法可以获得更好的性能。此外，进一步的实验进行评估的影响，话语分割。结果表明，合理的分割可以略微提高识别性能。
2020-08-27 cs.CL cs.SD eess.AS
CASA-Based Speaker Identification Using Cascaded GMM-CNN Classifier in Noisy and Emotional Talking Conditions
University of Sharjah（沙迦大学）；The University of Tokyo（东京大学）
本文的工作旨在提高文本无关的说话人辨识在实际应用中的性能，如嘈杂和情绪化的谈话条件。这是通过合并两个不同的模块来实现的：用于降噪的基于计算听觉景物分析CASA的预处理模块和用于说话人辨识的级联高斯混合模型卷积神经网络GMM-CNN分类器，然后是情感识别。本研究提出并评估了一种新的算法，以提高说话人辨识的准确性，在情绪和高噪声敏感条件。实验表明，该模型产生有前途的结果与其他分类器相比，语音在模拟和实际压力SUSAS数据库，阿联酋语音数据库ESD，瑞尔森视听数据库的情感语音和歌曲RAVDESS数据库和流利的语音命令数据库在嘈杂的环境中使用。
2021-02-11 cs.AI cs.SD eess.AS
Pitch-synchronous DCT features: A pilot study on speaker identification
Indian Institute of Science（印度科学学院）
我们提出了一种新的特征，即音高同步离散余弦变换（PS-DCT），用于说话人识别的任务。这些特征直接从语音信号的有声段获得，而不需要任何预加重或加窗。对特征向量进行矢量量化，在训练过程中为每个说话人创建一个单独的码本。PS-DCT特征的性能被证明是好的，因此它可以用来补充说话人识别任务的其他功能。说话人识别也使用梅尔频率倒谱系数（MFCC）的功能，并结合所提出的功能，以提高其性能。本研究从TIMIT数据库中随机抽取了30名说话人（14名女性和16名男性）进行说话人识别。在此数据上，所提出的特征和MFCC对于码本大小为16和32分别给出了90%和96.7%的识别准确率，并且组合特征实现了100%的性能。除了说话人识别的任务，这项工作也显示了DCT的能力，以最小的预处理从语音信号中捕获的歧视性信息。
2018-12-06 cs.SD eess.AS
Speaker Identification in each of the Neutral and Shouted Talking Environments based on Gender-Dependent Approach Using SPHMMs
University of Sharjah（沙迦大学）
说话人辨识在中性说话环境中具有很好的识别性能，但在有噪声的说话环境中识别性能急剧下降。这项工作的目的是提出，实施和测试一种新的方法，以提高下降的性能，在大声说话的环境。新提出的方法是基于性别相关的说话人辨识使用超分段隐马尔可夫模型（SPH）作为分类器。该方法已在两个不同的语音数据库上进行了测试：我们收集的数据库和模拟和实际压力下的语音（SUSAS）数据库。实验结果表明，基于SPHHT的性别相关的说话人辨识比基于相同模型的性别无关的说话人辨识和基于隐马尔可夫模型（HHT）的性别相关的说话人辨识分别提高了约6%和8%。所提出的方法的基础上获得的结果接近人类法官的主观评价。
2017-06-29 cs.AI cs.SD
Speaker De-identification System using Autoencoders and Adversarial Training
Sigma Technologies S.L.U.（西格玛技术有限公司）；Universidad Politécnica de Madrid（马德里理工大学）
收集用户个人数据的网络服务和移动应用程序的快速增长，增加了他们的隐私可能受到严重损害的风险。特别是，深度学习令人眩晕的突破所带来的口语界面和语音助手的种类越来越多，这促使欧盟对保护语音数据隐私产生了重要的担忧。例如，攻击者可以记录用户的语音并模仿他们来访问需要语音识别的系统。从用户窃取说话者简档也可以通过现有技术来提取说话者、语言（例如，方言）和非语言学特征（例如，年龄）从语音信号。为了减轻这些弱点，在本文中，我们提出了一种基于对抗训练和自动编码器的说话人去识别系统，以抑制语音中的说话人，性别和口音信息。实验结果表明，结合对抗性学习和自动编码器增加了说话人验证系统的相等出错率，同时保持匿名口语内容的可理解性。
2020-11-09 cs.CL cs.SD eess.AS
Emotion Recognition in Multi-Speaker Conversations through Speaker Identification, Knowledge Distillation, and Hierarchical Fusion
Institute of Science Tokyo（东京科学研究所）
本文提出通过说话人识别、知识蒸馏和分层融合方法，提升多说话人对话中情绪识别的准确性和鲁棒性。
2025-11-05 cs.SD eess.AS
Improved Relation Networks for End-to-End Speaker Verification and Identification
LG Ads Solutions（LG广告解决方案公司）
现实世界场景中的说话者识别系统的任务是在一组登记的说话者中识别说话者，对于每个登记的说话者仅给出几个样本。本文展示了元学习和关系网络在此用例中的有效性。我们提出了改进的关系网络的说话人确认和Few-Shot（看不见的）说话人识别。关系网络的使用有助于前端扬声器编码器和后端模型的联合训练。受说话人验证中使用原型网络的启发，为了提高说话人嵌入的可辨别性，我们训练模型，以在训练集中存在的所有说话人中对当前集的样本进行分类。此外，我们提出了一种新的训练机制，通过从给定的元学习事件中提取更多的信息来加快模型收敛，而额外的计算可以忽略不计。我们评估VoxCeleb，SITW和VCTK数据集上的说话人验证和看不见的说话人识别的任务所提出的技术。所提出的方法优于现有的方法一致的任务。
2022-07-21 cs.LG cs.SD eess.AS
Speaker Identification using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们探讨说话人识别使用脑电信号（EEG）。说话人识别系统在有背景噪声的情况下性能会下降，本文证明了脑电特征可以用来提高说话人识别系统在有和没有背景噪声的情况下的性能。本文进一步证明了在高背景噪声下，仅使用脑电特征作为输入的说话人识别系统比仅使用声学特征作为输入的系统具有更好的识别性能。
2020-03-07 cs.LG cs.SD eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；National University of Singapore（新加坡国立大学）
说话人的情绪状态对言语产生有重要影响，它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务，因为说话者模型通常使用中性语音进行训练。在这项工作中，我们建议克服这个问题，通过创建情感不变的说话人嵌入。我们学习了一个提取器网络，该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变，从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高，在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架，不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
The exploitation of Multiple Feature Extraction Techniques for Speaker Identification in Emotional States under Disguised Voices
University of Sharjah（沙迦大学）
由于人工智能的进步，说话人辨识（SI）技术带来了一个很大的方向，现在被广泛应用于各个部门。特征提取是语音识别的重要组成部分，它对语音识别的过程和性能有着重要的影响。因此，许多特征提取策略进行了深入的研究，对比和分析。本文利用五种不同的特征提取方法对情感环境下的伪装语音进行说话人辨识。为了评估这项工作显着，三个效果使用：高音，低音和电子语音转换（EVC）。实验结果表明，级联的梅尔频率倒谱系数（MFCC），MFCC的增量，和MFCC的增量是最好的特征提取方法。
2021-12-15 cs.CL cs.SD eess.AS
Evaluating the Effectiveness of Transformer Layers in Wav2Vec 2.0, XLS-R, and Whisper for Speaker Identification Tasks
本文通过微调并结合 SVCCA、k-means 与 t-SNE 分析 Wav2Vec 2.0、XLS-R 和 Whisper 的逐层表征，揭示其说话人特征编码差异并确定各模型的最佳 Transformer 层数。
2025-09-28 cs.AI cs.CL cs.LG
On The Model Size Selection For Speaker Identification
Escola Universitària Politècnica de Mataró（马塔罗理工大学学院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
在本文中，我们评估的相关性模型大小的说话人辨识。我们表明，它是可能的，以提高识别率，如果一个不同的模型大小用于每个扬声器。我们还提出了一些选择模型大小的标准，和一个新的算法，优于经典的系统与一个固定的模型大小。
2022-04-04 cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
An Effective Transformer-based Contextual Model and Temporal Gate Pooling for Speaker Identification
Shibaura Institute of Technology（芝浦工业大学）
本文提出一种基于Transformer的端到端说话人识别模型及Temporal Gate Pooling池化方法，利用Conformer编码器和BEST-RQ预训练，在VoxCeleb1上以28.5M参数实现87.1%准确率，精度媲美317.7M参数的wav2vec2。
2023-09-10 cs.AI cs.LG cs.SD
Text Independent Speaker Identification System for Access Control
University of Ibadan（伊巴丹大学）
即使是人类智能系统也无法100%准确地识别特定个人的讲话。机器智能试图通过各种语音特征提取和语音建模技术来模拟说话人识别问题。本文提出了一个与文本无关的说话人识别系统，采用梅尔频率倒谱系数（MFCC）的特征提取和k-最近邻（kNN）的分类。交叉验证的最大准确度为60%。这将在后续研究中得到改进。
2022-09-26 cs.LG cs.SD eess.AS
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.（微软公司）
在会议和对话等多人场景中，语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的，因此常规方法通常以级联方式解决该问题，该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中，我们提出了流式解混，识别和识别传感器（SURIT）-一个新的框架，处理这个问题，在一个端到端的流式方式。SURIT采用递归神经网络转换器（RNN-T）作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集，并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
End-to-end Recurrent Denoising Autoencoder Embeddings for Speaker Identification
University Carlos III of Madrid（马德里卡洛斯三世大学）
由于诸如环境噪声和说话人的情绪状态之类的真实生活条件引起的可变性，“野外”语音是说话人识别系统的障碍。利用表示学习的原理，我们的目标是设计一个经常性的去噪自动编码器，从嘈杂的频谱图中提取鲁棒的说话人嵌入来执行说话人识别。端到端的建议架构使用一个反馈回路来编码的信息，有关扬声器到低维表示提取的频谱图去噪自动编码器。我们采用数据增强技术添加腐败干净的语音与现实生活中的环境噪声在一个数据库中包含真正的强调语音。我们的研究表明，联合优化的降噪和扬声器识别模块优于压力和噪声失真以及手工制作的功能下的两个组件的独立优化。
2022-05-16 cs.SD eess.AS
Exploring wav2vec 2.0 on speaker verification and language identification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
Wav 2 vec 2.0是最近提出的用于语音表示学习的自监督框架。它遵循预训练和微调的两阶段训练过程，并在语音识别任务，特别是超低资源的情况下表现良好。在这项工作中，我们试图将自监督框架扩展到说话人确认和语言识别。首先，我们使用一些初步的实验来表明wav 2 vec 2.0可以捕获有关说话人和语言的信息。然后我们证明了wav 2 vec 2.0在这两个任务上的有效性。对于说话人验证，我们获得了一个新的最先进的结果，在VoxCeleb 1数据集上的相等出错率（EER）为3.61%。对于语言识别，我们在1秒条件下获得了12.02%的EER，在AP 17-OLR数据集的全长条件下获得了3.47%的EER。最后，通过对两个任务的多任务学习，利用一个模型实现统一建模。
2021-01-14 cs.CL cs.SD eess.AS
Graph-based Label Propagation for Semi-Supervised Speaker Identification
Amazon Alexa（亚马逊Alexa）
家庭场景中的说话人辨识（例如，对于智能说话者）通常仅基于几个登记话语，但是基于大得多的未标记数据集，这表明半监督学习可以改善说话者简档。我们提出了一种基于图的半监督学习方法的说话人辨识在家庭的情况下，利用未标记的语音样本。与大多数专注于说话人区分嵌入的说话人识别工作相反，这项工作专注于说话人标签推理（评分）。给定一个预先训练的嵌入提取器，基于图的学习允许我们整合有关标记和未标记话语的信息。考虑到每个话语作为一个图形节点，我们表示成对的话语相似性得分作为边权重。每个家庭构建图，并将扬声器身份传播到未标记的节点，以优化全局一致性标准。我们在VoxCeleb数据集上的实验表明，与两种最先进的评分方法及其基于伪标签的半监督变体相比，这种方法有效地利用了未标记的数据，提高了说话人辨识的准确性。
2021-06-15 cs.CL cs.LG cs.SD
Multi-Label Training for Text-Independent Speaker Identification
University of Nanjing（南京大学）
本研究提出文本无关说话人识别的多标签训练策略，通过为说话人语音子组分设多标签实现识别，兼具集成学习优势且不显著增加负担，在纯净和含噪环境下均优于常规方法，可广泛适配现有模型提升性能。
2024-08-16 cs.SD eess.AS
Towards Speaker Identification with Minimal Dataset and Constrained Resources using 1D-Convolution Neural Network
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
本文提出一种轻量级1D-CNN，结合数据增强在最小数据集上实现97.87%的说话人识别准确率，并开源代码、数据集与模型以支持复现。
2024-11-22 cs.AI cs.LG cs.SD
Triplet loss based embeddings for forensic speaker identification in Spanish
Facultad de Estudios Superiores Cuautitlán（库奥蒂特兰高等研究学院）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Abierta y a Distancia de México（墨西哥开放与远程大学）；University of Malta（马耳他大学）
随着数字技术的出现，犯罪或法律纠纷更常见的是涉及某种形式的语音记录，其中说话者的身份受到质疑[1]。面对这种情况，法庭说话人辨识领域一直在寻求通过量化语音记录相对于人口属于特定人的程度来阐明该问题。在这项工作中，我们探索使用三重损失训练CNN获得的语音嵌入的使用。特别是，我们专注于尚未广泛研究的西班牙语。我们建议从语音频谱图样本中提取嵌入，然后探索这种频谱图的几种配置，最后量化嵌入质量。我们还显示了我们的数据设置，主要是由男性扬声器的一些限制。最后，我们提出了两种方法来计算Likewise Radio给出的语音嵌入，我们表明，三重损失是一个很好的替代方案，以创建语音嵌入法医说话人辨识。
2021-09-14 cs.AI cs.SD eess.AS
Speaker Identification in the Shouted Environment Using Suprasegmental Hidden Markov Models
University of Sharjah（沙迦大学）
本文利用超分段隐马尔可夫模型（SPHHT）提高了在有噪声环境下与文本相关的说话人辨识的识别性能。我们的语音数据库包括两个数据库：我们收集的数据库和语音下模拟和实际压力（SUSAS）数据库。我们的研究结果表明，SPHMM显着提高说话人辨识性能相比，二阶循环隐马尔可夫模型（CHMM 2）在喊的环境。利用我们收集的数据库，说话人辨识的性能在这种环境下的CHMM 2和SPHHT分别为68%和75%。使用SUSAS数据库，在相同的环境下，基于CHMM 2s和SPHMM的说话人辨识性能分别为71%和79%。
2017-06-29 cs.SD
Improving Speaker Identification for Shared Devices by Adapting Embeddings to Speaker Subsets
Amazon Alexa AI（亚马逊Alexa AI）
说话人识别通常包括三个阶段。首先，训练前端说话人嵌入模型以嵌入话语和说话人简档。其次，在运行时话语和每个说话者简档之间应用评分函数。最后，根据评分指标，使用最近邻进行说话人识别。为了更好地区分扬声器共享同一个家庭内的设备，我们提出了一个家庭适应的非线性映射到一个低维空间，以补充全球评分指标。组合评分函数在标记或伪标记的说话者话语上被优化。与输入辍学，建议的评分模型减少EER的45-71%，在模拟家庭2至7个难以区分的扬声器每户。在真实世界的内部数据上，EER降低了49.2%。从t-SNE可视化，我们还表明，由家庭适应的扬声器嵌入形成的集群更紧凑，分布均匀，相比，由全球嵌入前适应形成的集群。
2021-09-06 cs.CR cs.SD eess.AS
Experiments on Open-Set Speaker Identification with Discriminatively Trained Neural Networks
Ericsson Research（爱立信研究院）
本文研究了开集说话人辨识中的判别式人工神经网络分类器。两个类和多类架构进行了测试，对传统的高斯混合模型为基础的分类器上注册的扬声器集的不同大小。性能评估表明，多类神经网络系统具有优越的性能，为大的人口规模。
2019-04-02 cs.LG cs.SD eess.AS
Lightweight Speaker Verification for Online Identification of New Speakers with Short Segments
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas (IIMAS), Universidad Nacional Autónoma de México (UNAM)（墨西哥国立自治大学应用数学与系统研究所（IIMAS））
最近提出了一种灵活的说话人识别方法，即两个音频片段是否属于同一说话人，因为当新的说话人出现在听觉场景中时，它不需要重新训练。尽管许多当前技术已经实现了高性能，但是它们需要相当高的存储量，并且对于它们的输入音频段需要特定的最小长度。这些要求限制了这些技术在服务机器人、物联网和虚拟助手等场景中的适用性，在这些场景中，计算资源有限，用户往往会在短时间内发言。在这项工作中，我们提出了一个基于BLSTM的模型，达到了性能水平的当前状态的最先进的使用短输入音频段时，同时需要一个相当少的内存量。此外，据我们所知，一个完整的说话人识别系统还没有报告使用这种验证范式。因此，我们提出了一个完整的在线扬声器标识符，一个简单的投票系统的基础上，这表明，所提出的基于BLSTM的模型实现了类似的性能在识别扬声器在线相比，目前的最新技术水平。
2020-10-23 cs.SD eess.AS
Meta-Learning Framework for End-to-End Imposter Identification in Unseen Speaker Recognition
LG Ad Solutions（LG广告解决方案）
针对未见说话人识别中固定阈值冒名者识别泛化差的问题，提出说话人专属阈值技术与解耦检测的端到端元学习框架，在多数据集上较基线最高提升10%。
2023-09-30 cs.LG cs.SD eess.AS
FoolHD: Fooling speaker identification by Highly imperceptible adversarial Disturbances
Alan Turing Institute（阿兰·图灵研究所）
说话人辨识模型容易受到精心设计的输入信号的对抗性扰动的影响，从而导致误分类。在这项工作中，我们提出了一个白盒隐写启发的对抗攻击，对说话人辨识模型产生不可感知的对抗性扰动。我们的方法，FoolHD，使用门控卷积自动编码器，在DCT域中操作，并使用多目标损失函数进行训练，以生成和隐藏原始音频文件中的对抗性扰动。除了阻碍说话人辨识性能之外，这种多目标损失通过从原始音频文件和对抗音频文件中提取的MFCC特征向量之间的逐帧余弦相似性来考虑人类感知。我们使用VoxCeleb训练的250-说话人辨识x向量网络验证了FoolHD在准确性、成功率和不可感知性方面的有效性。我们的研究结果表明，FoolHD生成高度不可感知的对抗性音频文件（平均PESQ分数高于4.30），同时在非目标和目标设置下分别实现了99.6%和99.2%的误导说话人辨识模型的成功率。
2021-02-20 cs.LG cs.SD eess.AS
Symmetric Saliency-based Adversarial Attack To Speaker Identification
Northwestern Polytechnical University（西北工业大学）；Tsinghua University（清华大学）
据我们所知，对抗性攻击的说话人辨识方法要么需要很高的计算成本，要么不是很有效。为了解决这个问题，在本文中，我们提出了一种新的生成网络为基础的方法，称为对称显着性为基础的编码器-解码器（SSED），生成对抗性的语音样本说话人辨识。它包含两个新的组成部分。首先，利用一种新的显著图解码器来学习语音样本对目标说话人辨识系统决策的重要性，从而使攻击者集中精力对重要样本产生人工噪声。提出了一种角度损失函数，使说话人嵌入远离源说话人。我们的实验结果表明，所提出的SSED产生的最先进的性能，即超过97%的目标攻击成功率和超过39 dB的信噪比水平的开集和闭集说话人辨识任务，具有较低的计算成本。
2022-10-30 cs.CR cs.LG cs.SD
Few-Shot Speaker Identification Using Depthwise Separable Convolutional Network with Channel Attention
South China University of Technology（华南理工大学）；Guangdong Polytechnic of Science and Technology（广东科学技术职业学院）
虽然Few-Shot学习在图像和音频分类领域引起了广泛的关注，但很少有人在Few-Shot说话人识别方面做出努力。在Few-Shot学习任务中，过拟合是一个棘手的问题，主要是由于训练和测试条件之间的不匹配。在本文中，我们提出了一个Few-Shot说话人识别方法，可以减轻过拟合问题。在所提出的方法中，使用原型损失函数来训练具有信道注意力的深度可分离卷积网络的模型。实验数据集是从三个公开的语音语料库：Aishell-2，VoxCeleb 1和TORGO。实验结果表明，该方法优于国家的最先进的方法Few-Shot说话人识别的准确性和F值。
2022-04-24 cs.SD eess.AS
Enhancing Open-Set Speaker Identification through Rapid Tuning with Speaker Reciprocal Points and Negative Sample
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；School of Communication（通信学院）；Information Engineering, Shanghai University（上海大学信息工程学院）
本文提出一种用于家庭环境的开集说话人识别框架，结合预训练WavLM、少样本快速调优及SRPL+负样本学习，使开集性能较直接使用WavLM base+提升达27%。
2024-09-24 cs.SD eess.AS
Crossed-Time Delay Neural Network for Speaker Recognition
Jilin University（吉林大学）；Zhuhai College of Jilin University（吉林大学珠海学院）
时间延迟神经网络（TDNN）是一种性能良好的基于DNN的说话人识别系统结构。本文提出了一种新的结构交叉时延神经网络（CTDNN），以提高现有TDNN的性能。受卷积神经网络卷积层多滤波器设置的启发，在底层设置多个上下文大小不同的时延单元，构建多层并行网络。建议CTDNN给出了显着的改进，在原来的TDNN的说话人确认和识别任务。在验证实验中，它优于VoxCeleb1数据集，绝对等错误率提高了2.6%。在少炮条件下，CTDNN的识别准确率达到90.4%，比原来的TDNN提高了一倍。我们还将CTDNN与TDNN的另一种新变体FTDNN进行了比较，结果表明，我们的模型在少量射击条件下具有36%的绝对识别精度提高，并且可以在更短的训练时间内更好地处理更大批量的训练，从而更好地利用计算资源。新模型的代码发布于https://github.com/chenllliang/CTDNN
2021-12-07 cs.AI cs.CL cs.SD
Enhancing speaker identification performance under the shouted talking condition using second-order circular hidden Markov models
University of Sharjah（沙迦大学）
众所周知，在中性说话条件下，说话人辨识系统的性能很高;然而，在大声说话条件下，性能会恶化。本文提出并实现了二阶循环隐马尔可夫模型（CHMM 2 s），以提高孤立词文本相关的说话人辨识系统在喊话条件下的识别性能。我们的研究结果表明，CHMM 2显着提高说话人辨识性能相比，一阶左到右隐马尔可夫模型（LTRHMM 1），二阶左到右隐马尔可夫模型（LTRHMM 2），和一阶循环隐马尔可夫模型（CHMM 1）在这样的条件下。实验结果表明，在说话人说话的情况下，基于LTRHMM 1的平均说话人辨识性能为23%，基于LTRHMM 2的为59%，基于CHMM 1的为60%.另一方面，基于CHMM 2的相同通话条件下的平均说话人辨识性能为72%。
2017-06-29 cs.SD
Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation
Alibaba Group（阿里巴巴集团）
本文提出一种利用语义信息改进基于聚类的说话人日志系统的新方法，通过口语理解模块提取语义并构建成对约束，实验证明其性能优于仅用声学特征的系统。
2024-02-04 cs.CL cs.SD eess.AS
Speaker Identification by GMM based i Vector
Vidyasagar University（维迪亚萨加尔大学）
说话人辨识过程是从一组现有的说话人中识别出特定的声带。在说话人辨识过程中，未知说话人语音样本以系统中存在的每个现有说话人为目标，并给出预测。预测可以是多于一个现有的已知说话者语音，并且非常接近未知说话者语音。该模型是一个高斯混合模型建立从语音提取的声学特征向量。基于i向量的声道相关说话人的维度压缩映射函数和超向量根据与说话人的顺序对相关联的余弦距离评分给出更好的预测分数。在顺序对中，第一坐标是未知说话人，即测试说话人，第二坐标是现有的已知说话人，即目标说话人。本文提出了增强的预测的基础上的i向量相比，归一化的预测得分集。在模拟中，通过不同的渠道和不同的语言收集已知的扬声器语音。在测试中，在测试数据集中的多个聚类之间使用已知说话者的GMM语音模型和基于GMM的i-Vector说话者语音模型。
2017-04-12 cs.SD
Pretraining Multi-Speaker Identification for Neural Speaker Diarization
NTT Corporation（日本电信电话公司）
本文提出预训练多说话人识别模型作为替代方案，利用大规模说话人识别数据集，无需模拟对话数据即可实现高精度轻量级的局部说话人日志模型。
2025-05-30 cs.SD eess.AS
A Study of Acoustic Features in Arabic Speaker Identification under Noisy Environmental Conditions
USTHB（阿尔及尔科技大学）
语音识别领域的主要部分之一是选择声学特征，这些特征必须对语音信号的变化、失配条件和噪声环境具有鲁棒性。因此，已经开发了不同的语音特征提取技术。在本文中，我们研究了几个前端技术在阿拉伯语说话人识别的鲁棒性。我们评估了五个不同的功能，在不同的信号噪声比（SNR）的串音，工厂和地铁条件。实验结果表明，两种听觉特征，即伽玛频率倒谱系数（GFCC）和功率归一化倒谱系数（PNCC），与它们的组合不同，其性能明显优于传统的说话人特征，即梅尔频率倒谱系数（MFCC）。
2021-10-23 cs.SD eess.AS
Speaker Diarization and Identification from Single-Channel Classroom Audio Recording Using Virtual Microphones
University of New Mexico（新墨西哥大学）
在嘈杂的音频记录中，特别是那些来自协作学习环境的音频记录中，说话人识别可能极具挑战性。有必要从同时说话的其他学生中识别出在小组中说话的个别学生。为了解决这个问题，我们假设每个学生组使用单个麦克风，而不访问以前的大型数据集进行训练。本文提出了一种基于互相关模式的说话人识别方法。通过使用从视频记录中观察到的近似扬声器几何形状来模拟虚拟麦克风。基于每个虚拟麦克风的房间脉冲响应的估计来构造模式。然后使用相关模式来识别说话者。所提出的方法通过课堂音频进行了验证，并显示出大大优于Google Cloud和Amazon AWS提供的日志服务。
2022-07-01 cs.SD eess.AS
A New Nonlinear speaker parameterization algorithm for speaker identification
Escola Universitària Politècnica de Mataró（马塔罗理工学院）
本文提出了一种新的基于非线性预测的参数化算法，它是对经典LPC参数的扩展。通过两种不同的方法估计参数性能：算术调和球度（AHS）和自回归向量模型（ARVM）。提出了两种基于神经预测编码的参数化方法：经典神经网络初始化和线性初始化。我们将这两个参数应用到说话人辨识中。第一个参数获得较小的速率。我们展示了第一个参数如何与经典参数（LPCC，MFCC等）相结合。为了改善仅一种经典参数化的结果（MFCC提供97.55%，MFCC+NPC提供98.78%）。对于线性初始化，我们获得了100%，这是一个很大的改进。这项研究开辟了一条新的途径，不同的参数化方案，提供更好的准确性说话人识别任务。
2022-04-06 cs.SD eess.AS
Adaptive blind audio source extraction supervised by dominant speaker identification using x-vectors
Technical University of Liberec（利贝雷茨技术大学）
提出了一种新的自适应盲音频源提取算法。该方法基于独立向量分析，并利用辅助函数优化，以实现高收敛速度。该算法部分地由与感兴趣的源（SOI）相关的导频信号监督，这确保该方法正确地提取期望说话者的话语。导频是基于使用x向量的混合中的主导扬声器的识别。实验分析了在存在串扰的情况下计算的x向量的性质。所提出的方法是在一个场景中与移动SOI，静态干扰扬声器，和环境噪声进行验证。
2019-10-25 cs.SD eess.AS eess.SP
Emotional Speaker Identification using a Novel Capsule Nets Model
University of Sharjah（沙迦大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒-阿齐兹亲王大学）；Bolu Abant Izzet Baysal University（博卢阿班特伊泽特贝萨尔大学）
说话人识别系统广泛用于各种应用中以通过其语音来识别人;然而，语音信号的高度可变性使其成为具有挑战性的任务。处理情绪变化是非常困难的，因为情绪会改变人的声音特征;因此，声学特征不同于在中性环境中用于训练模型的声学特征。因此，在中性语音上训练的说话人识别模型无法正确识别情绪压力下的说话人。虽然使用卷积神经网络（CNN）在说话人辨识方面取得了相当大的进步，但CNN无法利用低级特征之间的空间关联。受最近引入的基于深度学习的胶囊网络（CapsNets）的启发，该网络克服了CNN在通过池化技术保留低级特征之间的姿势关系方面的不足，本研究调查了使用CapsNets从情感语音记录中识别说话者的性能。提出了一种基于CapsNet的说话人辨识模型，并使用三个不同的语音数据库进行评估，阿联酋语音数据库、SUSAS数据集和RAVDESS（开放获取）。所提出的模型也比较基线系统。实验结果表明，新提出的CapsNet模型的训练速度更快，并提供了更好的结果比目前最先进的计划。路由算法对说话人辨识性能的影响也进行了研究，通过改变迭代次数，有和没有解码器网络。
2022-01-09 cs.SD eess.AS
Emirati-Accented Speaker Identification in each of Neutral and Shouted Talking Environments
University of Sharjah（沙迦大学）
本工作致力于采集印尼口音语音数据库（Arabic United Arab Emirates数据库）在中性和大声说话环境中的每一个中，以研究和增强基于每一个一阶循环超分段隐马尔可夫模型的大声说话环境中的文本无关的阿拉伯语口音说话人辨识性能（CSPHMM1）、二阶循环超分段隐马尔可夫模型（CSPHMM2）和三阶循环超分段隐马尔可夫模型（CSPHMM3）作为分类器。在这项研究中，我们的数据库收集了50个阿联酋母语者（每种性别25个）在每个中性和大声说话环境中说出8个常见的阿联酋句子。我们收集的数据库中提取的特征被称为梅尔频率倒谱系数（MFCC）。我们的研究结果表明，在中性环境中，平均的阿拉伯口音说话人辨识性能分别为94.0%，95.2%和95.9%的CSPHMM1，CSPHMM2和CSPHMM3的基础上。另一方面，基于CSPHMM1、CSPHMM2和CSPHMM3，在受噪环境中的平均性能分别为51.3%、55.5%和59.3%。基于CSPHMM 3 s的说话人识别系统在大噪声环境下的平均说话人辨识性能与人类听者的主观评价结果非常接近。
2018-03-31 cs.SD eess.AS
Using Second-Order Hidden Markov Model to Improve Speaker Identification Recognition Performance under Neutral Condition
University of Sharjah（沙迦大学）
本文采用二阶隐马尔可夫模型（HMM 2）来提高文本相关说话人辨识系统在中性说话条件下的识别性能。我们的研究结果表明，HMM 2提高了识别性能相比，一阶隐马尔可夫模型（HMM 1）在中性谈话条件下。识别性能提高了9%。
2017-06-29 cs.SD
Usable Speech Assignment for Speaker Identification under Co-Channel Situation
提出了一种在同信道语音中提取最小化语音失真的语音准则，用于说话人辨识。在同声道语音中，任何一个说话者都可以随机地出现在较强的说话者或较弱的说话者中。因此，所提取的可用段在时间上被分离，并且需要被组织成用于SID的扬声器流。在本文中，我们专注于组织提取的可用语音段到一个单一的流为同一说话人的说话人分配系统。为此，本文提出了基于后验概率和穷举搜索算法的基于模型的说话人分配方法。在TIMIT数据库上对该方法进行了评价。该系统进行了评估，同声道语音和结果显示出显着的改善。
2013-01-02 cs.SD
Timbre-reserved Adversarial Attack in Speaker Identification
Northwestern Polytechnical University（西北工业大学）
针对说话人识别系统，提出一种音色保留对抗攻击方法，通过在语音转换模型训练中引入对抗约束，生成既保留目标音色又能欺骗SID系统的伪造音频。
2023-09-02 cs.SD eess.AS
Deep Learning for Speaker Identification: Architectural Insights from AB-1 Corpus Analysis and Performance Evaluation
University of Malta（马耳他大学）
针对安全、法医和个性化服务中的说话人识别任务，研究基于 AB-1 语料库比较六种深度学习架构，结合 Mel Spectrogram、MFCC、超参数调优及口音、性别与偏差分析评估性能。
2024-08-13 cs.AI cs.SD eess.AS
Sum-Product Networks for Robust Automatic Speaker Identification
Griffith University（格里菲斯大学）
我们引入和积网络（SPN）的强大的语音处理，通过一个简单的强大的自动说话人识别（ASI）的任务。SPN是能够回答多个概率查询的深度概率图模型。我们表明，SPN能够保持强大的边缘概率密度函数（PDF）的频谱特征，可靠地代表语音。虽然目前的SPN工具包和学习算法还处于起步阶段，我们的目标是表明，SPN有潜力成为一个有用的工具，强大的语音处理在未来。SPN扬声器模型在这里评估现实世界的非平稳和有色噪声源在多个信噪比（SNR）水平。在ASI准确性方面，我们发现SPN说话人模型比两个最近的基于卷积神经网络（CNN）的ASI系统更鲁棒。此外，SPN扬声器模型比基于CNN的扬声器模型包含的参数少得多。结果表明，SPN说话人模型可以是一个强大的，参数有效的替代ASI。此外，这项工作表明，SPN在相关的任务，如强大的自动语音识别（ASR）和自动说话人验证（ASV）的潜力。可用性：SPN ASI系统可在https://github.com/anicolson/SPN-ASI上获得。
2020-08-13 cs.SD eess.AS
T-vectors: Weakly Supervised Speaker Identification Using Hierarchical Transformer Model
University of Sheffield（谢菲尔德大学）
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种分层网络与Transformer编码器和内存机制来解决这个问题。该模型包括帧级编码器和段级编码器，它们都使用了Transformer编码器模块。Transformer结构中的多头注意力机制可以在输入话语包含多个说话人时更好地捕捉不同的说话人属性。帧级编码器中使用的记忆机制可以建立一个循环连接，更好地捕捉长期的扬声器特征。实验在基于Switchboard Cellular part1（SWBC）和Voxceleb 1数据集的人工数据集上进行。在不同的数据构建场景（Concat和Overlap）下，与四个强基线相比，该模型表现出更好的性能，与H向量和S向量相比，相对性能分别提高了13.3%和10.5%。使用记忆机制与不使用记忆机制相比，相对提高了10.6%和7.7%。
2020-10-29 cs.CL cs.LG cs.SD
Novel Cascaded Gaussian Mixture Model-Deep Neural Network Classifier for Speaker Identification in Emotional Talking Environments
University of Sharjah（沙迦大学）
本文提出了一种基于级联高斯混合模型-深度神经网络（GMM-DNN）的说话人识别方法，以提高情感说话环境中与文本无关的说话人辨识性能。我们目前的工作重点是提出，实现和评估一种新的方法，说话人辨识在情感说话环境的基础上级联高斯混合模型-深度神经网络作为分类器。结果指出，级联GMM-DNN分类器使用两个不同的语音数据库：阿联酋语音数据库（阿拉伯联合酋长国数据集）和模拟和实际压力下的语音（SUSAS）英语数据集，提高了各种情绪下的说话人辨识性能。该分类器在每个数据集上的性能优于经典的分类器，如多层感知器（MLP）和支持向量机（SVM）。基于级联的GMM-DNN已经获得的说话人辨识性能类似于从人类收听者的主观评估获得的性能。
2018-10-11 cs.SD
VoxCeleb: a large-scale speaker identification dataset
University of Oxford（牛津大学）
大多数现有的说话人辨识数据集包含在相当约束的条件下获得的样本，并且通常是手工注释的，因此大小有限。本文的目标是生成一个大规模的文本无关的说话人辨识数据集收集“在野外”。我们做了两个贡献。首先，我们提出了一个基于计算机视觉技术的全自动流水线，从开源媒体创建数据集。我们的管道包括从YouTube获取视频;使用双流同步卷积神经网络（CNN）执行主动说话者验证，并使用基于CNN的面部识别来确认说话者的身份。我们使用这个管道来策划VoxCeleb，它包含了1,000多位名人的数十万个“真实世界”的话语。我们的第二个贡献是在我们的数据集上应用和比较各种最先进的说话人辨识技术，以建立基线性能。我们表明，一个基于CNN的架构获得最佳性能的识别和验证。
2018-05-30 cs.SD
Quantifying Cochlear Implant Users' Ability for Speaker Identification using CI Auditory Stimuli
University of Texas at Dallas（德克萨斯大学达拉斯分校）
说话人识别是一种生物识别方式，它使用潜在的语音信息来确定说话人的身份。噪声条件下的说话人辨识（SID）是语音处理领域中具有挑战性的课题之一，特别是当涉及到人工耳蜗（CI）个体时。本研究分析并量化了CI用户基于直接电听觉刺激进行说话人辨识的能力。CI用户使用有限数量的频带（8至22），并使用电极直接刺激基底膜/耳蜗，以便识别语音信号。CI频率范围内的电刺激的稀疏性是人类语音识别以及SID性能损失的主要原因。因此，假设CI用户可能无法识别和区分给定相关信息（例如共振峰频率、音高等）的扬声器，这些信息会丢失给未模拟的电极。为了量化该假设，使用CI高级组合编码器（ACE）信号处理策略来处理输入语音信号以构建CI听觉电描记图。建议的研究使用50扬声器从三个不同的数据库中的每一个使用两个不同的分类器在安静的情况下训练系统，并在安静和嘈杂的条件下进行测试。客观结果表明，CI用户可以有效地识别有限数量的说话人。然而，当系统中添加更多扬声器以及引入噪声条件时，它们的性能会降低。因此，该信息可以用于改进CI用户信号处理技术以改进人类SID。
2019-07-31 cs.SD eess.AS
EmoDiarize: Speaker Diarization and Emotion Identification from Speech Signals using Convolutional Neural Networks
School of Digital Sciences（数字科学学院）；Applied NLP Research Lab（应用自然语言处理研究实验室）
本研究提出EmoDiarize框架，结合现有说话人日志分离流程与CNN情感识别模型，利用MFCC等特征和数据增强技术，在五个语音情感数据集上实现了63%的无加权准确率，有效解决了语音信号中的情感识别挑战。
2023-10-19 cs.CL cs.SD eess.AS
Improving curriculum learning for target speaker extraction with synthetic speakers
National Institute of Informatics（国立信息学研究所）；Sokendai（综合研究大学院大学）
针对说话人特征相似时目标说话人提取性能下降的问题，提出用基于$k$-近邻的语音转换生成多样化干扰说话人语音，融入课程学习以提升多个TSE系统的性能。
2024-10-05 cs.SD eess.AS
Improving Neural Diarization through Speaker Attribute Attractors and Local Dependency Modeling
The Ohio State University（俄亥俄州立大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
本文扩展 EDA 吸引子范式，利用多阶段中间表征建模说话人属性，并以 conformer 替代 transformer 捕捉局部依赖，在 CALLHOME 数据集上提升了说话人日志性能。
2025-06-05 cs.AI cs.SD eess.AS
