Speaker Fuzzy Fingerprints: Benchmarking Text-Based Identification in Multiparty Dialogues
INESC-ID；Universidade de Lisboa（里斯本大学）
本研究利用大型预训练模型的模糊指纹，结合说话人特定标记和上下文建模，提升基于文本的多方对话说话人识别，在Friends和Big Bang Theory数据集上分别达到70.6%和67.7%的准确率，并分析了模糊话语的检测机制。
2025-04-21 cs.AI cs.CE cs.CL
KM-Speaker: Keypoint-Based Style Control for High-Quality Speech-Driven 3D Facial Animation and Dialogue Localization
Ecole de Technologie Supérieure（高级技术学院）；Ubisoft LaForge（育碧LaForge）
提出KM-Speaker，一种基于关键点条件的流式生成框架，通过解耦音频驱动的唇部运动和关键点驱动的上半脸动态，实现全局风格引导和帧级时间控制，在数据受限条件下达到高保真运动和灵活可控性。
2026-06-26 cs.CV cs.GR cs.LG
Unsupervised Abstractive Dialogue Summarization for Tete-a-Tetes
ASAPP Inc.（ASAPP公司）；Duke University（杜克大学）；Google Research（谷歌研究院）
高质量的对话摘要配对数据的生产成本很高，并且对领域敏感，这使得抽象的对话摘要成为一项具有挑战性的任务。在这项工作中，我们提出了第一个无监督的抽象对话摘要模型，为tete-a-tetes（SuTaT）。与标准文本摘要不同，对话摘要方法应该考虑多说话者的情况，其中说话者具有不同的角色，目标和语言风格。在一个tite-a-tete，如客户代理对话，SuTaT的目的是总结每个扬声器通过建模的客户话语和代理话语分别保留其相关性。SuTaT由一个条件生成模块和两个无监督摘要模块组成。条件生成模块包含两个编码器和两个解码器，在一个变分自编码器框架中，捕获两个潜在空间之间的依赖关系。使用相同的编码器和解码器，两个无监督的摘要模块配备了自注意力机制生成摘要，而不使用任何注释。实验结果表明，SuTaT是优越的无监督的对话摘要的自动和人类的评价，并能够对话分类和单轮会话生成。
2020-09-15 cs.CL cs.LG stat.ML
CHAI: A CHatbot AI for Task-Oriented Dialogue with Offline Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
传统上，为对话代理生成自然语言可以被视为统计学习问题：确定人类提供的数据中的模式，并生成具有类似统计属性的适当响应。然而，对话也可以被视为一个目标导向的过程，说话者试图完成一项特定的任务。强化学习（RL）算法是专门为解决这类目标导向问题而设计的，但应用RL的最直接方法--通过人类对话中的试错学习--成本很高。在本文中，我们研究如何离线强化学习可以完全使用从人类说话者收集的静态数据集来训练对话代理。我们的实验表明，最近开发的离线强化学习方法可以与语言模型相结合，以产生更好地完成任务目标的现实对话代理。
2022-04-18 cs.CL cs.LG
You Don't Know My Favorite Color: Preventing Dialogue Representations from Revealing Speakers' Private Personas
Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
社交聊天机器人，也被称为聊天聊天机器人，随着大型预训练语言模型的快速发展。尽管取得了巨大的进步，但最近出现了隐私问题：大语言模型的训练数据可以通过模型反演攻击提取。另一方面，用于训练聊天机器人的数据集包含两个人之间的许多私人对话。在这项工作中，我们进一步研究了通过语言建模训练的聊天机器人的隐藏状态的隐私泄漏，这还没有得到很好的研究。我们表明，说话人的人物角色可以推断，通过一个简单的神经网络与高精度。为此，我们提出了有效的防御目标，以保护隐藏状态的人物泄漏。我们进行了大量的实验，证明我们提出的防御目标可以大大降低攻击的准确性从37.6%到0.5%。同时，所提出的目标保留了语言模型强大的生成能力。
2022-04-26 cs.CL cs.CR cs.LG
Multilayer bootstrap network for unsupervised speaker recognition
The Ohio State University（俄亥俄州立大学）
本文将最近提出的一种无监督学习方法多层自举网络（MBN）应用于无监督说话人识别。该方法首先从无监督通用背景模型中提取超向量，然后利用多层Bootstrap网络对高维超向量进行降维，最后对低维数据进行聚类进行无监督说话人识别。与2种无监督和1种有监督说话人识别方法的比较结果表明了该方法的有效性和鲁棒性。
2015-09-21 cs.LG cs.SD
Cross-lingual Approaches for Task-specific Dialogue Act Recognition
University of West Bohemia（西波希米亚大学）；Université de Lorraine（洛林大学）
在本文中，我们利用跨语言模型，使对话行为识别特定的任务与少量的注释。我们设计了一种迁移学习方法用于对话行为识别，并在两种不同的目标语言和领域上进行了验证。我们用CNN和多头自注意模型计算对话轮嵌入，并表明通过结合所有传输信息源获得最佳结果。我们进一步证明，所提出的方法显着优于相关的跨语言DA识别方法。
2021-04-21 cs.CL cs.LG
Frame-level speaker embeddings for text-independent speaker recognition and analysis of end-to-end model
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于卷积神经网络（CNN）的说话人识别模型，用于提取鲁棒的说话人嵌入。嵌入层的线性激活可以有效地提取嵌入。为了理解说话人识别模型如何与文本无关的输入操作，我们修改了结构，从每个隐藏层提取帧级说话人嵌入。我们将TIMIT数据集中的话语输入到训练好的网络中，并使用几个代理任务来研究网络表示语音输入和区分语音身份的能力。我们发现，网络更好地区分广泛的语音类比单个音素。特别是，属于相同语音类的帧级嵌入对于相同说话者是相似的（基于余弦距离）。帧级表示还允许我们在帧级分析网络，并且具有用于其他分析以改进说话人识别的潜力。
2018-09-12 cs.LG eess.AS
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
Zhejiang University（浙江大学）
针对多方对话中消息归因与状态重建瓶颈，提出双轨记忆框架 SpeakerMem-R1，结合逐字与结构化记忆及人物/群体视图，在多个基准上取得最优结果。
2026-09-24 cs.AI cs.CL cs.IR
AutoSpeech: Neural Architecture Search for Speaker Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Science and Technology of China（中国科学技术大学）
基于卷积神经网络（CNN）的说话人识别系统通常使用现成的主干（如VGG-Net或ResNet）构建。然而，这些主干最初被提出用于图像分类，因此可能不自然地适合于说话人识别。由于人工探索设计空间的复杂性，我们提出了第一个神经结构搜索方法的说话人识别任务，命名为自动语音。该算法首先在神经元中确定最优操作组合，然后通过多次堆叠神经元得到CNN模型。通过标准方案训练推导出的CNN模型，可以得到最终的说话人识别模型。为了评估所提出的方法，我们使用VoxCeleb 1数据集对说话人识别和说话人验证任务进行了实验。结果表明，从所提出的方法衍生的CNN架构显着优于当前基于VGG-M，ResNet-18和ResNet-34骨干的说话人识别系统，同时享有较低的模型复杂度。
2020-08-31 cs.LG eess.AS
Fine-tuning wav2vec2 for speaker recognition
Radboud University（拉德堡德大学）
本文探讨了将wav 2 vec 2框架应用于说话人识别而不是语音识别。我们研究了预训练权重在说话人识别任务中的有效性，以及如何将wav 2 vec 2输出序列合并到固定长度的说话人嵌入中。为了使该框架适用于说话人识别，我们提出了一个单一的话语分类变体CE或AAM softmax损失，和一个话语对分类变体BCE损失。我们表现最好的变体w2 v2-aam在扩展voxceleb 1测试集上实现了1.88%的EER，而ECAPA-TDNN基线的EER为1.69%。代码可在https://github.com/nikvaessen/w2v2-speaker上获得。
2022-05-06 cs.LG cs.SD eess.AS
Conversational Rubert for Detecting Competitive Interruptions in ASR-Transcribed Dialogues
本研究针对ASR转录的俄语客户支持电话对话，通过微调Conversational RuBERT开发了一种基于文本的打断分类模型，能有效区分合作性与竞争性打断，可用于呼叫中心的自动监控。
2024-07-20 cs.CL cs.LG cs.SD
A Machine of Few Words -- Interactive Speaker Recognition with Reinforcement Learning
Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Deepmind（深度思维）；Google Research（谷歌研究院）
说话人识别是语音处理领域中一个众所周知的研究课题。它有许多应用，用于个人设备的安全或扬声器适配。在本文中，我们提出了一个新的范例自动说话人识别，我们称之为交互式说话人识别（ISR）。在这个范例中，识别系统的目的是通过请求个性化的话语来逐步建立一个代表的发言者被发言的标准文本相关或文本无关的计划。为此，我们将说话人识别任务转换为一个顺序决策问题，并使用强化学习来解决。使用一个标准的数据集，我们表明，我们的方法取得了优异的性能，同时使用很少的语音信号量。该方法也可以作为一种发声选择机制，用于构建语音合成系统。
2020-08-07 cs.LG cs.SD eess.AS
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University（密歇根州立大学）
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中，我们提出了一个名为DeepTalk的韵律编码网络，用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合，进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中，以生成合成语音。对合成语音的详细分析表明，DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外，基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
Bias in Automated Speaker Recognition
Delft University of Technology（代尔夫特理工大学）
自动说话人识别使用数据处理来通过语音识别说话人。如今，自动说话人识别已部署在数十亿台智能设备和呼叫中心等服务中。尽管它们在人脸识别和自然语言处理等相关领域中得到了广泛的应用，并且已知偏见的来源，但自动说话人识别中的偏见尚未得到系统的研究。我们提出了一个深入的经验和分析研究的偏见，在机器学习开发工作流程的说话人验证，语音生物特征和自动说话人识别的核心任务。利用一个既定的框架来理解机器学习中的危害来源，我们表明偏见存在于著名的VoxCeleb说话人识别挑战赛的每个开发阶段，包括数据生成，模型构建和实施。受影响最大的是女性演讲者和非美国国籍的人，他们的表现明显下降。利用我们的研究结果的见解，我们为减轻自动说话人识别中的偏见提出了实用的建议，并概述了未来的研究方向。
2022-06-20 cs.CL cs.CY cs.LG
Improved Deep Speaker Feature Learning for Text-Dependent Speaker Recognition
Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）；Tsinghua University（清华大学）
最近已经提出了一种深度学习方法来通过深度神经网络（DNN）来导出说话人标识（d向量）。这种方法已被应用到文本相关的说话人识别任务，并显示出合理的性能增益时，与传统的i向量的方法相结合。虽然有前途，现有的d矢量实现仍然不能与i矢量基线竞争。本文提出了对深度学习方法的两项改进：用于规范化音素变化的音素相关DNN结构，以及基于动态时间扭曲（DTW）的新评分方法。文本相关的说话人识别任务的实验表明，所提出的方法可以提供相当大的性能改善现有的d-向量实现。
2015-06-28 cs.CL cs.LG cs.NE
Attacking Speaker Recognition With Deep Generative Models
UC Berkeley（加州大学伯克利分校）
在本文中，我们研究了生成对抗网络（GANs）对现代说话人识别系统合成欺骗攻击的能力。我们首先证明，使用SampleRNN和WaveNet生成的样本无法欺骗基于CNN的说话人识别系统。我们提出了一个修改的Wasserstein GAN目标函数，利用数据是真实的，但不是从正在学习的类。我们的半监督学习方法能够执行有针对性和无针对性的攻击，提出了与说话人认证系统的安全性相关的问题。
2018-01-08 cs.LG cs.SD eess.AS
VoxSRC 2019: The first VoxCeleb Speaker Recognition Challenge
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；SRI International（斯坦福国际研究院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
VoxCeleb Speaker Recognition Challenge 2019旨在评估当前的说话人识别技术在不受约束或“野外”数据中识别说话人的能力。它包括：（i）来自YouTube视频的公开可用的说话人识别数据集以及地面实况注释和标准化评估软件;以及（ii）在奥地利格拉茨举行的Interspeech 2019上举行的公开挑战和研讨会。本文件概述了这一挑战，并提供了其基线、结果和讨论。
2019-12-05 cs.LG cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
VoxSRC 2020: The Second VoxCeleb Speaker Recognition Challenge
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；SRI International（SRI国际）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们与Interspeech 2020一起举办了VoxCeleb Speaker Recognition Challenge的第二部分。这项挑战的目标是评估如何以及当前的说话人识别技术能够diarise和识别说话人在不受约束的或“在野生”的数据。它包括：（i）来自YouTube视频的公开可用的说话人识别和日记数据集，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2020举办的虚拟公共挑战和研讨会。本文概述了挑战，并描述了基线，使用的方法和结果。最后，我们讨论了第一阶段挑战的进展情况。
2020-12-12 cs.LG cs.SD eess.AS
x-vectors meet emotions: A study on dependencies between emotion and speaker recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们探讨了说话人识别和情感识别之间的依赖关系。我们首先表明，知识学习说话人识别可以重用的情感识别，通过迁移学习。然后，我们展示了情绪对说话人识别的影响。对于情感识别，我们证明了使用简单的线性模型就足以在从预训练模型（如x向量模型）中提取的特征上获得良好的性能。然后，我们通过对情感分类进行微调来提高情感识别性能。我们在三种不同类型的数据集上评估了我们的实验：IEMOCAP，MSP-Podcast和Crema-D。通过微调，我们在IEMOCAP，MSP-Podcast和Crema-D上分别获得了30.40%，7.99%和8.61%的绝对改善，而不是没有预先训练的基线模型。最后，我们提出了情感对说话人确认的影响的结果。我们观察到，说话人确认的性能很容易改变测试说话人的情绪。我们发现，愤怒话语的试验在所有三个数据集中表现最差。我们希望我们的分析能够在说话人识别领域开创一条新的研究路线。
2020-02-12 cs.LG cs.SD eess.AS
Modeling Long-Range Context for Concurrent Dialogue Acts Recognition
Georgetown University（乔治城大学）
在对话中，一个话语是由一个说话者产生的一系列连续的句子，从一个短句到一个千字的帖子。在话语层面上研究对话时，一个话语具有多种功能的情况并不少见。例如，“谢谢。效果很好。“在同一句话中表达了感激和积极的反馈。一个话语的多个对话行为（DA）在对话轮之间产生了复杂的依赖关系。因此，DA识别挑战了模型对长话语和复杂DA上下文的预测能力。我们称这个问题为并发对话行为识别。以前的工作DA识别要么假设一个DA每话语或未能实现的顺序性对话。在本文中，我们提出了一个自适应卷积递归神经网络（CRNN）模型的话语之间的相互作用的远程上下文。我们的模型在技术论坛数据集上显著优于现有的CDA识别工作。
2019-10-22 cs.CL cs.LG cs.SD
On the relevance of language in speaker recognition
Escola Universitària Politècnica de Mataró（马塔罗理工大学学院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出了一个新的数据库收集的双语扬声器集（49），在两种不同的语言：西班牙语和加泰罗尼亚语。在语音上，两种语言之间存在着显著的差异。这些差异让我们建立了几个结论的相关性的语言在说话人识别，使用两种方法：矢量量化和协方差矩阵
2022-03-04 cs.LG cs.SD eess.AS
A Deep Neural Network for Short-Segment Speaker Recognition
Queens University（皇后大学）
今天的交互式设备，如智能手机助手和智能扬声器，通常处理短时间的语音片段。结果，集成到这样的设备中的说话人识别系统将更好地适合于能够执行具有短持续时间话语的识别任务的模型。本文提出了一种新的深度神经网络UtterIdNet，它能够用短语音段进行说话人识别。我们提出的模型采用了一种新的架构，使其适合于短段说话人识别，通过有效地增加使用短语音段中的信息。UtterIdNet已经在VoxCeleb数据集上进行了训练和测试，VoxCeleb数据集是说话人识别的最新基准。对不同片段持续时间的评估表明，对于短片段，性能一致且稳定，对于2秒、1秒、尤其是亚秒持续时间（250 ms和500 ms）的片段，性能比以前的模型有显著改善。
2019-07-22 cs.LG cs.SD eess.AS
Training speaker recognition systems with limited data
Radboud University（拉德堡德大学）
这项工作考虑训练神经网络的说话人识别与一个更小的数据集大小相比，当代的工作。我们通过提出流行的VoxCeleb 2数据集的三个子集来人为地限制数据量。这些子集被限制为50，k音频文件（相对于可用的超过1，M文件），并且在扬声器数量和会话可变性的轴上变化。我们在这些子集上训练了三个说话人识别系统：X-vector、ECAPA-TDNN和wav 2 vec 2网络架构。我们表明，自我监督，wav 2 vec 2的预训练的权重大大提高性能时，训练数据是有限的。代码和数据子集可在https://github.com/nikvaessen/w2v2-speaker-few-samples上获得。
2023-02-27 cs.LG cs.SD eess.AS
JukeBox: A Multilingual Singer Recognition Dataset
Michigan State University（密歇根州立大学）
文本无关的说话人识别系统依赖于成功地编码语音因素，如音高，强度和音色，以实现良好的性能。大多数这样的系统都是使用口语或日常对话语音数据进行训练和评估的。然而，口语，表现出有限的范围内可能的扬声器动态，从而限制了效用的派生说话人识别模型。另一方面，歌唱声音涵盖了更广泛的声音和环境因素，因此可以用来评估说话人识别系统的鲁棒性。然而，大多数现有的说话人识别数据集只关注口语语音。相比之下，适合于说话人识别研究的带标签歌声数据明显不足。为了解决这个问题，我们组装\textit{JukeBox} -一个说话人识别数据集，多语言歌唱声音音频注释歌手身份，性别和语言标签。我们使用当前最先进的方法来证明使用单独训练口语的模型对唱歌的声音进行说话人识别的困难。我们还评估了性别和语言对说话人识别性能的影响，无论是在口语和唱歌的声音数据。完整的\textit{JukeBox}数据集可访问http://iprobe.cse.msu.edu/datasets/jukebox.html。
2020-08-08 cs.LG cs.SD eess.AS
A Lightweight Speaker Recognition System Using Timbre Properties
Bangladesh University of Business & Technology（孟加拉国商业技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Chonnam National University（全南国立大学）
说话人识别是一个非常活跃的研究领域，在生物特征安全和身份认证系统中有着重要的应用。目前，在说话人识别领域已经有许多性能良好的模型。然而，大多数高级模型都实现了深度学习，需要GPU支持实时语音识别，它不适合低端设备。本文提出了一种基于随机森林分类器的轻量级文本无关说话人识别模型。它还引入了用于说话人验证和识别任务的新功能。该模型使用基于人类语音的音色特性作为特征，使用随机森林进行分类。音色是指声音的最基本的属性，让听众区分它们。该原型使用七个最活跃的搜索音色属性，繁荣，亮度，深度，硬度，粗糙度，锐度，和温暖作为我们的说话人识别模型的功能。在说话人确认和说话人辨识任务中进行了实验，验证了该模型的有效性和不足。在说话人辨识阶段，它达到了78%的最高准确率。相反，在说话人确认阶段，该模型保持80%的准确度，具有0.24的相等出错率（ERR）。
2020-10-13 cs.AI cs.LG cs.SD
Synth2Aug: Cross-domain speaker recognition with TTS synthesized speech
Google LLC（谷歌有限责任公司）；DeepMind（深度思维）
近年来，文语转换（TTS）已被用作语音识别的数据增强技术，以帮助补充训练数据中的不足。相应地，我们研究了使用多说话人TTS系统来合成支持说话人识别的语音。在这项研究中，我们专注于任务的分析，其中一个相对较少的扬声器可用于培训。我们在我们的数据集上观察到，TTS合成语音提高了跨域说话人识别性能，并且可以有效地与多风格训练相结合。此外，我们探讨了不同类型的文本转录用于TTS合成的有效性。结果表明，匹配目标域的文本内容是一个很好的做法，如果这是不可行的，一个足够大的词汇量的成绩单建议。
2020-11-24 cs.LG cs.SD eess.AS
VoxSRC 2022: The Fourth VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
本文总结了VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）的研究结果，该挑战赛与INTERSPEECH 2022联合举行。这项挑战的目标是评估如何以及国家的最先进的说话人识别系统可以diarise和识别说话人从语音获得“在野外”。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在INTERSPEECH 2022举行的公共挑战和混合研讨会。我们描述了我们的挑战的四个轨道以及基线，方法和结果。最后，我们讨论了VoxSRC-22的新域转移焦点，以及前三个版本的挑战进展。
2023-03-06 cs.LG cs.SD eess.AS
CloneBot: Personalized Dialogue-Response Predictions
Stanford University（斯坦福大学）
我们的项目任务是创建一个模型，给定说话者ID，聊天历史和话语查询，可以预测对话中的响应话语。该模型是个性化的每个扬声器。这个任务可以成为构建语音机器人的有用工具，这些机器人可以在实时对话中以类似人类的方式说话。此外，我们成功地使用密集向量编码聚类来检索相关的历史对话上下文，这是一种有用的策略，可以克服基于神经模型的输入限制，当预测需要从对话历史中获得长期参考时。在本文中，我们已经实现了一个国家的最先进的模型，使用预训练和微调技术建立在Transformer架构和多头注意力块的开关板语料库。我们还展示了如何有效的向量聚类算法可以用于实时话语预测，不需要训练，因此工作在离线和加密的消息历史。
2021-03-31 cs.AI cs.CL cs.LG
A Unified Deep Neural Network for Speaker and Language Recognition
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
从深度神经网络（DNN）学习的特征表示和子音素后验子已被分别用于为说话者和语言识别任务产生显著的性能增益。在这项工作中，我们展示了如何使用单个DNN进行说话人和语言识别。统一DNN方法在2013年领域自适应挑战赛说话人识别任务（域外条件下EER降低55%）和NIST 2011年语言识别评估（30 s测试条件下EER降低48%）上显示出显著的性能改进。
2015-04-03 cs.CL cs.CV cs.LG
Speaker Attentive Speech Emotion Recognition
STMS Lab IRCAM, CNRS, Sorbonne Université（STMS实验室 IRCAM、法国国家科学研究中心、索邦大学）
随着深度神经网络（DNN）的出现，语音情感识别（SER）任务在过去几年中有了显着的改进。然而，即使是最成功的方法，在需要适应特定的扬声器和场景时仍然相当失败，不可避免地导致与人类相比表现较差。在本文中，我们提出了新的工作的基础上的思想，教学的情绪识别网络的发言人身份。我们的系统是两个ACRNN分类器分别致力于扬声器和情感识别的组合。第一个通知后者通过一个自我扬声器注意（SSA）的机制，这是相当大的帮助，专注于语音信号的情感信息。在社会态度数据库Att-HACK和IEMOCAP语料库上的实验表明了该方法的有效性，在未加权平均召回率方面达到了最佳的性能。
2021-04-15 cs.LG cs.SD eess.AS
Speaker conditioning of acoustic models using affine transformation for multi-speaker speech recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Erik Jonsson School of Engineering（埃里克·琼森工程学院）；Center for Robust Speech Systems (CRSS)（鲁棒语音系统中心（CRSS））
本文研究了在重叠语音场景下目标说话人的单通道自动语音识别问题。该方法利用说话人辅助信息对声学模型中的隐藏表示进行调制，从而只识别期望的说话人。仿射变换层被插入到声学模型网络中，以将说话人信息与声学特征相结合。扬声器调节过程允许声学模型在目标扬声器辅助信息的上下文中执行计算。所提出的扬声器调节方法是一种通用的方法，可以应用于任何声学模型架构。在这里，我们在ResNet声学模型上使用扬声器调节。在WSJ语料库上的实验表明，该方法是一种有效的融合说话人辅助信息和声学特征的多说话人语音识别方法，与原始ResNet声学模型基线相比，在干净和重叠语音场景下分别实现了+9%和+20%的相对WER降低。
2021-10-30 cs.AI cs.LG cs.SD
ShaneRun System Description to VoxCeleb Speaker Recognition Challenge 2020
Delta Electronics（台达电子）
在这份报告中，我们描述了ShaneRun团队提交给VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的情况。我们使用ResNet-34作为编码器来提取说话人嵌入，这参考了开源的voxceleb-trainer。我们还提供了一个简单的方法来实现最佳融合使用t-SNE归一化距离的测试话语对，而不是原来的负欧几里德距离的编码器。最终提交的系统对于固定数据跟踪得到0.3098 minDCF和5.076%ERR，分别比基线高1.3%minDCF和2.2%ERR。
2020-11-03 cs.LG cs.SD eess.AS
Deep learning methods in speaker recognition: a review
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
本文总结了深度学习在说话人识别领域的应用实践，包括验证和识别。说话人识别是语音技术中应用广泛的领域。在过去的5-6年里，人们进行了许多研究工作，但进展甚微。然而，随着深度学习技术在大多数机器学习领域的发展，以前最先进的方法也在说话人识别中被它们取代。看来，DL成为现在国家的最先进的解决方案，为说话人确认和识别。标准的x-向量，除了i-向量，被用作基线在大多数的小说作品。收集的数据量越来越多，这为DL打开了一片天地，在那里它们是最有效的。
2019-11-14 cs.LG cs.SD eess.AS
Towards human-like spoken dialogue generation between AI agents from written dialogue
rinna Co., Ltd.（Rinna株式会社）
针对从书面对话生成类人口语对话的难题，研究提出基于离散token的CHATS系统，可同时生成双方语音、实现自然话轮转换，效果优于基线，对话更互动流畅且清晰可懂。
2023-10-02 cs.CL cs.LG cs.SD
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield（谢菲尔德大学）
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时，语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别，而是通过使用深度神经网络的联合优化集成到一个框架中。此外，为了提高对噪声的鲁棒性，采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能，我们测试它的数据集VoxCeleb1，最常用的基准数据集之一。此外，我们所提出的方法的鲁棒性也测试VoxCeleb1数据时，被破坏的三种类型的干扰，一般的噪声，音乐，和串音，在不同的信噪比（SNR）水平。所得到的结果表明，在我们的实验中，使用语音增强和多阶段注意力模型的方法优于两个强基线，在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
Multi-View Self-Attention Based Transformer for Speaker Recognition
Microsoft Research Asia（微软亚洲研究院）
Transformer模型最初是为自然语言处理（NLP）而开发的，由于其强大的序列建模能力，现在被广泛用于语音处理任务，例如说话人识别。然而，传统的自注意机制最初是为了对文本序列进行建模而设计的，而没有考虑语音和说话人建模的特点。此外，用于说话人识别的不同Transformer变体还没有得到很好的研究。在这项工作中，我们提出了一种新的多视图的自我注意机制，并提出了一个实证研究不同的Transformer变量与或不建议的注意机制说话人识别。具体而言，为了平衡捕获全局依赖和建模局部性的能力，我们提出了一个多视图的自我注意机制的扬声器Transformer，其中不同的注意头可以参加不同范围的感受野。此外，我们介绍和比较了五个Transformer变体，它们具有不同的网络架构、嵌入位置和池化方法来学习说话人嵌入。在VoxCeleb1和VoxCeleb2数据集上的实验结果表明，所提出的多视角自注意机制提高了说话人识别的性能，与现有的说话人识别模型相比，所提出的说话人Transformer网络取得了优异的识别效果.
2022-01-27 cs.AI cs.LG cs.SD
U-vectors: Generating clusterable speaker embedding from unlabeled data
Bangladesh University of Business & Technology（孟加拉国商业与技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；University of Asia Pacific（亚太大学）；University of Aizu（会津大学）
说话人识别是根据说话人的语音来识别说话人。大多数说话人识别系统都是建立在两个阶段上的，第一阶段从语音中提取低维相关嵌入，第二阶段执行分类任务。说话人识别系统的鲁棒性主要取决于语音嵌入的提取过程，语音嵌入主要是在大规模数据集上进行预训练的。由于嵌入系统是预先训练的，说话人识别模型的性能很大程度上取决于领域自适应策略，如果使用不充分的数据进行训练，则可能会降低。本文介绍了一种处理未标记数据的说话人识别策略，该策略从较小的固定大小的语音帧中生成可聚类的嵌入向量。无监督训练策略涉及一个假设，即一个小的语音段应该包括一个单一的扬声器。根据这样的信念，成对的约束构造与噪声增强策略，用于训练AutoEmbedder架构，生成扬声器嵌入。在不依赖于域自适应策略的情况下，该过程无监督地产生可聚类的说话人嵌入，称为无监督向量（u-向量）。评估的结论是在两个流行的说话人识别数据集的英语，TIMIT和LibriSpeech。此外，孟加拉语数据集包括说明域转移的多样性说话人识别系统。最后，我们得出结论，所提出的方法实现了令人满意的性能，使用成对的架构。
2021-10-22 cs.AI cs.LG cs.SD
Remarks on Optimal Scores for Speaker Recognition
Tsinghua University（清华大学）
在本文中，我们首先建立了说话人识别的最佳分数理论。我们的分析表明，最小贝叶斯风险（MBR）决定的说话人辨识和说话人确认任务可以基于一个归一化的似然（NL）。当底层生成模型是线性高斯时，NL得分在数学上等同于PLDA似然比，并且基于余弦距离和欧几里得距离的经验得分可以被视为在某些条件下该线性高斯NL得分的近似值。我们讨论了一些属性的NL分数，并进行了一个简单的模拟实验来证明NL分数的属性。
2020-10-30 cs.AI cs.LG cs.MM
