Improved Large-margin Softmax Loss for Speaker Diarisation
Cambridge University（剑桥大学）
说话人识别系统现在使用从瓶颈层中的语音段生成的嵌入，这需要对未看到的说话人具有区分性。众所周知，大间隔训练可以提高对未知数据的泛化能力，并且它在此类开集问题中的应用已经非常广泛。因此，本文介绍了一种通用的方法，没有任何近似的大余量softmax损失，以提高质量的扬声器嵌入diarisation。此外，当使用大余量softmax时，提出了一种新的简单的稳定训练的方法。最后，为了对抗重叠语音的影响，使用不同的训练裕度来减少重叠语音对创建区分性嵌入的负面影响。在AMI会议语料库上的实验表明，使用大余量softmax显著提高了说话人错误率（SER）。通过以统一的方式使用损耗的所有超参数，实现了进一步的改进，相对于基线，SER降低了24.6%。然而，通过训练具有不同裕度的重叠和单个说话者语音样本，实现了最佳结果，相对于基线，总体SER降低了29.5%。
2020-07-06 cs.CL cs.LG cs.SD
Speaker diarisation using 2D self-attentive combination of embeddings
Trinity College, Cambridge（剑桥大学三一学院）
说话者拨号系统通常使用诸如i向量和d向量之类的说话者嵌入来对音频段进行聚类。由于不同类型的嵌入往往是互补的，本文提出了一个通用的框架，以提高性能，将它们组合成一个单一的嵌入，称为c向量。这种组合使用了一个二维（2D）的自我关注结构，它通过不仅在时间上而且在不同类型的嵌入上进行平均来扩展标准的自我关注层。本文提出的二维自注意结构分为同时组合和连续组合两类，分别采用单自注意层和多自注意层。原始自我关注层中的惩罚项与目标函数联合最小化以鼓励注释向量的多样性，该惩罚项也被修改以不仅获得不同的局部峰值，而且获得多个注释向量中的总体趋势。在AMI会议语料库上的实验表明，改进后的惩罚项使d向量系统的d向量相对说话人出错率（SER）分别提高了6%和21%，而使用我们最好的2D自注意结构的c向量可以进一步获得10%的相对SER降低。
2019-02-08 cs.CL cs.LG cs.SD
Discriminative Neural Clustering for Speaker Diarisation
Cambridge University（剑桥大学）
在本文中，我们提出了判别神经聚类（DNC），制定了数据聚类的最大数量的集群作为一个监督序列到序列的学习问题。与传统的无监督聚类算法相比，DNC从训练数据中学习聚类模式，而不需要显式定义相似性度量。基于Transformer架构的DNC实现被证明是有效的扬声器diarisation任务，使用具有挑战性的AMI数据集。由于AMI仅包含147个完整的会议作为单独的输入序列，因此数据稀缺是训练DNC的Transformer模型的重要问题。因此，本文提出了三种数据增强方案：子序列随机化，输入向量随机化，和Diaconis增强，它通过旋转整个输入序列的L2归一化扬声器嵌入生成新的数据样本。AMI上的实验结果表明，相对于谱聚类，DNC实现了29.4%的说话人错误率（SER）的降低。
2020-11-23 cs.CL cs.CV cs.LG
Advancing the dimensionality reduction of speaker embeddings for speaker diarisation: disentangling noise and informing speech activity
Naver Corporation（NAVER公司）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
这项工作的目标是训练噪声鲁棒的扬声器嵌入适用于扬声器diarisation。扬声器嵌入在拨号系统的性能中起着至关重要的作用，但是它们经常捕获诸如噪声之类的虚假信息，从而对性能产生不利影响。我们以前的工作提出了一个自动编码器为基础的降维模块，以帮助消除冗余信息。然而，它们没有明确地分离这些信息，并且还被发现对超参数值敏感。为此，我们提出了两个贡献，以克服这些问题：（i）一种新的降维框架，可以从扬声器嵌入解开虚假信息;（ii）使用语音活动向量，以防止扬声器代码代表背景噪声。通过在四个数据集上进行的一系列实验，我们的方法一致地证明了在没有系统融合的情况下模型之间的最新性能。
2022-11-03 cs.CL cs.SD
High-resolution embedding extractor for speaker diarisation
Naver Corporation（Naver公司）
说话人嵌入提取器对基于聚类的说话人区分系统的性能有重要影响。传统上，仅从每个语音段提取一个嵌入。然而，由于滑动窗口方法，由于说话者改变点，段容易包括两个或更多个说话者。本研究提出了一种新的嵌入提取器架构，称为高分辨率嵌入提取器（HEE），它从每个语音段提取多个高分辨率嵌入。Hee由一个特征图提取器和一个增强器组成，其中具有自我注意力机制的增强器是成功的关键。HEE的增强器取代了聚合过程;代替全局池化层，增强器通过利用全局上下文的注意力将相对信息组合到每个帧。提取的密集帧级嵌入可以各自表示说话者。因此，多个扬声器可以由每个片段中的不同帧级特征表示。我们还提出了一个人工生成的混合数据训练框架，训练建议HEE。通过对包括四个公共数据集在内的五个评价集的实验，除了一个数据集之外，所提出的HEE在每个评价集上都表现出至少10%的改进，我们分析了快速说话人变化的存在。
2022-11-08 cs.CL cs.SD eess.AS
Look who's not talking
Naver Corporation（Naver公司）；University of Oxford（牛津大学）
这项工作的目的是发言人diarisation的讲话录音'在野外'。确定语音片段的能力是日记系统的关键部分，占错误的很大比例。在本文中，我们提出了一个简单而有效的解决方案，语音活动检测的基础上说话人嵌入。特别是，我们发现，规范的发言人嵌入是一个非常有效的指标的语音活动。该方法不需要用于语音活动检测的独立模型，因此允许使用用于说话者建模和语音活动检测两者的统一表示来执行说话者diarisation。我们在内部和公共数据集上进行了大量实验，其中我们的方法优于流行的基线。
2020-11-30 cs.SD eess.AS
The VoxCeleb Speaker Recognition Challenge: A Retrospective
University of Oxford（牛津大学）；Google Research（谷歌研究院）；Meta；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；AWS AI（亚马逊云科技人工智能研究院）
本文回顾了2019至2023年举办的VoxCeleb说话人识别挑战赛，总结了其在多种设置下评估说话人识别与日志任务的方法演变、性能进展及领域现状，为相关研究人员和挑战赛组织者提供参考。
2024-08-27 cs.AI cs.SD eess.AS
VoxSRC 2020: The Second VoxCeleb Speaker Recognition Challenge
University of Oxford（牛津大学）；Naver Corporation（Naver公司）；SRI International（SRI国际）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们与Interspeech 2020一起举办了VoxCeleb Speaker Recognition Challenge的第二部分。这项挑战的目标是评估如何以及当前的说话人识别技术能够diarise和识别说话人在不受约束的或“在野生”的数据。它包括：（i）来自YouTube视频的公开可用的说话人识别和日记数据集，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2020举办的虚拟公共挑战和研讨会。本文概述了挑战，并描述了基线，使用的方法和结果。最后，我们讨论了第一阶段挑战的进展情况。
2020-12-12 cs.LG cs.SD eess.AS
XMUSPEECH System for VoxCeleb Speaker Recognition Challenge 2021
Xiamen University（厦门大学）
本文介绍了用于VoxCeleb说话人识别挑战赛2021的XMUSPEECH说话人识别和日记系统。对于第二轨道，我们评估了两个系统，包括ResNet 34-SE和ECAPA-TDNN。对于第四道，我们的系统的一个重要组成部分是VAD模块，大大提高了性能。我们在第4轨道上的最佳提交在评估集上获得了DER 5.54%和JER 27.11%，而在开发集上的表现是DER 2.92%和JER 20.84%。
2021-09-06 cs.SD eess.AS
VoxSRC 2022: The Fourth VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
本文总结了VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）的研究结果，该挑战赛与INTERSPEECH 2022联合举行。这项挑战的目标是评估如何以及国家的最先进的说话人识别系统可以diarise和识别说话人从语音获得“在野外”。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在INTERSPEECH 2022举行的公共挑战和混合研讨会。我们描述了我们的挑战的四个轨道以及基线，方法和结果。最后，我们讨论了VoxSRC-22的新域转移焦点，以及前三个版本的挑战进展。
2023-03-06 cs.LG cs.SD eess.AS
VoxSRC 2021: The Third VoxCeleb Speaker Recognition Challenge
Google Research（谷歌研究院）
VoxCeleb Speaker Recognition Challenge的第三阶段与Interspeech 2021一起举行。这项挑战的目的是评估如何以及当前的说话人识别技术能够diarise和识别扬声器在不受约束的或“在野外”的数据。挑战包括：（i）提供来自YouTube视频的公开可用的说话人识别和日记数据，以及地面实况注释和标准化评估软件;以及（ii）在Interspeech 2021举行的虚拟公众挑战和研讨会。本文概述了挑战，并介绍了基线，方法和结果。最后，我们讨论了VoxSRC 2021的新多语言重点，以及自前两个版本以来挑战的进展。
2022-11-16 cs.SD eess.AS
The HUAWEI Speaker Diarisation System for the VoxCeleb Speaker Diarisation Challenge
HUAWEI（华为）
本文描述了我们提交VoxCeleb Speaker Recognition Challenge 2020的扬声器diarisation Track（Track 4）的系统设置。我们的diarisation系统包括一个训练有素的神经网络为基础的语音增强模型作为预处理前端的输入语音信号。我们取代传统的基于能量的语音活动检测（VAD）与神经网络的VAD。基于神经网络的VAD提供了对仅包含背景音乐、噪声和其他干扰的语音段的更准确的注释，这对于日记性能是至关重要的。我们采用凝聚层次聚类（AHC）的x-向量和变分贝叶斯隐马尔可夫模型（VB-HMM）的迭代聚类的说话人聚类。实验结果表明，我们提出的系统实现了大幅改善基线系统，产生diarisation出错率（DER）的10.45%，和Jacard出错率（JER）的22.46%的评价集。
2020-10-23 cs.CL cs.SD eess.AS
The Kriston AI System for the VoxCeleb Speaker Recognition Challenge 2022
Kriston AI Lab（克里斯顿人工智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本技术报告介绍了我们的系统为轨道1，2和4的VoxCeleb说话人识别挑战2022（VoxSRC-22）。通过结合几个ResNet变体，我们提交的第1轨道的minDCF为0：090，EER为1：401%。通过进一步整合三个微调的预训练模型，我们提交的第2轨道的minDCF为0：072，EER为1：119%。对于音轨4，我们的系统包括语音活动检测（VAD），说话人嵌入提取，凝聚层次聚类（AHC），然后是基于贝叶斯隐马尔可夫模型和重叠语音检测和处理的重新聚类步骤。我们提交的第4轨的诊断错误率（DER）为4.86%。所有参赛作品都排在相应曲目的第二位。
2022-09-23 cs.SD eess.AS
Absolute decision corrupts absolutely: conservative online speaker diarisation
Naver Corporation（NAVER公司）
我们的重点在于开发一个在线演讲者diarisation框架，该框架在不同的领域表现出强大的性能。在在线演讲者日记中，实时生成的输出是不可逆的，并且在输入会话的早期阶段的一些误判可能导致灾难性的结果。我们假设，谨慎地增加估计扬声器的数量是至关重要的许多其他因素。因此，我们提出的框架包括当系统判断过去增加发言者人数是错误的时，减少一名发言者。我们还采用了双缓冲区，检查点和质心，其中检查点与轮廓系数相结合，以估计说话人的数量和质心代表说话人。同样，我们认为，可以从一个扬声器产生一个以上的质心。因此，我们设计了一个基于聚类的标签匹配技术，实时分配标签。由此产生的系统是轻量级的，但令人惊讶的有效。该系统在DIHARD 2和3数据集上展示了最先进的性能，在AMI和VoxConverse测试集上也具有竞争力。
2022-11-09 cs.SD eess.AS
Tandem Multitask Training of Speaker Diarisation and Speech Recognition for Meeting Transcription
Cambridge University（剑桥大学）
基于自监督学习的语音数据预训练模型，如Wav 2 Vec 2.0（W2 V2），已成为许多语音任务的骨干。在本文中，实现说话人diarisation和语音识别使用一个单一的模型，串联多任务训练（TMT）的方法，提出了微调W2 V2。对于说话人区分，语音活动检测（VAD）和说话人分类（SC）的任务是必需的，和连接主义时间分类（CTC）用于ASR。多任务框架使用W2 V2的早期层、中间层和后期层来实现VAD、SC和ASR，这与使用VAD分割音频、基于扬声器嵌入对片段进行聚类以及使用ASR转录每个片段的顺序一致。增强多方（AMI）数据集上的实验结果表明，使用不同的W2 V2层VAD，SC和ASR从早期到后期层TMT不仅节省了计算成本，而且还降低了diarisation错误率（DER）。与单独微调模型的基线相比，VAD，SC和ASR的联合微调分别使手动/自动分割的DER相对降低了16%/17%，并且说话人归因的单词错误率一致降低。
2022-07-08 cs.SD eess.AS
Spot the conversation: speaker diarisation in the wild
University of Oxford（牛津大学）；Naver Corporation（Naver公司）
本文的目标是扬声器diarisation收集的视频“在野外”。我们做出了三个重要贡献。首先，我们提出了一个自动的音频视频diarisation方法的YouTube视频。我们的方法包括使用视听方法的主动说话人检测和使用自注册说话人模型的说话人验证。其次，我们将我们的方法集成到半自动数据集创建管道中，这大大减少了使用diarisation标签注释视频所需的时间。最后，我们使用这个管道来创建一个名为VoxConverse的大规模日记数据集，从“野外”视频中收集，我们将向研究社区公开发布。我们的数据集包括重叠的语音，一个庞大而多样化的说话人池，以及具有挑战性的背景条件。
2021-08-15 cs.CV cs.SD eess.AS
Who said that?: Audio-visual speaker diarisation of real-world meetings
Naver Corporation（Naver公司）
这项工作的目标是确定在现实世界的会议中“谁在什么时候发言”。该方法将环绕视图视频和单声道或多声道音频作为输入，并生成鲁棒的diarisation输出。为了实现这一目标，我们提出了一种新的迭代方法，首先使用视听对应注册扬声器模型，然后使用注册的模型与视觉信息一起确定活跃的扬声器。我们在真实世界会议的数据集上表现出强大的定量和定性性能。该方法还评估了公共AMI会议语料库上，我们证明的结果，超过所有可比的方法。我们还表明，波束成形可以与视频一起使用，以进一步提高性能时，多声道音频可用。
2019-06-24 cs.CV cs.SD eess.AS
Integrating Emotion Recognition with Speech Recognition and Speaker Diarisation for Conversations
University of Cambridge（剑桥大学）；Tsinghua University（清华大学）
本文提出联合训练 AER、ASR 与 SD 的对话音频集成系统，并设计自动分段下的 AER 评估指标，在 IEMOCAP 上优于单任务基线。
2023-08-14 cs.SD eess.AS
Improving Speaker Identification for Shared Devices by Adapting Embeddings to Speaker Subsets
Amazon Alexa AI（亚马逊Alexa AI）
说话人识别通常包括三个阶段。首先，训练前端说话人嵌入模型以嵌入话语和说话人简档。其次，在运行时话语和每个说话者简档之间应用评分函数。最后，根据评分指标，使用最近邻进行说话人识别。为了更好地区分扬声器共享同一个家庭内的设备，我们提出了一个家庭适应的非线性映射到一个低维空间，以补充全球评分指标。组合评分函数在标记或伪标记的说话者话语上被优化。与输入辍学，建议的评分模型减少EER的45-71%，在模拟家庭2至7个难以区分的扬声器每户。在真实世界的内部数据上，EER降低了49.2%。从t-SNE可视化，我们还表明，由家庭适应的扬声器嵌入形成的集群更紧凑，分布均匀，相比，由全球嵌入前适应形成的集群。
2021-09-06 cs.CR cs.SD eess.AS
Adapting self-supervised models to multi-talker speech recognition using speaker embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）
自监督学习（SSL）方法在没有显式监督的情况下学习数据的表示，在语音处理任务中，特别是对于单说话者应用程序，已经得到了普及。然而，这些模型在多人通话场景中的性能通常会降低--可能是由于域不匹配--这严重限制了它们在此类应用中的使用。在本文中，我们研究了在两种情况下上游SSL模型对多说话者自动语音识别（ASR）任务的适应性。首先，当分段的话语，我们表明，添加一个目标说话人提取（TSE）模块的基础上注册嵌入是互补的混合感知预训练。其次，对于未分割的混合，我们提出了一种新的联合说话人建模（JSM）的方法，通过他们的嵌入聚合来自混合中的所有扬声器的信息。通过在Libri 2 Mix上的对照实验，我们表明，使用扬声器嵌入分别为分段和未分段的情况提供了9.1%和42.1%的相对WER改进。我们还通过在AMI数据集上的实验证明了我们的模型对真实会话混合的有效性。
2022-11-01 cs.SD eess.AS
Adapting End-to-End Neural Speaker Verification to New Languages and Recording Conditions with Adversarial Training
McGill University（麦吉尔大学）；Computer Research Institute of Montreal（蒙特利尔计算机研究所）
在这篇文章中，我们提出了一种新的方法来适应扬声器嵌入到新的领域的基础上对抗训练的神经网络。我们将我们的嵌入应用于文本无关的说话人验证任务，这是生物识别安全中一个具有挑战性的现实问题。我们通过结合一种新的一维自关注残差网络，角裕度损失函数和对抗训练策略，进一步开发了端到端的说话人嵌入模型。我们的模型能够学习非常紧凑的64维扬声器嵌入，使用简单的余弦距离评分在许多流行的数据集上提供有竞争力的性能。在NIST-SRE 2016任务中，我们能够击败强大的i向量基线，而在Speakers in the Wild任务中，我们的模型能够超越i向量和x向量基线，显示出比后者绝对提高了2.19%。此外，我们还表明，对抗性训练的整合始终导致了对未适应模型的显着改进。
2018-11-07 cs.CV cs.SD eess.AS
Multi-scale speaker embedding-based graph attention networks for speaker diarisation
Naver Corporation（NAVER 公司）
这项工作的目标是有效的扬声器diarisation使用多尺度扬声器嵌入。通常，根据用于嵌入提取的段长度，在识别短说话者段的能力和嵌入的辨别能力之间存在权衡。为此，最近的工作提出了使用多尺度嵌入，其中使用具有不同长度的段。然而，分数是使用加权求和方案组合的，其中权重在训练阶段后固定，而片段长度的重要性在单个会话中可能会有所不同。为了解决这个问题，我们在本文中提出了三个关键贡献：（1）我们提出了用于多尺度说话人diarisation的图形注意力网络;（2）我们设计了尺度指标，以利用每个嵌入的尺度信息;（3）我们调整了基于注意力的聚合，以利用来自多尺度嵌入的预先计算的亲和矩阵。我们证明了我们的方法在各种数据集中的有效性，其中构成主要指标的说话人混淆平均相对于基线下降超过10%。
2021-10-07 cs.AI eess.AS
Whisper-SV: Adapting Whisper for Low-data-resource Speaker Verification
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co.,Ltd（马上消费金融股份有限公司）
针对低数据资源场景下说话人验证任务数据不足的问题，提出Whisper-SV框架，通过表征选择和多层聚合模块适配Whisper模型，在多个数据集上取得了优异的验证性能。
2024-07-14 cs.SD eess.AS
Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
Microsoft（微软）；University of Michigan（密歇根大学）
针对在线音视频目标说话人提取的听感质量与前瞻限制问题，提出AV-PVQE方法，通过个性化语音增强模型引入口型特征并联合微调，将目标混淆率从46%降至1.6%，延迟仅20毫秒，在合成和会议基准上均优于现有提取器。
2026-09-28 cs.CV cs.SD eess.AS
Improving Transformer-based Networks With Locality For Automatic Speaker Verification
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Microsoft Corporation（微软公司）
最近，基于transformer的架构已经被探索用于说话人嵌入提取。虽然Transformer采用自注意机制来有效地建模令牌嵌入之间的全局交互，但它不足以捕获短距离局部上下文，这对于准确提取说话人信息至关重要。在这项研究中，我们加强了Transformer与增强局部建模在两个方向。首先，我们提出了局部增强型构象（LE-Confomer），通过引入深度卷积和通道注意到构象块。第二，我们提出了扬声器Swin Transformer（SST）的适应Swin Transformer，最初提出的视觉任务，到扬声器嵌入网络。我们在VoxCeleb数据集和大规模Microsoft内部多语言（MS内部）数据集上评估了所提出的方法。所提出的模型在VoxCeleb 1测试集上实现了0.75%的EER，优于先前提出的基于Transformer的模型和基于CNN的模型，如ResNet 34和ECAPA-TDNN。当在MS内部数据集上训练时，所提出的模型取得了令人满意的结果，与Res 2Net 50模型相比，EER相对降低了14.6%。
2023-02-28 cs.LG cs.SD eess.AS
DropClass and DropAdapt: Dropping classes for deep speaker representation learning
最近许多关于深度说话人嵌入的工作都在大型分类任务上训练他们的特征提取网络，区分训练集中的所有说话人。从经验上讲，这已被证明可以产生说话者区分嵌入，即使是看不见的说话者。然而，目前尚不清楚这是否是训练泛化良好的嵌入的最佳方法。这项工作提出了两种学习嵌入的方法，基于在训练过程中放弃类的概念。我们证明了这两种方法可以在说话人确认任务中产生性能增益。第一个提出的方法，DropClass，通过周期性地从训练数据和整个训练过程中的输出层中删除类的随机子集，从而导致在许多不同的分类任务上训练的特征提取器。结合附加的角度裕度损失，该方法可以在VoxCeleb上的强基线上在相等出错率（EER）方面产生7.9%的相对改善。第二种方法，DropAdapt，是一种以无监督的方式将训练模型适应一组注册发言人的方法。这是通过仅对那些当注册发言者用作输入时产生高概率预测的类微调模型来执行的，同样也从输出层丢弃相关行。这种方法在VoxCeleb上产生了13.2%的EER相对改善。这篇论文的代码已经公开。
2020-02-02 cs.LG cs.SD eess.AS
Efficient Adapter Tuning of Pre-trained Speech Models for Automatic Speaker Verification
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对自监督语音模型全量微调成本高且易过拟合的问题，本文提出并行适配器框架，仅更新5%参数即可在VoxCeleb1上优于全量微调和其他参数高效迁移学习方法。
2024-03-01 cs.LG cs.SD eess.AS
Speaker Characterization by means of Attention Pooling
TALP Research Center（TALP研究中心）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
本文将 Double Multi-Head Self-Attention 池化架构从说话人识别扩展到情感识别、性别分类和 COVID-19 检测等说话人表征任务，并取得优异实验结果。
2024-05-07 cs.SD eess.AS
Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map
Korea Advanced Institute of Science and Technology（韩国科学技术院）
为了在与文本无关的说话人确认中提取准确的说话人信息，提出了一种基于时间窗自适应核函数的时域动态神经网络（TDY-CNN）。然而TDY-CNN的模型尺寸太大，自适应核的自由度有限。为了解决这些限制，我们提出了分解的时间动态CNN（DTDY-CNN），它通过将静态内核与基于矩阵分解的动态残差相结合来形成时间自适应内核。使用无数据增强的精心统计合并的拟议DTDY-ResNet-34（x0.50）显示EER为0.96%，优于其他最先进的方法。DTDY-CNN是TDY-CNN的成功升级，将模型大小减少了64%，并提高了性能。我们发现，与TDY-CNN相比，DTDY-CNN也提取了更准确的帧级说话人嵌入。使用由用于说话人确认的改进的梯度加权类激活映射（Grad-CAM）产生的说话人激活映射（SAM）来分析DTDY-ResNet-34（x 0. 50）在说话人信息提取上的详细行为。DTDY-ResNet-34（x0.50）不仅有效地从共振峰频率中提取说话人信息，而且还有效地从清音音素的高频信息中提取说话人信息，从而解释了其在与文本无关的说话人确认方面的出色性能。
2022-10-27 cs.SD eess.AS
End-to-end Online Speaker Diarization with Target Speaker Tracking
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
提出一种在线目标说话人语音活动检测系统，无需聚类先验知识，通过自生成嵌入实现实时说话人日志，在DIHARD III和AliMeeting上优于离线方法，并扩展到多通道数据。
2023-10-12 cs.SD eess.AS
Text-Dependent Speaker Verification (TdSV) Challenge 2024: Team Naive System Report
Self-Organized and Independent Participants（自组织和独立参与者）
本文提出了一种2024年TdSV挑战的系统，通过适应现有先进神经网络并设计轻量模型，实现了MinDCF 0.0461和EER 1.3%的性能，展示了多模型集成学习的有效性。
2026-05-14 cs.LG cs.SD
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI（亚马逊 AWS 人工智能）
我们介绍BERTphone，一个Transformer编码器训练的大型语音语料库，输出语音感知的上下文表示向量，可用于扬声器和语言识别。这是通过对两个目标的训练来实现的：第一个目标，受BERT适应连续域的启发，涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标，受ASR瓶颈特征的成功启发，是应用于音素标签的序列级CTC损失，用于语音表示学习。我们预训练了两个BERTphone模型（一个在Fisher上，一个在TED-LIUM上），并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中，我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中，我们看到在BERTphone向量而不是MFCC上训练时，说话人EER相对降低了18%。一般来说，BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
Online speaker diarization of meetings guided by speech separation
Institut Polytechnique de Paris（巴黎综合理工学院）
针对重叠语音干扰及语音分离模型难适配真实会议数据的问题，提出语音分离引导的在线说话人日志方案，经AMI语料微调后在AMI headset mix上达SOTA，重叠语音段表现尤佳。
2024-01-30 cs.LG cs.SD eess.AS
Non-native Speaker Verification for Spoken Language Assessment
University of Cambridge（剑桥大学）
自动口语评估系统正变得越来越流行，以处理日益增长的兴趣在第二语言学习。这些系统面临的一个挑战是检测渎职行为。舞弊可以采取多种形式，本文着重于检测当一个候选人试图模仿另一个在口语测试。这种形式的弊端与说话人确认密切相关，但适用于口语评估这一特定领域。高级说话人验证系统利用深度学习方法提取说话人表示，已成功应用于一系列母语验证任务。本文针对非母语英语口语数据对这些系统进行了探索。用于演讲者注册和验证的数据主要来自BULATS测试，该测试评估商业英语语言技能。系统的性能训练相对有限的BULATS数据，和标准的大型扬声器验证语料库，进行了比较。在具有数百万次试验的大规模测试集上的实验结果表明，通过使导入的模型适应非原生数据，可以实现最佳性能。分析了不同第一语言（L1）和年级的冒名顶替者试验，这表明L1之间的冒名顶替者对说话人确认系统更具挑战性。
2019-09-30 cs.CL cs.SD eess.AS
UniPET-SPK: A Unified Framework for Parameter-Efficient Tuning of Pre-trained Speech Models for Robust Speaker Verification
针对大规模预训练语音模型微调成本高的问题，提出统一参数高效微调框架UniPET-SPK，结合适配器与提示微调及动态门控机制，在仅更新5.4%参数下于多个说话人验证数据集上取得优越性能。
2025-01-27 cs.LG cs.SD eess.AS
End-to-End Neural Diarization: Reformulating Speaker Diarization as Simple Multi-label Classification
Hitachi, Ltd.（日立有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
最常见的说话人日志化方法是说话人嵌入聚类。然而，基于聚类的方法具有许多问题;即，(i)它没有被优化以直接最小化日志化误差，（i i）它不能正确地处理扬声器重叠，以及（iii）它难以使它们的扬声器嵌入模型适应具有扬声器重叠的真实音频记录。为了解决这些问题，我们提出了端到端神经日记（EEND），其中神经网络直接输出多个扬声器录音的扬声器日记结果。为了实现这样一个端到端的模型，我们制定了一个多标签分类问题的说话人日记化问题，并引入一个置换自由的目标函数，直接最大限度地减少日记错误。除了端到端的简单性，EEND方法可以显式地处理训练和推理过程中的说话人重叠。只需为多个说话者录音提供相应的说话者片段标签，我们的模型就可以很容易地适应真实的对话。我们评估了我们的方法模拟语音混合和真实的会话数据集。结果表明，EEND方法优于最先进的基于x向量聚类的方法，同时它正确地处理了说话人重叠。我们探索了用于EEND方法的神经网络架构，并发现基于自注意力的神经网络是实现优异性能的关键。与使用双向长短期记忆（BLSTM）仅对网络的前一个和下一个隐藏状态进行调节相反，自我注意力直接对所有帧进行调节。通过可视化的注意力权重，我们表明，自我注意捕捉全球扬声器特性，除了本地语音活动动态，使其特别适合于处理扬声器日记化问题。
2020-02-24 cs.CL cs.SD eess.AS
Child-Centric Voice Anonymization in Single and Multi-Speaker Speech via Domain-Adapted SSL Models
通过将自监督学习（SSL）语音匿名化流水线适应儿童语音领域，在单说话人和两说话人混合场景下提升可懂度和感知质量，同时保持强隐私保护，并扩展至多说话人场景以保护对话结构。
2026-06-29 cs.AI cs.SD eess.SP
SOT Triggered Neural Clustering for Speaker Attributed ASR
本文提出基于段级判别神经聚类（SDNC）的并行说话人归属ASR方法，无需额外非神经聚类即可分配说话人标签，并在AMI数据集上相比谱聚类显著降低DER和cpWER。
2024-08-30 eess.AS
Listening to Multi-talker Conversations: Modular and End-to-end Perspectives
Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究说话人归属的多说话人语音识别问题，提出模块化（基于说话人日志、目标说话人提取与ASR的流水线）与端到端（SURT模型联合训练）两种视角，有效解决了多方自由对话的识别与转录。
2024-02-14 cs.SD eess.AS
Multi-accent Speech Separation with One Shot Learning
National Taiwan University（国立台湾大学）
语音分离是近年来语音处理领域研究的热点问题。然而，还没有太多的工作研究多口音语音分离的情况。未知说话人的新口音和噪声引起的域失配问题，不能很容易地解决传统的联合训练方法。因此，我们应用MAML和FOMAML来解决这个问题，并在几乎所有看不见的口音上获得了比联合训练更高的平均Si-SNRi值。这证明了这两种方法确实有能力生成经过良好训练的参数，以适应新说话人和口音的语音混合。此外，我们发现，FOMAML获得类似的性能相比，MAML，同时节省了大量的时间。
2021-08-05 cs.SD eess.AS
Parameter-efficient transfer learning of pre-trained Transformer models for speaker verification using adapters
Brno University of Technology（布尔诺理工大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）；Tencent AI Lab（腾讯人工智能实验室）
近年来，预训练的Transformer模型在语音处理领域受到越来越多的关注，这要归功于它们在各种下游任务中的巨大成功。然而，大多数微调方法都会更新预训练模型的所有参数，随着模型大小的增加，这变得令人望而却步，有时会导致小数据集的过拟合。在本文中，我们进行了全面的分析，应用参数有效的迁移学习（PETL）方法，以减少所需的可学习参数，以适应说话人验证任务。具体来说，在微调过程中，预先训练的模型被冻结，只有插入每个Transformer块中的轻量级模块是可训练的（一种称为适配器的方法）。此外，为了提高跨语言低资源场景中的性能，Transformer模型在小数据集上直接微调之前，会在大的中间数据集上进一步调优。更新少于4%的参数，（我们提出的）基于PETL的方法实现了与完全微调方法相当的性能（Vox 1-O：0.55%，Vox 1-E：0.82%，Vox 1-H：1.73%）。
2022-10-28 cs.SD eess.AS eess.SP
Multi-source Domain Adaptation for Text-independent Forensic Speaker Recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）
使说话人识别系统适应新的环境是一种广泛使用的技术，可以将从大规模数据中学习到的性能良好的模型改进为特定于任务的小规模数据场景。然而，以前的研究集中在单领域自适应，这忽略了一个更实际的情况下，训练数据收集从多个声学领域所需的法医场景。由于位置/场景的不确定性以及参考和自然现场记录之间的多样性失配，用于法医说话人识别的音频分析在使用多域训练数据的模型训练中提出了独特的挑战。由于域失配和性能损失，也难以直接采用小规模的特定于域的数据来训练复杂的神经网络架构。微调是一种常用的自适应方法，以便使用从经过良好训练的模型初始化的权重重新训练模型。或者，在这项研究中，提出了三种基于域对抗训练，差异最小化和矩匹配方法的新自适应方法，以进一步提高多个声学域的自适应性能。进行了一组全面的实验，以证明：1）不同的声学环境确实会影响说话人识别性能，这可以推进音频取证的研究，2）域对抗训练学习区分特征，这些特征对于域之间的移位也是不变的，3）差异最小化自适应在多个声学域中同时实现有效的性能，以及4）与所有其他系统相比，矩匹配自适应以及动态分布对准也显著地提高了每个域上的说话人识别性能，特别是对于具有噪声的LENA场域。
2022-11-17 cs.AI cs.SD eess.AS
Adapting TTS models For New Speakers using Transfer Learning
University of California, San Diego（加州大学圣地亚哥分校）；NVIDIA（英伟达）
为新的说话者训练神经文本到语音（TTS）模型通常需要几个小时的高质量语音数据。先前的语音克隆工作试图通过使用新说话者的几分钟语音数据来适应新语音的预训练的多说话者TTS模型来解决这一挑战。然而，公开可用的大型多说话者数据集通常是嘈杂的，从而导致不适合在产品中使用的TTS模型。我们通过提出迁移学习准则来应对这一挑战，该准则仅使用几分钟的语音数据来为新的说话者调整高质量的单说话者TTS模型。我们进行了广泛的研究，使用不同的数据量为一个新的扬声器和评估合成语音的自然度和语音/风格的相似性的目标扬声器。我们发现，仅在30分钟的数据上微调单扬声器TTS模型，就可以产生与男性和女性目标扬声器超过27小时的数据从头开始训练的模型相当的性能。
2022-04-06 cs.CL cs.SD eess.AS
Adapting General Disentanglement-Based Speaker Anonymization for Enhanced Emotion Preservation
Singapore Institute of Technology（新加坡理工学院）；Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所语音声学与内容理解重点实验室）；National Institute of Informatics（日本国立信息研究所）；Inria, Centre Inria de l’Université de Lorraine（法国国家信息与自动化技术研究院（Inria）卢瓦尔大学中心）
本文针对基于解耦的说话人匿名化系统，提出集成情感嵌入或后处理情感补偿两种策略，以在匿名化同时增强情感保留，并兼顾隐私与情感线索。
2025-04-23 cs.SD eess.AS
Adapting Diarization-Conditioned Whisper for End-to-End Multi-Talker Speech Recognition
本文提出一种基于Whisper的多说话人语音识别模型，通过联合解码和序列化输出提升多说话人场景下的识别性能。
2026-02-03 cs.CL cs.SD eess.AS
Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）；Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所）；National Research Council Canada, Canada（加拿大国家研究理事会）
提出一种基于跨语句音频-文本提示的说话人自适应方法，实现零样本实时适应未见说话人，在老年人语音数据集上显著降低词错误率/字符错误率，并大幅提升实时因子。
2026-06-16 cs.SD eess.AS
Personalized Speech Enhancement Without a Separate Speaker Embedding Model
Microsoft Corporation（微软公司）
本文提出直接利用PSE模型内部表示作为说话人嵌入，无需独立嵌入模型，在噪声抑制与回声消除任务上达到或超过标准方法，并以0.15的MOS优势超越ICASSP 2023 DNS挑战赛获胜方案。
2024-06-14 cs.AI cs.LG cs.SD
Personalized Lip Reading: Adapting to Your Unique Lip Movements with Vision and Language
KAIST（韩国科学技术院）；National Taiwan University（台湾大学）
本文提出一种在视觉和语言双层面适配目标说话人的个性化唇读方法，结合提示微调与LoRA，并推出含约100K词汇的VoxLRS-SA数据集，首次在野外句子级英语唇读中验证了方法有效性。
2025-01-01 cs.CL cs.CV eess.AS
Speaker Adaptation for Attention-Based End-to-End Speech Recognition
Microsoft Corporation（微软公司）
我们提出了三种基于正则化的说话人自适应方法，以适应基于注意力的编码器-解码器（AED）模型与非常有限的适应数据从目标说话人的端到端自动语音识别。第一种方法是Kullback-Leibler发散（KLD）正则化，其中通过将KLD正则化添加到自适应标准中，迫使说话者相关（SD）AED的输出分布接近说话者无关（SI）模型的输出分布。为了弥补KLD正则化中的不对称缺陷，提出了一种对抗性说话人自适应（ASA）方法，通过辅助学习器和SD AED的对抗性学习来正则化SD AED的深度特征分布.第三种方法是多任务学习，其中SD AED被训练为联合执行预测大量输出单元的主要任务和预测少量输出单元的辅助任务，以减轻目标稀疏性问题。微软短消息听写任务的评估，所有三种方法都非常有效地适应AED模型，实现了高达12.2%和3.0%的字出错率改善超过一个SI AED训练从3400小时的数据，分别为监督和无监督的适应。
2019-11-09 cs.CL cs.LG cs.SD
Listen, Attend, Spell and Adapt: Speaker Adapted Sequence-to-Sequence ASR
Nuance Communications, Inc.（Nuance通信公司）
基于序列到序列（seq 2seq）的ASR系统已经显示出最先进的性能，同时在简单性方面具有明显的优势。然而，比较主要是在与说话者无关（SI）的ASR系统上进行的，尽管说话者自适应的常规系统在实践中通常用于提高对说话者和环境变化的鲁棒性。在本文中，我们将说话人自适应应用到seq 2seq模型中，目标是匹配传统ASR自适应的性能。具体来说，我们调查Kullback-Leibler分歧（KLD）以及线性隐藏网络（LHN）为seq 2seq ASR的适应，每个扬声器使用不同量（最多20小时）的适应数据。我们的SI模型在大量听写数据上进行训练，并获得了最先进的结果。我们通过seq 2seq模型的KLD适应获得了25%的相对字错误率（WER）改善，而传统系统中的声学模型适应获得了18.7%的增益。我们还表明，seq 2seq模型的WER随着适应数据量的增加而呈对数线性下降。最后，我们分析了基于最小WER准则的自适应，并将语言模型（LM）与说话人自适应seq 2seq模型进行分数融合，从而进一步提高了seq 2seq系统的性能。
2019-07-08 cs.CL cs.LG cs.SD
Temporal Dynamic Convolutional Neural Network for Text-Independent Speaker Verification and Phonemetic Analysis
在文本无关的说话人识别领域，已经提出了沿时间轴自适应的动态模型来考虑语音的音素变化特性。然而，动态模型如何根据音素工作的详细分析是不够的。在本文中，我们提出了时间动态CNN（TDY-CNN），认为音素的时间变化，通过应用内核最佳适应每个时间仓。这些核通过应用训练的基核的加权和来适应时间仓。然后，分析了自适应核如何在各个层中对不同的音素进行工作。与基线模型ResNet-38（x0.5）相比，使用六个基核的TDY-ResNet-38（x0.5）将等错误率（EER），即说话人验证性能提高了17.3%。此外，我们表明，自适应内核依赖于音素组，并在早期层更音素特定。时间动态模型适应音素没有明确给定的音素信息在训练过程中，结果表明，有必要考虑音素变化的话语更准确和强大的文本无关的说话人验证。
2022-02-08 eess.AS
