Speaker Embeddings With Weakly Supervised Voice Activity Detection For Efficient Speaker Diarization
IDLab, Department of Electronics；Information Systems Ghent University - imec, Belgium
针对现有说话人分割依赖外部VAD带来开销的问题，提出利用说话人嵌入提取器的注意力作为弱监督内部VAD，用ECAPA2嵌入同时实现VAD与嵌入提取，在多个基准上取得SOTA性能。
2024-05-15 cs.SD eess.AS
Can We Really Repurpose Multi-Speaker ASR Corpus for Speaker Diarization?
NTT, Inc.（日本NTT公司）
针对神经说话人日志记录依赖大型多说话人数据集的需求，研究发现复用ASR语料库的松散边界会降低评估可靠性与泛化能力，而采用强制对齐的严格边界训练可同时提升日志记录（尤其是流式场景）与ASR性能。
2025-08-25 cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group（阿里巴巴集团）
说话人嵌入是说话人相关任务的基本特征，如验证，聚类和日志化。传统上，说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计，特别是在处理较短的话语时。在本文中，我们提出了一个“浮动”向量，其状态是不确定的，而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型，该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调，例如说话人验证，说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
pyannote.audio: neural building blocks for speaker diarization
我们介绍pyannote.audio，这是一个用Python编写的用于演讲者日记的开源工具包。基于PyTorch机器学习框架，它提供了一组可训练的端到端神经构建块，可以组合并联合优化以构建扬声器日志化管道。pyannote.audio还提供了预先训练的模型，涵盖了语音活动检测、说话人变化检测、重叠语音检测和说话人嵌入的广泛领域，其中大多数都达到了最先进的性能。
2019-11-04 cs.SD eess.AS
Pretraining Multi-Speaker Identification for Neural Speaker Diarization
NTT Corporation（日本电信电话公司）
本文提出预训练多说话人识别模型作为替代方案，利用大规模说话人识别数据集，无需模拟对话数据即可实现高精度轻量级的局部说话人日志模型。
2025-05-30 cs.SD eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation（腾讯公司）
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统，通过联合训练编码器与解码器并利用预训练模型初始化，有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
X-Vectors with Multi-Scale Aggregation for Speaker Diarization
Samsung Research America（三星美国研究院）
说话人日志化是在语音信号中标记不同说话人的过程。深度说话人嵌入通常从短语音段中提取并聚类以确定属于相同说话人身份的段。通过统计池化帧级表示来嵌入片段级说话人特征的x向量是说话人日志化中使用最广泛的深度说话人嵌入之一。多尺度聚合，它采用来自不同层的多尺度表示，最近已成功地用于短时间说话人确认。在本文中，我们研究了一种多尺度聚合方法在x向量嵌入框架的扬声器日志化，利用多个统计池层从不同的帧级层。因此，预计具有多尺度聚合的x向量具有从短片段捕获有意义的说话者特征的潜力，有效地利用多层的不同信息。在CALLHOME数据集上的实验评估表明，我们的方法比基线x向量有了很大的改进。
2021-05-16 cs.SD eess.AS
USED: Universal Speaker Extraction and Diarization
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Saw Swee Hock School of Public Health, National University of Singapore（新加坡国立大学苏瑞福公共卫生学院）；Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本研究提出统一模型USED，解决说话人提取与说话人日志任务的输出不一致和场景不匹配问题，可处理不同重叠度、不同说话人数的混合语音，在多个数据集上性能优于现有基线与近期方法。
2025-01-16 cs.SD eess.AS
The ByteDance Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2021
ByteDance（字节跳动）
本文描述了用于VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）第四轨的字节跳动扬声器日志化系统。VoxSRC-21提供VoxConverse的开发集和测试集用于验证，并提供独立的测试集用于评估。我们首先收集所有音频的持续时间和信噪比（SNR），发现VoxConverse的测试集和VoxSRC-21的测试集的分布更加接近。我们的系统包括语音主动检测（VAD），说话人嵌入提取，谱聚类，然后是一个基于凝聚层次聚类（AHC）和重叠语音检测和处理的重新聚类步骤。最后，我们使用DOVER-Lap集成具有不同时间尺度的系统。我们的最佳系统在评估集上达到了5.15%的日志出错率，在挑战的日志跟踪中排名第二。
2021-09-05 cs.SD eess.AS
Online Streaming End-to-End Neural Diarization Handling Overlapping Speech and Flexible Numbers of Speakers
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种基于端到端神经日志化（EEND）模型的流日志化方法，该方法可以处理灵活的说话人数量和重叠语音。在我们之前的研究中，提出了说话人跟踪缓冲区（STB）机制，使用预训练的EEND模型实现分块流式日志化。STB跟踪先前块中的说话者信息以映射新块中的说话者。但是，它只适用于两个扬声器的录音。在本文中，我们提出了一个扩展的STB灵活的扬声器，FLEX-STB。所提出的方法使用零填充，然后是扬声器跟踪，其消除了缓冲区和当前块之间的扬声器数量的差异。我们还研究了缓冲区更新策略，以选择重要帧来跟踪多个说话者。CALLHOME和DIHARD II数据集上的实验表明，该方法实现了与离线EEND方法相当的性能，延迟为1秒。结果还表明，我们提出的方法优于最近提出的基于EEND（BW-EDA-EEND）的分块日记化方法。
2021-04-07 cs.SD eess.AS
Speaker Diarization: Using Recurrent Neural Networks
Utah State University（犹他州立大学）
Speaker Diarization是在音频中分离扬声器的问题。可以有任何数量的发言者和最终结果应国家发言时开始和结束。在这个项目中，我们分析给定的音频文件与2通道和2扬声器（在单独的通道）。我们训练神经网络来学习一个人说话的时候。我们使用不同类型的神经网络，具体来说，单层感知器（SLP），多层感知器（MLP），递归神经网络（RNN）和卷积神经网络（CNN），我们实现了$\sim$ 92%的准确率与RNN。该项目的代码可在https://github.com/vishalshar/SpeakerDiarization_RNN_CNN_LSTM上获得
2020-06-10 cs.SD eess.AS
End-to-end Online Speaker Diarization with Target Speaker Tracking
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
提出一种在线目标说话人语音活动检测系统，无需聚类先验知识，通过自生成嵌入实现实时说话人日志，在DIHARD III和AliMeeting上优于离线方法，并扩展到多通道数据。
2023-10-12 cs.SD eess.AS
The DKU-DukeECE-Lenovo System for the Diarization Task of the 2021 VoxCeleb Speaker Recognition Challenge
DKU（昆山杜克大学）；DukeECE（杜克大学电子与计算机工程系）；Lenovo（联想）
本报告介绍了DKU-DukeECE-Lenovo团队提交的VoxCeleb说话人识别挑战赛（VoxSRC）2021年第4场比赛。我们的系统包括一个语音活动检测（VAD）模型，说话人嵌入模型，两个基于聚类的说话人日记系统与不同的相似性测量，两个不同的重叠语音检测（OSD）模型，和一个目标说话人语音活动检测（TS-VAD）模型。我们的最终提交，由5个独立的系统组成，在挑战测试集上实现了5.07%的DER。
2021-09-07 cs.SD eess.AS
The CUHK-TENCENT speaker diarization system for the ICASSP 2022 multi-channel multi-party meeting transcription challenge
CUHK（香港中文大学）；TENCENT（腾讯）
本文介绍了我们的发言人日记系统提交给多通道多方会议转录（M2MeT）的挑战，其中普通话会议数据记录在多通道格式的日记和自动语音识别（ASR）任务。在这些会议场景中，发言人数量的不确定性和高重叠率的语音提出了极大的挑战，日记。基于声学特征、空间相关特征和说话人相关特征之间存在有价值的互补信息的假设，提出了一种基于多层次特征融合机制的目标-说话人语音活动检测（FFM-TS-VAD）系统，以改善传统的TS-VAD系统的性能。此外，我们提出了一种数据增强方法在训练过程中，以提高系统的鲁棒性时，两个扬声器之间的角度差是相对较小的。我们提供了我们在M2MeT挑战中使用的不同子系统的比较。我们的提交是几个子系统的融合，在日记化任务中排名第二。
2022-02-04 cs.SD eess.AS
Online End-to-End Neural Diarization with Speaker-Tracing Buffer
Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种基于全监督自注意机制的在线说话人日志化算法。在线日志化固有地呈现扬声器的置换问题，这是由于在记录中错误地分配扬声器区域的可能性。为了避免这种不一致，我们提出了一个扬声器跟踪缓冲机制，选择几个输入帧表示扬声器置换信息从以前的块，并将它们存储在一个缓冲区。这些缓冲帧与当前块中的输入帧堆叠在一起，并被馈送到自我注意力网络中。我们的方法通过检查它们相应输出之间的相关性来确保跨缓冲区和当前块的一致的日志化输出。此外，我们用可变的块大小训练SA-EEND，以减轻说话者跟踪缓冲机制引入的训练和推理之间的不匹配。实验结果表明，在1.4s的实际延迟下，包括在线SA-EEND和可变块大小，CALLHOME和CSJ的DER分别为12.54%和20.77%。
2021-03-07 cs.SD eess.AS
Speaker Diarization Based on Multi-channel Microphone Array in Small-scale Meeting
在演讲者日记化的任务中，小规模会议的数量占了很大的比重。麦克风阵列作为一种录音设备，其空间信息往往被大多数研究者所忽略。本文受d向量和麦克风阵列空间向量相结合的聚类方法的启发，提出了一种利用多通道麦克风阵列对不超过4个发言人的会议进行日志化的方法。我们利用语音增强预处理的麦克风阵列的音频。该算法采用了方向响应功率相位变换（SRP-PHAT）算法来获得更准确的说话人，并根据说话人数目对语音段进行重新聚类，以获得更好的性能。最后，我们用DOVER-SVM对我们的系统进行融合，以获得最佳的融合效果。我们评估了我们的系统上AMI语料库。与目前最好的实验结果相比，我们的系统在日志化出错率（DER）上有了很大的改善。
2022-10-26 cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University（西北工业大学）；Tencent Corporation（腾讯公司）
本文针对音视觉标注数据不足问题，在端到端AVSD系统中引入监督式与自监督式预训练语音模型，并联合训练音频、说话人编码器及音视觉解码器，在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
A study of semi-supervised speaker diarization system using gan mixture model
University of Southern California（南加州大学）
我们提出了一个新的发言人日记系统的基础上最近推出的无监督聚类技术，即生成对抗网络混合模型（GANMM）。所提出的系统使用x向量作为前端表示。频谱嵌入用于降维，然后在GANMM预训练期间进行k均值初始化。GANMM通过有效地捕获复杂的数据分布来执行无监督的说话人聚类。在AMI会议语料库上的实验结果表明，本文提出的半监督日志化系统的性能达到或超过了竞争基线。在包含50个具有不同持续时间的会话的评估集上，最佳实现的平均日志化错误率（DER）为17.11%，比信息瓶颈基线相对改善了33%，与xvector基线相当。
2019-10-24 cs.SD eess.AS
Linguistically Aided Speaker Diarization Using Speaker Role Information
University of Southern California（南加州大学）
说话人日记依赖于这样的假设，即对应于特定说话人的语音片段集中在说话人空间的特定区域中;该区域代表该说话人的身份。这些身份不是先验已知的，因此通常采用聚类算法，其传统上仅基于音频。然而，在嘈杂的条件下，这样的方法带来了产生不可靠的扬声器集群的风险。在这项工作中，我们的目标是利用语言信息作为一种补充方式，以更强大的方式来识别各种扬声器。我们专注于会话场景中的扬声器承担不同的角色，并预计将遵循不同的语言模式。这种独特的语言变异性可以用来帮助我们构建说话者身份。这样，我们就能够通过将聚类任务转换为分类任务来提高日志化性能。所提出的方法被应用在现实世界中的二元心理治疗提供者和患者之间的相互作用，并证明显示出改善的结果。
2020-02-05 cs.SD eess.AS
Multi-channel Conversational Speaker Separation via Neural Diarization
The Ohio State University（俄亥俄州立大学）
提出多通道SSND框架，利用端到端日志和位置训练解决排列模糊，实现高效长段分离，在LibriCSS上大幅提升日志和ASR性能。
2023-11-15 cs.SD eess.AS
Robust End-to-end Speaker Diarization with Generic Neural Clustering
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
与传统的模块化方法相比，端到端的说话人日志化方法表现出了卓越的性能。为了进一步提高真实语音记录的端到端说话人日记化的性能，最近已经提出了将无监督聚类算法与端到端神经日记化模型相结合的工作。然而，这些方法有一些缺点：1）无监督聚类算法不能利用来自可用数据集的监督; 2）探索的基于K-means的无监督算法经常遭受约束违反问题; 3）有监督训练和无监督推理之间不可避免的不匹配。本文提出了一种鲁棒的通用神经聚类方法，该方法可以与任何块级预测器集成，以实现完全监督的端到端说话人日志化模型。此外，通过利用递归神经网络的序列建模能力，所提出的神经聚类方法可以在推理过程中动态估计说话者的数量。实验结果表明，在不匹配的情况下，与基于约束K-means的聚类方法相比，在结合基于吸引子的块级预测器的情况下，所提出的神经聚类方法可以获得更好的Diarization出错率（DER）.
2022-04-18 cs.SD eess.AS
NTT speaker diarization system for CHiME-7: multi-domain, multi-microphone End-to-end and vector clustering diarization
NTT Corporation（日本电报电话公司）
本文提出一种面向CHiME-7的多域多麦克风说话人分离系统，结合WPE去混响、逐通道EEND-VC、DOVER-LAP整合及基于伪标签的自监督自适应，在开发集和评估集上分别相对基线提升65%和62%，获得第三名。
2023-09-22 cs.SD eess.AS
End-to-end speaker diarization with transformer
Visual Computing Group, Ping An Property & Casualty Insurance Company（平安财产保险股份有限公司视觉计算组）
在计算机视觉中，说话人分类与语义分割密切相关。MaskFormer \cite{cheng2021per}将语义分割视为一个集合预测问题，受其启发，我们提出了一种端到端的方法来预测一组由二进制掩码、语音活动和说话人向量组成的目标。我们的模型，我们硬币\textit{DiFormer}，主要是基于一个扬声器编码器和一个特征金字塔网络（FPN）模块提取多尺度扬声器的功能，然后送入一个Transformer编码器-解码器，以预测一组日志目标学习查询嵌入。为了考虑语音信号的时间特性，将双向LSTM插入到掩码预测模块中以提高时间一致性。我们的模型以统一的方式处理未知数量的扬声器，语音重叠以及声音活动检测。多媒体和会议数据集上的实验证明了该方法的有效性。
2021-12-14 cs.SD eess.AS
Turn-to-Diarize: Online Speaker Diarization Constrained by Transformer Transducer Speaker Turn Detection
Google（谷歌）
在本文中，我们提出了一种新的扬声器日记系统的流式设备上的应用程序。在这个系统中，我们使用一个Transformer传感器来检测说话人的话轮，用一个说话人嵌入来表示每个说话人的话轮，然后用检测到的说话人话轮的约束来聚类这些嵌入。与传统的基于聚类的日记系统相比，由于说话人话轮的稀疏性，我们的系统大大降低了聚类的计算成本。与其他需要标注时间戳的说话人标签进行训练的有监督的说话人日志化系统不同，我们的系统只需要在转录过程中包括说话人回合标记，这在很大程度上减少了数据收集中涉及的人工努力。
2022-01-25 cs.LG cs.SD eess.AS
Spatial-aware Speaker Diarization for Multi-channel Multi-party Meeting
Xiamen University（厦门大学）
本文描述了一种用于多通道多方会议的空间感知说话人日志化系统。日志化系统通过麦克风阵列获取说话人的方向信息。说话人空间域嵌入由超定向波束形成（SDB）得到的xvector和s-vector生成，增强了空间域嵌入的鲁棒性。具体来说，我们提出了一种新的多通道序列到序列神经网络架构命名为歧视性多流神经网络（DMSNet），它由注意力超定向波束形成（ASDB）块和构象编码器。建议ASDB是一个自适应的通道式块，提取潜在的空间特征的阵列音频建模通道之间的相互依赖性。我们探索DMSNet来解决多声道音频上的语音重叠问题，并在评估集上达到93.53%的准确率。通过基于DMSNet的重叠语音检测（OSD）模块，聚类语音识别系统的语音识别错误率（DER）从13.45%显著降低到7.64%。
2022-09-24 cs.SD eess.AS
TSUP Speaker Diarization System for Conversational Short-phrase Speaker Diarization Challenge
Northwestern Polytechnical University (NPU)（西北工业大学）；Shenzhen Transsion Holding Limited（深圳传音控股股份有限公司）
本文介绍了TSUP团队在ISCSLP 2022 CSSD挑战赛中的说话人日志系统，比较了SC、TS-VAD和EEND三种方法，发现SC在CDER指标下表现最佳，超参数调优对CDER至关重要，而DOVER-LAP融合会恶化CDER，最终SC系统排名第三。
2022-10-26 cs.AI cs.SD eess.AS
Neural Speaker Diarization with Speaker-Wise Chain Rule
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
说话人日志化是多说话人音频处理的重要步骤。虽然端到端神经日志化（EEND）方法实现了最先进的性能，但它仅限于固定数量的扬声器。在本文中，我们解决了这个固定数量的发言人的问题，一个新的发言人明智的条件推理方法的基础上概率链规则。在该方法中，每个说话人的语音活动被视为一个单一的随机变量，并估计顺序的条件下，先前估计的其他说话人的语音活动。类似于其他序列到序列模型，所提出的方法产生一个可变数量的扬声器与停止序列条件。我们评估了所提出的方法对多个扬声器的音频记录的可变数量的扬声器。实验结果表明，该方法可以正确地产生与可变数量的说话人的日记化结果，并优于最先进的端到端的说话人日记化方法的日记化错误率。
2020-06-02 cs.CL cs.SD eess.AS
Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（科大讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种分离引导的说话人日志化（SGSD）方法，充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化（CSD）方法不能很好地处理重叠的语音段，我们调查，在这项研究中，基于分离的说话人日记化（SSD），它固有的潜力，以处理说话人重叠区域。我们的初步分析表明，最先进的基于Conv-TasNet的语音分离，这是相当不错的模拟数据，是不稳定的，在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时，基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言，几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音（CTS）数据上的实验表明，所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能，产生的相对日记错误率降低20.2%和20.8%的开发集和评估集，分别。
2021-07-06 cs.SD eess.AS
A Review of Common Online Speaker Diarization Methods
University of Applied Science Ansbach（安斯应用技术大学）；Faculty of Business（商学院）
本文针对需低延迟实时输出说话人标签的场景，对在线说话人日志领域展开综述，梳理发展历程、给出分类体系与数据集，详述相关方法系统并提出未来待解挑战。
2024-06-20 cs.CL cs.SD eess.AS
EEND-DEMUX: End-to-End Neural Speaker Diarization via Demultiplexed Speaker Embeddings
Seoul National University（首尔大学）；Institute of New Media and Communications（新媒体与通信研究所）
提出 EEND-DEMUX 框架，通过解复用操作直接获得分离的说话人嵌入，并结合多头交叉注意力与三类约束损失，在 LibriMix 的固定及可变说话人数场景中持续提升说话人日志性能。
2023-12-11 cs.SD eess.AS
Speaker Diarization with Lexical Information
University of Southern California（南加州大学）；JD AI Research（京东人工智能研究院）
本文提出了一种利用自动语音识别提供的词汇信息进行说话人日志化的新方法。我们提出了一个说话人日记系统，可以将单词级说话人转向概率与说话人嵌入到说话人聚类过程中，以提高整体日记的准确性。为了在聚类过程中全面地整合词汇和声学信息，我们引入了一种邻接矩阵整合的谱聚类方法。由于单词和单词边界信息的单词级说话人转向概率估计提供的语音识别系统，我们提出的方法的工作原理，没有任何人为干预的手动transmittance。我们表明，所提出的方法提高了各种评估数据集上的日志化性能相比，基线日志化系统只使用声学信息在扬声器嵌入。
2020-04-13 cs.CL cs.SD eess.AS
Spatial-Temporal Activity-Informed Diarization and Separation
National Tsing Hua University（台湾清华大学）
本文提出结合阵列信号处理与深度学习的多通道说话人日志与分离系统，通过空间相干矩阵、SASDnet及GLASEnet实现，在低复杂度下取得优于基线的日志、计数与分离性能。
2024-01-30 cs.SD eess.AS
DiaCorrect: End-to-end error correction for speaker diarization
本文提出端到端纠错框架 DiaCorrect，通过利用混合信号与说话人活动之间的声学交互自动修正初始分离结果，使 SA-EEND 在两人会议数据上的 DER 从 12.31% 降至 4.63%。
2023-09-18 cs.SD eess.AS
Enhancing Speaker Diarization with Large Language Models: A Contextual Beam Search Approach
NVIDIA（英伟达）
本文提出一种结合大语言模型（LLM）和声学模型的联合束搜索说话人日志方法，通过在推理阶段融合词汇知识，有效利用上下文线索，使说话人属性词错误率（SA-WER）相对基线最高降低39.8%。
2023-09-14 cs.SD eess.AS
Improving Transformer-based End-to-End Speaker Diarization by Assigning Auxiliary Losses to Attention Heads
Hanyang University（汉阳大学）
基于transformer的端到端神经说话人日志（EEND）模型利用多头自注意（SA）机制，在重叠语音区域中实现准确的说话人标签预测。在这项研究中，为了提高SA-EEND模型的训练效果，我们建议使用辅助损耗的SA头的Transformer层。具体来说，我们假设SA层的注意力权重矩阵是冗余的，如果它们的模式类似于单位矩阵。然后，我们明确地约束这样的矩阵表现出特定的扬声器活动模式相关的语音活动检测或重叠的语音检测任务。因此，我们期望所提出的辅助损耗来引导Transformer层在注意力权重中表现出更多样化的模式，从而减少SA头中的假设冗余。使用模拟数据集和CALLHOME数据集对两个说话人的日志化任务进行了实验，结果表明该方法的有效性，将传统SA-EEND模型的日志化错误率分别降低了32.58%和17.11%。
2023-03-02 cs.SD eess.AS
Mamba-based Segmentation Model for Speaker Diarization
NTT Corporation（NTT公司）
针对长音频说话人日志任务中注意力模型内存受限及RNN能力不足的问题，提出基于Mamba的分割模型，利用更长局部窗口提升说话人嵌入可靠性，在三个数据集上达到SOTA。
2024-10-10 cs.SD eess.AS
Towards Measuring and Scoring Speaker Diarization Fairness
SAMOVAR, Telecom SudParis, Institut Polytechnique de Paris（SAMOVAR，巴黎电信学院，巴黎综合理工学院）；Newsbridge
说话人日志化，或者说寻找“谁在什么时候说话”的任务，现在几乎被用在每一个语音处理应用中。然而，由于没有一个协议来逐一研究其偏倚，因此尚未对其公平性进行评估。在本文中，我们提出了一个协议和一个评分方法，旨在评估扬声器日记公平性。该协议被应用于一个大的口语数据集，并根据性别，年龄，说话人的口音和口语句子的长度报告说话人日记化的性能。当我们应用最先进的说话人日记化方法时，我们发现了一些由说话人的性别或口音引起的偏见。
2023-02-20 cs.CL cs.SD eess.AS
End-to-End Neural Diarization: Reformulating Speaker Diarization as Simple Multi-label Classification
Hitachi, Ltd.（日立有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
最常见的说话人日志化方法是说话人嵌入聚类。然而，基于聚类的方法具有许多问题;即，(i)它没有被优化以直接最小化日志化误差，（i i）它不能正确地处理扬声器重叠，以及（iii）它难以使它们的扬声器嵌入模型适应具有扬声器重叠的真实音频记录。为了解决这些问题，我们提出了端到端神经日记（EEND），其中神经网络直接输出多个扬声器录音的扬声器日记结果。为了实现这样一个端到端的模型，我们制定了一个多标签分类问题的说话人日记化问题，并引入一个置换自由的目标函数，直接最大限度地减少日记错误。除了端到端的简单性，EEND方法可以显式地处理训练和推理过程中的说话人重叠。只需为多个说话者录音提供相应的说话者片段标签，我们的模型就可以很容易地适应真实的对话。我们评估了我们的方法模拟语音混合和真实的会话数据集。结果表明，EEND方法优于最先进的基于x向量聚类的方法，同时它正确地处理了说话人重叠。我们探索了用于EEND方法的神经网络架构，并发现基于自注意力的神经网络是实现优异性能的关键。与使用双向长短期记忆（BLSTM）仅对网络的前一个和下一个隐藏状态进行调节相反，自我注意力直接对所有帧进行调节。通过可视化的注意力权重，我们表明，自我注意捕捉全球扬声器特性，除了本地语音活动动态，使其特别适合于处理扬声器日记化问题。
2020-02-24 cs.CL cs.SD eess.AS
End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors
Hitachi, Ltd.（日立公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了未知数量说话人的端到端说话人日志化问题。最近提出的端到端的发言人日记优于传统的基于聚类的发言人日记，但它有一个缺点：它是不太灵活的发言人的数量。本文提出了一种基于编码器-解码器的吸引子计算（EDA）方法，该方法首先从语音嵌入序列中生成灵活数量的吸引子。然后，将生成的多个吸引子乘以语音嵌入序列以产生相同数量的说话人活动。语音嵌入序列的提取使用传统的自注意端到端神经说话人日记（SA-EEND）网络。在双扬声器条件下，我们的方法在模拟混合物上实现了2.69%的日记化错误率（DER），在CALLHOME的双扬声器子集上实现了8.07%的DER，而vanilla SA-EEND分别达到了4.56%和9.54%。在未知说话人数量的条件下，我们的方法在CALLHOME上获得了15.29%的DER，而基于x向量的聚类方法获得了19.43%的DER。
2020-10-05 cs.CL cs.SD eess.AS
Streaming Sortformer: Speaker Cache-Based Online Speaker Diarization with Arrival-Time Ordering
本文为 Sortformer 提出流式扩展，利用按到达时间排序并动态更新的 AOSC 缓存帧级嵌入，实现低延迟、高精度的实时在线多说话人日志分离。
2025-07-24 cs.SD eess.AS
Leveraging Speaker Embeddings in End-to-End Neural Diarization for Two-Speaker Scenarios
本文研究在端到端神经说话人分离中融入说话人嵌入以增强双说话人场景下的区分能力，提出多种嵌入融合方法并分析静音帧、窗口长度和编码器大小的影响，在CallHome数据集上实现10.78%的相对错误率降低。
2024-07-01 cs.AI cs.SD eess.AS
Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对现有说话人日志方法仅依赖声学信息导致不利条件下性能下降的问题，提出从会议语义内容提取说话人信息，并联合建模声学与语义信息，在AISHELL-4和AliMeeting数据集上取得一致改进。
2023-05-22 cs.CL cs.SD eess.AS
Self-supervised Representation Learning With Path Integral Clustering For Speaker Diarization
Indian Institute of Science（印度科学学院）
自动说话人日记化技术通常涉及两阶段处理方法，其中在第一阶段中将固定持续时间的音频段转换为向量表示。然后在第二阶段对表示进行无监督聚类。在大多数现有方法中，这两个阶段以具有独立优化步骤的隔离方式执行。在本文中，我们提出了一种表示学习和聚类算法，可以迭代执行改进的扬声器日记。表示学习是基于自监督学习的原则，而聚类算法是一种基于路径积分聚类（PIC）的图结构方法。表示学习步骤使用来自PIC的聚类目标，聚类步骤对从自监督深度模型学习的嵌入执行。这种迭代方法被称为自监督聚类（SSC）。在CALLHOME和AMI会议数据集上进行了日志化实验。在这些实验中，我们表明SSC算法在基线系统上有显著改进（在日志化错误率（DER）方面，CALLHOME和AMI数据集分别相对改进了13%和59%）。此外，在这项工作中报告的DER结果改善了其他几个最近的方法发言人日记。
2021-04-19 cs.SD eess.AS
Investigating Confidence Estimation Measures for Speaker Diarization
Solventum（舒万诺公司）
本文研究了多种生成说话人日志置信度分数的方法，实验表明最优方法能在置信度最低的约10%片段中分离出约30%的错误，有效辅助下游系统缓解日志错误。
2024-06-24 cs.LG cs.SD eess.AS
Frame-wise streaming end-to-end speaker diarization with non-autoregressive self-attention-based attractors
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出逐帧流式端到端说话人日志分离方法 FS-EEND，通过因果嵌入编码器、非自回归自注意力吸引子解码器和有限前瞻实现实时说话人检测与吸引子更新，并在低延迟、低成本下达到最先进性能。
2023-09-25 cs.SD eess.AS
Speaker Embedding-aware Neural Diarization for Flexible Number of Speakers with Textual Information
Speech Lab, Alibaba Group（阿里巴巴集团语音实验室）
重叠语音分类问题通常被看作是一个多标签分类问题。在本文中，我们将这个任务转化为一个单标签预测问题，通过使用幂集对多说话人标签进行编码。具体来说，我们提出了说话人嵌入感知神经日记化（SEND）方法，该方法根据语音特征与给定说话人嵌入之间的相似性来预测幂集编码标签。我们的方法是进一步扩展和整合下游任务，利用文本信息，这在以前的文献中没有得到很好的研究。实验结果表明，我们的方法实现了较低的日志出错率比目标说话人的语音活动检测。当包含文本信息时，可以进一步减少日志化错误。对于真实的会议场景，我们的方法可以实现34.11%的相对改善基于贝叶斯隐马尔可夫模型的聚类算法相比。
2021-11-28 cs.LG cs.SD eess.AS
Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation
Alibaba Group（阿里巴巴集团）
本文提出一种利用语义信息改进基于聚类的说话人日志系统的新方法，通过口语理解模块提取语义并构建成对约束，实验证明其性能优于仅用声学特征的系统。
2024-02-04 cs.CL cs.SD eess.AS
Multi-class Spectral Clustering with Overlaps for Speaker Diarization
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文描述了一种基于语音感知的说话人日志化方法。给定重叠检测器和扬声器嵌入提取器，我们的方法执行重叠检测器的输出通知的段的谱聚类。这是通过将离散聚类问题转化为一个凸优化问题，通过特征分解来解决。此后，我们离散化的解决方案，交替使用奇异值分解和修改后的版本的非最大抑制的重叠检测器的输出的约束。此外，我们详细介绍了一个基于HMM-DNN的重叠检测器，它通过HMM状态转换执行帧级分类并强制执行持续时间约束。我们的方法实现了一个测试日志错误率（DER）的24.0%的混合耳机设置的AMI会议语料库，这是一个相对的15.2%的改进，一个强大的凝聚层次聚类基线，并与其他的日志感知的日志方法相比毫不逊色。对LibriCSS数据的进一步分析表明了该方法在高重叠条件下的有效性。
2020-11-05 cs.SD eess.AS
Continuous Target Speech Extraction: Enhancing Personalized Diarization and Extraction on Complex Recordings
College of ISEE Zhejiang University（浙江大学信息与电子工程学院）；Tencent AI Lab（腾讯AI实验室）
针对真实场景中说话人重叠多变、目标缺失等复杂情况，提出含A-TSVAD和TSE模型的连续目标语音提取框架，可直接生成目标说话人时间戳，级联整合方式能提升分离与提取准确率，增强个性化性能。
2024-01-29 cs.SD eess.AS
Overlap-aware low-latency online speaker diarization based on end-to-end local segmentation
CNRS（法国国家科学研究中心）；IRIT（图卢兹信息研究所）
我们建议解决在线扬声器日记的增量聚类和本地日记的组合应用于滚动缓冲区更新每500毫秒。所提出的流水线的每一个步骤都被设计为充分利用最近提出的端到端语音感知分割的强大能力来检测和分离重叠的扬声器。特别是，我们提出了一个修改后的版本的统计池层（最初引入的x向量架构）给帧的分割模型预测同步扬声器的权重较小。此外，我们从初始分割步骤中推导出cannot-link约束，以防止两个本地扬声器在增量聚类步骤中被错误地合并。最后，我们展示了如何在500 ms和5 s之间调整所提出的方法的延迟，以满足特定用例的要求，并且我们提供了延迟对整体性能（AMI，DIHARD和VoxConverse）的影响的系统分析。
2021-09-14 cs.SD eess.AS
Transcribe-to-Diarize: Neural Speaker Diarization for Unlimited Number of Speakers using End-to-End Speaker-Attributed ASR
Microsoft（微软）
本文提出了一种新的神经说话人日志化方法，即Transcribe-to-Diarize，它使用端到端（E2 E）说话人属性自动语音识别（SA-ASR）。E2 E SA-ASR是最近提出的用于说话者计数、多说话者语音识别和来自包含重叠语音的单声道音频的说话者识别的联合模型。虽然E2 E SA-ASR模型最初不估计任何与时间相关的信息，但我们表明，通过添加少量可学习的参数，可以从E2 E SA-ASR的内部状态以足够的精度估计每个单词的开始和结束时间。与基于目标说话人语音活动检测（TS-VAD）的日志化方法类似，E2 E SA-ASR模型被应用于估计每个说话人的语音活动，同时它具有以下优点：（i）处理无限数量的说话人，（ii）利用语言信息进行说话人日志化，以及（iii）同时生成说话人属性transmittance。在LibriCSS和AMI语料库上的实验结果表明，当说话人数目未知时，该方法的语音识别错误率明显优于现有的各种说话人语音识别方法;当说话人数目预先给定时，该方法的语音识别性能与TS-VAD相当.所提出的方法同时生成扬声器属性的转录与国家的最先进的准确性。
2022-01-22 cs.CL cs.SD eess.AS
Using Active Speaker Faces for Diarization in TV shows
University of Southern California（南加州大学）
说话人日记化是计算媒体智能的关键组成部分之一，因为它能够对故事描述和媒体内容理解进行人物级别的分析。娱乐媒体的自动化的基于音频的扬声器日志化由于媒体内容中存在的不同声学条件（无论是背景音乐、重叠扬声器还是声音效果）而提出了挑战。同时，在视觉模态中说话的面孔提供补充信息，并且不容易出现在音频模态中看到的错误。在本文中，我们解决的问题，说话人日记在电视节目中使用的积极发言人的面孔。我们进行人脸聚类的积极发言人的脸，并表现出优越的发言人日记化性能相比，最先进的音频为基础的日记化方法。我们还报告了一个系统的分析，积极的说话人的脸检测质量的日记性能的影响。我们还观察到，一个中等性能良好的主动扬声器系统可以优于基于音频的日记系统。
2022-03-30 cs.CV cs.MM cs.SD
DIVE: End-to-end Speech Diarization via Iterative Speaker Embedding
Google Research（谷歌研究院）
我们介绍了DIVE，一个端到端的说话人日志化算法。我们的神经算法将日志化任务呈现为一个迭代过程：它重复地为每个说话者构建一个表示，然后根据提取的表示来预测每个说话者的语音活动。该策略本质上解决了说话人排序模糊，而不需要经典的排列不变训练损失。与以前的工作相比，我们的模型不依赖于预先训练的扬声器表示，并优化了系统的所有参数与多扬声器语音活动损失。重要的是，我们的损失明确排除了不可靠的说话人回合边界的训练，这是适应于标准的基于衣领的日记出错率（DER）的评估。总的来说，这些贡献产生了一个系统，重新定义了标准CALLHOME基准的最新技术水平，DER为6.7%，而最佳替代方案为7.8%。
2021-05-28 cs.LG cs.SD eess.AS
Self-Supervised Metric Learning With Graph Clustering For Speaker Diarization
Indian Institute of Science（印度科学学院）
在本文中，我们提出了一种新的算法，说话人日记使用基于图的聚类度量学习。图聚类算法使用由相似性分数组成的邻接矩阵。这些分数是在从给定记录内的音频片段对中提取的扬声器嵌入之间计算的。在本文中，我们提出了一种方法，共同学习的发言人嵌入和相似性度量的原则，自监督学习。度量学习网络实现了概率线性判别分析（PLDA）的神经模型。自我监督是从先前的聚类迭代中获得的伪标签中得到的。表示学习和度量学习的整个模型都是用二进制交叉熵损失来训练的。通过将基于自监督的度量学习与基于图的聚类算法相结合，我们在AMI和DIHARD数据集上分别实现了60%和7%的相对改进。
2021-09-14 cs.SD eess.AS
