Speaker Diarization with Region Proposal Network
Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日志化是许多语音应用中的一个重要的预处理步骤，它旨在解决“谁在什么时候说话”的问题。虽然标准的日记化系统可以在不同的场景中取得令人满意的结果，但它们是由多个独立优化的模块组成的，并且不能处理重叠的语音。本文提出了一种新的说话人日志化方法：基于区域建议网络的说话人日志化（RPNSD）。在该方法中，神经网络生成重叠的语音段建议，并同时计算它们的说话人嵌入。与标准的日志化系统相比，RPNSD具有更短的流水线，并能处理重叠语音。三个日志数据集上的实验结果表明，RPNSD实现了显着的改进，比国家的最先进的x向量基线。
2020-02-14 cs.SD eess.AS
End-to-End Speaker Diarization Conditioned on Speech Activity and Overlap Detection
Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）
在本文中，我们提出了一个有条件的多任务学习方法的端到端神经说话人日记（EEND）。与传统的基于聚类的方法相比，EEND系统表现出良好的性能，特别是在重叠语音的情况下。在本文中，为了进一步提高EEND系统的性能，我们提出了一种新的多任务学习框架，解决了扬声器日记和所需的子任务，同时明确考虑任务依赖。我们优化说话人日记的条件下，语音活动和重叠检测的子任务的说话人日记，基于概率链规则。实验结果表明，我们提出的方法可以利用一个子任务来有效地建模说话人日记，并优于传统的EEND系统的日记错误率。
2021-06-08 cs.SD eess.AS
The BUCEA Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
Beijing University of Civil Engineering and Architecture（北京建筑大学）
本文介绍了BUCEA扬声器日记系统为2022 VoxCeleb扬声器识别挑战赛。Voxsrc-22提供VoxConverse的开发集和测试集，我们主要使用VoxConverse的测试集进行参数调整。该系统包括语音活动检测、说话人嵌入提取、聚类方法、重叠语音检测和结果融合等模块。在不考虑重叠的情况下，采用Dover-Rank（Diarization Output Voting Error Reduction）方法进行系统融合，最后进行重叠语音的检测和处理。我们最好的系统在VoxSRC 2022评估集上分别实现了5.48%的日记出错率（DER）和32.1%的Jaccard出错率（JER）。
2022-09-20 cs.SD eess.AS
Microsoft Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2020
Microsoft（微软公司）
本文介绍了用于野外单声道多人录音的Microsoft扬声器日记系统，该系统在VoxCeleb说话人识别挑战赛（VoxSRC）2020的日记轨道上进行了评估。我们将首先解释我们的系统设计，以解决处理真实多说话者录音的问题。然后，我们提出的组件的细节，其中包括基于Res2Net的说话人嵌入提取器，符合者为基础的连续语音分离与泄漏滤波，和一个修改后的DOVER（缩写为Diarization Output Voting Error Reduction）方法系统融合。我们使用VoxSRCchallenge 2020提供的数据集对系统进行了评估，该数据集包含从YouTube收集的真实多人音频。我们的最佳系统在开发集和评估集上分别实现了3.71%和6.23%的日志错误率（DER），在挑战的日志跟踪中排名第一。
2020-10-23 cs.SD eess.AS
Speaker Embeddings With Weakly Supervised Voice Activity Detection For Efficient Speaker Diarization
IDLab, Department of Electronics；Information Systems Ghent University - imec, Belgium
针对现有说话人分割依赖外部VAD带来开销的问题，提出利用说话人嵌入提取器的注意力作为弱监督内部VAD，用ECAPA2嵌入同时实现VAD与嵌入提取，在多个基准上取得SOTA性能。
2024-05-15 cs.SD eess.AS
Can We Really Repurpose Multi-Speaker ASR Corpus for Speaker Diarization?
NTT, Inc.（日本NTT公司）
针对神经说话人日志记录依赖大型多说话人数据集的需求，研究发现复用ASR语料库的松散边界会降低评估可靠性与泛化能力，而采用强制对齐的严格边界训练可同时提升日志记录（尤其是流式场景）与ASR性能。
2025-08-25 cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group（阿里巴巴集团）
说话人嵌入是说话人相关任务的基本特征，如验证，聚类和日志化。传统上，说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计，特别是在处理较短的话语时。在本文中，我们提出了一个“浮动”向量，其状态是不确定的，而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型，该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调，例如说话人验证，说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
pyannote.audio: neural building blocks for speaker diarization
我们介绍pyannote.audio，这是一个用Python编写的用于演讲者日记的开源工具包。基于PyTorch机器学习框架，它提供了一组可训练的端到端神经构建块，可以组合并联合优化以构建扬声器日志化管道。pyannote.audio还提供了预先训练的模型，涵盖了语音活动检测、说话人变化检测、重叠语音检测和说话人嵌入的广泛领域，其中大多数都达到了最先进的性能。
2019-11-04 cs.SD eess.AS
Pretraining Multi-Speaker Identification for Neural Speaker Diarization
NTT Corporation（日本电信电话公司）
本文提出预训练多说话人识别模型作为替代方案，利用大规模说话人识别数据集，无需模拟对话数据即可实现高精度轻量级的局部说话人日志模型。
2025-05-30 cs.SD eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation（腾讯公司）
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统，通过联合训练编码器与解码器并利用预训练模型初始化，有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
X-Vectors with Multi-Scale Aggregation for Speaker Diarization
Samsung Research America（三星美国研究院）
说话人日志化是在语音信号中标记不同说话人的过程。深度说话人嵌入通常从短语音段中提取并聚类以确定属于相同说话人身份的段。通过统计池化帧级表示来嵌入片段级说话人特征的x向量是说话人日志化中使用最广泛的深度说话人嵌入之一。多尺度聚合，它采用来自不同层的多尺度表示，最近已成功地用于短时间说话人确认。在本文中，我们研究了一种多尺度聚合方法在x向量嵌入框架的扬声器日志化，利用多个统计池层从不同的帧级层。因此，预计具有多尺度聚合的x向量具有从短片段捕获有意义的说话者特征的潜力，有效地利用多层的不同信息。在CALLHOME数据集上的实验评估表明，我们的方法比基线x向量有了很大的改进。
2021-05-16 cs.SD eess.AS
Turn-to-Diarize: Online Speaker Diarization Constrained by Transformer Transducer Speaker Turn Detection
Google（谷歌）
在本文中，我们提出了一种新的扬声器日记系统的流式设备上的应用程序。在这个系统中，我们使用一个Transformer传感器来检测说话人的话轮，用一个说话人嵌入来表示每个说话人的话轮，然后用检测到的说话人话轮的约束来聚类这些嵌入。与传统的基于聚类的日记系统相比，由于说话人话轮的稀疏性，我们的系统大大降低了聚类的计算成本。与其他需要标注时间戳的说话人标签进行训练的有监督的说话人日志化系统不同，我们的系统只需要在转录过程中包括说话人回合标记，这在很大程度上减少了数据收集中涉及的人工努力。
2022-01-25 cs.LG cs.SD eess.AS
TSUP Speaker Diarization System for Conversational Short-phrase Speaker Diarization Challenge
Northwestern Polytechnical University (NPU)（西北工业大学）；Shenzhen Transsion Holding Limited（深圳传音控股股份有限公司）
本文介绍了TSUP团队在ISCSLP 2022 CSSD挑战赛中的说话人日志系统，比较了SC、TS-VAD和EEND三种方法，发现SC在CDER指标下表现最佳，超参数调优对CDER至关重要，而DOVER-LAP融合会恶化CDER，最终SC系统排名第三。
2022-10-26 cs.AI cs.SD eess.AS
Neural Speaker Diarization with Speaker-Wise Chain Rule
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
说话人日志化是多说话人音频处理的重要步骤。虽然端到端神经日志化（EEND）方法实现了最先进的性能，但它仅限于固定数量的扬声器。在本文中，我们解决了这个固定数量的发言人的问题，一个新的发言人明智的条件推理方法的基础上概率链规则。在该方法中，每个说话人的语音活动被视为一个单一的随机变量，并估计顺序的条件下，先前估计的其他说话人的语音活动。类似于其他序列到序列模型，所提出的方法产生一个可变数量的扬声器与停止序列条件。我们评估了所提出的方法对多个扬声器的音频记录的可变数量的扬声器。实验结果表明，该方法可以正确地产生与可变数量的说话人的日记化结果，并优于最先进的端到端的说话人日记化方法的日记化错误率。
2020-06-02 cs.CL cs.SD eess.AS
A Review of Common Online Speaker Diarization Methods
University of Applied Science Ansbach（安斯应用技术大学）；Faculty of Business（商学院）
本文针对需低延迟实时输出说话人标签的场景，对在线说话人日志领域展开综述，梳理发展历程、给出分类体系与数据集，详述相关方法系统并提出未来待解挑战。
2024-06-20 cs.CL cs.SD eess.AS
Speaker Diarization with Lexical Information
University of Southern California（南加州大学）；JD AI Research（京东人工智能研究院）
本文提出了一种利用自动语音识别提供的词汇信息进行说话人日志化的新方法。我们提出了一个说话人日记系统，可以将单词级说话人转向概率与说话人嵌入到说话人聚类过程中，以提高整体日记的准确性。为了在聚类过程中全面地整合词汇和声学信息，我们引入了一种邻接矩阵整合的谱聚类方法。由于单词和单词边界信息的单词级说话人转向概率估计提供的语音识别系统，我们提出的方法的工作原理，没有任何人为干预的手动transmittance。我们表明，所提出的方法提高了各种评估数据集上的日志化性能相比，基线日志化系统只使用声学信息在扬声器嵌入。
2020-04-13 cs.CL cs.SD eess.AS
USED: Universal Speaker Extraction and Diarization
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Saw Swee Hock School of Public Health, National University of Singapore（新加坡国立大学苏瑞福公共卫生学院）；Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本研究提出统一模型USED，解决说话人提取与说话人日志任务的输出不一致和场景不匹配问题，可处理不同重叠度、不同说话人数的混合语音，在多个数据集上性能优于现有基线与近期方法。
2025-01-16 cs.SD eess.AS
The ByteDance Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2021
ByteDance（字节跳动）
本文描述了用于VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）第四轨的字节跳动扬声器日志化系统。VoxSRC-21提供VoxConverse的开发集和测试集用于验证，并提供独立的测试集用于评估。我们首先收集所有音频的持续时间和信噪比（SNR），发现VoxConverse的测试集和VoxSRC-21的测试集的分布更加接近。我们的系统包括语音主动检测（VAD），说话人嵌入提取，谱聚类，然后是一个基于凝聚层次聚类（AHC）和重叠语音检测和处理的重新聚类步骤。最后，我们使用DOVER-Lap集成具有不同时间尺度的系统。我们的最佳系统在评估集上达到了5.15%的日志出错率，在挑战的日志跟踪中排名第二。
2021-09-05 cs.SD eess.AS
Online Streaming End-to-End Neural Diarization Handling Overlapping Speech and Flexible Numbers of Speakers
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种基于端到端神经日志化（EEND）模型的流日志化方法，该方法可以处理灵活的说话人数量和重叠语音。在我们之前的研究中，提出了说话人跟踪缓冲区（STB）机制，使用预训练的EEND模型实现分块流式日志化。STB跟踪先前块中的说话者信息以映射新块中的说话者。但是，它只适用于两个扬声器的录音。在本文中，我们提出了一个扩展的STB灵活的扬声器，FLEX-STB。所提出的方法使用零填充，然后是扬声器跟踪，其消除了缓冲区和当前块之间的扬声器数量的差异。我们还研究了缓冲区更新策略，以选择重要帧来跟踪多个说话者。CALLHOME和DIHARD II数据集上的实验表明，该方法实现了与离线EEND方法相当的性能，延迟为1秒。结果还表明，我们提出的方法优于最近提出的基于EEND（BW-EDA-EEND）的分块日记化方法。
2021-04-07 cs.SD eess.AS
Speaker Diarization: Using Recurrent Neural Networks
Utah State University（犹他州立大学）
Speaker Diarization是在音频中分离扬声器的问题。可以有任何数量的发言者和最终结果应国家发言时开始和结束。在这个项目中，我们分析给定的音频文件与2通道和2扬声器（在单独的通道）。我们训练神经网络来学习一个人说话的时候。我们使用不同类型的神经网络，具体来说，单层感知器（SLP），多层感知器（MLP），递归神经网络（RNN）和卷积神经网络（CNN），我们实现了$\sim$ 92%的准确率与RNN。该项目的代码可在https://github.com/vishalshar/SpeakerDiarization_RNN_CNN_LSTM上获得
2020-06-10 cs.SD eess.AS
Using Active Speaker Faces for Diarization in TV shows
University of Southern California（南加州大学）
说话人日记化是计算媒体智能的关键组成部分之一，因为它能够对故事描述和媒体内容理解进行人物级别的分析。娱乐媒体的自动化的基于音频的扬声器日志化由于媒体内容中存在的不同声学条件（无论是背景音乐、重叠扬声器还是声音效果）而提出了挑战。同时，在视觉模态中说话的面孔提供补充信息，并且不容易出现在音频模态中看到的错误。在本文中，我们解决的问题，说话人日记在电视节目中使用的积极发言人的面孔。我们进行人脸聚类的积极发言人的脸，并表现出优越的发言人日记化性能相比，最先进的音频为基础的日记化方法。我们还报告了一个系统的分析，积极的说话人的脸检测质量的日记性能的影响。我们还观察到，一个中等性能良好的主动扬声器系统可以优于基于音频的日记系统。
2022-03-30 cs.CV cs.MM cs.SD
Towards Measuring and Scoring Speaker Diarization Fairness
SAMOVAR, Telecom SudParis, Institut Polytechnique de Paris（SAMOVAR，巴黎电信学院，巴黎综合理工学院）；Newsbridge
说话人日志化，或者说寻找“谁在什么时候说话”的任务，现在几乎被用在每一个语音处理应用中。然而，由于没有一个协议来逐一研究其偏倚，因此尚未对其公平性进行评估。在本文中，我们提出了一个协议和一个评分方法，旨在评估扬声器日记公平性。该协议被应用于一个大的口语数据集，并根据性别，年龄，说话人的口音和口语句子的长度报告说话人日记化的性能。当我们应用最先进的说话人日记化方法时，我们发现了一些由说话人的性别或口音引起的偏见。
2023-02-20 cs.CL cs.SD eess.AS
End-to-end Online Speaker Diarization with Target Speaker Tracking
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
提出一种在线目标说话人语音活动检测系统，无需聚类先验知识，通过自生成嵌入实现实时说话人日志，在DIHARD III和AliMeeting上优于离线方法，并扩展到多通道数据。
2023-10-12 cs.SD eess.AS
Training-Free Affinity Fusion of Neural and Embedding-Based Speaker Diarization
Linguana；Technion – Israel Institute of Technology（以色列理工学院）
提出无训练亲和融合（TFAF），将神经日志器的说话人分区与嵌入亲和矩阵结合，无需额外训练，在AMI和CALLHOME上提升日志性能。
2026-10-01 cs.LG cs.SD
The DKU-DukeECE-Lenovo System for the Diarization Task of the 2021 VoxCeleb Speaker Recognition Challenge
DKU（昆山杜克大学）；DukeECE（杜克大学电子与计算机工程系）；Lenovo（联想）
本报告介绍了DKU-DukeECE-Lenovo团队提交的VoxCeleb说话人识别挑战赛（VoxSRC）2021年第4场比赛。我们的系统包括一个语音活动检测（VAD）模型，说话人嵌入模型，两个基于聚类的说话人日记系统与不同的相似性测量，两个不同的重叠语音检测（OSD）模型，和一个目标说话人语音活动检测（TS-VAD）模型。我们的最终提交，由5个独立的系统组成，在挑战测试集上实现了5.07%的DER。
2021-09-07 cs.SD eess.AS
End-to-End Neural Diarization: Reformulating Speaker Diarization as Simple Multi-label Classification
Hitachi, Ltd.（日立有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
最常见的说话人日志化方法是说话人嵌入聚类。然而，基于聚类的方法具有许多问题;即，(i)它没有被优化以直接最小化日志化误差，（i i）它不能正确地处理扬声器重叠，以及（iii）它难以使它们的扬声器嵌入模型适应具有扬声器重叠的真实音频记录。为了解决这些问题，我们提出了端到端神经日记（EEND），其中神经网络直接输出多个扬声器录音的扬声器日记结果。为了实现这样一个端到端的模型，我们制定了一个多标签分类问题的说话人日记化问题，并引入一个置换自由的目标函数，直接最大限度地减少日记错误。除了端到端的简单性，EEND方法可以显式地处理训练和推理过程中的说话人重叠。只需为多个说话者录音提供相应的说话者片段标签，我们的模型就可以很容易地适应真实的对话。我们评估了我们的方法模拟语音混合和真实的会话数据集。结果表明，EEND方法优于最先进的基于x向量聚类的方法，同时它正确地处理了说话人重叠。我们探索了用于EEND方法的神经网络架构，并发现基于自注意力的神经网络是实现优异性能的关键。与使用双向长短期记忆（BLSTM）仅对网络的前一个和下一个隐藏状态进行调节相反，自我注意力直接对所有帧进行调节。通过可视化的注意力权重，我们表明，自我注意捕捉全球扬声器特性，除了本地语音活动动态，使其特别适合于处理扬声器日记化问题。
2020-02-24 cs.CL cs.SD eess.AS
End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors
Hitachi, Ltd.（日立公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了未知数量说话人的端到端说话人日志化问题。最近提出的端到端的发言人日记优于传统的基于聚类的发言人日记，但它有一个缺点：它是不太灵活的发言人的数量。本文提出了一种基于编码器-解码器的吸引子计算（EDA）方法，该方法首先从语音嵌入序列中生成灵活数量的吸引子。然后，将生成的多个吸引子乘以语音嵌入序列以产生相同数量的说话人活动。语音嵌入序列的提取使用传统的自注意端到端神经说话人日记（SA-EEND）网络。在双扬声器条件下，我们的方法在模拟混合物上实现了2.69%的日记化错误率（DER），在CALLHOME的双扬声器子集上实现了8.07%的DER，而vanilla SA-EEND分别达到了4.56%和9.54%。在未知说话人数量的条件下，我们的方法在CALLHOME上获得了15.29%的DER，而基于x向量的聚类方法获得了19.43%的DER。
2020-10-05 cs.CL cs.SD eess.AS
Leveraging Speaker Embeddings in End-to-End Neural Diarization for Two-Speaker Scenarios
本文研究在端到端神经说话人分离中融入说话人嵌入以增强双说话人场景下的区分能力，提出多种嵌入融合方法并分析静音帧、窗口长度和编码器大小的影响，在CallHome数据集上实现10.78%的相对错误率降低。
2024-07-01 cs.AI cs.SD eess.AS
The CUHK-TENCENT speaker diarization system for the ICASSP 2022 multi-channel multi-party meeting transcription challenge
CUHK（香港中文大学）；TENCENT（腾讯）
本文介绍了我们的发言人日记系统提交给多通道多方会议转录（M2MeT）的挑战，其中普通话会议数据记录在多通道格式的日记和自动语音识别（ASR）任务。在这些会议场景中，发言人数量的不确定性和高重叠率的语音提出了极大的挑战，日记。基于声学特征、空间相关特征和说话人相关特征之间存在有价值的互补信息的假设，提出了一种基于多层次特征融合机制的目标-说话人语音活动检测（FFM-TS-VAD）系统，以改善传统的TS-VAD系统的性能。此外，我们提出了一种数据增强方法在训练过程中，以提高系统的鲁棒性时，两个扬声器之间的角度差是相对较小的。我们提供了我们在M2MeT挑战中使用的不同子系统的比较。我们的提交是几个子系统的融合，在日记化任务中排名第二。
2022-02-04 cs.SD eess.AS
Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对现有说话人日志方法仅依赖声学信息导致不利条件下性能下降的问题，提出从会议语义内容提取说话人信息，并联合建模声学与语义信息，在AISHELL-4和AliMeeting数据集上取得一致改进。
2023-05-22 cs.CL cs.SD eess.AS
Robust Target Speaker Diarization and Separation via Augmented Speaker Embedding Sampling
Samsung R&D Institute UK (SRUK)（三星英国研发院）；Centre for Research and Technology Hellas（希腊研究中心）；Language AI R&D Group (MX)（语言AI研发组）；Samsung Electronics（三星电子）
本文提出一种通过自动识别混合语音中目标说话人嵌入来训练同时进行语音分离和日志的新方法，采用双阶段训练流程提升对背景噪声的鲁棒性，并引入重叠频谱损失函数增强重叠语音帧的日志准确度，在DER和cpWER上分别取得71%和69%的相对提升。
2025-08-08 cs.AI cs.SD
Online End-to-End Neural Diarization with Speaker-Tracing Buffer
Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种基于全监督自注意机制的在线说话人日志化算法。在线日志化固有地呈现扬声器的置换问题，这是由于在记录中错误地分配扬声器区域的可能性。为了避免这种不一致，我们提出了一个扬声器跟踪缓冲机制，选择几个输入帧表示扬声器置换信息从以前的块，并将它们存储在一个缓冲区。这些缓冲帧与当前块中的输入帧堆叠在一起，并被馈送到自我注意力网络中。我们的方法通过检查它们相应输出之间的相关性来确保跨缓冲区和当前块的一致的日志化输出。此外，我们用可变的块大小训练SA-EEND，以减轻说话者跟踪缓冲机制引入的训练和推理之间的不匹配。实验结果表明，在1.4s的实际延迟下，包括在线SA-EEND和可变块大小，CALLHOME和CSJ的DER分别为12.54%和20.77%。
2021-03-07 cs.SD eess.AS
Speaker Diarization Based on Multi-channel Microphone Array in Small-scale Meeting
在演讲者日记化的任务中，小规模会议的数量占了很大的比重。麦克风阵列作为一种录音设备，其空间信息往往被大多数研究者所忽略。本文受d向量和麦克风阵列空间向量相结合的聚类方法的启发，提出了一种利用多通道麦克风阵列对不超过4个发言人的会议进行日志化的方法。我们利用语音增强预处理的麦克风阵列的音频。该算法采用了方向响应功率相位变换（SRP-PHAT）算法来获得更准确的说话人，并根据说话人数目对语音段进行重新聚类，以获得更好的性能。最后，我们用DOVER-SVM对我们的系统进行融合，以获得最佳的融合效果。我们评估了我们的系统上AMI语料库。与目前最好的实验结果相比，我们的系统在日志化出错率（DER）上有了很大的改善。
2022-10-26 cs.SD eess.AS
Investigating Confidence Estimation Measures for Speaker Diarization
Solventum（舒万诺公司）
本文研究了多种生成说话人日志置信度分数的方法，实验表明最优方法能在置信度最低的约10%片段中分离出约30%的错误，有效辅助下游系统缓解日志错误。
2024-06-24 cs.LG cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University（西北工业大学）；Tencent Corporation（腾讯公司）
本文针对音视觉标注数据不足问题，在端到端AVSD系统中引入监督式与自监督式预训练语音模型，并联合训练音频、说话人编码器及音视觉解码器，在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
Speaker Embedding-aware Neural Diarization for Flexible Number of Speakers with Textual Information
Speech Lab, Alibaba Group（阿里巴巴集团语音实验室）
重叠语音分类问题通常被看作是一个多标签分类问题。在本文中，我们将这个任务转化为一个单标签预测问题，通过使用幂集对多说话人标签进行编码。具体来说，我们提出了说话人嵌入感知神经日记化（SEND）方法，该方法根据语音特征与给定说话人嵌入之间的相似性来预测幂集编码标签。我们的方法是进一步扩展和整合下游任务，利用文本信息，这在以前的文献中没有得到很好的研究。实验结果表明，我们的方法实现了较低的日志出错率比目标说话人的语音活动检测。当包含文本信息时，可以进一步减少日志化错误。对于真实的会议场景，我们的方法可以实现34.11%的相对改善基于贝叶斯隐马尔可夫模型的聚类算法相比。
2021-11-28 cs.LG cs.SD eess.AS
A study of semi-supervised speaker diarization system using gan mixture model
University of Southern California（南加州大学）
我们提出了一个新的发言人日记系统的基础上最近推出的无监督聚类技术，即生成对抗网络混合模型（GANMM）。所提出的系统使用x向量作为前端表示。频谱嵌入用于降维，然后在GANMM预训练期间进行k均值初始化。GANMM通过有效地捕获复杂的数据分布来执行无监督的说话人聚类。在AMI会议语料库上的实验结果表明，本文提出的半监督日志化系统的性能达到或超过了竞争基线。在包含50个具有不同持续时间的会话的评估集上，最佳实现的平均日志化错误率（DER）为17.11%，比信息瓶颈基线相对改善了33%，与xvector基线相当。
2019-10-24 cs.SD eess.AS
Linguistically Aided Speaker Diarization Using Speaker Role Information
University of Southern California（南加州大学）
说话人日记依赖于这样的假设，即对应于特定说话人的语音片段集中在说话人空间的特定区域中;该区域代表该说话人的身份。这些身份不是先验已知的，因此通常采用聚类算法，其传统上仅基于音频。然而，在嘈杂的条件下，这样的方法带来了产生不可靠的扬声器集群的风险。在这项工作中，我们的目标是利用语言信息作为一种补充方式，以更强大的方式来识别各种扬声器。我们专注于会话场景中的扬声器承担不同的角色，并预计将遵循不同的语言模式。这种独特的语言变异性可以用来帮助我们构建说话者身份。这样，我们就能够通过将聚类任务转换为分类任务来提高日志化性能。所提出的方法被应用在现实世界中的二元心理治疗提供者和患者之间的相互作用，并证明显示出改善的结果。
2020-02-05 cs.SD eess.AS
Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation
Alibaba Group（阿里巴巴集团）
本文提出一种利用语义信息改进基于聚类的说话人日志系统的新方法，通过口语理解模块提取语义并构建成对约束，实验证明其性能优于仅用声学特征的系统。
2024-02-04 cs.CL cs.SD eess.AS
Multi-channel Conversational Speaker Separation via Neural Diarization
The Ohio State University（俄亥俄州立大学）
提出多通道SSND框架，利用端到端日志和位置训练解决排列模糊，实现高效长段分离，在LibriCSS上大幅提升日志和ASR性能。
2023-11-15 cs.SD eess.AS
Position-Aware Target Speaker Extraction for Long-Form Multi-Party Conversations: A Diarization-Free Framework for ASR
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究生院，京都，日本）
提出PATSE框架，利用到达方向作为空间先验直接提取每个目标说话人的语音，无需显式说话人日志，在长时多方对话中提升ASR性能。
2026-06-28 cs.MM cs.SD
Robust End-to-end Speaker Diarization with Generic Neural Clustering
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
与传统的模块化方法相比，端到端的说话人日志化方法表现出了卓越的性能。为了进一步提高真实语音记录的端到端说话人日记化的性能，最近已经提出了将无监督聚类算法与端到端神经日记化模型相结合的工作。然而，这些方法有一些缺点：1）无监督聚类算法不能利用来自可用数据集的监督; 2）探索的基于K-means的无监督算法经常遭受约束违反问题; 3）有监督训练和无监督推理之间不可避免的不匹配。本文提出了一种鲁棒的通用神经聚类方法，该方法可以与任何块级预测器集成，以实现完全监督的端到端说话人日志化模型。此外，通过利用递归神经网络的序列建模能力，所提出的神经聚类方法可以在推理过程中动态估计说话者的数量。实验结果表明，在不匹配的情况下，与基于约束K-means的聚类方法相比，在结合基于吸引子的块级预测器的情况下，所提出的神经聚类方法可以获得更好的Diarization出错率（DER）.
2022-04-18 cs.SD eess.AS
Transcribe-to-Diarize: Neural Speaker Diarization for Unlimited Number of Speakers using End-to-End Speaker-Attributed ASR
Microsoft（微软）
本文提出了一种新的神经说话人日志化方法，即Transcribe-to-Diarize，它使用端到端（E2 E）说话人属性自动语音识别（SA-ASR）。E2 E SA-ASR是最近提出的用于说话者计数、多说话者语音识别和来自包含重叠语音的单声道音频的说话者识别的联合模型。虽然E2 E SA-ASR模型最初不估计任何与时间相关的信息，但我们表明，通过添加少量可学习的参数，可以从E2 E SA-ASR的内部状态以足够的精度估计每个单词的开始和结束时间。与基于目标说话人语音活动检测（TS-VAD）的日志化方法类似，E2 E SA-ASR模型被应用于估计每个说话人的语音活动，同时它具有以下优点：（i）处理无限数量的说话人，（ii）利用语言信息进行说话人日志化，以及（iii）同时生成说话人属性transmittance。在LibriCSS和AMI语料库上的实验结果表明，当说话人数目未知时，该方法的语音识别错误率明显优于现有的各种说话人语音识别方法;当说话人数目预先给定时，该方法的语音识别性能与TS-VAD相当.所提出的方法同时生成扬声器属性的转录与国家的最先进的准确性。
2022-01-22 cs.CL cs.SD eess.AS
DIVE: End-to-end Speech Diarization via Iterative Speaker Embedding
Google Research（谷歌研究院）
我们介绍了DIVE，一个端到端的说话人日志化算法。我们的神经算法将日志化任务呈现为一个迭代过程：它重复地为每个说话者构建一个表示，然后根据提取的表示来预测每个说话者的语音活动。该策略本质上解决了说话人排序模糊，而不需要经典的排列不变训练损失。与以前的工作相比，我们的模型不依赖于预先训练的扬声器表示，并优化了系统的所有参数与多扬声器语音活动损失。重要的是，我们的损失明确排除了不可靠的说话人回合边界的训练，这是适应于标准的基于衣领的日记出错率（DER）的评估。总的来说，这些贡献产生了一个系统，重新定义了标准CALLHOME基准的最新技术水平，DER为6.7%，而最佳替代方案为7.8%。
2021-05-28 cs.LG cs.SD eess.AS
NTT speaker diarization system for CHiME-7: multi-domain, multi-microphone End-to-end and vector clustering diarization
NTT Corporation（日本电报电话公司）
本文提出一种面向CHiME-7的多域多麦克风说话人分离系统，结合WPE去混响、逐通道EEND-VC、DOVER-LAP整合及基于伪标签的自监督自适应，在开发集和评估集上分别相对基线提升65%和62%，获得第三名。
2023-09-22 cs.SD eess.AS
A Review of Speaker Diarization: Recent Advances with Deep Learning
University of Southern California（南加州大学）；Microsoft（微软）；ASAPP；Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日记是一个用与说话人身份相对应的类来标记音频或视频记录的任务，或者简而言之，一个识别“谁在什么时候说话”的任务。在早期，说话人日记化算法被开发用于多说话人音频记录上的语音识别，以实现说话人自适应处理。随着时间的推移，这些算法作为一个独立的应用程序也获得了自己的价值，为音频检索等下游任务提供特定于说话者的元信息。最近，随着深度学习技术的出现，它推动了语音应用领域研究和实践的革命性变化，扬声器日志化取得了快速进步。在本文中，我们不仅回顾了说话人日记化技术的历史发展，而且还在最近的神经说话人日记化方法的进展。此外，我们还讨论了说话人日志化系统如何与语音识别应用集成，以及最近的深度学习浪潮如何引领联合建模这两个组件以实现互补。通过考虑这些令人兴奋的技术趋势，我们相信本文是对社区的宝贵贡献，通过巩固神经方法的最新发展，从而促进更有效的扬声器日记的进一步进展，提供了一个调查工作。
2021-11-26 cs.CL cs.SD eess.AS
End-to-End Diarization for Variable Number of Speakers with Local-Global Networks and Discriminative Speaker Embeddings
Google（谷歌）
我们提出了一个端到端的深度网络模型，它可以从单通道音频记录中执行会议日志化。与传统的基于聚类的日记化方法不同，端到端日记化模型具有处理说话人重叠和实现直接处理区分训练的优点。该系统的目的是处理未知数量的扬声器会议，使用可变数量的置换不变的交叉熵为基础的损失函数。我们引入了几个似乎有助于日志化性能的组件，包括局部卷积网络，然后是全局自注意模块，使用说话人辨识组件的多任务迁移学习，以及使用第二阶段改进模型的顺序方法。这些都是基于LibriSpeech和LibriTTS数据集的模拟会议数据进行训练和验证的;最终评估是使用LibriCSS完成的，其中包括通过扬声器回放使用真实声学记录的模拟会议。所提出的模型比以前提出的端到端的日记模型在这些数据上的表现更好。
2021-05-05 cs.LG cs.SD eess.AS
End-to-End Speaker Diarization as Post-Processing
Hitachi, Ltd. Research & Development Group（日立公司研发集团）；Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）
本文研究了利用端到端的日志模型作为传统的基于聚类的日志的后处理。基于聚类的日志化方法将帧划分为扬声器数量的集群;因此，它们通常不能处理重叠的语音，因为每个帧被分配给一个扬声器。另一方面，一些端到端的日志化方法可以通过将问题视为多标签分类来处理重叠语音。虽然一些方法可以处理灵活的说话人数量，但当说话人数量很大时，它们的性能并不好。为了弥补彼此的弱点，我们建议使用两个扬声器端到端的日记的方法作为后处理的结果，通过基于聚类的方法。我们迭代地从结果中选择两个说话人，并更新这两个说话人的结果，以改善重叠区域。实验结果表明，该算法在CALLHOME，AMI和DIHARD II数据集上始终提高了最先进方法的性能。
2020-12-23 cs.CL cs.SD eess.AS
Compositional embedding models for speaker identification and diarization with simultaneous speech from 2+ speakers
Worcester Polytechnic Institute (WPI)（伍斯特理工学院（WPI））
我们提出了一种新的说话人日志化方法，可以处理重叠语音与2+人。我们的方法是基于合成嵌入[1]：像标准的说话人嵌入方法，如x向量[2]，合成嵌入模型包含一个函数f，它将语音从不同的说话人中分离出来。此外，它们包括合成函数g以计算嵌入空间中的集合并运算，以便推断输入音频内的扬声器集合。在使用合成LibriSpeech数据进行多人说话人辨识的实验中，所提出的方法优于传统的嵌入方法，传统的嵌入方法只训练分离单个说话人（而不是说话人集）。在AMI Headset Mix语料库上的扬声器日志化实验中，我们实现了最先进的准确率（DER=22.93%），略高于之前的最佳结果（来自[3]的23.82%）。
2021-02-10 cs.CL cs.SD eess.AS
End-to-end speaker diarization with transformer
Visual Computing Group, Ping An Property & Casualty Insurance Company（平安财产保险股份有限公司视觉计算组）
在计算机视觉中，说话人分类与语义分割密切相关。MaskFormer \cite{cheng2021per}将语义分割视为一个集合预测问题，受其启发，我们提出了一种端到端的方法来预测一组由二进制掩码、语音活动和说话人向量组成的目标。我们的模型，我们硬币\textit{DiFormer}，主要是基于一个扬声器编码器和一个特征金字塔网络（FPN）模块提取多尺度扬声器的功能，然后送入一个Transformer编码器-解码器，以预测一组日志目标学习查询嵌入。为了考虑语音信号的时间特性，将双向LSTM插入到掩码预测模块中以提高时间一致性。我们的模型以统一的方式处理未知数量的扬声器，语音重叠以及声音活动检测。多媒体和会议数据集上的实验证明了该方法的有效性。
2021-12-14 cs.SD eess.AS
Spatial-aware Speaker Diarization for Multi-channel Multi-party Meeting
Xiamen University（厦门大学）
本文描述了一种用于多通道多方会议的空间感知说话人日志化系统。日志化系统通过麦克风阵列获取说话人的方向信息。说话人空间域嵌入由超定向波束形成（SDB）得到的xvector和s-vector生成，增强了空间域嵌入的鲁棒性。具体来说，我们提出了一种新的多通道序列到序列神经网络架构命名为歧视性多流神经网络（DMSNet），它由注意力超定向波束形成（ASDB）块和构象编码器。建议ASDB是一个自适应的通道式块，提取潜在的空间特征的阵列音频建模通道之间的相互依赖性。我们探索DMSNet来解决多声道音频上的语音重叠问题，并在评估集上达到93.53%的准确率。通过基于DMSNet的重叠语音检测（OSD）模块，聚类语音识别系统的语音识别错误率（DER）从13.45%显著降低到7.64%。
2022-09-24 cs.SD eess.AS
BER: Balanced Error Rate For Speaker Diarization
Shanghai Jiao Tong University（上海交通大学）
DER是评价日记化效果的主要指标，但它面临着一个困境：短话语或片段中的错误往往被长话语或片段中的错误所淹没。短段，例如，“yes”或“no "仍然具有语义信息。此外，DER忽略了说话较少的人的错误。尽管JER平衡了说话者的错误，但它仍然面临同样的困境。考虑到所有这些方面，持续时间错误，段错误，说话人加权错误构成一个完整的日记评价，我们提出了一个平衡的出错率（BER）来评估说话人日记。首先，我们提出了一个段级的出错率（SER），通过连接的子图和自适应IoU阈值，以获得准确的段匹配。其次，为了以统一的方式评估日记化，我们采用了持续时间和片段之间的特定于说话者的调和平均值，然后是说话者加权平均值。第三，我们通过模块化系统，EEND和多模态方法在真实数据集上分析我们的度量。SER和BER可在https://github.com/X-LANCE/BER上公开获得。
2022-11-08 cs.CL cs.SD eess.AS
End-to-End Neural Speaker Diarization with Permutation-Free Objectives
Center for Language and Speech Processing, Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）
在本文中，我们提出了一种新的端到端的基于神经网络的说话人日志化方法。与大多数现有的方法，我们提出的方法没有单独的模块提取和聚类的说话人表示。相反，我们的模型只有一个神经网络，直接输出说话者日志化结果。为了实现这样一个模型，我们制定了一个多标签分类问题的说话人日记化问题，并引入了一个置换自由的目标函数，直接最大限度地减少日记错误，而不遭受的说话人标签置换问题。除了端到端的简单性之外，所提出的方法还受益于能够在训练和推理期间显式地处理重叠语音。由于其优点，只需输入相应的多说话者段标签，我们的模型就可以轻松地通过真实记录的多说话者对话进行训练/调整。我们评估了所提出的方法对模拟语音混合。该方法实现了12.28%的日志错误率，而传统的基于聚类的系统产生的日志错误率为28.77%。此外，使用真实记录的语音的域自适应在CALLHOME数据集上提供了25.6%的相对改善。我们的源代码可以在https://github.com/hitachi-speech/EEND上获得。
2019-09-12 cs.CL cs.SD eess.AS
Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（科大讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种分离引导的说话人日志化（SGSD）方法，充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化（CSD）方法不能很好地处理重叠的语音段，我们调查，在这项研究中，基于分离的说话人日记化（SSD），它固有的潜力，以处理说话人重叠区域。我们的初步分析表明，最先进的基于Conv-TasNet的语音分离，这是相当不错的模拟数据，是不稳定的，在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时，基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言，几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音（CTS）数据上的实验表明，所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能，产生的相对日记错误率降低20.2%和20.8%的开发集和评估集，分别。
2021-07-06 cs.SD eess.AS
