Domain-Dependent Speaker Diarization for the Third DIHARD Challenge
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用研究实验室）
本报告介绍了ABSP实验室团队为第三次DIHARD语音日记化挑战开发的系统。我们在这项工作中的主要贡献是开发一个简单而有效的解决方案，声学域相关的语音日记。我们探讨\emph{acoustic domain identification}（ADI）任务的说话人嵌入。我们的研究表明，在第三个DIHARD挑战数据集中，基于i向量的方法比基于x向量的方法实现了更好的性能。接下来，我们将ADI模块与diarization框架集成。当我们优化凝聚层次聚类的阈值和各个声学域评分过程中的降维参数时，性能大大提高。对于DIHARD III评价集的轨道1，我们分别在核心和完全条件下实现了DER中$9.63\%$和$10.64\%$的相对改善。
2021-01-25 cs.LG cs.SD eess.AS
Third DIHARD Challenge Evaluation Plan
University of Pennsylvania（宾夕法尼亚大学）；Baidu Research（百度研究院）；University of Science and Technology of China（中国科学技术大学）；Indian Institute of Science（印度科学学院）
本文介绍了第三个DIHARD挑战，第三个在一系列的扬声器日志化的挑战，旨在提高日志化系统的鲁棒性，在录音设备，噪声条件和会话域的变化。该挑战包括两个轨道，当从参考语音分段（轨道1）开始时评估日志化性能，并且从原始音频草稿（轨道2）开始日志化。我们描述的任务，指标，数据集和评估协议。
2020-12-02 cs.SD eess.AS
The Hitachi-JHU DIHARD III System: Competitive End-to-End Neural Diarization and X-Vector Clustering Systems Combined by DOVER-Lap
Hitachi, Ltd.（日立公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提供了一个详细的描述日立JHU系统，提交给第三DIHARD语音日记挑战。该系统输出五个子系统的集成结果：两个基于x向量的子系统，两个基于端到端神经诊断的子系统和一个混合子系统。我们完善每个系统，所有五个子系统都变得相互竞争和互补。在基于DOVER-Lap的系统组合之后，其在Track 1完整和核心中分别实现11.58%和14.09%的日志化错误率，以及在Track 2完整和核心中分别实现16.94%和20.01%的日志化错误率。凭借他们的成绩，我们在所有挑战任务中获得第二名。
2021-02-02 cs.CL cs.SD eess.AS
The Speed Submission to DIHARD II: Contributions & Lessons Learned
LORIA（洛林信息学及其应用研究实验室）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；EURECOM（欧洲通信学院）；Marche Polytechnic University（马尔凯理工大学）；LIMSI（机械与工程计算机科学实验室）；Idiap Research Institute（Idiap研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文介绍了由Speed团队为第二届DIHARD语音日记挑战赛（DIHARD II）开发的扬声器日记系统。除了描述该系统，它大大超过了挑战基线，我们还专注于从我们尝试的单通道和多通道系统的许多方法中吸取的经验教训。我们提出了几个组成部分，我们的日记系统，包括分类领域，语音增强，语音活动检测，说话人嵌入，聚类方法，重新分割，和系统融合。我们分析和讨论的影响，每个这样的组件的整体日记化性能的现实设置的挑战。
2019-11-06 cs.LG cs.SD eess.AS
ABSP System for The Third DIHARD Challenge
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛里亚实验室）
本报告描述了由ABSP实验室团队为第三次DIHARD语音日记挑战开发的说话人日记系统。我们的主要贡献是开发用于说话人日志化的声学域识别（ADI）系统。我们研究基于扬声器嵌入的ADI系统。我们应用一个域相关的阈值凝聚层次聚类。此外，我们优化参数PCA的降维领域相关的方式。我们的方法集成域为基础的处理方案的基线系统的挑战实现了相对改善$9.63\%$和$10.64\%$在DER的核心和完整的条件，分别为轨道1的DIHARD III评估集。
2021-02-10 cs.SD eess.AS eess.SP
DIHARD II is Still Hard: Experimental Results and Discussions from the DKU-LENOVO Team
DKU（杜克昆山大学）；LENOVO（联想集团）
在本文中，我们提出了DKULENOVO团队的第二个DIHARD语音日记挑战赛的提交系统。我们的日志化系统包括多个模块，即语音活动检测（VAD），分割，说话人嵌入提取，相似性评分，聚类，重新分割和重叠检测。对于每个模块，我们探索不同的技术来提高性能。我们的最终提交采用了基于ResNet-LSTM的VAD，基于Deep ResNet的说话人嵌入，基于LSTM的相似性评分和谱聚类。在重分割阶段采用了变分贝叶斯（VB）二值化，重叠检测也略有改进。我们提出的系统实现了18.84%的DER在轨道1和27.90%的DER在轨道2。虽然我们的系统相对于官方基线已经将DER降低了27.5%和31.7%，但我们认为日志化任务仍然非常困难。
2020-05-05 cs.LG cs.SD eess.AS
Robust Acoustic Domain Identification with its Application to Speaker Diarization
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；GITAM (Deemed to be University)（甘地技术与管理大学（认定大学））；Université de Lorraine（洛林大学）
随着多年来多媒体内容的增加，在音频的记录环境中观察到更多的变化。当音频处理系统在其前端具有识别声学域的模块时，音频处理系统可能会受益。在本文中，我们展示了\emph{acoustic domain identification}（ADI）的思想，为\emph{speaker diarization}。为此，我们首先对第三个DIHARD挑战的各个领域进行了详细的研究，突出了将它们彼此区分开来的因素。我们的主要贡献是为ADI公司开发简单高效的解决方案。在目前的工作中，我们探讨这个任务的发言人嵌入。接下来，我们将ADI模块与DIHARD III挑战赛的演讲者日记框架集成。当凝聚层次聚类的阈值根据各自的域进行优化时，性能大大提高。在DIHARD III评估集的轨道1上，我们分别在核心和完全条件下实现了DER的$5\%$和$8\%$以上的相对改善。
2022-08-08 cs.SD eess.AS
USTC-NELSLIP System Description for DIHARD-III Challenge
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
这个系统描述描述了我们的提交系统的第三DIHARD语音日记挑战。除了传统的基于聚类的系统，我们的系统的创新之处在于结合各种前端技术来解决日志化问题，包括语音分离和基于目标说话人的语音活动检测（TS-VAD），结合迭代数据净化。我们还采用了音频域分类设计域相关的处理。最后，我们进行后处理，进行系统融合和选择。我们最好的系统在评估集上分别在轨道1和轨道2中实现了11.30%和16.78%的DER。
2021-03-19 cs.LG cs.SD eess.AS
Enhancements for Audio-only Diarization Systems
Microsoft（微软）
在本文中，两种不同的方法来提高性能的最具挑战性的组成部分的发言人日记系统，即说话人聚类部分。提出了一种结合非线性滤波的时间平滑处理来增强输入特征的处理步骤。我们还提出了对深度嵌入式聚类（DEC）算法的改进-一种非线性特征变换。这些增强的性能与不同的聚类算法，如UISRNN，k-Means，谱聚类和x-Means进行了比较。评估针对三个不同的任务进行，即AMI、DIHARD和内部会议转录任务。所提出的方法假设已知数量的扬声器和音频文件的时间分割。因为，我们只关注这项工作的日志化的聚类组件，所以假设提供的分割是完美的。最后，我们提出了如何监督，在给定的扬声器配置文件的形式，可以进一步提高整体的日记性能。当说话人数目已知时，所提出的改进在所有3个任务中产生了实质性的相对改善，在AMI中比最佳日记系统好20%，在DIHARD任务中比最佳日记系统好19%。
2019-08-30 cs.SD eess.AS
Towards Neural Diarization for Unlimited Numbers of Speakers Using Global and Local Attractors
Hitachi, Ltd.（日立公司）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于吸引子的端到端日志化在具有挑战性的数据集上实现了与精心调整的传统基于聚类的方法相当的准确性。然而，主要的缺点是，它不能处理的情况下，说话人的数量大于在训练过程中观察到的。这是因为它的说话者计数依赖于监督学习。在这项工作中，我们引入了一个无监督的聚类过程中嵌入的吸引子为基础的端到端日志。我们首先将一系列逐帧嵌入拆分为短序列，然后对每个子序列执行基于吸引子的diarization。给定连续性的日记化结果，子序列间的说话人对应关系是通过从所有连续性的吸引子计算的向量的无监督聚类来获得的。这使得即使每个子序列的输出扬声器的数量有限，也可以为整个记录产生大量扬声器的日志化结果。实验结果表明，我们的方法可以产生准确的日记结果的一个看不见的数量的发言人。我们的方法在CALLHOME、DIHARD II和DIHARD III数据集上分别实现了11.84%、28.33%和19.49%，每一个都优于传统的端到端日志化方法。
2021-09-23 cs.CL cs.SD eess.AS
Community Detection Graph Convolutional Network for Overlap-Aware Speaker Diarization
提出社区检测图卷积网络（CDGCN）聚类方法，通过图生成、子图检测和Graph-OSD组件捕获局部与全局信息，在DIHARD III语料库上提升了重叠感知说话人日志系统的性能。
2023-06-26 eess.AS
Overlap-aware diarization: resegmentation using neural end-to-end overlapped speech detection
L’École de Technologie Supérieure（高等技术学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们解决的问题，有效地处理重叠的语音在一个日记系统。首先，我们详细介绍了一种基于神经长短期记忆的重叠检测架构。其次，利用检测到的重叠区域结合帧级扬声器后验矩阵，使重叠帧中的两个扬声器分配的重新分割步骤。重叠检测模块在AMI、DIHARD和ETAPE语料库上实现了最先进的性能。我们应用AMI上的可感知的重新分割，导致基线系统上相对DER减少20%。虽然这种方法绝不是一个最终的解决方案，以了解日志，它揭示了有前途的方向处理重叠。
2019-10-25 cs.SD eess.AS
Exploring Speech Foundation Models for Speaker Diarization Across Lifespan
University of Southern California（南加州大学）
本文研究了语音基础模型在跨生命周期说话人分离中的鲁棒性，通过统一的端到端神经分离框架（EEND-VC）评估了儿童、成人和老年人的语音样本，比较了零样本跨年龄推理、联合多年龄训练和领域特定适应方法，发现成人训练模型在儿童和老年人数据上性能下降，而联合多年龄训练和针对性年龄组适应提升了分离性能，特别是使用Whisper编码器时。
2026-05-19 eess.AS
Low-Latency Speech Separation Guided Diarization for Telephone Conversations
本文分析了语音分离引导式日记（SSGD）在电话会话中的应用。SSGD通过分离扬声器信号并且然后对每个估计的扬声器信号应用语音活动检测来执行日志化。特别是，我们比较了两个低延迟语音分离模型。此外，我们展示了一个后处理算法，显着减少了假警报错误的SSGD管道。我们在两个数据集上进行实验：Fisher语料库第1部分和CALLHOME，评估分离和日记化指标。值得注意的是，我们基于SSGD DPRNN的在线模型在CALLHOME上实现了11.1%的DER，与大多数最先进的端到端神经日志模型相当，尽管在数量级较少的数据上进行了训练，并且具有相当低的延迟，即，0.1对比10秒。我们还表明，分离的信号可以很容易地馈送到一个语音识别后端的性能接近的Oracle源信号。
2022-10-27 eess.AS
Train Short, Infer Long: Speech-LLM Enables Zero-Shot Streamable Joint ASR and Diarization on Long Audio
Speech-LLM通过短音频训练实现长音频零样本联合语音识别与说话人识别，优于现有基线方法。
2025-11-20 eess.AS
Diarization-Aware Multi-Speaker Automatic Speech Recognition via Large Language Models
本文提出一种融合说话人分离与大语言模型的多说话人语音识别系统，通过结构化分离输入和帧级嵌入实现片段级转录，在高重叠会议场景中表现优异。
2025-06-06 eess.AS
On the Use of Self-Supervised Representation Learning for Speaker Diarization and Separation
Université de Toulon, Aix Marseille Univ, CNRS, LIS（土伦大学，艾克斯-马赛大学，法国国家科学研究中心，信息学与系统实验室）；IRIT / pyannoteAI
本文研究了自监督语音表示在说话识别和语音分离任务中的有效性，指出现有评估基准的不足。
2025-12-17 eess.AS
Multi-Input Multi-Output Target-Speaker Voice Activity Detection For Unified, Flexible, and Robust Audio-Visual Speaker Diarization
针对传统TS-VAD易受重叠语音干扰、视觉模态存在缺失与遮挡问题，提出MIMO-TSVAD框架，依托统一序列到序列架构实现多模态灵活融合的说话人分割，在多个数据集上取得SOTA性能且鲁棒性优异。
2025-07-31 eess.AS
Self-Supervised Metric Learning With Graph Clustering For Speaker Diarization
Indian Institute of Science（印度科学学院）
在本文中，我们提出了一种新的算法，说话人日记使用基于图的聚类度量学习。图聚类算法使用由相似性分数组成的邻接矩阵。这些分数是在从给定记录内的音频片段对中提取的扬声器嵌入之间计算的。在本文中，我们提出了一种方法，共同学习的发言人嵌入和相似性度量的原则，自监督学习。度量学习网络实现了概率线性判别分析（PLDA）的神经模型。自我监督是从先前的聚类迭代中获得的伪标签中得到的。表示学习和度量学习的整个模型都是用二进制交叉熵损失来训练的。通过将基于自监督的度量学习与基于图的聚类算法相结合，我们在AMI和DIHARD数据集上分别实现了60%和7%的相对改进。
2021-09-14 cs.SD eess.AS
Online Streaming End-to-End Neural Diarization Handling Overlapping Speech and Flexible Numbers of Speakers
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种基于端到端神经日志化（EEND）模型的流日志化方法，该方法可以处理灵活的说话人数量和重叠语音。在我们之前的研究中，提出了说话人跟踪缓冲区（STB）机制，使用预训练的EEND模型实现分块流式日志化。STB跟踪先前块中的说话者信息以映射新块中的说话者。但是，它只适用于两个扬声器的录音。在本文中，我们提出了一个扩展的STB灵活的扬声器，FLEX-STB。所提出的方法使用零填充，然后是扬声器跟踪，其消除了缓冲区和当前块之间的扬声器数量的差异。我们还研究了缓冲区更新策略，以选择重要帧来跟踪多个说话者。CALLHOME和DIHARD II数据集上的实验表明，该方法实现了与离线EEND方法相当的性能，延迟为1秒。结果还表明，我们提出的方法优于最近提出的基于EEND（BW-EDA-EEND）的分块日记化方法。
2021-04-07 cs.SD eess.AS
GIST-AiTeR System for the Diarization Task of the 2022 VoxCeleb Speaker Recognition Challenge
本报告介绍了GIST-AiTeR团队在2022年VoxCeleb说话人识别挑战赛（VoxSRC）Track 4上的提交系统。我们的系统主要包括语音增强、语音活动检测、多尺度说话人嵌入、基于概率线性判别分析的说话人聚类和重叠语音检测模型。我们首先根据不同的模型组合，以最佳的实验努力构建了四个不同的日记化系统。我们的最终提交是所有四个系统的集成系统，并在挑战评估集上实现了5.12%的日志错误率，在挑战的日志轨道上排名第三。
2022-10-06 eess.AS
North America Bixby Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2021
本文介绍了三星美国研究院北美Bixby实验室完成的VoxCeleb说话人识别挑战赛2021的说话人日志化赛道提交。我们的说话人日志系统包括四个主要组成部分，如重叠语音检测和语音分离，鲁棒的说话人嵌入提取，融合亲和矩阵的谱聚类，和泄漏滤波为基础的后处理。我们在VoxConverse数据集和挑战评估集上评估了我们的系统，其中包含从YouTube收集的多个谈话者的自然对话。我们的系统在VoxConverse开发、测试和挑战评估集上分别获得了4.46%、6.39%和6.16%的日志错误率。
2021-09-28 eess.AS
PixIT: Joint Training of Speaker Diarization and Speech Separation from Real-world Multi-speaker Recordings
PixIT联合PIT说话人分离与MixIT语音分离，仅需少量SD标签即可解决过度分离问题，并在无需微调的情况下提升多种ASR系统在会议语料库上的词错误率表现。
2024-11-20 eess.AS
Overlap-aware low-latency online speaker diarization based on end-to-end local segmentation
CNRS（法国国家科学研究中心）；IRIT（图卢兹信息研究所）
我们建议解决在线扬声器日记的增量聚类和本地日记的组合应用于滚动缓冲区更新每500毫秒。所提出的流水线的每一个步骤都被设计为充分利用最近提出的端到端语音感知分割的强大能力来检测和分离重叠的扬声器。特别是，我们提出了一个修改后的版本的统计池层（最初引入的x向量架构）给帧的分割模型预测同步扬声器的权重较小。此外，我们从初始分割步骤中推导出cannot-link约束，以防止两个本地扬声器在增量聚类步骤中被错误地合并。最后，我们展示了如何在500 ms和5 s之间调整所提出的方法的延迟，以满足特定用例的要求，并且我们提供了延迟对整体性能（AMI，DIHARD和VoxConverse）的影响的系统分析。
2021-09-14 cs.SD eess.AS
Once more Diarization: Improving meeting transcription systems through segment-level speaker reassignment
针对会议转录中重叠或嘈杂语音导致的说话人混淆错误，提出片段级说话人重分配方法，在语音增强后重新审视说话人归属，成功纠正至少40%的混淆词错误，显著提升了系统准确性。
2024-06-05 eess.AS
End-to-End Speaker Diarization as Post-Processing
Hitachi, Ltd. Research & Development Group（日立公司研发集团）；Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）
本文研究了利用端到端的日志模型作为传统的基于聚类的日志的后处理。基于聚类的日志化方法将帧划分为扬声器数量的集群;因此，它们通常不能处理重叠的语音，因为每个帧被分配给一个扬声器。另一方面，一些端到端的日志化方法可以通过将问题视为多标签分类来处理重叠语音。虽然一些方法可以处理灵活的说话人数量，但当说话人数量很大时，它们的性能并不好。为了弥补彼此的弱点，我们建议使用两个扬声器端到端的日记的方法作为后处理的结果，通过基于聚类的方法。我们迭代地从结果中选择两个说话人，并更新这两个说话人的结果，以改善重叠区域。实验结果表明，该算法在CALLHOME，AMI和DIHARD II数据集上始终提高了最先进方法的性能。
2020-12-23 cs.CL cs.SD eess.AS
DASHA: Diarization-Aware Speech-LLM ASR for Healthcare in Code-Switched Indic Doctor-Patient Conversations
本文提出了一种端到端神经说话人识别与向量聚类方法，用于代码混合希金斯医疗条件提取，通过领域特定微调和错误校正，实现了较高的转录准确率，并在DISPLACE-M挑战中取得优异成绩。
2026-10-06 eess.AS
MERLIon CCS Challenge: A English-Mandarin code-switching child-directed speech corpus for language identification and diarization
本文提出MERLIon CCS挑战赛，发布首个超30小时亲子共读英汉混码儿童导向语音语料库，并报告语言识别与语言日志的基线及参赛系统结果。
2023-05-30 eess.AS
Speaker Role and Language Diarization for Analyzing Multilingual Interviews for Language Proficiency of Older Adults
Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院）；Center for Economic and Social Research, University of Southern California（南加州大学经济社会研究中心）；Columbia University Irving Medical Center（哥伦比亚大学欧文医学中心）
本研究开发了基于 Whisper 的说话人角色与语言 diarization 系统，探究其衍生特征用于老年人多语言访谈语言能力评估的可行性，发现该系统可实现高效且准确的评估。
2026-08-11 eess.AS
Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（科大讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种分离引导的说话人日志化（SGSD）方法，充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化（CSD）方法不能很好地处理重叠的语音段，我们调查，在这项研究中，基于分离的说话人日记化（SSD），它固有的潜力，以处理说话人重叠区域。我们的初步分析表明，最先进的基于Conv-TasNet的语音分离，这是相当不错的模拟数据，是不稳定的，在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时，基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言，几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音（CTS）数据上的实验表明，所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能，产生的相对日记错误率降低20.2%和20.8%的开发集和评估集，分别。
2021-07-06 cs.SD eess.AS
Speech Language Models for Full-Meeting Speaker Diarization: Capabilities and Limitations
College of Information Science, University of Arizona（亚利桑那大学信息科学学院）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本研究使用ESPnet-SpeechLM作为骨干，将全场会议说话人日志建模为结构化令牌的自回归生成，比较事件与帧表示，发现事件表示更稳定，且需结合显式说话人跟踪与重叠感知生成以提升性能。
2026-09-22 eess.AS
Token-based Attractors and Cross-attention in Spoof Diarization
针对欺骗式日志任务，提出引入可学习token作为吸引子并与帧级嵌入交叉交互的方法，有效提取判别性表示以区分真实与欺骗语音，在PartialSpoof数据集上的真实检测和欺骗方法聚类中优于现有方法。
2025-09-16 eess.AS
Assessing the Robustness of Spectral Clustering for Deep Speaker Diarization
Institute for Advancing Intelligence（智能推进研究所）；TCG Centres for Research and Education in Science and Technology（TCG科学技术研究与教育中心）；RKMVERI（拉玛克里希那使命维韦卡南达大学（RKMVERI））；Academy of Scientific and Innovative Research (AcSIR)（科学与创新研究院（AcSIR））
本研究全面考察了同领域和跨领域说话人日志中谱聚类的鲁棒性，发现跨领域性能差异源于谱聚类的最优参数和说话人数量估计的不匹配，为未来研究指明方向。
2024-03-21 cs.CV cs.LG cs.SD
Bayesian HMM clustering of x-vector sequences (VBx) in speaker diarization: theory, implementation and analysis on standard tasks
Brno University of Technology（布尔诺理工大学）；Phonexia（Phonexia公司）
最近提出的VBx diarization方法使用贝叶斯隐马尔可夫模型，以找到扬声器集群的序列中的x向量。在这项工作中，我们进行了广泛的VBx日记与文献中的其他方法的性能比较，我们表明，VBx实现了卓越的性能上的三个最流行的数据集，用于评估日记：CALLHOME，AMI和DIHARDII数据集。此外，我们提出了第一次的VBx模型的推导和更新公式，专注于该模型的效率和简单性相比，以前的和更复杂的BHMM模型工作在逐帧的标准倒谱特征。与本出版物一起，我们发布了在宽和窄带数据上训练我们实验中使用的x向量提取器的配方，以及在所有三个数据集上获得最先进性能的VBx配方。此外，我们指出了缺乏一个标准化的评估协议的AMI数据集，我们提出了一个新的协议，波束成形和混合耳机音频的基础上，官方AMI分区和transparency。
2020-12-29 cs.SD eess.AS
Prompt-driven Target Speech Diarization
提出提示驱动的目标语音分离（PTSD）任务及神经架构，利用多样化提示准确定位音频中的目标语音事件，并在多个相关任务中取得与专用模型相当的性能。
2024-01-08 eess.AS eess.SP
End-to-End Speaker Diarization Conditioned on Speech Activity and Overlap Detection
Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）
在本文中，我们提出了一个有条件的多任务学习方法的端到端神经说话人日记（EEND）。与传统的基于聚类的方法相比，EEND系统表现出良好的性能，特别是在重叠语音的情况下。在本文中，为了进一步提高EEND系统的性能，我们提出了一种新的多任务学习框架，解决了扬声器日记和所需的子任务，同时明确考虑任务依赖。我们优化说话人日记的条件下，语音活动和重叠检测的子任务的说话人日记，基于概率链规则。实验结果表明，我们提出的方法可以利用一个子任务来有效地建模说话人日记，并优于传统的EEND系统的日记错误率。
2021-06-08 cs.SD eess.AS
Mixture of Speaker-type PLDAs for Children's Speech Diarization
在日记化中，PLDA通常用于对假设由不同说话者引起的语音段的变化的推理结构进行建模。然后从训练数据中学习说话者变化。然而，人类的感知可以通过年龄，性别以及其他特征来区分说话者。在本文中，我们研究了一个说话者类型的知情模型，该模型显式地捕获了说话者的已知变化。我们探索了三个PLDA模型的混合，其中每个模型代表一个成年女性，男性或儿童类别。每个模型的权重由我们研究的其各自类别的先验概率决定。评估是在BabyTrain语料库的子集上进行的。我们使用Oracle扬声器类型标签来检查预期的性能增益，这产生了11.7%的DER降低。我们介绍了一种新的婴儿发声增强技术，然后比较混合模型的单一模型。我们的实验结果表明，通过添加发声获得了有效的0.9% DER减少。我们发现经验上，一个平衡的数据集是重要的训练的混合PLDA模型，它优于单一PLDA的1.3%，使用相同的训练数据，并实现了35.8%的DER。相同的设置比标准基线提高了2.8% DER。
2020-08-30 eess.AS
EEND-SS: Joint End-to-End Neural Speaker Diarization and Speech Separation for Flexible Number of Speakers
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出了一个新的框架，共同执行三个任务：说话人日记，语音分离，说话人计数。我们提出的框架集成了基于端到端神经日记化（EEND）模型的说话人日记化，基于编码器-解码器的吸引子（EDA）的说话人计数，以及使用Conv-TasNet的语音分离。此外，我们提出了一个多个1x 1卷积层架构，用于估计对应于一个灵活的扬声器数量的分离掩码和融合技术，用于细化分离的语音信号与获得的扬声器diarization信息，以改善联合框架。使用LibriMix数据集的实验表明，我们提出的方法在固定和灵活数量的扬声器的日记化和分离度量方面优于单任务基线，并提高了灵活数量扬声器的扬声器计数性能。所有材料将在ESPnet工具包中开源和可复制。
2022-12-15 cs.SD eess.AS
Multi-Scale Speaker Diarization With Neural Affinity Score Fusion
识别人类对话中的短片段说话人身份一直被认为是语音信号处理中最具挑战性的问题之一。短语音段的说话人表示往往是不可靠的，导致在需要说话人识别的任务中说话人表示的保真度差。在本文中，我们提出了一种非传统的方法，可以解决时间分辨率和说话者表示质量之间的权衡。为了找到一组权重，平衡的分数从多个时间尺度的片段，神经亲和度分数融合模型。使用CALLHOME数据集，我们表明，我们提出的多尺度分割和集成方法可以实现最先进的日记性能。
2020-11-20 eess.AS
Low-Latency Online Speaker Diarization with Graph-Based Label Generation
Duke University（杜克大学）；Lenovo Research（联想研究院）；Duke Kunshan University（昆山杜克大学）
本文介绍了一个在线的说话人日志系统，可以处理长时间的音频，低延迟。我们使凝聚层次聚类（AHC）的工作在一个在线的方式，通过引入一个标签匹配算法。该算法解决了输出标签和每轮生成的隐藏标签之间的不一致性。为了确保在线设置中的低延迟，我们引入了AHC的变体，即chkpt-AHC，以聚类扬声器。此外，我们提出了一个说话人嵌入图，利用基于图的重新聚类方法，进一步提高性能。在实验中，我们在DIHARD 3和VoxConverse数据集上评估了我们的系统。实验结果表明，我们提出的在线系统有更好的性能比我们的基线在线系统，并有相当的性能，我们的离线系统。我们发现，结合chkpt-AHC方法和标签匹配算法的框架在在线设置中工作得很好。此外，chkpt-AHC方法大大减少了时间开销，而基于图的重新聚类方法有助于提高性能。
2022-06-24 cs.SD eess.AS
Discriminative Training of VBx Diarization
Brno University of Technology（布尔诺理工大学）；NTT Corporation（NTT公司）
本文提出 VBx 说话人日志模型的判别式训练框架，并设计更贴合 DER 的新损失，可自动搜索超参数且微调 PLDA 后进一步提升性能。
2023-10-04 cs.SD eess.AS
Frame-wise and overlap-robust speaker embeddings for meeting diarization
提出基于 Teacher-Student 的逐帧、抗重叠说话人嵌入，用于 EEND，显著缓解说话人增多时的性能下降，并通过分块处理支持任意长会议。
2023-06-01 eess.AS
Speaker Diarization with Region Proposal Network
Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日志化是许多语音应用中的一个重要的预处理步骤，它旨在解决“谁在什么时候说话”的问题。虽然标准的日记化系统可以在不同的场景中取得令人满意的结果，但它们是由多个独立优化的模块组成的，并且不能处理重叠的语音。本文提出了一种新的说话人日志化方法：基于区域建议网络的说话人日志化（RPNSD）。在该方法中，神经网络生成重叠的语音段建议，并同时计算它们的说话人嵌入。与标准的日志化系统相比，RPNSD具有更短的流水线，并能处理重叠语音。三个日志数据集上的实验结果表明，RPNSD实现了显着的改进，比国家的最先进的x向量基线。
2020-02-14 cs.SD eess.AS
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute（日立金科AI研究院）
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统，结合端到端说话人日志分离与自监督表示的 ASR 模型，显著降低 DER，并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
Towards Unsupervised Speaker Diarization System for Multilingual Telephone Calls Using Pre-trained Whisper Model and Mixture of Sparse Autoencoders
针对现有说话人日志系统依赖标注数据、多语言适配性差的问题，提出基于预训练多语言Whisper模型提取嵌入、结合Mix-SAE网络的无监督聚类方案，在多语言电话数据集上取得优于同类方法的性能，可集成至多任务语音分析应用。
2024-09-12 eess.AS
Exploring Speech Foundation Models for Speaker Diarization in Child-Adult Dyadic Interactions
University of Southern California（南加州大学）；Boston University（波士顿大学）
本文评估语音基础模型在儿童-成人双人互动说话人日志中的表现，通过音频窗口、人群特征和训练数据比例等基准实验，证明其显著降低日志错误与说话人混淆。
2024-06-12 cs.CL cs.LG eess.AS
Simultaneous Diarization and Separation of Meetings through the Integration of Statistical Mixture Models
本研究提出一种集成cACGMM与VMFMM的联合统计框架，实现会议数据同时说话人日志与分离，还提出说话人计数方法支持分块处理并解决跨片段排列问题，实验显示其在LibriCSS语料库上WER优于级联方法。
2025-02-24 eess.AS
Advances in integration of end-to-end neural and clustering-based diarization for real conversational speech
NTT Corporation（日本电报电话公司）
最近，我们提出了一种新的说话人日志化方法，称为端到端神经日志化向量聚类（EEND-vector clustering），它将基于聚类和端到端神经网络的日志化方法集成到一个框架中。所提出的方法结合了两个框架的优点，即高的日记化性能和处理重叠的语音的基础上的EEND，和鲁棒的处理长录音与任意数量的扬声器基于聚类的方法。然而，到目前为止，该方法仅在模拟的2扬声器会议类数据上进行了评估。本文将（1）报告我们对该框架所做的最新进展，包括新引入的鲁棒约束聚类算法，以及（2）实验表明，该方法现在可以显着优于竞争性的日志化方法，如编码器-解码器吸引子（EDA）-EEND，在CALLHOME数据上，该数据包括真实的会话语音数据，包括重叠语音和任意数量的扬声器。通过对实验结果的进一步分析，本文还讨论了该方法的优缺点，并揭示了进一步改进的潜力。在https://github.com/nttcslab-sp/EEND-vector-clustering上可以找到一组重现结果的代码。
2021-08-31 cs.SD eess.AS
Target Speech Diarization with Multimodal Prompts
本文提出多模态目标语音分离框架MM-TSD，通过语言描述、预注册语音、人脸图像及逻辑提示灵活指定目标事件，并引入语音-人脸对齐模块，在VoxCeleb2多模态数据集上验证了统一系统在说话人分离和重叠语音检测等任务中的有效性。
2024-06-11 cs.MM eess.AS
MK-SGC-SC: Multiple Kernel Guided Sparse Graph Construction in Spectral Clustering for Unsupervised Speaker Diarization
Institute for Advancing Intelligence, TCG CREST（先进智能研究所）；Department of Computer Science, RKMVERI（计算机科学系）；Electronics and Communication Sciences Unit, Indian Statistical Institute（印度统计研究所电子与通信科学单元）
本文提出基于多核引导的稀疏图构建方法，用于无监督语音说话人分离，通过多项式核和反余弦核测量嵌入相似性，提升局部相似性，实现高性能的说话人区域分割。
2026-01-29 cs.LG cs.SD eess.AS
Diarization of Legal Proceedings. Identifying and Transcribing Judicial Speech from Recorded Court Audio
New York University（纽约大学）
美国法院将口头辩论的录音作为公共记录提供，但这些录音很少包括发言人的注释。本文讨论了语音音频日记问题，回答了“谁在什么时候说话？”“在司法口头辩论程序领域。我们提出了一个工作流程diarizing法官的口头辩论，我们称之为参考依赖扬声器验证的过程中使用的音频记录的讲话。我们利用用广义端到端损失训练的语音嵌入网络将语音编码成d向量和基于注释数据的预定义参考音频库。我们发现，通过编码参考音频的扬声器和完整的参数和计算相似性分数，我们实现了13.8%的拨号出错率的扬声器覆盖的参考音频库上举行的测试集。我们评估我们的方法对美国最高法院的口头辩论，通过Oyez项目访问，并概述了未来的工作diarizing法律诉讼。该研究的代码存储库可在github.com/JeffT13/rd-diarization上获得
2021-04-03 cs.SD eess.AS
Meta-learning with Latent Space Clustering in Generative Adversarial Network for Speaker Diarization
University of Southern California（南加州大学）；Weill Cornell Medicine（威尔康奈尔医学院）；University of California Los Angeles（加州大学洛杉矶分校）；University of California, San Francisco（加州大学旧金山分校）
大多数使用x向量嵌入的说话人日志化系统的性能都容易受到噪声环境的影响，并且缺乏域鲁棒性。早期使用生成对抗网络（GAN）与编码器网络（编码器GAN）将输入x向量投影到潜在空间中的说话人日志化工作已经在会议数据上显示出有希望的性能。在本文中，我们扩展了QuerterGAN网络，以提高日志化的鲁棒性，并在各种具有挑战性的领域中实现快速泛化。为此，我们从MeterGAN中获取预训练的编码器，并在元学习范式下使用原型损失（元MeterGAN或MCGAN）对其进行微调。实验是在CALLHOME电话会话、AMI会议数据、DIHARD II（开发集）（包括具有挑战性的多领域语料库）和两个与自闭症谱系障碍领域相关的儿童-临床医生交互语料库（ADOS、BOSCC）上进行的。对实验数据进行了广泛的分析，以研究所提出的X-GAN和MCGAN嵌入在x向量上的有效性。结果表明，所提出的嵌入与归一化的最大特征间隙谱聚类（NME-SC）后端始终优于Kaldi国家的最先进的z-向量日志化系统。最后，我们采用嵌入融合与x向量，以提供进一步的改善，在日记化的性能。我们在上述数据集上使用所提出的x向量融合嵌入实现了6.67%至53.93%的相对日志化错误率（DER）改善。此外，MCGAN嵌入提供了更好的性能，在说话人的数量估计和短的语音段日记相比，x向量和嵌入式GAN在电话数据。
2020-07-19 cs.SD eess.AS
Speaker Diarization with Overlapping Community Detection Using Graph Attention Networks and Label Propagation Algorithm
Xiamen University（厦门大学）；Beijing Jiaotong University（北京交通大学）；School of Electronic Science and Engineering（电子科学与技术学院）；School of Electronic Information（电子信息学院）；School of Informatics（信息学院）
本文提出OCDGALP方法，结合图注意力网络与标签传播算法进行重叠社区检测，在DIHARD-III数据集上显著降低说话人分离错误率。
2025-06-03 cs.AI cs.SD eess.AS
DM-ASR: Diarization-aware Multi-speaker ASR with Unified Offline and Online Decoding with Large Language Models
School of Computer Science, Wuhan University（武汉大学计算机学院）；Tencent Ethereal Audio Lab, Tencent（腾讯天籁音频实验室）
DM-ASR利用说话人识别作为结构先验，将多说话人ASR任务转化为多轮对话生成过程，通过分解转录为说话人和时间条件查询，提升转录质量与结构化输出。
2026-11-02 eess.AS
