EEND-DEMUX：通过解复用说话人嵌入实现端到端神经说话人日志记录
EEND-DEMUX: End-to-End Neural Speaker Diarization via Demultiplexed Speaker Embeddings
AI总结：
提出 EEND-DEMUX 框架，通过解复用操作直接获得分离的说话人嵌入，并结合多头交叉注意力与三类约束损失，在 LibriMix 的固定及可变说话人数场景中持续提升说话人日志性能。
摘要：
近年来，已有多项研究致力于进一步改进端到端神经说话人日志记录（EEND）系统。本信函提出了 EEND-DEMUX 模型，这是一种利用解复用说话人嵌入的新颖框架。在本研究中，我们专注于在潜在空间中解耦与说话人相关的信息，然后将每个分离的潜在变量转换为其对应的语音活动。EEND-DEMUX 能够在推理阶段通过解复用操作直接获得分离的说话人嵌入，而无需外部说话人日志记录系统、嵌入提取器或启发式解码技术。此外，我们采用多头交叉注意力机制来有效捕获混合说话人嵌入与分离说话人嵌入之间的相关性。我们基于匹配、正交性和稀疏性约束构建了三个损失函数，以学习鲁棒的解复用说话人嵌入。在 LibriMix 数据集上的实验结果表明，在固定和可变说话人数量场景下，性能均得到持续提升。
英文摘要：
In recent years, there have been studies to further improve the end-to-end neural speaker diarization (EEND) systems. This letter proposes the EEND-DEMUX model, a novel framework utilizing demultiplexed speaker embeddings. In this work, we focus on disentangling speaker-relevant information in the latent space and then transform each separated latent variable into its corresponding speech activity. EEND-DEMUX can directly obtain separated speaker embeddings through the demultiplexing operation in the inference phase without an external speaker diarization system, an embedding extractor, or a heuristic decoding technique. Furthermore, we employ a multi-head cross-attention mechanism to capture the correlation between mixture and separated speaker embeddings effectively. We formulate three loss functions based on matching, orthogonality, and sparsity constraints to learn robust demultiplexed speaker embeddings. The experimental results on the LibriMix dataset show consistently improved performance in both a fixed and flexible number of speakers scenarios.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
