The Conversational Short-phrase Speaker Diarization (CSSD) Task: Dataset, Evaluation Metric and Baselines
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
会话场景是语音处理技术中最重要和最具挑战性的场景之一，因为人们在会话中以随意的方式相互响应。检测会话中每个人的语音活动对于后续任务（如自然语言处理、机器翻译等）至关重要。传统上，日志出错率（DER）一直被用作SD系统的标准评价指标。然而，DER未能给予足够的重视，短会话短语，这是短，但在语义层面上的重要性。此外，一个仔细和准确的手动注释的测试数据集适合于评估会话SD技术仍然是不可用的语音社区。在本文中，我们设计和描述会话短句说话人日记（CSSD）任务，它包括训练和测试数据集，评估指标和基线。在数据集方面，尽管之前开源了180小时的对话MagicData-RAMC数据集，但我们为CSSD任务准备了一个单独的20小时对话语音测试数据集，其中包含仔细和人工验证的扬声器时间戳注释。在度量方面，我们设计了新的会话DER（CDER）评估度量，它在话语级别上计算SD准确度。在基线方面，我们采用了一种常用的方法：变分贝叶斯HMM x向量系统，作为CSSD任务的基线。我们的评估指标可在https://github.com/SpeechClub/CDER_Metric上公开获取。
2022-08-17 cs.CL cs.SD eess.AS
Improving End-to-End Neural Diarization Using Conversational Summary Representations
Fano Labs（Fano实验室）
本研究扩展了EEND-EDA模型，用学习到的对话摘要表示替代零向量输入，使EDA模块基于话语级信息生成说话人吸引子，在公开测试集上实现了1.90%的绝对DER性能提升。
2023-06-24 cs.SD eess.AS
Advances in integration of end-to-end neural and clustering-based diarization for real conversational speech
NTT Corporation（日本电报电话公司）
最近，我们提出了一种新的说话人日志化方法，称为端到端神经日志化向量聚类（EEND-vector clustering），它将基于聚类和端到端神经网络的日志化方法集成到一个框架中。所提出的方法结合了两个框架的优点，即高的日记化性能和处理重叠的语音的基础上的EEND，和鲁棒的处理长录音与任意数量的扬声器基于聚类的方法。然而，到目前为止，该方法仅在模拟的2扬声器会议类数据上进行了评估。本文将（1）报告我们对该框架所做的最新进展，包括新引入的鲁棒约束聚类算法，以及（2）实验表明，该方法现在可以显着优于竞争性的日志化方法，如编码器-解码器吸引子（EDA）-EEND，在CALLHOME数据上，该数据包括真实的会话语音数据，包括重叠语音和任意数量的扬声器。通过对实验结果的进一步分析，本文还讨论了该方法的优缺点，并揭示了进一步改进的潜力。在https://github.com/nttcslab-sp/EEND-vector-clustering上可以找到一组重现结果的代码。
2021-08-31 cs.SD eess.AS
Pretraining Multi-Speaker Identification for Neural Speaker Diarization
NTT Corporation（日本电信电话公司）
本文提出预训练多说话人识别模型作为替代方案，利用大规模说话人识别数据集，无需模拟对话数据即可实现高精度轻量级的局部说话人日志模型。
2025-05-30 cs.SD eess.AS
ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion
AveraLabs（艾维拉实验室）
提出ConversationalVoice流水线，通过分离、重建和扩展将真实对话转化为全双工训练数据，保持高说话人相似度与语音质量，为后续模型训练提供基础。
2026-09-09 cs.CL cs.SD eess.AS
An Experimental Review of Speaker Diarization methods with application to Two-Speaker Conversational Telephone Speech recordings
Università Politecnica delle Marche（马尔凯理工大学）；PerVoice S.p.A.（PerVoice公司）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文实验比较了八种电话语音说话人分离算法，发现EEND-VC在计算效率与准确率间权衡最佳，而聚类方法更稳定但计算较重，SSGD计算成本最高且对数据匹配敏感。
2023-05-29 cs.SD eess.AS eess.SP
Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（科大讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种分离引导的说话人日志化（SGSD）方法，充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化（CSD）方法不能很好地处理重叠的语音段，我们调查，在这项研究中，基于分离的说话人日记化（SSD），它固有的潜力，以处理说话人重叠区域。我们的初步分析表明，最先进的基于Conv-TasNet的语音分离，这是相当不错的模拟数据，是不稳定的，在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时，基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言，几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音（CTS）数据上的实验表明，所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能，产生的相对日记错误率降低20.2%和20.8%的开发集和评估集，分别。
2021-07-06 cs.SD eess.AS
Incremental Transfer Learning in Two-pass Information Bottleneck based Speaker Diarization System for Meetings
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Idiap Research Institute（Idiap研究所）
基于两遍信息瓶颈（TPIB）的说话人日志化系统在不同的会话记录上独立运行。TPIB系统在区分新会话时不考虑先前学习的说话人判别信息。因此，由于人工神经网络（ANN）所需的训练时间，TPIB系统的实时系数（RTF）很高。本文试图提高RTF的TPIB系统使用增量迁移学习方法，其中学习的参数由人工神经网络从其他会话更新使用当前会话，而不是从头开始学习参数。这大大减少了RTF。与基线IB和TPIB系统相比，所提出的方法的有效性在标准NIST和AMI会话会议数据集上得到了证明。与NIST RT-04 Eval和AMI-1数据集上的TPIB系统相比，所提出的系统在性能略有下降的情况下，RTF分别显着提高了33.07%和24.45%。
2019-02-21 cs.SD eess.AS
Joint Learning Global-Local Speaker Classification to Enhance End-to-End Speaker Diarization and Recognition
Soul AI Lab, China（中国Soul AI实验室）；X-LANCE Lab, Shanghai Jiao Tong University, China（中国上海交通大学X-LANCE实验室）
本文提出GLSC-SDR方法，通过联合训练说话人分类与辨识识别，提升细粒度说话人区分能力，实验表明其在多个数据集上表现优异，无需依赖大规模真实对话数据。
2026-03-27 cs.SD
Improving the Naturalness of Simulated Conversations for End-to-End Neural Diarization
Hitachi, Ltd.（日立有限公司）
研究了端到端神经日志化（EEND）模型训练中模拟自然对话的方法。由于缺乏任何带注释的真实会话数据集，EEND通常首先在大规模模拟会话数据集上进行预训练，然后适应目标真实数据集。模拟数据集在EEND的训练中起着至关重要的作用，但迄今为止，对最佳模拟方法的研究还不够。因此，我们提出了一种方法来模拟自然的会话语音。与传统的方法，简单地结合多个扬声器的语音相比，我们的方法需要考虑到话轮。我们定义了四种类型的说话人过渡，并按顺序安排它们来模拟自然对话。使用我们的方法模拟的数据集被发现在沉默和重叠率方面与真实数据集在统计学上相似。在CALLHOME和CSJ数据集上进行的双说话人日记化实验结果表明，模拟数据集有助于提高EEND的性能。
2022-04-24 cs.CL cs.SD eess.AS
Dialogue-Based Streaming Audio-Visual Target Speaker Extraction with Predictive Dialogue Information
Shenzhen Loop Area Institute（深圳河套学院）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院）；The Chinese University of Hong Kong（香港中文大学）
针对真实对话中轮流发言机制被忽视的问题，首次提出在线音视频目标说话人提取基准，并设计基于大语言模型的目标说话人语音活动投影模块，从重叠混合语音预测未来活动以引导低延迟分离器，结合历史、同步与预测性上下文，在多种骨干网络上持续提升流式提取性能，真实对话中获近1分贝增益。
2026-09-28 cs.SD eess.AS
Linguistically Aided Speaker Diarization Using Speaker Role Information
University of Southern California（南加州大学）
说话人日记依赖于这样的假设，即对应于特定说话人的语音片段集中在说话人空间的特定区域中;该区域代表该说话人的身份。这些身份不是先验已知的，因此通常采用聚类算法，其传统上仅基于音频。然而，在嘈杂的条件下，这样的方法带来了产生不可靠的扬声器集群的风险。在这项工作中，我们的目标是利用语言信息作为一种补充方式，以更强大的方式来识别各种扬声器。我们专注于会话场景中的扬声器承担不同的角色，并预计将遵循不同的语言模式。这种独特的语言变异性可以用来帮助我们构建说话者身份。这样，我们就能够通过将聚类任务转换为分类任务来提高日志化性能。所提出的方法被应用在现实世界中的二元心理治疗提供者和患者之间的相互作用，并证明显示出改善的结果。
2020-02-05 cs.SD eess.AS
The Third DIHARD Diarization Challenge
Linguistic Data Consortium, University of Pennsylvania（宾夕法尼亚大学语言数据联盟）；Indian Institute of Science（印度科学理工学院）；Baidu Research（百度研究院）；University of Science and Technology of China（中国科学技术大学）
DIHARD III是一系列演讲者日志化挑战中的第三个，旨在提高日志化系统对录音设备、噪音条件和对话领域变化的鲁棒性。在两种语音活动条件下（从参考语音活动的日记与从头开始的日记）和11个不同的域下评估说话者日记。这些领域涵盖了一系列记录条件和交互类型，包括阅读有声读物、会议演讲、临床访谈、网络视频，以及第一次出现的对话电话语音。来自工业界和学术界的30个组织（组成21个小组）提交了499个有效的系统输出。评估结果表明，自DIHARD I以来，说话人日记化有了明显的改善，特别是对于两方交互，但对于许多领域（例如，网络视频），这个问题仍然远未解决。
2021-04-05 cs.SD eess.AS
PS4: Proxy-Supervised Joint Training for Real Target Speaker Extraction
针对真实对话混合语音中目标说话人提取模型训练难题，提出PS4框架。构建大规模语料库，采用代理监督联合训练策略，用四个互补目标微调基于BSRNN的模型，在REAL-T挑战中总体排名第二，取得良好效果。
2026-07-10 cs.AI cs.SD
Multimodal Clustering with Role Induced Constraints for Speaker Diarization
University of Southern California（南加州大学）
说话人聚类是传统说话人日志化系统中的一个重要步骤，通常被视为纯音频语音处理任务。然而，参与者在对话中使用的语言携带了可以帮助提高聚类性能的附加信息。这在会话互动中尤其如此，例如商务会议，面试和讲座，其中对话者（经理，客户，教师等）承担的特定角色。通常与可区分的语言模式有关。在本文中，我们建议采用一个监督的基于文本的模型来提取扬声器的角色，然后使用这些信息来指导基于音频的谱聚类步骤，通过施加必须链接和不能链接段之间的约束。所提出的方法被应用在两个不同的领域，即医疗互动和播客节目，并产生改进的结果相比，只有音频的方法。
2022-07-11 cs.SD eess.AS
TOGGL: Transcribing Overlapping Speech with Staggered Labeling
BBN Technologies（BBN科技公司）
针对重叠语音转录需多解码器的问题，提出仅用单个解码器、通过特殊标记归属说话人的TOGGL模型，可泛化至多说话人场景，在对话数据集上性能优于同类方法，还能提升单说话人转录效果。
2024-08-12 cs.CL cs.SD eess.AS
System Description for the Displace Speaker Diarization Challenge 2023
MTS AI（MTS人工智能公司）
本研究针对Displace 2023挑战赛提出结合VAD、Resnet架构CNN与谱聚类的说话人分离方案，未用印地语训练仍在开发集和一阶段评估集分别取得27.1%、27.4%的DER。
2024-06-20 cs.CL cs.SD eess.AS
Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对现有说话人日志方法仅依赖声学信息导致不利条件下性能下降的问题，提出从会议语义内容提取说话人信息，并联合建模声学与语义信息，在AISHELL-4和AliMeeting数据集上取得一致改进。
2023-05-22 cs.CL cs.SD eess.AS
Deep multi-metric learning for text-independent speaker verification
Huazhong University of Science and Technology（华中科技大学）
与文本无关的说话人确认是一个重要的人工智能问题，具有广泛的应用，如刑事调查，支付认证和基于兴趣的客户服务。文本无关说话人确认的目的是确定两个给定的不受控制的话语是否来自同一说话人。使用深度神经网络为每个说话者提取语音特征是一个很有前途的探索方向，一个简单的解决方案是通过使用度量学习损失函数来训练区分特征提取网络。然而，单一的损失函数往往具有一定的局限性。因此，我们使用深度多度量学习来解决这个问题，并为此问题引入三种不同的损失，即，三重态损耗、n对损耗和角损耗。这三个损失函数以合作的方式工作，以训练配备有剩余连接和挤压-激励注意力的特征提取网络。我们在大规模的\texttt{VoxCeleb2}数据集上进行了实验，该数据集包含来自超过$6,000$说话者的超过一百万个话语，并且所提出的深度神经网络获得了$3.48\%$的相等错误率，这是一个非常有竞争力的结果。\url{https://github.com/GreatJiweix/DmmlTiSV}提供了用于训练和测试的代码以及预训练模型，这是第一个公开可用的代码库，用于大规模文本无关的说话人验证，其性能与最先进的系统相当。
2020-07-17 cs.CV cs.SD eess.AS
Adapting self-supervised models to multi-talker speech recognition using speaker embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）
自监督学习（SSL）方法在没有显式监督的情况下学习数据的表示，在语音处理任务中，特别是对于单说话者应用程序，已经得到了普及。然而，这些模型在多人通话场景中的性能通常会降低--可能是由于域不匹配--这严重限制了它们在此类应用中的使用。在本文中，我们研究了在两种情况下上游SSL模型对多说话者自动语音识别（ASR）任务的适应性。首先，当分段的话语，我们表明，添加一个目标说话人提取（TSE）模块的基础上注册嵌入是互补的混合感知预训练。其次，对于未分割的混合，我们提出了一种新的联合说话人建模（JSM）的方法，通过他们的嵌入聚合来自混合中的所有扬声器的信息。通过在Libri 2 Mix上的对照实验，我们表明，使用扬声器嵌入分别为分段和未分段的情况提供了9.1%和42.1%的相对WER改进。我们还通过在AMI数据集上的实验证明了我们的模型对真实会话混合的有效性。
2022-11-01 cs.SD eess.AS
NIST SRE CTS Superset: A large-scale dataset for telephony speaker recognition
本文档简要描述了美国国家标准与技术研究所（NIST）的说话人识别评估（SRE）会话电话语音（CTS）超集。CTS超集的创建是为了向研究界提供大规模数据集以及统一的元数据，这些元数据可用于有效地训练和开发电话（窄带）说话人识别系统。它包含了大量的电话语音段，来自6800多个扬声器的语音持续时间均匀分布在[10 s，60 s]范围内。这些片段是从用于编译先前SRE数据集（SRE 1996 -2012）的源语料库中提取的，包括Greybeard语料库以及语言数据联盟（LDC）收集的Switchboard和Mixer系列。除了简要描述之外，我们还报告了NIST 2020 CTS Speaker Recognition Challenge的说话人识别结果，该结果是使用CTS Superset训练的系统获得的。结果将作为挑战的参考基线。
2021-08-16 cs.AI cs.SD eess.AS
Improved I-vector-based Speaker Recognition for Utterances with Speaker Generated Non-speech sounds
TCS Innovation Labs-Mumbai（塔塔咨询服务公司孟买创新实验室）
会话言语不仅包含中性言语的几种变体，而且还显著地与说话者产生的几种非言语声音（如笑声和呼吸）交织。一个鲁棒的说话人识别系统应该能够识别说话人，而不管他的语音中的这些变化。了解这些变化所代表的特定于说话人的信息是否相似，有助于建立一个良好的说话人识别系统。在本文中，说话人的中性语音捕获的扬声器变化进行了分析，考虑语音笑（中性语音的变体）和笑声（非语音）的声音说话人。我们研究了一个基于i向量的说话人识别系统，该系统只训练了中性语音，并评估了它在语音笑声和笑声上的性能。此外，我们分析了在基于i向量的说话人识别系统的训练过程中包括笑声的效果。我们的实验结果表明，在训练过程中的笑声的声音似乎提供了互补的特定于说话人的信息，从而导致在说话人识别系统的整体性能的提高，特别是在话语与语音笑段。
2017-05-25 cs.SD
Simultaneous Speech Extraction for Multiple Target Speakers under the Meeting Scenarios
School of Computer Science, Wuhan University（武汉大学计算机学院）；Duke Kunshan University（昆山杜克大学）；Data & AI Engineering System, OPPO（OPPO数据与人工智能工程系统）
针对会议场景多说话人语音分离问题，提出多目标语音分离模型MTSS及说话人日志感知系统SD-MTSS，利用TSVAD决策与估计掩码实现无需注册音频的并发语音提取，在多个数据集上显著提升了分离与识别性能。
2023-11-18 cs.SD eess.AS
DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling
The University of Tokyo, Japan（东京大学，日本）；National Institute of Advanced Industrial Science and Technology, Japan（日本国家先进工业科学与技术研究院）
针对现有大规模公共语音语料库不适用于全双工口语对话模型训练的问题，提出DuplexChat及DuplexChat-Pipe，通过特定流程构建分离说话者全双工对话语音，产出多语言语料库。
2026-07-07 cs.CL cs.SD eess.AS
FASTDIAR: Frame-level speaker encoder for Streaming Diarization
KTH Royal Institute of Technology（KTH皇家理工学院）；Microsoft（微软）
本文提出FASTDIAR，一种帧级因果说话人编码器与在线聚类结合的流式说话人日志系统，通过蒸馏训练，在低重叠基准上实现亚秒延迟的最优准确率，且单CPU线程运行速度比实时快五倍。
2026-10-05 cs.LG cs.SD eess.AS
JukeBox: A Multilingual Singer Recognition Dataset
Michigan State University（密歇根州立大学）
文本无关的说话人识别系统依赖于成功地编码语音因素，如音高，强度和音色，以实现良好的性能。大多数这样的系统都是使用口语或日常对话语音数据进行训练和评估的。然而，口语，表现出有限的范围内可能的扬声器动态，从而限制了效用的派生说话人识别模型。另一方面，歌唱声音涵盖了更广泛的声音和环境因素，因此可以用来评估说话人识别系统的鲁棒性。然而，大多数现有的说话人识别数据集只关注口语语音。相比之下，适合于说话人识别研究的带标签歌声数据明显不足。为了解决这个问题，我们组装\textit{JukeBox} -一个说话人识别数据集，多语言歌唱声音音频注释歌手身份，性别和语言标签。我们使用当前最先进的方法来证明使用单独训练口语的模型对唱歌的声音进行说话人识别的困难。我们还评估了性别和语言对说话人识别性能的影响，无论是在口语和唱歌的声音数据。完整的\textit{JukeBox}数据集可访问http://iprobe.cse.msu.edu/datasets/jukebox.html。
2020-08-08 cs.LG cs.SD eess.AS
Child-Centric Voice Anonymization in Single and Multi-Speaker Speech via Domain-Adapted SSL Models
通过将自监督学习（SSL）语音匿名化流水线适应儿童语音领域，在单说话人和两说话人混合场景下提升可懂度和感知质量，同时保持强隐私保护，并扩展至多说话人场景以保护对话结构。
2026-06-29 cs.AI cs.SD eess.SP
Investigating and Comparing Discussion Topics in Multilingual Underground Forums
IMDEA Networks Institute（IMDEA网络研究所）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文通过无监督方法分析多语言地下论坛中的讨论主题，揭示语言障碍导致的知识差异及暗语语义识别的应用。
2026-03-23 cs.SI
