Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而，这些研究仍然远远没有足够的泛化能力，真正的场景。在这项工作中，我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中，我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后，它从推断的说话人的信息作为条件，提取他们的语音源。该模型利用整体观测中的说话人信息进行预测，有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当，而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
End-to-End Neural Diarization: Reformulating Speaker Diarization as Simple Multi-label Classification
Hitachi, Ltd.（日立有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
最常见的说话人日志化方法是说话人嵌入聚类。然而，基于聚类的方法具有许多问题;即，(i)它没有被优化以直接最小化日志化误差，（i i）它不能正确地处理扬声器重叠，以及（iii）它难以使它们的扬声器嵌入模型适应具有扬声器重叠的真实音频记录。为了解决这些问题，我们提出了端到端神经日记（EEND），其中神经网络直接输出多个扬声器录音的扬声器日记结果。为了实现这样一个端到端的模型，我们制定了一个多标签分类问题的说话人日记化问题，并引入一个置换自由的目标函数，直接最大限度地减少日记错误。除了端到端的简单性，EEND方法可以显式地处理训练和推理过程中的说话人重叠。只需为多个说话者录音提供相应的说话者片段标签，我们的模型就可以很容易地适应真实的对话。我们评估了我们的方法模拟语音混合和真实的会话数据集。结果表明，EEND方法优于最先进的基于x向量聚类的方法，同时它正确地处理了说话人重叠。我们探索了用于EEND方法的神经网络架构，并发现基于自注意力的神经网络是实现优异性能的关键。与使用双向长短期记忆（BLSTM）仅对网络的前一个和下一个隐藏状态进行调节相反，自我注意力直接对所有帧进行调节。通过可视化的注意力权重，我们表明，自我注意捕捉全球扬声器特性，除了本地语音活动动态，使其特别适合于处理扬声器日记化问题。
2020-02-24 cs.CL cs.SD eess.AS
Speaker verification in mismatch training and testing conditions
Escola Universitària Politècnica de Mataró（马塔罗理工学院）；University of Saarland（萨尔大学）
本文提出了一个详尽的研究几个参数化的鲁棒性，一个新的数据库专门收购的目的，说话人识别应用。该数据库包括以下变化：不同的录音会话（包括电话和麦克风录音），录音室和语言（它是从一组双语扬声器中获得的）。这项研究已经进行了协方差矩阵在文本无关的说话人确认应用程序。结果表明，多种参数的组合可以提高所有场景下的鲁棒性。
2022-04-01 cs.SD eess.AS
Adapting End-to-End Neural Speaker Verification to New Languages and Recording Conditions with Adversarial Training
McGill University（麦吉尔大学）；Computer Research Institute of Montreal（蒙特利尔计算机研究所）
在这篇文章中，我们提出了一种新的方法来适应扬声器嵌入到新的领域的基础上对抗训练的神经网络。我们将我们的嵌入应用于文本无关的说话人验证任务，这是生物识别安全中一个具有挑战性的现实问题。我们通过结合一种新的一维自关注残差网络，角裕度损失函数和对抗训练策略，进一步开发了端到端的说话人嵌入模型。我们的模型能够学习非常紧凑的64维扬声器嵌入，使用简单的余弦距离评分在许多流行的数据集上提供有竞争力的性能。在NIST-SRE 2016任务中，我们能够击败强大的i向量基线，而在Speakers in the Wild任务中，我们的模型能够超越i向量和x向量基线，显示出比后者绝对提高了2.19%。此外，我们还表明，对抗性训练的整合始终导致了对未适应模型的显着改进。
2018-11-07 cs.CV cs.SD eess.AS
Continuous Target Speech Extraction: Enhancing Personalized Diarization and Extraction on Complex Recordings
College of ISEE Zhejiang University（浙江大学信息与电子工程学院）；Tencent AI Lab（腾讯AI实验室）
针对真实场景中说话人重叠多变、目标缺失等复杂情况，提出含A-TSVAD和TSE模型的连续目标语音提取框架，可直接生成目标说话人时间戳，级联整合方式能提升分离与提取准确率，增强个性化性能。
2024-01-29 cs.SD eess.AS
A Review of Speaker Diarization: Recent Advances with Deep Learning
University of Southern California（南加州大学）；Microsoft（微软）；ASAPP；Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日记是一个用与说话人身份相对应的类来标记音频或视频记录的任务，或者简而言之，一个识别“谁在什么时候说话”的任务。在早期，说话人日记化算法被开发用于多说话人音频记录上的语音识别，以实现说话人自适应处理。随着时间的推移，这些算法作为一个独立的应用程序也获得了自己的价值，为音频检索等下游任务提供特定于说话者的元信息。最近，随着深度学习技术的出现，它推动了语音应用领域研究和实践的革命性变化，扬声器日志化取得了快速进步。在本文中，我们不仅回顾了说话人日记化技术的历史发展，而且还在最近的神经说话人日记化方法的进展。此外，我们还讨论了说话人日志化系统如何与语音识别应用集成，以及最近的深度学习浪潮如何引领联合建模这两个组件以实现互补。通过考虑这些令人兴奋的技术趋势，我们相信本文是对社区的宝贵贡献，通过巩固神经方法的最新发展，从而促进更有效的扬声器日记的进一步进展，提供了一个调查工作。
2021-11-26 cs.CL cs.SD eess.AS
Microsoft Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2020
Microsoft（微软公司）
本文介绍了用于野外单声道多人录音的Microsoft扬声器日记系统，该系统在VoxCeleb说话人识别挑战赛（VoxSRC）2020的日记轨道上进行了评估。我们将首先解释我们的系统设计，以解决处理真实多说话者录音的问题。然后，我们提出的组件的细节，其中包括基于Res2Net的说话人嵌入提取器，符合者为基础的连续语音分离与泄漏滤波，和一个修改后的DOVER（缩写为Diarization Output Voting Error Reduction）方法系统融合。我们使用VoxSRCchallenge 2020提供的数据集对系统进行了评估，该数据集包含从YouTube收集的真实多人音频。我们的最佳系统在开发集和评估集上分别实现了3.71%和6.23%的日志错误率（DER），在挑战的日志跟踪中排名第一。
2020-10-23 cs.SD eess.AS
End-to-End Neural Speaker Diarization with Self-attention
Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日志化主要是基于说话人嵌入的聚类。然而，基于聚类的方法具有两个主要问题;即，(i)它没有被优化以直接最小化日记化误差，以及（ii）它不能正确地处理扬声器重叠。为了解决这些问题，最近提出了端到端神经日志化（EEND），其中双向长短期记忆（BLSTM）网络直接输出给定多说话者录音的说话者日志化结果。在这项研究中，我们通过引入自我注意块而不是BLSTM块来增强EEND。与仅以其前一个和下一个隐藏状态为条件的BLSTM相反，自注意力直接以所有其他帧为条件，使得它非常适合处理说话人日记化问题。我们评估了我们提出的方法模拟混合物，真实的电话，和真实的对话录音。实验结果表明，自我注意力是实现良好性能的关键，我们提出的方法的性能显着优于传统的基于BLSTM的方法。我们的方法甚至比最先进的基于x向量聚类的方法更好。最后，通过可视化的潜在代表性，我们表明，自我注意可以捕捉全球发言人的特点，除了本地的语音活动动态。我们的源代码可以在https://github.com/hitachi-speech/EEND上获得。
2019-09-13 cs.CL cs.SD eess.AS
A Comparative Study of Modular and Joint Approaches for Speaker-Attributed ASR on Monaural Long-Form Audio
Microsoft Corp.（微软公司）
说话人属性自动语音识别（SA-ASR）是从多个说话人的录音中识别“谁说了什么”的任务。SA-ASR系统通常由语音分离、说话人日志化和ASR等多个模块组成。另一方面，考虑到联合优化，最近提出了一种端到端（E2 E）SA-ASR模型，并在仿真数据上取得了令人满意的结果。在本文中，我们提出了我们最近的研究比较真实的单声道录音，这种模块化和联合的方法对SA-ASR。我们通过利用大规模训练数据，包括7.5万小时的ASR训练数据和用于说话人表示学习的VoxCeleb语料库，为模块化和联合方法开发最先进的SA-ASR系统。我们还提出了一个新的管道，执行E2 E SA-ASR模型后，扬声器聚类。在AMI会议语料库上的评价表明，经过少量的实际数据微调后，联合系统的准确率比最好的模块系统提高了8.9- 29.9%，而模块系统在微调前的准确率更高。我们还进行了各种误差分析，以显示单耳SA-ASR的剩余问题。
2021-09-17 cs.CL cs.SD eess.AS
The importance of spatial and spectral information in multiple speaker tracking
Reality Labs Research
本文提出一种基于JPDA的方法，通过将说话人时频掩码整合到关联概率计算中，利用联合空间-频谱信息解决多说话人跟踪中的方向估计关联问题，并在LOCATA数据集上验证了其性能提升。
2024-10-15 cs.SD eess.AS
On Barriers to Archival Audio Processing
University of British Columbia（不列颠哥伦比亚大学）
本研究利用UNESCO 20世纪中期广播录音集，探究现代语言识别和说话人识别方法在多语种和跨年龄录音上的鲁棒性，发现LID系统表现较好但说话人嵌入仍易受信道、年龄和语言偏差影响，是档案采用SR方法的主要障碍。
2025-07-11 cs.AI cs.CL cs.SD
HI-MIA : A Far-field Text-Dependent Speaker Verification Database and the Baselines
Duke Kunshan University（昆山杜克大学）；Beijing Shell Shell Technology Co. Ltd.（北京贝壳科技有限公司）；Wuhan University（武汉大学）
本文提出了一个远场文本相关的说话人确认数据库HI-MIA。我们的目标是满足基于远场麦克风阵列的说话人确认的数据要求，因为大多数公开可用的数据库是单通道近距离说话和文本无关的。该数据库包含340人在为远场场景设计的房间中的录音。录音是由位于不同方向和距离的扬声器和高保真近距离麦克风多个麦克风阵列捕获。此外，我们提出了一套端到端的神经网络为基础的基线系统，采用单通道数据进行训练。此外，我们提出了一个测试背景感知的注册增强策略，以进一步提高性能。实验结果表明，该融合系统在远场登记远场测试任务中的EER为3.29%，在近距离交谈登记和远场测试任务中的EER为4.02%。
2020-02-01 cs.SD eess.AS
Speaker Extraction with Co-Speech Gestures Cue
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
说话人提取的目的是从多说话人的混合语音中提取出目标说话人的纯净语音。已经有研究使用预先录制的语音样本或目标说话者的面部图像作为说话者线索。在人类交流中，与语音自然同步的协同语音手势也有助于语音感知。在这项工作中，我们探索使用共同的语音手势序列，例如手和身体的动作，作为说话人提取的说话人线索，这可以很容易地从低分辨率的视频记录中获得，因此比人脸记录更可用。我们提出了两个网络使用的共同语音手势线索，以执行专注的听目标扬声器，一个隐式融合的共同语音手势线索在扬声器提取过程中，另一个执行语音分离第一，然后明确使用共同语音手势线索相关联的分离语音的目标扬声器。实验结果表明，协同语音手势提示在与目标说话人的关联中具有一定的信息量。
2022-05-10 cs.CV cs.SD eess.AS
Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios
Signal Processing (SP), University of Hamburg, Germany（信号处理系，汉堡大学）
本文提出一种自适应旋转定向联合自回归框架，通过引入处理后的录音作为指导，提高动态场景中紧密移动说话人跟踪和增强效果。
2026-01-21 cs.LG cs.SD eess.AS
Neural Speaker Diarization with Speaker-Wise Chain Rule
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
说话人日志化是多说话人音频处理的重要步骤。虽然端到端神经日志化（EEND）方法实现了最先进的性能，但它仅限于固定数量的扬声器。在本文中，我们解决了这个固定数量的发言人的问题，一个新的发言人明智的条件推理方法的基础上概率链规则。在该方法中，每个说话人的语音活动被视为一个单一的随机变量，并估计顺序的条件下，先前估计的其他说话人的语音活动。类似于其他序列到序列模型，所提出的方法产生一个可变数量的扬声器与停止序列条件。我们评估了所提出的方法对多个扬声器的音频记录的可变数量的扬声器。实验结果表明，该方法可以正确地产生与可变数量的说话人的日记化结果，并优于最先进的端到端的说话人日记化方法的日记化错误率。
2020-06-02 cs.CL cs.SD eess.AS
DNN Speaker Tracking with Embeddings
Universidad Autónoma de Yucatán（尤卡坦自治大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在多扬声器应用中，通常具有来自注册扬声器的预先计算的模型。使用这些模型来识别这些说话者干预录音的情况是说话者跟踪的任务。在本文中，我们提出了一种新的基于嵌入的说话人跟踪方法。具体来说，我们的设计是基于一个卷积神经网络，模仿一个典型的说话人验证PLDA（概率线性判别分析）分类器，并发现在一个在线的方式发出的目标扬声器的区域。该系统从两个不同的角度进行了研究：日记和跟踪;结果都显示了显着的改善，在相同的实验条件下，PLDA基线。两个标准的公共数据集，CALLHOME和DIHARD II单通道，进行了修改，以创建两个扬声器子集的重叠和非重叠区域。我们评估我们的监督方法的鲁棒性与从不同的段长度生成的模型。DIHARD II单通道DER相对提高17%，表现出良好的性能。此外，为了使基线系统类似于说话人跟踪，非目标说话人被添加到录音中。即使在这些不利条件下，我们的方法也足够强大，可以超越PLDA基线。
2020-07-13 cs.LG cs.SD eess.AS
Channel adversarial training for speaker verification and diarization
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语言技术研究中心）
以前的工作通过对生成的特征所属的数据集或标记环境进行逆向分类来鼓励深度说话人嵌入中的域不变性。我们提出了一种训练策略，旨在产生在记录或通道的粒度上不变的特征，这是一个比数据集或环境不变性更细粒度的目标。通过训练对手预测是否对相同的扬声器嵌入属于相同的录音在连体的方式，学习的功能是不鼓励利用信道信息，可能是扬声器的区别在训练过程中。在VoxCeleb上进行的验证实验以及在CALLHOME上进行的日志化和验证实验显示，除了优于竞争对手模型之外，在强大的基线上也有很好的改进。VoxCeleb模型尤其表现良好，在Kaldi基线上实现了EER的$4\%$相对改善，同时使用了类似的架构和更少的训练数据。
2019-10-25 cs.LG cs.SD eess.AS
Detecting Check-Worthy Claims in Political Debates, Speeches, and Interviews Using Audio Data
Sofia University（索非亚大学）；Amazon（亚马逊）
本文构建含48小时美国政治辩论语音的英文多模态数据集，证明音频模态可显著提升值得核查声明的检测效果，并公开数据与代码。
2024-01-17 cs.AI cs.CL cs.IR
The IBM Speaker Recognition System: Recent Advances and Error Analysis
IBM（国际商业机器公司）
我们提出了最近的进展，随着IBM的说话人识别系统的会话语音的错误分析。有助于我们系统的一些关键进步包括：最近邻判别分析（NDA）方法（与LDA相反）用于i-向量空间中的会话间变化补偿，应用从自动语音识别（ASR）系统中导出的扬声器和通道自适应特征用于扬声器识别，以及使用具有非常大数量的输出单元（~ 10 k senone）的DNN声学模型来计算i向量估计过程中所需的帧级软对准。我们在NIST 2010 SRE扩展堆芯条件（C1-C9）以及10秒-10秒条件下评估了这些技术。据我们所知，我们的系统所取得的结果代表了迄今为止在这些条件下公布的最佳性能。例如，在扩展的tel-tel条件（C5）下，系统实现0.59%的EER。为了进一步了解剩余的错误（在C5上），我们检查了与低评分目标试验相关的记录，其中为有问题的记录/试验确定了各种问题。有趣的是，观察到校正病理记录不仅提高了目标试验的分数，而且提高了非目标试验的分数。
2016-05-05 cs.CL cs.SD stat.ML
Diarization of Legal Proceedings. Identifying and Transcribing Judicial Speech from Recorded Court Audio
New York University（纽约大学）
美国法院将口头辩论的录音作为公共记录提供，但这些录音很少包括发言人的注释。本文讨论了语音音频日记问题，回答了“谁在什么时候说话？”“在司法口头辩论程序领域。我们提出了一个工作流程diarizing法官的口头辩论，我们称之为参考依赖扬声器验证的过程中使用的音频记录的讲话。我们利用用广义端到端损失训练的语音嵌入网络将语音编码成d向量和基于注释数据的预定义参考音频库。我们发现，通过编码参考音频的扬声器和完整的参数和计算相似性分数，我们实现了13.8%的拨号出错率的扬声器覆盖的参考音频库上举行的测试集。我们评估我们的方法对美国最高法院的口头辩论，通过Oyez项目访问，并概述了未来的工作diarizing法律诉讼。该研究的代码存储库可在github.com/JeffT13/rd-diarization上获得
2021-04-03 cs.SD eess.AS
SuperVoice: Text-Independent Speaker Verification Using Ultrasound Energy in Human Speech
Michigan State University（密歇根州立大学）
语音激活系统集成到各种桌面、移动和物联网（IoT）设备中。然而，语音欺骗攻击，如模仿和重放攻击，其中恶意攻击者合成受害者的声音或简单地重放它，带来了越来越多的安全问题。现有的说话人确认技术通过从语音命令的可听频率范围中提取的频谱特征来区分各个说话人。然而，它们通常具有高出错率和/或长延迟。在本文中，我们探索了一个新的方向，人类的语音研究，通过仔细检查在超声频段的人类语音的独特特征。我们的研究表明，从20到48 kHz的高频超声成分（如语音摩擦音）可以显着提高说话人确认的安全性和准确性。我们提出了一个说话人验证系统，SUPERVOICE，它使用一个具有特征融合机制的双流DNN架构来生成独特的说话人模型。为了测试该系统，我们创建了一个语音数据集，其中包含来自127名参与者的12小时音频（8，950个语音样本）。此外，我们还创建了第二个欺骗语音数据集来评估其安全性。为了在受控录音和真实世界应用之间取得平衡，录音是通过8种不同的录音设备从两个安静的房间收集的，包括7部智能手机和一个超声波麦克风。我们的评估表明，SUPERVOICE实现了0.58%的平等出错率的说话人确认任务，它只需要120 ms的测试传入的话语，优于所有现有的说话人确认系统。此外，在91 ms的处理时间内，SUPERVOICE在检测由5个不同扬声器发起的重放攻击时实现了0%的相等出错率。
2022-05-28 cs.HC cs.LG cs.SD
A Semi-Automatic Approach to Create Large Gender- and Age-Balanced Speaker Corpora: Usefulness of Speaker Diarization & Identification
French National Institute of Audiovisual (INA)（法国国家视听研究院）；CNRS（法国国家科学研究中心）；LISN（计算机科学与数字技术交叉科学实验室）；Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
本文提出一种半自动流水线方法，结合语音检测、去噪与说话人日志技术，高效构建性别、年龄与时期均衡的大规模说话人语料库，将人工处理量减少十倍并保证高输出质量。
2024-04-26 cs.CL cs.DL cs.LG
Risk of re-identification for shared clinical speech recordings
Mayo Clinic（梅奥诊所）；Vanderbilt University Medical Center（范德堡大学医学中心）
该研究针对共享临床语音记录的隐私问题，用先进说话人识别系统分析重识别风险，发现风险随搜索空间扩大而降低，且非连贯语音更难识别，实际重识别风险整体较低。
2023-08-21 cs.CR cs.LG cs.SD
An Experimental Review of Speaker Diarization methods with application to Two-Speaker Conversational Telephone Speech recordings
Università Politecnica delle Marche（马尔凯理工大学）；PerVoice S.p.A.（PerVoice公司）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文实验比较了八种电话语音说话人分离算法，发现EEND-VC在计算效率与准确率间权衡最佳，而聚类方法更稳定但计算较重，SSGD计算成本最高且对数据匹配敏感。
2023-05-29 cs.SD eess.AS eess.SP
Improving End-to-End Neural Diarization Using Conversational Summary Representations
Fano Labs（Fano实验室）
本研究扩展了EEND-EDA模型，用学习到的对话摘要表示替代零向量输入，使EDA模块基于话语级信息生成说话人吸引子，在公开测试集上实现了1.90%的绝对DER性能提升。
2023-06-24 cs.SD eess.AS
Optimization of Speaker Extraction Neural Network with Magnitude and Temporal Spectrum Approximation Loss
National University of Singapore（新加坡国立大学）
提出了一种基于SpeakerBeam-FE（SBF）的说话人提取方法。它试图克服的问题，未知数量的发言人在音频记录在源分离。SBF的掩蔽近似损失是次优的，它没有计算直接信号重构误差，也没有考虑语音上下文。为了解决这些问题，本文提出了一种幅度和时间谱近似损失估计的相位敏感掩模的目标说话人的说话人的特性。此外，本文探索了一种级联框架，而不是SBF方法中的上下文自适应深度神经网络，以将说话人嵌入到掩码估计网络中。开放评价条件下的实验结果表明，该方法在信失真比（SDR）和语音质量感知评价（PESQ）上分别比SBF基线提高了70.4%和17.7%。进一步的分析表明，69.1%和72.3%的相对SDR的改善所提出的方法获得不同和相同的性别混合。
2019-03-24 cs.CL cs.SD eess.AS
VieSpeaker: A Large-Scale Vietnamese Speaker Recognition Dataset Beyond Visual Dependency
Hanoi University of Science and Technology（河内科技大学）
提出无需面部线索的数据集构建流程，利用文本元数据和大型语言模型推理说话人身份，构建包含4715名说话人约902小时语音的越南语数据集VieSpeaker，实验证明其提升模型鲁棒性和泛化能力。
2026-06-24 cs.CL cs.SD eess.AS
Neural Speaker Embeddings for Ultrasound-based Silent Speech Interfaces
University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
发音到声学映射试图从发音运动的记录（例如，超声视频）重建语音。就像语音信号一样，这些录音不仅代表语言内容，而且对实际说话者来说也是高度特定的。因此，由于缺乏多说话人数据集，研究人员迄今为止集中在说话人相关建模。在这里，我们提出了多扬声器实验使用最近出版的TaL80语料库。为了对说话者特征进行建模，我们调整了语音处理中流行的x向量框架，以使用超声舌视频进行操作。接下来，我们使用语料库中的50个说话人进行了说话人识别实验。然后，我们创建了扬声器嵌入向量，并在剩余的扬声器上对其进行评估。最后，我们研究了嵌入向量如何影响多扬声器场景中超声到语音转换网络的准确性。在实验中，我们达到了低于3%的说话人识别出错率，我们还发现，嵌入向量很好地推广到看不见的说话人。我们第一次尝试将它们应用于多扬声器无声语音框架中，使得频谱估计步骤的出错率略有降低。
2021-06-11 cs.SD
DiaCorrect: Error Correction Back-end For Speaker Diarization
Brno University of Technology（布尔诺理工大学）；Ximalaya Inc.（喜马拉雅公司）
本文提出DiaCorrect错误纠正框架，利用双卷积编码器与transform解码器交互输入录音与初始输出，自动修正说话人活动，在2说话人电话数据上有效降低了日志错误。
2023-09-15 cs.CL cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University（首尔大学）
近年来，已经提出了各种基于深度学习的嵌入方法，并在说话人验证中表现出令人印象深刻的性能。然而，与大多数经典嵌入技术一样，已知基于深度学习的方法在处理具有不同条件的语音样本（例如，记录设备、情绪状态）。在本文中，我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明，该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
Residual Information in Deep Speaker Embedding Architectures
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
说话人嵌入表示从语音信号中提取代表性矢量表示的手段，使得表示仅与说话人身份有关。嵌入通常用于分类和区分不同的扬声器。然而，没有客观的措施来评估说话人嵌入的能力，以解开从其他语音特征的说话人身份。这意味着嵌入远非理想，高度依赖于训练语料库，并且仍然包括与诸如语言内容、记录条件或话语的说话风格等因素有关的一定程度的残留信息。本文介绍了对使用一些最新和高性能DNN架构提取的六组说话人嵌入的分析，特别是它们能够真正从语音信号中分离说话人身份的程度。为了正确地评估架构，使用大型多扬声器并行语音数据集。该数据集包括46个说话者发出相同的提示，记录在专业工作室或他们的家庭环境中。分析着眼于内和扬声器间的相似性措施计算在不同的嵌入集，以及如果简单的分类和回归方法能够提取几个残留的信息因素的扬声器嵌入。结果表明，所分析的嵌入的辨别能力是非常高的，但在所有的分析架构，剩余信息仍然存在于表示的形式，一个高度相关的记录条件，语言内容和话语持续时间。
2023-02-06 cs.AI cs.SD eess.AS
Speaker verification using attentive multi-scale convolutional recurrent network
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院）
提出注意力多尺度卷积循环网络 AMCRN，融合局部空间与全局时序信息学习说话人嵌入，并在 VoxCeleb 数据集上验证其更低错误率、更低资源开销及更强泛化性。
2023-06-01 cs.SD eess.AS
Weakly Supervised Training of Hierarchical Attention Networks for Speaker Identification
University of Sheffield（谢菲尔德大学）
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种层次化的注意力网络来解决弱标记说话人识别问题。使用的分层结构，包括一个帧级编码器和一个段级编码器，旨在学习本地和全球的扬声器相关的信息。语音流被分割成片段。具有注意力的帧级编码器学习特征并局部突出目标相关帧，并输出基于片段的嵌入。片段级编码器与第二关注层一起工作，以强调可能与目标说话者相关的片段。最后，从分段级模块中收集全局信息，通过分类器进行说话人预测。为了评估所提出的方法的有效性，基于Switchboard Cellular part1（SWBC）和Voxceleb1的人工数据集构造在两种情况下，其中说话人的声音重叠和不重叠。通过与两个基线的比较，结果表明该方法可以获得更好的性能。此外，进一步的实验进行评估的影响，话语分割。结果表明，合理的分割可以略微提高识别性能。
2020-08-27 cs.CL cs.SD eess.AS
Integrating end-to-end neural and clustering-based diarization: Getting the best of both worlds
NTT Corporation（日本电报电话公司）
最近的日志化技术可以分为两种方法，即，聚类和端到端神经方法，它们有不同的优点和缺点。基于聚类的方法通过聚类说话人嵌入（如x向量）来为语音区域分配说话人标签。虽然它可以被视为当前最先进的方法，以合理的鲁棒性和准确性适用于各种具有挑战性的数据，但它具有一个关键的缺点，即它不能处理自然对话数据中不可避免的重叠语音。相反，端到端神经日志化（EEND），它直接预测日志标签使用神经网络，被设计来处理重叠的语音。虽然可以很容易地结合新兴深度学习技术的EEND已经开始在一些现实数据库中优于x向量聚类方法，但很难使其适用于“长”记录（例如，超过10分钟的记录），例如，巨大的内存消耗。逐块独立处理也是困难的，因为它提出了块间标签置换问题，即，块之间的说话者标签分配的模糊性。在本文中，我们提出了一个简单但有效的混合日记框架，工作重叠的语音和长录音包含任意数量的扬声器。它修改了传统的EEND框架，以同时输出全局说话人嵌入，以便可以跨块执行说话人聚类，以解决排列问题。基于模拟嘈杂的混响2扬声器会议类数据的实验，我们表明，所提出的框架的效果显着优于原来的EEND，特别是当输入数据很长。
2021-02-05 cs.SD eess.AS stat.ML
Privacy-preserving Automatic Speaker Diarization
INESC-ID/IST, University of Lisbon（里斯本大学INESC-ID/IST）；Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文针对自动说话人分离的隐私泄露问题，提出结合安全多方计算与安全模哈希的隐私保护方案，应用于说话人嵌入提取和凝聚层次聚类，在两种安全设置下实现实时因子1.1和1.6的合理性能与效率权衡。
2023-04-18 cs.CR cs.SD eess.AS
Triplet loss based embeddings for forensic speaker identification in Spanish
Facultad de Estudios Superiores Cuautitlán（库奥蒂特兰高等研究学院）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Abierta y a Distancia de México（墨西哥开放与远程大学）；University of Malta（马耳他大学）
随着数字技术的出现，犯罪或法律纠纷更常见的是涉及某种形式的语音记录，其中说话者的身份受到质疑[1]。面对这种情况，法庭说话人辨识领域一直在寻求通过量化语音记录相对于人口属于特定人的程度来阐明该问题。在这项工作中，我们探索使用三重损失训练CNN获得的语音嵌入的使用。特别是，我们专注于尚未广泛研究的西班牙语。我们建议从语音频谱图样本中提取嵌入，然后探索这种频谱图的几种配置，最后量化嵌入质量。我们还显示了我们的数据设置，主要是由男性扬声器的一些限制。最后，我们提出了两种方法来计算Likewise Radio给出的语音嵌入，我们表明，三重损失是一个很好的替代方案，以创建语音嵌入法医说话人辨识。
2021-09-14 cs.AI cs.SD eess.AS
EEG-informed attended speaker extraction from recorded speech mixtures with application in neuro-steered hearing prostheses
ESAT Laboratory of KU Leuven（KU莱顿大学ESAT实验室）；KU Leuven（KU莱顿大学）；Department of Electrical Engineering (ESAT)（电气工程系（ESAT））；Department of Neurosciences（神经科学系）
本文提出了一种基于EEG的受关注说话人提取方法，利用麦克风阵列记录和EEG记录来实现噪声环境下的说话人分离与去噪，展示了在无干净语音信号的情况下，通过EEG进行的听觉注意力检测的鲁棒性。
2019-02-05 cs.SD cs.SY eess.SY
Replay spoofing detection system for automatic speaker verification using multi-task learning of noise classes
University of Seoul（首尔市立大学）
在本文中，我们提出了一个重放攻击欺骗检测系统的自动说话人验证使用多任务学习的噪声类。我们将重放攻击引起的噪声定义为重放噪声。我们探索了同时训练深度神经网络用于重放攻击欺骗检测和重放噪声分类的有效性。多任务学习包括对回放设备、记录环境和记录设备的噪声进行分类以及欺骗检测。三种类型的噪声类别中的每一种也包括真正的类别。在ASVspoof2017数据集上的实验结果表明，我们提出的系统在评估集上的性能相对提高了30%。
2018-10-25 cs.LG cs.SD eess.AS
Supervised Speaker Embedding De-Mixing in Two-Speaker Environment
University of Sheffield（谢菲尔德大学）
从多扬声器环境中分离不同的扬声器属性是具有挑战性的。与传统的语音声源分离方法不同，本文提出了一种说话人嵌入去混方法。该方法在嵌入空间中从双说话人信号中分离出不同的说话人属性。拟议的办法包括两个步骤。在第一步中，干净的说话人嵌入学习和收集的残余TDNN为基础的网络。在步骤2中，将两个扬声器信号和扬声器之一的嵌入都输入到扬声器嵌入解混网络。训练去混网络，通过重构损失产生另一个说话人的嵌入。利用说话人辨识准确率和纯净嵌入与去混嵌入之间的余弦相似度来评价所得到的嵌入的质量。在人工增强的双说话人数据（TIMIT）和真实世界的双说话人数据（MC-WSJ）上进行了实验。研究了六种不同的说话人嵌入去混结构。实验结果表明，本文提出的一种结构与纯说话人嵌入的性能相近，识别准确率达到96.9%，余弦相似度为0.89。
2021-02-05 cs.CL cs.LG cs.SD
NeuraGen-A Low-Resource Neural Network based approach for Gender Classification
University of Hyderabad（海得拉巴大学）
人的声音是几个重要信息的来源。这是特征的形式。这些特征有助于解释与说话者和语音相关联的各种特征。与说话人相关的研究主要集中在说话人辨识、说话人确认、说话人生物特征识别、基于特征的取证以及基于语音和人脸图像的跨模态匹配等方面。在这样的语境研究中，找到一个干净的、注释良好的公开可用的语音语料库作为数据集是一项非常困难的任务。获取志愿者来生成这样的数据集也是非常昂贵的，更不用说研究人员花费大量的精力和时间来收集这些数据。本论文的工作，一个神经网络的建议，作为神经元的重点，这是一个低资源的人工神经网络架构。所提出的工具用于从语音记录中对说话者的性别进行分类。我们使用了从ELSDSR和有限的TIMIT数据集收集的语音记录，从中提取了8个语音特征，这些特征经过预处理，然后输入NeuraGen以识别性别。NeuraGen在训练和20倍交叉验证数据集中成功实现了90.7407%的准确率和91.227%的F1评分。
2022-03-29 cs.LG cs.SD eess.AS
Neural Speaker Diarization via Multilingual Training: Evaluation on Low-Resource Nepali-Hindi Speech
Department of Electronics and Computer Engineering, Pulchowk Campus, Institute of Engineering（电子与计算机工程系，普尔乔克校区，工程学院）
本文采用多语言训练方法，比较EEND-EDA和DiaPer两种架构在低资源尼泊尔-印地语语音上的说话人日志性能，DiaPer在多人场景下表现更优。
2026-06-26 cs.CL cs.LG cs.SD
Developing an Effective Training Dataset to Enhance the Performance of AI-based Speaker Separation Systems
Damascus University（大马士革大学）
针对说话人分离模型在真实录音条件下性能下降的问题，提出构建包含混合信号与对应真实值的真实训练集新方法，在深度学习模型上使SI-SDR提升1.65 dB。
2024-11-13 cs.AI cs.SD eess.AS
Automated Analysis of Naturalistic Recordings in Early Childhood: Applications, Challenges, and Opportunities
本文综述了利用语音技术自动分析3岁以下幼儿自然长时录音的现状，指出面向儿童的说话人分离、发声分类等技术仍不成熟，并探讨其挑战与跨学科发展机遇。
2025-09-22 cs.SD eess.AS
A comparative study of several parameterizations for speaker recognition
Escola Universitària Politècnica de Mataró（马塔罗理工学院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文详细研究了几种参数化方法在说话人确认和识别中的鲁棒性。我们研究了几种不匹配条件：不同的录音会话、麦克风和不同的语言（它是从一组双语扬声器中获得的）。本研究揭示了几个参数化的组合可以提高在所有情况下的鲁棒性的任务，识别和验证。此外，两种不同的方法进行了评估：矢量量化，和协方差矩阵的算术谐波球度测量。
2022-02-24 cs.LG cs.SD eess.AS
High-Resolution Speaker Counting In Reverberant Rooms Using CRNN With Ambisonics Features
Orange Labs（奥兰治实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；GIPSA-lab（格勒诺布尔图像语音信号与自动控制实验室）；Grenoble-INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）
说话者计数是估计在音频记录中同时说话的人数的任务。对于若干音频处理任务，诸如扬声器日志化、分离、定位和跟踪，除了能够实现低延迟处理之外，知道每个时间步长处的扬声器的数量是先决条件，或者至少它可以是强优势。为此目的，我们解决了扬声器计数问题与多通道卷积递归神经网络，产生在短期帧分辨率的估计。我们训练网络来预测多通道混合中多达5个并发扬声器，模拟数据包括源和麦克风位置，混响和噪声方面的许多不同条件。该网络可以在帧分辨率下以良好的精度预测扬声器的数量。
2020-03-17 cs.SD eess.AS
Emotional Styles Hide in Deep Speaker Embeddings: Disentangle Deep Speaker Embeddings for Speaker Clustering
Computer Engineering Florida International University Miami, USA（计算机工程，佛罗里达国际大学，迈阿密，美国）；Knight Foundation School of Computing（骑士基金会计算科学学院）；Information Sciences Florida International University Miami, USA（信息科学，佛罗里达国际大学，迈阿密，美国）
针对情感表达损害深度说话人嵌入及聚类性能的问题，提出DTG-VAE，在VAE框架中解耦情感因素，提取更鲁棒的说话人嵌入并显著提升聚类效果。
2025-09-27 cs.SD eess.AS
Incorporation of Speech Duration Information in Score Fusion of Speaker Recognition Systems
Özyeğin University（奥兹耶金大学）；TUBITAK BILGEM（土耳其科学技术研究理事会信息与通信技术研究所）
近年来，基于身份向量（i-vector）的说话人确认（SV）系统已经变得非常成功。然而，环境噪声和语音持续时间的变化仍然有显着的影响，降低这些系统的性能。在许多现实生活中的应用中，录音的持续时间非常短;因此，提取的i向量不能可靠地表示说话者的属性。在这里，我们研究了语音持续时间对三种最先进的说话人识别系统性能的影响。此外，使用各种可用的分数融合方法，我们调查分数融合的效果，这些说话人确认技术受益于不同的方法在不同的注册和测试语音持续时间条件下的性能差异。该技术的表现明显优于基线评分融合方法。
2016-08-07 cs.CL cs.SD
Beamformer-Guided Target Speaker Extraction
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
我们提出了一种波束形成器引导的目标说话人提取（BG-TSE）的方法来提取目标说话人的声音从多通道录音通知的波达方向的目标。所提出的方法采用前端波束形成器转向目标扬声器提供一个辅助信号的单通道TSE系统。通过允许在单通道TSE块中进行时变嵌入，所提出的方法充分利用了前端波束形成器输出与麦克风信号中的目标语音之间的对应关系。在消声和混响条件下对模拟多通道2扬声器混合的实验评估表明，与最近的单通道和多通道基线相比，所提出的方法具有优势。
2023-03-15 cs.SD eess.AS
Lightweight Dual-channel Target Speaker Separation for Mobile Voice Communication
Duke Kunshan University（昆山杜克大学）；Xiaomi（小米）
目前，在移动设备上部署目标说话人分离（TSS）模型的需求非常强烈，但模型大小和计算复杂性有限。为了更好地进行移动语音通信的TSS，我们首先基于一个特定的场景LibriPhone制作了一个双通道数据集。具体来说，为了更好地模拟真实情况，LibriPhone不是从单通道数据集进行模拟，而是通过两个专业的人造头同时重放LibriSpeech中的成对话语，并通过手机的两个内置麦克风进行记录。然后，我们提出了一个轻量级的时频域分离模型，LSTM-Former，它是基于LSTM框架的源噪声比（SI-SNR）损失。对于Libri-Phone上的实验，我们通过Libri-Phone的随机单通道来探索双通道LSTMFormer模型和单通道版本。实验结果表明，双通道LSTM-Former的性能优于单通道LSTMFormer，相对提高了25%。该工作为移动设备上的TSS任务提供了一种可行的解决方案，在实际应用场景中回放和记录多个数据源，获取双通道真实数据，可以辅助轻量级模型实现更高的性能。
2021-06-05 cs.SD eess.AS
Speaker and Posture Classification using Instantaneous Intraspeech Breathing Features
Middle East Technical University（中东技术大学）
从语音中提取的声学特征被广泛应用于生物识别说话人辨识和第一人称活动检测等问题。然而，出于这种目的使用语音会引起隐私问题，因为处理方可以访问内容。在这项工作中，我们提出了一种方法，扬声器和姿势分类使用intraspeech呼吸声。使用希尔伯特-黄变换（HHT）提取瞬时幅度特征，并将其输入CNN-GRU网络，用于对我们为本研究收集的开放式内呼吸声数据集BreathBase的记录进行分类。使用intraspeech呼吸音，87%的扬声器分类，98%的姿势分类准确率。
2020-05-25 cs.LG cs.SD eess.AS
Multichannel CRNN for Speaker Counting: an Analysis of Performance
Orange Labs（奥兰奇实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔理工学院）；CNRS（法国国家科学研究中心）
说话者计数是估计在音频记录中同时说话的人数的任务。对于若干音频处理任务，诸如扬声器日志化、分离、定位和跟踪，除了能够实现低延迟处理之外，知道每个时间步长处的扬声器的数量是先决条件，或者至少它可以是强优势。在以前的工作中，我们使用多通道卷积递归神经网络解决了说话人计数问题，该网络以短期帧分辨率产生估计。在这项工作中，我们表明，对于一个给定的帧，有一个最佳的位置，在输入序列的最佳预测精度。我们凭经验证明了最佳位置，输入序列的长度和卷积滤波器的大小之间的联系。
2021-01-06 cs.SD eess.AS
FCN Approach for Dynamically Locating Multiple Speakers
Bar-Ilan University（巴伊兰大学）
在本文中，我们提出了一种基于深度神经网络的在线多说话人定位算法。遵循谱域中的W-不相交正交性原理，每个时频（TF）仓由单个扬声器主导，并且因此由单个波达方向（DOA）主导。利用瞬时空间特征训练全卷积网络来估计每个TF仓的DOA。高分辨率分类使网络能够准确地同时定位和跟踪多个说话者，包括静态和动态的。在静态和动态场景中使用模拟和真实记录进行了详细的实验研究，证实了所提出的算法优于经典和最近的基于深度学习的算法。
2020-08-26 cs.LG cs.SD eess.AS
SSPS: Self-Supervised Positive Sampling for Robust Self-Supervised Speaker Verification
EPITA Research Laboratory (LRE)（EPITA研究实验室）
本文提出自监督正样本采样（SSPS），通过聚类和记忆队列为锚点寻找同说话人不同录音条件的正样本，缓解标准SSL框架主要编码信道信息的问题，在VoxCeleb1-O上显著降低EER并优于现有方法。
2025-06-24 cs.AI cs.LG cs.SD
