Wespeaker: A Research and Production oriented Speaker Embedding Learning Toolkit
Shanghai Jiao Tong University(上海交通大学);Tencent Corporation(腾讯公司);Northwestern Polytechnical University(西北工业大学);Horizon Robotics(地平线机器人);AISpeech Ltd(思必驰有限公司);NVIDIA(英伟达)
说话人建模对于说话人识别、说话人日志化等相关任务都是必不可少的。主要的建模方法是固定维向量表示,即,扬声器嵌入本文介绍了一个面向研究和生产的说话人嵌入学习工具Wespeaker。Wespeaker包含可扩展的数据管理、最先进的说话人嵌入模型、损失函数和评分后端的实现,通过在几个说话人验证挑战中获胜的系统中采用的结构化配方实现了极具竞争力的结果。在相关的配方中也展示了对其他下游任务的应用,如扬声器日记。此外,还集成了CPU和GPU兼容的部署代码,用于面向生产的开发。该工具包可在https://github.com/wenet-e2e/wespeaker上公开查阅。
2022-11-01 cs.SD eess.AS
Large-scale Self-Supervised Speech Representation Learning for Automatic Speaker Verification
Microsoft(微软)
从大规模未标记数据中学习到的语音表示比从监督学习中学习到的语音表示具有更好的泛化能力,因此吸引了大量的兴趣被应用于各种下游任务。在本文中,我们探索了通过不同的自监督目标和数据集学习的语音表示的限制,用于自动说话人验证(ASV),特别是使用公认的SOTA ASV模型ECAPA-TDNN [1]作为下游模型。来自预训练模型的所有隐藏层的表示首先用可学习的权重进行平均,然后作为输入特征输入ECAPA-TDNN。在Voxceleb数据集上的实验结果表明,加权平均表示明显优于FBank,ASV的传统手工特征。我们最好的单系统分别在VoxCeleb 1的三次正式试验中达到0.537%、0.569%和1.180%的相等出错率(EER)。相应地,具有三个预训练模型的集成系统可以进一步将EER提高到0.479%、0.536%和1.023%。在三个评估试验中,我们最好的系统在VoxCeleb 1-E试验中的表现优于VoxCeleb Speaker Recognition Challenge 2021(VoxSRC 2021)的获胜者系统。
2022-01-24 cs.SD eess.AS
Over-Tightening-Aware Pseudo-Labeling for Tight-Boundary Speaker Diarization
NTT, Inc.(日本电报电话公司)
本文针对说话人日志中伪标签过紧化导致漏检的问题,提出三种改进方法,减少漏检并提升日志及下游多说话人ASR性能。
2026-09-10 cs.SD eess.AS
Unmixing The Crowd: Learning Persistent Speaker Representations from Mixture-Derived Multi-Speaker Embeddings
University of Michigan Ann Arbor, MI, USA;Oregon Health \& Science University Portland, OR, USA
提出教师-学生框架,仅使用短重叠片段和置换不变潜在监督学习混合衍生多说话人嵌入,结合轻量在线记忆机制实现长时说话人重识别。
2026-06-23 cs.SD eess.AS
Analyzing Speaker Information in Self-Supervised Models to Improve Zero-Resource Speech Processing
Stellenbosch University(斯泰伦博斯大学)
对比预测编码(CPC)旨在通过区分未来的观察结果和一组否定的例子来学习语音的表示。以前的工作表明,在CPC特征上训练的线性分类器可以准确地预测说话者和电话标签。然而,目前还不清楚这些特征实际上是如何捕获说话者和语音信息的,以及是否可以将不相关的细节标准化(取决于下游任务)。在本文中,我们首先表明,每话语平均CPC功能捕获说话人的信息在很大程度上。具体来说,我们发现比较方法在说话人确认任务中表现良好。接下来,探测实验表明,标准化的功能有效地消除了说话人的信息。基于这一观察,我们提出了一个扬声器归一化步骤,以提高声学单元发现使用K-means聚类的CPC功能。最后,我们展示了在结果单元上训练的语言模型在ZeroSpeech 2021 ~Challenge中取得了一些最佳结果。
2021-08-02 cs.SD eess.AS
Cross-Lingual Speaker Verification with Self-Supervised Pre-Trained Models
Ant Group(蚂蚁集团)
针对跨语言说话人验证的语言不匹配性能下降问题,利用自监督预训练模型提取通用声学特征训练解耦说话人嵌入网络,在TidyVoice2026基准上取得2.21%和2.99%的等错误率。
2026-10-09 cs.SD eess.AS
Quantifying and Reducing Speaker Heterogeneity within the Common Voice Corpus for Phonetic Analysis
University of Zurich(苏黎世大学)
本研究利用 ResNet 语音嵌入和说话人判别任务量化并降低 Common Voice 语料库中 client ID 的说话人异质性,为语音学分析和说话人相关语音技术提供更可靠的匿名说话人标识。
2025-05-31 cs.SD eess.AS
An empirical analysis of information encoded in disentangled neural speaker representations
University of Southern California(南加州大学)
鲁棒说话人表示的主要特征是它们对与说话人身份无关的可变性因素是不变的。说话者表示的解纠缠是用于提高说话者表示对在语音产生期间获得的内在因素(例如,情感,词汇内容)和在信号捕获期间获得的外在因素(例如,信道、噪声)。神经扬声器表示中的解纠缠可以以具有滋扰因素(与扬声器身份无关的因素)的注释的监督方式或以没有要移除的因素的标签的无监督方式来实现。在这两种情况下,重要的是要理解各种可变性因素在表征中纠缠的程度。在这项工作中,我们研究了扬声器表示与无监督解纠缠的信息量,他们捕获的一套相关的因素。使用分类实验,我们提供的经验证据表明,解纠缠减少了信息方面的滋扰因素从扬声器表示,同时保留扬声器信息。这是进一步验证了说话人确认实验上的VOiCES语料库在几个具有挑战性的声学条件。我们还表明,在说话人验证任务中使用数据增强在训练过程中解开说话人嵌入提高了鲁棒性。最后,根据我们的研究结果,我们提供了使用无监督解缠技术可以有效分离的因素的见解,并讨论了潜在的未来方向。
2020-04-08 cs.SD eess.AS
Speaker Embedding-aware Neural Diarization for Flexible Number of Speakers with Textual Information
Speech Lab, Alibaba Group(阿里巴巴集团语音实验室)
重叠语音分类问题通常被看作是一个多标签分类问题。在本文中,我们将这个任务转化为一个单标签预测问题,通过使用幂集对多说话人标签进行编码。具体来说,我们提出了说话人嵌入感知神经日记化(SEND)方法,该方法根据语音特征与给定说话人嵌入之间的相似性来预测幂集编码标签。我们的方法是进一步扩展和整合下游任务,利用文本信息,这在以前的文献中没有得到很好的研究。实验结果表明,我们的方法实现了较低的日志出错率比目标说话人的语音活动检测。当包含文本信息时,可以进一步减少日志化错误。对于真实的会议场景,我们的方法可以实现34.11%的相对改善基于贝叶斯隐马尔可夫模型的聚类算法相比。
2021-11-28 cs.LG cs.SD eess.AS
A Hybrid Continuity Loss to Reduce Over-Suppression for Time-domain Target Speaker Extraction
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);University of Bremen(不来梅大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
说话人提取算法从含有干扰语音和背景噪声的混合语音中提取目标语音。提取过程有时会过度抑制所提取的目标语音,这不仅在收听期间产生伪像,而且还会损害下游自动语音识别算法的性能。针对时域说话人提取算法中的过抑制问题,提出了一种混合连续性损失函数。在用于优良信号质量的波形电平损失之上,即,在SI-SDR中,我们在频域中引入了多分辨率的delta谱损失,以保证提取的语音信号的连续性,从而减轻过抑制。我们使用YouTube LRS 2-BBC数据集上的时域视听扬声器提取算法来检查混合连续性损失函数。实验结果表明,该损失函数在不影响重建语音质量的前提下,降低了过抑制现象,提高了语音识别的误识率。
2022-06-20 cs.SD eess.AS
Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Meta AI
本文研究了用于视听说话人表征学习的自监督预训练,其中显示说话人嘴部区域的视觉流与语音一起用作输入。我们的研究重点是视听隐藏单元BERT(AV-HuBERT)的方法,最近开发的通用视听语音预训练框架。我们进行了广泛的实验,探讨预训练和视觉模态的有效性。实验结果表明,AV-HuBERT体面地推广到扬声器相关的下游任务,提高标签效率约10倍的音频和视听扬声器验证。我们还表明,将视觉信息,即使只是嘴唇区域,大大提高了性能和噪声鲁棒性,减少EER的38%,在清洁条件下和75%,在嘈杂的条件下。
2022-07-14 cs.CV cs.SD eess.AS
Quantitative Evidence on Overlooked Aspects of Enrollment Speaker Embeddings for Target Speaker Separation
Dolby Laboratories(杜比实验室)
单通道目标说话人分离(TSS)的目的是从多个说话人的混合中提取说话人的语音,给定该说话人的注册话语。典型的深度学习TSS框架由获得登记说话人嵌入的上游模型和执行以嵌入为条件的分离的下游模型组成。在本文中,我们研究了几个重要的,但被忽视的方面的注册嵌入,包括广泛使用的说话人辨识嵌入的适用性,引入对数梅尔滤波器组和自监督嵌入,和嵌入的跨数据集泛化能力。我们的研究结果表明,说话人辨识嵌入可能会丢失相关信息,由于一个次优的度量,训练目标,或共同的预处理。相比之下,滤波器组和自监督嵌入都保持了说话人信息的完整性,但前者在跨数据集评估中始终优于后者。先前被忽视的滤波器组嵌入的竞争分离和泛化性能在我们的研究中是一致的,这需要进一步研究更好的上游特征。
2022-10-26 cs.AI cs.SD eess.AS
A Large-Scale Probing Analysis of Speaker-Specific Attributes in Self-Supervised Speech Representations
Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong(香港中文大学电子工程系);Independent Researcher(独立研究者);School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学深圳学校数据科学系)
本研究通过大规模分析揭示了自监督语音表示中说话人特定属性的编码机制,发现大模型在深层结构中能恢复说话人身份,且中间表示更擅长捕捉动态语调。
2026-09-09 cs.SD eess.AS
Channel adversarial training for cross-channel text-independent speaker recognition
University of Science and Technology of China(中国科学技术大学);iFlytek Research(讯飞研究院);Anhui University(安徽大学)
传统的说话人识别框架(例如,i-向量和基于CNN的方法)已经成功地应用于当注册数据集的信道与测试数据集的信道相似时的各种任务。然而,在实际应用中,这两个数据集之间总是存在不匹配,这可能会严重恶化识别性能。以前,已经提出了一些信道补偿算法,例如线性判别分析(LDA)和概率LDA。然而,这些方法总是需要收集来自特定说话人的不同声道,这在实际场景中是不现实的。受领域自适应的启发,我们提出了一种新的基于深度学习的说话人识别框架,通过通道对抗训练来学习通道不变和说话人区分的语音表示。具体来说,我们首先采用梯度反转层来消除不同通道之间的变化。然后通过对抗训练将压缩后的信息投影到同一个子空间中。在54,133个说话人的测试数据集上的实验表明,该方法不仅能有效地缓解通道失配问题,而且优于现有的说话人识别方法。与基于i向量的方法和基于CNN的方法相比,我们提出的方法在Top1召回率方面分别实现了44.7%和22.6%的相对提高。
2019-02-25 cs.SD eess.AS
Extended U-Net for Speaker Verification in Noisy Environments
University of Seoul(首尔大学)
背景噪声是一个众所周知的因素,它通过模糊语音可懂度而降低说话人确认(SV)系统的准确性和可靠性。各种研究都使用单独的预训练增强模型作为噪声环境中SV系统的前端模块,这些方法有效地去除了噪声。然而,不适合SV任务的独立增强模型的去噪过程也会扭曲话语中包含的说话者信息。我们认为,增强网络和说话人嵌入提取器应该在噪声条件下完全联合训练SV任务,以缓解这个问题。因此,我们提出了一个基于U-Net的集成框架,同时优化说话人识别和特征增强损失。此外,我们分析了直接使用U-Net进行噪声SV任务的结构限制,并进一步提出了扩展U-Net来减少这些缺点。我们在各种嘈杂场景中记录的噪声合成VoxCeleb 1测试集和VOiCES开发集上评估了模型。实验结果表明,基于U-Net的完全联合训练框架比基线更有效,并且扩展的U-Net与最近提出的补偿系统相比表现出最先进的性能。
2022-06-27 cs.SD eess.AS
DEAAN: Disentangled Embedding and Adversarial Adaptation Network for Robust Speaker Representation Learning
Center for Robust Speech Systems, The University of Texas at Dallas(德克萨斯大学达拉斯分校鲁棒语音系统中心)
尽管随着深度神经网络的发展,说话人确认已经取得了显着的性能改善,但域失配仍然是该领域的一个具有挑战性的问题。在这项研究中,我们提出了一个新的框架来解开说话人相关和特定领域的功能,并适用于领域适应的说话人相关的特征空间。与直接在没有去除域信息的特征空间上进行域自适应不同,使用解纠缠可以有效地提高自适应性能。具体来说,我们的模型的输入语音从源和目标域首先被编码到不同的潜在特征空间。对抗性域自适应是在共享的说话人相关特征空间上进行的,以鼓励域不变性的属性。此外,我们最大限度地减少了两个域的扬声器相关和特定领域的功能之间的互信息,以执行解纠缠。VOiCES数据集上的实验结果表明,我们提出的框架可以有效地生成更多的说话人区分和域不变的说话人表示,与原始的基于ResNet的系统相比,EER相对减少了20.3%。
2021-02-22 cs.LG cs.SD eess.AS
Integration of speech separation, diarization, and recognition for multi-speaker meetings: System description, comparison, and analysis
The Johns Hopkins University(约翰斯·霍普金斯大学);University of Stuttgart(斯图加特大学);Microsoft Corp(微软公司);Google Research(谷歌研究院);University of Science and Technology of China(中国科学技术大学);Columbia University(哥伦比亚大学)
未分段录音的多说话人语音识别具有多种应用,例如会议转录和自动字幕生成。随着在过去十年中处理语音分离、说话者日志化和自动语音识别(ASR)的系统的技术进步,已经有可能构建在该任务上实现合理错误率的流水线。在本文中,我们为LibriCSS会议数据提出了一个端到端的模块化系统,该系统按顺序组合了独立训练的分离,日志化和识别组件。我们研究了不同的最先进的方法在管道的每个阶段的效果,并使用特定于任务的指标,如SDR和DER,以及下游WER报告结果。实验结果表明,训练好的分离模块可以有效地缓解语音重叠的问题。我们最好的系统实现了12.7%的扬声器归因的WER,这接近于非重叠ASR。
2020-11-03 cs.SD eess.AS
Integrated Replay Spoofing-aware Text-independent Speaker Verification
University of Seoul(首尔大学)
许多研究已经成功地开发了说话人确认或呈现攻击检测系统。然而,将这两项任务结合起来的研究仍处于初步阶段。在本文中,我们提出了两种方法来建立一个集成系统的说话人验证和演示攻击检测:一个端到端的单片方法和后端模块化的方法。第一种方法同时训练说话人识别,演示攻击检测,并使用多任务学习使用一个共同的功能的集成系统。然而,通过实验,我们假设,所需的信息进行说话人验证和演示攻击检测可能会有所不同,因为说话人验证系统试图从扬声器嵌入删除设备特定的信息,而演示攻击检测系统利用这些信息。因此,我们提出了一种后端模块化方法,使用单独的深度神经网络(DNN)进行说话人验证和演示攻击检测。这种方法有三个输入组件:两个扬声器嵌入(注册和测试)和预测的演示攻击。实验使用ASVspoof 2017-v2数据集进行,其中包括对说话人验证和演示攻击检测集成的正式试验。所提出的后端方法表现出21.77%的相对改善方面的综合试验相比,传统的说话人确认系统的相等的错误率。
2020-09-27 cs.LG cs.SD eess.AS
Speech Separation based on Contrastive Learning and Deep Modularization
University of Cambridge(剑桥大学)
针对监督语音分离存在的排列问题、说话人数量不匹配及依赖标注数据的问题,提出基于对比学习和深度模块化的无监督方法,在WSJ0-2mix、WSJ0-3mix上取得优异性能且说话人增多时性能下降不明显。
2024-10-09 cs.CL cs.SD eess.AS
Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
语音去混响的一种有前途的方法是基于监督学习,其中训练深度神经网络(DNN)以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识,并且很少明确地利用混响中的线性滤波器结构,即,该混响由房间脉冲响应(RIR)和干源信号之间的线性卷积产生。在这项工作中,我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号,然后识别作为估计的直接路径信号的衰减和延迟副本的信号,因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响,也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本,我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器(或RIR)。然后,我们修改所提出的算法,在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB,SMS-WSJ,和WHAMR!数据集。
2021-11-10 cs.SD eess.AS
Encoder-Decoder Based Attractors for End-to-End Neural Diarization
Hitachi, Ltd.(日立有限公司);LINE corporation(LINE公司);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了一种未知说话人数目的端到端神经日志化(EEND)方法。与传统的说话者日记化级联方法相比,EEND方法在说话者重叠处理方面更好。然而,EEND仍然具有缺点,因为它不能处理灵活数量的发言者。为了解决这个问题,我们引入了基于编码器-解码器的吸引子计算模块(EDA)的EEND。一旦获得逐帧嵌入,EDA就使用LSTM编码器-解码器基于序列到序列方法顺序地生成说话者吸引子。吸引子的生成继续进行,直到满足停止条件;因此,吸引子的数量可以是灵活的。然后,将Diarization结果估计为吸引子和嵌入的点积。由于说话人重叠的嵌入会产生较大的点积值,且具有多个吸引子,因此该方法可以处理说话人重叠的情况。由于输出说话人的最大数量仍然受到训练集的限制,我们还提出了一种迭代推理方法来消除这一限制。此外,我们提出了一种方法,该方法将估计的日志化结果与外部语音活动检测器的结果对齐,从而能够与级联方法进行公平比较。模拟和真实数据集上的广泛评估表明,EEND-EDA优于传统的级联方法。
2022-03-28 cs.SD eess.AS
SynVox2: Towards a privacy-friendly VoxCeleb2 dataset
National Institute of Informatics(国立信息学研究所);EURECOM(EURECOM通信与计算机科学研究院);University of Avignon(阿维尼翁大学)
针对大规模真实语音数据集引发的隐私与法律问题,本研究提出生成隐私友好的合成 VoxCeleb2 数据集,确保语音在隐私、效用和公平性方面的质量,并探讨其在说话人验证任务中的挑战。
2023-09-12 cs.SD eess.AS
Leveraging In-the-Wild Data for Effective Self-Supervised Pretraining in Speaker Recognition
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳));Tencent(腾讯);Shanghai Jiao Tong University(上海交通大学)
本文研究说话人识别中自监督预训练受标注数据限制的问题,提出在大规模 WenetSpeech 上进行 DINO 训练并结合置信度过滤,提升 CNCeleb 监督系统性能。
2023-09-27 cs.SD eess.AS
A Review of Speaker Diarization: Recent Advances with Deep Learning
University of Southern California(南加州大学);Microsoft(微软);ASAPP;Johns Hopkins University(约翰斯·霍普金斯大学)
说话人日记是一个用与说话人身份相对应的类来标记音频或视频记录的任务,或者简而言之,一个识别“谁在什么时候说话”的任务。在早期,说话人日记化算法被开发用于多说话人音频记录上的语音识别,以实现说话人自适应处理。随着时间的推移,这些算法作为一个独立的应用程序也获得了自己的价值,为音频检索等下游任务提供特定于说话者的元信息。最近,随着深度学习技术的出现,它推动了语音应用领域研究和实践的革命性变化,扬声器日志化取得了快速进步。在本文中,我们不仅回顾了说话人日记化技术的历史发展,而且还在最近的神经说话人日记化方法的进展。此外,我们还讨论了说话人日志化系统如何与语音识别应用集成,以及最近的深度学习浪潮如何引领联合建模这两个组件以实现互补。通过考虑这些令人兴奋的技术趋势,我们相信本文是对社区的宝贵贡献,通过巩固神经方法的最新发展,从而促进更有效的扬声器日记的进一步进展,提供了一个调查工作。
2021-11-26 cs.CL cs.SD eess.AS
Advancing the dimensionality reduction of speaker embeddings for speaker diarisation: disentangling noise and informing speech activity
Naver Corporation(NAVER公司);Korea Advanced Institute of Science and Technology(韩国科学技术院)
这项工作的目标是训练噪声鲁棒的扬声器嵌入适用于扬声器diarisation。扬声器嵌入在拨号系统的性能中起着至关重要的作用,但是它们经常捕获诸如噪声之类的虚假信息,从而对性能产生不利影响。我们以前的工作提出了一个自动编码器为基础的降维模块,以帮助消除冗余信息。然而,它们没有明确地分离这些信息,并且还被发现对超参数值敏感。为此,我们提出了两个贡献,以克服这些问题:(i)一种新的降维框架,可以从扬声器嵌入解开虚假信息;(ii)使用语音活动向量,以防止扬声器代码代表背景噪声。通过在四个数据集上进行的一系列实验,我们的方法一致地证明了在没有系统融合的情况下模型之间的最新性能。
2022-11-03 cs.CL cs.SD
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.(微软公司)
在会议和对话等多人场景中,语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的,因此常规方法通常以级联方式解决该问题,该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中,我们提出了流式解混,识别和识别传感器(SURIT)-一个新的框架,处理这个问题,在一个端到端的流式方式。SURIT采用递归神经网络转换器(RNN-T)作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集,并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
Self-Supervised Learning for Speaker Recognition: A study and review
EPITA Research Laboratory (LRE)(EPITA研究实验室)
本文综述了自监督学习在说话人识别中的应用,分析了主要框架的效果及超参数影响,指出DINO在性能上表现最佳但敏感,SimCLR和MoCo则更稳健。
2026-02-11 cs.LG cs.SD eess.AS
Joint domain adaptation and speech bandwidth extension using time-domain GANs for speaker verification
Center for Language and Speech Processing(语言与语音处理中心);Human Language Technology Center of Excellence(卓越人类语言技术中心);Johns Hopkins University(约翰斯·霍普金斯大学)
为特定的声学域和采样频率选择而开发的语音系统不容易转换为其他系统。通常的做法是独立地学习域自适应和带宽扩展模型。与此相反,我们建议一起学习这两项任务。特别地,我们学习将窄带对话电话语音映射到宽带麦克风语音。我们开发了并行和非并行学习解决方案,利用配对和非配对数据。首先,我们首先讨论针对我们的任务的多个生成模型的联合和不联合训练。然后,我们提出了一个两阶段的学习解决方案,在带宽扩展训练中使用预训练的域自适应系统进行预处理。我们评估了我们的计划上的发言人验证下游任务。我们使用JHU-MIT的NIST SRE 21实验装置,包括SRE 16,SRE-CTS超集和SRE 21。我们的研究结果提供了第一个证据,证明学习两项任务比只学习一项任务更好。在SRE 16上,我们最好的系统在等错误率方面实现了22%的相对改进。直接学习基线和8%的w.r.t.强大的带宽扩展系统。
2022-03-30 cs.SD eess.AS
Recursive Whitening Transformation for Speaker Recognition on Language Mismatched Condition
Korea University(高丽大学)
最近在说话人识别中,由于信道域不匹配条件导致的性能下降已经被积极地解决。然而,由语言引起的不匹配问题尚未得到充分解决。本文提出了一种利用递归白化变换来缓解语言不匹配的方法。所提出的方法是基于多重白化变换,这是为了消除与i-向量长度归一化相关的数据集中的未白化的残差分量。实验是在Speaker Recognition Evaluation 2016试验上进行的,其任务是使用开发数据集进行非英语说话人识别,该数据集由大规模的域外(英语)数据集和极少量的域内(非英语)数据集组成。为了进行性能比较,我们使用深度神经网络和瓶颈特征开发了一个最先进的系统,该系统基于语音感知模型。实验结果表明,该方法在语言不匹配的情况下是有效的。
2017-08-28 cs.SD
Silence is Sweeter Than Speech: Self-Supervised Model Using Silence to Store Speaker Information
National Taiwan University(国立台湾大学)
自监督学习(SSL)最近取得了长足的进步。SSL语音模型在广泛的下游任务上实现了不错的性能,这表明它们从语音中提取了不同方面的信息。然而,SSL模型如何在不干扰的情况下以隐藏表示存储各种信息仍然知之甚少。以最近成功的SSL模型HuBERT为例,我们探讨了SSL模型如何在表示中处理和存储说话人信息。我们发现,HuBERT存储扬声器信息的表示,其位置对应于波形中的沉默。有几个证据。(1)我们发现,波形中含有较多无声部分的话语具有较好的说话人辨识(SID)准确度。(2)如果我们使用整个话语进行SID,沉默部分总是对SID任务贡献更大。(3)如果我们只使用话语的一部分来表示SID,沉默部分比其他部分具有更高的准确性。我们的研究结果不仅有助于更好地理解SSL模型,而且还提高了性能。通过简单地将静音添加到原始波形中,HuBERT将SID的准确性提高了近2%。
2022-05-08 cs.LG cs.SD eess.AS
Use of speaker recognition approaches for learning and evaluating embedding representations of musical instrument sounds
University of Southern California(南加州大学);National Institute of Informatics(国立信息学研究所)
为乐器声音构建一个嵌入空间,可以有意义地表示新的和看不见的乐器,对于下游音乐生成任务(如多乐器合成和音色转移)非常重要。自动说话人验证(ASV)的框架为我们提供了用于验证看不见的说话人的身份的架构和评估方法,并且这些可以重新用于学习和评估可以支持看不见的乐器的乐器声音嵌入空间的任务。借鉴最先进的ASV技术,我们构建了一个乐器识别模型,该模型使用SincNet前端,ResNet架构和角度softmax目标函数。在NSynth和RWC数据集上的实验表明,我们的模型在看不见的仪器的等误差率(EER)方面是有效的,消融研究表明了数据增强和角度softmax目标的重要性。实验还显示了使用基于CQT的滤波器组初始化SincNet优于Mel滤波器组初始化的好处。学习嵌入空间的进一步补充分析与t-SNE可视化和探测分类任务,这表明,包括乐器家族标签作为多任务学习目标可以帮助规范嵌入空间,并纳入有用的结构,以及有意义的信息,如演奏风格,这是不包括在训练过程中,包含在嵌入看不见的乐器。
2021-12-24 cs.SD eess.AS
Fusion of Embeddings Networks for Robust Combination of Text Dependent and Independent Speaker Recognition
Amazon Alexa Speech(亚马逊Alexa语音)
通过基于他/她的语音输入隐式地识别用户,说话人辨识实现了许多下游应用,诸如个性化系统行为和加速购物结账。基于语音内容是否受约束,可以使用文本相关(TD)和文本无关(TI)说话人识别模型。我们希望通过集合系统结合两种类型模型的优点,以做出更可靠的预测。然而,任何这样的组合方法必须对不完整的输入具有鲁棒性,即,当TD或TI输入缺失时。作为一种解决方案,我们提出了一个融合的嵌入式网络foenet架构,结合联合学习与神经注意力。我们比较foenet与四个竞争力的基线方法的语音助手输入的数据集,并表明,它实现了更高的精度比基线和分数融合方法,特别是在存在不完整的输入。
2021-06-18 cs.CL cs.LG cs.SD
TS-SUPERB: A Target Speech Processing Benchmark for Speech Self-Supervised Learning Models
Brno University of Technology(布拉格技术大学);NTT Corporation(NTT公司)
本文提出 TS-SUPERB 基准,通过四类目标说话人任务评估语音 SSL 模型,并用统一编码器验证跨任务联合优化的效果。
2025-05-10 cs.CL cs.SD eess.AS
Coupling a generative model with a discriminative learning framework for speaker verification
National Institute of Information and Communications Technology(日本信息通信研究机构);Research Center for Information Technology Innovation, Academic Sinica(台湾中央研究院资讯科技创新研究中心)
说话人确认(SV)的任务是判断一个话语是由目标说话人还是冒名顶替者说出的。对于大多数研究,对数似然比(LLR)得分估计的基础上生成的概率模型的说话人的功能,并作出决定的阈值进行比较。然而,生成式模型通常关注个体特征分布,不具有区分性的特征选择能力,并且容易被多余的特征分散注意力。SV可以被公式化为一个二元判别任务,其中可以应用基于神经网络的判别学习。在判别式学习中,可以借助标签监督来去除讨厌的特征。然而,判别式学习更关注分类边界,并且容易过拟合到训练集,这可能导致测试集的泛化能力差。因此,我们提出了一个混合学习框架,即,将联合贝叶斯(JB)生成模型结构和参数与用于SV的神经判别学习框架耦合。一个两分支的连体神经网络建立与密集层耦合的因子化仿射变换中使用的JB模型。JB模型中的LLR得分估计是根据判别学习框架中的距离度量来制定的。通过初始化的JB模型的模型参数的生成学习的两个分支的神经网络,我们训练的模型参数与成对的样本作为一个二进制的歧视任务。此外,SV的最小经验贝叶斯风险的基础上的直接评价指标的设计和集成作为一个目标函数的判别学习。我们在野外和Voxceleb的扬声器上进行了SV实验。实验结果表明,我们提出的模型提高了性能与国家的最先进的SV模型相比,有很大的利润。
2021-11-24 cs.SD eess.AS
Flow Matching-Based Speech Source Separation with Best-of-N Biometric Sampling
NVIDIA(英伟达)
针对单通道语音分离难题,提出基于条件流匹配的方法,训练时用冻结说话人编码器定义源顺序,推理时用于生物特征最佳N候选选择等,在Libri2Mix基准上评估,该方法在分离指标及下游任务中表现出色。
2026-07-08 cs.SD
Improvement of Text Dependent Speaker Identification System Using Neuro-Genetic Hybrid Algorithm in Office Environmental Conditions
Rajshahi University of Engineering & Technology (RUET)(拉杰沙希工程技术大学)
本文提出了一种在噪声环境下基于文本的说话人辨识系统的改进策略。识别过程采用神经遗传混合算法和基于倒谱的特征.为了从源话语中去除背景噪声,使用了维纳滤波器。不同的语音预处理技术,如起止点检测算法,预加重滤波,帧分块和加窗已被用来处理语音话语。采用RCC、MFCC、MFCC、MFCC、LPC和LPCC等方法进行特征提取。在对语音进行特征提取后,采用神经遗传混合算法进行学习和识别。通过使用不同的技术来提取特征以优化识别的性能。根据VALID语音数据库,在演播室环境和办公室环境条件下的最高说话人辨识率在近距离文本相关说话人辨识系统中已经实现了100.000%和82.33%。
2009-09-12 cs.SD
Analysis of Deep Feature Loss based Enhancement for Speaker Verification
Johns Hopkins University(约翰斯·霍普金斯大学)
数据增强通常用于在说话人确认系统中注入鲁棒性。最近组织的几个挑战集中在处理新的声学环境。基于深度学习的语音增强是一种现代解决方案。最近,一项研究提出在预训练辅助网络的激活空间中优化增强网络。这种方法被称为深度特征丢失,在称为BabyTrain的儿童语音数据集上大大改进了最先进的传统基于x向量的系统。这项工作分析了这种方法的各个方面,并在这种情况下提出了一些新的问题。我们首先搜索辅助网络激活、训练数据和增强特征维度的最佳数量。实验揭示了信噪比过滤的重要性,我们采用它来创建一个大的,干净的,自然的语料库增强网络训练。为了解决增强中的“不匹配”问题,我们发现增强前端(x向量网络)数据是有帮助的,而对后端(概率线性判别分析(PLDA))是有害的。重要的是,我们发现增强的信号包含原始信号的补充信息。通过在前端将它们结合起来建立,这比基线提供了约40%的相对改进。我们还进行了消融研究,以从x向量数据增强中去除噪声类,并且对于此类系统,我们建立了增强的实用性,无论它是否在训练期间看到了噪声类本身。最后,我们设计了几个去混响方案,以总结深度特征损失增强方案对这项任务的无效性。
2020-04-27 cs.SD eess.AS
Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
Microsoft(微软);University of Michigan(密歇根大学)
针对在线音视频目标说话人提取的听感质量与前瞻限制问题,提出AV-PVQE方法,通过个性化语音增强模型引入口型特征并联合微调,将目标混淆率从46%降至1.6%,延迟仅20毫秒,在合成和会议基准上均优于现有提取器。
2026-09-28 cs.CV cs.SD eess.AS
Parameter-efficient transfer learning of pre-trained Transformer models for speaker verification using adapters
Brno University of Technology(布尔诺理工大学);Omilia - Conversational Intelligence(Omilia对话智能公司);Tencent AI Lab(腾讯人工智能实验室)
近年来,预训练的Transformer模型在语音处理领域受到越来越多的关注,这要归功于它们在各种下游任务中的巨大成功。然而,大多数微调方法都会更新预训练模型的所有参数,随着模型大小的增加,这变得令人望而却步,有时会导致小数据集的过拟合。在本文中,我们进行了全面的分析,应用参数有效的迁移学习(PETL)方法,以减少所需的可学习参数,以适应说话人验证任务。具体来说,在微调过程中,预先训练的模型被冻结,只有插入每个Transformer块中的轻量级模块是可训练的(一种称为适配器的方法)。此外,为了提高跨语言低资源场景中的性能,Transformer模型在小数据集上直接微调之前,会在大的中间数据集上进一步调优。更新少于4%的参数,(我们提出的)基于PETL的方法实现了与完全微调方法相当的性能(Vox 1-O:0.55%,Vox 1-E:0.82%,Vox 1-H:1.73%)。
2022-10-28 cs.SD eess.AS eess.SP
Leveraging Self-Supervised Learning for Speaker Diarization
Brno University of Technology(布尔诺理工大学)
本文利用WavLM自监督表示结合Conformer改进端到端神经说话人日志,在AMI、AISHELL-4等数据集上超越Pyannote基线并取得新SOTA,同时证明其对数据稀缺更具鲁棒性。
2024-10-21 cs.SD eess.AS
Efficient Adapter Tuning of Pre-trained Speech Models for Automatic Speaker Verification
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对自监督语音模型全量微调成本高且易过拟合的问题,本文提出并行适配器框架,仅更新5%参数即可在VoxCeleb1上优于全量微调和其他参数高效迁移学习方法。
2024-03-01 cs.LG cs.SD eess.AS
LPGNet: A Lightweight Network with Parallel Attention and Gated Fusion for Multimodal Emotion Recognition
Guangzhou University(广州大学)
本文提出轻量化网络LPGNet,通过并行交互注意力模块和双门控融合方法高效建模多模态特征,并完全移除说话人嵌入,在IEMOCAP数据集上以更少参数实现超87%准确率,提升了跨说话人泛化能力。
2025-08-12 cs.SD eess.AS
Input Representation, Not Model Size or Pretraining Scale, Shapes Speaker Verification Robustness to Temporal Degradation
University of Zurich(苏黎世大学)
该研究针对自动说话人验证,发现输入表示而非模型规模或预训练规模决定其对时间退化的鲁棒性,且滤波器组输入模型的退化程度显著低于波形输入模型
2026-10-12 cs.SD
Codebook Design Method for Noise Robust Speaker Identification based on Genetic Algorithm
Rajshahi University of Engineering & Technology(拉杰沙希工程技术大学)
本文提出了一种基于遗传算法的抗噪声说话人辨识码书设计方法。维纳滤波器被用来从源语音话语中去除背景噪声。语音特征提取采用标准的语音参数化方法,如LPC,LPCC,RCC,MFCC,(delta)MFCC和(delta)(delta)MFCC。对于这些技术中的每一个,所提出的系统的性能进行了比较。在该码书设计方法中,遗传算法具有全局寻优的能力,提高了码书的质量。实验结果表明,与NOIZEOUS语音库相比,该方法的准确率达到了79.62%。
2009-09-03 cs.NE cs.SD
FastAudio: A Learnable Audio Front-End for Spoof Speech Detection
语音助手,如智能扬声器,已经大受欢迎。据估计,智能音箱在美国成年人群中的采用率已经超过35%。制造商已经集成了说话人辨识技术,该技术试图确定说话人的身份,以向同一家庭的不同成员提供个性化服务。说话人辨识也可以在控制智能扬声器的使用方式方面发挥重要作用。例如,在播放音乐时正确识别用户并不重要。但是,当大声阅读用户的电子邮件时,正确验证发出请求的发言者是授权用户至关重要。因此,需要认证说话者身份的说话者验证系统作为看门人,以防止旨在冒充注册用户的各种欺骗攻击。本文比较了流行的可学习前端,通过与下游任务(端到端)的联合训练来学习音频的表示。我们通过定义两种通用架构对前端进行分类,然后根据学习约束分析这两种类型的过滤阶段。我们建议用一个可以更好地适应反欺骗任务的可学习层取代固定滤波器组。然后使用两个流行的后端测试拟议的FastAudio前端,以测量ASVspoof 2019数据集的LA轨道上的性能。与固定前端相比,FastAudio前端实现了27%的相对改进,在此任务上优于所有其他可学习的前端。
2021-09-06 cs.CR cs.LG cs.SD
Target Speaker Identification: A Low-Latency Streaming Pipeline
Arizona State University(亚利桑那州立大学)
针对助听器低延迟需求,提出含流式说话人分割与验证的两步法管道,经多工具基准测试与参数优化,17个评估片段中中位数准确率超0.90,为低延迟选择性放大提供概念验证。
2026-08-19 cs.SD
The Conversational Short-phrase Speaker Diarization (CSSD) Task: Dataset, Evaluation Metric and Baselines
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
会话场景是语音处理技术中最重要和最具挑战性的场景之一,因为人们在会话中以随意的方式相互响应。检测会话中每个人的语音活动对于后续任务(如自然语言处理、机器翻译等)至关重要。传统上,日志出错率(DER)一直被用作SD系统的标准评价指标。然而,DER未能给予足够的重视,短会话短语,这是短,但在语义层面上的重要性。此外,一个仔细和准确的手动注释的测试数据集适合于评估会话SD技术仍然是不可用的语音社区。在本文中,我们设计和描述会话短句说话人日记(CSSD)任务,它包括训练和测试数据集,评估指标和基线。在数据集方面,尽管之前开源了180小时的对话MagicData-RAMC数据集,但我们为CSSD任务准备了一个单独的20小时对话语音测试数据集,其中包含仔细和人工验证的扬声器时间戳注释。在度量方面,我们设计了新的会话DER(CDER)评估度量,它在话语级别上计算SD准确度。在基线方面,我们采用了一种常用的方法:变分贝叶斯HMM x向量系统,作为CSSD任务的基线。我们的评估指标可在https://github.com/SpeechClub/CDER_Metric上公开获取。
2022-08-17 cs.CL cs.SD eess.AS
End-to-End Supervised Hierarchical Graph Clustering for Speaker Diarization
Indian Institute of Science(印度科学学院)
针对多阶段说话人日志优化割裂、端到端系统训练成本高的问题,提出E-SHARC,用GNN联合优化嵌入提取与层次聚类,并可结合重叠检测器,在多个基准上取得有竞争力的结果。
2024-12-02 cs.AI cs.SD eess.AS
An Unsupervised Autoregressive Model for Speech Representation Learning
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种新的无监督自回归神经模型学习通用语音表示。与其他旨在去除噪声或说话人可变性的语音表示学习方法相比,我们的方法旨在为广泛的下游任务保留信息。此外,该模型不需要任何语音或词边界标签,使该模型能够受益于大量未标记的数据。通过我们的模型学习的语音表示显著提高了电话分类和说话人验证的性能,超过了表面特征和其他监督和无监督方法。进一步的分析表明,我们的模型在不同层捕获了不同级别的语音信息。特别是,较低的层往往对说话者更具辨别力,而较高的层提供更多的语音内容。
2019-06-19 cs.CL cs.LG cs.SD
Factors Affecting the Performance of Automated Speaker Verification in Alzheimer's Disease Clinical Trials
Winterlight Labs Inc.(温特莱特实验室公司)
本研究分析影响阿尔茨海默病临床试验中自动说话人验证性能的因素,发现人口统计特征、音频质量和疾病严重程度显著影响ASV性能,并强调改进数据收集设置的重要性。
2023-06-20 cs.AI cs.LG cs.SD
ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion
AveraLabs(艾维拉实验室)
提出ConversationalVoice流水线,通过分离、重建和扩展将真实对话转化为全双工训练数据,保持高说话人相似度与语音质量,为后续模型训练提供基础。
2026-09-09 cs.CL cs.SD eess.AS
Mask2Flow-TSE: Two-Stage Target Speaker Extraction with Masking and Flow Matching
Sungkyunkwan University(成均馆大学);University of Seoul(首尔大学)
提出两阶段框架Mask2Flow-TSE,结合掩蔽模块和单步流匹配,实现高质量、低延迟的目标说话人提取。
2026-06-23 cs.AI cs.SD
Probabilistic Fusion and Calibration of Neural Speaker Diarization Models
本文提出了一种基于概率层面的神经说话人辨识模型融合与校准方法,通过连续概率输出提升融合效果,显著降低辨识错误率。
2025-12-03 cs.AI cs.SD
Post-hoc Disentanglement of Textual and Acoustic Features in Pre-trained Speech Encoders
Tilburg University(蒂尔堡大学);University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
针对神经语音表示纠缠难追踪特征依赖、难抑制隐私风险声学特征的问题,提出基于信息瓶颈的解耦框架,分离文本与声学特征,可用于下游任务量化及语音帧归因。
2026-10-20 cs.CL cs.LG cs.SD