EfficientTDNN: Efficient Architecture Search for Speaker Recognition
Tongji University（同济大学）；Durham University（杜伦大学）；Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）
卷积神经网络（CNN），如时间延迟神经网络（TDNN），在学习说话人嵌入方面表现出显着的能力。然而，它们同时在存储大小、处理和内存方面带来了巨大的计算成本。发现满足特定约束的专用CNN需要人类专家的大量努力。与手工设计方法相比，神经结构搜索（NAS）作为一种自动化人工结构设计过程的实用技术出现，并在诸如说话人识别的口语处理任务中引起了越来越多的兴趣。在本文中，我们提出了有效的TDNN，一个高效的架构搜索框架，包括一个基于TDNN的超网和TDNN-NAS算法。建议的超网引入时间卷积的不同范围的感受野和功能聚合的各种分辨率从不同的层TDNN。最重要的是，TDNN-NAS算法通过权重共享搜索快速搜索所需的TDNN架构，这在处理具有各种资源需求的大量设备的同时，令人惊讶地减少了计算。在VoxCeleb数据集上的实验结果表明，所提出的EfficientTDNN能够实现关于深度、内核和宽度的近似$10^{13}$架构。在不同的计算约束条件下，该算法在204 M乘加运算时的等误率为2.20%，在571 M乘加运算时的等误率为1.41%，在1.45G乘加运算时的等误率为0.94%。全面的调查表明，经过训练的超网概括了训练期间未采样的子网，并在准确性和效率之间取得了有利的权衡。
2022-06-18 cs.AI eess.AS
Effective Modeling of Critical Contextual Information for TDNN-based Speaker Verification
针对 ECAPA-TDNN 上下文建模能力弱的问题，提出三种改进架构以充分提取并聚合多尺度上下文特征，在 VoxCeleb1-O 上 EER 降低近 23%。
2025-09-12 eess.AS
ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker Verification
imec - Ghent University（imec-根特大学）
当前的说话人确认技术依赖于神经网络来提取说话人表示。成功的x向量架构是时间延迟神经网络（TDNN），它应用统计池将可变长度的话语投影到固定长度的说话者特征嵌入中。在本文中，我们提出了多个增强这个架构的基础上，在相关领域的人脸验证和计算机视觉的最新趋势。首先，初始框架层可以重构为具有有效跳过连接的一维Res 2Net模块。与SE-ResNet类似，我们在这些模块中引入了Squeeze-and-Excitation块，以显式地对通道相互依赖性进行建模。SE块通过根据记录的全局属性重新缩放通道来扩展帧层的时间上下文。其次，众所周知，神经网络可以学习分层特征，每一层都在不同的复杂程度上运行。为了利用这种互补信息，我们聚合和传播不同层次的特征。最后，我们改进了统计池模块与通道相关的帧注意。这使得网络能够在每个信道的统计估计期间关注不同的帧子集。拟议的ECAPA-TDNN架构在VoxCeleb测试集和2019年VoxCeleb说话人识别挑战赛上的表现明显优于最先进的基于TDNN的系统。
2020-08-10 cs.SD eess.AS
PCF: ECAPA-TDNN with Progressive Channel Fusion for Speaker Verification
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
ECAPA-TDNN是目前最流行的用于说话人确认的TDNN系列模型，它刷新了TDNN模型的最新（SOTA）性能。然而，一维卷积在特征通道上具有全局接收场。它破坏了频谱图的时频相关性。此外，由于ECAPA-TDNN只有五层，与ResNet相比，更浅的结构限制了生成深度表示的能力。为了进一步改进ECAPA-TDNN，我们提出了一种渐进的通道融合策略，该策略将频谱图拆分为特征通道，并通过网络逐渐扩大感受野。其次，我们扩大了模型的深度和增加分支。在vox 1 o上，EER为0.718，minDCF（0.01）为0.0858，比ECAPA-TDNN-large分别提高了16.1%和19.5%。
2023-03-01 cs.SD eess.AS
Integrating Frequency Translational Invariance in TDNNs and Frequency Positional Information in 2D ResNets to Enhance Speaker Verification
本文介绍了IDLab提交的2021年短持续时间说话人验证挑战赛（SdSVC-21）的文本无关任务。本次说话人验证比赛的重点是短时间测试录音和跨语言测试，以及域内DeepMine波斯语训练数据有限的限制。目前，时间延迟神经网络（TDNNs）和ResNets在说话人验证方面都取得了最先进的结果。这些架构在结构上非常不同，混合网络的构建看起来是一个很有前途的方向。我们在强大的ECAPA-TDNN基线中引入2D卷积干，将基于ResNet的模型的一些强大特征转移到这种混合CNN-TDNN架构中。同样，我们将绝对频率位置编码在SE-ResNet 34架构中。这些沿频率轴的可学习特征图偏差为该架构提供了一种利用频率位置信息的简单方法。我们还提出了一个频率方面的变形挤压激励（SE），更好地保留频率特定的信息时，重新缩放的特征图。这两种修改后的架构在SdSVC-21评估数据和原始VoxCeleb 1测试集上的性能均显著优于其相应的基线。包含两种改进架构的四系统融合在最终的SdSVC-21任务2排名中获得第三名。
2021-09-09 eess.AS
Systematic Study of Dysarthric Speech Recognition: Spectral Features and Acoustic Models
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India（电子与通信工程系，印度尼特技术学院锡金分校）；Department of Information and Communications Engineering, Aalto University, Finland（信息与通信工程系，阿尔托大学，芬兰）；Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, Los Angeles, USA（信号分析与解释实验室（SAIL），美国南加州大学洛杉矶分校）
本文系统研究不同频谱特征与声学模型的组合，通过引入音高特征和优化训练帧重叠数，在F-TDNN模型上实现孤立词和句子识别相对提升4.65%和4.63%。
2026-06-19 cs.AI cs.LG cs.SD
SpeechNAS: Towards Better Trade-off between Latency and Accuracy for Large-Scale Speaker Verification
Kuaishou Technology（快手科技）
近年来，x向量已成为说话人确认的一种成功和流行的方法，它采用时间延迟神经网络（TDNN）和统计池从可变长度的话语中提取说话人特征嵌入。对x-向量的改进一直是一个活跃的研究领域，基于x-向量的神经网络已经被精心设计，如扩展TDNN（E-TDNN）、因子化TDNN（F-TDNN）和密集连接TDNN（D-TDNN）。在这项工作中，我们试图从基于TDNN的搜索空间采用神经架构搜索（NAS），命名为SpeechNAS的最佳架构。利用说话人识别的最新进展，如高阶统计池，多分支机制，D-TDNN和具有最小超球能量（MHE）的角加性裕度softmax（AAM）损失，SpeechNAS自动发现五种网络架构，从SpeechNAS-1到SpeechNAS-5，在大规模文本无关的说话人识别数据集VoxCeleb 1上具有不同数量的参数和GFLOP。我们推导出的最佳神经网络在VoxCeleb 1的标准测试集上实现了1.02%的相等出错率（EER），这大大超过了以前基于TDNN的最先进方法。代码和训练权重在https://github.com/wentaozhu/speechnas.git中
2021-09-18 cs.CL cs.CV cs.LG
MACCIF-TDNN: Multi aspect aggregation of channel and context interdependence features in TDNN-based speaker verification
Faculty of Information Technology, Beijing University of Technology（北京工业大学信息学部）
最近大多数说话人确认的最新结果都是通过X向量及其后续变体实现的。本文提出了一种基于时延神经网络（TDNN）的网络结构，该结构从多个方面聚合了信道和上下文的相互依赖特征。首先，我们使用SE-Res 2Blocks在ECAPA-TDNN显式建模的通道相互依赖性，实现自适应校准的通道功能，并处理本地上下文特征在一个多尺度的方式在一个更细粒度的水平相比，传统的TDNN为基础的方法。其次，我们探索使用Transformer的编码器结构来在话语级别上对全局上下文相关特征进行建模，从而可以更好地捕获长期时间特性。在池化层之前，我们聚合SE-Res 2Blocks和Transformer编码器的输出，以利用它们各自学习的互补通道和上下文相互依赖特征。最后，而不是执行一个单一的专注的统计池，我们还发现，它有益于扩展池的方法，在多头的方式，可以区分功能从多个方面。所提出的MACCIF-TDNN架构在VoxCeleb 1测试集上的性能优于大多数最先进的基于TDNN的系统。
2021-07-07 cs.CL cs.SD eess.AS
NeXt-TDNN: Modernizing Multi-Scale Temporal Convolution Backbone for Speaker Verification
Sogang University（西江大学）；Hyundai Motor Company（现代汽车公司）
本文提出NeXt-TDNN，通过引入改进的TDNN块设计，利用ConvNeXt结构提升语音验证性能，减少参数量和推理时间。
2023-12-15 cs.SD eess.AS
MFA: TDNN with Multi-scale Frequency-channel Attention for Text-independent Speaker Verification with Short Utterances
National University of Singapore（新加坡国立大学）；Fortemedia Singapore（Fortemedia新加坡公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
时间延迟神经网络（TDNN）代表了文本无关说话人确认的最新神经解决方案之一。然而，它们需要大量的滤波器来捕获在任何局部频率区域的扬声器特性。此外，这种系统的性能可能在短话语场景下降级。为了解决这些问题，我们提出了一个多尺度的频率通道注意力（MFA），在那里我们通过一个新的双路径设计，其中包括一个卷积神经网络和TDNN的特点扬声器在不同的尺度。我们在VoxCeleb数据库上评估了所提出的MFA，并观察到所提出的MFA框架可以实现最先进的性能，同时降低参数和计算复杂度。此外，MFA机制被发现是有效的说话人确认短测试话语。
2022-02-15 cs.CL cs.SD eess.AS
An Exploration of ECAPA-TDNN and x-vector Speaker Representations in Zero-shot Multi-speaker TTS
NTIS Research Centre（NTIS研究中心）；Department of Cybernetics, Faculty of Applied Sciences, University of West Bohemia in Pilsen, Czechia（应用科学学院控制系，西波西米亚大学在比斯伦分校，捷克）
本文在基于 YourTTS 的零样本多说话人 TTS 框架中比较 H/ASP、x-vector 与 ECAPA-TDNN 说话人编码器，发现原始 H/ASP 的说话人相似度表现最佳。
2025-06-25 cs.SD eess.AS
ECAPA-TDNN for Multi-speaker Text-to-speech Synthesis
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Language and Culture University（北京语言大学）；Unisound AI Technology Co., Ltd（云知声人工智能科技股份有限公司）
近年来，基于神经网络的多说话人文本到语音合成（TTS）方法取得了重大进展。然而，这些方法中使用的现有说话人编码器模型仍然不能捕获足够的说话人信息。在本文中，我们专注于精确的说话人编码器建模，并提出了一种端到端的方法，可以生成高质量的语音和更好的相似性，为可见和不可见的扬声器。所提出的架构由三个单独训练的组件组成：一个扬声器编码器的基础上，最先进的ECAPA-TDNN模型，这是来自扬声器验证任务，FastSpeech 2为基础的合成器，和HiFi-GAN声码器。不同的说话人编码模型之间的比较表明，我们提出的方法可以实现更好的自然度和相似度。为了有效地评估我们的合成语音，我们首次采用基于深度学习的自动MOS评估方法来评估我们的结果，这些方法在自动语音质量评估中显示出巨大的潜力。
2022-03-26 cs.LG cs.SD eess.AS
Validation of an ECAPA-TDNN system for Forensic Automatic Speaker Recognition under case work conditions
Centro di ricerca interdisciplinare sul linguaggio (CRIL), University of Salento（萨伦托大学跨学科语言研究中心（CRIL））
在真实法庭语音比对条件下测试基于ECAPA-TDNN的FASR系统，通过嵌入和分数归一化策略评估其性能，结果证明其超越现有最先进水平。
2023-05-18 cs.SD eess.AS
CAM++: A Fast and Efficient Network for Speaker Verification Using Context-Aware Masking
Alibaba Group（阿里巴巴集团）
针对ECAPA-TDNN计算复杂度高、推理慢的问题，提出基于上下文感知掩码的高效说话人验证网络CAM++，以D-TDNN为主干结合多粒度池化，在两个公开基准上实现了更优性能与更高效率。
2023-06-16 cs.SD eess.AS
P-vectors: A Parallel-Coupled TDNN/Transformer Network for Speaker Verification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology（未来技术学院）；University of Chinese Academy of Sciences（中国科学院大学）；GammaLab, PingAn OneConnect（平安壹账通Gamma实验室）；PingAn Insurance (Group) Company of China（中国平安保险（集团）股份有限公司）
本文提出并行耦合TDNN/Transformer网络p-vectors，通过软特征对齐交互、空间频率通道注意力和嵌入聚合层融合局部与全局特征，在VoxCeleb1-O上显著降低EER。
2023-05-25 cs.SD eess.AS
CS-Rep: Making Speaker Verification Networks Embracing Re-parameterization
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Computer College, Qinghai Nationalities University（青海民族大学计算机学院）；National Institute of Informatics（日本国立信息学研究所）；School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）
自动说话人确认（ASV）系统主要关注的是确认的准确性，而忽略了推理的速度。然而，在实际应用中，推理速度和验证精度都是必不可少的。提出了一种新的多类型网络拓扑参数化策略--交叉顺序参数化（CS-Rep），以提高模型的推理速度和验证精度。CS-Rep解决了现有重参数化方法不适用于典型ASV骨干网的问题。当模型应用CS-Rep时，训练期网络利用多分支拓扑结构来捕获说话人信息，而推理期模型转换为具有堆叠TDNN层的类似TDNN的普通骨干，以实现快速推理速度。在CS-Rep的基础上，提出了一种具有友好测试和部署功能的改进TDNN（Rep-TDNN）。与业界高度认可的最新模型ECAPA-TDNN相比，Rep-TDNN的实际推理速度提高了约50%，EER降低了10%。代码将被释放。
2022-04-04 cs.LG cs.SD eess.AS
LightCAM: A Fast and Light Implementation of Context-Aware Masking based D-TDNN for Speaker Verification
Zhejiang University of Technology（浙江工业大学）；Hangzhou Jet-voice Technology Co., Ltd.（杭州捷声技术有限公司）
针对TDNN计算复杂度高的问题，提出轻量级模型LightCAM，结合DSM和MFA优化D-TDNN，在VoxCeleb上取得更优性能且降低计算成本。
2024-02-12 cs.CL cs.SD eess.AS
Deformable TDNN with adaptive receptive fields for speech recognition
Tsinghua University（清华大学）
时间延迟神经网络（TDNN）广泛应用于基于DNN-HMM的混合语音识别系统和最近的端到端系统中。然而，TDNN的感受野是有限的和固定的，这对于像语音识别这样的任务是不期望的，其中语音的时间动态变化并受许多因素影响。本文提出在端到端语音识别中使用可变形TDNN进行自适应时间动态建模。受可变形ConvNets的启发，可变形TDNN使用额外的偏移量来增强时间采样位置，并基于ASR标准自动学习偏移量，而无需额外的监督。实验结果表明，可变形TDNN在WSJ测试中取得了最佳的测试结果（WSJ eval 92/dev 93测试的WER分别为1.42%和3.45%），明显优于标准TDNN.此外，我们提出了可变形TDNN的延迟控制机制，这使得可变形TDNN能够在不降低精度的情况下进行流式ASR。
2021-04-30 cs.CL cs.SD eess.AS
Two-pass Decoding and Cross-adaptation Based System Combination of End-to-end Conformer and Hybrid TDNN ASR Systems
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文提出多遍重打分与交叉自适应的系统组合方法，融合混合TDNN与Conformer E2E ASR系统，在Switchboard上实现显著WER降低，最佳组合系统相对Conformer绝对降低2.5%-3.9%。
2022-06-23 cs.AI eess.AS
The IDLAB VoxCeleb Speaker Recognition Challenge 2021 System Description
Ghent University（根特大学）；imec（比利时微电子研究中心）；IDLab（IDLab实验室）
本技术报告描述了IDLab提交的VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的第1和第2轨道。本次说话人确认比赛侧重于短时间测试录音和跨语言测试。目前，时间延迟神经网络（TDNNs）和ResNets在说话人验证方面都取得了最先进的结果。我们选择在我们的最终提交中使用混合架构的系统融合。ECAPA-TDNN基线通过2D卷积干增强，以将基于ResNet的模型的一些强大特征转移到这种混合CNN-TDNN架构中。同样，我们将绝对频率位置信息纳入SE-ResNet架构中。所有模型都使用特殊的小批量数据采样技术进行训练，该技术使用在说话人内可变性水平上对系统最具挑战性的数据构建小批量。这种说话人内部的变异性主要是由说话人话语之间的语言和背景条件的差异引起的。通过在基于逻辑回归的系统校准中引入二进制跨语言试验特征，进一步补偿了说话人验证分数上的跨语言影响。最终系统融合了两个ECAPA CNN-TDNN和三个SE-ResNet，增强了频率位置信息，在VoxSRC-21排行榜上获得了第三名，轨道1和2的minDCF分别为0.1291和0.1313。
2021-09-09 cs.SD eess.AS
Speaker Verification Under Real Classroom Conditions for English Speech
University of Maryland College Park（马里兰大学帕克分校）
本研究针对真实课堂环境下的英语语音，适配WavLM-TDNN模型，对比ECAPA-TDNN，采用两阶段训练策略，实现等错误率显著降低，为教育类AI工具提供支撑。
2026-08-07 eess.AS
FT-Boosted SV: Towards Noise Robust Speaker Verification for English Speaking Classroom Environments
本文研究课堂噪声下的说话人验证问题，通过增强儿童数据集微调 x-vector 与 ECAPA-TDNN，显著降低 EER 并提升模型在课堂和儿童语音场景中的鲁棒性。
2025-05-26 eess.AS
Towards Lightweight Applications: Asymmetric Enroll-Verify Structure for Speaker Verification
AI Lab, Lenovo Research（联想研究院人工智能实验室）；Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）
随着深度学习的发展，自动说话人确认在过去几年中取得了长足的进步。然而，在有限的计算资源下设计一个轻量级的、鲁棒的系统仍然是一个具有挑战性的问题。传统上，说话人确认系统是对称的，这表明在推理中，相同的嵌入提取模型被应用于注册和确认。本文提出了一种创新的非对称结构，采用大规模ECAPA-TDNN模型进行注册，采用小规模ECAPA-TDNNLite模型进行验证。作为一个对称的系统，我们提出的ECAPA-TDNNLite模型实现了3.07%的EER的Voxceleb 1原始测试集，只有11.6M的FLOPS。此外，非对称结构进一步将EER降低到2.31%，而不会增加验证过程中的任何计算成本。
2022-01-26 cs.SD eess.AS
EDITnet: A Lightweight Network for Unsupervised Domain Adaptation in Speaker Verification
语言不匹配导致的性能下降是将说话人确认系统应用于不同语言的语音数据时的常见问题。本文提出了一个域转移网络，命名为EDITnet，以减轻语言不匹配的问题，说话人嵌入，而不需要说话人标签。该网络利用条件变分自动编码器将嵌入从目标域转移到源域。一个自监督学习策略施加在转移的嵌入，以增加嵌入之间的余弦距离从不同的发言人。在EDITnet的训练过程中，嵌入提取模型是固定的，无需微调，这使得训练效率高，成本低。在Voxceleb和CN-Celeb上的实验表明，使用ECAPA-TDNN 512，EDITnet传输的嵌入比未传输的嵌入高出约30%。性能改进也可以通过其他嵌入提取模型来实现，例如，TDNN，SE-ResNet34.
2022-06-15 eess.AS
Infant Cry Emotion Recognition Using Improved ECAPA-TDNN with Multiscale Feature Fusion and Attention Enhancement
提出改进ECAPA-TDNN结合多尺度特征融合与注意力增强，用于婴儿哭声情感识别，在公共数据集上达到82.20%准确率，优于基线方法。
2025-06-23 eess.AS
Deep Speaker Embedding Learning with Multi-Level Pooling for Text-Independent Speaker Verification
JD AI Research（京东人工智能研究院）
本文旨在改进广泛使用的深度说话人嵌入x向量模型。我们提出了以下改进：（1）使用时间延迟神经网络（TDNN）和长短期记忆神经网络（LSTM）的混合神经网络结构，在不同的层次上产生互补的说话人信息;（2）多层次池化策略，从TDNN和LSTM层收集说话人信息;（3）在说话人嵌入提取层上的正则化方案，以使所提取的嵌入适合于随后的融合步骤。NIST SRE 2016 eval测试（EER降低19%）和SRE 2018 dev测试（EER降低9%）显示了这些改进的协同作用，以及这两个测试集在x向量基线上的DCF分数降低超过10%。
2019-02-21 cs.CL cs.SD eess.AS
Quantization of Acoustic Model Parameters in Automatic Speech Recognition Framework
Idiap Research Institute（伊迪亚普研究所）
最先进的混合自动语音识别（ASR）系统利用基于深度神经网络（DNN）的声学模型（AM），所述声学模型（AM）利用无格最大互信息（LF-MMI）准则和n-gram语言模型进行训练。AM通常具有数百万个参数，并且需要显著的参数减少以在嵌入式设备上操作。本文研究了参数量化对整体词识别性能的影响。提出了以下方法：（i）在Kaldi框架中使用传统的因子化TDNN（TDNN-F）架构训练AM，（ii）使用C++包装器将Kaldi中构建的TDNN AM加载到PyTorch工具包中进行训练后量化，（iii）在PyTorch中为Kaldi TDNN模型进行量化感知训练，（iv）在Kaldi中进行量化感知训练。在标准Librispeech设置上获得的结果提供了一个有趣的识别精度w.r.t.应用量化方案。
2020-11-20 cs.SD eess.AS
Introducing voice timbre attribute detection
University of Science and Technology of China（中国科学技术大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出语音音色属性检测（vTAD）任务，基于说话人嵌入比较语音对在指定音色描述符上的强度，实验表明ECAPA-TDNN在可见场景更优，FACodec在不可见场景泛化更强。
2025-06-22 cs.AI cs.SD eess.AS
HLT-NUS SUBMISSION FOR 2020 NIST Conversational Telephone Speech SRE
本文简要介绍了新加坡国立大学（NUS）人类语言技术（HLT）实验室提交的2020年NIST会话电话语音（CTS）说话人识别评估（SRE）系统。挑战的重点是在包含多语言语音的CTS数据下进行评估。HLT-NUS开发的系统考虑了时延神经网络（TDNN）x向量和ECAPA-TDNN系统。我们还执行概率线性判别分析（PLDA）模型和自适应s-范数对我们的系统的域自适应。对TDNN x向量和ECAPA-TDNN系统进行了评分级融合，提高了我们提交给2020 NIST CTS SRE的最终系统性能。
2021-11-12 eess.AS eess.SP
Bayesian Learning of LF-MMI Trained Time Delay Neural Networks for Speech Recognition
判别训练技术定义了自动语音识别系统的最新性能。然而，它们本质上容易过拟合，导致在使用有限的训练数据时泛化性能较差。为了解决这个问题，本文提出了一个完整的贝叶斯框架，考虑到模型的不确定性，在序列判别训练因子TDNN声学模型。提出了几种基于贝叶斯学习的TDNN变体系统来模拟权重参数和隐藏激活函数的选择或隐藏层输出的不确定性。有效的变分推理方法使用几个作为一个单一的参数样本，确保其计算成本在训练和评估时间与基线TDNN系统。统计学显著字错误率（WER）绝对值降低0.4%-1.8%（5%-11%相对）是在最先进的900小时速度扰动Switchboard语料库训练的基线LF-MMI因子TDNN系统上使用多种正则化方法获得的，所述正则化方法包括F平滑、L2范数惩罚、自然梯度、模型平均和丢弃，除了i-Vector加上基于学习隐藏单元贡献（LHUC）的说话者自适应和RNNLM重新评分之外。在450小时的香港科技大学普通话电话会话语音识别任务上也获得了一致的性能改善。在第三个跨域自适应任务，需要快速移植1000小时LibriSpeech数据训练的系统到一个小的DementiaBank老年人语音语料库，所提出的贝叶斯TDNN LF-MMI系统优于基线系统使用直接权重微调高达2.5\%的绝对WER减少。
2021-05-10 eess.AS
Low-resource speech recognition and dialect identification of Irish in a multi-task framework
Trinity College Dublin（都柏林三一学院）；Cambridge University（剑桥大学）
本文提出用InterCTC训练混合CTC/注意力模型，结合多任务微调和LM浅层融合，在爱尔兰语低资源ASR和DID上取得DID准确率相对提升10.8%、WER接近TDNN-HMM的效果。
2024-05-02 cs.AI cs.CL cs.SD
A Fast-Converged Acoustic Modeling for Korean Speech Recognition: A Preliminary Study on Time Delay Neural Network
Sogang University（西江大学）
提出了一种基于时延神经网络（TDNN）的声学模型，实现了韩语语音识别的快速收敛声学建模。TDNN在训练数据量有限的情况下具有快速收敛的优势，这是由于排除重复权重的子采样。的TDNN表现出2.12%的字符出错率相比，前馈神经网络（FFNN）为基础的韩国语音语料库建模的绝对改善。该模型的收敛速度比基于FFNN的模型快1.67倍。
2018-07-11 cs.CL cs.SD eess.AS
Speech-enhanced and Noise-aware Networks for Robust Speech Recognition
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
对通道失配和噪声干扰的补偿对于鲁棒的自动语音识别是必不可少的。在声学模型的多条件训练中引入增强语音以提高模型的泛化能力。本文提出了一种基于两个级联神经结构的噪声感知训练框架，用于联合优化语音增强和语音识别。特征增强模块由一个多任务的自动编码器组成，其中含噪语音被分解为干净语音和噪声。通过连接每个帧的增强、噪声感知和噪声特征，声学建模模块通过优化预测和实际状态序列之间的无网格最大互信息和交叉熵，将每个特征增强帧映射到三音子状态。在因子化时间延迟神经网络（TDNN-F）及其卷积变体（CNN-TDNNF）的基础上，这两个系统在Aurora-4任务中分别实现了3.90%和3.55%的字出错率（WER）。与现有的使用二元和三元语言模型进行解码的最佳系统相比，所提出的基于CNN-TDNF的系统分别实现了15.20%和33.53%的相对WER降低。此外，所提出的基于CNN-TDNF的系统在AMI任务上也优于基线CNN-TDNF系统。
2022-11-23 cs.AI cs.CL cs.LG
Model Compression for DNN-based Speaker Verification Using Weight Quantization
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文研究利用权重量化压缩ECAPA-TDNN和ResNet两种说话人验证模型，在VoxCeleb上验证了量化可在数倍缩小模型规模的同时保持性能，并发现ResNet因权重分布平滑而更稳健。
2023-09-25 cs.SD eess.AS
XMUSPEECH System for VoxCeleb Speaker Recognition Challenge 2021
Xiamen University（厦门大学）
本文介绍了用于VoxCeleb说话人识别挑战赛2021的XMUSPEECH说话人识别和日记系统。对于第二轨道，我们评估了两个系统，包括ResNet 34-SE和ECAPA-TDNN。对于第四道，我们的系统的一个重要组成部分是VAD模块，大大提高了性能。我们在第4轨道上的最佳提交在评估集上获得了DER 5.54%和JER 27.11%，而在开发集上的表现是DER 2.92%和JER 20.84%。
2021-09-06 cs.SD eess.AS
Exploring Self-supervised Pre-trained ASR Models For Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文探索将领域自适应wav2vec2.0模型集成到TDNN/Conformer ASR系统，通过特征融合、联合解码和多遍重评分，在构音障碍和老年语音识别上取得显著WER降低，达到最低已发表结果。
2023-06-22 cs.AI cs.SD eess.AS
Large-scale Self-Supervised Speech Representation Learning for Automatic Speaker Verification
Microsoft（微软）
从大规模未标记数据中学习到的语音表示比从监督学习中学习到的语音表示具有更好的泛化能力，因此吸引了大量的兴趣被应用于各种下游任务。在本文中，我们探索了通过不同的自监督目标和数据集学习的语音表示的限制，用于自动说话人验证（ASV），特别是使用公认的SOTA ASV模型ECAPA-TDNN [1]作为下游模型。来自预训练模型的所有隐藏层的表示首先用可学习的权重进行平均，然后作为输入特征输入ECAPA-TDNN。在Voxceleb数据集上的实验结果表明，加权平均表示明显优于FBank，ASV的传统手工特征。我们最好的单系统分别在VoxCeleb 1的三次正式试验中达到0.537%、0.569%和1.180%的相等出错率（EER）。相应地，具有三个预训练模型的集成系统可以进一步将EER提高到0.479%、0.536%和1.023%。在三个评估试验中，我们最好的系统在VoxCeleb 1-E试验中的表现优于VoxCeleb Speaker Recognition Challenge 2021（VoxSRC 2021）的获胜者系统。
2022-01-24 cs.SD eess.AS
Exploring Gaussian mixture model framework for speaker adaptation of deep neural network acoustic models
University of Avignon（阿维尼翁大学）；STC-innovations Ltd（STC创新有限公司）
在本文中，我们研究了用于深度神经网络（DNN）声学模型自适应的GMM衍生（GMMD）特征。在GMMD特征上训练的DNN的适应是通过用于GMMD特征提取的辅助GMM模型的最大后验（MAP）适应来完成的。我们探讨融合的适应GMMD功能与传统的功能，如瓶颈和MFCC功能，在两个不同的神经网络架构：DNN和时间延迟神经网络（TDNN）。我们分析和比较不同类型的自适应技术，如i-向量和特征空间自适应技术的基础上最大似然线性回归（fMLLR）与建议的适应方法，并探讨其互补性，使用各种类型的融合，如特征级，后验级，格级和其他，以发现最佳的组合方式。在TED-LIUM语料库上的实验结果表明，所提出的自适应技术可以有效地集成到不同级别的DNN和TDNN设置中，并在识别性能方面提供额外的增益：相对于基于最大似然线性回归（fMLLR）说话者自适应DNN基线的强特征空间自适应技术，相对字错误率降低（WERR）高达6%，与在传统特征上训练的说话人独立（SI）DNN基线模型相比，相对WERR高达18%。对于TDNN模型，与SI基线相比，所提出的方法实现了高达26%的相对WERR，并且与通过使用i向量调整的模型相比，该方法实现了13%的相对WERR。从不同的角度对适应的GMMD特征进行分析，证明了它们在不同层次上的有效性。
2020-03-15 cs.CL cs.SD eess.AS
Hiding speaker's sex in speech using zero-evidence speaker representation in an analysis/synthesis pipeline
National Institute of Informatics（国立信息学研究所）
在分析/合成管道中使用现代声码器使我们能够研究可用于隐私目的的高质量语音转换。在这里，我们建议变换扬声器嵌入和音高，以隐藏扬声器的性别。基于ECAPA-TDNN的说话人表示馈入HiFiGAN声码器使用神经判别分析方法进行保护，这与隐私的零证据概念一致。这种方法大大减少了语音中与说话者性别有关的信息，同时保留了语音内容和由此产生的受保护声音的一致性。
2023-03-24 cs.SD eess.AS
Speaker Adaptation for End-To-End Speech Recognition Systems in Noisy Environments
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡应用科学大学）；Intel Labs（英特尔实验室）
该研究在不同噪声条件下评估 transformer 与 wav2vec 2.0 端到端语音识别模型的说话人自适应，证明拼接 x-vector、ECAPA-TDNN 或 i-vector 可显著降低词错率。
2023-12-07 cs.SD eess.AS
Frequency and Multi-Scale Selective Kernel Attention for Speaker Verification
Seoul National University（首尔国立大学）；Naver Corporation（Naver公司）
大多数最新的说话人确认架构采用多尺度处理和频率通道注意机制。这些模型的卷积层通常具有固定的核大小，例如，3或5。在这项研究中，我们利用选择性核心注意力（SKA）机制进一步促进了这一研究。SKA机制允许每个卷积层以数据驱动的方式自适应地选择内核大小。它是基于一个注意机制，利用频率和信道域。我们首先将现有的SKA模块应用于我们的基线。然后，我们提出了两种SKA变体，其中第一种变体应用于ECAPA-TDNN模型的前面，另一种变体与Res2net骨干块相结合。通过大量的实验，我们证明了我们提出的两个SKA变体一致地提高了性能，并且在三种不同的评估协议上进行测试时是互补的。
2022-10-12 cs.AI eess.AS
Neighborhood Attention Transformer with Progressive Channel Fusion for Speaker Verification
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
提出PCF-NAT骨干网络，通过交替邻域与全局注意力及渐进式通道融合，仅在VoxCeleb2上训练即优于相似规模ECAPA-TDNN，大幅降低EER与minDCF。
2024-05-30 cs.SD eess.AS
Unsupervised Model-based speaker adaptation of end-to-end lattice-free MMI model for speech recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；The Chinese University of Hong Kong（香港中文大学）
说话人变异性建模是自动语音识别（ASR）系统面临的一个关键挑战。在本文中，学习隐藏单元贡献（LHUC）为基础的自适应技术与紧凑的扬声器相关（SD）参数，以促进两个扬声器自适应训练（SAT）和无监督测试时扬声器自适应的端到端（E2 E）无格MMI（LF-MMI）模型。提出了一种基于无监督模型的自适应框架，利用LF-MMI和交叉熵准则估计E2 E范式中的SD参数。标准LHUC自适应的各种正则化方法，例如，贝叶斯LHUC（BLHUC）的适应，系统地研究，以减轻过度拟合的风险，在E2 E LF-MMI CNN-TDNN和CNN-TDNN-BLSTM模型。基于格的置信度估计用于自适应数据选择，以减少监督标签的不确定性。在300小时的交换机任务上的实验表明，在所提出的无监督E2 E自适应框架中将BLHUC应用于基于字节对编码（BPE）的E2 E LF-MMI系统在NIST Hub 5 '00和RT 03评估集上的相对字错误率（WER）降低高达10.5%和14.7%，分别在9.0%和9.7%的WER中获得最佳性能。这些结果可与现有技术的适配的LF-MMI混杂系统和适配的基于Conformer的E2 E系统的结果相比较。
2023-01-06 cs.SD eess.AS
Fine-tuning wav2vec2 for speaker recognition
Radboud University（拉德堡德大学）
本文探讨了将wav 2 vec 2框架应用于说话人识别而不是语音识别。我们研究了预训练权重在说话人识别任务中的有效性，以及如何将wav 2 vec 2输出序列合并到固定长度的说话人嵌入中。为了使该框架适用于说话人识别，我们提出了一个单一的话语分类变体CE或AAM softmax损失，和一个话语对分类变体BCE损失。我们表现最好的变体w2 v2-aam在扩展voxceleb 1测试集上实现了1.88%的EER，而ECAPA-TDNN基线的EER为1.69%。代码可在https://github.com/nikvaessen/w2v2-speaker上获得。
2022-05-06 cs.LG cs.SD eess.AS
LEAP Submission to CHiME-6 ASR Challenge}
本文报告了LEAP提交CHiME-6挑战。CHiME-6自动语音识别（ASR）挑战赛第一部分涉及在具有多方交互的家庭环境中的嘈杂和混响声学条件下的语音识别。对于挑战提交，LEAP系统使用了广泛的数据增强和因子化时间延迟神经网络（TDNN）架构。我们还探索了一种将TDNN层与LSTM层交错的神经架构。提交的系统在相对单词错误率方面将Kaldi配方改进了2%。
2020-05-22 eess.AS
The Royalflush System for VoxCeleb Speaker Recognition Challenge 2022
Hithink RoyalFlush AI Research Institute（华创同花顺人工智能研究院）
在本技术报告中，我们描述了Royalflush为VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）提交的申请。我们提交的文件包含轨道1，这是监督说话人验证和轨道3，这是半监督说话人验证。对于音轨1，我们开发了一个功能强大的基于U-Net的对称架构的说话人嵌入提取器。在验证集上，所提出的系统的EER和MinDCF分别达到2.06%和0.1293。与现有的ECAPA-TDNN相比，EER和MinDCF分别提高了20.7%和22.70%。对于音轨3，我们采用源域监督和目标域自监督的联合训练，得到一个说话人嵌入提取器。随后的聚类过程可以获得目标域伪说话人标签。我们使用所有源和目标域数据以监督的方式调整说话人嵌入提取器，它可以充分利用这两个域的信息。此外，可以重复聚类和监督领域自适应，直到性能收敛于验证集。我们最终提交的是10个模型的融合，在验证集上实现了7.75%的EER和0.3517 MinDCF。
2022-09-20 cs.AI cs.SD eess.AS
Structural sparsification for Far-field Speaker Recognition with GNA
Intel（英特尔）
近年来，深度神经网络在说话人识别领域得到了广泛的应用。为了实现快速响应时间和高精度，对硬件资源的要求迅速增加。然而，由于说话人识别应用通常在移动设备上实现，因此有必要在远场条件下保持高精度的同时保持低计算成本。在本文中，我们将结构稀疏化应用于时延神经网络（TDNN），以消除冗余结构并加速执行。在我们的目标硬件上，我们的模型可以删除60%的参数，仅将等错误率（EER）略微提高0.18%，而我们的结构稀疏模型可以实现超过1.5倍的加速比。
2020-02-14 cs.LG eess.AS
Training speaker recognition systems with limited data
Radboud University（拉德堡德大学）
这项工作考虑训练神经网络的说话人识别与一个更小的数据集大小相比，当代的工作。我们通过提出流行的VoxCeleb 2数据集的三个子集来人为地限制数据量。这些子集被限制为50，k音频文件（相对于可用的超过1，M文件），并且在扬声器数量和会话可变性的轴上变化。我们在这些子集上训练了三个说话人识别系统：X-vector、ECAPA-TDNN和wav 2 vec 2网络架构。我们表明，自我监督，wav 2 vec 2的预训练的权重大大提高性能时，训练数据是有限的。代码和数据子集可在https://github.com/nikvaessen/w2v2-speaker-few-samples上获得。
2023-02-27 cs.LG cs.SD eess.AS
Whisper Speaker Identification: Leveraging Pre-Trained Multilingual Transformers for Robust Speaker Embeddings
Hokkaido Denshikiki Co., Ltd.（北海道电気器株式会社）；Barisal Information Technology College (BITC)（巴里萨尔信息技术学院（BITC））
本文提出WSI框架，将多语言预训练Whisper编码器与在线难例三元组挖掘及自监督NT-Xent损失相结合，在多语种语料上显著降低等错误率并提升AUC。
2025-03-13 cs.AI cs.SD eess.AS
The DKU-SMIIP System for NIST 2018 Speaker Recognition Evaluation
在本文中，我们介绍了DKU语音和多模态智能信息处理（SMIIP）实验室为NIST 2018说话人识别评估提交的系统。我们探讨了各种最先进的前端提取器以及用于文本无关说话人验证的后端建模。我们提交的主要系统采用了多个最先进的前端提取器，包括MFCC i-vector、DNN tandem i-vector、TDNN x-vector和deep ResNet。在提取说话人嵌入后，我们利用几种后端建模来执行不匹配训练和测试条件下的可变性补偿和域自适应。最终提交的系统在固定条件下对CMN 2和VAST评估数据的实际检测成本分别为0.392和0.494。在官方评估之后，我们进一步扩展了我们的实验，研究了深度ResNet系统的多个编码层设计和损失函数。
2019-07-04 eess.AS
Improving Noise Robustness In Speaker Identification Using A Two-Stage Attention Model
University of Sheffield（谢菲尔德大学）
虽然深度神经网络的使用显著提高了说话人识别性能，但在声学环境较差的情况下分离说话人仍然具有挑战性。为了提高说话人识别系统在噪声环境下的鲁棒性，提出了一种新的两阶段注意机制，该机制可用于时延神经网络（TDNN）和卷积神经网络（CNN）等现有结构中。已知噪声经常在时域和频域中掩盖重要信息。所提出的机制允许模型集中于信号的可靠时间/频率分量。使用Voxceleb 1数据集对所提出的方法进行评估，该数据集旨在评估现实世界中的说话人识别。此外，在不同的信噪比（SNR）的三种类型的噪声被添加到这项工作。将所提出的机制与三个强基线进行比较：X向量，Attentive X-vector和Resnet-34。识别和验证任务的结果表明，两阶段的注意力机制一贯改善后，这些所有的噪音条件。
2020-05-15 cs.AI cs.CL cs.SD
Y-Vector: Multiscale Waveform Encoder for Speaker Embedding
University of Rochester（罗切斯特大学）；Beijing Institute of Technology（北京理工大学）
现有的文本无关说话人确认系统通常使用倒谱特征或滤波器组能量作为语音特征。最近的研究试图直接从原始波形中提取说话人嵌入，并显示出有竞争力的结果。在本文中，我们提出了一种新的多尺度波形编码器，使用三个卷积分支与不同的时间尺度计算语音特征的波形。然后，这些特征通过挤压和激励块、多级特征聚合器和时间延迟神经网络（TDNN）来处理以计算说话人嵌入。我们表明，建议的嵌入优于现有的原始波形为基础的说话人嵌入说话人确认的大幅度。对学习滤波器的进一步分析表明，多尺度编码器在其不同尺度下关注不同的频段，同时产生比任何单尺度对应物更平坦的总体频率响应。
2021-06-09 cs.SD eess.AS
On the influence of language similarity in non-target speaker verification trials
Reuter Jessen Division Hearing, Speech and Audio Technology（听力、语音和音频技术部门）；Fraunhofer Institute for Digital Media Technology（弗劳恩霍夫数字媒体技术研究所）；Bundeskriminalamt（德国联邦刑事侦查局）
本文研究跨语言非目标说话人验证中语言相似性的影响，发现训练语言内比较存在聚类效应，而未训练语言试验中分数与语言相似性相关。
2025-06-03 cs.SD eess.AS
Non-uniform Speaker Disentanglement For Depression Detection From Raw Speech Signals
提出一种非均匀对抗 SID 损失最大化的说话人解耦方法，在 ECAPA-TDNN 上提升抑郁症检测性能并显著降低说话人识别准确率，兼顾隐私保护。
2023-06-06 eess.AS
