An Exploration of ECAPA-TDNN and x-vector Speaker Representations in Zero-shot Multi-speaker TTS
NTIS Research Centre（NTIS研究中心）；Department of Cybernetics, Faculty of Applied Sciences, University of West Bohemia in Pilsen, Czechia（应用科学学院控制系，西波西米亚大学在比斯伦分校，捷克）
本文在基于 YourTTS 的零样本多说话人 TTS 框架中比较 H/ASP、x-vector 与 ECAPA-TDNN 说话人编码器，发现原始 H/ASP 的说话人相似度表现最佳。
2025-06-25 cs.SD eess.AS
Introducing ECAPA-TDNN and Wav2Vec2.0 Embeddings to Stuttering Detection
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用数学实验室）；Praxiling（普拉西林实验室）
由于可用数据集的大小有限，在口吃检测（SD）任务中采用高级深度学习（DL）架构具有挑战性。为此，这项工作介绍了使用预先训练的深度模型提取的语音嵌入的应用，这些模型是在针对不同任务的大量音频数据集上训练的。特别是，我们探索使用强调通道注意，传播和聚合时间延迟神经网络（ECAPA-TDNN）和Wav2Vec2.0模型分别在VoxCeleb和LibriSpeech数据集上训练获得的音频表示。提取嵌入后，我们基准与几个传统的分类器，如k-最近邻，高斯朴素贝叶斯，和神经网络，口吃检测任务。与仅在有限SEP-28 k数据集上训练的标准SD系统相比，我们在总体准确度方面相对于基线获得了16.74%的相对改善。最后，我们已经证明，结合两个嵌入和级联Wav2Vec2.0的多层可以进一步提高SD性能，分别高达1%和2.64%。
2022-04-04 cs.LG cs.SD eess.AS
ECAPA-TDNN for Multi-speaker Text-to-speech Synthesis
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Language and Culture University（北京语言大学）；Unisound AI Technology Co., Ltd（云知声人工智能科技股份有限公司）
近年来，基于神经网络的多说话人文本到语音合成（TTS）方法取得了重大进展。然而，这些方法中使用的现有说话人编码器模型仍然不能捕获足够的说话人信息。在本文中，我们专注于精确的说话人编码器建模，并提出了一种端到端的方法，可以生成高质量的语音和更好的相似性，为可见和不可见的扬声器。所提出的架构由三个单独训练的组件组成：一个扬声器编码器的基础上，最先进的ECAPA-TDNN模型，这是来自扬声器验证任务，FastSpeech 2为基础的合成器，和HiFi-GAN声码器。不同的说话人编码模型之间的比较表明，我们提出的方法可以实现更好的自然度和相似度。为了有效地评估我们的合成语音，我们首次采用基于深度学习的自动MOS评估方法来评估我们的结果，这些方法在自动语音质量评估中显示出巨大的潜力。
2022-03-26 cs.LG cs.SD eess.AS
NeXt-TDNN: Modernizing Multi-Scale Temporal Convolution Backbone for Speaker Verification
Sogang University（西江大学）；Hyundai Motor Company（现代汽车公司）
本文提出NeXt-TDNN，通过引入改进的TDNN块设计，利用ConvNeXt结构提升语音验证性能，减少参数量和推理时间。
2023-12-15 cs.SD eess.AS
Towards Lightweight Applications: Asymmetric Enroll-Verify Structure for Speaker Verification
AI Lab, Lenovo Research（联想研究院人工智能实验室）；Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）
随着深度学习的发展，自动说话人确认在过去几年中取得了长足的进步。然而，在有限的计算资源下设计一个轻量级的、鲁棒的系统仍然是一个具有挑战性的问题。传统上，说话人确认系统是对称的，这表明在推理中，相同的嵌入提取模型被应用于注册和确认。本文提出了一种创新的非对称结构，采用大规模ECAPA-TDNN模型进行注册，采用小规模ECAPA-TDNNLite模型进行验证。作为一个对称的系统，我们提出的ECAPA-TDNNLite模型实现了3.07%的EER的Voxceleb 1原始测试集，只有11.6M的FLOPS。此外，非对称结构进一步将EER降低到2.31%，而不会增加验证过程中的任何计算成本。
2022-01-26 cs.SD eess.AS
Speaker Verification Under Real Classroom Conditions for English Speech
University of Maryland College Park（马里兰大学帕克分校）
本研究针对真实课堂环境下的英语语音，适配WavLM-TDNN模型，对比ECAPA-TDNN，采用两阶段训练策略，实现等错误率显著降低，为教育类AI工具提供支撑。
2026-08-07 eess.AS
CAM++: A Fast and Efficient Network for Speaker Verification Using Context-Aware Masking
Alibaba Group（阿里巴巴集团）
针对ECAPA-TDNN计算复杂度高、推理慢的问题，提出基于上下文感知掩码的高效说话人验证网络CAM++，以D-TDNN为主干结合多粒度池化，在两个公开基准上实现了更优性能与更高效率。
2023-06-16 cs.SD eess.AS
Probing Deep Speaker Embeddings for Speaker-related Tasks
深度说话人嵌入在说话人识别以及其他与说话人相关的任务中已经显示出有希望的结果。然而，一些问题仍在探索中，例如，这些表征中编码的信息及其对下游任务的影响。本文研究了四种深度说话人嵌入算法，即d-vector、x-vector、ResNetSE-34和ECAPA-TDNN。受人类语音机制的启发，我们从身份、内容和通道三个角度探索了可能的编码信息;在此基础上，我们对三类说话人相关任务进行了实验，进一步探讨了不同深度嵌入的影响，包括区分性任务（说话人确认和日志化）、引导性任务（目标说话人检测和提取）和调节性任务（多说话人文本到语音转换）。结果表明，所有深度嵌入编码的通道和内容信息，除了说话人的身份，但程度可能会有所不同，他们的表现可能会有很大的不同：ECAPA-TDNN是占主导地位的判别任务，和d-向量引导任务，而调节任务是不太敏感的说话人表示的选择。这些可能有利于未来的研究利用扬声器嵌入。
2022-12-14 eess.AS
Integrating Frequency Translational Invariance in TDNNs and Frequency Positional Information in 2D ResNets to Enhance Speaker Verification
本文介绍了IDLab提交的2021年短持续时间说话人验证挑战赛（SdSVC-21）的文本无关任务。本次说话人验证比赛的重点是短时间测试录音和跨语言测试，以及域内DeepMine波斯语训练数据有限的限制。目前，时间延迟神经网络（TDNNs）和ResNets在说话人验证方面都取得了最先进的结果。这些架构在结构上非常不同，混合网络的构建看起来是一个很有前途的方向。我们在强大的ECAPA-TDNN基线中引入2D卷积干，将基于ResNet的模型的一些强大特征转移到这种混合CNN-TDNN架构中。同样，我们将绝对频率位置编码在SE-ResNet 34架构中。这些沿频率轴的可学习特征图偏差为该架构提供了一种利用频率位置信息的简单方法。我们还提出了一个频率方面的变形挤压激励（SE），更好地保留频率特定的信息时，重新缩放的特征图。这两种修改后的架构在SdSVC-21评估数据和原始VoxCeleb 1测试集上的性能均显著优于其相应的基线。包含两种改进架构的四系统融合在最终的SdSVC-21任务2排名中获得第三名。
2021-09-09 eess.AS
The IDLAB VoxCeleb Speaker Recognition Challenge 2021 System Description
Ghent University（根特大学）；imec（比利时微电子研究中心）；IDLab（IDLab实验室）
本技术报告描述了IDLab提交的VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的第1和第2轨道。本次说话人确认比赛侧重于短时间测试录音和跨语言测试。目前，时间延迟神经网络（TDNNs）和ResNets在说话人验证方面都取得了最先进的结果。我们选择在我们的最终提交中使用混合架构的系统融合。ECAPA-TDNN基线通过2D卷积干增强，以将基于ResNet的模型的一些强大特征转移到这种混合CNN-TDNN架构中。同样，我们将绝对频率位置信息纳入SE-ResNet架构中。所有模型都使用特殊的小批量数据采样技术进行训练，该技术使用在说话人内可变性水平上对系统最具挑战性的数据构建小批量。这种说话人内部的变异性主要是由说话人话语之间的语言和背景条件的差异引起的。通过在基于逻辑回归的系统校准中引入二进制跨语言试验特征，进一步补偿了说话人验证分数上的跨语言影响。最终系统融合了两个ECAPA CNN-TDNN和三个SE-ResNet，增强了频率位置信息，在VoxSRC-21排行榜上获得了第三名，轨道1和2的minDCF分别为0.1291和0.1313。
2021-09-09 cs.SD eess.AS
EDITnet: A Lightweight Network for Unsupervised Domain Adaptation in Speaker Verification
语言不匹配导致的性能下降是将说话人确认系统应用于不同语言的语音数据时的常见问题。本文提出了一个域转移网络，命名为EDITnet，以减轻语言不匹配的问题，说话人嵌入，而不需要说话人标签。该网络利用条件变分自动编码器将嵌入从目标域转移到源域。一个自监督学习策略施加在转移的嵌入，以增加嵌入之间的余弦距离从不同的发言人。在EDITnet的训练过程中，嵌入提取模型是固定的，无需微调，这使得训练效率高，成本低。在Voxceleb和CN-Celeb上的实验表明，使用ECAPA-TDNN 512，EDITnet传输的嵌入比未传输的嵌入高出约30%。性能改进也可以通过其他嵌入提取模型来实现，例如，TDNN，SE-ResNet34.
2022-06-15 eess.AS
MACCIF-TDNN: Multi aspect aggregation of channel and context interdependence features in TDNN-based speaker verification
Faculty of Information Technology, Beijing University of Technology（北京工业大学信息学部）
最近大多数说话人确认的最新结果都是通过X向量及其后续变体实现的。本文提出了一种基于时延神经网络（TDNN）的网络结构，该结构从多个方面聚合了信道和上下文的相互依赖特征。首先，我们使用SE-Res 2Blocks在ECAPA-TDNN显式建模的通道相互依赖性，实现自适应校准的通道功能，并处理本地上下文特征在一个多尺度的方式在一个更细粒度的水平相比，传统的TDNN为基础的方法。其次，我们探索使用Transformer的编码器结构来在话语级别上对全局上下文相关特征进行建模，从而可以更好地捕获长期时间特性。在池化层之前，我们聚合SE-Res 2Blocks和Transformer编码器的输出，以利用它们各自学习的互补通道和上下文相互依赖特征。最后，而不是执行一个单一的专注的统计池，我们还发现，它有益于扩展池的方法，在多头的方式，可以区分功能从多个方面。所提出的MACCIF-TDNN架构在VoxCeleb 1测试集上的性能优于大多数最先进的基于TDNN的系统。
2021-07-07 cs.CL cs.SD eess.AS
Speaker Embeddings With Weakly Supervised Voice Activity Detection For Efficient Speaker Diarization
IDLab, Department of Electronics；Information Systems Ghent University - imec, Belgium
针对现有说话人分割依赖外部VAD带来开销的问题，提出利用说话人嵌入提取器的注意力作为弱监督内部VAD，用ECAPA2嵌入同时实现VAD与嵌入提取，在多个基准上取得SOTA性能。
2024-05-15 cs.SD eess.AS
LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation
LASE通过对抗性学习提升跨脚本说话者身份保持，减少语音编码器在不同语言脚本间的性能差异，实验显示其在多个数据集上均达到零误差。
2026-05-01 cs.CL cs.SD eess.AS
Model Compression for DNN-based Speaker Verification Using Weight Quantization
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文研究利用权重量化压缩ECAPA-TDNN和ResNet两种说话人验证模型，在VoxCeleb上验证了量化可在数倍缩小模型规模的同时保持性能，并发现ResNet因权重分布平滑而更稳健。
2023-09-25 cs.SD eess.AS
Detecting Vocal Fatigue with Neural Embeddings
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）
嗓音疲劳是指由于长时间使用嗓音而产生的声音疲劳和虚弱的感觉。本文研究了神经嵌入用于检测声音疲劳的有效性。我们在学术英语口语语料库上比较了x-vector、ECAPA-TDNN和wav 2 vec 2.0嵌入。低维映射的数据显示，神经嵌入捕获的信息在长时间的语音使用过程中的扬声器的声音特性的变化。我们表明，语音疲劳可以可靠地预测使用所有三种神经嵌入后，只有50分钟的连续发言时，时间平滑和归一化应用到提取的嵌入。我们采用支持向量机进行分类，并使用x向量实现了81%的准确率，使用ECAPA-TDNN嵌入实现了85%的准确率，使用wav 2 vec 2.0嵌入实现了82%的准确率。我们得到了76%的准确率得分，当训练后的系统被应用到不同的扬声器和录音环境没有任何适应。
2023-01-17 cs.CL cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University（西北工业大学）；Tencent Corporation（腾讯公司）
本文针对音视觉标注数据不足问题，在端到端AVSD系统中引入监督式与自监督式预训练语音模型，并联合训练音频、说话人编码器及音视觉解码器，在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
Neighborhood Attention Transformer with Progressive Channel Fusion for Speaker Verification
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
提出PCF-NAT骨干网络，通过交替邻域与全局注意力及渐进式通道融合，仅在VoxCeleb2上训练即优于相似规模ECAPA-TDNN，大幅降低EER与minDCF。
2024-05-30 cs.SD eess.AS
Beyond Short Segments : Expanding Speaker Embeddings with Vector Archives
Korea University（高丽大学）
针对短语音说话人验证性能下降问题，提出VAM-ECAPA系统，利用基于Transformer的TVAMSP模块将稀疏特征映射到可学习向量档案，在VoxCeleb1上1秒片段取得8.334% EER，相对错误率降低54.8%。
2026-09-23 cs.CL cs.SD eess.AS
Unsupervised Cross-device Speaker Diarization And Linking Through Spatiotemporal Structure
Independent Researchers
该研究针对跨设备说话人关联难题，提出结合嵌入中心化等的结构感知方法，在模拟门诊数据上提升了 B³-F1 指标，为临床部署提供支撑但需解决相关限制。
2026-10-14 eess.AS
DS-TDNN: Dual-stream Time-delay Neural Network with Global-aware Filter for Speaker Verification
Huaqiao University（华侨大学）
针对TDNN处理长语音上下文受限的问题，提出双流架构DS-TDNN，通过引入全局感知滤波器层并行提取局部与全局特征，在降低20%计算成本的同时实现性能提升。
2023-08-01 cs.AI cs.SD eess.AS
CS-Rep: Making Speaker Verification Networks Embracing Re-parameterization
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Computer College, Qinghai Nationalities University（青海民族大学计算机学院）；National Institute of Informatics（日本国立信息学研究所）；School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）
自动说话人确认（ASV）系统主要关注的是确认的准确性，而忽略了推理的速度。然而，在实际应用中，推理速度和验证精度都是必不可少的。提出了一种新的多类型网络拓扑参数化策略--交叉顺序参数化（CS-Rep），以提高模型的推理速度和验证精度。CS-Rep解决了现有重参数化方法不适用于典型ASV骨干网的问题。当模型应用CS-Rep时，训练期网络利用多分支拓扑结构来捕获说话人信息，而推理期模型转换为具有堆叠TDNN层的类似TDNN的普通骨干，以实现快速推理速度。在CS-Rep的基础上，提出了一种具有友好测试和部署功能的改进TDNN（Rep-TDNN）。与业界高度认可的最新模型ECAPA-TDNN相比，Rep-TDNN的实际推理速度提高了约50%，EER降低了10%。代码将被释放。
2022-04-04 cs.LG cs.SD eess.AS
Speaker Adaptation for End-To-End Speech Recognition Systems in Noisy Environments
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡应用科学大学）；Intel Labs（英特尔实验室）
该研究在不同噪声条件下评估 transformer 与 wav2vec 2.0 端到端语音识别模型的说话人自适应，证明拼接 x-vector、ECAPA-TDNN 或 i-vector 可显著降低词错率。
2023-12-07 cs.SD eess.AS
Kinship Verification Using Voice
University of Eastern Finland（芬兰东部大学）
本研究通过提出新的评估协议和多种神经网络说话人嵌入提取器，建立了语音亲属关系验证的基础，并揭示了说话人验证与亲属关系验证之间的密切联系。
2026-06-01 eess.AS
Joint Optimization of ASV and CM tasks: BTUEF Team's Submission for WildSpoof Challenge
Bursa Technical University（布尔萨科技大学）；University of Eastern Finland（芬兰东部大学）
本文提出模块化SASV框架，通过非线性融合和可训练损失优化，结合ReDimNet和微调SSL-AASIST实现最佳ASV与CM性能。
2026-02-02 eess.AS
The tttAI System for the TSA-ASR Task of the SmartGlasses Challenge 2026
Shenzhen Transsion Holdings Co., Ltd（深圳市传音控股有限公司）
介绍用于2026年智能眼镜挑战赛TSA-ASR任务的tttAI系统，针对长音频、多说话人及语音重叠挑战，提出级联架构，含说话人日记化等模块，最终系统用特定模型和通道，在赛道2获34.04%的tcpCER并排名第二。
2026-07-21 eess.AS
TCG CREST System Description for the DISPLACE-M Challenge
Institute for Advancing Intelligence, TCG CREST（先进智能研究所，TCG CREST）；Department of Computer Science, RKMVERI（计算机科学系，RKMVERI）
本研究提出Diarizen系统和AHC方法，通过实验在嘈杂医疗场景中提升语音分离性能，实现39%的DER改进，最终排名第五。
2026-03-10 cs.LG eess.AS
ESPnet-SPK: full pipeline speaker embedding toolkit with reproducible recipes, self-supervised front-ends, and off-the-shelf models
Carnegie Mellon University（卡内基梅隆大学）；Apple（苹果公司）
本文提出全流程说话人嵌入工具包ESPnet-SPK，提供多种模型、模块化设计、预训练模型、自监督特征集成与可复现配方，并在Vox1-O上达到0.39% EER。
2024-06-13 cs.AI cs.SD eess.AS
ELEAT-SAGA: Early & Late Integration with Evading Alternating Training for Spoof-Robust Speaker Verification
Ben Gurion University of the Negev（内盖夫本-古里安大学）；Afeka Academic College of Engineering in Tel Aviv（特拉维夫阿菲卡理工学院）；Avignon University（阿维尼翁大学）
ELEAT-SAGA通过引入基于分数的门控注意力机制和逃避交替训练策略，提升了对抗鲁棒的说话人验证系统性能。
2026-02-14 eess.AS
PAS: Partial Additive Speech Data Augmentation Method for Noise Robust Speaker Verification
University of Seoul（首尔大学）
针对噪声环境下说话人验证性能下降的问题，提出部分加性语音（PAS）数据增强方法，在SE-ResNet34和ECAPA-TDNN上EER相对提升4.64%和5.01%，并通过可视化验证有效性。
2023-07-20 cs.SD eess.AS
Speaker Representation Learning via Contrastive Loss with Maximal Speaker Separability
The Hong Kong Polytechnic University（香港理工大学）
使用深度模型的说话人表示学习的一个巨大挑战是设计学习目标，以增强对未知领域下未知说话人的区分。这项工作提出了一个监督的对比学习目标，通过有效地利用训练数据中的标签信息来学习说话人嵌入空间。在这样的空间中，由相同或相似的说话者说出的话语对将保持接近，而由不同的说话者说出的话语对将远离。对于每个训练说话人，我们对他们的话语进行随机数据增强以形成正对，来自不同说话人的话语形成负对。为了最大限度地提高嵌入空间中的说话人可分性，我们将添加剂的角度边缘损失到对比学习目标。在CN-Celeb上的实验结果表明，这种新的学习目标可以使ECAPA-TDNN找到一个嵌入空间，表现出很大的说话人歧视。对比学习目标很容易实现，我们在https://github.com/shanmon110/AAMSupCon上提供了PyTorch代码。
2022-11-17 cs.SD eess.AS
Spoofing-Robust Speaker Verification Using Parallel Embedding Fusion: BTU Speech Group's Approach for ASVspoof5 Challenge
BTU Speech Group（BTU语音组）
BTU语音组针对ASVspoof5挑战赛提出基于并行嵌入融合的抗欺骗说话人验证系统，通过并行双DNN处理多模型融合的嵌入与分数，结合a-DCF和BCE损失优化，性能优于传统单DNN方法，提升了系统抗欺骗的鲁棒性与安全性。
2024-08-28 cs.SD eess.AS
Scoring of Large-Margin Embeddings for Speaker Verification: Cosine or PLDA?
National University of Singapore（新加坡国立大学）
在训练深度说话人嵌入神经网络时出现大幅度softmax交叉熵损失，引发了从参数后端到更简单的余弦相似性度量的逐步转变。流行的参数后端包括概率线性判别分析（PLDA）及其变体。本文研究了基于边缘的交叉熵损失导致这种转变的属性，旨在找到最适合说话人验证的评分后端。此外，我们重新审视了在过去被广泛使用的预处理技术，并评估其对大利润嵌入的有效性。在使用各种大余量softmax交叉熵损失训练的最先进的ECAPA-TDNN网络上的实验显示，扬声器内紧凑性大幅增加，使得传统的PLDA变得多余。在这方面，我们发现，约束内扬声器协方差矩阵可以提高性能的PLDA。通过在VoxCeleb-1和SITW核心-核心测试集上进行的一系列实验证明，该算法具有40.8%的等错误率（EER）降低和35.1%的最小检测成本（minDCF）降低。它也优于余弦评分，EER和minDCF分别降低了10.9%和4.9%。
2022-04-11 cs.SD eess.AS
Speaker Verification Across Ages: Investigating Deep Speaker Embedding Sensitivity to Age Mismatch in Enrollment and Test Speech
University of Eastern Finland（东芬兰大学）；Institute for Advancing Intelligence, TCG CREST（TCG CREST 智能推进研究所）
该研究针对年龄不匹配对深度说话人嵌入ASV系统的影响，用VoxCeleb和LCFSH数据集在ECAPA-TDNN上测试，建立了衰老与ASV评分的量化关系，发现不同语言下衰老对不同性别说话人影响存在差异。
2023-06-13 cs.SD eess.AS
Conditional Diffusion Model for Target Speaker Extraction
University of Cambridge Research Computing Service（剑桥大学研究计算服务中心）
本研究提出基于条件扩散模型的目标说话人提取方法DiffSpEx，在复短时傅里叶变换域建模扩散过程，结合说话人嵌入提取目标语音，在WSJ0-2mix数据集取得良好效果，微调可实现个性化提取。
2023-10-07 cs.LG cs.SD eess.AS
Improving Transformer-based Networks With Locality For Automatic Speaker Verification
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Microsoft Corporation（微软公司）
最近，基于transformer的架构已经被探索用于说话人嵌入提取。虽然Transformer采用自注意机制来有效地建模令牌嵌入之间的全局交互，但它不足以捕获短距离局部上下文，这对于准确提取说话人信息至关重要。在这项研究中，我们加强了Transformer与增强局部建模在两个方向。首先，我们提出了局部增强型构象（LE-Confomer），通过引入深度卷积和通道注意到构象块。第二，我们提出了扬声器Swin Transformer（SST）的适应Swin Transformer，最初提出的视觉任务，到扬声器嵌入网络。我们在VoxCeleb数据集和大规模Microsoft内部多语言（MS内部）数据集上评估了所提出的方法。所提出的模型在VoxCeleb 1测试集上实现了0.75%的EER，优于先前提出的基于Transformer的模型和基于CNN的模型，如ResNet 34和ECAPA-TDNN。当在MS内部数据集上训练时，所提出的模型取得了令人满意的结果，与Res 2Net 50模型相比，EER相对降低了14.6%。
2023-02-28 cs.LG cs.SD eess.AS
The Royalflush System for VoxCeleb Speaker Recognition Challenge 2022
Hithink RoyalFlush AI Research Institute（华创同花顺人工智能研究院）
在本技术报告中，我们描述了Royalflush为VoxCeleb Speaker Recognition Challenge 2022（VoxSRC-22）提交的申请。我们提交的文件包含轨道1，这是监督说话人验证和轨道3，这是半监督说话人验证。对于音轨1，我们开发了一个功能强大的基于U-Net的对称架构的说话人嵌入提取器。在验证集上，所提出的系统的EER和MinDCF分别达到2.06%和0.1293。与现有的ECAPA-TDNN相比，EER和MinDCF分别提高了20.7%和22.70%。对于音轨3，我们采用源域监督和目标域自监督的联合训练，得到一个说话人嵌入提取器。随后的聚类过程可以获得目标域伪说话人标签。我们使用所有源和目标域数据以监督的方式调整说话人嵌入提取器，它可以充分利用这两个域的信息。此外，可以重复聚类和监督领域自适应，直到性能收敛于验证集。我们最终提交的是10个模型的融合，在验证集上实现了7.75%的EER和0.3517 MinDCF。
2022-09-20 cs.AI cs.SD eess.AS
Multi-Frequency Information Enhanced Channel Attention Module for Speaker Representation Learning
University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来，注意机制在基于神经网络的说话人确认系统中得到了成功的应用。将Squeeze-and-Excitation块扩展到卷积神经网络中已经取得了显着的性能。然而，它使用全局平均池（GAP）来简单地沿时间和频率维度对特征进行平均，这无法在特征图中保留足够的说话人信息。在这项研究中，我们表明，GAP是一个特殊的情况下，离散余弦变换（DCT）的时间-频率域数学上只使用最低频率分量的频率分解。为了增强说话人信息提取能力，本文提出利用多频信息，设计了两个新颖有效的注意模块：单频单通道（SFSC）注意模块和多频单通道（MFSC）注意模块。在DCT的基础上，提出的注意力模块可以有效地从多个频率分量中捕获更多的说话人信息。我们在VoxCeleb数据集上进行了全面的实验，并在第一个48-UTD法医语料库上进行了探测评估。实验结果表明，我们提出的SFSC和MFSC注意力模块可以有效地生成更具鉴别力的说话人表示，并优于ResNet 34-SE和ECAPA-TDNN系统，EER分别降低了20.9%和20.2%，而无需添加额外的网络参数。
2022-07-10 cs.LG cs.SD eess.AS
Whisper Speaker Identification: Leveraging Pre-Trained Multilingual Transformers for Robust Speaker Embeddings
Hokkaido Denshikiki Co., Ltd.（北海道电気器株式会社）；Barisal Information Technology College (BITC)（巴里萨尔信息技术学院（BITC））
本文提出WSI框架，将多语言预训练Whisper编码器与在线难例三元组挖掘及自监督NT-Xent损失相结合，在多语种语料上显著降低等错误率并提升AUC。
2025-03-13 cs.AI cs.SD eess.AS
GMM-ResNext: Combining Generative and Discriminative Models for Speaker Verification
School of Computer and Information Engineering, Jiangxi Normal University（江西师范大学计算机与信息工程学院）
本文提出GMM-ResNext模型，通过结合GMM生成式建模与ResNext判别式骨干网络提取说话人嵌入，在VoxCeleb1-O上显著降低EER，提升说话人验证性能。
2024-07-03 cs.AI cs.HC cs.SD
Stuttering Detection Using Speaker Representations and Self-supervised Contextual Embeddings
Universite De Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Institute for Advancing Intelligence (IAI), TCG CREST（TCG CREST 智能推进研究所（IAI））；Universite Paul-Valery Montpellier（蒙彼利埃保罗-瓦莱里大学）；Praxiling（普拉西林语言学实验室）
针对口吃检测数据不足的问题，本文采用预训练 ECAPA-TDNN 与 Wav2Vec2.0 嵌入并结合传统分类器，在 SEP-28k 上显著提升 UAR，且嵌入融合与多层拼接可进一步改善性能。
2023-06-01 cs.LG cs.SD eess.AS
Task-Vector Arithmetic for Emotional Expressivity Control in Language-Model-Based Text-to-Speech
Instituto de Biociências, Letras e Ciências Exatas Universidade Estadual Paulista "Júlio de Mesquita Filho" (UNESP)（生物科学、文学和精确科学学院 帕尔马斯州立大学 "Júlio de Mesquita Filho" (UNESP)）
本文通过系统消融实验定位情感韵律的主要载体为x-vector，并提出一种基于x-vector质心算术的无训练方法，实现跨说话人情感强度控制，在保留身份和可懂度的同时提升情感相似度。
2026-06-25 cs.SD eess.AS
Effects of language mismatch in automatic forensic voice comparison using deep learning embeddings
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of Public Service（国家公共服务大学）
本文研究英语预训练深度学习说话人嵌入在匈牙利语法庭语音比对中的跨语言适用性，发现大语料预训练模型对语言不匹配样本仍表现良好，且样本时长越长性能越好，说话风格影响不大。
2022-09-26 cs.CL cs.SD eess.AS
