MGFF-TDNN: A Multi-Granularity Feature Fusion TDNN Model with Depth-Wise Separable Module for Speaker Verification
College of Computer Science（计算机科学学院）；South-Central Minzu University（西南民族大学）；Wuhan Dongxin Tongbang Information Technology Co., Ltd.（武汉东信通 bang信息技术有限公司）
本文提出MGFF-TDNN模型，通过二维深度可分离卷积与M-TDNN结构融合全局上下文和音素级细粒度特征，在VoxCeleb上以较低参数和计算成本实现高效说话人验证。
2025-05-06 cs.SD eess.AS
Improving RNN Transducer With Target Speaker Extraction and Neural Uncertainty Estimation
Tencent AI Lab（腾讯AI实验室）
目标说话人语音识别的目的是从含有背景噪声和干扰说话人的噪声环境中识别出目标说话人的语音。本文提出了一种结合时域目标说话人语音提取和递归神经网络转换器（RNN-T）的联合框架。为了稳定联合训练，我们提出了一种多阶段的训练策略，在联合训练之前对系统中的每个模块进行预训练和微调。同时，说话人身份和语音增强的不确定性措施，提出了补偿残余噪声和文物从目标语音提取模块。实验结果表明，与基于目标语音提取模型的识别器相比，加入神经元不确定性模块后，在有背景噪声的多说话人信号中，相对特征出错率（CER）降低了17%.多条件实验表明，我们的方法可以实现9%的相对性能增益在噪声条件下，而保持在清洁条件下的性能。
2021-02-26 cs.SD eess.AS
Scalable Ensemble-based Detection Method against Adversarial Attacks for speaker verification
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
针对自动说话人验证易受对抗攻击、现有净化方法存在体验与安全权衡且检测方法易被超越的问题，提出整合先进净化模块的集成检测方法，达到SOTA性能且兼容未来技术。
2023-12-14 cs.LG cs.SD eess.AS
An Enhanced Res2Net with Local and Global Feature Fusion for Speaker Verification
Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）
本文提出ERes2Net架构，通过引入局部和全局特征融合技术及注意力模块替代简单操作，有效融合多尺度特征，显著提升了说话人验证性能。
2023-08-03 cs.SD eess.AS
Mitigating Non-Target Speaker Bias in Guided Speaker Embedding
针对引导式说话人嵌入框架在低重叠场景存在性能下降的问题，提出利用目标说话人活动线索改进全局统计量模块的方法，提升了多场景下的说话人验证及多数据集上的说话人分割性能。
2025-06-14 cs.SD eess.AS
DSARSR: Deep Stacked Auto-encoders Enhanced Robust Speaker Recognition
Central China Normal University（华中师范大学）；Hubei University of Technology（湖北工业大学）
本文提出DSARSR方法，用深度堆叠自编码器替代PLDA对i-vector进行低维重构，以增强跨信道鲁棒性，实验表明其性能优于现有最优方法。
2023-07-06 cs.CR cs.SD eess.AS
Whisper-SV: Adapting Whisper for Low-data-resource Speaker Verification
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co.,Ltd（马上消费金融股份有限公司）
针对低数据资源场景下说话人验证任务数据不足的问题，提出Whisper-SV框架，通过表征选择和多层聚合模块适配Whisper模型，在多个数据集上取得了优异的验证性能。
2024-07-14 cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University（新疆大学计算机科学与技术学院）；Tsinghua University（清华大学）
针对ASV在噪声下性能下降问题，提出结合噪声解耦与对抗训练的框架，通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失，构建噪声无关的说话人不变嵌入空间，在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
Duality Temporal-channel-frequency Attention Enhanced Speaker Representation Learning
在基于CNN的说话人表示网络中使用通道注意力在说话人确认（SV）中取得了显着的性能。但是这些方法在通道注意学习之前对时间和频率特征图进行简单的平均，忽略了时间、通道和频率尺度之间的相互作用。为了解决这个问题，我们提出了二元时间-信道-频率（DTCF）注意重新校准信道的功能与时间和频率维度上的全局上下文的聚合。具体而言，二元注意力-时间-通道（T-C）注意力以及频率-通道（F-C）注意力-旨在关注T-C和F-C特征图上的显著区域，这些区域可能对全局上下文产生更大的影响，从而导致更具歧视性的说话人表示。我们评估了建议的DTCF关注CN-Celeb和VoxCeleb数据集的有效性。在CN-Celeb评估集上，ResNet 34-DTCF的EER/minDCF与ResNet 34-SE相比降低了0.63%/0.0718。在VoxCeleb 1-O、VoxCeleb 1-E和VoxCeleb 1-H评估集上，ResNet 34-DTCF的EER/minDCF与ResNet 34-SE相比分别降低了0.36%/0.0263、0.39%/0.0382和0.74%/0.0753。
2021-10-15 cs.SD eess.AS
Improving Transformer-based Networks With Locality For Automatic Speaker Verification
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Microsoft Corporation（微软公司）
最近，基于transformer的架构已经被探索用于说话人嵌入提取。虽然Transformer采用自注意机制来有效地建模令牌嵌入之间的全局交互，但它不足以捕获短距离局部上下文，这对于准确提取说话人信息至关重要。在这项研究中，我们加强了Transformer与增强局部建模在两个方向。首先，我们提出了局部增强型构象（LE-Confomer），通过引入深度卷积和通道注意到构象块。第二，我们提出了扬声器Swin Transformer（SST）的适应Swin Transformer，最初提出的视觉任务，到扬声器嵌入网络。我们在VoxCeleb数据集和大规模Microsoft内部多语言（MS内部）数据集上评估了所提出的方法。所提出的模型在VoxCeleb 1测试集上实现了0.75%的EER，优于先前提出的基于Transformer的模型和基于CNN的模型，如ResNet 34和ECAPA-TDNN。当在MS内部数据集上训练时，所提出的模型取得了令人满意的结果，与Res 2Net 50模型相比，EER相对降低了14.6%。
2023-02-28 cs.LG cs.SD eess.AS
NWPU-ASLP System for the VoicePrivacy 2022 Challenge
Northwestern Polytechnical University（西北工业大学）
本文介绍了用于VoicePrivacy 2022挑战赛的NWPU-ASLP说话人匿名系统。我们的提交不涉及额外的自动说话人验证（ASV）模型或x向量池。我们的系统包括四个模块，包括特征提取器，声学模型，匿名化模块，和神经声码器。首先，特征提取器从输入语音信号中提取语音后验图（PPG）和音高。然后，我们从扬声器查找表（LUT）中保留一个伪扬声器ID，该ID随后被馈送到扬声器编码器中以生成不对应于任何真实扬声器的伪扬声器嵌入。为了确保伪说话人是可区分的，我们进一步平均随机选择的说话人嵌入，并将其与伪说话人嵌入加权连接，以生成匿名说话人嵌入。最后，声学模型从匿名说话者嵌入输出匿名化的梅尔频谱图，并且HifiGAN的修改版本将梅尔频谱图转换为匿名化的语音波形。实验结果表明，我们提出的匿名系统的有效性。
2022-09-24 cs.SD eess.AS
Explore Long-Range Context feature for Speaker Verification
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
捕获长距离依赖和建模长时间的上下文被证明有利于说话人确认任务。在本文中，我们提出了分层分裂块（HS-块）和独立可分离的自我注意（DSSA）模块的组合，以捕获更丰富的多范围上下文说话人的功能，分别从本地和全球的角度。具体来说，HS块将特征图和过滤器分成几组，并将它们堆叠在一个块中，这在局部扩大了感受野（RF）。DSSA模块通过深度可分离策略和显式稀疏注意策略改进了多头自注意力机制，实现了对两两关系的全局建模，并在每个通道中捕获有效的长程依赖关系。在Voxceleb和SITW上进行了实验。我们最好的系统达到1.27%EER的Voxceleb 1测试集和1.56%的SITW通过应用HS-block和DSSA模块的组合。
2021-12-14 cs.SD eess.AS
End-to-end speaker diarization with transformer
Visual Computing Group, Ping An Property & Casualty Insurance Company（平安财产保险股份有限公司视觉计算组）
在计算机视觉中，说话人分类与语义分割密切相关。MaskFormer \cite{cheng2021per}将语义分割视为一个集合预测问题，受其启发，我们提出了一种端到端的方法来预测一组由二进制掩码、语音活动和说话人向量组成的目标。我们的模型，我们硬币\textit{DiFormer}，主要是基于一个扬声器编码器和一个特征金字塔网络（FPN）模块提取多尺度扬声器的功能，然后送入一个Transformer编码器-解码器，以预测一组日志目标学习查询嵌入。为了考虑语音信号的时间特性，将双向LSTM插入到掩码预测模块中以提高时间一致性。我们的模型以统一的方式处理未知数量的扬声器，语音重叠以及声音活动检测。多媒体和会议数据集上的实验证明了该方法的有效性。
2021-12-14 cs.SD eess.AS
CrossNet: Leveraging Global, Cross-Band, Narrow-Band, and Positional Encoding for Single- and Multi-Channel Speaker Separation
The Ohio State University（俄亥俄州立大学）
本研究提出用于说话人分离的CrossNet复频谱映射架构，融合多维度时频相关性与随机块位置编码，在多场景任务上达SOTA，训练更高效且适配多麦克风场景。
2024-03-06 cs.SD eess.AS
Neural Network Based Speaker Classification and Verification Systems with Enhanced Features
Interactive Intelligence Inc.（Interactive Intelligence公司）
本文提出了一种基于前向神经网络的说话人分类和确认的新框架。通过优化的特征和模型训练，它在分类中实现了100%的分类率和小于6%的等出错率（ERR），分别仅使用约1秒和5秒的数据。语音识别中的语音主动检测（VAD）比常规VAD更严格，保证了说话人识别中更强的浊音部分的提取，说话人级均值和方差归一化有助于消除同一说话人样本之间的差异。两者都被证明可以提高系统性能。在构建神经网络说话人分类器时，采用网格搜索优化网络结构参数，并采用动态缩减的正则化参数避免训练陷入局部极小值。它使培训以更低的成本走得更远。在说话人确认中，通过预测分数归一化和特定于说话人的阈值化来提高性能，预测分数归一化奖励具有不同峰值的说话人身份指数，并惩罚具有高分数但更多竞争对手的弱指数，从而显着降低ROC曲线中的ERR。本文使用的是采样率为8K的TIMIT语料库。首先用200个男性说话人对算法进行训练和测试。他们的测试文件被用作域内注册说话人，而其余126名男性说话人的数据被用作域外说话人，即说话人确认中的冒名顶替者。
2017-02-08 cs.SD
Enhancing Open-Set Speaker Identification through Rapid Tuning with Speaker Reciprocal Points and Negative Sample
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；School of Communication（通信学院）；Information Engineering, Shanghai University（上海大学信息工程学院）
本文提出一种用于家庭环境的开集说话人识别框架，结合预训练WavLM、少样本快速调优及SRPL+负样本学习，使开集性能较直接使用WavLM base+提升达27%。
2024-09-24 cs.SD eess.AS
Tongji University Undergraduate Team for the VoxCeleb Speaker Recognition Challenge2020
Tongji University（同济大学）
在这份报告中，我们描述了同济大学本科团队在Interspeech 2020上参加VoxCeleb Speaker Recognition Challenge（VoxSRC）2020的CLOSE赛道。为了提高网络的去噪能力，更好地完成复杂环境下的说话人确认任务，我们将RSBU-CW模块应用到ResNet 34框架中，训练ResNet的两个变体，使用分数融合和数据增强方法来提高模型的性能。我们的融合两个选定的系统的关闭轨道上的挑战评估集达到0.2973 DCF和4.9700\% EER。
2020-10-20 cs.LG cs.SD eess.AS
ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker Verification
imec - Ghent University（imec-根特大学）
当前的说话人确认技术依赖于神经网络来提取说话人表示。成功的x向量架构是时间延迟神经网络（TDNN），它应用统计池将可变长度的话语投影到固定长度的说话者特征嵌入中。在本文中，我们提出了多个增强这个架构的基础上，在相关领域的人脸验证和计算机视觉的最新趋势。首先，初始框架层可以重构为具有有效跳过连接的一维Res 2Net模块。与SE-ResNet类似，我们在这些模块中引入了Squeeze-and-Excitation块，以显式地对通道相互依赖性进行建模。SE块通过根据记录的全局属性重新缩放通道来扩展帧层的时间上下文。其次，众所周知，神经网络可以学习分层特征，每一层都在不同的复杂程度上运行。为了利用这种互补信息，我们聚合和传播不同层次的特征。最后，我们改进了统计池模块与通道相关的帧注意。这使得网络能够在每个信道的统计估计期间关注不同的帧子集。拟议的ECAPA-TDNN架构在VoxCeleb测试集和2019年VoxCeleb说话人识别挑战赛上的表现明显优于最先进的基于TDNN的系统。
2020-08-10 cs.SD eess.AS
Dual-Strategy-Enhanced ConBiMamba for Neural Speaker Diarization
School of Electronic Information（电子信息学院）；Hubei Provincial Key Laboratory of Smart Internet Technology（智能互联网技术省重点实验室）；Huazhong University of Science and Technology（华中科技大学）
本文提出双策略增强的ConBiMamba系统，通过整合Conformer和Mamba的优势，提升说话人识别任务中局部细节和长跨度一致性建模的性能。
2026-01-27 cs.SD
Frequency and temporal convolutional attention for text-independent speaker recognition
Staqu Technologies（斯塔克技术公司）
大多数用于文本无关说话人识别的最近方法将注意力或类似技术应用于由深度神经网络（DNN）前端生成的帧级特征描述符的聚合。在本文中，我们提出了在基于卷积神经网络（CNN）的前端中独立建模时间和频率信息的卷积注意力方法。我们的系统利用卷积块注意模块（CBAM）[1]进行适当修改以适应频谱图输入。建议的CNN前端与建议的卷积注意力模块相匹配，在VoxCeleb [2，3]说话人验证基准上的性能明显优于无注意力和空间CBAM基线，并且我们的最佳模型在VoxCeleb 1测试集上实现了2：031%的相等出错率，显著改善了现有的最先进的结果。为了更全面地评估频率和时间注意力在现实世界条件下的影响，我们通过从输入频谱图中随机丢弃频率箱和时间帧来进行消融实验，得出的结论是，同时建模时间和频率注意力可以转化为更好的现实世界性能，而不是对任何一个实体进行建模。
2019-10-19 cs.LG cs.SD eess.AS
NeXt-TDNN: Modernizing Multi-Scale Temporal Convolution Backbone for Speaker Verification
Sogang University（西江大学）；Hyundai Motor Company（现代汽车公司）
本文提出NeXt-TDNN，通过引入改进的TDNN块设计，利用ConvNeXt结构提升语音验证性能，减少参数量和推理时间。
2023-12-15 cs.SD eess.AS
MCSAE: Masked Cross Self-Attentive Encoding for Speaker Embedding
Sogang University（西江大学）
一般来说，自注意机制已被应用于说话人嵌入编码。以往的研究主要集中在训练高层次的自我注意，如最后一个池层。然而，在说话人嵌入编码中，低层特征的影响被降低了。因此，我们提出了使用ResNet的掩码交叉自注意编码（MCSAE）。它侧重于高级别和低级别层的功能。基于多层聚合，每个剩余层的输出特征用于MCSAE。在MCSAE中，交叉自注意模块训练每个输入特征的相互依赖性。随机掩蔽正则化模块也用于防止过拟合问题。因此，MCSAE增强了表示说话者信息的帧的权重。然后，将输出特征连接并编码到说话人嵌入。因此，通过使用MCSAE来编码更具信息性的说话人嵌入。实验结果表明，使用VoxCeleb1评估数据集的等错误率为2.63%，最小检测代价函数为0.1453。与以前的自注意编码和最先进的编码方法相比，这些都是改进的性能。
2020-07-28 cs.LG cs.SD eess.AS
Multi-Channel Multi-Speaker ASR Using 3D Spatial Feature
Tencent AI Lab（腾讯人工智能实验室）
多通道多说话人重叠语音的自动语音识别一直是语音学界最具挑战性的课题之一。在本文中，我们期待这一挑战，利用目标说话人在三维空间中的位置信息的第一次。为了探索提出的3D空间特征的强度，研究了两种范式。1)流水线系统，其具有多通道语音分离模块，随后是最先进的单通道ASR模块; 2）“一体化”模型，其中3D空间特征直接用作ASR系统的输入，而没有显式分离模块。它们都是完全可微的，可以端到端反向传播。我们在模拟重叠语音和真实录音上测试它们。实验结果表明：1）所提出的ALL-In-One模型实现了与流水线系统相当的出错率，同时减少了一半的推理时间; 2）所提出的3D空间特征显著优于（31% CERR）所有先前在两种范例中使用1D方向信息的工作。
2021-11-22 cs.CL cs.HC cs.LG
Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech
National University of Singapore（新加坡国立大学）；Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
说话人确认的研究大多是在单个说话人的情况下进行的。它在干扰扬声器存在时受到不利影响。受目标说话人提取研究的启发，SpEx，我们提出了一个统一的说话人验证框架，单和多说话人的语音，这是能够支付选择性的听觉注意目标扬声器。该目标说话人确认框架通过多任务学习联合优化说话人注意模块和说话人表征模块。我们研究了四种不同的目标说话人嵌入方案下的tSV框架。实验结果表明，所有四个目标说话人嵌入方案显着优于其他竞争解决方案的多说话人语音。值得注意的是，在WSJ 0 - 2 mix-extr和Libri 2 Mix语料库上，最佳tSV说话人嵌入方案在2人语音的等错误率方面相对于基线系统分别实现了76.0%和55.3%的相对改进，而tSV对于单说话人语音的性能与传统说话人验证系统的性能相当，即在相同的单说话人条件下进行训练和评估。
2021-04-02 cs.HC cs.SD eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Siamese Capsule Network for End-to-End Speaker Recognition In The Wild
Queen’s University（女王大学）；Ingenuity Labs Research Institute（Ingenuity Labs 研究院）
我们提出了一个端到端的深度模型，用于在野外进行说话人验证。我们的模型使用thin-ResNet从话语中提取说话人嵌入，并使用Siamese胶囊网络和动态路由作为后端来计算嵌入之间的相似性得分。我们对我们的模型与最先进的解决方案进行了一系列的实验和比较，结果表明，我们的模型在使用更少的训练数据的情况下优于所有其他模型。我们还进行了额外的实验，以研究不同的扬声器嵌入对暹罗胶囊网络的影响。我们表明，通过使用直接从前端的特征聚合模块获得的嵌入并使用动态路由将其传递给更高的胶囊，可以实现最佳性能。
2020-09-28 cs.LG cs.SD eess.AS
TF-GridNet: Making Time-Frequency Domain Models Great Again for Monaural Speaker Separation
Carnegie Mellon University（卡内基梅隆大学）；Università Politecnica delle Marche（马尔凯理工大学）；Hyundai Motor Group（现代汽车集团）；dot Inc.（42dot公司）
我们提出了TF-GridNet，一种新的多路径深度神经网络（DNN）在时间-频率（T-F）域中操作，用于在消声条件下的单声道说话人独立的说话人分离。该模型堆叠多个多径块，每个多径块由帧内频谱模块、子带时间模块和全带自注意模块组成，以利用局部和全局频谱-时间信息进行分离。该模型被训练以执行复杂的光谱映射，其中输入混合物的实部和虚部（RI）分量被堆叠为输入特征以预测目标RI分量。除了使用尺度不变的信号失真比（SI-SDR）损失模型训练，我们包括一个新的损失项，以鼓励分离的源添加到输入混合。在不使用动态混合的情况下，我们在WSJ 0 - 2 mix数据集上获得了23.4 dB的SI-SDR改进（SI-SDRi），大大优于之前的最佳性能。
2023-03-15 cs.SD eess.AS
Exploring Speaker Diarization with Mixture of Experts
IEEE Publication Technology Group（IEEE出版技术组）
本研究提出融合记忆感知多说话人嵌入与Seq2Seq架构的神经说话人日志系统NSD-MS2S，进一步引入SS-MoE模块缓解模型偏差，在多个复杂声学数据集上取得SOTA结果，提升了真实场景下的鲁棒性与泛化性。
2025-06-17 cs.AI cs.SD
Speaker Representation Learning using Global Context Guided Channel and Time-Frequency Transformations
University of Texas at Dallas（德克萨斯大学达拉斯分校）
在这项研究中，我们提出了全局上下文引导的通道和时间-频率变换模型的长范围，非本地的时间-频率依赖性和通道的变化，在说话人表示。我们使用全局上下文信息来增强重要通道，并通过计算全局上下文和局部特征之间的相似性来重新校准显著的时频位置。所提出的模块，以及一个流行的基于ResNet的模型，在VoxCeleb 1数据集上进行了评估，VoxCeleb 1数据集是一个在野外收集的大规模说话人验证语料库。这个轻量级块可以很容易地合并到CNN模型中，几乎没有额外的计算成本，并且与基线ResNet-LDE模型和Squeeze&Excitation块相比，有效地提高了说话人验证性能。还进行了详细的消融研究，以分析可能影响拟议模块性能的各种因素。我们发现，通过采用所提出的L2-tf-GTFC变换块，相等错误率从4.56%降低到3.07%，相对降低32.68%，并且相对提高27.28%的DCF分数。结果表明，我们提出的全局上下文引导的变换模块可以有效地提高学习的说话人表示，实现时频和通道的功能重新校准。
2020-09-09 cs.LG eess.AS eess.SP
End-to-End Diarization for Variable Number of Speakers with Local-Global Networks and Discriminative Speaker Embeddings
Google（谷歌）
我们提出了一个端到端的深度网络模型，它可以从单通道音频记录中执行会议日志化。与传统的基于聚类的日记化方法不同，端到端日记化模型具有处理说话人重叠和实现直接处理区分训练的优点。该系统的目的是处理未知数量的扬声器会议，使用可变数量的置换不变的交叉熵为基础的损失函数。我们引入了几个似乎有助于日志化性能的组件，包括局部卷积网络，然后是全局自注意模块，使用说话人辨识组件的多任务迁移学习，以及使用第二阶段改进模型的顺序方法。这些都是基于LibriSpeech和LibriTTS数据集的模拟会议数据进行训练和验证的;最终评估是使用LibriCSS完成的，其中包括通过扬声器回放使用真实声学记录的模拟会议。所提出的模型比以前提出的端到端的日记模型在这些数据上的表现更好。
2021-05-05 cs.LG cs.SD eess.AS
Towards Robust Overlapping Speech Detection: A Speaker-Aware Progressive Approach Using WavLM
Northwestern Polytechnical University（西北工业大学）
针对重叠语音检测挑战，提出一种基于WavLM等自监督模型并融合说话人注意力模块的渐进式OSD模型，在AMI测试集上取得82.76%的F1分数，达到最先进性能。
2025-05-29 cs.LG cs.SD eess.AS
Simultaneous Speech Extraction for Multiple Target Speakers under the Meeting Scenarios
School of Computer Science, Wuhan University（武汉大学计算机学院）；Duke Kunshan University（昆山杜克大学）；Data & AI Engineering System, OPPO（OPPO数据与人工智能工程系统）
针对会议场景多说话人语音分离问题，提出多目标语音分离模型MTSS及说话人日志感知系统SD-MTSS，利用TSVAD决策与估计掩码实现无需注册音频的并发语音提取，在多个数据集上显著提升了分离与识别性能。
2023-11-18 cs.SD eess.AS
The BUCEA Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
Beijing University of Civil Engineering and Architecture（北京建筑大学）
本文介绍了BUCEA扬声器日记系统为2022 VoxCeleb扬声器识别挑战赛。Voxsrc-22提供VoxConverse的开发集和测试集，我们主要使用VoxConverse的测试集进行参数调整。该系统包括语音活动检测、说话人嵌入提取、聚类方法、重叠语音检测和结果融合等模块。在不考虑重叠的情况下，采用Dover-Rank（Diarization Output Voting Error Reduction）方法进行系统融合，最后进行重叠语音的检测和处理。我们最好的系统在VoxSRC 2022评估集上分别实现了5.48%的日记出错率（DER）和32.1%的Jaccard出错率（JER）。
2022-09-20 cs.SD eess.AS
XMUSPEECH System for VoxCeleb Speaker Recognition Challenge 2021
Xiamen University（厦门大学）
本文介绍了用于VoxCeleb说话人识别挑战赛2021的XMUSPEECH说话人识别和日记系统。对于第二轨道，我们评估了两个系统，包括ResNet 34-SE和ECAPA-TDNN。对于第四道，我们的系统的一个重要组成部分是VAD模块，大大提高了性能。我们在第4轨道上的最佳提交在评估集上获得了DER 5.54%和JER 27.11%，而在开发集上的表现是DER 2.92%和JER 20.84%。
2021-09-06 cs.SD eess.AS
Emotion Recognition in Multi-Speaker Conversations through Speaker Identification, Knowledge Distillation, and Hierarchical Fusion
Institute of Science Tokyo（东京科学研究所）
本文提出通过说话人识别、知识蒸馏和分层融合方法，提升多说话人对话中情绪识别的准确性和鲁棒性。
2025-11-05 cs.SD eess.AS
The IDLAB VoxCeleb Speaker Recognition Challenge 2021 System Description
Ghent University（根特大学）；imec（比利时微电子研究中心）；IDLab（IDLab实验室）
本技术报告描述了IDLab提交的VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的第1和第2轨道。本次说话人确认比赛侧重于短时间测试录音和跨语言测试。目前，时间延迟神经网络（TDNNs）和ResNets在说话人验证方面都取得了最先进的结果。我们选择在我们的最终提交中使用混合架构的系统融合。ECAPA-TDNN基线通过2D卷积干增强，以将基于ResNet的模型的一些强大特征转移到这种混合CNN-TDNN架构中。同样，我们将绝对频率位置信息纳入SE-ResNet架构中。所有模型都使用特殊的小批量数据采样技术进行训练，该技术使用在说话人内可变性水平上对系统最具挑战性的数据构建小批量。这种说话人内部的变异性主要是由说话人话语之间的语言和背景条件的差异引起的。通过在基于逻辑回归的系统校准中引入二进制跨语言试验特征，进一步补偿了说话人验证分数上的跨语言影响。最终系统融合了两个ECAPA CNN-TDNN和三个SE-ResNet，增强了频率位置信息，在VoxSRC-21排行榜上获得了第三名，轨道1和2的minDCF分别为0.1291和0.1313。
2021-09-09 cs.SD eess.AS
CASA-Based Speaker Identification Using Cascaded GMM-CNN Classifier in Noisy and Emotional Talking Conditions
University of Sharjah（沙迦大学）；The University of Tokyo（东京大学）
本文的工作旨在提高文本无关的说话人辨识在实际应用中的性能，如嘈杂和情绪化的谈话条件。这是通过合并两个不同的模块来实现的：用于降噪的基于计算听觉景物分析CASA的预处理模块和用于说话人辨识的级联高斯混合模型卷积神经网络GMM-CNN分类器，然后是情感识别。本研究提出并评估了一种新的算法，以提高说话人辨识的准确性，在情绪和高噪声敏感条件。实验表明，该模型产生有前途的结果与其他分类器相比，语音在模拟和实际压力SUSAS数据库，阿联酋语音数据库ESD，瑞尔森视听数据库的情感语音和歌曲RAVDESS数据库和流利的语音命令数据库在嘈杂的环境中使用。
2021-02-11 cs.AI cs.SD eess.AS
MIMO Self-attentive RNN Beamformer for Multi-speaker Speech Separation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
最近，我们提出了基于递归神经网络（RNN）的全深度学习最小方差无失真响应（ADL-MVDR）波束形成器方法，通过用两个递归神经网络代替矩阵求逆和特征值分解，获得了优于传统MVDR的性能。在这项工作中，我们提出了一个自我关注的RNN波束形成器，通过利用自我关注的强大建模能力，进一步改进我们以前的基于RNN的波束形成器。提出了时空自注意模块，以更好地从语音和噪声的空间协方差矩阵学习波束形成权重。时间自注意模块可以帮助RNN学习协方差矩阵的全局统计。空间自关注模块被设计用于关注协方差矩阵中的通道间相关性。此外，多通道输入与多说话人的方向性特征和多说话人语音分离输出（MIMO）模型的发展，以提高推理效率。评估表明，我们提出的MIMO自关注RNN波束形成器提高了自动语音识别（ASR）的准确性和感知估计的语音质量（PESQ）对现有技术。
2021-04-26 cs.AI cs.SD eess.AS
Robust Acoustic Domain Identification with its Application to Speaker Diarization
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；GITAM (Deemed to be University)（甘地技术与管理大学（认定大学））；Université de Lorraine（洛林大学）
随着多年来多媒体内容的增加，在音频的记录环境中观察到更多的变化。当音频处理系统在其前端具有识别声学域的模块时，音频处理系统可能会受益。在本文中，我们展示了\emph{acoustic domain identification}（ADI）的思想，为\emph{speaker diarization}。为此，我们首先对第三个DIHARD挑战的各个领域进行了详细的研究，突出了将它们彼此区分开来的因素。我们的主要贡献是为ADI公司开发简单高效的解决方案。在目前的工作中，我们探讨这个任务的发言人嵌入。接下来，我们将ADI模块与DIHARD III挑战赛的演讲者日记框架集成。当凝聚层次聚类的阈值根据各自的域进行优化时，性能大大提高。在DIHARD III评估集的轨道1上，我们分别在核心和完全条件下实现了DER的$5\%$和$8\%$以上的相对改善。
2022-08-08 cs.SD eess.AS
Graph attentive feature aggregation for text-independent speaker verification
University of Seoul（首尔大学）；KT Corporation（KT公司）
本文的目标是将多个帧级特征组合成一个考虑成对关系的单个话语级表示。为此，我们提出了一种新的图形关注的功能聚合模块，通过解释每个帧级功能作为一个节点的图。所有可能的特征对之间的相互关系，通常是间接利用的，可以使用图直接建模。该模块包括图形注意层和图形池化层，之后是读出操作。图注意层首先对不同节点之间的非欧几里德数据流形进行建模。然后，图池化层考虑节点的重要性丢弃信息量较少的节点。最后，读出操作将剩余的节点组合成单个表示。我们采用了两个最近的系统，SE-ResNet和RawNet 2，具有不同的输入功能和架构，并证明了所提出的功能聚合模块始终显示出超过10%的相对改进，与基线相比。
2021-12-23 cs.SD eess.AS
Beyond Short Segments : Expanding Speaker Embeddings with Vector Archives
Korea University（高丽大学）
针对短语音说话人验证性能下降问题，提出VAM-ECAPA系统，利用基于Transformer的TVAMSP模块将稀疏特征映射到可学习向量档案，在VoxCeleb1上1秒片段取得8.334% EER，相对错误率降低54.8%。
2026-09-23 cs.CL cs.SD eess.AS
Integrated Multi-Level Knowledge Distillation for Enhanced Speaker Verification
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；National Institute of Information and Communications Technology, Japan（日本信息通信研究机构）；University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
针对现有说话人验证知识蒸馏方法未考虑语音多层次时序特性的问题，提出IML-KD方法，通过整合多时长语音的时序上下文与输入敏感表示并进行多层次对齐训练，在VoxCeleb1上使EER降低5%。
2024-09-14 cs.SD eess.AS
Attacking Voice Anonymization Systems with Augmented Feature and Speaker Identity Difference
Harbin Engineering University（哈尔滨工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Technology Sydney（悉尼科技大学）
针对ICASSP 2025首届VoicePrivacy攻击者挑战赛中匿名语音特征分布差异导致的说话人验证难题，提出结合数据增强特征与PLDA强化身份差异的DA-SID攻击系统，性能超基线且鲁棒性强，获赛事前五。
2025-01-12 cs.SD eess.AS
Improving End-to-End Neural Diarization Using Conversational Summary Representations
Fano Labs（Fano实验室）
本研究扩展了EEND-EDA模型，用学习到的对话摘要表示替代零向量输入，使EDA模块基于话语级信息生成说话人吸引子，在公开测试集上实现了1.90%的绝对DER性能提升。
2023-06-24 cs.SD eess.AS
Speaker Diarization with Region Proposal Network
Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日志化是许多语音应用中的一个重要的预处理步骤，它旨在解决“谁在什么时候说话”的问题。虽然标准的日记化系统可以在不同的场景中取得令人满意的结果，但它们是由多个独立优化的模块组成的，并且不能处理重叠的语音。本文提出了一种新的说话人日志化方法：基于区域建议网络的说话人日志化（RPNSD）。在该方法中，神经网络生成重叠的语音段建议，并同时计算它们的说话人嵌入。与标准的日志化系统相比，RPNSD具有更短的流水线，并能处理重叠语音。三个日志数据集上的实验结果表明，RPNSD实现了显着的改进，比国家的最先进的x向量基线。
2020-02-14 cs.SD eess.AS
Neural Speaker Diarization Using Memory-Aware Multi-Speaker Embedding with Sequence-to-Sequence Architecture
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（科大讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
提出NSD-MS2S神经说话人日志系统，融合记忆感知多说话人嵌入与序列到序列架构，在CHiME-7 EVAL集上DER达15.9%，相对提升49%，并引入深度交互模块增强嵌入判别性。
2023-12-26 cs.AI cs.SD eess.AS
Assessing the Robustness of Spectral Clustering for Deep Speaker Diarization
Institute for Advancing Intelligence（智能推进研究所）；TCG Centres for Research and Education in Science and Technology（TCG科学技术研究与教育中心）；RKMVERI（拉玛克里希那使命维韦卡南达大学（RKMVERI））；Academy of Scientific and Innovative Research (AcSIR)（科学与创新研究院（AcSIR））
本研究全面考察了同领域和跨领域说话人日志中谱聚类的鲁棒性，发现跨领域性能差异源于谱聚类的最优参数和说话人数量估计的不匹配，为未来研究指明方向。
2024-03-21 cs.CV cs.LG cs.SD
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield（谢菲尔德大学）
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时，语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别，而是通过使用深度神经网络的联合优化集成到一个框架中。此外，为了提高对噪声的鲁棒性，采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能，我们测试它的数据集VoxCeleb1，最常用的基准数据集之一。此外，我们所提出的方法的鲁棒性也测试VoxCeleb1数据时，被破坏的三种类型的干扰，一般的噪声，音乐，和串音，在不同的信噪比（SNR）水平。所得到的结果表明，在我们的实验中，使用语音增强和多阶段注意力模型的方法优于两个强基线，在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
End-to-end Recurrent Denoising Autoencoder Embeddings for Speaker Identification
University Carlos III of Madrid（马德里卡洛斯三世大学）
由于诸如环境噪声和说话人的情绪状态之类的真实生活条件引起的可变性，“野外”语音是说话人识别系统的障碍。利用表示学习的原理，我们的目标是设计一个经常性的去噪自动编码器，从嘈杂的频谱图中提取鲁棒的说话人嵌入来执行说话人识别。端到端的建议架构使用一个反馈回路来编码的信息，有关扬声器到低维表示提取的频谱图去噪自动编码器。我们采用数据增强技术添加腐败干净的语音与现实生活中的环境噪声在一个数据库中包含真正的强调语音。我们的研究表明，联合优化的降噪和扬声器识别模块优于压力和噪声失真以及手工制作的功能下的两个组件的独立优化。
2022-05-16 cs.SD eess.AS
$C^2$AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction
针对视听目标说话人提取中局部依赖导致的性能次优与质量不一致问题，提出模型无关的MAR策略整合上下文相关性，并引入FCS模型评估提取质量以指导改进低质量片段，在VoxCeleb2上验证了六种骨干网络的一致性能提升。
2025-04-01 cs.LG cs.MM cs.SD
MC-SpEx: Towards Effective Speaker Extraction with Multi-Scale Interfusion and Conditional Speaker Modulation
Tsinghua University（清华大学）；Tencent（腾讯）；The Chinese University of Hong Kong（香港中文大学）
针对SpEx+对多尺度信息和说话人嵌入利用不足的问题，本文提出MC-SpEx说话人提取系统，通过设计多尺度融合器、交互掩码生成器及ConSM模块，在Libri2Mix数据集上实现了最先进的性能。
2023-06-28 cs.SD eess.AS
MTGAN: Speaker Verification through Multitasking Triplet Generative Adversarial Networks
Tsinghua University（清华大学）
在本文中，我们提出了一种增强的三元组方法，通过联合利用生成对抗机制和多任务优化来改进嵌入的编码过程。我们使用生成对抗网络（GANs）和softmax损失函数扩展了我们的三元组编码器。GAN用于增加样本的通用性和多样性，而softmax用于增强说话人的特征。为了简化，我们将我们的方法称为多任务三元组生成对抗网络（MTGAN）。实验结果表明，MTGAN在短话语上的验证等出错率（EER）相对于传统的i向量方法和最新的三重丢失方法分别降低了67%和32%。这有效地表明，MTGAN在表达说话人信息的高层特征方面优于三元组方法。
2018-03-24 cs.SD eess.AS
The importance of spatial and spectral information in multiple speaker tracking
Reality Labs Research
本文提出一种基于JPDA的方法，通过将说话人时频掩码整合到关联概率计算中，利用联合空间-频谱信息解决多说话人跟踪中的方向估计关联问题，并在LOCATA数据集上验证了其性能提升。
2024-10-15 cs.SD eess.AS
Convolution-Based Channel-Frequency Attention for Text-Independent Speaker Verification
The Chinese University of Hong Kong（香港中文大学）
深度卷积神经网络（CNN）已被应用于提取说话人嵌入，在说话人验证中取得了重大成功。研究表明，引入注意机制可以有效地提高模型的性能。本文提出了一种高效的基于二维卷积的注意力模型C2 D-Att。卷积通道和频率之间的相互作用涉及轻量级卷积层的注意力计算。这只需要少量的参数。细粒度的注意力权重被产生以表示信道和频率特定的信息。通过对输入特征进行加权，提高了说话人模型的表达能力. C2 D-Att被集成到ResNet的修改版本中，用于说话人嵌入提取。实验在VoxCeleb数据集上进行。实验结果表明，C2 DAtt方法能够有效地生成区分性注意图，并且优于其他注意图生成方法。所提出的模型显示了强大的性能与不同规模的模型大小，并取得了国家的最先进的结果。
2022-10-31 cs.SD eess.AS
