Deep Speaker Feature Learning for Text-independent Speaker Verification
Tsinghua University（清华大学）
最近，深度神经网络（DNN）已被用于学习说话者特征。然而，学习到的特征的质量不够好，因此必须使用复杂的后端模型，无论是神经模型还是概率模型，来解决应用于说话人验证时的残余不确定性，就像原始特征一样。提出了一种用于说话人特征学习的卷积时延深度神经网络结构（CT-DNN）。我们在Fisher数据库上的实验结果表明，这种CT-DNN可以产生高质量的说话人特征：即使只有一个特征（包括上下文在内的0.3秒），EER也可以低至7.68%。这有效地证实了说话人特征在很大程度上是确定性的短时属性，而不是长时间的分布模式，因此可以从几十帧中提取。
2017-05-10 cs.CL cs.LG cs.SD
Y-Vector: Multiscale Waveform Encoder for Speaker Embedding
University of Rochester（罗切斯特大学）；Beijing Institute of Technology（北京理工大学）
现有的文本无关说话人确认系统通常使用倒谱特征或滤波器组能量作为语音特征。最近的研究试图直接从原始波形中提取说话人嵌入，并显示出有竞争力的结果。在本文中，我们提出了一种新的多尺度波形编码器，使用三个卷积分支与不同的时间尺度计算语音特征的波形。然后，这些特征通过挤压和激励块、多级特征聚合器和时间延迟神经网络（TDNN）来处理以计算说话人嵌入。我们表明，建议的嵌入优于现有的原始波形为基础的说话人嵌入说话人确认的大幅度。对学习滤波器的进一步分析表明，多尺度编码器在其不同尺度下关注不同的频段，同时产生比任何单尺度对应物更平坦的总体频率响应。
2021-06-09 cs.SD eess.AS
MFA: TDNN with Multi-scale Frequency-channel Attention for Text-independent Speaker Verification with Short Utterances
National University of Singapore（新加坡国立大学）；Fortemedia Singapore（Fortemedia新加坡公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
时间延迟神经网络（TDNN）代表了文本无关说话人确认的最新神经解决方案之一。然而，它们需要大量的滤波器来捕获在任何局部频率区域的扬声器特性。此外，这种系统的性能可能在短话语场景下降级。为了解决这些问题，我们提出了一个多尺度的频率通道注意力（MFA），在那里我们通过一个新的双路径设计，其中包括一个卷积神经网络和TDNN的特点扬声器在不同的尺度。我们在VoxCeleb数据库上评估了所提出的MFA，并观察到所提出的MFA框架可以实现最先进的性能，同时降低参数和计算复杂度。此外，MFA机制被发现是有效的说话人确认短测试话语。
2022-02-15 cs.CL cs.SD eess.AS
A Comparative Re-Assessment of Feature Extractors for Deep Speaker Embeddings
University of Eastern Finland（东芬兰大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
现代自动说话人验证在很大程度上依赖于在梅尔频率倒谱系数（MFCC）特征上训练的深度神经网络（DNN）。虽然有基于相位，韵律和长期时间操作的替代特征提取方法，但它们尚未被基于DNN的方法广泛研究。我们的目标是通过对VoxCeleb和SITW数据集上的14个特征提取器进行广泛的重新评估来填补这一空白。我们的研究结果表明，配备频谱质心，群延迟函数和综合噪声抑制等技术的功能为深层说话人嵌入提取提供了有前途的替代方案。实验结果表明，等错误率（EER）相对于基线降低了16.3%（VoxCeleb）和25.1%（SITW）。
2020-07-30 cs.LG cs.SD eess.AS
On a Novel Speech Representation Using Multitapered Modified Group Delay Function
PES University（PES大学）；Siddaganga Institute of Technology（悉达甘加理工学院）
本文提出了一种新的基于多锥度修正群时延函数的语音信号表示方法。一组音素为基础的实验，它表明，所提出的方法表现更好，现有的多锥度幅度（MT-MAG）估计技术，在方差和MSE方面，无论是在谱域和倒谱域。特别是，MT-MOGDF的性能被认为是最好的汤姆逊锥度。此外，MT-MOGDF技术的实用性是突出的说话人识别实验设置，其中获得的下一个最好的技术相比，约$20\%$的改进。此外，所提出的技术的计算要求是相当的MT-MAG。所提出的功能可以用于许多语音相关的应用程序，特别是，它是最适合那些需要说话人和语音信息。
2018-07-03 cs.SD
Joint Speaker Encoder and Neural Back-end Model for Fully End-to-End Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics（国立信息学研究所）
传统的自动说话人确认系统通常可以被分解成用于提取说话人嵌入的前端模型（诸如时间延迟神经网络（TDNN））和用于相似性评分的后端模型（诸如基于概率线性判别分析（PLDA）或基于神经网络的神经PLDA（NPLDA））。然而，前端和后端模型的顺序优化可能会导致局部最小值，这在理论上阻止了整个系统实现最佳优化。虽然已经提出了一些方法来联合优化这两个模型，如广义端到端（GE2E）模型和NPLDA E2E模型，所有这些方法都是设计用于单个注册话语。在本文中，我们提出了一个新的E2E联合方法的说话人确认特别是针对实际情况下的多个注册话语。为了利用多个注册话语之间的内部关系，我们的模型配备了帧级和话语级的注意机制。我们还利用了几种数据增强技术，包括使用MUSAN和RIR数据集的传统噪声增强以及独特的扬声器嵌入级混合策略，以实现更好的优化。
2022-09-01 cs.SD eess.AS
Full-info Training for Deep Speaker Feature Learning
Tsinghua University（清华大学）
在最近的研究中，已经表明说话者模式可以从非常短的语音片段（例如，0.3秒）通过精心设计的卷积和时间延迟深度神经网络（CT-DNN）模型。通过对训练数据中的说话人进行识别，可以从最后一个隐藏层中得到帧级说话人特征。尽管其性能良好，但本模型的潜在问题在于其涉及参数分类器，即，最后的仿射层，这可能会消耗一些判别知识，从而导致特征学习的“信息泄漏”。本文提出了一种全信息训练方法，该方法放弃了参数分类器，并强制执行特征网络学习的所有判别知识。我们在Fisher数据库上的实验表明，这种新的训练方案可以产生更多的连贯特征，从而在说话人确认任务上获得一致和显着的性能改善。
2018-02-27 cs.LG cs.SD eess.AS
MGFF-TDNN: A Multi-Granularity Feature Fusion TDNN Model with Depth-Wise Separable Module for Speaker Verification
College of Computer Science（计算机科学学院）；South-Central Minzu University（西南民族大学）；Wuhan Dongxin Tongbang Information Technology Co., Ltd.（武汉东信通 bang信息技术有限公司）
本文提出MGFF-TDNN模型，通过二维深度可分离卷积与M-TDNN结构融合全局上下文和音素级细粒度特征，在VoxCeleb上以较低参数和计算成本实现高效说话人验证。
2025-05-06 cs.SD eess.AS
The IDLAB VoxCeleb Speaker Recognition Challenge 2021 System Description
Ghent University（根特大学）；imec（比利时微电子研究中心）；IDLab（IDLab实验室）
本技术报告描述了IDLab提交的VoxCeleb说话人识别挑战赛2021（VoxSRC-21）的第1和第2轨道。本次说话人确认比赛侧重于短时间测试录音和跨语言测试。目前，时间延迟神经网络（TDNNs）和ResNets在说话人验证方面都取得了最先进的结果。我们选择在我们的最终提交中使用混合架构的系统融合。ECAPA-TDNN基线通过2D卷积干增强，以将基于ResNet的模型的一些强大特征转移到这种混合CNN-TDNN架构中。同样，我们将绝对频率位置信息纳入SE-ResNet架构中。所有模型都使用特殊的小批量数据采样技术进行训练，该技术使用在说话人内可变性水平上对系统最具挑战性的数据构建小批量。这种说话人内部的变异性主要是由说话人话语之间的语言和背景条件的差异引起的。通过在基于逻辑回归的系统校准中引入二进制跨语言试验特征，进一步补偿了说话人验证分数上的跨语言影响。最终系统融合了两个ECAPA CNN-TDNN和三个SE-ResNet，增强了频率位置信息，在VoxSRC-21排行榜上获得了第三名，轨道1和2的minDCF分别为0.1291和0.1313。
2021-09-09 cs.SD eess.AS
End-to-End Trainable Self-Attentive Shallow Network for Text-Independent Speaker Verification
Humelo Inc.（Humelo公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；KAIST Institute for Artificial Intelligence（KAIST人工智能研究所）
广义端到端（GE2E）模型因其可扩展性和通用性而被广泛应用于说话人确认（SV）领域。然而，基于GE2E的长短期记忆（LSTM）有两个局限性：第一，GE2E的嵌入遭受消失梯度，这导致非常长的输入序列的性能下降。其次，话语没有被表示为适当固定的维度向量。在本文中，为了克服上述问题，我们提出了一种新的SV框架，端到端可训练的自注意浅层网络（SASN），结合了一个时间延迟神经网络（TDNN）和一个自注意池机制的基础上自注意的x向量系统在话语嵌入阶段。我们证明，该模型是高效的，并提供更准确的说话人确认比GE2E。对于VCTK数据集，仅小于GE2E的一半大小，所提出的模型在EER（等误差率）、DCF（检测代价函数）和AUC（曲线下面积）方面分别显示出比GE2E显著的性能改进，分别为约63%、67%和85%。值得注意的是，当输入长度变得更长时，所提出的模型的DCF分数改善是GE2E的约17倍。
2020-08-14 cs.CL cs.SD eess.AS
ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker Verification
imec - Ghent University（imec-根特大学）
当前的说话人确认技术依赖于神经网络来提取说话人表示。成功的x向量架构是时间延迟神经网络（TDNN），它应用统计池将可变长度的话语投影到固定长度的说话者特征嵌入中。在本文中，我们提出了多个增强这个架构的基础上，在相关领域的人脸验证和计算机视觉的最新趋势。首先，初始框架层可以重构为具有有效跳过连接的一维Res 2Net模块。与SE-ResNet类似，我们在这些模块中引入了Squeeze-and-Excitation块，以显式地对通道相互依赖性进行建模。SE块通过根据记录的全局属性重新缩放通道来扩展帧层的时间上下文。其次，众所周知，神经网络可以学习分层特征，每一层都在不同的复杂程度上运行。为了利用这种互补信息，我们聚合和传播不同层次的特征。最后，我们改进了统计池模块与通道相关的帧注意。这使得网络能够在每个信道的统计估计期间关注不同的帧子集。拟议的ECAPA-TDNN架构在VoxCeleb测试集和2019年VoxCeleb说话人识别挑战赛上的表现明显优于最先进的基于TDNN的系统。
2020-08-10 cs.SD eess.AS
The SYSU System for the Interspeech 2015 Automatic Speaker Verification Spoofing and Countermeasures Challenge
SYSU（中山大学）
许多现有的说话人验证系统被报道容易受到不同的欺骗攻击，例如说话人自适应语音合成，语音转换，播放等，为了检测这些欺骗语音信号作为对策，我们提出了一个分数级融合方法与几个不同的i-向量子系统。我们表明，声学水平梅尔频率倒谱系数（MFCC）的功能，相位水平修改的群延迟倒谱系数（MGDCC）和语音水平音素后验概率（PPP）串联功能是有效的对策。此外，在i向量建模之前对这些特征进行特征级融合也提高了性能。采用多项式核支持向量机作为监督分类器。为了提高对策的泛化能力，还采用余弦相似度和PLDA评分作为一类分类方法。通过将所提出的i向量子系统与覆盖声学和韵律信息的OpenSMILE基线相结合，进一步提高了最终性能。所提出的融合系统在INTERSPEECH 2015自动说话人验证欺骗和对策挑战提供的数据库的开发和测试集上实现了0.29%和3.26%的EER。
2015-07-29 cs.CL cs.SD
Validation of an ECAPA-TDNN system for Forensic Automatic Speaker Recognition under case work conditions
Centro di ricerca interdisciplinare sul linguaggio (CRIL), University of Salento（萨伦托大学跨学科语言研究中心（CRIL））
在真实法庭语音比对条件下测试基于ECAPA-TDNN的FASR系统，通过嵌入和分数归一化策略评估其性能，结果证明其超越现有最先进水平。
2023-05-18 cs.SD eess.AS
SpeechNAS: Towards Better Trade-off between Latency and Accuracy for Large-Scale Speaker Verification
Kuaishou Technology（快手科技）
近年来，x向量已成为说话人确认的一种成功和流行的方法，它采用时间延迟神经网络（TDNN）和统计池从可变长度的话语中提取说话人特征嵌入。对x-向量的改进一直是一个活跃的研究领域，基于x-向量的神经网络已经被精心设计，如扩展TDNN（E-TDNN）、因子化TDNN（F-TDNN）和密集连接TDNN（D-TDNN）。在这项工作中，我们试图从基于TDNN的搜索空间采用神经架构搜索（NAS），命名为SpeechNAS的最佳架构。利用说话人识别的最新进展，如高阶统计池，多分支机制，D-TDNN和具有最小超球能量（MHE）的角加性裕度softmax（AAM）损失，SpeechNAS自动发现五种网络架构，从SpeechNAS-1到SpeechNAS-5，在大规模文本无关的说话人识别数据集VoxCeleb 1上具有不同数量的参数和GFLOP。我们推导出的最佳神经网络在VoxCeleb 1的标准测试集上实现了1.02%的相等出错率（EER），这大大超过了以前基于TDNN的最先进方法。代码和训练权重在https://github.com/wentaozhu/speechnas.git中
2021-09-18 cs.CL cs.CV cs.LG
Deep Neural Network Embeddings with Gating Mechanisms for Text-Independent Speaker Verification
University of Science and Technology of China（中国科学技术大学）
本文将门控机制应用于深度神经网络（DNN）训练中，用于基于x向量的文本无关说话人验证。首先，采用门控卷积神经网络（GCNN）对帧级嵌入层进行建模。与时间延迟DNN（TDNN）相比，GCNN通过精心设计的存储单元和门控机制，可以获得更具表现力的帧级表示。此外，我们提出了一种新的门控注意力统计池策略，其中的注意力分数与输出门共享。门控注意统计池将门控和注意机制结合到一个框架中，因此，我们可以在时间池层中捕获更多有用的信息。使用NIST SRE 16和SRE 18评估数据集进行实验。实验结果证明了GCNN的有效性，并表明所提出的门控注意力统计池可以进一步提高性能。
2019-04-04 cs.LG cs.SD eess.AS
Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
语音去混响的一种有前途的方法是基于监督学习，其中训练深度神经网络（DNN）以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识，并且很少明确地利用混响中的线性滤波器结构，即，该混响由房间脉冲响应（RIR）和干源信号之间的线性卷积产生。在这项工作中，我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号，然后识别作为估计的直接路径信号的衰减和延迟副本的信号，因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响，也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本，我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器（或RIR）。然后，我们修改所提出的算法，在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB，SMS-WSJ，和WHAMR！数据集。
2021-11-10 cs.SD eess.AS
MACCIF-TDNN: Multi aspect aggregation of channel and context interdependence features in TDNN-based speaker verification
Faculty of Information Technology, Beijing University of Technology（北京工业大学信息学部）
最近大多数说话人确认的最新结果都是通过X向量及其后续变体实现的。本文提出了一种基于时延神经网络（TDNN）的网络结构，该结构从多个方面聚合了信道和上下文的相互依赖特征。首先，我们使用SE-Res 2Blocks在ECAPA-TDNN显式建模的通道相互依赖性，实现自适应校准的通道功能，并处理本地上下文特征在一个多尺度的方式在一个更细粒度的水平相比，传统的TDNN为基础的方法。其次，我们探索使用Transformer的编码器结构来在话语级别上对全局上下文相关特征进行建模，从而可以更好地捕获长期时间特性。在池化层之前，我们聚合SE-Res 2Blocks和Transformer编码器的输出，以利用它们各自学习的互补通道和上下文相互依赖特征。最后，而不是执行一个单一的专注的统计池，我们还发现，它有益于扩展池的方法，在多头的方式，可以区分功能从多个方面。所提出的MACCIF-TDNN架构在VoxCeleb 1测试集上的性能优于大多数最先进的基于TDNN的系统。
2021-07-07 cs.CL cs.SD eess.AS
LEAP System for SRE19 CTS Challenge -- Improvements and Error Analysis
Indian Institute of Science（印度科学学院）
NIST说话人识别评估-2019年对话电话语音（CTS）挑战赛是一项针对挑战性条件下说话人验证任务的开放式评估。在本文中，我们提供了一个详细的说明LEAP SRE系统提交给CTS的挑战，重点放在新的组件在后端系统建模。所有系统都使用了基于时延神经网络（TDNN）的x-向量嵌入。我们提交的SRE 19中的x-vector系统使用了大量的训练扬声器（约14 k扬声器）。在x向量提取之后，我们探索了一种用于后端分数计算的神经网络方法，该方法针对说话人验证成本进行了优化。生成和神经PLDA模型的系统组合导致SRE评估数据集的显着改进。我们还发现了基于分数归一化和校准的SRE系统的额外增益。在评估之后，我们对提交的系统进行了详细分析。分析揭示了不同训练数据集组合以及建模方法所获得的增量增益。
2020-05-24 cs.CL cs.LG cs.SD
CS-Rep: Making Speaker Verification Networks Embracing Re-parameterization
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Computer College, Qinghai Nationalities University（青海民族大学计算机学院）；National Institute of Informatics（日本国立信息学研究所）；School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）
自动说话人确认（ASV）系统主要关注的是确认的准确性，而忽略了推理的速度。然而，在实际应用中，推理速度和验证精度都是必不可少的。提出了一种新的多类型网络拓扑参数化策略--交叉顺序参数化（CS-Rep），以提高模型的推理速度和验证精度。CS-Rep解决了现有重参数化方法不适用于典型ASV骨干网的问题。当模型应用CS-Rep时，训练期网络利用多分支拓扑结构来捕获说话人信息，而推理期模型转换为具有堆叠TDNN层的类似TDNN的普通骨干，以实现快速推理速度。在CS-Rep的基础上，提出了一种具有友好测试和部署功能的改进TDNN（Rep-TDNN）。与业界高度认可的最新模型ECAPA-TDNN相比，Rep-TDNN的实际推理速度提高了约50%，EER降低了10%。代码将被释放。
2022-04-04 cs.LG cs.SD eess.AS
Layer-aware TDNN: Speaker Recognition Using Multi-Layer Features from Pre-Trained Models
Department of Industrial and Management Engineering（工业与管理工程系）
本文提出L-TDNN，通过层感知处理提升说话人识别性能，实现低错误率和高效推理。
2025-12-15 cs.AI eess.AS
SuperVoice: Text-Independent Speaker Verification Using Ultrasound Energy in Human Speech
Michigan State University（密歇根州立大学）
语音激活系统集成到各种桌面、移动和物联网（IoT）设备中。然而，语音欺骗攻击，如模仿和重放攻击，其中恶意攻击者合成受害者的声音或简单地重放它，带来了越来越多的安全问题。现有的说话人确认技术通过从语音命令的可听频率范围中提取的频谱特征来区分各个说话人。然而，它们通常具有高出错率和/或长延迟。在本文中，我们探索了一个新的方向，人类的语音研究，通过仔细检查在超声频段的人类语音的独特特征。我们的研究表明，从20到48 kHz的高频超声成分（如语音摩擦音）可以显着提高说话人确认的安全性和准确性。我们提出了一个说话人验证系统，SUPERVOICE，它使用一个具有特征融合机制的双流DNN架构来生成独特的说话人模型。为了测试该系统，我们创建了一个语音数据集，其中包含来自127名参与者的12小时音频（8，950个语音样本）。此外，我们还创建了第二个欺骗语音数据集来评估其安全性。为了在受控录音和真实世界应用之间取得平衡，录音是通过8种不同的录音设备从两个安静的房间收集的，包括7部智能手机和一个超声波麦克风。我们的评估表明，SUPERVOICE实现了0.58%的平等出错率的说话人确认任务，它只需要120 ms的测试传入的话语，优于所有现有的说话人确认系统。此外，在91 ms的处理时间内，SUPERVOICE在检测由5个不同扬声器发起的重放攻击时实现了0%的相等出错率。
2022-05-28 cs.HC cs.LG cs.SD
Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
Microsoft（微软）；University of Michigan（密歇根大学）
针对在线音视频目标说话人提取的听感质量与前瞻限制问题，提出AV-PVQE方法，通过个性化语音增强模型引入口型特征并联合微调，将目标混淆率从46%降至1.6%，延迟仅20毫秒，在合成和会议基准上均优于现有提取器。
2026-09-28 cs.CV cs.SD eess.AS
SAGE: Switch-Aware EEG-Guided Soft Gating for Target Speaker Extraction with In-Trial Switching
Southern University of Science and Technology（南方科技大学）；Capital Medical University（首都医科大学）
该研究针对试次内听觉注意切换下的脑电引导目标说话人提取难题，提出SAGE框架，通过软门控等技术提升性能，在多项指标上优于基线，实现了动态场景下的稳健目标提取。
2026-08-04 cs.SD eess.SP
P-vectors: A Parallel-Coupled TDNN/Transformer Network for Speaker Verification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology（未来技术学院）；University of Chinese Academy of Sciences（中国科学院大学）；GammaLab, PingAn OneConnect（平安壹账通Gamma实验室）；PingAn Insurance (Group) Company of China（中国平安保险（集团）股份有限公司）
本文提出并行耦合TDNN/Transformer网络p-vectors，通过软特征对齐交互、空间频率通道注意力和嵌入聚合层融合局部与全局特征，在VoxCeleb1-O上显著降低EER。
2023-05-25 cs.SD eess.AS
ChildAugment: Data Augmentation Methods for Zero-Resource Children's Speaker Verification
School of Computing, University of Eastern Finland（东芬兰大学计算机学院）；Institute for Advancing Intelligence, TCG CREST（TCG CREST智能推进研究所）；Academy of Scientific and Innovative Research (AcSIR)（科学与创新研究院）
本文提出ChildAugment数据增强方法，通过修改成人语音共振峰频率和带宽模拟儿童语音，并设计低复杂度加权余弦评分，在零资源儿童说话人验证中显著提升ECAPA-TDNN性能。
2024-02-23 cs.SD eess.AS
MaskedFOP: Polyglot Speaker Identification under Missing Visual Modality via Cascaded Graph Label Propagation
College of Computing, University Mohammed VI Polytechnic（穆罕默德六世理工大学计算机学院）
提出MaskedFOP系统，在测试时人脸完全缺失且语音为未见语言（乌尔都语）的挑战下，通过模态丢弃双头网络、互补嵌入平均和两级级联推理实现闭集多语言说话人识别，在POLY-SIM 2026挑战赛中取得第一。
2026-06-15 cs.MM cs.SD
GPU-accelerated Guided Source Separation for Meeting Transcription
Johns Hopkins University（约翰斯·霍普金斯大学）；Xiaomi Corp.（小米公司）
本文提出 GPU 加速的 GSS 实现，通过频率与片段批处理实现 300 倍推理加速，并支持 LibriCSS、AMI 和 AliMeeting 的可复现说话人归属转录。
2023-08-13 cs.SD eess.AS
Speaker- and Age-Invariant Training for Child Acoustic Modeling Using Adversarial Multi-Task Learning
University of New South Wales（新南威尔士大学）
儿童语音声学建模的主要挑战之一是随着儿童的成长，他们的发音发生快速变化，他们不同的增长速度以及随后在同一年龄组中的高变异性。这些高声学变化以及儿童语音语料库的稀缺阻碍了可靠的儿童语音识别系统的发展。本文提出了一种基于对抗性多任务学习的说话人和年龄不变训练方法。该系统由一个生成器共享网络组成，该网络学习生成与音素、年龄和说话者三个识别网络相连的说话者和年龄不变特征。生成器网络被训练成在对抗性多任务学习方式中最小化音素辨别损失并最大化说话者和年龄辨别损失。发生器网络是一个时间延迟神经网络（TDNN）结构，而三个鉴别器是前馈网络。该系统被应用到OGI语音语料库，并取得了13%的减少WER的ASR。
2022-11-07 cs.CL cs.SD eess.AS
Towards adversarial learning of speaker-invariant representation for speech emotion recognition
JD AI Research（京东人工智能研究院）
近年来，由于对情感智能语音接口的高需求，语音情感识别（SER）引起了极大的关注。推导出说话人不变的语音情感识别的表示是至关重要的。在本文中，我们建议将对抗训练应用于SER以学习说话者不变表示。我们的模型由三个部分组成：一个带有时延神经网络（TDNN）和带有统计池的LSTM的表示学习子网络，一个情感分类网络和一个说话人分类网络。情感和说话人分类网络都将表征学习网络的输出作为输入。采用了两种训练策略：一种基于领域对抗训练（DAT），另一种基于交叉梯度训练（CGT）。除了传统的数据集，我们还评估了我们提出的模型上一个更大的公开可用的情感数据集与250扬声器。评估结果表明，在IEMOCAP上，DAT和CGT分别提供了5.6%和7.4%的改进，在5倍交叉验证上，与没有说话人不变表示学习的基线系统相比。在更大的情感数据集上，虽然CGT未能产生比基线更好的结果，但DAT仍然可以在独立测试集上提供9.8%的相对改善。
2019-03-22 cs.SD eess.AS
Structural sparsification for Far-field Speaker Recognition with GNA
Intel（英特尔）
近年来，深度神经网络在说话人识别领域得到了广泛的应用。为了实现快速响应时间和高精度，对硬件资源的要求迅速增加。然而，由于说话人识别应用通常在移动设备上实现，因此有必要在远场条件下保持高精度的同时保持低计算成本。在本文中，我们将结构稀疏化应用于时延神经网络（TDNN），以消除冗余结构并加速执行。在我们的目标硬件上，我们的模型可以删除60%的参数，仅将等错误率（EER）略微提高0.18%，而我们的结构稀疏模型可以实现超过1.5倍的加速比。
2020-02-14 cs.LG eess.AS
ECAPA2: A Hybrid Neural Network Architecture and Training Strategy for Robust Speaker Embeddings
本文提出混合神经网络架构ECAPA2及相应训练策略，通过分析现有说话人验证模型并结合对重叠语音和短语音的鲁棒性训练，在VoxCeleb1上以更少参数取得最先进性能，并公开预训练模型。
2024-01-16 eess.AS
Analyzing the impact of speaker localization errors on speech separation for automatic speech recognition
我们研究了说话人定位对多说话人、多通道环境下语音识别系统性能的影响。给定说话人位置信息，语音分离分三个阶段进行。在第一阶段中，一个简单的延迟和总和（DS）波束形成器被用来增强从扬声器的位置，然后使用神经网络来估计对应于本地化扬声器的时间-频率掩模撞击的信号。该掩模用于计算二阶统计量并在第三阶段中导出自适应波束形成器。我们生成了一个多通道，多扬声器，混响，嘈杂的数据集的灵感来自研究WSJ 0 - 2 mix和研究所提出的管道的字错误率（WER）方面的性能。使用地面实况定位信息实现$29.4$ %的平均WER，并且使用经由GCC-PHAT估计的定位信息实现$42.4$ %的平均WER。扬声器之间的信号干扰比（SIR）对ASR性能具有更高的影响，达到相对于$15$ dB的SIR增加将WER降低$59$ %的程度。相比之下，将空间距离增加到$50^\circ$或更大仅使WER相对提高$23$ %
2019-10-24 eess.AS
Sound Localization by Self-Supervised Time Delay Estimation
University of Michigan（密歇根大学）
声音到达立体声对中的一个麦克风比另一个更快，导致两耳间的时间延迟，从而传达它们的方向。估计声音的时间延迟需要找到每个麦克风记录的信号之间的对应关系。我们建议通过自我监督来学习这些对应关系，借鉴视觉跟踪的最新技术。我们采用Jabri等人的对比随机游走，从未标记的立体声中学习周期一致的表示，从而产生一个模型，该模型与“野外”互联网录音的监督方法不相上下。我们还提出了一个多模态对比学习模型，解决了视觉引导的定位任务：估计时间延迟为一个特定的人在多扬声器混合，给定的视觉表示他们的脸。项目网址：https://ificl.github.io/stereocrw/
2023-01-28 cs.CV cs.SD eess.AS
Exploring Gaussian mixture model framework for speaker adaptation of deep neural network acoustic models
University of Avignon（阿维尼翁大学）；STC-innovations Ltd（STC创新有限公司）
在本文中，我们研究了用于深度神经网络（DNN）声学模型自适应的GMM衍生（GMMD）特征。在GMMD特征上训练的DNN的适应是通过用于GMMD特征提取的辅助GMM模型的最大后验（MAP）适应来完成的。我们探讨融合的适应GMMD功能与传统的功能，如瓶颈和MFCC功能，在两个不同的神经网络架构：DNN和时间延迟神经网络（TDNN）。我们分析和比较不同类型的自适应技术，如i-向量和特征空间自适应技术的基础上最大似然线性回归（fMLLR）与建议的适应方法，并探讨其互补性，使用各种类型的融合，如特征级，后验级，格级和其他，以发现最佳的组合方式。在TED-LIUM语料库上的实验结果表明，所提出的自适应技术可以有效地集成到不同级别的DNN和TDNN设置中，并在识别性能方面提供额外的增益：相对于基于最大似然线性回归（fMLLR）说话者自适应DNN基线的强特征空间自适应技术，相对字错误率降低（WERR）高达6%，与在传统特征上训练的说话人独立（SI）DNN基线模型相比，相对WERR高达18%。对于TDNN模型，与SI基线相比，所提出的方法实现了高达26%的相对WERR，并且与通过使用i向量调整的模型相比，该方法实现了13%的相对WERR。从不同的角度对适应的GMMD特征进行分析，证明了它们在不同层次上的有效性。
2020-03-15 cs.CL cs.SD eess.AS
Stream-Voice-Anon: Enhancing Utility of Real-Time Speaker Anonymization via Neural Audio Codec and Language Models
Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Institute for Infocomm Research, A STAR, Singapore（信息通信研究所，新加坡）；The Hong Kong Polytechnic University, Hong Kong（香港理工大学，香港）
Stream-Voice-Anon通过神经音频编解码器和语言模型提升实时语音匿名化效果，实现更高的可懂度和情绪保留，同时保持低延迟和隐私保护。
2026-02-05 cs.AI eess.AS
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Integrating Frequency Translational Invariance in TDNNs and Frequency Positional Information in 2D ResNets to Enhance Speaker Verification
本文介绍了IDLab提交的2021年短持续时间说话人验证挑战赛（SdSVC-21）的文本无关任务。本次说话人验证比赛的重点是短时间测试录音和跨语言测试，以及域内DeepMine波斯语训练数据有限的限制。目前，时间延迟神经网络（TDNNs）和ResNets在说话人验证方面都取得了最先进的结果。这些架构在结构上非常不同，混合网络的构建看起来是一个很有前途的方向。我们在强大的ECAPA-TDNN基线中引入2D卷积干，将基于ResNet的模型的一些强大特征转移到这种混合CNN-TDNN架构中。同样，我们将绝对频率位置编码在SE-ResNet 34架构中。这些沿频率轴的可学习特征图偏差为该架构提供了一种利用频率位置信息的简单方法。我们还提出了一个频率方面的变形挤压激励（SE），更好地保留频率特定的信息时，重新缩放的特征图。这两种修改后的架构在SdSVC-21评估数据和原始VoxCeleb 1测试集上的性能均显著优于其相应的基线。包含两种改进架构的四系统融合在最终的SdSVC-21任务2排名中获得第三名。
2021-09-09 eess.AS
Dependence on Early and Late Reverberation of Single-Channel Speaker Distance Estimation
Faculty of Information Technology and Communication Sciences（信息科技与通讯科学学院）
研究探讨了单通道说话者距离估计中早期和晚期混响对性能的影响，发现早期混响是关键因素，且时间校准能显著提升精度。
2026-07-02 cs.AI cs.SD eess.AS
EfficientTDNN: Efficient Architecture Search for Speaker Recognition
Tongji University（同济大学）；Durham University（杜伦大学）；Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）
卷积神经网络（CNN），如时间延迟神经网络（TDNN），在学习说话人嵌入方面表现出显着的能力。然而，它们同时在存储大小、处理和内存方面带来了巨大的计算成本。发现满足特定约束的专用CNN需要人类专家的大量努力。与手工设计方法相比，神经结构搜索（NAS）作为一种自动化人工结构设计过程的实用技术出现，并在诸如说话人识别的口语处理任务中引起了越来越多的兴趣。在本文中，我们提出了有效的TDNN，一个高效的架构搜索框架，包括一个基于TDNN的超网和TDNN-NAS算法。建议的超网引入时间卷积的不同范围的感受野和功能聚合的各种分辨率从不同的层TDNN。最重要的是，TDNN-NAS算法通过权重共享搜索快速搜索所需的TDNN架构，这在处理具有各种资源需求的大量设备的同时，令人惊讶地减少了计算。在VoxCeleb数据集上的实验结果表明，所提出的EfficientTDNN能够实现关于深度、内核和宽度的近似$10^{13}$架构。在不同的计算约束条件下，该算法在204 M乘加运算时的等误率为2.20%，在571 M乘加运算时的等误率为1.41%，在1.45G乘加运算时的等误率为0.94%。全面的调查表明，经过训练的超网概括了训练期间未采样的子网，并在准确性和效率之间取得了有利的权衡。
2022-06-18 cs.AI eess.AS
StutterNet: Stuttering Detection Using Time Delay Neural Network
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用实验室）；Université Paul-Valéry Montpellier（蒙彼利埃保罗-瓦莱里大学）；Praxiling（普拉西林实验室）
本文介绍了StutterNet，这是一种基于深度学习的新型口吃检测，能够检测和识别各种类型的不流利。在这一领域的大多数现有工作使用结合语言模型的自动语音识别（ASR）来进行口吃检测。与依赖于ASR模块的现有工作相比，我们的方法仅依赖于声学信号。我们使用的时间延迟神经网络（TDNN）适合捕捉上下文方面的不流利的话语。我们评估我们的系统上的UCLASS口吃数据集，包括100多个扬声器。我们的方法取得了可喜的成果，并优于最先进的残差神经网络的方法。由于TDNN的参数共享方案，所提出的方法的可训练参数的数量也大大减少。
2021-06-08 cs.LG cs.SD eess.AS
Team HYU ASML ROBOVOX SP Cup 2024 System Description
本研究针对ROBOVOX远场说话人识别挑战赛，提出融合深度残差网络与时延神经网络说话人嵌入模型的方案，通过数据增强等优化，在SP Cup 2024公开榜获第二。
2024-07-16 eess.AS
Effective Modeling of Critical Contextual Information for TDNN-based Speaker Verification
针对 ECAPA-TDNN 上下文建模能力弱的问题，提出三种改进架构以充分提取并聚合多尺度上下文特征，在 VoxCeleb1-O 上 EER 降低近 23%。
2025-09-12 eess.AS
Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks
The Chinese University of Hong Kong（香港中文大学）
基于深度神经网络（DNN）的自动语音识别（ASR）系统通常使用专家知识和经验评估来设计。在本文中，一系列的神经架构搜索（NAS）技术被用来自动学习两种类型的超参数的国家的最先进的因子化时间延迟神经网络（TDNN）：i）的左和右拼接上下文偏移;和ii）的瓶颈线性投影在每个隐藏层的维数。这些方法包括将架构选择与无格MMI（LF-MMI）TDNN训练相结合的DARTS方法; Gumbel-Softmax和流水线DARTS减少了对候选架构的混淆并提高了架构选择的通用性;以及惩罚DARTS，其结合了资源约束以调整性能和系统复杂性之间的权衡。候选架构之间的参数共享允许在多达$7^{28}$的不同TDNN系统上进行有效搜索。在300小时的Switchboard语料库上进行的实验表明，在LHUC说话人自适应和RNNLM重新评分之后，自动配置的系统始终优于使用手动网络设计或随机架构搜索的基线LF-MMI TDNN系统。该算法的绝对字错误率（WER）降低了1.0%，相对模型大小减少了28%.一致的性能改善，也获得了UASpeech无序语音识别任务使用建议的NAS方法。
2021-02-07 cs.CL cs.LG cs.SD
Extending GCC-PHAT using Shift Equivariant Neural Networks
Arm（安谋科技）；Lund University（隆德大学）；Tenstorrent（Tenstorrent公司）
使用麦克风阵列的说话人定位依赖于精确的时间延迟估计技术。几十年来，基于广义互相关相位变换（GCC-PHAT）的方法已被广泛采用。最近，GCC-PHAT也被用于为神经网络提供输入特征，以消除噪声和混响的影响，但代价是在无噪声条件下失去理论保证。我们提出了一种新的方法来扩展GCC-PHAT，其中接收到的信号使用移位等变神经网络进行滤波，该网络保留了信号中包含的定时信息。通过大量的实验，我们表明，我们的模型一致地减少了错误的GCC-PHAT在不利的环境中，在理想条件下的准确的时间延迟恢复的保证。
2022-08-09 cs.LG cs.SD eess.AS
Spoof detection using time-delay shallow neural network and feature switching
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；SSN college of Engineering（SSN工程学院）
检测虚假语音是基于语音的生物特征识别中的一个基本问题。欺骗可以通过逻辑访问（如语音合成、语音转换）或通过物理访问（如重放预先记录的话语）来执行。受基于\emph{x}向量的说话人确认方法的启发，提出了一种时延浅层神经网络（TD-SNN）用于逻辑和物理访问的欺骗检测。所提出的TD-SNN系统相对于传统DNN系统的新颖性在于，它可以在测试期间处理可变长度的话语。在ASV-spoof-2019数据集上分析了所提出的TD-SNN系统和基线高斯混合模型（Gestival）的性能。系统的性能是衡量的最小归一化串联检测代价函数（min-t-DCF）。当研究单个功能时，TD-SNN系统在物理访问方面始终优于GMM系统。对于逻辑访问，GMM在某些特性上超过了TD-SNN系统。当结合决策层特征切换（DLFS）范式时，最佳TD-SNN系统在评估数据上优于最佳基线GMM系统，逻辑和物理访问的相对改善分别为48.03%和49.47%。
2020-01-23 cs.CR cs.LG cs.SD
Stuttering Detection Using Speaker Representations and Self-supervised Contextual Embeddings
Universite De Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Institute for Advancing Intelligence (IAI), TCG CREST（TCG CREST 智能推进研究所（IAI））；Universite Paul-Valery Montpellier（蒙彼利埃保罗-瓦莱里大学）；Praxiling（普拉西林语言学实验室）
针对口吃检测数据不足的问题，本文采用预训练 ECAPA-TDNN 与 Wav2Vec2.0 嵌入并结合传统分类器，在 SEP-28k 上显著提升 UAR，且嵌入融合与多层拼接可进一步改善性能。
2023-06-01 cs.LG cs.SD eess.AS
Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
最先进的自动语音识别（ASR）系统开发是数据和计算密集型的。这些系统的深度神经网络（DNN）的优化设计通常需要专家知识和经验评估。在本文中，一系列的神经架构搜索（NAS）技术被用来自动学习两种类型的超参数的因子化时间延迟神经网络（TDNN-Fs）：i）的左和右拼接上下文偏移;和ii）的瓶颈线性投影在每个隐藏层的维数。这些技术包括集成架构学习与无格MMI训练的可微分神经架构搜索（DARTS）方法; Gumbel-Softmax和流水线DARTS方法，减少了对候选架构的混淆，提高了架构选择的泛化能力;以及惩罚DARTS，结合资源约束，以平衡性能和系统复杂性之间的权衡。TDNN-F架构之间的参数共享允许在多达7^28个不同系统上进行有效搜索。统计显着的字错误率（WER）减少高达1.2%的绝对和相对模型大小减少31%，获得了超过最先进的300小时的Switchboard语料库训练的基线LF-MMI TDNN-F系统，具有速度扰动，i-Vector和学习隐藏单元贡献（LHUC）的扬声器自适应以及RNNLM重新评分。与文献中报告的最近端到端系统在相同任务上的性能对比表明，最好的NAS自动配置系统在NIST Hub 5 ' 00和Rt 03 s测试集上分别实现了9.9%和11.1%的最新WER，模型大小减少了96%。使用贝叶斯学习的进一步分析表明，...
2022-03-29 cs.SD eess.AS
Bayesian Learning of LF-MMI Trained Time Delay Neural Networks for Speech Recognition
判别训练技术定义了自动语音识别系统的最新性能。然而，它们本质上容易过拟合，导致在使用有限的训练数据时泛化性能较差。为了解决这个问题，本文提出了一个完整的贝叶斯框架，考虑到模型的不确定性，在序列判别训练因子TDNN声学模型。提出了几种基于贝叶斯学习的TDNN变体系统来模拟权重参数和隐藏激活函数的选择或隐藏层输出的不确定性。有效的变分推理方法使用几个作为一个单一的参数样本，确保其计算成本在训练和评估时间与基线TDNN系统。统计学显著字错误率（WER）绝对值降低0.4%-1.8%（5%-11%相对）是在最先进的900小时速度扰动Switchboard语料库训练的基线LF-MMI因子TDNN系统上使用多种正则化方法获得的，所述正则化方法包括F平滑、L2范数惩罚、自然梯度、模型平均和丢弃，除了i-Vector加上基于学习隐藏单元贡献（LHUC）的说话者自适应和RNNLM重新评分之外。在450小时的香港科技大学普通话电话会话语音识别任务上也获得了一致的性能改善。在第三个跨域自适应任务，需要快速移植1000小时LibriSpeech数据训练的系统到一个小的DementiaBank老年人语音语料库，所提出的贝叶斯TDNN LF-MMI系统优于基线系统使用直接权重微调高达2.5\%的绝对WER减少。
2021-05-10 eess.AS
Combolutional Neural Networks
University of Illinois at Urbana-Champaign, Siebel School of Computing and Data Science（伊利诺伊大学厄巴纳-香槟分校，Siebel 计算与数据科学学院）
本文提出combolutional层，一种结合学习延迟IIR梳状滤波与包络检测的时域谐波提取模块，在钢琴转录等音频任务中有效替代卷积层，具有参数少、CPU高效、可解释性强等优势。
2025-07-28 cs.LG cs.SD eess.AS
