Query-by-Example Keyword Spotting Using Spectral-Temporal Graph Attentive Pooling and Multi-Task Learning
本文提出一种基于谱-时间图注意力池化和多任务学习的示例查询关键词识别系统，通过三种编码器架构对比实验证明该框架能使13倍高效的LiCoNet达到与Conformer相当的性能。
2024-11-23 cs.AI cs.CL cs.SD
A Novel Temporal Attentive-Pooling based Convolutional Recurrent Architecture for Acoustic Signal Enhancement
在声学信号处理中，目标信号通常携带语义信息，这些语义信息被编码在短期和长期上下文的层次结构中。然而，背景噪声以不均匀的方式扭曲这些结构。现有的深部声信号增强（ASE）结构忽略了这种局部和全局效应。为了解决这个问题，我们建议将一种新的时间注意力池（TAP）机制集成到传统的卷积递归神经网络中，称为TAP-CRNN。该方法考虑了ASE任务的全局和局部注意。具体来说，我们首先利用卷积层来提取声学信号的局部信息，然后使用递归神经网络（RNN）架构来表征时间上下文信息。其次，我们利用一个novelattention机制上下文处理显着地区的噪声信号。建议ASE系统使用基准婴儿哭数据集进行评估，并与几个众所周知的方法进行比较。结果表明，TAPCRNN可以更有效地减少婴儿哭声信号中的噪声成分在看不见的背景噪声在具有挑战性的信号噪声水平。
2022-01-24 cs.SD eess.AS
CA-MHFA: A Context-Aware Multi-Head Factorized Attentive Pooling for SSL-Based Speaker Verification
Brno University of Technology（布尔诺技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Omilia（欧米利亚公司）；Archimedes/Athena R.C.（阿基米德/雅典娜研究中心）
本文提出轻量级框架CA-MHFA，通过分组可学习查询与共享键值融合上下文信息，有效建模局部时间依赖，在VoxCeleb上以更少参数超越复杂模型，并在多任务中展现强泛化能力。
2024-09-23 cs.SD eess.AS
Phoneme-aware and Channel-wise Attentive Learning for Text DependentSpeaker Verification
Xiamen University（厦门大学）
本文提出了一个多任务学习网络与音素意识和通道的注意学习策略的文本相关的说话人确认（SV）。该结构采用帧级多任务学习和分段级对抗学习相结合的方法进行说话人嵌入提取。在主网络中的帧级特征上利用音素感知注意池用于说话人分类器，在辅助子网中具有对应的音素分布的后验概率。此外，挤压和激励（SE块）的引入执行动态通道特征重新校准，这提高了表示能力。该方法利用了说话人与密码短语的特性，并分别从时间和通道两个方面通过音素感知集中和SE块来进一步改进。在RSR2015 Part 1数据库上进行的实验证实，所提出的系统在文本相关SV上取得了出色的效果。
2021-06-25 cs.LG cs.SD eess.AS
Recursive Attentive Pooling for Extracting Speaker Embeddings from Multi-Speaker Recordings
NTT Corporation（NTT公司）
本文提出一种递归注意力池化方法，从多说话人录音中提取各说话人嵌入，并可利用注意力权重估计说话人数量，使同一模型适用于不同人数场景，实验验证其在说话人验证和日志任务中的有效性。
2024-08-30 cs.SD eess.AS
Parameter-Free Attentive Scoring for Speaker Verification
Google LLC（谷歌有限责任公司）
本文提出了一种新的无参数注意评分的说话人确认研究。无参数评分提供了比较说话人表示的灵活性，而不需要伴随的参数评分模型。受Transformer神经网络中的注意力组件的启发，我们提出了一种缩放点积注意力机制的变体来比较注册和测试段表示。此外，这项工作还探讨了（i）不同类型的规范化、（ii）独立与绑定查询/键估计、（iii）改变键-值对的数量以及（iv）池化多个注册话语统计数据对性能的影响。实验结果表明，一个简单的无参数注意评分机制可以提高平均EER的10%以上的最佳余弦相似性基线。
2023-03-06 cs.CL cs.SD eess.AS
Graph attentive feature aggregation for text-independent speaker verification
University of Seoul（首尔大学）；KT Corporation（KT公司）
本文的目标是将多个帧级特征组合成一个考虑成对关系的单个话语级表示。为此，我们提出了一种新的图形关注的功能聚合模块，通过解释每个帧级功能作为一个节点的图。所有可能的特征对之间的相互关系，通常是间接利用的，可以使用图直接建模。该模块包括图形注意层和图形池化层，之后是读出操作。图注意层首先对不同节点之间的非欧几里德数据流形进行建模。然后，图池化层考虑节点的重要性丢弃信息量较少的节点。最后，读出操作将剩余的节点组合成单个表示。我们采用了两个最近的系统，SE-ResNet和RawNet 2，具有不同的输入功能和架构，并证明了所提出的功能聚合模块始终显示出超过10%的相对改进，与基线相比。
2021-12-23 cs.SD eess.AS
Audio Deepfake Detection with Self-Supervised WavLM and Multi-Fusion Attentive Classifier
本文提出结合自监督WavLM模型与新型多融合注意力（MFA）分类器进行音频深度伪造检测，首次利用WavLM提取利于欺骗检测的特征，并在ASVspoof数据集上取得领先或具竞争力的结果。
2024-01-10 eess.AS
SoCov: Semi-Orthogonal Parametric Pooling of Covariance Matrix for Speaker Recognition
VoiceAI Technologies, Co. Ltd.（VoiceAI技术有限公司）；Institute of Forensic Science, Ministry of Public Security China（公安部刑事科学技术研究所）；South China University of Technology（华南理工大学）
本文提出SoCov池化方法，通过半正交参数化压缩协方差矩阵，生成sc-vector说话人嵌入，在SRE21上显著降低EER，优于传统x-vector。
2025-04-23 cs.SD eess.AS
End-to-End Trainable Self-Attentive Shallow Network for Text-Independent Speaker Verification
Humelo Inc.（Humelo公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；KAIST Institute for Artificial Intelligence（KAIST人工智能研究所）
广义端到端（GE2E）模型因其可扩展性和通用性而被广泛应用于说话人确认（SV）领域。然而，基于GE2E的长短期记忆（LSTM）有两个局限性：第一，GE2E的嵌入遭受消失梯度，这导致非常长的输入序列的性能下降。其次，话语没有被表示为适当固定的维度向量。在本文中，为了克服上述问题，我们提出了一种新的SV框架，端到端可训练的自注意浅层网络（SASN），结合了一个时间延迟神经网络（TDNN）和一个自注意池机制的基础上自注意的x向量系统在话语嵌入阶段。我们证明，该模型是高效的，并提供更准确的说话人确认比GE2E。对于VCTK数据集，仅小于GE2E的一半大小，所提出的模型在EER（等误差率）、DCF（检测代价函数）和AUC（曲线下面积）方面分别显示出比GE2E显著的性能改进，分别为约63%、67%和85%。值得注意的是，当输入长度变得更长时，所提出的模型的DCF分数改善是GE2E的约17倍。
2020-08-14 cs.CL cs.SD eess.AS
Speech-based emotion recognition with self-supervised models using attentive channel-wise correlations and label smoothing
University of Helsinki（赫尔辛基大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）；Brno University of Technology（布尔诺理工大学）
在从语音中识别情感时，我们遇到两个常见的问题：如何从语音信号中最佳地捕获情感相关信息以及如何最好地量化或分类噪声主观情感标签。自我监督的预训练表示可以从语音中鲁棒地捕获信息，从而在包括情感识别在内的许多下游任务中实现最先进的结果。然而，需要考虑跨时间聚合信息的更好方式，因为相关情感信息很可能分段出现并且在信号上不均匀。对于标签，我们需要考虑到存在来自主观人类注释的大量噪声。在本文中，我们提出了一种新的方法，专注池的基础上表示的系数之间的相关性结合标签平滑，一种方法，旨在减少训练标签上的分类器的信心。我们在基准数据集IEMOCAP上评估了我们提出的方法，并展示了超越文献的高性能。重现结果的代码可在github.com/skakouros/s3prl_attentive_correlation上获得。
2022-11-03 cs.SD eess.AS
Speech Enhancement Using Multi-Stage Self-Attentive Temporal Convolutional Networks
Clemson University（克莱姆森大学）；Nokia Bell Labs（诺基亚贝尔实验室）
多阶段学习是一种顺序调用多个深度学习模块的有效技术。本文通过使用多级结构将多级学习应用于语音增强，其中每一级包括自注意（SA）块，随后是具有加倍膨胀因子的时间卷积网络（TCN）块的堆叠。每个阶段生成一个预测，该预测在后续阶段中被细化。融合块被插入在后面的级的输入处以重新注入原始信息。将所得到的多阶段语音增强系统（简而言之，多阶段SA-TCN）与使用LibriSpeech和VCTK数据集的最先进的深度学习语音增强方法进行比较。对多级SA-TCN系统的超参数进行微调，确定SA块、融合块和级数的影响。使用多级SA-TCN系统作为前端的自动语音识别系统进行了研究。结果表明，多级SA-TCN系统表现良好，相对于其他国家的最先进的系统方面的语音增强和语音识别分数。
2021-02-24 cs.SD eess.AS
Speaker verification using attentive multi-scale convolutional recurrent network
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院）
提出注意力多尺度卷积循环网络 AMCRN，融合局部空间与全局时序信息学习说话人嵌入，并在 VoxCeleb 数据集上验证其更低错误率、更低资源开销及更强泛化性。
2023-06-01 cs.SD eess.AS
MCSAE: Masked Cross Self-Attentive Encoding for Speaker Embedding
Sogang University（西江大学）
一般来说，自注意机制已被应用于说话人嵌入编码。以往的研究主要集中在训练高层次的自我注意，如最后一个池层。然而，在说话人嵌入编码中，低层特征的影响被降低了。因此，我们提出了使用ResNet的掩码交叉自注意编码（MCSAE）。它侧重于高级别和低级别层的功能。基于多层聚合，每个剩余层的输出特征用于MCSAE。在MCSAE中，交叉自注意模块训练每个输入特征的相互依赖性。随机掩蔽正则化模块也用于防止过拟合问题。因此，MCSAE增强了表示说话者信息的帧的权重。然后，将输出特征连接并编码到说话人嵌入。因此，通过使用MCSAE来编码更具信息性的说话人嵌入。实验结果表明，使用VoxCeleb1评估数据集的等错误率为2.63%，最小检测代价函数为0.1453。与以前的自注意编码和最先进的编码方法相比，这些都是改进的性能。
2020-07-28 cs.LG cs.SD eess.AS
Utterance-level end-to-end language identification using attention-based CNN-BLSTM
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）；Tencent Research（腾讯研究院）
在本文中，我们提出了一个端到端的语言识别框架，基于注意力的卷积神经网络-双向长短期记忆（CNN-BLSTM）。该模型是在话语级上执行的，这意味着话语级决策可以直接从神经网络的输出中获得。为了处理具有整个任意和潜在长持续时间的语音话语，我们将CNN-BLSTM模型与自注意池层结合在一起。前端CNN-BLSTM模块充当可变长度输入的局部模式提取器，并且在其上构建以下自关注池化层以获得固定维度的话语级表示。我们在NIST LRE 07闭集任务上进行了实验，结果表明，所提出的基于注意力的CNN-BLSTM模型在所有3秒，10秒，30秒持续时间的任务上都实现了与其他最先进的话语级神经网络方法相当的错误减少。
2019-02-20 cs.LG cs.SD eess.AS
Transport-Oriented Feature Aggregation for Speaker Embedding Learning
The Chinese University of Hong Kong（香港中文大学）
需要池化来将帧级特征聚合成用于说话人建模的话语级表示。鉴于基于统计的池化方法的成功，我们假设扬声器特性在预聚合层的输出的统计分布中得到了很好的表示，并建议使用面向运输的特征聚合来获得扬声器嵌入。聚合表示对底层特征分布的几何结构进行编码，预期其包含有价值的特定于说话者的信息，这些信息可能无法由常用的统计度量（如均值和方差）表示。原来的面向交通的功能聚合也扩展到一个加权帧的版本，将注意力机制。Voxceleb数据集的说话人验证实验表明，统计池和它的注意力的变化。
2022-06-26 cs.SD eess.AS
Deep Segment Attentive Embedding for Duration Robust Speaker Verification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于LSTM的说话人确认通常使用从话语中随机截取的固定长度的局部段来学习话语级说话人嵌入，而使用测试话语的所有段的平均嵌入来验证说话人，这导致测试和训练之间的严重不匹配。这种不匹配降低了说话人确认的性能，特别是当训练和测试话语的持续时间非常不同时。为了缓解这个问题，我们提出了深段注意嵌入方法来学习统一的发言人嵌入可变持续时间的话语。每个话语通过滑动窗口进行分段，LSTM用于提取每个片段的嵌入。而不是只使用一个局部段，我们使用整个话语学习话语级嵌入通过应用一个专注的池的嵌入的所有段。此外，引入段级嵌入的相似性损失，引导段注意力集中在说话人区分度较高的段上，并与话语级嵌入的相似性损失联合优化。在Tongdun和VoxCeleb上的系统实验表明，该方法显著提高了对持续时间变化的鲁棒性，相对等错误率分别降低了50%和11.54%。
2018-11-01 cs.LG cs.SD eess.AS
Temporal Attention Pooling for Frequency Dynamic Convolution in Sound Event Detection
针对频率动态卷积（FDY conv）中时间平均池化无法有效捕捉瞬态声音事件的局限，提出时间注意力池化频率动态卷积（TFD conv），通过三种互补机制加权时间特征，提升SED性能并验证了其与其他FDY变体的兼容性。
2025-04-17 cs.SD eess.AS
A text-dependent speaker verification application framework based on Chinese numerical string corpus
Shanghai Acoustics Laboratory, Chinese Academy of Sciences（中国科学院上海声学实验室）；Shanghai University of Chinese Academy of Sciences（中国科学院上海大学）
本文提出基于中文长数字串语料库SHAL的端到端文本相关说话人验证系统，通过文本嵌入与说话人嵌入解耦表示及多尺度池化方法，在Hi-Mia和SHAL上分别将EER提升49.2%和75.0%。
2023-12-04 cs.SD eess.AS
Robust Text-Dependent Speaker Verification via Character-Level Information Preservation for the SdSV Challenge 2020
Seoul National University（首尔大学）
本文介绍了我们提交的短期扬声器验证（SdSV）挑战2020的任务1。任务1是文本相关的说话人确认任务，其中说话人和短语都需要被确认。提交的系统由基于TDNN和基于ResNet的前端架构组成，其中帧级特征通过各种池化方法（例如，统计、自我关注、ghostVLAD池化）。虽然传统的池化方法提供了足够数量的说话人相关信息的嵌入，我们的实验表明，这些嵌入往往缺乏短语相关的信息。为了缓解这个问题，我们提出了一个新的池和分数补偿方法，利用基于CTC的自动语音识别（ASR）模型，考虑到词汇内容。这两种方法都比传统技术有所改进，最佳性能是通过融合所有实验系统实现的，在挑战的评估子集上显示出0.0785%MinDCF和2.23%EER。
2020-10-22 cs.SD eess.AS
A framework of text-dependent speaker verification for chinese numerical string corpus
University of Chinese Academy of Sciences（中国科学院大学）
针对文本相关说话人验证易受朗读节奏干扰的问题，提出解耦说话人与文本信息的端到端系统，结合新数据集与增强技术，在两个数据集上实现显著EER降低。
2024-05-21 cs.SD eess.AS
