Improving Small Footprint Few-shot Keyword Spotting with Supervision on Auxiliary Data
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Korea YH（高通韩国YH）
提出利用易获取的无标注朗读语音构建LibriWord数据集并采用多任务学习，以监督方式增强小足迹少样本关键词识别模型的表征能力，显著提升基准性能。
2023-08-31 cs.LG cs.SD eess.AS
Self-supervised speech representation learning for keyword-spotting with light-weight transformers
Amazon（亚马逊）
自监督语音表示学习（S3RL）正在彻底改变我们利用不断增长的数据可用性的方式。虽然S3RL相关研究通常使用大型模型，但我们采用轻量级网络来满足计算受限设备的内存要求。我们通过使用具有330k参数的Transformers来证明S3RL在关键词定位（KS）问题上的有效性，并提出了一种增强话语区分的机制，这对于提高分类任务的性能至关重要。在Google语音命令v2数据集上，应用于自回归预测编码S3RL的方法与从头开始训练相比，准确率提高了1.2%。在具有四个不同关键字的内部KS数据集上，它在固定的错误拒绝率下提供了6%至23.7%的相对错误接受改善。我们认为，这表明了S3RL方法的适用性，轻量级模型KS和确认S3RL是一个强大的替代传统的监督学习资源受限的应用程序。
2023-03-07 cs.LG cs.SD eess.AS
ProKWS: Personalized Keyword Spotting via Collaborative Learning of Phonemes and Prosody
College of Information Science and Electronic Engineering, Zhejiang University, Hangzhou, China（信息科学与电子工程学院，浙江大学，杭州，中国）
本文提出ProKWS框架，结合细粒度音素学习与个性化语调建模，通过双流编码器和协同融合模块提升关键词识别的适应性与鲁棒性。
2026-03-05 cs.AI cs.CL cs.SD
Adversarial Deep Metric Learning for Cross-Modal Audio-Text Alignment in Open-Vocabulary Keyword Spotting
Samsung Research（三星研究院）
针对开放词汇关键词识别中音频与文本模态异质性问题，提出模态对抗学习与深度度量学习相结合的方法，实现音素级对齐，并在WSJ和LibriPhrase数据集上验证有效性。
2025-05-23 cs.AI eess.AS
Relational Proxy Loss for Audio-Text based Keyword Spotting
Samsung Research（三星研究院）
本文提出关联代理损失（RPL），利用声学与文本嵌入内部结构关系改进音频-文本关键词识别，并在WSJ语料库上验证了性能提升。
2024-06-08 cs.AI eess.AS eess.SP
Keyword spotting -- Detecting commands in speech using deep learning
Center for Data Science（数据科学中心）；New York University（纽约大学）
本文研究语音关键词唤醒，通过MFCC特征工程比较HMM、CNN及带注意力的RNN等模型，发现BiLSTM加Attention的RNN效果最佳，准确率达93.9%。
2023-12-09 cs.AI cs.CL cs.HC
Exploring Representation Learning for Small-Footprint Keyword Spotting
Xiaomi（小米）
在本文中，我们研究表示学习的低资源关键字发现（KWS）。KWS的主要挑战是有限的标记数据和有限的可用设备资源。为了解决这些问题，我们通过自监督对比学习和预训练模型的自训练，探索了知识系统的表示学习。首先，局部-全局对比连体网络（LGCSiam）的目的是学习类似的话语级表示类似的音频采样器提出的局部-全局对比损失，而不需要地面真理。其次，应用自监督预训练的Wav 2 Vec 2.0模型作为约束模块（WVC）来强制KWS模型学习帧级声学表示。通过LGCSiam和WVC模块，可以使用未标记的数据对所提出的小足迹KWS模型进行预训练。语音命令数据集上的实验表明，自训练WVC模块和自监督LGCSiam模块显着提高了准确率，尤其是在小标记数据集上训练的情况下。
2023-03-20 cs.CL cs.LG cs.SD
Joint Multimodal Contrastive Learning for Robust Spoken Term Detection and Keyword Spotting
Electrical Engineering（电子工程）；Artificial Intelligence（人工智能）
本文提出一种联合多模态对比学习框架，通过统一音频和跨模态监督提升语音术语检测和关键词 spotting 的鲁棒性。
2025-12-16 cs.LG cs.SD
Learning Audio-Text Agreement for Open-vocabulary Keyword Spotting
Naver Corporation（NAVER 公司）；Yonsei University（延世大学）
在本文中，我们提出了一种新的端到最终用户定义的关键字发现方法，利用语言之间的对应模式的语音和文本序列。与以前的方法需要语音关键字注册，我们的方法比较输入查询与注册的文本关键字序列。为了将音频和文本表示放置在一个共同的潜在空间中，我们采用了一种基于注意力的跨模态匹配方法，该方法以端到端的方式进行训练，具有单调匹配损失和关键字分类损失。我们还利用去噪损失的声学嵌入网络，以提高在嘈杂的环境中的鲁棒性。此外，我们还介绍了LibriPhrase数据集，这是一个基于LibriSpeech的新的短语数据集，用于有效地训练关键字识别模型。与其他单模态和跨模态基线相比，我们提出的方法在各种评估集上取得了有竞争力的结果。
2022-07-01 cs.AI cs.LG eess.AS
Open-vocabulary Keyword-spotting with Adaptive Instance Normalization
aiOla Research（aiOla研究院）
提出AdaKWS方法，通过文本编码器输出关键词条件化的归一化参数处理听觉输入，在多语言基准和低资源语言上显著优于基线。
2023-09-13 cs.LG cs.SD eess.AS
Attention-Free Keyword Spotting
Islamic University of Technology（伊斯兰理工大学）
到目前为止，基于注意力的模型已经在关键字识别问题领域取得了巨大的成功。然而，鉴于深度学习的最新进展，问题出现了，对于识别语音关键词，自我注意力是否真的不可替代。因此，我们探索使用门MLP-以前被证明是替代Transformers的视觉任务-的关键字定位任务。我们提供了一系列高效的基于MLP的关键字识别模型，参数少于50万。我们表明，我们的方法在Google Speech Commands V2-12和V2-35基准测试中实现了具有竞争力的性能，参数比基于自我注意力的方法少得多。
2022-04-10 cs.LG cs.SD eess.AS
Personalized Keyword Spotting through Multi-task Learning
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键词发现（KWS）在智能设备上实现基于语音的用户交互中起着至关重要的作用，并且传统的KWS（C-KWS）方法集中于检测用户不可知的预定义关键词。然而，在实践中，大多数用户交互来自在设备中注册的目标用户，这促使构建个性化关键词发现。我们设计了两个个性化的KWS任务：（1）目标用户偏向的KWS（TB-KWS）和（2）目标用户唯一的KWS（TO-KWS）。为了解决这些任务，我们提出了通过多任务学习（PK-MTL），包括多任务学习和任务适应个性化的关键字发现。首先，我们介绍了应用多任务学习的关键字定位和说话人验证，利用用户信息的关键字定位系统。接下来，我们设计了任务特定的评分函数，以适应个性化的KWS任务彻底。我们评估我们的框架在传统和个性化的场景，结果表明，PK-MTL可以显着降低误报率，特别是在各种实际场景。
2022-06-28 cs.LG cs.SD eess.AS
LiCo-Net: Linearized Convolution Network for Hardware-efficient Keyword Spotting
Meta AI
本文提出了一种硬件高效的架构，线性卷积网络（LiCo-Net）的关键字定位。它专门针对微控制器等低功耗处理器单元进行了优化。ML运算符在节能硬件上表现出异构的效率配置文件。给定精确的理论计算成本，int 8运算符比浮点运算符更有效，线性层通常比其他层更有效。所提出的LiCo-Net是一个双阶段系统，在推理阶段使用高效的int 8线性算子，并在训练阶段应用流式卷积以保持高模型容量。实验结果表明，LiCo-Net在硬件效率上优于单值分解滤波器（SVDF），同时具有同等的检测性能。与SVDF相比，LiCo-Net在HiFi 4 DSP上的周期减少了40%。
2022-11-09 cs.AI cs.LG eess.AS
Latency Control for Keyword Spotting
Amazon Science（亚马逊科学）
会话代理通常利用关键字定位（KWS）来发起与用户的语音交互。出于用户体验和隐私考虑，现有的KWS方法主要关注准确性，这通常是以引入延迟为代价的。为了解决这个权衡，我们提出了一种新的方法来控制KWS模型延迟，并推广到任何损失函数，而无需显式的关键字端点的知识。通过一个单一的，可调的超参数，我们的方法使人们能够平衡检测延迟和准确性的目标应用程序。经验上，我们表明，我们的方法提供了优越的性能下的延迟限制相比，现有的方法。也就是说，当与基线最新技术相比时，我们为固定延迟目标做出了实质性的25\%相对错误接受改进。我们还表明，当我们的方法与最大池化损失结合使用时，我们能够在固定延迟下与交叉熵损失相比将相对错误接受提高25%。
2022-06-15 cs.AI cs.LG eess.AS
GE2E-KWS: Generalized End-to-End Training and Evaluation for Zero-shot Keyword Spotting
GE2E-KWS提出了一种端到端训练和评估框架，通过优化矩阵运算提升收敛稳定性，其量化模型在AUC上显著优于现有方法，支持零样本关键词识别。
2024-10-22 cs.AI cs.LG eess.AS
Multitaper mel-spectrograms for keyword spotting
SiDi
本文研究将多锥形技术用于关键词识别的特征提取，通过在不同场景、参数、数据集和嵌入式神经网络上的实验，验证了改进特征的有效性。
2024-07-05 cs.LG eess.AS
Prototypical Metric Transfer Learning for Continuous Speech Keyword Spotting With Limited Training Data
ParallelDots, Inc.（ParallelDots公司）
连续语音关键词识别（CSKS）是指当训练数据中存在少量关键词时，在记录的对话中识别关键词的问题。与更常见的关键字定位不同，算法需要检测单独的关键字或短语，如“Alexa”，“Cortana”，“Hi Alexa！“，“怎么样奥克塔维亚？在语音中，CSKs需要从连续的语音流中过滤出嵌入的单词，即。在“我认识一个叫Anna的开发人员，他可以调查这个github问题。“除了有限的训练数据可用性的问题，CSKS是一个非常不平衡的分类问题。我们通过使用损失函数（原型网络损失和度量损失）和迁移学习的新组合来解决简单关键字定位基线对于上述两个挑战的局限性。我们的方法将F1分数提高了10%以上。
2019-01-12 cs.CL cs.LG cs.SD
Exploring Sequence-to-Sequence Transformer-Transducer Models for Keyword Spotting
Google（谷歌）
在本文中，我们提出了一种新的方法来适应序列到序列转换器-转换器ASR系统的关键字定位（KWS）任务。我们通过将文本转录中的关键字替换为特殊标记并训练系统检测音频流中的标记来实现这一点。<kw><kw>在推理时，我们创建了一个决策函数的灵感来自传统的KWS方法，使我们的方法更适合于KWS任务。此外，我们引入了一个特定的关键字定位损失，通过调整序列判别最小贝叶斯风险训练技术。我们发现，我们的方法显着优于基于ASR的KWS系统。当与传统的关键字定位系统相比，我们的建议具有类似的性能，同时带来了序列到序列训练的优势和灵活性。此外，当与传统的KWS系统相结合，我们的方法可以提高在任何操作点的性能。
2022-11-11 cs.LG cs.SD eess.AS
SLiCK: Exploiting Subsequences for Length-Constrained Keyword Spotting
Apple（苹果公司）
针对边缘设备用户自定义关键词识别难题，提出利用关键词长度约束的SLiCK方法，通过子序列级匹配和多任务学习，显著提升了Libriphrase hard数据集上的识别性能。
2024-09-06 cs.LG cs.SD eess.AS
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab（Arm机器学习研究实验室）；Lund University（隆德大学）
Transformer架构在许多领域都取得了成功，包括自然语言处理、计算机视觉和语音识别。在关键字识别中，自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法，并引入了关键字Transformer（KWT），这是一种完全自我注意的架构，在没有任何预训练或额外数据的情况下，它在多个任务中的性能超过了最先进的水平。令人惊讶的是，这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品，在Google Speech Commands数据集上创造了两个新的基准记录，分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD
Few-Shot Keyword Spotting in Any Language
Harvard University（哈佛大学）；Coqui（Coqui公司）；Google（谷歌）
我们介绍了一个Few-Shot迁移学习方法，用于任何语言中的关键字识别。利用九种语言的开放语音语料库，我们自动提取一个大型的多语种关键字银行，并用它来训练嵌入模型。仅用五个训练样本，我们就微调了用于关键字识别的嵌入模型，并在这九种语言中对嵌入模型未见过的180个新关键字进行了关键字分类，取得了平均0.75的F1分数。这种嵌入模型也适用于新的语言。我们在5次模型上获得了0.65的平均F1分数，其中260个关键字是在嵌入模型看不到的13种新语言中采样的。我们在两个上下文中调查了我们的5杆模型的流媒体准确性：关键字定位和关键字搜索。在22种语言的440个关键字中，我们实现了87.4%的平均流关键字识别准确率，错误接受率为4.3%，并观察到关键字搜索的初步结果。
2021-09-09 cs.CL eess.AS
QbyE-MLPMixer: Query-by-Example Open-Vocabulary Keyword Spotting using MLPMixer
LG Electronics Toronto AI Lab（LG电子多伦多人工智能实验室）；LG Electronics Artificial Intelligence Lab（LG电子人工智能实验室）
当前的关键词识别系统通常使用大量预定义的关键词进行训练。在开放式词汇设置中识别关键字对于个性化智能设备交互至关重要。为了实现这一目标，我们提出了一个纯粹的基于MLP的神经网络，它是基于MLPMixer -一个MLP模型架构，有效地取代了Vision Transformers中的注意力机制。我们研究了不同的方式来适应MLPMixer架构的QbyE开放词汇表关键字定位任务。与最先进的RNN和CNN模型的比较表明，我们的方法在公开可用的Hey-Snips数据集和具有400个扬声器的更大规模内部数据集上都在具有挑战性的情况下（10 dB和6 dB环境）实现了更好的性能。与基线模型相比，我们提出的模型的参数和MAC数量也较少。
2022-06-23 cs.CL cs.LG eess.AS
A Cascade Architecture for Keyword Spotting on Mobile Devices
Google Inc.（谷歌公司）
我们提出了一个级联架构的关键字定位与说话人验证移动设备上。通过将小的计算占用空间与专用的数字信号处理（DSP）芯片配对，我们能够在持续监听关键字的同时实现低功耗。
2017-12-10 cs.SD eess.AS
Metric Learning for Keyword Spotting
Naver Corporation（NAVER 公司）
这项工作的目标是通过度量学习训练有效的表示关键字定位。大多数现有的作品地址作为一个封闭的集分类问题，目标和非目标关键字的关键字定位。因此，目前基于分类器的关键词识别系统在训练阶段看不见的非目标声音上表现不佳，导致现实世界中的误报率很高。在现实中，关键词定位是一个检测问题，其中预定义的目标关键词从各种未知的声音中检测出来。这与度量学习问题有许多相似之处，因为看不见的和未知的非目标声音必须与目标关键字明确区分开来。然而，一个关键的区别是目标关键字是已知的和预定义的。为此，我们提出了一种基于度量学习的新方法，该方法最大化目标和非目标关键字之间的距离，但也学习目标关键字的每类权重。在Google Speech Commands数据集上的实验表明，我们的方法显着减少了对看不见的非目标关键字的误报，同时保持了整体分类精度。
2020-05-18 cs.SD eess.AS
Dynamic curriculum learning via data parameters for noise robust keyword spotting
Apple（苹果公司）
我们提出了通过数据参数进行动态课程学习，以实现噪声鲁棒关键字定位。近来，数据参数学习已经被引入用于图像处理，其中，针对目标类别和实例的权重参数（所谓的数据参数）被引入并且与模型参数一起被优化。数据参数在训练期间缩放logits并控制类和实例的重要性，这使得自动课程学习无需对训练数据进行额外的注释。同样，在本文中，我们提出了使用这种课程学习方法的声学建模，并训练一个声学模型上干净和嘈杂的话语与数据参数。所提出的方法在梯度下降优化中自动学习类和实例的难度，例如由于低语音噪声比（SNR），并执行课程学习。该课程学习导致声学模型的准确性的全面提高。我们评估所提出的方法对关键字定位任务的有效性。实验结果表明，与简单地在多条件数据集上训练的基线模型相比，数据参数的错误拒绝率相对降低了7.7%。
2021-02-18 cs.AI cs.LG cs.SD
Domain Aware Training for Far-field Small-footprint Keyword Spotting
Duke Kunshan University（昆山杜克大学）；Montage Technology（澜起科技）
在本文中，我们专注于小足迹的关键字发现下的远场场景的任务。远场环境是现实语音应用中经常遇到的环境，由于室内混响和各种噪声的影响，远场环境会导致语音性能的严重下降。我们的基线系统建立在卷积神经网络上，该网络使用远场和近距离说话语音的合并数据进行训练。为了应对这些失真，我们开发了三个领域感知训练系统，包括领域嵌入系统，深度CORAL系统和多任务学习系统。这些方法将领域知识结合到网络训练中，并提高了关键字分类器在远场条件下的性能。实验结果表明，我们提出的方法管理，以保持性能上的近距离说话的语音，并取得显着改善远场测试集。
2020-08-07 cs.LG eess.AS
On the Efficiency of Integrating Self-supervised Learning and Meta-learning for User-defined Few-shot Keyword Spotting
National Taiwan University（台湾大学）；intelliGo Technology inc.（intelliGo科技公司）
用户定义的关键字识别是一项检测用户定义的新口语术语的任务。这可以被看作是一个少样本学习问题，因为用户通过提供许多示例来定义他们想要的关键字是不合理的。为了解决这个问题，以前的作品试图纳入自监督学习模型或应用元学习算法。但目前尚不清楚自监督学习和元学习是否是互补的，以及这两种方法的哪种组合对于Few-Shot关键字发现最有效。在这项工作中，我们系统地研究这些问题，利用各种自监督学习模型，并将它们与各种各样的元学习算法相结合。实验结果表明，HuBERT与匹配网络相结合的方法效果最好，对Few-Shot样本的变化具有较强的鲁棒性。
2022-10-05 cs.LG eess.AS
Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting
Device Technology Research Institute（设备技术研究所）；AI Chip Design Open Innovation Laboratory（AI芯片设计开放创新实验室）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们提出了神经网络模型的基础上，神经常微分方程（NODE）的小足迹关键字定位（KWS）。我们提出的技术，应用节点的KWS，使之有可能采用批量归一化的节点为基础的网络，并减少推理过程中的计算量。最后，我们表明，所提出的模型的模型参数的数量比传统的KWS模型减少了68%。
2020-09-06 cs.LG cs.SD eess.AS
Neural Architecture Search For Keyword Spotting
University of Alberta（阿尔伯塔大学）；Huawei Technologies（华为技术）
深度神经网络最近已经成为关键词识别系统的一种流行解决方案，它可以通过语音控制智能设备。在本文中，我们应用神经架构搜索来搜索卷积神经网络模型，这些模型可以帮助提高基于从声学信号中提取的特征的关键字定位的性能，同时保持可接受的内存占用。具体来说，我们使用微分架构搜索技术搜索运营商和他们的连接在一个预定义的小区搜索空间。然后，在深度和宽度上按比例放大所发现的单元，以实现具有竞争力的性能。我们在Google的Speech Commands Dataset上评估了所提出的方法，并在文献中常见的12类话语分类的设置上实现了超过97%的最先进的准确率。
2020-09-02 cs.LG cs.SD eess.AS
DONUT: CTC-based Query-by-Example Keyword Spotting
关键字定位-或唤醒词检测-是现代语音控制设备免提操作的基本功能。随着这种设备变得无处不在，用户可能想要选择个性化的自定义唤醒词。在这项工作中，我们提出了DONUT，一个基于CTC的算法，在线查询的关键字定位，使自定义唤醒词检测。该算法通过记录来自用户的少量训练样本、从这些训练样本生成一组标签序列假设、以及通过在给定新音频记录的情况下聚合所有假设的分数来检测唤醒词来工作。我们的方法结合了通用性和可解释性的CTC为基础的关键字发现与用户的适应性和方便性的传统查询的例子系统。DONUT具有低计算要求，非常适合嵌入式系统上的学习和推理，而不需要将私有用户数据上传到云端。
2018-11-26 cs.LG cs.SD eess.AS
Low-resource keyword spotting using contrastively trained transformer acoustic word embeddings
提出ContrastiveTransformer模型，通过NT-Xent损失优化声学词嵌入，在卢干达语和班巴拉语极低资源关键词识别中优于现有方法。
2025-06-21 eess.AS
Small-footprint Keyword Spotting with Graph Convolutional Network
Tsinghua University（清华大学）；TsingMicro Co. Ltd.（清微电子股份有限公司）
尽管深度神经网络最近取得了成功，但在资源受限的设备上实现高精度关键词发现任务（KWS）仍然具有挑战性。在这项研究中，我们提出了一种新的上下文感知和紧凑的架构关键字发现任务。基于剩余连接和瓶颈结构，我们设计了一个紧凑和高效的网络KWS任务。为了利用卷积特征映射的长程依赖性和全局上下文，引入图卷积网络来编码非局部关系。通过在Google语音命令数据集上的测试，该方法具有最佳的性能，并以较低的计算代价大幅优于现有的方法。
2019-12-11 cs.CL cs.LG cs.SD
Behavior of Keyword Spotting Networks Under Noisy Conditions
Indian Institute Technology Bombay（印度理工学院孟买分校）；University of Tübingen（图宾根大学）
随着人工智能和智能设备的发展，关键词识别（KWS）正成为一种普遍的需求。最近在这一领域的工作集中在几个不同的架构，以实现良好的结果，低到中等噪声的数据集。然而，这些模型的性能恶化，在高噪声条件下，我们的实验所示。在我们的论文中，我们提出了一个广泛的比较国家的最先进的KWS网络在各种噪声条件下。我们还建议自适应批量归一化作为一种技术，以提高网络的性能时，在训练阶段的噪声文件是未知的。这种高噪声特性的结果使未来的工作，在开发模型，在上述条件下表现更好。
2021-09-15 cs.LG eess.AS
Personalizing Keyword Spotting with Speaker Information
Universidad Autónoma de Madrid（马德里自治大学）；Google LLC（谷歌有限责任公司）
针对关键词识别系统难适配多样化人群的问题，提出基于FiLM融合说话人信息的个性化方法，多设置实验验证其能显著提升检测准确率，且参量和开销增加极小，实用性强。
2023-11-06 cs.LG cs.SD eess.AS
Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization
Graz University of Technology（格拉茨技术大学）
本文介绍了神经架构搜索（NAS）的自动发现小模型的关键字定位（KWS）在有限的资源环境。我们采用可微分NAS方法来优化卷积神经网络（CNN）的结构，以最大限度地提高分类准确性，同时最大限度地减少每个推理的操作次数。仅使用NAS，我们就能够在Google语音命令数据集上获得95.4%准确率的高效模型，内存使用量为494.8 kB，操作量为1960万次。此外，权重量化用于进一步减少存储器消耗。我们表明，可以使用低位宽（例如1位）的权重量化，而不会有很大的准确性损失。通过将输入特征的数量从10 MFCC增加到20 MFCC，我们能够在340.1 kB的内存使用和2710万次操作的情况下将准确率提高到96.3%。
2020-12-18 cs.LG eess.AS
Orthogonality Constrained Multi-Head Attention For Keyword Spotting
Qualcomm AI Research, Qualcomm Korea YH（高通人工智能研究院，高通韩国YH）
多头注意力机制能够从顺序数据中学习各种表示，同时注意不同的顺序，例如，口语中的词段或音节。从连续性，它检索更丰富的信息比一个单一的头注意，只总结了整个序列到一个上下文向量。然而，多头注意力的简单使用并不能保证这种丰富性，因为注意力头可能具有位置和表示冗余。在本文中，我们提出了一个正则化技术的多头注意力机制在端到端的神经关键字发现系统。增加惩罚注意力头部之间的位置和上下文非正交性的正则化项鼓励从单独的连续性输出不同的表示，这又使得能够在没有显式序列模型（诸如隐马尔可夫模型）的情况下利用结构化信息。此外，头内上下文非正交性正则化鼓励每个注意力头在关键字示例中具有相似的表示，这有助于通过减少特征可变性来进行分类。实验结果表明，所提出的正则化技术显着提高了关键字定位性能的关键字“嘿Snapdragon”。
2019-10-10 cs.LG eess.AS stat.ML
Vocal Tract Length Warped Features for Spoken Keyword Spotting
Indian Institute of Information Technology, Sri City（印度斯里城信息技术学院）；Aalborg University（奥尔堡大学）
针对语音关键词检测，本文提出利用声道长度规整特征的三种DNN建模与评分/拼接方法，并在Google Command数据集上验证了准确率提升。
2025-01-07 cs.AI cs.LG cs.SD
Sparse Binarization for Fast Keyword Spotting
[affiliation=1]（机构1）
针对边缘设备资源受限问题，提出基于稀疏输入表示和线性分类器的新型关键词唤醒模型，在提升速度和准确率的同时增强了抗噪鲁棒性。
2024-06-09 cs.LG cs.SD eess.AS
EfficientNet-Absolute Zero for Continuous Speech Keyword Spotting
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Tehran University（德黑兰大学）
关键词识别是利用计算机从录制的演讲中找出特定的单词或短语的过程。深度神经网络算法作为一个强大的引擎，如果在适当的数据集上进行训练，就可以处理这个问题。为此，足球关键词数据集（FKD），作为一个新的关键词发现数据集在波斯语，收集众包。该数据集包含18个类别的近31000个样本。提出了连续语音合成方法，使FKD在处理连续语音的实际应用中具有实用价值。此外，我们提出了一个轻量级的架构，称为EfficientNet-A0（绝对零），通过应用复合缩放方法对EfficientNet-B 0的关键字定位任务。最后，所提出的架构与各种模型进行评估。事实证明，EfficientNet-A0和Resnet模型在该数据集上的表现优于其他模型。
2020-12-31 cs.CL cs.SD eess.AS
VSVC: Backdoor attack against Keyword Spotting based on Voiceprint Selection and Voice Conversion
Hohai University（河海大学）；RMIT University（皇家墨尔本理工大学）；National University of Singapore（新加坡国立大学）
基于深度神经网络（DNN）的关键词识别（KWS）在话音控制场景中取得了巨大成功。然而，这种基于DNN的KWS系统的训练通常需要大量的数据和硬件资源。制造商通常将此过程委托给第三方平台。这使得训练过程无法控制，攻击者可以通过操纵第三方训练数据在模型中植入后门。有效的后门攻击可以迫使模型在某些条件下做出指定的判断，即，触发器本文设计了一种基于声纹选择和语音转换的后门攻击方案，简称VSVC。实验结果表明，VSVC是可行的，达到平均攻击成功率接近97%，在四个受害者模型中毒小于1%的训练数据。
2022-12-20 cs.AI cs.CR cs.LG
Conditional Online Learning for Keyword Spotting
SiDi（SiDi研究所）
提出一种基于SGD的设备端在线持续学习方法，通过条件模型更新机制在动态音频流中提升关键词检测模型性能并缓解灾难性遗忘。
2023-05-19 cs.LG cs.SD eess.AS
PBSM: Backdoor attack against Keyword spotting based on pitch boosting and sound masking
Hohai University（河海大学）；RMIT University（皇家墨尔本理工大学）；National University of Singapore（新加坡国立大学）
关键词定位（KWS）已广泛应用于各种语音控制场景中。KWS的训练通常基于深度神经网络，需要大量的数据。制造商通常使用第三方数据来训练KWS。然而，深度神经网络对制造商来说并不具有足够的可解释性，攻击者可以操纵第三方训练数据，在模型训练期间植入后门。有效的后门攻击可以迫使模型在某些条件下做出指定的判断，即，触发器本文设计了一种基于音调提升和声音掩蔽的KWS后门攻击方案PBSM。实验结果表明，PBSM是可行的，达到平均攻击成功率接近90%，在三个受害者模型中毒小于1%的训练数据。
2022-11-16 cs.AI cs.CR cs.LG
Progressive Continual Learning for Spoken Keyword Spotting
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
在部署后更新关键字定位（KWS）模型时，灾难性遗忘是一个棘手的挑战。为了应对这些挑战，我们提出了一个渐进式的持续学习策略小足迹口语关键字发现（PCL-KWS）。具体来说，建议的PCL-KWS框架引入了一个网络实例化器来生成特定于任务的子网络，用于记住以前学习的关键字。因此，PCL-KWS方法在不忘记先前知识的情况下逐步学习新的关键字。此外，PCL-KWS的关键字感知网络缩放机制在实现高性能的同时抑制了模型参数的增长。实验结果表明，在连续学习五个新任务后，与其他基线相比，我们提出的PCL-KWS方法在Google Speech Command数据集上的所有任务的平均准确率为92.8%。
2022-02-07 cs.CL cs.SD eess.AS
Optimize what matters: Training DNN-HMM Keyword Spotting Model Using End Metric
Apple（苹果公司）
基于深度神经网络-隐马尔可夫模型（DNN-HMM）的方法已经成功地用于检测唤醒词以触发设备的许多始终在线的关键词发现算法。DNN预测给定语音帧的状态概率，而HMM解码器组合多个语音帧的DNN预测以计算关键字检测分数。在现有方法中，DNN是独立于HMM参数进行训练的，以最小化预测状态概率和地面真实状态概率之间的交叉熵损失。DNN训练损失（交叉熵）和结束度量（检测分数）之间的不匹配是关键字定位任务的次优性能的主要来源。我们通过一种新的端到端训练策略来解决这种损失度量不匹配的问题，该策略通过优化检测分数来学习DNN参数。为此，我们使HMM解码器（动态规划）可微，并通过它反向传播，以最大限度地提高关键字的分数，并最小化非关键字语音段的分数。我们的方法不需要在模型架构或推理框架的任何变化，因此，没有运行时内存或计算需求的开销。此外，我们在相同的错误触发体验下显着降低了错误拒绝率（FRR）（超过独立DNN训练的70%）。
2021-02-26 cs.LG cs.SD eess.AS
Query-by-example on-device keyword spotting
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc（高通技术公司）
关键词定位（KWS）系统确定连续语音流中是否存在（通常是预定义的）关键词。本文提出了一种基于实例的设备上的知识库系统，它是用户特定的。该系统包括两个主要步骤：查询注册和测试。在查询注册步骤中，语音后验由基于连接主义时间分类的小足迹自动语音识别模型输出。利用语音级后验图，建立有限状态转换器（FST）的假设图，从而可以注册任何关键字，从而避免了词汇表外的问题。在测试中，使用FST对输入音频的对数似然进行评分。我们提出了一个阈值预测方法，同时只使用用户特定的关键字假设。该系统通过在波形中重新排列每个查询话语来生成特定于查询的否定。阈值是基于登记查询和生成的否定决定的。我们用英语测试了两个关键字，所提出的工作在保持简单性的同时表现出良好的性能。
2020-01-14 cs.CL cs.LG eess.AS
Keyword Spotting with Hyper-Matched Filters for Small Footprint Devices
Technion – Israel Institute of Technology, Faculty of Electrical and Computer Engineering（技术学院 – 以色列理工学院，电气与计算机工程学院）；Northwestern University, Department of Linguistics（西北大学，语言学系）
本文提出一种面向小型设备的开放词汇关键词识别模型，采用超网络生成匹配滤波器权重，以微型编码器实现最先进检测性能，最小模型仅420万参数即超越数倍大小模型。
2025-08-06 cs.LG cs.SD eess.AS
Assessing the Impact of Anisotropy in Neural Representations of Speech: A Case Study on Keyword Spotting
CNRS（法国国家科学研究中心）
本研究针对计算文献语言学的关键词识别任务，探究预训练语音表征的各向异性对下游任务的影响，通过动态时间规整验证wav2vec2即便存在各向异性仍可有效无转录识词，证明了预训练语音表征的鲁棒性与预训练的价值。
2025-06-06 cs.AI cs.CL cs.SD
On-Device Constrained Self-Supervised Speech Representation Learning for Keyword Spotting via Knowledge Distillation
University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）；Zoom Video Communications, Inc.（祖姆视频通信公司）
本文提出基于知识蒸馏的设备端自监督语音表示学习架构，通过师生框架和双视图互相关蒸馏，在资源受限条件下实现高效关键词识别。
2023-07-06 cs.CL cs.SD eess.AS
On-Device Domain Learning for Keyword Spotting on Low-Power Extreme Edge Embedded Systems
ETH Zurich（苏黎世联邦理工学院）；Huawei Technologies（华为技术有限公司）；KU Leuven（鲁汶大学）；VERSES AI；University of Bologna（博洛尼亚大学）
针对噪声环境下关键词识别准确率下降的问题，提出一种完全设备端的域适配系统，在不到10 kB内存和仅100条标注话语下恢复5%准确率，并在超低功耗微控制器上以806 mJ能耗、14秒内完成适配。
2024-03-12 cs.LG cs.SD eess.AS
Small-Footprint Keyword Spotting with Multi-Scale Temporal Convolution
University of Science and Technology of China（中国科学技术大学）
关键词识别（KWS）在智能设备上终端和服务机器人的人机交互中起着至关重要的作用。在KWS任务中实现小占用空间和高精度之间的权衡仍然具有挑战性。在本文中，我们探讨了应用多尺度时间建模的小足迹关键字定位任务。我们提出了一个多分支时间卷积模块（MTConv），一个由多个具有不同内核大小的时间卷积滤波器组成的CNN块，它丰富了时间特征空间。此外，利用时间卷积和深度卷积的优点，为KWS系统设计了一个时间有效的神经网络（TENet）。基于目的模型，我们用可以训练以获得更好性能的MTConv替换标准时间卷积层。而在推理阶段，MTConv可以等效地转换为基础卷积架构，因此与基础模型相比，不会增加额外的参数和计算成本。Google Speech Command Dataset上的结果显示，我们使用MTConv训练的模型之一仅用10万个参数就能达到96.8%的准确率。
2020-10-20 cs.LG cs.SD eess.AS
Training Keyword Spotting Models on Non-IID Data with Federated Learning
Google LLC（谷歌有限责任公司）
我们证明了一个生产质量的关键词识别模型可以使用联邦学习在设备上进行训练，并实现与中央训练模型相当的错误接受率和错误拒绝率。为了克服与拟合设备上的数据（本质上是非独立和同分布的）相关的算法约束，我们使用大规模联邦仿真对优化算法和超参数配置进行了彻底的实证研究。为了克服资源限制，我们用SpecAugment替换了内存密集型MTR数据增强，从而将错误拒绝率降低了56%。最后，为了标记示例（给定设备上数据的零可见性），我们探索了师生培训。
2020-06-04 cs.CL cs.LG cs.SD
Efficient keyword spotting using time delay neural networks
Fluent.ai Inc.（Fluent.ai公司）
本文介绍了一种新的方法，使用两阶段的时间延迟神经网络的实时关键字定位。该模型使用迁移学习进行训练：使用来自大型语音语料库的电话目标进行初始训练，然后使用来自较小数据集的关键字目标进行训练。该系统的准确性进行了评估两个单独的任务。第一个是免费提供的Google Speech Commands数据集。第二个是专门为关键字定位开发的内部任务。结果表明，与以前已知的技术相比，在清洁和嘈杂的环境中的错误接受和错误拒绝率显着改善。此外，我们研究了各种技术，以减少计算方面的乘法每秒的音频。与最近发表的工作相比，所提出的系统提供了高达89%的计算复杂性节省。
2018-08-28 cs.SD eess.AS
A Literature Review of Keyword Spotting Technologies for Urdu
LUMS（拉合尔管理科学大学）
本文献综述了乌尔都语关键词检索（KWS）技术的发展，追溯了从高斯混合模型到神经架构的演变，探讨了多任务学习与自监督方法在资源受限环境中的作用，强调需针对乌尔都语等低资源语言开展特定情境研究以推动包容性语音技术。
2024-09-16 cs.AI cs.CL cs.LG
Production federated keyword spotting via distillation, filtering, and joint federated-centralized training
Google LLC（谷歌有限责任公司）；University of Washington（华盛顿大学）
我们在真实用户设备上使用联邦学习训练了一个关键字识别模型，并在将该模型部署到手机上进行推理时观察到了显著的改进。为了弥补设备上训练缓存中缺失的数据域，我们采用了联合集中式训练。为了在设备上没有策划标签的情况下学习，我们制定了一个基于用户反馈信号的置信度过滤策略，用于联邦蒸馏。这些技术创建的模型显著改善了离线评估中的质量指标和实时A/B实验中的用户体验指标。
2022-06-29 cs.CL cs.LG cs.SD
