A Cascade Architecture for Keyword Spotting on Mobile Devices
Google Inc.（谷歌公司）
我们提出了一个级联架构的关键字定位与说话人验证移动设备上。通过将小的计算占用空间与专用的数字信号处理（DSP）芯片配对，我们能够在持续监听关键字的同时实现低功耗。
2017-12-10 cs.SD eess.AS
Metric Learning for Keyword Spotting
Naver Corporation（NAVER 公司）
这项工作的目标是通过度量学习训练有效的表示关键字定位。大多数现有的作品地址作为一个封闭的集分类问题，目标和非目标关键字的关键字定位。因此，目前基于分类器的关键词识别系统在训练阶段看不见的非目标声音上表现不佳，导致现实世界中的误报率很高。在现实中，关键词定位是一个检测问题，其中预定义的目标关键词从各种未知的声音中检测出来。这与度量学习问题有许多相似之处，因为看不见的和未知的非目标声音必须与目标关键字明确区分开来。然而，一个关键的区别是目标关键字是已知的和预定义的。为此，我们提出了一种基于度量学习的新方法，该方法最大化目标和非目标关键字之间的距离，但也学习目标关键字的每类权重。在Google Speech Commands数据集上的实验表明，我们的方法显着减少了对看不见的非目标关键字的误报，同时保持了整体分类精度。
2020-05-18 cs.SD eess.AS
ImKWS: Test-Time Adaptation for Keyword Spotting with Class Imbalance
Jiangsu University（江苏大学）；The University of Melbourne（墨尔本大学）
针对关键词识别中背景噪声导致的类别不平衡问题，提出ImKWS方法，通过分离熵为奖励和惩罚分支并施加多变换一致性，实现可靠的测试时自适应。
2026-06-18 eess.AS
Text-aware Speech Separation for Multi-talker Keyword Spotting
针对多说话人混合语音中的关键词唤醒，本文提出融合文本线索的 TPDT-SS 语音分离前端与排列确定性训练方法，有效解决排列问题并提升后端 KWS 性能。
2024-06-18 eess.AS
Dark Experience for Incremental Keyword Spotting
针对增量关键词识别中的灾难性遗忘及现有持续学习方法依赖任务ID、存储开销高的问题，提出结合排练与暗知识蒸馏的DE-KWS方法，在不增大模型的前提下提升了跨任务平均准确率，适配边缘设备。
2025-01-12 eess.AS
Contextual Biasing for Streaming ASR via CTC-based Word Spotting
National Taiwan Normal University（台湾师范大学）
本文提出了一种基于CTC的词搜索的流式ASR上下文偏置方法，通过在音频块间维护活跃关键词路径，实现了跨块关键词检测，并引入增量承诺机制以降低延迟并保证输出稳定性，实验表明该方法有效降低了WER并提升了关键词F分数。
2026-05-19 eess.AS
Maximum-Entropy Adversarial Audio Augmentation for Keyword Spotting
本文提出一种基于最大熵梯度的简单高效音频增强方法，在关键词识别和标准音频基准上验证有效，且与SpecAugment结合可进一步提升性能。
2024-01-12 eess.AS
Few-Shot Keyword Spotting With Prototypical Networks
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
识别特定命令或关键字，关键字识别已广泛用于许多语音界面，如亚马逊的Alexa和Google Home。为了识别一组关键字，大多数最近的基于深度学习的方法使用用大量样本训练的神经网络来识别某些预定义的关键字。这限制了系统识别新的、用户定义的关键字。因此，我们首先将这个问题表述为Few-Shot关键字发现，并使用度量学习来处理它。为了实现这项研究，我们还合成并发布了一个Few-Shot Google Speech Commands数据集。然后，我们提出了一个解决方案的Few-Shot关键字发现问题，使用时间和扩张卷积的原型网络。我们的比较实验结果表明，关键字发现新的关键字，只使用少量的样本。
2020-07-25 cs.LG cs.SD eess.AS
A Lightweight dynamic filter for keyword spotting
本文提出一种轻量级动态滤波器，通过像素级与实例级双分支降低计算复杂度，应用于关键词识别前端增强输入数据可分离性，在未见噪声和小训练数据下以低计算资源稳健工作。
2023-12-22 eess.AS
MALEFA: Multi-grAnularity Learning and Effective False Alarm Suppression for Zero-shot Keyword Spotting
National Taiwan Normal University（台湾师范大学）；National Chi Nan University（国立暨南国际大学）；Realtek Semiconductor Corp（瑞昱半导体公司）
MALEFA通过交叉注意力和多粒度对比学习目标，实现轻量级零样本关键词识别，提升准确率并降低假警率，适用于资源受限设备。
2026-04-04 eess.AS
Open-vocabulary Keyword-spotting with Adaptive Instance Normalization
aiOla Research（aiOla研究院）
提出AdaKWS方法，通过文本编码器输出关键词条件化的归一化参数处理听觉输入，在多语言基准和低资源语言上显著优于基线。
2023-09-13 cs.LG cs.SD eess.AS
Attention-Free Keyword Spotting
Islamic University of Technology（伊斯兰理工大学）
到目前为止，基于注意力的模型已经在关键字识别问题领域取得了巨大的成功。然而，鉴于深度学习的最新进展，问题出现了，对于识别语音关键词，自我注意力是否真的不可替代。因此，我们探索使用门MLP-以前被证明是替代Transformers的视觉任务-的关键字定位任务。我们提供了一系列高效的基于MLP的关键字识别模型，参数少于50万。我们表明，我们的方法在Google Speech Commands V2-12和V2-35基准测试中实现了具有竞争力的性能，参数比基于自我注意力的方法少得多。
2022-04-10 cs.LG cs.SD eess.AS
End-to-End Direction-Aware Keyword Spotting with Spatial Priors in Noisy Environments
AI Research Center, Midea Group (Shanghai) Co., Ltd.（美的集团（上海）有限公司人工智能研究中心）
本文提出端到端多通道关键词 spotting 框架，利用空间线索和方向先验提升噪声环境下的鲁棒性。
2026-03-10 eess.AS
Personalized Keyword Spotting through Multi-task Learning
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键词发现（KWS）在智能设备上实现基于语音的用户交互中起着至关重要的作用，并且传统的KWS（C-KWS）方法集中于检测用户不可知的预定义关键词。然而，在实践中，大多数用户交互来自在设备中注册的目标用户，这促使构建个性化关键词发现。我们设计了两个个性化的KWS任务：（1）目标用户偏向的KWS（TB-KWS）和（2）目标用户唯一的KWS（TO-KWS）。为了解决这些任务，我们提出了通过多任务学习（PK-MTL），包括多任务学习和任务适应个性化的关键字发现。首先，我们介绍了应用多任务学习的关键字定位和说话人验证，利用用户信息的关键字定位系统。接下来，我们设计了任务特定的评分函数，以适应个性化的KWS任务彻底。我们评估我们的框架在传统和个性化的场景，结果表明，PK-MTL可以显着降低误报率，特别是在各种实际场景。
2022-06-28 cs.LG cs.SD eess.AS
Efficient keyword spotting using time delay neural networks
Fluent.ai Inc.（Fluent.ai公司）
本文介绍了一种新的方法，使用两阶段的时间延迟神经网络的实时关键字定位。该模型使用迁移学习进行训练：使用来自大型语音语料库的电话目标进行初始训练，然后使用来自较小数据集的关键字目标进行训练。该系统的准确性进行了评估两个单独的任务。第一个是免费提供的Google Speech Commands数据集。第二个是专门为关键字定位开发的内部任务。结果表明，与以前已知的技术相比，在清洁和嘈杂的环境中的错误接受和错误拒绝率显着改善。此外，我们研究了各种技术，以减少计算方面的乘法每秒的音频。与最近发表的工作相比，所提出的系统提供了高达89%的计算复杂性节省。
2018-08-28 cs.SD eess.AS
Metric Learning for User-defined Keyword Spotting
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Hyundai Motor Company（现代汽车公司）；dot Inc.（42dot公司）
这项工作的目标是检测用户定义的新口语术语。虽然大多数以前的作品解决关键字定位（KWS）作为一个封闭的分类问题，这限制了他们的可转移性看不见的条款。定义自定义关键字的能力在用户体验方面具有优势。在本文中，我们提出了一个基于度量学习的训练策略，用户定义的关键字定位。具体而言，我们做出了以下贡献：（1）利用现有的语音语料库构建了一个大规模的关键词数据集，并提出了一种过滤方法来去除降低模型训练的数据;（2）我们提出了一种基于度量学习的两阶段训练策略，并证明了所提出的方法通过丰富其表示来提高用户定义的关键词识别任务的性能;（3）为便于用户自定义KWS领域的公平比较，提出了统一的评价协议和评价指标。我们提出的系统不需要对用户定义的关键字进行增量训练，并且使用建议的和现有的指标在Google Speech Commands数据集上的表现明显优于以前的作品。
2022-11-01 cs.SD eess.AS
Dummy Prototypical Networks for Few-Shot Open-Set Keyword Spotting
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键字定位是在流式音频中检测关键字的任务。传统的关键词识别以预定义的关键词分类为目标，但是在Few-Shot（按示例查询）关键词识别中存在越来越多的关注，例如，N路分类给出了M-shot支持样本。此外，在现实世界的场景中，可能存在来自意外类别（开集）的话语，其需要被拒绝而不是被分类为N个类别之一。结合这两个需求，我们解决了Few-Shot开放集关键字发现与一个新的基准设置，命名为splitGSC。我们提出了基于度量学习的已知场景虚拟原型，以更好地检测开集，并介绍了一种简单而强大的方法，虚拟原型网络（D-ProtoNets）。我们的D-ProtoNets显示了明确的利润率相比，最近的Few-Shot开集识别（FSOSR）的方法在建议的splitGSC。我们还在标准基准测试miniImageNet上验证了我们的方法，D-ProtoNets显示了FSOSR中最先进的开集检测率。
2022-06-28 cs.LG cs.SD eess.AS
EfficientNet-Absolute Zero for Continuous Speech Keyword Spotting
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Tehran University（德黑兰大学）
关键词识别是利用计算机从录制的演讲中找出特定的单词或短语的过程。深度神经网络算法作为一个强大的引擎，如果在适当的数据集上进行训练，就可以处理这个问题。为此，足球关键词数据集（FKD），作为一个新的关键词发现数据集在波斯语，收集众包。该数据集包含18个类别的近31000个样本。提出了连续语音合成方法，使FKD在处理连续语音的实际应用中具有实用价值。此外，我们提出了一个轻量级的架构，称为EfficientNet-A0（绝对零），通过应用复合缩放方法对EfficientNet-B 0的关键字定位任务。最后，所提出的架构与各种模型进行评估。事实证明，EfficientNet-A0和Resnet模型在该数据集上的表现优于其他模型。
2020-12-31 cs.CL cs.SD eess.AS
Toward noise-robust whisper keyword spotting on headphones with in-earcup microphone and curriculum learning
本文研究设备端耳语关键词检测的噪声鲁棒性问题，提出结合降噪耳机内置麦克风的多麦克风处理与课程学习策略，在噪声条件下将 F1 score 提升高达 15%。
2025-02-01 cs.SD eess.AS
Prototypical Metric Transfer Learning for Continuous Speech Keyword Spotting With Limited Training Data
ParallelDots, Inc.（ParallelDots公司）
连续语音关键词识别（CSKS）是指当训练数据中存在少量关键词时，在记录的对话中识别关键词的问题。与更常见的关键字定位不同，算法需要检测单独的关键字或短语，如“Alexa”，“Cortana”，“Hi Alexa！“，“怎么样奥克塔维亚？在语音中，CSKs需要从连续的语音流中过滤出嵌入的单词，即。在“我认识一个叫Anna的开发人员，他可以调查这个github问题。“除了有限的训练数据可用性的问题，CSKS是一个非常不平衡的分类问题。我们通过使用损失函数（原型网络损失和度量损失）和迁移学习的新组合来解决简单关键字定位基线对于上述两个挑战的局限性。我们的方法将F1分数提高了10%以上。
2019-01-12 cs.CL cs.LG cs.SD
Progressive Continual Learning for Spoken Keyword Spotting
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
在部署后更新关键字定位（KWS）模型时，灾难性遗忘是一个棘手的挑战。为了应对这些挑战，我们提出了一个渐进式的持续学习策略小足迹口语关键字发现（PCL-KWS）。具体来说，建议的PCL-KWS框架引入了一个网络实例化器来生成特定于任务的子网络，用于记住以前学习的关键字。因此，PCL-KWS方法在不忘记先前知识的情况下逐步学习新的关键字。此外，PCL-KWS的关键字感知网络缩放机制在实现高性能的同时抑制了模型参数的增长。实验结果表明，在连续学习五个新任务后，与其他基线相比，我们提出的PCL-KWS方法在Google Speech Command数据集上的所有任务的平均准确率为92.8%。
2022-02-07 cs.CL cs.SD eess.AS
An Anchor-Free Detector for Continuous Speech Keyword Spotting
Microsoft Research Asia（微软亚洲研究院）；University of Technology Sydney（悉尼科技大学）
连续语音关键词识别（CSKWS）是一项在连续语音中检测预定义关键词的任务。在本文中，我们把CSKWS作为一个一维的目标检测任务，并提出了一种新的无锚检测器，命名为AF-KWS，来解决这个问题。AF-KWS通过单级深度神经网络直接回归关键词的中心位置和长度。特别是，AF-KWS是专为这个语音任务，因为我们引入了一个辅助的未知类，以排除其他词从非语音或无声的背景。我们已经建立了两个基准数据集LibriTop-20和连续会议分析关键字（CMAK）数据集CSKWS。对这两个数据集的评估表明，我们提出的AF-KWS优于参考方案的大幅度，因此为未来的研究提供了一个体面的基线。
2022-08-09 cs.SD eess.AS
Multitaper mel-spectrograms for keyword spotting
SiDi
本文研究将多锥形技术用于关键词识别的特征提取，通过在不同场景、参数、数据集和嵌入式神经网络上的实验，验证了改进特征的有效性。
2024-07-05 cs.LG eess.AS
Exploring Sequence-to-Sequence Transformer-Transducer Models for Keyword Spotting
Google（谷歌）
在本文中，我们提出了一种新的方法来适应序列到序列转换器-转换器ASR系统的关键字定位（KWS）任务。我们通过将文本转录中的关键字替换为特殊标记并训练系统检测音频流中的标记来实现这一点。<kw><kw>在推理时，我们创建了一个决策函数的灵感来自传统的KWS方法，使我们的方法更适合于KWS任务。此外，我们引入了一个特定的关键字定位损失，通过调整序列判别最小贝叶斯风险训练技术。我们发现，我们的方法显着优于基于ASR的KWS系统。当与传统的关键字定位系统相比，我们的建议具有类似的性能，同时带来了序列到序列训练的优势和灵活性。此外，当与传统的KWS系统相结合，我们的方法可以提高在任何操作点的性能。
2022-11-11 cs.LG cs.SD eess.AS
CaTT-KWS: A Multi-stage Customized Keyword Spotting Framework based on Cascaded Transducer-Transformer
Northwestern Polytechnical University（西北工业大学）；Tencent Technology Co., Ltd（腾讯科技有限公司）
自定义关键词识别（KWS）在边缘设备上部署以实现免提用户体验方面具有很大的潜力。然而，在实际应用中，对于发现数十个甚至数百个关键字，虚警（FA）将是严重的问题，这极大地影响了用户体验。为了解决这个问题，在本文中，我们利用最近的进展，换能器和Transformer为基础的声学模型，并提出了一个新的多级定制的KWS框架命名为级联换能器-Transformer KWS（CaTT-KWS），其中包括一个基于换能器的关键字检测器，一个帧级的电话预测器为基础的力对齐模块和一个基于Transformer的解码器。具体来说，流转换器模块用于发现音频流中的关键词候选项。然后利用音素预测器预测出的音素后验子进行强制对齐，完成第一阶段的关键词验证，细化关键词的时间边界。最后，Transformer解码器进一步验证触发的关键字。我们提出的CaTT-KWS框架有效地降低了FA率，而不会明显损害关键字识别的准确性。具体来说，我们可以在一个具有挑战性的数据集上每小时获得令人印象深刻的0.13 FA，与基于传感器的检测模型相比，FA的相对减少超过90%，而关键字识别准确率仅下降不到2%。
2022-07-04 cs.SD eess.AS
Low-Power Audio Keyword Spotting using Tsetlin Machines
Newcastle University（纽卡斯尔大学）；University of Agder（阿格德尔大学）；Nokia Bell Labs（诺基亚贝尔实验室）
人工智能（AI）驱动的关键词识别（KWS）技术的出现彻底改变了人机交互。然而，当前神经网络（NN）驱动的AI-KWS管道的端到端能源效率，内存占用和系统复杂性的挑战仍然存在。本文评估KWS利用学习自动机驱动的机器学习算法称为Tsetlin机（TM）。通过显著降低参数要求和选择逻辑而不是基于算术的处理，TM为低功耗KWS提供了新的机会，同时保持高学习效率。在本文中，我们探索了一种基于TM的关键字定位（KWS）管道，以证明与NN相比具有更快收敛速度的低复杂性。此外，我们调查的可扩展性与增加的关键字，并探讨实现低功耗片上KWS的潜力。
2021-01-27 cs.SD eess.AS
Sequence-to-sequence Models for Small-Footprint Keyword Spotting
Xiaomi Inc.（小米公司）
在本文中，我们提出了一个序列到序列模型的关键字发现（KWS）。与其他端到端的KWS体系结构相比，我们的模型简化了生产质量的KWS系统的管道，并满足高精度，低延迟，小占地面积的要求。我们还评估了不同编码器架构的性能，包括LSTM和GRU。在真实唤醒数据上的实验表明，我们的方法优于最近提出的基于注意力的端到端模型。具体来说，在73K参数下，我们的序列到序列模型在每小时0.1个虚警（FA）时实现了$\sim$ 3.05\%的虚警拒绝率（FRR）。
2018-11-01 cs.SD eess.AS
On-Device Constrained Self-Supervised Speech Representation Learning for Keyword Spotting via Knowledge Distillation
University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）；Zoom Video Communications, Inc.（祖姆视频通信公司）
本文提出基于知识蒸馏的设备端自监督语音表示学习架构，通过师生框架和双视图互相关蒸馏，在资源受限条件下实现高效关键词识别。
2023-07-06 cs.CL cs.SD eess.AS
SLiCK: Exploiting Subsequences for Length-Constrained Keyword Spotting
Apple（苹果公司）
针对边缘设备用户自定义关键词识别难题，提出利用关键词长度约束的SLiCK方法，通过子序列级匹配和多任务学习，显著提升了Libriphrase hard数据集上的识别性能。
2024-09-06 cs.LG cs.SD eess.AS
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab（Arm机器学习研究实验室）；Lund University（隆德大学）
Transformer架构在许多领域都取得了成功，包括自然语言处理、计算机视觉和语音识别。在关键字识别中，自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法，并引入了关键字Transformer（KWT），这是一种完全自我注意的架构，在没有任何预训练或额外数据的情况下，它在多个任务中的性能超过了最先进的水平。令人惊讶的是，这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品，在Google Speech Commands数据集上创造了两个新的基准记录，分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD
Learning Audio-Text Agreement for Open-vocabulary Keyword Spotting
Naver Corporation（NAVER 公司）；Yonsei University（延世大学）
在本文中，我们提出了一种新的端到最终用户定义的关键字发现方法，利用语言之间的对应模式的语音和文本序列。与以前的方法需要语音关键字注册，我们的方法比较输入查询与注册的文本关键字序列。为了将音频和文本表示放置在一个共同的潜在空间中，我们采用了一种基于注意力的跨模态匹配方法，该方法以端到端的方式进行训练，具有单调匹配损失和关键字分类损失。我们还利用去噪损失的声学嵌入网络，以提高在嘈杂的环境中的鲁棒性。此外，我们还介绍了LibriPhrase数据集，这是一个基于LibriSpeech的新的短语数据集，用于有效地训练关键字识别模型。与其他单模态和跨模态基线相比，我们提出的方法在各种评估集上取得了有竞争力的结果。
2022-07-01 cs.AI cs.LG eess.AS
PhonMatchNet: Phoneme-Guided Zero-Shot Keyword Spotting for User-Defined Keywords
NCSOFT Corporation（NCSOFT公司）
提出PhonMatchNet，利用关键词音频-音素关系，结合双流编码器与音素级损失，实现零样本关键词唤醒，性能显著优于基线，平均EER和AUC相对提升67%和80%。
2023-08-31 cs.SD eess.AS eess.SP
Personalized Keyword Spotting for User-Defined Keywords Leveraging Text-Independent Speaker Verification
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，台湾国立台湾师范大学）；United Link Co., Ltd., Taiwan（台湾联链公司）
提出ZP-KWS轻量框架，结合音素监督音频编码器和紧凑说话人编码器，通过乘法后融合实现零样本关键词检测与说话人验证，在多个数据集上将目标误拒率降低高达60%。
2026-09-18 cs.SD eess.AS
Meta-AF Echo Cancellation for Improved Keyword Spotting
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对传统自适应滤波器忽略下游任务性能的问题，本文改进Meta-AF框架，结合自监督与分类器反馈实现下游分类任务端到端训练，在回声消除+关键词识别任务上无需额外成本即可提升性能。
2023-12-17 cs.SD eess.AS
How Tiny Can Analog Filterbank Features Be Made for Ultra-low-power On-device Keyword Spotting?
Columbia University（哥伦比亚大学）；Barnard College（巴纳德学院）
本文通过仿真研究模拟滤波器组架构参数选择，在仅损失1.8%的10词关键词识别准确率下，将典型最先进模拟滤波器组功耗降低33.6倍，为超低功耗设备端关键词识别提供设计依据。
2023-04-17 cs.SD eess.AS
QbyE-MLPMixer: Query-by-Example Open-Vocabulary Keyword Spotting using MLPMixer
LG Electronics Toronto AI Lab（LG电子多伦多人工智能实验室）；LG Electronics Artificial Intelligence Lab（LG电子人工智能实验室）
当前的关键词识别系统通常使用大量预定义的关键词进行训练。在开放式词汇设置中识别关键字对于个性化智能设备交互至关重要。为了实现这一目标，我们提出了一个纯粹的基于MLP的神经网络，它是基于MLPMixer -一个MLP模型架构，有效地取代了Vision Transformers中的注意力机制。我们研究了不同的方式来适应MLPMixer架构的QbyE开放词汇表关键字定位任务。与最先进的RNN和CNN模型的比较表明，我们的方法在公开可用的Hey-Snips数据集和具有400个扬声器的更大规模内部数据集上都在具有挑战性的情况下（10 dB和6 dB环境）实现了更好的性能。与基线模型相比，我们提出的模型的参数和MAC数量也较少。
2022-06-23 cs.CL cs.LG eess.AS
End-to-End Multi-Look Keyword Spotting
Tencent（腾讯）
关键字定位（KWS）的性能，在虚警和假拒绝，显着下降的远场和噪声条件下。在本文中，我们提出了一个多视神经网络模型的语音增强，同时转向听多个采样的方向。然后，多视角增强与KWS联合训练以形成端到端KWS模型，该模型集成来自多个视角方向的增强信号，并利用注意力机制将模型的注意力动态地调整到可靠源。我们证明，在我们的大噪声和远场评估集，所提出的方法显着提高了KWS的性能对基线KWS系统和最近的基于波束形成器的多波束KWS系统。
2020-05-20 cs.SD eess.AS
End-to-end Models with auditory attention in Multi-channel Keyword Spotting
Xiaomi Inc.（小米公司）
在本文中，我们提出了一个基于注意力的端到端模型，用于多通道关键字定位（KWS），该模型经过训练，可以直接优化KWS结果。因此，我们的模型优于基线模型与信号预处理技术在干净的和有噪声的测试数据。我们还发现，当训练和测试数据相似时，多任务学习会产生更好的性能。迁移学习和多目标光谱映射可以显著增强对噪声环境的鲁棒性。在每小时0.1个虚警（FA）的情况下，具有迁移学习和多目标映射的模型在SNR约为-20的噪声数据中获得了30%的唤醒率的绝对改善。
2018-11-03 cs.SD eess.AS
AutoKWS: Keyword Spotting with Differentiable Architecture Search
Xiaomi AI Lab（小米人工智能实验室）
智能音频设备通过始终在线的轻量级关键字识别程序进行门控，以降低功耗。然而，设计具有高准确性和低延迟的模型以实现准确和快速的响应是具有挑战性的。已经做出了许多努力来开发端到端神经网络，其中依赖可分离卷积，时间卷积和LSTM被用作构建单元。尽管如此，这些利用人类专业知识设计的网络可能无法在广阔的搜索空间中实现最佳权衡。在本文中，我们建议利用可微神经结构搜索的最新进展来发现更有效的网络。我们搜索的模型在Google Speech Command Dataset v1上达到了97.2%的top-1准确率，只有近10万个参数。
2021-02-22 cs.SD eess.AS
Rainbow Keywords: Efficient Incremental Learning for Online Spoken Keyword Spotting
Nanyang Technological University（南洋理工大学）
在部署后更新关键字定位（KWS）模型时，灾难性遗忘是一个棘手的挑战。如果边缘设备由于内存有限而进一步需要KWS模型，则这个问题将更具挑战性。为了缓解这个问题，我们提出了一种新的多样性感知的增量学习方法彩虹关键字（RK）。具体而言，建议RK方法引入了多样性感知采样器，通过计算分类不确定性从历史和传入的关键字中选择不同的集合。因此，RK方法可以在不忘记先前知识的情况下渐进地学习新任务。此外，RK方法还提出了数据增强和知识蒸馏损失函数，以在边缘设备上进行有效的存储管理。实验结果表明，所提出的RK方法在Google Speech Command数据集上的平均准确率比最佳基线提高了4.2%，所需内存更少。这些脚本可以在GitHub上找到。
2022-06-30 cs.CL cs.SD eess.AS
Domain Aware Training for Far-field Small-footprint Keyword Spotting
Duke Kunshan University（昆山杜克大学）；Montage Technology（澜起科技）
在本文中，我们专注于小足迹的关键字发现下的远场场景的任务。远场环境是现实语音应用中经常遇到的环境，由于室内混响和各种噪声的影响，远场环境会导致语音性能的严重下降。我们的基线系统建立在卷积神经网络上，该网络使用远场和近距离说话语音的合并数据进行训练。为了应对这些失真，我们开发了三个领域感知训练系统，包括领域嵌入系统，深度CORAL系统和多任务学习系统。这些方法将领域知识结合到网络训练中，并提高了关键字分类器在远场条件下的性能。实验结果表明，我们提出的方法管理，以保持性能上的近距离说话的语音，并取得显着改善远场测试集。
2020-08-07 cs.LG eess.AS
DCCRN-KWS: an audio bias based model for noise robust small-footprint keyword spotting
Tencent Technology Co., Ltd（腾讯科技有限公司）
针对低信噪比等复杂声学环境下的关键词识别挑战，提出基于音频上下文偏置的DCCRN-KWS多任务模型，结合去噪任务、特征融合等模块提升噪声鲁棒性，在多数据集上性能优于现有方案。
2023-06-13 cs.SD eess.AS
On the Efficiency of Integrating Self-supervised Learning and Meta-learning for User-defined Few-shot Keyword Spotting
National Taiwan University（台湾大学）；intelliGo Technology inc.（intelliGo科技公司）
用户定义的关键字识别是一项检测用户定义的新口语术语的任务。这可以被看作是一个少样本学习问题，因为用户通过提供许多示例来定义他们想要的关键字是不合理的。为了解决这个问题，以前的作品试图纳入自监督学习模型或应用元学习算法。但目前尚不清楚自监督学习和元学习是否是互补的，以及这两种方法的哪种组合对于Few-Shot关键字发现最有效。在这项工作中，我们系统地研究这些问题，利用各种自监督学习模型，并将它们与各种各样的元学习算法相结合。实验结果表明，HuBERT与匹配网络相结合的方法效果最好，对Few-Shot样本的变化具有较强的鲁棒性。
2022-10-05 cs.LG eess.AS
AUC Optimization for Robust Small-footprint Keyword Spotting with Limited Training Data
Northwestern Polytechnical University（西北工业大学）
深度神经网络为小足迹关键字识别（KWS）提供了有效的解决方案。然而，如果训练数据是有限的，它仍然具有挑战性，以实现强大的和高度准确的KWS在现实世界的场景中，看不见的声音，是训练数据中经常遇到的。大多数传统方法的目标是最大限度地提高训练集的分类精度，而不考虑看不见的声音。为了增强基于KWS的深度神经网络的鲁棒性，本文引入了一种新的损失函数，称为接收器操作特征曲线（AUC）下面积的最大化。该方法不仅最大化了封闭训练集上关键词的分类准确率，而且最大化了AUC得分，以优化非关键词片段检测的性能。在Google Speech Commands数据集v1和v2上的实验结果表明，我们的方法在大多数评估指标方面都达到了新的最先进的性能。
2021-07-13 cs.SD eess.AS
Seeing wake words: Audio-visual Keyword Spotting
University of Oxford（牛津大学）；Omilia Conversational Intelligence（奥米利亚对话智能公司）
这项工作的目标是自动确定一个感兴趣的词是否以及何时由一个说话的脸说出，有或没有音频。我们提出了一种适用于野外视频的zero-shot方法。我们的主要贡献包括：（1）一种新的卷积架构，KWS-Net，它使用相似性映射中间表示将任务分为（i）序列匹配，和（ii）模式检测，以决定单词是否存在以及何时存在;（2）我们证明，如果音频可用，视觉关键字定位可以提高干净和嘈杂音频信号的性能。最后，（3）我们证明了我们的方法可以推广到其他语言，特别是法语和德语，并且通过微调在英语上预先训练的网络，在语言特定数据较少的情况下实现了与英语相当的性能。该方法在相同的基准上进行训练和测试时，超过了以前最先进的视觉关键字识别架构的性能，也超过了最先进的唇读方法的性能。
2020-09-02 cs.CV eess.AS
A Separable Temporal Convolution Neural Network with Attention for Small-Footprint Keyword Spotting
Beijing Institute of Technology（北京理工大学）；Xiaomi Inc.（小米公司）；Inner Mongolia University of Science and Technology（内蒙古科技大学）
移动设备上的关键字定位（KWS）通常需要较小的内存占用。然而，大多数当前模型仍然保持大量的参数，以确保良好的性能。针对这一问题，本文提出了一种带注意力的可分离时间卷积神经网络，它的参数个数少。通过时间卷积结合注意力机制，在保持高性能的同时实现了少量参数模型（32.2K）。该模型在Google Speech Commands数据集上达到了95.7%的准确率，接近目前KWS中最先进的模型Res15（239K）的性能。
2021-09-01 cs.SD eess.AS
TACos: Learning Temporally Structured Embeddings for Few-Shot Keyword Spotting with Dynamic Time Warping
Fraunhofer FKIE（弗劳恩霍夫通信、信息处理与人体工程学研究所）
针对小样本关键词识别中固定滑动窗口难以适配不同长度关键词的问题，提出基于TACos角间隔损失的时间结构化二维嵌入方法，结合动态时间规整在新数据集KWS-DailyTalk上取得更优性能。
2023-12-14 cs.SD eess.AS
Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting
Device Technology Research Institute（设备技术研究所）；AI Chip Design Open Innovation Laboratory（AI芯片设计开放创新实验室）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们提出了神经网络模型的基础上，神经常微分方程（NODE）的小足迹关键字定位（KWS）。我们提出的技术，应用节点的KWS，使之有可能采用批量归一化的节点为基础的网络，并减少推理过程中的计算量。最后，我们表明，所提出的模型的模型参数的数量比传统的KWS模型减少了68%。
2020-09-06 cs.LG cs.SD eess.AS
GraphemeAug: A Systematic Approach to Synthesized Hard Negative Keyword Spotting Examples
Google DeepMind（谷歌DeepMind）
本文提出GraphemeAug方法，通过编辑关键词的图eme生成对抗示例，提升关键词识别模型的AUC性能。
2025-05-25 cs.CL cs.SD eess.AS
U2-KWS: Unified Two-pass Open-vocabulary Keyword Spotting with Keyword Bias
Northwestern Polytechnical University（西北工业大学）；Li Auto（理想汽车）
针对现有开放词汇KWS声学模型优化不足的问题，提出结合关键词偏置的统一两阶段U2-KWS框架，通过CTC分支初筛、解码器分支验证及音文交叉注意力注入关键词信息，在固定误报率下实现唤醒率显著提升。
2023-12-15 cs.SD eess.AS
Effective Integration of KAN for Keyword Spotting
University of Southern California（南加州大学）；Meta AI
本研究探索将Kolmogorov-Arnold Networks（KAN）整合到基于1D CNN的关键词识别（KWS）模型中，发现KAN可在低维空间有效建模高层特征，合理整合能提升KWS性能，为语音处理及其他模态的KAN应用研究提供参考。
2025-01-11 cs.SD eess.AS
DONUT: CTC-based Query-by-Example Keyword Spotting
关键字定位-或唤醒词检测-是现代语音控制设备免提操作的基本功能。随着这种设备变得无处不在，用户可能想要选择个性化的自定义唤醒词。在这项工作中，我们提出了DONUT，一个基于CTC的算法，在线查询的关键字定位，使自定义唤醒词检测。该算法通过记录来自用户的少量训练样本、从这些训练样本生成一组标签序列假设、以及通过在给定新音频记录的情况下聚合所有假设的分数来检测唤醒词来工作。我们的方法结合了通用性和可解释性的CTC为基础的关键字发现与用户的适应性和方便性的传统查询的例子系统。DONUT具有低计算要求，非常适合嵌入式系统上的学习和推理，而不需要将私有用户数据上传到云端。
2018-11-26 cs.LG cs.SD eess.AS
LLM-Synth4KWS: Scalable Automatic Generation and Synthesis of Confusable Data for Custom Keyword Spotting
Google DeepMind（谷歌DeepMind）
LLM-Synth4KWS通过生成混淆数据提升定制关键词识别的准确率和鲁棒性。
2025-05-29 cs.SD eess.AS
Neural Architecture Search For Keyword Spotting
University of Alberta（阿尔伯塔大学）；Huawei Technologies（华为技术）
深度神经网络最近已经成为关键词识别系统的一种流行解决方案，它可以通过语音控制智能设备。在本文中，我们应用神经架构搜索来搜索卷积神经网络模型，这些模型可以帮助提高基于从声学信号中提取的特征的关键字定位的性能，同时保持可接受的内存占用。具体来说，我们使用微分架构搜索技术搜索运营商和他们的连接在一个预定义的小区搜索空间。然后，在深度和宽度上按比例放大所发现的单元，以实现具有竞争力的性能。我们在Google的Speech Commands Dataset上评估了所提出的方法，并在文献中常见的12类话语分类的设置上实现了超过97%的最先进的准确率。
2020-09-02 cs.LG cs.SD eess.AS
