An Anchor-Free Detector for Continuous Speech Keyword Spotting
Microsoft Research Asia（微软亚洲研究院）；University of Technology Sydney（悉尼科技大学）
连续语音关键词识别（CSKWS）是一项在连续语音中检测预定义关键词的任务。在本文中，我们把CSKWS作为一个一维的目标检测任务，并提出了一种新的无锚检测器，命名为AF-KWS，来解决这个问题。AF-KWS通过单级深度神经网络直接回归关键词的中心位置和长度。特别是，AF-KWS是专为这个语音任务，因为我们引入了一个辅助的未知类，以排除其他词从非语音或无声的背景。我们已经建立了两个基准数据集LibriTop-20和连续会议分析关键字（CMAK）数据集CSKWS。对这两个数据集的评估表明，我们提出的AF-KWS优于参考方案的大幅度，因此为未来的研究提供了一个体面的基线。
2022-08-09 cs.SD eess.AS
CaTT-KWS: A Multi-stage Customized Keyword Spotting Framework based on Cascaded Transducer-Transformer
Northwestern Polytechnical University（西北工业大学）；Tencent Technology Co., Ltd（腾讯科技有限公司）
自定义关键词识别（KWS）在边缘设备上部署以实现免提用户体验方面具有很大的潜力。然而，在实际应用中，对于发现数十个甚至数百个关键字，虚警（FA）将是严重的问题，这极大地影响了用户体验。为了解决这个问题，在本文中，我们利用最近的进展，换能器和Transformer为基础的声学模型，并提出了一个新的多级定制的KWS框架命名为级联换能器-Transformer KWS（CaTT-KWS），其中包括一个基于换能器的关键字检测器，一个帧级的电话预测器为基础的力对齐模块和一个基于Transformer的解码器。具体来说，流转换器模块用于发现音频流中的关键词候选项。然后利用音素预测器预测出的音素后验子进行强制对齐，完成第一阶段的关键词验证，细化关键词的时间边界。最后，Transformer解码器进一步验证触发的关键字。我们提出的CaTT-KWS框架有效地降低了FA率，而不会明显损害关键字识别的准确性。具体来说，我们可以在一个具有挑战性的数据集上每小时获得令人印象深刻的0.13 FA，与基于传感器的检测模型相比，FA的相对减少超过90%，而关键字识别准确率仅下降不到2%。
2022-07-04 cs.SD eess.AS
Low-Power Audio Keyword Spotting using Tsetlin Machines
Newcastle University（纽卡斯尔大学）；University of Agder（阿格德尔大学）；Nokia Bell Labs（诺基亚贝尔实验室）
人工智能（AI）驱动的关键词识别（KWS）技术的出现彻底改变了人机交互。然而，当前神经网络（NN）驱动的AI-KWS管道的端到端能源效率，内存占用和系统复杂性的挑战仍然存在。本文评估KWS利用学习自动机驱动的机器学习算法称为Tsetlin机（TM）。通过显著降低参数要求和选择逻辑而不是基于算术的处理，TM为低功耗KWS提供了新的机会，同时保持高学习效率。在本文中，我们探索了一种基于TM的关键字定位（KWS）管道，以证明与NN相比具有更快收敛速度的低复杂性。此外，我们调查的可扩展性与增加的关键字，并探讨实现低功耗片上KWS的潜力。
2021-01-27 cs.SD eess.AS
Sequence-to-sequence Models for Small-Footprint Keyword Spotting
Xiaomi Inc.（小米公司）
在本文中，我们提出了一个序列到序列模型的关键字发现（KWS）。与其他端到端的KWS体系结构相比，我们的模型简化了生产质量的KWS系统的管道，并满足高精度，低延迟，小占地面积的要求。我们还评估了不同编码器架构的性能，包括LSTM和GRU。在真实唤醒数据上的实验表明，我们的方法优于最近提出的基于注意力的端到端模型。具体来说，在73K参数下，我们的序列到序列模型在每小时0.1个虚警（FA）时实现了$\sim$ 3.05\%的虚警拒绝率（FRR）。
2018-11-01 cs.SD eess.AS
Open-vocabulary Keyword-spotting with Adaptive Instance Normalization
aiOla Research（aiOla研究院）
提出AdaKWS方法，通过文本编码器输出关键词条件化的归一化参数处理听觉输入，在多语言基准和低资源语言上显著优于基线。
2023-09-13 cs.LG cs.SD eess.AS
Attention-Free Keyword Spotting
Islamic University of Technology（伊斯兰理工大学）
到目前为止，基于注意力的模型已经在关键字识别问题领域取得了巨大的成功。然而，鉴于深度学习的最新进展，问题出现了，对于识别语音关键词，自我注意力是否真的不可替代。因此，我们探索使用门MLP-以前被证明是替代Transformers的视觉任务-的关键字定位任务。我们提供了一系列高效的基于MLP的关键字识别模型，参数少于50万。我们表明，我们的方法在Google Speech Commands V2-12和V2-35基准测试中实现了具有竞争力的性能，参数比基于自我注意力的方法少得多。
2022-04-10 cs.LG cs.SD eess.AS
Personalized Keyword Spotting through Multi-task Learning
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键词发现（KWS）在智能设备上实现基于语音的用户交互中起着至关重要的作用，并且传统的KWS（C-KWS）方法集中于检测用户不可知的预定义关键词。然而，在实践中，大多数用户交互来自在设备中注册的目标用户，这促使构建个性化关键词发现。我们设计了两个个性化的KWS任务：（1）目标用户偏向的KWS（TB-KWS）和（2）目标用户唯一的KWS（TO-KWS）。为了解决这些任务，我们提出了通过多任务学习（PK-MTL），包括多任务学习和任务适应个性化的关键字发现。首先，我们介绍了应用多任务学习的关键字定位和说话人验证，利用用户信息的关键字定位系统。接下来，我们设计了任务特定的评分函数，以适应个性化的KWS任务彻底。我们评估我们的框架在传统和个性化的场景，结果表明，PK-MTL可以显着降低误报率，特别是在各种实际场景。
2022-06-28 cs.LG cs.SD eess.AS
Personalized Keyword Spotting for User-Defined Keywords Leveraging Text-Independent Speaker Verification
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，台湾国立台湾师范大学）；United Link Co., Ltd., Taiwan（台湾联链公司）
提出ZP-KWS轻量框架，结合音素监督音频编码器和紧凑说话人编码器，通过乘法后融合实现零样本关键词检测与说话人验证，在多个数据集上将目标误拒率降低高达60%。
2026-09-18 cs.SD eess.AS
Meta-AF Echo Cancellation for Improved Keyword Spotting
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对传统自适应滤波器忽略下游任务性能的问题，本文改进Meta-AF框架，结合自监督与分类器反馈实现下游分类任务端到端训练，在回声消除+关键词识别任务上无需额外成本即可提升性能。
2023-12-17 cs.SD eess.AS
How Tiny Can Analog Filterbank Features Be Made for Ultra-low-power On-device Keyword Spotting?
Columbia University（哥伦比亚大学）；Barnard College（巴纳德学院）
本文通过仿真研究模拟滤波器组架构参数选择，在仅损失1.8%的10词关键词识别准确率下，将典型最先进模拟滤波器组功耗降低33.6倍，为超低功耗设备端关键词识别提供设计依据。
2023-04-17 cs.SD eess.AS
End-to-End Multi-Look Keyword Spotting
Tencent（腾讯）
关键字定位（KWS）的性能，在虚警和假拒绝，显着下降的远场和噪声条件下。在本文中，我们提出了一个多视神经网络模型的语音增强，同时转向听多个采样的方向。然后，多视角增强与KWS联合训练以形成端到端KWS模型，该模型集成来自多个视角方向的增强信号，并利用注意力机制将模型的注意力动态地调整到可靠源。我们证明，在我们的大噪声和远场评估集，所提出的方法显着提高了KWS的性能对基线KWS系统和最近的基于波束形成器的多波束KWS系统。
2020-05-20 cs.SD eess.AS
End-to-end Models with auditory attention in Multi-channel Keyword Spotting
Xiaomi Inc.（小米公司）
在本文中，我们提出了一个基于注意力的端到端模型，用于多通道关键字定位（KWS），该模型经过训练，可以直接优化KWS结果。因此，我们的模型优于基线模型与信号预处理技术在干净的和有噪声的测试数据。我们还发现，当训练和测试数据相似时，多任务学习会产生更好的性能。迁移学习和多目标光谱映射可以显著增强对噪声环境的鲁棒性。在每小时0.1个虚警（FA）的情况下，具有迁移学习和多目标映射的模型在SNR约为-20的噪声数据中获得了30%的唤醒率的绝对改善。
2018-11-03 cs.SD eess.AS
Dummy Prototypical Networks for Few-Shot Open-Set Keyword Spotting
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键字定位是在流式音频中检测关键字的任务。传统的关键词识别以预定义的关键词分类为目标，但是在Few-Shot（按示例查询）关键词识别中存在越来越多的关注，例如，N路分类给出了M-shot支持样本。此外，在现实世界的场景中，可能存在来自意外类别（开集）的话语，其需要被拒绝而不是被分类为N个类别之一。结合这两个需求，我们解决了Few-Shot开放集关键字发现与一个新的基准设置，命名为splitGSC。我们提出了基于度量学习的已知场景虚拟原型，以更好地检测开集，并介绍了一种简单而强大的方法，虚拟原型网络（D-ProtoNets）。我们的D-ProtoNets显示了明确的利润率相比，最近的Few-Shot开集识别（FSOSR）的方法在建议的splitGSC。我们还在标准基准测试miniImageNet上验证了我们的方法，D-ProtoNets显示了FSOSR中最先进的开集检测率。
2022-06-28 cs.LG cs.SD eess.AS
AutoKWS: Keyword Spotting with Differentiable Architecture Search
Xiaomi AI Lab（小米人工智能实验室）
智能音频设备通过始终在线的轻量级关键字识别程序进行门控，以降低功耗。然而，设计具有高准确性和低延迟的模型以实现准确和快速的响应是具有挑战性的。已经做出了许多努力来开发端到端神经网络，其中依赖可分离卷积，时间卷积和LSTM被用作构建单元。尽管如此，这些利用人类专业知识设计的网络可能无法在广阔的搜索空间中实现最佳权衡。在本文中，我们建议利用可微神经结构搜索的最新进展来发现更有效的网络。我们搜索的模型在Google Speech Command Dataset v1上达到了97.2%的top-1准确率，只有近10万个参数。
2021-02-22 cs.SD eess.AS
DCCRN-KWS: an audio bias based model for noise robust small-footprint keyword spotting
Tencent Technology Co., Ltd（腾讯科技有限公司）
针对低信噪比等复杂声学环境下的关键词识别挑战，提出基于音频上下文偏置的DCCRN-KWS多任务模型，结合去噪任务、特征融合等模块提升噪声鲁棒性，在多数据集上性能优于现有方案。
2023-06-13 cs.SD eess.AS
EfficientNet-Absolute Zero for Continuous Speech Keyword Spotting
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Tehran University（德黑兰大学）
关键词识别是利用计算机从录制的演讲中找出特定的单词或短语的过程。深度神经网络算法作为一个强大的引擎，如果在适当的数据集上进行训练，就可以处理这个问题。为此，足球关键词数据集（FKD），作为一个新的关键词发现数据集在波斯语，收集众包。该数据集包含18个类别的近31000个样本。提出了连续语音合成方法，使FKD在处理连续语音的实际应用中具有实用价值。此外，我们提出了一个轻量级的架构，称为EfficientNet-A0（绝对零），通过应用复合缩放方法对EfficientNet-B 0的关键字定位任务。最后，所提出的架构与各种模型进行评估。事实证明，EfficientNet-A0和Resnet模型在该数据集上的表现优于其他模型。
2020-12-31 cs.CL cs.SD eess.AS
AUC Optimization for Robust Small-footprint Keyword Spotting with Limited Training Data
Northwestern Polytechnical University（西北工业大学）
深度神经网络为小足迹关键字识别（KWS）提供了有效的解决方案。然而，如果训练数据是有限的，它仍然具有挑战性，以实现强大的和高度准确的KWS在现实世界的场景中，看不见的声音，是训练数据中经常遇到的。大多数传统方法的目标是最大限度地提高训练集的分类精度，而不考虑看不见的声音。为了增强基于KWS的深度神经网络的鲁棒性，本文引入了一种新的损失函数，称为接收器操作特征曲线（AUC）下面积的最大化。该方法不仅最大化了封闭训练集上关键词的分类准确率，而且最大化了AUC得分，以优化非关键词片段检测的性能。在Google Speech Commands数据集v1和v2上的实验结果表明，我们的方法在大多数评估指标方面都达到了新的最先进的性能。
2021-07-13 cs.SD eess.AS
A Separable Temporal Convolution Neural Network with Attention for Small-Footprint Keyword Spotting
Beijing Institute of Technology（北京理工大学）；Xiaomi Inc.（小米公司）；Inner Mongolia University of Science and Technology（内蒙古科技大学）
移动设备上的关键字定位（KWS）通常需要较小的内存占用。然而，大多数当前模型仍然保持大量的参数，以确保良好的性能。针对这一问题，本文提出了一种带注意力的可分离时间卷积神经网络，它的参数个数少。通过时间卷积结合注意力机制，在保持高性能的同时实现了少量参数模型（32.2K）。该模型在Google Speech Commands数据集上达到了95.7%的准确率，接近目前KWS中最先进的模型Res15（239K）的性能。
2021-09-01 cs.SD eess.AS
TACos: Learning Temporally Structured Embeddings for Few-Shot Keyword Spotting with Dynamic Time Warping
Fraunhofer FKIE（弗劳恩霍夫通信、信息处理与人体工程学研究所）
针对小样本关键词识别中固定滑动窗口难以适配不同长度关键词的问题，提出基于TACos角间隔损失的时间结构化二维嵌入方法，结合动态时间规整在新数据集KWS-DailyTalk上取得更优性能。
2023-12-14 cs.SD eess.AS
U2-KWS: Unified Two-pass Open-vocabulary Keyword Spotting with Keyword Bias
Northwestern Polytechnical University（西北工业大学）；Li Auto（理想汽车）
针对现有开放词汇KWS声学模型优化不足的问题，提出结合关键词偏置的统一两阶段U2-KWS框架，通过CTC分支初筛、解码器分支验证及音文交叉注意力注入关键词信息，在固定误报率下实现唤醒率显著提升。
2023-12-15 cs.SD eess.AS
Effective Integration of KAN for Keyword Spotting
University of Southern California（南加州大学）；Meta AI
本研究探索将Kolmogorov-Arnold Networks（KAN）整合到基于1D CNN的关键词识别（KWS）模型中，发现KAN可在低维空间有效建模高层特征，合理整合能提升KWS性能，为语音处理及其他模态的KAN应用研究提供参考。
2025-01-11 cs.SD eess.AS
LLM-Synth4KWS: Scalable Automatic Generation and Synthesis of Confusable Data for Custom Keyword Spotting
Google DeepMind（谷歌DeepMind）
LLM-Synth4KWS通过生成混淆数据提升定制关键词识别的准确率和鲁棒性。
2025-05-29 cs.SD eess.AS
Progressive Continual Learning for Spoken Keyword Spotting
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
在部署后更新关键字定位（KWS）模型时，灾难性遗忘是一个棘手的挑战。为了应对这些挑战，我们提出了一个渐进式的持续学习策略小足迹口语关键字发现（PCL-KWS）。具体来说，建议的PCL-KWS框架引入了一个网络实例化器来生成特定于任务的子网络，用于记住以前学习的关键字。因此，PCL-KWS方法在不忘记先前知识的情况下逐步学习新的关键字。此外，PCL-KWS的关键字感知网络缩放机制在实现高性能的同时抑制了模型参数的增长。实验结果表明，在连续学习五个新任务后，与其他基线相比，我们提出的PCL-KWS方法在Google Speech Command数据集上的所有任务的平均准确率为92.8%。
2022-02-07 cs.CL cs.SD eess.AS
Exploring Sequence-to-Sequence Transformer-Transducer Models for Keyword Spotting
Google（谷歌）
在本文中，我们提出了一种新的方法来适应序列到序列转换器-转换器ASR系统的关键字定位（KWS）任务。我们通过将文本转录中的关键字替换为特殊标记并训练系统检测音频流中的标记来实现这一点。<kw><kw>在推理时，我们创建了一个决策函数的灵感来自传统的KWS方法，使我们的方法更适合于KWS任务。此外，我们引入了一个特定的关键字定位损失，通过调整序列判别最小贝叶斯风险训练技术。我们发现，我们的方法显着优于基于ASR的KWS系统。当与传统的关键字定位系统相比，我们的建议具有类似的性能，同时带来了序列到序列训练的优势和灵活性。此外，当与传统的KWS系统相结合，我们的方法可以提高在任何操作点的性能。
2022-11-11 cs.LG cs.SD eess.AS
Unified Keyword Spotting and Audio Tagging on Mobile Devices with Transformers
Xiaomi Corperation（小米公司）
关键词识别（KWS）是大多数现代智能助理的核心人机交互前端任务。最近，一个统一的（UniKW-AT）框架已经提出，增加了额外的能力，在音频标记（AT）的形式，KWS模型。然而，以前的工作没有考虑UniKW-AT模型的实际部署，其中模型大小和推理速度等因素比性能更重要。这项工作介绍了三个移动设备部署模型命名为统一的Transformers（UiT）。我们最好的模型在Audioset上达到了34.09的mAP，在公共的Google Speech Commands V1数据集上达到了97.76的准确度。此外，我们基准我们提出的方法在四个移动平台上，揭示了建议的UiT模型可以实现2 - 6倍的加速比对竞争对手MobileNetV 2。
2023-03-03 cs.SD eess.AS
Keyword Mamba: Spoken Keyword Spotting with State Space Models
School of Computer Science and Communication Engineering, Jiangsu University（江苏大学计算机科学与通信工程学院）；Jiangsu Engineering Research Center of Big Data Ubiquitous Perception and Intelligent Agricultural Applications（江苏大数据普适感知与智能农业应用工程研究中心）；Provincial Key Laboratory of Computational Intelligence and New Technologies in Low-Altitude Digital Agriculture（省级计算智能与低空数字农业新技术重点实验室）
本文提出Keyword Mamba架构，首次将状态空间模型Mamba应用于语音关键词检测任务，通过沿时间轴应用并替代Transformer自注意力，在Google Speech Commands数据集上以更少参数和更低计算成本实现了高准确率。
2025-08-10 cs.SD eess.AS
WeKws: A production first small-footprint end-to-end Keyword Spotting Toolkit
Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）
关键词识别（KWS）实现了基于语音的用户交互，并逐渐成为智能设备不可或缺的组成部分。最近，端到端（E2E）方法已成为设备上KWS任务最流行的方法。然而，E2E知识服务系统的研究和部署之间仍然存在差距。在本文中，我们介绍了WeKws，一个生产质量，易于构建，并服从于被应用的E2E KWS工具包。WeKws包含几个最先进的主干网的实现，使其在三个公开可用的数据集上实现了极具竞争力的结果。为了使WeKws成为一个纯粹的E2E工具包，我们使用了一个改进的最大池损失，使模型能够自己学习关键字的结束位置，这大大简化了训练管道，使WeKws非常有效地应用于现实世界的场景。该工具包可在https://github.com/wenet-e2e/wekws上公开查阅。
2022-10-30 cs.SD eess.AS
On-Device Constrained Self-Supervised Speech Representation Learning for Keyword Spotting via Knowledge Distillation
University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）；Zoom Video Communications, Inc.（祖姆视频通信公司）
本文提出基于知识蒸馏的设备端自监督语音表示学习架构，通过师生框架和双视图互相关蒸馏，在资源受限条件下实现高效关键词识别。
2023-07-06 cs.CL cs.SD eess.AS
Bifocal Neural ASR: Exploiting Keyword Spotting for Inference Optimization
我们提出了Bifocal RNN-T，这是一种新的递归神经网络转换器（RNN-T）架构变体，旨在改善语音识别任务的推理时间延迟。该架构为其运行时计算路径启用动态枢轴，即利用关键字定位来选择针对给定音频帧执行网络的哪个组件。为了实现这一点，我们利用了一个称为Bifocal LSTM（BFLSTM）的递归单元，我们将在本文中详细介绍。该架构与其他优化策略（如量化、稀疏化和应用时间减少层）兼容，使其特别适用于部署的实时语音识别设置。我们提出的架构和报告语音助理语音识别任务的比较实验结果。具体来说，我们提出的Bifocal RNN-T可以在匹配单词错误率的情况下将推理成本提高29.1%，而内存大小只增加了一点点。
2021-08-03 cs.SD eess.AS
PhonMatchNet: Phoneme-Guided Zero-Shot Keyword Spotting for User-Defined Keywords
NCSOFT Corporation（NCSOFT公司）
提出PhonMatchNet，利用关键词音频-音素关系，结合双流编码器与音素级损失，实现零样本关键词唤醒，性能显著优于基线，平均EER和AUC相对提升67%和80%。
2023-08-31 cs.SD eess.AS eess.SP
Streaming keyword spotting on mobile devices
Google Research（谷歌研究院）；Google Speech（谷歌语音团队）
在这项工作中，我们探讨的延迟和准确性的关键字定位（KWS）模型在流媒体和非流媒体模式的手机。NN模型从非流模式（模型接收整个输入序列，然后返回分类结果）到流模式（模型接收输入序列的一部分，并递增地对其进行分类）的转换可能需要手动模型重写。我们通过设计一个基于Tensorflow/Keras的库来解决这个问题，该库允许以最小的努力将非流模型自动转换为流模型。通过这个库，我们在移动电话上的流和非流模式下对多个KWS模型进行了基准测试，并展示了延迟和准确性之间的不同权衡。我们还探索了具有多头注意力的新型KWS模型，该模型在Google语音命令数据集V2上将最先进的分类错误减少了10%。所有实验的流媒体库都是开源的。
2020-07-29 cs.SD eess.AS
CORD-KWS: Calibrated, Order-Aware Detection for Open-Vocabulary Keyword Spotting
CORD-KWS提出一种训练框架，通过校准检测头和帧级CTC目标，在保持嵌入模型效率的同时提升开放词汇关键词识别性能，在LibriPhrase基准上超越现有方法。
2026-09-29 cs.SD eess.AS
Separable Temporal Convolution plus Temporally Pooled Attention for Lightweight High-performance Keyword Spotting
Beijing Institute of Technology（北京理工大学）；Xiaomi Inc.（小米公司）
移动设备上的关键字定位（KWS）通常需要较小的内存占用。然而，大多数当前模型仍然保持大量的参数，以确保良好的性能。在本文中，我们提出了一个时间池注意力模块，它可以捕捉全局功能比平均池。此外，我们设计了一个可分离的时间卷积网络，它利用依赖性可分离和时间卷积来减少参数和计算的数量。最后，利用可分离时间卷积和时间集中注意力的优点，设计了一个有效的神经网络（ST-AttNet）用于KWS系统。我们在公开可用的Google语音命令数据集V1上评估模型。所提出的模型（48 K）的参数数量是最先进的TC-ResNet 14 -1.5模型（305 K）的1/6。该模型的准确率达到96.6%，与TC-ResNet 14 -1.5模型（96.6%）相当。
2021-08-27 cs.SD eess.AS
UniKW-AT: Unified Keyword Spotting and Audio Tagging
Xiaomi Corperation（小米公司）
在音频研究社区和行业内，关键字定位（KWS）和音频标记（AT）被视为两个不同的任务和研究领域。然而，从技术的角度来看，这两个任务是相同的：它们为一些固定大小的输入音频段预测标签（KWS中的关键字，AT中的声音事件）。这项工作提出了UniKW-AT：联合训练KWS和AT的初步方法。UniKW-AT增强了KWS的噪声鲁棒性，同时还能够预测特定的声音事件，并在声音事件上启用有条件唤醒。我们的方法扩展了AT管道，增加了描述关键字存在的标签。实验在Google Speech Commands V1（GSCV 1）和平衡Audioset（AS）数据集上进行。所提出的MobileNetV 2模型在GSCV 1数据集上实现了97.53%的准确度，在AS评估集上实现了33.4的mAP。此外，我们表明，显着的噪声鲁棒性增益可以观察到在现实世界的KWS数据集，大大优于标准的KWS方法。我们的研究表明，KWS和AT可以合并成一个单一的框架，而不会显着的性能下降。
2022-09-23 cs.SD eess.AS
AdaKWS: Towards Robust Keyword Spotting with Test-Time Adaptation
The University of Melbourne（墨尔本大学）；Fortemedia Singapore（新加坡Fortemedia公司）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
针对小体积关键词识别系统在陌生环境或噪声场景下性能下降的问题，提出首个面向鲁棒KWS的测试时自适应方法AdaKWS，通过可靠样本选择、归一化调整及伪关键词一致性机制，在多种噪声条件下取得优于现有方法的效果。
2025-05-20 cs.SD eess.AS
Rainbow Keywords: Efficient Incremental Learning for Online Spoken Keyword Spotting
Nanyang Technological University（南洋理工大学）
在部署后更新关键字定位（KWS）模型时，灾难性遗忘是一个棘手的挑战。如果边缘设备由于内存有限而进一步需要KWS模型，则这个问题将更具挑战性。为了缓解这个问题，我们提出了一种新的多样性感知的增量学习方法彩虹关键字（RK）。具体而言，建议RK方法引入了多样性感知采样器，通过计算分类不确定性从历史和传入的关键字中选择不同的集合。因此，RK方法可以在不忘记先前知识的情况下渐进地学习新任务。此外，RK方法还提出了数据增强和知识蒸馏损失函数，以在边缘设备上进行有效的存储管理。实验结果表明，所提出的RK方法在Google Speech Command数据集上的平均准确率比最佳基线提高了4.2%，所需内存更少。这些脚本可以在GitHub上找到。
2022-06-30 cs.CL cs.SD eess.AS
Prototypical Metric Transfer Learning for Continuous Speech Keyword Spotting With Limited Training Data
ParallelDots, Inc.（ParallelDots公司）
连续语音关键词识别（CSKS）是指当训练数据中存在少量关键词时，在记录的对话中识别关键词的问题。与更常见的关键字定位不同，算法需要检测单独的关键字或短语，如“Alexa”，“Cortana”，“Hi Alexa！“，“怎么样奥克塔维亚？在语音中，CSKs需要从连续的语音流中过滤出嵌入的单词，即。在“我认识一个叫Anna的开发人员，他可以调查这个github问题。“除了有限的训练数据可用性的问题，CSKS是一个非常不平衡的分类问题。我们通过使用损失函数（原型网络损失和度量损失）和迁移学习的新组合来解决简单关键字定位基线对于上述两个挑战的局限性。我们的方法将F1分数提高了10%以上。
2019-01-12 cs.CL cs.LG cs.SD
SLiCK: Exploiting Subsequences for Length-Constrained Keyword Spotting
Apple（苹果公司）
针对边缘设备用户自定义关键词识别难题，提出利用关键词长度约束的SLiCK方法，通过子序列级匹配和多任务学习，显著提升了Libriphrase hard数据集上的识别性能。
2024-09-06 cs.LG cs.SD eess.AS
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab（Arm机器学习研究实验室）；Lund University（隆德大学）
Transformer架构在许多领域都取得了成功，包括自然语言处理、计算机视觉和语音识别。在关键字识别中，自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法，并引入了关键字Transformer（KWT），这是一种完全自我注意的架构，在没有任何预训练或额外数据的情况下，它在多个任务中的性能超过了最先进的水平。令人惊讶的是，这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品，在Google Speech Commands数据集上创造了两个新的基准记录，分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD
Understanding temporally weakly supervised training: A case study for keyword spotting
Xiaomi Corperation（小米公司）
本文以关键词识别为案例，研究时间弱监督训练在含噪声数据下的极限，证明弱标签可在降低标注要求的同时取得与强监督相当甚至更好的性能。
2023-05-30 cs.SD eess.AS
Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting
Device Technology Research Institute（设备技术研究所）；AI Chip Design Open Innovation Laboratory（AI芯片设计开放创新实验室）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们提出了神经网络模型的基础上，神经常微分方程（NODE）的小足迹关键字定位（KWS）。我们提出的技术，应用节点的KWS，使之有可能采用批量归一化的节点为基础的网络，并减少推理过程中的计算量。最后，我们表明，所提出的模型的模型参数的数量比传统的KWS模型减少了68%。
2020-09-06 cs.LG cs.SD eess.AS
GraphemeAug: A Systematic Approach to Synthesized Hard Negative Keyword Spotting Examples
Google DeepMind（谷歌DeepMind）
本文提出GraphemeAug方法，通过编辑关键词的图eme生成对抗示例，提升关键词识别模型的AUC性能。
2025-05-25 cs.CL cs.SD eess.AS
Depthwise Separable Convolutional ResNet with Squeeze-and-Excitation Blocks for Small-footprint Keyword Spotting
CIAIC, School of Marine Science；Technology, Northwestern Polytechnical University, China
关键字定位的一个难题是如何在保持高精度的同时减少其内存占用。虽然卷积神经网络已被证明是有效的小足迹的关键字定位问题，他们仍然需要成千上万的参数，以实现良好的性能。在本文中，我们提出了一个有效的模型的基础上dependently可分离的卷积层和挤压和激励块。具体来说，我们用dependency可分离卷积代替标准卷积，这减少了标准卷积的参数数量，而没有显着的性能下降。我们通过用所谓的挤压和激励块重新加权第一卷积层的输出特征图，进一步提高了深度可分离卷积的性能。我们将所提出的方法与Google Speech Commands数据集的两个实验设置上的五个代表性模型进行了比较。实验结果表明，该方法达到了最先进的性能。例如，在第一个实验中，它在72 K的参数数量下实现了3.29%的分类出错率，这显著优于给定类似模型大小的比较方法。它实现了3.97%的出错率，参数数为10 K，这也略优于给定类似模型大小的最先进的比较方法。
2021-07-22 cs.SD eess.AS
Neural Architecture Search For Keyword Spotting
University of Alberta（阿尔伯塔大学）；Huawei Technologies（华为技术）
深度神经网络最近已经成为关键词识别系统的一种流行解决方案，它可以通过语音控制智能设备。在本文中，我们应用神经架构搜索来搜索卷积神经网络模型，这些模型可以帮助提高基于从声学信号中提取的特征的关键字定位的性能，同时保持可接受的内存占用。具体来说，我们使用微分架构搜索技术搜索运营商和他们的连接在一个预定义的小区搜索空间。然后，在深度和宽度上按比例放大所发现的单元，以实现具有竞争力的性能。我们在Google的Speech Commands Dataset上评估了所提出的方法，并在文献中常见的12类话语分类的设置上实现了超过97%的最先进的准确率。
2020-09-02 cs.LG cs.SD eess.AS
I2CR: Improving Noise Robustness on Keyword Spotting Using Inter-Intra Contrastive Regularization
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）；Xi’an Jiaotong University（西安交通大学）
噪声鲁棒性在关键词识别中仍然是一个挑战，因为许多模型无法克服噪声的严重影响，导致特征嵌入质量的恶化。我们提出了一种对比正则化方法，称为帧间对比正则化（I2CR），通过引导模型学习特定于聚类的基本语音信息来改进特征表示。这涉及最大化同一类的帧内和帧间样本之间的相似性。因此，它使实例更接近于更一般化的表示，从而形成更突出的聚类，并减少噪声的不利影响。我们表明，我们的方法提供了一致的改进，在不同的骨干模型架构在不同的噪声环境下的准确性。我们还证明了我们提出的框架提高了看不见的域外噪声和看不见的变体噪声SNR的准确性。这表明了我们的工作在噪声鲁棒性方面的整体改进的意义。
2022-09-14 cs.SD eess.AS
Discriminatory and orthogonal feature learning for noise robust keyword spotting
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
关键字定位（KWS）是智能设备中的一个重要组件，用于在用户使用命令提示系统时提醒系统。由于这些设备通常受到计算和能源资源的限制，因此KWS模型应设计为占用空间小。在我们以前的工作中，我们开发了轻量级的动态过滤器，在嘈杂的环境中提取一个强大的特征图。动态滤波器的学习变量与KWS权重通过交叉熵损失进行联合优化。然而，当SNR低时，单独的CE损失不足以获得高性能。为了训练网络在噪声环境中具有更鲁棒的性能，我们引入了低变正交（LOVO）损失。LOVO损失由应用于动态滤波器的输出上的三重损失、基于谱范数的正交损失和应用于KWS模型中的类内距离损失组成。这些损失在鼓励网络在看不见的噪声环境中提取区分特征方面特别有用。
2022-10-20 cs.SD eess.AS
ConvMixer: Feature Interactive Convolution with Curriculum Learning for Small Footprint and Noisy Far-field Keyword Spotting
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
提出仅10万参数的ConvMixer模型，用特征交互卷积替代注意力，结合课程学习多条件训练，在嘈杂远场关键词识别中达到98.2%准确率，媲美大型Transformer。
2022-01-15 cs.SD eess.AS
VE-KWS: Visual Modality Enhanced End-to-End Keyword Spotting
Northwestern Polytechnical University（西北工业大学）；China Mobile Research Institute（中国移动研究院）
基于音频模态的关键词识别系统在远场和噪声条件下的性能会显著下降，通常以虚警和虚拒来衡量。因此，视听关键词定位，利用互补关系的多个模态，最近得到了很多关注。然而，目前的研究主要集中在结合专门学习的表征不同的模态，而不是探索在每个各自的建模过程中的模态关系。在本文中，我们提出了一个新的视觉模态增强的端到端的知识仓库框架（VE-KWS），它融合了音频和视觉模态从两个方面。第一种是利用从视频中的嘴唇区域获得的说话人位置信息来辅助训练多通道音频波束形成器。通过将波束形成器作为音频增强模块，可以显著抑制由远场或噪声环境引起的声学失真。另一个是在不同的通道之间进行交叉注意，以捕捉通道间的关系，并帮助每个通道的表示学习。MSIP挑战语料库上的实验表明，我们提出的模型实现了2.79%的错误拒绝率和2.95%的误报率的Eval集，从而在一个新的SOTA性能相比，在ICASSP 2022 MISP挑战的顶级系统。
2023-03-14 cs.SD eess.AS
Quantization-Based Score Calibration for Few-Shot Keyword Spotting with Dynamic Time Warping in Noisy Environments
Department of Electronic Systems, Aalborg University, Denmark（奥尔堡大学电子系统系）；Pioneer Centre for AI, Denmark（丹麦先锋人工智能中心）；Fraunhofer FKIE, Wachtberg, Germany（德国弗劳恩霍夫 FKIE研究所）
本文提出了一种基于量化得分校准的少样本关键词 spotting 方法，通过动态时间规整和归一化提升噪声环境下的检测性能。
2026-01-21 cs.SD eess.AS
Small Footprint Multi-channel ConvMixer for Keyword Spotting with Centroid Based Awareness
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
关键词定位模型的占用空间小是至关重要的，因为它通常在计算资源较低的设备上运行。然而，保持以前的SOTA性能与减少模型的大小是具有挑战性的。此外，具有多个信号干扰的远场和噪声环境加剧了导致精度显著降低的问题。在本文中，我们提出了一个多通道的语音命令解释的ConvMixer。该新颖架构引入了用于多声道音频设置中的声道音频交互的附加音频声道混合，以实现具有更高效计算的更好的噪声鲁棒性特征。此外，我们提出了一个基于质心的感知组件，通过在潜在特征投影空间中增加额外的空间几何信息来增强系统。我们使用新的MISP挑战2021数据集来评估我们的模型。我们的模型相对于官方基线实现了显着的改进，在原始麦克风阵列输入上的竞争得分（0.152）增加了55%，在前端语音增强上增加了63%（0.126）。
2022-04-11 cs.SD eess.AS
BBS-KWS:The Mandarin Keyword Spotting System Won the Video Keyword Wakeup Challenge
Yidun AI Lab, Netease（网易易盾人工智能实验室）
本文介绍了由伊顿NISP团队提交的视频关键词唤醒挑战赛的系统。本文提出了一个汉语关键词识别系统（KWS），并对该系统进行了一些新颖有效的改进，包括大主干（B）模型、关键词偏置（B）机制和音节建模单元（S）的引入。考虑到这一点，我们将整个系统称为BBS-KWS。BBS-KWS系统由端到端自动语音识别（ASR）模块和KWS模块组成。ASR模块将语音特征转换为文本表示，将一个大的骨干网络应用于声学模型，并考虑音节建模单元。此外，在ASR推理阶段，使用关键词偏置机制来提高关键词的召回率。KWS模块应用多个标准来确定关键字的存在或不存在，例如多级匹配、模糊匹配和连接主义时间分类（CTC）前缀分数。为了进一步改进我们的系统，我们对CN-Celeb数据集进行了半监督学习，以更好地泛化。在VKW任务中，BBS-KWS系统在基线上实现了显著的增益，并在两个轨道中获得第一名。
2021-12-03 cs.CL cs.SD eess.AS
Personalizing Keyword Spotting with Speaker Information
Universidad Autónoma de Madrid（马德里自治大学）；Google LLC（谷歌有限责任公司）
针对关键词识别系统难适配多样化人群的问题，提出基于FiLM融合说话人信息的个性化方法，多设置实验验证其能显著提升检测准确率，且参量和开销增加极小，实用性强。
2023-11-06 cs.LG cs.SD eess.AS
DONUT: CTC-based Query-by-Example Keyword Spotting
关键字定位-或唤醒词检测-是现代语音控制设备免提操作的基本功能。随着这种设备变得无处不在，用户可能想要选择个性化的自定义唤醒词。在这项工作中，我们提出了DONUT，一个基于CTC的算法，在线查询的关键字定位，使自定义唤醒词检测。该算法通过记录来自用户的少量训练样本、从这些训练样本生成一组标签序列假设、以及通过在给定新音频记录的情况下聚合所有假设的分数来检测唤醒词来工作。我们的方法结合了通用性和可解释性的CTC为基础的关键字发现与用户的适应性和方便性的传统查询的例子系统。DONUT具有低计算要求，非常适合嵌入式系统上的学习和推理，而不需要将私有用户数据上传到云端。
2018-11-26 cs.LG cs.SD eess.AS
Sparse Binarization for Fast Keyword Spotting
[affiliation=1]（机构1）
针对边缘设备资源受限问题，提出基于稀疏输入表示和线性分类器的新型关键词唤醒模型，在提升速度和准确率的同时增强了抗噪鲁棒性。
2024-06-09 cs.LG cs.SD eess.AS
