DONUT: CTC-based Query-by-Example Keyword Spotting
关键字定位-或唤醒词检测-是现代语音控制设备免提操作的基本功能。随着这种设备变得无处不在，用户可能想要选择个性化的自定义唤醒词。在这项工作中，我们提出了DONUT，一个基于CTC的算法，在线查询的关键字定位，使自定义唤醒词检测。该算法通过记录来自用户的少量训练样本、从这些训练样本生成一组标签序列假设、以及通过在给定新音频记录的情况下聚合所有假设的分数来检测唤醒词来工作。我们的方法结合了通用性和可解释性的CTC为基础的关键字发现与用户的适应性和方便性的传统查询的例子系统。DONUT具有低计算要求，非常适合嵌入式系统上的学习和推理，而不需要将私有用户数据上传到云端。
2018-11-26 cs.LG cs.SD eess.AS
Dummy Prototypical Networks for Few-Shot Open-Set Keyword Spotting
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键字定位是在流式音频中检测关键字的任务。传统的关键词识别以预定义的关键词分类为目标，但是在Few-Shot（按示例查询）关键词识别中存在越来越多的关注，例如，N路分类给出了M-shot支持样本。此外，在现实世界的场景中，可能存在来自意外类别（开集）的话语，其需要被拒绝而不是被分类为N个类别之一。结合这两个需求，我们解决了Few-Shot开放集关键字发现与一个新的基准设置，命名为splitGSC。我们提出了基于度量学习的已知场景虚拟原型，以更好地检测开集，并介绍了一种简单而强大的方法，虚拟原型网络（D-ProtoNets）。我们的D-ProtoNets显示了明确的利润率相比，最近的Few-Shot开集识别（FSOSR）的方法在建议的splitGSC。我们还在标准基准测试miniImageNet上验证了我们的方法，D-ProtoNets显示了FSOSR中最先进的开集检测率。
2022-06-28 cs.LG cs.SD eess.AS
Exploring Sequence-to-Sequence Transformer-Transducer Models for Keyword Spotting
Google（谷歌）
在本文中，我们提出了一种新的方法来适应序列到序列转换器-转换器ASR系统的关键字定位（KWS）任务。我们通过将文本转录中的关键字替换为特殊标记并训练系统检测音频流中的标记来实现这一点。<kw><kw>在推理时，我们创建了一个决策函数的灵感来自传统的KWS方法，使我们的方法更适合于KWS任务。此外，我们引入了一个特定的关键字定位损失，通过调整序列判别最小贝叶斯风险训练技术。我们发现，我们的方法显着优于基于ASR的KWS系统。当与传统的关键字定位系统相比，我们的建议具有类似的性能，同时带来了序列到序列训练的优势和灵活性。此外，当与传统的KWS系统相结合，我们的方法可以提高在任何操作点的性能。
2022-11-11 cs.LG cs.SD eess.AS
A Cascade Architecture for Keyword Spotting on Mobile Devices
Google Inc.（谷歌公司）
我们提出了一个级联架构的关键字定位与说话人验证移动设备上。通过将小的计算占用空间与专用的数字信号处理（DSP）芯片配对，我们能够在持续监听关键字的同时实现低功耗。
2017-12-10 cs.SD eess.AS
PhonMatchNet: Phoneme-Guided Zero-Shot Keyword Spotting for User-Defined Keywords
NCSOFT Corporation（NCSOFT公司）
提出PhonMatchNet，利用关键词音频-音素关系，结合双流编码器与音素级损失，实现零样本关键词唤醒，性能显著优于基线，平均EER和AUC相对提升67%和80%。
2023-08-31 cs.SD eess.AS eess.SP
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab（Arm机器学习研究实验室）；Lund University（隆德大学）
Transformer架构在许多领域都取得了成功，包括自然语言处理、计算机视觉和语音识别。在关键字识别中，自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法，并引入了关键字Transformer（KWT），这是一种完全自我注意的架构，在没有任何预训练或额外数据的情况下，它在多个任务中的性能超过了最先进的水平。令人惊讶的是，这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品，在Google Speech Commands数据集上创造了两个新的基准记录，分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD
Metric Learning for Keyword Spotting
Naver Corporation（NAVER 公司）
这项工作的目标是通过度量学习训练有效的表示关键字定位。大多数现有的作品地址作为一个封闭的集分类问题，目标和非目标关键字的关键字定位。因此，目前基于分类器的关键词识别系统在训练阶段看不见的非目标声音上表现不佳，导致现实世界中的误报率很高。在现实中，关键词定位是一个检测问题，其中预定义的目标关键词从各种未知的声音中检测出来。这与度量学习问题有许多相似之处，因为看不见的和未知的非目标声音必须与目标关键字明确区分开来。然而，一个关键的区别是目标关键字是已知的和预定义的。为此，我们提出了一种基于度量学习的新方法，该方法最大化目标和非目标关键字之间的距离，但也学习目标关键字的每类权重。在Google Speech Commands数据集上的实验表明，我们的方法显着减少了对看不见的非目标关键字的误报，同时保持了整体分类精度。
2020-05-18 cs.SD eess.AS
Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting
Device Technology Research Institute（设备技术研究所）；AI Chip Design Open Innovation Laboratory（AI芯片设计开放创新实验室）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们提出了神经网络模型的基础上，神经常微分方程（NODE）的小足迹关键字定位（KWS）。我们提出的技术，应用节点的KWS，使之有可能采用批量归一化的节点为基础的网络，并减少推理过程中的计算量。最后，我们表明，所提出的模型的模型参数的数量比传统的KWS模型减少了68%。
2020-09-06 cs.LG cs.SD eess.AS
Neural Architecture Search For Keyword Spotting
University of Alberta（阿尔伯塔大学）；Huawei Technologies（华为技术）
深度神经网络最近已经成为关键词识别系统的一种流行解决方案，它可以通过语音控制智能设备。在本文中，我们应用神经架构搜索来搜索卷积神经网络模型，这些模型可以帮助提高基于从声学信号中提取的特征的关键字定位的性能，同时保持可接受的内存占用。具体来说，我们使用微分架构搜索技术搜索运营商和他们的连接在一个预定义的小区搜索空间。然后，在深度和宽度上按比例放大所发现的单元，以实现具有竞争力的性能。我们在Google的Speech Commands Dataset上评估了所提出的方法，并在文献中常见的12类话语分类的设置上实现了超过97%的最先进的准确率。
2020-09-02 cs.LG cs.SD eess.AS
Small-footprint Keyword Spotting with Graph Convolutional Network
Tsinghua University（清华大学）；TsingMicro Co. Ltd.（清微电子股份有限公司）
尽管深度神经网络最近取得了成功，但在资源受限的设备上实现高精度关键词发现任务（KWS）仍然具有挑战性。在这项研究中，我们提出了一种新的上下文感知和紧凑的架构关键字发现任务。基于剩余连接和瓶颈结构，我们设计了一个紧凑和高效的网络KWS任务。为了利用卷积特征映射的长程依赖性和全局上下文，引入图卷积网络来编码非局部关系。通过在Google语音命令数据集上的测试，该方法具有最佳的性能，并以较低的计算代价大幅优于现有的方法。
2019-12-11 cs.CL cs.LG cs.SD
EfficientNet-Absolute Zero for Continuous Speech Keyword Spotting
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Tehran University（德黑兰大学）
关键词识别是利用计算机从录制的演讲中找出特定的单词或短语的过程。深度神经网络算法作为一个强大的引擎，如果在适当的数据集上进行训练，就可以处理这个问题。为此，足球关键词数据集（FKD），作为一个新的关键词发现数据集在波斯语，收集众包。该数据集包含18个类别的近31000个样本。提出了连续语音合成方法，使FKD在处理连续语音的实际应用中具有实用价值。此外，我们提出了一个轻量级的架构，称为EfficientNet-A0（绝对零），通过应用复合缩放方法对EfficientNet-B 0的关键字定位任务。最后，所提出的架构与各种模型进行评估。事实证明，EfficientNet-A0和Resnet模型在该数据集上的表现优于其他模型。
2020-12-31 cs.CL cs.SD eess.AS
Personalizing Keyword Spotting with Speaker Information
Universidad Autónoma de Madrid（马德里自治大学）；Google LLC（谷歌有限责任公司）
针对关键词识别系统难适配多样化人群的问题，提出基于FiLM融合说话人信息的个性化方法，多设置实验验证其能显著提升检测准确率，且参量和开销增加极小，实用性强。
2023-11-06 cs.LG cs.SD eess.AS
Feature exploration for almost zero-resource ASR-free keyword spotting using a multilingual bottleneck extractor and correspondence autoencoders
Stellenbosch University（斯泰伦博斯大学）；UN Global Pulse（联合国全球脉动）；Makerere University（马凯雷雷大学）；University of Edinburgh（爱丁堡大学）
我们比较动态时间规整（DTW）的功能时，用于引导关键字定位（KWS）在一个几乎为零的资源设置。这种可快速部署的系统旨在支持联合国在非洲部分地区的人道主义救援工作，这些地区的语言资源严重不足。我们的目标是确定声学功能，提供可接受的KWS在这样的环境中的性能。作为监督资源，我们将自己限制在一个小的，容易获得的和独立编译的孤立关键字集。对于特征提取，多语言瓶颈特征（BNF）提取器，在资源丰富的域外语言上训练，与在极其稀疏的域内数据上训练的对应自动编码器（CAE）集成。就其本身而言，BNF和CAE功能被证明比基线MFCC实现了超过2%的绝对性能改进。然而，通过使用BNF作为CAE的输入，可以实现更好的性能，ROC AUC比MFCC的绝对改善超过11%，并且对于两种评估语言（英语和卢甘达语），前10名检索的数量是两倍多。我们的结论是，集成BNF与CAE允许大的域外和稀疏的域内资源被利用，以改善ASR的关键字定位。
2019-07-13 cs.LG cs.SD eess.AS
Sparse Binarization for Fast Keyword Spotting
[affiliation=1]（机构1）
针对边缘设备资源受限问题，提出基于稀疏输入表示和线性分类器的新型关键词唤醒模型，在提升速度和准确率的同时增强了抗噪鲁棒性。
2024-06-09 cs.LG cs.SD eess.AS
Progressive Continual Learning for Spoken Keyword Spotting
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
在部署后更新关键字定位（KWS）模型时，灾难性遗忘是一个棘手的挑战。为了应对这些挑战，我们提出了一个渐进式的持续学习策略小足迹口语关键字发现（PCL-KWS）。具体来说，建议的PCL-KWS框架引入了一个网络实例化器来生成特定于任务的子网络，用于记住以前学习的关键字。因此，PCL-KWS方法在不忘记先前知识的情况下逐步学习新的关键字。此外，PCL-KWS的关键字感知网络缩放机制在实现高性能的同时抑制了模型参数的增长。实验结果表明，在连续学习五个新任务后，与其他基线相比，我们提出的PCL-KWS方法在Google Speech Command数据集上的所有任务的平均准确率为92.8%。
2022-02-07 cs.CL cs.SD eess.AS
Conditional Online Learning for Keyword Spotting
SiDi（SiDi研究所）
提出一种基于SGD的设备端在线持续学习方法，通过条件模型更新机制在动态音频流中提升关键词检测模型性能并缓解灾难性遗忘。
2023-05-19 cs.LG cs.SD eess.AS
End-to-end Keyword Spotting using Neural Architecture Search and Quantization
Graz University of Technology（格拉茨工业大学）
本文介绍了神经架构搜索（NAS），用于在有限资源环境中自动发现端到端关键字定位（KWS）模型。我们采用可区分的NAS方法来优化对原始音频波形进行操作的卷积神经网络（CNN）的结构。在NAS中找到合适的KWS模型后，我们对权重和激活进行量化，以减少内存占用。我们对Google语音命令数据集进行了广泛的实验。特别是，我们比较我们的端到端的方法梅尔频率倒谱系数（MFCC）为基础的系统。对于量化，我们比较了固定位宽量化和训练位宽量化。仅使用NAS，我们就能够获得一个高效的模型，使用75.7k个参数和13.6M次操作，准确率达到95.55%。使用训练的位宽量化，相同的模型实现了93.76%的测试准确度，而平均每个激活仅使用2.91位，每个权重仅使用2.51位。
2021-04-14 cs.LG cs.SD eess.AS
Efficient keyword spotting using time delay neural networks
Fluent.ai Inc.（Fluent.ai公司）
本文介绍了一种新的方法，使用两阶段的时间延迟神经网络的实时关键字定位。该模型使用迁移学习进行训练：使用来自大型语音语料库的电话目标进行初始训练，然后使用来自较小数据集的关键字目标进行训练。该系统的准确性进行了评估两个单独的任务。第一个是免费提供的Google Speech Commands数据集。第二个是专门为关键字定位开发的内部任务。结果表明，与以前已知的技术相比，在清洁和嘈杂的环境中的错误接受和错误拒绝率显着改善。此外，我们研究了各种技术，以减少计算方面的乘法每秒的音频。与最近发表的工作相比，所提出的系统提供了高达89%的计算复杂性节省。
2018-08-28 cs.SD eess.AS
Efficient keyword spotting using dilated convolutions and gating
Snips（Snips公司）
我们探讨了端到端的无状态时态建模应用于小足迹关键字定位，而不是使用内部状态建模长期时态依赖关系的递归网络。我们提出了一个模型的启发，最近成功的扩张卷积序列建模应用程序，允许训练更深的架构资源受限的配置。还添加了门控激活和剩余连接，遵循与WaveNet类似的配置。此外，我们应用自定义目标标记，从感兴趣的特定帧反向传播损失，因此产生更高的准确性，只需要检测关键字的结尾。我们的实验结果表明，我们的模型优于使用LSTM细胞的最大池化损失训练的递归神经网络，错误拒绝率显着降低。基础数据集-由超过2.2K不同说话者记录的“Hey Snips”话语-已公开提供，以建立唤醒词检测的开放参考。
2019-02-18 cs.CL cs.LG cs.SD
Metric Learning for User-defined Keyword Spotting
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Hyundai Motor Company（现代汽车公司）；dot Inc.（42dot公司）
这项工作的目标是检测用户定义的新口语术语。虽然大多数以前的作品解决关键字定位（KWS）作为一个封闭的分类问题，这限制了他们的可转移性看不见的条款。定义自定义关键字的能力在用户体验方面具有优势。在本文中，我们提出了一个基于度量学习的训练策略，用户定义的关键字定位。具体而言，我们做出了以下贡献：（1）利用现有的语音语料库构建了一个大规模的关键词数据集，并提出了一种过滤方法来去除降低模型训练的数据;（2）我们提出了一种基于度量学习的两阶段训练策略，并证明了所提出的方法通过丰富其表示来提高用户定义的关键词识别任务的性能;（3）为便于用户自定义KWS领域的公平比较，提出了统一的评价协议和评价指标。我们提出的系统不需要对用户定义的关键字进行增量训练，并且使用建议的和现有的指标在Google Speech Commands数据集上的表现明显优于以前的作品。
2022-11-01 cs.SD eess.AS
On-Device Constrained Self-Supervised Speech Representation Learning for Keyword Spotting via Knowledge Distillation
University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）；Zoom Video Communications, Inc.（祖姆视频通信公司）
本文提出基于知识蒸馏的设备端自监督语音表示学习架构，通过师生框架和双视图互相关蒸馏，在资源受限条件下实现高效关键词识别。
2023-07-06 cs.CL cs.SD eess.AS
Optimize what matters: Training DNN-HMM Keyword Spotting Model Using End Metric
Apple（苹果公司）
基于深度神经网络-隐马尔可夫模型（DNN-HMM）的方法已经成功地用于检测唤醒词以触发设备的许多始终在线的关键词发现算法。DNN预测给定语音帧的状态概率，而HMM解码器组合多个语音帧的DNN预测以计算关键字检测分数。在现有方法中，DNN是独立于HMM参数进行训练的，以最小化预测状态概率和地面真实状态概率之间的交叉熵损失。DNN训练损失（交叉熵）和结束度量（检测分数）之间的不匹配是关键字定位任务的次优性能的主要来源。我们通过一种新的端到端训练策略来解决这种损失度量不匹配的问题，该策略通过优化检测分数来学习DNN参数。为此，我们使HMM解码器（动态规划）可微，并通过它反向传播，以最大限度地提高关键字的分数，并最小化非关键字语音段的分数。我们的方法不需要在模型架构或推理框架的任何变化，因此，没有运行时内存或计算需求的开销。此外，我们在相同的错误触发体验下显着降低了错误拒绝率（FRR）（超过独立DNN训练的70%）。
2021-02-26 cs.LG cs.SD eess.AS
Keyword Spotting with Hyper-Matched Filters for Small Footprint Devices
Technion – Israel Institute of Technology, Faculty of Electrical and Computer Engineering（技术学院 – 以色列理工学院，电气与计算机工程学院）；Northwestern University, Department of Linguistics（西北大学，语言学系）
本文提出一种面向小型设备的开放词汇关键词识别模型，采用超网络生成匹配滤波器权重，以微型编码器实现最先进检测性能，最小模型仅420万参数即超越数倍大小模型。
2025-08-06 cs.LG cs.SD eess.AS
On-Device Domain Learning for Keyword Spotting on Low-Power Extreme Edge Embedded Systems
ETH Zurich（苏黎世联邦理工学院）；Huawei Technologies（华为技术有限公司）；KU Leuven（鲁汶大学）；VERSES AI；University of Bologna（博洛尼亚大学）
针对噪声环境下关键词识别准确率下降的问题，提出一种完全设备端的域适配系统，在不到10 kB内存和仅100条标注话语下恢复5%准确率，并在超低功耗微控制器上以806 mJ能耗、14秒内完成适配。
2024-03-12 cs.LG cs.SD eess.AS
Small-Footprint Keyword Spotting with Multi-Scale Temporal Convolution
University of Science and Technology of China（中国科学技术大学）
关键词识别（KWS）在智能设备上终端和服务机器人的人机交互中起着至关重要的作用。在KWS任务中实现小占用空间和高精度之间的权衡仍然具有挑战性。在本文中，我们探讨了应用多尺度时间建模的小足迹关键字定位任务。我们提出了一个多分支时间卷积模块（MTConv），一个由多个具有不同内核大小的时间卷积滤波器组成的CNN块，它丰富了时间特征空间。此外，利用时间卷积和深度卷积的优点，为KWS系统设计了一个时间有效的神经网络（TENet）。基于目的模型，我们用可以训练以获得更好性能的MTConv替换标准时间卷积层。而在推理阶段，MTConv可以等效地转换为基础卷积架构，因此与基础模型相比，不会增加额外的参数和计算成本。Google Speech Command Dataset上的结果显示，我们使用MTConv训练的模型之一仅用10万个参数就能达到96.8%的准确率。
2020-10-20 cs.LG cs.SD eess.AS
Training Keyword Spotting Models on Non-IID Data with Federated Learning
Google LLC（谷歌有限责任公司）
我们证明了一个生产质量的关键词识别模型可以使用联邦学习在设备上进行训练，并实现与中央训练模型相当的错误接受率和错误拒绝率。为了克服与拟合设备上的数据（本质上是非独立和同分布的）相关的算法约束，我们使用大规模联邦仿真对优化算法和超参数配置进行了彻底的实证研究。为了克服资源限制，我们用SpecAugment替换了内存密集型MTR数据增强，从而将错误拒绝率降低了56%。最后，为了标记示例（给定设备上数据的零可见性），我们探索了师生培训。
2020-06-04 cs.CL cs.LG cs.SD
Improving Small Footprint Few-shot Keyword Spotting with Supervision on Auxiliary Data
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Korea YH（高通韩国YH）
提出利用易获取的无标注朗读语音构建LibriWord数据集并采用多任务学习，以监督方式增强小足迹少样本关键词识别模型的表征能力，显著提升基准性能。
2023-08-31 cs.LG cs.SD eess.AS
Production federated keyword spotting via distillation, filtering, and joint federated-centralized training
Google LLC（谷歌有限责任公司）；University of Washington（华盛顿大学）
我们在真实用户设备上使用联邦学习训练了一个关键字识别模型，并在将该模型部署到手机上进行推理时观察到了显著的改进。为了弥补设备上训练缓存中缺失的数据域，我们采用了联合集中式训练。为了在设备上没有策划标签的情况下学习，我们制定了一个基于用户反馈信号的置信度过滤策略，用于联邦蒸馏。这些技术创建的模型显著改善了离线评估中的质量指标和实时A/B实验中的用户体验指标。
2022-06-29 cs.CL cs.LG cs.SD
Toward noise-robust whisper keyword spotting on headphones with in-earcup microphone and curriculum learning
本文研究设备端耳语关键词检测的噪声鲁棒性问题，提出结合降噪耳机内置麦克风的多麦克风处理与课程学习策略，在噪声条件下将 F1 score 提升高达 15%。
2025-02-01 cs.SD eess.AS
Self-supervised speech representation learning for keyword-spotting with light-weight transformers
Amazon（亚马逊）
自监督语音表示学习（S3RL）正在彻底改变我们利用不断增长的数据可用性的方式。虽然S3RL相关研究通常使用大型模型，但我们采用轻量级网络来满足计算受限设备的内存要求。我们通过使用具有330k参数的Transformers来证明S3RL在关键词定位（KS）问题上的有效性，并提出了一种增强话语区分的机制，这对于提高分类任务的性能至关重要。在Google语音命令v2数据集上，应用于自回归预测编码S3RL的方法与从头开始训练相比，准确率提高了1.2%。在具有四个不同关键字的内部KS数据集上，它在固定的错误拒绝率下提供了6%至23.7%的相对错误接受改善。我们认为，这表明了S3RL方法的适用性，轻量级模型KS和确认S3RL是一个强大的替代传统的监督学习资源受限的应用程序。
2023-03-07 cs.LG cs.SD eess.AS
An Anchor-Free Detector for Continuous Speech Keyword Spotting
Microsoft Research Asia（微软亚洲研究院）；University of Technology Sydney（悉尼科技大学）
连续语音关键词识别（CSKWS）是一项在连续语音中检测预定义关键词的任务。在本文中，我们把CSKWS作为一个一维的目标检测任务，并提出了一种新的无锚检测器，命名为AF-KWS，来解决这个问题。AF-KWS通过单级深度神经网络直接回归关键词的中心位置和长度。特别是，AF-KWS是专为这个语音任务，因为我们引入了一个辅助的未知类，以排除其他词从非语音或无声的背景。我们已经建立了两个基准数据集LibriTop-20和连续会议分析关键字（CMAK）数据集CSKWS。对这两个数据集的评估表明，我们提出的AF-KWS优于参考方案的大幅度，因此为未来的研究提供了一个体面的基线。
2022-08-09 cs.SD eess.AS
Rainbow Keywords: Efficient Incremental Learning for Online Spoken Keyword Spotting
Nanyang Technological University（南洋理工大学）
在部署后更新关键字定位（KWS）模型时，灾难性遗忘是一个棘手的挑战。如果边缘设备由于内存有限而进一步需要KWS模型，则这个问题将更具挑战性。为了缓解这个问题，我们提出了一种新的多样性感知的增量学习方法彩虹关键字（RK）。具体而言，建议RK方法引入了多样性感知采样器，通过计算分类不确定性从历史和传入的关键字中选择不同的集合。因此，RK方法可以在不忘记先前知识的情况下渐进地学习新任务。此外，RK方法还提出了数据增强和知识蒸馏损失函数，以在边缘设备上进行有效的存储管理。实验结果表明，所提出的RK方法在Google Speech Command数据集上的平均准确率比最佳基线提高了4.2%，所需内存更少。这些脚本可以在GitHub上找到。
2022-06-30 cs.CL cs.SD eess.AS
CaTT-KWS: A Multi-stage Customized Keyword Spotting Framework based on Cascaded Transducer-Transformer
Northwestern Polytechnical University（西北工业大学）；Tencent Technology Co., Ltd（腾讯科技有限公司）
自定义关键词识别（KWS）在边缘设备上部署以实现免提用户体验方面具有很大的潜力。然而，在实际应用中，对于发现数十个甚至数百个关键字，虚警（FA）将是严重的问题，这极大地影响了用户体验。为了解决这个问题，在本文中，我们利用最近的进展，换能器和Transformer为基础的声学模型，并提出了一个新的多级定制的KWS框架命名为级联换能器-Transformer KWS（CaTT-KWS），其中包括一个基于换能器的关键字检测器，一个帧级的电话预测器为基础的力对齐模块和一个基于Transformer的解码器。具体来说，流转换器模块用于发现音频流中的关键词候选项。然后利用音素预测器预测出的音素后验子进行强制对齐，完成第一阶段的关键词验证，细化关键词的时间边界。最后，Transformer解码器进一步验证触发的关键字。我们提出的CaTT-KWS框架有效地降低了FA率，而不会明显损害关键字识别的准确性。具体来说，我们可以在一个具有挑战性的数据集上每小时获得令人印象深刻的0.13 FA，与基于传感器的检测模型相比，FA的相对减少超过90%，而关键字识别准确率仅下降不到2%。
2022-07-04 cs.SD eess.AS
Low-Power Audio Keyword Spotting using Tsetlin Machines
Newcastle University（纽卡斯尔大学）；University of Agder（阿格德尔大学）；Nokia Bell Labs（诺基亚贝尔实验室）
人工智能（AI）驱动的关键词识别（KWS）技术的出现彻底改变了人机交互。然而，当前神经网络（NN）驱动的AI-KWS管道的端到端能源效率，内存占用和系统复杂性的挑战仍然存在。本文评估KWS利用学习自动机驱动的机器学习算法称为Tsetlin机（TM）。通过显著降低参数要求和选择逻辑而不是基于算术的处理，TM为低功耗KWS提供了新的机会，同时保持高学习效率。在本文中，我们探索了一种基于TM的关键字定位（KWS）管道，以证明与NN相比具有更快收敛速度的低复杂性。此外，我们调查的可扩展性与增加的关键字，并探讨实现低功耗片上KWS的潜力。
2021-01-27 cs.SD eess.AS
Sequence-to-sequence Models for Small-Footprint Keyword Spotting
Xiaomi Inc.（小米公司）
在本文中，我们提出了一个序列到序列模型的关键字发现（KWS）。与其他端到端的KWS体系结构相比，我们的模型简化了生产质量的KWS系统的管道，并满足高精度，低延迟，小占地面积的要求。我们还评估了不同编码器架构的性能，包括LSTM和GRU。在真实唤醒数据上的实验表明，我们的方法优于最近提出的基于注意力的端到端模型。具体来说，在73K参数下，我们的序列到序列模型在每小时0.1个虚警（FA）时实现了$\sim$ 3.05\%的虚警拒绝率（FRR）。
2018-11-01 cs.SD eess.AS
Small-footprint slimmable networks for keyword spotting
Amazon（亚马逊）
本文将可瘦身神经网络用于小占用空间关键词唤醒，可从CNN和Transformer超网中抽取不同规模子网络，在25万参数限制内于Alexa和Google Speech Commands上达到或超过从头训练模型的效果。
2023-04-21 cs.LG cs.SD eess.AS
GraphemeAug: A Systematic Approach to Synthesized Hard Negative Keyword Spotting Examples
Google DeepMind（谷歌DeepMind）
本文提出GraphemeAug方法，通过编辑关键词的图eme生成对抗示例，提升关键词识别模型的AUC性能。
2025-05-25 cs.CL cs.SD eess.AS
Audiomer: A Convolutional Transformer For Keyword Spotting
Transformers在自然语言处理和计算机视觉任务方面出现了前所未有的增长。然而，在音频任务中，由于音频波形的序列长度非常大，所以它们不能进行训练，或者当在基于傅立叶的特征上进行训练时会导致性能损失。在这项工作中，我们引入了一种架构Audiomer，在该架构中，我们将1D残差网络与表演者注意力相结合，以实现原始音频波形关键字定位的最佳性能，优于所有以前的方法，同时计算成本更低，参数效率更高。此外，我们的模型具有语音处理的实际优势，如推断任意长的音频剪辑由于没有位置编码。该代码可在https://github.com/The-Learning-Machines/Audiomer-PyTorch上获得。
2022-02-01 cs.CL cs.LG cs.SD
Personalized Keyword Spotting for User-Defined Keywords Leveraging Text-Independent Speaker Verification
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，台湾国立台湾师范大学）；United Link Co., Ltd., Taiwan（台湾联链公司）
提出ZP-KWS轻量框架，结合音素监督音频编码器和紧凑说话人编码器，通过乘法后融合实现零样本关键词检测与说话人验证，在多个数据集上将目标误拒率降低高达60%。
2026-09-18 cs.SD eess.AS
Massive Open-Vocabulary Keyword Spotting
Priberam Labs（Priberam实验室）；Instituto Superior Técnico（理工学院）；Instituto de Telecomunicações（电信研究所）
提出一种内存占用更小的开放词汇关键词识别系统，无需微调即可处理大规模数据库，在未见语言中达到与未压缩方案相当的实体召回率。
2026-06-11 cs.CL cs.LG cs.SD
Exploring Filterbank Learning for Keyword Spotting
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
尽管手工制作的语音功能多年来表现出色，但对于任何特定的语音应用程序来说，它们并不一定是最佳的。因此，或多或少的成功，最佳滤波器组学习已经研究了不同的语音处理任务。在本文中，我们通过探索过滤器组学习关键字定位（KWS）来填补空白。审查了两种方法：功率谱域中的滤波器组矩阵学习和心理声学激励的伽马啁啾滤波器组的参数学习。滤波器组参数与基于现代深度残差神经网络的KWS后端联合优化。我们的实验结果表明，在一般情况下，有没有统计学上的显着差异，在KWS的准确性，使用一个学习的滤波器组和手工制作的语音功能。因此，虽然我们得出结论，后者仍然是一个明智的选择时，使用现代的KWS后端，我们还假设，这可能是一个症状的信息冗余，这开辟了新的研究可能性，在该领域的小足迹KWS。
2020-05-30 cs.LG cs.SD eess.AS
Multiple-Instance, Cascaded Classification for Keyword Spotting in Narrow-Band Audio
Voicera
针对非独立同分布窄带音频关键词识别，提出融合DNN、级联、多特征与多实例学习的模型，以级联提前终止降低功耗，实现漏报率6%且每小时误报率0.75。
2025-04-25 cs.CL cs.LG cs.SD
Meta-AF Echo Cancellation for Improved Keyword Spotting
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对传统自适应滤波器忽略下游任务性能的问题，本文改进Meta-AF框架，结合自监督与分类器反馈实现下游分类任务端到端训练，在回声消除+关键词识别任务上无需额外成本即可提升性能。
2023-12-17 cs.SD eess.AS
How Tiny Can Analog Filterbank Features Be Made for Ultra-low-power On-device Keyword Spotting?
Columbia University（哥伦比亚大学）；Barnard College（巴纳德学院）
本文通过仿真研究模拟滤波器组架构参数选择，在仅损失1.8%的10词关键词识别准确率下，将典型最先进模拟滤波器组功耗降低33.6倍，为超低功耗设备端关键词识别提供设计依据。
2023-04-17 cs.SD eess.AS
Matching Latent Encoding for Audio-Text based Keyword Spotting
Apple（苹果公司）
针对音频文本关键词检测中多词不同长度嵌入的语义对齐难题，提出含动态序列划分算法的端到端架构，在公开数据集上AUC和EER分别优于SOTA 14.4%和28.9%。
2023-06-08 cs.LG cs.SD eess.AS
Dynamic curriculum learning via data parameters for noise robust keyword spotting
Apple（苹果公司）
我们提出了通过数据参数进行动态课程学习，以实现噪声鲁棒关键字定位。近来，数据参数学习已经被引入用于图像处理，其中，针对目标类别和实例的权重参数（所谓的数据参数）被引入并且与模型参数一起被优化。数据参数在训练期间缩放logits并控制类和实例的重要性，这使得自动课程学习无需对训练数据进行额外的注释。同样，在本文中，我们提出了使用这种课程学习方法的声学建模，并训练一个声学模型上干净和嘈杂的话语与数据参数。所提出的方法在梯度下降优化中自动学习类和实例的难度，例如由于低语音噪声比（SNR），并执行课程学习。该课程学习导致声学模型的准确性的全面提高。我们评估所提出的方法对关键字定位任务的有效性。实验结果表明，与简单地在多条件数据集上训练的基线模型相比，数据参数的错误拒绝率相对降低了7.7%。
2021-02-18 cs.AI cs.LG cs.SD
End-to-End Multi-Look Keyword Spotting
Tencent（腾讯）
关键字定位（KWS）的性能，在虚警和假拒绝，显着下降的远场和噪声条件下。在本文中，我们提出了一个多视神经网络模型的语音增强，同时转向听多个采样的方向。然后，多视角增强与KWS联合训练以形成端到端KWS模型，该模型集成来自多个视角方向的增强信号，并利用注意力机制将模型的注意力动态地调整到可靠源。我们证明，在我们的大噪声和远场评估集，所提出的方法显着提高了KWS的性能对基线KWS系统和最近的基于波束形成器的多波束KWS系统。
2020-05-20 cs.SD eess.AS
End-to-end Models with auditory attention in Multi-channel Keyword Spotting
Xiaomi Inc.（小米公司）
在本文中，我们提出了一个基于注意力的端到端模型，用于多通道关键字定位（KWS），该模型经过训练，可以直接优化KWS结果。因此，我们的模型优于基线模型与信号预处理技术在干净的和有噪声的测试数据。我们还发现，当训练和测试数据相似时，多任务学习会产生更好的性能。迁移学习和多目标光谱映射可以显著增强对噪声环境的鲁棒性。在每小时0.1个虚警（FA）的情况下，具有迁移学习和多目标映射的模型在SNR约为-20的噪声数据中获得了30%的唤醒率的绝对改善。
2018-11-03 cs.SD eess.AS
AutoKWS: Keyword Spotting with Differentiable Architecture Search
Xiaomi AI Lab（小米人工智能实验室）
智能音频设备通过始终在线的轻量级关键字识别程序进行门控，以降低功耗。然而，设计具有高准确性和低延迟的模型以实现准确和快速的响应是具有挑战性的。已经做出了许多努力来开发端到端神经网络，其中依赖可分离卷积，时间卷积和LSTM被用作构建单元。尽管如此，这些利用人类专业知识设计的网络可能无法在广阔的搜索空间中实现最佳权衡。在本文中，我们建议利用可微神经结构搜索的最新进展来发现更有效的网络。我们搜索的模型在Google Speech Command Dataset v1上达到了97.2%的top-1准确率，只有近10万个参数。
2021-02-22 cs.SD eess.AS
BBS-KWS:The Mandarin Keyword Spotting System Won the Video Keyword Wakeup Challenge
Yidun AI Lab, Netease（网易易盾人工智能实验室）
本文介绍了由伊顿NISP团队提交的视频关键词唤醒挑战赛的系统。本文提出了一个汉语关键词识别系统（KWS），并对该系统进行了一些新颖有效的改进，包括大主干（B）模型、关键词偏置（B）机制和音节建模单元（S）的引入。考虑到这一点，我们将整个系统称为BBS-KWS。BBS-KWS系统由端到端自动语音识别（ASR）模块和KWS模块组成。ASR模块将语音特征转换为文本表示，将一个大的骨干网络应用于声学模型，并考虑音节建模单元。此外，在ASR推理阶段，使用关键词偏置机制来提高关键词的召回率。KWS模块应用多个标准来确定关键字的存在或不存在，例如多级匹配、模糊匹配和连接主义时间分类（CTC）前缀分数。为了进一步改进我们的系统，我们对CN-Celeb数据集进行了半监督学习，以更好地泛化。在VKW任务中，BBS-KWS系统在基线上实现了显著的增益，并在两个轨道中获得第一名。
2021-12-03 cs.CL cs.SD eess.AS
DCCRN-KWS: an audio bias based model for noise robust small-footprint keyword spotting
Tencent Technology Co., Ltd（腾讯科技有限公司）
针对低信噪比等复杂声学环境下的关键词识别挑战，提出基于音频上下文偏置的DCCRN-KWS多任务模型，结合去噪任务、特征融合等模块提升噪声鲁棒性，在多数据集上性能优于现有方案。
2023-06-13 cs.SD eess.AS
Flexible Keyword Spotting based on Homogeneous Audio-Text Embedding
Apple（苹果公司）
本文提出一种基于音频兼容文本编码器的灵活关键词识别架构，通过G2P与代表性音素向量实现同质音频-文本嵌入，并结合易混淆关键词生成增强判别力，在Libriphrase困难数据集上显著提升AUC并降低EER。
2023-08-12 cs.LG cs.SD eess.AS
AUC Optimization for Robust Small-footprint Keyword Spotting with Limited Training Data
Northwestern Polytechnical University（西北工业大学）
深度神经网络为小足迹关键字识别（KWS）提供了有效的解决方案。然而，如果训练数据是有限的，它仍然具有挑战性，以实现强大的和高度准确的KWS在现实世界的场景中，看不见的声音，是训练数据中经常遇到的。大多数传统方法的目标是最大限度地提高训练集的分类精度，而不考虑看不见的声音。为了增强基于KWS的深度神经网络的鲁棒性，本文引入了一种新的损失函数，称为接收器操作特征曲线（AUC）下面积的最大化。该方法不仅最大化了封闭训练集上关键词的分类准确率，而且最大化了AUC得分，以优化非关键词片段检测的性能。在Google Speech Commands数据集v1和v2上的实验结果表明，我们的方法在大多数评估指标方面都达到了新的最先进的性能。
2021-07-13 cs.SD eess.AS
Exploring Representation Learning for Small-Footprint Keyword Spotting
Xiaomi（小米）
在本文中，我们研究表示学习的低资源关键字发现（KWS）。KWS的主要挑战是有限的标记数据和有限的可用设备资源。为了解决这些问题，我们通过自监督对比学习和预训练模型的自训练，探索了知识系统的表示学习。首先，局部-全局对比连体网络（LGCSiam）的目的是学习类似的话语级表示类似的音频采样器提出的局部-全局对比损失，而不需要地面真理。其次，应用自监督预训练的Wav 2 Vec 2.0模型作为约束模块（WVC）来强制KWS模型学习帧级声学表示。通过LGCSiam和WVC模块，可以使用未标记的数据对所提出的小足迹KWS模型进行预训练。语音命令数据集上的实验表明，自训练WVC模块和自监督LGCSiam模块显着提高了准确率，尤其是在小标记数据集上训练的情况下。
2023-03-20 cs.CL cs.LG cs.SD
