DONUT: CTC-based Query-by-Example Keyword Spotting
关键字定位-或唤醒词检测-是现代语音控制设备免提操作的基本功能。随着这种设备变得无处不在，用户可能想要选择个性化的自定义唤醒词。在这项工作中，我们提出了DONUT，一个基于CTC的算法，在线查询的关键字定位，使自定义唤醒词检测。该算法通过记录来自用户的少量训练样本、从这些训练样本生成一组标签序列假设、以及通过在给定新音频记录的情况下聚合所有假设的分数来检测唤醒词来工作。我们的方法结合了通用性和可解释性的CTC为基础的关键字发现与用户的适应性和方便性的传统查询的例子系统。DONUT具有低计算要求，非常适合嵌入式系统上的学习和推理，而不需要将私有用户数据上传到云端。
2018-11-26 cs.LG cs.SD eess.AS
Orthogonality Constrained Multi-Head Attention For Keyword Spotting
Qualcomm AI Research, Qualcomm Korea YH（高通人工智能研究院，高通韩国YH）
多头注意力机制能够从顺序数据中学习各种表示，同时注意不同的顺序，例如，口语中的词段或音节。从连续性，它检索更丰富的信息比一个单一的头注意，只总结了整个序列到一个上下文向量。然而，多头注意力的简单使用并不能保证这种丰富性，因为注意力头可能具有位置和表示冗余。在本文中，我们提出了一个正则化技术的多头注意力机制在端到端的神经关键字发现系统。增加惩罚注意力头部之间的位置和上下文非正交性的正则化项鼓励从单独的连续性输出不同的表示，这又使得能够在没有显式序列模型（诸如隐马尔可夫模型）的情况下利用结构化信息。此外，头内上下文非正交性正则化鼓励每个注意力头在关键字示例中具有相似的表示，这有助于通过减少特征可变性来进行分类。实验结果表明，所提出的正则化技术显着提高了关键字定位性能的关键字“嘿Snapdragon”。
2019-10-10 cs.LG eess.AS stat.ML
Encoder-Decoder Neural Architecture Optimization for Keyword Spotting
University of Alberta（阿尔伯塔大学）；University of Montreal（蒙特利尔大学）
关键词定位旨在识别特定的关键词音频话语。近年来，深度卷积神经网络已被广泛用于关键词定位系统。然而，它们的模型架构主要基于现成的主干，如VGG-Net或ResNet，而不是专门为任务设计的。在本文中，我们利用神经架构搜索设计卷积神经网络模型，可以提高关键字定位的性能，同时保持可接受的内存占用。具体地说，我们搜索的模型运营商和他们的连接在一个特定的搜索空间与编码器-解码器的神经架构优化。对Google语音命令数据集的广泛评估表明，我们的方法搜索的模型架构达到了97%以上的最先进的准确率。
2021-06-04 cs.LG cs.MM
Data Augmentation for Robust Keyword Spotting under Playback Interference
Amazon Alexa（亚马逊Alexa）；Google Inc.（谷歌公司）；Purdue University（普渡大学）
具有低错误接受率和错误拒绝率的准确的设备上关键字识别（KWS）对于会话代理的远场话音控制的客户体验至关重要。在现实世界条件下保持低的错误拒绝率是特别具有挑战性的，在现实世界条件下存在（a）来自外部源（诸如TV、家用电器）的环境噪声或不指向设备的其他语音，（b）来自设备的音频回放的不完美消除，导致在由声学回声消除（AEC）系统处理之后的残余回声。在本文中，我们提出了一种数据增强策略，以提高在这些具有挑战性的条件下的关键字识别性能。通过以不同的信号干扰比混合音乐和电视/电影音频，训练集音频被人为地破坏。我们的研究结果表明，我们得到约30-45%的相对减少的错误拒绝率，在一系列的错误报警率，从这样的设备的音频播放。
2018-08-01 cs.CL cs.LG stat.ML
Open-vocabulary Keyword-spotting with Adaptive Instance Normalization
aiOla Research（aiOla研究院）
提出AdaKWS方法，通过文本编码器输出关键词条件化的归一化参数处理听觉输入，在多语言基准和低资源语言上显著优于基线。
2023-09-13 cs.LG cs.SD eess.AS
Attention-Free Keyword Spotting
Islamic University of Technology（伊斯兰理工大学）
到目前为止，基于注意力的模型已经在关键字识别问题领域取得了巨大的成功。然而，鉴于深度学习的最新进展，问题出现了，对于识别语音关键词，自我注意力是否真的不可替代。因此，我们探索使用门MLP-以前被证明是替代Transformers的视觉任务-的关键字定位任务。我们提供了一系列高效的基于MLP的关键字识别模型，参数少于50万。我们表明，我们的方法在Google Speech Commands V2-12和V2-35基准测试中实现了具有竞争力的性能，参数比基于自我注意力的方法少得多。
2022-04-10 cs.LG cs.SD eess.AS
Personalized Keyword Spotting through Multi-task Learning
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键词发现（KWS）在智能设备上实现基于语音的用户交互中起着至关重要的作用，并且传统的KWS（C-KWS）方法集中于检测用户不可知的预定义关键词。然而，在实践中，大多数用户交互来自在设备中注册的目标用户，这促使构建个性化关键词发现。我们设计了两个个性化的KWS任务：（1）目标用户偏向的KWS（TB-KWS）和（2）目标用户唯一的KWS（TO-KWS）。为了解决这些任务，我们提出了通过多任务学习（PK-MTL），包括多任务学习和任务适应个性化的关键字发现。首先，我们介绍了应用多任务学习的关键字定位和说话人验证，利用用户信息的关键字定位系统。接下来，我们设计了任务特定的评分函数，以适应个性化的KWS任务彻底。我们评估我们的框架在传统和个性化的场景，结果表明，PK-MTL可以显着降低误报率，特别是在各种实际场景。
2022-06-28 cs.LG cs.SD eess.AS
Predicting detection filters for small footprint open-vocabulary keyword spotting
Sonos Inc.（索诺斯公司）
在本文中，我们提出了一种全神经方法来识别开放式词汇表关键字，允许用户在其设备中包含可定制的语音界面，并且不需要特定于任务的数据。我们提出了一个关键字检测神经网络重量小于250 KB，其中执行关键字检测的最上层预测的辅助网络，可以离线运行，以生成任何关键字的检测器。我们表明，该模型优于声学关键字定位基线的两个任务检测关键字的话语和三个任务检测孤立的语音命令的大幅度。我们还提出了一种方法来微调模型时，特定的训练数据可用于某些关键字，这会产生类似于一个标准的语音命令神经网络的性能，同时保持模型的能力，以应用于新的关键字。
2020-09-29 cs.CL cs.LG
Max-Pooling Loss Training of Long Short-Term Memory Networks for Small-Footprint Keyword Spotting
Google Brain（谷歌大脑）
我们提出了一个基于最大池的损失函数，用于训练长短期记忆（LSTM）网络，用于小足迹关键字定位（KWS），具有较低的CPU，内存和延迟要求。最大池化损失训练可以通过用交叉熵损失训练的网络初始化来进一步引导。采用基于后验平滑的评价方法来衡量关键字定位性能。我们的实验结果表明，使用交叉熵损失或最大池化损失训练的LSTM模型优于交叉熵损失训练的基线前馈深度神经网络（DNN）。此外，与交叉熵损失训练的LSTM相比，具有随机初始化网络的最大池化损失训练的LSTM表现更好。最后，使用交叉熵预训练网络初始化的最大池化损失训练的LSTM显示出最佳性能，与基线前馈DNN相比，在曲线下面积（AUC）测量中产生了$67.6\%$相对减少。
2017-05-05 cs.CL cs.LG stat.ML
Dummy Prototypical Networks for Few-Shot Open-Set Keyword Spotting
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键字定位是在流式音频中检测关键字的任务。传统的关键词识别以预定义的关键词分类为目标，但是在Few-Shot（按示例查询）关键词识别中存在越来越多的关注，例如，N路分类给出了M-shot支持样本。此外，在现实世界的场景中，可能存在来自意外类别（开集）的话语，其需要被拒绝而不是被分类为N个类别之一。结合这两个需求，我们解决了Few-Shot开放集关键字发现与一个新的基准设置，命名为splitGSC。我们提出了基于度量学习的已知场景虚拟原型，以更好地检测开集，并介绍了一种简单而强大的方法，虚拟原型网络（D-ProtoNets）。我们的D-ProtoNets显示了明确的利润率相比，最近的Few-Shot开集识别（FSOSR）的方法在建议的splitGSC。我们还在标准基准测试miniImageNet上验证了我们的方法，D-ProtoNets显示了FSOSR中最先进的开集检测率。
2022-06-28 cs.LG cs.SD eess.AS
Query-by-example on-device keyword spotting
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc（高通技术公司）
关键词定位（KWS）系统确定连续语音流中是否存在（通常是预定义的）关键词。本文提出了一种基于实例的设备上的知识库系统，它是用户特定的。该系统包括两个主要步骤：查询注册和测试。在查询注册步骤中，语音后验由基于连接主义时间分类的小足迹自动语音识别模型输出。利用语音级后验图，建立有限状态转换器（FST）的假设图，从而可以注册任何关键字，从而避免了词汇表外的问题。在测试中，使用FST对输入音频的对数似然进行评分。我们提出了一个阈值预测方法，同时只使用用户特定的关键字假设。该系统通过在波形中重新排列每个查询话语来生成特定于查询的否定。阈值是基于登记查询和生成的否定决定的。我们用英语测试了两个关键字，所提出的工作在保持简单性的同时表现出良好的性能。
2020-01-14 cs.CL cs.LG eess.AS
Stochastic Adaptive Neural Architecture Search for Keyword Spotting
Sorbonne Université（索邦大学）；Facebook AI Research（脸书人工智能研究院）
关键词定位（即，识别实时音频流中的关键词）的问题主要通过在连续滑动窗口上应用神经网络来解决。由于任务的难度，基线模型通常很大，导致高计算成本和能耗水平。我们提出了一种新的方法称为SANAS（随机自适应神经结构搜索），它能够适应的神经网络的架构上的飞行在推理时间，使小架构将被使用时，流是容易处理（沉默，低噪声，.）当任务变得更加困难时，将使用更大的网络。我们表明，这种自适应模型可以通过优化预测性能和单位时间平均计算成本之间的权衡来学习端到端。在Speech Commands数据集上的实验表明，这种方法导致了较高的识别水平，同时比网络架构是静态的经典方法快得多（和/或节能）。
2018-11-16 cs.LG eess.AS stat.ML
SLiCK: Exploiting Subsequences for Length-Constrained Keyword Spotting
Apple（苹果公司）
针对边缘设备用户自定义关键词识别难题，提出利用关键词长度约束的SLiCK方法，通过子序列级匹配和多任务学习，显著提升了Libriphrase hard数据集上的识别性能。
2024-09-06 cs.LG cs.SD eess.AS
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab（Arm机器学习研究实验室）；Lund University（隆德大学）
Transformer架构在许多领域都取得了成功，包括自然语言处理、计算机视觉和语音识别。在关键字识别中，自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法，并引入了关键字Transformer（KWT），这是一种完全自我注意的架构，在没有任何预训练或额外数据的情况下，它在多个任务中的性能超过了最先进的水平。令人惊讶的是，这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品，在Google Speech Commands数据集上创造了两个新的基准记录，分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD
Exploring Sequence-to-Sequence Transformer-Transducer Models for Keyword Spotting
Google（谷歌）
在本文中，我们提出了一种新的方法来适应序列到序列转换器-转换器ASR系统的关键字定位（KWS）任务。我们通过将文本转录中的关键字替换为特殊标记并训练系统检测音频流中的标记来实现这一点。<kw><kw>在推理时，我们创建了一个决策函数的灵感来自传统的KWS方法，使我们的方法更适合于KWS任务。此外，我们引入了一个特定的关键字定位损失，通过调整序列判别最小贝叶斯风险训练技术。我们发现，我们的方法显着优于基于ASR的KWS系统。当与传统的关键字定位系统相比，我们的建议具有类似的性能，同时带来了序列到序列训练的优势和灵活性。此外，当与传统的KWS系统相结合，我们的方法可以提高在任何操作点的性能。
2022-11-11 cs.LG cs.SD eess.AS
A Fast Network Exploration Strategy to Profile Low Energy Consumption for Keyword Spotting
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
如今，关键词识别是针对智能设备的面向语音的用户交互的一个组成部分。为此，神经网络因其灵活性和高精度而被广泛使用。然而，为准确性要求和硬件部署提供合适的配置是一个挑战。我们提出了一种基于回归的网络探索技术，考虑网络过滤器（$s$）和网络层的量化（$q$）的缩放，导致FPGA硬件实现的友好和节能的配置。我们在FPGA上进行了不同$\mathcal{NN}\scriptstyle\langle q,\,s\rangle \displaystyle$组合的实验，以分析部署网络的能耗，以便用户可以及时选择最节能的网络配置。我们的加速器设计部署在Xilinx AC 701平台上，与最近的关键字识别硬件实现相比，在能源和能源效率结果方面分别至少有2.1 $\times$和4 $\times$改进。
2022-02-04 cs.LG
Weight-importance sparse training in keyword spotting
NIO Co., Ltd（蔚来汽车有限公司）
近年来，为了处理复杂的语音识别问题，语音识别系统采用了大规模的语音模型。这些模型中的参数数量使得它们难以部署，特别是在一些资源短缺的设备上，如车载平板电脑。此外，在大多数情况下，ASR系统用于处理实时问题，如关键字定位（KWS）。这与大型模型需要较长计算时间的事实相矛盾。为了解决这个问题，我们应用一些稀疏算法来减少一些广泛使用的模型，深度神经网络（DNN）KWS中的参数数量，这需要非常短的计算时间。模型中的参数可以在极小的影响衰减下被删减90%甚至95%以上.稀疏模型的性能优于参数阶数相同的基线模型。此外，稀疏算法可以使我们自动地找到合理的模型大小，而无需考虑选择原始模型大小。
2018-07-09 cs.CL cs.LG stat.ML
Learning Audio-Text Agreement for Open-vocabulary Keyword Spotting
Naver Corporation（NAVER 公司）；Yonsei University（延世大学）
在本文中，我们提出了一种新的端到最终用户定义的关键字发现方法，利用语言之间的对应模式的语音和文本序列。与以前的方法需要语音关键字注册，我们的方法比较输入查询与注册的文本关键字序列。为了将音频和文本表示放置在一个共同的潜在空间中，我们采用了一种基于注意力的跨模态匹配方法，该方法以端到端的方式进行训练，具有单调匹配损失和关键字分类损失。我们还利用去噪损失的声学嵌入网络，以提高在嘈杂的环境中的鲁棒性。此外，我们还介绍了LibriPhrase数据集，这是一个基于LibriSpeech的新的短语数据集，用于有效地训练关键字识别模型。与其他单模态和跨模态基线相比，我们提出的方法在各种评估集上取得了有竞争力的结果。
2022-07-01 cs.AI cs.LG eess.AS
Online Keyword Spotting with a Character-Level Recurrent Neural Network
Seoul National University（首尔国立大学）
在本文中，我们提出了一个上下文感知的关键字定位模型，采用字符级循环神经网络（RNN）的连续语音中的口语术语检测。RNN使用连接主义时间分类（CTC）进行端到端训练，以生成字符和词边界标签的概率。在训练和测试中不需要语音转录，senone建模或系统字典。此外，可以通过编辑基于文本的关键字列表来轻松添加和修改关键字，而无需重新训练RNN。此外，单向RNN处理无限长的输入音频流而无需预分割，并且在话语完成之前以低延迟检测关键字。实验结果表明，所提出的关键字发现器显着优于深度神经网络（DNN）和隐马尔可夫模型（HMM）的关键字填充模型，即使以更少的计算。
2015-12-30 cs.CL cs.LG cs.NE
Multitaper mel-spectrograms for keyword spotting
SiDi
本文研究将多锥形技术用于关键词识别的特征提取，通过在不同场景、参数、数据集和嵌入式神经网络上的实验，验证了改进特征的有效性。
2024-07-05 cs.LG eess.AS
QbyE-MLPMixer: Query-by-Example Open-Vocabulary Keyword Spotting using MLPMixer
LG Electronics Toronto AI Lab（LG电子多伦多人工智能实验室）；LG Electronics Artificial Intelligence Lab（LG电子人工智能实验室）
当前的关键词识别系统通常使用大量预定义的关键词进行训练。在开放式词汇设置中识别关键字对于个性化智能设备交互至关重要。为了实现这一目标，我们提出了一个纯粹的基于MLP的神经网络，它是基于MLPMixer -一个MLP模型架构，有效地取代了Vision Transformers中的注意力机制。我们研究了不同的方式来适应MLPMixer架构的QbyE开放词汇表关键字定位任务。与最先进的RNN和CNN模型的比较表明，我们的方法在公开可用的Hey-Snips数据集和具有400个扬声器的更大规模内部数据集上都在具有挑战性的情况下（10 dB和6 dB环境）实现了更好的性能。与基线模型相比，我们提出的模型的参数和MAC数量也较少。
2022-06-23 cs.CL cs.LG eess.AS
Hierarchical Neural Network Architecture In Keyword Spotting
NIO Co., Ltd（蔚来汽车有限公司）
关键词发现（KWS）提供了ASR问题的开始信号，因此必须确保高召回率。然而，它的实时性要求低的计算复杂度。这一矛盾促使人们寻找一种合适的模型，这种模型足够小，可以在多种环境下表现良好。为了解决这一矛盾，我们实现了分层神经网络（HNN），它被证明是有效的，在许多语音识别问题。HNN的模型规模和计算复杂度略低，但性能优于传统DNN和CNN。此外，其简单的拓扑结构易于部署在任何设备上。
2018-11-06 cs.CL cs.LG
Locale Encoding For Scalable Multilingual Keyword Spotting Models
Google LLC（谷歌有限责任公司）
多语言关键词定位（KWS）系统检测多个地区的口语关键词。传统的单语KWS方法由于开发/维护成本高和缺乏资源共享而不能很好地扩展到多语言场景，为了克服这一限制，我们提出了两个具有区域特征连接和特征线性调制（FiLM）的区域条件通用模型。我们将这些模型与两种基线方法进行比较：特定于地区的单语KWS，以及在所有数据上训练的单一通用模型。在10个本地化语言数据集上的实验表明，在不同的噪声条件下，与基线方法相比，本地条件模型在所有本地化语言上的准确性都有了显著提高。FiLM表现最好，与类似大小的单语KWS模型相比，平均FRR提高了61%（相对）。
2023-02-25 cs.CL cs.LG
Data Aware Differentiable Neural Architecture Search for Tiny Keyword Spotting Applications
Technical University of Denmark (DTU)（丹麦技术大学）
本文提出数据感知可微分神经架构搜索，将数据配置参数纳入搜索空间，协同优化模型架构与输入数据特征，在关键词识别任务中实现资源与性能的平衡，生成精简且高精度的 TinyML 系统。
2025-07-21 cs.LG
Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting
Device Technology Research Institute（设备技术研究所）；AI Chip Design Open Innovation Laboratory（AI芯片设计开放创新实验室）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们提出了神经网络模型的基础上，神经常微分方程（NODE）的小足迹关键字定位（KWS）。我们提出的技术，应用节点的KWS，使之有可能采用批量归一化的节点为基础的网络，并减少推理过程中的计算量。最后，我们表明，所提出的模型的模型参数的数量比传统的KWS模型减少了68%。
2020-09-06 cs.LG cs.SD eess.AS
Small-footprint Keyword Spotting with Graph Convolutional Network
Tsinghua University（清华大学）；TsingMicro Co. Ltd.（清微电子股份有限公司）
尽管深度神经网络最近取得了成功，但在资源受限的设备上实现高精度关键词发现任务（KWS）仍然具有挑战性。在这项研究中，我们提出了一种新的上下文感知和紧凑的架构关键字发现任务。基于剩余连接和瓶颈结构，我们设计了一个紧凑和高效的网络KWS任务。为了利用卷积特征映射的长程依赖性和全局上下文，引入图卷积网络来编码非局部关系。通过在Google语音命令数据集上的测试，该方法具有最佳的性能，并以较低的计算代价大幅优于现有的方法。
2019-12-11 cs.CL cs.LG cs.SD
Neural Architecture Search For Keyword Spotting
University of Alberta（阿尔伯塔大学）；Huawei Technologies（华为技术）
深度神经网络最近已经成为关键词识别系统的一种流行解决方案，它可以通过语音控制智能设备。在本文中，我们应用神经架构搜索来搜索卷积神经网络模型，这些模型可以帮助提高基于从声学信号中提取的特征的关键字定位的性能，同时保持可接受的内存占用。具体来说，我们使用微分架构搜索技术搜索运营商和他们的连接在一个预定义的小区搜索空间。然后，在深度和宽度上按比例放大所发现的单元，以实现具有竞争力的性能。我们在Google的Speech Commands Dataset上评估了所提出的方法，并在文献中常见的12类话语分类的设置上实现了超过97%的最先进的准确率。
2020-09-02 cs.LG cs.SD eess.AS
Few-Shot Open-Set Learning for On-Device Customization of KeyWord Spotting Systems
PSI, KU Leuven（荷语鲁汶大学PSI研究所）
针对端侧KWS快速定制难题，提出结合深度特征编码器与原型分类器的少样本开集方法，在10样本设置下达到76%准确率且未知误接受率为5%，并以更少参数优于对比方案。
2023-06-03 cs.LG
Hardware Aware Training for Efficient Keyword Spotting on General Purpose and Specialized Hardware
Applied Brain Research Inc.（应用脑研究公司）；University of Waterloo（滑铁卢大学）
关键字识别（KWS）为许多移动和边缘应用程序（包括手机、可穿戴设备和汽车）提供了关键的用户界面。由于KWS系统通常是“始终开启”的，因此最大限度地提高精度和功率效率是其实用性的核心。在这项工作中，我们使用硬件感知训练（HAT）来构建基于Legendre Memory Unit（LMU）的新KWS神经网络，以实现最先进的（SotA）精度和低参数计数。这允许神经网络在标准硬件（212 $μ$ W）上高效地运行。我们还对定制设计的加速器硬件的功耗要求进行了表征，该硬件实现了8.79 $μ$ W的SotA功耗效率，比通用低功耗硬件（微控制器）高24倍，比专用ASIC高16倍。
2021-03-10 cs.LG cs.SD eess.AS
Feature exploration for almost zero-resource ASR-free keyword spotting using a multilingual bottleneck extractor and correspondence autoencoders
Stellenbosch University（斯泰伦博斯大学）；UN Global Pulse（联合国全球脉动）；Makerere University（马凯雷雷大学）；University of Edinburgh（爱丁堡大学）
我们比较动态时间规整（DTW）的功能时，用于引导关键字定位（KWS）在一个几乎为零的资源设置。这种可快速部署的系统旨在支持联合国在非洲部分地区的人道主义救援工作，这些地区的语言资源严重不足。我们的目标是确定声学功能，提供可接受的KWS在这样的环境中的性能。作为监督资源，我们将自己限制在一个小的，容易获得的和独立编译的孤立关键字集。对于特征提取，多语言瓶颈特征（BNF）提取器，在资源丰富的域外语言上训练，与在极其稀疏的域内数据上训练的对应自动编码器（CAE）集成。就其本身而言，BNF和CAE功能被证明比基线MFCC实现了超过2%的绝对性能改进。然而，通过使用BNF作为CAE的输入，可以实现更好的性能，ROC AUC比MFCC的绝对改善超过11%，并且对于两种评估语言（英语和卢甘达语），前10名检索的数量是两倍多。我们的结论是，集成BNF与CAE允许大的域外和稀疏的域内资源被利用，以改善ASR的关键字定位。
2019-07-13 cs.LG cs.SD eess.AS
Query-by-Example Keyword Spotting system using Multi-head Attention and Softtriple Loss
LG Electronics（LG电子）
本文提出了一种神经网络架构，用于解决用户定义的关键字识别任务。在多层GRU的基础上增加了多头注意力模块以实现有效的特征提取，并提出了归一化的多头注意力模块以实现特征聚合.我们还采用了softtriple loss（三重损耗和softmax损耗的组合），并展示了其有效性。我们展示了我们的模型在不同语言的内部数据集和公共Hey-Snips数据集上的性能。我们将我们的模型的性能与基线系统进行比较，并进行消融研究，以显示我们架构中每个组件的优势。所提出的工作表现出坚实的性能，同时保持简单性。
2021-05-07 cs.CL cs.LG
Efficient keyword spotting using dilated convolutions and gating
Snips（Snips公司）
我们探讨了端到端的无状态时态建模应用于小足迹关键字定位，而不是使用内部状态建模长期时态依赖关系的递归网络。我们提出了一个模型的启发，最近成功的扩张卷积序列建模应用程序，允许训练更深的架构资源受限的配置。还添加了门控激活和剩余连接，遵循与WaveNet类似的配置。此外，我们应用自定义目标标记，从感兴趣的特定帧反向传播损失，因此产生更高的准确性，只需要检测关键字的结尾。我们的实验结果表明，我们的模型优于使用LSTM细胞的最大池化损失训练的递归神经网络，错误拒绝率显着降低。基础数据集-由超过2.2K不同说话者记录的“Hey Snips”话语-已公开提供，以建立唤醒词检测的开放参考。
2019-02-18 cs.CL cs.LG cs.SD
Domain Aware Training for Far-field Small-footprint Keyword Spotting
Duke Kunshan University（昆山杜克大学）；Montage Technology（澜起科技）
在本文中，我们专注于小足迹的关键字发现下的远场场景的任务。远场环境是现实语音应用中经常遇到的环境，由于室内混响和各种噪声的影响，远场环境会导致语音性能的严重下降。我们的基线系统建立在卷积神经网络上，该网络使用远场和近距离说话语音的合并数据进行训练。为了应对这些失真，我们开发了三个领域感知训练系统，包括领域嵌入系统，深度CORAL系统和多任务学习系统。这些方法将领域知识结合到网络训练中，并提高了关键字分类器在远场条件下的性能。实验结果表明，我们提出的方法管理，以保持性能上的近距离说话的语音，并取得显着改善远场测试集。
2020-08-07 cs.LG eess.AS
On the Efficiency of Integrating Self-supervised Learning and Meta-learning for User-defined Few-shot Keyword Spotting
National Taiwan University（台湾大学）；intelliGo Technology inc.（intelliGo科技公司）
用户定义的关键字识别是一项检测用户定义的新口语术语的任务。这可以被看作是一个少样本学习问题，因为用户通过提供许多示例来定义他们想要的关键字是不合理的。为了解决这个问题，以前的作品试图纳入自监督学习模型或应用元学习算法。但目前尚不清楚自监督学习和元学习是否是互补的，以及这两种方法的哪种组合对于Few-Shot关键字发现最有效。在这项工作中，我们系统地研究这些问题，利用各种自监督学习模型，并将它们与各种各样的元学习算法相结合。实验结果表明，HuBERT与匹配网络相结合的方法效果最好，对Few-Shot样本的变化具有较强的鲁棒性。
2022-10-05 cs.LG eess.AS
End-to-end Keyword Spotting using Neural Architecture Search and Quantization
Graz University of Technology（格拉茨工业大学）
本文介绍了神经架构搜索（NAS），用于在有限资源环境中自动发现端到端关键字定位（KWS）模型。我们采用可区分的NAS方法来优化对原始音频波形进行操作的卷积神经网络（CNN）的结构。在NAS中找到合适的KWS模型后，我们对权重和激活进行量化，以减少内存占用。我们对Google语音命令数据集进行了广泛的实验。特别是，我们比较我们的端到端的方法梅尔频率倒谱系数（MFCC）为基础的系统。对于量化，我们比较了固定位宽量化和训练位宽量化。仅使用NAS，我们就能够获得一个高效的模型，使用75.7k个参数和13.6M次操作，准确率达到95.55%。使用训练的位宽量化，相同的模型实现了93.76%的测试准确度，而平均每个激活仅使用2.91位，每个权重仅使用2.51位。
2021-04-14 cs.LG cs.SD eess.AS
Personalizing Keyword Spotting with Speaker Information
Universidad Autónoma de Madrid（马德里自治大学）；Google LLC（谷歌有限责任公司）
针对关键词识别系统难适配多样化人群的问题，提出基于FiLM融合说话人信息的个性化方法，多设置实验验证其能显著提升检测准确率，且参量和开销增加极小，实用性强。
2023-11-06 cs.LG cs.SD eess.AS
Sparse Binarization for Fast Keyword Spotting
[affiliation=1]（机构1）
针对边缘设备资源受限问题，提出基于稀疏输入表示和线性分类器的新型关键词唤醒模型，在提升速度和准确率的同时增强了抗噪鲁棒性。
2024-06-09 cs.LG cs.SD eess.AS
Conditional Online Learning for Keyword Spotting
SiDi（SiDi研究所）
提出一种基于SGD的设备端在线持续学习方法，通过条件模型更新机制在动态音频流中提升关键词检测模型性能并缓解灾难性遗忘。
2023-05-19 cs.LG cs.SD eess.AS
Training Keyword Spotting Models on Non-IID Data with Federated Learning
Google LLC（谷歌有限责任公司）
我们证明了一个生产质量的关键词识别模型可以使用联邦学习在设备上进行训练，并实现与中央训练模型相当的错误接受率和错误拒绝率。为了克服与拟合设备上的数据（本质上是非独立和同分布的）相关的算法约束，我们使用大规模联邦仿真对优化算法和超参数配置进行了彻底的实证研究。为了克服资源限制，我们用SpecAugment替换了内存密集型MTR数据增强，从而将错误拒绝率降低了56%。最后，为了标记示例（给定设备上数据的零可见性），我们探索了师生培训。
2020-06-04 cs.CL cs.LG cs.SD
Production federated keyword spotting via distillation, filtering, and joint federated-centralized training
Google LLC（谷歌有限责任公司）；University of Washington（华盛顿大学）
我们在真实用户设备上使用联邦学习训练了一个关键字识别模型，并在将该模型部署到手机上进行推理时观察到了显著的改进。为了弥补设备上训练缓存中缺失的数据域，我们采用了联合集中式训练。为了在设备上没有策划标签的情况下学习，我们制定了一个基于用户反馈信号的置信度过滤策略，用于联邦蒸馏。这些技术创建的模型显著改善了离线评估中的质量指标和实时A/B实验中的用户体验指标。
2022-06-29 cs.CL cs.LG cs.SD
Convolutional Recurrent Neural Networks for Small-Footprint Keyword Spotting
Baidu Silicon Valley Artificial Intelligence Lab（百度硅谷人工智能实验室）
关键词识别（KWS）是人机界面的一个重要组成部分。KWS的目标是在低误报率（FA）下最大限度地提高检测精度，同时最大限度地减少占用空间、延迟和复杂性。为了实现这些目标，我们研究了卷积循环神经网络（CRNN）。受大规模最先进的语音识别系统的启发，我们结合了卷积层和递归层的优势，以利用本地结构和远程上下文。我们分析了结构参数的影响，并提出了训练策略，以提高性能。只有~ 230 k的参数，我们的CRNN模型产生可接受的低延迟，并达到97.71%的准确率在0.5 FA/小时为5 dB的信噪比。
2017-07-04 cs.AI cs.CL cs.LG
Optimize what matters: Training DNN-HMM Keyword Spotting Model Using End Metric
Apple（苹果公司）
基于深度神经网络-隐马尔可夫模型（DNN-HMM）的方法已经成功地用于检测唤醒词以触发设备的许多始终在线的关键词发现算法。DNN预测给定语音帧的状态概率，而HMM解码器组合多个语音帧的DNN预测以计算关键字检测分数。在现有方法中，DNN是独立于HMM参数进行训练的，以最小化预测状态概率和地面真实状态概率之间的交叉熵损失。DNN训练损失（交叉熵）和结束度量（检测分数）之间的不匹配是关键字定位任务的次优性能的主要来源。我们通过一种新的端到端训练策略来解决这种损失度量不匹配的问题，该策略通过优化检测分数来学习DNN参数。为此，我们使HMM解码器（动态规划）可微，并通过它反向传播，以最大限度地提高关键字的分数，并最小化非关键字语音段的分数。我们的方法不需要在模型架构或推理框架的任何变化，因此，没有运行时内存或计算需求的开销。此外，我们在相同的错误触发体验下显着降低了错误拒绝率（FRR）（超过独立DNN训练的70%）。
2021-02-26 cs.LG cs.SD eess.AS
Behavior of Keyword Spotting Networks Under Noisy Conditions
Indian Institute Technology Bombay（印度理工学院孟买分校）；University of Tübingen（图宾根大学）
随着人工智能和智能设备的发展，关键词识别（KWS）正成为一种普遍的需求。最近在这一领域的工作集中在几个不同的架构，以实现良好的结果，低到中等噪声的数据集。然而，这些模型的性能恶化，在高噪声条件下，我们的实验所示。在我们的论文中，我们提出了一个广泛的比较国家的最先进的KWS网络在各种噪声条件下。我们还建议自适应批量归一化作为一种技术，以提高网络的性能时，在训练阶段的噪声文件是未知的。这种高噪声特性的结果使未来的工作，在开发模型，在上述条件下表现更好。
2021-09-15 cs.LG eess.AS
Keyword Spotting with Hyper-Matched Filters for Small Footprint Devices
Technion – Israel Institute of Technology, Faculty of Electrical and Computer Engineering（技术学院 – 以色列理工学院，电气与计算机工程学院）；Northwestern University, Department of Linguistics（西北大学，语言学系）
本文提出一种面向小型设备的开放词汇关键词识别模型，采用超网络生成匹配滤波器权重，以微型编码器实现最先进检测性能，最小模型仅420万参数即超越数倍大小模型。
2025-08-06 cs.LG cs.SD eess.AS
Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization
Graz University of Technology（格拉茨技术大学）
本文介绍了神经架构搜索（NAS）的自动发现小模型的关键字定位（KWS）在有限的资源环境。我们采用可微分NAS方法来优化卷积神经网络（CNN）的结构，以最大限度地提高分类准确性，同时最大限度地减少每个推理的操作次数。仅使用NAS，我们就能够在Google语音命令数据集上获得95.4%准确率的高效模型，内存使用量为494.8 kB，操作量为1960万次。此外，权重量化用于进一步减少存储器消耗。我们表明，可以使用低位宽（例如1位）的权重量化，而不会有很大的准确性损失。通过将输入特征的数量从10 MFCC增加到20 MFCC，我们能够在340.1 kB的内存使用和2710万次操作的情况下将准确率提高到96.3%。
2020-12-18 cs.LG eess.AS
On-Device Domain Learning for Keyword Spotting on Low-Power Extreme Edge Embedded Systems
ETH Zurich（苏黎世联邦理工学院）；Huawei Technologies（华为技术有限公司）；KU Leuven（鲁汶大学）；VERSES AI；University of Bologna（博洛尼亚大学）
针对噪声环境下关键词识别准确率下降的问题，提出一种完全设备端的域适配系统，在不到10 kB内存和仅100条标注话语下恢复5%准确率，并在超低功耗微控制器上以806 mJ能耗、14秒内完成适配。
2024-03-12 cs.LG cs.SD eess.AS
Small-Footprint Keyword Spotting with Multi-Scale Temporal Convolution
University of Science and Technology of China（中国科学技术大学）
关键词识别（KWS）在智能设备上终端和服务机器人的人机交互中起着至关重要的作用。在KWS任务中实现小占用空间和高精度之间的权衡仍然具有挑战性。在本文中，我们探讨了应用多尺度时间建模的小足迹关键字定位任务。我们提出了一个多分支时间卷积模块（MTConv），一个由多个具有不同内核大小的时间卷积滤波器组成的CNN块，它丰富了时间特征空间。此外，利用时间卷积和深度卷积的优点，为KWS系统设计了一个时间有效的神经网络（TENet）。基于目的模型，我们用可以训练以获得更好性能的MTConv替换标准时间卷积层。而在推理阶段，MTConv可以等效地转换为基础卷积架构，因此与基础模型相比，不会增加额外的参数和计算成本。Google Speech Command Dataset上的结果显示，我们使用MTConv训练的模型之一仅用10万个参数就能达到96.8%的准确率。
2020-10-20 cs.LG cs.SD eess.AS
WaveSense: Efficient Temporal Convolutions with Spiking Neural Networks for Keyword Spotting
SynSense AG
超低功耗本地信号处理是始终在线设备上边缘应用的一个关键方面。仿真脉冲神经网络的神经形态处理器显示出巨大的计算能力，同时满足该领域所需的有限功率预算。在这项工作中，我们提出尖峰神经动力学作为一种自然的替代膨胀的时间卷积。我们将这个想法扩展到WaveSense，这是一个受WaveNet架构启发的脉冲神经网络。WaveSense使用简单的神经动力学、固定的时间常数和简单的前馈架构，因此特别适合于神经形态实现。我们在几个数据集上测试了该模型的关键词识别能力。结果表明，该网络击败了其他脉冲神经网络的最新技术水平，并达到了人工神经网络（如CNN和LSTM）的最新性能。
2021-11-02 cs.AI cs.LG cs.NE
Improving Small Footprint Few-shot Keyword Spotting with Supervision on Auxiliary Data
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Korea YH（高通韩国YH）
提出利用易获取的无标注朗读语音构建LibriWord数据集并采用多任务学习，以监督方式增强小足迹少样本关键词识别模型的表征能力，显著提升基准性能。
2023-08-31 cs.LG cs.SD eess.AS
Self-supervised speech representation learning for keyword-spotting with light-weight transformers
Amazon（亚马逊）
自监督语音表示学习（S3RL）正在彻底改变我们利用不断增长的数据可用性的方式。虽然S3RL相关研究通常使用大型模型，但我们采用轻量级网络来满足计算受限设备的内存要求。我们通过使用具有330k参数的Transformers来证明S3RL在关键词定位（KS）问题上的有效性，并提出了一种增强话语区分的机制，这对于提高分类任务的性能至关重要。在Google语音命令v2数据集上，应用于自回归预测编码S3RL的方法与从头开始训练相比，准确率提高了1.2%。在具有四个不同关键字的内部KS数据集上，它在固定的错误拒绝率下提供了6%至23.7%的相对错误接受改善。我们认为，这表明了S3RL方法的适用性，轻量级模型KS和确认S3RL是一个强大的替代传统的监督学习资源受限的应用程序。
2023-03-07 cs.LG cs.SD eess.AS
Split Federated Learning on Micro-controllers: A Keyword Spotting Showcase
ASU（亚利桑那州立大学）
如今，人工智能公司通过积极收集边缘设备产生的用户数据来提高服务质量，这危及数据隐私。为了防止这种情况，联邦学习被提出作为一个私人的学习计划，使用它用户可以在本地训练的模型，而无需收集用户的原始数据到服务器。然而，对于具有硬内存限制的边缘设备上的机器学习应用程序，使用FL实现大型模型是不可行的。为了满足内存需求，最近的一种名为分裂联邦学习的协作学习方案是一种潜在的解决方案，因为它在设备上保留一个小模型，并将模型的其余部分保留在服务器上。在这项工作中，我们在Arduino板上实现了一个简单的SFL框架，并在中文数字音频数据集上验证了其正确性，以超过90%的准确率进行关键字定位应用。此外，在英语数字音频数据集上，我们的SFL实现比最先进的FL实现高出13.89%的准确率。
2022-10-04 cs.CR cs.LG
Audiomer: A Convolutional Transformer For Keyword Spotting
Transformers在自然语言处理和计算机视觉任务方面出现了前所未有的增长。然而，在音频任务中，由于音频波形的序列长度非常大，所以它们不能进行训练，或者当在基于傅立叶的特征上进行训练时会导致性能损失。在这项工作中，我们引入了一种架构Audiomer，在该架构中，我们将1D残差网络与表演者注意力相结合，以实现原始音频波形关键字定位的最佳性能，优于所有以前的方法，同时计算成本更低，参数效率更高。此外，我们的模型具有语音处理的实际优势，如推断任意长的音频剪辑由于没有位置编码。该代码可在https://github.com/The-Learning-Machines/Audiomer-PyTorch上获得。
2022-02-01 cs.CL cs.LG cs.SD
Implementing Keyword Spotting on the MCXN947 Microcontroller with Integrated NPU
Faculty of Electrical Engineering and Computing（电子工程与计算学院）
本文在集成NPU的MCXN947微控制器上实现了关键词识别系统，结合MFCC与CNN，采用量化感知训练，实现59倍加速和97.06%准确率，模型仅30.58 KB，验证了嵌入式低功耗语音接口的可行性。
2026-11-06 cs.AR cs.HC cs.LG
LiCo-Net: Linearized Convolution Network for Hardware-efficient Keyword Spotting
Meta AI
本文提出了一种硬件高效的架构，线性卷积网络（LiCo-Net）的关键字定位。它专门针对微控制器等低功耗处理器单元进行了优化。ML运算符在节能硬件上表现出异构的效率配置文件。给定精确的理论计算成本，int 8运算符比浮点运算符更有效，线性层通常比其他层更有效。所提出的LiCo-Net是一个双阶段系统，在推理阶段使用高效的int 8线性算子，并在训练阶段应用流式卷积以保持高模型容量。实验结果表明，LiCo-Net在硬件效率上优于单值分解滤波器（SVDF），同时具有同等的检测性能。与SVDF相比，LiCo-Net在HiFi 4 DSP上的周期减少了40%。
2022-11-09 cs.AI cs.LG eess.AS
