Convolutional Recurrent Neural Networks for Small-Footprint Keyword Spotting
Baidu Silicon Valley Artificial Intelligence Lab（百度硅谷人工智能实验室）
关键词识别（KWS）是人机界面的一个重要组成部分。KWS的目标是在低误报率（FA）下最大限度地提高检测精度，同时最大限度地减少占用空间、延迟和复杂性。为了实现这些目标，我们研究了卷积循环神经网络（CRNN）。受大规模最先进的语音识别系统的启发，我们结合了卷积层和递归层的优势，以利用本地结构和远程上下文。我们分析了结构参数的影响，并提出了训练策略，以提高性能。只有~ 230 k的参数，我们的CRNN模型产生可接受的低延迟，并达到97.71%的准确率在0.5 FA/小时为5 dB的信噪比。
2017-07-04 cs.AI cs.CL cs.LG
Fast ASR-free and almost zero-resource keyword spotting using DTW and CNNs for humanitarian monitoring
Stellenbosch University（斯泰伦博斯大学）；UN Global Pulse（联合国全球脉动）
我们使用动态时间规整（DTW）作为监督训练的卷积神经网络（CNN）的关键字发现系统使用一个小的口语孤立的关键字。其目的是允许快速部署一个新语言的关键词识别系统，以支持联合国在非洲部分地区的紧急救济方案，这些地区的语言资源极其不足，而且开发注释语音资源是不可行的。首先，我们使用1920个记录的关键字（40个关键字类型，34分钟的讲话）作为范例，在DTW为基础的模板匹配系统，并将其应用到未转录的广播讲话。然后，我们使用得到的DTW分数作为目标，在相同的未标记的语音上训练CNN。通过这种方式，我们只使用了34分钟的标记语音，但利用了大量未标记的数据进行训练。虽然所得到的CNN关键字识别器无法与基于DTW的系统的性能相匹配，但它的性能大大优于仅在关键字上训练的CNN分类器，将ROC曲线下面积从0.54提高到0.64。因为我们的CNN系统在运行时比DTW系统快几个数量级，所以它代表了这个极其有限的数据集上最可行的关键字发现器。
2018-06-25 cs.CL
Trainable Frontend For Robust and Far-Field Keyword Spotting
Google（谷歌）
强大的远场语音识别对于实现真正的免提通信至关重要。在远场条件下，信号由于距离而衰减。为了提高对响度变化的鲁棒性，我们引入了一种新的前端，称为每通道能量归一化（PCEN）。PCEN的关键成分是使用基于自动增益控制的动态压缩来取代广泛使用的静态（如对数或根）压缩。我们评估PCEN的关键字定位任务。在我们的大型重录噪声和远场评估集，我们表明，PCEN显着提高识别性能。此外，我们模型的PCEN神经网络层和优化高维PCEN参数与关键字定位声学模型。经过训练的PCEN前端在不增加模型复杂性或推理时间成本的情况下，表现出了显著的进一步改进。
2016-07-19 cs.CL cs.NE
Small-Footprint Open-Vocabulary Keyword Spotting with Quantized LSTM Networks
Sonos Inc.（Sonos公司）；Paris（巴黎（注：巴黎是城市名，非机构，此处可能原数据格式问题，若严格按原文仅提取机构，原数据中“Paris, France”可能是地址，仅保留“Sonos Inc.”为机构）}]}注：经仔细核对，原数据中“Affiliation: Sonos Inc., Paris, France”，其中“Paris, France”是城市和国家，非机构，因此仅保留“Sonos Inc.”为机构。正确输出应为：{）
我们探讨了一个基于关键字的口语语言理解系统，在该系统中，用户的意图可以直接从查询中的关键字序列的检测。在本文中，我们专注于一个开放的词汇表关键字定位方法，允许用户定义自己的关键字，而不必重新训练整个模型。我们描述了不同的设计选择，导致一个快速和占用空间小的系统，能够运行在微小的设备上，对于任何任意一组用户定义的关键字，没有特定于这些关键字的训练数据。该模型基于量化的长短期记忆（LSTM）神经网络，使用连接主义时间分类（CTC）进行训练，重量小于500 KB。我们的方法利用CTC训练的网络的预测的一些属性来校准置信度分数并实现快速检测算法。所提出的系统优于标准的关键字填充模型的方法。
2020-02-25 cs.CL
Massive Open-Vocabulary Keyword Spotting
Priberam Labs（Priberam实验室）；Instituto Superior Técnico（理工学院）；Instituto de Telecomunicações（电信研究所）
提出一种内存占用更小的开放词汇关键词识别系统，无需微调即可处理大规模数据库，在未见语言中达到与未压缩方案相当的实体召回率。
2026-06-11 cs.CL cs.LG cs.SD
BBS-KWS:The Mandarin Keyword Spotting System Won the Video Keyword Wakeup Challenge
Yidun AI Lab, Netease（网易易盾人工智能实验室）
本文介绍了由伊顿NISP团队提交的视频关键词唤醒挑战赛的系统。本文提出了一个汉语关键词识别系统（KWS），并对该系统进行了一些新颖有效的改进，包括大主干（B）模型、关键词偏置（B）机制和音节建模单元（S）的引入。考虑到这一点，我们将整个系统称为BBS-KWS。BBS-KWS系统由端到端自动语音识别（ASR）模块和KWS模块组成。ASR模块将语音特征转换为文本表示，将一个大的骨干网络应用于声学模型，并考虑音节建模单元。此外，在ASR推理阶段，使用关键词偏置机制来提高关键词的召回率。KWS模块应用多个标准来确定关键字的存在或不存在，例如多级匹配、模糊匹配和连接主义时间分类（CTC）前缀分数。为了进一步改进我们的系统，我们对CN-Celeb数据集进行了半监督学习，以更好地泛化。在VKW任务中，BBS-KWS系统在基线上实现了显著的增益，并在两个轨道中获得第一名。
2021-12-03 cs.CL cs.SD eess.AS
PCOV-KWS: Multi-task Learning for Personalized Customizable Open Vocabulary Keyword Spotting
Zhejiang University（浙江大学）
本文提出PCOV-KWS框架，通过轻量网络同时实现关键词检测和说话人验证，采用非softmax损失和多任务损失加权策略，提升个性化关键词检测性能，减少参数和计算资源消耗。
2026-03-05 cs.AI cs.CL cs.SD
Multi-task Learning with Cross Attention for Keyword Spotting
Apple（苹果公司）；The University of Hong Kong（香港大学）
关键词定位（KWS）是语音应用中的一项重要技术，它使用户能够通过说出关键词短语来激活设备。虽然音素分类器可以用于KWS，利用大量的转录数据用于自动语音识别（ASR），但是在训练标准（音素识别）和目标任务（KWS）之间存在不匹配。最近，多任务学习已被应用于KWS，以利用ASR和KWS训练数据。在该方法中，声学模型的输出被分成用于两个任务的两个分支，一个用于用ASR数据训练的音素转录，一个用于用KWS数据训练的关键字分类。在本文中，我们介绍了一个交叉注意解码器的多任务学习框架。与具有输出层的简单分裂的常规多任务学习方法不同，交叉注意解码器通过在编码器输出和可训练查询序列之间执行交叉注意来总结来自语音编码器的信息，以预测KWS任务的置信度分数。KWS任务的实验结果表明，该方法实现了12%的相对减少的错误拒绝率相比，传统的多任务学习与分裂分支和双向长短队记忆解码器。
2021-09-22 cs.CL cs.LG cs.SD
Keyword spotting -- Detecting commands in speech using deep learning
Center for Data Science（数据科学中心）；New York University（纽约大学）
本文研究语音关键词唤醒，通过MFCC特征工程比较HMM、CNN及带注意力的RNN等模型，发现BiLSTM加Attention的RNN效果最佳，准确率达93.9%。
2023-12-09 cs.AI cs.CL cs.HC
A Multitask Training Approach to Enhance Whisper with Contextual Biasing and Open-Vocabulary Keyword Spotting
Huawei Translation Services Center（华为翻译服务中心）
本文提出KWS-Whisper，通过在Whisper编码器隐藏状态上进行开放词汇关键词识别，并以多任务训练结合上下文ASR，显著提升罕见命名实体的识别召回率，且OV-KWS可作为即插即用模块增强纠错与冻结模型。
2024-06-06 cs.AI cs.CL
WCTC-Biasing: Retraining-free Contextual Biasing ASR with Wildcard CTC-based Keyword Spotting and Inter-layer Biasing
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER Cloud公司）
本文提出WCTC-Biasing方法，通过通配符CTC在中间层进行关键词检测并对后续层施加偏置，在不重训练的情况下提升CTC模型对稀有词的识别准确率，日语实验中未知词F1分数提升29%。
2025-06-02 cs.CL cs.SD eess.AS
Prototypical Metric Transfer Learning for Continuous Speech Keyword Spotting With Limited Training Data
ParallelDots, Inc.（ParallelDots公司）
连续语音关键词识别（CSKS）是指当训练数据中存在少量关键词时，在记录的对话中识别关键词的问题。与更常见的关键字定位不同，算法需要检测单独的关键字或短语，如“Alexa”，“Cortana”，“Hi Alexa！“，“怎么样奥克塔维亚？在语音中，CSKs需要从连续的语音流中过滤出嵌入的单词，即。在“我认识一个叫Anna的开发人员，他可以调查这个github问题。“除了有限的训练数据可用性的问题，CSKS是一个非常不平衡的分类问题。我们通过使用损失函数（原型网络损失和度量损失）和迁移学习的新组合来解决简单关键字定位基线对于上述两个挑战的局限性。我们的方法将F1分数提高了10%以上。
2019-01-12 cs.CL cs.LG cs.SD
Data Augmentation for Robust Keyword Spotting under Playback Interference
Amazon Alexa（亚马逊Alexa）；Google Inc.（谷歌公司）；Purdue University（普渡大学）
具有低错误接受率和错误拒绝率的准确的设备上关键字识别（KWS）对于会话代理的远场话音控制的客户体验至关重要。在现实世界条件下保持低的错误拒绝率是特别具有挑战性的，在现实世界条件下存在（a）来自外部源（诸如TV、家用电器）的环境噪声或不指向设备的其他语音，（b）来自设备的音频回放的不完美消除，导致在由声学回声消除（AEC）系统处理之后的残余回声。在本文中，我们提出了一种数据增强策略，以提高在这些具有挑战性的条件下的关键字识别性能。通过以不同的信号干扰比混合音乐和电视/电影音频，训练集音频被人为地破坏。我们的研究结果表明，我们得到约30-45%的相对减少的错误拒绝率，在一系列的错误报警率，从这样的设备的音频播放。
2018-08-01 cs.CL cs.LG stat.ML
Predicting detection filters for small footprint open-vocabulary keyword spotting
Sonos Inc.（索诺斯公司）
在本文中，我们提出了一种全神经方法来识别开放式词汇表关键字，允许用户在其设备中包含可定制的语音界面，并且不需要特定于任务的数据。我们提出了一个关键字检测神经网络重量小于250 KB，其中执行关键字检测的最上层预测的辅助网络，可以离线运行，以生成任何关键字的检测器。我们表明，该模型优于声学关键字定位基线的两个任务检测关键字的话语和三个任务检测孤立的语音命令的大幅度。我们还提出了一种方法来微调模型时，特定的训练数据可用于某些关键字，这会产生类似于一个标准的语音命令神经网络的性能，同时保持模型的能力，以应用于新的关键字。
2020-09-29 cs.CL cs.LG
Max-Pooling Loss Training of Long Short-Term Memory Networks for Small-Footprint Keyword Spotting
Google Brain（谷歌大脑）
我们提出了一个基于最大池的损失函数，用于训练长短期记忆（LSTM）网络，用于小足迹关键字定位（KWS），具有较低的CPU，内存和延迟要求。最大池化损失训练可以通过用交叉熵损失训练的网络初始化来进一步引导。采用基于后验平滑的评价方法来衡量关键字定位性能。我们的实验结果表明，使用交叉熵损失或最大池化损失训练的LSTM模型优于交叉熵损失训练的基线前馈深度神经网络（DNN）。此外，与交叉熵损失训练的LSTM相比，具有随机初始化网络的最大池化损失训练的LSTM表现更好。最后，使用交叉熵预训练网络初始化的最大池化损失训练的LSTM显示出最佳性能，与基线前馈DNN相比，在曲线下面积（AUC）测量中产生了$67.6\%$相对减少。
2017-05-05 cs.CL cs.LG stat.ML
A Channel-Pruned and Weight-Binarized Convolutional Neural Network for Keyword Spotting
UC Irvine（加州大学欧文分校）；UC San Diego（加州大学圣地亚哥分校）
我们研究了结合权重二值化（1位权重精度）的通道数减少，以修剪用于关键字定位（分类）任务的卷积神经网络。我们采用了基于组Lasso惩罚的组分裂方法，以实现超过50%的信道稀疏性，同时保持网络性能在0.25%的准确性损失。我们展示了一个有效的三阶段过程来平衡网络训练的准确性和稀疏性。
2019-09-12 cs.LG stat.ML
Noisy student-teacher training for robust keyword spotting
Google Inc.（谷歌公司）
我们提出了自训练与嘈杂的学生-教师的方法流关键字发现，可以利用大规模的未标记的数据和积极的数据增强。所提出的方法应用积极的数据增强（光谱增强）的学生和教师的输入，并利用未标记的数据在规模，这显着提高了学生的准确性，对具有挑战性的条件。当与带有硬标记数据的监督训练一起使用时，这种积极的增强通常会降低模型性能。实验表明，积极规范增强基线监督训练方法降低准确性，而提出的自我训练与嘈杂的学生-教师培训提高了一些困难的条件测试集的准确性高达60%。
2021-06-03 cs.LG stat.ML
Locale Encoding For Scalable Multilingual Keyword Spotting Models
Google LLC（谷歌有限责任公司）
多语言关键词定位（KWS）系统检测多个地区的口语关键词。传统的单语KWS方法由于开发/维护成本高和缺乏资源共享而不能很好地扩展到多语言场景，为了克服这一限制，我们提出了两个具有区域特征连接和特征线性调制（FiLM）的区域条件通用模型。我们将这些模型与两种基线方法进行比较：特定于地区的单语KWS，以及在所有数据上训练的单一通用模型。在10个本地化语言数据集上的实验表明，在不同的噪声条件下，与基线方法相比，本地条件模型在所有本地化语言上的准确性都有了显著提高。FiLM表现最好，与类似大小的单语KWS模型相比，平均FRR提高了61%（相对）。
2023-02-25 cs.CL cs.LG
Online Keyword Spotting with a Character-Level Recurrent Neural Network
Seoul National University（首尔国立大学）
在本文中，我们提出了一个上下文感知的关键字定位模型，采用字符级循环神经网络（RNN）的连续语音中的口语术语检测。RNN使用连接主义时间分类（CTC）进行端到端训练，以生成字符和词边界标签的概率。在训练和测试中不需要语音转录，senone建模或系统字典。此外，可以通过编辑基于文本的关键字列表来轻松添加和修改关键字，而无需重新训练RNN。此外，单向RNN处理无限长的输入音频流而无需预分割，并且在话语完成之前以低延迟检测关键字。实验结果表明，所提出的关键字发现器显着优于深度神经网络（DNN）和隐马尔可夫模型（HMM）的关键字填充模型，即使以更少的计算。
2015-12-30 cs.CL cs.LG cs.NE
QbyE-MLPMixer: Query-by-Example Open-Vocabulary Keyword Spotting using MLPMixer
LG Electronics Toronto AI Lab（LG电子多伦多人工智能实验室）；LG Electronics Artificial Intelligence Lab（LG电子人工智能实验室）
当前的关键词识别系统通常使用大量预定义的关键词进行训练。在开放式词汇设置中识别关键字对于个性化智能设备交互至关重要。为了实现这一目标，我们提出了一个纯粹的基于MLP的神经网络，它是基于MLPMixer -一个MLP模型架构，有效地取代了Vision Transformers中的注意力机制。我们研究了不同的方式来适应MLPMixer架构的QbyE开放词汇表关键字定位任务。与最先进的RNN和CNN模型的比较表明，我们的方法在公开可用的Hey-Snips数据集和具有400个扬声器的更大规模内部数据集上都在具有挑战性的情况下（10 dB和6 dB环境）实现了更好的性能。与基线模型相比，我们提出的模型的参数和MAC数量也较少。
2022-06-23 cs.CL cs.LG eess.AS
Few-Shot Keyword Spotting With Prototypical Networks
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
识别特定命令或关键字，关键字识别已广泛用于许多语音界面，如亚马逊的Alexa和Google Home。为了识别一组关键字，大多数最近的基于深度学习的方法使用用大量样本训练的神经网络来识别某些预定义的关键字。这限制了系统识别新的、用户定义的关键字。因此，我们首先将这个问题表述为Few-Shot关键字发现，并使用度量学习来处理它。为了实现这项研究，我们还合成并发布了一个Few-Shot Google Speech Commands数据集。然后，我们提出了一个解决方案的Few-Shot关键字发现问题，使用时间和扩张卷积的原型网络。我们的比较实验结果表明，关键字发现新的关键字，只使用少量的样本。
2020-07-25 cs.LG cs.SD eess.AS
Neural Networks for Keyword Spotting on IoT Devices
Dublin City University（都柏林城市大学）
我们探索神经网络（NN）在物联网设备（如智能扬声器和可穿戴设备）上的关键字定位（KWS）。由于我们的目标是在有限的内存和计算空间上执行NN，因此我们提出了一种CNN设计，(i)使用有限数量的乘法。(ii)使用有限数量的模型参数。
2021-01-03 cs.AI cs.LG
Query-by-Example Keyword Spotting system using Multi-head Attention and Softtriple Loss
LG Electronics（LG电子）
本文提出了一种神经网络架构，用于解决用户定义的关键字识别任务。在多层GRU的基础上增加了多头注意力模块以实现有效的特征提取，并提出了归一化的多头注意力模块以实现特征聚合.我们还采用了softtriple loss（三重损耗和softmax损耗的组合），并展示了其有效性。我们展示了我们的模型在不同语言的内部数据集和公共Hey-Snips数据集上的性能。我们将我们的模型的性能与基线系统进行比较，并进行消融研究，以显示我们架构中每个组件的优势。所提出的工作表现出坚实的性能，同时保持简单性。
2021-05-07 cs.CL cs.LG
Open-vocabulary Keyword-spotting with Adaptive Instance Normalization
aiOla Research（aiOla研究院）
提出AdaKWS方法，通过文本编码器输出关键词条件化的归一化参数处理听觉输入，在多语言基准和低资源语言上显著优于基线。
2023-09-13 cs.LG cs.SD eess.AS
Encoder-Decoder Neural Architecture Optimization for Keyword Spotting
University of Alberta（阿尔伯塔大学）；University of Montreal（蒙特利尔大学）
关键词定位旨在识别特定的关键词音频话语。近年来，深度卷积神经网络已被广泛用于关键词定位系统。然而，它们的模型架构主要基于现成的主干，如VGG-Net或ResNet，而不是专门为任务设计的。在本文中，我们利用神经架构搜索设计卷积神经网络模型，可以提高关键字定位的性能，同时保持可接受的内存占用。具体地说，我们搜索的模型运营商和他们的连接在一个特定的搜索空间与编码器-解码器的神经架构优化。对Google语音命令数据集的广泛评估表明，我们的方法搜索的模型架构达到了97%以上的最先进的准确率。
2021-06-04 cs.LG cs.MM
Attention-Free Keyword Spotting
Islamic University of Technology（伊斯兰理工大学）
到目前为止，基于注意力的模型已经在关键字识别问题领域取得了巨大的成功。然而，鉴于深度学习的最新进展，问题出现了，对于识别语音关键词，自我注意力是否真的不可替代。因此，我们探索使用门MLP-以前被证明是替代Transformers的视觉任务-的关键字定位任务。我们提供了一系列高效的基于MLP的关键字识别模型，参数少于50万。我们表明，我们的方法在Google Speech Commands V2-12和V2-35基准测试中实现了具有竞争力的性能，参数比基于自我注意力的方法少得多。
2022-04-10 cs.LG cs.SD eess.AS
Personalized Keyword Spotting through Multi-task Learning
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键词发现（KWS）在智能设备上实现基于语音的用户交互中起着至关重要的作用，并且传统的KWS（C-KWS）方法集中于检测用户不可知的预定义关键词。然而，在实践中，大多数用户交互来自在设备中注册的目标用户，这促使构建个性化关键词发现。我们设计了两个个性化的KWS任务：（1）目标用户偏向的KWS（TB-KWS）和（2）目标用户唯一的KWS（TO-KWS）。为了解决这些任务，我们提出了通过多任务学习（PK-MTL），包括多任务学习和任务适应个性化的关键字发现。首先，我们介绍了应用多任务学习的关键字定位和说话人验证，利用用户信息的关键字定位系统。接下来，我们设计了任务特定的评分函数，以适应个性化的KWS任务彻底。我们评估我们的框架在传统和个性化的场景，结果表明，PK-MTL可以显着降低误报率，特别是在各种实际场景。
2022-06-28 cs.LG cs.SD eess.AS
DONUT: CTC-based Query-by-Example Keyword Spotting
关键字定位-或唤醒词检测-是现代语音控制设备免提操作的基本功能。随着这种设备变得无处不在，用户可能想要选择个性化的自定义唤醒词。在这项工作中，我们提出了DONUT，一个基于CTC的算法，在线查询的关键字定位，使自定义唤醒词检测。该算法通过记录来自用户的少量训练样本、从这些训练样本生成一组标签序列假设、以及通过在给定新音频记录的情况下聚合所有假设的分数来检测唤醒词来工作。我们的方法结合了通用性和可解释性的CTC为基础的关键字发现与用户的适应性和方便性的传统查询的例子系统。DONUT具有低计算要求，非常适合嵌入式系统上的学习和推理，而不需要将私有用户数据上传到云端。
2018-11-26 cs.LG cs.SD eess.AS
Small-footprint Keyword Spotting with Graph Convolutional Network
Tsinghua University（清华大学）；TsingMicro Co. Ltd.（清微电子股份有限公司）
尽管深度神经网络最近取得了成功，但在资源受限的设备上实现高精度关键词发现任务（KWS）仍然具有挑战性。在这项研究中，我们提出了一种新的上下文感知和紧凑的架构关键字发现任务。基于剩余连接和瓶颈结构，我们设计了一个紧凑和高效的网络KWS任务。为了利用卷积特征映射的长程依赖性和全局上下文，引入图卷积网络来编码非局部关系。通过在Google语音命令数据集上的测试，该方法具有最佳的性能，并以较低的计算代价大幅优于现有的方法。
2019-12-11 cs.CL cs.LG cs.SD
Dummy Prototypical Networks for Few-Shot Open-Set Keyword Spotting
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键字定位是在流式音频中检测关键字的任务。传统的关键词识别以预定义的关键词分类为目标，但是在Few-Shot（按示例查询）关键词识别中存在越来越多的关注，例如，N路分类给出了M-shot支持样本。此外，在现实世界的场景中，可能存在来自意外类别（开集）的话语，其需要被拒绝而不是被分类为N个类别之一。结合这两个需求，我们解决了Few-Shot开放集关键字发现与一个新的基准设置，命名为splitGSC。我们提出了基于度量学习的已知场景虚拟原型，以更好地检测开集，并介绍了一种简单而强大的方法，虚拟原型网络（D-ProtoNets）。我们的D-ProtoNets显示了明确的利润率相比，最近的Few-Shot开集识别（FSOSR）的方法在建议的splitGSC。我们还在标准基准测试miniImageNet上验证了我们的方法，D-ProtoNets显示了FSOSR中最先进的开集检测率。
2022-06-28 cs.LG cs.SD eess.AS
Orthogonality Constrained Multi-Head Attention For Keyword Spotting
Qualcomm AI Research, Qualcomm Korea YH（高通人工智能研究院，高通韩国YH）
多头注意力机制能够从顺序数据中学习各种表示，同时注意不同的顺序，例如，口语中的词段或音节。从连续性，它检索更丰富的信息比一个单一的头注意，只总结了整个序列到一个上下文向量。然而，多头注意力的简单使用并不能保证这种丰富性，因为注意力头可能具有位置和表示冗余。在本文中，我们提出了一个正则化技术的多头注意力机制在端到端的神经关键字发现系统。增加惩罚注意力头部之间的位置和上下文非正交性的正则化项鼓励从单独的连续性输出不同的表示，这又使得能够在没有显式序列模型（诸如隐马尔可夫模型）的情况下利用结构化信息。此外，头内上下文非正交性正则化鼓励每个注意力头在关键字示例中具有相似的表示，这有助于通过减少特征可变性来进行分类。实验结果表明，所提出的正则化技术显着提高了关键字定位性能的关键字“嘿Snapdragon”。
2019-10-10 cs.LG eess.AS stat.ML
Benchmarking Keyword Spotting Efficiency on Neuromorphic Hardware
Applied Brain Research, Inc.（应用脑研究公司）
使用英特尔的Loihi神经形态研究芯片和ABR的Nengo深度学习工具包，我们分析了经过训练以识别单个短语的双层神经网络关键字识别器的推理速度，动态功耗和每次推理的能源成本。我们对在更传统的硬件设备上运行的这个关键字检测器进行了比较分析，这些硬件设备包括CPU，GPU，Nvidia的Jetson TX1和Movidius Neural Compute Stick。我们的研究结果表明，对于这种推理应用程序，Loihi优于所有这些替代品的能源成本，同时保持同等的推理精度。此外，对网络规模、推理速度和能源成本之间的权衡分析表明，Loihi相对于其他低功耗计算设备的比较优势在更大的网络中有所改善。
2019-04-02 cs.LG stat.ML
Efficient keyword spotting using dilated convolutions and gating
Snips（Snips公司）
我们探讨了端到端的无状态时态建模应用于小足迹关键字定位，而不是使用内部状态建模长期时态依赖关系的递归网络。我们提出了一个模型的启发，最近成功的扩张卷积序列建模应用程序，允许训练更深的架构资源受限的配置。还添加了门控激活和剩余连接，遵循与WaveNet类似的配置。此外，我们应用自定义目标标记，从感兴趣的特定帧反向传播损失，因此产生更高的准确性，只需要检测关键字的结尾。我们的实验结果表明，我们的模型优于使用LSTM细胞的最大池化损失训练的递归神经网络，错误拒绝率显着降低。基础数据集-由超过2.2K不同说话者记录的“Hey Snips”话语-已公开提供，以建立唤醒词检测的开放参考。
2019-02-18 cs.CL cs.LG cs.SD
SLiCK: Exploiting Subsequences for Length-Constrained Keyword Spotting
Apple（苹果公司）
针对边缘设备用户自定义关键词识别难题，提出利用关键词长度约束的SLiCK方法，通过子序列级匹配和多任务学习，显著提升了Libriphrase hard数据集上的识别性能。
2024-09-06 cs.LG cs.SD eess.AS
Exploring Sequence-to-Sequence Transformer-Transducer Models for Keyword Spotting
Google（谷歌）
在本文中，我们提出了一种新的方法来适应序列到序列转换器-转换器ASR系统的关键字定位（KWS）任务。我们通过将文本转录中的关键字替换为特殊标记并训练系统检测音频流中的标记来实现这一点。<kw><kw>在推理时，我们创建了一个决策函数的灵感来自传统的KWS方法，使我们的方法更适合于KWS任务。此外，我们引入了一个特定的关键字定位损失，通过调整序列判别最小贝叶斯风险训练技术。我们发现，我们的方法显着优于基于ASR的KWS系统。当与传统的关键字定位系统相比，我们的建议具有类似的性能，同时带来了序列到序列训练的优势和灵活性。此外，当与传统的KWS系统相结合，我们的方法可以提高在任何操作点的性能。
2022-11-11 cs.LG cs.SD eess.AS
Training Keyword Spotting Models on Non-IID Data with Federated Learning
Google LLC（谷歌有限责任公司）
我们证明了一个生产质量的关键词识别模型可以使用联邦学习在设备上进行训练，并实现与中央训练模型相当的错误接受率和错误拒绝率。为了克服与拟合设备上的数据（本质上是非独立和同分布的）相关的算法约束，我们使用大规模联邦仿真对优化算法和超参数配置进行了彻底的实证研究。为了克服资源限制，我们用SpecAugment替换了内存密集型MTR数据增强，从而将错误拒绝率降低了56%。最后，为了标记示例（给定设备上数据的零可见性），我们探索了师生培训。
2020-06-04 cs.CL cs.LG cs.SD
Production federated keyword spotting via distillation, filtering, and joint federated-centralized training
Google LLC（谷歌有限责任公司）；University of Washington（华盛顿大学）
我们在真实用户设备上使用联邦学习训练了一个关键字识别模型，并在将该模型部署到手机上进行推理时观察到了显著的改进。为了弥补设备上训练缓存中缺失的数据域，我们采用了联合集中式训练。为了在设备上没有策划标签的情况下学习，我们制定了一个基于用户反馈信号的置信度过滤策略，用于联邦蒸馏。这些技术创建的模型显著改善了离线评估中的质量指标和实时A/B实验中的用户体验指标。
2022-06-29 cs.CL cs.LG cs.SD
Learning Audio-Text Agreement for Open-vocabulary Keyword Spotting
Naver Corporation（NAVER 公司）；Yonsei University（延世大学）
在本文中，我们提出了一种新的端到最终用户定义的关键字发现方法，利用语言之间的对应模式的语音和文本序列。与以前的方法需要语音关键字注册，我们的方法比较输入查询与注册的文本关键字序列。为了将音频和文本表示放置在一个共同的潜在空间中，我们采用了一种基于注意力的跨模态匹配方法，该方法以端到端的方式进行训练，具有单调匹配损失和关键字分类损失。我们还利用去噪损失的声学嵌入网络，以提高在嘈杂的环境中的鲁棒性。此外，我们还介绍了LibriPhrase数据集，这是一个基于LibriSpeech的新的短语数据集，用于有效地训练关键字识别模型。与其他单模态和跨模态基线相比，我们提出的方法在各种评估集上取得了有竞争力的结果。
2022-07-01 cs.AI cs.LG eess.AS
Stochastic Adaptive Neural Architecture Search for Keyword Spotting
Sorbonne Université（索邦大学）；Facebook AI Research（脸书人工智能研究院）
关键词定位（即，识别实时音频流中的关键词）的问题主要通过在连续滑动窗口上应用神经网络来解决。由于任务的难度，基线模型通常很大，导致高计算成本和能耗水平。我们提出了一种新的方法称为SANAS（随机自适应神经结构搜索），它能够适应的神经网络的架构上的飞行在推理时间，使小架构将被使用时，流是容易处理（沉默，低噪声，.）当任务变得更加困难时，将使用更大的网络。我们表明，这种自适应模型可以通过优化预测性能和单位时间平均计算成本之间的权衡来学习端到端。在Speech Commands数据集上的实验表明，这种方法导致了较高的识别水平，同时比网络架构是静态的经典方法快得多（和/或节能）。
2018-11-16 cs.LG eess.AS stat.ML
Multitaper mel-spectrograms for keyword spotting
SiDi
本文研究将多锥形技术用于关键词识别的特征提取，通过在不同场景、参数、数据集和嵌入式神经网络上的实验，验证了改进特征的有效性。
2024-07-05 cs.LG eess.AS
Audiomer: A Convolutional Transformer For Keyword Spotting
Transformers在自然语言处理和计算机视觉任务方面出现了前所未有的增长。然而，在音频任务中，由于音频波形的序列长度非常大，所以它们不能进行训练，或者当在基于傅立叶的特征上进行训练时会导致性能损失。在这项工作中，我们引入了一种架构Audiomer，在该架构中，我们将1D残差网络与表演者注意力相结合，以实现原始音频波形关键字定位的最佳性能，优于所有以前的方法，同时计算成本更低，参数效率更高。此外，我们的模型具有语音处理的实际优势，如推断任意长的音频剪辑由于没有位置编码。该代码可在https://github.com/The-Learning-Machines/Audiomer-PyTorch上获得。
2022-02-01 cs.CL cs.LG cs.SD
Multiple-Instance, Cascaded Classification for Keyword Spotting in Narrow-Band Audio
Voicera
针对非独立同分布窄带音频关键词识别，提出融合DNN、级联、多特征与多实例学习的模型，以级联提前终止降低功耗，实现漏报率6%且每小时误报率0.75。
2025-04-25 cs.CL cs.LG cs.SD
A Fast Network Exploration Strategy to Profile Low Energy Consumption for Keyword Spotting
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
如今，关键词识别是针对智能设备的面向语音的用户交互的一个组成部分。为此，神经网络因其灵活性和高精度而被广泛使用。然而，为准确性要求和硬件部署提供合适的配置是一个挑战。我们提出了一种基于回归的网络探索技术，考虑网络过滤器（$s$）和网络层的量化（$q$）的缩放，导致FPGA硬件实现的友好和节能的配置。我们在FPGA上进行了不同$\mathcal{NN}\scriptstyle\langle q,\,s\rangle \displaystyle$组合的实验，以分析部署网络的能耗，以便用户可以及时选择最节能的网络配置。我们的加速器设计部署在Xilinx AC 701平台上，与最近的关键字识别硬件实现相比，在能源和能源效率结果方面分别至少有2.1 $\times$和4 $\times$改进。
2022-02-04 cs.LG
Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting
Device Technology Research Institute（设备技术研究所）；AI Chip Design Open Innovation Laboratory（AI芯片设计开放创新实验室）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们提出了神经网络模型的基础上，神经常微分方程（NODE）的小足迹关键字定位（KWS）。我们提出的技术，应用节点的KWS，使之有可能采用批量归一化的节点为基础的网络，并减少推理过程中的计算量。最后，我们表明，所提出的模型的模型参数的数量比传统的KWS模型减少了68%。
2020-09-06 cs.LG cs.SD eess.AS
Neural Architecture Search For Keyword Spotting
University of Alberta（阿尔伯塔大学）；Huawei Technologies（华为技术）
深度神经网络最近已经成为关键词识别系统的一种流行解决方案，它可以通过语音控制智能设备。在本文中，我们应用神经架构搜索来搜索卷积神经网络模型，这些模型可以帮助提高基于从声学信号中提取的特征的关键字定位的性能，同时保持可接受的内存占用。具体来说，我们使用微分架构搜索技术搜索运营商和他们的连接在一个预定义的小区搜索空间。然后，在深度和宽度上按比例放大所发现的单元，以实现具有竞争力的性能。我们在Google的Speech Commands Dataset上评估了所提出的方法，并在文献中常见的12类话语分类的设置上实现了超过97%的最先进的准确率。
2020-09-02 cs.LG cs.SD eess.AS
Exploring Representation Learning for Small-Footprint Keyword Spotting
Xiaomi（小米）
在本文中，我们研究表示学习的低资源关键字发现（KWS）。KWS的主要挑战是有限的标记数据和有限的可用设备资源。为了解决这些问题，我们通过自监督对比学习和预训练模型的自训练，探索了知识系统的表示学习。首先，局部-全局对比连体网络（LGCSiam）的目的是学习类似的话语级表示类似的音频采样器提出的局部-全局对比损失，而不需要地面真理。其次，应用自监督预训练的Wav 2 Vec 2.0模型作为约束模块（WVC）来强制KWS模型学习帧级声学表示。通过LGCSiam和WVC模块，可以使用未标记的数据对所提出的小足迹KWS模型进行预训练。语音命令数据集上的实验表明，自训练WVC模块和自监督LGCSiam模块显着提高了准确率，尤其是在小标记数据集上训练的情况下。
2023-03-20 cs.CL cs.LG cs.SD
Hardware Aware Training for Efficient Keyword Spotting on General Purpose and Specialized Hardware
Applied Brain Research Inc.（应用脑研究公司）；University of Waterloo（滑铁卢大学）
关键字识别（KWS）为许多移动和边缘应用程序（包括手机、可穿戴设备和汽车）提供了关键的用户界面。由于KWS系统通常是“始终开启”的，因此最大限度地提高精度和功率效率是其实用性的核心。在这项工作中，我们使用硬件感知训练（HAT）来构建基于Legendre Memory Unit（LMU）的新KWS神经网络，以实现最先进的（SotA）精度和低参数计数。这允许神经网络在标准硬件（212 $μ$ W）上高效地运行。我们还对定制设计的加速器硬件的功耗要求进行了表征，该硬件实现了8.79 $μ$ W的SotA功耗效率，比通用低功耗硬件（微控制器）高24倍，比专用ASIC高16倍。
2021-03-10 cs.LG cs.SD eess.AS
Personalizing Keyword Spotting with Speaker Information
Universidad Autónoma de Madrid（马德里自治大学）；Google LLC（谷歌有限责任公司）
针对关键词识别系统难适配多样化人群的问题，提出基于FiLM融合说话人信息的个性化方法，多设置实验验证其能显著提升检测准确率，且参量和开销增加极小，实用性强。
2023-11-06 cs.LG cs.SD eess.AS
Domain Aware Training for Far-field Small-footprint Keyword Spotting
Duke Kunshan University（昆山杜克大学）；Montage Technology（澜起科技）
在本文中，我们专注于小足迹的关键字发现下的远场场景的任务。远场环境是现实语音应用中经常遇到的环境，由于室内混响和各种噪声的影响，远场环境会导致语音性能的严重下降。我们的基线系统建立在卷积神经网络上，该网络使用远场和近距离说话语音的合并数据进行训练。为了应对这些失真，我们开发了三个领域感知训练系统，包括领域嵌入系统，深度CORAL系统和多任务学习系统。这些方法将领域知识结合到网络训练中，并提高了关键字分类器在远场条件下的性能。实验结果表明，我们提出的方法管理，以保持性能上的近距离说话的语音，并取得显着改善远场测试集。
2020-08-07 cs.LG eess.AS
Feature exploration for almost zero-resource ASR-free keyword spotting using a multilingual bottleneck extractor and correspondence autoencoders
Stellenbosch University（斯泰伦博斯大学）；UN Global Pulse（联合国全球脉动）；Makerere University（马凯雷雷大学）；University of Edinburgh（爱丁堡大学）
我们比较动态时间规整（DTW）的功能时，用于引导关键字定位（KWS）在一个几乎为零的资源设置。这种可快速部署的系统旨在支持联合国在非洲部分地区的人道主义救援工作，这些地区的语言资源严重不足。我们的目标是确定声学功能，提供可接受的KWS在这样的环境中的性能。作为监督资源，我们将自己限制在一个小的，容易获得的和独立编译的孤立关键字集。对于特征提取，多语言瓶颈特征（BNF）提取器，在资源丰富的域外语言上训练，与在极其稀疏的域内数据上训练的对应自动编码器（CAE）集成。就其本身而言，BNF和CAE功能被证明比基线MFCC实现了超过2%的绝对性能改进。然而，通过使用BNF作为CAE的输入，可以实现更好的性能，ROC AUC比MFCC的绝对改善超过11%，并且对于两种评估语言（英语和卢甘达语），前10名检索的数量是两倍多。我们的结论是，集成BNF与CAE允许大的域外和稀疏的域内资源被利用，以改善ASR的关键字定位。
2019-07-13 cs.LG cs.SD eess.AS
Data Aware Differentiable Neural Architecture Search for Tiny Keyword Spotting Applications
Technical University of Denmark (DTU)（丹麦技术大学）
本文提出数据感知可微分神经架构搜索，将数据配置参数纳入搜索空间，协同优化模型架构与输入数据特征，在关键词识别任务中实现资源与性能的平衡，生成精简且高精度的 TinyML 系统。
2025-07-21 cs.LG
On the Efficiency of Integrating Self-supervised Learning and Meta-learning for User-defined Few-shot Keyword Spotting
National Taiwan University（台湾大学）；intelliGo Technology inc.（intelliGo科技公司）
用户定义的关键字识别是一项检测用户定义的新口语术语的任务。这可以被看作是一个少样本学习问题，因为用户通过提供许多示例来定义他们想要的关键字是不合理的。为了解决这个问题，以前的作品试图纳入自监督学习模型或应用元学习算法。但目前尚不清楚自监督学习和元学习是否是互补的，以及这两种方法的哪种组合对于Few-Shot关键字发现最有效。在这项工作中，我们系统地研究这些问题，利用各种自监督学习模型，并将它们与各种各样的元学习算法相结合。实验结果表明，HuBERT与匹配网络相结合的方法效果最好，对Few-Shot样本的变化具有较强的鲁棒性。
2022-10-05 cs.LG eess.AS
Sparse Binarization for Fast Keyword Spotting
[affiliation=1]（机构1）
针对边缘设备资源受限问题，提出基于稀疏输入表示和线性分类器的新型关键词唤醒模型，在提升速度和准确率的同时增强了抗噪鲁棒性。
2024-06-09 cs.LG cs.SD eess.AS
Hello Edge: Keyword Spotting on Microcontrollers
Arm（安谋科技）；Stanford University（斯坦福大学）
关键词定位（KWS）是在智能设备上实现基于语音的用户交互的关键组件。它要求实时响应和高准确性以获得良好的用户体验。最近，神经网络已成为一个有吸引力的选择KWS架构，因为他们优越的精度相比，传统的语音处理算法。由于其始终在线的特性，KWS应用程序具有高度受限的功率预算，并且通常在内存和计算能力有限的微型微控制器上运行。知识系统的神经网络结构设计必须考虑这些约束。在这项工作中，我们执行神经网络架构的评估和资源受限的微控制器上运行KWS的探索。我们训练各种神经网络架构的关键字发现文献中发表的准确性和内存/计算要求进行比较。我们表明，有可能优化这些神经网络架构，以适应内存和计算的微控制器的限制，而不牺牲精度。我们进一步探索了深度可分离的卷积神经网络（DS-CNN），并将其与其他神经网络架构进行了比较。DS-CNN达到了95.4%的准确率，比具有类似参数数量的DNN模型高出约10%。
2018-02-14 cs.CL cs.LG cs.NE
