Domain Aware Training for Far-field Small-footprint Keyword Spotting
Duke Kunshan University（昆山杜克大学）；Montage Technology（澜起科技）
在本文中，我们专注于小足迹的关键字发现下的远场场景的任务。远场环境是现实语音应用中经常遇到的环境，由于室内混响和各种噪声的影响，远场环境会导致语音性能的严重下降。我们的基线系统建立在卷积神经网络上，该网络使用远场和近距离说话语音的合并数据进行训练。为了应对这些失真，我们开发了三个领域感知训练系统，包括领域嵌入系统，深度CORAL系统和多任务学习系统。这些方法将领域知识结合到网络训练中，并提高了关键字分类器在远场条件下的性能。实验结果表明，我们提出的方法管理，以保持性能上的近距离说话的语音，并取得显着改善远场测试集。
2020-08-07 cs.LG eess.AS
On the Efficiency of Integrating Self-supervised Learning and Meta-learning for User-defined Few-shot Keyword Spotting
National Taiwan University（台湾大学）；intelliGo Technology inc.（intelliGo科技公司）
用户定义的关键字识别是一项检测用户定义的新口语术语的任务。这可以被看作是一个少样本学习问题，因为用户通过提供许多示例来定义他们想要的关键字是不合理的。为了解决这个问题，以前的作品试图纳入自监督学习模型或应用元学习算法。但目前尚不清楚自监督学习和元学习是否是互补的，以及这两种方法的哪种组合对于Few-Shot关键字发现最有效。在这项工作中，我们系统地研究这些问题，利用各种自监督学习模型，并将它们与各种各样的元学习算法相结合。实验结果表明，HuBERT与匹配网络相结合的方法效果最好，对Few-Shot样本的变化具有较强的鲁棒性。
2022-10-05 cs.LG eess.AS
Exploring Sequence-to-Sequence Transformer-Transducer Models for Keyword Spotting
Google（谷歌）
在本文中，我们提出了一种新的方法来适应序列到序列转换器-转换器ASR系统的关键字定位（KWS）任务。我们通过将文本转录中的关键字替换为特殊标记并训练系统检测音频流中的标记来实现这一点。<kw><kw>在推理时，我们创建了一个决策函数的灵感来自传统的KWS方法，使我们的方法更适合于KWS任务。此外，我们引入了一个特定的关键字定位损失，通过调整序列判别最小贝叶斯风险训练技术。我们发现，我们的方法显着优于基于ASR的KWS系统。当与传统的关键字定位系统相比，我们的建议具有类似的性能，同时带来了序列到序列训练的优势和灵活性。此外，当与传统的KWS系统相结合，我们的方法可以提高在任何操作点的性能。
2022-11-11 cs.LG cs.SD eess.AS
Learning Audio-Text Agreement for Open-vocabulary Keyword Spotting
Naver Corporation（NAVER 公司）；Yonsei University（延世大学）
在本文中，我们提出了一种新的端到最终用户定义的关键字发现方法，利用语言之间的对应模式的语音和文本序列。与以前的方法需要语音关键字注册，我们的方法比较输入查询与注册的文本关键字序列。为了将音频和文本表示放置在一个共同的潜在空间中，我们采用了一种基于注意力的跨模态匹配方法，该方法以端到端的方式进行训练，具有单调匹配损失和关键字分类损失。我们还利用去噪损失的声学嵌入网络，以提高在嘈杂的环境中的鲁棒性。此外，我们还介绍了LibriPhrase数据集，这是一个基于LibriSpeech的新的短语数据集，用于有效地训练关键字识别模型。与其他单模态和跨模态基线相比，我们提出的方法在各种评估集上取得了有竞争力的结果。
2022-07-01 cs.AI cs.LG eess.AS
Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization
Graz University of Technology（格拉茨技术大学）
本文介绍了神经架构搜索（NAS）的自动发现小模型的关键字定位（KWS）在有限的资源环境。我们采用可微分NAS方法来优化卷积神经网络（CNN）的结构，以最大限度地提高分类准确性，同时最大限度地减少每个推理的操作次数。仅使用NAS，我们就能够在Google语音命令数据集上获得95.4%准确率的高效模型，内存使用量为494.8 kB，操作量为1960万次。此外，权重量化用于进一步减少存储器消耗。我们表明，可以使用低位宽（例如1位）的权重量化，而不会有很大的准确性损失。通过将输入特征的数量从10 MFCC增加到20 MFCC，我们能够在340.1 kB的内存使用和2710万次操作的情况下将准确率提高到96.3%。
2020-12-18 cs.LG eess.AS
QbyE-MLPMixer: Query-by-Example Open-Vocabulary Keyword Spotting using MLPMixer
LG Electronics Toronto AI Lab（LG电子多伦多人工智能实验室）；LG Electronics Artificial Intelligence Lab（LG电子人工智能实验室）
当前的关键词识别系统通常使用大量预定义的关键词进行训练。在开放式词汇设置中识别关键字对于个性化智能设备交互至关重要。为了实现这一目标，我们提出了一个纯粹的基于MLP的神经网络，它是基于MLPMixer -一个MLP模型架构，有效地取代了Vision Transformers中的注意力机制。我们研究了不同的方式来适应MLPMixer架构的QbyE开放词汇表关键字定位任务。与最先进的RNN和CNN模型的比较表明，我们的方法在公开可用的Hey-Snips数据集和具有400个扬声器的更大规模内部数据集上都在具有挑战性的情况下（10 dB和6 dB环境）实现了更好的性能。与基线模型相比，我们提出的模型的参数和MAC数量也较少。
2022-06-23 cs.CL cs.LG eess.AS
Prototypical Metric Transfer Learning for Continuous Speech Keyword Spotting With Limited Training Data
ParallelDots, Inc.（ParallelDots公司）
连续语音关键词识别（CSKS）是指当训练数据中存在少量关键词时，在记录的对话中识别关键词的问题。与更常见的关键字定位不同，算法需要检测单独的关键字或短语，如“Alexa”，“Cortana”，“Hi Alexa！“，“怎么样奥克塔维亚？在语音中，CSKs需要从连续的语音流中过滤出嵌入的单词，即。在“我认识一个叫Anna的开发人员，他可以调查这个github问题。“除了有限的训练数据可用性的问题，CSKS是一个非常不平衡的分类问题。我们通过使用损失函数（原型网络损失和度量损失）和迁移学习的新组合来解决简单关键字定位基线对于上述两个挑战的局限性。我们的方法将F1分数提高了10%以上。
2019-01-12 cs.CL cs.LG cs.SD
SLiCK: Exploiting Subsequences for Length-Constrained Keyword Spotting
Apple（苹果公司）
针对边缘设备用户自定义关键词识别难题，提出利用关键词长度约束的SLiCK方法，通过子序列级匹配和多任务学习，显著提升了Libriphrase hard数据集上的识别性能。
2024-09-06 cs.LG cs.SD eess.AS
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab（Arm机器学习研究实验室）；Lund University（隆德大学）
Transformer架构在许多领域都取得了成功，包括自然语言处理、计算机视觉和语音识别。在关键字识别中，自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法，并引入了关键字Transformer（KWT），这是一种完全自我注意的架构，在没有任何预训练或额外数据的情况下，它在多个任务中的性能超过了最先进的水平。令人惊讶的是，这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品，在Google Speech Commands数据集上创造了两个新的基准记录，分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD
Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting
Device Technology Research Institute（设备技术研究所）；AI Chip Design Open Innovation Laboratory（AI芯片设计开放创新实验室）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们提出了神经网络模型的基础上，神经常微分方程（NODE）的小足迹关键字定位（KWS）。我们提出的技术，应用节点的KWS，使之有可能采用批量归一化的节点为基础的网络，并减少推理过程中的计算量。最后，我们表明，所提出的模型的模型参数的数量比传统的KWS模型减少了68%。
2020-09-06 cs.LG cs.SD eess.AS
Few-Shot Keyword Spotting in Any Language
Harvard University（哈佛大学）；Coqui（Coqui公司）；Google（谷歌）
我们介绍了一个Few-Shot迁移学习方法，用于任何语言中的关键字识别。利用九种语言的开放语音语料库，我们自动提取一个大型的多语种关键字银行，并用它来训练嵌入模型。仅用五个训练样本，我们就微调了用于关键字识别的嵌入模型，并在这九种语言中对嵌入模型未见过的180个新关键字进行了关键字分类，取得了平均0.75的F1分数。这种嵌入模型也适用于新的语言。我们在5次模型上获得了0.65的平均F1分数，其中260个关键字是在嵌入模型看不到的13种新语言中采样的。我们在两个上下文中调查了我们的5杆模型的流媒体准确性：关键字定位和关键字搜索。在22种语言的440个关键字中，我们实现了87.4%的平均流关键字识别准确率，错误接受率为4.3%，并观察到关键字搜索的初步结果。
2021-09-09 cs.CL eess.AS
Neural Architecture Search For Keyword Spotting
University of Alberta（阿尔伯塔大学）；Huawei Technologies（华为技术）
深度神经网络最近已经成为关键词识别系统的一种流行解决方案，它可以通过语音控制智能设备。在本文中，我们应用神经架构搜索来搜索卷积神经网络模型，这些模型可以帮助提高基于从声学信号中提取的特征的关键字定位的性能，同时保持可接受的内存占用。具体来说，我们使用微分架构搜索技术搜索运营商和他们的连接在一个预定义的小区搜索空间。然后，在深度和宽度上按比例放大所发现的单元，以实现具有竞争力的性能。我们在Google的Speech Commands Dataset上评估了所提出的方法，并在文献中常见的12类话语分类的设置上实现了超过97%的最先进的准确率。
2020-09-02 cs.LG cs.SD eess.AS
A Cascade Architecture for Keyword Spotting on Mobile Devices
Google Inc.（谷歌公司）
我们提出了一个级联架构的关键字定位与说话人验证移动设备上。通过将小的计算占用空间与专用的数字信号处理（DSP）芯片配对，我们能够在持续监听关键字的同时实现低功耗。
2017-12-10 cs.SD eess.AS
Metric Learning for Keyword Spotting
Naver Corporation（NAVER 公司）
这项工作的目标是通过度量学习训练有效的表示关键字定位。大多数现有的作品地址作为一个封闭的集分类问题，目标和非目标关键字的关键字定位。因此，目前基于分类器的关键词识别系统在训练阶段看不见的非目标声音上表现不佳，导致现实世界中的误报率很高。在现实中，关键词定位是一个检测问题，其中预定义的目标关键词从各种未知的声音中检测出来。这与度量学习问题有许多相似之处，因为看不见的和未知的非目标声音必须与目标关键字明确区分开来。然而，一个关键的区别是目标关键字是已知的和预定义的。为此，我们提出了一种基于度量学习的新方法，该方法最大化目标和非目标关键字之间的距离，但也学习目标关键字的每类权重。在Google Speech Commands数据集上的实验表明，我们的方法显着减少了对看不见的非目标关键字的误报，同时保持了整体分类精度。
2020-05-18 cs.SD eess.AS
Low-resource keyword spotting using contrastively trained transformer acoustic word embeddings
提出ContrastiveTransformer模型，通过NT-Xent损失优化声学词嵌入，在卢干达语和班巴拉语极低资源关键词识别中优于现有方法。
2025-06-21 eess.AS
Semi-Supervised Federated Learning for Keyword Spotting
Amazon, Alexa AI（亚马逊Alexa人工智能部门）
本研究提出并验证了半监督联邦学习在关键词识别中的应用，利用设备端无标签数据与服务器端少量有标签数据，显著提升模型性能。
2023-05-09 cs.LG eess.AS
Personalizing Keyword Spotting with Speaker Information
Universidad Autónoma de Madrid（马德里自治大学）；Google LLC（谷歌有限责任公司）
针对关键词识别系统难适配多样化人群的问题，提出基于FiLM融合说话人信息的个性化方法，多设置实验验证其能显著提升检测准确率，且参量和开销增加极小，实用性强。
2023-11-06 cs.LG cs.SD eess.AS
DONUT: CTC-based Query-by-Example Keyword Spotting
关键字定位-或唤醒词检测-是现代语音控制设备免提操作的基本功能。随着这种设备变得无处不在，用户可能想要选择个性化的自定义唤醒词。在这项工作中，我们提出了DONUT，一个基于CTC的算法，在线查询的关键字定位，使自定义唤醒词检测。该算法通过记录来自用户的少量训练样本、从这些训练样本生成一组标签序列假设、以及通过在给定新音频记录的情况下聚合所有假设的分数来检测唤醒词来工作。我们的方法结合了通用性和可解释性的CTC为基础的关键字发现与用户的适应性和方便性的传统查询的例子系统。DONUT具有低计算要求，非常适合嵌入式系统上的学习和推理，而不需要将私有用户数据上传到云端。
2018-11-26 cs.LG cs.SD eess.AS
Orthogonality Constrained Multi-Head Attention For Keyword Spotting
Qualcomm AI Research, Qualcomm Korea YH（高通人工智能研究院，高通韩国YH）
多头注意力机制能够从顺序数据中学习各种表示，同时注意不同的顺序，例如，口语中的词段或音节。从连续性，它检索更丰富的信息比一个单一的头注意，只总结了整个序列到一个上下文向量。然而，多头注意力的简单使用并不能保证这种丰富性，因为注意力头可能具有位置和表示冗余。在本文中，我们提出了一个正则化技术的多头注意力机制在端到端的神经关键字发现系统。增加惩罚注意力头部之间的位置和上下文非正交性的正则化项鼓励从单独的连续性输出不同的表示，这又使得能够在没有显式序列模型（诸如隐马尔可夫模型）的情况下利用结构化信息。此外，头内上下文非正交性正则化鼓励每个注意力头在关键字示例中具有相似的表示，这有助于通过减少特征可变性来进行分类。实验结果表明，所提出的正则化技术显着提高了关键字定位性能的关键字“嘿Snapdragon”。
2019-10-10 cs.LG eess.AS stat.ML
Sparse Binarization for Fast Keyword Spotting
[affiliation=1]（机构1）
针对边缘设备资源受限问题，提出基于稀疏输入表示和线性分类器的新型关键词唤醒模型，在提升速度和准确率的同时增强了抗噪鲁棒性。
2024-06-09 cs.LG cs.SD eess.AS
Small-footprint Keyword Spotting with Graph Convolutional Network
Tsinghua University（清华大学）；TsingMicro Co. Ltd.（清微电子股份有限公司）
尽管深度神经网络最近取得了成功，但在资源受限的设备上实现高精度关键词发现任务（KWS）仍然具有挑战性。在这项研究中，我们提出了一种新的上下文感知和紧凑的架构关键字发现任务。基于剩余连接和瓶颈结构，我们设计了一个紧凑和高效的网络KWS任务。为了利用卷积特征映射的长程依赖性和全局上下文，引入图卷积网络来编码非局部关系。通过在Google语音命令数据集上的测试，该方法具有最佳的性能，并以较低的计算代价大幅优于现有的方法。
2019-12-11 cs.CL cs.LG cs.SD
Conditional Online Learning for Keyword Spotting
SiDi（SiDi研究所）
提出一种基于SGD的设备端在线持续学习方法，通过条件模型更新机制在动态音频流中提升关键词检测模型性能并缓解灾难性遗忘。
2023-05-19 cs.LG cs.SD eess.AS
Optimize what matters: Training DNN-HMM Keyword Spotting Model Using End Metric
Apple（苹果公司）
基于深度神经网络-隐马尔可夫模型（DNN-HMM）的方法已经成功地用于检测唤醒词以触发设备的许多始终在线的关键词发现算法。DNN预测给定语音帧的状态概率，而HMM解码器组合多个语音帧的DNN预测以计算关键字检测分数。在现有方法中，DNN是独立于HMM参数进行训练的，以最小化预测状态概率和地面真实状态概率之间的交叉熵损失。DNN训练损失（交叉熵）和结束度量（检测分数）之间的不匹配是关键字定位任务的次优性能的主要来源。我们通过一种新的端到端训练策略来解决这种损失度量不匹配的问题，该策略通过优化检测分数来学习DNN参数。为此，我们使HMM解码器（动态规划）可微，并通过它反向传播，以最大限度地提高关键字的分数，并最小化非关键字语音段的分数。我们的方法不需要在模型架构或推理框架的任何变化，因此，没有运行时内存或计算需求的开销。此外，我们在相同的错误触发体验下显着降低了错误拒绝率（FRR）（超过独立DNN训练的70%）。
2021-02-26 cs.LG cs.SD eess.AS
Keyword Spotting with Hyper-Matched Filters for Small Footprint Devices
Technion – Israel Institute of Technology, Faculty of Electrical and Computer Engineering（技术学院 – 以色列理工学院，电气与计算机工程学院）；Northwestern University, Department of Linguistics（西北大学，语言学系）
本文提出一种面向小型设备的开放词汇关键词识别模型，采用超网络生成匹配滤波器权重，以微型编码器实现最先进检测性能，最小模型仅420万参数即超越数倍大小模型。
2025-08-06 cs.LG cs.SD eess.AS
On-Device Domain Learning for Keyword Spotting on Low-Power Extreme Edge Embedded Systems
ETH Zurich（苏黎世联邦理工学院）；Huawei Technologies（华为技术有限公司）；KU Leuven（鲁汶大学）；VERSES AI；University of Bologna（博洛尼亚大学）
针对噪声环境下关键词识别准确率下降的问题，提出一种完全设备端的域适配系统，在不到10 kB内存和仅100条标注话语下恢复5%准确率，并在超低功耗微控制器上以806 mJ能耗、14秒内完成适配。
2024-03-12 cs.LG cs.SD eess.AS
Small-Footprint Keyword Spotting with Multi-Scale Temporal Convolution
University of Science and Technology of China（中国科学技术大学）
关键词识别（KWS）在智能设备上终端和服务机器人的人机交互中起着至关重要的作用。在KWS任务中实现小占用空间和高精度之间的权衡仍然具有挑战性。在本文中，我们探讨了应用多尺度时间建模的小足迹关键字定位任务。我们提出了一个多分支时间卷积模块（MTConv），一个由多个具有不同内核大小的时间卷积滤波器组成的CNN块，它丰富了时间特征空间。此外，利用时间卷积和深度卷积的优点，为KWS系统设计了一个时间有效的神经网络（TENet）。基于目的模型，我们用可以训练以获得更好性能的MTConv替换标准时间卷积层。而在推理阶段，MTConv可以等效地转换为基础卷积架构，因此与基础模型相比，不会增加额外的参数和计算成本。Google Speech Command Dataset上的结果显示，我们使用MTConv训练的模型之一仅用10万个参数就能达到96.8%的准确率。
2020-10-20 cs.LG cs.SD eess.AS
Improving Small Footprint Few-shot Keyword Spotting with Supervision on Auxiliary Data
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Korea YH（高通韩国YH）
提出利用易获取的无标注朗读语音构建LibriWord数据集并采用多任务学习，以监督方式增强小足迹少样本关键词识别模型的表征能力，显著提升基准性能。
2023-08-31 cs.LG cs.SD eess.AS
Self-supervised speech representation learning for keyword-spotting with light-weight transformers
Amazon（亚马逊）
自监督语音表示学习（S3RL）正在彻底改变我们利用不断增长的数据可用性的方式。虽然S3RL相关研究通常使用大型模型，但我们采用轻量级网络来满足计算受限设备的内存要求。我们通过使用具有330k参数的Transformers来证明S3RL在关键词定位（KS）问题上的有效性，并提出了一种增强话语区分的机制，这对于提高分类任务的性能至关重要。在Google语音命令v2数据集上，应用于自回归预测编码S3RL的方法与从头开始训练相比，准确率提高了1.2%。在具有四个不同关键字的内部KS数据集上，它在固定的错误拒绝率下提供了6%至23.7%的相对错误接受改善。我们认为，这表明了S3RL方法的适用性，轻量级模型KS和确认S3RL是一个强大的替代传统的监督学习资源受限的应用程序。
2023-03-07 cs.LG cs.SD eess.AS
LiCo-Net: Linearized Convolution Network for Hardware-efficient Keyword Spotting
Meta AI
本文提出了一种硬件高效的架构，线性卷积网络（LiCo-Net）的关键字定位。它专门针对微控制器等低功耗处理器单元进行了优化。ML运算符在节能硬件上表现出异构的效率配置文件。给定精确的理论计算成本，int 8运算符比浮点运算符更有效，线性层通常比其他层更有效。所提出的LiCo-Net是一个双阶段系统，在推理阶段使用高效的int 8线性算子，并在训练阶段应用流式卷积以保持高模型容量。实验结果表明，LiCo-Net在硬件效率上优于单值分解滤波器（SVDF），同时具有同等的检测性能。与SVDF相比，LiCo-Net在HiFi 4 DSP上的周期减少了40%。
2022-11-09 cs.AI cs.LG eess.AS
Latency Control for Keyword Spotting
Amazon Science（亚马逊科学）
会话代理通常利用关键字定位（KWS）来发起与用户的语音交互。出于用户体验和隐私考虑，现有的KWS方法主要关注准确性，这通常是以引入延迟为代价的。为了解决这个权衡，我们提出了一种新的方法来控制KWS模型延迟，并推广到任何损失函数，而无需显式的关键字端点的知识。通过一个单一的，可调的超参数，我们的方法使人们能够平衡检测延迟和准确性的目标应用程序。经验上，我们表明，我们的方法提供了优越的性能下的延迟限制相比，现有的方法。也就是说，当与基线最新技术相比时，我们为固定延迟目标做出了实质性的25\%相对错误接受改进。我们还表明，当我们的方法与最大池化损失结合使用时，我们能够在固定延迟下与交叉熵损失相比将相对错误接受提高25%。
2022-06-15 cs.AI cs.LG eess.AS
EfficientNet-Absolute Zero for Continuous Speech Keyword Spotting
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Tehran University（德黑兰大学）
关键词识别是利用计算机从录制的演讲中找出特定的单词或短语的过程。深度神经网络算法作为一个强大的引擎，如果在适当的数据集上进行训练，就可以处理这个问题。为此，足球关键词数据集（FKD），作为一个新的关键词发现数据集在波斯语，收集众包。该数据集包含18个类别的近31000个样本。提出了连续语音合成方法，使FKD在处理连续语音的实际应用中具有实用价值。此外，我们提出了一个轻量级的架构，称为EfficientNet-A0（绝对零），通过应用复合缩放方法对EfficientNet-B 0的关键字定位任务。最后，所提出的架构与各种模型进行评估。事实证明，EfficientNet-A0和Resnet模型在该数据集上的表现优于其他模型。
2020-12-31 cs.CL cs.SD eess.AS
Query-by-example on-device keyword spotting
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc（高通技术公司）
关键词定位（KWS）系统确定连续语音流中是否存在（通常是预定义的）关键词。本文提出了一种基于实例的设备上的知识库系统，它是用户特定的。该系统包括两个主要步骤：查询注册和测试。在查询注册步骤中，语音后验由基于连接主义时间分类的小足迹自动语音识别模型输出。利用语音级后验图，建立有限状态转换器（FST）的假设图，从而可以注册任何关键字，从而避免了词汇表外的问题。在测试中，使用FST对输入音频的对数似然进行评分。我们提出了一个阈值预测方法，同时只使用用户特定的关键字假设。该系统通过在波形中重新排列每个查询话语来生成特定于查询的否定。阈值是基于登记查询和生成的否定决定的。我们用英语测试了两个关键字，所提出的工作在保持简单性的同时表现出良好的性能。
2020-01-14 cs.CL cs.LG eess.AS
Small-footprint slimmable networks for keyword spotting
Amazon（亚马逊）
本文将可瘦身神经网络用于小占用空间关键词唤醒，可从CNN和Transformer超网中抽取不同规模子网络，在25万参数限制内于Alexa和Google Speech Commands上达到或超过从头训练模型的效果。
2023-04-21 cs.LG cs.SD eess.AS
Fully Unsupervised Training of Few-shot Keyword Spotting
为了训练Few-Shot关键词发现（FS-KWS）模型，已知包含大量目标关键词的大型标记数据集对于仅用少量登记样本推广到任意目标关键词是必不可少的。为了减轻昂贵的数据收集与标签，在本文中，我们提出了一种新的FS-KWS系统只训练合成数据。拟议的系统基于指标学习，能够使用距离指标检测目标关键字。利用语音合成模型，生成语音与伪音素，而不是文本，我们很容易获得大量的多视图样本具有相同的语义。考虑到度量学习本质上不需要标记数据，这些样本足以用于训练。我们框架中的所有组件都不需要任何监督，使我们的方法不受监督。在真实数据集上的实验结果表明，即使没有任何标记和真实数据集，我们提出的方法也具有竞争力。
2022-10-07 eess.AS
Stochastic Adaptive Neural Architecture Search for Keyword Spotting
Sorbonne Université（索邦大学）；Facebook AI Research（脸书人工智能研究院）
关键词定位（即，识别实时音频流中的关键词）的问题主要通过在连续滑动窗口上应用神经网络来解决。由于任务的难度，基线模型通常很大，导致高计算成本和能耗水平。我们提出了一种新的方法称为SANAS（随机自适应神经结构搜索），它能够适应的神经网络的架构上的飞行在推理时间，使小架构将被使用时，流是容易处理（沉默，低噪声，.）当任务变得更加困难时，将使用更大的网络。我们表明，这种自适应模型可以通过优化预测性能和单位时间平均计算成本之间的权衡来学习端到端。在Speech Commands数据集上的实验表明，这种方法导致了较高的识别水平，同时比网络架构是静态的经典方法快得多（和/或节能）。
2018-11-16 cs.LG eess.AS stat.ML
Training Keyword Spotting Models on Non-IID Data with Federated Learning
Google LLC（谷歌有限责任公司）
我们证明了一个生产质量的关键词识别模型可以使用联邦学习在设备上进行训练，并实现与中央训练模型相当的错误接受率和错误拒绝率。为了克服与拟合设备上的数据（本质上是非独立和同分布的）相关的算法约束，我们使用大规模联邦仿真对优化算法和超参数配置进行了彻底的实证研究。为了克服资源限制，我们用SpecAugment替换了内存密集型MTR数据增强，从而将错误拒绝率降低了56%。最后，为了标记示例（给定设备上数据的零可见性），我们探索了师生培训。
2020-06-04 cs.CL cs.LG cs.SD
Production federated keyword spotting via distillation, filtering, and joint federated-centralized training
Google LLC（谷歌有限责任公司）；University of Washington（华盛顿大学）
我们在真实用户设备上使用联邦学习训练了一个关键字识别模型，并在将该模型部署到手机上进行推理时观察到了显著的改进。为了弥补设备上训练缓存中缺失的数据域，我们采用了联合集中式训练。为了在设备上没有策划标签的情况下学习，我们制定了一个基于用户反馈信号的置信度过滤策略，用于联邦蒸馏。这些技术创建的模型显著改善了离线评估中的质量指标和实时A/B实验中的用户体验指标。
2022-06-29 cs.CL cs.LG cs.SD
Progressive Continual Learning for Spoken Keyword Spotting
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
在部署后更新关键字定位（KWS）模型时，灾难性遗忘是一个棘手的挑战。为了应对这些挑战，我们提出了一个渐进式的持续学习策略小足迹口语关键字发现（PCL-KWS）。具体来说，建议的PCL-KWS框架引入了一个网络实例化器来生成特定于任务的子网络，用于记住以前学习的关键字。因此，PCL-KWS方法在不忘记先前知识的情况下逐步学习新的关键字。此外，PCL-KWS的关键字感知网络缩放机制在实现高性能的同时抑制了模型参数的增长。实验结果表明，在连续学习五个新任务后，与其他基线相比，我们提出的PCL-KWS方法在Google Speech Command数据集上的所有任务的平均准确率为92.8%。
2022-02-07 cs.CL cs.SD eess.AS
Efficient keyword spotting using time delay neural networks
Fluent.ai Inc.（Fluent.ai公司）
本文介绍了一种新的方法，使用两阶段的时间延迟神经网络的实时关键字定位。该模型使用迁移学习进行训练：使用来自大型语音语料库的电话目标进行初始训练，然后使用来自较小数据集的关键字目标进行训练。该系统的准确性进行了评估两个单独的任务。第一个是免费提供的Google Speech Commands数据集。第二个是专门为关键字定位开发的内部任务。结果表明，与以前已知的技术相比，在清洁和嘈杂的环境中的错误接受和错误拒绝率显着改善。此外，我们研究了各种技术，以减少计算方面的乘法每秒的音频。与最近发表的工作相比，所提出的系统提供了高达89%的计算复杂性节省。
2018-08-28 cs.SD eess.AS
Multilingual Query-by-Example Keyword Spotting with Metric Learning and Phoneme-to-Embedding Mapping
本文提出基于残差神经网络和 circle loss 的多语言样例查询关键词识别系统，通过音素到嵌入映射提升跨语言泛化，仅需每个关键词 5 个示例即可实现高效流式识别与搜索。
2023-04-19 eess.AS
Metric Learning for User-defined Keyword Spotting
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Hyundai Motor Company（现代汽车公司）；dot Inc.（42dot公司）
这项工作的目标是检测用户定义的新口语术语。虽然大多数以前的作品解决关键字定位（KWS）作为一个封闭的分类问题，这限制了他们的可转移性看不见的条款。定义自定义关键字的能力在用户体验方面具有优势。在本文中，我们提出了一个基于度量学习的训练策略，用户定义的关键字定位。具体而言，我们做出了以下贡献：（1）利用现有的语音语料库构建了一个大规模的关键词数据集，并提出了一种过滤方法来去除降低模型训练的数据;（2）我们提出了一种基于度量学习的两阶段训练策略，并证明了所提出的方法通过丰富其表示来提高用户定义的关键词识别任务的性能;（3）为便于用户自定义KWS领域的公平比较，提出了统一的评价协议和评价指标。我们提出的系统不需要对用户定义的关键字进行增量训练，并且使用建议的和现有的指标在Google Speech Commands数据集上的表现明显优于以前的作品。
2022-11-01 cs.SD eess.AS
Efficient Keyword Spotting by capturing long-range interactions with Temporal Lambda Networks
基于注意机制的模型已经显示出前所未有的语音识别性能。然而，它们在计算上是昂贵的，并且对于关键字识别来说是不必要的复杂，这是一项针对小尺寸设备的任务。这项工作探讨了Lambda网络的应用，Lambda网络是一种用于捕获长距离交互而无需注意的替代框架，用于关键字定位任务。我们提出了一种新的\textit{ResNet}为基础的模型，通过交换的残留块的时间λ层。此外，所提出的架构是建立在一维时间卷积，进一步降低其复杂性。该模型不仅在Google Speech Commands数据集上达到了最先进的精度，而且比基于变换器（KWT）和卷积（Res15）的模型轻了85%和65%，同时速度快了100倍。据我们所知，这是第一次尝试在语音领域内探索Lambda框架，因此，我们将进一步研究基于这种架构的新接口。
2021-07-01 eess.AS
Exploring Filterbank Learning for Keyword Spotting
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
尽管手工制作的语音功能多年来表现出色，但对于任何特定的语音应用程序来说，它们并不一定是最佳的。因此，或多或少的成功，最佳滤波器组学习已经研究了不同的语音处理任务。在本文中，我们通过探索过滤器组学习关键字定位（KWS）来填补空白。审查了两种方法：功率谱域中的滤波器组矩阵学习和心理声学激励的伽马啁啾滤波器组的参数学习。滤波器组参数与基于现代深度残差神经网络的KWS后端联合优化。我们的实验结果表明，在一般情况下，有没有统计学上的显着差异，在KWS的准确性，使用一个学习的滤波器组和手工制作的语音功能。因此，虽然我们得出结论，后者仍然是一个明智的选择时，使用现代的KWS后端，我们还假设，这可能是一个症状的信息冗余，这开辟了新的研究可能性，在该领域的小足迹KWS。
2020-05-30 cs.LG cs.SD eess.AS
Implicit Acoustic Echo Cancellation for Keyword Spotting and Device-Directed Speech Detection
Amazon Alexa（亚马逊Alexa）
在许多支持语音的人机交互场景中，用户语音可以与设备回放音频重叠。在这些情况下，诸如关键字定位（KWS）和设备定向语音检测（DDD）之类的任务的性能可能会显著降低。为了解决这个问题，我们提出了一个隐式声学回声消除（iAEC）框架，其中神经网络被训练来利用来自参考麦克风通道的附加信息来学习忽略干扰信号并提高检测性能。我们研究了这个框架的任务KWS和DDD，分别，增强版本的谷歌语音命令v2和现实世界的Alexa设备数据集。值得注意的是，我们在设备播放条件下显示DDD任务的错误拒绝率降低了56%。我们还显示了与强大的端到端神经回声消除+ KWS基线相比相当或更优越的性能，用于KWS任务，其计算需求减少了一个数量级。
2022-10-04 cs.LG cs.SD eess.AS
On-Device Constrained Self-Supervised Speech Representation Learning for Keyword Spotting via Knowledge Distillation
University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）；Zoom Video Communications, Inc.（祖姆视频通信公司）
本文提出基于知识蒸馏的设备端自监督语音表示学习架构，通过师生框架和双视图互相关蒸馏，在资源受限条件下实现高效关键词识别。
2023-07-06 cs.CL cs.SD eess.AS
Matching Latent Encoding for Audio-Text based Keyword Spotting
Apple（苹果公司）
针对音频文本关键词检测中多词不同长度嵌入的语义对齐难题，提出含动态序列划分算法的端到端架构，在公开数据集上AUC和EER分别优于SOTA 14.4%和28.9%。
2023-06-08 cs.LG cs.SD eess.AS
GE2E-KWS: Generalized End-to-End Training and Evaluation for Zero-shot Keyword Spotting
GE2E-KWS提出了一种端到端训练和评估框架，通过优化矩阵运算提升收敛稳定性，其量化模型在AUC上显著优于现有方法，支持零样本关键词识别。
2024-10-22 cs.AI cs.LG eess.AS
PhonMatchNet: Phoneme-Guided Zero-Shot Keyword Spotting for User-Defined Keywords
NCSOFT Corporation（NCSOFT公司）
提出PhonMatchNet，利用关键词音频-音素关系，结合双流编码器与音素级损失，实现零样本关键词唤醒，性能显著优于基线，平均EER和AUC相对提升67%和80%。
2023-08-31 cs.SD eess.AS eess.SP
Toward noise-robust whisper keyword spotting on headphones with in-earcup microphone and curriculum learning
本文研究设备端耳语关键词检测的噪声鲁棒性问题，提出结合降噪耳机内置麦克风的多麦克风处理与课程学习策略，在噪声条件下将 F1 score 提升高达 15%。
2025-02-01 cs.SD eess.AS
Audiomer: A Convolutional Transformer For Keyword Spotting
Transformers在自然语言处理和计算机视觉任务方面出现了前所未有的增长。然而，在音频任务中，由于音频波形的序列长度非常大，所以它们不能进行训练，或者当在基于傅立叶的特征上进行训练时会导致性能损失。在这项工作中，我们引入了一种架构Audiomer，在该架构中，我们将1D残差网络与表演者注意力相结合，以实现原始音频波形关键字定位的最佳性能，优于所有以前的方法，同时计算成本更低，参数效率更高。此外，我们的模型具有语音处理的实际优势，如推断任意长的音频剪辑由于没有位置编码。该代码可在https://github.com/The-Learning-Machines/Audiomer-PyTorch上获得。
2022-02-01 cs.CL cs.LG cs.SD
Bridging the Gap between Audio and Text using Parallel-attention for User-defined Keyword Spotting
本文提出ParallelKWS框架，通过并行自注意力和交叉注意力以及音素时长对齐损失，弥合音频与文本模态差异，在用户自定义关键词识别任务中取得最先进性能。
2024-08-07 eess.AS
Massive Open-Vocabulary Keyword Spotting
Priberam Labs（Priberam实验室）；Instituto Superior Técnico（理工学院）；Instituto de Telecomunicações（电信研究所）
提出一种内存占用更小的开放词汇关键词识别系统，无需微调即可处理大规模数据库，在未见语言中达到与未压缩方案相当的实体召回率。
2026-06-11 cs.CL cs.LG cs.SD
Multiple-Instance, Cascaded Classification for Keyword Spotting in Narrow-Band Audio
Voicera
针对非独立同分布窄带音频关键词识别，提出融合DNN、级联、多特征与多实例学习的模型，以级联提前终止降低功耗，实现漏报率6%且每小时误报率0.75。
2025-04-25 cs.CL cs.LG cs.SD
An Anchor-Free Detector for Continuous Speech Keyword Spotting
Microsoft Research Asia（微软亚洲研究院）；University of Technology Sydney（悉尼科技大学）
连续语音关键词识别（CSKWS）是一项在连续语音中检测预定义关键词的任务。在本文中，我们把CSKWS作为一个一维的目标检测任务，并提出了一种新的无锚检测器，命名为AF-KWS，来解决这个问题。AF-KWS通过单级深度神经网络直接回归关键词的中心位置和长度。特别是，AF-KWS是专为这个语音任务，因为我们引入了一个辅助的未知类，以排除其他词从非语音或无声的背景。我们已经建立了两个基准数据集LibriTop-20和连续会议分析关键字（CMAK）数据集CSKWS。对这两个数据集的评估表明，我们提出的AF-KWS优于参考方案的大幅度，因此为未来的研究提供了一个体面的基线。
2022-08-09 cs.SD eess.AS
