Speaker Selective Beamformer with Keyword Mask Estimation
Yahoo Japan Corporation（雅虎日本公司）
研究背景语音中目标说话人的自动语音识别问题。我们方法的新颖之处在于，我们专注于唤醒关键字，该关键字通常用于激活智能扬声器等ASR系统。该方法首先利用基于DNN的掩码估计器将混合信号分离为目标说话人发出的关键字信号和剩余的背景语音。然后，分离的信号用于计算波束形成滤波器，以增强来自目标说话人的后续话语。实验结果表明，训练后的基于DNN的掩模可以选择性地从混合信号中分离出关键词和背景语音。日本ASR实验也验证了所提出的方法的有效性，我们证实，字符错误率显着改善所提出的方法的模拟和真实记录的测试集。
2018-11-07 cs.LG cs.SD eess.AS
Keyword-Guided Adaptation of Automatic Speech Recognition
aiOla Research（aiOla研究机构）
本文提出一种基于Whisper模型的关键词引导上下文偏置方法，通过关键词检索模型动态生成提示引导解码器，显著提升了专业术语识别准确率并降低了词错误率。
2024-06-04 cs.LG cs.SD eess.AS
Keyword localisation in untranscribed speech using visually grounded speech models
关键词定位是找到给定查询关键词在语音话语中出现的位置的任务。我们调查到什么程度的关键字本地化是可能的，使用视觉接地语音（VGS）模型。VGS模型在与语音字幕配对的未标记图像上进行训练。因此，这些模型是自我监督的-在没有任何显式文本标签或位置信息的情况下进行训练。为了获得训练目标，我们首先使用具有固定词汇的预训练视觉分类器使用软文本标签标记训练图像。这使得VGS模型能够预测话语中书面关键字的存在，但不是其位置。我们考虑四种方法来装备VGS模型的本地化能力。其中两个-显着性方法和输入掩蔽-可以在训练后应用于任意预测模型，而另外两个-注意力和得分聚合方法-直接纳入模型的结构中。基于掩码的本地化给出了VGS模型中报告的一些最佳本地化分数，当系统知道关键字出现在话语中并需要预测其位置时，准确率为57%。在检测之后执行定位的设置中，实现了25%的$F_1$，并且在首先执行关键字定位排名通过的设置中，我们得到32%的定位P@10。虽然这些分数与具有无序词袋监督的理想化设置（来自transmittance）相比是适度的，但这些模型不接受任何文本或位置监督。进一步的分析表明，这些模型受到第一次检测或排名的限制。此外，个别关键字本地化性能与视觉分类器的标记性能相关。我们还定性地显示语义错误发生的方式和位置，例如，该模型定位冲浪时，查询与海洋。
2022-02-02 cs.CL cs.SD eess.AS
Keyword Spotting with Hyper-Matched Filters for Small Footprint Devices
Technion – Israel Institute of Technology, Faculty of Electrical and Computer Engineering（技术学院 – 以色列理工学院，电气与计算机工程学院）；Northwestern University, Department of Linguistics（西北大学，语言学系）
本文提出一种面向小型设备的开放词汇关键词识别模型，采用超网络生成匹配滤波器权重，以微型编码器实现最先进检测性能，最小模型仅420万参数即超越数倍大小模型。
2025-08-06 cs.LG cs.SD eess.AS
Teaching keyword spotters to spot new keywords with limited examples
Google Research（谷歌研究院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
学习识别新的关键字，只有几个例子是必不可少的个性化关键字定位（KWS）模型，以用户的关键字选择。然而，现代KWS模型通常在大型数据集上进行训练，并且仅限于少量的关键字词汇表，从而限制了它们对广泛的不可见关键字的可转移性。为了便于定制的KWS模型，我们提出了KeySEM（关键词语音嵌入），一个语音嵌入模型预先训练的任务，识别大量的关键字。KeySEM提供的语音表示对于从有限数量的示例中学习新的关键字非常有效。与多个数据集的各种相关工作的比较表明，我们的方法以更少的训练示例实现了始终如一的卓越性能。虽然KeySEM只在英语话语上进行了预训练，但性能提升也扩展到了其他四种语言的数据集，这表明KeySEM学习到的有用表示与关键字识别任务非常一致。最后，我们证明了KeySEM的能力，学习新的关键字顺序，而不需要重新训练以前学习的关键字。我们的实验观察表明，KeySEM非常适合于设备上的环境，其中部署后的学习和易于定制往往是可取的。
2021-06-04 cs.CL cs.LG cs.SD
Spell my name: keyword boosted speech recognition
Naver Corporation（NAVER公司）
识别不常见的单词，如名称和技术术语，对于理解上下文中的对话非常重要。然而，在现代自动语音识别（ASR）系统中，识别这样的单词的能力仍然是一个挑战。在本文中，我们提出了一种简单但功能强大的ASR解码方法，可以更好地识别这些不常见的关键字，从而使结果具有更好的可读性。该方法基于声学模型预测提高了束搜索中给定关键字的概率。该方法不需要事先进行任何训练。我们证明了我们的方法的有效性LibriSpeeech测试集和内部数据的真实世界的对话。我们的方法显着提高了测试集上的关键字准确性，同时保持了其他单词的准确性，并提供了显着的定性改进。该方法适用于其他任务，例如机器翻译，或者在束搜索中需要识别看不见的和困难的关键字的任何地方。
2021-10-06 cs.CL cs.SD eess.AS
A Monaural Speech Enhancement Method for Robust Small-Footprint Keyword Spotting
Inner Mongolia University（内蒙古大学）；Harbin Institute of Technology（哈尔滨工业大学）
对噪声的鲁棒性对于现实环境中的关键字定位（KWS）至关重要。为了提高鲁棒性，涉及语音增强前端。在这项研究中，一个预先训练好的语音增强前端和一个基于卷积神经网络（CNN）的KWS系统连接起来，而不是把语音增强作为一个单独的预处理之前的KWS系统，其中一个特征变换块被用来将增强前端的输出转换成KWS系统的输入。整个模型是联合训练的，因此来自KWS系统的语言和其他有用的信息可以反向传播到增强前端，以提高其性能。为了适应小尺寸器件，提出了一种新的卷积递归网络，它需要较少的参数和计算量，并且不会降低性能。此外，通过将输入特征从功率谱图转换为Mel谱图，计算量更小，性能更好。我们的实验结果表明，所提出的方法显着提高KWS系统的噪声鲁棒性。
2019-06-20 cs.LG cs.MM cs.SD
Attention-Free Keyword Spotting
Islamic University of Technology（伊斯兰理工大学）
到目前为止，基于注意力的模型已经在关键字识别问题领域取得了巨大的成功。然而，鉴于深度学习的最新进展，问题出现了，对于识别语音关键词，自我注意力是否真的不可替代。因此，我们探索使用门MLP-以前被证明是替代Transformers的视觉任务-的关键字定位任务。我们提供了一系列高效的基于MLP的关键字识别模型，参数少于50万。我们表明，我们的方法在Google Speech Commands V2-12和V2-35基准测试中实现了具有竞争力的性能，参数比基于自我注意力的方法少得多。
2022-04-10 cs.LG cs.SD eess.AS
Does Single-channel Speech Enhancement Improve Keyword Spotting Accuracy? A Case Study
Apple（苹果公司）
本文以 Google Speech Command 数据集为案例，系统研究单通道语音增强对关键词识别的影响，发现后端用干净语音训练时 SE 可提升噪声下的 KWS 准确率，但后端用噪声语音训练时难以进一步提升。
2024-02-21 cs.SD eess.AS
Exploring Filterbank Learning for Keyword Spotting
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
尽管手工制作的语音功能多年来表现出色，但对于任何特定的语音应用程序来说，它们并不一定是最佳的。因此，或多或少的成功，最佳滤波器组学习已经研究了不同的语音处理任务。在本文中，我们通过探索过滤器组学习关键字定位（KWS）来填补空白。审查了两种方法：功率谱域中的滤波器组矩阵学习和心理声学激励的伽马啁啾滤波器组的参数学习。滤波器组参数与基于现代深度残差神经网络的KWS后端联合优化。我们的实验结果表明，在一般情况下，有没有统计学上的显着差异，在KWS的准确性，使用一个学习的滤波器组和手工制作的语音功能。因此，虽然我们得出结论，后者仍然是一个明智的选择时，使用现代的KWS后端，我们还假设，这可能是一个症状的信息冗余，这开辟了新的研究可能性，在该领域的小足迹KWS。
2020-05-30 cs.LG cs.SD eess.AS
Assessing the Impact of Anisotropy in Neural Representations of Speech: A Case Study on Keyword Spotting
CNRS（法国国家科学研究中心）
本研究针对计算文献语言学的关键词识别任务，探究预训练语音表征的各向异性对下游任务的影响，通过动态时间规整验证wav2vec2即便存在各向异性仍可有效无转录识词，证明了预训练语音表征的鲁棒性与预训练的价值。
2025-06-06 cs.AI cs.CL cs.SD
On-Device Constrained Self-Supervised Speech Representation Learning for Keyword Spotting via Knowledge Distillation
University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）；Zoom Video Communications, Inc.（祖姆视频通信公司）
本文提出基于知识蒸馏的设备端自监督语音表示学习架构，通过师生框架和双视图互相关蒸馏，在资源受限条件下实现高效关键词识别。
2023-07-06 cs.CL cs.SD eess.AS
Speech Augmentation Based Unsupervised Learning for Keyword Spotting
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文研究了一种基于语音增强的无监督学习关键词识别方法。KWS是一个有用的语音应用程序，但也严重依赖于标记数据。我们设计了一个CNN-Attention架构来执行KWS任务。CNN层专注于局部声学特征，而注意力层对长时间依赖性进行建模。为了提高KWS模型的鲁棒性，我们还提出了一种无监督学习方法。无监督损失是基于原始和增强语音特征之间的相似性，以及音频重建信息。在无监督学习中，研究了两种语音增强方法：速度增强和强度增强。在Google Speech Commands V2数据集上的实验表明，我们的CNN-Attention模型具有竞争力的结果。此外，基于增强的无监督学习可以进一步提高KWS任务的分类精度。在我们的实验中，基于增强的无监督学习，我们的KWS模型实现了更好的性能比其他无监督的方法，如CPC，APC，MPC。
2022-05-28 cs.CL cs.SD eess.AS
Adversarial training of Keyword Spotting to Minimize TTS Data Overfitting
Google LLC（谷歌公司）
本文提出对抗训练方法，用于关键词识别以减少TTS数据过拟合，实验显示在真实语音上的准确性可提升12%甚至8%。
2024-08-20 cs.LG cs.SD eess.AS
Contrastive Learning With Audio Discrimination For Customizable Keyword Spotting In Continuous Speech
Shanghai Jiao Tong University（上海交通大学）；AISpeech Ltd（思必驰科技有限公司）
针对连续语音关键词识别中协同发音和流式分词易导致误报的问题，提出CLAD方法，通过滑动窗口级InfoNCE损失同时学习音频-文本匹配与音频-音频判别，在LibriSpeech上显著优于无音频判别的对比学习及两阶段方法。
2024-01-12 cs.SD eess.AS
Contrastive Speech Mixup for Low-resource Keyword Spotting
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
针对低资源场景下关键词识别模型适配小样本困难的问题，提出引入辅助对比损失的CosMix算法，在裁剪后的Google Speech Command数据集上实现多模型性能提升。
2023-05-02 cs.SD eess.AS
Boosting keyword spotting through on-device learnable user speech characteristics
Integrated Systems Laboratory (IIS), ETH Zurich（苏黎世联邦理工学院集成系统实验室）；Zurich Research Center, Huawei Technologies（华为技术有限公司苏黎世研究中心）；DEI, University of Bologna（博洛尼亚大学电子、计算机与工程系）
针对TinyML场景下关键词识别适配未见用户难、端侧学习资源不足的问题，提出含预训练骨干与用户感知嵌入的轻量端侧学习架构，可低成本适配用户语音，显著降低错误率，适配少样本场景且满足微控制器资源约束。
2024-03-12 cs.LG cs.SD eess.AS
Optimize what matters: Training DNN-HMM Keyword Spotting Model Using End Metric
Apple（苹果公司）
基于深度神经网络-隐马尔可夫模型（DNN-HMM）的方法已经成功地用于检测唤醒词以触发设备的许多始终在线的关键词发现算法。DNN预测给定语音帧的状态概率，而HMM解码器组合多个语音帧的DNN预测以计算关键字检测分数。在现有方法中，DNN是独立于HMM参数进行训练的，以最小化预测状态概率和地面真实状态概率之间的交叉熵损失。DNN训练损失（交叉熵）和结束度量（检测分数）之间的不匹配是关键字定位任务的次优性能的主要来源。我们通过一种新的端到端训练策略来解决这种损失度量不匹配的问题，该策略通过优化检测分数来学习DNN参数。为此，我们使HMM解码器（动态规划）可微，并通过它反向传播，以最大限度地提高关键字的分数，并最小化非关键字语音段的分数。我们的方法不需要在模型架构或推理框架的任何变化，因此，没有运行时内存或计算需求的开销。此外，我们在相同的错误触发体验下显着降低了错误拒绝率（FRR）（超过独立DNN训练的70%）。
2021-02-26 cs.LG cs.SD eess.AS
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab（Arm机器学习研究实验室）；Lund University（隆德大学）
Transformer架构在许多领域都取得了成功，包括自然语言处理、计算机视觉和语音识别。在关键字识别中，自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法，并引入了关键字Transformer（KWT），这是一种完全自我注意的架构，在没有任何预训练或额外数据的情况下，它在多个任务中的性能超过了最先进的水平。令人惊讶的是，这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品，在Google Speech Commands数据集上创造了两个新的基准记录，分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD
Keyword spotting -- Detecting commands in speech using deep learning
Center for Data Science（数据科学中心）；New York University（纽约大学）
本文研究语音关键词唤醒，通过MFCC特征工程比较HMM、CNN及带注意力的RNN等模型，发现BiLSTM加Attention的RNN效果最佳，准确率达93.9%。
2023-12-09 cs.AI cs.CL cs.HC
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们探讨了连续无声语音识别使用脑电图（EEG）信号。我们实现了一个连接主义的时间分类（CTC）的自动语音识别（ASR）模型，以翻译并行记录的EEG信号，而受试者正在阅读英语句子在他们的脑海中，没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果，有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
Language-Universal Speech Attributes Modeling for Zero-Shot Multilingual Spoken Keyword Recognition
Georgia Institute of Technology（佐治亚理工学院）；Università degli Studi di Palermo（巴勒莫大学）；Norwegian University of Science and Technology（挪威科技大学）
提出基于Wav2Vec2.0和通用语音属性的语言通用端到端SKR方法，结合领域对抗训练，在已见和零样本未见语言中均显著降低词错误率，优于传统字符与音素方法。
2024-06-04 cs.CL cs.SD eess.AS
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了端到端的连续语音识别（CSR）使用脑电图（EEG）信号，没有语音信号作为输入。实现了基于注意模型的自动语音识别（ASR）和基于连接主义时间分类（CTC）的ASR系统，用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
LLM-Synth4KWS: Scalable Automatic Generation and Synthesis of Confusable Data for Custom Keyword Spotting
Google DeepMind（谷歌DeepMind）
LLM-Synth4KWS通过生成混淆数据提升定制关键词识别的准确率和鲁棒性。
2025-05-29 cs.SD eess.AS
Keyword Mamba: Spoken Keyword Spotting with State Space Models
School of Computer Science and Communication Engineering, Jiangsu University（江苏大学计算机科学与通信工程学院）；Jiangsu Engineering Research Center of Big Data Ubiquitous Perception and Intelligent Agricultural Applications（江苏大数据普适感知与智能农业应用工程研究中心）；Provincial Key Laboratory of Computational Intelligence and New Technologies in Low-Altitude Digital Agriculture（省级计算智能与低空数字农业新技术重点实验室）
本文提出Keyword Mamba架构，首次将状态空间模型Mamba应用于语音关键词检测任务，通过沿时间轴应用并替代Transformer自注意力，在Google Speech Commands数据集上以更少参数和更低计算成本实现了高准确率。
2025-08-10 cs.SD eess.AS
Robust Dual-Modal Speech Keyword Spotting for XR Headsets
State Key Laboratory of Virtual Reality Technology and Systems, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院虚拟现实技术与系统国家重点实验室）
针对XR头显传统语音关键词识别的噪声干扰、静音场景不适用等问题，提出融合语音与唇部运动的双模态识别系统，通过两种融合策略实现更优精度与无声识别能力，并完成实时演示验证。
2024-01-26 cs.HC cs.MM cs.SD
Few-Shot Keyword Spotting from Mixed Speech
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文研究少样本混合语音关键词识别，验证 Mix-Training 在预训练或微调阶段的有效性，并结合 HuBert 大规模自监督预训练取得最优表现。
2024-07-05 cs.SD
Speech Recognition With No Speech Or With Noisy Speech Beyond English
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了连续噪声语音识别使用连接主义时间分类（CTC）模型在有限的中文词汇使用脑电（EEG）特征，没有语音信号作为输入，我们进一步展示了单一的CTC模型基于连续噪声语音识别有限的联合英语和汉语词汇使用脑电特征，没有语音信号作为输入。我们使用最近在[1]中引入的各种EEG特征集来展示我们的结果，并且我们在本文中提出了一种新的深度学习架构，该架构可以使用原始EEG信号对有限的联合英语和汉语词汇进行连续语音识别。
2020-02-27 cs.LG cs.SD eess.AS
Improving vision-inspired keyword spotting using dynamic module skipping in streaming conformer encoder
Apple（苹果公司）
本文提出在流式 conformer 编码器中引入可训练二元门控，根据输入音频动态跳过模块，在保持小内存占用的同时提升关键词检测与定位精度，并在非语音输入上可跳过高达 97% 的处理，适用于常开关键词识别。
2023-08-31 cs.CV cs.LG cs.SD
MM-KWS: Multi-modal Prompts for Multilingual User-defined Keyword Spotting
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
提出融合文本与语音多模态注册的 MM-KWS，通过多语言预训练特征和困难样本增强提升跨语言自定义关键词检出性能。
2024-06-11 cs.CL cs.SD eess.AS
Contrastive Augmentation: An Unsupervised Learning Approach for Keyword Spotting in Speech Technology
Trine University（特莱恩大学）；Boston University（波士顿大学）；Georgia Institute of Technology（佐治亚理工学院）；Dalhousie University（达尔豪斯大学）；Texas A&M University（德克萨斯农工大学）
本文提出CAB-KWS方法，将无监督对比学习与语音增强及压缩卷积架构相结合，在有限标注数据下提升关键词识别性能，并在Google Speech Commands V2数据集上验证了其有效性。
2024-08-31 cs.AI cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失，用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
MT-HuBERT: Self-Supervised Mix-Training for Few-Shot Keyword Spotting in Mixed Speech
School of Computer Science and Technology, Xinjiang University, China（新疆大学计算机科学与技术学院）；Center for Speech and Language Technologies, BNRist, Tsinghua University, China（清华大学语音与语言技术中心）；School of Computer Science and Technology, Harbin Institute of Technology, China（哈尔滨工业大学计算机科学与技术学院）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications, China（北京邮电大学人工智能学院）
本文提出自监督预训练框架MT-HuBERT，将混合训练准则引入HuBERT预训练，以自监督方式从混合语音中预测各组成信号的干净声学单元，在混合与干净条件下的少样本关键词识别任务中均优于现有基线。
2025-11-09 cs.SD
Filterbank Learning for Noise-Robust Small-Footprint Keyword Spotting
Aalborg University（奥尔堡大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Oticon A/S（奥迪康公司）
在关键字定位（KWS）的上下文中，用可学习的特征替换手工制作的语音特征并没有产生优越的KWS性能。在这项研究中，我们证明了滤波器组学习优于手工制作的语音功能KWS时，滤波器组通道的数量严重减少。减少通道数量可能会导致KWS性能下降，但也会大幅降低能耗，这对于在低资源设备上部署常见的始终在线KWS至关重要。在Google Speech Commands Dataset的噪声版本上的实验结果表明，滤波器组学习适应噪声特性，对噪声具有更高的鲁棒性，特别是在集成dropout时。因此，从通常使用的40通道log-Mel特征切换到8通道学习特征导致仅3.5%的相对KWS准确度损失，同时实现6.3倍的能耗降低。
2023-02-23 cs.HC cs.LG cs.SD
Bifocal Neural ASR: Exploiting Keyword Spotting for Inference Optimization
我们提出了Bifocal RNN-T，这是一种新的递归神经网络转换器（RNN-T）架构变体，旨在改善语音识别任务的推理时间延迟。该架构为其运行时计算路径启用动态枢轴，即利用关键字定位来选择针对给定音频帧执行网络的哪个组件。为了实现这一点，我们利用了一个称为Bifocal LSTM（BFLSTM）的递归单元，我们将在本文中详细介绍。该架构与其他优化策略（如量化、稀疏化和应用时间减少层）兼容，使其特别适用于部署的实时语音识别设置。我们提出的架构和报告语音助理语音识别任务的比较实验结果。具体来说，我们提出的Bifocal RNN-T可以在匹配单词错误率的情况下将推理成本提高29.1%，而内存大小只增加了一点点。
2021-08-03 cs.SD eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Efficient keyword spotting using time delay neural networks
Fluent.ai Inc.（Fluent.ai公司）
本文介绍了一种新的方法，使用两阶段的时间延迟神经网络的实时关键字定位。该模型使用迁移学习进行训练：使用来自大型语音语料库的电话目标进行初始训练，然后使用来自较小数据集的关键字目标进行训练。该系统的准确性进行了评估两个单独的任务。第一个是免费提供的Google Speech Commands数据集。第二个是专门为关键字定位开发的内部任务。结果表明，与以前已知的技术相比，在清洁和嘈杂的环境中的错误接受和错误拒绝率显着改善。此外，我们研究了各种技术，以减少计算方面的乘法每秒的音频。与最近发表的工作相比，所提出的系统提供了高达89%的计算复杂性节省。
2018-08-28 cs.SD eess.AS
Enhancing Few-shot Keyword Spotting Performance through Pre-Trained Self-supervised Speech Models
Department of Electrical Eng., Bogazici University（电气工程系，博雅大学）；Analog Devices（安森美半导体）
提出利用预训练自监督模型（Wav2Vec 2.0）进行特征提取与知识蒸馏，结合注意力降维和轻量级ResNet15学生模型，显著提升少样本关键词识别准确率，在GSC数据集上10样本分类准确率从33.4%提升至74.1%。
2025-10-08 cs.CL cs.SD eess.AS
Keywords Extraction and Sentiment Analysis using Automatic Speech Recognition
Punjab Engineering College（旁遮普工程学院）
自动语音识别（ASR）是计算语言学的一个跨学科分支，它开发了能够通过计算机识别口语并将其翻译成文本的方法和技术。它融合了语言学，计算机科学和电气工程领域的知识和研究。情感分析是文本的上下文挖掘，它识别和提取源材料中的主观信息，并帮助企业了解其品牌，产品或服务的社会情感，同时监控在线对话。根据语音结构，语音识别中使用三种模型进行匹配：声学模型、语音词典和语言模型。任何语音识别程序都是用两个因素来评估的：准确性（将口语转换为数字数据的错误百分比）和速度（程序能跟上人类说话者的程度）。为了将语音转换为文本（STT），我们将研究以下开源工具包：CMU Sphinx和Kaldi。该工具包使用Mel频率倒谱系数（MFCC）和I向量进行特征提取。CMU Sphinx已与预训练的隐马尔可夫模型（HMM）和高斯混合模型（GMM）一起使用，而Kaldi与预训练的神经网络（NNET）一起使用作为声学模型。n-gram语言模型包含音素或pdf-id，用于以网格的形式生成最可能的假设（转录）。语音数据集以.raw或.wav文件的形式存储，并转录为.txt文件。然后，系统尝试识别文本中的观点，并提取以下属性：极性（如果说话者表达了积极或消极的观点）和关键词（正在谈论的事情）。
2020-04-07 cs.SD eess.AS eess.SP
Deep Spoken Keyword Spotting: An Overview
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
口语关键词识别（KWS）处理音频流中关键词的识别，由于几年前深度学习引入的范式转变，它已成为一种快速发展的技术。这使得深度KWS能够快速嵌入到无数具有不同用途（例如激活语音助手）的小型电子设备中。前景表明，在社会使用这一技术方面将持续增长。因此，深度KWS已经成为语音科学家的热门研究课题，他们不断地寻找KWS性能的改进和计算复杂性的降低。这种情况下，本文的动机，我们进行了文献综述深入口语KWS，以帮助从业者和研究人员谁是有兴趣在这项技术。具体而言，本概述具有全面性，涵盖了对深度KWS系统（包括语音特征，声学建模和后验处理）的全面分析，鲁棒性方法，应用程序，数据集，评估指标，深度KWS系统和视听KWS的性能。在本文中进行的分析，使我们能够确定一些方向，为今后的研究，包括方向采用自动语音识别的研究和方向，是独特的口语KWS的问题。
2021-11-20 cs.HC cs.LG cs.SD
Keyword Spotting for Hearing Assistive Devices Robust to External Speakers
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
关键词识别（KWS）正在经历一个上升，由于小型电子设备的普及，允许通过语音与他们互动。通常，KWS系统是与说话者无关的，这意味着任何人-用户或非用户-都可能触发它们。对于像听力辅助设备的KWS这样的应用，这是不可接受的，因为必须只允许用户处理它们。在本文中，我们提出了KWS的听力辅助设备，是强大的外部扬声器。小型KWS的最先进的深度剩余网络被视为构建的基础。通过遵循多任务学习方案，该系统被扩展到联合执行KWS和用户的自己的语音/外部扬声器检测与参数的数量可以忽略不计的增加。对于实验，我们从Google Speech Commands Dataset生成一个语音语料库，将助听器作为捕获设备。我们的研究结果表明，这种多任务深度残差网络能够实现KWS精度相对提高约32%，相对于不处理外部扬声器的系统。
2019-06-26 cs.HC cs.LG cs.SD
Federated Learning for Keyword Spotting
Snips（Snips公司）
我们提出了一种基于联邦学习的实用方法，以解决连续运行的嵌入式基于语音的模型（如唤醒词检测器）的域外问题。我们进行了广泛的实证研究的联邦平均算法的“嘿Snips”唤醒词的基础上众包的数据集，模仿联邦唤醒词用户。我们的经验表明，使用自适应平均策略的灵感来自亚当的标准加权模型平均大大减少了通信轮数，以达到我们的目标性能。每个用户的相关上行通信成本估计为8 MB，这在智能家居语音助理的背景下是合理的。此外，用于这些实验的数据集正在开源，旨在促进联邦学习应用于语音数据的进一步透明研究。
2019-02-18 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Massive Open-Vocabulary Keyword Spotting
Priberam Labs（Priberam实验室）；Instituto Superior Técnico（理工学院）；Instituto de Telecomunicações（电信研究所）
提出一种内存占用更小的开放词汇关键词识别系统，无需微调即可处理大规模数据库，在未见语言中达到与未压缩方案相当的实体召回率。
2026-06-11 cs.CL cs.LG cs.SD
WCTC-Biasing: Retraining-free Contextual Biasing ASR with Wildcard CTC-based Keyword Spotting and Inter-layer Biasing
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER Cloud公司）
本文提出WCTC-Biasing方法，通过通配符CTC在中间层进行关键词检测并对后续层施加偏置，在不重训练的情况下提升CTC模型对稀有词的识别准确率，日语实验中未知词F1分数提升29%。
2025-06-02 cs.CL cs.SD eess.AS
ED-sKWS: Early-Decision Spiking Neural Networks for Rapid,and Energy-Efficient Keyword Spotting
National University of Singapore（新加坡国立大学）；School of Data Science, Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳） 深圳大数据研究院 数据科学学院）
本研究针对边缘计算中KWS的低延迟低能耗需求，提出带早期决策机制的ED-sKWS模型与CT损失，构建SC-100数据集验证其在保持精度的同时大幅减少时间步与能耗。
2024-06-14 cs.AI cs.SD eess.AS
Utterance-level Intent Recognition from Keywords
Beckman Institute, UIUC（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；Intel Corporation（英特尔公司）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
本文重点研究了在计算和内存有限的平台上的意图唤醒（WOI）技术。我们的话语级意图分类方法是基于话语中的关键字序列，而不是单个固定的关键短语。将关键词序列转化为四种输入特征，即声学、音素、word2vec和speech2vec，用于个体意图学习，然后进行融合决策。如果检测到唤醒意图，它将在之后触发功耗高的ASR。该系统是在一个新收集的内部数据集在英特尔称为AMIE，这将是本文首次报道的训练和测试。结果表明，我们的新技术与关键短语的表示成功地实现了噪声鲁棒的意图分类在不同的领域，包括车内人机通信。意图唤醒系统将是低功耗和低复杂性的，这使得它适合于在现实生活中基于硬件的应用中始终运行。
2020-09-17 cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University（卡内基梅隆大学）；dot Inc.（42dot公司）
本文提出统一仅解码器模型 VoxtLM，通过融合文本词汇与离散语音 token 及特殊 token，支持识别、合成、文本生成和语音续写，并在多项任务上优于单任务模型，且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS
Towards hate speech detection in low-resource languages: Comparing ASR to acoustic word embeddings on Wolof and Swahili
Stellenbosch University（斯泰伦博斯大学）；Universitat Pompeu Fabra（庞培法布拉大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Cape Town（开普敦大学）；VoxCroft Analytics（VoxCroft分析公司）
本文比较低资源语言仇恨言论关键词识别中的 ASR 与多语言 AWE，发现同域小样本 ASR 更优，而真实广播场景下 AWE 更稳健。
2023-06-01 cs.CL cs.SD eess.AS
BBS-KWS:The Mandarin Keyword Spotting System Won the Video Keyword Wakeup Challenge
Yidun AI Lab, Netease（网易易盾人工智能实验室）
本文介绍了由伊顿NISP团队提交的视频关键词唤醒挑战赛的系统。本文提出了一个汉语关键词识别系统（KWS），并对该系统进行了一些新颖有效的改进，包括大主干（B）模型、关键词偏置（B）机制和音节建模单元（S）的引入。考虑到这一点，我们将整个系统称为BBS-KWS。BBS-KWS系统由端到端自动语音识别（ASR）模块和KWS模块组成。ASR模块将语音特征转换为文本表示，将一个大的骨干网络应用于声学模型，并考虑音节建模单元。此外，在ASR推理阶段，使用关键词偏置机制来提高关键词的召回率。KWS模块应用多个标准来确定关键字的存在或不存在，例如多级匹配、模糊匹配和连接主义时间分类（CTC）前缀分数。为了进一步改进我们的系统，我们对CN-Celeb数据集进行了半监督学习，以更好地泛化。在VKW任务中，BBS-KWS系统在基线上实现了显著的增益，并在两个轨道中获得第一名。
2021-12-03 cs.CL cs.SD eess.AS
Metric Learning for User-defined Keyword Spotting
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Hyundai Motor Company（现代汽车公司）；dot Inc.（42dot公司）
这项工作的目标是检测用户定义的新口语术语。虽然大多数以前的作品解决关键字定位（KWS）作为一个封闭的分类问题，这限制了他们的可转移性看不见的条款。定义自定义关键字的能力在用户体验方面具有优势。在本文中，我们提出了一个基于度量学习的训练策略，用户定义的关键字定位。具体而言，我们做出了以下贡献：（1）利用现有的语音语料库构建了一个大规模的关键词数据集，并提出了一种过滤方法来去除降低模型训练的数据;（2）我们提出了一种基于度量学习的两阶段训练策略，并证明了所提出的方法通过丰富其表示来提高用户定义的关键词识别任务的性能;（3）为便于用户自定义KWS领域的公平比较，提出了统一的评价协议和评价指标。我们提出的系统不需要对用户定义的关键字进行增量训练，并且使用建议的和现有的指标在Google Speech Commands数据集上的表现明显优于以前的作品。
2022-11-01 cs.SD eess.AS
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Understanding effect of speech perception in EEG based speech recognition systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
与语音并行记录的脑电（EEG）信号用于执行孤立和连续语音识别。在说话过程中，一个人也听到他或她自己的语音，这种语音感知也反映在记录的EEG信号中。在本文中，我们研究是否有可能分离出这个语音感知分量从EEG信号，以设计更强大的EEG为基础的语音识别系统。我们进一步证明了预测EEG信号记录在平行与被动听力，反之亦然，非常低的归一化根均方误差（RMSE）从EEG信号记录在平行说话。最后，我们使用与听、说并行记录的EEG信号演示了孤立和连续语音识别，并使用他们的数据集改进了作者在[1]中演示的先前的连接主义时间分类（CTC）模型结果。
2020-05-29 cs.LG cs.SD eess.AS
Effective Integration of KAN for Keyword Spotting
University of Southern California（南加州大学）；Meta AI
本研究探索将Kolmogorov-Arnold Networks（KAN）整合到基于1D CNN的关键词识别（KWS）模型中，发现KAN可在低维空间有效建模高层特征，合理整合能提升KWS性能，为语音处理及其他模态的KAN应用研究提供参考。
2025-01-11 cs.SD eess.AS
