首页/论文/2103.05468

arXiv 2103.054682021-03-07eess.AScs.LGcs.SD

基于CNN的非动态规划口语词检测与定位

CNN-based Spoken Term Detection and Localization without Dynamic Programming

Bar-Ilan University（巴伊兰大学）

Tzeviya Sylvia Fuchs, Yael Segal, Joseph Keshet

发表信息：: ICASSP 2021

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在本文中，我们提出了一个口语术语检测算法，同时预测和定位的词汇表内和词汇表外的音频段内的条款。该算法通过预测语音信号的各个部分的词嵌入并将其与所需术语的词嵌入进行比较来推断术语是否在给定的语音信号内发出。该算法利用一个现有的嵌入空间的任务，并不需要训练一个特定于任务的嵌入空间。在推理时，该算法同时预测目标项的所有可能位置，并且不需要动态规划进行最优搜索。我们评估我们的系统上读语音语料库的几个口语术语检测任务。

英文摘要：

In this paper, we propose a spoken term detection algorithm for simultaneous prediction and localization of in-vocabulary and out-of-vocabulary terms within an audio segment. The proposed algorithm infers whether a term was uttered within a given speech signal or not by predicting the word embeddings of various parts of the speech signal and comparing them to the word embedding of the desired term. The algorithm utilizes an existing embedding space for this task and does not need to train a task-specific embedding space. At inference the algorithm simultaneously predicts all possible locations of the target term and does not need dynamic programming for optimal search. We evaluate our system on several spoken term detection tasks on read speech corpora.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

跨语言示例查询口语术语检测：一种基于Transformer的方法

Cross-Lingual Query-by-Example Spoken Term Detection: A Transformer-Based Approach

Iran Broadcasting University (IRIBU)（伊朗广播大学（IRIBU））

针对QbE-STD面临的标注数据稀缺与语言特异性问题，本文提出结合图像处理技术与Transformer架构的语言无关模型，借助预训练XLSR-53网络与Hough变换实现跨语言口语术语检测，在四种语言上性能较CNN基线提升19-54%，还可准确统计术语重复次数。

2024-10-05cs.LGcs.SDeess.AS

基于神经网络的端到端口语词查询

Neural Network based End-to-End Query by Example Spoken Term Detection

Idiap Research Institute（Idiap研究院）

研究了零资源环境下的示例查询口语词检测问题。现有技术的方法主要依赖于基于动态时间规整（DTW）的模板匹配技术，该技术使用从深度神经网络（DNN）提取的音素后验或瓶颈特征。我们使用单语和多语言瓶颈功能，并表明多语言功能的表现越来越好，更多的训练语言。先前，已经示出了基于DTW的匹配可以被基于CNN的匹配替换，同时使用后验特征。在这里，我们表明，基于CNN的匹配优于基于DTW的匹配使用瓶颈功能以及。在这种情况下，我们的QbE-STD系统的特征提取和模式匹配阶段相互独立地进行优化。我们建议将这两个阶段整合到一个完全基于神经网络的端到端学习框架中，以同时实现这两个阶段的联合优化。在两个具有挑战性的多语言数据集上对所提出的方法进行了评估：Spoken Web Search 2013和Query by Example Search on Speech Task 2014，在每种情况下都有显着的改进。

2019-11-19cs.CLcs.LGcs.SD

用于小内存占用噪声语音关键词检测的频率与通道注意力网络

Frequency & Channel Attention Network for Small Footprint Noisy Spoken Keyword Spotting

Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）

本文提出 FCA-Net，结合基于 mixer unit 的特征交互与二维卷积注意力模块，并采用基于课程的多条件训练策略，在保持小内存占用的同时，显著提升了噪声环境下语音关键词检测系统的鲁棒性。

2024-07-29cs.SDeess.AS

一种基于卷积神经网络的孟加拉语语音识别方法

A Convolutional Neural Network Based Approach to Recognize Bangla Spoken Digits from Speech Signal

Khulna University of Engineering & Technology（库尔纳工程技术大学）

语音识别是一种将人类的语音信号转换成文本或单词或任何形式的计算机或其他机器可以容易地理解的技术。有一些关于孟加拉数字识别系统的研究，其中大多数使用的是小数据集，性别，年龄，方言和其他变量的变化很少。在这项研究中，不同性别、年龄和方言的孟加拉人的录音被用来创建一个大型的孟加拉语数字语音数据集。在这里，每个数字记录了400个有噪声和无噪声的样本，用于创建数据集。梅尔频率倒谱系数（MFCC）已被用于从原始语音数据中提取有意义的特征。然后，利用卷积神经网络（CNN）检测孟加拉数字。所建议的技术在整个数据集中以97.1%的准确率识别“0-9”孟加拉语口语数字。还使用10倍交叉验证评估了模型的效率，其准确度为96.7%。

2021-11-12cs.AIcs.CLcs.LG

利用张量-训练网络混合模型进行口述命令识别

Exploiting Hybrid Models of Tensor-Train Networks for Spoken Command Recognition

Georgia Institute of Technology（佐治亚理工学院）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴布罗-CEU大学）

本工作的目的是设计一个低复杂度的口述命令识别（SCR）系统，考虑不同的权衡模型参数的数量和分类精度。更具体地说，我们利用张量列车（TT）网络的深度混合架构来构建端到端SRC管道。我们的命令识别系统，即CNN+（TT-DNN），由底部的卷积层和顶部的TT层组成，卷积层用于光谱特征提取，TT层用于命令分类。与传统的端到端CNN SCR基线相比，我们提出的CNN+（TT-DNN）模型用TT层取代了完全连接（FC）层，并且它可以在保持CNN模型的基线性能的同时大幅减少模型参数的数量。我们以随机方式或基于经过良好训练的CNN+DNN初始化CNN+（TT-DNN）模型，并在Google语音命令数据集上评估CNN+（TT-DNN）模型。我们的实验结果表明，所提出的CNN+（TT-DNN）模型达到了96.31%的竞争力的准确性与4倍的模型参数比CNN模型。此外，当参数数量增加时，CNN+（TT-DNN）模型可以获得97.2%的准确率。

2022-01-11cs.LGcs.SDeess.AS

Keyword Mamba：基于状态空间模型的语音关键词检测

Keyword Mamba: Spoken Keyword Spotting with State Space Models

School of Computer Science and Communication Engineering, Jiangsu University（江苏大学计算机科学与通信工程学院）；Jiangsu Engineering Research Center of Big Data Ubiquitous Perception and Intelligent Agricultural Applications（江苏大数据普适感知与智能农业应用工程研究中心）；Provincial Key Laboratory of Computational Intelligence and New Technologies in Low-Altitude Digital Agriculture（省级计算智能与低空数字农业新技术重点实验室）

本文提出Keyword Mamba架构，首次将状态空间模型Mamba应用于语音关键词检测任务，通过沿时间轴应用并替代Transformer自注意力，在Google Speech Commands数据集上以更少参数和更低计算成本实现了高准确率。

2025-08-10cs.SDeess.AS

更多相关论文收起更多论文

子带卷积神经网络用于小足迹口语词分类

Sub-band Convolutional Neural Networks for Small-footprint Spoken Term Classification

Alexa Speech, Amazon（亚马逊Alexa语音部门）

本文提出了一种子带卷积神经网络用于口语词分类。卷积神经网络（CNN）已被证明在声学应用中非常有效，如口语术语分类，关键字定位，说话人识别，声学事件检测等。与计算机视觉中的应用不同，2D卷积核的空间不变性不适合声学应用，因为特定2D核的含义沿着输入特征图中的特征轴变化很大。我们提出了一种子带CNN架构，在每个特征子带上应用不同的卷积核，这使得整体计算更有效。实验结果表明，子带CNN带来的计算效率更有利于小足迹模型。与用于公开可用的语音命令数据集上的口语术语分类的基线全带CNN相比，所提出的子带CNN架构在命令分类上减少了39.7%的计算，在数字分类上减少了49.3%，并且保持了准确性。

2019-07-02cs.SDeess.AS

神经方法用于口语内容嵌入

Neural approaches to spoken content embedding

TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田技术研究所）

本文提出基于循环神经网络的判别性声学词嵌入和声学基础词嵌入方法，改进训练效率与性能，扩展至低资源多语言，并应用于语音搜索和识别任务，与自监督模型互补。

2023-08-28cs.CLcs.SDeess.AS

基于匹配潜在编码的音频文本关键词检测

Matching Latent Encoding for Audio-Text based Keyword Spotting

Apple（苹果公司）

针对音频文本关键词检测中多词不同长度嵌入的语义对齐难题，提出含动态序列划分算法的端到端架构，在公开数据集上AUC和EER分别优于SOTA 14.4%和28.9%。

2023-06-08cs.LGcs.SDeess.AS

使用混合CNN-BiGRU模型在噪声环境中实现鲁棒的波斯语数字识别

Robust Persian Digit Recognition in Noisy Environments Using Hybrid CNN-BiGRU Model

Faculty of Electrical and Computer Engineering, Qom University of Technology（库姆理工大学电气与计算机工程学院）；University of Alaska Fairbanks（阿拉斯加大学费尔班克斯分校）

针对噪声环境下孤立波斯语口语数字（尤其语音相似数字）识别准确率低的问题，提出结合残差CNN与BiGRU的混合模型，采用单词单元和MFCC特征，在增强的FARSDIGIT1数据集上实现鲁棒识别，噪声条件下性能显著优于音素单元LSTM及MTDRCC+MLP模型。

2025-02-11cs.CVcs.SDeess.AS

比较监督模型和学习语音表示对选定短语上的无序语音的可懂度进行分类

Comparing Supervised Models And Learned Speech Representations For Classifying Intelligibility Of Disordered Speech On Selected Phrases

Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）

语音障碍的自动分类可以为识别语音障碍的存在和严重程度提供客观的工具。分类方法还可以帮助识别难以识别的语音样本，以教授ASR系统有关受损语音的各种表现。在这里，我们开发并比较了不同的深度学习技术，以对选定短语上的无序语音的可懂度进行分类。我们收集了来自661名具有各种自我报告障碍的说话者的样本，这些说话者说了29个单词或短语，这些单词或短语由语音语言病理学家使用五点Likert量表对其整体可理解性进行了评级。然后，我们评估了使用3种方法开发的分类器：（1）为任务训练的卷积神经网络（CNN），（2）使用无监督目标的CNN的非语义语音表示训练的分类器[1]，以及（3）来自典型语音训练的ASR系统的声学（编码器）嵌入训练的分类器[2]。我们发现，ASR编码器的嵌入大大优于其他两个检测和分类无序语音。进一步的分析表明，ASR嵌入聚类语音的口语短语，而非语义嵌入聚类语音的说话人。此外，较长的短语比单个单词更能说明可理解性缺陷。

2021-07-08cs.LGcs.SDeess.AS

端到端孟加拉语语音识别

End-to-End Bengali Speech Recognition

Staqu Technologies（斯塔克技术公司）

孟加拉语是印度次大陆的一种重要语言。然而，尽管该地区的主要语言有许多最先进的声学模型，但孟加拉语的研究和资源却很少。在这项工作中，我们将基于CTC的CNN-RNN网络（一种基于深度学习的端到端自动语音识别技术）应用于孟加拉语ASR任务。我们还提出并评估了小型7 x3和3x 3卷积核的适用性和有效性，这些卷积核主要用于计算机视觉领域，因为它们的FLOP和参数有效性。我们提出了两个CNN块，2层块A和4层块B，其中第一层由7 × 3内核组成，后续层仅由3 × 3内核组成。使用公开的大型孟加拉语ASR训练数据集，我们对七种不同复杂度和深度的深度神经网络配置在孟加拉语ASR任务上的性能进行了基准测试和评估。我们最好的模型，区块B，WER为13.67，与具有大小为41 x11和21 x11的更大卷积核的可比模型相比，绝对减少了1.39%。

2020-11-11cs.SDeess.AS

顺序端到端意图和插槽标签分类和本地化

Sequential End-to-End Intent and Slot Label Classification and Localization

University of Waterloo（滑铁卢大学）；Huawei Noah's Ark Lab（华为诺亚方舟实验室）

人机交互（HCI）受到来自口语对话系统的延迟响应的显著影响。因此，最近提出了端到端（e2 e）口语语言理解（SLU）解决方案来减少延迟。这样的方法允许直接从语音信号中提取语义信息，从而绕过对来自自动语音识别（ASR）系统的转录的需要。在本文中，我们提出了一个紧凑的e2 e SLU架构的流媒体的情况下，连续处理块的语音信号预测意图和时隙值。我们的模型基于3D卷积神经网络（3D-CNN）和单向长短期记忆（LSTM）。我们比较了两种无干扰损失的性能：连接主义时间分类（CTC）方法及其适应版本，即连接主义时间定位（CTL）。后者不仅执行分类，但也定位的顺序音频事件。在Fluent Speech Command数据集上对所提出的解决方案进行了评估，结果表明我们的模型能够处理输入的语音信号，在单标签分类上，CTC和CTL的准确率分别高达98.97%和98.78%，在双标签预测上，CTC和CTL的准确率分别高达95.69%和95.28%。

2021-06-08cs.CLcs.SDeess.AS

梅尔频率倒谱系数与基于小波的音频信号处理在语音情感检测和心理健康评估中的比较分析

Comparative Analysis of Mel-Frequency Cepstral Coefficients and Wavelet Based Audio Signal Processing for Emotion Detection and Mental Health Assessment in Spoken Speech

Bowie State University（鲍伊州立大学）

本研究比较CNN和LSTM模型在小波特征与MFCCs上的语音情感检测性能，CNN准确率61%优于LSTM的56%，并提出改进建议以助力心理健康评估。

2024-12-12cs.LGcs.SDeess.AS

学前儿童语言发展测验中的非词语音分类

Nonwords Pronunciation Classification in Language Development Tests for Preschool Children

Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）；Intel Labs（英特尔实验室）

这项工作旨在自动评估儿童的语言发展是否与年龄相适应。验证言语和语言测试用于此目的，以测试听觉记忆。在这项工作中，任务是要确定是否口语非词已被正确地说出。我们比较了不同的方法，动机模型特定的语言结构：低级特征（FFT），扬声器嵌入（ECAPA-TDNN），字素动机的嵌入（wav 2 vec 2.0），和语音嵌入的形式senones（ASR声学模型）。每种方法都为类似VGG的5层CNN分类器提供输入。我们还研究了每个非词的适应。使用录音从不同的幼儿园的口头nonwords建议的系统进行评估。ECAPA-TDNN和低级FFT特征没有显式地对语音信息进行建模; wav2vec2.0是在字素标签上训练的，我们的ASR声学模型特征包含（子）语音信息。我们发现语音模型的粒度越大，识别率就越高。在具有VTLN的ASR声学模型特征上训练的最佳系统实现了89.4%的准确度和0.923的ROC（接收器操作特征）曲线下面积（AUC）。这相当于与FFT基线相比，准确度提高了20.2%，AUC提高了0.309。

2022-06-17cs.CLcs.SDeess.AS

面向嘈杂电话环境的语码切换乌尔都语ASR：采用混合HMM与CNN-TDNN的数据中心方法

Code-Switched Urdu ASR for Noisy Telephonic Environment using Data Centric Approach with Hybrid HMM and CNN-TDNN

Pakistan Navy Engineering College（巴基斯坦海军工程学院）；National University of Science and Technology（国立科技大学）；Bahria University Karachi Campus（巴哈里亚大学卡拉奇校区）

针对嘈杂呼叫中心场景下乌尔都语语码切换ASR资源受限的问题，本文提出混合HMM与CNN-TDNN的高效框架，结合数据标注优化，在干净/嘈杂环境的孤立词与连续语音中均实现5.2%的WER。

2023-07-24cs.CLcs.SDeess.AS

用于构音障碍语音识别的领域对抗神经网络

Domain Adversarial Neural Networks for Dysarthric Speech Recognition

Imperial College London（帝国理工学院）；University of Southampton（南安普顿大学）

语音识别系统在过去的几年中已经有了显著的改进，然而，对于口音或受损语音的情况，它们的性能显著下降。这项工作探讨域对抗神经网络（DANN）的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应（SA）模型以及说话者相关（SD）和多任务学习模型（MTL）进行比较。实验结果表明，DANN的绝对识别率为74.91%，比基线识别率提高了12.18%。此外，DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到，当标记的构音障碍的语音数据是可用的DANN和MTL执行类似，但当它们不是DANN执行优于MTL。

2020-10-07cs.CLcs.LGcs.SD

注意力是否总是需要？语音语言识别的案例研究

Is Attention always needed? A Case Study on Language Identification from Speech

Department of Computer Science and Engineering, Jadavpur University（计算机科学与工程系，贾达沃大学）；Wipro AI Lab, Wipro India Limited（惠普AI实验室，惠普印度有限公司）；School of Languages and Linguistics, Jadavpur University（语言学系，贾达沃大学）

本研究提出了一种基于CRNN的语音语言识别方法，通过比较CNN和带注意力机制的CRNN，实现了对多种印度语言的高准确率识别，并在噪声环境下表现出良好的鲁棒性。

2023-10-25cs.CLcs.LGcs.SD

使用预训练视觉特征提取器和约束CTC解码的线索语音识别的多流神经结构

Multistream neural architectures for cued-speech recognition using a pre-trained visual feature extractor and constrained CTC decoding

Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）

本文提出了一种简单有效的自动识别提示语音（CS）的方法，提示语音是一种视觉交流工具，可以帮助听力障碍者理解口语的帮助下，手势，可以唯一地识别出的音素，补充唇读。所提出的方法是基于一个预先训练的手和嘴唇跟踪器用于视觉特征提取和语音解码器的基础上训练的连接主义的时间分类损失的多流递归神经网络，并结合发音词典。所提出的系统进行评估的更新版本的法国CS数据集CSF 18的语音转录已被手动检查和纠正。在语音水平的解码精度为70.88%，所提出的系统优于我们以前的CNN-HMM解码器，并与更复杂的基线竞争。

2022-04-11cs.CLcs.SDeess.AS

Dynamic HumTrans：使用 CNN 和动态规划进行哼唱转录

Dynamic HumTrans: Humming Transcription Using CNNs and Dynamic Programming

Mila-Québec AI Institute（米拉-魁北克人工智能研究所）；Laval University（拉瓦尔大学）；Concordia University（康考迪亚大学）

本文提出 Dynamic HumTrans，融合 CNN 与动态规划后处理完成哼唱转录，并修正 HumTrans 数据集标注，实验达到 SOTA，代码与数据已开源。

2024-10-07cs.AIcs.LGcs.SD

面向资源受限机器人的混合ASR：HMM与深度学习融合

Hybrid ASR for Resource-Constrained Robots: HMM - Deep Learning Fusion

PES University（PES大学）

本文提出一种面向资源受限机器人的混合ASR系统，通过套接字编程将HMM处理留在机器人端、深度学习交由PC端，实现计算任务分布式协同，显著提升了实时语音识别精度与人机交互能力。

2023-09-11cs.AIcs.SDeess.AS

利用基于黎曼梯度下降的低秩张量训练深度神经网络，并以语音处理为例

Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing

Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴勃罗校区）

本文的工作重点是通过考虑模型复杂度和实际性能之间的权衡来设计低复杂度的混合张量网络。首先，我们利用低阶张量训练深度神经网络（TT-DNN）来构建端到端的深度学习流水线，即LR-TT-DNN。其次，将LR-TT-DNN与卷积神经网络（CNN）相结合，建立了一个混合模型，表示为CNN+（LR-TT-DNN），以提高性能。我们利用黎曼梯度下降来确定与小TT秩相关联的TT-DNN，而不是随机地为TT-DNN分配大TT秩。此外，CNN+（LR-TT-DNN）由底部的用于特征提取的卷积层和顶部的几个TT层组成，以解决回归和分类问题。我们分别评估了LR-TT-DNN和CNN+（LR-TT-DNN）模型对语音增强和口述命令识别任务的影响。我们的经验证据表明，具有较少模型参数的LR-TT-DNN和CNN+（LR-TT-DNN）模型可以优于TT-DNN和CNN+（TT-DNN）模型。

2022-03-11cs.AIcs.LGcs.SD

BanglaNum——一个用于从语音识别孟加拉数字的公开数据集

BanglaNum -- A Public Dataset for Bengali Digit Recognition from Speech

针对孟加拉语语音识别研究匮乏的问题，本研究构建了用于识别孟加拉数字的公开数据集BanglaNum，并验证了SqueezeNet等参数高效的CNN模型在频谱图上可达98.23%的测试准确率。

2024-03-20eess.ASeess.SP