Exploring the limits of decoder-only models trained on public speech recognition corpora
IBM Research（IBM研究院）
本研究探究仅用公开英文ASR语料训练纯解码器模型的性能上限，提出的DOTA模型在多数基准上优于开源Whisper复刻版，部分测试集超过Whisper large-v3，并开源相关资源。
2024-01-31 cs.CL cs.SD eess.AS
SAGE: Spliced-Audio Generated Data for Enhancing Foundational Models in Low-Resource Arabic-English Code-Switched Speech Recognition
Emotech Ltd.（埃莫科技有限公司）
本文提出SAGE音频拼接数据生成方法，结合经验回放与少样本微调，有效提升了低资源阿拉伯语-英语语码转换语音识别性能，以更小模型规模超越了大规模多语言模型。
2025-06-27 cs.CL cs.SD eess.AS
Optimization of a Real-Time Wavelet-Based Algorithm for Improving Speech Intelligibility
Hong Kong University of Science and Technology（香港科技大学）
一个基于小波的算法，以提高语音清晰度的优化与完整的数据集和结果的报告。通过多级离散小波变换将离散时间语音信号分成频率子带。在子带信号被重新组合以形成语音的修改版本之前，将各种增益应用于子带信号。在保持整体信号能量不变的情况下调整子带增益，增强各种背景干扰和模拟听力损失条件下的语音清晰度，并使用Google Speech-to-Text转录进行客观定量的评估。一组通用的子带增益可以在高达4.8 dB的信噪比范围内工作。对于无噪声语音，整体清晰度得到提高，通过将频谱能量重新分配到中频子带，Google转录准确度平均提高了16.9个百分点，最高提高了86.7个百分点。对于已经被噪声破坏的语音，提高清晰度是一项挑战，但仍然可以实现，平均转录准确率提高9.5个百分点，最高可达71.4个百分点。该算法可实现实时的【形】语音处理，并且比以前的算法简单。潜在的应用包括语音增强、助听器、机器听力和更好地理解语音清晰度。
2022-07-21 cs.CL cs.SD eess.AS
A Comparison of Techniques for Language Model Integration in Encoder-Decoder Speech Recognition
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Google Inc.（谷歌公司）
基于注意力的递归神经编码器-解码器模型为自动语音识别问题提供了一个优雅的解决方案。这种方法将声学模型，发音模型和语言模型折叠到单个网络中，并且只需要一个并行的语音和文本语料库进行训练。然而，与结合单独的声学模型和语言模型的传统方法不同，如何使用额外的（未配对的）文本并不清楚。虽然以前已经有关于解决这一问题的方法的工作，但仍然缺乏对各种方法的彻底比较。在本文中，我们比较了一套过去的方法和我们自己提出的一些方法，使用不成对的文本数据，以改善编码器-解码器模型。为了进行评估，我们使用了中等规模的Switchboard数据集和大规模的Google语音搜索和听写数据集。我们的研究结果证实了在一系列方法和数据集上使用未配对文本的好处。令人惊讶的是，对于第一遍解码，相当简单的浅融合方法在数据集上表现最好。然而，对于Google数据集，我们发现冷融合具有较低的Oracle错误率，并且在Google语音搜索数据集上进行二次重新评分后优于其他方法。
2018-11-06 cs.AI cs.CL cs.SD
VietASR: Achieving Industry-level Vietnamese ASR with 50-hour labeled data and Large-Scale Speech Pretraining
School of Computer Science, MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University, shanghai innovation instituteChina Tencent AI LabUSA（计算机科学学院、人工智能国家重点实验室、上海交通大学、上海创新研究院中国腾讯AI实验室美国）
提出VietASR训练流程，利用70000小时无标签数据预训练和50小时标注数据微调，构建出优于Whisper Large-v3及商业系统的轻量级越南语ASR模型。
2025-05-29 cs.AI cs.CL cs.SD
Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study
Google Research（谷歌研究院）
本文提出融合USM与PaLM 2的全非自回归多语言ASR系统，利用并行解码降低延迟，并通过多数据集实验和大规模消融验证其性能与关键影响因素。
2024-01-23 cs.CL cs.SD eess.AS
Speech Augmentation Based Unsupervised Learning for Keyword Spotting
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文研究了一种基于语音增强的无监督学习关键词识别方法。KWS是一个有用的语音应用程序，但也严重依赖于标记数据。我们设计了一个CNN-Attention架构来执行KWS任务。CNN层专注于局部声学特征，而注意力层对长时间依赖性进行建模。为了提高KWS模型的鲁棒性，我们还提出了一种无监督学习方法。无监督损失是基于原始和增强语音特征之间的相似性，以及音频重建信息。在无监督学习中，研究了两种语音增强方法：速度增强和强度增强。在Google Speech Commands V2数据集上的实验表明，我们的CNN-Attention模型具有竞争力的结果。此外，基于增强的无监督学习可以进一步提高KWS任务的分类精度。在我们的实验中，基于增强的无监督学习，我们的KWS模型实现了更好的性能比其他无监督的方法，如CPC，APC，MPC。
2022-05-28 cs.CL cs.SD eess.AS
Fixing Errors of the Google Voice Recognizer through Phonetic Distance Metrics
SoldAI Research（索尔德艾研究机构）；Facultad de Matemáticas, Universidad Autónoma de Yucatán（尤卡坦自治大学数学学院）
用于西班牙语的语音识别系统，例如Google的系统，当用于特定领域的应用时，非常频繁地产生错误。这些错误大多发生在识别对识别器的语言模型来说是新的单词或对域来说是特别的单词时。本文提出了一种利用音素Levenshtein距离来减少语音识别器错误的算法。初步结果表明，它是可能的，以纠正识别器的错误显着使用此度量标准，并使用字典的特定短语从域的应用程序。尽管被设计为特定的领域，这里提出的算法是一般的应用。可以为每个应用明确定义必须识别的短语，而不必修改算法。这足以向算法指出它必须处理的句子集。该算法的复杂度为$O(tn)$，其中$t$是要更正的文本中的单词数量，而$n$是特定于该领域的短语数量。
2021-02-18 cs.CL eess.AS
Bilingual Speech Recognition by Estimating Speaker Geometry from Video Data
The University of New Mexico（新墨西哥大学）
语音识别在以显著的串扰和背景噪声为特征的学生学习环境中非常具有挑战性。为了解决这个问题，我们提出了一个双语语音识别系统，使用交互式视频分析系统来估计逼真的音频模拟的3D扬声器的几何形状。我们演示了使用我们的系统生成一个复杂的音频数据集，其中包含显着的串扰和背景噪声，近似于现实生活中的教室录音。然后，我们测试我们提出的系统与现实生活中的录音。就扬声器与麦克风的距离而言，我们的交互式视频分析系统获得了更好的平均出错率10.83%，而基线方法为33.12%。我们提出的系统在同一数据集上的准确率为27.92%，比Google Speech-to-text高1.5%。就9个重要关键词而言，我们的方法的平均灵敏度为38%，而Google语音转文本的灵敏度为24%，而这两种方法都保持了90%和92%的高平均特异性。平均而言，我们提出的方法的灵敏度从24%提高到38%。另一方面，两种方法的特异性仍然很高（90%至92%）。
2021-12-26 cs.SD eess.AS eess.IV
Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
NVIDIA（英伟达）
自动语音识别模型经常被修改以提高它们在新领域中的准确性。模型适应新域的潜在缺点是灾难性遗忘，其中原始域上的字出错率显著降低。本文讨论的情况下，我们要同时适应自动语音识别模型到一个新的域，并限制在原始域的准确性下降，而无需访问原始的训练数据集。我们提出了几种技术，例如有限的训练策略和用于传感器编码器，预测和连接器网络的正则化适配器模块。我们将这些方法应用于谷歌语音命令和英国和爱尔兰英语方言语音数据集，并在新的目标域上获得了强有力的结果，同时限制了原始域的退化。
2022-10-06 cs.CL cs.LG cs.SD
Long-Form Speech Generation with Spoken Language Models
Google DeepMind（谷歌DeepMind）；Language Lab, KAIST（语言实验室，韩国科学技术院）
针对无文本口语模型难以生成超过几十秒语音的问题，提出SpeechSSM模型家族，利用线性时间序列建模在单次会话中生成多分钟连贯语音，并引入LibriSpeech-Long基准及新评估指标。
2025-07-10 cs.CL cs.SD eess.AS
Black-box Adaptation of ASR for Accented Speech
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们介绍了一个黑盒子，基于云的ASR系统，从目标口音语音适应的问题。虽然领先的在线ASR服务在主流口音上获得了令人印象深刻的性能，但它们在子人群上的表现很差-我们观察到Google的ASR API在印度口音上实现的单词错误率（WER）几乎是美国口音WER的两倍。现有的适应方法要么需要访问模型参数，要么在输出成绩单上覆盖纠错模块。我们强调需要将输出与原始语音相关联以修复口音错误。因此，我们提出了一种新的耦合的开源口音调整的本地模型与黑盒服务，从服务的输出指导帧级推理的本地模型。我们的细粒度合并算法是更好地在固定重音错误比现有的单词级组合策略。印度和澳大利亚的口音与三个领先的ASR模型作为服务的实验表明，我们实现了高达28%的相对减少WER在本地和服务模式。
2020-06-24 cs.CL cs.SD eess.AS
Deliberation Model Based Two-Pass End-to-End Speech Recognition
Google, Inc.（谷歌公司）
端到端（E2E）模型在自动语音识别（ASR）中取得了快速的进展，并且相对于传统模型具有竞争力。为了进一步提高质量，已经提出了一种两遍模型，以使用非流式监听、参与和拼写（LAS）模型来重新核流式假设，同时保持合理的延迟。该模型关注声学以重新评分假设，而不是一类只使用首过文本假设的神经校正模型。在这项工作中，我们建议参加两个声学和首过假设使用审议网络。双向编码器用于从第一遍假设中提取上下文信息。建议的审议模型实现了12%的相对WER减少相比，LAS rescoring在谷歌语音搜索（VS）的任务，专有名词测试集减少23%。相比一个大型的传统模型，我们最好的模型执行21%相对更好的VS。在计算复杂度方面，审议解码器具有比LAS解码器更大的尺寸，因此需要更多的计算在第二遍解码。
2020-03-17 cs.CL cs.SD eess.AS
ASR Under the Stethoscope: Evaluating Biases in Clinical Speech Recognition across Indian Languages
本研究评估了印度多种语言中临床语音识别的偏见，发现不同模型在不同语言和人口群体中的表现差异显著，凸显了开发包容性ASR系统的重要性。
2025-11-30 cs.CL cs.SD eess.AS
Miipher-2: A Universal Speech Restoration Model for Million-Hour Scale Data Restoration
Google DeepMind（谷歌DeepMind）
本文提出 Miipher-2 通用语音修复模型，利用冻结 USM、并行适配器和 WaveFit 声码器，实现多语言、无条件且高效的百万小时训练数据清洗。
2025-07-23 cs.CL cs.SD eess.AS
Convolutional Variational Autoencoders for Spectrogram Compression in Automatic Speech Recognition
NSU（新西伯利亚国立大学）；Zolotaya Korona（金冠公司）
本文提出用卷积变分自编码器将频谱图压缩为低维嵌入，并在 LibriSpeech 上训练、在 GoogleSpeechCommands 上生成特征构建 ASR 系统，与 MFCC 特征模型进行比较。
2024-10-04 cs.CL cs.SD eess.AS
Massive End-to-end Models for Short Search Queries
Google LLC（谷歌有限责任公司）
本文研究用于短语音搜索查询的大规模端到端ASR模型，发现900M的RNN-T优于1.8B的CTC，且对时间缩减更鲁棒，但LM浅层融合可缩小两者WER差距。
2023-09-22 cs.SD eess.AS
Multi-task Voice Activated Framework using Self-supervised Learning
Qualcomm Technologies（高通技术公司）
wav 2 vec 2.0等自监督学习方法在从未标记和未转录的语音数据中学习语音表示方面显示出了有希望的结果，这对于语音识别很有用。由于这些表示是在没有任何特定任务监督的情况下学习的，因此它们也可以用于其他语音激活任务，如说话人验证，关键字定位，情感分类等。在我们的工作中，我们提出了一个通用框架，用于适应不同语音激活任务的预训练wav2vec 2.0模型。我们开发了下游网络架构，该架构在wav2vec 2.0的上下文化语音表示上操作，以适应解决给定任务的表示。最后，我们扩展了我们的框架，以执行多任务学习，通过共同优化网络参数的多个语音激活的任务，使用共享的Transformer骨干。我们的单任务和多任务框架都在说话人验证和关键字定位基准测试中取得了最先进的结果。当在VoxCeleb2和VoxCeleb1上训练时，我们的最佳性能模型在VoxCeleb1测试集上分别达到1.98%和3.15%的EER，在Google Speech Commands v1.0关键字定位数据集上达到98.23%的准确率。
2022-03-19 cs.CL cs.SD eess.AS
End-to-end Anchored Speech Recognition
Amazon（亚马逊）
语音控制的家用设备（如Amazon Echo或Google Home）面临在存在干扰背景语音的情况下执行设备引导的语音的语音识别的问题，即，背景噪声和来自邻近的另一个人或媒体设备的干扰语音需要被忽略。我们提出了两个端到端的模型来解决这个问题，从“锚定段”提取的信息。锚定段是指音频流的唤醒词部分，其包含可用于抑制干扰语音和背景噪声的有价值的说话者信息。第一种方法被称为“多源注意”，其中注意力机制考虑说话者信息和解码器状态。第二种方法直接在编码器输出之上学习帧级掩码。我们还探索了一种多任务学习设置，在该设置中，我们使用面具的地面真相来指导学习者。考虑到在我们的训练数据集中带有干扰语音的音频数据是罕见的，我们还提出了一种从“干净”语音合成“嘈杂”语音的方法，以减轻训练数据和测试数据之间的不匹配。我们提出的方法显示，亚马逊Alexa实时数据的WER相对减少了15%，干扰背景语音，而不会显着降低干净的语音。
2019-02-06 cs.CL cs.LG cs.SD
Evaluation of Automated Speech Recognition Systems for Conversational Speech: A Linguistic Perspective
自动语音识别（ASR）作为语音用户界面和对话代理（例如Alexa、Google Home等语音助理）满足更多非正式和自由形式的输入数据，获得知名度。会话语音是语音识别中最困难的和与环境相关的一类数据。本文从语言学的角度，以法语为例，对法语同音异义词的消歧进行了研究。我们的贡献旨在提供更多的洞察人类语音转录准确性的条件下，重现那些国家的最先进的ASR系统，虽然在一个非常集中的情况。我们调查了一个案例研究，涉及最常见的错误，在法语的自动转录。
2022-12-05 cs.CL
WER-BERT: Automatic WER Estimation with BERT in a Balanced Ordinal Classification Paradigm
Samsung R&D Institute India - Bangalore（三星印度班加罗尔研发研究院）
自动语音识别（ASR）系统使用字出错率（WER）来评估，字出错率（WER）是通过比较ASR系统的地面实况和转录之间的错误数量来计算的。然而，该计算需要手动转录语音信号以获得地面实况。由于转录音频信号是昂贵的过程，因此已经开发了自动WER评估（e-WER）方法，以仅依靠转录和语音信号特征来自动预测语音系统的WER。虽然WER是一个连续变量，但以前的工作表明，将e-WER定位为分类问题比回归更有效。然而，当转换到分类设置时，这些方法遭受严重的类不平衡。在本文中，我们提出了一个新的平衡模式，电子WER的分类设置。在这种模式下，我们还提出了WER-BERT，一个BERT为基础的架构与语音功能的电子WER。此外，我们引入了一个距离损失函数，以解决的顺序性质的e-WER分类。所提出的方法和范例在Librispeech数据集和商业（黑盒）ASR系统（Google Cloud的Speech-to-Text API）上进行了评估。结果和实验表明，WER-BERT建立了一个新的国家的最先进的自动WER估计。
2021-02-13 cs.CL cs.SD eess.AS
SW-ASR: A Context-Aware Hybrid ASR Pipeline for Robust Single Word Speech Recognition
Tetranetics Private Limited（特兰尼克斯私人有限公司）
SW-ASR通过结合上下文感知和轻量验证机制，提升单字语音识别在噪声和压缩信道中的鲁棒性，适用于实时通信场景。
2026-01-28 cs.CL cs.SD eess.AS
A Comparison of Online Automatic Speech Recognition Systems and the Nonverbal Responses to Unintelligible Speech
University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）；University of New South Wales（新南威尔士大学）；Imperial College London（帝国理工学院）
自动语音识别（ASR）系统近年来已经激增到诸如YouTube之类的免费平台现在提供语音识别服务的程度。鉴于ASR系统的广泛选择，我们通过比较两组手动转录和五组自动转录（Google Cloud，IBM Watson，Microsoft Azure，Trint和YouTube）的相对性能，为自动语音识别领域做出贡献，以帮助研究人员选择准确的转录服务。此外，我们确定了非语言行为与难以理解的语音，如高字出错率。我们表明，手动transmittance仍然优于目前的自动transmittance。在自动转录服务中，YouTube提供最准确的转录服务。对于非言语行为的参与，我们提供的证据表明，从听者微笑强度的变化是高（低）时，扬声器是清晰的（难以理解）。这些发现来自学生医生和模拟患者之间的视频会议互动;因此，我们对ASR文献和医疗保健沟通技能教学社区做出了贡献。
2019-04-29 cs.SD eess.AS
Combination of Time-domain, Frequency-domain, and Cepstral-domain Acoustic Features for Speech Commands Classification
University of Yamanashi（山梨大学）；Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences（医学、工学与农学综合研究生院）
在语音相关的分类任务中，经常使用诸如对数Mel滤波器组系数（FBANK）的频域声学特征和诸如Mel频率倒谱系数（MFCC）的倒谱域声学特征。然而，时域特征在一些包含非声乐或弱语音相关声音的声音分类任务中表现得更有效。我们之前提出了一种称为位序列表示（BSR）的特征，这是一种基于原始波形的时域二进制声学特征。与MFCC相比，BSR在环境声音检测方面表现更好，并且在有限词汇量的语音识别任务中表现出相当的准确性。在本文中，我们提出了一种新的改进BSR功能称为BSR-float 16更精确地表示浮点值。我们使用Google提出的Speech Commands数据集，通过实验证明了时域，频域和倒谱域特征之间的互补性。因此，我们使用了一个简单的后端分数融合方法，以提高最终的分类精度。融合结果也表现出较好的噪声鲁棒性。
2022-06-17 cs.SD eess.AS
Design of a novel Korean learning application for efficient pronunciation correction
Hanyang University（汉阳大学）
韩流是韩国文化经济在全球的普及，也是对韩语需求不断增长的原因之一。然而，由于没有任何外国人学习韩语的应用程序，本文提出了一个新颖的韩语学习应用程序的设计。语音识别、语音到文本和语音到波形是该系统的三个关键系统。Google API和librosa库将用户的声音转换为句子和MFCC。然后，该软件将显示用户的短语和答案，用红色突出显示发音错误的元素，使用户能够更容易地识别他们发音中的错误部分。此外，暹罗网络可以利用这些翻译的频谱图来提供相似性分数，该相似性分数随后可以用于向用户提供反馈。尽管我们无法为这项研究收集足够的外国人数据，但值得注意的是，我们为外国人提供了一种新颖的韩语发音校正方法。
2022-05-04 cs.CL cs.SD eess.AS
Improving Word Recognition in Speech Transcriptions by Decision-level Fusion of Stemming and Two-way Phoneme Pruning
Carnegie Mellon University（卡内基梅隆大学）
我们介绍了一种无监督的方法来纠正高度不完善的语音transmittance的基础上的决策级融合的词干和双向音素修剪。通过使用Ffmpeg框架提取音频并使用Google API进一步将音频转换为文本转录，从视频中获取转录。在基准LRW数据集中，有500个单词类别，每个类别有50个mp4格式的视频。所有视频都由29帧（每帧1.16秒长）组成，单词出现在视频中间。在我们的方法中，我们试图通过使用词干提取，音素提取，过滤和修剪来提高基线准确率从9.34%。在将词干提取算法应用于文本转录本并评估结果后，我们在单词识别中达到了23.34%的准确率。为了将单词转换为音素，我们使用了卡内基梅隆大学（CMU）的发音词典，该词典提供了英语单词到其发音的语音映射。提出了一种双向音素修剪方法，该方法包括两个非顺序的步骤：1）对含有元音和爆破音的音素进行过滤和修剪; 2）对含有元音和摩擦音的音素进行过滤和修剪。在得到词干提取和双向音素修剪的结果后，我们采用决策级融合，使单词识别率提高到32.96%。
2021-07-26 cs.CL cs.SD eess.AS
A Deep Learning System for Domain-specific Speech Recognition
Businessolver（Businessolver公司）
本文基于DeepSpeech2与Wav2Vec2并结合半监督标注和KenLM，构建低资源福利领域ASR系统，证明其在语音识别及下游NLU任务上可优于Google和AWS商用系统。
2023-09-27 cs.CL cs.LG cs.SD
Automatic Speech Recognition Services: Deaf and Hard-of-Hearing Usability
Rochester Institute of Technology（罗切斯特理工学院）
如今，语音正在成为一种更加常见（即使不是标准）的技术接口。这从多年来技术变革的趋势中可以看出。语音越来越多地用于控制家庭，汽车，工作场所和公共空间内的程序，电器和个人设备，通过智能手机和家庭助理设备使用亚马逊的Alexa，谷歌的助手和苹果的Siri以及其他激增的技术。然而，大多数语音接口对于聋人和听力困难（DHH）的人来说是不可访问的。在本文中，目前的自动语音识别（ASR）与DHH说话人的声音的性能进行评估。多年来，在云计算和机器学习算法（采用自定义词汇模型）的帮助下，ASR已经有所改善，并且能够达到低至5-6%的单词出错率（WER）[1][2][3]。本文使用了自定义词汇表模型，并在使用DHH语音时评估了改进的意义。
2019-09-03 cs.HC cs.SD eess.AS
Large Scale Language Modeling in Automatic Speech Recognition
Google, Inc.（谷歌公司）
大语言模型已被证明对Google中的各种自动语音识别任务非常有益。我们总结了语音搜索和一些YouTube语音转录任务的结果，以强调增加训练数据量和根据这些数据估计的语言模型大小所能带来的影响。根据任务、所使用的训练数据的可用性和量、语言模型的大小以及在网格重新评分步骤中将它们集成的工作量和注意力，我们观察到相对于在17%和52%之间的字出错率的宽范围的操作点上的系统，字出错率的降低在6%和10%之间。
2012-10-31 cs.CL
Spot keywords from very noisy and mixed speech
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
针对强干扰语音及多关键词混合的高难度关键词识别场景，提出Mix Training训练策略，经Google Speech Command数据集验证，该方法效果优于标准数据增强和mixup训练。
2023-05-28 cs.AI cs.SD eess.AS
Advancing Airport Tower Command Recognition: Integrating Squeeze-and-Excitation and Broadcasted Residual Learning
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）；Wuhan University of Technology（武汉理工大学）；Fortemedia Singapore（Fortemedia新加坡公司）
本文提出BC-SENet模型，通过融合挤压-激励与广播残差学习提升机场塔台指令识别准确率和效率，并在多个模型对比及Google语音指令数据集上验证了其优越性。
2024-06-28 cs.CL cs.SD eess.AS
Small-Footprint Keyword Spotting on Raw Audio Data with Sinc-Convolutions
Infineon Technologies AG（英飞凌科技股份公司）
关键字定位（KWS）可在智能设备上实现基于语音的用户交互。智能设备的始终在线和电池供电的应用场景对硬件资源和功耗提出了限制，同时也要求高精度和实时能力。以前的架构首先提取声学特征，然后应用神经网络对关键字概率进行分类，优化内存占用和执行时间。与以前的出版物相比，我们采取了额外的措施来降低功耗和内存消耗，而不会降低分类精度。通过直接从原始音频进行分类，消除了功耗音频预处理和数据传输步骤。为此，我们的端到端架构使用参数化Sinc-convolutions提取光谱特征。它的内存占用进一步减少分组dependently可分离卷积。我们的网络在Google的语音命令测试集上达到了96.4%的准确率，只有62 k个参数。
2020-05-03 cs.CL cs.SD eess.AS
Does Single-channel Speech Enhancement Improve Keyword Spotting Accuracy? A Case Study
Apple（苹果公司）
本文以 Google Speech Command 数据集为案例，系统研究单通道语音增强对关键词识别的影响，发现后端用干净语音训练时 SE 可提升噪声下的 KWS 准确率，但后端用噪声语音训练时难以进一步提升。
2024-02-21 cs.SD eess.AS
SNRi Target Training for Joint Speech Enhancement and Recognition
Google Research（谷歌研究院）
语音增强（SE）在包括自动语音识别（ASR）和电信的语音应用中被用作前端。使用SE前端的困难在于，适当的降噪水平取决于应用和/或噪声特性而不同。在这项研究中，我们提出了“信噪比改善（SNRi）目标训练”; SE前端被训练输出一个信号，其SNRi由辅助标量输入控制。在与后端的联合训练中，目标SNRi值由辅助网络估计。通过训练所有网络以最小化后端任务损失，我们可以在数据驱动方案中估计每个噪声输入的适当降噪水平。我们的实验表明，SNRi目标训练能够控制输出SNRi。此外，与基于Conformer的标准ASR模型和传统的SE-ASR联合训练模型相比，本文提出的联合训练方法分别将误词率降低了4.0%和5.7%。此外，通过分析预测的目标SNRi，我们观察到联合训练的网络自动控制目标SNRi根据噪声特性。音频演示可在我们的演示页面：google.github.io/df-conformer/snri_target/。
2022-03-28 cs.SD eess.AS
Spanish and English Phoneme Recognition by Training on Simulated Classroom Audio Recordings of Collaborative Learning Environments
协作学习环境的音频记录包含持续存在的串扰和背景噪声。在这些环境中需要西班牙语和英语之间的动态语音识别。为了消除大规模地面实况的标准要求，本文开发了一个模拟数据集，通过将音频transanimation转换为音素，并使用3D扬声器几何和数据增强来生成西班牙语和英语语音的声学模拟。本文开发了一个低复杂度的神经网络，用于识别西班牙语和英语音素（可在github.com/muelitas/keywordRec获得）。当在41个英语音素上训练时，在语音命令上实现了0.099 PER。当训练36西班牙语音素和测试的协作学习环境的真实录音，0.7208 LER实现。比Google的Speech-to-text 0.7272 LER稍好，后者使用了15到1,635倍的参数，并在300到27,500小时的真实数据上进行了训练，而不是13小时的模拟音频。
2022-02-21 cs.SD eess.AS
Self-supervised speech representation learning for keyword-spotting with light-weight transformers
Amazon（亚马逊）
自监督语音表示学习（S3RL）正在彻底改变我们利用不断增长的数据可用性的方式。虽然S3RL相关研究通常使用大型模型，但我们采用轻量级网络来满足计算受限设备的内存要求。我们通过使用具有330k参数的Transformers来证明S3RL在关键词定位（KS）问题上的有效性，并提出了一种增强话语区分的机制，这对于提高分类任务的性能至关重要。在Google语音命令v2数据集上，应用于自回归预测编码S3RL的方法与从头开始训练相比，准确率提高了1.2%。在具有四个不同关键字的内部KS数据集上，它在固定的错误拒绝率下提供了6%至23.7%的相对错误接受改善。我们认为，这表明了S3RL方法的适用性，轻量级模型KS和确认S3RL是一个强大的替代传统的监督学习资源受限的应用程序。
2023-03-07 cs.LG cs.SD eess.AS
Enhancing Few-shot Keyword Spotting Performance through Pre-Trained Self-supervised Speech Models
Department of Electrical Eng., Bogazici University（电气工程系，博雅大学）；Analog Devices（安森美半导体）
提出利用预训练自监督模型（Wav2Vec 2.0）进行特征提取与知识蒸馏，结合注意力降维和轻量级ResNet15学生模型，显著提升少样本关键词识别准确率，在GSC数据集上10样本分类准确率从33.4%提升至74.1%。
2025-10-08 cs.CL cs.SD eess.AS
Honk: A PyTorch Reimplementation of Convolutional Neural Networks for Keyword Spotting
University of Waterloo（滑铁卢大学）
我们描述了Honk，这是一个开源的PyTorch重新实现的卷积神经网络，用于TensorFlow中包含的关键字识别。这些模型对于识别基于语音的接口中的“命令触发”是有用的（例如，“Hey Siri”），其充当用于话语的音频记录的显式提示，所述音频记录被发送到云以进行完全语音识别。对Google最近发布的Speech Commands Dataset的评估表明，我们的重新实现在准确性方面具有可比性，并为关键字定位任务的未来工作提供了一个起点。
2017-11-28 cs.CL
Dynamic Sparsity Neural Networks for Automatic Speech Recognition
University of Washington（华盛顿大学）；Google（谷歌）
在自动语音识别（ASR）中，模型修剪是一种广泛采用的技术，其减少了模型大小和延迟，以在具有资源约束的边缘设备上部署神经网络模型。然而，具有不同稀疏级别的多个模型通常需要单独训练并部署到具有不同资源规格的异构目标硬件以及具有各种延迟要求的应用程序。在本文中，我们提出了动态稀疏神经网络（DSNN），一旦训练，可以在运行时立即切换到任何预定义的稀疏配置。我们使用Google语音搜索数据在内部生产数据集上进行实验，证明了DSNN的有效性和灵活性，并表明DSNN模型的性能与单独训练的单个稀疏网络的性能相当。因此，我们经过训练的DSNN模型可以大大简化训练过程，并简化在资源受限的各种场景中的部署。
2021-02-08 cs.CL cs.LG cs.SD
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo（科学学院，萨拉热窝大学）；Infobip（Infobip公司）
本文针对电信与云平台中的语音检索与聚类，改进音频指纹技术，实现无需GPU的快速批处理，并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
Contrastive Speech Mixup for Low-resource Keyword Spotting
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
针对低资源场景下关键词识别模型适配小样本困难的问题，提出引入辅助对比损失的CosMix算法，在裁剪后的Google Speech Command数据集上实现多模型性能提升。
2023-05-02 cs.SD eess.AS
Benchmarking Human and Automatic Speech Recognition of Diverse Speech: Initial Results
研究对多样化语音（荷兰儿童、老年人语音及弗拉芒语）中人类与自动语音识别性能进行初步比较，发现谷歌电话识别系统表现优，ASR系统与听众表现相似，特定情况超越听众，还发现相关性能差异，未来研究应增强ASR系统对声学变异性的鲁棒性。
2026-07-22 cs.CL
Mondegreen: A Post-Processing Solution to Speech Recognition Error Correction for Voice Search Queries
Google Research（谷歌研究院）
随着越来越多的在线搜索查询来自语音，自动语音识别成为提供相关搜索结果的关键组件。自动语音识别（ASR）引入的错误导致返回给用户的搜索结果不相关，从而引起用户不满。在本文中，我们介绍了一种方法，Mondegreen，在文本空间中纠正语音查询，而不依赖于音频信号，由于系统限制或隐私或带宽（例如，一些ASR系统在设备上运行）的考虑，这可能并不总是可用。我们专注于语音查询转录通过几个专有的商业ASR系统。这些查询来自用户进行互联网或在线服务搜索查询。我们首先提出了一个分析，显示如何不同的语言分布来自用户的语音查询是从传统的文本语料库用于训练现成的ASR系统。然后，我们证明，Mondegreen可以实现显着的改善，通过纠正用户的语音查询，在谷歌最大的搜索系统之一，增加用户交互。最后，我们认为Mondegreen是对现有高度优化的生产ASR系统的补充，这些系统可能不会经常重新训练，因此由于词汇漂移而落后。
2021-05-20 cs.CL cs.LG cs.SD
Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study
本研究比较了人类听者和三种商用ASR系统对严重构音障碍说话者荷兰语连续语音的识别性能，发现微调后的个性化DSR模型优于人类，但词错误率仍高。
2026-06-29 cs.CL
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab（Arm机器学习研究实验室）；Lund University（隆德大学）
Transformer架构在许多领域都取得了成功，包括自然语言处理、计算机视觉和语音识别。在关键字识别中，自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法，并引入了关键字Transformer（KWT），这是一种完全自我注意的架构，在没有任何预训练或额外数据的情况下，它在多个任务中的性能超过了最先进的水平。令人惊讶的是，这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品，在Google Speech Commands数据集上创造了两个新的基准记录，分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD
Speech Intelligibility Assessment with Uncertainty-Aware Whisper Embeddings and sLSTM
Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）；Social Network and Human Centered Computing, Institute of Information Science, Academia Sinica（社交网络与人本计算，信息科学研究所，学术院）；Institute of Information Science, Academia Sinica（信息科学研究所，学术院）
针对非侵入式语音可懂度预测的挑战，研究提出融合不确定性感知Whisper嵌入统计特征与CNN-sLSTM的iMTI-Net多任务预测网络，在多指标上优于原始模型。
2025-09-04 cs.SD eess.AS
Deep Learning Approaches for Understanding Simple Speech Commands
Institute for Design Problems in Microelectronics of Russian Academy of Sciences（俄罗斯科学院微电子设计问题研究所）；GIS（2GIS）；NGSLab（NGS实验室）；Massachusetts Institute of Technology（麻省理工学院）
声音命令的自动分类变得越来越重要，特别是对于移动和嵌入式设备。这些设备中的许多都包含摄像头和麦克风，开发它们的公司希望使用相同的技术来完成这两项分类任务。实现这一点的一种方法是将声音命令表示为图像，并在对图像和声音进行分类时使用卷积神经网络。在本文中，我们考虑了几种解决声音分类问题的方法，我们在Google Brain团队在Kaggle平台上组织的TensorFlow语音识别挑战赛中应用了这些方法。在这里，我们展示了不同的声音表示（波帧，频谱图，梅尔频谱图，MFCC），并应用了几个1D和2D卷积神经网络，以获得最佳性能。我们的实验表明，我们找到了合适的声音表示和相应的卷积神经网络。因此，我们取得了良好的分类精度，使我们能够在1315支球队中获得第8名。
2018-10-04 cs.HC cs.SD eess.AS
W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training
Google Brain（谷歌大脑）
受MLM在预训练自然语言处理模型中的成功启发，我们提出了w2 v-BERT，它探索了用于自监督语音表示学习的MLM。w2 v-BERT是一个结合了对比学习和MLM的框架，其中前者训练模型将输入的连续语音信号离散化为有限的一组有区别的语音标记，后者训练模型通过求解消耗离散化标记的掩蔽预测任务来学习上下文化的语音表示。与现有的基于MLM的语音预训练框架相比，例如HuBERT，它依赖于迭代的重新聚类和重新训练过程，或vq-wav 2 vec，它连接了两个单独训练的模块，w2 v-BERT可以通过同时解决两个自监督任务（对比任务和MLM）来以端到端的方式进行优化。我们的实验表明，当使用Libri-Light~ 60 k语料库作为无监督数据时，与LibriSpeech基准测试中当前最先进的预训练模型相比，w2 v-BERT取得了有竞争力的结果。特别是，当与已发布的模型（如基于一致性的wav 2 vec ~2.0和HuBERT）相比时，我们的模型在测试干净和测试其他子集上显示出~5\%至~10\%的相对WER降低。当应用于Google的语音搜索流量数据集时，w2 v-BERT相对于我们内部基于一致性的wav 2 vec ~2.0的性能要好30%以上。
2021-09-13 cs.LG cs.SD eess.AS
Digits micro-model for accurate and secure transactions
University of Illinois, Chicago（伊利诺伊大学芝加哥分校）；Vail Systems, Inc.（Vail Systems公司）；Illinois Institute of Technology（伊利诺伊理工学院）
本研究提出用于金融领域多位数识别的专用微模型，以低资源消耗实现高准确率，错误率1.8%优于Whisper的5.8%，内存占用仅0.66 GB，支持本地部署保障数据隐私。
2024-02-02 cs.CL cs.LG cs.SD
Explanations for Automatic Speech Recognition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
针对基于神经网络的自动语音识别，提出通过解释来提升系统理解和信任，采用统计故障定位和因果方法生成最小且充分的音频帧子集作为转录解释。
2026-06-23 cs.AI cs.CL cs.LG
Attention-Free Keyword Spotting
Islamic University of Technology（伊斯兰理工大学）
到目前为止，基于注意力的模型已经在关键字识别问题领域取得了巨大的成功。然而，鉴于深度学习的最新进展，问题出现了，对于识别语音关键词，自我注意力是否真的不可替代。因此，我们探索使用门MLP-以前被证明是替代Transformers的视觉任务-的关键字定位任务。我们提供了一系列高效的基于MLP的关键字识别模型，参数少于50万。我们表明，我们的方法在Google Speech Commands V2-12和V2-35基准测试中实现了具有竞争力的性能，参数比基于自我注意力的方法少得多。
2022-04-10 cs.LG cs.SD eess.AS
ASR Error Correction and Domain Adaptation Using Machine Translation
Abridge AI；Carnegie Mellon University（卡内基梅隆大学）
现成的预训练自动语音识别（ASR）系统对于任何规模的构建基于语音的产品的公司来说都是一种越来越可行的服务。虽然这些ASR系统是在大量数据上训练的，但对于许多希望按原样使用此服务的此类方来说，域不匹配仍然是一个问题，导致其任务的结果不是那么理想。我们提出了一种简单的技术，通过机器翻译进行域自适应ASR纠错。机器翻译模型是学习从域外ASR错误到对应参考文件中的域内术语的映射的强候选者。我们在这项工作中使用了两个现成的ASR系统：Google ASR（商业）和ASPIRE模型（开源）。通过我们提出的方法，我们观察到Google ASR输出的单词错误率绝对提高了7%，BLEU评分绝对提高了4分。我们还通过Speaker Diarization的下游任务来评估ASR错误校正，该任务捕获我们通过ASR校正获得的扬声器风格，语法，结构和语义改进。
2020-03-13 cs.LG cs.SD eess.AS
Efficient keyword spotting using time delay neural networks
Fluent.ai Inc.（Fluent.ai公司）
本文介绍了一种新的方法，使用两阶段的时间延迟神经网络的实时关键字定位。该模型使用迁移学习进行训练：使用来自大型语音语料库的电话目标进行初始训练，然后使用来自较小数据集的关键字目标进行训练。该系统的准确性进行了评估两个单独的任务。第一个是免费提供的Google Speech Commands数据集。第二个是专门为关键字定位开发的内部任务。结果表明，与以前已知的技术相比，在清洁和嘈杂的环境中的错误接受和错误拒绝率显着改善。此外，我们研究了各种技术，以减少计算方面的乘法每秒的音频。与最近发表的工作相比，所提出的系统提供了高达89%的计算复杂性节省。
2018-08-28 cs.SD eess.AS
Multi-layer Attention Mechanism for Speech Keyword Recognition
Sichuan University（四川大学）
语音关键词自动识别作为语音识别技术的重要组成部分，近年来得到了广泛的研究。这种技术在基础设施和计算资源有限的情况下变得特别关键，例如车辆中的语音命令识别和机器人交互。目前，语音关键词自动识别的主流方法是基于带有注意力机制的长短期记忆（LSTM）网络。然而，由于在特征提取期间导致的LSTM层的不可避免的信息损失，计算的注意力权重是有偏差的。本文提出了一种新的方法，即多层注意力机制，以处理不准确的注意力权重的问题。其核心思想是，除了传统的注意力机制，在特征提取和LSTM之前的层的信息被引入到注意力权重计算中。因此，注意力权重更准确，因为整个模型可以具有更精确和集中的区域。我们在Google Speech Command数据集V2数据集上对卷积神经网络，双向LSTM循环神经网络和循环神经网络的关键词定位性能进行了全面的比较和分析，并提出了注意力机制。实验结果表明，该方法具有良好的效果，证明了该方法的有效性。所提出的多层注意方法可以为其他与目标识别相关的研究提供参考。
2019-07-10 cs.LG cs.SD eess.AS
