M-BEST-RQ: A Multi-Channel Speech Foundation Model for Smart Glasses
Meta；The Ohio State University（俄亥俄州立大学）
针对智能眼镜等多通道可穿戴设备现有任务模型无法利用大量无标注数据的问题，提出首个阵列几何无关的多通道语音基础模型M-BEST-RQ，在多个真实下游任务上性能达到或超越监督模型，仅用8小时标注数据的ASR效果超2000小时标注的监督基线。
2024-09-17 cs.SD eess.AS
Small-Footprint Keyword Spotting on Raw Audio Data with Sinc-Convolutions
Infineon Technologies AG（英飞凌科技股份公司）
关键字定位（KWS）可在智能设备上实现基于语音的用户交互。智能设备的始终在线和电池供电的应用场景对硬件资源和功耗提出了限制，同时也要求高精度和实时能力。以前的架构首先提取声学特征，然后应用神经网络对关键字概率进行分类，优化内存占用和执行时间。与以前的出版物相比，我们采取了额外的措施来降低功耗和内存消耗，而不会降低分类精度。通过直接从原始音频进行分类，消除了功耗音频预处理和数据传输步骤。为此，我们的端到端架构使用参数化Sinc-convolutions提取光谱特征。它的内存占用进一步减少分组dependently可分离卷积。我们的网络在Google的语音命令测试集上达到了96.4%的准确率，只有62 k个参数。
2020-05-03 cs.CL cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟，与非流传输ASR模型相比，流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明，RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架，这两个编码器可以在不同的音频间隔（例如，快速和慢速）产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器，其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少，在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后，我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
AGADIR: Towards Array-Geometry Agnostic Directional Speech Recognition
Meta
针对智能眼镜多通道 ASR 中麦克风阵列几何变化的问题，提出在多种相似几何结构上训练以实现几何无关泛化，并采用非线性约束最小方差准则改进波束形成，已见几何识别率相对提升 15%–28%。
2024-01-18 cs.SD eess.AS
Transcending Controlled Environments Assessing the Transferability of ASRRobust NLU Models to Real-World Applications
NUCES（巴基斯坦国立计算机与新兴科学大学）
本文研究乌尔都语智能家居场景下ASR鲁棒NLU模型从受控环境到真实应用的迁移能力，基于UrduBERT结合迁移学习与领域自适应等方法评估其鲁棒性和适应性。
2024-01-12 cs.AI cs.SD eess.AS
Federated Learning for ASR based on Wav2vec 2.0
Avignon University（阿维尼翁大学）
本文提出了一种研究使用联邦学习训练ASR模型的基础上wav 2 vec 2.0模型预训练的自我监督。在著名的TED-LIUM 3数据集上进行的实验表明，这样的模型可以在不使用语言模型的情况下，在官方TED-LIUM 3测试集上获得10.92%的单词错误率，而无需共享来自不同用户的任何数据。我们还分析了ASR性能的扬声器取决于他们的参与联合学习。由于联邦学习最初是出于隐私目的而引入的，因此我们还测量了它保护说话人身份的能力。为此，我们利用一种方法来分析交换模型中包含的信息，该方法基于指标数据集上的神经网络足迹。这种分析是逐层进行的，并显示了基于wav 2 vec 2.0的交换模型中的哪些层带来了说话者身份信息。
2023-02-20 cs.LG cs.SD eess.AS
Towards One-bit ASR: Extremely Low-bit Conformer Quantization Using Co-training and Stochastic Precision
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文提出利用多精度模型协同训练、随机精度及张量级可学习缩放因子，实现Conformer ASR系统的2-bit和1-bit极低位宽量化，在Switchboard和LibriSpeech语料库上分别达到16.2倍和16.6倍的无损压缩比且词错率无显著增加。
2025-05-27 cs.SD eess.AS
Two-Pass End-to-End ASR Model Compression
Samsung Research（三星研究院）
智能设备上的语音识别由于内存占用小而具有挑战性。因此，小尺寸ASR模型是期望的。随着流行的基于换能器的模型的使用，在小型设备上实际部署流式语音识别模型已经成为可能[1]。最近，结合RNN-T和LAS模块的双通道模型[2]在流式设备上语音识别方面表现出了出色的性能。在这项工作中，我们提出了一个简单而有效的方法来减少内存受限设备的两遍模型的大小。我们采用了一个流行的知识蒸馏方法，分三个阶段使用师生培训技术。在第一阶段，我们使用训练好的RNN-T模型作为教师模型，并进行知识蒸馏来训练学生RNN-T模型。第二阶段使用共享编码器，并使用训练的RNN-T+LAS教师模型为学生模型训练LAS重新评分器。最后，我们使用共享的RNN-T编码器、RNN-T解码器和LAS重新分级器对学生模型进行深度微调。我们在标准LibriSpeech数据集上的实验结果表明，与两遍教师模型相比，我们的系统可以实现55%的高压缩率，而不会显著降低WER。
2022-01-08 cs.SD eess.AS
Learning When to Trust Which Teacher for Weakly Supervised ASR
University of Maryland（马里兰大学）；Amazon Alexa AI（亚马逊Alexa AI）
针对弱监督ASR训练中多专家教师模型的利用问题，提出Smart-Weighter机制根据输入音频选择合适专家并在无监督下训练学生模型，在LibriSpeech和LibriLight基准上较基线提升4%-25%。
2023-06-21 cs.SD eess.AS
Advances in Small-Footprint Keyword Spotting: A Comprehensive Review of Efficient Models and Algorithms
Department of Electronics and Communication Engineering, National Institute of Technology, Durgapur,713209, India（电子与通信工程系，印度国家理工学院，德乌尔帕尔）
本文综述了小 footprint 关键词检测的高效模型和算法，探讨了多种技术类别以指导 SF-KWS 系统的开发，并指出了未来研究方向。
2025-06-12 cs.SD eess.AS
Voice Privacy with Smart Digital Assistants in Educational Settings
Merlyn Mind, Inc.（Merlyn Mind 公司）
语音助理设备的出现带来了令人愉快的用户体验，不仅在智能家居方面，而且在从教室到个性化学习/辅导的各种教育环境中。然而，使用语音作为交互方式也可能导致暴露用户的身份，并阻碍语音界面的更广泛采用;这在有儿童存在且需要保护其语音隐私的环境中尤其重要。为此，国家的最先进的技术在文献中提出的基础上，我们设计和评估一个实用和有效的框架，语音隐私的来源。该方法结合了说话人识别（SID）和语音转换方法，以在记录语音的设备上随机伪装用户的身份，同时确保用户的转换后的话语仍然可以被自动语音识别（ASR）解决方案成功地转录。我们评估的ASR性能的转换，在字的错误率，并显示这个框架的承诺，在保留输入语音的内容。
2021-03-24 cs.CL cs.CR cs.SD
Knowledge Transfer for Efficient On-device False Trigger Mitigation
Apple（苹果公司）
在本文中，我们解决的任务，确定是否一个给定的话语是针对一个语音智能助理设备或不。无定向话语被称为“错误触发”，并且错误触发缓解（FTM）对于设计以隐私为中心的非侵入式智能助理至关重要。可以通过对其运行自动语音识别（ASR）并通过分析ASR转录本来确定用户意图来识别话语的指向性。但是在错误触发的情况下，使用ASR本身转录音频是非常不期望的。为了缓解这个问题，我们提出了一种基于LSTM的FTM架构，它直接从声学特征确定用户意图，而无需从音频显式生成ASR成绩单。所提出的模型占用空间小，可以在计算资源有限的设备上运行。在训练过程中，使用知识转移方法优化模型参数，其中更准确的自注意图神经网络模型作为教师。考虑到整个音频片段，我们的方法以99%的真阳性率（TPR）减轻了87%的错误触发，并且在流式音频场景中，系统在拒绝它之前只监听1.69s的错误触发音频，同时实现相同的TPR。
2020-10-20 cs.LG cs.SD eess.AS
Federated Learning in ASR: Not as Easy as You Think
Institute of Communication Acoustics, Ruhr University Bochum（波鸿鲁尔大学通信声学研究所）
随着智能设备和云服务的日益普及，个人语音辅助系统的日常使用越来越多。大多数设备会将语音记录重定向到中央服务器，中央服务器使用它们来升级识别器模型。这导致了严重的隐私问题，因为私人数据可能被服务器或第三方滥用。联邦学习是一种分散的优化策略，已被提出来解决这些问题。利用这种方法，私人数据被用于设备上的训练。之后，更新的模型参数被发送到服务器以改进全局模型，该全局模型被重新分发到客户端。在这项工作中，我们实现了联邦学习的语音识别的混合和端到端的模型。我们讨论了这些系统的结果，它们都表现出很大的相似性，只有很小的改进，指出需要更深入地了解联邦学习的语音识别。
2021-09-30 cs.SD eess.AS
Streaming End-to-End Bilingual ASR Systems with Joint Language Identification
Amazon（亚马逊）
多语言ASR技术简化了模型训练和部署，但其准确性取决于运行时语言信息的可用性。由于语言身份在现实世界中很少事先知道，因此必须以最小的延迟进行即时推断。此外，在语音激活的智能助理系统中，ASR输出的下游处理也需要语言身份。在本文中，我们介绍了流，端到端，双语系统，使用递归神经网络转换器（RNN-T）架构执行ASR和语言识别（LID）。在输入侧，来自预训练的仅声学LID分类器的嵌入用于指导RNN-T训练和推理，而在输出侧，语言目标与ASR目标联合建模。所提出的方法适用于两种语言对：英语-西班牙语在美国说，英语-印地语在印度说。实验表明，对于英语-西班牙语，双语联合ASR-LID架构匹配单语ASR和仅声学LID精度。对于更具有挑战性（由于话语内代码切换）的情况下，英语印地语，英语ASR和LID指标显示退化。总的来说，在用户在语言之间动态切换的情况下，所提出的架构提供了一个有前途的简化运行多个单语ASR模型和LID分类器并行。
2020-07-08 cs.CL cs.SD eess.AS
Federated Self-Learning with Weak Supervision for Speech Recognition
Amazon Alexa AI（亚马逊Alexa人工智能部门）
本研究提出一种联邦自学习方法，结合弱监督信号和记忆重放，用于RNN-T语音识别模型，在无强监督转录下实现新用例WER相对降低10%。
2023-06-21 cs.SD eess.AS
Towards Green ASR: Lossless 4-bit Quantization of a Hybrid TDNN System on the 300-hr Switchboard Corpus
The Chinese University of Hong Kong（香港中文大学）
现有技术水平的时间自动语音识别（ASR）系统对于实际应用而言正变得越来越复杂和昂贵。本文提出了一个高性能和低占用4位量化LF-MMI训练的因子化时间延迟神经网络（TDNNs）的ASR系统的300小时的交换机语料库的发展。整个系统设计的一个关键特征是考虑到不同模型组件对量化误差的细粒度、变化的性能灵敏度。为此，使用一组神经架构压缩和混合精度量化方法来促进最佳因子化TDNN权重矩阵子空间维度和量化位宽的隐藏层级自动配置。所提出的技术也被用来产生2位混合精度量化的Transformer语言模型。在交换机数据上进行的实验表明，所提出的神经架构压缩和混合精度量化技术在字出错率（WER）方面始终优于可比位宽的均匀精度量化基线系统。在包括TDNN和Transformer组件的基线全精度系统上获得了13.6的总体"无损"压缩比，同时没有引起统计上显著的WER增加。
2022-06-23 cs.HC cs.SD eess.AS
On-Device Speaker Anonymization of Acoustic Embeddings for ASR based onFlexible Location Gradient Reversal Layer
Samsung Research（三星研究院）；Samsung Electronics（三星电子）
提出一种针对ASR的说话人匿名化框架，通过在设备端执行模型初始层并传输匿名化声学嵌入至云端，利用灵活梯度反转层去除说话人身份，同时保持识别性能，实验显示说话人识别准确率降低33%，WER降低6.2%。
2023-07-25 cs.CR cs.SD eess.AS
Omni-sparsity DNN: Fast Sparsity Optimization for On-Device Streaming E2E ASR via Supernet
Meta AI
从可穿戴设备到功能强大的智能设备，现代自动语音识别（ASR）模型可在各种计算预算不同的边缘设备上运行。为了在模型精度与模型大小的帕累托前沿进行导航，研究人员陷入了一个困境，即通过为每个边缘设备训练和微调模型来优化模型精度，同时保持训练GPU时间易于处理。在本文中，我们提出了全稀疏DNN，其中单个神经网络可以被修剪以生成针对大范围模型大小的优化模型。我们为全稀疏DNN开发了训练策略，使其能够沿着单词错误率（WER）与模型大小的帕累托前沿找到模型，同时保持训练GPU时间不超过训练一个奇异模型的时间。我们使用流式E2 E ASR模型演示了全稀疏DNN。我们的研究结果显示，与单独修剪的稀疏模型相比，LibriSpeech的训练时间和资源大大节省，准确率相似或更高：测试其他模型的WER提高了2%-6.6%。
2022-07-20 cs.CL cs.SD eess.AS
End-to-End Spoken Language Understanding: Performance analyses of a voice command task in a low resource setting
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
口语语言理解是大多数人机交互系统的核心任务。随着灵巧家庭、智能手机和智能音箱的出现，SLU已经成为行业的关键技术。在经典的SLU方法中，自动语音识别（ASR）模块将语音信号转录成文本表示，自然语言理解（NLU）模块从该文本表示提取语义信息。最近，基于深度神经网络的端到端SLU（E2E SLU）获得了发展势头，因为它受益于ASR和NLU部分的联合优化，从而限制了流水线架构的错误影响的级联。然而，很少有人知道E2E模型预测概念和意图从语音输入的实际语言属性。在本文中，我们提出了一项研究，确定E2E模型执行SLU任务所使用的信号特征和其他语言属性。这项研究是在一个灵巧家庭的应用领域进行的，它必须处理非英语（这里是法语）的语音命令。结果表明，良好的E2E SLU性能并不总是需要完美的ASR能力。此外，结果表明，优越的能力，E2E模型在处理背景噪声和句法变化相比，管道模型。最后，更细粒度的分析表明，E2E模型使用输入信号的音高信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板E2E模型在语音处理的进一步分析。
2022-07-17 cs.CL cs.SD eess.AS
Adversarial Attacks on ASR Systems: An Overview
Guangzhou University（广州大学）；Peng Cheng Laboratory（鹏城实验室）；The 5th Electronic Research Institute, Ministry of Industry and Information Technology（工业和信息化部电子第五研究所）；National University of Defense Technology（国防科技大学）
随着硬件和算法的发展，自动语音识别（ASR）系统得到了长足的发展.随着模型越来越简单，开发和部署的难度越来越小，ASR系统越来越接近我们的生活。一方面，我们经常使用ASR的APP或API来生成字幕和录制会议。另一方面，智能音箱和自动驾驶汽车依赖于ASR系统来控制AIoT设备。在过去的几年里，有很多针对ASR系统的对抗性示例攻击的工作。通过向波形添加一个小的扰动，识别结果会产生很大的差异。在本文中，我们描述了ASR系统的发展，不同的攻击假设，以及如何评估这些攻击。接下来，我们从两种攻击假设：白盒攻击和黑盒攻击，介绍了目前对抗性示例攻击的工作。与其他研究不同的是，我们更关注的是它们对ASR系统中波形的哪一层进行扰动，这些攻击之间的关系，以及它们的实现方法。我们关注他们的作品效果。
2022-08-03 cs.AI cs.CL cs.CR
WeKws: A production first small-footprint end-to-end Keyword Spotting Toolkit
Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）
关键词识别（KWS）实现了基于语音的用户交互，并逐渐成为智能设备不可或缺的组成部分。最近，端到端（E2E）方法已成为设备上KWS任务最流行的方法。然而，E2E知识服务系统的研究和部署之间仍然存在差距。在本文中，我们介绍了WeKws，一个生产质量，易于构建，并服从于被应用的E2E KWS工具包。WeKws包含几个最先进的主干网的实现，使其在三个公开可用的数据集上实现了极具竞争力的结果。为了使WeKws成为一个纯粹的E2E工具包，我们使用了一个改进的最大池损失，使模型能够自己学习关键字的结束位置，这大大简化了训练管道，使WeKws非常有效地应用于现实世界的场景。该工具包可在https://github.com/wenet-e2e/wekws上公开查阅。
2022-10-30 cs.SD eess.AS
A Conformer-based Waveform-domain Neural Acoustic Echo Canceller Optimized for ASR Accuracy
Google LLC（谷歌有限责任公司）
声学回声消除（AEC）对于准确识别向正在播放音频的智能扬声器发出的查询至关重要。先前的工作已经表明，当利用预训练的ASR模型编码器利用辅助损失进行优化时，对log-mel频谱特征（下文中表示为“logmel”）进行操作的神经AEC模型可以极大地提高自动语音识别（ASR）准确度。在本文中，我们开发了一个基于一致性的波形域神经AEC模型的启发“TasNet”架构。该模型通过在大型语音数据集上联合优化负尺度不变SNR（SISNR）和ASR损失来训练。在一个现实的重录测试集上，我们发现级联线性自适应AEC和波形域神经AEC是非常有效的，单独线性AEC的字错误率（WER）降低了56-59%。在该测试集上，1.6M参数波形域神经AEC在易于调节的条件下也比更大的6.5M参数对数域神经AEC模型提高了20-29%。通过在较小的帧上操作，波形神经模型能够在较小的尺寸下执行得更好，并且更适合于存储器有限的应用。
2022-05-06 cs.SD eess.AS eess.SP
Biased Self-supervised learning for ASR
Meta AI
通过掩蔽预测预训练（MPPT）的自监督学习在一系列语音处理任务上表现出令人印象深刻的性能。提出了一种将自监督学习偏向于特定任务的方法。核心思想是稍微微调用于获得靶序列的模型。这导致更好的性能和训练速度的大幅提高。此外，本文提出了一种变体的MPPT，允许低足迹流模型进行有效的训练，通过计算MPPT损失掩蔽和未掩蔽的帧。这些方法进行评估的自动语音识别的Librispeech语料库，其中100小时的数据作为标记的数据和860小时的未标记的数据。在250k更新后，有偏训练的性能比无偏训练高15.5%，在测试其他更新后，有偏训练的性能比无偏训练高23.8%。对于流模型，预训练方法产生了44.1%的字出错率的减少。
2022-11-04 cs.AI cs.CL cs.SD
The OCON model: an old but green solution for distributable supervised classification for acoustic monitoring in smart cities
DISIM - University of L’Aquila（DISIM - 博洛尼亚大学）；CNIT - Consorzio Nazionale Interuniversitario per le Telecomunicazioni（CNIT - 国家电信联合研究所）
本文将One-Class-One-Network模型应用于ASR领域的语音分类与说话人识别，结合伪NAS和超参数调优，在计算受限的智慧城市传感系统中实现了媲美复杂架构的准确率与高能效。
2024-10-05 cs.AI cs.SD eess.AS
BERSting at the Screams: A Benchmark for Distanced, Emotional and Shouted Speech Recognition
School of Computing Science, Simon Fraser University（计算科学学院，西蒙弗雷泽大学）
针对现有语音识别系统在远距离、情绪化呼喊等真实场景表现不佳的问题，本文提出包含多口音、多情绪、多采集位置的BERSt数据集，提供ASR与SER初始基准，验证其挑战性以推动系统鲁棒性提升。
2025-07-30 cs.CL cs.SD eess.AS
Small-Footprint Keyword Spotting with Multi-Scale Temporal Convolution
University of Science and Technology of China（中国科学技术大学）
关键词识别（KWS）在智能设备上终端和服务机器人的人机交互中起着至关重要的作用。在KWS任务中实现小占用空间和高精度之间的权衡仍然具有挑战性。在本文中，我们探讨了应用多尺度时间建模的小足迹关键字定位任务。我们提出了一个多分支时间卷积模块（MTConv），一个由多个具有不同内核大小的时间卷积滤波器组成的CNN块，它丰富了时间特征空间。此外，利用时间卷积和深度卷积的优点，为KWS系统设计了一个时间有效的神经网络（TENet）。基于目的模型，我们用可以训练以获得更好性能的MTConv替换标准时间卷积层。而在推理阶段，MTConv可以等效地转换为基础卷积架构，因此与基础模型相比，不会增加额外的参数和计算成本。Google Speech Command Dataset上的结果显示，我们使用MTConv训练的模型之一仅用10万个参数就能达到96.8%的准确率。
2020-10-20 cs.LG cs.SD eess.AS
Speaker Selective Beamformer with Keyword Mask Estimation
Yahoo Japan Corporation（雅虎日本公司）
研究背景语音中目标说话人的自动语音识别问题。我们方法的新颖之处在于，我们专注于唤醒关键字，该关键字通常用于激活智能扬声器等ASR系统。该方法首先利用基于DNN的掩码估计器将混合信号分离为目标说话人发出的关键字信号和剩余的背景语音。然后，分离的信号用于计算波束形成滤波器，以增强来自目标说话人的后续话语。实验结果表明，训练后的基于DNN的掩模可以选择性地从混合信号中分离出关键词和背景语音。日本ASR实验也验证了所提出的方法的有效性，我们证实，字符错误率显着改善所提出的方法的模拟和真实记录的测试集。
2018-11-07 cs.LG cs.SD eess.AS
HASP: A High-Performance Adaptive Mobile Security Enhancement Against Malicious Speech Recognition
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）
如今，基于机器学习的自动语音识别（ASR）技术已经在智能手机、家庭设备和公共设施中广泛普及。尽管这项技术很方便，但也带来了一个相当大的安全问题-用户的语音内容可能会受到恶意ASR监控，并导致严重的隐私泄露。在这项工作中，我们提出了HASP -一个高性能的安全增强方法来解决这个安全问题的移动设备。利用ASR系统对对抗性示例的脆弱性，HASP旨在将人类无法感知的对抗性噪声投射到实时语音中，并通过增加单词出错率（WER）来有效干扰恶意ASR监控。为了提高在移动设备上的实际性能，HASP还被优化以有效地适应人类语音特征、环境噪声和移动计算场景。实验表明，HASP可以实现最佳的实时安全增强：它可以导致平均WER为84.55%的干扰恶意ASR监测，数据处理速度是15倍到40倍的最先进的方法相比。此外，HASP可以有效地扰动各种ASR系统，表现出很强的可移植性。
2018-09-04 cs.CR cs.LG cs.SD
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
Memory-efficient Speech Recognition on Smart Devices
Facebook Inc.（脸书公司）
循环换能器模型已经成为当前和下一代智能设备上的语音识别的有前途的解决方案。传感器模型在合理的内存占用范围内提供具有竞争力的精度，从而缓解了这些设备中的内存容量限制。然而，这些模型从片外存储器访问每个输入时间步长的参数，这对设备电池寿命产生不利影响，并限制了它们在低功耗设备上的可用性。我们解决传感器模型的内存访问问题，通过优化其模型架构和设计新颖的循环单元设计。我们证明了i）模型的能量成本主要由从片外存储器访问模型权重决定，ii）换能器模型架构在确定对片外存储器的访问次数方面是关键的，并且仅仅模型大小不是一个好的代理，iii）我们的换能器模型优化和新颖的递归单元以最小的精度影响将片外存储器访问减少了4.5倍并且将模型大小减少了2倍。
2021-02-23 cs.CL cs.SD eess.AS
I-Parakeet: Integer-Only Conformer ASR on Mobile NPU
Sony Interactive Entertainment（索尼互动娱乐）
提出I-Parakeet，一种纯整数实现的Conformer ASR模型，通过整数注意力、Swish近似和激活校准，在移动NPU上实现4.97% WER，速度比CPU快7.5倍。
2026-09-28 cs.CL cs.SD eess.AS
Smart Speech Segmentation using Acousto-Linguistic Features with look-ahead
Microsoft Corporation（微软公司）
连续自动语音识别（ASR）的分割传统上使用静音超时或语音活动检测器（VAD），这两者都限于声学特征。这种分割往往过于激进，因为人们在说话时会自然地停下来思考。因此，分割发生在句子中间，阻碍了标点符号和下游任务，如机器翻译，高质量的分割是至关重要的。利用声学特征的基于模型的分割方法是强大的，但如果不了解语言本身，这些方法是有限的。我们提出了一种混合的方法，利用声学和语言信息，以提高分割。此外，我们表明，包括一个字作为前瞻提高分割质量。平均而言，我们的模型将分割F0.5分数提高了9.8%。我们表明，这种方法适用于多种语言。对于机器翻译的下游任务，它将翻译BLEU评分平均提高了1. 05分。
2022-10-27 cs.CL cs.SD eess.AS
Deep Learning Models in Speech Recognition: Measuring GPU Energy Consumption, Impact of Noise and Model Quantization for Edge Deployment
Texas A&M University（德克萨斯A&M大学）
本文在NVIDIA Jetson Orin Nano上系统评估了不同ASR模型在FP32、FP16和INT8量化下的能耗、内存与准确率权衡，发现FP16可使能耗减半且性能损失极小，为边缘端高效ASR部署提供了实证依据。
2024-05-02 cs.AI cs.CV cs.HC
Audio-to-Intent Using Acoustic-Textual Subword Representations from End-to-End ASR
Apple（苹果公司）
准确预测用户与设备上（例如，电话上）的语音助理（VA）交互的意图对于实现与VA的自然的、有吸引力的和以隐私为中心的交互至关重要。为此，我们提出了一种新的方法来预测用户的意图（用户说话的设备或不）直接从声学和文本信息编码的子字令牌，这是通过一个端到端的ASR模型。与音素和/或完整词的建模相比，直接对子词标记建模具有至少两个优点：（i）与音素级表示相比，它提供了唯一的词汇表表示，其中每个标记具有语义意义，（ii）每个子词标记具有可重用的“子”词声学模式（其可用于构造多个完整单词），从而导致比完整单词大大减少的词汇空间。为了学习音频到意图分类的子词表示，我们提取：（i）来自E2 E-ASR模型的声学信息，该模型为子词令牌提供帧级CTC后验概率，以及（ii）来自预先训练的连续词袋模型的文本信息，该模型捕获子词令牌的语义含义。我们的方法的关键是，它结合了声学子词级后验与文本信息的位置编码的概念，以同时考虑多个ASR假设的方式。我们表明，我们的方法为音频到意图的分类提供了更强大和更丰富的表示，并且具有高度的准确性，能够以99%的真阳性率正确地减轻93.3%的非预期用户音频调用智能助手。
2022-10-21 cs.CL cs.HC cs.SD
Spiking and Event-driven Neuromorphic Mamba Models for Efficient Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
提出脉冲和事件驱动的神经形态Mamba模型，通过激活稀疏性提升语音识别效率，在LibriSpeech上实现超过60%的激活稀疏性且精度损失小于1%，并开发周期精确的事件驱动模拟器实现算法-硬件协同优化。
2026-05-31 cs.NE cs.SD
Dissecting User-Perceived Latency of On-Device E2E Speech Recognition
Facebook AI
随着智能手机和智能扬声器等语音设备变得越来越普遍，人们对构建可直接在设备上运行的自动语音识别（ASR）系统的兴趣越来越大;端到端（E2 E）语音识别模型，如递归神经网络换能器及其变体，最近已成为该任务的主要候选者。除了准确和紧凑之外，这样的系统还需要以低用户感知延迟（UPL）解码语音，一旦说出就产生单词。这项工作研究了各种技术-模型架构，训练标准，解码超参数和端点参数-对UPL的影响。我们的分析表明，模型大小的度量（参数，输入块大小）或计算的度量（例如，FLOPS，RTF）反映了模型处理输入帧的能力，并不总是与观察到的UPL密切相关。因此，传统的算法延迟测量可能不足以准确地捕获在嵌入式设备上部署模型时观察到的延迟。相反，我们发现影响令牌发射延迟和端点行为的因素对UPL有更大的影响。我们实现了延迟和字出错率之间的最佳权衡时，执行ASR联合端点，同时利用最近提出的对齐正则化机制。
2021-08-11 cs.CL cs.SD eess.AS
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI（亚马逊Alexa人工智能部门）
对于设备上自动语音识别（ASR），量化感知训练（QAT）是普遍存在的，以实现模型预测性能和效率之间的权衡。在现有的QAT方法中，一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制，我们引入了一个正则化的自由，“软到硬”的压缩机制与自我可调的质心在μ律约束的空间，从而在一个更简单，但更通用的量化方案，称为通用量化器（GQ）。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器（RNN-T）和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下，GQ可以将RNN-T和Conformer压缩到8位以下，对于某些RNN-T层，可以压缩到1位，以实现快速准确的推理。通过物理设备基准测试，我们观察到与8位QAT相比，内存占用节省了30.73%，用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
Improving Streaming Automatic Speech Recognition With Non-Streaming Model Distillation On Unsupervised Data
Google Inc.（谷歌公司）
流传输端到端自动语音识别（ASR）模型广泛用于智能扬声器和设备上应用。由于这些模型预计将以最小的延迟转录语音，因此与非流媒体模型相比，它们被限制为因果关系，没有未来的上下文。因此，流式模型通常比非流式模型表现更差。我们提出了一种新颖有效的学习方法，利用非流ASR模型作为教师在任意大的数据集上生成成绩单，然后用于将知识提取到流ASR模型中。通过这种方式，我们可以将流媒体模型的训练扩展到高达300万小时的YouTube音频。实验表明，该方法不仅在LibriSpeech上，而且在四种语言的YouTube数据上都能显著降低RNNT模型的单词出错率（WER）。例如，在法语中，通过利用在与基线相同数量的标记数据上训练的非流教师模型，我们能够将WER相对于基线流模型降低16.4%。
2021-02-21 cs.CL cs.SD eess.AS
SpeechNet: Weakly Supervised, End-to-End Speech Recognition at Industrial Scale
Comcast Applied AI（康卡斯特应用人工智能）；University of Waterloo（滑铁卢大学）
端到端自动语音识别系统代表了最先进的技术水平，但它们依赖于数千小时的手动注释语音进行训练，以及重量级的推理计算。当然，这阻碍了商业化，因为大多数公司缺乏大量的人力和计算资源。在本文中，我们将探讨在标签稀缺、计算有限的环境中训练和部署ASR系统。为了减少人工劳动，我们使用第三方ASR系统作为弱监督源，并辅以来自隐式用户反馈的标签功能。为了加速推理，我们建议在不同输入长度的CUDA图池中路由生产时间查询，其分布最匹配流量。与我们的第三方ASR相比，我们实现了8%的字出错率的相对改善和600%的加速。我们的系统名为SpeechNet，目前每天在我们的语音智能电视上提供1200万次查询。据我们所知，这是第一次在学术文献中描述基于Wav2vec的大规模部署。
2022-11-21 cs.CL cs.SD eess.AS
Privacy attacks for automatic speech recognition acoustic models in a federated learning framework
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
本文研究了在自动语音识别（ASR）中从个性化说话人自适应神经网络声学模型（AM）中有效提取说话人信息的方法。这个问题在ASR声学模型的联邦学习的上下文中尤其重要，其中基于从多个客户端接收的更新在服务器上学习全局模型。我们提出了一种方法来分析信息的神经网络AM的基础上的神经网络足迹的所谓的指标数据集。使用这种方法，我们开发了两种攻击模型，旨在从更新的个性化模型中推断说话人身份，而无需访问实际用户的语音数据。在TED-LIUM 3语料库上的实验表明，本文提出的方法是非常有效的，可以提供1- 2%的等出错率（EER）。
2022-01-14 cs.CL cs.CR cs.SD
Beyond Universal Transformer: block reusing with adaptor in Transformer for automatic speech recognition
NTNU（挪威科技大学）；KU Leuven（鲁汶大学）；National Institute of Informatics（国立信息学研究所）；Zhejiang University（浙江大学）
针对边缘设备ASR模型参数量大的问题，提出块重用策略BRST与适配器模块ADM，在AISHELL-1上仅用7.6M/8.3M参数即实现9.3%/6.63%的CER，有效平衡了资源限制与识别准确率。
2023-04-05 cs.CL cs.SD eess.AS
Automatic Speech Recognition Services: Deaf and Hard-of-Hearing Usability
Rochester Institute of Technology（罗切斯特理工学院）
如今，语音正在成为一种更加常见（即使不是标准）的技术接口。这从多年来技术变革的趋势中可以看出。语音越来越多地用于控制家庭，汽车，工作场所和公共空间内的程序，电器和个人设备，通过智能手机和家庭助理设备使用亚马逊的Alexa，谷歌的助手和苹果的Siri以及其他激增的技术。然而，大多数语音接口对于聋人和听力困难（DHH）的人来说是不可访问的。在本文中，目前的自动语音识别（ASR）与DHH说话人的声音的性能进行评估。多年来，在云计算和机器学习算法（采用自定义词汇模型）的帮助下，ASR已经有所改善，并且能够达到低至5-6%的单词出错率（WER）[1][2][3]。本文使用了自定义词汇表模型，并在使用DHH语音时评估了改进的意义。
2019-09-03 cs.HC cs.SD eess.AS
Digits micro-model for accurate and secure transactions
University of Illinois, Chicago（伊利诺伊大学芝加哥分校）；Vail Systems, Inc.（Vail Systems公司）；Illinois Institute of Technology（伊利诺伊理工学院）
本研究提出用于金融领域多位数识别的专用微模型，以低资源消耗实现高准确率，错误率1.8%优于Whisper的5.8%，内存占用仅0.66 GB，支持本地部署保障数据隐私。
2024-02-02 cs.CL cs.LG cs.SD
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
ALIF: Low-Cost Adversarial Audio Attacks on Black-Box Speech Platforms using Linguistic Features
Zhejiang University（浙江大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（ZJU-杭州全球科技创新中心）；University of Guelph（圭尔夫大学）
针对黑盒 ASR 攻击查询成本高且易受模型更新影响的问题，本文提出 ALIF，在语言嵌入空间沿决策边界生成扰动，并以 OTL/OTA 方案实现高效、鲁棒的数字与物理攻击。
2024-08-03 cs.AI cs.CR cs.SD
Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition
Samsung Research（三星研究院）
智能设备中较小的内存带宽促使开发较小的自动语音识别（ASR）模型。为了获得较小的模型，可以采用模型压缩技术。知识蒸馏（KD）是一种流行的模型压缩方法，它可以实现较小的模型大小，同时降低模型性能。在这种方法中，知识是从一个受过训练的大尺寸的教师模型提取到一个较小尺寸的学生模型。此外，基于换能器的模型最近已被证明对于设备上流式传输ASR任务表现良好，而一致性模型在处理长期依赖性方面是有效的。因此，在这项工作中，我们采用了一个流传感器架构与conformer作为编码器。我们提出了一个多阶段的渐进方法来压缩的构象换能器模型使用KD。我们逐步更新我们的教师模型与蒸馏学生模型在多阶段设置。在标准LibriSpeech数据集上，我们的实验结果成功地实现了大于60%的压缩率，与较大的教师模型相比，性能没有显着下降。
2022-10-01 cs.LG cs.SD eess.AS
Personalized Speech recognition on mobile devices
Google Inc.（谷歌公司）
我们描述了一个大词汇量的语音识别系统，它是准确的，具有低延迟，但有一个足够小的内存和计算足迹运行速度比Nexus 5 Android智能手机上的实时。我们采用了一个量化的长短期记忆（LSTM）声学模型，用连接主义时间分类（CTC）训练直接预测音素目标，并使用基于SVD的压缩方案进一步减少其内存占用。此外，我们最大限度地减少我们的内存足迹，使用一个单一的语言模型的听写和语音命令域，使用贝叶斯插值构造。最后，为了正确处理设备特定的信息，如专有名称和其他上下文相关的信息，我们将词汇项注入解码器图，并在运行中偏置语言模型。我们的系统实现了13.5%的字出错率的开放式听写任务，运行速度的中位数比实时快7倍。
2016-03-11 cs.CL cs.LG cs.SD
A Study of Different Ways to Use The Conformer Model For Spoken Language Understanding
Ping An Technology（平安科技）
SLU结合了ASR和NLU功能，以实现语音到意图的理解。在本文中，我们比较了结合ASR和NLU的不同方法，特别是使用单个Conformer模型，并以不同的方式使用其组件，以更好地了解每种方法的优点和缺点。我们发现，它不一定是一个两阶段的解码和端到端的系统，决定了最好的系统的研究或应用之间的选择。系统优化仍然需要仔细改进每个组件的性能。很难证明一个方向确实比另一个更好。在本文中，我们还提出了一种新的连接主义时间摘要（CTS）方法，以减少声学编码序列的长度，同时提高端到端模型的准确性和处理速度。该方法实现了与最佳两阶段SLU识别相同的意图准确度，但具有复杂和耗时的解码，但计算成本较低。这种堆叠式端到端SLU系统在SmartLights远场集、近场集和FluentSpeech中的意图准确率分别为93.97%、95.18%和99.71%。
2022-04-08 cs.CL cs.SD eess.AS
Personal VAD 2.0: Optimizing Personal Voice Activity Detection for On-Device Speech Recognition
Google LLC（谷歌有限责任公司）
设备上语音识别（ASR）的个性化近年来出现了爆炸性增长，这主要是由于移动设备和智能家居扬声器上的个人助理功能越来越受欢迎。在这项工作中，我们提出了个人VAD 2.0，个性化的语音活动检测器，检测目标扬声器的语音活动，作为流媒体设备上的ASR系统的一部分。尽管之前的概念验证研究已经验证了Personal VAD的有效性，但在将此模型用于生产之前，仍有几个关键挑战需要解决：首先，在注册和无注册场景中，质量必须令人满意;其次，它应该以流媒体方式运行;最后，模型大小应该足够小，以适应有限的延迟和CPU/内存预算。为了满足多方面的需求，我们提出了一系列新颖的设计：1）先进的扬声器嵌入调制方法; 2）一种新的训练范式，以推广到无注册条件; 3）针对延迟和资源限制的架构和运行时优化。在一个真实的语音识别系统上进行的大量实验证明了我们所提出的方法的最先进的性能。
2022-06-25 cs.LG cs.SD eess.AS
DESAMO: A Device for Elder-Friendly Smart Homes Powered by Embedded LLM with Audio Modality
MAUM AI Inc.（MAUM人工智能公司）；Korea Culture Technology Institute（韩国文化科技研究所）
DESAMO是一款由嵌入式音频大语言模型驱动的适老化智能家居设备，通过直接处理原始音频，解决传统语音助手对老年人模糊语音和非语音音频处理不佳的问题，实现稳健的用户意图与关键事件理解。
2025-08-26 cs.HC cs.SD eess.AS
Lattice-based Improvements for Voice Triggering Using Graph Neural Networks
Apple（苹果公司）
语音触发的智能助理通常依赖于在开始监听用户请求之前检测到一个短语。减少错误触发是构建以隐私为中心的非侵入式智能助理的一个重要方面。在本文中，我们解决了错误触发缓解（FTM）的任务，使用一种新的方法的基础上分析自动语音识别（ASR）格使用图神经网络（GNN）。所提出的方法使用的事实是，解码晶格的错误触发的音频表现出不确定性方面的许多替代路径和意想不到的词的晶格弧相比，晶格的正确触发的音频。纯粹的短语检测器模型不能充分利用用户语音的意图，而通过使用用户音频的完整解码网格，我们可以有效地减轻不针对智能助理的语音。在本文中，我们分别基于1）图卷积层和2）自注意机制部署了两种GNN变体。我们的实验表明，GNN在FTM任务中具有高度的准确性，在99%的真阳性率（TPR）下减少了约87%的错误触发。此外，所提出的模型是快速的训练和有效的参数要求。
2020-01-25 cs.CL cs.LG cs.SD
mmWave-Whisper: Phone Call Eavesdropping and Transcription Using Millimeter-Wave Radar
Pennsylvania State University（宾夕法尼亚州立大学）
本文提出 mmWave-Whisper 系统，首次利用 77-81 GHz 商用毫米波雷达窃听手机耳机振动，结合合成数据、领域自适应与 Whisper 模型实现大词汇量完整句子的自动语音识别，在 25-125 厘米范围内单词准确率达 44.74%。
2024-10-22 cs.SD eess.AS
Multi-Channel Automatic Speech Recognition Using Deep Complex Unet
Northwestern Polytechnical University（西北工业大学）；Xiaomi Inc.（小米公司）
多通道自动语音识别（ASR）系统的前端模块主要利用麦克风阵列技术在混响和回声等噪声条件下产生增强信号。最近，基于神经网络（NN）的前端已经显示出比传统的信号处理方法有前途的改进。在本文中，我们建议采用深度复杂Unet（DCUnet）的架构-一个强大的复值Unet结构的语音增强模型-作为多通道声学模型的前端，并将它们集成在多任务学习（MTL）框架中，并与级联框架进行比较。同时，我们研究了所提出的方法与几种训练策略，以提高识别精度的1000小时的真实世界小米智能扬声器数据的回声。实验结果表明，与传统的阵列处理加单通道声学模型的方法相比，我们提出的DCUnet-MTL方法可以使相对特征出错率（CER）降低12.2%。它也实现了优于最近提出的神经波束形成方法的性能。
2020-11-18 cs.SD eess.AS
