Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming Networks
Samsung R\&D Institute Poland
我们提出了移动音频流网络（MASnet）的有效的低延迟语音增强，这是特别适合于移动设备和其他应用程序的计算能力是一个限制。MASnet处理线性尺度频谱图，将连续的噪声帧转换为复值比率掩模，然后将其应用于相应的噪声帧。MASnet可以在低延迟增量推理模式下运行，该模式与逐层批处理模式的复杂性相匹配。与类似的全卷积架构相比，MASnet结合了去卷积和逐点卷积，大大减少了每秒融合乘法累加运算（FMA/s），但代价是SNR有所降低。
2020-08-17 cs.LG cs.SD eess.AS
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic（奥迪克公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Sonova AG（索诺瓦公司）；Hörzentrum Oldenburg GmbH（奥尔登堡听力中心有限公司）
针对现有助听器在真实噪声环境中效果不佳的问题，研究团队开发了可在手机上实时运行的深度学习降噪系统，音频流式传输至助听器总延迟约75ms，经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
SpeechAgent: An End-to-End Mobile Infrastructure for Speech Impairment Assistance
University of New South Wales（新南威尔士大学）；Macquarie University（麦考瑞大学）；National University of Singapore（国立新加坡大学）；CSIRO's Data61（澳大利亚联邦科学与工业研究组织Data61部门）
SpeechAgent是一个端到端移动系统，结合大语言模型推理与语音处理模块，为构音障碍、口吃和失语症用户提供实时、低延迟的个性化辅助交流，并在真实数据集上验证了有效性和实用性。
2025-10-23 cs.SD cs.SY eess.SY
Flowchase: a Mobile Application for Pronunciation Training
Flowchase
本文介绍移动应用Flowchase，利用语音表示学习模型进行强制对齐与语音识别，为英语学习者提供音段和超音段发音的个性化即时反馈。
2023-07-05 cs.AI cs.CL cs.HC
ClearBuds: Wireless Binaural Earbuds for Learning-Based Speech Enhancement
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
我们提出ClearBuds，第一个硬件和软件系统，利用神经网络，以提高语音流从两个无线耳塞。无线耳塞的实时语音增强需要高质量的声音分离和背景消除，在移动电话上实时操作。Clear-Buds通过两项关键技术贡献，将盲音频声源分离和入耳式移动系统的最先进深度学习连接起来：1）能够作为同步双耳麦克风阵列运行的新型无线耳塞设计，以及2）在移动终端上运行的轻量级双通道语音增强神经网络。我们的神经网络有一个新的级联架构，结合了时域传统的神经网络与基于频谱的频率掩蔽神经网络，以减少在音频输出的文物。结果表明，我们的无线耳塞实现了小于64微秒的同步误差，我们的网络在配套手机上的运行时间为21.4毫秒。在以前看不见的室内和室外多径场景中对八个用户进行的野外评估表明，我们的神经网络可以概括学习空间和声学线索，以执行噪声抑制和背景语音去除。在一项用户研究中，37名参与者花了超过15.4小时对1041个野外收集的音频样本进行评级，我们的系统实现了改善的平均意见得分和背景噪声抑制。项目演示页面：https://clearbuds.cs.washington.edu
2022-06-27 cs.SD eess.AS
Speaker Independent Continuous Speech to Text Converter for Mobile Application
Pondicherry Engineering College（本地治里工程学院）
本文提出了一种适用于移动应用的高效语音文本转换器。其主要目的是制定一个系统，这将提供最佳的性能方面的复杂性，准确性，延迟和存储器的要求，移动环境。语音到文本转换器包括两个阶段，即前端分析和模式识别。前端分析包括预处理和特征提取。仅跟踪能量的传统语音活动检测算法不能成功地从输入中识别潜在的语音，因为语音的不想要的部分也具有一些能量并且看起来是语音。在该系统中，VAD，计算的能量的高频部分单独的过零率，以区分噪声和语音。采用Mel频率倒谱系数（MFCC）作为特征提取方法，采用广义回归神经网络作为识别器。MFCC提供低的字出错率和更好的特征提取。神经网络提高了预测精度。因此，包含用户所有可能的音节发音的小数据库足以给出接近100%的识别准确度。因此，所提出的技术娱乐实现实时的扬声器独立的应用，如移动电话，PDA等。
2013-07-19 cs.CL cs.NE cs.SD
HASP: A High-Performance Adaptive Mobile Security Enhancement Against Malicious Speech Recognition
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）
如今，基于机器学习的自动语音识别（ASR）技术已经在智能手机、家庭设备和公共设施中广泛普及。尽管这项技术很方便，但也带来了一个相当大的安全问题-用户的语音内容可能会受到恶意ASR监控，并导致严重的隐私泄露。在这项工作中，我们提出了HASP -一个高性能的安全增强方法来解决这个安全问题的移动设备。利用ASR系统对对抗性示例的脆弱性，HASP旨在将人类无法感知的对抗性噪声投射到实时语音中，并通过增加单词出错率（WER）来有效干扰恶意ASR监控。为了提高在移动设备上的实际性能，HASP还被优化以有效地适应人类语音特征、环境噪声和移动计算场景。实验表明，HASP可以实现最佳的实时安全增强：它可以导致平均WER为84.55%的干扰恶意ASR监测，数据处理速度是15倍到40倍的最先进的方法相比。此外，HASP可以有效地扰动各种ASR系统，表现出很强的可移植性。
2018-09-04 cs.CR cs.LG cs.SD
CITISEN: A Deep Learning-Based Speech Signal-Processing Mobile Application
Research Center for Information Technology Innovation at Academia Sinica（中央研究院资讯科技创新研究中心）
这项研究提出了一个基于深度学习的语音信号处理移动应用程序，称为CITISEN。CITISEN提供三种功能：语音增强（SE）、模型自适应（MA）和背景噪声转换（BNC），允许CITISEN用作使用和评估SE模型的平台，并灵活地扩展模型以应对各种噪声环境和用户。对于SE，从云服务器下载的预训练SE模型用于有效地减少来自用户提供的即时或保存的记录的噪声分量。对于遇到看不见的噪声或扬声器环境，MA功能被应用于提升CITISEN。上传在嘈杂环境中录制的一些音频样本，并用于在服务器上调整预训练的SE模型。最后，对于BNC，CITISEN首先通过SE模型去除背景噪声，然后将处理后的语音与新的背景噪声混合。新的BNC功能可以评估特定条件下的SE性能，覆盖人们的轨迹，并提供娱乐。实验结果证实了SE、MA和BNC函数的有效性。与含噪语音信号相比，增强后的语音信号在短时客观可懂度（STOI）和语音质量感知评价（PESQ）方面分别提高了约6%和33%。MA可使STOI和PESQ分别提高约6%和11%。最后，BNC实验结果表明，从噪声背景和无声背景转换的语音信号具有相近的场景识别精度，并且在声学场景分类模型中具有相似的嵌入。因此，提出的BNC可以有效地转换语音信号的背景噪声，并在干净的语音信号不可用时作为数据增强方法。
2022-04-25 cs.LG cs.SD eess.AS
SpeechCompass: Enhancing Mobile Captioning with Diarization and Directional Guidance via Multi-Microphone Localization
Google Research（谷歌研究院）
SpeechCompass通过多麦克风实时语音定位和低功耗微控制器硬件，在移动语音转文字中实现说话人分离与方向指引，解决了群组对话中的挑战，用户研究验证了其价值。
2025-03-04 cs.HC cs.SD
Fast, Compact, and High Quality LSTM-RNN Based Statistical Parametric Speech Synthesizers for Mobile Devices
Google（谷歌）
将基于长短期记忆递归神经网络（LSTM-RNNs）的声学模型应用于统计参数语音合成（SPSS），结果表明，与基于隐马尔可夫模型的声学模型相比，LSTM-RNNs在自然度和延迟方面有显著改善。本文描述了基于LSTM-RNN的SPSS在移动设备上部署的进一步优化;权重量化、多帧推理和使用ε污染高斯损失函数的鲁棒推理。主观听力测试的实验结果表明，这些优化可以使基于LSTM-RNN的SPSS在运行速度上与基于HMM的SPSS相当，同时保持自然性。最后，对基于LSTM-RNN的SPSS和HMM驱动的单元选择语音合成进行了比较。
2016-06-22 cs.CL cs.SD
Personalization of End-to-end Speech Recognition On Mobile Devices For Named Entities
Google（谷歌）
我们研究了几种技术的有效性，个性化的端到端的语音模型，并提高识别相关的用户专有名称。这些技术在提供监督所需的用户工作量方面有所不同，并根据它们如何影响语音识别性能进行评估。我们建议使用依赖于关键词的精确度和召回率指标来衡量词汇习得性能。我们评估了一个数据集上的算法，我们设计包含的名字的人是很难识别的。因此，该数据集中专有名称的基线召回率非常低：2.4%。我们开发的数据合成方法使其达到48.6%，无需用户的语音输入。在语音输入的情况下，如果用户仅纠正姓名，则姓名回忆率提高到64.4%。如果用户纠正了所有的识别错误，我们实现了73.5%的最佳召回率。为了消除在服务器上上传用户数据和存储个性化模型的需要，我们专注于在移动终端上执行整个个性化工作流。
2019-12-14 cs.LG cs.SD eess.AS
Practical cognitive speech compression
Université de Sherbrooke（舍布鲁克大学）
本文提出了一种新的神经语音压缩方法，它是实用的意义上，它工作在低比特率，引入了低延迟，是兼容的计算复杂度与当前的移动设备，并提供了一个主观的质量是可比的标准移动电话编解码器。最近提出的其他神经声码器也具有以低比特率操作的能力。然而，它们不产生与标准编解码器相同的主观质量水平。另一方面，标准编解码器依赖于客观和短期的指标，例如与感知仅弱相关的分段信噪比。此外，标准编解码器在捕获语音属性，特别是长期语音属性方面的效率低于无监督神经网络。所提出的方法结合了一个认知编码编码器，提取一个可解释的无监督分层表示与多级解码器，具有基于GAN的架构。我们观察到，这种方法是非常强大的量化表示功能。AB测试是在哈佛句子的一个子集上进行的，这些句子通常用于评估标准的移动电话编解码器。实验结果表明，该方法在时延、码率和主观质量方面均优于标准AMR-WB编解码器。
2022-03-08 cs.SD eess.AS
Masking Kernel for Learning Energy-Efficient Representations for Speaker Recognition and Mobile Health
Worcester Polytechnic Institute（伍斯特理工学院）
针对智能手机语音采集与 DNN 推理的能耗问题，提出在训练中结合梯度下降、掩码函数和低通滤波器的掩码核，以优化语音长度与采样率，实现 57% 节能并保持检测性能。
2023-08-15 cs.SD eess.AS
TRAMBA: A Hybrid Transformer and Mamba Architecture for Practical Audio and Bone Conduction Speech Super Resolution and Enhancement on Mobile and Wearable Platforms
Northwestern University（西北大学）；Columbia University（哥伦比亚大学）
TRAMBA是一种混合Transformer和Mamba架构，用于移动和可穿戴平台上的音频与骨传导语音增强，通过预训练和少量微调数据，在PESQ和STOI上超越最先进GANs，同时大幅降低内存占用和推理时间，并提升电池寿命。
2024-05-29 cs.AI cs.LG cs.SD
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC（谷歌有限责任公司）
流传输端到端语音识别模型已经广泛应用于移动设备，并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是，服务器数据分布可能与用户设备上的数据分布非常不同，这可能会影响模型性能。在设备上训练有两个主要挑战，有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配，但由于内存限制，它们不直接适用于移动设备。在本文中，我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上，其中只有一层更新的时间。大量的实验结果表明，该算法获得了一个字的出错率（WER）在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
Lightweight DNN for Full-Band Speech Denoising on Mobile Devices: Exploiting Long and Short Temporal Patterns
Nokia Technologies Espoo, Finland（诺基亚技术公司（埃斯波，芬兰））；Nokia Technologies Tampere, Finland（诺基亚技术公司（塔尔皮奥拉，芬兰））；Nokia Bell Labs Antwerp, Belgium（诺基亚贝尔实验室（安特卫普，比利时））
针对移动设备上全带低延迟语音去噪资源受限的问题，提出一种结合长短时间模式的轻量因果DNN方法，基于改进UNet架构，在手机上实时因子低于0.02，（SI-）SDR性能优于现有同类方法。
2025-09-05 cs.LG cs.SD eess.AS
An Investigation Into On-device Personalization of End-to-end Automatic Speech Recognition Models
Google（谷歌）
用来自许多用户的数据训练的说话者无关语音识别系统通常对说话者可变性是鲁棒的，并且对于大量说话者工作良好。然而，这些系统并不总是很好地推广具有非常不同的语音特征的用户。这个问题可以通过构建针对每个特定用户的个性化系统来解决。在本文中，我们研究了在移动设备上安全地训练个性化端到端语音识别模型的想法，这样用户数据和模型就不会离开设备，也不会存储在服务器上。我们通过模拟设备上的数据消耗来研究移动训练环境如何影响性能。我们使用从言语障碍用户收集的数据进行个性化实验。我们的研究结果表明，个性化实现了63.7%的相对字错误率降低时，在服务器环境和58.1%，在移动环境中训练。迁移到设备上的个性化导致性能下降18.7%，以换取更好的可扩展性和数据隐私。为了在设备上训练模型，我们将梯度计算分为两部分，并以增加42%的训练时间为代价，实现了45%的内存减少。
2019-09-14 cs.LG cs.SD eess.AS
Robust Recognition of Simultaneous Speech By a Mobile Robot
CSIRO ICT Centre（澳大利亚联邦科学与工业研究组织信息与通信技术中心）；Université de Sherbrooke（舍布鲁克大学）；Kyoto University（京都大学）；HONDA Research Institute Japan Co., Ltd（本田日本研究所）
本文介绍了一个系统，使移动机器人的能力，执行自动语音识别与同时发言人。麦克风阵列与几何声源分离的实时实现和后滤波器一起使用，该后滤波器进一步减少了来自其他源的干扰。后置滤波器还用于估计光谱特征的可靠性并计算缺失特征掩模。该掩模用于基于缺失特征理论的语音识别系统中，以在人形机器人的背景下识别来自同时日语说话者的语音。识别率为三个同时扬声器位于2米的机器人。该系统进行了评估，在不同的方位角之间的来源，从10到90度的200字的词汇。与单独使用麦克风阵列声源分离相比，我们证明了后滤波器的相对识别出错率平均降低了24%，而当缺失特征方法与后滤波器相结合时，相对识别错误率平均降低了42%。我们证明了我们的多源麦克风阵列后置滤波器的有效性和改进，它提供了与丢失的功能理论结合使用时。
2016-02-20 cs.RO cs.SD
Robust Phonetic Segmentation Using Spectral Transition measure for Non-Standard Recording Environments
TCS Innovation Labs（塔塔咨询服务公司创新实验室）
发音错误的音素级定位是发音错误自动评估系统的关键要求。一个强大的电话分割技术是必不可少的，以帮助实时评估语音的电话级发音错误，其中音频记录在移动电话或平板电脑上。这是一个非标准的录音设置，对录音质量几乎没有控制。我们提出了一种新的后处理技术，以帮助光谱转换测量（STM）为基础的电话分割在嘈杂的条件下，如环境噪声和剪辑，通常存在于手机录音。我们的方法和电话分割使用传统的MFCC和PLPCC语音特征的高斯噪声和削波的性能比较。所提出的方法在TIMIT和印地语语音语料库上进行了验证，并用于计算一组语音的电话边界，这些语音同时记录在三台设备（笔记本电脑、固定放置的平板电脑和手持手机）上，以模拟不同的音频质量实时非标准记录环境。F比率是用于计算电话边界标记准确性的度量。实验结果表明，TIMIT和10%的印地语数据比基线方法提高了7%。对于内部收集的一组三个记录，也观察到类似的结果。
2020-04-29 cs.SD eess.AS
On-device neural speech synthesis
Apple（苹果公司）
文本到语音（TTS）合成的最新进展，如Tacotron和WaveRNN，使得有可能通过将两个组件耦合在一起来构建一个完全基于神经网络的TTS系统。这样的系统在概念上是简单的，因为它只需要字素或音素输入，使用梅尔频谱图作为中间特征，并直接生成语音样本。该系统实现了等于或接近自然语音的质量。然而，系统的高计算成本和鲁棒性问题限制了它们在现实世界的语音合成应用和产品中的使用。在本文中，我们提出了关键的建模改进和优化策略，使部署这些模型，不仅在GPU服务器上，而且在移动设备上。该系统可以生成高质量的24 kHz语音，速度比服务器上的实时速度快5倍，比移动设备上的实时速度快3倍。
2021-09-17 cs.CL cs.PF cs.SD
Personalized Speech recognition on mobile devices
Google Inc.（谷歌公司）
我们描述了一个大词汇量的语音识别系统，它是准确的，具有低延迟，但有一个足够小的内存和计算足迹运行速度比Nexus 5 Android智能手机上的实时。我们采用了一个量化的长短期记忆（LSTM）声学模型，用连接主义时间分类（CTC）训练直接预测音素目标，并使用基于SVD的压缩方案进一步减少其内存占用。此外，我们最大限度地减少我们的内存足迹，使用一个单一的语言模型的听写和语音命令域，使用贝叶斯插值构造。最后，为了正确处理设备特定的信息，如专有名称和其他上下文相关的信息，我们将词汇项注入解码器图，并在运行中偏置语言模型。我们的系统实现了13.5%的字出错率的开放式听写任务，运行速度的中位数比实时快7倍。
2016-03-11 cs.CL cs.LG cs.SD
Unified Keyword Spotting and Audio Tagging on Mobile Devices with Transformers
Xiaomi Corperation（小米公司）
关键词识别（KWS）是大多数现代智能助理的核心人机交互前端任务。最近，一个统一的（UniKW-AT）框架已经提出，增加了额外的能力，在音频标记（AT）的形式，KWS模型。然而，以前的工作没有考虑UniKW-AT模型的实际部署，其中模型大小和推理速度等因素比性能更重要。这项工作介绍了三个移动设备部署模型命名为统一的Transformers（UiT）。我们最好的模型在Audioset上达到了34.09的mAP，在公共的Google Speech Commands V1数据集上达到了97.76的准确度。此外，我们基准我们提出的方法在四个移动平台上，揭示了建议的UiT模型可以实现2 - 6倍的加速比对竞争对手MobileNetV 2。
2023-03-03 cs.SD eess.AS
Streaming Parrotron for on-device speech-to-speech conversion
Google Research（谷歌研究院）
本文提出端侧流式语音到语音转换模型，通过编码器实时流式处理、解码器与声码器流式生成，并设计前瞻特征堆叠与自注意力混合方法，在 Pixel4 CPU 上实现近 2 倍实时速度且质量损失极小。
2023-05-24 cs.SD eess.AS
Distilled HuBERT for Mobile Speech Emotion Recognition: A Cross-Corpus Validation Study
Department of Communications and Information Engineering（通信与信息工程系）；University of Science and Technology, Zewail City（科学技术大学，泽维尔城）
本文提出基于DistilHuBERT的移动高效语音情感识别系统，通过跨语料库训练提升泛化能力，实现92%参数减少和61.4%准确率，同时保持对愤怒情绪的高召回率。
2025-12-31 cs.AI cs.SD
Streaming keyword spotting on mobile devices
Google Research（谷歌研究院）；Google Speech（谷歌语音团队）
在这项工作中，我们探讨的延迟和准确性的关键字定位（KWS）模型在流媒体和非流媒体模式的手机。NN模型从非流模式（模型接收整个输入序列，然后返回分类结果）到流模式（模型接收输入序列的一部分，并递增地对其进行分类）的转换可能需要手动模型重写。我们通过设计一个基于Tensorflow/Keras的库来解决这个问题，该库允许以最小的努力将非流模型自动转换为流模型。通过这个库，我们在移动电话上的流和非流模式下对多个KWS模型进行了基准测试，并展示了延迟和准确性之间的不同权衡。我们还探索了具有多头注意力的新型KWS模型，该模型在Google语音命令数据集V2上将最先进的分类错误减少了10%。所有实验的流媒体库都是开源的。
2020-07-29 cs.SD eess.AS
Lightweight feature encoder for wake-up word detection based on self-supervised speech representation
LG AI Research（LG人工智能研究院）
提供广义语音表示的自监督学习方法最近受到越来越多的关注。Wav2vec 2.0是最著名的例子，在许多下游语音处理任务中表现出卓越的性能。尽管它取得了成功，但由于其昂贵的计算成本，将其直接用于移动设备上的唤醒词检测是具有挑战性的。在这项工作中，我们提出了LiteFEW，一个轻量级的特征编码器唤醒字检测，保留了wav2vec 2.0的固有能力与最小规模。在该方法中，通过引入基于自动编码器的降维技术来压缩预训练的wav2vec 2.0的知识，并将其提取为LiteFEW。在开源“Hey Snips”数据集上的实验结果表明，该方法应用于各种模型结构，显著提高了性能，仅用64k个参数就实现了20%以上的相对改进。
2023-03-14 cs.SD eess.AS
Fast Development of ASR in African Languages using Self Supervised Speech Representation Learning
African Masters of Machine Intelligence（非洲机器学习硕士项目）；Naver Labs, Europe（欧洲 Naver 实验室）
本文描述了2020年6月非洲机器智能硕士（AMMI）期间启动的非正式合作的结果。在一系列关于使用移动应用程序收集语音数据和从语音中进行自我监督表示学习的讲座和实验之后，一小群学生和讲师继续研究三种语言的自动语音识别（ASR）项目：沃洛夫语，Ga和索马里语。本文介绍了如何收集数据和ASR系统开发与少量（1小时）的转录语音作为训练数据。在这些低资源条件下，在大量原始语音上预训练模型对于所开发的ASR系统的效率至关重要。
2021-03-16 cs.CL cs.SD eess.AS
Temporal Convolution for Real-time Keyword Spotting on Mobile Devices
Hyperconnect（超连接公司）
关键词识别（KWS）在智能设备上实现基于语音的用户交互方面发挥着关键作用。深度学习领域的最新发展使得卷积神经网络（CNN）因其出色的准确性和鲁棒性而在KWS系统中得到广泛采用。KWS系统面临的主要挑战是高准确性和低延迟之间的权衡。不幸的是，几乎没有对移动设备上KWS模型的实际延迟进行定量分析。这尤其令人担忧，因为已知传统的基于卷积的KWS方法需要大量的操作来获得足够的性能水平。在本文中，我们提出了一个时间卷积的实时的【形】KWS在移动设备上。与大多数基于2D卷积的KWS方法不同，这些方法需要一个深度架构来完全捕获低频和高频域，我们利用具有紧凑ResNet架构的时间卷积。在Google Speech Command Dataset中，我们在Google Pixel 1上实现了超过\textbf{385x}的加速，并且与最先进的模型相比，其准确性更高。此外，我们还发布了建议模型和基线模型的实现，包括用于训练模型的端到端管道，并在移动设备上对其进行评估。
2019-11-18 cs.LG cs.NE cs.SD
Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing
EmulationAI；Queensland University of Technology (QUT)（昆士兰科技大学（QUT））；University of the West Scotland（西苏格兰大学）；National University of Computer and Emerging Sciences (NUCES)（国立计算机与新兴科学大学（NUCES））；Qatar University（卡塔尔大学）
针对现有研究多聚焦复杂架构语音情绪识别的现状，提出基于知识蒸馏的边缘计算非语音音频情绪识别框架，经公开数据集验证性能优异，为相关领域提供了新方向。
2023-05-01 cs.SD eess.AS
INT8 Winograd Acceleration for Conv1D Equipped ASR Models Deployed on Mobile Devices
Alibaba Group（阿里巴巴集团）
自动语音识别（ASR）模型的密集计算阻碍了它们在移动设备上的部署。在本文中，我们提出了一种新的量化Winograd优化流水线，它结合了量化和快速卷积，以实现有效的推理加速移动设备上的ASR模型。为了避免量化和Winograd卷积结合带来的信息损失，提出了一种范围尺度量化（RSQ）训练方法，以扩大量化的数值范围，并从高精度值中提取知识。此外，改进的Conv1D装备DFSMN（ConvDFSMN）模型的移动部署设计。我们在ConvDFSMN和Wav2letter模型上进行了大量的实验。结果表明，该管道可以有效地优化模型。特别是，Wav2letter在基于ARMv7的移动设备上实现了1.48倍的加速比，WER降低了约0.07%。
2020-10-28 cs.CL cs.SD eess.AS
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Learnable Pulse Accumulation for On-Device Speech Recognition: How Much Attention Do You Need?
本文提出可学习脉冲累积(LPA)替代自注意力机制，通过学习门控函数提升边缘设备语音识别性能，实验显示替换8层模型在LibriSpeech测试集上达到10.61%的WER，速度提升3.27倍。
2026-03-11 cs.SD eess.AS
Hello Afrika: Speech Commands in Kinyarwanda
Carnegie Mellon University, Africa（卡内基梅隆大学非洲校区）
针对非洲语言语音指令模型匮乏问题，Hello Afrika 项目首次迭代构建了基尼亚卢旺达语语音指令模型，并在多种设备上部署验证性能。
2025-06-16 cs.AI cs.SD eess.AS
Auditory System for a Mobile Robot
Faculté de génie（工程学院）
在这篇论文中，我们提出了一个人工听觉系统，使机器人能够定位和跟踪声音，以及分离同步声源和识别同步语音。我们证明，这是可能的，以实现这些功能，使用麦克风阵列，而不试图模仿人类的听觉系统。声源定位和跟踪算法使用转向波束形成器来定位源，然后使用多源粒子滤波器来跟踪源。同时声源的分离是通过几何声源分离（GSS）算法的一种变体实现的，结合了多源后置滤波器，进一步降低了噪声、干扰和混响。语音识别是在分离的源上执行的，或者直接执行，或者通过使用缺失特征理论（MFT）来估计语音特征的可靠性。结果表明，即使在嘈杂和混响的环境中，也可以同时跟踪多达四个声源。还演示了机器人的实时控制的声源。我们提出的声音声源分离的方法是能够实现一个13.7 dB的改善信噪比相比，一个单一的麦克风时，三个扬声器。在这些条件下，该系统在数字识别上表现出超过80%的准确率，高于大多数人类听众在我们的小型案例研究中仅识别其中一个来源时所能获得的准确率。所有这些新功能将使人类在现实生活中与移动机器人进行更自然的互动。
2016-02-22 cs.RO cs.SD
HiFi-Stream: Streaming Speech Enhancement with Generative Adversarial Networks
HSE University（俄罗斯莫斯科高等经济大学）
本文提出低计算量流式语音增强模型 HiFi-Stream，在保留 Hi++ 主要音质的同时显著减小尺寸和复杂度，并在流式评测中优于现代基线。
2025-07-23 cs.LG cs.SD eess.AS
An automatic volume control for preserving intelligibility
已经开发了一种新方法，用于自动调整配备有至少一个麦克风的所有音频设备上的音量，包括移动电话、个人媒体播放器、耳机和汽车收音机，这些音频设备可能在嘈杂的环境中使用，例如人群、汽车和户外。该方法使用一套专利算法，在此类设备的芯片上实现，以在嘈杂的环境中保持恒定的语音清晰度，而不是恒定的信噪比。该算法实时的分析噪声背景，并仅补偿干扰语音清晰度的频域和时域中的波动噪声。这种控制音量的方法的优点包括：在不牺牲清晰度的情况下控制音量;仅针对持续的语音干扰噪声进行调整;平滑音量波动;以及消除由噪声尖峰引起的静态突发。实际的人为因素的方法来实现这些算法在手机上进行了讨论。
2013-07-17 cs.SD
Resource-Efficient Speech Quality Prediction through Quantization Aware Training and Binary Activation Maps
Friedrich Miescher Institute for Biomedical Research（弗里德里希·米舍尔生物医学研究所）；GN Audio（GN音频公司）；Technical University of Denmark（丹麦技术大学）；University of Basel（巴塞尔大学）
本文提出基于DNSMOS的卷积架构结合二值激活图（BAMs）与量化感知训练，在匹配基线预测性能的同时结合8位权重量化实现25倍内存减少，为资源受限设备上的语音质量预测提供高效方案。
2024-07-05 cs.NE cs.SD eess.AS
A baseline model for computationally inexpensive speech recognition for Kazakh using the Coqui STT framework
Taruen
移动设备正在改变人们与计算机交互的方式，应用程序的语音接口变得越来越重要。最近公布的自动语音识别系统非常准确，但通常需要强大的机器（专用图形处理单元）进行推理，这使得它们在商品设备上运行不切实际，特别是在流模式下。对Kazakh ASR基线模型的准确性印象深刻，但对该模型的推理时间不满意（Khassanov等人，2021）在不使用GPU时，我们训练了一个新的基线声学模型（与上述论文相同的数据集）和三个语言模型，用于Coqui STT框架。结果看起来很有希望，但需要进一步的训练和参数扫描，或者限制ASR系统必须支持的词汇，以达到生产级的准确性。
2021-11-28 cs.CL cs.LG cs.SD
Coded Speech Quality Measurement by a Non-Intrusive PESQ-DNN
Technische Universität Braunschweig（布伦瑞克工业大学）；GN Hearing（GN听力公司）
本文提出非侵入式PESQ-DNN模型，无需参考信号即可预测宽带编码语音的PESQ分数，在无帧丢失及有帧丢失条件下均优于QualityNet、WaweNet和DNSMOS等现有方法。
2023-04-18 cs.SD eess.AS
An empirical study of weakly supervised audio tagging embeddings for general audio representations
Xiaomi Corporation（小米公司）
我们研究了预训练的弱监督音频标记（AT）模型作为一般音频表示的特征提取器的可用性。我们主要分析了将这些嵌入转移到语音和声音域中的其他任务的可行性。具体来说，我们将弱监督预训练模型（MobileNetV 2和EfficientNet-B 0）与现代自监督学习方法（BYOL-A）作为特征提取器进行基准测试。14个下游任务用于评估，从乐器分类到语言分类。我们的研究结果表明，AT预训练模型是音乐，事件和情感识别任务的优秀迁移学习选择。此外，微调AT模型还可以使语音相关任务受益，例如关键字识别和意图分类。
2022-09-30 cs.SD eess.AS
Lightweight Protection for Privacy in Offloaded Speech Understanding
针对资源受限设备上的语音卸载隐私风险，提出轻量级系统XXX，通过选择性掩蔽短期细节保护隐私，在STM32H7上实现53.3倍加速和134.1倍内存缩减，同时保持准确率与隐私水平。
2024-01-22 cs.CR cs.SD eess.AS
ValSub: Subsampling Validation Data to Mitigate Forgetting during ASR Personalization
Samsung R&D Institute UK (SRUK)（三星英国研发研究所）；Samsung Electronics（三星电子）
本文提出ValSub方法，通过对大规模验证集进行子采样，在保持遗忘估计能力的同时，动态确定ASR个性化微调的最佳轮数，从而以更小数据规模有效缓解灾难性遗忘。
2025-04-07 cs.SD eess.AS
Effects of Dataset Sampling Rate for Noise Cancellation through Deep Learning
University of Maryland（马里兰大学）
本研究探讨训练数据采样率对轻量级深度神经网络ConvTasNET在移动设备上实现主动噪声消除性能的影响，发现较高采样率（如48kHz）能显著提升音频质量评估指标，但会增加处理时间。
2024-05-30 cs.AI cs.SD eess.AS
SimulTron: On-Device Simultaneous Speech to Speech Translation
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出轻量级端侧同声语音到语音翻译架构 SimulTron，通过改进 Translatotron 框架实现流式操作与可调延迟，在离线与实时评估中超越前代且降低延迟，并成功部署于移动设备。
2024-06-04 cs.CL cs.LG cs.SD
Streaming on-device detection of device directed speech from voice and touch-based invocation
Apple（苹果公司）
当与诸如移动电话或可穿戴设备的智能设备交互时，用户通常通过说出关键字或通过按下设备上的按钮来调用虚拟助理（VA）。然而，在许多情况下，VA可能被类似关键字的语音或意外的按钮按压意外地调用，这可能对用户体验和隐私具有影响。为此，我们提出了一个声学的错误触发缓解（FTM）的方法，设备上的设备导向的语音检测，同时处理语音触发和触摸为基础的调用。为了便于在设备上部署模型，我们引入了一个新的流决策层，该层使用时间卷积网络（TCN）[1]的概念导出，以其计算效率而闻名。据我们所知，这是第一种可以以流式方式从多个调用类型中检测设备定向语音的方法。我们将这种方法与基于vanilla Average层和规范LSTM的流媒体替代方案进行比较，并显示：（i）与调用特定模型相比，所有模型仅显示出准确性的小降级，以及（ii）新引入的流式传输TCN始终表现得更好或与替代方案相当，同时在时间上更快地减轻设备无向语音，并且与非流对应物相比，基于LSTM的方法的运行时峰值内存（相对）减少了33%对7%。
2021-10-09 cs.LG cs.SD eess.AS
Personal VAD 2.0: Optimizing Personal Voice Activity Detection for On-Device Speech Recognition
Google LLC（谷歌有限责任公司）
设备上语音识别（ASR）的个性化近年来出现了爆炸性增长，这主要是由于移动设备和智能家居扬声器上的个人助理功能越来越受欢迎。在这项工作中，我们提出了个人VAD 2.0，个性化的语音活动检测器，检测目标扬声器的语音活动，作为流媒体设备上的ASR系统的一部分。尽管之前的概念验证研究已经验证了Personal VAD的有效性，但在将此模型用于生产之前，仍有几个关键挑战需要解决：首先，在注册和无注册场景中，质量必须令人满意;其次，它应该以流媒体方式运行;最后，模型大小应该足够小，以适应有限的延迟和CPU/内存预算。为了满足多方面的需求，我们提出了一系列新颖的设计：1）先进的扬声器嵌入调制方法; 2）一种新的训练范式，以推广到无注册条件; 3）针对延迟和资源限制的架构和运行时优化。在一个真实的语音识别系统上进行的大量实验证明了我们所提出的方法的最先进的性能。
2022-06-25 cs.LG cs.SD eess.AS
Deep Learning Approaches for Understanding Simple Speech Commands
Institute for Design Problems in Microelectronics of Russian Academy of Sciences（俄罗斯科学院微电子设计问题研究所）；GIS（2GIS）；NGSLab（NGS实验室）；Massachusetts Institute of Technology（麻省理工学院）
声音命令的自动分类变得越来越重要，特别是对于移动和嵌入式设备。这些设备中的许多都包含摄像头和麦克风，开发它们的公司希望使用相同的技术来完成这两项分类任务。实现这一点的一种方法是将声音命令表示为图像，并在对图像和声音进行分类时使用卷积神经网络。在本文中，我们考虑了几种解决声音分类问题的方法，我们在Google Brain团队在Kaggle平台上组织的TensorFlow语音识别挑战赛中应用了这些方法。在这里，我们展示了不同的声音表示（波帧，频谱图，梅尔频谱图，MFCC），并应用了几个1D和2D卷积神经网络，以获得最佳性能。我们的实验表明，我们找到了合适的声音表示和相应的卷积神经网络。因此，我们取得了良好的分类精度，使我们能够在1315支球队中获得第8名。
2018-10-04 cs.HC cs.SD eess.AS
LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
文语转换（TTS）技术已经被广泛应用于在不同场景下合成自然、清晰的语音。在各种终端设备（如移动电话或嵌入式设备）中部署TTS需要极小的内存使用和推理延迟。虽然诸如FastSpeech的非自回归TTS模型已经实现了比自回归模型显著更快的推理速度，但是它们的模型大小和推理延迟对于在资源受限设备中的部署来说仍然很大。在本文中，我们提出了LightSpeech，它利用神经架构搜索（NAS）自动设计基于FastSpeech的更轻量级和更高效的模型。我们首先分析了当前FastSpeech模型的组成部分，并仔细设计了一个包含各种轻量级和潜在有效架构的新颖搜索空间。然后利用NAS在搜索空间内自动发现性能良好的体系结构。实验结果表明，在保证语音质量的前提下，该方法在CPU上获得了15倍的模型压缩比和6.5倍的推理加速比。音频演示在https://speechresearch.github.io/lightspeech上提供。
2021-02-08 cs.AI cs.LG cs.SD
StellarTTS: Sparse Temporal Embedding for Low-Latency and Robust Speech Synthesis
研究针对TTS系统中稳健性、延迟和韵律的权衡问题，提出基于稀疏时间嵌入策略的StellarTTS框架及语义感知编解码器，实现对音素多方面精细控制，其轻量级模型实时因子达0.08，实验证明该框架在多方面表现出色。
2026-07-23 cs.SD
EdgeSpeechNets: Highly Efficient Deep Neural Networks for Speech Recognition on the Edge
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（达尔文人工智能公司）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
尽管显示出最先进的性能，但用于语音识别的深度学习仍然具有挑战性，难以部署在移动和其他消费设备等设备上的边缘场景中。最近，人们在设计更适合边缘设备的小型、低占用深度神经网络（DNN）方面做出了更大的努力，主要集中在手工制作高效网络架构的设计原则上。在这项研究中，我们探索了一种人机协同设计策略，通过人为驱动的原则性网络设计原型和机器驱动的设计探索的婚姻，为语音识别构建低占用DNN架构。通过设计一系列用于有限词汇语音识别的高效DNN（昵称为EdgeSpeechNets），证明了这种设计策略的有效性。使用Google Speech Commands数据集进行词汇量有限的语音识别的实验结果表明，EdgeSpeechNets比最先进的DNN具有更高的准确率（最好的EdgeSpeechNet达到约97%的准确率），同时实现更小的网络规模（小7.8倍）和更低的计算成本（乘加运算减少36倍，预测延迟降低10倍，摩托罗拉Moto E手机的内存占用减少16倍），使其非常适合设备上的边缘语音接口应用。
2018-11-13 cs.LG cs.NE cs.SD
VibOmni: Towards Scalable Bone-conduction Speech Enhancement on Earables
department of information engineering, The Chinese University of Hong Kong（信息工程系，香港中文大学）
VibOmni通过骨传导振动与音频融合，提升耳戴设备在嘈杂环境中的语音质量与噪声抑制能力。
2025-12-02 cs.SD
