RTMobile: Beyond Real-Time Mobile Acceleration of RNNs for Speech Recognition
Northeastern University（东北大学）；The College of William and Mary（威廉与玛丽学院）；The University of Alabama（阿拉巴马大学）
基于递归神经网络（RNN）的自动语音识别如今在诸如智能电话的移动设备上变得流行。然而，以前的RNN压缩技术要么由于不规则性而遭受硬件性能开销，要么由于硬件友好性而保留的规则性而遭受显著的准确性损失。在这项工作中，我们提出了RTMobile，它利用一种新的基于块的修剪方法和编译器优化来加速移动设备上的RNN推理。我们提出的RTMobile是第一个可以在移动平台上实现实时的【形】RNN推理的工作。实验结果表明，RTMobile在推理精度和时间方面明显优于现有的RNN硬件加速方法。在保证推理时间不变的情况下，RTMobile在GRU上使用Adreno 640嵌入式GPU，与FPGA上的工作相比，可以提高约40 $\times$的能量效率。
2020-02-19 cs.LG cs.SD eess.AS
Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming Networks
Samsung R\&D Institute Poland
我们提出了移动音频流网络（MASnet）的有效的低延迟语音增强，这是特别适合于移动设备和其他应用程序的计算能力是一个限制。MASnet处理线性尺度频谱图，将连续的噪声帧转换为复值比率掩模，然后将其应用于相应的噪声帧。MASnet可以在低延迟增量推理模式下运行，该模式与逐层批处理模式的复杂性相匹配。与类似的全卷积架构相比，MASnet结合了去卷积和逐点卷积，大大减少了每秒融合乘法累加运算（FMA/s），但代价是SNR有所降低。
2020-08-17 cs.LG cs.SD eess.AS
Localization of Simultaneous Moving Sound Sources for Mobile Robot Using a Frequency-Domain Steered Beamformer Approach
Université de Sherbrooke（舍布鲁克大学）
现实生活中的移动机器人将受益于能够定位声源。这种能力可以很好地补充视觉，以帮助定位环境中的人或感兴趣的事件，并且还为诸如语音识别的其他能力提供增强的处理。在本文中，我们提出了一个强大的声源定位方法在三维空间中使用的阵列的8个麦克风。该方法是基于一个频域实现的转向波束形成器以及概率后处理器。实验结果表明，移动机器人可以在5 m范围内对多个不同类型的运动源进行实时的定位，响应时间为200 ms。
2016-02-27 cs.RO cs.SD
Personalization of End-to-end Speech Recognition On Mobile Devices For Named Entities
Google（谷歌）
我们研究了几种技术的有效性，个性化的端到端的语音模型，并提高识别相关的用户专有名称。这些技术在提供监督所需的用户工作量方面有所不同，并根据它们如何影响语音识别性能进行评估。我们建议使用依赖于关键词的精确度和召回率指标来衡量词汇习得性能。我们评估了一个数据集上的算法，我们设计包含的名字的人是很难识别的。因此，该数据集中专有名称的基线召回率非常低：2.4%。我们开发的数据合成方法使其达到48.6%，无需用户的语音输入。在语音输入的情况下，如果用户仅纠正姓名，则姓名回忆率提高到64.4%。如果用户纠正了所有的识别错误，我们实现了73.5%的最佳召回率。为了消除在服务器上上传用户数据和存储个性化模型的需要，我们专注于在移动终端上执行整个个性化工作流。
2019-12-14 cs.LG cs.SD eess.AS
RADE for Land Mobile Radio: A Neural Codec for Transmission of Speech over Baseband FM Radio Channels
本文提出RADE神经编解码器，利用自编码器在基带FM信道上传输8 kHz高质量语音，在衰落LMR信道中优于模拟FM，并在商用UHF无线电上完成验证。
2025-09-21 cs.SD eess.AS
Towards robust paralinguistic assessment for real-world mobile health (mHealth) monitoring: an initial study of reverberation effects on speech
King’s College London（伦敦国王学院）；University of Sussex（萨塞克斯大学）；University College London（伦敦大学学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
针对移动健康监测中设备与环境差异影响语音副语言学特征可靠性的问题，本研究通过不同设备、混响环境下的语音实验分析特征变异性，为真实场景语音健康评估的鲁棒性研究指明方向。
2023-05-31 cs.SD eess.AS
HASP: A High-Performance Adaptive Mobile Security Enhancement Against Malicious Speech Recognition
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）
如今，基于机器学习的自动语音识别（ASR）技术已经在智能手机、家庭设备和公共设施中广泛普及。尽管这项技术很方便，但也带来了一个相当大的安全问题-用户的语音内容可能会受到恶意ASR监控，并导致严重的隐私泄露。在这项工作中，我们提出了HASP -一个高性能的安全增强方法来解决这个安全问题的移动设备。利用ASR系统对对抗性示例的脆弱性，HASP旨在将人类无法感知的对抗性噪声投射到实时语音中，并通过增加单词出错率（WER）来有效干扰恶意ASR监控。为了提高在移动设备上的实际性能，HASP还被优化以有效地适应人类语音特征、环境噪声和移动计算场景。实验表明，HASP可以实现最佳的实时安全增强：它可以导致平均WER为84.55%的干扰恶意ASR监测，数据处理速度是15倍到40倍的最先进的方法相比。此外，HASP可以有效地扰动各种ASR系统，表现出很强的可移植性。
2018-09-04 cs.CR cs.LG cs.SD
TRAMBA: A Hybrid Transformer and Mamba Architecture for Practical Audio and Bone Conduction Speech Super Resolution and Enhancement on Mobile and Wearable Platforms
Northwestern University（西北大学）；Columbia University（哥伦比亚大学）
TRAMBA是一种混合Transformer和Mamba架构，用于移动和可穿戴平台上的音频与骨传导语音增强，通过预训练和少量微调数据，在PESQ和STOI上超越最先进GANs，同时大幅降低内存占用和推理时间，并提升电池寿命。
2024-05-29 cs.AI cs.LG cs.SD
A Small-footprint Acoustic Echo Cancellation Solution for Mobile Full-Duplex Speech Interactions
Speech Lab, Alibaba Group（阿里集团语音实验室）
本文提出一种基于神经网络的移动全双工语音交互小占用声学回声消除方案，结合数据增强、渐进式学习及定制后处理策略，显著提升了语音质量及VAD和ASR等下游任务的效果。
2025-08-11 cs.AI cs.SD eess.AS
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC（谷歌有限责任公司）
流传输端到端语音识别模型已经广泛应用于移动设备，并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是，服务器数据分布可能与用户设备上的数据分布非常不同，这可能会影响模型性能。在设备上训练有两个主要挑战，有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配，但由于内存限制，它们不直接适用于移动设备。在本文中，我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上，其中只有一层更新的时间。大量的实验结果表明，该算法获得了一个字的出错率（WER）在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
Training end-to-end speech-to-text models on mobile phones
Indian Institute of Science（印度科学理工学院）
在移动设备中训练最先进的语音到文本（STT）模型是具有挑战性的，这是由于其相对于服务器环境的有限资源。此外，这些模型是在通用数据集上训练的，这些数据集在捕获用户特定特征方面并不详尽。最近，设备上的个性化技术在缓解这个问题方面取得了长足的进步。虽然目前的许多研究已经探索了设备上个性化的有效性，但他们的大多数研究结果仅限于模拟设置或特定的智能手机。在本文中，我们开发并提供了一个详细的解释，我们的框架，训练端到端的手机模型。为了使其简单，我们考虑了一个基于连接主义时间分类（CTC）损失的模型。我们在不同品牌的各种手机上评估了框架，并报告了结果。我们提供了足够的证据表明，微调模型和选择正确的超参数值是可实现的最低WER、设备上的训练时间和内存消耗之间的权衡。因此，这对于将设备上的培训成功部署到移动电话等资源有限的环境中至关重要。我们使用来自不同口音的说话者的训练集，并记录了平均单词错误率（WER）下降7.6%。我们还报告了相关的计算成本测量的时间，内存使用量和CPU利用率在移动电话中的实时。
2021-12-07 cs.SD eess.AS
Flowchase: a Mobile Application for Pronunciation Training
Flowchase
本文介绍移动应用Flowchase，利用语音表示学习模型进行强制对齐与语音识别，为英语学习者提供音段和超音段发音的个性化即时反馈。
2023-07-05 cs.AI cs.CL cs.HC
Lightweight DNN for Full-Band Speech Denoising on Mobile Devices: Exploiting Long and Short Temporal Patterns
Nokia Technologies Espoo, Finland（诺基亚技术公司（埃斯波，芬兰））；Nokia Technologies Tampere, Finland（诺基亚技术公司（塔尔皮奥拉，芬兰））；Nokia Bell Labs Antwerp, Belgium（诺基亚贝尔实验室（安特卫普，比利时））
针对移动设备上全带低延迟语音去噪资源受限的问题，提出一种结合长短时间模式的轻量因果DNN方法，基于改进UNet架构，在手机上实时因子低于0.02，（SI-）SDR性能优于现有同类方法。
2025-09-05 cs.LG cs.SD eess.AS
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic（奥迪克公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Sonova AG（索诺瓦公司）；Hörzentrum Oldenburg GmbH（奥尔登堡听力中心有限公司）
针对现有助听器在真实噪声环境中效果不佳的问题，研究团队开发了可在手机上实时运行的深度学习降噪系统，音频流式传输至助听器总延迟约75ms，经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
An Investigation Into On-device Personalization of End-to-end Automatic Speech Recognition Models
Google（谷歌）
用来自许多用户的数据训练的说话者无关语音识别系统通常对说话者可变性是鲁棒的，并且对于大量说话者工作良好。然而，这些系统并不总是很好地推广具有非常不同的语音特征的用户。这个问题可以通过构建针对每个特定用户的个性化系统来解决。在本文中，我们研究了在移动设备上安全地训练个性化端到端语音识别模型的想法，这样用户数据和模型就不会离开设备，也不会存储在服务器上。我们通过模拟设备上的数据消耗来研究移动训练环境如何影响性能。我们使用从言语障碍用户收集的数据进行个性化实验。我们的研究结果表明，个性化实现了63.7%的相对字错误率降低时，在服务器环境和58.1%，在移动环境中训练。迁移到设备上的个性化导致性能下降18.7%，以换取更好的可扩展性和数据隐私。为了在设备上训练模型，我们将梯度计算分为两部分，并以增加42%的训练时间为代价，实现了45%的内存减少。
2019-09-14 cs.LG cs.SD eess.AS
Mobile Microphone Array Speech Detection and Localization in Diverse Everyday Environments
联合声音事件定位和检测（SELD）是将上下文感知开发到移动机器人，智能手机和家庭助理的通信接口中的一个组成部分。例如，用于移动电话上的视频捕获的自动音频聚焦需要对设备周围的相关声学事件及其方向的鲁棒检测。现有的SELD方法已经使用在受控室内环境中产生的材料进行了评估，或者通过将孤立的声音混合到不同的空间位置来模拟音频。本文研究SELD的语音在不同的日常环境中，其中的音频对应于典型的手持移动设备的使用场景。为了允许对定位与检测的相对重要性进行加权，我们将提出一个两阶段的分层系统，其中第一阶段是检测目标事件，第二阶段是定位它们。所提出的方法利用卷积递归神经网络（CRNN），并在各种声学条件下手动注释的麦克风阵列记录的数据库上进行评估。该阵列嵌入在当代移动电话的外形中。实验结果表明，该方法与非层次化的平面分类模型相比，具有较好的语音检测和定位精度。
2021-06-28 eess.AS
ClearBuds: Wireless Binaural Earbuds for Learning-Based Speech Enhancement
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
我们提出ClearBuds，第一个硬件和软件系统，利用神经网络，以提高语音流从两个无线耳塞。无线耳塞的实时语音增强需要高质量的声音分离和背景消除，在移动电话上实时操作。Clear-Buds通过两项关键技术贡献，将盲音频声源分离和入耳式移动系统的最先进深度学习连接起来：1）能够作为同步双耳麦克风阵列运行的新型无线耳塞设计，以及2）在移动终端上运行的轻量级双通道语音增强神经网络。我们的神经网络有一个新的级联架构，结合了时域传统的神经网络与基于频谱的频率掩蔽神经网络，以减少在音频输出的文物。结果表明，我们的无线耳塞实现了小于64微秒的同步误差，我们的网络在配套手机上的运行时间为21.4毫秒。在以前看不见的室内和室外多径场景中对八个用户进行的野外评估表明，我们的神经网络可以概括学习空间和声学线索，以执行噪声抑制和背景语音去除。在一项用户研究中，37名参与者花了超过15.4小时对1041个野外收集的音频样本进行评级，我们的系统实现了改善的平均意见得分和背景噪声抑制。项目演示页面：https://clearbuds.cs.washington.edu
2022-06-27 cs.SD eess.AS
Practical cognitive speech compression
Université de Sherbrooke（舍布鲁克大学）
本文提出了一种新的神经语音压缩方法，它是实用的意义上，它工作在低比特率，引入了低延迟，是兼容的计算复杂度与当前的移动设备，并提供了一个主观的质量是可比的标准移动电话编解码器。最近提出的其他神经声码器也具有以低比特率操作的能力。然而，它们不产生与标准编解码器相同的主观质量水平。另一方面，标准编解码器依赖于客观和短期的指标，例如与感知仅弱相关的分段信噪比。此外，标准编解码器在捕获语音属性，特别是长期语音属性方面的效率低于无监督神经网络。所提出的方法结合了一个认知编码编码器，提取一个可解释的无监督分层表示与多级解码器，具有基于GAN的架构。我们观察到，这种方法是非常强大的量化表示功能。AB测试是在哈佛句子的一个子集上进行的，这些句子通常用于评估标准的移动电话编解码器。实验结果表明，该方法在时延、码率和主观质量方面均优于标准AMR-WB编解码器。
2022-03-08 cs.SD eess.AS
Masking Kernel for Learning Energy-Efficient Representations for Speaker Recognition and Mobile Health
Worcester Polytechnic Institute（伍斯特理工学院）
针对智能手机语音采集与 DNN 推理的能耗问题，提出在训练中结合梯度下降、掩码函数和低通滤波器的掩码核，以优化语音长度与采样率，实现 57% 节能并保持检测性能。
2023-08-15 cs.SD eess.AS
PLDNet: PLD-Guided Lightweight Deep Network Boosted by Efficient Attention for Handheld Dual-Microphone Speech Enhancement
本文提出PLDNet，将PLD信号处理引导与轻量级注意力增强U-Net结合，用于手持双麦克风语音增强，在保持性能与顶尖模型相当的同时将计算成本降低超过90%。
2024-06-06 eess.AS eess.SP
Temporal Convolution for Real-time Keyword Spotting on Mobile Devices
Hyperconnect（超连接公司）
关键词识别（KWS）在智能设备上实现基于语音的用户交互方面发挥着关键作用。深度学习领域的最新发展使得卷积神经网络（CNN）因其出色的准确性和鲁棒性而在KWS系统中得到广泛采用。KWS系统面临的主要挑战是高准确性和低延迟之间的权衡。不幸的是，几乎没有对移动设备上KWS模型的实际延迟进行定量分析。这尤其令人担忧，因为已知传统的基于卷积的KWS方法需要大量的操作来获得足够的性能水平。在本文中，我们提出了一个时间卷积的实时的【形】KWS在移动设备上。与大多数基于2D卷积的KWS方法不同，这些方法需要一个深度架构来完全捕获低频和高频域，我们利用具有紧凑ResNet架构的时间卷积。在Google Speech Command Dataset中，我们在Google Pixel 1上实现了超过\textbf{385x}的加速，并且与最先进的模型相比，其准确性更高。此外，我们还发布了建议模型和基线模型的实现，包括用于训练模型的端到端管道，并在移动设备上对其进行评估。
2019-11-18 cs.LG cs.NE cs.SD
Robust Phonetic Segmentation Using Spectral Transition measure for Non-Standard Recording Environments
TCS Innovation Labs（塔塔咨询服务公司创新实验室）
发音错误的音素级定位是发音错误自动评估系统的关键要求。一个强大的电话分割技术是必不可少的，以帮助实时评估语音的电话级发音错误，其中音频记录在移动电话或平板电脑上。这是一个非标准的录音设置，对录音质量几乎没有控制。我们提出了一种新的后处理技术，以帮助光谱转换测量（STM）为基础的电话分割在嘈杂的条件下，如环境噪声和剪辑，通常存在于手机录音。我们的方法和电话分割使用传统的MFCC和PLPCC语音特征的高斯噪声和削波的性能比较。所提出的方法在TIMIT和印地语语音语料库上进行了验证，并用于计算一组语音的电话边界，这些语音同时记录在三台设备（笔记本电脑、固定放置的平板电脑和手持手机）上，以模拟不同的音频质量实时非标准记录环境。F比率是用于计算电话边界标记准确性的度量。实验结果表明，TIMIT和10%的印地语数据比基线方法提高了7%。对于内部收集的一组三个记录，也观察到类似的结果。
2020-04-29 cs.SD eess.AS
Enhancing Speech Intelligibility in Text-To-Speech Synthesis using Speaking Style Conversion
University of Crete（克里特大学）；Foundation for Research and Technology - Hellas（希腊研究与技术基金会）
数字助理的日益普及使得文本到语音（TTS）合成系统成为现代移动设备不可或缺的功能。因此，期望构建一种能够在存在噪声的情况下生成高度可理解的语音的系统。过去的研究探讨了TTS合成中的风格转换，但合成质量下降往往会导致更差的可懂度。为了克服这些限制，我们提出了一种新的迁移学习方法，使用Tacotron和基于WaveRNN的TTS合成。所提出的语音系统利用两种修改策略：（a）伦巴第说话风格的数据和（b）频谱整形和动态范围压缩（SSDRC），已被证明提供高清晰度增益，通过重新分配信号能量的时间-频率域。我们把这种扩展称为Lombard-SSDRC TTS系统。可懂度增强量化的位（SIIB-Gauss）措施表明，拟议的Lombard-SSDRC TTS系统显示出显着的相对改善110%和130%之间的语音成形噪声（SSN），和47%至140%的竞争扬声器噪声（CSN）对国家的最先进的TTS方法。额外的主观评价表明，Lombard-SSDRC TTS成功地提高了语音清晰度，与基线TTS方法相比，SSN和CSN的中位关键字校正率分别提高了455%和104%。
2020-08-13 cs.LG cs.SD eess.AS
Bunched LPCNet : Vocoder for Low-cost Neural Text-To-Speech Systems
Samsung AI Centre（三星人工智能中心）；Samsung Research（三星研究院）；University of Cambridge（剑桥大学）
LPCNet是一种高效的声码器，它结合了线性预测和深度神经网络模块，以保持较低的计算复杂度。在这项工作中，我们提出了两种技术，以进一步降低其复杂性，旨在低成本的LPCNet声码器为基础的神经文本转语音（TTS）系统。这些技术是：1）样本聚束，允许LPCNet为每个推理生成多个音频样本; 2）比特聚束，减少LPCNet最后一层的计算。使用所提出的聚束技术，LPCNet结合深度卷积TTS（DCTTS）声学模型，在移动终端上运行时，显示出比基线运行时间提高2.19倍，TTS平均意见评分（MOS）下降不到0.1。
2020-08-11 cs.LG cs.SD eess.AS
Speech Enhancement for Virtual Meetings on Cellular Networks
Carnegie Mellon University（卡内基梅隆大学）
我们使用深度学习（DL）研究蜂窝设备上虚拟会议的语音增强，其中传输的语音具有影响语音质量的背景噪声和传输损耗。由于深度噪声抑制（DNS）挑战数据集不包含实际干扰，我们通过T-Mobile网络使用Zoom Meetings收集了传输的DNS（t-DNS）数据集。我们选择了两个基线模型：Demucs和FullSubNet。Demucs是一个端到端模型，它接受时域输入并输出时域去噪语音，而FullSubNet接受时频域输入并输出输入中目标语音的能量比。该项目的目标是使用深度学习模型增强通过蜂窝网络传输的语音。
2023-02-16 cs.AI cs.SD eess.AS
A baseline model for computationally inexpensive speech recognition for Kazakh using the Coqui STT framework
Taruen
移动设备正在改变人们与计算机交互的方式，应用程序的语音接口变得越来越重要。最近公布的自动语音识别系统非常准确，但通常需要强大的机器（专用图形处理单元）进行推理，这使得它们在商品设备上运行不切实际，特别是在流模式下。对Kazakh ASR基线模型的准确性印象深刻，但对该模型的推理时间不满意（Khassanov等人，2021）在不使用GPU时，我们训练了一个新的基线声学模型（与上述论文相同的数据集）和三个语言模型，用于Coqui STT框架。结果看起来很有希望，但需要进一步的训练和参数扫描，或者限制ASR系统必须支持的词汇，以达到生产级的准确性。
2021-11-28 cs.CL cs.LG cs.SD
Survey on Deep Neural Networks in Speech and Vision Systems
Old Dominion University（奥多明尼昂大学）；Tennessee State University（田纳西州立大学）
本综述综述了视觉和语音应用中最先进的深度神经网络架构、算法和系统。深度人工神经网络算法和架构的最新进展刺激了智能视觉和语音系统的快速创新和发展。随着大量传感器数据的可用性和用于处理和训练深度神经网络的云计算，以及移动和嵌入式技术的日益复杂性，下一代智能系统有望彻底改变个人和商业计算。本调查首先提供了一些迄今为止最成功的智能视觉和语音系统深度学习模型的背景和演变。概述了大规模的工业研究和开发工作，以强调智能视觉和语音系统的未来趋势和前景。强大而高效的智能系统需要在资源受限的硬件平台（如移动设备、机器人和汽车）中实现低延迟和高保真度。因此，本调查还总结了在硬件受限的平台上运行深度神经网络的关键挑战和最近的成功，即在有限的内存，电池寿命和处理能力内。最后，视觉和语音跨学科的新兴应用，如情感计算，智能交通和精准医疗进行了讨论。据我们所知，本文提供了一个最全面的调查在智能视觉和语音应用的最新发展，从软件和硬件系统的角度。许多使用深度神经网络的新兴技术显示出巨大的前景，将彻底改变未来视觉和语音系统的研究和开发。
2019-12-01 cs.CV cs.LG cs.NE
Convolutional Neural Network-based Speech Enhancement for Cochlear Implant Recipients
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
为人工耳蜗（CI）用户开发具有改进的语音可懂度的语音增强算法的尝试已经取得了有限的成功。为了改善语音增强方法CI用户，我们建议进行语音增强耳蜗滤波器银行的特征空间，一个功能集专门为CI用户设计的基础上CI听觉刺激。我们利用卷积神经网络（CNN）来提取环境声学和语音的平稳和非平稳分量。我们提出了三种CNN架构：（1）直接生成增强信号的香草型CNN;（2）首先预测噪声，然后通过从噪声信号中减去噪声来生成增强信号的谱减法型CNN（SS-CNN）;（3）生成用于抑制噪声的最佳掩码的维纳型CNN（Wiener-CNN）。所提出的网络的一个重要问题是，它们引入了相当大的延迟，这限制了CI用户的实时应用。为了解决这个问题，本研究还考虑了这些网络的因果变化。我们的实验表明，所提出的网络（因果和非因果形式）实现了显着改善现有的基线系统。我们还发现，因果Wiener-CNN优于其他网络，并导致最佳的整体包络系数测量（ECM）。所提出的算法代表了一个可行的选择CCi-MOBILE的研究平台上实现的CI用户在自然环境中作为一个预处理器。
2019-07-03 cs.LG cs.SD eess.AS
Dictionary-Based Fusion of Contact and Acoustic Microphones for Wind Noise Reduction
Meta Reality Labs Research（Meta现实实验室）；University of Oldenburg（奥尔登堡大学）
在移动语音通信应用中，风噪声会导致语音质量和可懂度的严重降低。由于使用声学麦克风的语音增强算法的性能在极其具有挑战性的场景中趋于显著降低，因此可以使用诸如接触式麦克风的辅助传感器。虽然接触式麦克风提供了一个低得多的记录风噪声水平，他们在语音失真和额外的噪声分量的代价。针对利用声学和接触式麦克风的优势，在本文中，我们提出了扩展传统的单麦克风字典为基础的语音增强方法，同时建模的声学和接触式麦克风信号。我们建议训练单个语音字典和两个噪声字典，并使用相对传递函数来模拟麦克风处的语音分量之间的关系。仿真结果表明，所提出的方法产生的语音质量和可懂度的改善相比，几个基线的方法，最显着的方法只使用接触麦克风或只声学麦克风。
2022-11-14 cs.SD eess.AS
Single-Microphone Speech Enhancement and Separation Using Deep Learning
鸡尾酒会问题包括理解复杂声学环境中的语音信号的挑战性任务，其中多个扬声器和背景噪声信号同时干扰感兴趣的语音信号。在这种复杂的声学情况下，能够有效地提高语音可懂度和语音信号的质量的信号处理算法是非常需要的。特别是对于涉及移动通信设备和听力辅助设备的应用。由于机器学习技术的重新出现，今天被称为深度学习，与这些算法相关的挑战可能会被克服。在这篇博士论文中，我们研究和开发了基于深度学习的技术，用于鸡尾酒会问题的两个子学科：单麦克风语音增强和单麦克风多说话者语音分离。具体而言，我们对基于现代深度学习的单麦克风语音增强算法的泛化能力进行了深入的实证分析。我们表明，这样的算法的性能是密切相关的训练数据，和良好的泛化能力，可以实现精心设计的训练数据。此外，我们提出了uPIT，一种基于深度学习的单麦克风语音分离算法，并报告了与说话者无关的多说话者语音分离任务的最新结果。此外，我们表明，uPIT工程以及联合语音分离和增强没有明确的先验知识的噪声类型或扬声器的数量。最后，我们表明，基于深度学习的语音增强算法，旨在最大限度地减少经典的短时谱幅度均方误差导致增强的语音信号，这是本质上最佳的STOI，一个国家的最先进的语音清晰度估计。
2018-12-04 cs.SD eess.AS
Ego-noise reduction of a mobile robot using noise spatial covariance matrix learning and minimum variance distortionless response
由于深度学习方法，语音和事件识别系统的性能最近得到了显着改善。然而，当在机器人上部署算法时，由于在训练神经网络时执行器产生的不可见的机械噪声和电气干扰，其中一些任务仍然具有挑战性。因此，当在机器人上使用预先训练的语音和事件识别算法时，作为预处理步骤的自我噪声降低可以帮助解决这个问题。在本文中，我们提出了一种新的方法来减少自我噪声，只使用麦克风阵列和不到两分钟的噪音记录。使用主成分分析（PCA），最佳的协方差矩阵候选人是从一个字典中选择在线创建的校准过程中，并使用最小方差无失真响应（MVDR）波束形成器。实验结果表明，该方法实时性好，信号失真比（SDR）提高了10 dB，在某些情况下字错误率（WER）降低了55%，事件检测的平均精度（AP）提高了0.2.
2023-03-07 eess.AS
Speech bandwidth extension with WaveNet
DeepMind（深度思维）
大规模移动通信系统往往包含具有窄带瓶颈的传统传输信道，从而导致特征“电话质量”音频。虽然存在更高质量的编解码器，但由于网络的规模和异构性，使用现代高质量音频编解码器传输更高采样率的音频在实践中可能是困难的。本文提出了一种方法，其中通信节点可以替代地扩展可能已经通过低速率编解码器的带限传入语音信号的带宽。为此，我们提出了一种基于WaveNet的模型，其条件是带宽受限的语音音频信号的8 kHz和具有来自GSM全速率（FR）压缩的伪影的音频的对数梅尔频谱图表示，以重构更高分辨率的信号。在我们的实验MUSHRA评估中，我们表明，经过训练从通过8 kHz GSM-FR编解码器的音频上采样到24 kHz语音信号的模型能够重建质量仅略低于16 kHz自适应多速率宽带音频编解码器（AMR-WB）编解码器的音频，并关闭原始编码信号和以24 kHz采样的原始语音之间的感知质量差距的一半左右。我们进一步表明，当相同的模型通过8 kHz的音频，还没有被压缩，能够再次重建音频的质量略好于16 kHz AMR-WB，在相同的MUSHRA评估。
2019-07-05 cs.LG cs.SD eess.AS
Resource-Efficient Speech Quality Prediction through Quantization Aware Training and Binary Activation Maps
Friedrich Miescher Institute for Biomedical Research（弗里德里希·米舍尔生物医学研究所）；GN Audio（GN音频公司）；Technical University of Denmark（丹麦技术大学）；University of Basel（巴塞尔大学）
本文提出基于DNSMOS的卷积架构结合二值激活图（BAMs）与量化感知训练，在匹配基线预测性能的同时结合8位权重量化实现25倍内存减少，为资源受限设备上的语音质量预测提供高效方案。
2024-07-05 cs.NE cs.SD eess.AS
Learnable Pulse Accumulation for On-Device Speech Recognition: How Much Attention Do You Need?
本文提出可学习脉冲累积(LPA)替代自注意力机制，通过学习门控函数提升边缘设备语音识别性能，实验显示替换8层模型在LibriSpeech测试集上达到10.61%的WER，速度提升3.27倍。
2026-03-11 cs.SD eess.AS
Team HYU ASML ROBOVOX SP Cup 2024 System Description
本研究针对ROBOVOX远场说话人识别挑战赛，提出融合深度残差网络与时延神经网络说话人嵌入模型的方案，通过数据增强等优化，在SP Cup 2024公开榜获第二。
2024-07-16 eess.AS
EdgeSpeechNets: Highly Efficient Deep Neural Networks for Speech Recognition on the Edge
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（达尔文人工智能公司）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
尽管显示出最先进的性能，但用于语音识别的深度学习仍然具有挑战性，难以部署在移动和其他消费设备等设备上的边缘场景中。最近，人们在设计更适合边缘设备的小型、低占用深度神经网络（DNN）方面做出了更大的努力，主要集中在手工制作高效网络架构的设计原则上。在这项研究中，我们探索了一种人机协同设计策略，通过人为驱动的原则性网络设计原型和机器驱动的设计探索的婚姻，为语音识别构建低占用DNN架构。通过设计一系列用于有限词汇语音识别的高效DNN（昵称为EdgeSpeechNets），证明了这种设计策略的有效性。使用Google Speech Commands数据集进行词汇量有限的语音识别的实验结果表明，EdgeSpeechNets比最先进的DNN具有更高的准确率（最好的EdgeSpeechNet达到约97%的准确率），同时实现更小的网络规模（小7.8倍）和更低的计算成本（乘加运算减少36倍，预测延迟降低10倍，摩托罗拉Moto E手机的内存占用减少16倍），使其非常适合设备上的边缘语音接口应用。
2018-11-13 cs.LG cs.NE cs.SD
A Mask Free Neural Network for Monaural Speech Enhancement
Unisound AI Technology Co. Ltd（云知声人工智能科技有限公司）；University of Science and Technology of China（中国科学技术大学）
针对单通道语音增强中相位结构缺失导致直接简单网络性能受限的问题，提出堆叠 GLFB 的 MFNet，同时映射语音与反向噪声，在无混响 DNS 2020 测试集上达到 SOTA。
2023-06-07 cs.AI cs.SD eess.AS
Effects of Dataset Sampling Rate for Noise Cancellation through Deep Learning
University of Maryland（马里兰大学）
本研究探讨训练数据采样率对轻量级深度神经网络ConvTasNET在移动设备上实现主动噪声消除性能的影响，发现较高采样率（如48kHz）能显著提升音频质量评估指标，但会增加处理时间。
2024-05-30 cs.AI cs.SD eess.AS
TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
深度学习的进步已经在众多语音识别任务中实现了最先进的性能。然而，用于设备上语音识别的深度神经网络的广泛部署仍然是一个挑战，特别是在存储器和计算资源高度受限的边缘场景中（例如，低功耗嵌入式设备）或专用于语音识别的存储器和计算预算较低的情况（例如，执行除语音识别之外的许多任务的移动设备）。在这项研究中，我们引入了注意力凝聚器的概念，用于构建低占用空间，高效的深度神经网络，用于边缘上的设备上语音识别。注意冷凝器是一种自我注意机制，它学习并产生表征联合局部和跨通道激活关系的浓缩嵌入，并相应地执行选择性注意。为了说明其有效性，我们介绍了TinySpeech，低精度深度神经网络，主要包括使用机器驱动的设计探索策略为设备上的语音识别量身定制的注意力冷凝器，其中一个专门针对微控制器操作约束。在有限词汇量语音识别的Google Speech Commands基准数据集上的实验结果表明，与以前的工作相比，TinySpeech网络实现了显着降低的架构复杂性（$507\times$更少的参数），更低的计算复杂性（$48\times$更少的乘加运算）和更低的存储要求（$2028\times$更低的权重内存要求）。这些结果不仅证明了注意力冷凝器在构建高效的设备上语音识别网络方面的有效性，还阐明了其在边缘加速深度学习和增强TinyML应用程序的潜力。
2020-10-12 cs.LG cs.NE eess.AS
Memory Requirement Reduction of Deep Neural Networks Using Low-bit Quantization of Parameters
University of Pisa（比萨大学）；Tampere University（坦佩雷大学）
深度神经网络（DNN）在移动设备和嵌入式系统中的有效应用受到内存和计算能力要求的阻碍。本文提出了一种非均匀量化方法，该方法允许对不同层和同一层内的DNN参数进行动态量化。为了提高该方案的准确性，还提出了一种虚拟比特移位（VBS）方案。我们的方法降低了内存需求，保持了网络的性能。在一个语音增强应用中，我们的方法的性能得到了验证，其中一个完全连接的DNN被用来从输入的噪声语音频谱预测干净的语音频谱。DNN被优化，其内存占用和性能使用短时客观可懂度（STOI）指标进行评估。低位量化的应用允许DNN内存占用减少50%，而STOI性能仅下降2.7%。
2019-11-01 cs.LG cs.PF cs.SD
Neural Tracking of Sustained Attention, Attention Switching, and Natural Conversation in Audiovisual Environments using Mobile EEG
Dept. of Electrical Engineering, Linköping University（电子工程系，利厄普堡大学）；Centre for Mathematical Sciences, Lund University（数学科学中心，卢德大学）；Eriksholm Research Centre, Oticon A/S（埃里克霍姆研究中心，Oticon A/S）
本研究利用移动EEG技术，通过新型数据集研究音频视觉环境中持续注意力、注意力切换和自然对话的神经追踪，揭示了多说话人处理的复杂性及选择性注意力的分类性能。
2026-01-21 cs.SD eess.AS eess.SP
Deep Learning Approaches for Understanding Simple Speech Commands
Institute for Design Problems in Microelectronics of Russian Academy of Sciences（俄罗斯科学院微电子设计问题研究所）；GIS（2GIS）；NGSLab（NGS实验室）；Massachusetts Institute of Technology（麻省理工学院）
声音命令的自动分类变得越来越重要，特别是对于移动和嵌入式设备。这些设备中的许多都包含摄像头和麦克风，开发它们的公司希望使用相同的技术来完成这两项分类任务。实现这一点的一种方法是将声音命令表示为图像，并在对图像和声音进行分类时使用卷积神经网络。在本文中，我们考虑了几种解决声音分类问题的方法，我们在Google Brain团队在Kaggle平台上组织的TensorFlow语音识别挑战赛中应用了这些方法。在这里，我们展示了不同的声音表示（波帧，频谱图，梅尔频谱图，MFCC），并应用了几个1D和2D卷积神经网络，以获得最佳性能。我们的实验表明，我们找到了合适的声音表示和相应的卷积神经网络。因此，我们取得了良好的分类精度，使我们能够在1315支球队中获得第8名。
2018-10-04 cs.HC cs.SD eess.AS
Minimum Processing Near-end Listening Enhancement
RTX A/S（RTX A/S公司）；Aalborg University（奥尔堡大学）
本文提出一种最小处理的近端听音增强方法，在满足可懂度约束下以均方误差为处理代价，通过简单增益规则自适应噪声条件，在保证可懂度的同时减少语音失真并提升质量。
2023-05-30 cs.SD eess.AS eess.SP
HyBeam: Hybrid Microphone-Beamforming Array-Agnostic Speech Enhancement for Wearables
HyBeam提出混合框架，低频用原始麦克风信号、高频用波束成形信号，实现阵列无关的语音增强，在PESQ、STOI和SI-SDR上超越单一基线。
2025-10-26 eess.AS eess.SP
