RADE: A Neural Codec for Transmitting Speech over HF Radio Channels
提出 RADE 神经编解码器，用自动编码器替代传统信号处理链路，直接生成并恢复 OFDM 传输的 QAM 声码器特征，在仿真和真实 HF 信道上提升噪声环境下的语音可懂度。
2025-07-26 cs.SD eess.AS
Enhancing Speech Intelligibility in Text-To-Speech Synthesis using Speaking Style Conversion
University of Crete（克里特大学）；Foundation for Research and Technology - Hellas（希腊研究与技术基金会）
数字助理的日益普及使得文本到语音（TTS）合成系统成为现代移动设备不可或缺的功能。因此，期望构建一种能够在存在噪声的情况下生成高度可理解的语音的系统。过去的研究探讨了TTS合成中的风格转换，但合成质量下降往往会导致更差的可懂度。为了克服这些限制，我们提出了一种新的迁移学习方法，使用Tacotron和基于WaveRNN的TTS合成。所提出的语音系统利用两种修改策略：（a）伦巴第说话风格的数据和（b）频谱整形和动态范围压缩（SSDRC），已被证明提供高清晰度增益，通过重新分配信号能量的时间-频率域。我们把这种扩展称为Lombard-SSDRC TTS系统。可懂度增强量化的位（SIIB-Gauss）措施表明，拟议的Lombard-SSDRC TTS系统显示出显着的相对改善110%和130%之间的语音成形噪声（SSN），和47%至140%的竞争扬声器噪声（CSN）对国家的最先进的TTS方法。额外的主观评价表明，Lombard-SSDRC TTS成功地提高了语音清晰度，与基线TTS方法相比，SSN和CSN的中位关键字校正率分别提高了455%和104%。
2020-08-13 cs.LG cs.SD eess.AS
Bunched LPCNet : Vocoder for Low-cost Neural Text-To-Speech Systems
Samsung AI Centre（三星人工智能中心）；Samsung Research（三星研究院）；University of Cambridge（剑桥大学）
LPCNet是一种高效的声码器，它结合了线性预测和深度神经网络模块，以保持较低的计算复杂度。在这项工作中，我们提出了两种技术，以进一步降低其复杂性，旨在低成本的LPCNet声码器为基础的神经文本转语音（TTS）系统。这些技术是：1）样本聚束，允许LPCNet为每个推理生成多个音频样本; 2）比特聚束，减少LPCNet最后一层的计算。使用所提出的聚束技术，LPCNet结合深度卷积TTS（DCTTS）声学模型，在移动终端上运行时，显示出比基线运行时间提高2.19倍，TTS平均意见评分（MOS）下降不到0.1。
2020-08-11 cs.LG cs.SD eess.AS
Personalized Lightweight Text-to-Speech: Voice Cloning with Adaptive Structured Pruning
National Taiwan University（国立台湾大学）；Intelligo Technology Inc.（Intelligo科技公司）
个性化TTS是一个令人兴奋的和高度期望的应用，允许用户训练他们的TTS语音只使用几个录音。然而，TTS训练通常需要数小时的录制和大型模型，因此不适合在移动设备上部署。为了克服这一限制，相关工作通常需要微调预训练的TTS模型，以保持其生成高质量音频样本的能力，同时适应目标说话者的语音。这个过程通常被称为“声音克隆”。尽管相关工作在改变TTS模型的声音方面取得了重大成功，但它们仍然需要从大型预训练模型进行微调，导致语音克隆模型的规模很大。在本文中，我们提出了应用可训练的结构化修剪语音克隆。通过用语音克隆数据训练结构化的修剪模板，我们可以为每个目标说话人产生唯一的修剪模型。我们的实验表明，使用可学习的结构化修剪，我们可以压缩模型的大小到7倍小，同时实现可比的语音克隆性能。
2023-03-21 cs.SD eess.AS
StreamVC: Real-Time Low-Latency Voice Conversion
Google LLC（谷歌有限责任公司）
提出流式语音转换方案 StreamVC，利用 SoundStream 架构实现移动端低延迟高质量合成，通过因果学习软语音单元和白化基频信息提升音高稳定性且不泄露源音色。
2024-01-05 cs.LG cs.SD eess.AS
RADE for Land Mobile Radio: A Neural Codec for Transmission of Speech over Baseband FM Radio Channels
本文提出RADE神经编解码器，利用自编码器在基带FM信道上传输8 kHz高质量语音，在衰落LMR信道中优于模拟FM，并在商用UHF无线电上完成验证。
2025-09-21 cs.SD eess.AS
Towards robust paralinguistic assessment for real-world mobile health (mHealth) monitoring: an initial study of reverberation effects on speech
King’s College London（伦敦国王学院）；University of Sussex（萨塞克斯大学）；University College London（伦敦大学学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
针对移动健康监测中设备与环境差异影响语音副语言学特征可靠性的问题，本研究通过不同设备、混响环境下的语音实验分析特征变异性，为真实场景语音健康评估的鲁棒性研究指明方向。
2023-05-31 cs.SD eess.AS
LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
文语转换（TTS）技术已经被广泛应用于在不同场景下合成自然、清晰的语音。在各种终端设备（如移动电话或嵌入式设备）中部署TTS需要极小的内存使用和推理延迟。虽然诸如FastSpeech的非自回归TTS模型已经实现了比自回归模型显著更快的推理速度，但是它们的模型大小和推理延迟对于在资源受限设备中的部署来说仍然很大。在本文中，我们提出了LightSpeech，它利用神经架构搜索（NAS）自动设计基于FastSpeech的更轻量级和更高效的模型。我们首先分析了当前FastSpeech模型的组成部分，并仔细设计了一个包含各种轻量级和潜在有效架构的新颖搜索空间。然后利用NAS在搜索空间内自动发现性能良好的体系结构。实验结果表明，在保证语音质量的前提下，该方法在CPU上获得了15倍的模型压缩比和6.5倍的推理加速比。音频演示在https://speechresearch.github.io/lightspeech上提供。
2021-02-08 cs.AI cs.LG cs.SD
StellarTTS: Sparse Temporal Embedding for Low-Latency and Robust Speech Synthesis
研究针对TTS系统中稳健性、延迟和韵律的权衡问题，提出基于稀疏时间嵌入策略的StellarTTS框架及语义感知编解码器，实现对音素多方面精细控制，其轻量级模型实时因子达0.08，实验证明该框架在多方面表现出色。
2026-07-23 cs.SD
ContextCodec: Content-Focused Context Guidance for Ultra-Low Bitrate Speech Coding
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Department of Automation, Tsinghua University（清华大学自动化系）
提出ContextCodec，通过双分支编码器解耦声学细节与内容上下文，利用CLIP对比损失对齐上下文特征与音素索引，在500 bps下实现质量与可懂度的良好平衡。
2026-06-09 cs.SD
High Quality Streaming Speech Synthesis with Low, Sentence-Length-Independent Latency
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务）
本文提出了一种适合于实时应用的端到端低延迟的文本到语音转换系统。该系统由基于自回归注意力的序列到序列声学模型和用于波形生成的LPCNet声码器组成。提出了一种采用Tacotron 1和2模型中的模块的声学模型架构，同时通过使用最近提出的纯基于位置的注意力机制来确保稳定性，该机制适用于任意句子长度的生成。在推理期间，解码器被展开，并且以流式方式执行声学特征生成，从而允许与句子长度无关的几乎恒定的延迟。实验结果表明，声学模型可以产生具有最小延迟的特征序列，比计算机CPU上的实时快约31倍，比移动CPU上的实时快约6.5倍，使其能够满足两种设备上的实时应用所需的条件。完整的端到端系统可以生成几乎自然的语音质量，这是通过听力测试验证。
2021-11-17 cs.CL cs.LG cs.SD
Training end-to-end speech-to-text models on mobile phones
Indian Institute of Science（印度科学理工学院）
在移动设备中训练最先进的语音到文本（STT）模型是具有挑战性的，这是由于其相对于服务器环境的有限资源。此外，这些模型是在通用数据集上训练的，这些数据集在捕获用户特定特征方面并不详尽。最近，设备上的个性化技术在缓解这个问题方面取得了长足的进步。虽然目前的许多研究已经探索了设备上个性化的有效性，但他们的大多数研究结果仅限于模拟设置或特定的智能手机。在本文中，我们开发并提供了一个详细的解释，我们的框架，训练端到端的手机模型。为了使其简单，我们考虑了一个基于连接主义时间分类（CTC）损失的模型。我们在不同品牌的各种手机上评估了框架，并报告了结果。我们提供了足够的证据表明，微调模型和选择正确的超参数值是可实现的最低WER、设备上的训练时间和内存消耗之间的权衡。因此，这对于将设备上的培训成功部署到移动电话等资源有限的环境中至关重要。我们使用来自不同口音的说话者的训练集，并记录了平均单词错误率（WER）下降7.6%。我们还报告了相关的计算成本测量的时间，内存使用量和CPU利用率在移动电话中的实时。
2021-12-07 cs.SD eess.AS
A Small-footprint Acoustic Echo Cancellation Solution for Mobile Full-Duplex Speech Interactions
Speech Lab, Alibaba Group（阿里集团语音实验室）
本文提出一种基于神经网络的移动全双工语音交互小占用声学回声消除方案，结合数据增强、渐进式学习及定制后处理策略，显著提升了语音质量及VAD和ASR等下游任务的效果。
2025-08-11 cs.AI cs.SD eess.AS
RTMobile: Beyond Real-Time Mobile Acceleration of RNNs for Speech Recognition
Northeastern University（东北大学）；The College of William and Mary（威廉与玛丽学院）；The University of Alabama（阿拉巴马大学）
基于递归神经网络（RNN）的自动语音识别如今在诸如智能电话的移动设备上变得流行。然而，以前的RNN压缩技术要么由于不规则性而遭受硬件性能开销，要么由于硬件友好性而保留的规则性而遭受显著的准确性损失。在这项工作中，我们提出了RTMobile，它利用一种新的基于块的修剪方法和编译器优化来加速移动设备上的RNN推理。我们提出的RTMobile是第一个可以在移动平台上实现实时的【形】RNN推理的工作。实验结果表明，RTMobile在推理精度和时间方面明显优于现有的RNN硬件加速方法。在保证推理时间不变的情况下，RTMobile在GRU上使用Adreno 640嵌入式GPU，与FPGA上的工作相比，可以提高约40 $\times$的能量效率。
2020-02-19 cs.LG cs.SD eess.AS
Self-Attention Linguistic-Acoustic Decoder
1 Universitat Polit\`ecnica de Catalunya, Barcelona, Spain 2 Telef\'onica Research, Barcelona, Spain
从文本到语音的转换依赖于从语言到声学符号序列的准确映射，目前的实践采用递归神经网络等递归统计模型。尽管这样的模型的良好性能（在所生成的语音中的低失真方面），但是它们的递归结构倾向于使它们在训练和从中采样时变慢。在这项工作中，我们试图克服递归结构的局限性，使用一个模块的基础上的Transformer解码器网络，设计没有经常性的连接，但模仿他们的注意力和定位代码。我们的研究结果表明，与经常性基线相比，所提出的解码器网络在失真方面具有竞争力，同时在CPU推理时间方面显着更快。平均而言，它增加了0.1和0.3 dB之间的梅尔倒频谱失真，但它平均快了一个数量级。快速推理对于在具有有限资源的设备（如移动电话或嵌入式系统）上部署语音合成系统非常重要，其中说话虚拟助理越来越重要。
2018-11-05 cs.LG cs.SD eess.AS
Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming Networks
Samsung R\&D Institute Poland
我们提出了移动音频流网络（MASnet）的有效的低延迟语音增强，这是特别适合于移动设备和其他应用程序的计算能力是一个限制。MASnet处理线性尺度频谱图，将连续的噪声帧转换为复值比率掩模，然后将其应用于相应的噪声帧。MASnet可以在低延迟增量推理模式下运行，该模式与逐层批处理模式的复杂性相匹配。与类似的全卷积架构相比，MASnet结合了去卷积和逐点卷积，大大减少了每秒融合乘法累加运算（FMA/s），但代价是SNR有所降低。
2020-08-17 cs.LG cs.SD eess.AS
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic（奥迪克公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Sonova AG（索诺瓦公司）；Hörzentrum Oldenburg GmbH（奥尔登堡听力中心有限公司）
针对现有助听器在真实噪声环境中效果不佳的问题，研究团队开发了可在手机上实时运行的深度学习降噪系统，音频流式传输至助听器总延迟约75ms，经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
Flowchase: a Mobile Application for Pronunciation Training
Flowchase
本文介绍移动应用Flowchase，利用语音表示学习模型进行强制对齐与语音识别，为英语学习者提供音段和超音段发音的个性化即时反馈。
2023-07-05 cs.AI cs.CL cs.HC
ClearBuds: Wireless Binaural Earbuds for Learning-Based Speech Enhancement
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
我们提出ClearBuds，第一个硬件和软件系统，利用神经网络，以提高语音流从两个无线耳塞。无线耳塞的实时语音增强需要高质量的声音分离和背景消除，在移动电话上实时操作。Clear-Buds通过两项关键技术贡献，将盲音频声源分离和入耳式移动系统的最先进深度学习连接起来：1）能够作为同步双耳麦克风阵列运行的新型无线耳塞设计，以及2）在移动终端上运行的轻量级双通道语音增强神经网络。我们的神经网络有一个新的级联架构，结合了时域传统的神经网络与基于频谱的频率掩蔽神经网络，以减少在音频输出的文物。结果表明，我们的无线耳塞实现了小于64微秒的同步误差，我们的网络在配套手机上的运行时间为21.4毫秒。在以前看不见的室内和室外多径场景中对八个用户进行的野外评估表明，我们的神经网络可以概括学习空间和声学线索，以执行噪声抑制和背景语音去除。在一项用户研究中，37名参与者花了超过15.4小时对1041个野外收集的音频样本进行评级，我们的系统实现了改善的平均意见得分和背景噪声抑制。项目演示页面：https://clearbuds.cs.washington.edu
2022-06-27 cs.SD eess.AS
Mobile Microphone Array Speech Detection and Localization in Diverse Everyday Environments
联合声音事件定位和检测（SELD）是将上下文感知开发到移动机器人，智能手机和家庭助理的通信接口中的一个组成部分。例如，用于移动电话上的视频捕获的自动音频聚焦需要对设备周围的相关声学事件及其方向的鲁棒检测。现有的SELD方法已经使用在受控室内环境中产生的材料进行了评估，或者通过将孤立的声音混合到不同的空间位置来模拟音频。本文研究SELD的语音在不同的日常环境中，其中的音频对应于典型的手持移动设备的使用场景。为了允许对定位与检测的相对重要性进行加权，我们将提出一个两阶段的分层系统，其中第一阶段是检测目标事件，第二阶段是定位它们。所提出的方法利用卷积递归神经网络（CRNN），并在各种声学条件下手动注释的麦克风阵列记录的数据库上进行评估。该阵列嵌入在当代移动电话的外形中。实验结果表明，该方法与非层次化的平面分类模型相比，具有较好的语音检测和定位精度。
2021-06-28 eess.AS
HASP: A High-Performance Adaptive Mobile Security Enhancement Against Malicious Speech Recognition
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）
如今，基于机器学习的自动语音识别（ASR）技术已经在智能手机、家庭设备和公共设施中广泛普及。尽管这项技术很方便，但也带来了一个相当大的安全问题-用户的语音内容可能会受到恶意ASR监控，并导致严重的隐私泄露。在这项工作中，我们提出了HASP -一个高性能的安全增强方法来解决这个安全问题的移动设备。利用ASR系统对对抗性示例的脆弱性，HASP旨在将人类无法感知的对抗性噪声投射到实时语音中，并通过增加单词出错率（WER）来有效干扰恶意ASR监控。为了提高在移动设备上的实际性能，HASP还被优化以有效地适应人类语音特征、环境噪声和移动计算场景。实验表明，HASP可以实现最佳的实时安全增强：它可以导致平均WER为84.55%的干扰恶意ASR监测，数据处理速度是15倍到40倍的最先进的方法相比。此外，HASP可以有效地扰动各种ASR系统，表现出很强的可移植性。
2018-09-04 cs.CR cs.LG cs.SD
CITISEN: A Deep Learning-Based Speech Signal-Processing Mobile Application
Research Center for Information Technology Innovation at Academia Sinica（中央研究院资讯科技创新研究中心）
这项研究提出了一个基于深度学习的语音信号处理移动应用程序，称为CITISEN。CITISEN提供三种功能：语音增强（SE）、模型自适应（MA）和背景噪声转换（BNC），允许CITISEN用作使用和评估SE模型的平台，并灵活地扩展模型以应对各种噪声环境和用户。对于SE，从云服务器下载的预训练SE模型用于有效地减少来自用户提供的即时或保存的记录的噪声分量。对于遇到看不见的噪声或扬声器环境，MA功能被应用于提升CITISEN。上传在嘈杂环境中录制的一些音频样本，并用于在服务器上调整预训练的SE模型。最后，对于BNC，CITISEN首先通过SE模型去除背景噪声，然后将处理后的语音与新的背景噪声混合。新的BNC功能可以评估特定条件下的SE性能，覆盖人们的轨迹，并提供娱乐。实验结果证实了SE、MA和BNC函数的有效性。与含噪语音信号相比，增强后的语音信号在短时客观可懂度（STOI）和语音质量感知评价（PESQ）方面分别提高了约6%和33%。MA可使STOI和PESQ分别提高约6%和11%。最后，BNC实验结果表明，从噪声背景和无声背景转换的语音信号具有相近的场景识别精度，并且在声学场景分类模型中具有相似的嵌入。因此，提出的BNC可以有效地转换语音信号的背景噪声，并在干净的语音信号不可用时作为数据增强方法。
2022-04-25 cs.LG cs.SD eess.AS
Personalization of End-to-end Speech Recognition On Mobile Devices For Named Entities
Google（谷歌）
我们研究了几种技术的有效性，个性化的端到端的语音模型，并提高识别相关的用户专有名称。这些技术在提供监督所需的用户工作量方面有所不同，并根据它们如何影响语音识别性能进行评估。我们建议使用依赖于关键词的精确度和召回率指标来衡量词汇习得性能。我们评估了一个数据集上的算法，我们设计包含的名字的人是很难识别的。因此，该数据集中专有名称的基线召回率非常低：2.4%。我们开发的数据合成方法使其达到48.6%，无需用户的语音输入。在语音输入的情况下，如果用户仅纠正姓名，则姓名回忆率提高到64.4%。如果用户纠正了所有的识别错误，我们实现了73.5%的最佳召回率。为了消除在服务器上上传用户数据和存储个性化模型的需要，我们专注于在移动终端上执行整个个性化工作流。
2019-12-14 cs.LG cs.SD eess.AS
Masking Kernel for Learning Energy-Efficient Representations for Speaker Recognition and Mobile Health
Worcester Polytechnic Institute（伍斯特理工学院）
针对智能手机语音采集与 DNN 推理的能耗问题，提出在训练中结合梯度下降、掩码函数和低通滤波器的掩码核，以优化语音长度与采样率，实现 57% 节能并保持检测性能。
2023-08-15 cs.SD eess.AS
TRAMBA: A Hybrid Transformer and Mamba Architecture for Practical Audio and Bone Conduction Speech Super Resolution and Enhancement on Mobile and Wearable Platforms
Northwestern University（西北大学）；Columbia University（哥伦比亚大学）
TRAMBA是一种混合Transformer和Mamba架构，用于移动和可穿戴平台上的音频与骨传导语音增强，通过预训练和少量微调数据，在PESQ和STOI上超越最先进GANs，同时大幅降低内存占用和推理时间，并提升电池寿命。
2024-05-29 cs.AI cs.LG cs.SD
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC（谷歌有限责任公司）
流传输端到端语音识别模型已经广泛应用于移动设备，并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是，服务器数据分布可能与用户设备上的数据分布非常不同，这可能会影响模型性能。在设备上训练有两个主要挑战，有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配，但由于内存限制，它们不直接适用于移动设备。在本文中，我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上，其中只有一层更新的时间。大量的实验结果表明，该算法获得了一个字的出错率（WER）在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
Lightweight DNN for Full-Band Speech Denoising on Mobile Devices: Exploiting Long and Short Temporal Patterns
Nokia Technologies Espoo, Finland（诺基亚技术公司（埃斯波，芬兰））；Nokia Technologies Tampere, Finland（诺基亚技术公司（塔尔皮奥拉，芬兰））；Nokia Bell Labs Antwerp, Belgium（诺基亚贝尔实验室（安特卫普，比利时））
针对移动设备上全带低延迟语音去噪资源受限的问题，提出一种结合长短时间模式的轻量因果DNN方法，基于改进UNet架构，在手机上实时因子低于0.02，（SI-）SDR性能优于现有同类方法。
2025-09-05 cs.LG cs.SD eess.AS
An Investigation Into On-device Personalization of End-to-end Automatic Speech Recognition Models
Google（谷歌）
用来自许多用户的数据训练的说话者无关语音识别系统通常对说话者可变性是鲁棒的，并且对于大量说话者工作良好。然而，这些系统并不总是很好地推广具有非常不同的语音特征的用户。这个问题可以通过构建针对每个特定用户的个性化系统来解决。在本文中，我们研究了在移动设备上安全地训练个性化端到端语音识别模型的想法，这样用户数据和模型就不会离开设备，也不会存储在服务器上。我们通过模拟设备上的数据消耗来研究移动训练环境如何影响性能。我们使用从言语障碍用户收集的数据进行个性化实验。我们的研究结果表明，个性化实现了63.7%的相对字错误率降低时，在服务器环境和58.1%，在移动环境中训练。迁移到设备上的个性化导致性能下降18.7%，以换取更好的可扩展性和数据隐私。为了在设备上训练模型，我们将梯度计算分为两部分，并以增加42%的训练时间为代价，实现了45%的内存减少。
2019-09-14 cs.LG cs.SD eess.AS
Robust Phonetic Segmentation Using Spectral Transition measure for Non-Standard Recording Environments
TCS Innovation Labs（塔塔咨询服务公司创新实验室）
发音错误的音素级定位是发音错误自动评估系统的关键要求。一个强大的电话分割技术是必不可少的，以帮助实时评估语音的电话级发音错误，其中音频记录在移动电话或平板电脑上。这是一个非标准的录音设置，对录音质量几乎没有控制。我们提出了一种新的后处理技术，以帮助光谱转换测量（STM）为基础的电话分割在嘈杂的条件下，如环境噪声和剪辑，通常存在于手机录音。我们的方法和电话分割使用传统的MFCC和PLPCC语音特征的高斯噪声和削波的性能比较。所提出的方法在TIMIT和印地语语音语料库上进行了验证，并用于计算一组语音的电话边界，这些语音同时记录在三台设备（笔记本电脑、固定放置的平板电脑和手持手机）上，以模拟不同的音频质量实时非标准记录环境。F比率是用于计算电话边界标记准确性的度量。实验结果表明，TIMIT和10%的印地语数据比基线方法提高了7%。对于内部收集的一组三个记录，也观察到类似的结果。
2020-04-29 cs.SD eess.AS
PLDNet: PLD-Guided Lightweight Deep Network Boosted by Efficient Attention for Handheld Dual-Microphone Speech Enhancement
本文提出PLDNet，将PLD信号处理引导与轻量级注意力增强U-Net结合，用于手持双麦克风语音增强，在保持性能与顶尖模型相当的同时将计算成本降低超过90%。
2024-06-06 eess.AS eess.SP
Fast Development of ASR in African Languages using Self Supervised Speech Representation Learning
African Masters of Machine Intelligence（非洲机器学习硕士项目）；Naver Labs, Europe（欧洲 Naver 实验室）
本文描述了2020年6月非洲机器智能硕士（AMMI）期间启动的非正式合作的结果。在一系列关于使用移动应用程序收集语音数据和从语音中进行自我监督表示学习的讲座和实验之后，一小群学生和讲师继续研究三种语言的自动语音识别（ASR）项目：沃洛夫语，Ga和索马里语。本文介绍了如何收集数据和ASR系统开发与少量（1小时）的转录语音作为训练数据。在这些低资源条件下，在大量原始语音上预训练模型对于所开发的ASR系统的效率至关重要。
2021-03-16 cs.CL cs.SD eess.AS
Temporal Convolution for Real-time Keyword Spotting on Mobile Devices
Hyperconnect（超连接公司）
关键词识别（KWS）在智能设备上实现基于语音的用户交互方面发挥着关键作用。深度学习领域的最新发展使得卷积神经网络（CNN）因其出色的准确性和鲁棒性而在KWS系统中得到广泛采用。KWS系统面临的主要挑战是高准确性和低延迟之间的权衡。不幸的是，几乎没有对移动设备上KWS模型的实际延迟进行定量分析。这尤其令人担忧，因为已知传统的基于卷积的KWS方法需要大量的操作来获得足够的性能水平。在本文中，我们提出了一个时间卷积的实时的【形】KWS在移动设备上。与大多数基于2D卷积的KWS方法不同，这些方法需要一个深度架构来完全捕获低频和高频域，我们利用具有紧凑ResNet架构的时间卷积。在Google Speech Command Dataset中，我们在Google Pixel 1上实现了超过\textbf{385x}的加速，并且与最先进的模型相比，其准确性更高。此外，我们还发布了建议模型和基线模型的实现，包括用于训练模型的端到端管道，并在移动设备上对其进行评估。
2019-11-18 cs.LG cs.NE cs.SD
Ego-noise reduction of a mobile robot using noise spatial covariance matrix learning and minimum variance distortionless response
由于深度学习方法，语音和事件识别系统的性能最近得到了显着改善。然而，当在机器人上部署算法时，由于在训练神经网络时执行器产生的不可见的机械噪声和电气干扰，其中一些任务仍然具有挑战性。因此，当在机器人上使用预先训练的语音和事件识别算法时，作为预处理步骤的自我噪声降低可以帮助解决这个问题。在本文中，我们提出了一种新的方法来减少自我噪声，只使用麦克风阵列和不到两分钟的噪音记录。使用主成分分析（PCA），最佳的协方差矩阵候选人是从一个字典中选择在线创建的校准过程中，并使用最小方差无失真响应（MVDR）波束形成器。实验结果表明，该方法实时性好，信号失真比（SDR）提高了10 dB，在某些情况下字错误率（WER）降低了55%，事件检测的平均精度（AP）提高了0.2.
2023-03-07 eess.AS
Hello Afrika: Speech Commands in Kinyarwanda
Carnegie Mellon University, Africa（卡内基梅隆大学非洲校区）
针对非洲语言语音指令模型匮乏问题，Hello Afrika 项目首次迭代构建了基尼亚卢旺达语语音指令模型，并在多种设备上部署验证性能。
2025-06-16 cs.AI cs.SD eess.AS
A baseline model for computationally inexpensive speech recognition for Kazakh using the Coqui STT framework
Taruen
移动设备正在改变人们与计算机交互的方式，应用程序的语音接口变得越来越重要。最近公布的自动语音识别系统非常准确，但通常需要强大的机器（专用图形处理单元）进行推理，这使得它们在商品设备上运行不切实际，特别是在流模式下。对Kazakh ASR基线模型的准确性印象深刻，但对该模型的推理时间不满意（Khassanov等人，2021）在不使用GPU时，我们训练了一个新的基线声学模型（与上述论文相同的数据集）和三个语言模型，用于Coqui STT框架。结果看起来很有希望，但需要进一步的训练和参数扫描，或者限制ASR系统必须支持的词汇，以达到生产级的准确性。
2021-11-28 cs.CL cs.LG cs.SD
Efficient speech detection in environmental audio using acoustic recognition and knowledge distillation
Tilburg University（蒂尔堡大学）；Naturalis Biodiversity Center（自然生物多样性中心）
针对生态监测中大型语音检测模型难以部署在紧凑型设备的问题，提出基于知识蒸馏的轻量学生模型，用MobileNetV3-Small-Pi构建学生模型与EcoVAD教师模型对比，经多配置和蒸馏技术评估，实现相当性能，助力实时生态监测。
2023-12-14 cs.AI cs.LG cs.SD
DualVoice: Speech Interaction that Discriminates between Normal and Whispered Voice Input
The University of Tokyo（东京大学）；Sony CSL Kyoto（索尼计算机科学实验室京都）
基于自动语音识别（ASR）的交互已经变得广泛使用，其中语音输入越来越多地用于创建文档。然而，由于没有简单的方法来区分正在发出的命令和需要在语音中输入的文本，因此很难识别和纠正错误，这意味着需要手动编辑和纠正文档。符号和命令的输入也具有挑战性，因为这些可能被误认为文本字母。为了解决这些问题，本研究提出了一种称为DualVoice的语音交互方法，通过该方法可以用耳语输入命令，用正常的声音输入字母。所提出的方法不需要任何专门的硬件，除了一个普通的麦克风，使一个完整的免提交互。该方法可用于语音识别已经可用的广泛情况，从文本输入到移动/可穿戴计算。本研究设计了两个神经网络，一个用于区分正常语音和耳语音，另一个用于识别耳语音。一个文本输入系统的原型，然后开发，以显示如何正常和耳语的声音可以用于语音文本输入。还讨论了使用DualVoice的其他潜在应用。
2022-08-22 cs.HC cs.LG cs.SD
Team HYU ASML ROBOVOX SP Cup 2024 System Description
本研究针对ROBOVOX远场说话人识别挑战赛，提出融合深度残差网络与时延神经网络说话人嵌入模型的方案，通过数据增强等优化，在SP Cup 2024公开榜获第二。
2024-07-16 eess.AS
Streaming on-device detection of device directed speech from voice and touch-based invocation
Apple（苹果公司）
当与诸如移动电话或可穿戴设备的智能设备交互时，用户通常通过说出关键字或通过按下设备上的按钮来调用虚拟助理（VA）。然而，在许多情况下，VA可能被类似关键字的语音或意外的按钮按压意外地调用，这可能对用户体验和隐私具有影响。为此，我们提出了一个声学的错误触发缓解（FTM）的方法，设备上的设备导向的语音检测，同时处理语音触发和触摸为基础的调用。为了便于在设备上部署模型，我们引入了一个新的流决策层，该层使用时间卷积网络（TCN）[1]的概念导出，以其计算效率而闻名。据我们所知，这是第一种可以以流式方式从多个调用类型中检测设备定向语音的方法。我们将这种方法与基于vanilla Average层和规范LSTM的流媒体替代方案进行比较，并显示：（i）与调用特定模型相比，所有模型仅显示出准确性的小降级，以及（ii）新引入的流式传输TCN始终表现得更好或与替代方案相当，同时在时间上更快地减轻设备无向语音，并且与非流对应物相比，基于LSTM的方法的运行时峰值内存（相对）减少了33%对7%。
2021-10-09 cs.LG cs.SD eess.AS
SonicSieve: Bringing Directional Speech Extraction to Smartphones Using Acoustic Microstructures
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）
SonicSieve通过生物启发式声学微结构在智能手机上实现定向语音提取，提升信号质量并优于传统麦克风阵列。
2026-02-11 cs.HC cs.LG cs.SD
Personal VAD 2.0: Optimizing Personal Voice Activity Detection for On-Device Speech Recognition
Google LLC（谷歌有限责任公司）
设备上语音识别（ASR）的个性化近年来出现了爆炸性增长，这主要是由于移动设备和智能家居扬声器上的个人助理功能越来越受欢迎。在这项工作中，我们提出了个人VAD 2.0，个性化的语音活动检测器，检测目标扬声器的语音活动，作为流媒体设备上的ASR系统的一部分。尽管之前的概念验证研究已经验证了Personal VAD的有效性，但在将此模型用于生产之前，仍有几个关键挑战需要解决：首先，在注册和无注册场景中，质量必须令人满意;其次，它应该以流媒体方式运行;最后，模型大小应该足够小，以适应有限的延迟和CPU/内存预算。为了满足多方面的需求，我们提出了一系列新颖的设计：1）先进的扬声器嵌入调制方法; 2）一种新的训练范式，以推广到无注册条件; 3）针对延迟和资源限制的架构和运行时优化。在一个真实的语音识别系统上进行的大量实验证明了我们所提出的方法的最先进的性能。
2022-06-25 cs.LG cs.SD eess.AS
Fast Griffin Lim based Waveform Generation Strategy for Text-to-Speech Synthesis
文本转语音（TTS）系统的性能很大程度上取决于频谱图到波形的生成，也称为语音重建阶段。其所需的时间称为合成延迟。本文提出了一种减小语音合成延迟的方法。它的目的是提高语音合成系统的实时应用，如数字助理，手机，嵌入式设备等所提出的方法适用于快速格里芬林算法（FGLA），而不是格里芬林算法（GLA）作为声码器在语音合成阶段。GLA和FGLA都是迭代的，但FGLA的收敛速度比GLA快。该方法在LJSpeech、Blizzard和Tatoeba数据集上进行了测试，并将FGLA的结果与GLA和基于神经生成对抗网络（GAN）的声码器进行了比较。基于合成延迟和语音质量来评估性能。已经观察到语音合成延迟减少了36.58%。输出语音的质量得到了改善，这是由更高的平均意见分数（MOS）和更快的收敛与FGLA而不是GLA所倡导的。
2020-07-11 cs.MM eess.AS
MobileASR: A resource-aware on-device learning framework for user voice personalization applications on mobile phones
Indian Institute of Science（印度科学理工学院）
本文提出MobileASR框架，通过资源感知的子模型训练方法在手机上实现用户语音个性化ASR，平衡性能、训练时间与内存消耗，并在多品牌手机上验证有效性。
2023-11-10 cs.AI eess.AS
Open Source MagicData-RAMC: A Rich Annotated Mandarin Conversational(RAMC) Speech Dataset
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Magic Data Technology Co., Ltd.（魔数智音科技有限公司）；Shanghai Jiao Tong University（上海交通大学）；Northwestern Polytechnical University（西北工业大学）
本文介绍了一个高质量的丰富注释的普通话会话（RAMC）语音数据集称为MagicData-RAMC。MagicData-RAMC语料库包含180小时的会话语音数据，这些数据是以16 kHz的采样率通过移动电话从汉语普通话为母语的人记录的。MagicData-RAMC中的对话被分为15个不同的领域，并标有主题标签，从科学技术到日常生活。准确的转录和精确的扬声器语音活动时间戳手动标记每个样本。还提供了演讲者的详细信息。MagicData-RAMC是一个针对对话场景设计的具有高质量和丰富注释的普通话语音数据集，丰富了普通话语音社区的数据多样性，并允许对一系列语音相关任务进行广泛研究，包括自动语音识别，说话人日志，主题检测，关键字搜索，文本到语音，我们还进行了几个相关的任务，并提供实验结果，以帮助评估数据集。
2022-03-31 cs.CL eess.AS
Speech bandwidth extension with WaveNet
DeepMind（深度思维）
大规模移动通信系统往往包含具有窄带瓶颈的传统传输信道，从而导致特征“电话质量”音频。虽然存在更高质量的编解码器，但由于网络的规模和异构性，使用现代高质量音频编解码器传输更高采样率的音频在实践中可能是困难的。本文提出了一种方法，其中通信节点可以替代地扩展可能已经通过低速率编解码器的带限传入语音信号的带宽。为此，我们提出了一种基于WaveNet的模型，其条件是带宽受限的语音音频信号的8 kHz和具有来自GSM全速率（FR）压缩的伪影的音频的对数梅尔频谱图表示，以重构更高分辨率的信号。在我们的实验MUSHRA评估中，我们表明，经过训练从通过8 kHz GSM-FR编解码器的音频上采样到24 kHz语音信号的模型能够重建质量仅略低于16 kHz自适应多速率宽带音频编解码器（AMR-WB）编解码器的音频，并关闭原始编码信号和以24 kHz采样的原始语音之间的感知质量差距的一半左右。我们进一步表明，当相同的模型通过8 kHz的音频，还没有被压缩，能够再次重建音频的质量略好于16 kHz AMR-WB，在相同的MUSHRA评估。
2019-07-05 cs.LG cs.SD eess.AS
Speaker De-identification System using Autoencoders and Adversarial Training
Sigma Technologies S.L.U.（西格玛技术有限公司）；Universidad Politécnica de Madrid（马德里理工大学）
收集用户个人数据的网络服务和移动应用程序的快速增长，增加了他们的隐私可能受到严重损害的风险。特别是，深度学习令人眩晕的突破所带来的口语界面和语音助手的种类越来越多，这促使欧盟对保护语音数据隐私产生了重要的担忧。例如，攻击者可以记录用户的语音并模仿他们来访问需要语音识别的系统。从用户窃取说话者简档也可以通过现有技术来提取说话者、语言（例如，方言）和非语言学特征（例如，年龄）从语音信号。为了减轻这些弱点，在本文中，我们提出了一种基于对抗训练和自动编码器的说话人去识别系统，以抑制语音中的说话人，性别和口音信息。实验结果表明，结合对抗性学习和自动编码器增加了说话人验证系统的相等出错率，同时保持匿名口语内容的可理解性。
2020-11-09 cs.CL cs.SD eess.AS
SuperEar: Eavesdropping on Mobile Voice Calls via Stealthy Acoustic Metamaterials
ACSS Lab, NorthWest University（北western大学ACSS实验室）；PINE Lab, NorthWest University（北western大学PINE实验室）；Lancaster University（兰卡斯特大学）；Xi'an University of Posts and Telecommunications（西安邮电大学）；University of Leeds（利兹大学）
SuperEar 通过隐蔽的声学超材料技术，实现了在移动中可靠窃听语音通话，成功率达80%以上，距离达4.6米，为隐私安全带来新挑战。
2026-01-16 cs.CR cs.SD eess.AS
SuperVoice: Text-Independent Speaker Verification Using Ultrasound Energy in Human Speech
Michigan State University（密歇根州立大学）
语音激活系统集成到各种桌面、移动和物联网（IoT）设备中。然而，语音欺骗攻击，如模仿和重放攻击，其中恶意攻击者合成受害者的声音或简单地重放它，带来了越来越多的安全问题。现有的说话人确认技术通过从语音命令的可听频率范围中提取的频谱特征来区分各个说话人。然而，它们通常具有高出错率和/或长延迟。在本文中，我们探索了一个新的方向，人类的语音研究，通过仔细检查在超声频段的人类语音的独特特征。我们的研究表明，从20到48 kHz的高频超声成分（如语音摩擦音）可以显着提高说话人确认的安全性和准确性。我们提出了一个说话人验证系统，SUPERVOICE，它使用一个具有特征融合机制的双流DNN架构来生成独特的说话人模型。为了测试该系统，我们创建了一个语音数据集，其中包含来自127名参与者的12小时音频（8，950个语音样本）。此外，我们还创建了第二个欺骗语音数据集来评估其安全性。为了在受控录音和真实世界应用之间取得平衡，录音是通过8种不同的录音设备从两个安静的房间收集的，包括7部智能手机和一个超声波麦克风。我们的评估表明，SUPERVOICE实现了0.58%的平等出错率的说话人确认任务，它只需要120 ms的测试传入的话语，优于所有现有的说话人确认系统。此外，在91 ms的处理时间内，SUPERVOICE在检测由5个不同扬声器发起的重放攻击时实现了0%的相等出错率。
2022-05-28 cs.HC cs.LG cs.SD
