UNetGAN: A Robust Speech Enhancement Approach in Time Domain for Extremely Low Signal-to-noise Ratio Condition
Inner Mongolia Key Laboratory of Mongolian Information Processing Technology（内蒙古蒙古文信息处理技术重点实验室）
极低信噪比下的语音增强是一个非常具有挑战性的问题，在以前的工作中很少研究。针对这一问题，提出了一种基于U-Net和生成对抗学习的鲁棒语音增强方法（UNetGAN）。该方法由一个发电机网络和一个直接在时域工作的同步网络组成。该生成器网络采用类U-Net结构，并在其瓶颈处采用扩张卷积，在公共基准测试中，对低信噪比（-20dB）下的UNetGAN性能进行了评估。结果表明，它显着提高了语音质量，并大大优于代表性的深度学习模型，包括SEGAN，cGAN for SE，双向LSTM使用相位敏感谱近似代价函数（PSA-BLSTM）和Wave-U-Net关于短时客观可懂度（STOI）和语音质量的感知评估（PESQ）。
2020-10-29 cs.SD eess.AS eess.SP
VoXtream: Full-Stream Text-to-Speech with Extremely Low Latency
Department of Speech, Music and Hearing, KTH Royal Institute of Technology, Stockholm, Sweden（语音、音乐与听觉系，皇家理工学院，斯德哥尔摩，瑞典）
VoXtream通过高效架构实现极低延迟的全流式文本到语音系统，其在多个指标上超越大基线，且在GPU上达到102毫秒的初始延迟。
2026-01-26 cs.CL cs.HC cs.LG
WACO: Word-Aligned Contrastive Learning for Speech Translation
University of California, Santa Barbara（加州大学圣巴巴拉分校）；ByteDance AI Lab（字节跳动人工智能实验室）
针对极低资源语音翻译，本文提出词对齐对比学习方法WACO，通过对比学习对齐语音与文本的词级表示，在MuST-C和IWSLT 2023马耳他语-英语上仅用1小时数据即超越最佳基线9个以上BLEU分。
2023-07-07 cs.CL cs.SD eess.AS
Challenging the Boundaries of Speech Recognition: The MALACH Corpus
IBM Research AI（IBM人工智能研究院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在过去的几年里，语音识别取得了巨大的进步。曾经被认为是极其困难的任务，如黑板，现在接近人类的表现水平。MALACH语料库（LDC目录LDC 2012 S 05）是由Shoah视觉历史基金会幸存者收集的大屠杀证词大型档案的375小时子集，对语音社区提出了重大挑战。该集合由不受约束的自然语音组成，其中充满了不流利、重口音、与年龄相关的协同发音、未提示的说话者和语言切换以及情感语音--所有这些对于语音识别系统来说仍然是悬而未决的问题。即使对于熟练的人类注释者来说，转录也是一个挑战。本文提出了社区的地方集中在MALACH语料库开发语音识别系统，更强大的口音，不流利和情绪化的讲话。为了降低进入门槛，我们创建了一个词典、培训和测试设置，并展示了使用当前深度学习技术的基线结果。元数据刚刚由LDC发布（LDC 2019 S11）。希望这一资源将使社区能够在这些基线的基础上建立起来，以便更广泛的受众能够获得这些和相关口述历史中极其重要的信息。
2019-08-09 cs.CL cs.SD eess.AS
Personalized One-Shot Lipreading for an ALS Patient
CVIT, IIIT Hyderabad（海得拉巴国际信息技术研究所视觉信息技术中心）；University of Bath（巴斯大学）
唇读或从说话者的嘴部运动视觉上识别语音是一项具有挑战性和精神负担的任务。不幸的是，多种医疗条件迫使人们在日常生活中依赖这种技能进行必要的沟通。患有肌萎缩侧索硬化症（ALS）的患者经常失去肌肉控制，因此他们能够通过嘴唇运动产生语音和交流。现有的大型数据集并不关注医学患者或与个人相关的个性化词汇。然而，收集患者的大规模数据集，需要训练现代数据饥渴的深度学习模型，这是极具挑战性的。在这项工作中，我们提出了一个个性化的网络来唇传播ALS患者只使用一个镜头的例子。我们依靠合成生成的嘴唇运动来增强一次性场景。基于变分编码器的领域自适应技术被用来弥合实域和合成域之间的差距。我们的方法显着提高，并实现了高的前5名的准确性与83.2%的准确性相比，62.6%的可比方法实现的病人。除了评估我们对ALS患者的方法外，我们还将其扩展到广泛依赖嘴唇运动进行交流的听力障碍患者。
2021-11-02 cs.CL cs.CV
Voice Filter: Few-shot text-to-speech speaker adaptation using voice conversion as a post-processing module
Alexa AI（亚马逊语音助手人工智能）；National Taiwan University (NTU)（台湾大学）
最先进的文本转语音（TTS）系统需要几个小时的记录语音数据来生成高质量的合成语音。当使用减少量的训练数据时，标准TTS模型遭受语音质量和可懂度降级，使得训练低资源TTS系统成为问题。在本文中，我们提出了一种新的极低资源的TTS方法，称为语音过滤器，使用少至一分钟的语音从目标扬声器。它使用语音转换（VC）作为附加到一个预先存在的高质量的TTS系统的后处理模块，标志着在现有的TTS范式的概念转变，框架的Few-Shot TTS问题作为VC任务。此外，我们建议使用一个持续时间可控的TTS系统来创建一个并行的语音语料库，以促进VC任务。结果表明，语音过滤器优于国家的最先进的Few-Shot语音合成技术的客观和主观指标方面的一分钟的语音对一组不同的声音，而竞争对手的TTS模型建立在30倍以上的数据。
2022-02-16 cs.CL cs.LG eess.AS
Breaking the Transcription Bottleneck: Fine-tuning ASR Models for Extremely Low-Resource Fieldwork Languages
本文通过微调MMS和XLS-R模型，在五种低资源语言上验证了ASR在田野调查中的可行性，发现数据极少时MMS更优，超一小时时两者性能相当，为语言记录提供实用转录方案。
2025-06-20 cs.CL cs.SD eess.AS
Vocoder-Based Speech Synthesis from Silent Videos
Aalborg University（奥尔堡大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Oticon A/S（奥迪康公司）
听觉和视觉信息都影响着人类对语音的感知。由于这个原因，视频序列中缺乏音频决定了未经训练的唇读者的极低的语音可懂度。在本文中，我们提出了一种使用深度学习从说话者的无声视频中合成语音的方法。该系统学习从原始视频帧到声学特征的映射函数，并用声码器合成算法重建语音。为了提高语音重建性能，我们的模型还经过训练，以多任务学习的方式预测文本信息，并且能够同时实时重建和识别语音。在估计的语音质量和可懂度方面的结果显示了我们的方法的有效性，它表现出对现有的视频到语音的方法的改进。
2020-08-15 cs.CV cs.LG eess.AS
Continuous Wavelet Vocoder-based Decomposition of Parametric Speech Waveform Synthesis
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 语言发音研究组）
迄今为止，各种语音技术系统都采用了声码器方法，这是一种合成语音波形的方法，在统计参数语音合成的性能中发挥着重要作用。WaveNet是最好的模型之一，几乎类似于人类的声音，必须以非常复杂的神经网络结构以耗时的顺序方式生成波形。
2021-06-12 cs.SD eess.AS
Prototypical Metric Transfer Learning for Continuous Speech Keyword Spotting With Limited Training Data
ParallelDots, Inc.（ParallelDots公司）
连续语音关键词识别（CSKS）是指当训练数据中存在少量关键词时，在记录的对话中识别关键词的问题。与更常见的关键字定位不同，算法需要检测单独的关键字或短语，如“Alexa”，“Cortana”，“Hi Alexa！“，“怎么样奥克塔维亚？在语音中，CSKs需要从连续的语音流中过滤出嵌入的单词，即。在“我认识一个叫Anna的开发人员，他可以调查这个github问题。“除了有限的训练数据可用性的问题，CSKS是一个非常不平衡的分类问题。我们通过使用损失函数（原型网络损失和度量损失）和迁移学习的新组合来解决简单关键字定位基线对于上述两个挑战的局限性。我们的方法将F1分数提高了10%以上。
2019-01-12 cs.CL cs.LG cs.SD
Linear networks based speaker adaptation for speech synthesis
Alibaba Inc.（阿里巴巴公司）
说话人自适应方法的目标是在有限的资源下为目标说话人生成质量较好的合成语音。近年来，随着基于深度神经网络的统计参数语音合成（SPSS）方法在SPSS TTS后端建模中占据主导地位，基于SPSS框架的神经网络下的说话人自适应也成为一项重要任务。在本文中，线性网络（LN）被插入到多个神经网络层和微调与输出层的最佳扬声器自适应性能。当自适应数据非常小时，采用低秩加对角（LRPD）分解LN，使适应语音更稳定。说话人自适应实验在一定的自适应话语数范围内进行。此外，还研究了从1）女性到女性，2）男性到女性和3）女性到男性的说话人顺应。客观测量和主观测试表明，LN与LRPD分解表现最稳定时，适应数据是非常有限的，我们最好的说话人自适应（SA）模型只有200个自适应话语达到相当的质量与说话人相关（SD）模型训练1000话语，在自然度和目标说话人的相似性。
2018-03-05 cs.SD eess.AS
A Unified Speaker Adaptation Method for Speech Synthesis using Transcribed and Untranscribed Speech with Backpropagation
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；University of Edinburgh（爱丁堡大学）
通过将说话人特征表示为单独从语音中提取的单个固定长度的向量，我们可以通过对这些向量进行调节来训练神经多说话人语音合成模型。该模型也可以适应于看不见的扬声器，无论适应数据的转录是否可用。然而，这种设置将扬声器分量限制为仅单个偏置向量，这又限制了自适应过程的性能。在这项研究中，我们提出了一种新的语音合成模型，它可以适应于看不见的扬声器微调部分或全部的网络使用转录或未转录的语音。我们的方法基本上包括两个步骤：第一，我们分裂成一个独立于说话者（SI）的语言编码器和一个说话者自适应（SA）的声学解码器的传统声学模型;第二，我们训练一个辅助声学编码器，可以用作语言编码器的替代品时，语言功能是无法获得的。客观和主观评价的结果表明，适应使用转录或未转录的语音与我们的方法实现了一个合理的水平的性能与极其有限的数据量，并大大提高了性能与更多的数据。令人惊讶的是，适应与未转录的语音超过了转录对应的主观测试，这揭示了传统的声学模型的局限性，并提示潜在的改进方向。
2019-10-08 cs.CL cs.LG cs.SD
Improved low-resource Somali speech recognition by semi-supervised acoustic and language model training
Stellenbosch University（斯泰伦博斯大学）
我们提出了改进的自动语音识别（ASR）索马里，目前资源极其不足的语言。这是联合国（UN）继续努力使用基于ASR的关键字识别系统来支持非洲农村地区的人道主义救济计划的一部分。仅使用1.57小时的注释语音数据作为种子语料库，我们通过将半监督训练应用于17.55小时的未转录语音来增加训练数据的池。我们利用因式分解的时间延迟神经网络（TDNN-F）的声学建模，因为这些最近被证明是有效的资源稀缺的情况下。执行三个半监督训练通道，其中来自每个通道的解码输出用于后续通道中的声学模型训练。从表现最好的一遍中自动转换用于语言模型增强。为了保证自动翻译的质量，采用了解码器置信度作为阈值。从半监督方法获得的声学和语言模型在WER和困惑度方面与基线相比显示出显著的改善。对自动生成的transmittance进行验证，语言模型的复杂度提高了6.55%.在半监督训练中使用17.55小时的索马里声学数据显示相对于基线的7.74%的改进。
2019-07-06 cs.CL cs.LG eess.AS
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
Improving Noisy Student Training on Non-target Domain Data for Automatic Speech Recognition
NVIDIA（英伟达）
噪声学生训练（NST）最近在自动语音识别（ASR）中表现出非常强大的性能。在本文中，我们提出了一个数据选择策略命名为LM过滤器，以提高性能的非目标域数据的ASR任务的NST。生成具有和不具有语言模型的假设，并且将它们之间的CER差异用作过滤阈值。结果显示，与无数据过滤基线相比，显著改善了10.4%。在AISHELL-1测试集上，我们可以获得3.31%的CER，这是我们在没有任何其他监督数据的情况下所知道的最好结果。我们还对有监督的1000小时AISHELL-2数据集进行了评估，并取得了4.73%CER的竞争结果。
2023-03-01 cs.CL cs.SD eess.AS
Exploring Capabilities of Monolingual Audio Transformers using Large Datasets in Automatic Speech Recognition of Czech
University of West Bohemia Pilsen（西波西米亚大学比尔森分校）
在本文中，我们介绍了我们在预训练捷克单语音频Transformers方面的进展，该转换器来自一个包含超过8万小时未标记语音的大型数据集，随后使用域内数据和近6000小时的域外转录语音的组合对自动语音识别任务的模型进行微调。我们正在展示一系列实验，其中包括在两个公共数据集（CommonVoice和VoxPopuli）和一个来自MALACH项目的极具挑战性的数据集上评估的各种微调设置。我们的研究结果表明，单语Wav2Vec 2.0模型是鲁棒的ASR系统，可以利用大型标记和未标记数据集，并成功地与最先进的LVCSR系统竞争。此外，Wav2Vec模型被证明是很好的zero-shot学习者时，没有训练数据可用于目标ASR任务。
2022-06-15 cs.CL cs.SD eess.AS
MultiSpeech: Multi-Speaker Text to Speech with Transformer
Microsoft（微软）
基于转换器的文本转语音（TTS）模型（例如，Transformer TTS~ \cite{li2019neural}，FastSpeech~ \cite{ren2019fastspeech}）已经显示出训练和推理效率优于基于RNN的模型（例如，Tacotron~ \cite{shen2018natural}），这是由于其在训练和/或推理中的并行计算。然而，并行计算增加了Transformer学习文本和语音对齐的难度，在多说话人、多噪声数据的情况下，这种难度进一步放大，阻碍了Transformer在多说话人TTS中的应用。本文提出了一种鲁棒、高质量的多说话人Transformer TTS系统MultiSpeech，该系统采用了几种特殊设计的组件/技术来提高文本到语音的对齐：1）在训练和推理中对编码器-解码器注意力的权重矩阵进行对角约束; 2）在编码器中对音素嵌入进行层归一化以更好地保留位置信息; 3）解码器预网中的瓶颈，以防止连续语音帧之间的复制。在VCTK和LibriTTS多说话人数据集上的实验证明了MultiSpeech的有效性：1）与基于朴素Transformer的TTS相比，MultiSpeech合成出的多说话人语音更加鲁棒、质量更好; 2）以MutiSpeech模型为老师，我们获得了一个强多说话人FastSpeech模型，其质量几乎为零，同时具有极快的推理速度。
2020-08-01 cs.CL cs.LG cs.SD
Grad-StyleSpeech: Any-speaker Adaptive Text-to-Speech Synthesis with Diffusion Models
AITRICS；KAIST（韩国科学技术院）
近年来，由于神经生成模型的发展，文本转语音（TTS）合成技术取得了重大进展。然而，现有的方法在任何说话人自适应TTS取得了不令人满意的性能，由于他们在模仿目标说话人的风格的次优精度。在这项工作中，我们提出了梯度风格的语音，这是一个任何扬声器自适应TTS框架，它是基于扩散模型，可以生成高度自然的语音与目标扬声器的声音非常高的相似性，给定几秒钟的参考语音。Grad-StyleSpeech在英语基准测试中的表现明显优于最近的说话者自适应TTS基线。音频样本可在https://nardien.github.io/grad-stylespeech-demo上获得。
2023-03-14 cs.AI cs.SD eess.AS
Scaling Transformers for Low-Bitrate High-Quality Speech Coding
Stability AI（稳定性人工智能公司）
针对语音标记化任务，本研究扩展大参数Transformer架构并结合灵活有限标量量化（FSQ）瓶颈，在400或700比特/秒极低比特率下实现最先进语音质量，且在主客观测试中显著优于现有基准。
2024-11-29 cs.AI cs.LG cs.SD
Semi-supervised Development of ASR Systems for Multilingual Code-switched Speech in Under-resourced Languages
Stellenbosch University（斯泰伦博斯大学）；National University of Singapore（新加坡国立大学）
本文报道了半监督开发的声学和语言模型资源不足，代码转换语音在五种南非语言。考虑两种方法。第一个构造四个独立的双语自动语音识别器（ASR）对应于四个不同的语言对之间的扬声器切换频繁。第二个系统使用一个单一的、统一的、五种语言的ASR系统，代表所有的语言（英语、祖鲁语、科萨语、塞萨语和西语）。我们评估了这两种方法在用于将额外数据添加到极其稀疏的训练集时的有效性。结果表明，分批半监督训练比非分批方法产生更好的结果。此外，虽然单独的双语系统实现了更好的识别性能比统一的系统，他们受益于伪标签产生的五种语言的系统比那些产生的双语系统。
2020-03-06 cs.LG cs.SD eess.AS
Speech Denoising Without Clean Training Data: A Noise2Noise Approach
PES University（PES大学）
本文解决了基于深度学习的音频去噪方法所需的干净语音数据的严重依赖性问题，通过展示仅使用带噪语音样本训练深度语音去噪网络是可能的。传统观点认为，为了实现良好的语音去噪性能，需要大量的噪声语音样本和完全干净的语音样本，从而需要昂贵的音频记录设备和极其受控的隔音录音室。这些要求给数据汇集带来了重大挑战，特别是在经济落后地区和资源匮乏的语言。这项工作表明，语音去噪深度神经网络可以仅利用嘈杂的训练音频成功训练。此外，它揭示了这样的训练制度实现了优越的降噪性能比传统的训练制度，利用干净的训练音频目标，在涉及复杂的噪声分布和低信噪比（高噪声环境）的情况下。通过使用20层深度复杂U-Net架构研究我们所提出的方法对真实世界噪声和合成噪声的有效性的实验证明了这一点。
2021-09-19 cs.LG cs.SD eess.AS
Exploring Self-Supervised Multi-view Contrastive Learning for Speech Emotion Recognition with Limited Annotations
Maastricht University（马斯特里赫特大学）
针对语音情感识别中标注数据稀缺的问题，提出可适配多种语音表示的多视图自监督预训练框架，在标注极稀疏场景下将未加权平均召回率最高提升10%。
2024-06-12 cs.AI cs.CL cs.SD
Towards One-bit ASR: Extremely Low-bit Conformer Quantization Using Co-training and Stochastic Precision
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文提出利用多精度模型协同训练、随机精度及张量级可学习缩放因子，实现Conformer ASR系统的2-bit和1-bit极低位宽量化，在Switchboard和LibriSpeech语料库上分别达到16.2倍和16.6倍的无损压缩比且词错率无显著增加。
2025-05-27 cs.SD eess.AS
Scaling Speech Tokenizers with Diffusion Autoencoders
Meta Superintelligence Labs（Meta超智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出SiTok，一种基于扩散自编码器的语音标记器，通过监督学习实现语义丰富的表示，并在低token率和比特率下实现高保真音频重建。
2026-02-06 cs.AI cs.LG cs.SD
VoCodec: An Efficient Lightweight Low-Bitrate Speech Codec
Nanjing University（南京大学）；Horizon Robotics（地平线机器人）
VoCodec是一种低计算复杂度和低延迟的语音编解码器，利用Vocos作为骨干，在LRAC挑战赛中取得优异成绩，并通过前端轻量级网络提升语音增强能力。
2026-01-19 eess.AS
Speaker-Targeted Audio-Visual Models for Speech Recognition in Cocktail-Party Environments
Carnegie Mellon University（卡内基梅隆大学）
鸡尾酒会环境中的语音识别对于现有技术的语音识别系统来说仍然是一个重大的挑战，因为从具有相似频率和时间特性的重叠语音的背景中提取单个说话者的声学信号是极其困难的。我们建议使用扬声器为目标的声学和视听模型为这项任务。我们补充的声学特征的混合DNN-HMM模型与信息的目标扬声器的身份，以及从目标扬声器的嘴部区域的视觉特征。实验进行了使用模拟鸡尾酒会数据产生的GRID视听语料库重叠两个扬声器的语音在一个单一的声学通道。我们的纯音频基线达到了26.3%的WER。视听模型将WER提高到4.4%。引入说话人身份信息的效果更明显，将WER提高到3.6%。然而，结合这两种方法并没有进一步显着提高性能。我们的工作表明，以说话人为目标的模型可以显着提高鸡尾酒会环境中的语音识别。
2019-06-13 cs.CL cs.CV cs.SD
Are These Even Words? Quantifying the Gibberishness of Generative Speech Models
Signal Processing, University of Hamburg, Germany（信号处理，汉堡大学，德国）
本文提出利用语言模型在无监督条件下量化生成语音的胡言乱语程度，并发布高质量合成胡言乱语语音数据集及评分代码，以改进非侵入式评估方法。
2025-10-24 cs.SD eess.AS
Self-Supervised Audio-and-Text Pre-training with Extremely Low-Resource Parallel Data
TAL Education Group（好未来教育集团）；Tencent（腾讯）
音频和文本的多模态预训练最近被证明是有效的，并显着提高了许多下游语音理解任务的性能。然而，这些最先进的预训练音频文本模型只有在提供大量的并行音频和文本数据时才能很好地工作，这给许多拥有丰富的单模态语料库但缺乏并行跨模态语料库的语言带来了挑战。在本文中，我们研究是否有可能预训练音频文本多模态模型与极低资源的并行数据和额外的非并行单峰数据。我们的预训练框架由以下组件组成：（1）模态内去噪自动编码（IDAE），它能够从自身的噪声版本中重建输入文本（音频）表示。(2)跨模态去噪自动编码（CDAE），预先训练以重建输入文本（音频），给定输入文本（音频）的噪声版本和相应的翻译噪声音频特征（文本嵌入）。(3)迭代去噪过程（IDP），迭代地将原始音频（文本）和从先前迭代转换的相应文本嵌入（音频特征）转换为新的噪声较小的文本嵌入（音频特征）。我们采用双交叉模态Transformer作为我们的骨干模型，它包括两个IDAE的单峰编码器和两个CDAE和IDP的交叉模态编码器。与在完全并行数据上预训练的模型相比，我们的方法在多个下游语音理解任务上实现了相当的性能，证明了所提出的方法的巨大潜力。我们的代码可从以下网址获得：\url{https://github.com/KarlYuKang/Low-Resource-Multimodal-Pre-training}。
2022-04-10 cs.LG cs.SD eess.AS
ZeSTA: Zero-Shot TTS Augmentation with Domain-Conditioned Training for Data-Efficient Personalized Speech Synthesis
Maum AI Inc.（Maum AI公司）；Humelo Inc.（Humelo公司）
提出ZeSTA框架，通过轻量领域嵌入区分真实与合成语音，结合真实数据过采样，在极低资源下提升零样本文本转语音增强的说话人相似度，保持可懂度和感知质量。
2026-06-23 cs.AI cs.SD eess.AS
Can We Achieve High-quality Direct Speech-to-Speech Translation without Parallel Speech Data?
University of Chinese Academy of Sciences（中国科学院大学）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文提出ComSpeech复合模型及仅用S2TT与TTS数据训练的ComSpeech-ZS方法，通过对比学习实现无并行语音数据的高质量直接语音到语音翻译。
2024-06-11 cs.AI cs.CL cs.SD
LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
文语转换（TTS）技术已经被广泛应用于在不同场景下合成自然、清晰的语音。在各种终端设备（如移动电话或嵌入式设备）中部署TTS需要极小的内存使用和推理延迟。虽然诸如FastSpeech的非自回归TTS模型已经实现了比自回归模型显著更快的推理速度，但是它们的模型大小和推理延迟对于在资源受限设备中的部署来说仍然很大。在本文中，我们提出了LightSpeech，它利用神经架构搜索（NAS）自动设计基于FastSpeech的更轻量级和更高效的模型。我们首先分析了当前FastSpeech模型的组成部分，并仔细设计了一个包含各种轻量级和潜在有效架构的新颖搜索空间。然后利用NAS在搜索空间内自动发现性能良好的体系结构。实验结果表明，在保证语音质量的前提下，该方法在CPU上获得了15倍的模型压缩比和6.5倍的推理加速比。音频演示在https://speechresearch.github.io/lightspeech上提供。
2021-02-08 cs.AI cs.LG cs.SD
TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
TaDiCodec提出一种文本感知扩散Transformer语音分词器，通过端到端单阶段训练和文本引导扩散解码，在极低帧率6.25 Hz和0.0875 kbps下实现高质量语音重构，并验证了其在自回归与掩码生成式零样本文本到语音中的有效性。
2025-08-22 cs.LG cs.SD eess.AS
Diffusion-based Speech Enhancement with Schrödinger Bridge and Symmetric Noise Schedule
Logitech（罗技）；EPFL（洛桑联邦理工学院）；Logitech Europe（罗技欧洲）；EPFL SDSC（洛桑联邦理工学院数据科学中心）
针对扩散语音增强模型结构信息缺失、低信噪比下性能差的问题，提出基于薛定谔桥的SBSE方法，结合含比率掩码的两阶段系统，实现低推理步数下的最优性能。
2024-09-13 cs.SD eess.AS
Multilingual Zero Resource Speech Recognition Base on Self-Supervise Pre-Trained Acoustic Models
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
针对多数语言标记音频数据不足、现有零资源词级语音识别错误率过高的问题，本文首次将自监督预训练模型拓展至词级零资源语音识别，通过IPA音素微调加外部文本语言模型解码的方法，在8种语言上取得了33.77%的平均词错误率，部分语言低于20%。
2022-10-13 cs.CL cs.SD eess.AS
LLaMA-Omni: Seamless Speech Interaction with Large Language Models
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出 LLaMA-Omni 模型架构，集成语音编码器、适配器、LLM 和流式解码器，实现无需转录的低延迟高质量语音交互，在内容和风格上优于以往模型且训练高效。
2025-03-01 cs.AI cs.CL cs.SD
Spike-Triggered Non-Autoregressive Transformer for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
非自回归Transformer模型在神经机器翻译中实现了极快的推理速度和与自回归序列到序列模型相当的性能。大多数非自回归Transformers从预定义长度的掩码序列解码目标序列。如果预定义的长度太长，则会导致大量的冗余计算。如果预定义的长度小于目标序列的长度，则会损害模型的性能。为了解决这个问题，提高推理速度，本文提出了一种用于端到端语音识别的尖峰触发非自回归Transformer模型，该模型引入CTC模块来预测目标序列的长度，加速收敛。所有的实验都是在公开的汉语普通话数据集AISHELL-1上进行的。结果表明，该模型能够准确预测目标序列的长度，并取得了与先进的Transformers竞争的性能。更重要的是，该模型甚至达到了0.0056的实时系数，超过了所有主流的语音识别模型。
2020-05-16 cs.CL cs.SD eess.AS
Multi-modal Speech Enhancement with Limited Electromyography Channels
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；Fortemedia Singapore（Fortemedia新加坡公司）
针对现有基于肌电的语音增强方法通道多实用性弱的问题，提出结合8通道肌电与声学信号、带跨模态模块的改进SEMamba网络，显著提升低信噪比下语音增强效果与鲁棒性。
2025-01-11 cs.SD eess.AS
BigSSL: Exploring the Frontier of Large-Scale Semi-Supervised Learning for Automatic Speech Recognition
Google Inc.（谷歌公司）；Apple Inc.（苹果公司）
我们总结了使用巨型自动语音识别（ASR）模型的大量努力的结果，这些模型使用包含大约100万小时音频的大型，多样化的未标记数据集进行预训练。我们发现，预训练、自训练和扩展模型大小的组合大大提高了数据效率，即使是具有数万小时标记数据的超大型任务也是如此。特别是，在具有34k小时标记数据的ASR任务中，通过微调80亿参数预训练的Conformer模型，我们可以仅用3%的训练数据匹配最先进的（SoTA）性能，并通过完整的训练集显着提高SoTA。我们还报告了使用大型预训练和自训练模型进行大量下游任务所获得的普遍好处，这些任务涵盖了广泛的语音领域，并跨越了多个数量级的数据集大小，包括在许多公共基准测试中获得SoTA性能。此外，我们利用预训练网络的学习表示来实现非ASR任务的SoTA结果。
2022-07-21 cs.CL cs.LG cs.SD
SkiM: Skipping Memory LSTM for Low-Latency Real-Time Continuous Speech Separation
Shanghai Jiao Tong University（上海交通大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院-北京（SRC-B））
用于会议预处理的连续语音分离是近年来的研究热点。与话语级语音分离中的数据相比，会议式音频流持续时间更长，说话人数量不确定。我们采用时域语音分离方法和最近提出的Graph-PIT，建立一个超低延迟的在线语音分离模型，这是非常重要的实际应用。具有小步幅的低延迟时域编码器导致极长的特征序列。提出了一种简单而有效的长序列建模模型Skipping Memory（SkiM）。实验结果表明，SkiM的分离性能与DPRNN相当，甚至更好.同时，SkiM的计算成本比DPRNN减少了75%。SkiM强大的长序列建模能力和较低的计算成本使其成为在线CSS应用程序的合适模型。我们最快的实时模型在模拟会议式评估中获得了17.1 dB的信号失真比（SDR）改善，延迟不到1毫秒。
2022-02-10 cs.SD eess.AS
Creating Spoken Dialog Systems in Ultra-Low Resourced Settings
Carnegie Mellon University（卡内基梅隆大学）
本文面向弗拉芒语低资源意图分类，在现有轻量模型上结合语音与音标转写两层数据增强，缓解标注数据稀缺并提升性能。
2023-12-11 cs.CL cs.LG eess.AS
MAC: A unified framework boosting low resource automatic speech recognition
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个统一的框架，低资源自动语音识别任务命名为Meta音频级联（MAC）。它易于实施，可以在资源极其有限的环境中进行。在数学上，我们给出了一个清晰的描述MAC框架的角度来看，baker-sampling。在这个框架中，我们利用一个新的拼接合成文本到语音系统，以提高低资源ASR任务。通过拼接合成的文语转换系统，可以整合语言发音规则，调整文语转换过程。此外，我们提出了一个广义的Meta音频集的概念，以满足不同的语言和不同的场景使用系统时的建模需求。大量的实验已经证明了MAC在低资源ASR任务上的巨大有效性。对于CTC贪婪搜索、CTC前缀、注意力和注意力重评分解码模式，MAC方法在粤语ASR任务、台语ASR任务和日语ASR任务中均能使CER降低15%以上。此外，在ASR任务中，MAC在粤语的常见语音数据集上击败了wav 2 vec 2（微调），并在台语和日语的常见语音数据集上获得了真正有竞争力的结果。其中，值得一提的是，我们在普通语音粤语ASR任务上实现了\textbf{10.9\%}的字符出错率（CER），带来了\textbf{30\%}相对wav 2 vec 2的改善（微调）。
2023-02-15 cs.CL cs.SD eess.AS
Revisiting the Entropy Semiring for Neural Speech Recognition
Google（谷歌）
本研究再探熵半环在神经语音识别中的应用，提出用对齐熵通过正则化或蒸馏监督模型，开源半环框架下的CTC和RNN-T实现，实验证明对齐蒸馏可提升流式语音识别的准确率与延迟性能，在Librispeech数据集达SOTA。
2023-12-19 cs.LG cs.SD eess.AS
Selective HuBERT: Self-Supervised Pre-Training for Target Speaker in Clean and Mixture Speech
本文提出 Selective-HuBERT，借助目标说话人注册语音、双路径训练和互相关约束学习噪声不变的选择性语音表征，并在 SUPERB 与 LibriMix 上验证其通用性、鲁棒性及低资源价值。
2023-11-08 eess.AS
Language-universal phonetic encoder for low-resource speech recognition
ByteDance（字节跳动）
本文首次在注意力编码器-解码器架构内利用基于国际音标的语言通用音素模型提升低资源ASR性能，并提出适应方法，在极端低资源及不匹配场景下优于基线与多数先进工作。
2023-05-19 cs.CL cs.SD eess.AS
AfriHuBERT: A self-supervised speech representation model for African languages
Saarland Informatics CampusGermany（萨尔兰信息学校区德国）；National Institute of InformaticsJapan（日本信息机构）
本文提出 AfriHuBERT，通过在 10K+ 小时语音数据上持续预训练，将 mHuBERT-147 覆盖的非洲语言从 16 种扩展至 1,226 种，在 SLID 和 ASR 任务上取得显著提升，并展现出强大的跨语料库泛化与极低资源场景竞争力。
2025-06-01 cs.CL cs.SD eess.AS
Lessons from Building Acoustic Models with a Million Hours of Speech
这是我们从100万小时的未标记语音中构建声学模型的经验教训的报告，而标记语音仅限于7，000小时。我们在未标记的数据上进行学生/教师培训，与基于置信模型的方法相比，这有助于扩展目标生成，而基于置信模型的方法需要解码器和置信模型。为了优化存储和并行化目标生成，我们存储来自教师模型的高值logit。引入调度学习的概念，我们交错学习未标记和标记的数据。为了在大量GPU上扩展分布式训练，我们使用64个GPU的BMUF，而使用16个GPU的梯度阈值压缩SGD仅对标记数据执行序列训练。我们的实验表明，非常大量的数据确实是有用的;几乎没有超参数调整，我们在10%到20%的范围内获得了相对的WER改进，在噪声较大的条件下获得了更高的增益。
2019-04-02 cs.LG cs.SD eess.AS
Tiny Transducer: A Highly-efficient Speech Recognition Model on Edge Devices
Tencent（腾讯）
本文提出了一个非常轻量级的基于电话的传感器模型，在边缘设备上具有微小的解码图。首先，首先使用基于空标签跳过的音素同步解码（PSD）算法来加速换能器解码过程。然后，为了减少高空白分数所带来的删除错误，提出了一种空标签去权方法。为了减少参数和计算量，深度前馈顺序记忆网络（DFSMN）层中使用的传感器编码器，并采用基于CNN的无状态预测器。SVD技术进一步压缩了模型。基于WFST的解码图以上下文无关（CI）的电话后验作为输入，并允许我们灵活地偏置用户特定的信息。最后，在奇异值分解后仅用0.9M参数，我们的系统可以给出相对于一个更大的传统混杂系统的边缘设备上的9.1% - 20.5%的改善。
2021-02-07 cs.SD eess.AS
Which Languages Transfer Best to Warlpiri? A Similarity-Based Study for Low-Resource ASR
University of New South Wales（新南威尔士大学）；University of Melbourne（墨尔本大学）；University of Sydney（悉尼大学）
研究极低资源环境下语言相似度对ASR跨语言迁移的作用，提出结合声学与语言相似度的框架对高资源源语言排名，实验表明相似语言优于基线，阿萨姆语和印地语效果好，还分析了不同相似度对迁移的影响。
2026-07-14 cs.CL eess.AS
Fast Yet Effective Speech Emotion Recognition with Self-distillation
L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Griffith University（格里菲斯大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
语音情感识别是从语音中识别人的情感状态的任务。SER在帮助对话系统真正理解我们的情感并成为值得信赖的人类对话伙伴方面非常普遍。由于语音的冗长性质，SER还缺乏用于深度神经网络等强大模型的丰富标记数据。大规模语音数据集上的预训练复杂模型已经通过迁移学习成功地应用于SER。然而，微调复杂的模型仍然需要大量的内存空间，导致推理效率低。在本文中，我们认为通过自蒸馏可以实现快速而有效的SER，自蒸馏是一种同时微调预训练模型和训练更浅版本的方法。我们的自蒸馏框架的好处有三个方面：（1）在声学模态上采用自蒸馏方法突破了语音数据的有限真实性，并在SER数据集上优于现有模型的性能;（2）在不同深度执行强大的模型可以在资源有限的边缘设备上实现自适应的准确性-效率权衡;（3）新的微调过程而不是从头开始进行自蒸馏训练，导致更快的学习时间和具有少量标签信息的数据的最新准确性。
2022-10-26 cs.SD eess.AS
Egonoise Resilient Source Localization and Speech Enhancement for Drones Using a Hybrid Model and Learning-Based Approach
针对无人机旋翼自噪声导致麦克风极低信噪比问题，提出结合阵列信号处理与深度神经网络的混合方法，利用六麦克风阵列与GSC-DF2系统实现目标声源定位与语音增强，在-30 dB SNR下优于四种基线方法。
2025-08-08 eess.AS
CR-CTC: Consistency regularization on CTC for improved speech recognition
Xiaomi Corp.（小米公司）
针对CTC在语音识别中性能不足的问题，提出CR-CTC方法，通过强制输入语音不同增强视图的CTC分布一致性，从自蒸馏、掩码预测学习上下文表示、抑制尖峰分布三方面改进，实验证明其性能显著提升，可与Transducer等先进系统媲美。
2025-02-14 cs.LG cs.SD eess.AS
More Similar than Dissimilar: Modeling Annotators for Cross-Corpus Speech Emotion Recognition
Computer Science and Engineering（计算机科学与工程）；University of Michigan（密歇根大学）
提出利用标注者间相似性，通过预训练模型识别相似标注者，实现低成本个性化语音情感识别，显著优于其他即用型方法。
2025-09-15 cs.LG cs.SD eess.AS
BrainTalker: Low-Resource Brain-to-Speech Synthesis with Transfer Learning using Wav2Vec 2.0
Yonsei University（延世大学）
针对ECoG数据稀缺难以训练脑到语音系统的问题，提出BrainTalker框架，利用Wav2Vec 2.0迁移学习，在低资源下生成清晰语音，皮尔逊相关系数达0.9。
2023-12-21 cs.SD eess.AS
Few-Shot Cross-Lingual TTS Using Transferable Phoneme Embedding
National Taiwan University（台湾大学）
本文研究了一种可转移音素嵌入框架，旨在解决Few-Shot环境下的跨语言文本到语音转换问题。迁移学习是Few-Shot学习的常用方法，因为在Few-Shot训练数据上从头开始训练必然会过拟合。尽管如此，我们发现，在提供不到8分钟的数据的极Few-Shot设置下，朴素的迁移学习方法无法适应看不见的语言。我们处理的问题，提出了一个框架，该框架由一个基于音素的TTS模型和一个码本模块从不同的语言到一个学习的潜在空间的项目音素。此外，通过利用音素级平均的自监督学习特征，我们有效地提高了合成语音的质量。实验表明，使用我们的框架，当适应一种看不见的语言时，使用4个话语（大约30秒的数据）就足以合成可理解的语音。
2022-08-03 cs.AI cs.LG eess.AS
