Multitask-Based Joint Learning Approach To Robust ASR For Radio Communication Speech
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Temasek Laboratories, Nanyang Technological University（南洋理工大学淡马锡实验室）
为了实现无线电通信条件下的端到端自动语音识别（E2E ASR），提出了一种基于多任务的方法，将语音增强（SE）模块作为前端，E2E ASR模型作为后端，联合进行训练。所提出的方法的优点之一是，整个系统可以从头开始训练。与以前的作品不同，这里的任何一个组件都不需要单独执行预训练和微调过程。通过分析，我们发现，所提出的方法的成功在于以下几个方面。首先，多任务学习是必不可少的，即SE网络不仅要学习以产生更智能的语音，而且还要产生有利于识别的语音。其次，我们还发现，语音相位保留从噪声的语音是至关重要的，以提高ASR性能。第三，提出了一种双通道数据增强训练方法，将纯净语音和增强语音结合起来对整个系统进行训练。我们评估所提出的方法对大鼠英语数据集，实现了相对WER减少4.6%的联合训练方法，并高达相对WER减少11.2%的建议的数据增强方法。
2021-07-22 cs.SD eess.AS
Tandem Multitask Training of Speaker Diarisation and Speech Recognition for Meeting Transcription
Cambridge University（剑桥大学）
基于自监督学习的语音数据预训练模型，如Wav 2 Vec 2.0（W2 V2），已成为许多语音任务的骨干。在本文中，实现说话人diarisation和语音识别使用一个单一的模型，串联多任务训练（TMT）的方法，提出了微调W2 V2。对于说话人区分，语音活动检测（VAD）和说话人分类（SC）的任务是必需的，和连接主义时间分类（CTC）用于ASR。多任务框架使用W2 V2的早期层、中间层和后期层来实现VAD、SC和ASR，这与使用VAD分割音频、基于扬声器嵌入对片段进行聚类以及使用ASR转录每个片段的顺序一致。增强多方（AMI）数据集上的实验结果表明，使用不同的W2 V2层VAD，SC和ASR从早期到后期层TMT不仅节省了计算成本，而且还降低了diarisation错误率（DER）。与单独微调模型的基线相比，VAD，SC和ASR的联合微调分别使手动/自动分割的DER相对降低了16%/17%，并且说话人归因的单词错误率一致降低。
2022-07-08 cs.SD eess.AS
Multitask Detection of Speaker Changes, Overlapping Speech and Voice Activity Using wav2vec 2.0
University of West Bohemia（西波西米亚大学）
本文利用 wav2vec 2.0 自监督模型，提出多任务系统同时检测说话人变化、重叠语音和语音活动，在四个语料库上超越先前结果，并在 AMI 语料库上达到最先进性能。
2023-03-10 cs.SD eess.AS
Emotional Voice Conversion using Multitask Learning with Text-to-speech
KI for Artificial Intelligence, KAIST（韩国科学技术院人工智能研究所）；Information and Electronics Research Institute, KAIST（韩国科学技术院信息与电子研究所）
语音转换（VC）是指在保留语言内容的前提下，将人的语音转换为不同的风格。以往VC的研究都是基于序列到序列（seq 2seq）模型，这可能会误导语言信息。有人试图通过使用文本监督来克服它，它需要显式对齐，这失去了使用seq 2seq模型的好处。提出了一种基于多任务学习的文本转语音语音转换器。基于seq 2seq的文语转换的嵌入空间具有丰富的文本信息。TTS解码器的作用是将嵌入空间转换为语音，这与VC相同。在所提出的模型中，整个网络的训练，以尽量减少损失的VC和TTS。VC有望通过多任务学习捕获更多的语言信息并保持训练稳定性。在男性韩语情感文本-语音数据集上进行了VC的实验，结果表明多任务学习有助于保持VC中的语言内容。
2019-11-27 cs.CL cs.SD eess.AS
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音情感识别（SER）面临着许多挑战，但主要挑战之一是每个框架没有统一的标准。在本文中，我们提出了SpeechEQ，一个框架，统一SER任务的基础上，一个多尺度的统一度量。该度量可以通过多任务学习（MTL）来训练，该多任务学习包括情绪状态类别（EIS）和情绪强度量表（EIS）两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此，我们建立了一个普通话SER数据集- SpeechEQ数据集（SEQD）。我们在CASIA和ESD中文数据集上进行了实验，结果表明，我们的方法比基线方法有较大的提高，准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验（即，愤怒、快乐、悲伤和中性）也表明所提出的方法实现了78.16%的加权准确度（WA）和77.47%的未加权准确度（UA）的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Multitask Learning from Augmented Auxiliary Data for Improving Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Queensland University of Technology（昆士兰科技大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
尽管最近在语音情感识别（SER）方面取得了进展，但最先进的系统在不同条件下缺乏泛化能力。概括性差的一个关键潜在原因是情感数据集的稀缺，这是设计强大的机器学习（ML）模型的一个重大障碍。SER最近的工作集中在利用多任务学习（MTL）方法，通过学习共享表示来提高概括能力。然而，大多数这些研究提出的MTL解决方案与辅助任务的Meta标签的要求，这限制了SER系统的训练。本文提出了一个MTL框架（MTL-AUG），从增强数据中学习广义表示。我们利用增强型分类和无监督重建作为辅助任务，这允许在增强数据上训练SER系统，而不需要任何Meta标签用于辅助任务。MTL-AUG的半监督性质允许利用丰富的未标记数据来进一步提高SER的性能。我们在以下环境中全面评估了所提出的框架：（1）语料库内，（2）跨语料库和跨语言，（3）嘈杂的语音，（4）和对抗攻击。我们使用广泛使用的IEMOCAP，MSP-IMPROV和EMODB数据集的评估显示，与现有的最先进的方法相比，结果有所改善。
2022-07-12 cs.SD eess.AS
Multitask Learning for Grapheme-to-Phoneme Conversion of Anglicisms in German Speech Recognition
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)（弗劳恩霍夫智能分析与信息系统研究所）
本文提出多任务序列到序列方法，通过区分外来词与本土词提升德语外来词发音转换效果，减少识别错误率。
2022-01-18 cs.CL cs.SD eess.AS
Multitask Learning and Joint Optimization for Transformer-RNN-Transducer Speech Recognition
AI R&D Team, Kakao Enterprise（Kakao企业 AI 研发团队）
近年来，出现了几种端到端的语音识别方法，称为transformer-transducer。根据这些类型的方法，转录网络通常由基于变换器的神经网络建模，而预测网络可以由Transformers或递归神经网络（RNN）建模。本文探讨了变压器-RNN-传感器系统的多任务学习、联合优化和联合解码方法。我们提出的方法的主要优点在于，该模型可以维护大型文本语料库的信息。我们证明了他们的有效性进行实验，利用著名的ESPNET工具包广泛使用的Librispeech数据集。我们还表明，所提出的方法可以减少字出错率（WER）的16.6%和13.3%，分别为测试干净和测试其他数据集，而不改变整体模型结构，也不利用外部LM。
2020-11-02 cs.LG cs.SD eess.AS
Losses Can Be Blessings: Routing Self-Supervised Speech Representations Towards Efficient Multilingual and Multitask Speech Processing
Georgia Institute of Technology（佐治亚理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Rice University（莱斯大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出 S$^3$-Router 框架，通过仅微调连接并丢弃不超过 10% 的语音自监督模型权重，在提升效率的同时缓解过拟合，实现多语言多任务语音处理、ASR 剪枝与表示分析的一体化方案。
2025-01-04 cs.LG cs.SD eess.AS
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University（东南大学）；Centre de Recherche en Information Biomédicale Sino-français (CRIBs)（中法生物医学信息研究中心）；The 28th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第二十八研究所）；Univ Rennes（雷恩大学）
在传统的语音去噪任务中，通常使用干净的音频信号作为训练目标，但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点，我们提出了一个端到端的自监督语音去噪训练方案，只使用嘈杂的音频信号，名为Only-Noisy Training（ONT），没有额外的训练条件。该策略仅从单个噪声音频中构造训练对，包含两个模块：训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对，然后送入一个新的复值语音去噪模块。实验结果表明，该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性，而且与其他训练策略相比，其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
Efficient Compression of Multitask Multilingual Speech Models
PSL（巴黎文理研究大学）；Meta AI；NAVER LABS Europe（NAVER欧洲实验室）
本文提出 DistilWhisper，通过语言特定专家的轻量级模块化微调与 whisper-large-v2 知识蒸馏相结合，在保持多任务多语言能力的同时，高效提升低资源语言的 ASR 性能。
2024-05-02 cs.AI cs.CL cs.SD
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
On Psychoacoustically Weighted Cost Functions Towards Resource-Efficient Deep Neural Networks for Speech Denoising
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
我们提出了一个心理声学增强的成本函数，以平衡网络的复杂性和感知性能的深度神经网络的语音去噪。在训练网络时，我们利用感知权重添加到普通的均方误差中，以强调最可听的频率箱的贡献，而忽略不可听的箱的误差。为了生成权重，我们采用心理声学模型从干净的语音频谱计算全局掩蔽阈值。然后，我们评估我们的感知引导神经网络的语音去噪性能，通过使用客观和感知的声音质量指标，测试各种网络结构，从浅和窄的深和宽的。实验结果表明，我们的方法是一种有效的方法，为深度神经网络操作注入感知意义。特别是，通过简单的神经网络拓扑结构看到的性能的更感知的增强证明了所提出的方法可以在小型设备中实现资源高效的语音去噪，而不会降低感知的信号保真度。
2018-01-29 cs.SD eess.AS
Improving Deep Speech Denoising by Noisy2Noisy Signal Mapping
现有的基于深度学习的语音去噪方法需要干净的语音信号可用于训练。本文提出了一种基于深度学习的方法，通过不需要以自我监督的方式提供干净的语音信号来改善真实世界音频环境中的语音去噪。通过使用相同语音信号的两个噪声实现来训练全卷积神经网络，一个用作网络的输入，另一个用作网络的输出。进行了大量的实验，以显示所开发的深度语音去噪方法的优越性，传统的监督深度语音去噪方法的基础上，四个常用的性能指标，并根据实际的现场测试结果。
2020-02-21 cs.SD eess.AS eess.SP
Mu$^{2}$SLAM: Multitask, Multilingual Speech and Language Models
Google Research（谷歌研究院）；Google LLC（谷歌有限责任公司）
提出多任务多语言模型Mu$^{2}$SLAM，联合预训练语音与文本并利用监督任务对齐跨模态表示，在多语言语音翻译、识别及文本理解任务上取得显著提升。
2023-06-27 cs.CL cs.SD eess.AS
Modulation-Domain Kalman Filtering for Monaural Blind Speech Denoising and Dereverberation
Imperial College London（帝国理工学院）
本文提出了一种基于调制域卡尔曼滤波的单声道语音增强算法，对语音和混响的时频对数幅度谱进行盲跟踪。我们提出了一种自适应算法，执行盲联合去噪和去混响，同时考虑帧间语音动态，通过估计的后验分布的语音对数幅度谱给定的对数幅度谱的嘈杂的混响语音。卡尔曼滤波器更新步骤对语音、噪声和混响对数谱之间的非线性关系进行建模。卡尔曼滤波算法使用考虑混响时间、$T_{60}$和直达混响能量比（DRR）的混响参数的信号模型，并且还估计和跟踪每个频率仓中的$T_{60}$和DRR，以便改进语音对数幅度谱的估计。卡尔曼滤波算法进行了测试和图形描绘的估计混响功能随时间的推移进行检查。所提出的算法进行评估的语音质量，语音清晰度和混响性能的混响参数和信噪比的范围内，在不同的噪声类型，也比较竞争的去噪和去混响技术。对含噪混响语音的实验结果表明了该增强算法的有效性。
2018-07-26 cs.SD eess.AS
Beyond Classification: Towards Speech Emotion Reasoning with Multitask AudioLLMs
Institute for Infocomm Research (I 2 {}^{\text{2}} R), Agency for Science, Technology and Research (A*STAR)（信息与通信研究机构（I2R），科技研究局（A*STAR））；Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心（CFAR），科技研究局（A*STAR））
本文提出融合推理增强数据、双编码器架构与任务交替训练的多任务 AudioLLM 框架，使模型在提升情感分类准确率的同时生成有证据的情感推理，并验证其域外泛化能力。
2025-09-29 cs.CL cs.SD eess.AS
Speech Denoising with Deep Feature Losses
Stanford University（斯坦福大学）；Intel Labs（英特尔研究院）
我们提出了一种端到端的深度学习方法，通过直接处理原始波形来对语音信号进行去噪。给定包含被加性背景信号破坏的语音的输入音频，该系统旨在产生仅包含语音内容的经处理的信号。最近的方法使用各种深度网络架构显示出有希望的结果。在本文中，我们提出使用深度特征丢失来训练全卷积上下文聚合网络。这种损失是基于比较不同网络中的内部特征激活，这些网络被训练用于声学环境检测和国内音频标记。我们的方法优于国家的最先进的客观语音质量指标，并在大规模的感知实验与人类听众。它也优于使用传统回归损失训练的相同网络。新方法的优势对于具有最侵入性背景噪声的最硬数据尤其明显，对于这些数据，去噪是最需要和最具挑战性的。
2018-09-14 cs.SD eess.AS
Complexity Scaling for Speech Denoising
Tencent AI Lab（腾讯人工智能实验室）
本研究针对语音去噪任务提出统一的多路径变换（MPT）架构以适应不同计算复杂度，并在DNS challenge数据集上发现模型性能指标随MACs对数呈线性增长。
2023-09-14 cs.SD eess.AS
Masked Modeling Duo for Speech: Specializing General-Purpose Audio Representation to Speech using Denoising Distillation
NTT Corporation（日本电报电话公司）
本文提出去噪蒸馏任务与M2D-S模型，联合学习细粒度聚类特征与掩码预测，将通用音频表示M2D特化至语音领域，在SUPERB基准上达到或超越SOTA语音模型性能。
2023-08-03 cs.SD eess.AS
End-to-End Multi-Task Denoising for the Joint Optimization of Perceptual Speech Metrics
Samsung Semiconductor Inc.（三星半导体公司）
虽然基于深度神经网络的监督学习最近在语音增强方面取得了实质性的改进，但现有方案存在两个关键问题：频谱或度量失配。频谱失配是一个众所周知的问题，即在短时傅立叶变换（STFT）之后的任何频谱修改通常在逆短时傅立叶变换（ISTFT）之后不能完全恢复。度量失配是常规的均方误差（MSE）损失函数对于最大化感知语音测量（诸如信号失真比（SDR）、语音质量的感知评估（PESQ）和短时客观可懂度（STOI））而言通常是次优的。本文提出了一种新的端到端去噪框架。首先，对ISTFT后的时域信号进行网络优化，以避免频谱失配。其次，提出了基于SDR、PESQ和STOI的三种损失函数，以最小化度量失配。实验结果表明，该方法在SDR、PESQ和STOI等图像去噪性能上均优于现有方法。此外，所提出的方案还提供了良好的泛化性能生成去噪模型的感知语音度量，而不是作为一个损失函数在训练过程中。
2020-05-06 cs.SD eess.AS
Diverse and Expressive Speech Prosody Prediction with Denoising Diffusion Probabilistic Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对现有语音韵律预测器单模态、多样性不足的问题，提出基于去噪扩散概率模型的新型韵律预测器，在参数更少的情况下实现了更优的表现力与多样性。
2023-10-07 cs.SD eess.AS
Multitask Learning for Low Resource Spoken Language Understanding
KU Leuven（鲁汶大学）
我们探讨了多任务学习提供语音处理的好处，因为我们训练模型的双目标自动语音识别和意图分类或情感分类。我们的模型虽然规模不大，但在意图分类方面比端到端训练的模型有所改进。我们比较不同的设置，以找到每个任务模块的最佳配置。最后，我们研究了模型在低资源情况下的性能，通过训练模型，每个类只有一个例子。我们表明，在这些场景中的多任务学习与在文本特征上训练的基线模型竞争，并且比管道模型表现得更好。在情感分类方面，我们将端到端模型的性能与十倍的参数相匹配。我们考虑4个任务和4个数据集在荷兰语和英语。
2022-11-24 cs.CL cs.LG cs.SD
DiffGAN-TTS: High-Fidelity and Efficient Text-to-Speech with Denoising Diffusion GANs
Tencent AI Lab（腾讯AI实验室）
去噪扩散概率模型（DDPM）是一种表达能力很强的生成模型，已被用于解决各种语音合成问题。然而，由于它们的高采样成本，DDPM难以用于实时语音处理应用。在本文中，我们介绍了DiffGAN-TTS，一种新的基于DDPM的文本转语音（TTS）模型，实现高保真和高效的语音合成。DiffGAN-TTS基于去噪扩散生成对抗网络（GANs），其采用对抗训练的表达模型来近似去噪分布。我们用多说话人TTS实验表明，DiffGAN-TTS可以在4个去噪步骤内生成高保真语音样本。我们提出了一个积极的浅扩散机制，以进一步加快推理。一个两阶段的训练计划，提出了一个基本的TTS声学模型在第一阶段训练提供有价值的先验信息的DDPM在第二阶段训练。我们的实验表明，DiffGAN-TTS可以实现高的合成性能，只有1个去噪步骤。
2022-01-28 cs.CL cs.SD eess.AS
Perceptual Loss based Speech Denoising with an ensemble of Audio Pattern Recognition and Self-Supervised Models
Johns Hopkins University（约翰斯·霍普金斯大学）
基于深度学习的语音去噪仍然面临着提高增强信号的感知质量的挑战。我们引入了一个广义的框架，称为感知包围正则化损失（PERL）的感知损失的想法。感知损失阻止了某些语音属性的失真，我们使用六个大规模的预训练模型进行分析：扬声器分类，声学模型，扬声器嵌入，情感分类和两个自监督语音编码器（PASE+，wav 2 vec 2.0）。我们首先在流行的增强基准VCTK-DEMAND上使用Conformer Transformer Networks构建一个强基线（w/o PERL）。一次使用一个辅助模型，我们发现声学事件和自监督模型PASE+是最有效的。我们的最佳模型（PERL-AE）仅使用声学事件模型（利用AudioSet），在主要感知指标上优于最先进的方法。为了探索去噪是否可以利用完整的框架，我们使用了所有的网络，但发现我们的七损失公式受到了多任务学习的挑战。最后，我们报告了一个重要的观察结果，即最先进的多任务权重学习方法无法优于手动调整，这可能是由于域不匹配和损失互补性弱的挑战。
2020-10-22 cs.SD eess.AS
DenoiSpeech: Denoising Text to Speech with Frame-Level Noise Modeling
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音部门）
虽然基于神经网络的文本转语音（TTS）模型可以合成自然、清晰的语音，但通常需要高质量的语音数据，采集成本很高，而且在很多场景下，只能获得目标说话人的带噪语音，这给该说话人的TTS模型训练带来了挑战。以前的工作通常使用两种方法来解决这一挑战：1）使用增强模型去噪的语音来训练TTS模型; 2）在使用带噪语音进行训练时，将单个噪声嵌入作为输入。然而，它们通常不能处理具有真实世界复杂噪声的语音，例如那些随时间变化很大的噪声。在本文中，我们开发了DenoiSpeech，一个TTS系统，可以合成干净的语音与嘈杂的语音数据的扬声器。在DenoiSpeech中，我们通过使用噪声条件模块对细粒度帧级噪声进行建模来处理真实世界的噪声语音，该噪声条件模块与TTS模型联合训练。在真实数据上的实验结果表明，DenoiSpeech的性能分别比前两种方法高出0.31和0.66 MOS。
2020-12-18 cs.SD eess.AS
Pretext Tasks selection for multitask self-supervised speech representation learning
Avignon Université（阿维尼翁大学）；Télécom Paris（巴黎电信学院）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；CNRS（法国国家科学研究中心）
通过解决借口任务，自监督学习利用未标记的数据来提取有用的潜在表示，以取代下游任务中的传统输入特征。在音频/语音信号处理中，通过几十年的研究工作设计出了各种各样的特征。事实证明，学习预测这些特征（也称为伪标签）已被证明是一个特别相关的借口任务，导致有用的自我监督表示，这些表示被证明对下游任务有效。然而，用于组合这些借口任务以更好地执行下游任务的方法和常见实践尚未被适当地探索和理解。事实上，这个过程几乎完全依赖于一个计算量很大的实验过程，随着借口任务数量的增加，这个过程变得很棘手。本文介绍了一种从候选任务集中选择一组任务的方法。我们提出的方法估计校准权的部分损失所考虑的借口任务在自我监督的训练过程中。在自动语音识别、说话人和情感识别上进行的实验验证了我们的方法，因为用我们的方法选择和加权的组比经典的基线表现得更好，从而便于选择和组合相关的伪标签进行自监督表示学习。
2022-11-11 cs.LG cs.SD eess.AS
Speech Denoising Without Clean Training Data: A Noise2Noise Approach
PES University（PES大学）
本文解决了基于深度学习的音频去噪方法所需的干净语音数据的严重依赖性问题，通过展示仅使用带噪语音样本训练深度语音去噪网络是可能的。传统观点认为，为了实现良好的语音去噪性能，需要大量的噪声语音样本和完全干净的语音样本，从而需要昂贵的音频记录设备和极其受控的隔音录音室。这些要求给数据汇集带来了重大挑战，特别是在经济落后地区和资源匮乏的语言。这项工作表明，语音去噪深度神经网络可以仅利用嘈杂的训练音频成功训练。此外，它揭示了这样的训练制度实现了优越的降噪性能比传统的训练制度，利用干净的训练音频目标，在涉及复杂的噪声分布和低信噪比（高噪声环境）的情况下。通过使用20层深度复杂U-Net架构研究我们所提出的方法对真实世界噪声和合成噪声的有效性的实验证明了这一点。
2021-09-19 cs.LG cs.SD eess.AS
A Review of Multi-Objective Deep Learning Speech Denoising Methods
University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文对文献中引入的用于语音去噪的多目标深度学习方法进行了回顾。在概述了传统的单目标深度学习以及传统和深度学习的混合或组合方法之后，对用于语音去噪的多目标深度学习方法的数学框架进行了回顾。从每个语音去噪类别，其代码是公开的，选择一个代表性的方法，并进行比较，考虑到相同的公共领域数据集和四个广泛使用的客观指标。比较结果表明，多目标方法与其他方法相比，特别是当信噪比较低时，是有效的。还提到了未来可能实现的改进。
2020-03-26 cs.SD eess.AS eess.SP
Listening to Sounds of Silence for Speech Denoising
Columbia University（哥伦比亚大学）；SoftBank Group Corp.（软银集团）
我们引入了一个用于语音去噪的深度学习模型，这是音频分析中的一个长期挑战，在许多应用中出现。我们的方法基于对人类语言的一个关键观察：每个句子或单词之间通常有一个短暂的停顿。在记录的语音信号中，这些停顿引入了一系列时间周期，在这些时间周期期间仅存在噪声。我们利用这些偶然的无声间隔来学习仅给定单通道音频的自动语音去噪模型。随着时间的推移检测到的无声间隔不仅暴露纯噪声，而且暴露其时变特征，从而允许模型学习噪声动态并从语音信号中抑制噪声。在多个数据集上的实验证实了无声间隔检测在语音去噪中的关键作用，我们的方法优于几种最先进的去噪方法，包括那些只接受音频输入的方法（如我们的方法）和那些基于视听输入的方法（因此需要更多信息）。我们还表明，我们的方法具有出色的泛化性能，例如对训练过程中看不到的口语进行去噪。
2020-10-22 cs.LG cs.SD eess.AS
A Single Speech Enhancement Model Unifying Dereverberation, Denoising, Speaker Counting, Separation, and Extraction
Waseda University（早稻田大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
提出MUSE模型，集成内部分离与目标提取模块，以单一模型统一完成去混响、降噪、分离、提取及说话人计数五项语音增强任务。
2023-10-12 cs.SD eess.AS
Phase-aware Single-stage Speech Denoising and Dereverberation with U-Net
Seoul National University（首尔大学）；Supertone Inc.（Supertone公司）
在这项工作中，我们解决了一个去噪和去混响的问题与单级框架。尽管去噪和去混响可能被认为是两个独立的挑战性任务，因此每个任务通常需要两个模块，但我们证明了可以共享一个深度网络来解决这两个问题。为此，我们提出了一种新的掩蔽方法，称为相位感知β-S形掩模（PHM），它重用估计的幅度值来估计干净的相位，通过尊重三个信号分量之间的三角不等式，如混合，源和其余的复域。两个PHM用于处理直接和混响源，这允许在推理时控制增强语音中混响的比例。此外，为了提高语音增强的性能，我们提出了一个新的时域损失函数，并显示了一个合理的性能增益相比，在复杂的域中的MSE损失。最后，为了实现实时推理，提出了一种U-Net的优化策略，与朴素版本相比，该策略显着减少了计算开销，最高可达88.9%。
2020-06-01 cs.SD eess.AS
Multi-Domain Processing via Hybrid Denoising Networks for Speech Enhancement
Clova AI Research, NAVER Corp.（NAVER Corp. Clova AI Research）；Department of Mathematical Science, Seoul National University（首尔国立大学数学科学系）
我们提出了一个混合框架，利用音频表示的时间和频率精度之间的权衡，以提高性能的语音增强任务。我们首先表明，传统的方法使用特定的表示，如原始音频和频谱图是有效的针对不同类型的噪声。通过整合这两种方法，我们的模型可以学习多尺度和多域特征，以互补的方式有效地去除存在于时频空间上不同区域的噪声。实验结果表明，所提出的混合模型比单独使用每个模型产生更好的性能和鲁棒性。
2018-12-21 cs.SD eess.AS
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
NAVER LABS Europe（NAVER欧洲实验室）；Télécom Paris（巴黎电信学院）
DistilWhisper通过语言特定专家和知识蒸馏提升欠代表语言的ASR性能，同时保持多任务和多语言能力。
2025-11-29 cs.CL cs.SD eess.AS
BESTOW: Efficient and Streamable Speech Language Model with the Best of Two Worlds in GPT and T5
NVIDIA（英伟达）
本文提出BESTOW架构，融合GPT与T5两种范式的优势，将可流式SpeechLLM建模为读写策略问题，首次实现同时支持大规模流式与多任务的开源语音语言模型。
2024-06-28 cs.CL cs.HC cs.SD
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic（奥迪克公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Sonova AG（索诺瓦公司）；Hörzentrum Oldenburg GmbH（奥尔登堡听力中心有限公司）
针对现有助听器在真实噪声环境中效果不佳的问题，研究团队开发了可在手机上实时运行的深度学习降噪系统，音频流式传输至助听器总延迟约75ms，经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
Continuous Modeling of the Denoising Process for Speech Enhancement Based on Deep Learning
本文提出一种基于深度学习的语音增强连续建模方法，通过状态变量表示去噪过程，并引入控制因子实现可控降噪，实验证明保留少量噪声能提升语音增强效果。
2024-01-07 cs.AI cs.SD eess.AS
RaD-Net 2: A causal two-stage repairing and denoising speech enhancement network with knowledge distillation and complex axial self-attention
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
针对实时语音增强中未来信息利用不足和卷积感受野受限的问题，提出 RaD-Net 2，通过因果知识蒸馏和复数轴向自注意力提升两阶段修复去噪性能。
2024-06-11 cs.SD eess.AS
Feature Learning and Ensemble Pre-Tasks Based Self-Supervised Speech Denoising and Dereverberation
Newcastle University（纽卡斯尔大学）；University of Oxford（牛津大学）
自监督学习（SSL）在单声道语音增强中取得了巨大的成功，但在现有的预处理任务下，目标语音估计的准确性，特别是对未看见的说话人的准确性仍然不足。由于语音信号包含说话人身份、语言特征和说话内容等多方面信息，因此语音增强的潜在表征成为一项艰巨的任务。在本文中，我们研究了语音增强中常用的每个特征的有效性，并在SSL的情况下开发了特征组合。此外，我们还提出了一种集成训练策略。该算法学习纯净语音信号的潜在表示，同时利用去混响模板和估计比率模板对混合语音信号进行去噪和去混响。潜在表示学习和模板估计被认为是训练阶段的两个前任务。此外，为了研究预任务之间的有效性，我们比较了不同的训练例程来训练模型并进一步改进性能。NOISEX和DAPS语料库被用来评估所提出的方法的有效性，这也优于国家的最先进的方法。
2022-06-10 cs.SD eess.AS
Color-based Emotion Representation for Speech Emotion Recognition
College of Information Science and Engineering（信息科学与工程学院）
本文提出利用颜色属性表示情绪，通过构建回归模型和多任务学习提升语音情绪识别的性能。
2026-02-18 cs.AI cs.SD eess.AS
An Efficient Multitask Learning Architecture for Affective Vocal Burst Analysis
Augsburg University（奥格斯堡大学）
情感语音分析是一个正在进行的研究课题。在这个领域中，一个相对较新的问题是分析声音爆发，这是非语言的发声，如笑或叹息。目前的状态的最先进的方法来解决情感的发声分析主要是基于wav2vec2或HuBERT功能。在本文中，我们研究了使用wav2vec后继data2vec与多任务学习管道相结合，以同时解决不同的分析问题。为了评估我们高效的多任务学习架构的性能，我们参加了2022年ACII情感发声爆发挑战赛，结果表明我们的方法在三个不同的子任务中大大优于那里建立的基线。
2022-09-28 cs.LG cs.SD eess.AS
RaD-Net: A Repairing and Denoising Network for Speech Signal Improvement
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
本文提出用于ICASSP 2024 SSI挑战赛的修复与去噪网络RaD-Net，采用COM-Net替换修复网络并引入多分辨率和多频带判别器及三步训练策略，最终在赛道1和2分获第2和第3名。
2024-01-09 cs.SD eess.AS
Improving Speech Translation by Understanding and Learning from the Auxiliary Text Translation Task
Facebook AI（脸书人工智能研究院）
预训练和多任务学习被广泛用于提高语音到文本的翻译性能。在这项研究中，我们有兴趣训练语音到文本翻译模型以及辅助文本到文本翻译任务。我们进行了详细的分析，以了解在多任务学习框架内的辅助任务对主任务的影响。我们的分析证实，多任务学习倾向于从不同的模态生成相似的解码器表示，并从预训练的文本翻译模块中保留更多的信息。我们观察到两个任务之间的负迁移效应最小，共享更多的参数有助于知识从文本任务迁移到语音任务。分析还表明，在顶部解码器层的模态表示差异仍然是不可忽略的，这些层是关键的翻译质量。受这些发现的启发，我们提出了三种提高翻译质量的方法。首先，提出了一种参数共享和初始化策略，以增强任务之间的信息共享。其次，提出了一种新的基于注意力的正则化编码器，并拉来自不同模态的表示更接近。第三，提出了一种在线知识蒸馏，以增强从文本到语音任务的知识转移。我们的实验表明，所提出的方法提高了翻译性能超过2 BLEU在一个强大的基线，并实现了最先进的结果\textsc{MuST-C}英语-德语，英语-法语和英语-西班牙语对。
2021-07-12 cs.CL cs.SD eess.AS
Speech denoising by parametric resynthesis
The CUNY Graduate Center（纽约市立大学研究生中心）；Brooklyn College（布鲁克林学院）
这项工作提出了使用干净的语音声码器参数作为目标的神经网络执行语音增强。这些参数已经被设计用于文本到语音合成，使得它们都产生高质量的再合成，并且还可以直接用神经网络建模，但是直到现在还没有被用于语音增强。与匹配的文本到语音系统相比，该系统给出了嘈杂语音的地面真实成绩单，我们的模型能够产生更自然的语音，因为它可以访问嘈杂语音中的真实韵律。在比较两个去噪系统，甲骨文维纳面具和基于DNN的面具预测器，我们的模型等于甲骨文维纳面具的主观质量和可懂度，并超越了现实的系统。一个基于声码器的上限表明，这种方法仍然有改进的空间，超越了甲骨文维纳掩码。我们用两个扬声器测试扬声器依赖性，并表明单个模型可用于多个扬声器。
2019-04-02 cs.LG cs.SD eess.AS
Multi-Channel Speech Denoising for Machine Ears
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）；Google Research（谷歌研究院）
这项工作描述了一个语音降噪系统的机器耳朵，旨在提高语音清晰度和整体的听力体验在嘈杂的环境。我们记录了大约100个小时的音频数据与混响和适度的环境噪声使用一对麦克风阵列放置在每一个耳朵，然后混合录音，以模拟不利的声学场景。然后，我们在混合录音上训练了一个多通道语音去噪网络（MCSDN）。为了改进训练，我们采用了一种无监督的方法，复角中心高斯混合模型（cACGMM），从嘈杂的录音中获取更清晰的语音作为学习目标。在推理阶段，我们提出了MCSDN-Beamforming-MCSDN框架。主观评价的结果表明，cACGMM改善了训练数据，从而产生更好的降噪效果和用户偏好，整个系统提高了嘈杂环境下的可懂度和收听体验。
2022-02-17 cs.SD eess.AS eess.SP
Speech Denoising with Auditory Models
Department of Brain and Cognitive Sciences, MIT, USA（脑科学与认知科学系，麻省理工学院）；McGovern Institute for Brain Research, MIT, USA（脑研究麦戈文研究所，麻省理工学院）；Center for Brains, Minds and Machines, MIT, USA（脑、心智与机器中心，麻省理工学院）；MIT-IBM Watson AI Lab, IBM Research, USA（麻省理工-IBM沃森人工智能实验室，IBM研究院）
本文探究将听觉模型的深度特征作为感知损失用于语音去噪的效果，发现其去噪表现优于基线与过往深度特征损失方法，但并未优于无需学习特征的简单替代方案。
2021-08-13 cs.SD eess.AS
Speech Denoising in the Waveform Domain with Self-Attention
NVIDIA（英伟达）
在这项工作中，我们提出了CleanUNet，一个因果语音去噪模型的原始波形。该模型是基于一个编码器-解码器架构结合几个自注意块，以改善其瓶颈表示，这是至关重要的，以获得良好的效果。该模型通过一组定义在波形和多分辨率频谱图的损失进行优化。所提出的方法优于国家的最先进的模型，从各种客观和主观评价指标的去噪语音质量。我们在https://github.com/nvidia/cleanunet上发布我们的代码和模型。
2022-07-07 cs.LG cs.SD eess.AS
SpatialNet: Extensively Learning Spatial Information for Multichannel Joint Speech Separation, Denoising and Dereverberation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出SpatialNet神经网络，通过窄带与跨带块广泛利用空间信息，在多通道联合语音分离、去噪和去混响任务上达到最先进性能，并验证了其说话人聚类机制。
2023-12-22 cs.SD eess.AS
Noise-Robust Voice Conversion by Conditional Denoising Training Using Latent Variables of Recording Quality and Environment
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）；LY Corp.（LY公司）
针对未见噪声下语音转换自然度受限的问题，提出用录音质量与环境潜变量条件化VC模型的去噪训练方法，并通过主客观评估验证其转换语音质量提升。
2024-06-11 cs.SD eess.AS
CleanUNet 2: A Hybrid Speech Denoising Model on Waveform and Spectrogram
UCSD（加州大学圣地亚哥分校）；NVIDIA（英伟达）
CleanUNet 2提出一种结合波形与频谱图去噪器的两阶段混合语音去噪模型，通过将频谱图去噪器的预测作为CleanUNet的输入提升性能，在客观与主观评估上均超越以往方法。
2023-09-12 cs.LG cs.SD eess.AS
A unified convolutional beamformer for simultaneous denoising and dereverberation
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种方法来估计卷积波束形成器，可以执行去噪和去混响同时在一个最佳的方式。基于加权预测误差（WPE）方法的去混响的应用，然后基于最小方差无失真响应（MVDR）波束形成器的去噪，传统上被认为是有前途的方法，然而，不能保证这种方法的最优性。为了实现去噪和去混响的最佳集成，我们提出了一种方法，该方法将WPE去混响方法和MVDR波束形成器的变体，即最小功率无失真响应（MPDR）波束形成器，合并为单个卷积波束形成器，并基于单个统一的优化标准对其进行优化。所提出的波束形成器被称为加权功率最小化无失真响应（WPD）波束形成器。实验结果表明，该方法在客观语音增强指标和自动语音识别（ASR）性能两方面都有显著提高。
2019-05-05 cs.SD eess.AS
Quantum Fourier Transform Based Denoising: Unitary Filtering for Enhanced Speech Clarity
CRL Bharat Electronics Limited（巴拉特电子有限公司中央研究实验室）；Indian Institute of Technology Delhi（印度理工学院德里分校）
本研究提出将量子傅里叶变换（QFT）集成到经典音频增强流水线的量子启发去噪框架，替换传统滤波器中的FFT，在多SNR条件下实现最高15dB的SNR提升，且低SNR与非平稳噪声下鲁棒性好、无额外开销，为量子增强语音处理提供可扩展路径。
2025-09-05 cs.ET cs.SD eess.AS
HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
Diff-TTS: A Denoising Diffusion Model for Text-to-Speech
Seoul National University（首尔国立大学）；Neosapience, Inc.（Neosapience公司）
虽然神经文本转语音（TTS）模型已经吸引了大量的关注，并成功地产生了类似人类的语音，但其自然度和架构效率仍有改进的空间。在这项工作中，我们提出了一种新的非自回归TTS模型，即Diff-TTS，它实现了高度自然和高效的语音合成。在给定文本的情况下，Diff-TTS利用去噪扩散框架通过扩散时间步长将噪声信号转换为梅尔频谱图。为了学习基于文本的梅尔语谱分布，我们提出了一种基于似然的优化方法。此外，为了提高推理速度，我们利用加速采样方法，使Diff-TTS生成原始波形更快，而不会显着降低感知质量。通过实验，我们验证了Diff-TTS的生成速度比使用单个NVIDIA 2080 Ti GPU的实时生成速度快28倍。
2021-04-03 cs.AI cs.SD eess.AS
