DNSMOS: A Non-Intrusive Perceptual Objective Speech Quality metric to evaluate Noise Suppressors
Microsoft Corporation（微软公司）
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。传统的和广泛使用的度量需要参考干净的语音信号，这在实际记录中是不可用的。无参考方法与人类评级的相关性很差，在研究界没有被广泛采用。这些感知客观指标的最大用例之一是评估噪声抑制算法。本文介绍了一个多阶段的自我教学为基础的感知客观度量，旨在评估噪声抑制器。所提出的方法在具有挑战性的测试条件下具有很高的相关性，以人类的评级推广。
2021-02-10 cs.LG cs.SD eess.AS
Improving Perceptual Quality by Phone-Fortified Perceptual Loss using Wasserstein Distance for Speech Enhancement
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Institute of Information and Communications Technology（日本信息通信研究机构）
语音增强（SE）旨在提高语音质量和可懂度，这两者都与可能携带语言信息的语音片段（例如音素和音节）的平滑过渡有关。在这项研究中，我们提出了一种新的电话强化知觉损失（PFPL），考虑到语音信息的训练SE模型。为了有效地结合语音信息，PFPL是基于wav 2 vec模型的潜在表示来计算的，wav 2 vec模型是一种强大的自监督编码器，可以呈现丰富的语音信息。为了更准确地度量潜在表征的分布距离，PFPL采用Wasserstein距离作为距离度量。我们的实验结果首先揭示了PFPL是更相关的感知评估指标，相比信号电平损失。此外，结果表明，PFPL可以使深度复杂的U-Net SE模型在Voice Bank-DEMAND数据集的标准化质量和可懂度评估方面实现极具竞争力的性能。
2021-04-27 cs.LG cs.SD eess.AS
On Psychoacoustically Weighted Cost Functions Towards Resource-Efficient Deep Neural Networks for Speech Denoising
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
我们提出了一个心理声学增强的成本函数，以平衡网络的复杂性和感知性能的深度神经网络的语音去噪。在训练网络时，我们利用感知权重添加到普通的均方误差中，以强调最可听的频率箱的贡献，而忽略不可听的箱的误差。为了生成权重，我们采用心理声学模型从干净的语音频谱计算全局掩蔽阈值。然后，我们评估我们的感知引导神经网络的语音去噪性能，通过使用客观和感知的声音质量指标，测试各种网络结构，从浅和窄的深和宽的。实验结果表明，我们的方法是一种有效的方法，为深度神经网络操作注入感知意义。特别是，通过简单的神经网络拓扑结构看到的性能的更感知的增强证明了所提出的方法可以在小型设备中实现资源高效的语音去噪，而不会降低感知的信号保真度。
2018-01-29 cs.SD eess.AS
End-to-End Multi-Task Denoising for the Joint Optimization of Perceptual Speech Metrics
Samsung Semiconductor Inc.（三星半导体公司）
虽然基于深度神经网络的监督学习最近在语音增强方面取得了实质性的改进，但现有方案存在两个关键问题：频谱或度量失配。频谱失配是一个众所周知的问题，即在短时傅立叶变换（STFT）之后的任何频谱修改通常在逆短时傅立叶变换（ISTFT）之后不能完全恢复。度量失配是常规的均方误差（MSE）损失函数对于最大化感知语音测量（诸如信号失真比（SDR）、语音质量的感知评估（PESQ）和短时客观可懂度（STOI））而言通常是次优的。本文提出了一种新的端到端去噪框架。首先，对ISTFT后的时域信号进行网络优化，以避免频谱失配。其次，提出了基于SDR、PESQ和STOI的三种损失函数，以最小化度量失配。实验结果表明，该方法在SDR、PESQ和STOI等图像去噪性能上均优于现有方法。此外，所提出的方案还提供了良好的泛化性能生成去噪模型的感知语音度量，而不是作为一个损失函数在训练过程中。
2020-05-06 cs.SD eess.AS
TAPLoss: A Temporal Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs Research（Meta现实实验室）
语音增强模型近年来取得了很大的进展，但其语音输出的感知质量仍然受到限制。我们提出了一个基于时间声学参数的感知质量的目标。这些是基本的语音特征，在各种应用中起着至关重要的作用，包括说话人识别和语言分析。我们提供了一个可微估计四类低级别的声学描述符，涉及：频率相关的参数，能量或振幅相关的参数，频谱平衡参数，和时间特征。与先前的工作，着眼于聚合的声学参数或几个类别的声学参数，我们的时间声学参数（TAP）的损失，使辅助优化和改进的许多细粒度的语音特征增强工作流程。我们表明，添加TAPLoss作为语音增强的辅助目标，产生语音与改善的感知质量和可懂度。我们使用来自深度噪声抑制2020挑战赛的数据来证明时域领域模型和时频领域模型都可以从我们的方法中受益。
2023-02-16 cs.CL cs.SD eess.AS
NOMAD: Unsupervised Learning of Perceptual Embeddings for Speech Enhancement and Non-matching Reference Audio Quality Assessment
Google（谷歌）；Science Foundation Ireland（爱尔兰科学基金会）
本文提出无监督、可微的感知相似度度量 NOMAD，利用 NSIM 引导的三元组损失学习音频嵌入，在质量评估、退化排序和语音增强任务中优于非匹配参考方法。
2024-01-19 cs.SD eess.AS
Learning with Learned Loss Function: Speech Enhancement with Quality-Net to Improve Perceptual Evaluation of Speech Quality
National Taiwan University（台湾大学）
利用与人的感知相关的目标函数来训练语音增强模型是近年来的一个热门课题。主要原因是传统的均方误差（MSE）损失不能很好地代表听觉感知。一个典型的人类感知相关的度量，这是语音质量的感知评价（PESQ），已被证明提供了一个高度相关的质量评分由人类。然而，由于其复杂和不可微的特性，PESQ函数可能无法直接用于优化语音增强模型。在这项研究中，我们提出了优化增强模型与近似PESQ函数，这是可微的，从训练数据学习。实验结果表明，学习的代理函数可以指导增强模型进一步提高PESQ分数（与MSE损失训练结果相比提高0.18分），并保持语音清晰度。
2019-11-14 cs.LG cs.SD eess.AS
PROSE: Perceptual Risk Optimization for Speech Enhancement
Indian Institute of Science（印度科学理工学院）；Indian Railways（印度铁路公司）
语音增强的目标是通过最小化所选择的失真度量来从噪声信号开始获得干净语音的估计，这导致取决于未知的干净信号或其统计的估计。由于在实践中对这种先验知识的访问是有限的或不可能的，因此必须估计干净的信号统计。在本文中，我们开发了一个新的风险最小化框架语音增强，其中，一个优化的失真/风险的无偏估计，而不是实际的风险。估计的风险仅表示为噪声观测的函数。我们考虑几个感知相关的失真措施，并制定相应的无偏估计的噪声分布和先验信噪比（SNR）的现实假设。最小化的风险估计产生相应的降噪，这是一个后验SNR的非线性函数。语音质量的感知评价（PESQ），平均分段信噪比（SSNR）的计算，和听力测试表明，建议的风险优化方法采用Itakura-Saito和加权双曲余弦失真比其他失真措施提供了更好的性能。对于信噪比大于5 dB，所提出的方法提供了优越的去噪性能的基准技术的基础上的维纳滤波器，对数MMSE最小化，贝叶斯非负矩阵分解。
2017-10-11 cs.SD eess.AS
Modeling of Teager Energy Operated Perceptual Wavelet Packet Coefficients with an Erlang-2 PDF for Real Time Enhancement of Noisy Speech
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Concordia University（康考迪亚大学）
为了实现带噪语音的实时增强，提出了一种基于Erlang-2 PDF对带噪语音和噪声的Teager能量（TE）感知小波包（PWP）系数建模的阈值确定方法。所提出的方法是计算速度远远快于现有的基于小波包的阈值方法。一个自定义的阈值功能的基础上的组合的μ-法律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。所提出的自定义阈值函数基于PWP变换的带噪语音的子带中语音存在和不存在的概率作为μ律或半软阈值函数或它们的组合工作。利用NOIZEUS数据库中的语音文件，对高斯白噪声和街道噪声环境下的语音信号进行了仿真，并对所提方法的性能进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的SNR在标准的客观措施和主观评价，包括正式的听力测试。
2018-02-09 cs.SD eess.AS
DNSMOS P.835: A Non-Intrusive Perceptual Objective Speech Quality Metric to Evaluate Noise Suppressors
Microsoft Corporation（微软公司）
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。我们最近开发了一种非侵入性的语音质量度量，称为深度噪声抑制平均意见得分（DNSMOS），使用ITU-T Rec.P.808主观评估的得分。P.808分数反映了音频剪辑的整体质量。ITU-T Rec.P.835主观评价框架除了给出总体质量之外，还给出了语音和背景噪声的独立质量分数。在这项工作中，我们训练基于P.835人类评级的客观度量，其输出3个分数：i）语音质量（SIG），ii）背景噪声质量（BAK），以及iii）音频的整体质量（OVRL）。所开发的度量与人类评级高度相关，SIG的Pearson相关系数（PCC）=0.94，BAK和OVRL的PCC=0.98。这是我们所知道的第一个非侵入式P.835预测器。DNSMOS P.835作为Azure服务公开提供。
2022-02-04 cs.SD eess.AS
To Dereverb Or Not to Dereverb? Perceptual Studies On Real-Time Dereverberation Targets
Amazon Web Services（亚马逊云科技）
在现实生活中，房间效应，也称为房间混响，以及当前的背景噪声降低了语音质量。最近，基于深度学习的语音增强方法已经显示出很大的前景，并超过了传统的去噪和去混响方法。人们也已经确定，这些最先进的去噪算法显着提高了人类听众感知的语音质量。但是，去混响对主观（感知）语音质量的作用，以及由去混响引入的附加伪影是否弊大于利仍然不清楚。在本文中，我们试图回答这些问题，通过评估一个国家的最先进的语音增强系统在一个综合的主观评价研究不同的选择去混响目标。
2022-06-16 cs.SD eess.AS
Diffusion-based Signal Refiner for Speech Enhancement and Separation
Sony Group Corporation（索尼集团）
Diffiner通过扩散模型先验分布提升语音增强与分离的感知质量，有效消除处理过程中引入的不自然伪影。
2026-02-10 cs.SD eess.AS
Speech Enhancement with Perceptually-motivated Optimization and Dual Transformations
Huawei Technologies（华为技术有限公司）；Artificial Intelligence Application Research Center（人工智能应用研究中心）
为了解决单声道语音增强问题，已经进行了大量的研究，以通过在时域上从语音混合物中学习的内域或在固定的全带短时傅立叶变换（STFT）谱图上的时频域中的操作来增强语音。最近，一些基于子带的语音增强的研究已经被提出。通过对子带频谱图的操作来增强语音，这些研究在DNS 2020的基准数据集上表现出了竞争力。尽管吸引人，但这一新的研究方向尚未得到充分探索，仍有改进的空间。因此，在这项研究中，我们深入研究了最新的研究方向，并提出了一个基于子带的语音增强系统与感知动机的优化和双重变换，称为PT-FSE。特别是，我们提出的PT-FSE模型改进了其骨干，一个全波段和子波段融合模型，通过三个努力。首先，我们设计了一个频率变换模块，旨在加强全球频率相关性。然后引入时间变换来捕获长范围的时间上下文。最后，提出了一种新的损失，利用人类听觉感知的属性，以促进该模型专注于低频增强。为了验证我们提出的模型的有效性，在DNS 2020数据集上进行了大量的实验。实验结果表明，我们的PT-FSE系统实现了实质性的改进，其骨干，但也优于目前的国家的最先进的，而比SOTA的27\%。在基准数据集上，平均NB-PESQ为3.57，我们的系统提供了迄今为止报告的最佳语音增强结果。
2022-09-24 cs.AI cs.CL cs.LG
URGENT-PK: Perceptually-Aligned Ranking Model Designed for Speech Enhancement Competition
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Technische Universität Braunschweig（Braunschweig 技术大学）；Google DeepMind（谷歌DeepMind）；Waseda University（早稻田大学）；Meta
针对MOS人工标注成本高且现有预测模型受限于数据不足的问题，提出URGENT-PK成对排序方法，利用同源语音对预测相对质量，在有限数据下实现了优于基线的系统级排序性能。
2025-06-30 cs.SD eess.AS
PAAPLoss: A Phonetic-Aligned Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs Research（Meta现实实验室）
尽管近年来发展迅速，但当前的语音增强模型通常产生与真正的干净语音在感知质量上不同的语音。我们提出了一个学习目标，正式的感知质量的差异，通过使用领域知识的声学语音。我们确定时间声学参数-如频谱倾斜，频谱通量，微光等-是不可微的，我们开发了一个神经网络估计，可以准确地预测其时间序列值在整个话语。我们还为每个特征建模音素特定的权重，因为已知声学参数在不同的音素中显示不同的行为。我们可以将此标准作为辅助损失添加到任何产生语音的模型中，以优化语音输出，从而在这些特征中匹配干净语音的值。实验上，我们表明，它提高了语音增强工作流程在时域和时频域，标准的评估指标。我们还提供了一个音素依赖的声学参数的改进分析，证明了我们的方法提供的额外的可解释性。这种分析可以表明哪些功能目前是改进的瓶颈。
2023-02-16 cs.CL cs.SD eess.AS
Loud-loss: A Perceptually Motivated Loss Function for Speech Enhancement Based on Equal-Loudness Contours
College of Computer Science, Inner Mongolia University, China（内蒙古大学计算机科学学院）；Lenovo, China（联想公司）
本文提出Loud-loss，一种基于等响曲线的感知加权语音增强损失函数，通过在GTCRN中替换MSE将WB-PESQ从2.17提升至2.93，显著改善感知质量。
2026-10-14 cs.SD
Stable Training of DNN for Speech Enhancement based on Perceptually-Motivated Black-Box Cost Function
National Institute of Technology, Tokuyama College（国立技术院德山高专）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Waseda University（早稻田大学）
提高增强信号的主观音质是语音增强的重要任务之一。为了评估主观质量，已经提出了与感知激励的客观声音质量评估（OSQA）相关的几种方法，诸如PESQ（语音质量的感知评估）。然而，在大多数情况下，不允许直接使用这些测量来训练深度神经网络（DNN），因为流行的OSQA对于DNN参数是不可微的。因此，先前的研究提出了通过辅助DNN来近似OSQA的得分，以便其梯度可以用于训练主DNN。这种方法的一个问题是由分数的近似误差引起的训练不稳定。为了克服这个问题，我们建议使用从强化学习中借用的稳定技术。以提高PESQ得分为例进行的实验表明，所提出的方法（i）可以稳定地训练DNN以提高PESQ，（ii）在公共数据集上实现了最先进的PESQ得分，（iii）比基于主观评价的传统方法产生了更好的声音质量。
2020-02-14 cs.LG cs.SD eess.AS
Perceptually Better, Semantically Worse: Measuring Speech Enhancement Impact on LLM-Based Voice Systems
GN Group（GN集团）
该研究针对语音增强对LLM语音系统的影响问题，提出输出分歧率（ODR）指标，通过基准测试发现标准音频质量指标无法适配LLM流程质量评估，验证了SE引发的语义失真会传递至下游LLM任务。
2026-09-01 cs.SD eess.AS
Magnitude-Phase Dual-Path Speech Enhancement Network based on Self-Supervised Embedding and Perceptual Contrast Stretch Boosting
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Cadre Division Organization Department of the Party Committee, Xinjiang Uygur Autonomous Region（中国新疆维吾尔自治区党委组织部干部处）
提出BSP-MPNet双路径框架，融合自监督嵌入与幅度-相位信息，通过PCS增强和REMA解码器，在多个数据集上超越现有方法。
2025-03-27 cs.AI cs.SD eess.AS
How Robust Are Neural Audio Codecs for African Speech? A Multi-Task Benchmark and the Limits of Perceptual Quality
University of Florida（佛罗里达大学）
本研究通过多任务基准测试七个神经音频编解码器在非洲语音上的鲁棒性，发现信号指标与下游退化相关性差异大，且退化可通过LoRA适配部分恢复，强调任务感知评估的必要性。
2026-10-02 cs.CL cs.SD
Investigating Training Objectives for Generative Speech Enhancement
University of Hamburg（汉堡大学）
本文比较了基于分数的生成模型与薛定谔桥在生成式语音增强中的训练目标差异，并提出一种新型感知损失函数以提升增强语音的感知质量。
2025-01-18 cs.SD eess.AS
Components Loss for Neural Networks in Mask-Based Speech Enhancement
Institute for Communications Technology, Technische Universität Braunschweig（布伦瑞克工业大学通信技术研究所）
使用深度学习方法估计用于单通道语音增强的时频域掩模最近已成为一个热门的研究领域，并取得了可喜的成果。在本文中，我们提出了一种新的成分损失（CL）的神经网络的训练基于掩码的语音增强。在训练过程中，所提出的CL提供单独的控制保留的语音分量的质量，抑制的残留噪声分量，并保留一个自然的声音残留噪声分量。我们说明了潜在的建议CL通过评估一个标准的卷积神经网络（CNN）基于掩码的语音增强。新的CL获得了更好的和更平衡的性能，在几乎所有采用的仪器质量指标超过基线损失，后者包括传统的均方误差（MSE）的损失，也与语音相关的损失功能，如语音质量的感知评估（PESQ）损失和最近提出的感知加权滤波器损失。特别地，应用CL提供了更好的语音分量质量、更好的整体增强的语音感知质量以及听起来更自然的残余噪声。平均而言，对于所见的噪声类型，在增强语音上获得至少0.1点更高的PESQ分数，同时还获得超过0.5dB的更高SNR改善。这种改进对于看不见的噪声类型更强，其中获得了增强语音的约0.2点高的PESQ分数，同时输出SNR也领先超过0.5 dB。新提出的CL易于实现，代码可在https://github.com/ifnspaml/Components-Loss上提供。
2019-08-14 cs.SD eess.AS
Diffiner: A Versatile Diffusion-based Generative Refiner for Speech Enhancement
Sony Group Corporation（索尼集团公司）；Sony Research（索尼研究院）
Diffiner是一种基于扩散的生成式精炼器，通过混合新生成的干净部分与SE方法产生的失真部分，改善语音感知质量，且无需针对各SE方法专门训练，具有高模块化潜力。
2023-08-30 cs.LG cs.SD eess.AS
StuPASE: Towards Low-Hallucination Studio-Quality Generative Speech Enhancement
Nanjing University（南京大学）；Cisco Systems, Inc.（思科系统公司）；Horizon Robotics
提出StuPASE，基于PASE框架，通过使用干目标微调和流匹配模块替代GAN，在保持低幻觉的同时实现工作室级语音质量，优于现有方法。
2026-08-05 cs.AI cs.SD eess.AS
Multi-dimensional Speech Quality Assessment in Crowdsourcing
Microsoft Corporation（微软公司）
本研究基于P.804标准创建了众包多维语音质量评估工具，扩展了感知维度并验证其准确性与可复现性，已用于ICASSP 2023挑战赛。
2023-09-14 cs.SD eess.AS
Coarse-to-fine Optimization for Speech Enhancement
Apple Inc.（苹果公司）
在本文中，我们提出了由粗到细的优化语音增强的任务。余弦相似性损失[1]已被证明是衡量语音信号相似性的有效度量。然而，由于在高维空间中即使具有相同的余弦相似性损失的增强语音的大方差，利用该损失学习的深度神经网络可能无法预测具有良好质量的增强语音。我们的粗到细的策略优化了不同粒度的余弦相似性损失，使更多的约束被添加到从高维到相对低维的预测。以这种方式，增强的语音将更好地类似于干净的语音。实验结果表明，我们提出的粗到精的优化在判别模型和生成模型的有效性。此外，我们将粗到细的策略应用到生成对抗网络（GAN）中的对抗损失，并提出了动态感知损失，它动态地计算从粗分辨率到细分辨率的对抗损失。与其他生成模型相比，动态感知损失进一步提高了准确性，并实现了最先进的结果。
2019-08-21 cs.LG cs.SD eess.AS
A two-step backward compatible fullband speech enhancement system
Kuaishou Technology（快手科技）
基于深度学习的语音增强方法已经超越了传统方法。虽然这些新的方法中有许多是在宽带（16 kHz）的采样率，一个新的全带（48 kHz）的语音增强系统，本文提出。与现有的利用感知激励特征来使用单个网络结构训练全带语音增强的全带系统相比，所提出的系统是两步系统，其确保良好的全带语音增强质量，同时向后兼容于现有的宽带系统。
2022-01-28 cs.SD eess.AS
Perceptual audio loss function for deep learning
Technion-Israel Institute of Technology（以色列理工学院）
PESQ和POLQA是用于自动评估人类所经历的语音质量的标准。这些客观测量的预测应尽可能接近主观听力测试中获得的主观质量分数。Wavenet是一种深度神经网络，最初开发为原始音频波形的深度生成模型。Wavenet架构基于扩张的因果卷积，其表现出非常大的感受野。在这篇简短的论文中，我们建议使用Wavenet架构，特别是它的大接收字段，以学习PESQ算法。通过这样做，我们可以使用它作为一个可微的损失函数的语音增强。
2017-08-20 cs.LG cs.SD
Do Speech Emphasis Models Generalize across Languages and Emotions?
Adobe Research, USA（Adobe研究院，美国）；Brown University, USA（布朗大学，美国）
本文构建多语言多情感强调语料库MMEE，通过跨语言、跨情感等实验发现单语模型零样本迁移有限，而多语言训练显著提升鲁棒性。
2026-06-29 cs.AI cs.CL cs.LG
Deep Noise Suppression Maximizing Non-Differentiable PESQ Mediated by a Non-Intrusive PESQNet
Technische Universität Braunschweig（不伦瑞克工业大学）
采用深度神经网络（DNN）进行去噪的语音增强被称为深度噪声抑制（DNS）。在训练期间，DNS方法通常用均方误差（MSE）类型的损失函数来训练，这不能保证良好的感知质量。语音质量感知评价（PESQ）是一种广泛应用的语音质量评价指标。然而，原始PESQ算法是不可微的，因此不能直接用作基于梯度的学习的优化准则。在这项工作中，我们提出了一个端到端的非侵入性PESQNet DNN来估计增强语音信号的PESQ分数。因此，通过提供无参考的感知损失，它充当DNS训练的中介，允许最大化增强语音信号的PESQ分数。我们说明了我们提出的PESQNet介导的培训已经强大的基线DNS的基础上的潜力。作为进一步的新颖性，我们建议交替地训练DNS和PESQNet，以使PESQNet保持最新，并特别针对训练中的DNS表现良好。我们提出的方法与使用基于MSE的损失进行联合去噪和去混响训练的相同DNS以及Interspeech 2021 DNS挑战基线进行了比较。详细的分析表明，与基于MSE的损失的训练相比，PESQNet中介可以在合成测试数据上进一步提高DNS性能约0.1 PESQ点，在真实测试数据上提高0.03 DNSMOS点。我们提出的方法在合成测试数据上比挑战基线高出0.2个PESQ点，在真实测试数据上高出0.1个DNSMOS点。
2021-11-06 cs.SD eess.AS
Improving Perceptual Quality, Intelligibility, and Acoustics on VoIP Platforms
KonanAI；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种方法，用于微调在深度噪声抑制（DNS）2020挑战赛上训练的模型，以提高其在互联网语音协议（VoIP）应用中的性能。我们的方法涉及使DNS 2020模型适应VoIP通信的特定声学特征，其中包括压缩，传输和特定于平台的处理引起的失真和伪影。为此，我们提出了一个多任务学习框架的VoIP-DNS，共同优化噪声抑制和语音增强VoIP特定的声学。我们评估了我们的方法在不同的VoIP场景，并表明它优于行业性能和最先进的语音增强VoIP应用程序的方法。我们的研究结果表明，在DNS-2020上训练的模型有可能使用VoIP-DNS进行改进和定制，以适应不同的VoIP平台，其研究结果在语音识别，语音助理和电信等领域具有重要的应用。
2023-03-16 cs.AI cs.LG cs.MM
A Systematic Comparison of Phonetic Aware Techniques for Speech Enhancement
Hebrew University of Jerusalem（希伯来大学）；Meta AI Research（Meta人工智能研究院）
语音增强在近年来使用端到端神经网络已经有了很大的改进。然而，大多数模型对口语语音内容是不可知的。最近，一些研究提出了语音感知的语音增强，主要是使用感知监督。然而，在模型优化期间注入语音特征可以采取附加形式（例如，模型调节）。在本文中，我们进行了系统的比较不同的方法，将语音信息的语音增强模型。通过进行一系列的对照实验，我们观察到不同的语音内容模型以及各种特征注入技术对增强性能的影响，考虑因果和非因果模型。具体来说，我们评估了三种用于注入语音信息的设置，即：i）特征调节; ii）感知监督; iii）正则化。语音特征是通过使用有监督的预训练自动语音识别（ASR）模型的中间层或通过使用预训练的自监督学习（SSL）模型来获得的。我们进一步观察选择不同的嵌入层对性能的影响，同时考虑手动和学习的配置。结果表明，在大多数情况下，使用SSL模型作为语音特征优于ASR模型。有趣的是，调节设置在评估的配置中表现最好。
2022-06-22 cs.LG cs.SD eess.AS
Does a PESQNet (Loss) Require a Clean Reference Input? The Original PESQ Does, But ACR Listening Tests Don't
语音质量的感知评价（PESQ）需要一个干净的语音参考作为输入，但预测的结果（无参考）绝对类别评级（ACR）测试。在这项工作中，我们训练一个完全卷积的递归神经网络（FCRN）作为深度噪声抑制（DNS）模型，使用非侵入式或侵入式PESQNet，其中只有后者可以访问干净的语音参考。PESQNet被用作在DNS训练期间提供感知损失的中介，以最大化增强语音信号的PESQ分数。对于侵入式PESQNet，我们研究了两种拓扑结构，称为早期融合（EF）和中期融合（MF）PESQNet，并与非侵入式PESQNet进行比较，以评估和量化在DNS训练期间采用干净语音参考输入的好处。详细的分析表明，使用MF侵入式PESQNet训练的DNS分别比Interspeech 2021 DNS Challenge基线和使用MSE损失训练的相同DNS分别高出0.23和0.12个PESQ点。此外，我们可以证明，与使用非侵入式PESQNet训练的DNS相比，只获得了边际效益。因此，作为ACR听力测试，PESQNet不一定需要干净的语音参考输入，从而可以使用真实数据进行DNS训练。
2022-05-13 cs.SD eess.AS
FINALLY: fast and universal speech enhancement with studio-like quality
Samsung Research（三星研究院）
针对真实录音的语音增强难题，该研究基于GAN理论分析，结合WavLM感知损失与MS-STFT对抗训练，在HiFi++架构基础上构建了FINALLY模型，实现48kHz工作室级音质的快速通用语音增强，性能达当前最优。
2024-10-31 cs.AI cs.SD eess.AS
A Comparative Evaluation of Deep Learning Models for Speech Enhancement in Real-World Noisy Environments
ECE, Clarkson University（电气与计算机工程系，克劳斯顿大学）
本研究比较了三种深度学习模型在真实世界嘈杂环境中的语音增强性能，发现CMGAN在感知质量上表现最佳，U-Net在噪声抑制方面表现突出，Wave-U-Net则在平衡各项指标上表现优异。
2026-01-21 cs.LG cs.SD eess.AS
Auditory Model based Phase-Aware Bayesian Spectral Amplitude Estimator for Single-Channel Speech Enhancement
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
短时谱幅度的贝叶斯估计是噪声污染语音增强的主要方法之一。当考虑任何感知相关的成本函数时，这些估计器的性能通常会显着提高。另一方面，基于相位的语音信号处理的最新进展表明，基于频谱相位估计方法的纯相位增强即使在低SNR条件下也可以提供感知语音质量和可懂度的联合改善。在本文中，利用感知动机的成本函数，涉及STSA估计和真正的干净的语音，并利用先验谱相位信息，我们推导出一个相位感知贝叶斯STSA估计。基于人类听觉系统的特性，即耳蜗的动态压缩非线性、感知响度理论和耳朵的同时掩蔽特性，来选择成本函数的参数。这种类型的参数选择方案导致更多的噪声降低，同时限制语音失真。推导出的STSA估计器是最佳的MMSE意义下，如果事先的相位信息是可用的。然而，在实践中，典型地，通过采用在过去几年中开发的不同类型的谱相位估计技术，仅能够获得干净语音相位的估计。在一个盲目的设置，我们已经评估了不同类型的标准相位估计方法，在文献中提出的贝叶斯STSA估计。实验结果表明，所提出的估计器可以实现性能上的显着改善比传统的相位盲方法。
2022-02-10 cs.SD eess.AS
QC-GAN: A Parameter-Efficient Quaternion Conformer GAN for High-Fidelity Speech Enhancement
The Asahi Shimbun Company（朝日新闻社）；Tokyo Woman's Christian University（东京女子基督教大学）
提出参数高效的QC-GAN，结合四元数Conformer生成器和MetricGAN训练，通过汉密尔顿积共享权重减少参数量，在VoiceBank+DEMAND上以0.89M参数达到PESQ 3.48，性能媲美两倍大小模型。
2026-06-19 cs.AI cs.LG cs.SD
Evaluating the Impact of Discriminative and Generative E2E Speech Enhancement Models on Syllable Stress Preservation
Language Technology Research Centre, International Institute of Information Technology, Hyderabad（语言技术研究中心，印度海得拉巴国际信息技术学院）
该研究针对噪声环境下重音检测鲁棒性不足的问题，考察判别式与生成式端到端语音增强模型对音节重音保留的影响，结合机器检测与人类感知实验验证生成式模型结合启发式特征的鲁棒性。
2024-12-11 cs.SD eess.AS
Frequency-Weighted Training Losses for Phoneme-Level DNN-based Speech Enhancement
Université de Lorraine, CNRS, Inria, Loria（洛林大学、国家科学研究中心、法国国家信息与自动化研究所、Loria）
本研究提出频率加权SDR损失变体用于多通道语音增强，通过强调关键时频区域，在保持SDR的同时显著提升感知质量和辅音重建。
2025-06-23 cs.AI cs.SD eess.AS
Audio-Visual Speech Enhancement in Noisy Environments via Emotion-Based Contextual Cues
School of Computing, Edinburgh Napier University（爱丁堡龙比亚大学计算学院）；Center for Information Technology and Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出一种情感感知的音视频语音增强系统，通过从面部关键点提取情感特征并与音视频模态融合，输入基于UNet的编码器-解码器网络，在CMU-MOSEI数据集上验证了情感上下文线索能显著提升噪声环境下的语音质量和可懂度。
2024-02-26 cs.SD eess.AS
Explicit Estimation of Magnitude and Phase Spectra in Parallel for High-Quality Speech Enhancement
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语言语音信息处理工程研究中心）
本文提出MP-SENet，通过Transformer编码器-解码器并行显式估计幅度谱和相位谱，并结合多级损失与度量判别器，在语音降噪、去混响和带宽扩展任务上取得最先进性能。
2024-04-01 cs.SD eess.AS
MeanFlowSE: One-Step Generative Speech Enhancement via MeanFlow
The Hong Kong University of Science and Technology, Hong Kong, China（香港科学与技术大学，香港，中国）；Huawei Technologies, China（华为技术有限公司，中国）
本文提出单步生成式语音增强框架 MeanFlowSE，利用 MeanFlow 平均速度场和 SSL 条件表示实现快速潜变量精炼，在 DNS Challenge 测试中以更低 RTF 和更小模型达到 SOTA 感知质量。
2025-09-30 cs.SD eess.AS
High Fidelity Speech Regeneration with Application to Speech Enhancement
Tel Aviv University（特拉维夫大学）
语音增强技术近年来取得了很大的进步，主要是通过去噪，说话人分离和去混响方法，主要是处理环境对声乐音频的影响。为了增强语音超出原始信号的限制，我们采取再生的方法，其中我们从语音的本质，包括半识别的语音，韵律特征，和身份重新创建的语音。我们提出了一个波到波的语音生成模型，可以生成24位语音在一个实时的方式，并利用一个紧凑的语音表示，组成的ASR和身份特征，以实现更高水平的可理解性。受语音转换方法的启发，我们进行训练以增强语音特征，同时使用辅助身份网络来保留源的身份。感知声学指标和主观测试表明，该方法获得了宝贵的改进，最近的基线。
2021-01-31 cs.LG cs.SD eess.AS
HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
SNOAR: Self-training with Noise filtering, Observation adding, and Remixing for Speech Denoising Without Clean References
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出SNOAR框架，通过噪声过滤、观测值添加修正教师模型估计，在WHAM!和CHiME-3数据集上，其性能优于RemixIT，接近全监督基线。
2026-10-16 cs.LG cs.SD eess.AS
Rethinking Training Targets, Architectures and Data Quality for Universal Speech Enhancement
NVIDIA
本文针对通用语音增强中的训练目标选择、失真与感知权衡及数据质量问题，提出改进方法，通过时间移位的无回声干净语音作为学习目标，提出两阶段框架以最小化失真并提升感知质量，并分析训练数据规模与质量的权衡，取得SOTA性能。
2026-10-07 cs.SD
Semi-supervised Speech Enhancement in Envelop and Details Subspaces
在这项研究中，我们提出了一种基于调制解耦的单通道语音增强子空间框架，其中带噪语音的频谱图被解耦为频谱包络子空间和频谱细节子空间的乘积。这种解耦方法提供了一种专门消除那些严重影响可懂度的噪声的方法。两个监督的低秩和稀疏分解计划的频谱包络子空间中获得一个强大的恢复语音成分。一个贝叶斯公式的非负因子分解是用来学习语音字典的频谱包络子空间的干净的语音样本。在频谱细节子空间中，实现标准的鲁棒主成分分析来提取语音分量。实验结果表明，与MMSE-SPP、NMF-RPCA、RPCA和LARC等4种语音增强算法相比，本文提出的基于MS的语音增强算法在提高语音感知质量，尤其是语音可懂度方面取得了令人满意的效果。
2017-02-23 cs.SD
The Effectiveness of Time Stretching for Enhancing Dysarthric Speech for Improved Dysarthric Speech Recognition
Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们研究了几种现有的和一种新的最先进的基于生成对抗网络（GAN）的语音转换方法，用于增强构音障碍语音，以改进构音障碍语音识别。我们比较现有方法的关键组成部分，作为严格的消融研究的一部分，以找到最有效的解决方案，以改善构音障碍的语音识别。我们发现，简单的信号处理方法，如静态噪声去除和基于声码器的时间拉伸，导致构音障碍的语音识别结果与使用最先进的基于GAN的语音转换方法时获得的结果相当，如使用音素识别任务测量的。此外，与我们的时间拉伸基线相比，我们提出的MaskCycleGAN-VC和时间拉伸增强相结合的解决方案能够改善某些构音障碍说话者的音素识别结果。
2022-01-13 cs.AI cs.SD eess.AS
Regularized Schrödinger Bridge via Distortion-Perception Perturbation for High-Fidelity Speech Enhancement
本文针对扩散语音增强方法的保真度-真实感权衡与暴露偏差问题，提出正则化薛定谔桥，通过失真-感知扰动缓解训练-推理不匹配、提升重建保真度。
2026-08-04 cs.LG cs.SD
Automatic and perceptual discrimination between dysarthria, apraxia of speech, and neurotypical speech
Idiap Research Institute（伊迪亚普研究所）；Geneva University Hospital（日内瓦大学医院）；University of Geneva（日内瓦大学）
在运动性言语障碍（MSD）的背景下，自动技术通常是两类技术，旨在区分构音障碍和神经型言语或构音障碍和言语失用症（AoS）。此外，尽管提出了这样的技术来支持临床医生的感知评估，但从未比较过自动分类准确度和感知分类准确度。在本文中，我们研究了一个三级自动技术和一组手工制作的功能，用于区分构音障碍，AOS和神经型语音。针对多类分类问题，本文提出了一种层次化的方法，而不是采用通常使用的一对一或一对其余的方法。此外，进行知觉研究，其中要求言语和语言病理学家听构音障碍、AoS和神经典型言语的录音，并决定录音属于哪一类。建议的自动技术进行评估相同的录音和自动和感知分类性能进行了比较。所呈现的结果表明，分层分类方法产生了更高的分类精度比基线一对一和一对休息的方法。此外，所呈现的结果表明，自动方法产生了更高的分类精度比语音和语言病理学家的感知评估，展示了在临床实践中集成自动工具的潜在优势。
2021-06-02 cs.SD eess.AS
Neural Pitch-Shifting and Time-Stretching with Controllable LPCNet
Illinois Institute of Technology（伊利诺伊理工学院）
修改音频信号的音高和定时是基本的音频编辑操作，其应用于语音处理、视听同步以及歌唱声音编辑和合成。到目前为止，使用数字信号处理（DSP）的音高偏移和时间拉伸方法由于其速度和相对较高的质量而受到深度学习方法的青睐。然而，即使是现有的基于DSP的方法，用于音高移位和时间拉伸诱导降低音频质量的伪影。在本文中，我们提出了可控LPCNet（CLPCNet），一个改进的LPCNet声码器能够音调移位和时间拉伸的语音。对于客观评估，我们表明，CLPCNet在看不见的数据集上执行语音的音高转换，相对于以前的神经方法具有很高的准确性。对于主观评价，我们证明了CLPCNet在看不见的数据集上的音高转换和时间拉伸的质量和自然性符合或超过了基于竞争性神经或DSP的方法。
2021-10-05 cs.SD eess.AS
SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation
Fudan University（复旦大学）
针对SLLM信息建模冗余问题，提出解耦语义与感知信息的CoIG，并构建80亿参数SpeechGPT-Gen，在零样本TTS、语音转换和语音对话中表现优异。
2024-01-25 cs.CL cs.SD eess.AS
SpeechRefiner: Towards Perceptual Quality Refinement for Front-End Algorithms
School of Data Science（数据科学学院）；School of Intelligence Science and Technology（智能科学与技术学院）；Tencent Ethereal Audio Lab（腾讯虚实音频实验室）
针对语音前端算法易产生残留噪声或伪影且难被SI-SNR等指标察觉的问题，提出基于CFM的后处理工具SpeechRefiner，实验证明其对多种损伤来源泛化性强，能显著提升语音感知质量。
2025-06-16 cs.SD eess.AS
From the perspective of perceptual speech quality: The robustness of frequency bands to noise
Department of Computer Science and Engineering The Ohio State University（计算机科学与工程系俄亥俄州立大学）
本文提出受MUSHRA启发的方法，以感知语音质量为度量研究32个频带对噪声的独立鲁棒性，发现中频区域对噪声鲁棒性较差，建议未来提升语音质量的研究应更关注中频区域。
2025-11-04 cs.SD eess.AS eess.SP
