A Study on Zero-shot Non-intrusive Speech Assessment using Large Language Models
Academia Sinica（中央研究院）；University of Palermo（巴勒莫大学）
本研究提出GPT-Whisper，结合Whisper与提示工程实现零样本非侵入式语音评估，在可懂度和CER相关性上优于现有模型，验证了其无需训练数据的潜力。
2025-01-20 cs.SD eess.AS
HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Nagoya University（名古屋大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不需要一个干净的参考，非侵入性的语音评估方法已经引起了极大的关注，客观的评价。最近，深度神经网络（DNN）模型已被应用于构建非侵入式语音评估方法，并被证实具有良好的性能。然而，大多数基于DNN的方法都是为听力正常的听众设计的，而没有考虑听力损失因素。在这项研究中，我们提出了一个基于DNN的助听器语音评估网络（HASA-Net），由双向长短期记忆（BLSTM）模型形成，根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知，HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明，预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI），分别。
2021-11-10 cs.AI cs.SD eess.AS
Non-intrusive speech quality assessment using neural networks
Microsoft Research Labs（微软研究院实验室）
估计音频信号的感知质量对于许多多媒体和音频处理系统是至关重要的。提供商努力提供最佳和可靠的服务，以提高用户体验质量（QoE）。在这项工作中，我们提出了一个非侵入性的音频质量评估的神经网络的适用性调查。我们提出了三种基于神经网络的平均意见得分（MOS）估计方法。我们将我们的结果与三种工具测量进行比较：语音质量的感知评估（PESQ），ITU-T建议P.563和语音混响能量比。我们的评估使用被卷积和加性噪声污染的语音数据集，使用基于人群的QoE评估进行标记，使用与MOS标签的Pearson相关性进行评估，以及估计MOS的均方误差。我们提出的方法优于上述仪器测量，使用Mel频率特征的全连接深度神经网络提供最佳相关性（0.87）和最低均方误差（0.15）
2019-03-16 cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan（CyberAgent日本）
针对听障听众的双耳语音可懂度预测，提出用Mamba替代Transformer进行时间处理，在保持参数较少的同时达到竞争性能，并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
CCATMos: Convolutional Context-aware Transformer Network for Non-intrusive Speech Quality Assessment
Bose Corporation（博士公司）；Indiana University（印第安纳大学）
语音质量评估已经成为许多语音通信相关应用（如电话和在线会议）的关键组成部分。传统的侵入式语音质量评估需要退化话语的干净参考来提供准确的质量测量。这一要求限制了这些方法在真实场景中的可用性。另一方面，非侵入式主观测量是评估语音质量的“金标准”，因为人类听众可以轻松地从本质上评估任何降级语音的质量。在本文中，我们提出了一种新的端到端的模型结构，称为卷积上下文感知Transformer（CCAT）网络来预测人类评分员的平均意见得分（MOS）。我们在跨越多种语言和失真类型的三个MOS注释数据集上评估了我们的模型，并将结果提交给ConferencingSpeech 2022挑战赛。我们的实验表明，CCAT提供了有前途的MOS预测相比，目前最先进的非侵入性语音评估模型的平均皮尔逊相关系数（PCC）从0.530增加到0.697和平均RMSE从0.768下降到0.570相比，挑战评估测试集的基线模型。
2022-11-04 cs.LG cs.SD eess.AS
Does a PESQNet (Loss) Require a Clean Reference Input? The Original PESQ Does, But ACR Listening Tests Don't
语音质量的感知评价（PESQ）需要一个干净的语音参考作为输入，但预测的结果（无参考）绝对类别评级（ACR）测试。在这项工作中，我们训练一个完全卷积的递归神经网络（FCRN）作为深度噪声抑制（DNS）模型，使用非侵入式或侵入式PESQNet，其中只有后者可以访问干净的语音参考。PESQNet被用作在DNS训练期间提供感知损失的中介，以最大化增强语音信号的PESQ分数。对于侵入式PESQNet，我们研究了两种拓扑结构，称为早期融合（EF）和中期融合（MF）PESQNet，并与非侵入式PESQNet进行比较，以评估和量化在DNS训练期间采用干净语音参考输入的好处。详细的分析表明，使用MF侵入式PESQNet训练的DNS分别比Interspeech 2021 DNS Challenge基线和使用MSE损失训练的相同DNS分别高出0.23和0.12个PESQ点。此外，我们可以证明，与使用非侵入式PESQNet训练的DNS相比，只获得了边际效益。因此，作为ACR听力测试，PESQNet不一定需要干净的语音参考输入，从而可以使用真实数据进行DNS训练。
2022-05-13 cs.SD eess.AS
Non-intrusive Speech Quality Assessment with Diffusion Models Trained on Clean Speech
University of Hamburg（汉堡大学）
本研究探索扩散模型在语音密度估计的潜力，提出仅用干净语音训练的无监督非侵入式语音质量评估方法，通过确定性加噪得到的终端高斯分布似然评估质量，与侵入式指标及人类评分相关性良好。
2025-06-13 cs.LG cs.SD eess.AS
Predicting score distribution to improve non-intrusive speech quality estimation
Microsoft Research（微软研究院）
深度噪声抑制器（DNS）已经成为从语音中去除背景噪声、混响和失真的有吸引力的解决方案，并且广泛用于电话/语音应用中。它们偶尔也容易引入伪像并降低语音的感知质量。主观听力测试使用多个人类法官来得出平均意见得分（MOS），这是衡量这些模型性能的一种流行方法。基于深度神经网络的非侵入式MOS估计模型最近已成为这些测试的流行的成本效益替代方案。这些模型仅使用MOS标签进行训练，通常会丢弃意见分数的次要统计数据。在本文中，我们研究了几种方法来整合的意见分数（如方差，直方图信息）的分布，以提高MOS估计性能。我们的模型在419 K去噪样本的语料库上进行了训练，使用了320种不同的DNS模型和模型变体，并在DNSMOS的18 K测试样本上进行了评估。我们表明，一个单一的任务MOS估计管道非常小的修改，这些免费提供的标签可以提供高达0.016 RMSE和1%的SRCC的改善。
2022-04-13 cs.SD eess.AS
ConferencingSpeech 2022 Challenge: Non-intrusive Objective Speech Quality Assessment (NISQA) Challenge for Online Conferencing Applications
Tencent Ethereal Audio Lab.（腾讯天籁音频实验室）；Technical University of Berlin（柏林工业大学）；Microsoft Corp.（微软公司）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Southern University of Science and Technology（南方科技大学）；XiDian University（西安电子科技大学）
随着语音通信系统（如在线会议应用程序）的进步，我们可以与人们无缝合作，无论他们身在何处。然而，在在线会议期间，语音质量可能会受到背景噪声、混响、数据包丢失、网络抖动等的显著影响。由于其性质，语音质量传统上在实验室进行主观测试，最近也在遵循ITU-T Rec.P.800系列国际标准的众包中进行评估。然而，这些方法成本高昂，无法应用于客户数据。因此，需要一种有效的客观评估方法来评估或监测正在进行的会话的语音质量。ConferencingSpeech 2022挑战赛针对语音质量评估任务的非侵入式深度神经网络模型。我们开源了一个训练语料库，其中包含超过86 K不同语言的语音片段，通过众包提供了各种合成和实时降级及其相应的主观质量分数。18支队伍提交了他们的模型进行评估。盲法测试集包括约4300个来自广泛降解范围的夹子。本文描述了挑战，数据集和评估方法，并报告了最终结果。
2022-04-01 cs.SD eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica（台湾“中央研究院）
针对助听器中非侵入式语音可懂度评估需求，提出跨域特征重要性方法FiDo，通过估计多类特征重要性并投影加权来提升模型性能，集成到MBI-Net+后RMSE显著降低，效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
On the robustness of non-intrusive speech quality model by adversarial examples
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
最近已经表明，基于深度学习的模型在语音质量预测上是有效的，并且可以在各种方面优于传统的度量。虽然网络模型有可能成为复杂人类听觉感知的替代品，但它们可能包含预测的不稳定性。这项工作表明，深度语音质量预测器可能容易受到对抗性扰动的影响，其中与语音输入相比，预测可能会因小至$-30$ dB的不明显扰动而急剧变化。除了暴露深度语音质量预测因子的脆弱性外，我们还进一步探索和确认对抗训练对于增强模型鲁棒性的可行性。
2022-11-11 cs.LG cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.（先进媒体公司）
针对无干净参考的助听器处理语音清晰度预测任务，研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略，提出帧对齐融合方法，在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
Non Intrusive Intelligibility Predictor for Hearing Impaired Individuals using Self Supervised Speech Representations
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文将自监督语音表征用于非侵入式听障语音可懂度预测，在Clarity Prediction Challenge 1数据上达到与复杂系统竞争的性能，并指出泛化仍需更多数据。
2023-12-07 cs.LG cs.SD eess.AS
Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners
Orka Labs Inc.（Orka实验室）；Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出利用多个语音增强器构建并行增强信号通路的非侵入式语音可懂度预测框架，并结合2片段增强策略提升跨数据集泛化能力，在多个数据集上优于CPC2 Champion基线。
2025-09-21 cs.AI cs.SD eess.AS
Residual-Guided Non-Intrusive Speech Quality Assessment
Ningbo University, China（宁波大学，中国）
提出了一种基于受损语音和增强语音残差的非侵入式语音质量评估方法。我们的任务的困难是特别缺乏信息，相应的参考语音是缺席。我们在受损语音上生成增强语音以补偿参考音频的缺失，然后将残差信息与受损语音配对。与直接将受损语音输入模型相比，残差可以从增强的对比度中带来一些额外的有用信息。人耳对某些噪声敏感，但与深度学习模型不同。导致模型预测的平均意见得分（MOS）不足以很好地拟合我们的主观敏感性，并导致偏差。这些残差与参考语音有密切的关系，从而提高了深度学习模型预测MOS的能力。在训练阶段，实验结果表明，在同等条件下，与残差配对可以快速获得较好的评价指标。此外，我们的最终结果在PLCC和RMSE中分别提高了31.3%和14.1%。
2022-03-22 cs.LG cs.SD eess.AS
Non-intrusive speech intelligibility prediction using automatic speech recognition derived measures
语音可懂度的估计是一个远未解决的问题。特别是一个方面是有问题的：大多数标准模型需要一个干净的参考信号，以估计可懂度。这是一个具有一定意义的问题，因为在实践中通常无法获得参考信号。因此，在这项工作中，提出了一种非侵入式的语音清晰度估计框架。在其中，人类听众在关键词识别任务中的表现是使用可懂度测量来预测的，这些测量是从为自动语音识别（ASR）训练的模型中得出的。一个这样的基于ASR和一个基于信号的措施被组合成一个完整的框架，建议无参考可懂度（Nori）估计，这是在预测性能的正常听力和听力受损的听众在多种噪声条件下进行评估。它示出的Nori框架，甚至优于广泛使用的基于参考（或侵入）的短期客观可懂度（STOI）的措施，在大多数情况下考虑的情况下，同时适用于完全盲目的情况下，没有参考信号或转录，创建在线和个性化优化的语音增强系统的前景。
2021-10-28 eess.AS
Quality-Net: An End-to-End Non-intrusive Speech Quality Assessment Model based on BLSTM
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（国立台湾大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
目前，大多数客观语音质量评估工具（例如，语音质量的感知评估（PESQ））是基于降级/处理的语音与其干净对应物的比较。对“黄金”参考的需要在很大程度上限制了这种评估工具在现实世界中的实用性，因为通常无法获得干净的参考。另一方面，人类可以容易地评估语音质量而无需任何参考（例如，平均意见评分测试），这意味着存在客观和非侵入性（不需要干净的参考）的质量评估机制。在这项研究中，我们提出了一种新的端到端，非侵入性的语音质量评估模型，称为质量网络，基于双向长短期记忆。Quality-Net中的语音质量评价是基于帧级评价的。帧约束和合理的初始化的遗忘门偏置被应用于学习有意义的帧级质量评估从话语级质量标签。实验结果表明，Quality-Net可以产生较高的相关性PESQ（0.9的噪声语音和语音增强处理后的语音0.84）。我们相信，质量网络有潜力被用于各种各样的应用程序的语音信号处理。
2018-08-17 cs.AI cs.SD eess.AS
Reference-aware SFM layers for intrusive intelligibility prediction
UBC ECE（不列颠哥伦比亚大学电子与计算机工程系）；Orka Labs Inc.（Orka实验室公司）；Stanford EE（斯坦福大学电气工程系）
本文提出结合参考条件与多层语音基础模型表示来改进侵入式语音可懂度预测，最终在CPC3上以开发集RMSE 22.36、评估集24.98排名第一。
2025-09-21 cs.SD eess.AS
More for Less: Non-Intrusive Speech Quality Assessment with Limited Annotations
University College Dublin（都柏林大学学院）；Insight Centre for Data Analytics（洞察数据分析中心）；Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）
非侵入式语音质量评估是多媒体应用中的一项关键操作。注释数据的稀缺和缺乏参考信号是设计有效的质量评估指标的一些主要挑战。在本文中，我们提出了两个多任务模型来解决上述问题。在第一个模型中，我们首先在一个大型数据集上学习一个退化分类器的特征表示。然后，我们进行MOS预测和退化分类同时在一个小的数据集上标注MOS。在第二种方法中，初始阶段包括在大型数据集上使用基于深度聚类的无监督特征表示来学习特征。接下来，我们在一个小数据集上同时执行MOS预测和聚类标签分类。结果表明，基于深度聚类的模型在TCD-VoIP上的性能优于基于降级分类器的模型和3个基线（自动编码器特征、P.563和SRMRnorm）。本文指出，多任务学习与未标记数据的特征表示相结合是一种很有前途的方法，可以处理缺乏大型MOS注释数据集的问题。
2021-08-19 cs.SD eess.AS
DNSMOS: A Non-Intrusive Perceptual Objective Speech Quality metric to evaluate Noise Suppressors
Microsoft Corporation（微软公司）
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。传统的和广泛使用的度量需要参考干净的语音信号，这在实际记录中是不可用的。无参考方法与人类评级的相关性很差，在研究界没有被广泛采用。这些感知客观指标的最大用例之一是评估噪声抑制算法。本文介绍了一个多阶段的自我教学为基础的感知客观度量，旨在评估噪声抑制器。所提出的方法在具有挑战性的测试条件下具有很高的相关性，以人类的评级推广。
2021-02-10 cs.LG cs.SD eess.AS
STOI-Net: A Deep Learning based Non-Intrusive Speech Intelligibility Assessment Model
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
大多数客观的语音清晰度评估指标的计算需要干净的语音作为参考。这种要求可能会限制这些指标在现实世界场景中的适用性。为了克服这一限制，我们提出了一种基于深度学习的非侵入式语音可懂度评估模型，即STOI-Net。STOI-Net的输入和输出分别是语音频谱特征和预测的STOI分数。该模型是由一个卷积神经网络和双向长短期记忆（CNN-BLSTM）架构与乘法注意力机制的组合。实验结果表明，由STOI-Net估计的STOI分数与实际的STOI分数有很好的相关性时，测试与噪声和增强的语音话语。相关值分别为0.97和0.83，对于可见的测试条件（测试扬声器和噪声类型涉及训练集）和不可见的测试条件（测试扬声器和噪声类型不涉及训练集）。结果证实了STOI-Net在不参考干净语音的情况下准确预测STOI分数的能力。
2020-11-09 cs.LG cs.SD eess.AS
PLCMOS -- a data-driven non-intrusive metric for the evaluation of packet loss concealment algorithms
Microsoft Corporation（微软公司）
本文提出PLCMOS，一种非侵入式数据驱动指标，用于准确估计经丢包隐藏处理后的语音平均意见分，其与人类评分的皮尔逊相关系数约0.97，显著优于现有指标，并以ONNX模型发布供研究者使用。
2023-05-24 cs.SD eess.AS
Confidence-based Filtering for Speech Dataset Curation with Generative Speech Enhancement Using Discrete Tokens
CyberAgent；The University of Tokyo（东京大学）
本文提出基于置信度的过滤方法，用于消除生成式语音增强模型中的幻觉错误，从而提升语音数据集的质量和TTS模型的性能。
2026-01-18 cs.SD eess.AS
Are These Even Words? Quantifying the Gibberishness of Generative Speech Models
Signal Processing, University of Hamburg, Germany（信号处理，汉堡大学，德国）
本文提出利用语言模型在无监督条件下量化生成语音的胡言乱语程度，并发布高质量合成胡言乱语语音数据集及评分代码，以改进非侵入式评估方法。
2025-10-24 cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction from Discrete Latent Representations
Durham University（杜伦大学）；OFFIS e.V. Institute for Information Technology（奥菲斯信息技术研究所）
从双耳信号的非侵入式语音可懂度（SI）预测在许多应用中是有用的。然而，大多数现有的基于信号的测量被设计为应用于单通道信号。专门设计用于考虑信号的双耳特性的措施通常是侵入性的-其特征在于需要访问干净的语音信号-并且通常依赖于在进行预测之前将两个声道组合成单声道信号。本文提出了一种非侵入性的SI措施，计算从一个双耳输入信号的特征，使用矢量量化（VQ）和对比预测编码（CPC）的方法相结合。VQ-CPC特征提取不依赖于听觉系统的任何模型，而是被训练以最大化输入信号和输出特征之间的互信息。计算的VQ-CPC特征被输入到由神经网络参数化的预测函数。本文考虑了两个预测函数。特征提取器和预测函数都在具有各向同性噪声的模拟双耳信号上训练。他们进行了测试与各向同性和真实噪声的模拟信号。对于所有信号，地面实况分数是（侵入式）确定性双耳ST 0 I。结果的相关性和MSE方面，并表明，VQ-CPC功能能够捕获相关的建模SI和优于所有考虑的基准-即使在评估的数据，包括不同的噪声场类型。
2022-03-21 cs.LG cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing-Impaired Users using Intermediate ASR Features and Human Memory Models
University of Sheffield（谢菲尔德大学）
本文提出结合 Whisper ASR 解码器中间特征与基于样例的人类记忆模型，用于预测听障用户的语音可懂度，并在未见增强系统和听者上显著优于 HASPI 基线。
2024-01-24 cs.AI cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology（南方科技大学）
本文提出 MBI-Net+，通过引入 Whisper 嵌入、语音增强方法元数据分类器和 HASPI 补充指标，在 Clarity Prediction Challenge 2023 数据集上超越多个侵入式基线，提升助听器语音可懂度预测精度。
2024-06-13 cs.LG cs.SD eess.AS
Deep Noise Suppression Maximizing Non-Differentiable PESQ Mediated by a Non-Intrusive PESQNet
Technische Universität Braunschweig（不伦瑞克工业大学）
采用深度神经网络（DNN）进行去噪的语音增强被称为深度噪声抑制（DNS）。在训练期间，DNS方法通常用均方误差（MSE）类型的损失函数来训练，这不能保证良好的感知质量。语音质量感知评价（PESQ）是一种广泛应用的语音质量评价指标。然而，原始PESQ算法是不可微的，因此不能直接用作基于梯度的学习的优化准则。在这项工作中，我们提出了一个端到端的非侵入性PESQNet DNN来估计增强语音信号的PESQ分数。因此，通过提供无参考的感知损失，它充当DNS训练的中介，允许最大化增强语音信号的PESQ分数。我们说明了我们提出的PESQNet介导的培训已经强大的基线DNS的基础上的潜力。作为进一步的新颖性，我们建议交替地训练DNS和PESQNet，以使PESQNet保持最新，并特别针对训练中的DNS表现良好。我们提出的方法与使用基于MSE的损失进行联合去噪和去混响训练的相同DNS以及Interspeech 2021 DNS挑战基线进行了比较。详细的分析表明，与基于MSE的损失的训练相比，PESQNet中介可以在合成测试数据上进一步提高DNS性能约0.1 PESQ点，在真实测试数据上提高0.03 DNSMOS点。我们提出的方法在合成测试数据上比挑战基线高出0.2个PESQ点，在真实测试数据上高出0.1个DNSMOS点。
2021-11-06 cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology of China（南方科技大学）
提高用户在噪声环境中理解语音的听力能力对于助听器（HA）设备的发展至关重要。为此，重要的是要得到一个度量，可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试，并使用测试结果作为评估指标。然而，进行大规模的听力测试既耗时又昂贵。因此，几个评估指标作为主观听力测试结果的替代品。在这项研究中，我们提出了一个多分支的语音清晰度预测模型（MBI-Net），用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可懂度预测模型组成，用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性，它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
WhiSQA: Non-Intrusive Speech Quality Prediction Using Whisper Encoder Features
ConnexAI；School of Computer Science, The University of Sheffield（计算机科学学院，谢菲尔德大学）；South Westphalia University of Applied Sciences（南威斯特法伦应用科学大学）；Centre for Doctoral Training in Speech and Language Technologies (SLT) and their Applications（语音与语言技术博士培训中心及其应用）
提出基于Whisper编码器特征的非侵入式语音质量预测器WhiSQA，在NISQA测试集上优于现有方法，且域适应性显著强于DNSMOS。
2025-08-04 cs.LG cs.SD eess.AS
ANCHOR: Autoregressive Non-intrusive Chunk-Ordered Refinement for Joint Multi-Resolution Speech Quality Modeling
University of Southern California, USA（美国南加州大学）；Carnegie Mellon University, USA（美国卡内基梅隆大学）
提出ANCHOR模型，将增量语音质量评估重构为多分辨率自回归任务，通过双分辨率令牌和分辨率感知层次实现分块到整句的粗到细细化，在部分输入下显著降低误差，并揭示感知质量的时域积累机制。
2026-06-08 cs.LG cs.SD eess.AS
Multi-Task Pseudo-Label Learning for Non-Intrusive Speech Quality Assessment Model
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Fortemedia（扬智科技）
本研究提出基于多任务伪标签学习的非侵入式语音质量评估模型MTQ-Net，利用预训练模型生成伪标签并结合监督与半监督损失训练，实验证明其优于现有方法。
2024-03-13 cs.LG cs.SD eess.AS
EventTrojan: Manipulating Non-Intrusive Speech Quality Assessment via Imperceptible Events
Faculty of Electrical Engineering and Computer Science, Ningbo University（宁波大学电气工程与计算机科学学院）；Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）计算算力网络与信息安全教育部重点实验室）；Juphoon System Software Co., Ltd（中科创达软件股份有限公司）
针对NISQA场景现有后门攻击不适配、回归任务后门攻击缺客观指标的问题，提出以使用事件为触发器的EventTrojan方法及对应指标，经多数据集验证有效且抗多种防御。
2024-09-11 cs.AI cs.SD eess.AS
Deep Noise Suppression With Non-Intrusive PESQNet Supervision Enabling the Use of Real Training Data
采用深度神经网络（DNN）的数据驱动的语音增强即使在存在非平稳噪声的情况下也可以提供最先进的性能。在训练过程中，大多数语音增强神经网络都是以完全监督的方式进行训练的，损失需要由干净的语音和加性噪声合成带噪语音。然而，在实际的实现中，只有嘈杂的语音混合物是可用的，这导致了这样的数据如何能够有利地用于训练的问题。在这项工作中，我们提出了一个端到端的非侵入性PESQNet DNN，它估计语音质量的感知评估（PESQ）分数，允许真实数据的无参考损失。作为进一步的新颖性，我们将PESQNet损失与去噪和去混响损失项相结合，并以“弱”监督的方式训练一个复杂的基于掩码的全卷积递归神经网络（FCRN），每个训练周期采用一些合成数据，一些真实数据，再合成数据，以保持PESQNet最新。在主观听力测试中，我们提出的框架比Interspeech 2021深度噪声抑制（DNS）挑战基线整体高出0.09 MOS点，特别是0.45背景噪声MOS点。
2021-03-31 eess.AS
Visualising and Explaining Deep Learning Models for Speech Quality Prediction
Quality and Usability Lab, TU Berlin（柏林工业大学质量与可用性实验室）；Language Technology, DFKI Berlin（柏林德国人工智能研究中心语言技术部）
已知估计传输语音的质量是一项重要的任务。传统上，测试参与者被要求对样本的质量进行评级;现在，可以使用自动化方法。这些方法可以分为：1）侵入式模型，其使用原始信号和退化信号两者，以及2）非侵入式模型，其仅需要退化信号。最近，基于神经网络的非侵入式模型表现出优于基于信号处理的模型。然而，基于深度学习的模型的优势是以解释更具挑战性为代价的。为了更深入地了解预测模型，本文分析了非侵入式语音质量预测模型NISQA。NISQA由卷积神经网络（CNN）和递归神经网络（RNN）组成。CNN的任务是在帧级上计算语音质量预测的相关特征，而RNN对各个语音帧之间的时间依赖性进行建模。使用不同的解释算法来理解CNN的自动学习特征。通过这种方式，可以确定几个可解释的特征，例如对噪声或强干扰的敏感性。另一方面，发现多个特征携带冗余信息。
2021-12-12 cs.LG cs.SD eess.AS
Leveraging LLMs for Scalable Non-intrusive Speech Quality Assessment
本研究提出利用大语言模型作为伪评分器，构建LibriAugmented数据集，并采用两阶段训练策略，有效提升了非侵入式语音质量评估的泛化性能，为解决数据瓶颈提供了经济高效的方案。
2025-08-08 eess.AS
Multi-CMGAN+/+: Leveraging Multi-Objective Speech Quality Metric Prediction for Speech Enhancement
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）；M Health Information Systems Inc.（3M健康信息系统公司）
针对语音增强模型在真实音频上性能下降的问题，提出基于对抗训练指标预测网络的非侵入式多指标预测方法Multi-CMGAN+/+，在CHiME-7挑战赛UDASE任务上超越现有最优系统。
2023-12-14 cs.SD eess.AS
Non-Intrusive Automatic Speech Recognition Refinement: A Survey
Electronics Research Institute, Sharif University of Technology（谢里夫理工大学电子研究所）；Department of Mathematics and Computer Science, Amirkabir University of Technology（阿米尔卡比尔大学数学与计算机科学系）
本文综述了非侵入式自动语音识别精修方法，探讨了融合、重评分、修正、蒸馏和训练调整五类核心方法，分析了其优缺点及应用场景，并提出了标准化评估指标以促进公平比较，为开发更鲁棒、准确的ASR精修管道提供基础。
2026-05-19 eess.AS
Rethinking Language Model-Based Generative Speech Enhancement in the Latent Space of a Neural Audio Codec
Institute for Communications Technology, TU Braunschweig（不伦瑞克工业大学通信技术研究所）
本文提出涵盖六种基于LM的生成式SE范式的统一框架，对比其性能并提出辅助损失微调策略，发现连续域范式优于离散域，CNAR效果最佳且微调策略可提升多指标。
2026-08-13 eess.AS
On the Relation Between Speech Quality and Quantized Latent Representations of Neural Codecs
本研究探讨了神经编解码器潜在表示与语音质量的关系，提出了非侵入式LQR度量，其与主观语音质量相关性高达0.9，性能优于预训练和侵入式指标，为构建更复杂的语音质量度量提供了基础。
2025-03-05 eess.AS
Non-Intrusive Intelligibility Prediction for Hearing Aids: Recent Advances, Trends, and Challenges
Research Center for Information Technology Innovation（信息技术创新研究中心）；Academia Sinica（中国科学院）
本文综述了助听器非侵入式语音可懂度预测的最新进展，涵盖特征提取、听力损失建模等方向，讨论了适配与泛化策略及现存挑战，为该领域的发展提供参考。
2025-09-03 cs.SD eess.AS
Blind Room Impulse Response Identification via Reverberant Speech Spectrum Reconstruction
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出Rec-RIR方法，基于卷积传递函数近似，通过多任务深度神经网络顺序去除噪声和混响，并利用混响语音频谱重建估计CTF滤波器，再通过伪侵入式测量转换为RIR，实现盲RIR识别，性能达到SOTA。
2026-06-29 eess.AS eess.SP
Absorbing Discrete Diffusion for Speech Enhancement
Department of Health Technology, Technical University of Denmark（丹麦技术大学健康技术系）
本文提出了一种基于吸收式离散扩散的语音增强方法ADDSE，结合神经音频编解码器的潜在空间和扩散模型的非自回归采样过程，以提高低信噪比下的语音增强性能。
2026-06-04 cs.SD eess.AS
Deep Learning-based Non-Intrusive Multi-Objective Speech Assessment Model with Cross-Domain Features
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Microsoft（微软）；Southern University of Science and Technology of China（南方科技大学）
提出跨域多目标语音评估模型MOSA-Net，通过同时预测多种指标超越单任务模型，并利用其潜在表示指导语音增强，在客观和定性评估中均取得显著提升。
2024-12-19 cs.LG cs.SD eess.AS
Hallucination in Perceptual Metric-Driven Speech Enhancement Networks
University of Sheffield（谢菲尔德大学）；TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文识别了感知度量驱动的语音增强网络中的幻觉问题，即增强系统通过欺骗语音质量预测器来引入幻觉，并旨在揭示这一潜在缺陷。
2024-05-24 cs.SD eess.AS
A Study on Speech Assessment with Visual Cues
Research Center for Information Technology Innovation（信息技术创新研究中心）；Institute of Information Science（信息科学研究院）
本研究提出融合音频与视觉线索的双分支多模态框架，通过带注意力的CNN-BLSTM及多任务学习预测语音评估指标，在噪声增强的LRS3-TED数据集上显著优于纯音频基线，验证了视觉线索对非侵入式语音评估的提升作用。
2025-06-11 cs.SD eess.AS eess.SP
AECMOS: A speech quality assessment metric for echo impairment
Microsoft Corporation（微软公司）
传统上，使用诸如ERLE \cite{g168}和PESQ \cite{p862}之类的侵入式语音质量评估措施或者通过执行主观实验室测试来评估声学回声消除器的质量。不幸的是，前者与人的主观测量没有很好的相关性，而后者执行起来耗时耗力。我们提供了一种新的回声损伤语音质量评估工具，可用于评估声学回声消除器的性能。更确切地说，我们开发了一个神经网络模型来评估呼叫质量下降在两个不同的类别：回声和其他来源的降级。我们表明，我们的模型是准确的，与人类主观质量评级的相关性。我们的工具可以有效地用于堆叠排名回声消除模型。AECMOS将作为Azure服务公开提供。
2022-01-27 cs.SD eess.AS
AnyRIR: Robust Non-intrusive Room Impulse Response Estimation in the Wild
Aalto University（阿尔托大学）；University of York（约克大学）；Friedrich-Alexander-Universitat Erlangen-Nürnberg (FAU)（弗里德里希·亚历山大·埃尔朗根-纽伦堡大学）
AnyRIR通过利用音乐作为激励信号和L1范数回归，在嘈杂环境中实现鲁棒的房间脉冲响应估计。
2026-01-18 eess.AS
MetricGAN-U: Unsupervised speech enhancement/ dereverberation based only on noisy/ reverberated speech
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究院）；Microsoft（微软）
大多数基于深度学习的语音增强模型都是以监督的方式学习的，这意味着在训练期间需要成对的噪声和干净语音。因此，日常生活中记录的几个嘈杂的语音不能用于训练模型。虽然某些无监督学习框架也被提出来解决对约束，但它们仍然需要干净的语音或噪声进行训练。因此，在本文中，我们提出了MetricGAN-U，它代表MetricGAN-unsupervised，以进一步释放传统无监督学习的约束。在MetricGAN-U中，通过优化非侵入式语音质量指标，仅需要带噪语音来训练模型。实验结果验证了MetricGAN-U在客观和主观指标上都优于基线。
2021-10-12 cs.CL cs.SD eess.AS
InQSS: a speech intelligibility and quality assessment model using a multi-task learning network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
语音清晰度和质量评估模型是研究人员评估和改进语音处理模型的重要工具。然而，由于现有数据的限制，只有少数研究调查了多任务模型的可懂度和质量评估。在这项研究中，我们发布了TMHINT-QI，这是第一个记录了干净，嘈杂和增强话语的质量和可懂度分数的中文语音数据集。然后，我们提出了InQSS，一个非侵入式的多任务学习框架的可理解性和质量评估。我们在从头开始训练和预训练模型上评估了InQSS。实验结果证实了InQSS框架的有效性。此外，所得到的模型不仅可以预测可懂度分数，而且可以预测语音信号的质量分数。
2022-07-01 cs.LG cs.SD eess.AS
Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions
Collaboration AI, Cisco Systems, Inc.（思科系统公司协作AI部门）；Faculty of Engineering and Natural Sciences, Yeditepe University（耶迪特佩大学工程与自然科学学院）
该研究针对干净语音条件，通过17种编解码器的主观听辨得分，评估45种客观语音质量指标，发现scoreq、utmos等神经指标相关性最高，非侵入式指标在高质量时易饱和。
2026-08-05 cs.AI cs.SD eess.AS
Distillation and Pruning for Scalable Self-Supervised Representation-Based Speech Quality Assessment
Institute of Electronic Music and Acoustics（电子音乐与声学研究所）；Microsoft Research（微软研究院）
针对基于自监督表示的非侵入式语音质量评估模型尺寸问题，研究蒸馏与剪枝方法，通过在大规模MOS数据集重训练XLS-R-SQA作为教师模型生成伪标签训练学生模型，结合数据驱动剪枝，实现小模型尺寸下有效缩小与教师模型的性能差距。
2025-02-07 cs.SD eess.AS
NORESQA: A Framework for Speech Quality Assessment using Non-Matching References
Princeton University（普林斯顿大学）；Facebook Reality Labs Research（Facebook现实实验室研究部）
语音质量评估（SQA）的感知任务对机器来说是一项具有挑战性的任务。目标SQA方法依赖于相应的清洁参考的可用性，是SQA的主要方法。显然，这些方法在真实干净参考不可用的真实场景中失败了。近年来，训练神经网络来预测语音质量的非侵入式方法受到了广泛的关注，但这些方法存在鲁棒性差、依赖于标记数据等缺点。受人类的先天能力，比较和评估语音信号的质量，即使当他们有不匹配的内容的启发，我们提出了一个新的框架，预测主观相对质量分数为给定的语音信号相对于任何提供的参考，而不使用任何主观数据。我们表明，使用我们的框架训练的神经网络产生的分数与主观平均意见分数（MOS）相关性很好，并且与DNSMOS等方法相比也具有竞争力，DNSMOS明确依赖于人类的MOS来训练网络。此外，我们的方法还提供了一种在神经网络中嵌入质量相关信息的自然方法，我们表明这对语音增强等下游任务很有帮助。
2021-10-18 cs.SD eess.AS
Few-Shot and Pseudo-Label Guided Speech Quality Evaluation with Large Language Models
Academia Sinica, National Chengchi University, NVIDIA, University of Palermo
本文提出GatherMOS框架，利用大语言模型作为元评估器整合多种信号进行质量预测，通过零样本和少样本学习展示了其在不同条件下的优越性能。
2026-04-15 cs.SD eess.AS
