CCATMos: Convolutional Context-aware Transformer Network for Non-intrusive Speech Quality Assessment
Bose Corporation(博士公司);Indiana University(印第安纳大学)
语音质量评估已经成为许多语音通信相关应用(如电话和在线会议)的关键组成部分。传统的侵入式语音质量评估需要退化话语的干净参考来提供准确的质量测量。这一要求限制了这些方法在真实场景中的可用性。另一方面,非侵入式主观测量是评估语音质量的“金标准”,因为人类听众可以轻松地从本质上评估任何降级语音的质量。在本文中,我们提出了一种新的端到端的模型结构,称为卷积上下文感知Transformer(CCAT)网络来预测人类评分员的平均意见得分(MOS)。我们在跨越多种语言和失真类型的三个MOS注释数据集上评估了我们的模型,并将结果提交给ConferencingSpeech 2022挑战赛。我们的实验表明,CCAT提供了有前途的MOS预测相比,目前最先进的非侵入性语音评估模型的平均皮尔逊相关系数(PCC)从0.530增加到0.697和平均RMSE从0.768下降到0.570相比,挑战评估测试集的基线模型。
2022-11-04 cs.LG cs.SD eess.AS
Enhancing into the codec: Noise Robust Speech Coding with Vector-Quantized Autoencoders
Amazon Web Services(亚马逊云科技)
最近已经开发出基于离散神经自编码器的音频编解码器,并且显示出对于相当质量的语音输出提供显著更高的压缩水平。然而,这些模型与语音内容紧密耦合,并且在噪声条件下产生非预期的输出。基于VQ-VAE自编码器和WaveRNN解码器,我们开发了压缩增强器编码器和附带的解码器,并表明它们在噪声条件下运行良好。我们还观察到,压缩增强器模型在干净的语音输入上的性能优于仅在干净的语音上训练的压缩器模型。
2021-02-12 cs.LG eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield(谢菲尔德大学)
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中,我们利用一个无监督的不确定性估计方法来预测语音清晰度,它不需要清晰度标签或参考信号来训练预测器。我们的实验表明,国家的最先进的端到端的自动语音识别(ASR)模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估,结果表明,ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
On the robustness of non-intrusive speech quality model by adversarial examples
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
最近已经表明,基于深度学习的模型在语音质量预测上是有效的,并且可以在各种方面优于传统的度量。虽然网络模型有可能成为复杂人类听觉感知的替代品,但它们可能包含预测的不稳定性。这项工作表明,深度语音质量预测器可能容易受到对抗性扰动的影响,其中与语音输入相比,预测可能会因小至$-30$ dB的不明显扰动而急剧变化。除了暴露深度语音质量预测因子的脆弱性外,我们还进一步探索和确认对抗训练对于增强模型鲁棒性的可行性。
2022-11-11 cs.LG cs.SD eess.AS
Non Intrusive Intelligibility Predictor for Hearing Impaired Individuals using Self Supervised Speech Representations
TOSHIBA Cambridge Research Laboratory(东芝剑桥研究实验室)
本文将自监督语音表征用于非侵入式听障语音可懂度预测,在Clarity Prediction Challenge 1数据上达到与复杂系统竞争的性能,并指出泛化仍需更多数据。
2023-12-07 cs.LG cs.SD eess.AS
Residual-Guided Non-Intrusive Speech Quality Assessment
Ningbo University, China(宁波大学,中国)
提出了一种基于受损语音和增强语音残差的非侵入式语音质量评估方法。我们的任务的困难是特别缺乏信息,相应的参考语音是缺席。我们在受损语音上生成增强语音以补偿参考音频的缺失,然后将残差信息与受损语音配对。与直接将受损语音输入模型相比,残差可以从增强的对比度中带来一些额外的有用信息。人耳对某些噪声敏感,但与深度学习模型不同。导致模型预测的平均意见得分(MOS)不足以很好地拟合我们的主观敏感性,并导致偏差。这些残差与参考语音有密切的关系,从而提高了深度学习模型预测MOS的能力。在训练阶段,实验结果表明,在同等条件下,与残差配对可以快速获得较好的评价指标。此外,我们的最终结果在PLCC和RMSE中分别提高了31.3%和14.1%。
2022-03-22 cs.LG cs.SD eess.AS
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London(帝国理工学院);Meta Reality Labs Research(Meta现实实验室);Meta
视听语音增强的目的是从噪声环境中提取干净的语音,不仅利用音频本身,而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强,特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展,但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频,通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中,我们提出了LA-VocE,一种新的两阶段方法,通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图,然后使用神经声码器(HiFi-GAN)将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估,并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明,LA-VocE优于现有的方法,根据多个指标,特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
DNSMOS: A Non-Intrusive Perceptual Objective Speech Quality metric to evaluate Noise Suppressors
Microsoft Corporation(微软公司)
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。传统的和广泛使用的度量需要参考干净的语音信号,这在实际记录中是不可用的。无参考方法与人类评级的相关性很差,在研究界没有被广泛采用。这些感知客观指标的最大用例之一是评估噪声抑制算法。本文介绍了一个多阶段的自我教学为基础的感知客观度量,旨在评估噪声抑制器。所提出的方法在具有挑战性的测试条件下具有很高的相关性,以人类的评级推广。
2021-02-10 cs.LG cs.SD eess.AS
STOI-Net: A Deep Learning based Non-Intrusive Speech Intelligibility Assessment Model
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
大多数客观的语音清晰度评估指标的计算需要干净的语音作为参考。这种要求可能会限制这些指标在现实世界场景中的适用性。为了克服这一限制,我们提出了一种基于深度学习的非侵入式语音可懂度评估模型,即STOI-Net。STOI-Net的输入和输出分别是语音频谱特征和预测的STOI分数。该模型是由一个卷积神经网络和双向长短期记忆(CNN-BLSTM)架构与乘法注意力机制的组合。实验结果表明,由STOI-Net估计的STOI分数与实际的STOI分数有很好的相关性时,测试与噪声和增强的语音话语。相关值分别为0.97和0.83,对于可见的测试条件(测试扬声器和噪声类型涉及训练集)和不可见的测试条件(测试扬声器和噪声类型不涉及训练集)。结果证实了STOI-Net在不参考干净语音的情况下准确预测STOI分数的能力。
2020-11-09 cs.LG cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction from Discrete Latent Representations
Durham University(杜伦大学);OFFIS e.V. Institute for Information Technology(奥菲斯信息技术研究所)
从双耳信号的非侵入式语音可懂度(SI)预测在许多应用中是有用的。然而,大多数现有的基于信号的测量被设计为应用于单通道信号。专门设计用于考虑信号的双耳特性的措施通常是侵入性的-其特征在于需要访问干净的语音信号-并且通常依赖于在进行预测之前将两个声道组合成单声道信号。本文提出了一种非侵入性的SI措施,计算从一个双耳输入信号的特征,使用矢量量化(VQ)和对比预测编码(CPC)的方法相结合。VQ-CPC特征提取不依赖于听觉系统的任何模型,而是被训练以最大化输入信号和输出特征之间的互信息。计算的VQ-CPC特征被输入到由神经网络参数化的预测函数。本文考虑了两个预测函数。特征提取器和预测函数都在具有各向同性噪声的模拟双耳信号上训练。他们进行了测试与各向同性和真实噪声的模拟信号。对于所有信号,地面实况分数是(侵入式)确定性双耳ST 0 I。结果的相关性和MSE方面,并表明,VQ-CPC功能能够捕获相关的建模SI和优于所有考虑的基准-即使在评估的数据,包括不同的噪声场类型。
2022-03-21 cs.LG cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica(中央研究院);Nvidia(英伟达)
提出HASA-Net Large多目标非侵入式助听器语音评估模型,利用预训练SSL模型和听力损失模式预测语音质量与可懂度,显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Nagoya University(名古屋大学);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
不需要一个干净的参考,非侵入性的语音评估方法已经引起了极大的关注,客观的评价。最近,深度神经网络(DNN)模型已被应用于构建非侵入式语音评估方法,并被证实具有良好的性能。然而,大多数基于DNN的方法都是为听力正常的听众设计的,而没有考虑听力损失因素。在这项研究中,我们提出了一个基于DNN的助听器语音评估网络(HASA-Net),由双向长短期记忆(BLSTM)模型形成,根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知,HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明,预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标,助听器语音质量指数(HASQI)和助听器语音感知指数(HASPI),分别。
2021-11-10 cs.AI cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Southern University of Science and Technology(南方科技大学)
本文提出 MBI-Net+,通过引入 Whisper 嵌入、语音增强方法元数据分类器和 HASPI 补充指标,在 Clarity Prediction Challenge 2023 数据集上超越多个侵入式基线,提升助听器语音可懂度预测精度。
2024-06-13 cs.LG cs.SD eess.AS
Does a PESQNet (Loss) Require a Clean Reference Input? The Original PESQ Does, But ACR Listening Tests Don't
语音质量的感知评价(PESQ)需要一个干净的语音参考作为输入,但预测的结果(无参考)绝对类别评级(ACR)测试。在这项工作中,我们训练一个完全卷积的递归神经网络(FCRN)作为深度噪声抑制(DNS)模型,使用非侵入式或侵入式PESQNet,其中只有后者可以访问干净的语音参考。PESQNet被用作在DNS训练期间提供感知损失的中介,以最大化增强语音信号的PESQ分数。对于侵入式PESQNet,我们研究了两种拓扑结构,称为早期融合(EF)和中期融合(MF)PESQNet,并与非侵入式PESQNet进行比较,以评估和量化在DNS训练期间采用干净语音参考输入的好处。详细的分析表明,使用MF侵入式PESQNet训练的DNS分别比Interspeech 2021 DNS Challenge基线和使用MSE损失训练的相同DNS分别高出0.23和0.12个PESQ点。此外,我们可以证明,与使用非侵入式PESQNet训练的DNS相比,只获得了边际效益。因此,作为ACR听力测试,PESQNet不一定需要干净的语音参考输入,从而可以使用真实数据进行DNS训练。
2022-05-13 cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica(中国科学院);National Chengchi University(中正大学)
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA,通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案,较基线模型实现2.59%的相对RMSE提升,验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Southern University of Science and Technology of China(南方科技大学)
提高用户在噪声环境中理解语音的听力能力对于助听器(HA)设备的发展至关重要。为此,重要的是要得到一个度量,可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试,并使用测试结果作为评估指标。然而,进行大规模的听力测试既耗时又昂贵。因此,几个评估指标作为主观听力测试结果的替代品。在这项研究中,我们提出了一个多分支的语音清晰度预测模型(MBI-Net),用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成,每个分支由听力损失模型,跨域特征提取模块和语音可懂度预测模型组成,用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性,它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
DNSMOS P.835: A Non-Intrusive Perceptual Objective Speech Quality Metric to Evaluate Noise Suppressors
Microsoft Corporation(微软公司)
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。我们最近开发了一种非侵入性的语音质量度量,称为深度噪声抑制平均意见得分(DNSMOS),使用ITU-T Rec.P.808主观评估的得分。P.808分数反映了音频剪辑的整体质量。ITU-T Rec.P.835主观评价框架除了给出总体质量之外,还给出了语音和背景噪声的独立质量分数。在这项工作中,我们训练基于P.835人类评级的客观度量,其输出3个分数:i)语音质量(SIG),ii)背景噪声质量(BAK),以及iii)音频的整体质量(OVRL)。所开发的度量与人类评级高度相关,SIG的Pearson相关系数(PCC)=0.94,BAK和OVRL的PCC=0.98。这是我们所知道的第一个非侵入式P.835预测器。DNSMOS P.835作为Azure服务公开提供。
2022-02-04 cs.SD eess.AS
WhiSQA: Non-Intrusive Speech Quality Prediction Using Whisper Encoder Features
ConnexAI;School of Computer Science, The University of Sheffield(计算机科学学院,谢菲尔德大学);South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学);Centre for Doctoral Training in Speech and Language Technologies (SLT) and their Applications(语音与语言技术博士培训中心及其应用)
提出基于Whisper编码器特征的非侵入式语音质量预测器WhiSQA,在NISQA测试集上优于现有方法,且域适应性显著强于DNSMOS。
2025-08-04 cs.LG cs.SD eess.AS
ANCHOR: Autoregressive Non-intrusive Chunk-Ordered Refinement for Joint Multi-Resolution Speech Quality Modeling
University of Southern California, USA(美国南加州大学);Carnegie Mellon University, USA(美国卡内基梅隆大学)
提出ANCHOR模型,将增量语音质量评估重构为多分辨率自回归任务,通过双分辨率令牌和分辨率感知层次实现分块到整句的粗到细细化,在部分输入下显著降低误差,并揭示感知质量的时域积累机制。
2026-06-08 cs.LG cs.SD eess.AS
Multi-Task Pseudo-Label Learning for Non-Intrusive Speech Quality Assessment Model
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Fortemedia(扬智科技)
本研究提出基于多任务伪标签学习的非侵入式语音质量评估模型MTQ-Net,利用预训练模型生成伪标签并结合监督与半监督损失训练,实验证明其优于现有方法。
2024-03-13 cs.LG cs.SD eess.AS
Coded Speech Quality Measurement by a Non-Intrusive PESQ-DNN
Technische Universität Braunschweig(布伦瑞克工业大学);GN Hearing(GN听力公司)
本文提出非侵入式PESQ-DNN模型,无需参考信号即可预测宽带编码语音的PESQ分数,在无帧丢失及有帧丢失条件下均优于QualityNet、WaweNet和DNSMOS等现有方法。
2023-04-18 cs.SD eess.AS
A Study on Zero-shot Non-intrusive Speech Assessment using Large Language Models
Academia Sinica(中央研究院);University of Palermo(巴勒莫大学)
本研究提出GPT-Whisper,结合Whisper与提示工程实现零样本非侵入式语音评估,在可懂度和CER相关性上优于现有模型,验证了其无需训练数据的潜力。
2025-01-20 cs.SD eess.AS
Non-intrusive speech quality assessment using neural networks
Microsoft Research Labs(微软研究院实验室)
估计音频信号的感知质量对于许多多媒体和音频处理系统是至关重要的。提供商努力提供最佳和可靠的服务,以提高用户体验质量(QoE)。在这项工作中,我们提出了一个非侵入性的音频质量评估的神经网络的适用性调查。我们提出了三种基于神经网络的平均意见得分(MOS)估计方法。我们将我们的结果与三种工具测量进行比较:语音质量的感知评估(PESQ),ITU-T建议P.563和语音混响能量比。我们的评估使用被卷积和加性噪声污染的语音数据集,使用基于人群的QoE评估进行标记,使用与MOS标签的Pearson相关性进行评估,以及估计MOS的均方误差。我们提出的方法优于上述仪器测量,使用Mel频率特征的全连接深度神经网络提供最佳相关性(0.87)和最低均方误差(0.15)
2019-03-16 cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan(CyberAgent日本)
针对听障听众的双耳语音可懂度预测,提出用Mamba替代Transformer进行时间处理,在保持参数较少的同时达到竞争性能,并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
Visualising and Explaining Deep Learning Models for Speech Quality Prediction
Quality and Usability Lab, TU Berlin(柏林工业大学质量与可用性实验室);Language Technology, DFKI Berlin(柏林德国人工智能研究中心语言技术部)
已知估计传输语音的质量是一项重要的任务。传统上,测试参与者被要求对样本的质量进行评级;现在,可以使用自动化方法。这些方法可以分为:1)侵入式模型,其使用原始信号和退化信号两者,以及2)非侵入式模型,其仅需要退化信号。最近,基于神经网络的非侵入式模型表现出优于基于信号处理的模型。然而,基于深度学习的模型的优势是以解释更具挑战性为代价的。为了更深入地了解预测模型,本文分析了非侵入式语音质量预测模型NISQA。NISQA由卷积神经网络(CNN)和递归神经网络(RNN)组成。CNN的任务是在帧级上计算语音质量预测的相关特征,而RNN对各个语音帧之间的时间依赖性进行建模。使用不同的解释算法来理解CNN的自动学习特征。通过这种方式,可以确定几个可解释的特征,例如对噪声或强干扰的敏感性。另一方面,发现多个特征携带冗余信息。
2021-12-12 cs.LG cs.SD eess.AS
Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners
Orka Labs Inc.(Orka实验室);Stanford University(斯坦福大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出利用多个语音增强器构建并行增强信号通路的非侵入式语音可懂度预测框架,并结合2片段增强策略提升跨数据集泛化能力,在多个数据集上优于CPC2 Champion基线。
2025-09-21 cs.AI cs.SD eess.AS
Non-intrusive speech intelligibility prediction using automatic speech recognition derived measures
语音可懂度的估计是一个远未解决的问题。特别是一个方面是有问题的:大多数标准模型需要一个干净的参考信号,以估计可懂度。这是一个具有一定意义的问题,因为在实践中通常无法获得参考信号。因此,在这项工作中,提出了一种非侵入式的语音清晰度估计框架。在其中,人类听众在关键词识别任务中的表现是使用可懂度测量来预测的,这些测量是从为自动语音识别(ASR)训练的模型中得出的。一个这样的基于ASR和一个基于信号的措施被组合成一个完整的框架,建议无参考可懂度(Nori)估计,这是在预测性能的正常听力和听力受损的听众在多种噪声条件下进行评估。它示出的Nori框架,甚至优于广泛使用的基于参考(或侵入)的短期客观可懂度(STOI)的措施,在大多数情况下考虑的情况下,同时适用于完全盲目的情况下,没有参考信号或转录,创建在线和个性化优化的语音增强系统的前景。
2021-10-28 eess.AS
Quality-Net: An End-to-End Non-intrusive Speech Quality Assessment Model based on BLSTM
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Taiwan University(国立台湾大学);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
目前,大多数客观语音质量评估工具(例如,语音质量的感知评估(PESQ))是基于降级/处理的语音与其干净对应物的比较。对“黄金”参考的需要在很大程度上限制了这种评估工具在现实世界中的实用性,因为通常无法获得干净的参考。另一方面,人类可以容易地评估语音质量而无需任何参考(例如,平均意见评分测试),这意味着存在客观和非侵入性(不需要干净的参考)的质量评估机制。在这项研究中,我们提出了一种新的端到端,非侵入性的语音质量评估模型,称为质量网络,基于双向长短期记忆。Quality-Net中的语音质量评价是基于帧级评价的。帧约束和合理的初始化的遗忘门偏置被应用于学习有意义的帧级质量评估从话语级质量标签。实验结果表明,Quality-Net可以产生较高的相关性PESQ(0.9的噪声语音和语音增强处理后的语音0.84)。我们相信,质量网络有潜力被用于各种各样的应用程序的语音信号处理。
2018-08-17 cs.AI cs.SD eess.AS
Predicting score distribution to improve non-intrusive speech quality estimation
Microsoft Research(微软研究院)
深度噪声抑制器(DNS)已经成为从语音中去除背景噪声、混响和失真的有吸引力的解决方案,并且广泛用于电话/语音应用中。它们偶尔也容易引入伪像并降低语音的感知质量。主观听力测试使用多个人类法官来得出平均意见得分(MOS),这是衡量这些模型性能的一种流行方法。基于深度神经网络的非侵入式MOS估计模型最近已成为这些测试的流行的成本效益替代方案。这些模型仅使用MOS标签进行训练,通常会丢弃意见分数的次要统计数据。在本文中,我们研究了几种方法来整合的意见分数(如方差,直方图信息)的分布,以提高MOS估计性能。我们的模型在419 K去噪样本的语料库上进行了训练,使用了320种不同的DNS模型和模型变体,并在DNSMOS的18 K测试样本上进行了评估。我们表明,一个单一的任务MOS估计管道非常小的修改,这些免费提供的标签可以提供高达0.016 RMSE和1%的SRCC的改善。
2022-04-13 cs.SD eess.AS
ConferencingSpeech 2022 Challenge: Non-intrusive Objective Speech Quality Assessment (NISQA) Challenge for Online Conferencing Applications
Tencent Ethereal Audio Lab.(腾讯天籁音频实验室);Technical University of Berlin(柏林工业大学);Microsoft Corp.(微软公司);Indiana University Bloomington(印第安纳大学伯明顿分校);Southern University of Science and Technology(南方科技大学);XiDian University(西安电子科技大学)
随着语音通信系统(如在线会议应用程序)的进步,我们可以与人们无缝合作,无论他们身在何处。然而,在在线会议期间,语音质量可能会受到背景噪声、混响、数据包丢失、网络抖动等的显著影响。由于其性质,语音质量传统上在实验室进行主观测试,最近也在遵循ITU-T Rec.P.800系列国际标准的众包中进行评估。然而,这些方法成本高昂,无法应用于客户数据。因此,需要一种有效的客观评估方法来评估或监测正在进行的会话的语音质量。ConferencingSpeech 2022挑战赛针对语音质量评估任务的非侵入式深度神经网络模型。我们开源了一个训练语料库,其中包含超过86 K不同语言的语音片段,通过众包提供了各种合成和实时降级及其相应的主观质量分数。18支队伍提交了他们的模型进行评估。盲法测试集包括约4300个来自广泛降解范围的夹子。本文描述了挑战,数据集和评估方法,并报告了最终结果。
2022-04-01 cs.SD eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica(台湾“中央研究院)
针对助听器中非侵入式语音可懂度评估需求,提出跨域特征重要性方法FiDo,通过估计多类特征重要性并投影加权来提升模型性能,集成到MBI-Net+后RMSE显著降低,效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.(先进媒体公司)
针对无干净参考的助听器处理语音清晰度预测任务,研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略,提出帧对齐融合方法,在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing-Impaired Users using Intermediate ASR Features and Human Memory Models
University of Sheffield(谢菲尔德大学)
本文提出结合 Whisper ASR 解码器中间特征与基于样例的人类记忆模型,用于预测听障用户的语音可懂度,并在未见增强系统和听者上显著优于 HASPI 基线。
2024-01-24 cs.AI cs.SD eess.AS
Reference-aware SFM layers for intrusive intelligibility prediction
UBC ECE(不列颠哥伦比亚大学电子与计算机工程系);Orka Labs Inc.(Orka实验室公司);Stanford EE(斯坦福大学电气工程系)
本文提出结合参考条件与多层语音基础模型表示来改进侵入式语音可懂度预测,最终在CPC3上以开发集RMSE 22.36、评估集24.98排名第一。
2025-09-21 cs.SD eess.AS
More for Less: Non-Intrusive Speech Quality Assessment with Limited Annotations
University College Dublin(都柏林大学学院);Insight Centre for Data Analytics(洞察数据分析中心);Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所)
非侵入式语音质量评估是多媒体应用中的一项关键操作。注释数据的稀缺和缺乏参考信号是设计有效的质量评估指标的一些主要挑战。在本文中,我们提出了两个多任务模型来解决上述问题。在第一个模型中,我们首先在一个大型数据集上学习一个退化分类器的特征表示。然后,我们进行MOS预测和退化分类同时在一个小的数据集上标注MOS。在第二种方法中,初始阶段包括在大型数据集上使用基于深度聚类的无监督特征表示来学习特征。接下来,我们在一个小数据集上同时执行MOS预测和聚类标签分类。结果表明,基于深度聚类的模型在TCD-VoIP上的性能优于基于降级分类器的模型和3个基线(自动编码器特征、P.563和SRMRnorm)。本文指出,多任务学习与未标记数据的特征表示相结合是一种很有前途的方法,可以处理缺乏大型MOS注释数据集的问题。
2021-08-19 cs.SD eess.AS
PLCMOS -- a data-driven non-intrusive metric for the evaluation of packet loss concealment algorithms
Microsoft Corporation(微软公司)
本文提出PLCMOS,一种非侵入式数据驱动指标,用于准确估计经丢包隐藏处理后的语音平均意见分,其与人类评分的皮尔逊相关系数约0.97,显著优于现有指标,并以ONNX模型发布供研究者使用。
2023-05-24 cs.SD eess.AS
Confidence-based Filtering for Speech Dataset Curation with Generative Speech Enhancement Using Discrete Tokens
CyberAgent;The University of Tokyo(东京大学)
本文提出基于置信度的过滤方法,用于消除生成式语音增强模型中的幻觉错误,从而提升语音数据集的质量和TTS模型的性能。
2026-01-18 cs.SD eess.AS
Are These Even Words? Quantifying the Gibberishness of Generative Speech Models
Signal Processing, University of Hamburg, Germany(信号处理,汉堡大学,德国)
本文提出利用语言模型在无监督条件下量化生成语音的胡言乱语程度,并发布高质量合成胡言乱语语音数据集及评分代码,以改进非侵入式评估方法。
2025-10-24 cs.SD eess.AS
EventTrojan: Manipulating Non-Intrusive Speech Quality Assessment via Imperceptible Events
Faculty of Electrical Engineering and Computer Science, Ningbo University(宁波大学电气工程与计算机科学学院);Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院)计算算力网络与信息安全教育部重点实验室);Juphoon System Software Co., Ltd(中科创达软件股份有限公司)
针对NISQA场景现有后门攻击不适配、回归任务后门攻击缺客观指标的问题,提出以使用事件为触发器的EventTrojan方法及对应指标,经多数据集验证有效且抗多种防御。
2024-09-11 cs.AI cs.SD eess.AS
Deep Noise Suppression With Non-Intrusive PESQNet Supervision Enabling the Use of Real Training Data
采用深度神经网络(DNN)的数据驱动的语音增强即使在存在非平稳噪声的情况下也可以提供最先进的性能。在训练过程中,大多数语音增强神经网络都是以完全监督的方式进行训练的,损失需要由干净的语音和加性噪声合成带噪语音。然而,在实际的实现中,只有嘈杂的语音混合物是可用的,这导致了这样的数据如何能够有利地用于训练的问题。在这项工作中,我们提出了一个端到端的非侵入性PESQNet DNN,它估计语音质量的感知评估(PESQ)分数,允许真实数据的无参考损失。作为进一步的新颖性,我们将PESQNet损失与去噪和去混响损失项相结合,并以“弱”监督的方式训练一个复杂的基于掩码的全卷积递归神经网络(FCRN),每个训练周期采用一些合成数据,一些真实数据,再合成数据,以保持PESQNet最新。在主观听力测试中,我们提出的框架比Interspeech 2021深度噪声抑制(DNS)挑战基线整体高出0.09 MOS点,特别是0.45背景噪声MOS点。
2021-03-31 eess.AS
Deep Noise Suppression Maximizing Non-Differentiable PESQ Mediated by a Non-Intrusive PESQNet
Technische Universität Braunschweig(不伦瑞克工业大学)
采用深度神经网络(DNN)进行去噪的语音增强被称为深度噪声抑制(DNS)。在训练期间,DNS方法通常用均方误差(MSE)类型的损失函数来训练,这不能保证良好的感知质量。语音质量感知评价(PESQ)是一种广泛应用的语音质量评价指标。然而,原始PESQ算法是不可微的,因此不能直接用作基于梯度的学习的优化准则。在这项工作中,我们提出了一个端到端的非侵入性PESQNet DNN来估计增强语音信号的PESQ分数。因此,通过提供无参考的感知损失,它充当DNS训练的中介,允许最大化增强语音信号的PESQ分数。我们说明了我们提出的PESQNet介导的培训已经强大的基线DNS的基础上的潜力。作为进一步的新颖性,我们建议交替地训练DNS和PESQNet,以使PESQNet保持最新,并特别针对训练中的DNS表现良好。我们提出的方法与使用基于MSE的损失进行联合去噪和去混响训练的相同DNS以及Interspeech 2021 DNS挑战基线进行了比较。详细的分析表明,与基于MSE的损失的训练相比,PESQNet中介可以在合成测试数据上进一步提高DNS性能约0.1 PESQ点,在真实测试数据上提高0.03 DNSMOS点。我们提出的方法在合成测试数据上比挑战基线高出0.2个PESQ点,在真实测试数据上高出0.1个DNSMOS点。
2021-11-06 cs.SD eess.AS
Leveraging LLMs for Scalable Non-intrusive Speech Quality Assessment
本研究提出利用大语言模型作为伪评分器,构建LibriAugmented数据集,并采用两阶段训练策略,有效提升了非侵入式语音质量评估的泛化性能,为解决数据瓶颈提供了经济高效的方案。
2025-08-08 eess.AS
Non-Intrusive Automatic Speech Recognition Refinement: A Survey
Electronics Research Institute, Sharif University of Technology(谢里夫理工大学电子研究所);Department of Mathematics and Computer Science, Amirkabir University of Technology(阿米尔卡比尔大学数学与计算机科学系)
本文综述了非侵入式自动语音识别精修方法,探讨了融合、重评分、修正、蒸馏和训练调整五类核心方法,分析了其优缺点及应用场景,并提出了标准化评估指标以促进公平比较,为开发更鲁棒、准确的ASR精修管道提供基础。
2026-05-19 eess.AS
Speech Denoising Without Clean Training Data: A Noise2Noise Approach
PES University(PES大学)
本文解决了基于深度学习的音频去噪方法所需的干净语音数据的严重依赖性问题,通过展示仅使用带噪语音样本训练深度语音去噪网络是可能的。传统观点认为,为了实现良好的语音去噪性能,需要大量的噪声语音样本和完全干净的语音样本,从而需要昂贵的音频记录设备和极其受控的隔音录音室。这些要求给数据汇集带来了重大挑战,特别是在经济落后地区和资源匮乏的语言。这项工作表明,语音去噪深度神经网络可以仅利用嘈杂的训练音频成功训练。此外,它揭示了这样的训练制度实现了优越的降噪性能比传统的训练制度,利用干净的训练音频目标,在涉及复杂的噪声分布和低信噪比(高噪声环境)的情况下。通过使用20层深度复杂U-Net架构研究我们所提出的方法对真实世界噪声和合成噪声的有效性的实验证明了这一点。
2021-09-19 cs.LG cs.SD eess.AS
Multi-CMGAN+/+: Leveraging Multi-Objective Speech Quality Metric Prediction for Speech Enhancement
TOSHIBA Cambridge Research Laboratory(东芝剑桥研究实验室);M Health Information Systems Inc.(3M健康信息系统公司)
针对语音增强模型在真实音频上性能下降的问题,提出基于对抗训练指标预测网络的非侵入式多指标预测方法Multi-CMGAN+/+,在CHiME-7挑战赛UDASE任务上超越现有最优系统。
2023-12-14 cs.SD eess.AS
Rethinking Language Model-Based Generative Speech Enhancement in the Latent Space of a Neural Audio Codec
Institute for Communications Technology, TU Braunschweig(不伦瑞克工业大学通信技术研究所)
本文提出涵盖六种基于LM的生成式SE范式的统一框架,对比其性能并提出辅助损失微调策略,发现连续域范式优于离散域,CNAR效果最佳且微调策略可提升多指标。
2026-08-13 eess.AS
Deep Learning-based Non-Intrusive Multi-Objective Speech Assessment Model with Cross-Domain Features
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Microsoft(微软);Southern University of Science and Technology of China(南方科技大学)
提出跨域多目标语音评估模型MOSA-Net,通过同时预测多种指标超越单任务模型,并利用其潜在表示指导语音增强,在客观和定性评估中均取得显著提升。
2024-12-19 cs.LG cs.SD eess.AS
On the Relation Between Speech Quality and Quantized Latent Representations of Neural Codecs
本研究探讨了神经编解码器潜在表示与语音质量的关系,提出了非侵入式LQR度量,其与主观语音质量相关性高达0.9,性能优于预训练和侵入式指标,为构建更复杂的语音质量度量提供了基础。
2025-03-05 eess.AS
Improved MVDR Beamforming Using LSTM Speech Models to Clean Spatial Clustering Masks
The Graduate Center, City University of New York(纽约市立大学研究生中心);Brooklyn College, City University of New York(纽约市立大学布鲁克林学院)
空间聚类技术可以在相对任意的麦克风配置上实现显著的多通道降噪,但难以结合详细的语音/噪声模型。相比之下,LSTM神经网络已经成功地被训练成在单通道输入上从噪声中识别语音,但很难充分利用多通道记录中的信息。本文结合这两种方法,训练LSTM语音模型来清理基于模型的EM声源分离和定位(MESSL)空间聚类方法生成的掩码。通过这样做,它既获得了多通道空间聚类的空间分离性能和通用性,又获得了多个并行单通道LSTM语音增强器的信号建模性能。我们的实验表明,当我们的系统被应用到CHiME-3数据集的嘈杂的平板电脑录音,它提高了语音质量的感知评价语音质量(PESQ)算法测量,并降低了字出错率的基线CHiME-3语音识别器,相比默认的BeamformIt波束形成器。
2020-12-02 cs.LG cs.SD eess.AS
Sidon: Fast and Robust Open-Source Multilingual Speech Restoration for Large-scale Dataset Cleansing
The University of Tokyo, Japan(东京大学)
Sidon是一种快速且鲁棒的开源多语言语音恢复模型,用于大规模数据集清洗,通过清洗噪声语音特征并合成高质量语音,提升语音合成质量。
2026-01-26 cs.SD eess.AS
SECP: A Speech Enhancement-Based Curation Pipeline For Scalable Acquisition Of Clean Speech
Cisco Systems, Inc.(思科系统公司)
本文提出基于语音增强的策展流水线SECP,通过迭代获取和精炼干净语音,实验表明增强输出作为标签不会降低模型性能,且精炼数据在主观听感上优于原始数据。
2024-02-19 cs.IR cs.LG cs.SD
Wav2code: Restore Clean Speech Representations via Codebook Lookup for Noise-Robust ASR
School of Computer Science and Engineering, Nanyang Technological University (NTU)(南洋理工大学计算机科学与工程学院);National Engineering Research Center of Speech and Language Information Processing (NERC-SLIP), University of Science and Technology of China (USTC)(中国科学技术大学语音与语言信息处理国家工程研究中心)
针对噪声环境下ASR性能下降及传统语音增强存在失真的问题,提出Wav2code自监督框架,通过码本存储与Transformer码预测恢复干净表示,融合特征后提升了多种噪声条件下的ASR鲁棒性。
2024-04-18 cs.LG cs.SD eess.AS
Speech enhancement with mixture-of-deep-experts with clean clustering pre-training
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
在这项研究中,我们提出了一种用于单麦克风语音增强的深度专家(ModE)神经网络架构。我们的架构包括一组深度神经网络(DNN),每个网络都是不同语音频谱模式(如音素)的“专家”。门控DNN负责潜变量,这些潜变量是分配给给定语音片段的每个专家输出的权重。专家从噪声输入估计掩码,然后获得最终掩码作为专家估计的加权平均,其中权重由门控DNN确定。然后基于估计的掩模应用软频谱衰减来增强有噪语音信号。作为副产品,我们在测试时间的复杂性获得减少。我们表明,专家专业化可以更好地鲁棒性不熟悉的噪声类型。
2021-02-11 cs.LG cs.SD eess.AS
Non-Intrusive Intelligibility Prediction for Hearing Aids: Recent Advances, Trends, and Challenges
Research Center for Information Technology Innovation(信息技术创新研究中心);Academia Sinica(中国科学院)
本文综述了助听器非侵入式语音可懂度预测的最新进展,涵盖特征提取、听力损失建模等方向,讨论了适配与泛化策略及现存挑战,为该领域的发展提供参考。
2025-09-03 cs.SD eess.AS