Using Rater and System Metadata to Explain Variance in the VoiceMOS Challenge 2022 Dataset
Google(谷歌);University College Dublin(都柏林大学学院)
非参考语音质量模型对于越来越多的应用是重要的。VoiceMOS 2022挑战赛提供了一个合成语音转换和带有主观标签的文本到语音样本的数据集。这项研究着眼于可以解释的语音质量的主观评级从元数据和数据集的分布不平衡的方差量。语音质量模型使用wav2vec 2.0构建,具有额外的元数据特征,包括评分员组和系统标识符,并获得了竞争性指标,包括斯皮尔曼等级相关系数(SRCC)为0.934和MSE为0.088,在系统级,在话语级为0.877和0.198。使用测试限制或盲化的数据和元数据进一步改进了度量。元数据分析表明,系统级指标并不代表模型的系统级预测,因为验证和测试数据集上每个系统使用的话语数量变化很大。我们的结论是,在一般情况下,条件应该有足够的话语在测试集约束样本的平均误差,并在系统之间的话语计数相对平衡,否则话语水平的度量可能更可靠和可解释的。
2022-09-14 cs.LG cs.SD eess.AS
UTMOS: UTokyo-SaruLab System for VoiceMOS Challenge 2022
The University of Tokyo(东京大学)
我们介绍了提交给2022年VoiceMOS挑战赛的UTokyo-SaruLab平均意见评分(MOS)预测系统。挑战是预测从以前的暴雪挑战和语音转换挑战中收集的两个音轨的语音样本的MOS值:一个用于域内预测的主音轨和一个来自不同听力测试的标记数据较少的域外(OOD)音轨。我们的系统是基于集成学习的强和弱的学习者。强学习者对以前的自监督学习(SSL)模型的微调模型进行了一些改进,而弱学习者使用基本的机器学习方法来预测SSL特征的分数。在挑战赛中,我们的系统在主要和OOD轨道的几个指标上得分最高。此外,我们进行了消融研究,以调查我们提出的方法的有效性。
2022-06-29 cs.SD eess.AS
Study on the Correlation between Objective Evaluations and Subjective Speech Quality and Intelligibility
本研究基于中文语音数据集,评估常用客观度量与主观语音质量和可懂度的相关性,并提出结合深度学习的新客观度量以减少训练数据需求,揭示客观度量与人类感知的关系。
2023-10-10 eess.AS
A Comparison of Deep Learning MOS Predictors for Speech Synthesis Quality
本文基于VoiceMOS挑战数据集评估了wav2vec 2.0和NISQA等MOS预测器,发现SSL模型表现更优,并指出仅靠统计性能不足以给模型排名,数据中的潜在问题会偏差评估结果。
2023-11-24 eess.AS
Benchmarking Neural Speech Codec Intelligibility with SITool
本文提出用于主观可懂度评估的SITool,在实验室和众包环境下对13种语音编解码器进行基准测试,发现神经编解码器主观表现更优,且仅STOI和ESTOI与主观结果显著相关。
2025-06-02 eess.AS
P.808 Multilingual Speech Enhancement Testing: Approach and Results of URGENT 2025 Challenge
本文围绕 URGENT 2025 多语言语音增强挑战赛,介绍 ITU-T P.808 众包 ACR 听辨测试的文本与音频本地化流程,并指出评估生成式方法需结合语音保真度指标以检测幻觉。
2025-07-25 eess.AS
Relationship between objective and subjective perceptual measures of speech in individuals with head and neck cancer
Department of HNO(耳鼻喉科)
本研究探讨头颈癌患者客观与主观语音测度之间的关系,发现主观语音质量与客观测量存在强相关性,表明单一可懂性测量可用于临床监测。
2025-07-29 cs.SD eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology(代尔夫特理工大学);Erasmus Medical Centre (EMC)(埃因霍温医学院);Indian Inst. of Information Technology Allahabad(阿利哈巴德信息科技学院);Dept. of Plastic and Reconstructive Surgery(整形外科与重建外科系);Dept. of Electronics and Communication(电子与通信系)
针对构音障碍语音对ASR系统的挑战,本研究探索扩散模型在构音障碍语音增强中的应用,通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响,验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
TorchAudio-Squim: Reference-less Speech Quality and Intelligibility measures in TorchAudio
本文介绍了TorchAudio-Squim工具,利用深度神经网络以无参考方式估计语音的客观和主观质量指标,为语音处理研究提供便捷的评估手段。
2023-04-04 eess.AS
LE-SSL-MOS: Self-Supervised Learning MOS Prediction with Listener Enhancement
本文提出LE-SSL-MOS融合模型,结合监督与无监督方法预测语音合成MOS,在VoiceMOS Challenge 2023上优于基线,并在法语和噪声增强轨道上排名前列。
2023-11-17 eess.AS
Subjective Evaluation of Deep Neural Network Based Speech Enhancement Systems in Real-World Conditions
Tampere University(坦佩雷大学);Huawei(华为)
两个低延迟深度神经网络(DNN)的主观评价结果进行比较,一个成熟的版本的传统维纳滤波器的噪声抑制器。目标用例是真实世界的单通道语音增强应用,例如,通讯真实世界的录音组成的附加固定和非固定噪声类型包括在内。评估分为四个结果:语音质量、噪声透明度、语音清晰度或听力努力度以及噪声水平w.r.t.演讲结果表明,DNN在所有条件下都能改善噪声抑制,与传统的维纳滤波器基线相比,语音质量和噪声透明度没有重大下降,同时保持语音清晰度优于基线。
2022-08-14 cs.MM cs.SD eess.AS
DDOS: A MOS Prediction Framework utilizing Domain Adaptive Pre-training and Distribution of Opinion Scores
National Taiwan University(台湾大学)
平均意见得分(MOS)是语音合成系统的一个典型的主观评价指标。由于收集MOS是耗时的,如果有精确的MOS预测模型进行自动评估,这将是可取的。在这项工作中,我们提出了DDOS,一种新的MOS预测模型。DDOS利用域自适应预训练来进一步预训练合成语音的自监督学习模型。并增加了一个建议的模块来模拟每个话语的意见得分分布。与建议的组件,DDOS优于以前的作品BVCC数据集。BC2019数据集上的zero shot传输结果得到显著改善。DDOS还在Interspeech 2022 VoiceMOS挑战赛中获得系统级评分第二名。
2022-08-15 cs.LG cs.SD eess.AS
On the Relation Between Speech Quality and Quantized Latent Representations of Neural Codecs
本研究探讨了神经编解码器潜在表示与语音质量的关系,提出了非侵入式LQR度量,其与主观语音质量相关性高达0.9,性能优于预训练和侵入式指标,为构建更复杂的语音质量度量提供了基础。
2025-03-05 eess.AS
The INTERSPEECH 2020 Deep Noise Suppression Challenge: Datasets, Subjective Speech Quality and Testing Framework
Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
INTERSPEECH 2020深度噪声抑制挑战赛旨在促进实时单通道语音增强的合作研究,旨在最大限度地提高增强语音的主观(感知)质量。评价噪声抑制方法的一种典型方法是在通过分裂原始数据集获得的测试集上使用客观度量。许多出版物报告了从与训练集相同的分布中得出的合成测试集的合理性能。然而,通常模型性能在真实记录上显著降低。此外,大多数传统的客观指标与主观测试没有很好的相关性,并且实验室主观测试对于大的测试集是不可扩展的。在这项挑战中,我们开源了一个大型的干净语音和噪声语料库,用于训练噪声抑制模型和一个代表性的测试集,用于由合成和真实录音组成的真实场景。我们还开源了一个基于ITU-T P.808的在线主观测试框架,供研究人员快速测试他们的开发。本次挑战赛的获胜者将根据对使用P.808框架的代表性测试集的主观评价进行选择。
2020-04-19 cs.LG cs.SD eess.AS
MooseNet: A Trainable Metric for Synthesized Speech with a PLDA Module
Charles University(查理大学)
MooseNet通过在SSL嵌入上引入PLDA生成模型预测语音MOS,在极低资源下优于微调,并结合优化器选择、对比学习和多任务目标,在VoiceMOS Challenge上超越SSL基线。
2023-06-29 cs.CL cs.SD eess.AS
A scalable noisy speech dataset and online subjective test framework
Microsoft Corp.(微软公司)
背景噪声是互联网协议语音(VoIP)和公共交换电话网(PSTN)呼叫中质量损害的主要来源。最近的工作显示了深度学习对噪声抑制的功效,但与其他领域(例如,ImageNet)和相关的评估更加集中。为了更好地促进语音增强中的深度学习研究,我们提出了一个带噪语音数据集(MS-SNSD),该数据集可以根据扬声器的数量、噪声类型和所需的语音噪声比(SNR)水平扩展到任意大小。我们表明,增加数据集的大小增加了噪声抑制性能的预期。此外,我们提供了一个开源的评估方法,使用众包对结果进行主观评估,并使用参考算法对结果进行标准化。为了证明数据集和评估框架,我们将其应用于几个噪声抑制器,并将主观平均意见得分(MOS)与客观质量指标(如SNR,PESQ,POLQA和VISQOL)进行比较,并说明为什么仍然需要MOS。我们的主观MOS评估是我们所知道的第一次对语音增强算法进行大规模评估。
2019-09-17 cs.LG cs.SD eess.AS
SpeechBERTScore: Reference-Aware Automatic Evaluation of Speech Generation Leveraging NLP Evaluation Metrics
The University of Tokyo(东京大学);Carnegie Mellon University(卡内基梅隆大学);Keio University(庆应义塾大学)
本文借鉴自然语言处理评估指标,提出SpeechBERTScore、SpeechBLEU和SpeechTokenDistance三种参考感知的语音生成自动评估方法,实验表明其与人类主观评分的相关性优于现有客观指标,并具备噪声鲁棒性和跨语言适用性。
2024-09-01 cs.SD eess.AS
MOS-Bench: Benchmarking Generalization Abilities of Subjective Speech Quality Assessment Models
Graduate School of Informatics, Nagoya University, Japan(名古屋大学信息科学研究生院,日本);National Institute of Information and Communications Technology (NICT), Japan(日本信息通信技术研究所);Information Technology Center, Nagoya University, Japan(名古屋大学信息技术中心,日本)
本文研究了主观语音质量评估任务,指出当前模型在域外泛化能力不足的问题,提出MOS-Bench数据集,通过实验对比多数据集训练方法,验证数据多样性对模型泛化能力的重要性。
2026-04-24 cs.SD eess.AS
Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions
Collaboration AI, Cisco Systems, Inc.(思科系统公司协作AI部门);Faculty of Engineering and Natural Sciences, Yeditepe University(耶迪特佩大学工程与自然科学学院)
该研究针对干净语音条件,通过17种编解码器的主观听辨得分,评估45种客观语音质量指标,发现scoreq、utmos等神经指标相关性最高,非侵入式指标在高质量时易饱和。
2026-08-05 cs.AI cs.SD eess.AS
DNSMOS P.835: A Non-Intrusive Perceptual Objective Speech Quality Metric to Evaluate Noise Suppressors
Microsoft Corporation(微软公司)
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。我们最近开发了一种非侵入性的语音质量度量,称为深度噪声抑制平均意见得分(DNSMOS),使用ITU-T Rec.P.808主观评估的得分。P.808分数反映了音频剪辑的整体质量。ITU-T Rec.P.835主观评价框架除了给出总体质量之外,还给出了语音和背景噪声的独立质量分数。在这项工作中,我们训练基于P.835人类评级的客观度量,其输出3个分数:i)语音质量(SIG),ii)背景噪声质量(BAK),以及iii)音频的整体质量(OVRL)。所开发的度量与人类评级高度相关,SIG的Pearson相关系数(PCC)=0.94,BAK和OVRL的PCC=0.98。这是我们所知道的第一个非侵入式P.835预测器。DNSMOS P.835作为Azure服务公开提供。
2022-02-04 cs.SD eess.AS
Objective and subjective evaluation of speech enhancement methods in the UDASE task of the 7th CHiME challenge
CentraleSupélec(中央高等电力学院);École Normale Supérieure(巴黎高等师范学院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);University of Sheffield(谢菲尔德大学);Pulse Audition;Inria(法国国家信息与自动化研究所);Google(谷歌公司)
针对合成训练与真实测试域不匹配导致语音增强性能下降的问题,本文对CHiME-7 UDASE任务的参赛系统开展主客观评估,发现主客观指标相关性有限,仅一种方法提升了语音整体质量,并共享相关工具与素材。
2024-07-10 cs.LG cs.SD eess.AS
DNN-based Speaker Embedding Using Subjective Inter-speaker Similarity for Multi-speaker Modeling in Speech Synthesis
The University of Tokyo(东京大学)
本文提出了一种基于深度神经网络(DNN)的主观说话人间相似性的说话人嵌入新算法。尽管诸如$d$向量的常规的基于DNN的说话者嵌入可以应用于语音合成中的多说话者建模,但是它与主观说话者间相似性不相关,并且对于其语音话语不包括在训练数据中的开放式说话者来说不一定是适当的说话者表示。我们使用通过大规模主观评分获得的说话人间相似性矩阵,提出了两种基于DNN的说话人嵌入模型的训练算法。一种是基于相似向量嵌入,训练模型预测相似矩阵的向量作为说话人表示。另一种是基于相似矩阵嵌入,训练模型使相似矩阵与$d$ -向量的Gram矩阵之间的Frobenius范数平方最小,即,从$d$向量导出的说话者间相似性。我们众包了153名日本女性说话人的说话人间相似性得分,实验结果表明,我们的算法学习的说话人嵌入与主观相似性高度相关。我们还将所提出的说话人嵌入应用于基于DNN的语音合成中的多说话人建模,并揭示了所提出的相似性向量嵌入提高了开放式说话人的合成语音质量,其语音话语在训练过程中是不可见的。
2019-07-19 cs.LG cs.SD eess.AS
EMO-Codec: An In-Depth Look at Emotion Preservation capacity of Legacy and Neural Codec Models With Subjective and Objective Evaluations
National Taiwan University(台湾大学);National Tsinghua University(清华大学);Academia Sinica(中央研究院)
该研究针对现有编解码器情感损失研究不足的问题,通过主客观方法评估传统与神经编解码器的情感保留能力,明确不同比特率下的最优类型,发现双语训练对中文情感保留效果有限,重合成语音会降低SER性能,为语音技术发展提供指导。
2024-07-30 cs.SD eess.AS
Reduction of Subjective Listening Effort for TV Broadcast Signals with Recurrent Neural Networks
Carl von Ossietzky University Oldenburg(奥尔登堡大学);Fraunhofer IDMT(弗劳恩霍夫数字媒体技术研究所)
收听电视广播信号的音频对于听力受损者以及听力正常的收听者来说可能是具有挑战性的,特别是当背景声音与语音信号相比突出或太响时。这可能导致听众的满意度降低和收听努力增加。由于广播声音通常是预混的,我们进行主观评价量化的潜力语音增强系统的基础上,音频源分离和递归神经网络(RNN)。最近,RNN在声源分离和实时信号处理的背景下显示出有希望的结果。在本文中,我们将语音从背景信号中分离出来,并将分离出来的声音以更高的信噪比进行混音。这不同于经典的语音增强,在经典的语音增强中,通常仅利用所提取的语音信号。主观评价与20个正常的听力主体对真正的电视广播材料表明,我们提出的增强系统是能够减少约2个点的13点的听力努力评级量表上的听力努力,并增加了感知的声音质量相比,原来的混合物。
2021-11-02 cs.SD eess.AS
Crowdsourcing MUSHRA Tests in the Age of Generative Speech Technologies: A Comparative Analysis of Subjective and Objective Testing Methods
Cisco SystemsEurope(思科系统欧洲)
本文针对生成式语音编解码器提出众包MUSHRA测试调整方案,对比MTurk与Prolific平台及专家数据,并评估六项客观指标,发现传统指标低估生成模型,为可扩展感知测试提供指导。
2025-06-01 cs.SD eess.AS
AECMOS: A speech quality assessment metric for echo impairment
Microsoft Corporation(微软公司)
传统上,使用诸如ERLE \cite{g168}和PESQ \cite{p862}之类的侵入式语音质量评估措施或者通过执行主观实验室测试来评估声学回声消除器的质量。不幸的是,前者与人的主观测量没有很好的相关性,而后者执行起来耗时耗力。我们提供了一种新的回声损伤语音质量评估工具,可用于评估声学回声消除器的性能。更确切地说,我们开发了一个神经网络模型来评估呼叫质量下降在两个不同的类别:回声和其他来源的降级。我们表明,我们的模型是准确的,与人类主观质量评级的相关性。我们的工具可以有效地用于堆叠排名回声消除模型。AECMOS将作为Azure服务公开提供。
2022-01-27 cs.SD eess.AS
Subjective Evaluation of Noise Suppression Algorithms in Crowdsourcing
Microsoft Corp.(微软公司)
包括噪声抑制算法的语音通信系统的质量通常根据ITU-T Rec.P.835在实验室实验中进行评估,其中参与者分别对背景噪声、语音信号和总体质量进行评级。本文介绍了一个开源的工具包进行主观质量评价的噪声抑制的语音众包。我们遵循ITU-T Rec. P.835和P.808,并高度自动化该过程以防止主持人错误。为了评估我们的评估方法的有效性,我们比较了平均意见得分(MOS),使用我们的实施收集的评级计算,以及根据ITU-T Rec P.835进行的标准实验室实验的MOS值。结果表明,在所有三个尺度,即背景噪声,语音信号和整体质量(平均PCC = 0.961)的有效性高。循环测试(N=5)的结果表明,我们的实现也是一个高度可重复的评估方法(PCC=0.99)。最后,我们在INTERSPEECH 2021深度噪声抑制挑战赛中使用了我们的实现作为主要评估指标,这表明它在大规模使用时是可行的。分析结果,以确定为什么在背景噪声和语音质量方面的整体性能是最好的。
2021-04-16 cs.SD eess.AS
Objective Evaluation of Prosody and Intelligibility in Speech Synthesis via Conditional Prediction of Discrete Tokens
Center for Language and Speech Processing (CLSP), Johns Hopkins University(语言与语音处理中心(CLSP),约翰·霍普金斯大学);National University of Singapore(新加坡国立大学)
本文提出TTScore,一种基于条件预测离散语音令牌的无参考评估框架,用于更准确地评估语音合成的语调和可懂性。
2026-01-19 cs.LG cs.SD eess.AS
TTSDS2: Resources and Benchmark for Evaluating Human-Quality Text to Speech Systems
Centre for Speech Technology Research University of Edinburgh(语音技术研究中心爱丁堡大学)
TTSDS2是一种改进的TTS评估基准,通过高相关性指标和持续更新的资源,提升对合成语音真实性的评估能力。
2026-03-02 cs.CL cs.SD eess.AS
On Crowdsourcing-design with Comparison Category Rating for Evaluating Speech Enhancement Algorithms
本文利用 P.808 众包与 CCR 主观评估三种 RTC 语音增强算法,并与 DNSMOS、ViSQOL 和 3QUEST 对比,揭示用户偏好差异及评估设计要点。
2023-06-02 eess.AS
When Does Predictor-Based RL Align with Human Perception? A Study of Subjective Rewards in Codec-Based Speech Language Models
Spellbrush(斯佩尔布拉什公司)
本研究探究基于编解码器的语音语言模型中,预测器式强化学习与人类感知的对齐条件,采用GRPO与CER区间约束,发现单奖励针对性提升对应指标,8最佳重排序性能接近GRPO,为多奖励语音后训练的奖励选择提供诊断方法。
2026-09-01 cs.CL cs.SD eess.AS
Weighted Speech Distortion Losses for Neural-network-based Real-time Speech Enhancement
Microsoft Research(微软研究院)
针对实时单通道语音增强,研究了训练递归神经网络(RNN)的几个方面,这些方面影响增强语音的客观和主观质量。具体来说,我们专注于一个RNN,增强了单帧输入,单帧输出的基础上,最经典的信号处理方法所采用的框架的短时间语音频谱。我们提出了两个新的均方误差为基础的学习目标,使单独控制语音失真与降噪的重要性。建议的损失函数进行评估,广泛接受的客观质量和可懂度的措施,并与其他竞争力的在线方法。此外,我们研究了特征归一化和不同批次序列长度对增强语音的客观质量的影响。最后,我们展示了所提出的方法和最先进的基于RNN的实时方法的主观评级。
2020-02-12 cs.SD eess.AS
Speech Quality Factors for Traditional and Neural-Based Low Bit Rate Vocoders
University College Dublin(都柏林大学学院);Google(谷歌)
本研究比较了低比特率下不同语音编码算法的性能。除了广泛部署的传统声码器,最近开发的基于生成模型的编码器在不同的比特率的选择进行了对比。编码语音的性能分析评估不同的质量方面:基音周期估计的准确性,自动语音识别的字错误率,和扬声器性别和编码延迟的影响。将从公开数据库中获取的语音样本的许多性能指标与主观评分进行比较。主观质量评估的结果与现有的全参考语音质量度量不相关。结果提供了有价值的见解方面的语音信号,将被用来开发一种新的度量,以准确地预测语音质量从基于生成模型的编码器。
2020-03-26 cs.SD eess.AS
End-To-End Label Uncertainty Modeling for Speech-based Arousal Recognition Using Bayesian Neural Networks
情绪是主观的。最近的端到端语音情感识别系统通常对情感的主观性质是不可知的,尽管它们具有最先进的性能。在这项工作中,我们引入了一个端到端的贝叶斯神经网络架构,以捕捉情感表达的唤醒维度中固有的主观性。据我们所知,这项工作是第一次使用贝叶斯神经网络的语音情感识别。在训练时,网络学习权重的分布,以捕获与主观唤醒注释相关的固有不确定性。为此,我们引入了一个损失项,使模型能够在注释分布上进行显式训练,而不是只在平均值或黄金标准标签上进行训练。我们在AVEC'16数据集上评估了所提出的方法。定性和定量分析的结果表明,该模型可以适当地捕捉主观唤醒注释的分布,与国家的最先进的结果,在平均值和标准差估计的不确定性建模。
2022-06-27 cs.LG cs.SD eess.AS
NORESQA: A Framework for Speech Quality Assessment using Non-Matching References
Princeton University(普林斯顿大学);Facebook Reality Labs Research(Facebook现实实验室研究部)
语音质量评估(SQA)的感知任务对机器来说是一项具有挑战性的任务。目标SQA方法依赖于相应的清洁参考的可用性,是SQA的主要方法。显然,这些方法在真实干净参考不可用的真实场景中失败了。近年来,训练神经网络来预测语音质量的非侵入式方法受到了广泛的关注,但这些方法存在鲁棒性差、依赖于标记数据等缺点。受人类的先天能力,比较和评估语音信号的质量,即使当他们有不匹配的内容的启发,我们提出了一个新的框架,预测主观相对质量分数为给定的语音信号相对于任何提供的参考,而不使用任何主观数据。我们表明,使用我们的框架训练的神经网络产生的分数与主观平均意见分数(MOS)相关性很好,并且与DNSMOS等方法相比也具有竞争力,DNSMOS明确依赖于人类的MOS来训练网络。此外,我们的方法还提供了一种在神经网络中嵌入质量相关信息的自然方法,我们表明这对语音增强等下游任务很有帮助。
2021-10-18 cs.SD eess.AS
ICASSP 2021 Deep Noise Suppression Challenge
深度噪声抑制(DNS)挑战赛旨在促进噪声抑制领域的创新,以实现卓越的感知语音质量。我们最近在INTERSPEECH 2020上组织了DNS挑战特别会议。我们为研究人员开放了训练和测试数据集,以训练他们的噪声抑制模型。我们还开源了一个主观评估框架,并使用该工具来评估和挑选最终的获奖者。来自学术界和工业界的许多研究人员为推动该领域的发展做出了重大贡献。我们还了解到,作为一个研究社区,我们仍然有很长的路要走,在具有挑战性的嘈杂实时条件下实现卓越的语音质量。在这个挑战中,我们正在扩展我们的训练和测试数据集。有两个轨道,一个专注于实时去噪,另一个专注于实时个性化深度噪声抑制。我们还提供了一个非侵入性的客观语音质量指标DNSMOS,供参与者在开发阶段使用。最终的评估将基于主观测试。
2020-10-26 eess.AS
Speech Quality Embeddings for Improved Detection and Classification of Degradations in Speech Signals
Paderborn University(帕德博恩大学)
本文提出了一种生成帧级嵌入的方法,通过对比损失区分退化类型,提升语音退化检测和分类性能。
2026-05-20 eess.AS
Generative Models for Improved Naturalness, Intelligibility, and Voicing of Whispered Speech
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学);Intel Labs(英特尔实验室)
这项工作适应了两个最近的架构生成模型,并评估其有效性转换的耳语音正常语音。我们将正常目标语音纳入矢量量化变分自编码器(VQ-VAE)和MelGAN的训练标准中,从而调节系统从耳声输入中恢复有声语音。客观和主观质量测量表明,VQ-VAE和MelGAN都可以修改以执行转换任务。我们发现,所提出的方法显着改善梅尔倒谱系数失真(MCD)度量至少25%相对于DiscoGAN基线。主观听力测试表明,与耳声输入语音相比,基于MelGAN的系统显着提高了自然度,可懂度和语音。一种基于潜在语音表示之间差异的新评估措施也表明,我们基于MelGAN的方法相对于基线有所改进。
2023-01-30 cs.SD eess.AS
Practical cognitive speech compression
Université de Sherbrooke(舍布鲁克大学)
本文提出了一种新的神经语音压缩方法,它是实用的意义上,它工作在低比特率,引入了低延迟,是兼容的计算复杂度与当前的移动设备,并提供了一个主观的质量是可比的标准移动电话编解码器。最近提出的其他神经声码器也具有以低比特率操作的能力。然而,它们不产生与标准编解码器相同的主观质量水平。另一方面,标准编解码器依赖于客观和短期的指标,例如与感知仅弱相关的分段信噪比。此外,标准编解码器在捕获语音属性,特别是长期语音属性方面的效率低于无监督神经网络。所提出的方法结合了一个认知编码编码器,提取一个可解释的无监督分层表示与多级解码器,具有基于GAN的架构。我们观察到,这种方法是非常强大的量化表示功能。AB测试是在哈佛句子的一个子集上进行的,这些句子通常用于评估标准的移动电话编解码器。实验结果表明,该方法在时延、码率和主观质量方面均优于标准AMR-WB编解码器。
2022-03-08 cs.SD eess.AS
Parametric Resynthesis with neural vocoders
The Graduate Center, CUNY(纽约城市大学研究生中心);Brooklyn College(布鲁克林学院);Computer Science(计算机科学系);Computer and Information Science(计算机与信息科学系)
噪声抑制系统通常产生具有折衷质量的输出语音。我们建议利用高品质的语音生成能力的神经声码器的噪声抑制。我们使用一个神经网络来预测干净的梅尔频谱图功能,从嘈杂的语音,然后比较两个神经声码器,WaveNet和WaveGlow,从预测梅尔频谱图合成干净的语音。WaveNet和WaveGlow都比声源分离模型Chimera++获得了更好的主观和客观质量分数。此外,WaveNet和WaveGlow还实现了比Oracle Wiener掩码更好的主观质量评级。此外,我们观察到,在WaveNet和WaveGlow之间,WaveNet实现了最佳的主观质量分数,尽管代价是波形生成速度要慢得多。
2019-11-14 cs.LG cs.SD eess.AS
Effect of Language Proficiency on Subjective Evaluation of Noise Suppression Algorithms
Technische Universität Berlin(柏林工业大学);Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心)
基于IP语音技术的语音通信系统经常被目标语言的母语者以及非母语者使用,例如在国际电话呼叫或电话会议中。通常,这样的呼叫也发生在嘈杂的环境中,使得噪声抑制模块对于提高感知的体验质量是必要的。而标准的测试,用于评估感知质量使用的母语听众,我们假设,降噪语音和残余噪音可能会影响母语和非母语的听众的目标语言以不同的方式。为了验证这一假设,我们报告的两个主观测试的结果进行英语和德语母语的听众判断语音样本的质量记录的母语为英语,德语和普通话的扬声器,这是退化与不同的背景噪声水平和噪声抑制效果。这些实验遵循标准化ITU-T Rec. P.835方法进行,但根据ITU-T Rec. P.808在众包环境中实施。我们的研究结果表明,语言对语音信号评级,因此,在特定条件下的整体感知质量的显着影响。
2020-10-26 cs.MM cs.SD eess.AS
Enhancement of Noisy Speech Exploiting an Exponential Model Based Threshold and a Custom Thresholding Function in Perceptual Wavelet Packet Domain
为了增强带噪语音,提出了一种基于带噪语音的Teager能量(TE)运算感知小波包(PWP)系数指数分布建模的阈值确定方法。一个自定义的阈值功能的基础上的组合的μ律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。通过使用NOIZEUS数据库进行大量的仿真,对汽车和多人串音噪声破坏的语音信号进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的信噪比方面的标准客观措施和主观评价,包括正式的听力测试。
2018-02-15 eess.AS
Creating Personalized Synthetic Voices from Post-Glossectomy Speech with Guided Diffusion Models
针对舌切除术后语音发音受损问题,提出用引导扩散模型构建个性化语音合成系统,通过音素分类器引导扩散模型推理,在提升发音清晰度的同时更好保留说话人个性。
2023-05-27 eess.AS
A Text-to-Speech Pipeline, Evaluation Methodology, and Initial Fine-Tuning Results for Child Speech Synthesis
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校);University Politehnica of Bucharest(布加勒斯特理工大学)
语音合成已经取得了长足的进步,因为当前的文本到语音(TTS)模型现在可以生成自然的人类发音的语音。然而,大多数的TTS研究集中在使用成人语音数据和儿童语音合成已经做了非常有限的工作。这项研究开发并验证了一个训练管道,用于使用儿童语音数据集微调最先进的(SOTA)神经TTS模型。该方法采用多说话人TTS重调工作流程来提供迁移学习管道。一个公开可用的儿童语音数据集被清理,以提供大约19小时的较小子集,这构成了我们微调实验的基础。主观和客观的评价进行了使用预训练的MOSNet的客观评价和一个新的主观框架的平均意见评分(MOS)的评价。主观评价达到的MOS为3.95的语音清晰度,3.89的声音自然度,和3.96的声音一致性。使用预训练的MOSNet进行的客观评估显示,真实和合成儿童声音之间存在很强的相关性。说话人相似性也通过计算嵌入的话语之间的余弦相似性来验证。还使用自动语音识别(ASR)模型来提供真实儿童语音与合成儿童语音之间的字出错率(WER)比较。最终训练的TTS模型能够从参考音频样本合成儿童般的语音,短至5秒。
2022-04-04 cs.CL cs.SD eess.AS
To Dereverb Or Not to Dereverb? Perceptual Studies On Real-Time Dereverberation Targets
Amazon Web Services(亚马逊云科技)
在现实生活中,房间效应,也称为房间混响,以及当前的背景噪声降低了语音质量。最近,基于深度学习的语音增强方法已经显示出很大的前景,并超过了传统的去噪和去混响方法。人们也已经确定,这些最先进的去噪算法显着提高了人类听众感知的语音质量。但是,去混响对主观(感知)语音质量的作用,以及由去混响引入的附加伪影是否弊大于利仍然不清楚。在本文中,我们试图回答这些问题,通过评估一个国家的最先进的语音增强系统在一个综合的主观评价研究不同的选择去混响目标。
2022-06-16 cs.SD eess.AS
Manipulation of oral cancer speech using neural articulatory synthesis
University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所);University Medical Center Groningen(格罗宁根大学医学中心);University of Groningen(格罗宁根大学);Delft University of Technology(代尔夫特理工大学)
我们提出了一个发音合成框架的合成和处理口腔癌的语音临床决策和减轻病人的压力。客观和主观评价表明,该框架具有可接受的自然度,值得进一步研究。随后的主观元音和辅音识别实验表明,发音合成系统可以操纵发音轨迹,使合成的语音再现存在于地面真实口腔癌语音的问题。
2022-03-31 cs.CL cs.SD eess.AS
Enhancing Zero-shot Text-to-Speech Synthesis with Human Feedback
Nanyang Technological University(南洋理工大学);University of Cambridge(剑桥大学);Johns Hopkins University(约翰斯·霍普金斯大学);Tsinghua University(清华大学)
本文提出一种基于人类反馈的采样-标注-学习框架UNO,通过直接最大化语音生成效用并考虑主观感知不确定性,显著提升了TTS模型的零样本性能及情感风格适应能力。
2024-06-02 cs.CL cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Southern University of Science and Technology of China(南方科技大学)
提高用户在噪声环境中理解语音的听力能力对于助听器(HA)设备的发展至关重要。为此,重要的是要得到一个度量,可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试,并使用测试结果作为评估指标。然而,进行大规模的听力测试既耗时又昂贵。因此,几个评估指标作为主观听力测试结果的替代品。在这项研究中,我们提出了一个多分支的语音清晰度预测模型(MBI-Net),用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成,每个分支由听力损失模型,跨域特征提取模块和语音可懂度预测模型组成,用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性,它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Collapsed speech segment detection and suppression for WaveNet vocoder
Nagoya University(名古屋大学)
在本文中,我们提出了一种技术,以减轻崩溃的语音段有时产生的WaveNet声码器所造成的质量下降。WaveNet声码器用于从声学特征生成自然语音的有效性已在最近的工作中得到证明。然而,当只有有限数量的训练数据可用或训练数据和测试数据之间存在显著的声学失配时,它有时会生成具有折叠语音段的非常嘈杂的语音。这种对语料库的限制和有限的模型能力很容易出现在某些语音生成应用中,例如语音转换和语音增强。为了解决这个问题,我们提出了一种技术来自动检测崩溃的语音段。此外,为了细化检测到的片段,我们还提出了一种波形生成技术的WaveNet使用线性预测编码约束。验证和主观测试进行调查所提出的技术的有效性。验证结果表明,该检测技术可以检测到大多数塌陷段。语音转换的主观评价表明,该生成技术显着提高了语音质量,同时保持相同的说话人相似性。
2018-08-09 cs.SD eess.AS
The INTERSPEECH 2020 Deep Noise Suppression Challenge: Datasets, Subjective Testing Framework, and Challenge Results
Microsoft Corporation(微软公司)
INTERSPEECH 2020深度噪声抑制(DNS)挑战赛旨在促进实时单通道语音增强的合作研究,旨在最大限度地提高增强语音的主观(感知)质量。评价噪声抑制方法的一种典型方法是在通过分裂原始数据集获得的测试集上使用客观度量。虽然在合成测试集上性能良好,但在真实记录上模型性能通常会显着下降。此外,大多数传统的客观指标与主观测试没有很好的相关性,并且实验室主观测试对于大的测试集是不可扩展的。在这项挑战中,我们开源了一个大型的干净语音和噪声语料库,用于训练噪声抑制模型和一个代表性的测试集,用于由合成和真实录音组成的真实场景。我们还开源了一个基于ITU-T P.808的在线主观测试框架,供研究人员可靠地测试其开发。我们使用P.808在盲测集上评估了结果。讨论了挑战的结果和主要经验教训。数据集和脚本可以在这里找到,以便快速访问https://github.com/microsoft/DNS-Challenge。
2020-10-18 cs.LG cs.SD eess.AS
DNSMOS: A Non-Intrusive Perceptual Objective Speech Quality metric to evaluate Noise Suppressors
Microsoft Corporation(微软公司)
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。传统的和广泛使用的度量需要参考干净的语音信号,这在实际记录中是不可用的。无参考方法与人类评级的相关性很差,在研究界没有被广泛采用。这些感知客观指标的最大用例之一是评估噪声抑制算法。本文介绍了一个多阶段的自我教学为基础的感知客观度量,旨在评估噪声抑制器。所提出的方法在具有挑战性的测试条件下具有很高的相关性,以人类的评级推广。
2021-02-10 cs.LG cs.SD eess.AS
Multi-dimensional Speech Quality Assessment in Crowdsourcing
Microsoft Corporation(微软公司)
本研究基于P.804标准创建了众包多维语音质量评估工具,扩展了感知维度并验证其准确性与可复现性,已用于ICASSP 2023挑战赛。
2023-09-14 cs.SD eess.AS
ConferencingSpeech 2022 Challenge: Non-intrusive Objective Speech Quality Assessment (NISQA) Challenge for Online Conferencing Applications
Tencent Ethereal Audio Lab.(腾讯天籁音频实验室);Technical University of Berlin(柏林工业大学);Microsoft Corp.(微软公司);Indiana University Bloomington(印第安纳大学伯明顿分校);Southern University of Science and Technology(南方科技大学);XiDian University(西安电子科技大学)
随着语音通信系统(如在线会议应用程序)的进步,我们可以与人们无缝合作,无论他们身在何处。然而,在在线会议期间,语音质量可能会受到背景噪声、混响、数据包丢失、网络抖动等的显著影响。由于其性质,语音质量传统上在实验室进行主观测试,最近也在遵循ITU-T Rec.P.800系列国际标准的众包中进行评估。然而,这些方法成本高昂,无法应用于客户数据。因此,需要一种有效的客观评估方法来评估或监测正在进行的会话的语音质量。ConferencingSpeech 2022挑战赛针对语音质量评估任务的非侵入式深度神经网络模型。我们开源了一个训练语料库,其中包含超过86 K不同语言的语音片段,通过众包提供了各种合成和实时降级及其相应的主观质量分数。18支队伍提交了他们的模型进行评估。盲法测试集包括约4300个来自广泛降解范围的夹子。本文描述了挑战,数据集和评估方法,并报告了最终结果。
2022-04-01 cs.SD eess.AS
Selecting N-lowest scores for training MOS prediction models
NTT Corporation(日本NTT公司)
针对语音质量评估中MOS预测模型训练,提出基于人类评分倾向低质量片段的假设,采用N个最低意见得分均值N_low-MOS作为训练目标,实验证明其提升LCC和SRCC,使MOSNet成为更优的VC模型比较器。
2025-06-23 cs.SD eess.AS