DNSMOS: A Non-Intrusive Perceptual Objective Speech Quality metric to evaluate Noise Suppressors
Microsoft Corporation(微软公司)
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。传统的和广泛使用的度量需要参考干净的语音信号,这在实际记录中是不可用的。无参考方法与人类评级的相关性很差,在研究界没有被广泛采用。这些感知客观指标的最大用例之一是评估噪声抑制算法。本文介绍了一个多阶段的自我教学为基础的感知客观度量,旨在评估噪声抑制器。所提出的方法在具有挑战性的测试条件下具有很高的相关性,以人类的评级推广。
2021-02-10 cs.LG cs.SD eess.AS
Improving Perceptual Quality by Phone-Fortified Perceptual Loss using Wasserstein Distance for Speech Enhancement
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Institute of Information and Communications Technology(日本信息通信研究机构)
语音增强(SE)旨在提高语音质量和可懂度,这两者都与可能携带语言信息的语音片段(例如音素和音节)的平滑过渡有关。在这项研究中,我们提出了一种新的电话强化知觉损失(PFPL),考虑到语音信息的训练SE模型。为了有效地结合语音信息,PFPL是基于wav 2 vec模型的潜在表示来计算的,wav 2 vec模型是一种强大的自监督编码器,可以呈现丰富的语音信息。为了更准确地度量潜在表征的分布距离,PFPL采用Wasserstein距离作为距离度量。我们的实验结果首先揭示了PFPL是更相关的感知评估指标,相比信号电平损失。此外,结果表明,PFPL可以使深度复杂的U-Net SE模型在Voice Bank-DEMAND数据集的标准化质量和可懂度评估方面实现极具竞争力的性能。
2021-04-27 cs.LG cs.SD eess.AS
On Psychoacoustically Weighted Cost Functions Towards Resource-Efficient Deep Neural Networks for Speech Denoising
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
我们提出了一个心理声学增强的成本函数,以平衡网络的复杂性和感知性能的深度神经网络的语音去噪。在训练网络时,我们利用感知权重添加到普通的均方误差中,以强调最可听的频率箱的贡献,而忽略不可听的箱的误差。为了生成权重,我们采用心理声学模型从干净的语音频谱计算全局掩蔽阈值。然后,我们评估我们的感知引导神经网络的语音去噪性能,通过使用客观和感知的声音质量指标,测试各种网络结构,从浅和窄的深和宽的。实验结果表明,我们的方法是一种有效的方法,为深度神经网络操作注入感知意义。特别是,通过简单的神经网络拓扑结构看到的性能的更感知的增强证明了所提出的方法可以在小型设备中实现资源高效的语音去噪,而不会降低感知的信号保真度。
2018-01-29 cs.SD eess.AS
Speech Synthesis along Perceptual Voice Quality Dimensions
Paderborn University(帕德博恩大学);Bielefeld University(比勒费尔德大学)
本研究针对低抽象层级的感知语音质量控制需求,将条件连续归一化流方法集成到文本转语音系统中,通过样本学习实现连续尺度的语音属性修改,经语音学专家评估验证了系统在四种语音质量操纵上的效果与改进空间。
2025-01-15 cs.SD eess.AS
End-to-End Multi-Task Denoising for the Joint Optimization of Perceptual Speech Metrics
Samsung Semiconductor Inc.(三星半导体公司)
虽然基于深度神经网络的监督学习最近在语音增强方面取得了实质性的改进,但现有方案存在两个关键问题:频谱或度量失配。频谱失配是一个众所周知的问题,即在短时傅立叶变换(STFT)之后的任何频谱修改通常在逆短时傅立叶变换(ISTFT)之后不能完全恢复。度量失配是常规的均方误差(MSE)损失函数对于最大化感知语音测量(诸如信号失真比(SDR)、语音质量的感知评估(PESQ)和短时客观可懂度(STOI))而言通常是次优的。本文提出了一种新的端到端去噪框架。首先,对ISTFT后的时域信号进行网络优化,以避免频谱失配。其次,提出了基于SDR、PESQ和STOI的三种损失函数,以最小化度量失配。实验结果表明,该方法在SDR、PESQ和STOI等图像去噪性能上均优于现有方法。此外,所提出的方案还提供了良好的泛化性能生成去噪模型的感知语音度量,而不是作为一个损失函数在训练过程中。
2020-05-06 cs.SD eess.AS
Learning with Learned Loss Function: Speech Enhancement with Quality-Net to Improve Perceptual Evaluation of Speech Quality
National Taiwan University(台湾大学)
利用与人的感知相关的目标函数来训练语音增强模型是近年来的一个热门课题。主要原因是传统的均方误差(MSE)损失不能很好地代表听觉感知。一个典型的人类感知相关的度量,这是语音质量的感知评价(PESQ),已被证明提供了一个高度相关的质量评分由人类。然而,由于其复杂和不可微的特性,PESQ函数可能无法直接用于优化语音增强模型。在这项研究中,我们提出了优化增强模型与近似PESQ函数,这是可微的,从训练数据学习。实验结果表明,学习的代理函数可以指导增强模型进一步提高PESQ分数(与MSE损失训练结果相比提高0.18分),并保持语音清晰度。
2019-11-14 cs.LG cs.SD eess.AS
Augmenting Open-Vocabulary Dysarthric Speech Assessment with Human Perceptual Supervision
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本研究提出利用语音合成评估中的人类感知标注作为外部领域知识,指导构音障碍语音评估,实验证明该方法能有效提升自监督预训练模型的性能,实现跨领域知识转移。
2025-11-04 eess.AS
NOMAD: Unsupervised Learning of Perceptual Embeddings for Speech Enhancement and Non-matching Reference Audio Quality Assessment
Google(谷歌);Science Foundation Ireland(爱尔兰科学基金会)
本文提出无监督、可微的感知相似度度量 NOMAD,利用 NSIM 引导的三元组损失学习音频嵌入,在质量评估、退化排序和语音增强任务中优于非匹配参考方法。
2024-01-19 cs.SD eess.AS
PROSE: Perceptual Risk Optimization for Speech Enhancement
Indian Institute of Science(印度科学理工学院);Indian Railways(印度铁路公司)
语音增强的目标是通过最小化所选择的失真度量来从噪声信号开始获得干净语音的估计,这导致取决于未知的干净信号或其统计的估计。由于在实践中对这种先验知识的访问是有限的或不可能的,因此必须估计干净的信号统计。在本文中,我们开发了一个新的风险最小化框架语音增强,其中,一个优化的失真/风险的无偏估计,而不是实际的风险。估计的风险仅表示为噪声观测的函数。我们考虑几个感知相关的失真措施,并制定相应的无偏估计的噪声分布和先验信噪比(SNR)的现实假设。最小化的风险估计产生相应的降噪,这是一个后验SNR的非线性函数。语音质量的感知评价(PESQ),平均分段信噪比(SSNR)的计算,和听力测试表明,建议的风险优化方法采用Itakura-Saito和加权双曲余弦失真比其他失真措施提供了更好的性能。对于信噪比大于5 dB,所提出的方法提供了优越的去噪性能的基准技术的基础上的维纳滤波器,对数MMSE最小化,贝叶斯非负矩阵分解。
2017-10-11 cs.SD eess.AS
Modeling of Teager Energy Operated Perceptual Wavelet Packet Coefficients with an Erlang-2 PDF for Real Time Enhancement of Noisy Speech
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Concordia University(康考迪亚大学)
为了实现带噪语音的实时增强,提出了一种基于Erlang-2 PDF对带噪语音和噪声的Teager能量(TE)感知小波包(PWP)系数建模的阈值确定方法。所提出的方法是计算速度远远快于现有的基于小波包的阈值方法。一个自定义的阈值功能的基础上的组合的μ-法律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。所提出的自定义阈值函数基于PWP变换的带噪语音的子带中语音存在和不存在的概率作为μ律或半软阈值函数或它们的组合工作。利用NOIZEUS数据库中的语音文件,对高斯白噪声和街道噪声环境下的语音信号进行了仿真,并对所提方法的性能进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的SNR在标准的客观措施和主观评价,包括正式的听力测试。
2018-02-09 cs.SD eess.AS
DNSMOS P.835: A Non-Intrusive Perceptual Objective Speech Quality Metric to Evaluate Noise Suppressors
Microsoft Corporation(微软公司)
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。我们最近开发了一种非侵入性的语音质量度量,称为深度噪声抑制平均意见得分(DNSMOS),使用ITU-T Rec.P.808主观评估的得分。P.808分数反映了音频剪辑的整体质量。ITU-T Rec.P.835主观评价框架除了给出总体质量之外,还给出了语音和背景噪声的独立质量分数。在这项工作中,我们训练基于P.835人类评级的客观度量,其输出3个分数:i)语音质量(SIG),ii)背景噪声质量(BAK),以及iii)音频的整体质量(OVRL)。所开发的度量与人类评级高度相关,SIG的Pearson相关系数(PCC)=0.94,BAK和OVRL的PCC=0.98。这是我们所知道的第一个非侵入式P.835预测器。DNSMOS P.835作为Azure服务公开提供。
2022-02-04 cs.SD eess.AS
DDD: A Perceptually Superior Low-Response-Time DNN-based Declipper
Seoul National University(首尔大学)
本文提出DDD,一种具备实时能力的低响应时间语音去削波深度神经网络,通过对抗学习提升感知质量,在主观质量上大幅优于基线,响应速度比最先进DNN方法快六倍。
2024-01-08 cs.SD eess.AS eess.SP
Attention-based Speech Enhancement Using Human Quality Perception Modelling
感知启发的目标函数,例如语音质量感知评估(PESQ)、信号失真比(SDR)和短时客观可懂度(STOI),最近已被用于优化基于深度学习的语音增强算法的性能。然而,这些目标函数并不总是与收听者对感知质量的评估密切相关,因此使用这些措施进行优化通常会导致现实世界场景中的性能较差。在这项工作中,我们提出了一种基于注意力的增强方法,使用学习语音嵌入向量的平均意见得分(MOS)预测模型和语音增强模块,以共同提高嘈杂的语音。MOS预测模型直接从音频信号估计由人类收听者评估的语音质量的感知MOS。增强模块还采用量化的语言模型,该量化的语言模型强制执行频谱约束以获得更好的语音真实性和性能。我们训练模型使用现实世界的嘈杂的语音数据,已在日常环境中捕获,并测试它使用看不见的语料库。结果表明,我们提出的方法显着优于其他方法,优化与客观的措施,其中预测的质量分数与人类的判断密切相关。
2023-03-23 eess.AS eess.SP
Zero resource speech synthesis using transcripts derived from perceptual acoustic units
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
零语音合成是建立词汇独立的语音合成系统的任务,其中transmittance对于训练数据不可用。因此,有必要将训练数据转换为可以在测试期间用于合成的基本声学单元的序列。本文试图发现,和模型的感知声学单位组成的稳态,瞬态地区的讲话。瞬态大致对应于CV、VC单位,而稳态对应于响音和摩擦音。首先通过使用短期能量状轮廓将语音信号分割成CVC状单元来对语音信号进行预处理。这些CVC段使用基于连接组件的图聚类技术进行聚类。聚类的CVC段被初始化,使得开始(CV)和衰减(VC)对应于瞬态,并且韵律对应于稳态。在该初始化之后,允许单元在连续语音上重新组织成HMM-GMM框架中的AU的最终集合。这样获得的AU序列用于训练合成模型。在Zerospeech 2019挑战数据库上评估了所提出方法的性能。主观和客观的分数表明,合理良好的质量合成与低比特率编码可以实现使用所提出的AU。
2020-06-08 cs.SD eess.AS
Exploiting Consistency-Preserving Loss and Perceptual Contrast Stretching to Boost SSL-based Speech Enhancement
Kore University of Enna(恩纳大学);Academia Sinica(中央研究院);NVIDIA Corporation(英伟达公司);Università degli Studi di Palermo(巴勒莫大学)
针对基于SSL的语音增强性能不足问题,提出结合Transformer掩码生成、一致性保持损失和PCS的Conformer增强框架,在VoiceBank-DEMAND上达到3.54的SOTA PESQ。
2024-08-08 cs.SD eess.AS
To Dereverb Or Not to Dereverb? Perceptual Studies On Real-Time Dereverberation Targets
Amazon Web Services(亚马逊云科技)
在现实生活中,房间效应,也称为房间混响,以及当前的背景噪声降低了语音质量。最近,基于深度学习的语音增强方法已经显示出很大的前景,并超过了传统的去噪和去混响方法。人们也已经确定,这些最先进的去噪算法显着提高了人类听众感知的语音质量。但是,去混响对主观(感知)语音质量的作用,以及由去混响引入的附加伪影是否弊大于利仍然不清楚。在本文中,我们试图回答这些问题,通过评估一个国家的最先进的语音增强系统在一个综合的主观评价研究不同的选择去混响目标。
2022-06-16 cs.SD eess.AS
LP-CFM: Perceptual Invariance-Aware Conditional Flow Matching for Speech Modeling
Korea Advanced Institute of Science and Technology(韩国科学技术院)
LP-CFM通过引入感知不变性,改进语音生成模型的鲁棒性和感知基础性。
2025-12-23 eess.AS
Diffusion-based Signal Refiner for Speech Enhancement and Separation
Sony Group Corporation(索尼集团)
Diffiner通过扩散模型先验分布提升语音增强与分离的感知质量,有效消除处理过程中引入的不自然伪影。
2026-02-10 cs.SD eess.AS
Perceptual Contrast Stretching on Target Feature for Speech Enhancement
Academia Sinica(中央研究院);Microsoft Corporation(微软公司)
由于使用深度学习模型作为基础函数,语音增强(SE)性能得到了显著改善。在这里,我们提出了一个感知对比度拉伸(PCS)的方法,以进一步提高SE性能。PCS是基于临界频带重要性函数推导出来的,并应用于修正SE模型的目标。具体而言,目标特征的对比度基于感知重要性被拉伸,从而提高整体SE性能。与基于后处理的实现相比,将PCS并入训练阶段保留了性能并减少了在线计算。值得注意的是,PCS可以与不同的SE模型架构和训练标准相结合。此外,PCS不影响SE模型训练的因果关系或收敛性。在VoiceBank-DEMAND数据集上的实验结果表明,该方法在因果(PESQ得分= 3.07)和非因果(PESQ得分= 3.35)SE任务上都能达到最先进的性能。
2022-07-15 cs.CL cs.SD eess.AS
Enhancement of Noisy Speech Exploiting an Exponential Model Based Threshold and a Custom Thresholding Function in Perceptual Wavelet Packet Domain
为了增强带噪语音,提出了一种基于带噪语音的Teager能量(TE)运算感知小波包(PWP)系数指数分布建模的阈值确定方法。一个自定义的阈值功能的基础上的组合的μ律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。通过使用NOIZEUS数据库进行大量的仿真,对汽车和多人串音噪声破坏的语音信号进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的信噪比方面的标准客观措施和主观评价,包括正式的听力测试。
2018-02-15 eess.AS
Stimulus Modality Matters: Impact of Perceptual Evaluations from Different Modalities on Speech Emotion Recognition System Performance
Department of Electrical Engineering National Tsing Hua University(电子工程系 国立清华大学)
本研究比较了不同模态刺激(如视听与仅语音)引发的情感标签对语音情感识别系统训练效果的影响,发现仅语音刺激引发的标签训练出的系统性能更优,并提出了综合标签方法。
2025-10-14 cs.MM cs.SD eess.AS
SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation
Fudan University(复旦大学)
针对SLLM信息建模冗余问题,提出解耦语义与感知信息的CoIG,并构建80亿参数SpeechGPT-Gen,在零样本TTS、语音转换和语音对话中表现优异。
2024-01-25 cs.CL cs.SD eess.AS
PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation Extraction
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);University of Eastern Finland(东芬兰大学)
语音增强旨在通过抑制背景噪声来改善语音信号的感知质量。然而,过度的抑制可能会导致语音失真和说话人信息丢失,从而降低说话人嵌入提取的性能。为了缓解这个问题,我们提出了一个端到端的深度学习框架,称为PL-EESR,用于鲁棒的说话人表示提取。该框架基于说话人辨识任务的反馈和原始语音信号与其噪声版本之间的高级感知偏差进行优化。我们分别在嘈杂和干净的环境中进行说话人确认任务,以评估我们的系统。与基线相比,我们的方法在干净和嘈杂的环境中都表现出更好的性能,这意味着我们的方法不仅可以增强说话人相关信息,而且可以避免增加失真。
2021-10-03 cs.AI cs.SD eess.AS
Synthesizing speech with selected perceptual voice qualities - A case study with creaky voice
Department of Communications Engineering(通信工程系);Phonetics Work Group, Faculty of Linguistics and Literary Studies(语音学工作组,语言与文学研究学院)
本文提出在TTS系统中引入基于归一化流的全局说话人属性操控模块,实现对非持续局部性吱吱声质量的正确操控,避免了不可靠的逐帧预测器,主观测试证实操控成功但MOS分数略降。
2025-11-07 eess.AS
Perceptual Ratings Predict Speech Inversion Articulatory Kinematics in Childhood Speech Sound Disorders
本研究利用语音逆推神经网络和PERCEPT评分量表,验证了推断的声道变量能有效区分儿童语音障碍中 /r/ 和 /s/ 的发音错误类别与程度,并支持其临床应用价值。
2025-07-02 eess.AS
Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models
Graduate Institute of Communication Engineering National Taiwan University Taipei, Taiwan;Graduate Institute of Electrical Engineering National Taiwan University Taipei, Taiwan;Artificial Intelligence Center of Research Excellence National Taiwan University Taipei, Taiwan
研究语音语言模型是否有语音象征倾向,通过真实人类语音录音对比模型与人类数据,发现模型听觉判断与人类感知对齐差,错过声学线索,开放权重模型表现不佳,弱点在语音表示方式。
2026-10-07 cs.CL eess.AS
Predicting non-native speech perception using the Perceptual Assimilation Model and state-of-the-art acoustic models
ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);EHESS(社会科学高等学院);INRIA(法国国家信息与自动化研究所);University of Paris(巴黎大学);University of Toronto(多伦多大学)
我们的母语影响我们感知语音的方式,影响我们辨别非母语声音的能力。我们比较了两个想法的影响,母语的语音感知:感知同化模型,呼吁到本地音素类别的声音的心理分类,与丰富的,细粒度的语音表示调谐到统计的母语的想法,是足够的。我们操作这个想法使用两个国家的最先进的语音模型,狄利克雷过程高斯混合模型和最近的wav2vec 2.0模型表示。我们提出了一个新的,开放的数据集,讲法语和英语的参与者的语音感知行为的61个元音的声音从六种语言。我们发现,音素同化是一个更好的预测比细粒度的语音建模,无论是作为一个整体的歧视行为,并预测与母语背景的差异相关的可辨别性的差异。我们还表明,wav2vec 2.0,而不是善于捕捉母语对语音感知的影响,是补充信息的母语音素同化,并提供了一个很好的模型,低层次的语音表示,支持的想法,即分类和细粒度的感知过程中使用的语音感知。
2022-05-31 cs.CL cs.SD eess.AS
HAMMER: Harmonic-Aware Parallel Context Modeling and Discriminator-Free Perceptual Optimization for Speech Enhancement
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Nvidia(英伟达);VinUniversity(越南-新加坡大学)
提出HAMMER语音增强方法,利用谐波感知并行注意力-Mamba和度量显式感知细化,在VoiceBank+DEMAND上以2.39M参数达到3.69 PESQ,超越或匹配判别器方法。
2026-09-28 eess.AS
SE Territory: Monaural Speech Enhancement Meets the Fixed Virtual Perceptual Space Mapping
针对单通道语音缺乏空间线索的问题,本文提出 SE-TerrNet,通过两阶段多任务学习将单通道语音映射到固定虚拟双耳空间并融合注意力特征,显著提升语音质量与可懂度。
2024-03-04 eess.AS
Aligning Generative Speech Enhancement with Perceptual Feedback
Nanyang Technological University, Singapore(南洋理工大学);Independent Researcher(独立研究者);Northwestern Polytechnical University, China(西北工业大学);University of Palermo, Italy(巴勒莫大学);Tencent(腾讯)
本文提出了一种基于语言模型的语音增强方法,通过引入感知反馈和直接偏好优化,提升语音质量并建立新的感知对齐增强范式。
2026-01-18 cs.AI cs.LG eess.AS
Personalized Neural Speech Codec
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
本文提出个性化神经语音编解码器,通过Siamese网络学习说话人嵌入并进行聚类,再为每个聚类训练专用LPCNet编解码器,在相同模型复杂度下提升语音质量或实现模型压缩。
2024-03-31 cs.SD eess.AS
Stable Training of DNN for Speech Enhancement based on Perceptually-Motivated Black-Box Cost Function
National Institute of Technology, Tokuyama College(国立技术院德山高专);NTT Media Intelligence Laboratories(NTT媒体智能实验室);Waseda University(早稻田大学)
提高增强信号的主观音质是语音增强的重要任务之一。为了评估主观质量,已经提出了与感知激励的客观声音质量评估(OSQA)相关的几种方法,诸如PESQ(语音质量的感知评估)。然而,在大多数情况下,不允许直接使用这些测量来训练深度神经网络(DNN),因为流行的OSQA对于DNN参数是不可微的。因此,先前的研究提出了通过辅助DNN来近似OSQA的得分,以便其梯度可以用于训练主DNN。这种方法的一个问题是由分数的近似误差引起的训练不稳定。为了克服这个问题,我们建议使用从强化学习中借用的稳定技术。以提高PESQ得分为例进行的实验表明,所提出的方法(i)可以稳定地训练DNN以提高PESQ,(ii)在公共数据集上实现了最先进的PESQ得分,(iii)比基于主观评价的传统方法产生了更好的声音质量。
2020-02-14 cs.LG cs.SD eess.AS
Perceptually Better, Semantically Worse: Measuring Speech Enhancement Impact on LLM-Based Voice Systems
GN Group(GN集团)
该研究针对语音增强对LLM语音系统的影响问题,提出输出分歧率(ODR)指标,通过基准测试发现标准音频质量指标无法适配LLM流程质量评估,验证了SE引发的语义失真会传递至下游LLM任务。
2026-09-01 cs.SD eess.AS
Magnitude-Phase Dual-Path Speech Enhancement Network based on Self-Supervised Embedding and Perceptual Contrast Stretch Boosting
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);Cadre Division Organization Department of the Party Committee, Xinjiang Uygur Autonomous Region(中国新疆维吾尔自治区党委组织部干部处)
提出BSP-MPNet双路径框架,融合自监督嵌入与幅度-相位信息,通过PCS增强和REMA解码器,在多个数据集上超越现有方法。
2025-03-27 cs.AI cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University(信息科学与工程学院,山东大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信)
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题,提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架,在多基准上优于现有基线,兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
TAPLoss: A Temporal Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs Research(Meta现实实验室)
语音增强模型近年来取得了很大的进展,但其语音输出的感知质量仍然受到限制。我们提出了一个基于时间声学参数的感知质量的目标。这些是基本的语音特征,在各种应用中起着至关重要的作用,包括说话人识别和语言分析。我们提供了一个可微估计四类低级别的声学描述符,涉及:频率相关的参数,能量或振幅相关的参数,频谱平衡参数,和时间特征。与先前的工作,着眼于聚合的声学参数或几个类别的声学参数,我们的时间声学参数(TAP)的损失,使辅助优化和改进的许多细粒度的语音特征增强工作流程。我们表明,添加TAPLoss作为语音增强的辅助目标,产生语音与改善的感知质量和可懂度。我们使用来自深度噪声抑制2020挑战赛的数据来证明时域领域模型和时频领域模型都可以从我们的方法中受益。
2023-02-16 cs.CL cs.SD eess.AS
Perceptual-based deep-learning denoiser as a defense against adversarial attacks on ASR systems
Signal Analysis and Interpretation Laboratory (SAIL)(信号分析与解释实验室);University of Southern California(南加州大学)
在本文中,我们研究语音去噪作为对抗攻击的防御自动语音识别(ASR)系统。对抗性攻击试图通过向原始语音信号添加小的扰动来强制错误分类。我们建议通过采用基于神经网络的去噪器作为ASR管道中的预处理器来抵消这一点。去噪器独立于下游ASR模型,因此可以快速部署在现有系统中。我们发现,使用感知动机损失函数训练降噪器可以提高对抗鲁棒性,而不会影响良性样本的ASR性能。我们的防御评估(作为DARPA GARD计划的一部分)在一系列攻击强度和语音样本的“凯南斯维尔”攻击策略。在20 dB信噪比(SNR)攻击强度下,观察到的平均改善约7.7%的字错误率(WER)在不设防的模型。
2021-07-12 cs.LG eess.AS eess.SP
JSQA: Speech Quality Assessment with Perceptually-Inspired Contrastive Pretraining Based on JND Audio Pairs
提出JSQA两阶段框架,利用最小可觉差(JND)音频对进行感知引导的对比预训练,再针对NISQA数据集微调以预测MOS,显著提升了语音质量评估性能。
2025-07-15 cs.AI cs.LG eess.AS
Speaker and Direction Inferred Dual-channel Speech Separation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Columbia University(哥伦比亚大学)
大多数语音分离方法试图同时分离所有通道源,但对于输入声音的数量通常是不确定的甚至是动态的真实场景,仍然远远没有足够的通用化能力。在这项工作中,我们采用的想法,从听觉注意与两只耳朵,并提出了一个扬声器和方向推断语音分离网络(称为SDNet)来解决鸡尾酒会的问题。具体来说,我们的SDNet首先以顺序的方式从场景的混合物中解析出各自的感知表示及其扬声器和方向特征。然后,利用感知表示来注意每个对应的语音。我们的模型在空间特征的帮助下生成了更精确的感知表示,并成功地处理了未知源数量和输出选择的问题。在标准的完全重叠语音分离基准测试WSJ 0 - 2 mix、WSJ 0 - 3 mix和WSJ 0 -2&3mix上的实验表明了该方法的有效性,在无回声环境下,该方法的SDR性能分别提高了25.31 dB、17.26 dB和21.56 dB。我们的代码将在https://github.com/aispeech-lab/SDNet上发布。
2021-02-08 cs.SD eess.AS
Naturalistic Head Motion Generation from Speech
University of Maryland, College Park(马里兰大学帕克分校);Apple(苹果公司)
合成自然的头部运动,以伴随语音的体现会话代理是必要的,以提供丰富的交互式体验。大多数先前的作品通过使用客观度量将它们与单个地面实况进行比较来评估所生成的头部运动的质量。然而,有许多看似合理的头部运动序列伴随着语音发声。在这项工作中,我们研究了从生成模型采样的头部运动的感知质量的变化。我们发现,尽管提供了更多样化的头部运动,生成模型产生不同程度的感知质量的运动。我们最后表明,在以前的研究中常用的客观指标不准确地反映所产生的头部运动的感知质量。这些结果为未来的工作开辟了一条有趣的途径,以研究与人类感知质量相关的更好的客观指标。
2022-10-26 cs.HC cs.SD eess.AS
Quantifying the effect of speech pathology on automatic and human speaker verification
Nagoya University(名古屋大学);Netherlands Cancer Institute(荷兰癌症研究所);University of Groningen(格罗宁根大学);University Medical Center Groningen(格罗宁根大学医学中心)
该研究利用两个荷兰语口腔癌手术前后配对语音数据集,量化言语病理对自动说话人验证的负面影响,并结合感知实验比较机器与人类判断的异同。
2024-06-10 cs.SD eess.AS
Investigating Training Objectives for Generative Speech Enhancement
University of Hamburg(汉堡大学)
本文比较了基于分数的生成模型与薛定谔桥在生成式语音增强中的训练目标差异,并提出一种新型感知损失函数以提升增强语音的感知质量。
2025-01-18 cs.SD eess.AS
Speech Enhancement with Perceptually-motivated Optimization and Dual Transformations
Huawei Technologies(华为技术有限公司);Artificial Intelligence Application Research Center(人工智能应用研究中心)
为了解决单声道语音增强问题,已经进行了大量的研究,以通过在时域上从语音混合物中学习的内域或在固定的全带短时傅立叶变换(STFT)谱图上的时频域中的操作来增强语音。最近,一些基于子带的语音增强的研究已经被提出。通过对子带频谱图的操作来增强语音,这些研究在DNS 2020的基准数据集上表现出了竞争力。尽管吸引人,但这一新的研究方向尚未得到充分探索,仍有改进的空间。因此,在这项研究中,我们深入研究了最新的研究方向,并提出了一个基于子带的语音增强系统与感知动机的优化和双重变换,称为PT-FSE。特别是,我们提出的PT-FSE模型改进了其骨干,一个全波段和子波段融合模型,通过三个努力。首先,我们设计了一个频率变换模块,旨在加强全球频率相关性。然后引入时间变换来捕获长范围的时间上下文。最后,提出了一种新的损失,利用人类听觉感知的属性,以促进该模型专注于低频增强。为了验证我们提出的模型的有效性,在DNS 2020数据集上进行了大量的实验。实验结果表明,我们的PT-FSE系统实现了实质性的改进,其骨干,但也优于目前的国家的最先进的,而比SOTA的27\%。在基准数据集上,平均NB-PESQ为3.57,我们的系统提供了迄今为止报告的最佳语音增强结果。
2022-09-24 cs.AI cs.CL cs.LG
Analysis by Adversarial Synthesis -- A Novel Approach for Speech Vocoding
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
经典的参数语音编码技术为语音信号提供了紧凑的表示。这提供了非常低的传输速率,但是具有降低的重构信号的感知质量。最近,诸如WaveNet和SampleRNN的自回归深度生成模型已经被用作语音声码器,以在不增加编码速率的情况下按比例增加重构信号的感知质量。然而,这种模型由于其逐样本建模方法而遭受非常缓慢的信号生成机制。在这项工作中,我们介绍了一种新的方法,神经语音声码生成对抗网络(GANs)的基础上。使用条件GANs作为深度生成模型,从声门激励的非常压缩的表示生成假语音信号。然后,使用原始语音信号的LPC参数对该伪语音进行细化,以获得自然的重构。基于这种方法的重建语音波形表现出更高的感知质量比经典的声码器对应物根据主观和客观评价分数为30名男性和女性发言人的数据集。此外,与自回归生成模型相比,使用GANs能够一次性生成信号。这使得GANs有希望探索实现高质量的神经声码器。
2019-07-01 cs.LG cs.SD eess.AS
Diffiner: A Versatile Diffusion-based Generative Refiner for Speech Enhancement
Sony Group Corporation(索尼集团公司);Sony Research(索尼研究院)
Diffiner是一种基于扩散的生成式精炼器,通过混合新生成的干净部分与SE方法产生的失真部分,改善语音感知质量,且无需针对各SE方法专门训练,具有高模块化潜力。
2023-08-30 cs.LG cs.SD eess.AS
StyleMelGAN: An Efficient High-Fidelity Adversarial Vocoder with Temporal Adaptive Normalization
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
近年来,神经声码器在合成语音的自然度和感知质量方面已经超过了经典的语音生成方法。像WaveNet和WaveGlow这样的计算量大的模型实现了最佳结果,而轻量级的GAN模型,例如MelGAN和Parallel WaveGAN,在感知质量方面仍然较差。因此,我们提出了StyleMelGAN,一个轻量级的神经声码器,允许合成高保真语音,计算复杂度低。StyleMelGAN采用时间自适应归一化来对具有目标语音的声学特征的低维噪声向量进行样式化。为了有效的训练,多个随机窗口鉴别器逆向评估由滤波器组分析的语音信号,其中正则化由多尺度频谱重建损失提供。高度并行化的语音生成速度比CPU和GPU上的实时速度快几倍。MUSHRA和P.800听力测试表明,StyleMelGAN在复制合成和文本到语音场景中优于先前的神经声码器。
2021-02-12 cs.LG cs.SD eess.AS
Components Loss for Neural Networks in Mask-Based Speech Enhancement
Institute for Communications Technology, Technische Universität Braunschweig(布伦瑞克工业大学通信技术研究所)
使用深度学习方法估计用于单通道语音增强的时频域掩模最近已成为一个热门的研究领域,并取得了可喜的成果。在本文中,我们提出了一种新的成分损失(CL)的神经网络的训练基于掩码的语音增强。在训练过程中,所提出的CL提供单独的控制保留的语音分量的质量,抑制的残留噪声分量,并保留一个自然的声音残留噪声分量。我们说明了潜在的建议CL通过评估一个标准的卷积神经网络(CNN)基于掩码的语音增强。新的CL获得了更好的和更平衡的性能,在几乎所有采用的仪器质量指标超过基线损失,后者包括传统的均方误差(MSE)的损失,也与语音相关的损失功能,如语音质量的感知评估(PESQ)损失和最近提出的感知加权滤波器损失。特别地,应用CL提供了更好的语音分量质量、更好的整体增强的语音感知质量以及听起来更自然的残余噪声。平均而言,对于所见的噪声类型,在增强语音上获得至少0.1点更高的PESQ分数,同时还获得超过0.5dB的更高SNR改善。这种改进对于看不见的噪声类型更强,其中获得了增强语音的约0.2点高的PESQ分数,同时输出SNR也领先超过0.5 dB。新提出的CL易于实现,代码可在https://github.com/ifnspaml/Components-Loss上提供。
2019-08-14 cs.SD eess.AS
Towards an Interpretable Representation of Speaker Identity via Perceptual Voice Qualities
University of California, Berkeley(加州大学伯克利分校);Brown University(布朗大学)
本文提出基于感知声音品质(PQs)的可解释说话人身份表征,扩展 CAPE-V 协议构建连接人口统计属性与低层语音特征的感知潜空间,并验证非专家可听辨、多种语音表征可预测其中信息。
2023-10-04 cs.LG cs.SD eess.AS
Low Bit-Rate Speech Coding with VQ-VAE and a WaveNet Decoder
DeepMind
为了有效地发送和存储语音信号,语音编解码器创建输入信号的最小冗余表示,然后在接收机处以最佳可能感知质量对其进行解码。在这项工作中,我们证明了一个基于VQ-VAE与WaveNet解码器的神经网络架构,可以用来执行非常低的比特率语音编码与高重建质量。在LibriSpeech语料库上以1.6 kbps编码音频训练的韵律透明和说话者无关的模型表现出大约在2.4 kbps的MELP编解码器和23.05 kbps的AMR-WB编解码器之间的一半的感知质量。此外,当在训练集中包括测试说话者的情况下对高质量记录语音进行训练时,以1.6kbps编码语音的模型产生与AMR-WB以23.05kbps生成的感知质量类似的感知质量的输出。
2019-10-14 cs.LG cs.SD eess.AS
Hearing's Blind Spots: Toward Perceptual Compute Allocation in Neural Text-to-Speech
Deployment Inc.(迪普洛门特公司)
该研究针对神经文本到语音(TTS)的听觉盲区问题,提出低能量优先策略,在频谱退化移除任务中表现优于随机删除和心理声学掩蔽策略,为感知计算分配提供基线并推动解码器内相关测试。
2026-10-14 cs.SD eess.AS
StuPASE: Towards Low-Hallucination Studio-Quality Generative Speech Enhancement
Nanjing University(南京大学);Cisco Systems, Inc.(思科系统公司);Horizon Robotics
提出StuPASE,基于PASE框架,通过使用干目标微调和流匹配模块替代GAN,在保持低幻觉的同时实现工作室级语音质量,优于现有方法。
2026-08-05 cs.AI cs.SD eess.AS
Perceptual Audio Coding: A 40-Year Historical Perspective
本文回顾了感知音频编码40年的发展历程,从早期基础编码器到现代集成系统,并展望了未来方向。
2025-04-22 eess.AS
Improving Voice Conversion for Dissimilar Speakers Using Perceptual Losses
Otto-von-Guericke-University Magdeburg(马格德堡奥托·冯·格里克大学)
本文研究利用感知损失改进不同说话人之间的语音转换,以实现语音匿名化,在保留语言内容的同时改变说话人特征,从而保护用户隐私和数据安全。
2023-09-18 cs.SD eess.AS
TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis
Tsinghua University(清华大学);MiLM Plus, Xiaomi Inc.(小鹏科技MiLM Plus);The University of Tokyo(东京大学)
本文提出TTS-PRISM模型,通过多维诊断框架和可解释合成流程,实现对语音生成中细粒度声学问题的诊断与解释,实验表明其在人感知对齐上优于通用模型。
2026-04-24 cs.CL eess.AS