French Listening Tests for the Assessment of Intelligibility, Quality, and Identity of Body-Conducted Speech Enhancement
Laboratoire de Mécanique des Structures et des Systèmes Couplés(结构与耦合系统力学实验室)
本研究通过法语听力测试评估EBEN模型在骨导语音中的表现,证实其能提升语音质量与可懂度,并揭示了STOI与感知质量的相关性及现有指标在预测可懂度上的局限性。
2025-06-04 eess.AS
Assessing the Impact of Noise and Speech Enhancement on the Intelligibility of Speech Codecs
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
研究评估经典和神经语音编解码器在干净及嘈杂条件下的可懂度与听觉努力,还评估编码前语音增强的影响,发现经典编解码器更抗噪,语音增强可提升受噪声影响编解码器的可懂度等。
2026-07-07 eess.AS
Human Listening and Live Captioning: Multi-Task Training for Speech Enhancement
随着在线会议的激增,在各种噪声条件下提供高质量的语音音频和实时字幕变得比以往任何时候都更加重要。然而,大多数单声道语音增强(SE)模型引入处理伪像,从而降低下游任务(包括自动语音识别(ASR))的性能。本文提出了一个多任务训练框架,使SE模型无害的ASR。由于大多数ASR训练样本没有相应的干净信号参考,我们交替执行两个模型更新步骤,称为SE步骤和ASR步骤。SE步骤使用干净和有噪声的信号对以及基于信号的损失函数。ASR步骤将预训练的ASR模型应用于利用SE模型增强的训练信号。计算ASR输出和参考瞬态之间的交叉熵损失以更新SE模型参数。使用在75,000小时数据上训练的ASR模型进行实际大规模设置的实验结果表明,所提出的框架将SE输出的单词错误率提高了11.82%,而SE质量几乎没有影响。还通过改变ASR模型、用于ASR步骤的数据以及两个更新步骤的时间表来进行性能分析。
2021-06-05 eess.AS
Phoneme-Based Ratio Mask Estimation for Reverberant Speech Enhancement in Cochlear Implant Processors
Duke University(杜克大学)
耳蜗植入体(CI)用户在混响听音环境中理解语音有相当大的困难。时频(T-F)掩蔽是旨在通过将混响语音乘以增益值矩阵以抑制由混响主导的T-F仓来提高语音可懂度的常用技术。最近提出的掩模估计算法利用机器学习方法来区分目标语音和混响反射。然而,语音的频谱-时间结构是高度可变的,并且依赖于潜在的音素。潜在地克服这种可变性的单向式方法是在掩码估计期间利用音素信息的明确知识。本研究提出一种以音素为基础的遮罩估测演算法,针对每一音素分别训练遮罩估测模型。在正常听力的听众中进行句子识别测试,以确定基于音素的掩码估计算法在音素的完美知识可用的理想情况下是否有益。结果表明,与传统的音素无关的面具相比,基于音素的面具提高了声码语音的可懂度。研究结果表明,音素为基础的语音增强策略可能有利于CI用户在混响听环境。
2021-05-28 cs.SD eess.AS
Multi-Metric Optimization using Generative Adversarial Networks for Near-End Speech Intelligibility Enhancement
National Institute of Informatics(国立情报学研究所);SOKENDAI(综合研究大学院大学)
在环境噪声和混响的存在下,语音的可懂度严重降低。在本文中,我们提出了一种新的基于深度学习的系统,用于修改语音信号以在等功率约束下提高其可懂度,即,修改前后的信号功率必须相同。为了实现这一点,我们使用生成对抗网络(GANs)来获得时频相关的放大因子,然后将其应用于输入的原始语音以重新分配语音能量。我们训练一个深度神经网络(DNN)模型,以同时优化多个高级语音指标,而不是只优化一个简单的指标,包括与清晰度和质量相关的指标,从而显著提高了性能和鲁棒性。我们的系统不仅可以工作在非实时模式下的离线音频播放,但也支持实际的实时语音应用。使用客观测量和主观听音测试的实验结果表明,该系统显着优于国家的最先进的基线系统在各种嘈杂和混响听音条件下。
2021-09-16 cs.SD eess.AS
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs(Facebook现实实验室)
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下,所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中,我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估(3QUEST)的语音平均意见分数(SMOS)和噪声MOS(NMOS)的近场和远场应用的指标。此外,所提出的语音增强方法大大提高了信噪比(SNR)和主观听觉体验。相比之下,传统的语音增强方法虽然增加了NMOS和SNR,但降低了SMOS。此外,所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
Screening Matters: A Comparative Study of Conventional and Crowdsourced Listening Tests
通过统计分析比较传统P.800 DCR测试与众包P.808测试,提出结合锚定排序、评分跨度、陷阱和黄金标准问题的筛选方法,以提升众包评估质量。
2026-06-29 eess.AS
The PESQetarian: On the Relevance of Goodhart's Law for Speech Enhancement
本文通过提出在VB-DMD上PESQ达3.82但听感很差的“PESQetarian”模型,揭示了仅针对PESQ等单一指标优化语音增强模型会导致过拟合和误导性评估,主张结合多指标与主观听力测试。
2024-06-05 cs.LG cs.SD eess.AS
Perceptual Quality Enhancement of Sound Field Synthesis Based on Combination of Pressure and Amplitude Matching
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
提出基于声压与振幅匹配结合的声场合成方法,以减少高频空间混叠伪影,提升空间音频重放的感知质量。
2023-07-26 cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University(奥尔堡大学);GN Hearing(GN听力公司)
在诸如鸡尾酒会场景的情况下,听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中,我们提出了一个双耳语音增强框架,考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器,使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器(STP)参数以及干净语音音调参数。在这项工作中,提出了一种基于双耳码本的方法来估计STP参数,并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息,导致滤波器参数的更鲁棒的估计。客观的措施,如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试,以评估清晰度和质量改善方面的性能。听力测试表明,该算法,即使只有一个通道的噪声观察,显着提高整体语音质量,和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
P.808 Multilingual Speech Enhancement Testing: Approach and Results of URGENT 2025 Challenge
本文围绕 URGENT 2025 多语言语音增强挑战赛,介绍 ITU-T P.808 众包 ACR 听辨测试的文本与音频本地化流程,并指出评估生成式方法需结合语音保真度指标以检测幻觉。
2025-07-25 eess.AS
Real-Time Speech Enhancement Using Spectral Subtraction with Minimum Statistics and Spectral Floor
提出了一种初始的实时语音增强方法来降低加性噪声的影响。该方法在频域中操作,并且是谱减法的一种形式。最初,使用最小统计量来生成频域中的噪声信号的估计。最小统计量的使用避免了对语音活动检测器(VAD)的需要,该语音活动检测器(VAD)已被证明是具有挑战性的。由于使用了最小统计量,在从噪声破坏的语音信号中减去之前,噪声信号估计必须乘以比例因子。将频谱底应用于差异以抑制“音乐噪声”的影响。最后,考虑了一系列进一步的增强,以进一步减少残余噪声的影响。使用时频图比较这些方法以创建最终的语音增强设计
2023-02-20 cs.SD eess.AS eess.SP
Binaural Speech Enhancement Using STOI-Optimal Masks
STOI最优掩蔽先前已被提出并开发用于单通道语音增强。在本文中,我们认为扩展到双耳语音增强的任务,其中空间信息是已知的语音理解是重要的,因此应该保留的增强处理。分别为每个双耳通道估计掩模,并通过选择两个掩模中的最大值来计算“更好的耳听”掩模。估计的掩模被用来提供概率信息的语音存在,在每个时间-频率箱的最佳修改的对数频谱幅度(OM-LSA)增强器。我们表明,使用所提出的方法与方向性噪声的双耳信号不仅提高了噪声信号的信噪比,但也保留了双耳线索和可懂度。
2022-09-30 eess.AS eess.SP
AV2Wav: Diffusion-Based Re-synthesis from Continuous Self-supervised Features for Audio-Visual Speech Enhancement
AV2Wav提出基于扩散模型的再合成音视频语音增强方法,利用AV-HuBERT连续特征和噪声鲁棒训练,在真实数据下生成干净语音,优于掩蔽基线。
2024-11-04 cs.CL cs.SD eess.AS
EffortNet: A Deep Learning Framework for Objective Assessment of Speech Enhancement Technologies Using EEG-Based Alpha Oscillations
EffortNet通过融合自监督、增量与迁移学习,利用EEG alpha振荡解码聆听努力度,仅需40%新受试者数据即达80.9%准确率,为语音增强技术提供客观个性化评估。
2025-08-21 eess.AS
Geometry-Constrained EEG Channel Selection for Brain-Assisted Speech Enhancement
University of Science and Technology of China (USTC)(中国科学技术大学)
本文提出一种几何约束的EEG通道选择方法,用加权多扩张时间卷积网络替代BASEN中的Conv-TasNet,并设计GC-ConvRS模块,在公共数据集上验证了其优于BASEN,实现了性能与集成成本的更好权衡。
2024-09-19 cs.SD eess.AS
An individualized super Gaussian single microphone Speech Enhancement for hearing aid users with smartphone as an assistive device
本文提出了一种基于超高斯联合最大后验概率的单麦克风语音增强增益函数。开发的语音增强方法在智能手机上实现,这种安排作为助听器的辅助设备。我们引入了一个权衡参数,在派生的增益函数,允许智能手机用户自定义他们的听力偏好,通过控制噪声抑制和语音失真的量在实时的基础上,他们在嘈杂的现实世界的声学环境中感知的听觉舒适度。客观的质量和可懂度的措施表明所提出的方法的有效性相比,基准技术在本文中考虑。主观结果反映了有用的开发语音增强应用在现实世界中的噪声条件下的信号噪声比水平为0 dB和5 dB。
2018-12-10 cs.SD eess.AS
Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
Microsoft(微软);University of Michigan(密歇根大学)
针对在线音视频目标说话人提取的听感质量与前瞻限制问题,提出AV-PVQE方法,通过个性化语音增强模型引入口型特征并联合微调,将目标混淆率从46%降至1.6%,延迟仅20毫秒,在合成和会议基准上均优于现有提取器。
2026-09-28 cs.CV cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.(小米公司)
本研究提出一种高效可扩展的语音增强方法,利用预训练生成式音频编码器提取含噪语音嵌入,经紧凑去噪编码器处理后由声码器合成干净语音,在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
Subjective Evaluation of Deep Neural Network Based Speech Enhancement Systems in Real-World Conditions
Tampere University(坦佩雷大学);Huawei(华为)
两个低延迟深度神经网络(DNN)的主观评价结果进行比较,一个成熟的版本的传统维纳滤波器的噪声抑制器。目标用例是真实世界的单通道语音增强应用,例如,通讯真实世界的录音组成的附加固定和非固定噪声类型包括在内。评估分为四个结果:语音质量、噪声透明度、语音清晰度或听力努力度以及噪声水平w.r.t.演讲结果表明,DNN在所有条件下都能改善噪声抑制,与传统的维纳滤波器基线相比,语音质量和噪声透明度没有重大下降,同时保持语音清晰度优于基线。
2022-08-14 cs.MM cs.SD eess.AS
Delay-Performance Tradeoffs in Causal Microphone Array Processing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在诸如助听器信号处理之类的实时听力增强应用中,必须以不超过几毫秒的延迟来处理声音以使听者听起来自然。通过使用麦克风阵列在空间和时间上对声学信号进行滤波,收听设备可以以较低的延迟实现更好的性能。在这里,我们分析了因果多通道维纳滤波器的麦克风阵列降噪的延迟和平方误差性能之间的权衡。我们计算的延迟误差曲线在两种特殊情况下的精确表达式,并从现实世界的麦克风阵列录音的实验结果。我们发现,延迟性能特性是由信号的空间和时间相关结构决定的。
2018-07-31 cs.SD eess.AS
iMetricGAN: Intelligibility Enhancement for Speech-in-Noise using Generative Adversarial Network-based Metric Learning
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学);Academia Sinica(中央研究院)
自然语音的可懂度在暴露于不利的噪声环境时会严重降低。在这项工作中,我们提出了一种基于深度学习的语音修改方法来补偿可懂度损失,其约束条件是在修改之前和之后保持语音信号的均方根(RMS)水平和持续时间。具体来说,我们利用iMetricGAN方法来优化生成对抗网络(GANs)的语音可懂度指标。实验结果表明,所提出的iMetricGAN优于传统的国家的最先进的算法方面的客观措施,即,在食堂噪声条件下,以比特为单位的语音可懂度(SIIB)和扩展的短时客观可懂度(ESTOI)。此外,正式的听力测试显示显着的清晰度增益时,噪音和混响存在。
2020-04-07 cs.SD eess.AS
Improved Normalizing Flow-Based Speech Enhancement using an All-pole Gammatone Filterbank for Conditional Input Representation
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
近年来,用于语音增强(SE)的深度生成模型受到越来越多的关注。最突出的例子是生成对抗网络(GANs),而规范化流(NF)尽管有潜力,但受到的关注较少。在以前的工作的基础上,提出了架构修改,以及不同的条件输入表示的调查。尽管在相关的工作中是一个常见的选择,梅尔频谱证明是不够的给定的情况下。另外,提出了一种新的具有高时间分辨率的全极点伽玛通滤波器组(APG)。虽然计算评估指标结果表明,最先进的基于GAN的方法性能最好,但通过收听测试进行的感知评估表明,所提出的NF方法(基于时域和APG)性能最好,特别是在较低的SNR下。平均而言,APG输出被评为具有良好的质量,这是其他方法(包括GAN)无法比拟的。
2022-10-21 cs.SD eess.AS
Towards Environmental Preference Based Speech Enhancement For Individualised Multi-Modal Hearing Aids
Edinburgh Napier University(爱丁堡纳皮尔大学);Academia Sinica(中央研究院)
本文提出基于偏好学习的语音增强模型,通过多任务深度学习联合估计信噪比和声学场景,并结合用户偏好线性学习目标SNR,实现面向多模态助听器的上下文个性化语音增强。
2024-02-26 cs.SD eess.AS
AMRConvNet: AMR-Coded Speech Enhancement Using Convolutional Neural Networks
Samsung R&D Institute Philippines(三星菲律宾研发研究所);University of the Philippines(菲律宾大学)
使用语音编码将语音转换为数字信号以进行有效传输。然而,这通常会降低语音的质量和带宽。本文探讨了卷积神经网络在人工带宽扩展(ABE)和语音增强中的应用,特别是在2G蜂窝电话呼叫中使用的自适应多速率(AMR)。在本文中,我们介绍了AMRConvNet:一个卷积神经网络,对AMR编码的语音进行ABE和语音增强。该模型直接对输入和输出语音的时域进行操作,但使用组合的时域重建损失和频域感知损失进行优化。AMRConvNet导致AMR比特率为4.75k的平均意见分数-收听质量目标(MOS-LQO)平均提高了0.425分,AMR比特率为12.2k的MOS-LQO平均提高了0.073分。AMRConvNet在AMR比特率输入中也表现出了鲁棒性。最后,消融测试表明,我们的组合时域和频域损失导致比单独使用任一损失略高的MOS-LQO和更快的训练收敛。
2020-08-24 cs.SD eess.AS
Enhancement of Noisy Speech exploiting a Gaussian Modeling based Threshold and a PDF Dependent Thresholding Function
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出了一种语音增强方法,该方法通过对含噪语音的Teager能量(TE)感知小波包(PWP)系数进行高斯建模,统计确定自适应阈值。为了获得增强的语音,由此导出的阈值通过采用高斯pdf相关的自定义阈值函数来应用于PWP系数,该自定义阈值函数是基于修改的硬阈值函数和半软阈值函数的组合来设计的。通过使用NOIZEUS数据库进行大量的仿真,对汽车和多人串音噪声破坏的语音信号进行了评估。所提出的方法被发现优于一些国家的最先进的语音增强方法,不仅在高,而且在低水平的SNR的意义上的标准的客观措施和主观评价,包括正式的听力测试。
2018-03-03 cs.SD eess.AS
Binaural Speech Enhancement Using Complex Convolutional Recurrent Networks
提出一种基于编码器-解码器与复数 LSTM 的端到端复数卷积循环网络,通过兼顾空间信息保留的损失函数估计左右耳复数比率掩膜,在单说话人各向同性噪声场景中提升可懂度、降噪并保留空间信息。
2025-07-26 eess.AS eess.SP
Stereo Speech Enhancement Using Custom Mid-Side Signals and Monaural Processing
Dolby Laboratories, Inc(杜比实验室公司)
语音增强(SE)系统通常在单声道输入上操作,并且用于包括语音通信和用户生成的内容的捕获清除的应用。用于这些应用的设备的最新进步和变化可能导致相同应用的双通道内容量的增加。然而,SE系统通常被设计用于单声道输入;使用诸如通道独立或中侧处理的普通方法产生的立体声结果可能不令人满意,包括大量的语音失真。为了解决这个问题,我们提出了一个系统,创建一个新的立体声信号表示称为自定义中侧信号(CMSS)。CMSS允许用于中心平移语音的中侧信号的益处扩展到更大类别的输入信号。这又允许任何现有的单声道SE系统通过处理定制中间信号来作为有效的立体声系统操作。我们描述了如何CMSS所需的参数可以有效地估计的空间级滤波源分离系统的组件。使用最先进的基于深度学习的SE系统对具有各种语音混合风格的立体声内容进行主观收听表明,CMSS处理可以提高语音质量,其成本约为通道独立处理的一半。
2022-11-25 cs.SD eess.AS eess.SP
Self-Supervised Learning for Speech Enhancement through Synthesis
Bose Corporation(博士公司);Georgia Institute of Technology(佐治亚理工学院)
现代语音增强(SE)网络通常通过时频掩蔽、潜在表示掩蔽或区分信号预测来实现噪声抑制。相比之下,最近的一些作品通过生成语音合成探索SE,其中系统的输出在固有的有损特征去噪步骤之后由神经声码器合成。在本文中,我们提出了一种去噪声码器(DeVo)的方法,其中声码器接受嘈杂的表示,并学习直接合成干净的语音。我们利用自监督学习(SSL)语音模型的丰富表示来发现相关特征。我们在15个潜在的SSL前端进行候选搜索,随后训练我们的声码器对抗最好的SSL配置。此外,我们展示了一个因果版本,能够在流媒体音频上运行,延迟10毫秒,性能下降最小。最后,我们进行了客观评估和主观听力研究,以表明我们的系统提高了客观指标,主观上优于现有的最先进的SE模型。
2022-11-04 cs.CL cs.LG cs.SD
Pre-training Feature Guided Diffusion Model for Speech Enhancement
University of Oxford(牛津大学)
针对现有语音增强模型的局限,本文提出预训练特征引导的扩散模型,结合VAE频谱特征、预训练引导与DDIM采样,在不同SNR数据集上实现更优效率、鲁棒性和SOTA性能。
2024-06-11 cs.AI cs.LG cs.SD
A Training Framework for Stereo-Aware Speech Enhancement using Deep Neural Networks
Microsoft(微软)
基于深度学习的语音增强近年来表现出前所未有的性能。最流行的单声道语音增强框架是端到端网络,其将噪声混合映射到干净语音的估计。随着计算能力的提高和多通道麦克风录音的可用性,先前的工作旨在将空间统计与频谱信息结合起来以提高性能。尽管单声道输出的增强性能有所改善,但空间图像保留和主观评价在文献中没有得到太多关注。本文提出了一种新的立体声感知的语音增强框架,用于基于深度学习的语音增强的训练损失,以在增强立体声混合的同时保留空间图像。所提出的框架是模型独立的,因此它可以应用于任何基于深度学习的架构。我们通过听力测试对训练模型进行广泛的客观和主观评估。我们表明,通过正则化的图像保存损失,整体性能得到改善,语音的立体声方面得到更好的保留。
2022-01-31 cs.LG cs.SD eess.AS
An automatic mixing speech enhancement system for multi-track audio
Queen Mary University of London(伦敦玛丽女王大学)
本文提出一种基于ITU-R BS.1387 PEAQ模型和迭代Harmony搜索算法的多轨音频自动混音语音增强系统,通过优化电平、均衡、压缩和空间化等效果最小化听觉掩蔽,主观测试表明其混音质量可媲美专业工程师并优于现有自动混音系统。
2024-10-18 cs.MM cs.SD eess.AS
Efficient Audio Enhancement with a Differentiable Psychoacoustic Loss
Federal University of Rio de Janeiro(里约热内卢联邦大学);Télécom Paris, IP Paris(巴黎电信学院,巴黎理工学院)
本研究提出AEROMamba_P与AEROMamba_PS两种高效音频增强模型,结合Mamba状态空间模型与PAQM可微分损失,在带宽扩展和压缩音频恢复任务中,实现了感知质量提升与计算资源消耗降低的双重优势。
2026-08-05 eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
本研究在虚拟声学环境中用非脚本自然语音探究视听增益,通过EEG和皮层语音追踪分析不同条件及说话者特征的影响,发现噪声下视听增强显著,唇部运动作用关键,验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Speech Enhancement-assisted Voice Conversion in Noisy Environments
National Yang Ming Chiao Tung University(国立阳明交通大学);Yuan Ze University(元智大学);Academia Sinica(中央研究院)
已经提出了许多语音转换(VC)技术用于不同说话者之间的语音转换。虽然当VC应用在干净的环境中时,可以观察到转换后的语音的良好质量,但是当系统运行在噪声条件下时,质量急剧下降。为了解决这个问题,我们提出了一种新的语音增强(SE)辅助VC系统,利用SE技术的信号预处理,其中VC和SE组件进行优化,在一个联合的训练策略,目的是提供高质量的转换后的语音信号。我们采用了流行的模型,StarGAN,作为VC组件,因此调用EStarGAN的组合系统。我们使用普通话语音语料库测试了所提出的EStarGAN系统。实验结果首次验证了EStarGAN中联合训练策略的有效性。此外,EStarGAN在各种看不见的噪声环境中表现出性能稳健性。主观听力测试结果进一步表明,EStarGAN可以提高从噪声污染的源话语转换的语音信号的声音质量。
2023-01-19 cs.SD eess.AS
Too Good to Be True: A Study on Modern Automatic Speech Recognition for the Evaluation of Speech Enhancement
University of Hamburg(汉堡大学)
本文研究现代ASR模型与人类语音增强识别的关联,发现大规模噪声训练和嵌入语言模型的ASR模型更符合人类WER,但其噪声鲁棒性和上下文使用对声学评估不具信息性。
2026-05-12 eess.AS
Enhancement of Noisy Speech Exploiting an Exponential Model Based Threshold and a Custom Thresholding Function in Perceptual Wavelet Packet Domain
为了增强带噪语音,提出了一种基于带噪语音的Teager能量(TE)运算感知小波包(PWP)系数指数分布建模的阈值确定方法。一个自定义的阈值功能的基础上的组合的μ律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。通过使用NOIZEUS数据库进行大量的仿真,对汽车和多人串音噪声破坏的语音信号进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的信噪比方面的标准客观措施和主观评价,包括正式的听力测试。
2018-02-15 eess.AS
Harmonic and non-Harmonic Based Noisy Reverberant Speech Enhancement in Time Domain
Military Institute of Engineering (IME)(军事工程学院)
本文介绍了一种在噪声-混响条件下同时提高语音清晰度和质量的单步时域方法HnH-NRSE。在这个解决方案中,谐波和非谐波成分的语音分离应用过零和能量标准。客观评价其非平稳程度进一步用于自适应增益处理掩蔽成分。这种技术不需要语音统计或房间信息的先验知识。此外,两个组合的解决方案,IRMO和IRMN,提出了作为复合方法,改善有噪混响语音信号。建议和基线方法进行评估,考虑两个可懂度和三个质量指标,适用于客观预测。结果表明,所提出的方案导致更高的可懂度和质量的改善相比,竞争的方法在大多数情况下。此外,进行了感知可懂度听力测试,这证实了这些结果。此外,所提出的HnH-NRSE解决方案达到SRMR质量措施与类似的结果相比,组成IRMO和IRMN技术。
2021-12-09 cs.SD eess.AS
EARS: An Anechoic Fullband Speech Dataset Benchmarked for Speech Enhancement and Dereverberation
Universität Hamburg(汉堡大学);Meta;Carnegie Mellon University(卡内基梅隆大学)
本文发布含107位说话人、100小时消声语音的 EARS 数据集,覆盖多样说话风格,并对语音增强与去混响方法进行客观指标、听辨测试及盲测在线评估。
2024-06-11 cs.LG cs.SD eess.AS
Noise Tokens: Learning Neural Noise Templates for Environment-Aware Speech Enhancement
近年来,随着深度神经网络(DNN)的成功,语音增强(SE)取得了令人印象深刻的进展。然而,DNN方法通常无法很好地推广到未包含在训练中的不可见环境噪声。为了解决这个问题,我们提出了“噪声令牌”(NT),这是一组与SE系统联合训练的神经噪声模板。NT动态地捕获环境变化性,从而使DNN模型能够处理各种环境,以产生具有更高质量的STFT幅度。实验结果表明,使用NTs是一种有效的策略,一致提高SE系统的泛化能力,在不同的DNN架构。此外,我们研究应用一个国家的最先进的神经声码器来产生波形,而不是传统的逆STFT(ISTFT)。主观听音测试表明,通过梅尔频谱图校正和基于声码器的波形合成,可以显著抑制残余噪声。
2020-04-08 eess.AS
Acoustic Disturbance Sensing Level Detection for ASD Diagnosis and Intelligibility Enhancement
Laboratory of Acoustic Signal Processing, Military Institute of Engineering (IME), Rio de Janeiro, RJ 22290-270, Brazil(声学信号处理实验室,军事工程学院(IME),里约热内卢,巴西)
本文通过听辨测试揭示 ASD 的 HIN 干扰感知特征并用于辅助诊断,同时提出基于谐波中心频率和增益调节的语音增强方法,在多噪声、多信噪比条件下提升 ASD 与 NT 人群的可懂度。
2025-05-15 cs.SD eess.AS
PROSE: Perceptual Risk Optimization for Speech Enhancement
Indian Institute of Science(印度科学理工学院);Indian Railways(印度铁路公司)
语音增强的目标是通过最小化所选择的失真度量来从噪声信号开始获得干净语音的估计,这导致取决于未知的干净信号或其统计的估计。由于在实践中对这种先验知识的访问是有限的或不可能的,因此必须估计干净的信号统计。在本文中,我们开发了一个新的风险最小化框架语音增强,其中,一个优化的失真/风险的无偏估计,而不是实际的风险。估计的风险仅表示为噪声观测的函数。我们考虑几个感知相关的失真措施,并制定相应的无偏估计的噪声分布和先验信噪比(SNR)的现实假设。最小化的风险估计产生相应的降噪,这是一个后验SNR的非线性函数。语音质量的感知评价(PESQ),平均分段信噪比(SSNR)的计算,和听力测试表明,建议的风险优化方法采用Itakura-Saito和加权双曲余弦失真比其他失真措施提供了更好的性能。对于信噪比大于5 dB,所提出的方法提供了优越的去噪性能的基准技术的基础上的维纳滤波器,对数MMSE最小化,贝叶斯非负矩阵分解。
2017-10-11 cs.SD eess.AS
Modeling of Teager Energy Operated Perceptual Wavelet Packet Coefficients with an Erlang-2 PDF for Real Time Enhancement of Noisy Speech
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Concordia University(康考迪亚大学)
为了实现带噪语音的实时增强,提出了一种基于Erlang-2 PDF对带噪语音和噪声的Teager能量(TE)感知小波包(PWP)系数建模的阈值确定方法。所提出的方法是计算速度远远快于现有的基于小波包的阈值方法。一个自定义的阈值功能的基础上的组合的μ-法律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。所提出的自定义阈值函数基于PWP变换的带噪语音的子带中语音存在和不存在的概率作为μ律或半软阈值函数或它们的组合工作。利用NOIZEUS数据库中的语音文件,对高斯白噪声和街道噪声环境下的语音信号进行了仿真,并对所提方法的性能进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的SNR在标准的客观措施和主观评价,包括正式的听力测试。
2018-02-09 cs.SD eess.AS
Modified Parametric Multichannel Wiener Filter \\for Low-latency Enhancement of Speech Mixtures with Unknown Number of Speakers
NTT Corporation(NTT公司);International Audio Laboratories Erlangen(埃尔朗根国际音频实验室)
本文提出了一种低延迟在线波束形成算法 Mod-PMWF,通过修改传统参数化多通道维纳滤波器,在未知说话人数量及声学传递函数的情况下自适应增强语音混合物,并在干扰抑制比和主观听力测试中验证了其有效性。
2023-06-29 cs.SD eess.AS
Speech Enhancement Based on Non-stationary Noise-driven Geometric Spectral Subtraction and Phase Spectrum Compensation
Texas A M University(德州农工大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出了一种基于短时幅度谱和相位谱噪声补偿的语音增强方法。与传统的谱减法(SS)的几何方法(GA)不同,本文提出了利用当前噪声帧的低频区域来确定从噪声语音谱中减去的噪声估计,而不是仅依赖于初始静默帧。这种方法给出了跟踪非平稳噪声的能力,从而导致用于语音增强的谱减法的非平稳噪声驱动的几何方法。然后,将来自GA步骤的噪声补偿幅度谱与带噪语音谱的未改变的相位重新组合,并用于相位补偿以获得增强的复谱,该增强的复谱用于产生增强的语音帧。大量的模拟进行了使用语音文件中的NOIZEUS数据库表明,所提出的方法始终优于一些最近的语音增强的方法时,在不同水平的SNR的街道或串音噪声损坏的嘈杂的语音在客观措施,频谱分析和正式的主观听力测试。
2018-03-03 cs.SD eess.AS
SEFGAN: Harvesting the Power of Normalizing Flows and GANs for Efficient High-Quality Speech Enhancement
本文提出SEFGAN,将归一化流作为GAN生成器并结合最大似然训练用于语音增强,在不增加复杂度的情况下显著优于NF基线,并与最先进模型相竞争。
2023-12-04 eess.AS
A Divide and Conquer Strategy for Musical Noise-free Speech Enhancement in Adverse Environments
Texas A&M University(德州农工大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Concordia University(康考迪亚大学)
本文提出了一种在低信噪比环境下对含噪语音进行增强的分而治之的策略,将整个语音增强系统分为两个独立的步骤。第一步是基于短时间幅度的噪声补偿,第二步是基于相位补偿。基于改进的谱减法对幅度谱进行补偿,该方法考虑了传统谱减法忽略的噪声谱和纯净语音谱的交叉项。通过采用修正的幅度和不变的相位,制定了一个程序来补偿高估或低估的噪声的相位补偿方法的基础上的语音存在的概率。在此基础上得到了一个修正的复谱,并用于合成一个无音乐噪声的增强语音。广泛的模拟进行使用的语音文件在NOIZEUS数据库中,以评估所提出的方法的性能。它示出的客观措施,频谱图分析和正式的主观听力测试,所提出的方法始终优于一些国家的最先进的语音增强的方法,在非常低的信噪比以及中等水平的街道或多路重合噪声损坏的嘈杂的语音。
2018-02-07 cs.SD eess.AS
FB-MSTCN: A Full-Band Single-Channel Speech Enhancement Method Based on Multi-Scale Temporal Convolutional Network
近年来,基于深度学习的方法显著提高了单通道语音增强的性能。然而,由于训练数据和计算复杂度的限制,全频带(48 kHz)语音信号的实时增强仍然是非常具有挑战性的。由于高频部分的谱信息能量较低,直接用神经网络对全波段谱进行建模和增强比较困难。针对这一问题,本文提出了一种基于提取-插值机制的两级全频带实时语音增强模型。通过提取将48 kHz全频带时域信号分为3个子通道,并提出了“掩蔽+补偿”的两级处理方案,在复域对信号进行增强。在两级增强后,通过区间插值恢复增强后的全带语音信号。在主观听力和单词准确性测试中,我们提出的模型在非个性化语音去噪任务中取得了优异的性能,总体上优于基线模型0.59 MOS和4.0%WAcc。
2022-03-15 eess.AS
Binaural Speech Enhancement Using Deep Complex Convolutional Transformer Networks
针对嘈杂环境下助听设备的双耳语音增强需求,提出融合编码器-解码器架构复值卷积网络与复值多头注意力Transformer的方法,采用兼顾空间信息保留等的新型损失函数训练,在多种噪声场景下相比基线算法更优。
2024-03-08 eess.AS
Restorative Speech Enhancement: A Progressive Approach Using SE and Codec Modules
Tencent AI Lab(腾讯AI实验室);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对噪声混响下传统语音增强过度抑制和失真问题,提出 RestSE,通过轻量级 SE 与生成式 codec 渐进降噪、去混响和恢复,并结合量化、加权损失及特征融合提升语音质量。
2024-10-02 cs.SD eess.AS
TokenSE: a Mamba-based discrete token speech enhancement framework for cochlear implants
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出TokenSE框架,利用Mamba模型预测清洁编码令牌索引,提升 cochlear implants 用户在噪声和回声环境中的语音理解能力。
2026-04-14 eess.AS
SECP: A Speech Enhancement-Based Curation Pipeline For Scalable Acquisition Of Clean Speech
Cisco Systems, Inc.(思科系统公司)
本文提出基于语音增强的策展流水线SECP,通过迭代获取和精炼干净语音,实验表明增强输出作为标签不会降低模型性能,且精炼数据在主观听感上优于原始数据。
2024-02-19 cs.IR cs.LG cs.SD
Effective data screening technique for crowdsourced speech intelligibility experiments: Evaluation with IRM-based speech enhancement
本研究通过音调脉冲测试筛选众包数据,评估IRM增强语音的可懂度,减少远程测试变异,使结果接近实验室,并确定掩蔽式单通道增强的上限。
2022-08-20 cs.SD eess.AS
A Lightweight and Real-Time Binaural Speech Enhancement Model with Spatial Cues Preservation
University of Science and Technology of China (USTC)(中国科学技术大学);Guangzhou Maritime University(广州航海学院)
针对双耳语音增强中降噪、空间线索保留与计算成本难以兼顾的问题,提出轻量级LBCCN,通过低频滤波和通道间相对传递函数估计,以更低算力实现可比降噪及空间线索保留。
2025-01-08 cs.AI cs.SD eess.AS