A Modulation-Domain Loss for Neural-Network-based Real-time Speech Enhancement
我们描述了基于深度学习的语音增强系统的调制域损失函数。可学习的频谱时间感受野(STRFs)进行了调整,以优化扬声器识别任务。然后,学习的STRF用于计算调制域中的加权均方误差(MSE),用于训练语音增强系统。实验表明,将调制域MSE添加到频谱-时间域中的MSE实质上改善了实时语音增强系统的语音质量和可懂度的客观预测,而不会在推理期间引起额外的计算。
2021-02-15 eess.AS
SenSE: Semantic-Aware High-Fidelity Universal Speech Enhancement
Northwestern Polytechnical University(西北工业大学);Huawei Technologies Co., Ltd.(华为技术有限公司);Nanjing University(南京大学)
SenSE提出一种两阶段生成式通用语音增强框架,通过语言模型建模语义先验,引导流匹配过程生成语义忠实的语音,提升上下文保真度,并引入双路径掩码条件训练策略提升模型灵活性和适应性。
2026-04-05 eess.AS
Rethinking Batch Composition: Promoting Feature Diversity for Speech Enhancement
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文针对语音增强训练中随机小批量数据特征多样性不足的问题,提出特征分层小批量采样策略,在多语言及含病理语音的数据集上提升了增强性能,且无需修改模型或训练目标。
2026-10-16 eess.AS
Influence of Clean Speech Characteristics on Speech Enhancement Performance
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文系统研究干净语音的内在声学特性对语音增强性能的影响,发现共振峰幅度可稳定预测增强增益,并揭示说话人内部声学变异性对性能的重要性,为数据集、评估协议和模型设计提供新依据。
2025-09-23 eess.AS
Noisy-target Training: A Training Strategy for DNN-based Speech Enhancement without Clean Speech
基于深度神经网络(DNN)的语音增强通常需要干净的语音信号作为训练目标。然而,收集干净的信号是非常昂贵的,因为它们必须在演播室中记录。这个要求目前将用于语音增强的训练数据量限制到小于不需要干净信号的语音识别的训练数据量的1/1000。增加训练数据量对于提高性能是重要的,因此应该放宽对干净信号的要求。在本文中,我们提出了一种不需要干净信号的训练策略。所提出的方法只利用噪声信号进行训练,这使得我们能够使用各种语音信号在野外。我们的实验结果表明,该方法可以实现类似于使用干净信号训练的DNN的性能。
2021-05-10 eess.AS
A Perceptually-Motivated Approach for Low-Complexity, Real-Time Enhancement of Fullband Speech
在过去的几年里,基于深度学习的语音增强方法已经大大超越了基于谱减法和谱估计的传统方法。这些新技术中的许多直接在短时傅里叶变换(STFT)域中操作,导致高计算复杂度。在这项工作中,我们提出了PercepNet,一种有效的方法,依赖于人类的感知语音的频谱包络和语音的周期性。我们展示了高品质,实时增强的全频带(48 kHz)的语音与不到5%的CPU核心。
2020-08-27 eess.AS
An Exploration of Length Generalization in Transformer-Based Speech Enhancement
针对 Transformer 语音增强难以利用长语音训练的问题,本文系统比较四类位置嵌入,证明相对位置嵌入更能实现由短到长的长度泛化。
2024-06-17 eess.AS
Multi-channel end-to-end neural network for speech enhancement, source localization, and voice activity detection
语音增强和声源定位技术是近几十年来的研究热点,在实际应用中具有广泛的应用前景。最近,深度复杂卷积循环网络(DCCRN)为单通道系统带来了令人印象深刻的增强性能。在这项研究中,神经波束形成器组成的波束形成器和一种新的多通道DCCRN提出了语音增强和源定位。由多通道DCCRN估计的复值滤波器作为波束形成器的权重。此外,一个单阶段的学习为基础的过程是用于语音增强和源定位。建议的网络组成的多通道DCCRN和辅助网络模型的声场,同时最小化无失真的响应损失函数。仿真结果表明,该神经波束形成器能有效地增强语音信号,且语音质量保持良好。所提出的神经波束形成器还提供源定位和语音活动检测(VAD)功能。
2022-06-20 eess.AS
Speech Artifact Removal from EEG Recordings of Spoken Word Production with Tensor Decomposition
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所);Bandung Institute of Technology(万隆理工学院)
由于语音伪影的未被发现的特征,关于涉及口语词产生的大脑活动的研究相当不发达,语音伪影污染了脑电图(EEG)信号并阻止了对潜在认知过程的检查。为了进一步推动EEG研究与语音产生,提出了一种使用三模式张量分解(时间x空间x频率)来执行语音伪影去除的方法。张量分解能够同时检测多个模式,这适合EEG数据的多路性质。在图片命名任务中,我们通过在嘴附近放置两个电极来记录嘴唇EMG来收集带有语音伪影的原始数据。基于我们的评估,它计算的总平均语音伪影和唇肌电信号之间的相关值,张量分解优于以前的方法,基于独立分量分析(ICA)和盲声源分离(BSS),无论是在检测语音伪影(0.985)和产生干净的数据(0.101)。我们提出的方法正确地保留了与语音无关的成分,通过计算没有EOG的总平均原始数据与语音开始前的清洁数据之间的相关值(0.92-0.94)来验证。
2022-06-01 cs.AI cs.SD eess.AS
Mask-Based Speech Enhancement for Spatial Audio: A Comparison of Ambisonics, Beamforming, and Microphone Channels
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本研究系统比较了掩码语音增强在麦克风、波束成形和Ambisonics三种空间音频表示中的性能,发现波束成形域增强效果最佳,而Ambisonics域更利于保留空间属性。
2026-09-17 eess.AS
How Bad Are Artifacts?: Analyzing the Impact of Speech Enhancement Errors on ASR
NTT(日本电报电话公司)
利用单通道语音增强(SE)提高噪声环境下的自动语音识别(ASR)性能是一个具有挑战性的问题。在本文中,我们调查ASR性能下降的原因分解SE错误使用正交投影分解(OPD)。OPD将SE误差分解为噪声和伪影分量。伪影分量被定义为不能表示为语音和噪声源的线性组合的SE误差信号。我们建议手动缩放错误组件,以分析其对ASR的影响。我们实验确定的工件组件的性能下降的主要原因,我们发现,减轻工件可以大大提高ASR的性能。此外,我们还证明了简单观察添加(OA)技术(即,将所观察信号的缩放版本添加到增强语音)可以在温和条件下单调地增加信号与伪像比。因此,我们通过实验证实,OA提高了模拟和真实录音的ASR性能。本文的研究结果提供了一个更好的理解的影响SE错误的ASR和打开大门,未来的研究新的方法,设计有效的单通道SE前端的ASR。
2022-03-30 cs.SD eess.AS
Masks Fusion with Multi-Target Learning For Speech Enhancement
最近,基于深度神经网络(DNN)的时频(T-F)掩模估计对于语音增强显示出显著的有效性。通常,首先基于DNN估计单个T-F掩码,然后用于掩蔽有噪语音的频谱图以抑制噪声。提出了一种多模板融合的语音增强方法。它同时估计两个互补的掩码,例如,理想比率掩模(IRI)和目标二进制掩模(TBM),然后将它们融合以获得用于语音增强细化掩模。新方法的优点是双重的。首先,同时估计多个互补掩模带来了多目标学习所赋予的益处。其次,多模板融合可以利用多个模板之间的互补性来提高语音增强的性能。实验结果表明,与传统的基于掩蔽的方法相比,该方法能显著提高PESQ,降低后端的识别错误率。代码可在https://github.com/lc-zhou/mask-fusion上获得。
2021-09-28 eess.AS
Progressive Speech Enhancement with Residual Connections
本文研究了基于深度神经网络的语音增强。所提出的架构逐渐遵循信号的转换,在增强过程中通过可视化探头在每个网络块。除了这个过程,增强性能的目视检查和回归成本方面的评估。该渐进式方案基于残差网络。在这个过程中,我们研究了一个具有恒定数量通道的剩余连接,包括块之间的内部状态,并添加渐进式监督。通过对网络增强过程的解释所提供的见解,我们设计了一种改进的架构来增强。遵循这种策略,我们能够获得超越最先进水平的语音增强结果,在去混响和频谱失真量之间实现有利的权衡。
2019-04-09 eess.AS
Too Good to Be True: A Study on Modern Automatic Speech Recognition for the Evaluation of Speech Enhancement
University of Hamburg(汉堡大学)
本文研究现代ASR模型与人类语音增强识别的关联,发现大规模噪声训练和嵌入语言模型的ASR模型更符合人类WER,但其噪声鲁棒性和上下文使用对声学评估不具信息性。
2026-05-12 eess.AS
SE Territory: Monaural Speech Enhancement Meets the Fixed Virtual Perceptual Space Mapping
针对单通道语音缺乏空间线索的问题,本文提出 SE-TerrNet,通过两阶段多任务学习将单通道语音映射到固定虚拟双耳空间并融合注意力特征,显著提升语音质量与可懂度。
2024-03-04 eess.AS
MeanSE: Efficient Generative Speech Enhancement with Mean Flows
Shanghai Jiao Tong University(上海交通大学)
MeanSE利用均值流建模平均速度场,实现单次函数评估的高质量生成式语音增强,显著优于流匹配基线并具备极佳域外泛化能力。
2025-09-25 eess.AS
ARiSE: Auto-Regressive Multi-Channel Speech Enhancement
本文提出ARiSE自回归多通道语音增强算法,利用先前帧估计的目标语音作为额外输入特征改进DNN逐帧在线增强,并设计并行训练机制加速训练,在含噪混响条件下验证了其有效性。
2025-06-06 eess.AS
Tdcgan: Temporal Dilated Convolutional Generative Adversarial Network for End-to-end Speech Enhancement
为了进一步解决传统语音增强系统中由于忽略相位信息而导致的性能下降问题,提出了一种基于时域扩张卷积生成对抗网络(TDCGAN)的端到端语音增强结构。本文首次在GAN结构中引入了具有深度可分离卷积的时间扩张卷积网络,从而在不增加参数数量的情况下大大增加了感受野。我们还首次探讨了信噪比惩罚项作为生成器损失函数的正则化对提高增强语音信噪比的影响。实验结果表明,我们提出的方法优于最先进的端到端基于GAN的语音增强。此外,与以前的基于GAN的方法相比,所提出的TDCGAN可以大大减少参数的数量。正如预期的那样,工作还表明,信噪比惩罚项作为正则化是更有效的提高语音增强的信噪比比$L1$。
2020-09-30 eess.AS
Schrödinger Bridge for Generative Speech Enhancement
本文提出一种基于Schrödinger桥的生成式语音增强模型,通过数据到数据过程和辅助时域损失恢复纯净语音,在去噪与去混响任务中优于扩散模型并降低计算成本。
2024-07-22 eess.AS
Assessing the Impact of Noise and Speech Enhancement on the Intelligibility of Speech Codecs
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
研究评估经典和神经语音编解码器在干净及嘈杂条件下的可懂度与听觉努力,还评估编码前语音增强的影响,发现经典编解码器更抗噪,语音增强可提升受噪声影响编解码器的可懂度等。
2026-07-07 eess.AS
A Lightweight Hybrid Dual Channel Speech Enhancement System under Low-SNR Conditions
针对低信噪比下计算资源受限的问题,提出一种结合IVA与改进GTCRN的轻量级混合双通道语音增强系统,以低参数和低复杂度实现有效增强。
2025-05-26 eess.AS
On Speech Pre-emphasis as a Simple and Inexpensive Method to Boost Speech Enhancement
本文首次提出将预加重滤波用于基于深度神经网络的语音增强,通过在损失计算前对干净语音进行预加重,使频率成分更好反映感知重要性,在TIMIT含噪数据上取得最高4.6%和3.4%的质量提升。
2024-01-17 eess.AS
Avocodo: Generative Adversarial Network for Artifact-free Vocoder
NCSOFT(NCSoft公司)
基于生成式对抗神经网络(GAN)的神经声码器由于其快速的推理速度和轻量级的网络,同时产生高质量的语音波形而得到广泛应用。由于感知上重要的语音分量主要集中在低频段中,因此大多数基于GAN的声码器执行多尺度分析,以评估下采样的语音波形。这种多尺度分析有助于生成器提高语音清晰度。然而,在初步的实验中,我们发现集中于低频段的多尺度分析会导致非预期的伪影,例如,混叠和成像伪像,这降低了合成语音波形的质量。因此,在本文中,我们研究了这些伪影与基于GAN的声码器之间的关系,并提出了一种基于GAN的声码器,称为Avocodo,它允许合成高保真语音,减少伪影。我们介绍了两种鉴别器,以评估语音波形在不同的角度:一个合作的多带鉴别器和子带鉴别器。我们还利用伪正交镜像滤波器组,以获得下采样的多频带语音波形,同时避免混叠。根据实验结果,Avocodo在客观和主观上都优于基于GAN的基线声码器,同时以更少的伪影再现语音。
2023-01-03 cs.AI cs.SD eess.AS
Naaloss: Rethinking the objective of speech enhancement
National Taiwan Normal University(国立台湾师范大学);National Chi Nan University(国立暨南国际大学)
针对单通道语音增强产生的处理伪影损害自动语音识别性能的问题,提出噪声与伪影感知损失函数NAaLoss,可分别建模语音、伪影和噪声,实验证明其能提升多数设置下的ASR性能并保留语音增强质量。
2023-08-24 cs.SD eess.AS
Plugin Speech Enhancement: A Universal Speech Enhancement Framework Inspired by Dynamic Neural Network
China Mobile Research Institute(中国移动研究院)
本文提出插件式语音增强框架Plugin-SE,通过权重预测方法从下游训练信息中学习任务关系,并结合门控模块构建动态神经网络,以解决通用语音增强中下游模块特征感知不足的问题,实验证明其在多种下游任务上优于或媲美现有联合训练方法。
2024-02-20 cs.SD eess.AS
Incorporating Real-world Noisy Speech in Neural-network-based Speech Enhancement Systems
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Labs Research(脸书现实实验室研究)
受监督的语音增强依赖于在训练期间退化的语音信号及其干净的参考信号的并行数据库。此设置禁止使用可能更好地代表使用此类系统的场景的真实世界降级语音数据。在本文中,我们探讨的方法,使监督语音增强系统训练真实世界的退化语音数据。具体来说,我们提出了一个半监督的语音增强方法,我们首先训练一个修改后的矢量量化变分自编码器,解决了源分离任务。然后,我们使用这个训练的自动编码器,进一步训练一个增强网络,使用现实世界的嘈杂的语音数据,通过计算一个基于三元组的无监督损失函数。实验表明,将真实世界的数据在训练语音增强系统的有前途的结果。
2021-09-21 cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University(俄亥俄州立大学)
本文提出基于ARN时间域增强模型,将语音增强与仅在干净语音上训练的声学模型解耦,在CHiME-2上实现6.28%词错误率,相对提升19.3%。
2023-06-21 cs.SD eess.AS
Evince the artifacts of Spoof Speech by blending Vocal Tract and Voice Source Features
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
随着合成语音生成技术的快速发展,如何区分自然语音和欺骗语音成为研究的热点。这些合成信号的识别是一项艰巨的任务,不仅对尖端的分类模型,而且对人类本身。为了防止潜在的不利影响,检测欺骗信号变得至关重要。从取证的角度来看,预测生成它们的算法以识别伪造者也很重要。这需要理解作为合成器签名的欺骗信号的基本属性。本研究着重于利用声道系统(\textit{VTS})和声源(\textit{VS})特征识别语音信号真伪的关键部分。在本文中,我们提出了一个系统,检测欺骗信号,以及确定相应的语音生成算法。算法的分类准确率达到99.58%.从实验中,我们发现,VS基于特征的系统给予更多的关注音素的过渡,而VTS基于特征的系统给予更多的关注语音信号的平稳段。我们执行模型融合技术的VS为基础的和VTS为基础的系统,利用互补的信息来开发一个强大的分类器。在分析混淆图时,我们发现WaveRNN的分类很差,描述了更多的自然性。另一方面,我们确定波形级联和神经源滤波器等合成器的分类精度最高。这项工作的实际意义可以帮助研究人员从取证(利用文物)和语音社区(减轻文物)。
2022-12-05 cs.SD eess.AS
A two-step backward compatible fullband speech enhancement system
Kuaishou Technology(快手科技)
基于深度学习的语音增强方法已经超越了传统方法。虽然这些新的方法中有许多是在宽带(16 kHz)的采样率,一个新的全带(48 kHz)的语音增强系统,本文提出。与现有的利用感知激励特征来使用单个网络结构训练全带语音增强的全带系统相比,所提出的系统是两步系统,其确保良好的全带语音增强质量,同时向后兼容于现有的宽带系统。
2022-01-28 cs.SD eess.AS
Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中,我们的目标是弥合这一差距,提取音素身份,以帮助语音增强。具体来说,我们提出了一个基于音素的分布正则化(PbDr)的语音增强,它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布,我们建议学习一个参数对,即规模和偏见,通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件,而且还包括频率方面的条件,其有效地将特征映射到音素相关分布。通过这种方式,我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明,该PbDr模块不仅可以提高语音增强的感知质量,而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY(纽约市立大学研究生中心);Microsoft Research(微软研究院)
语音增强最近通过各种深度学习方法取得了巨大成功。然而,大多数传统的语音增强系统是用监督方法训练的,这带来了两个重大挑战。首先,用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时,在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次,在提高语音增强性能和降低语音识别(ASR)性能之间存在权衡。因此,我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明,该函数有效地提高了语音增强的性能相比,在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线,但通过联合超级和无监督训练,系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
Teaching Speech Enhancement Models to Sing: Domain Adaptation from Speech Enhancement to Singing Voice Separation
针对歌声分离训练数据有限问题,将其作为从语音增强到歌声分离的域适应,研究全量微调和LoRA参数高效微调策略,实验表明两种策略均有效提升歌声分离性能,LoRA微调还能保留语音增强能力,证明适配预训练模型是数据稀缺时训练歌声分离模型的有效策略。
2026-07-14 cs.SD eess.AS
On Single-Channel Speech Enhancement and On Non-Linear Modulation-Domain Kalman Filtering
Imperial College London(帝国理工学院)
这份报告的重点是算法,执行单通道语音增强。本文作者在[1]、[2]、[3]、[4]和[5]中使用调制域卡尔曼滤波算法进行语音增强,即噪声抑制和去混响。调制域卡尔曼滤波可以应用于噪声和后期混响抑制,并且在[2]、[1]、[3]和[4]中,设计、实现和测试了执行调制域卡尔曼滤波的各种基于模型的语音增强算法。[2]中的基于模型的增强算法估计并跟踪语音相位。[5]中的基于短时傅里叶变换的增强算法使用[6]中提出的活动语音电平估计器。本报告介绍了不同的算法如何执行语音增强和算法在本报告中讨论的是针对研究人员感兴趣的单声道语音增强。算法由不同的处理块和技术组成[7];理解系统设计期间所做的实现选择很重要,因为这可以提供有助于开发新算法的见解。索引术语-语音增强,去混响,去噪,卡尔曼滤波器,最小均方误差估计。
2018-10-31 cs.SD eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook(脸书)
在这项工作中,我们利用语音增强来改善基于递归神经网络换能器(RNN-T)的ASR系统。我们采用了一个密集的卷积递归网络(DCRN)复杂的频谱映射为基础的语音增强,并发现它有助于ASR在两个方面:一个数据增强技术,和预处理前端。在使用它的ASR数据增强,我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端,我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集,并实现了11.2%的平均相对改善与语音增强为基础的数据增强,8.3%与增强为基础的预处理,和13.4%时,结合两者。
2020-11-07 cs.SD eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology(代尔夫特理工大学);Erasmus Medical Centre (EMC)(埃因霍温医学院);Indian Inst. of Information Technology Allahabad(阿利哈巴德信息科技学院);Dept. of Plastic and Reconstructive Surgery(整形外科与重建外科系);Dept. of Electronics and Communication(电子与通信系)
针对构音障碍语音对ASR系统的挑战,本研究探索扩散模型在构音障碍语音增强中的应用,通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响,验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
A Perceptual Weighting Filter Loss for DNN Training in Speech Enhancement
使用深度神经网络(DNN)的单通道语音增强已显示出有前途的性能,因此正在深入研究。在本文中,在用于语音增强的DNN训练期间,我们不是将均方误差(MSE)应用为损失函数,而是设计了由加权滤波器激励的感知加权滤波器损失,因为其用于合成分析语音编码,例如,码激励线性预测(CELP)实验结果表明,所提出的简单的损失函数提高了语音增强性能相比,参考DNN与MSE损失的感知质量和噪声衰减。所提出的损失函数可以有利地应用于现有的基于DNN的语音增强系统,而无需修改用于语音增强的DNN拓扑。提出的方法的源代码是可用的。
2019-08-18 cs.SD eess.AS
Joint Noise Reduction and Listening Enhancement for Full-End Speech Enhancement
National Institute of Informatics(国立情报学研究所);The Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学(SOKENDAI))
语音增强(SE)方法主要集中于从噪声输入中恢复干净的语音。然而,在现实世界的语音通信中,噪声往往不仅存在于说话者,而且存在于听者环境中。虽然SE方法可以抑制扬声器语音中包含的噪声,但它们不能处理实际存在于收听者侧的噪声。为了解决这种复杂但常见的情况,我们研究了一种基于深度学习的联合框架,该框架将降噪(NR)与听力增强(LE)集成在一起,其中NR模块首先抑制噪声,然后LE模块修改去噪语音,即,NR模块的输出,以进一步提高语音清晰度。因此,增强的语音可以更少噪声并且对于收听者来说更容易理解。实验结果表明,我们提出的方法取得了可喜的成果,显着优于不相交处理方法在各种语音评价指标。
2022-03-22 cs.SD eess.AS
Tracing Decoder Artifacts for Compact Synthetic Speech Screening
针对合成语音检测成本高的问题,提出利用解码器频谱伪影的紧凑梯度提升树前端筛查,以低存储和能耗高效筛选可疑录音,显著降低检测能量。
2026-09-29 cs.AI cs.SD eess.AS
Parameter Tuning of Time-Frequency Masking Algorithms for Reverberant Artifact Removal within the Cochlear Implant Stimulus
Duke University(杜克大学)
人工耳蜗使用者很难在混响环境中理解语音。为了恢复语音感知,可以从耳蜗植入刺激中去除由混响反射主导的伪影。伪影可以通过应用增益值矩阵来识别和去除,该技术被称为时频掩蔽。增益值由oracle算法确定,该算法使用未失真信号的知识来最小化由混响反射主导的信号分量的保留。在实践中,增益值是从失真信号中估计的,其中oracle算法提供了估计目标。存在不同的oracle技术用于确定增益值,并且每种技术都必须被参数化以设置信号保持量。这项工作评估的甲骨文掩蔽策略和参数化导致最好的改善语音清晰度的人工耳蜗植入用户在混响条件下使用在线语音清晰度测试的正常听力个体与声码。
2021-08-12 cs.SD eess.AS
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab(腾讯人工智能实验室)
声学回声消除在全双工语音通信中起着重要的作用,同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中,我们提出了一个全深度学习框架,隐式估计回声/噪声和目标语音的二阶统计量,并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明,该模型可以与说话人嵌入更好的目标语音增强,并进一步开发一个分支的自动增益控制(AGC)的任务,形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance(字节跳动)
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近,基于神经网络的方法已经被应用于语音增强。然而,许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架,可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记,而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络(PANNs)来检测音频片段中包含语音或声音事件的锚片段。然后,我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物,并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中,我们输入一个带噪的语音信号,其中“Speech”的独热编码作为训练系统的条件,以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR,分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering(军事工程学院)
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法,以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声,在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线,从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果,在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
XSQ-AST: An Explainable Audio Spectrogram Transformer Framework for Localising Synthetic Speech Artifacts
AudioLab, School of Physics, Engineering and Technology, University of York, United Kingdom(英国约克大学物理工程技术学院音频实验室);Department of Computer Science, University of York, United Kingdom(英国约克大学计算机科学系);SEED -- Electronic Arts (EA), Sweden(瑞典艺电SEED部门);Electronic Arts (EA), United States(美国艺电)
XSQ-AST结合SQ-AST、WhisperX和多种显著性方法,无需重训练即可定位合成语音伪影,经40人听力测试和AUC-ROC验证有效。
2026-09-22 cs.LG cs.SD eess.AS
The Potential of Neural Speech Synthesis-based Data Augmentation for Personalized Speech Enhancement
Indiana University, Luddy School of Informatics, Computing, and Engineering(印第安纳大学卢迪信息、计算与工程学院)
随着深度学习的进步,语音增强系统受益于大型神经网络架构,并实现了最先进的质量。然而,说话人不可知的方法并不总是可取的,无论是在质量和它们的复杂性,当它们被用于资源受限的环境。一种有前途的方法是个性化语音增强(PSE),这是一个更小,更容易的语音增强问题的小模型来解决,因为它专注于一个特定的测试时的用户。为了实现个性化的目标,同时处理典型的个人数据的缺乏,我们调查的数据增强的神经语音合成(NSS)的基础上的效果。在所提出的方法中,我们表明NSS系统的合成数据的质量很重要,如果它们足够好,则可以使用增强的数据集来改进优于说话者不可知基线的PSE系统。所提出的PSE系统表现出显着的复杂性降低,同时保持增强质量。
2022-11-14 cs.SD eess.AS
Analyzing the Impact of Splicing Artifacts in Partially Fake Speech Signals
Politecnico di Milano(米兰理工大学)
本研究分析了部分伪造语音信号中信号拼接引入的伪影,发现仅通过分析这些伪影即可在 PartialSpoof 和 HAD 数据集上分别实现 6.16% 和 7.36% 的检测等错误率(EER),无需训练检测器,揭示了现有数据集的潜在偏差并指明未来改进方向。
2024-08-25 cs.AI cs.MM cs.SD
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University(约翰斯·霍普金斯大学)
基于双向长短期记忆(BLSTM)神经网络的谱掩模估计已广泛应用于各种语音增强应用中,并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而,当这些掩模用于单通道语音增强时,它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合,使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield(谢菲尔德大学);WS Audiology(西万拓听力技术公司);Toshiba(东芝)
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离,以提升可懂度,实验显示相比SNR损失,HASPI、STOI、PESQ和SI-SNR均提高,且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Rethinking Processing Distortions: Disentangling the Impact of Speech Enhancement Errors on Speech Recognition Performance
NTT Corporation(NTT公司);Doshisha University(同志社大学)
本研究提出基于正交投影分解SE误差的分析方案,发现伪影误差对ASR性能危害最大,并提出观察相加后处理和AB-SDR训练目标两种方法减少伪影误差,显著提升了噪声条件下的ASR性能。
2024-04-23 cs.SD eess.AS
Exploring WavLM on Speech Enhancement
Institute for Information & communications Technology Promotion(信息与通信技术振兴院);Microsoft Research Asia(微软亚洲研究院)
近年来,对用于端到端语音编码的自监督学习方法的兴趣激增,因为它们取得了巨大的成功。特别是,WavLM在各种语音处理任务上表现出了最先进的性能。为了更好地了解自我监督学习模型用于语音增强的功效,在这项工作中,我们设计并进行了一系列实验,结合WavLM和两个高质量的语音增强系统的三个资源条件。此外,我们提出了一个基于回归的WavLM训练目标和噪声混合数据配置,以进一步提高下游增强性能。DNS挑战数据集和仿真数据集上的实验表明,WavLM有利于语音增强任务的语音质量和语音识别精度,特别是对于低微调资源。对于高微调资源条件,仅字错误率得到实质性改善。
2022-11-18 cs.SD eess.AS
Hallucination in Perceptual Metric-Driven Speech Enhancement Networks
University of Sheffield(谢菲尔德大学);TOSHIBA Cambridge Research Laboratory(东芝剑桥研究实验室)
本文识别了感知度量驱动的语音增强网络中的幻觉问题,即增强系统通过欺骗语音质量预测器来引入幻觉,并旨在揭示这一潜在缺陷。
2024-05-24 cs.SD eess.AS
Phonetic Feedback for Speech Enhancement With and Without Parallel Speech Data
The Ohio State University(俄亥俄州立大学)
虽然深度学习系统在语音增强研究中取得了显著进展,但这些系统尚未充分利用深度学习系统的潜力来提供高级反馈。特别是,语音反馈是罕见的语音增强的研究,即使它包括有价值的自上而下的信息。我们使用模仿损失的技术来提供语音反馈到现成的增强系统,并在CHiME-4数据上找到客观可懂度分数的增益。该技术采用在干净语音上训练的冻结声学模型来向增强模型提供有价值的反馈,即使在没有并行语音数据可用的情况下。我们的工作是第一个显示可理解性改善的神经增强系统没有并行语音数据,我们表明语音反馈可以提高一个国家的最先进的神经增强系统训练的并行语音数据。
2020-03-03 cs.CL cs.SD eess.AS
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs(Facebook现实实验室)
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下,所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中,我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估(3QUEST)的语音平均意见分数(SMOS)和噪声MOS(NMOS)的近场和远场应用的指标。此外,所提出的语音增强方法大大提高了信噪比(SNR)和主观听觉体验。相比之下,传统的语音增强方法虽然增加了NMOS和SNR,但降低了SMOS。此外,所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学国家语言语音信息处理工程研究中心)
本文提出在训练阶段利用知识蒸馏,将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型,从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
CycleGAN with Dual Adversarial Loss for Bone-Conducted Speech Enhancement
Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University(安徽大学智能计算与信号处理教育部重点实验室)
骨导语音与气导语音相比,具有屏蔽背景噪声的独特优势。增强骨导语音有助于提高其质量和可懂度。本文提出了一种新的具有双重对抗损失的CycleGAN(CycleGAN-DAL)用于骨导语音增强。该方法同时使用对抗性损失和循环一致性损失来学习前向和循环映射,其中对抗性损失被替换为分类对抗性损失和缺陷对抗性损失以巩固前向映射。与传统的基线方法相比,它可以学习骨导语音和目标语音之间的特征映射,而无需额外的空气传导语音辅助。此外,所提出的方法还避免了通常发生在传统的统计模型的过光滑问题。实验结果表明,该方法优于基线方法,如CycleGAN,GMM和BLSTM。关键词:骨导语音增强,双对抗损失,并行CycleGAN,高频语音重建
2021-11-02 cs.SD eess.AS