VC-ENHANCE: Speech Restoration with Integrated Noise Suppression and Voice Conversion
Qualcomm Technologies Inc.(高通技术公司)
本文提出 NS+VC 两阶段语音修复框架,利用基于扩散的语音转换依据说话人嵌入和语音内容恢复高质量语音,并通过内容编码器自适应改善含噪条件下的可懂度。
2024-09-10 cs.SD eess.AS
MaskSR: Masked Language Model for Full-band Speech Restoration
Dolby Laboratories(杜比实验室);Southeast University(东南大学);School of Information Science and Engineering, Southeast University(东南大学信息科学与工程学院)
本文提出掩码语言模型MaskSR,通过预测离散声学token并利用迭代采样,有效恢复受噪声、混响等影响的全频带语音,实验证明其性能具竞争力。
2024-06-04 cs.AI cs.LG cs.SD
What Counts as Real? Speech Restoration and Voice Quality Conversion Pose New Challenges to Deepfake Detection
本文研究语音重建和语音质量转换对深度伪造检测系统的影响,通过多类分类方法分析模型行为,发现良性变换导致分布偏移,改进了系统鲁棒性。
2026-07-08 cs.AI cs.LG cs.SD
High-Resolution Speech Restoration with Latent Diffusion Model
Sony Europe B.V.(索尼欧洲有限公司);University of Stuttgart(斯图加特大学)
本文提出基于潜在扩散的Hi-ResLDM模型,用于去除多种失真并将语音修复至48kHz录音室质量,在高频细节重建和主客观评估上均优于基于GAN和CFM的现有方法。
2025-02-10 cs.AI cs.LG cs.SD
VoiceFixer: A Unified Framework for High-Fidelity Speech Restoration
University of Surrey(萨里大学);ByteDance(字节跳动);The Ohio State University(俄亥俄州立大学)
针对现实中语音常受多重失真影响的问题,提出统一高保真语音修复框架VoiceFixer,采用分析-合成两阶段设计,可处理多种失真并将低带宽受损语音扩展为44.1kHz全带宽高保真语音,在严重受损语音上效果显著。
2022-04-17 cs.SD eess.AS eess.SP
Listen through the Sound: Generative Speech Restoration Leveraging Acoustic Context Representation
NAVER Cloud(NAVER云)
本文提出一种结合声学上下文(ACX)表示的生成式语音恢复方法,利用从CLAP模型提取并优化的环境属性嵌入,使UNIVERSE++模型能更好区分和缓解失真,显著提升了多失真条件下的恢复性能与稳定性。
2025-08-12 cs.SD eess.AS
Joint Semantic Knowledge Distillation and Masked Acoustic Modeling for Full-band Speech Restoration with Improved Intelligibility
Dolby Laboratories(杜比实验室)
针对现有语音修复生成模型MaskSR可懂度有待提升的问题,提出结合语义知识蒸馏与掩码声学建模的MaskSR2,在不增加模型容量与推理时间的前提下,显著降低词错误率,兼顾语音质量与可懂度。
2024-09-14 cs.AI cs.SD eess.AS
Gesper: A Restoration-Enhancement Framework for General Speech Reconstruction
Tencent(腾讯);Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
该研究提出两阶段Gesper通用语音重建系统,以CSM-GAN做恢复、全带-宽带并行处理做增强,在ICASSP 2023 SSI挑战赛双赛道均获第一。
2023-06-14 cs.SD eess.AS
VoiceRestore: Flow-Matching Transformers for Speech Recording Quality Restoration
VoiceRestore利用自监督流匹配Transformer在合成数据上训练,统一恢复多种退化的语音录音,无需成对数据即可泛化到真实短时与长时语音恢复任务。
2025-01-01 cs.SD eess.AS
HD-DEMUCS: General Speech Restoration with Heterogeneous Decoders
Yonsei University(延世大学);NAVER Cloud(NAVER云)
提出端到端 HD-DEMUCS,通过两个异构解码器并行完成降噪与缺失成分恢复,并以可学习权重聚合波形,在多种失真环境下优于单解码器和级联系统。
2023-06-02 cs.SD eess.AS
Generative Speech Foundation Model Pretraining for High-Quality Speech Extraction and Restoration
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology(麻省理工学院)
提出一种生成式预训练语音基础模型,直接处理复数值STFT系数以避免声码器限制,在语音去噪、带宽扩展和目标说话人提取等恢复任务中超越强基线。
2024-09-25 cs.SD eess.AS
VoiceBridge: General Speech Restoration with One-step Latent Bridge Models
VoiceBridge通过一种通用的一步潜在桥模型实现高效语音修复,结合能量守恒的变分自编码器和可扩展Transformer,统一处理多种语音修复任务。
2026-03-10 cs.AI cs.SD eess.AS
KS-Net: Multi-band joint speech restoration and enhancement network for 2024 ICASSP SSI Challenge
Kuaishou Technology(快手科技)
针对ICASSP 2024 SSI挑战赛,提出结合复数域GAN与多频带融合的语音恢复增强网络,在实时与非实时赛道均获第一。
2024-02-02 cs.SD eess.AS
A Fast Solver for Interpolating Stochastic Differential Equation Diffusion Models for Speech Restoration
University of Hamburg(汉堡大学);HITeC-Hamburg(汉堡人机交互技术中心)
针对SGMSE+等插值扩散模型,提出一种快速求解器,仅需10次神经网络评估即可完成语音恢复任务。
2026-06-24 eess.AS
Towards Real-Time Generative Speech Restoration with Flow-Matching
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院)
本文提出基于 flow-matching 的因果实时生成式语音修复系统,以 20 ms 延迟和 5 次 NFEs 实现去噪、去混响与生成修复,并比较少步采样及对抗训练。
2025-10-19 eess.AS
SEMamba++: A General Speech Restoration Framework Leveraging Global, Local, and Periodic Spectral Patterns
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出SEMamba++框架,通过整合全局、局部和周期性频谱特征,提升语音修复性能,同时保持计算效率。
2026-08-27 cs.SD eess.AS
Query-Based Asymmetric Modeling with Decoupled Input-Output Rates for Speech Restoration
Sogang University(西江大学)
研究语音恢复中输入输出采样率不同的问题,提出基于查询的xSFI建模框架TF-Restormer,通过特定编码合成方式及多种损失训练,在多采样率基准测试中无需冗余重采样实现保真度与感知质量平衡。
2026-07-09 eess.AS
Miipher: A Robust Speech Restoration Model Integrating Self-Supervised Speech and Text Representations
Google(谷歌)
本文提出 Miipher 语音修复模型,结合 w2v-BERT 语音表示与 PnG-BERT 文本表示,提升对多种音频退化的鲁棒性,并证明其可将网络语音修复为录音室音质以训练高质量 TTS 模型。
2023-08-14 cs.LG cs.SD eess.AS
Analysing Diffusion-based Generative Approaches versus Discriminative Approaches for Speech Restoration
DESY(德国电子同步加速器研究所)
在过去的几年里,基于扩散的生成模型对计算机视觉和语音处理社区产生了很大的影响。除了数据生成任务之外,它们还被用于数据恢复任务,如语音增强和去混响。虽然传统上认为判别模型更强大,例如用于语音增强,但最近已经显示生成扩散方法大大缩小了这种性能差距。在本文中,我们系统地比较了生成扩散模型和判别方法在不同的语音恢复任务的性能。为此,我们扩展我们以前的贡献扩散为基础的语音增强在复杂的时间-频率域的带宽扩展的任务。然后,我们将其与具有相同网络架构的区分训练神经网络进行比较,用于三个恢复任务,即语音去噪,去混响和带宽扩展。我们观察到,生成方法在所有任务上的全局性能都优于其判别式方法,对于非加性失真模型(如去混响和带宽扩展)具有最大的优势。代码和音频示例可以在https://uhh.de/inf-sp-sgmsemultitask上找到
2023-03-16 cs.LG cs.SD eess.AS
TS-URGENet: A Three-stage Universal Robust and Generalizable Speech Enhancement Network
Nanjing University(南京大学);Horizon Robotics
针对通用语音增强中多种失真和输入格式的挑战,提出三阶段(填充、分离、恢复)TS-URGENet网络,在Interspeech 2025 URGENT挑战赛赛道1中排名第二。
2025-05-24 cs.AI eess.AS
ReverbMiipher: Generative Speech Restoration meets Reverberation Characteristics Controllability
Google DeepMind(谷歌DeepMind);The University of Tokyo(东京大学);Google(谷歌)
ReverbMiipher提出了一种基于参数化重合成框架的语音修复模型,通过ReverbEncoder提取混响特征并结合零向量替换策略实现解耦,在去噪的同时保留并控制混响特性,表现优于传统方法。
2025-07-15 cs.SD eess.AS
Multi-Metric Preference Alignment for Generative Speech Restoration
针对生成式语音修复训练目标与人类感知偏好不对齐的问题,提出多度量偏好对齐策略,构建GenSR-Pref数据集结合DPO优化,在多类生成模型上取得显著性能提升,还可在数据稀缺场景生成伪标签。
2025-11-15 cs.AI cs.LG cs.SD
Real-time Speech Restoration using Data Prediction Mean Flows
Microsoft Research(微软研究院)
本文提出一种结合数据预测均流的多步流匹配模型,以低延迟架构实现实时语音修复,相比现有方法,计算量减少120倍且音频质量相似。
2026-05-15 eess.AS
UnDiff: Unsupervised Voice Restoration with Unconditional Diffusion Model
Samsung Research(三星研究院);HSE University(高等经济大学);Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);Artificial Intelligence Research Institute(人工智能研究院)
本文提出UnDiff,一种无条件扩散模型,通过一次训练即可适应多种语音逆任务,如带宽扩展、去削波、声码和源分离,并展示了其性能优于基线。
2023-10-12 cs.AI cs.SD eess.AS
Spontaneous Informal Speech Dataset for Punctuation Restoration
University of Waterloo(滑铁卢大学);Recognition Technologies, Inc.(识别技术公司);Columbia University(哥伦比亚大学)
针对现有标点恢复模型仅在规范语料评估、与现实自发语音场景不匹配的问题,本研究构建了包含标点和大小写信息的非正式自发语音数据集SponSpeech,提出兼顾音文质量的过滤流水线,并搭建挑战性测试集,相关资源全部开源。
2024-09-17 cs.CL cs.HC cs.LG
Miipher-2: A Universal Speech Restoration Model for Million-Hour Scale Data Restoration
Google DeepMind(谷歌DeepMind)
本文提出 Miipher-2 通用语音修复模型,利用冻结 USM、并行适配器和 WaveFit 声码器,实现多语言、无条件且高效的百万小时训练数据清洗。
2025-07-23 cs.CL cs.SD eess.AS
WaveLLDM: Design and Development of a Lightweight Latent Diffusion Model for Speech Enhancement and Restoration
Institut Teknologi Sepuluh Nopember(泗水理工学院)
本文提出 WaveLLDM,利用神经音频编解码器与潜在扩散在压缩潜在空间中进行语音恢复和去噪,在降低计算复杂度的同时取得准确频谱重建,但感知质量仍有提升空间。
2025-08-28 cs.AI cs.SD eess.AS
Silent Speech Interfaces for Speech Restoration: A Review
University of Granada(格拉纳达大学)
本文综述了无声语音接口(SSI)的研究现状。SSI依赖于在语音产生期间由人体产生的非声学生物信号,以在正常的口头通信不可能或不期望时实现通信。在这篇综述中,我们专注于第一例,并提出最新的SSI研究,旨在为严重言语障碍的人提供新的替代和增强的沟通方法。SSI可以采用各种生物信号来实现无声通信,例如神经活动的电生理记录、声道运动的肌电图(EMG)记录或使用成像技术直接跟踪咬合架运动。根据疾病的不同,一些传感技术可能比其他技术更适合捕捉语音相关信息。例如,肌电图和成像技术非常适合喉切除术患者,他们的声道几乎保持完整,但在声带切除后无法说话,但对于严重瘫痪的人来说却失败了。SSI使用自动语音识别或语音合成算法从生物信号中解码预期消息。尽管近年来取得了相当大的进展,但目前大多数SSI仅在实验室环境中对健康用户进行了验证。因此,如本文所讨论的,一些挑战仍有待解决,在未来的研究,然后才可以推广到现实世界的应用。如果这些问题能够得到成功解决,未来的SSI将通过恢复他们的沟通能力来改善严重语言障碍者的生活。
2020-09-27 cs.HC cs.LG eess.AS
FLEURS-R: A Restored Multilingual Speech Corpus for Generation Tasks
Google DeepMind(谷歌DeepMind)
本文提出语音修复后的多语言并行语料库FLEURS-R,基于FLEURS用Miipher模型提升102种语言语音的质量与保真度,可推动低资源语言语音生成研究,且已公开发布。
2024-08-12 cs.AI cs.CL cs.SD
Estimation and Restoration of Unknown Nonlinear Distortion using Diffusion
针对非线性特性与原始信号均未知的音频失真难题,提出基于无条件训练扩散模型的盲恢复方法,可同时估计非线性函数与恢复信号,性能优于现有方法,可应用于音频修复等多个领域。
2025-01-10 eess.AS
The CCF AATC 2025 Speech Restoration Challenge: A Retrospective
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Audio Department, Huawei CBG(华为CBG音频部门);Beijing AISHELL Technology Co., Ltd.(北京艾斯HELL科技有限公司);University of Science and Technology of China(中国科学技术大学)
2025年CCF AATC挑战回顾了语音恢复领域的现状,揭示了轻量模型、生成模型权衡及度量差距问题。
2025-12-27 cs.SD eess.AS
Machine Learning: Challenges, Limitations, and Compatibility for Audio Restoration Processes
University of Wisconsin-Eau Claire(威斯康星大学欧克莱尔分校);North Carolina A&T State University(北卡罗来纳农工州立大学)
在本文中,机器学习网络被探索用于恢复退化和压缩的语音音频。该项目的目的是建立一个新的训练模型,从语音数据,学习压缩伪像失真的特点介绍了数据丢失从有损压缩和分辨率损失与现有的算法SEGAN:语音增强生成对抗网络。然后,从模型中得到的生成器将用于恢复退化的语音音频。本文详细介绍了随后的兼容性和操作问题的检查,这些问题是通过使用弃用的代码来解决的,这些代码阻碍了训练模型的成功开发。本文进一步探讨了当前机器学习的挑战、局限性和兼容性。
2021-09-06 cs.LG cs.SD eess.AS
HALO: Half-Frame-Rate Adaptive Learnable Operator for Lightweight STFT-Based Speech Enhancement
Nanjing University(南京大学);Horizon Robotics(地平线机器人);Samsung Electronics (China)(三星电子(中国))
提出HALO模块,通过半帧率处理减少STFT重叠帧冗余,降低轻量模型计算成本,在DNS3数据集上验证了有效性。
2026-06-11 eess.AS
Accurate analysis of the pitch pulse-based magnitude/phase structure of natural vowels and assessment of three lightweight time/frequency voicing restoration methods
INESC TEC;University of Porto – Faculty of Engineering(波尔图大学工程学院);Intelligent Systems Associate Laboratory (LASI)(智能系统联合实验室(LASI));Institute of Electronics and Informatics Engineering of Aveiro (IEETA)(阿威罗电子与信息工程研究所(IEETA));School of Health Sciences (ESSUA), University of Aveiro(阿威罗大学健康科学学院(ESSUA));RISE-Health;Centro Hospitalar Universitário de São João(圣若昂大学医院中心);University of Porto – Faculty of Medicine(波尔图大学医学院)
本文提出基音脉冲分割算法以分析自然元音的谐波幅度/相位结构,并客观与主观评估三种轻量级时频域合成浊音化恢复方案。
2025-06-07 cs.SD eess.AS
Dual-branch Attention-In-Attention Transformer for single-channel speech enhancement
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);Bytedance(字节跳动)
课程学习开始在语音增强领域蓬勃发展,它将原始的频谱估计任务分解为多个更容易的子任务以实现更好的性能。受此启发,我们提出了一个双分支注意力的注意力Transformer被称为DB-AIAT处理粗粒度和细粒度的频谱区域并行。从互补的角度来看,幅度掩蔽分支提出粗略估计的整体幅度谱,同时复杂的细化分支精心设计,以补偿丢失的频谱细节和隐式地获得相位信息。在每个分支中,我们提出了一种新的基于注意力转换器的注意力模块,以取代传统的RNN和时间卷积网络进行时间序列建模。具体而言,所提出的注意中注意Transformer由自适应时频注意Transformer块和自适应分层注意模块组成,旨在捕获长期的时频依赖性,并进一步聚合全局分层上下文信息。语音银行+需求的实验结果表明,DB-AIAT产生最先进的性能(例如,3.31 PESQ,95.6% STOI和10.79dB SSNR),优于先前具有相对较小模型尺寸(2.81 M)的先进系统。
2022-02-14 cs.AI cs.SD eess.AS
DBNet: A Dual-branch Network Architecture Processing on Spectrum and Waveform for Single-channel Speech Enhancement
Inner Mongolia University(内蒙古大学)
在实际声学环境中,语音增强是一项艰巨的任务,它要提高受背景噪声和混响干扰的语音的质量和可懂度。在过去的几年里,深度学习在语音增强方面显示出了巨大的潜力。在本文中,我们提出了一种新的实时框架称为DBNet,这是一个双分支结构与交替互连。每个分支包含具有跳过连接的编码器-解码器架构。这两个分支分别负责频谱和波形建模。两个分支之间采用桥接层进行信息交换。系统的评估和比较表明,该系统大大优于相关算法在非常具有挑战性的环境下。在INTERSPEECH 2021深度噪声抑制(DNS)挑战中,该系统在ITU-T P.835框架的平均意见得分(MOS)方面在实时轨道1中排名前8位。
2021-05-06 cs.SD eess.AS
Pyramid Multi-branch Fusion DCNN with Multi-Head Self-Attention for Mandarin Speech Recognition
作为自动语音识别的主要分支之一,基于注意力的模型极大地提高了模型的特征表示能力。特别地,在注意力方面采用了多头机制,希望在不同的注意力子空间中学习更多方面的语音特征。对于复杂语言的语音识别来说,一方面,头部尺寸较小会导致可学习方面明显不足。另一方面,我们需要降低每个子空间的维数,以保持整体特征空间的大小不变,当我们增加头部的数量,这将显着削弱表示每个子空间的特征的能力。因此,本文探讨如何使用一个小的注意力子空间来表示完整的语音特征,同时确保许多头部。在这项工作中,我们提出了一种新的神经网络架构,即金字塔多分支融合DCNN与多头自注意。该结构受扩展卷积神经网络(DCNN)的启发,它使用DCNN的多个分支来提取不同感受野下输入语音的特征。为了减少参数的数量,每两个分支合并一次,直到所有分支合并为一个。因此,它的形状就像一个旋转90度的金字塔。我们证明,在Aishell-1,一个广泛使用的普通话语音数据集,我们的模型实现了字符错误率(CER)的6.45%的测试集。
2023-03-23 cs.SD eess.AS
Neuromorphic Speech Enhancement with Dual-Branch Spiking Neural Networks
School of Communication Engineering, Hangzhou Dianzi University(杭州电子科技大学通信工程学院)
提出双分支脉冲神经网络GSU-DBNet,通过门控脉冲单元同时建模幅度和复数频谱,在仅394K参数下达到3.04 PESQ,优于现有SNN方法且参数仅为ANN模型的4.5%-10.6%。
2026-06-24 cs.AI cs.SD eess.AS
Dual-Branch Knowledge Distillation for Noise-Robust Synthetic Speech Detection
Anhui University(安徽大学);CASIA(中国科学院自动化研究所);Tsinghua University(清华大学)
针对噪声导致合成语音检测性能下降的问题,提出DKDSSD双分支知识蒸馏方法,通过干净教师与含噪学生并行建模、交互融合及响应蒸馏提升噪声鲁棒性与跨数据集性能。
2024-04-16 cs.SD eess.AS
Branchformer: Parallel MLP-Attention Architectures to Capture Local and Global Context for Speech Recognition and Understanding
Carnegie Mellon University(卡内基梅隆大学)
Conformer已被证明在许多语音处理任务中是有效的。它结合了使用卷积提取局部依赖和使用自注意提取全局依赖的优点。受此启发,我们提出了一种更灵活,可解释和可定制的编码器替代方案,Branchformer,具有并行分支,用于在端到端语音处理中建模各种范围依赖关系。在每个编码器层中,一个分支采用自注意或其变体来捕获长程依赖性,而另一个分支利用具有卷积门控的MLP模块(cgMLP)来提取局部关系。我们对几个语音识别和口语语言理解基准进行了实验。结果表明,我们的模型优于Transformer和cgMLP。它还与Conformer实现的最先进的结果相匹配或优于Conformer。此外,我们展示了各种策略,以减少计算感谢两个分支架构,包括在一个单一的训练模型具有可变的推理复杂性的能力。为合并分支学习的权重指示了如何在不同层中利用局部和全局依赖性,这有利于模型设计。
2022-07-06 cs.CL cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Southern University of Science and Technology of China(南方科技大学)
提高用户在噪声环境中理解语音的听力能力对于助听器(HA)设备的发展至关重要。为此,重要的是要得到一个度量,可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试,并使用测试结果作为评估指标。然而,进行大规模的听力测试既耗时又昂贵。因此,几个评估指标作为主观听力测试结果的替代品。在这项研究中,我们提出了一个多分支的语音清晰度预测模型(MBI-Net),用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成,每个分支由听力损失模型,跨域特征提取模块和语音可懂度预测模型组成,用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性,它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Efficient Ensemble for Multimodal Punctuation Restoration using Time-Delay Neural Network
Columbia University(哥伦比亚大学);Recognition Technologies, Inc.(识别技术公司)
本文提出EfficientPunct,一种基于多模态时延神经网络的集成方法,用于高效标点恢复,以更少参数超越现有最佳模型1.0 F1点,并创下新的最先进水平。
2024-02-24 cs.CL cs.HC cs.LG
Foster Strengths and Circumvent Weaknesses: a Speech Enhancement Framework with Two-branch Collaborative Learning
University of Electronic Science and Technology of China(电子科技大学)
现有的单通道语音增强方法通常将波形变换到时频域,以幅度/复谱作为优化目标。然而,基于幅度谱的方法和基于复谱的方法都有各自的优点和缺点。在本文中,我们提出了一个统一的两个分支的框架,以促进优势和规避不同的范式的弱点。该框架可以充分利用震级谱图的明显谱规律性,突破基于震级的方法所面临的瓶颈。在每个分支中,我们使用协作专家块及其变体作为常规卷积层的替代品。在TIMIT基准测试上的实验表明,该方法优于现有的最先进的方法。
2021-10-12 cs.SD eess.AS
Enhancing Neural Speech Coding with Semantic and Visual Cues
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学语音和语言信息处理国家工程研究中心)
该研究提出SVSC编解码器,通过语义与视觉线索的两种注入策略,在低比特率下提升神经语音编码的重建性能,使ViSQOL评分达4.01
2026-09-07 eess.AS
GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM
Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信)
针对当前TTS架构在声学特征丢失、严格对齐依赖和文本理解灾难性遗忘上的矛盾,提出双分支架构GOAT-TTS,通过模态对齐与模块化微调实现无需转录依赖的实时流式高质量语音合成。
2025-05-28 cs.CL cs.SD eess.AS
A Composite Predictive-Generative Approach to Monaural Universal Speech Enhancement
本文提出PGUSE模型,通过结合预测分支与生成分支并利用输出融合和截断扩散方案,有效克服了单一方法的缺陷,在多个数据集上显著提升了通用语音增强性能。
2025-05-30 eess.AS
PDPCRN: Parallel Dual-Path CRN with Bi-directional Inter-Branch Interactions for Multi-Channel Speech Enhancement
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院)
本文提出PDPCRN,通过并行双路径结构和双向分支间交互增强多通道语音特征融合与建模,在TIMIT上相比DPCRN提升PESQ和STOI指标,同时降低参数量和计算开销。
2023-09-19 cs.SD eess.AS
Unsupervised Speech Enhancement using Data-defined Priors
本文提出双分支编码器-解码器与对抗训练框架,利用不成对干净语音和噪声数据定义先验,实现无监督语音增强,并揭示域内干净数据会导致性能评估过于乐观。
2025-09-26 cs.AI cs.SD eess.AS
Speech Enhancement based on Denoising Autoencoder with Multi-branched Encoders
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Taiwan International Graduate Program (TIGP), Academia Sinica(中央研究院台湾国际研究生计划);Graduate Institute of Electronics Engineering (GIEE), National Taiwan University(台湾大学电子工程学研究所);National Institute of Information and Communications Technology(日本国立信息通信研究机构);Institute of Information Science, Academia Sinica(中央研究院信息科学研究所)
基于深度学习的模型极大地提高了语音增强(SE)系统的性能。然而,两个问题仍然没有解决,这与模型对噪声条件的可推广性密切相关:(1)测试期间的不匹配噪声条件,即,当用训练数据中不涉及的看不见的噪声类型来测试模型时,性能通常是次优的;(2)局部集中于特定的噪声条件,即,使用多种类型的噪声训练的模型不能最佳地去除特定的噪声类型,即使该噪声类型已经包含在训练数据中。这些问题在实际应用中很常见。在本文中,我们提出了一种新的去噪自动编码器与多分支编码器(称为DAEME)模型来处理这两个问题。在DAEME模型中,涉及两个阶段:训练和测试。在训练阶段,我们建立多个组件模型,形成一个基于决策树(DSDT)的多分支编码器。DSDT是建立在语音和噪声条件的先验知识的基础上(扬声器,环境和信号因素被认为是在本文中),其中多分支编码器的每个组件执行一个特定的映射,从嘈杂的干净的语音沿分支在DSDT。最后,在多分支编码器之上训练解码器。在测试阶段,含噪语音首先由每个分量模型处理。来自这些模型的多个输出然后被集成到解码器中以确定最终的增强语音。实验结果表明,DAEME是优于几个基线模型的客观评价指标,自动语音识别的结果,和质量的主观人类听力测试。
2020-12-25 cs.SD eess.AS
Improving Speech Enhancement by Integrating Inter-Channel and Band Features with Dual-branch Conformer
NERCMS;Hubei Luojia Laboratory(湖北珞珈实验室);Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University(武汉大学多媒体与网络通信工程湖北省重点实验室)
针对现有语音增强方法未挖掘特征通道间相关性的问题,提出通道感知双分支Conformer架构,通过挖掘通道长程时频关联提取相关特征,在DNS-Challenge 2020数据集上以较低计算成本实现更优性能。
2024-07-13 cs.MM cs.SD eess.AS
DBT-Net: Dual-branch federative magnitude and phase estimation with attention-in-attention transformer for monaural speech enhancement
Communication University of China(中国传媒大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
在语音增强领域中开始点燃了混合式概念,其将原始复杂的频谱估计任务混合成多个更容易的子任务,即,仅幅度恢复和残余复谱估计)},从而导致更好的性能和更容易的可解释性。在本文中,我们提出了一个双分支联邦幅度和相位估计框架,被称为DBT网络,单声道语音增强,旨在恢复的粗粒度和细粒度的区域的整体频谱并行。从互补的角度来看,幅度估计分支被设计为滤除幅度域中的主要噪声分量,而复频谱净化分支被精心设计为修补丢失的频谱细节并隐式地估计复值频谱域中的相位信息。为了促进每个分支之间的信息流,引入交互模块来利用从一个分支中学习的特征,从而抑制不需要的部分并恢复另一个分支中丢失的组件。我们没有采用传统的RNN和时间卷积网络进行序列建模,而是在每个分支中采用了一种新的基于注意力转换器的网络,以更好地进行特征学习。更具体地说,它是由几个自适应频谱-时间注意力转换器为基础的模块和一个自适应层次注意力模块,旨在捕捉长期的时间-频率依赖性,并进一步聚合中间层次的上下文信息。对WSJ 0-SI 84 + DNS-Challenge和VoiceBank + DEMAND数据集的综合评估表明,所提出的方法始终优于以前的先进系统,并在语音质量和可懂度方面产生最先进的性能。
2022-07-30 cs.SD eess.AS
Interactive Speech and Noise Modeling for Speech Enhancement
Microsoft Research Asia(微软亚洲研究院)
由于背景噪声类型的多样性,语音增强具有挑战性。大多数现有的方法都集中在语音建模,而不是噪声。在本文中,我们提出了一个新的想法,同时在一个两个分支的卷积神经网络,即SN网络的语音和噪声建模。在SN-Net中,这两个分支分别预测语音和噪声。在两个分支之间的几个中间特征域引入交互模块,而不是只在最终输出层进行信息融合,以使彼此受益。这样的交互可以利用从一个分支学习的特征来抵消不期望的部分并恢复另一个分支的缺失分量,从而增强它们的辨别能力。我们还设计了一个特征提取模块,即剩余卷积和注意力(RA),以捕获语音和噪声沿时间和频率维度的相关性。对公共数据集的评估表明,交互模块在同步建模中起着关键作用,SN-Net在各种评估指标上的表现远远优于最先进的技术。所提出的SN网络也显示出优越的性能,说话人分离。
2021-04-14 cs.SD eess.AS eess.SP
GLD-Net: Improving Monaural Speech Enhancement by Learning Global and Local Dependency Features with GLD Block
Trinity College Dublin(都柏林圣三一学院);vivo AI Lab(vivo人工智能实验室);HBUCM(河北中医药大学)
对于单声道语音增强,上下文信息对于准确的语音估计是重要的。然而,常用的卷积神经网络(CNN)在捕获时间上下文方面很弱,因为它们一次只构建处理一个局部邻域的块。为了解决这个问题,我们从人类的听觉感知中学习,引入了一个两阶段的可训练推理机制,称为全局-局部依赖(GLD)块。GLD块从噪声频谱图中捕获全局水平和局部水平的时频点的长期依赖性,以帮助检测语音部分、噪声部分和整个噪声输入之间的相关性。此外,我们还提出了一种单声道语音增强网络GLD-Net,该网络采用编解码器结构,由语音对象分支、干扰分支和全局噪声分支组成。提取的语音特征在全局和局部水平的有效推理和聚合在每个分支。我们将建议的GLD-Net与WSJ 0和DEMAND数据集上现有的最先进方法进行了比较。结果表明,GLD-Net在PESQ和STOI方面优于最先进的方法。
2022-06-30 cs.SD eess.AS
Monaural Speech Enhancement Using a Multi-Branch Temporal Convolutional Network
深度学习在单通道语音增强任务上取得了实质性的改进。然而,基于多层感知(MLP)的方法的性能受到捕获长期有效历史信息的能力的限制。递归神经网络(RNN),例如,长短期记忆(LSTM)模型能够捕捉长时间的时间依赖关系,但存在高延迟和训练复杂度的问题,为了解决这些问题,提出了时间卷积网络(TCN)来代替RNN进行各种序列建模任务。本文提出了一种基于多分支结构的单声道语音增强的TCN模型--多分支TCN(MB-TCN),该模型采用分裂-变换-聚合的设计方法,以较低的计算复杂度获得较强的表示能力,并在TCN模型的启发下,MB-TCN模型结合了一维因果扩张的CNN和残差学习,以扩展用于捕获长-我们广泛的实验研究表明,MB-TCN优于残留的长短时记忆网络,(ResLSTM)、时间卷积网络(TCN)以及在语音可懂度和质量方面采用密集聚合的CNN网络,同时提供优异的参数效率。此外,我们的实验结果表明,我们提出的MB-TCN模型能够在五个广泛使用的客观指标方面优于多种最先进的基于深度学习的语音增强方法。
2020-05-17 eess.AS eess.SP