HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
SNOAR: Self-training with Noise filtering, Observation adding, and Remixing for Speech Denoising Without Clean References
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出SNOAR框架，通过噪声过滤、观测值添加修正教师模型估计，在WHAM!和CHiME-3数据集上，其性能优于RemixIT，接近全监督基线。
2026-10-16 cs.LG cs.SD eess.AS
A Diffusion-Based Generative Equalizer for Music Restoration
Aalto University（阿尔托大学）；Sibelius Academy, University of the Arts Helsinki（赫尔辛基艺术大学西贝柳斯音乐学院）
本文提出 BABE-2，利用扩散模型先验联合估计滤波器退化幅度响应并生成修复音频，将带宽扩展拓展为生成式均衡，在历史钢琴及歌唱家录音上取得显著增强。
2025-03-13 cs.SD eess.AS
Implementing simple spectral denoising for environmental audio recordings
University of São Paulo（圣保罗大学）；University College Cork（科克大学）
本技术报告详细介绍了应用于噪声滤波器的变更，以促进其应用并改善其结果。该滤波器被应用于降噪的自然声音记录在野外，并产生一个用于声景分析的声学指数。
2022-01-06 cs.MM cs.SD eess.AS
Generating Training Targets for Real-World Speech Enhancement via Close-to-Distant Microphone Projection
University of Tokyo（东京大学）
提出近远麦克风投影（C2D投影）方法，利用真实录音生成配对数据，通过参数化多通道维纳滤波器实现投影，训练神经网络在远场语音增强中优于现有GSS方法。
2026-06-12 cs.SD eess.AS
Noise-Robust Voice Conversion by Conditional Denoising Training Using Latent Variables of Recording Quality and Environment
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）；LY Corp.（LY公司）
针对未见噪声下语音转换自然度受限的问题，提出用录音质量与环境潜变量条件化VC模型的去噪训练方法，并通过主客观评估验证其转换语音质量提升。
2024-06-11 cs.SD eess.AS
BEHM-GAN: Bandwidth Extension of Historical Music using Generative Adversarial Networks
Aalto University（阿尔托大学）
音频带宽扩展旨在扩展窄带音频信号的频谱。虽然这一主题在近年来得到了广泛的研究，但扩展历史音乐录音的带宽的特定问题仍然是一个公开的挑战。本文提出了BEHM-GAN，一个基于生成对抗网络的模型，作为这个问题的实际解决方案。所提出的方法与音频的复杂频谱图表示一起工作，并且由于专用的正则化策略，可以有效地扩展未分发的真实历史记录的带宽。BEHM-GAN被设计为在对录音进行去噪后的第二步应用，以抑制任何附加干扰，例如滴答声和背景噪声。我们使用钢琴独奏古典音乐进行训练和评估。在客观和主观实验中，所提出的方法优于比较基线。正式的盲听测试结果表明，BEHM-GAN显著提高了20世纪早期留声机录音的感知音质。对于几个项目，有一个实质性的改善后，提高历史记录与建议的带宽扩展算法的平均意见得分。这项研究代表了在现实世界中数据驱动的音乐恢复的相关步骤。
2022-06-28 cs.SD eess.AS
Training Set Synthesis for Bioacoustic Denoising: A Case Study With Mice
针对生物声学去噪的训练集合成方法，开发了脊线引导损失的U-Net去噪模型，以小鼠超声发声为案例，提升了脊线跟踪与USV分类性能，可推广至其他生物声学信号。
2026-08-12 cs.SD eess.AS
Test-Time Adaptation Toward Personalized Speech Enhancement: Zero-Shot Learning with Knowledge Distillation
Fictional University（虚构大学）；University Imagination（想象大学）；Important Laboratory（重要实验室）；Indiana University（印第安纳大学）
在终端用户设备的实际语音增强设置中，我们经常只遇到少数扬声器和噪声类型，这些扬声器和噪声类型往往会在特定声学环境中重新出现。我们提出了一种新的个性化的语音增强方法，以适应一个紧凑的去噪模型的测试时间特异性。我们的目标是在这个测试时间适应是利用没有干净的语音目标的测试发言人，从而满足要求的zero-shot学习。为了弥补缺乏干净的话语，我们采用知识蒸馏框架。代替缺失的干净话语目标，我们从过大的教师模型中提取更高级的去噪结果，并将其用作伪目标来训练小的学生模型。这种zero-shot学习过程规避了收集用户的干净语音的过程，由于隐私问题和记录干净语音的技术困难，用户不愿意遵守该过程。在各种测试时间条件下的实验表明，与从大型扬声器和噪声不可知数据集训练的较大基线网络相比，所提出的个性化方法实现了显着的性能增益。此外，由于紧凑的个性化模型可以优于较大的通用模型，我们声称，所提出的方法进行模型压缩，而不会损失去噪性能。
2021-05-08 cs.LG cs.SD eess.AS
Speaker-Independent Microphone Identification in Noisy Conditions
Politecnico di Milano（米兰理工大学）；Fraunhofer Institute for Digital Media Technology（弗劳恩霍夫数字媒体技术研究所）；TU Ilmenau（伊尔梅瑙工业大学）
这项工作提出了一种从语音记录中识别源设备的方法，该方法应用基于神经网络的去噪，以减轻使用噪声注入的反取证攻击的影响。通过比较去噪对麦克风分类的三个最先进特征的影响，确定其在应用和不应用去噪的情况下的辨别能力，来评估该方法。所提出的框架实现了显着的性能提高嘈杂的材料，更一般地说，验证了有用的应用去噪之前的设备识别嘈杂的录音。
2023-01-26 cs.SD eess.AS
N-HANS: Introducing the Augsburg Neuro-Holistic Audio-eNhancement System
University of Augsburg（奥格斯堡大学）；Imperial College London（帝国理工学院）
N-HANS是一个Python工具包，用于野外音频增强，包括语音，音乐和一般音频去噪，分离和选择性噪声或源抑制。这些功能是基于共享相同架构但单独训练的两个神经网络模型来实现的。这些模型由一堆残余块组成，每个残余块都以额外的语音或环境噪声记录为条件，以适应现实生活中不同的看不见的说话者或环境。除了Python API之外，还为研究人员和开发人员提供了命令行界面，这两者都在https://github.com/N-HANS/N-HANS上有文档记录。实验结果表明，N-HANS取得了优异的性能，并确保其可靠的使用在现实生活中的音频和语音相关的任务，达到非常高的音频和语音质量。
2019-11-27 cs.SD eess.AS
Spectrographic Portamento Gradient Analysis: A Quantitative Method for Historical Cello Recordings with Application to Beethoven's Piano and Cello Sonatas, 1930--2012
Dr Ignasi Sole（Ignasi Sole）
本文提出频谱梯度作为端滑的定量描述，用于分析历史大提琴录音，通过结合Sonic Visualizer、GIMP和频谱轴校准，验证了梯度与速度的负相关性。
2026-04-23 cs.SD eess.AS
DFingerNet: Noise-Adaptive Speech Enhancement for Hearing Aids
University of Augsburg（奥格斯堡大学）；Technical University of Munich（慕尼黑工业大学）；WS Audiology；Imperial College London（帝国理工学院）；Munich Data Science Institute（慕尼黑数据科学研究所）
本文提出DFingerNet，通过将上下文自适应引入DeepFilterNet，利用外部背景录音调节去噪过程，在助听器场景下以最小计算开销提升语音增强性能。
2025-01-23 cs.LG cs.SD eess.AS
Personalized Speech Enhancement through Self-Supervised Data Augmentation and Purification
Indiana University（印第安纳大学）
训练个性化的语音增强模型本质上是一个无镜头学习问题，由于隐私的限制和有限的访问从目标用户的无噪声语音。如果测试时用户有大量未标记的嘈杂语音，则可以使用自监督学习来训练个性化的语音增强模型。模型个性化的一种直接方法是使用目标说话者的嘈杂录音作为伪源。然后，伪去噪模型学习去除注入的训练噪声并恢复伪源。然而，这种方法是不稳定的，因为它取决于伪源的质量，这可能是太嘈杂。作为补救措施，我们提出了一个改进的自我监督的方法，通过数据净化。我们首先训练一个SNR预测器模型来估计伪源的逐帧SNR。然后，预测器的估计被转换成权重，该权重调整伪源对训练个性化模型的逐帧贡献。我们的经验表明，建议的数据净化步骤提高了可用性的扬声器特定的噪声数据的背景下，个性化的语音增强。在不依赖任何干净的语音记录或说话者嵌入的情况下，我们的方法可以被视为隐私保护。
2021-04-05 cs.LG cs.SD eess.AS
Learning to Denoise Historical Music
Google（谷歌）
我们提出了一个音频到音频的神经网络模型，学习去噪旧的音乐录音。我们的模型通过短时傅里叶变换（STFT）在内部将其输入转换为时频表示，并使用卷积神经网络处理所得的复杂频谱图。该网络在合成噪声音乐数据集上进行重建和对抗目标训练，该数据集是通过将干净的音乐与从旧录音的安静片段中提取的真实噪声样本混合而创建的。我们对我们的方法进行了定量评估，对合成数据集的测试示例进行了定量评估，并对实际历史记录的样本进行了定性评估。实验结果表明，该方法在去除噪声的同时，较好地保留了原始音乐的细节和质量。
2022-06-16 cs.LG eess.AS
Blind Audio Bandwidth Extension: A Diffusion-Based Zero-Shot Approach
Aalto University（阿尔托大学）
针对低通退化未知的盲音频带宽扩展问题，提出基于预训练无条件扩散模型的零样本方法BABE，通过参数化迭代推断未知退化算子的广义扩散后验采样实现重建，在合成数据上优于现有盲方法且性能接近知情方法，对真实历史录音增强泛化性好、音质提升显著。
2024-01-30 cs.LG cs.SD eess.AS
A Manual Bar-by-Bar Tempo Measurement Protocol for Polyphonic Chamber Music Recordings: Design, Validation, and Application to Beethoven's Piano and Cello Sonatas
本文提出一种手动累积计时器协议，用于精确提取历史多声部室内乐录音中的节奏数据，解决了传统自动节拍检测软件在处理历史作品时的局限性。
2026-04-16 cs.SD eess.AS
SADDEL: Joint Speech Separation and Denoising Model based on Multitask Learning
National Taiwan University（国立台湾大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
在真实世界场景中收集的语音数据通常会遇到两个问题。首先，多个源可能同时存在，并且源的数量可能随时间而变化。其次，录音中背景噪声的存在是不可避免的。为了处理第一个问题，我们参考语音分离方法，该方法将语音从未知数量的说话者中分离出来。为了解决第二个问题，我们参考了语音去噪方法，该方法去除噪声分量并检索纯语音信号。已经提出了许多基于深度学习的语音分离和去噪方法，这些方法显示出有希望的结果。然而，很少有作品试图同时解决这些问题，尽管语音分离和去噪任务具有相似的性质。在这项研究中，我们提出了一个联合语音分离和去噪框架的基础上的多任务学习标准，同时解决这两个问题。实验结果表明，该框架不仅在语音分离和去噪任务上表现良好，而且在大多数情况下优于相关方法。
2020-05-20 cs.SD eess.AS
Detection of blue whale vocalisations using a temporal-domain convolutional neural network
Universidad de Chile（智利大学）；Fundación Meri（梅里基金会）
我们提出了一个框架，从声学潜艇录音检测蓝鲸发声。所提出的方法包括三个阶段：i）预处理步骤，其中通过归一化，滤波和去噪来调节音频记录; ii）标签传播机制，以确保鲸鱼发声注释的一致性，以及iii）接收音频样本的卷积神经网络。基于34个真实世界的潜艇记录（28个用于训练，6个用于测试），我们获得了有希望的性能指标，包括85.4%的准确率和93.5%的召回率。此外，即使对于我们的检测器与地面实况标签不匹配的情况，目视检查也验证了我们的方法能够检测到由于不完整的呼叫而未标记的鲸鱼呼叫的可能部分。
2021-10-05 cs.SD eess.AS
Evolving Performance Practices in Beethoven's Cello Sonatas: Tempo, Portamento, and Historical Interpretation of the First Movements
本文通过分析1930-2012年的22张历史录音，研究了贝多芬大提琴奏鸣曲中速度与滑音的演变，揭示了现代演奏与历史节拍标记的偏差，并探讨了指法技术对速度提升和可听滑音减少的影响，同时强调了“无声滑音”的持续表现力。
2025-01-23 cs.HC cs.SD eess.AS
An incremental algorithm based on multichannel non-negative matrix partial co-factorization for ambient denoising in auscultation
University of Jaen（哈恩大学）
针对听诊生物医学声音的高噪声环境降噪问题，提出基于多通道NMPCF的增量算法，在低SNR、不同噪声类型及输入延迟场景下均表现出更稳定优异的降噪性能。
2024-11-01 cs.SD eess.AS eess.SP
DAS-N2N: Machine learning Distributed Acoustic Sensing (DAS) signal denoising without clean data
Silixa Ltd（Silixa有限公司）；British Antarctic Survey（英国南极调查局）
本文提出弱监督方法DAS-N2N，通过拼接同一光缆中两根光纤获取同一信号的两个独立含噪副本训练深度学习模型，无需干净标签即可显著抑制DAS随机噪声并提升微震事件信噪比，且比传统滤波和掩蔽式自监督方法更高效。
2023-11-24 cs.LG cs.SD eess.AS
CrowdioSet and PaRIRset: Two Datasets Towards Live Music Source Separation
该研究针对现有音乐源分离模型难以泛化到现场音乐的问题，构建CrowdioSet与PaRIRset两个数据集，可提升模型现场分离性能，相关资源已公开。
2026-07-31 cs.SD eess.AS
MIMO Speech Compression and Enhancement Based on Convolutional Denoising Autoencoder
对于物联网环境中与语音相关的应用，确定有效的方法来处理干扰噪声和压缩传输中的数据量对于实现高质量的服务至关重要。在这项研究中，我们提出了一种新的多输入多输出语音压缩和增强（MIMO-SCE）系统的卷积去噪自动编码器（CDAE）模型的基础上，同时提高语音质量和减少传输数据的维数。与传统的单通道和多输入单输出系统相比，MIMO系统可以用于处理需要处理的多个声学信号的应用中。我们研究了两种CDAE模型，全卷积网络（FCN）和Sinc FCN，作为MIMO系统中的核心模型。实验结果证实，所提出的MIMO-SCE框架有效地提高了语音质量和可懂度，同时减少了7倍的记录数据量进行传输。
2021-06-07 eess.AS eess.SP
Music Augmentation and Denoising For Peak-Based Audio Fingerprinting
Deezer（迪泽公司）
本文针对噪声环境下音频指纹识别失效问题，提出并发布逼真音乐噪声增强流程及频谱图去噪深度学习模型，实验证明该模型能提升常用峰值指纹系统在噪声条件下的识别性能。
2023-10-29 cs.IR cs.LG cs.SD
On the Application of Diffusion Models for Simultaneous Denoising and Dereverberation
针对扩散模型在实际场景中同时去噪和去混响能力研究不足的问题，通过对比级联模型与单一模型的效果，发现按主导失真顺序级联模型或在三类失真数据上训练单一模型可实现更优增强。
2025-08-26 eess.AS
Enhancing Spectrogram Realism in Singing Voice Synthesis via Explicit Bandwidth Extension Prior to Vocoder
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克Quantin研究所）；Rajiv Gandhi University（拉朱·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文提出结合扩散频谱图估计与改进的Vocos声码器，在声码前进行显式带宽扩展，生成高保真歌唱语音，使听者与机器难以区分真假。
2025-08-03 cs.SD eess.AS
Speech Driven Video Editing via an Audio-Conditioned Diffusion Model
University of Galway（高威大学）；University of Wrocław（弗罗茨瓦夫大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Tooploox（Tooploox公司）；Trinity College Dublin（都柏林圣三一学院）
本文提出一种基于音频条件扩散模型的端到端语音驱动视频编辑方法，无需中间结构表示即可同步唇部与下颌运动，并在CREMA-D数据集上验证了可行性。
2023-05-11 cs.CV cs.LG cs.SD
Subspace Hybrid Beamforming for Head-worn Microphone Arrays
提出了一种两阶段多通道语音增强方法，该方法由一种新的自适应波束形成器、混合最小方差无失真响应（MVDR）、各向同性MVDR（Iso）和一种新的多通道谱主成分分析（PCA）去噪组成。在第一阶段，混合MVDR使用预定义的噪声场模型的字典执行多个MVDR，并选择最小功率结果，这得益于信号无关波束形成的鲁棒性和自适应波束形成的性能。在第二阶段，混合和ISO的结果联合使用在一个基于PCA的双通道去噪，以消除由混合波束形成器产生的“音乐噪声”。在头戴式阵列的真实“鸡尾酒会”录音数据集上，所提出的方法在噪声抑制（fwSegSNR，SDR，SIR，SAR）和语音清晰度（STOI）方面优于基线超定向波束形成器，并具有类似的语音质量（PESQ）改善。
2023-03-15 eess.AS eess.SP
CardioXNet: A Novel Lightweight Deep Learning Framework for Cardiovascular Disease Classification Using Heart Sound Recordings
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；King Saud University（沙特国王大学）；Taiz University（塔伊兹大学）
令人震惊的高死亡率和全球心血管疾病日益增加的流行率表明迫切需要早期发现计划。心音图（PCG）信号由于其简单性和成本效益而在历史上一直应用于该领域。在本文中，我们提出了一种新的轻量级端到端CRNN架构，用于使用原始PCG信号自动检测五类心脏听诊，即正常，主动脉瓣狭窄，二尖瓣狭窄，二尖瓣返流和二尖瓣脱垂。这一过程通过两个学习阶段实现了自动化。三个并行的CNN路径已被实施在表示学习阶段，学习粗粒度和细粒度的功能，从PCG和探索的显着特点，从可变的感受野涉及2D-CNN基于挤压扩展。因此，在表示学习阶段，网络提取有效的时不变特征，并快速收敛。在序贯残差学习阶段，利用双向LSTM和跳过连接，网络可以熟练地提取时间特征，而无需对信号执行任何特征提取。所获得的结果表明，所提出的端到端架构在所有评估指标中均具有出色的性能，与以前的最先进的方法相比，平均准确率高达99.60%，精确率为99.56%，召回率为99.52%，平均F1分数为99.68%，同时具有计算可比性。该模型比以前使用相同数据集的作品有相当大的优势。主要数据集和次要数据集的高准确性指标与数量显著较少的参数和端到端预测方法相结合，使得所提出的网络适用于使用内存限制移动设备的低资源设置中的床旁CVD筛查。
2021-03-08 cs.SD eess.AS eess.SP
A Review of Speaker Diarization: Recent Advances with Deep Learning
University of Southern California（南加州大学）；Microsoft（微软）；ASAPP；Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日记是一个用与说话人身份相对应的类来标记音频或视频记录的任务，或者简而言之，一个识别“谁在什么时候说话”的任务。在早期，说话人日记化算法被开发用于多说话人音频记录上的语音识别，以实现说话人自适应处理。随着时间的推移，这些算法作为一个独立的应用程序也获得了自己的价值，为音频检索等下游任务提供特定于说话者的元信息。最近，随着深度学习技术的出现，它推动了语音应用领域研究和实践的革命性变化，扬声器日志化取得了快速进步。在本文中，我们不仅回顾了说话人日记化技术的历史发展，而且还在最近的神经说话人日记化方法的进展。此外，我们还讨论了说话人日志化系统如何与语音识别应用集成，以及最近的深度学习浪潮如何引领联合建模这两个组件以实现互补。通过考虑这些令人兴奋的技术趋势，我们相信本文是对社区的宝贵贡献，通过巩固神经方法的最新发展，从而促进更有效的扬声器日记的进一步进展，提供了一个调查工作。
2021-11-26 cs.CL cs.SD eess.AS
