Deep Variational Generative Models for Audio-visual Speech Separation
Inria Nancy Grand-Est（法国国家信息与自动化研究所南锡-大东部分所）
在本文中，我们感兴趣的视听语音分离给定的单通道音频记录以及与每个扬声器相关的视觉信息（嘴唇运动）。我们提出了一个无监督的技术的基础上视听生成模型的干净的语音。更具体地，在训练期间，使用变分自动编码器（VAE）从干净的语音频谱图学习潜变量生成模型。为了更好地利用视觉信息，潜变量的后验是从混合语音（而不是干净的语音）以及视觉数据中推断出来的。视觉模态也通过视觉网络作为潜在变量的先验。在测试时，学习的生成模型（用于说话者无关和说话者相关场景）与用于背景噪声的无监督非负矩阵分解（NMF）方差模型相结合。所有的潜变量和噪声参数，然后估计的蒙特卡罗期望最大化算法。我们的实验表明，所提出的基于无监督VAE的方法比基于NMF的方法以及基于监督深度学习的技术具有更好的分离性能。
2021-08-31 cs.LG cs.SD eess.AS
Lightweight and interpretable neural modeling of an audio distortion effect using hyperconditioned differentiable biquads
iZotope, Inc.（iZotope公司）
在这项工作中，我们建议使用可微级联biquads模型的音频失真效果。我们将可训练的无限脉冲响应（IIR）滤波器扩展到超条件的情况下，在这种情况下，学习变换以直接将失真效应的外部参数映射到其内部滤波器和增益参数，以及确保滤波器稳定性所需的激活。我们提出了一种新的，有效的IIR滤波器的训练计划，通过傅里叶变换。相对于使用有限脉冲响应滤波器的更传统的黑盒神经音频效果建模方法，我们的模型具有更少的参数和更低的复杂性。我们最小、性能最好的模型充分模拟了44.1 kHz的BOSS MT-2踏板，总共使用了40个双四边形，只有210个参数。它的模型参数是可解释的，可以与原始模拟音频电路相关联，甚至可以在模型训练后由机器学习非专家直观地改变。定量和定性的结果说明了所提出的方法的有效性。
2021-03-15 cs.SD eess.AS eess.SP
Wav2code: Restore Clean Speech Representations via Codebook Lookup for Noise-Robust ASR
School of Computer Science and Engineering, Nanyang Technological University (NTU)（南洋理工大学计算机科学与工程学院）；National Engineering Research Center of Speech and Language Information Processing (NERC-SLIP), University of Science and Technology of China (USTC)（中国科学技术大学语音与语言信息处理国家工程研究中心）
针对噪声环境下ASR性能下降及传统语音增强存在失真的问题，提出Wav2code自监督框架，通过码本存储与Transformer码预测恢复干净表示，融合特征后提升了多种噪声条件下的ASR鲁棒性。
2024-04-18 cs.LG cs.SD eess.AS
Distortion Recovery: A Two-Stage Method for Guitar Effect Removal
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Positive Grid
针对电吉他录音失真移除问题，提出使用商业级VST插件数据集的两阶段方法，通过Mel频谱图处理与神经声码器生成纯净声音，主客观指标均证明其优于现有方法。
2024-07-23 cs.SD eess.AS
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University（东南大学）；Centre de Recherche en Information Biomédicale Sino-français (CRIBs)（中法生物医学信息研究中心）；The 28th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第二十八研究所）；Univ Rennes（雷恩大学）
在传统的语音去噪任务中，通常使用干净的音频信号作为训练目标，但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点，我们提出了一个端到端的自监督语音去噪训练方案，只使用嘈杂的音频信号，名为Only-Noisy Training（ONT），没有额外的训练条件。该策略仅从单个噪声音频中构造训练对，包含两个模块：训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对，然后送入一个新的复值语音去噪模块。实验结果表明，该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性，而且与其他训练策略相比，其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
Fréchet Audio Distance: A Metric for Evaluating Music Enhancement Algorithms
Google AI（谷歌人工智能（Google AI））
我们提出了Fréchet音频距离（FAD），一种新的，无参考的音乐增强算法的评估指标。我们演示了如何典型的语音增强和盲源分离的评价指标可以不准确地衡量各种失真的感知效果。作为替代方案，我们建议将用于评估生成图像模型的Fréchet Inception Distance（FID）度量调整到音频域。FAD使用各种各样的人工失真进行验证，并与基于信号的指标信号失真比（SDR），余弦距离和幅度L2距离进行比较。我们发现，相关系数为0.52，FAD与人类感知的相关性比SDR，余弦距离或幅度L2距离更密切，相关系数分别为0.39，-0.15和-0.01。
2019-01-17 cs.SD eess.AS
Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions
Collaboration AI, Cisco Systems, Inc.（思科系统公司协作AI部门）；Faculty of Engineering and Natural Sciences, Yeditepe University（耶迪特佩大学工程与自然科学学院）
该研究针对干净语音条件，通过17种编解码器的主观听辨得分，评估45种客观语音质量指标，发现scoreq、utmos等神经指标相关性最高，非侵入式指标在高质量时易饱和。
2026-08-05 cs.AI cs.SD eess.AS
AV2Wav: Diffusion-Based Re-synthesis from Continuous Self-supervised Features for Audio-Visual Speech Enhancement
AV2Wav提出基于扩散模型的再合成音视频语音增强方法，利用AV-HuBERT连续特征和噪声鲁棒训练，在真实数据下生成干净语音，优于掩蔽基线。
2024-11-04 cs.CL cs.SD eess.AS
Mixture of Inference Networks for VAE-based Audio-visual Speech Enhancement
Inria Nancy - Grand Est（法国国家信息与自动化研究所南锡-大东部分部）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
在本文中，我们感兴趣的是无监督（未知噪声）的视听语音增强的基础上变分自编码器（VAE），干净的语音频谱的概率分布模拟使用的编码器-解码器架构。然后在测试时将训练的生成模型（解码器）与噪声模型组合以估计干净的语音。在语音增强阶段（测试时间），描述经由解码器的干净语音的生成过程的潜变量的初始化是至关重要的，因为总体推理问题是非凸的。这通常是通过使用经过训练的编码器的输出来完成的，其中嘈杂的音频和干净的视觉数据作为输入。当前的视听VAE模型不提供有效的初始化，因为这两种模态在相关联的架构中紧密耦合（级联）。为了克服这个问题，受混合模型的启发，我们引入了混合推理网络变分自编码器（MIN-VAE）。两个编码器网络分别输入音频和视频数据，隐变量的后验被建模为每个编码器网络输出的两个高斯分布的混合。混合变量也是潜在的，因此学习音频和视觉推理网络之间的最佳平衡的推理也是无监督的。通过训练共享解码器，整个网络学习自适应地融合两种模态。此外，在测试时，采用（干净）视觉数据的视觉编码器用于初始化。变分推理方法推导出训练所提出的生成模型。由于新颖的推理过程和鲁棒的初始化，建议MIN-VAE表现出优越的性能语音增强比使用标准的音频以及视听同行。
2021-03-08 cs.CV cs.SD eess.AS
Audio Similarity is Unreliable as a Proxy for Audio Quality
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
许多音频处理任务需要感知评估。然而，获得"黄金标准“人类判断的时间和费用限制了此类数据的可用性。大多数应用程序都包含完全引用或其他基于相似性的度量（例如PESQ），这些度量取决于干净的引用。研究人员依靠这些指标来评估和比较各种建议的方法，通常得出结论，微小的测量差异意味着一种方法比另一种方法更有效。本文演示了几种实际场景，其中相似性度量无法与人类感知一致，因为它们：（1）随着干净的引用而变化;（2）依赖于人类在考虑质量时考虑的属性，以及（3）对不可感知的信号电平差异敏感。在这些情况下，我们表明，无参考指标不遭受这样的缺点，更好地与人类的感知。因此，我们得出结论，相似性作为一个不可靠的代理音频质量。
2022-06-27 cs.SD eess.AS
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London（帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）；Meta
视听语音增强的目的是从噪声环境中提取干净的语音，不仅利用音频本身，而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强，特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展，但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频，通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中，我们提出了LA-VocE，一种新的两阶段方法，通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图，然后使用神经声码器（HiFi-GAN）将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估，并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明，LA-VocE优于现有的方法，根据多个指标，特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
AdVerb: Visually Guided Audio Dereverberation
University of Maryland, College Park（马里兰大学帕克分校）；Mila（米拉魁北克人工智能研究院）；Université de Montréal（蒙特利尔大学）
该研究提出音视频去混响框架AdVerb，借助几何感知跨模态Transformer利用环境视觉信息生成掩模实现去混响，在多个下游任务及数据集上效果显著优于基线方法。
2023-08-23 cs.CV cs.MM cs.SD
AWARE: Audio Watermarking with Adversarial Resistance to Edits
AWARE通过对抗优化在时频域内实现音频水印嵌入，采用不依赖攻击模拟堆栈和手工设计的可微分畸变的检测方法，提升水印解码可靠性。
2026-03-16 cs.LG cs.MM cs.SD
HILCodec: High-Fidelity and Lightweight Neural Audio Codec
Seoul National University（首尔大学）；Institute of New Media and Communications（新媒体与通信研究所）
本文提出HILCodec，通过方差受限设计解决SEANet编解码器性能不随深度增加的问题，并引入无失真判别器，实现了实时流式的高保真轻量级神经音频编解码。
2024-09-24 cs.SD eess.AS
Improving Audio Anomalies Recognition Using Temporal Convolutional Attention Network
University of Sheffield（谢菲尔德大学）
语音记录中的异常音频通常是由说话者语音失真、外部噪声甚至电干扰引起的。这些障碍在某些领域已经成为一个严重的问题，例如高质量的音乐混合和语音处理。在本文中，一种新的方法，使用时间卷积注意力网络（TCAN），提出了解决这个问题。时间常规网络（TCN）的使用可以使用时间卷积滤波器的层次结构来捕获长范围模式。为了增强在不同声学条件下处理音频异常的能力，TCN中使用了注意机制，其中在每个时间卷积层之后添加了自注意块。该方法的目的是突出目标的相关特征，减少无关信息的干扰。为了评估所提出的模型的性能，从TIMIT数据集收集音频记录，然后通过添加五种不同类型的音频失真来改变：高斯噪声，幅度漂移，随机丢失，时间分辨率降低和时间扭曲。失真在不同信噪比（SNR）（5dB、10dB、15dB、20dB、25dB、30dB）下混合。实验结果表明，使用所提出的模型可以产生更好的分类性能比一些强基线方法，如LSTM和TCN的模型，约3 $\sim$ 10\%的相对改善。
2021-02-09 cs.SD eess.AS
WaveFuzz: A Clean-Label Poisoning Attack to Protect Your Voice
Wuhan University（武汉大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Xi’an Jiaotong University（西安交通大学）
人们并不总是接受他们的语音数据被收集和滥用。训练音频智能系统需要这些数据来构建有用的功能，但获得权限或购买数据的成本非常高，这不可避免地鼓励黑客在人们不知情的情况下收集这些语音数据。为了阻止黑客主动收集人们的语音数据，我们首先提出了一种名为WaveFuzz的干净标签中毒攻击，它可以阻止智能音频模型从受保护（中毒）的语音数据中构建有用的功能，但仍然保留了人类的语义信息。具体地说，WaveFuzz干扰语音数据以使Mel频率倒谱系数（MFCC）（音频信号的典型表示）生成中毒的频率特征。这些中毒的特征然后被馈送到音频预测模型，这降低了音频智能系统的性能。从经验上讲，我们通过攻击两种代表性的智能音频系统，即，说话人识别系统（SR）和语音命令识别系统（SCR）。例如，当仅中毒语音数据的$10\%$要微调模型时，模型的准确度下降$19.78\%$，并且当仅训练语音数据的$10\%$中毒时，模型的准确度下降$6.07\%$。因此，WaveFuzz是一种有效的技术，使人们能够反击以保护自己的语音数据，这为改善隐私问题提供了新的思路。
2022-03-25 cs.CR cs.SD eess.AS
Speech Denoising by Accumulating Per-Frequency Modeling Fluctuations
Tel Aviv University（特拉维夫大学）
我们提出了一种音频去噪的方法，该方法结合了在时域和时频域中进行的处理。给定有噪声的音频片段，该方法训练深度神经网络来拟合该信号。由于拟合仅部分成功，并且能够比噪声更好地捕获潜在的干净信号，因此网络的输出有助于将干净音频与其余信号分离。这是通过累积每个时间-频率仓的拟合分数并基于所获得的分数应用时间-频率域滤波来完成的。该方法是完全无监督的，并且仅在正在被去噪的特定音频片段上训练。我们的实验表明，与文献方法相比，良好的性能。我们的代码和示例可在www.example.com上获得，并作为补充。索引术语：音频去噪;无监督学习
2020-06-08 cs.LG cs.SD eess.AS
Co-Adaptive Entropy Modeling and Rate-Distortion-Optimal Bit Allocation for Perceptual Audio Coding
Stanford University（斯坦福大学）
该研究提出一种无模型边信息的感知音频编码器，通过协同自适应熵建模与率失真最优比特分配，可降低感知失真，经MUSHRA测试验证了其性能排序。
2026-10-14 cs.IT eess.AS math.IT
DeAR: A Deep-learning-based Audio Re-recording Resilient Watermarking
University of Science and Technology of China（中国科学技术大学）；University of Waterloo（滑铁卢大学）；National University of Singapore（新加坡国立大学）
针对音频重录音攻击导致水印失效的问题，提出基于深度学习的抗重录音音频水印框架DeAR，通过设计模拟重录音失真的专用层，在高质量嵌入下实现了98.55%的比特恢复准确率。
2023-04-03 cs.CR cs.MM cs.SD
Attention-Based Audio Embeddings for Query-by-Example
Ghent University（根特大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出一种基于对比学习和通道频谱-时间注意力的音频检索系统，生成抗噪声与混响的音频指纹，实现高效精确的示例查询和时间戳估计。
2024-11-21 cs.SD eess.AS
Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis
MIT（麻省理工学院）；Meta Reality Labs Research（Meta现实实验室）
由于面部动作（如嘴唇运动）包含有关语音内容的重要信息，因此视听语音增强方法比仅音频的方法更准确也就不足为奇了。然而，最先进的方法仍然难以在具有挑战性的声学环境中生成干净、逼真的语音，而没有噪声伪影和不自然的失真。在本文中，我们提出了一种新的视听语音增强框架，用于AR/VR中的高保真电信。我们的方法利用视听语音线索来生成神经语音编解码器的代码，从而能够从嘈杂的信号中高效地合成干净，逼真的语音。鉴于特定于说话者的线索在语音中的重要性，我们专注于开发适合单个说话者的个性化模型。我们证明了我们的方法在一个新的视听语音数据集上的有效性，该数据集是在一个不受约束的大词汇量环境中收集的，以及现有的视听数据集，在定量指标和人类评估研究方面都优于语音增强基线。有关定性结果，请参见https://github.com/facebookresearch/facestar/releases/download/paper_materials/video.mp4上的补充视频。
2022-03-31 cs.CV cs.LG eess.AS
On audio enhancement via online non-negative matrix factorization
Utrecht University（乌得勒支大学）
我们提出了一种降噪方法，即从被加性噪声破坏的录音中产生干净的音频信号。解决这个问题的许多常见方法都是基于将非负矩阵分解应用于频谱图测量。这些方法使用无噪声记录和纯噪声记录，无噪声记录被认为在结构上与感兴趣的信号相似，纯噪声记录用于学习真实信号和噪声的字典。然后可以通过将损坏的记录投影到干净的字典上来构建真实信号的近似。在这项工作中，我们建立在这些方法的基础上，提出使用\emph{online}非负矩阵分解这个问题。与传统的非负矩阵分解相比，该方法具有更高的存储效率，并且在实时去噪中具有潜在的应用价值。
2021-10-07 cs.SD eess.AS
Improving Unsupervised Clean-to-Rendered Guitar Tone Transformation Using GANs and Integrated Unaligned Clean Data
National Taiwan University（国立台湾大学）；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团公司）
针对吉他功放建模监督式方法数据对制作复杂、扩展性差的问题，本文在基于GAN的无监督框架中引入MSD与MPD两类判别器，并加入额外未配对干声数据训练，实验证明该改进对高低增益功放建模均有效。
2024-06-22 cs.SD eess.AS
Towards Improved Objective Perceptual Audio Quality Assessment -- Part 1: A Novel Data-Driven Cognitive Model
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；International Audio Laboratories Erlangen（埃尔兰根国际音频实验室）；Friedrich Alexander Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）
针对现有客观音频质量评估工具泛化能力不足的问题，本文提出一种基于主观数据的新型数据驱动认知模型，通过自适应加权失真指标提升预测精度，为多维质量测量扩展提供更易管理的方案。
2024-11-27 cs.SD eess.AS eess.SP
Speech Denoising with Auditory Models
Department of Brain and Cognitive Sciences, MIT, USA（脑科学与认知科学系，麻省理工学院）；McGovern Institute for Brain Research, MIT, USA（脑研究麦戈文研究所，麻省理工学院）；Center for Brains, Minds and Machines, MIT, USA（脑、心智与机器中心，麻省理工学院）；MIT-IBM Watson AI Lab, IBM Research, USA（麻省理工-IBM沃森人工智能实验室，IBM研究院）
本文探究将听觉模型的深度特征作为感知损失用于语音去噪的效果，发现其去噪表现优于基线与过往深度特征损失方法，但并未优于无需学习特征的简单替代方案。
2021-08-13 cs.SD eess.AS
Diffusion-Based Unsupervised Audio-Visual Speech Separation in Noisy Environments with Noise Prior
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）；OriginAI
针对单麦克风含噪语音分离问题，提出一种基于扩散模型的无监督音视频分离方法，通过显式建模语音与噪声分布并利用逆向扩散过程采样，在嘈杂环境中实现了有效的纯净语音分离。
2025-09-17 cs.LG eess.AS
A novel fuzzy logic-based metric for audio quality assessment: Objective audio quality assessment
INICTEL – UNI（秘鲁国家电信和信息技术研究所（国立工程大学））；University of Applied Sciences（应用科学大学）
ITU-R BS. 1387陈述了一种用于感知音频质量的客观评估的方法。该建议也称为PEAQ（音频质量感知评估），基于人耳的心理声学模型，由国际电信联盟标准化，作为主观测试的替代方案，主观测试是昂贵且耗时的过程。PEAQ结合了人耳的各种生理和心理声学特性，以测量参考音频和测试音频之间的质量差异。参考音频信号可以被认为是无失真源，而测试信号是参考的失真版本，其可能由于压缩而具有可听伪像。该算法使用三层感知器人工神经网络计算模型输出变量（MOV），这些变量被映射到单个质量度量，即客观差异等级（ODG）。ODG估计两个音频信号之间的感知失真。在本文中，我们提出了一个新的度量的低计算复杂度称为FQI（模糊质量指数），这是基于模糊逻辑推理，并已纳入现有的PEAQ模型，以提高其整体性能。结果表明，修改后的版本略优于PEAQ。
2019-10-29 cs.SD eess.AS eess.SP
Deep Audio Waveform Prior
The Hebrew University of Jerusalem（希伯来大学）
卷积神经网络包含用于生成自然外观图像的强先验[1]。这些先验可以实现图像去噪、超分辨率和无监督修复。先前尝试在音频中展示类似的想法，即深度音频先验，（i）使用手工挑选的架构，如谐波卷积，（ii）仅适用于频谱图输入，以及（iii）主要用于消除高斯噪声[2]。在这项工作中，我们表明，现有的SOTA架构的音频声源分离包含深先验，即使在与原始波形。当给定白噪声作为输入时，通过训练神经网络以生成单个损坏的信号，可以发现深度先验。具有相关深度先验的网络可能会在收敛到损坏的信号之前生成更干净的信号版本。我们证明了这种恢复效果与几个腐败：背景噪声，混响和信号（音频修复）的差距。
2022-07-21 cs.LG cs.SD eess.AS
Lip-Reading Driven Deep Learning Approach for Speech Enhancement
提出了一种新的唇读驱动的深度学习语音增强框架。所提出的方法利用了深度学习和分析声学建模（基于滤波的方法）两者的互补优势，与最近发布的仅依赖于深度学习的相对简单的基准方法相比。建议的视听语音增强框架在两个层面上运作。在第一级中，采用了一种新的基于深度学习的唇读回归模型。在第二级中，唇读近似干净的音频功能，利用增强的，视觉推导的维纳滤波器（EVWF），干净的音频功率谱估计。具体地，基于堆叠的长短期记忆（LSTM）的唇读回归模型被设计用于仅使用考虑不同数量的先前视觉帧的时间视觉特征的干净音频特征估计。对于干净的语音谱估计，一个新的滤波器组域EVWF制定，利用估计的语音特征。将所提出的EVWF与使用理想AV映射和LSTM驱动的AV映射的传统谱减法和对数最小均方误差方法进行比较。建议的语音增强框架的潜力进行评估下，不同的动态现实世界的商业动机的情况下（例如咖啡馆，公共交通，行人区）在不同的SNR水平（从低到高的SNR）使用基准网格和ChiME3语料库。对于客观测试，使用语音质量的感知评估来评估恢复语音的质量。对于主观测试，使用标准的平均意见得分方法与推理统计。比较仿真结果表明显着的唇读和语音增强改善语音质量和语音清晰度。
2018-07-31 cs.CV cs.LG cs.SD
Diffusion Models for Audio Restoration
Universität Hamburg（汉堡大学）
本文提出基于扩散模型的音频修复算法，结合可解释性与数据驱动灵活性，在语音增强和音乐修复中实现高音质恢复。
2024-11-11 cs.LG cs.SD eess.AS
A Study of Multimodal Person Verification Using Audio-Visual-Thermal Data
University of Wherever（无论何处大学）；Nazarbayev University（纳扎尔巴耶夫大学）
在本文中，我们研究了一种多模态的人验证方法，使用音频，视觉和热模态。音频和视频模式的组合已经被证明是有效的强大的个人验证。从这个角度来看，我们调查的影响，通过增加热图像进一步增加的方式。特别是，我们使用最先进的深度学习架构实现了单峰，双峰和三峰验证系统，并比较了它们在干净和嘈杂条件下的性能。我们还比较了两种流行的融合方法的基础上简单的得分平均和软注意力机制。在SpeakingFaces数据集上进行的实验证明了三模态验证系统的优越性能。具体而言，在简单的测试集上，三峰系统在干净和有噪声的条件下，分别以超过50%和18%的相对相等出错率优于最好的单峰和双峰系统。在硬测试集上，在干净和有噪声的条件下，三峰系统分别比最好的单峰和双峰系统的相对相等出错率高出40%和13%。为了实现实验的可重复性并促进对多模态人员验证的研究，我们在GitHub存储库中免费提供了我们的代码，预训练模型和预处理数据集。
2022-03-04 cs.CV cs.SD eess.AS
G-MaP-SE: Guided Speech Enhancement via GMM-Based Prior Matching
提出G-MaP-SE框架，利用高斯混合模型构建干净语音嵌入先验，通过匹配噪声条件嵌入来提升语音增强性能，无需注册音频即可接近理想干净条件上限。
2026-06-07 cs.SD eess.AS
Audio Signal Enhancement with Learning from Positive and Unlabelled Data
The University of Tokyo（东京大学）
针对音频信号增强中并行训练数据合成失真、干净信号难获取的问题，提出用噪声频谱块作正样本、含噪信号频谱块作无标记样本的PU学习方法，训练卷积神经网络分类频谱块以实现增强。
2023-04-26 cs.SD eess.AS
DeePAQ: A Perceptual Audio Quality Metric Based On Foundational Models and Weakly Supervised Learning
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich-Alexander Universität Erlangen-Nürnberg (FAU)（弗里德里希-亚历山大埃尔朗根-纽伦堡大学）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
提出DeePAQ，一种基于弱监督标签和度量学习，利用LoRA微调音乐基础模型MERT的感知音频质量度量，在检测编码伪影及泛化到未见失真上超越现有指标。
2025-10-14 eess.AS
PROSE: Perceptual Risk Optimization for Speech Enhancement
Indian Institute of Science（印度科学理工学院）；Indian Railways（印度铁路公司）
语音增强的目标是通过最小化所选择的失真度量来从噪声信号开始获得干净语音的估计，这导致取决于未知的干净信号或其统计的估计。由于在实践中对这种先验知识的访问是有限的或不可能的，因此必须估计干净的信号统计。在本文中，我们开发了一个新的风险最小化框架语音增强，其中，一个优化的失真/风险的无偏估计，而不是实际的风险。估计的风险仅表示为噪声观测的函数。我们考虑几个感知相关的失真措施，并制定相应的无偏估计的噪声分布和先验信噪比（SNR）的现实假设。最小化的风险估计产生相应的降噪，这是一个后验SNR的非线性函数。语音质量的感知评价（PESQ），平均分段信噪比（SSNR）的计算，和听力测试表明，建议的风险优化方法采用Itakura-Saito和加权双曲余弦失真比其他失真措施提供了更好的性能。对于信噪比大于5 dB，所提出的方法提供了优越的去噪性能的基准技术的基础上的维纳滤波器，对数MMSE最小化，贝叶斯非负矩阵分解。
2017-10-11 cs.SD eess.AS
Speaker recognition improvement using blind inversion of distortions
Escola Universitària Politècnica de Mataró, UPC（马塔罗理工大学学院，加泰罗尼亚理工大学）；Universitat de VIC（维克大学）
在本文中，我们提出了非线性失真的反演，以提高说话人识别系统的识别率。我们研究了饱和度对测试信号的影响，试图考虑到真实的情况下，训练材料已被记录在一个受控的情况下，但测试信号存在一些与输入信号电平（饱和度）不匹配。实验结果表明，采用非线性失真补偿和非线性失真补偿相结合的数据融合方法，对饱和语音的识别率从80%提高到88.57%，而对纯净语音（无饱和）的识别率为87.76%。
2022-02-23 cs.LG cs.SD eess.AS
TransMask: A Compact and Fast Speech Separation Model Based on Transformer
PVoice Technology Singapore（新加坡PVoice科技公司）；National University of Singapore（新加坡国立大学）
语音分离是语音处理中的一个重要问题，其目标是从包含不同说话人语音的混合音频中分离并生成干净的语音。在序列到序列域的深度学习技术的支持下，最近的神经语音分离模型现在能够生成高度清晰的语音音频。为了使这些模型更实用，通过减少模型的大小和推理时间，同时保持高的分离质量，我们提出了一种新的基于变换的语音分离方法，称为TransMask。通过充分释放自我注意力对长期依赖异常的影响，我们证明了TransMask的大小比最先进的解决方案小60%以上，推理速度比最先进的解决方案快2倍以上。在合理的输入音频长度范围内，TransMask充分利用了推理过程中的并行性，实现了近似线性的推理时间。它在输出语音音频质量方面也优于现有解决方案，在Librimix基准测试中实现了16以上的SDR。
2021-02-19 cs.SD eess.AS
Diffusion Gaussian Mixture Audio Denoise
University of Science and Technology Liaoning（辽宁科技大学）；Cornell University（康奈尔大学）；Yeshiva University（叶史瓦大学）
本文提出 DiffGMM 模型，结合扩散模型与高斯混合模型，通过 1D-U-Net 估计真实噪声分布并逐步去噪，在音频去噪任务中达到最先进性能。
2024-06-13 cs.CL cs.SD eess.AS
Fine-tuning on Clean Data for End-to-End Speech Translation: FBK @ IWSLT 2018
FBK（布鲁诺·凯斯勒基金会）
本文介绍了FBK在IWITH 2018上提交的端到端英语-德语语音翻译任务。我们的系统依赖于基于LSTM和CNN的最先进的模型，其中CNN用于减少音频输入的时间维度，这通常比机器翻译输入高得多。我们的模型仅在为任务发布的音频到文本并行数据上进行训练，并在原始训练语料库的清洁子集上进行微调。权重归一化和标签平滑的增加使基线系统在我们的验证集上提高了1.0个BLEU点。最终提交的文件还包括训练运行中的检查点平均值以及在多次运行期间训练的模型的集成解码。在测试数据上，我们最好的单个模型获得了9.7的BLEU分数，而集成模型获得了10.24的BLEU分数。
2018-10-16 cs.CL cs.LG cs.SD
Differentiable Black-box and Gray-box Modeling of Nonlinear Audio Effects
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）
本文在 ToneTwist AFx 数据集上系统比较多种非线性音频效果的可微黑盒与灰盒模型，提出时变灰盒及压缩器、失真、法兹模型，并结合客观与主观评估确定适用架构。
2025-02-20 cs.SD eess.AS
Modeling of nonlinear audio effects with end-to-end deep neural networks
Queen Mary University of London（伦敦玛丽女王大学）
在音乐制作的背景下，失真效果主要用于美学原因，通常应用于电子乐器。大多数现有的非线性建模方法往往是简化或优化到一个非常具体的电路。在这项工作中，我们研究了用于音频处理的深度学习架构，我们的目标是找到一个通用的端到端深度神经网络来执行非线性音频效果的建模。我们展示了网络建模的各种非线性，我们讨论了不同的仪器之间的泛化能力。
2019-03-06 cs.LG cs.SD eess.AS
Monaural source enhancement maximizing source-to-distortion ratio via automatic differentiation
Yamaha Corporation（雅马哈公司）
最近，深度神经网络（DNN）在单声道声源增强方面取得了突破性进展。通过使用大量数据的训练步骤，DNN估计混合信号和干净信号之间的映射。在这个时候，我们使用一个目标函数，用数字表示DNN映射的质量。在传统方法中，L1范数、L2范数和Itakura-Saito散度常被用作目标函数。最近，一个目标函数的基础上，短时客观可懂度（STOI）也已提出。然而，这些函数仅指示干净信号与DNN估计的信号之间的相似性。换句话说，它们没有显示出降噪或源增强的质量。基于此，本文采用信号失真比（SDR）作为目标函数。由于SDR实际上显示了信噪比（SNR），因此最大化SDR解决了上述问题。实验结果表明，该方法取得了更好的性能比传统的方法。
2018-06-15 cs.LG cs.SD eess.AS
Target Speaker Extraction through Comparing Noisy Positive and Negative Audio Enrollments
Department of Computer Science, University of Oxford（计算机科学系，牛津大学）
本文提出通过比较噪声正样本与负样本音频提取目标说话人，提升单声道语音提取性能。
2025-12-05 cs.AI cs.SD eess.AS
Deep Learning-Based Approach for Identification and Compensation of Nonlinear Distortions in Parametric Array Loudspeakers
Key Laboratory of Modern Acoustics, Nanjing University（南京大学现代声学重点实验室）；NJU-Horizon Intelligent Audio Lab, Horizon Robotics（南京大学-Horizon智能音频实验室）
本文首次引入深度学习方法，利用WaveNet前馈变体识别并补偿参量阵扬声器（PAL）的非线性失真，实验表明其总谐波失真和互调失真平均降至4.55%和2.47%，显著优于传统Volterra滤波器方法。
2024-12-02 cs.SD cs.SY eess.AS
Deep Neural Networks and End-to-End Learning for Audio Compression
Handong Global University（韩东国际大学）
最近在端到端深度学习方面取得的成就鼓励人们探索使用统一的深度网络模型处理高度结构化数据的任务。具有这样的用于压缩音频信号的模型是具有挑战性的，因为它需要不容易用端到端反向传播训练的离散表示。在本文中，我们提出了一种端到端的深度学习方法，该方法将递归神经网络（RNN）与变分自编码器（VAE）的训练策略结合起来，并使用潜在空间的二进制表示。我们对离散表示的伯努利分布应用重新参数化技巧，这允许平滑的反向传播。此外，我们的方法允许分离的编码器和解码器，这是必要的压缩任务。据我们所知，这是第一次使用RNN对单个音频压缩模型进行端到端学习，我们的模型实现了20.54的信号失真比（SDR）。
2021-07-13 cs.LG cs.SD eess.AS
Contrastive Unsupervised Learning for Audio Fingerprinting
Bytedance AI Lab（字节跳动人工智能实验室）
视频分享平台的兴起吸引了越来越多的人拍摄视频并上传到互联网。这些视频大多包含精心编辑的背景音轨，其中可能涉及严重的语音变化、音高偏移和各种类型的音频效果，并且现有的音频识别系统可能无法识别音频。为了解决这个问题，本文将对比学习的思想引入到音频指纹识别（AFP）中。对比学习是一种无监督的学习方法，可以有效地对相似样本进行分组，并区分不同的样本。在我们的工作中，我们认为一个音轨和它的不同失真的版本是相似的，而认为不同的音轨是不相似的。基于动量对比（MoCo）框架，提出了一种基于对比学习的AFP指纹识别方法，该方法能够生成具有鉴别力和鲁棒性的指纹。一组实验表明，我们的AFP方法是有效的音频识别，与严重的音频失真的鲁棒性，包括具有挑战性的速度变化和音高变化。
2020-10-26 cs.LG cs.MM cs.SD
Audio Inpainting via $\ell_1$-Minimization and Dictionary Learning
Acoustic Research Institute Austrian Academy of Sciences Vienna, Austria
音频修复是指旨在恢复音频信号中丢失或损坏的连续样本的信号处理技术。先前的工作已经表明，具有适当加权的$\ell_1$最小化能够解决音频修复问题，无论是对于分析模型还是合成模型。这些模型假设音频信号相对于某些冗余字典是稀疏的，并利用这种稀疏性来进行修复。在稀疏性框架内，我们利用字典学习来进一步增加稀疏性，并将其与适用于音频修复的加权$\ell_1$最小化相结合，以补偿恢复后间隙内的能量损失。实验结果表明，该方法在信噪比（SDR）和客观差异等级（ODG）方面优于原方法。
2022-02-15 cs.SD eess.AS
An Improved Metric of Informational Masking for Perceptual Audio Quality Measurement
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
针对认知效应尤其在音乐信号上预测增益不稳的问题，本文提出考虑掩蔽阈值附近干扰信息复杂度的改进IM度量，并通过基于LT数据的交互分析融入质量测量系统，在多样化数据库验证中优于既有IM度量。
2023-07-13 cs.SD eess.AS eess.SP
Towards Vulnerability Analysis of Voice-Driven Interfaces and Countermeasures for Replay
Oakland University（奥克兰大学）
假音频检测预计将成为智能扬声器领域的重要研究领域，如Google Home，Amazon Echo和为这些平台开发的聊天机器人。本文分析了语音驱动接口的重放攻击漏洞，并提出了一种在这些平台上检测重放攻击的对策。本文提出了一种新的框架模型重放攻击失真，然后使用一种非学习的方法，重放攻击检测智能扬声器。应答攻击失真被建模为重放攻击音频中的高阶非线性。高阶谱分析（HOSA）用于捕获重放音频中的特征失真。所提出的对策方案的有效性进行评估，以及相应的重放录音的原始语音。重放攻击记录通过Amazon Alexa使用插入式会议功能成功注入Google Home设备。
2019-04-13 cs.CR cs.SD eess.AS
Topological fingerprints for audio identification
Spotify（声田）；EPFL（洛桑联邦理工学院）；Durham University（杜伦大学）；University of Oxford（牛津大学）
提出基于持久同调和局部Betti曲线的拓扑音频指纹方法，通过mel-频谱图过滤立方复形实现稳健的重复音频识别，在时间拉伸和音调移动等拓扑失真场景下优于现有方法。
2023-09-07 cs.SD eess.AS math.AT
Objective Assessment of Spatial Audio Quality using Directional Loudness Maps
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
这项工作介绍了从立体声/双耳音频信号中提取的特征，旨在表示在处理的空间听觉场景中感知质量下降的度量。特征提取技术是基于一个简化的立体声信号模型，考虑听觉事件定位朝向一个给定的方向，在立体声领域使用幅度平移（AP）技术。我们在短时傅里叶变换域中针对给定AP值将立体声信号分解成一组定向信号，并计算它们的总体响度以形成定向响度表示或映射。然后，我们比较了参考信号和恶化版本的方向性响度图，以获得失真测量，旨在描述相关的听力测试中报告的感知退化分数。然后，在广泛的收听测试数据库上测试该措施，其中立体声信号由最先进的感知音频编解码器使用非波形保持技术（例如带宽扩展和联合立体声编码）处理，已知对现有质量预测器提出挑战。结果表明，衍生的失真测量可以被纳入作为现有的自动感知质量评估算法的扩展，以提高空间编码的音频信号的预测。
2022-12-02 cs.MM cs.SD eess.AS
Towards Blind Data Cleaning: A Case Study in Music Source Separation
University of Toronto（多伦多大学）；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
针对音乐源分离中数据污染未知的问题，提出基于反学习数据归因和弗雷歇音频距离的两种噪声无关清洗方法，实验证明能显著提升模型性能。
2025-10-17 eess.AS
Audio Enhancement from Multiple Crowdsourced Recordings: A Simple and Effective Baseline
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文针对多个未知位置设备录制同一事件时各自含局部不相关噪声的问题，提出一种先去除各录音局部噪声再对清理信号进行平均的简单众包音频增强方法，并在合成与真实录音上验证其有效性，为后续更复杂方法提供基线。
2024-08-30 cs.SD eess.AS
A survey and an extensive evaluation of popular audio declipping methods
Brno University of Technology（布尔诺理工大学）；InterDigital（InterDigital公司）；University of Surrey（萨里大学）
信号处理中的动态范围限制经常导致信号中的削波或饱和。音频削波的任务是估计原始音频信号，给定其削波测量，并且近年来引起了很大的兴趣。音频去唇算法通常对底层信号（例如稀疏性或低秩）以及测量系统做出假设。在本文中，我们提供了一个广泛的审查，在文献中提出的音频declipping算法。对于每种算法，我们提出了关于音频信号，建模域和优化算法的假设。此外，我们提供了一个广泛的数值评估流行的declipping算法，真实的音频数据。我们评估每个算法的信号失真比，并使用感知指标的声音质量。本文附带了一个包含评估方法的存储库。
2021-01-04 cs.SD eess.AS
