A Recurrent Variational Autoencoder for Speech Enhancement
CentraleSupélec（中央理工-高等电力学院）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
提出了一种基于递归变分自编码器（RVAE）的生成式语音增强方法。深度生成语音模型仅使用干净的语音信号来训练，并且其与非负矩阵分解噪声模型组合用于语音增强。我们提出了一种变分期望最大化算法，其中RVAE的编码器在测试时进行微调，以近似于噪声语音观测的潜变量的分布。与以前的基于前馈全连接架构的方法相比，所提出的递归深度生成语音模型在潜变量上引入了后验时间动态，这被证明可以改善语音增强结果。
2020-02-10 cs.AI cs.LG cs.NE
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）；University of New South Wales（新南威尔士大学）
以无监督的方式学习数据的潜在表示是一个非常有趣的过程，它提供了用于增强分类器性能的相关特征。对于语音情感识别任务，生成有效的特征是至关重要的。目前，人工特征大多用于语音情感识别，然而，使用深度学习自动学习的特征在许多问题上显示出强大的成功，特别是在图像处理中。特别是，深度生成模型，如变分自编码器（VAE），在生成自然图像的特征方面取得了巨大的成功。受此启发，我们提出了VAE用于导出语音信号的潜在表示，并使用此表示来分类情感。据我们所知，我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明，VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
A variance modeling framework based on variational autoencoders for speech enhancement
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、信号与自动化实验室）
在本文中，我们解决的问题，增强语音信号在嘈杂的混合使用声源分离的方法。我们探索使用神经网络作为一种替代流行的语音方差模型的基础上监督非负矩阵分解（NMF）。更确切地说，我们使用一个变分自编码器作为一个独立于说话人的监督生成语音模型，突出了概念上的相似性，这种方法与它的基于NMF的对应。为了避免关于噪声记录环境的泛化问题，我们遵循仅针对目标语音信号具有监督模型的方法，噪声模型基于无监督NMF。我们开发了一个蒙特卡罗期望最大化算法来推断变分自编码器中的潜在变量，并估计无监督模型参数。实验表明，该方法优于半监督NMF基线和最先进的全监督深度学习方法。
2019-02-05 cs.LG cs.SD eess.AS
A Speech Enhancement Method Using Fast Fourier Transform and Convolutional Autoencoder
Department of Artificial Intelligence, Tamkang University, New Taipei City 251301, Taiwan.（人工智能系，台湾桃园大学）；Department of Mathematical Sciences, National Chengchi University, Taipei 116, Taiwan.（数学科学系，台湾国立成功大学）
针对退化测量值的音频信号重建问题，提出结合离散傅里叶变换与卷积自动编码器的轻量级模型FFT-ConvAE，该模型获2024年赫尔辛基语音挑战赛第二名，验证了无神经网络方法在语音重建中的潜力。
2025-10-03 cs.SD eess.AS
Fast and efficient speech enhancement with variational autoencoders
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
基于变分自编码器的无监督语音增强方法与常用的有监督方法相比具有良好的性能。该方法涉及使用预训练的深度语音先验以及参数噪声模型，其中噪声参数是利用基于期望最大化（EM）的方法从有噪语音信号中学习的。E步涉及一个棘手的潜在后验分布。解决这一步的现有算法要么是基于计算量大的Monte Carlo Markov Chain抽样方法和变分推理，要么是基于低效的优化方法。在本文中，我们提出了一种基于Langevin动力学的新方法，该方法生成多个样本序列，并带有一个基于总变分的正则化，以结合潜在向量的时间相关性。我们的实验表明，开发的框架，使计算效率和增强质量之间的有效折衷，并优于现有的方法。
2022-11-02 cs.LG cs.SD eess.AS
Learning and controlling the source-filter representation of speech with a variational autoencoder
CentraleSupélec（巴黎中央理工-高等电力学院）；IETR UMR CNRS 6164（法国国家科学研究中心电子与电信研究所（UMR 6164））；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）；Inria（法国国家信息与自动化研究所）；LJK（让·昆塞曼实验室）
理解和控制深度生成模型中的潜在表示对于分析、转换和生成各种类型的数据来说是一个具有挑战性且重要的问题。在语音处理中，源滤波器模型从发声的解剖机制出发，认为语音信号是由几个独立的、有物理意义的连续潜在因素产生的，其中基频$f_0$和共振峰是最重要的。在这项工作中，我们从一个变分自编码器（VAE）在一个大的数据集上的未标记的自然语音信号的无监督的方式训练，我们表明，语音生产的源过滤器模型自然产生的VAE潜在空间的正交子空间。利用人工语音合成器产生的标记语音信号，我们提出了一种方法来识别编码$f_0$和前三个共振峰频率的潜在子空间，我们证明了这些子空间是正交的，并基于这种正交性，我们开发了一种方法来精确和独立地控制潜在子空间内的源滤波器语音因子。在不需要诸如文本或人类标记的数据之类的附加信息的情况下，这导致以$f_0$和共振峰频率为条件的语音频谱图的深度生成模型，并且该深度生成模型被应用于变换语音信号。最后，我们还提出了一个强大的$f_0$估计方法，利用投影的语音信号到学习的潜在子空间与$f_0$。
2023-03-21 cs.LG cs.SD eess.AS
A weighted-variance variational autoencoder model for speech enhancement
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Inria Grenoble（法国国家信息与自动化研究所格勒诺布尔分所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出加权方差变分自编码器语音增强模型，通过对频谱图时间帧加权并引入Gamma先验形成Student's t分布，实验证明其优于标准未加权方差模型。
2023-10-26 cs.CV cs.LG cs.SD
A Statistically Principled and Computationally Efficient Approach to Speech Enhancement using Variational Autoencoders
Universitee de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
最近的研究已经探索了使用基于变分自编码器（VAE）的语音频谱的深度生成模型与无监督噪声模型相结合来执行语音增强。这些研究开发了迭代算法，在每一步都涉及吉布斯采样或梯度下降，这使得它们在计算上很昂贵。本文提出了一种变分推理方法来迭代估计干净语音的功率谱。我们的主要贡献是变分步骤的分析推导，其中预先学习的VAE的编码器可用于估计真实后验分布的变分近似，使用与训练VAE相同的假设。实验表明，该方法产生的结果与上述迭代法使用采样，同时减少了一个因素36的计算成本，以达到给定的性能。
2019-05-14 cs.LG cs.SD eess.AS
Statistical Speech Enhancement Based on Probabilistic Integration of Variational Autoencoder and Non-Negative Matrix Factorization
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
本文提出了一种单通道语音增强的统计方法，该方法使用变分自编码器（VAE）作为纯净语音的先验分布。语音增强的标准方法是训练深度神经网络（DNN）以将含噪语音作为输入并输出干净语音。虽然这种监督方法需要非常大量的配对数据进行训练，但它对未知环境并不鲁棒。另一种方法是使用非负矩阵分解（NMF），该非负矩阵分解基于预先在干净语音上训练的基谱和那些在运行中适应噪声的基谱。然而，这种半监督的方法，由于不切实际的假设，语音频谱是基本频谱的线性组合，导致相当大的信号失真增强语音。用VAE--一个强大的非线性深度生成模型--在干净的语音上训练，取代NMF中干净语音的线性生成模型，我们制定了一个统一的噪声语音概率生成模型。给定带噪语音作为观测数据，我们可以从其后验分布中抽取干净的语音。该方法在看不见的噪声环境中优于传统的基于DNN的方法。
2018-03-19 cs.LG cs.SD eess.AS
A Multiscale Autoencoder (MSAE) Framework for End-to-End Neural Network Speech Enhancement
本文提出多尺度自编码器MSAE，通过在多个带限分支中进行不同速率和尺度的频谱分解，实现端到端可微的语音增强，并在语音质量和识别准确率上优于现有方法。
2023-09-21 cs.SD eess.AS
Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了提高基于脑电的语音识别系统的性能，本文提出了一种基于递归神经网络（RNN）的变分自编码器（VAE）模型，该模型引入了一种新的约束损失函数，可以从原始脑电特征中产生更有意义的脑电特征。我们表明，连续和孤立的语音识别系统的训练和测试，使用原始EEG功能，使用我们的VAE模型产生的EEG功能，提高了性能，我们证明了我们的结果为一个有限的英语词汇组成的30个独特的句子连续语音识别和英语词汇组成的2个独特的句子孤立的语音识别。我们将我们的方法与作者在[1]中描述的另一种最近引入的方法进行比较，以提高基于EEG的连续语音识别系统的性能，并且我们证明，当使用相同的数据集进行训练和测试时，随着词汇量的增加，我们的方法优于他们的方法。即使我们证明的结果仅为自动语音识别（ASR）的实验在本文中，建议的VAE模型与约束损失函数可以扩展到各种其他基于EEG的脑机接口（BCI）的应用。
2020-06-01 cs.LG cs.SD eess.AS
AnCoGen: Analysis, Control and Generation of Speech with a Masked Autoencoder
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央高等电力学院）；Grenoble INP（格勒诺布尔理工学院）；Télécom Paris（巴黎电信学院）；Institut polytechnique de Paris（巴黎综合理工学院）
提出 AnCoGen 模型，利用掩码自编码器统一语音属性分析、可控生成与增强，并在多项语音任务中验证其有效性。
2025-01-09 cs.AI cs.SD eess.AS
Learning robust speech representation with an articulatory-regularized variational autoencoder
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；GIPSA-lab（GIPSA实验室）；LPNC（LPNC实验室）
人们越来越多地认为，人类的言语感知和产生都依赖于发音表征。在本文中，我们研究了这种类型的表示是否可以提高深度生成模型（这里是变分自编码器）的性能，该模型被训练用于编码和解码声学语音特征。首先，我们开发了一个发音模型，能够关联发音参数描述的下巴，舌头，嘴唇和软腭配置声道形状和频谱特征。然后，我们将这些发音参数到一个变分自编码器应用于频谱特征，通过使用正则化技术，约束的潜在空间的一部分，以遵循发音轨迹。我们表明，这种发音约束通过减少收敛时间和收敛时的重建损失来改善模型训练，并在语音去噪任务中产生更好的性能。
2021-04-07 cs.CL cs.SD eess.AS
Learning Subject-Invariant Representations from Speech-Evoked EEG Using Variational Autoencoders
KU Leuven（鲁汶大学）
脑电图（EEG）是了解大脑如何处理语音的有力方法。为此，线性模型最近被深度神经网络取代，并产生了有希望的结果。在相关的EEG分类领域，它表明，明确建模主体不变的功能，提高了模型的泛化跨学科和效益的分类精度。在这项工作中，我们适应因式分解层次变分自编码器，利用并行EEG记录相同的刺激。我们将EEG建模为两个解纠缠的潜在空间。主题和内容潜在空间上的主题准确率分别达到98.96%和1.60%，而二进制内容分类实验分别达到51.51%和62.91%。
2022-07-01 cs.LG eess.AS
Masked Autoencoders as Universal Speech Enhancer
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；AWS AI Labs（亚马逊人工智能实验室）
本文提出了一种基于掩码自动编码器的通用语音增强器，通过自监督学习处理多种失真，实现去噪和去回声的高性能表现。
2026-02-02 cs.LG cs.SD
A Bayesian Permutation training deep representation learning method for speech enhancement with variational autoencoder
Audio Analysis Lab, CREATE, Aalborg University（奥尔堡大学CREATE音频分析实验室）；Capturi A/S（Capturi A/S公司）
最近，变分自动编码器（VAE），一种深度表示学习（DRL）模型，已经被用于执行语音增强（SE）。然而，据我们所知，目前基于VAE的SE方法仅将VAE应用于模型语音信号，而噪声使用传统的非负矩阵分解（NMF）模型建模。使用NMF的最重要的原因之一是，这些基于VAE的方法不能从观察到的信号中分离出语音和噪声潜变量。本文基于贝叶斯理论，推导出一种新的VAE变分下界，保证了VAE可以在监督下训练，并且可以从观测信号中分离出语音和噪声潜变量。这意味着，该方法可以应用VAE模型的语音和噪声信号，这是完全不同于以往的基于VAE的SE作品。更具体地，所提出的DRL方法可以学习将语音和噪声信号先验强加给用于SE的不同的潜在变量集合。实验结果表明，该方法不仅可以从观测信号中分离出语音和噪声潜变量，而且比基于深度神经网络（DNN）的SE方法具有更高的尺度不变信失真比和语音质量分数。
2022-01-24 cs.SD eess.AS
Variational Autoencoder for Personalized Pathological Speech Enhancement
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文针对混合 VAE-NMF 语音增强模型在帕金森病病理语音上的泛化差距，提出用每位说话人数秒干净语音微调预训练模型，实现性能可比的个性化增强。
2025-03-18 cs.SD eess.AS
F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder
Adobe Research（Adobe研究院）
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。许多风格转移启发的方法，如生成对抗网络（GANs）和变分自编码器（VAE）已被提出。最近，AutoVC，一个条件自动编码器（CAE）为基础的方法取得了国家的最先进的成果，通过解开使用信息约束瓶颈的说话人身份和语音内容，它实现了zero-shot转换，通过交换在不同的说话人的身份嵌入合成一个新的声音。然而，我们发现，虽然说话人身份从语音内容中解脱出来，但大量的韵律信息，如源F0，通过瓶颈泄漏，导致目标F0不自然地波动。此外，AutoVC无法控制转换后的F0，因此不适用于许多应用。在本文中，我们修改和改进了基于自动编码器的语音转换，以同时解开内容，F0和说话人身份。因此，我们可以控制F0轮廓，生成与目标说话人F0一致的语音，并显着提高质量和相似度。我们通过定量和定性分析来支持我们的改进。
2020-04-15 cs.LG cs.SD eess.AS
Semi-supervised multichannel speech enhancement with variational autoencoders and non-negative matrix factorization
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）
在本文中，我们解决未知噪声环境中的非特定人多通道语音增强。我们的工作是基于一个完善的多通道局部高斯建模框架。我们建议使用一个神经网络建模的语音频谱时间的内容。该监督模型的参数使用变分自编码器的框架来学习。噪声记录环境被认为是未知的，因此噪声频谱-时间建模仍然是无监督的，并且基于非负矩阵分解（NMF）。我们开发了一个蒙特卡洛期望最大化算法，我们的实验表明，所提出的方法优于其基于NMF的同行，其中语音建模使用监督NMF。
2019-04-30 cs.SD eess.AS stat.ML
Collaborative Deep Learning for Speech Enhancement: A Run-Time Model Selection Method Using Autoencoders
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们表明，模块化神经网络（MNN）可以组合各种语音增强模块，每个模块都是专门用于特定增强工作的深度神经网络（DNN）。从一个普通的合奏技术，平均模型的变化，建议MNN选择最好的模块，看不见的测试信号产生一个贪婪的合奏。我们将其视为协作深度学习（CDL），因为它可以重用各种已经训练好的DNN模型，而无需进一步改进。在所提出的MNN中，在运行时间期间选择最佳模块具有挑战性。为此，我们采用语音自动编码器（AE）作为仲裁员，其输入和输出被训练为尽可能相似，如果其输入是干净的语音。因此，AE可以通过查看其AE重建误差来衡量模块特定的去噪结果的质量，例如，低误差意味着模块输出类似于干净的语音。我们提出了一种MNN结构，其中包含专门处理特定噪声类型，性别和输入信噪比（SNR）值的各种模块，并根据经验证明它几乎总是比任意选择的DNN模块更好，有时与Oracle结果一样好。
2017-05-29 cs.LG cs.SD
Speech enhancement with variational autoencoders and alpha-stable distributions
Inria（法国国家信息与自动化研究所）；LIRMM（法国计算机科学、机器人学与微电子实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）
本文主要研究单通道半监督语音增强。我们使用变分自编码器的框架来学习与说话者无关的深度生成语音模型。噪声模型保持无监督，因为我们不假设噪声记录环境的先验知识。在这种情况下，我们的贡献是提出一个基于α稳定分布的噪声模型，而不是在以前的研究中发现的更传统的高斯非负矩阵分解方法。我们开发了一个蒙特卡罗期望最大化算法估计模型参数在测试时。实验结果表明，该方法在增强后的语音信号的感知质量和可懂度方面都具有优越性。
2019-02-08 cs.SD eess.AS stat.ML
Domain Adaptation and Autoencoder Based Unsupervised Speech Enhancement
Newcastle University（纽卡斯尔大学）；University of Oxford（牛津大学）；University of Sheffield（谢菲尔德大学）
领域自适应作为迁移学习的一个范畴，在将一个任务训练的模型推广到其他类似的任务或环境中起着重要的作用。在语音增强中，可以利用经过良好训练的声学模型来获得其他语言、说话者和环境的上下文中的语音信号。最近的领域自适应研究更有效地发展与各种神经网络和高层次的抽象特征。然而，相关的研究更倾向于将训练好的模型从一个丰富多样的领域转移到一个有限的相似领域。因此，本研究针对非监督语音增强中需要向更大、更丰富的领域转移的情况，提出了领域自适应方法。一方面，重要性加权（IW）的方法是利用方差约束的自动编码器，以减少源和目标域之间的共享权重的移位。另一方面，为了训练具有最坏情况的权重的分类器，并使风险最小化，极小极大方法被提出。建议的IW和minimax方法进行评估，从语音银行和IEEE数据集的TIMIT数据集。实验结果表明，所提出的方法优于国家的最先进的方法。
2021-12-09 cs.SD eess.AS
Residual Tokens Enhance Masked Autoencoders for Speech Modeling
Inria at Univ. Grenoble Alpes, CNRS, LJK, France（Inria 与格勒诺布尔阿尔卑斯大学、CNRS、LJK 在法国）
RT-MAE通过引入残差可训练标记提升语音建模，增强语音重建质量与表达性，并适用于噪声抑制任务。
2026-01-27 cs.AI cs.SD
Incorporating Real-world Noisy Speech in Neural-network-based Speech Enhancement Systems
Carnegie Mellon University（卡内基梅隆大学）；Facebook Reality Labs Research（脸书现实实验室研究）
受监督的语音增强依赖于在训练期间退化的语音信号及其干净的参考信号的并行数据库。此设置禁止使用可能更好地代表使用此类系统的场景的真实世界降级语音数据。在本文中，我们探讨的方法，使监督语音增强系统训练真实世界的退化语音数据。具体来说，我们提出了一个半监督的语音增强方法，我们首先训练一个修改后的矢量量化变分自编码器，解决了源分离任务。然后，我们使用这个训练的自动编码器，进一步训练一个增强网络，使用现实世界的嘈杂的语音数据，通过计算一个基于三元组的无监督损失函数。实验表明，将真实世界的数据在训练语音增强系统的有前途的结果。
2021-09-21 cs.SD eess.AS
Unsupervised Domain Adaptation for Robust Speech Recognition via Variational Autoencoder-Based Data Augmentation
Massachusetts Institute of Technology（麻省理工学院）
在许多机器学习场景中，训练和测试之间的域不匹配可能导致性能显著下降。不幸的是，对于实际应用中的自动语音识别部署，这种情况并不罕见。鲁棒语音识别的研究可以被看作是试图克服这个域失配问题。在本文中，我们解决了鲁棒语音识别的无监督领域自适应问题，其中源和目标域的语音，但单词成绩单只适用于源域语音。我们提出了新的增强为基础的方法，转换语音的方式，不改变成绩单。具体来说，我们首先训练一个变分自编码器的源和目标域数据（没有监督）学习语音的潜在表示。然后，我们通过修改潜在表示来变换与识别无关的语音的讨厌属性，以便用分布更类似于目标域的附加数据来增强标记的训练数据。在CHiME-4数据集上对所提出的方法进行了评估，与非适应基线相比，该方法将绝对字出错率（WER）降低了35%。
2017-09-22 cs.CL cs.LG
TSTNN: Two-stage Transformer based Neural Network for Speech Enhancement in the Time Domain
Concordia University（康考迪亚大学）
在本文中，我们提出了一种基于变换的架构，称为两级Transformer神经网络（TSTNN）的端到端的语音去噪在时域。该模型由编码器、两级Transformer模块（TSTM）、掩蔽模块和解码器组成。编码器将输入的噪声语音映射为特征表示。TSTM利用四个堆叠的两级Transformer块来逐级有效地从编码器输出中提取局部和全局信息。掩码模块创建将与编码器输出相乘的掩码。最后，解码器使用掩蔽的编码器特征来重建增强的语音。在基准数据集上的实验结果表明，TSTNN在时域或频域上优于大多数最先进的模型，同时具有显着降低的模型复杂度。
2021-03-18 cs.LG cs.SD eess.AS
Speech Enhancement based on Denoising Autoencoder with Multi-branched Encoders
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Taiwan International Graduate Program (TIGP), Academia Sinica（中央研究院台湾国际研究生计划）；Graduate Institute of Electronics Engineering (GIEE), National Taiwan University（台湾大学电子工程学研究所）；National Institute of Information and Communications Technology（日本国立信息通信研究机构）；Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
基于深度学习的模型极大地提高了语音增强（SE）系统的性能。然而，两个问题仍然没有解决，这与模型对噪声条件的可推广性密切相关：（1）测试期间的不匹配噪声条件，即，当用训练数据中不涉及的看不见的噪声类型来测试模型时，性能通常是次优的;（2）局部集中于特定的噪声条件，即，使用多种类型的噪声训练的模型不能最佳地去除特定的噪声类型，即使该噪声类型已经包含在训练数据中。这些问题在实际应用中很常见。在本文中，我们提出了一种新的去噪自动编码器与多分支编码器（称为DAEME）模型来处理这两个问题。在DAEME模型中，涉及两个阶段：训练和测试。在训练阶段，我们建立多个组件模型，形成一个基于决策树（DSDT）的多分支编码器。DSDT是建立在语音和噪声条件的先验知识的基础上（扬声器，环境和信号因素被认为是在本文中），其中多分支编码器的每个组件执行一个特定的映射，从嘈杂的干净的语音沿分支在DSDT。最后，在多分支编码器之上训练解码器。在测试阶段，含噪语音首先由每个分量模型处理。来自这些模型的多个输出然后被集成到解码器中以确定最终的增强语音。实验结果表明，DAEME是优于几个基线模型的客观评价指标，自动语音识别的结果，和质量的主观人类听力测试。
2020-12-25 cs.SD eess.AS
A Two-Stage Deep Representation Learning-Based Speech Enhancement Method Using Variational Autoencoder and Adversarial Training
Aalborg University（奥尔堡大学）；Capturi A/S（Capturi公司）
针对基于DNN的语音增强中表示学习不足及后验估计不准的问题，提出β-VAE解耦与对抗训练结合的两阶段方法，提升STOI、PESQ和SI-SDR并优于现有竞争算法。
2023-09-27 cs.SD eess.AS
RVAE-EM: Generative speech dereverberation based on recurrent variational auto-encoder and convolutive transfer function
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出基于RVAE和CTF的生成式语音去混响方法，通过EM算法实现MAP估计，在单声道实验中优于判别式网络。
2023-10-17 cs.SD eess.AS
Posterior sampling algorithms for unsupervised speech enhancement with recurrent variational autoencoder
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文针对基于循环变分自编码器的无监督语音增强中变分EM计算复杂的问题，提出基于朗之万动力学和Metropolis-Hastings的后验采样算法，实验证明其在效率和性能上均优于VEM，并具备稳健的泛化能力。
2023-09-19 cs.CV cs.SD eess.AS
PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；NTNU（挪威科技大学）
我们提出使用对抗自动编码器（AAE），以取代生成对抗网络（GAN）的教师合奏（PATE）的私人聚合，解决方案，以确保差分隐私在语音应用中。AAE架构使我们能够获得良好的合成语音利用后的歧视性训练的潜在向量。当非敏感数据在公共领域中不充分可用时，这种合成语音用于构建隐私保护分类器。该分类器遵循PATE方案，该方案使用噪声输出的集合来标记合成样本，并在其导出的分类器上保证$\varepsilon$ -差分隐私（DP）。因此，我们提出的框架包括一个基于AAE的生成器和一个基于PATE的分类器（PATE-AAE）。在Google语音命令数据集版本II上进行评估，与其他隐私保护解决方案（即PATE-GAN和DP-GAN）相比，所提出的PATE-AAE分别将平均分类准确率提高了+ $2.11\%$和+ $6.60\%$，同时保持了$\varepsilon$ =0.01的强大隐私目标水平，固定$δ$ =10 $^{-5}$。
2021-06-15 cs.AI cs.LG cs.NE
SEF-PNet: Speaker Encoder-Free Personalized Speech Enhancement with Local and Global Contexts Aggregation
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技有限公司）；Samsung Research America（三星美国研究院）
SEF-PNet提出无说话人编码器的个性化语音增强网络，通过交互式说话人自适应和局部-全局上下文聚合，在Libri2Mix上取得最先进性能。
2025-01-20 cs.SD eess.AS
Modeling neural dynamics during speech production using a state space variational autoencoder
Department of Neurological Surgery（神经外科系）；Center for Integrative Neuroscience（整合神经科学中心）；UC San Francisco（加州大学旧金山分校）
在许多研究领域中，表征行为的神经编码仍然是一项具有挑战性的任务，部分原因是诱发脑活动的复杂和嘈杂的时空动力学。对这些神经编码进行建模的一个重要方面涉及将稳健的、行为相关的信号与背景活动分离，背景活动通常包含来自不相关的大脑过程的信号和来自先前行为事件的衰减信息。为了实现这种分离，我们开发了一个两个分支的状态空间变分自编码器（SSVAE）模型来分别描述瞬时诱发的前景信号和上下文相关的背景信号。我们使用平滑高斯混合模型对自发语音诱发的脑动力学进行建模。通过应用所提出的SSVAE模型来跟踪一个参与者在多个小时内的ECoG动态，我们发现该模型可以比其他潜在因素推理算法更准确地预测语音相关的动态。我们的研究结果表明，分别建模的瞬时语音诱发和缓慢的上下文相关的大脑动力学可以提高跟踪性能，这对先进的神经编码和解码模型在各种神经科学的子学科的发展具有重要意义。
2019-01-13 cs.HC cs.LG cs.NE
On a Mechanism Framework of Autoencoders
本文提出了一个理论框架的机制，自动编码器。在编码器部分，主要研究了降维的两个基本性质：双射映射和数据解纠缠。给出了满足上述两个性质之一或两者的编码器的一般构造方法。对自编码器的泛化机制进行了建模。基于上述理论框架，我们解释了变分自编码器、去噪自编码器和线性单元自编码器的一些实验结果，重点是通过编码器对数据的低维表示的解释;通过这些解释，图像复原的机制很自然地被理解。通过与主成分分析和决策树的比较，证明了（广义）自编码器在降维和分类方面的优势。卷积神经网络和随机加权神经网络也可以用这个框架来解释。
2022-12-12 cs.CV cs.LG
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Three Variations on Variational Autoencoders
Michigan State University（密歇根州立大学）
本文通过引入第二个参数化编码器/解码器对及额外固定编码器，提出变分自编码器的三种变体，并发现其中一种变体导出的证据上界（EUBO）可与ELBO结合检验模型收敛性。
2023-04-05 cs.LG
Disentangled Inference for GANs with Latently Invertible Autoencoder
Xiaomi AI Lab（小米人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
生成对抗网络（GANs）在机器学习中发挥着越来越重要的作用。然而，有一个基本问题阻碍了它们的实际应用：缺乏对真实世界样本进行编码的能力。解决该问题的传统方式是经由变分自动编码器（VAE）来学习用于GAN的编码器。在本文中，我们表明，VAE/GAN框架的潜在空间的纠缠构成了编码器学习的主要挑战。为了解决GAN中的纠缠问题并实现推理，我们提出了一种新的算法，称为潜在可逆自动编码器（LIA）。LIA的框架是一个可逆网络及其逆映射对称地嵌入VAE的潜空间中。首先将LIA的解码器训练成一个标准的GAN，然后通过将LIA的可逆网络从LIA中分离出来，从解纠缠的自编码器中学习部分编码器，从而避免了随机潜在空间带来的纠缠问题。在FFHQ人脸数据集和三个LSUN数据集上进行的实验验证了LIA/GAN的有效性。
2022-03-01 cs.LG stat.ML
The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）
训练和使用基于现代神经网络的潜变量生成模型（如变分自编码器）通常需要同时训练生成方向和推理（编码）方向，这近似于潜变量的后验分布。因此，问题就来了：为了能够准确地模拟给定生成模型的后验分布，推理模型需要有多复杂？在本文中，我们确定了一个重要的属性的生成地图影响所需的大小的编码器。我们表明，如果生成地图是“强可逆的”（在某种意义上，我们适当地正式），推理模型不需要更复杂。相反，我们证明了存在不可逆的生成映射，其编码方向需要呈指数增长（在计算复杂性的标准假设下）。重要的是，我们不要求生成模型是逐层可逆的，这是许多相关文献假设的，并且在实践中使用的许多架构（例如基于卷积和池化的网络）都不满足。因此，我们为经验智慧提供了理论支持，即当数据位于低维流形上时，学习深度生成模型更难。
2021-07-09 cs.LG stat.ML
Autoencoders and Probabilistic Inference with Missing Data: An Exact Solution for The Factor Analysis Case
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
潜变量模型可用于概率性地“填补”缺失的数据录入。变分自编码器架构（Kingma和Welling，2014; Rezelman等人，2014）包括“识别”或“编码器”网络，其推断给定数据变量的潜变量。然而，目前尚不清楚如何处理该网络中缺失的数据变量。因子分析（FA）模型是一种基本的自动编码器，使用线性编码器和解码器网络。我们展示了如何在缺失数据的情况下精确计算因子分析（FA）模型的潜在后验分布，并注意到这种解决方案意味着每种缺失模式都需要不同的编码器网络。我们还讨论了各种近似的精确解。实验比较了各种方法填充缺失数据的有效性。
2019-02-19 cs.LG stat.ML
Multimodal Transformer for Parallel Concatenated Variational Autoencoders
University of Southern California（南加州大学）
在本文中，我们提出了一个多模态Transformer使用并行级联架构。我们使用R、G、B通道中图像的列条纹作为Transformer输入，而不是使用面片。列条纹保持了原始图像的空间关系。我们将多模态Transformer与变分自编码器相结合，用于合成跨模态数据生成。多模态Transformer使用多个压缩矩阵设计，并且它用作并行级联变分自编码器（PC-VAE）的编码器。VAE由多个编码器、一个潜在空间和两个解码器组成。编码器基于随机高斯矩阵，不需要任何训练。我们提出了一个新的损失函数的基础上的交互信息的部分信息分解。交互信息评估输入的跨模态信息和解码器输出。通过最小化损失函数来训练PC-VAE。实验进行验证所提出的多模态Transformer的PC-VAE。
2022-10-28 cs.AI cs.CV cs.LG
Variational Autoencoders: A Harmonic Perspective
University of Oxford（牛津大学）；UCL（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
在这项工作中，我们研究变分自动编码器（VAE）的谐波分析的角度。通过查看一个VAE的潜在空间作为高斯空间，各种测量空间，我们得出了一系列的结果表明，VAE的编码器方差控制的VAE编码器和解码器神经网络参数化的功能的频率内容。特别是，我们证明了较大的编码器方差降低这些功能的高频内容。我们的分析使我们能够表明，增加这个方差有效地诱导了VAE解码器网络上的软Lipschitz约束，这是VAE对抗鲁棒性的核心贡献者。我们进一步证明，将高斯噪声添加到VAE的输入中可以更精细地控制VAE编码器网络的频率内容和Lipschitz常数。为了支持我们的理论分析，我们使用小型全连接神经网络和较大的卷积网络进行VAE实验，以经验证明我们的理论适用于各种神经网络架构。
2022-04-23 cs.LG eess.SP stat.ML
A vector quantized masked autoencoder for speech emotion recognition
IETR UMR CNRS 6164（法国国家科学研究中心雷恩电子与电信研究所（UMR 6164））
针对语音情感识别标注数据不足的问题，提出在向量量化变分自编码器离散潜在空间中运行的自监督VQ-MAE-S模型，并证明其优于原始频谱图MAE及现有方法。
2023-04-21 cs.LG cs.SD eess.AS
SpeechSplit 2.0: Unsupervised speech disentanglement for voice conversion Without tuning autoencoder Bottlenecks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
SpeechSplit可以通过使用多个自动编码器以无监督的方式将语音分解为内容，节奏，音高和音色来执行特定于方面的语音转换。然而，SpeechSplit需要仔细调整自动编码器瓶颈，这可能很耗时，而且不太可靠。本文提出了SpeechSplit 2.0，它约束的语音分量的信息流，使用有效的信号处理方法，而不是瓶颈调整的自动编码器输入解开。评估结果表明，SpeechSplit 2.0在语音解纠缠和对瓶颈大小变化的鲁棒性方面与SpeechSplit具有相当的性能。我们的代码可在https://github.com/biggytruck/SpeechSplit2上获得。
2022-03-26 cs.AI cs.SD eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Hierarchical and Multi-Scale Variational Autoencoder for Diverse and Natural Non-Autoregressive Text-to-Speech
Samsung Research（三星研究院）；Supertone, Inc.（Supertone公司）；NCSOFT Corp.（NCSoft公司）
提出了一种基于分层多尺度变分自编码器的非自回归文本转语音模型（HiMuV-TTS），用于生成具有不同说话风格的自然语音。非自回归TTS（NAR-TTS）模型的最新进展显着提高了合成语音的推理速度和鲁棒性。但口语的多样性和自然性有待提高。为了解决这个问题，我们提出了HiMuV-TTS模型，首先确定全球规模的韵律，然后通过调节全球规模的韵律和学习的文本表示来确定本地规模的韵律。此外，我们还采用了对抗训练技术来提高语音质量。实验结果表明，与单尺度变分自编码器的TTS模型相比，该模型能够产生更加多样、自然的语音，并且能够在每个尺度上表现不同的韵律信息。
2022-08-15 cs.SD eess.AS
A vector quantized masked autoencoder for audiovisual speech emotion recognition
CentraleSupélec（中央理工学院）；IETR（信息与电信研究实验室）；UMR CNRS 6164（法国国家科学研究中心6164号研究单位）
本文提出VQ-MAE-AV自监督多模态模型，通过向量量化与掩码自编码器从无标签视听语音中学习帧级和序列级表示，并在多个数据集上取得最先进的情感识别性能。
2025-05-09 cs.LG cs.MM cs.SD
Universal speaker recognition encoders for different speech segments duration
ITMO University（ITMO大学）；STC Ltd.（STC有限公司）
创建对不同声学和语音持续时间条件具有鲁棒性的通用扬声器编码器是当今的一大挑战。根据我们的观察，在短语音段上训练的系统对于短短语说话人验证是最佳的，而在长语音段上训练的系统对于长语音段验证是最优的。一个系统同时训练池的短和长的语音段不会给出最佳的验证结果，通常会降低短和长段。针对不同语音段时长的通用说话人编码器的设计问题进行了研究。我们描述了我们的简单配方，用于训练任何类型的选定神经网络架构的通用扬声器编码器。根据我们对NIST SRE和VoxCeleb 1基准测试获得的基于wav 2 vec-TDNN的系统的评估结果，所提出的通用编码器在不同的注册和测试语音段持续时间的情况下提供了说话人验证改进。所提出的编码器的关键特征是，它具有相同的推理时间所选择的神经网络架构。
2022-10-28 cs.LG cs.SD eess.AS
Scaling Speech Tokenizers with Diffusion Autoencoders
Meta Superintelligence Labs（Meta超智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出SiTok，一种基于扩散自编码器的语音标记器，通过监督学习实现语义丰富的表示，并在低token率和比特率下实现高保真音频重建。
2026-02-06 cs.AI cs.LG cs.SD
Automatic Detection of Phonological Errors in Child Speech Using Siamese Recurrent Autoencoder
The Chinese University of Hong Kong（香港中文大学）
语音障碍（SSD）是指儿童在正确发音方面遇到持续困难的发育障碍。SSD的评估主要依赖于训练有素的言语和语言病理学家（SLP）。随着对SLP需求的不断增加和长期短缺，语音障碍的自动评估成为辅助临床工作的一种非常可取的方法。本文基于一个新收集的大规模语音语料库，对幼儿粤语语音错误进行自动检测。所提出的语音检错检测方法涉及使用暹罗经常性自动编码器，该自动编码器被训练以学习嵌入空间中的音素段之间的相似性和差异。模型的训练只需要来自典型发育（TD）儿童的语音数据。为了区分无序语音和典型语音，计算测试段和参考段的嵌入之间的余弦距离。不同的模型架构和训练策略进行了实验。对6种常见辅音错误的检测结果表明，该模型具有良好的性能，平均精度值为0.82至0.93。
2020-08-07 cs.SD eess.AS
Filter-based Discriminative Autoencoders for Children Speech Recognition
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
由于儿童语音的多样性，儿童语音识别是必不可少的，但也具有挑战性。在本文中，我们提出了一个基于滤波器的判别式自动编码器的声学建模。为了滤除各种说话人类型和音高的影响，将说话人和音高特征的辅助信息与声学特征一起输入到编码器中以生成语音嵌入。在训练阶段，解码器使用辅助信息和编码器提取的语音嵌入来重建输入的声学特征。通过同时最小化ASR损失和特征重建误差来训练自动编码器。该框架可以使语音嵌入更纯粹，从而产生更准确的senone（三音状态）分数。在CMU Kids语料库的测试集上进行评估，与基线系统相比，我们的系统实现了7.8%的相对WER降低。在领域自适应实验中，我们的系统在英国口音PF-STAR任务上也优于基线系统。
2022-05-23 cs.CL cs.LG cs.SD
Correlation Distance Skip Connection Denoising Autoencoder (CDSK-DAE) for Speech Feature Enhancement
Korea University（高丽大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
基于学习的自动语音识别（ASR）的性能易受噪声的影响，特别是当噪声在测试数据中引入而在训练数据中不存在时。这项工作的重点是通过引入一种新的去噪自动编码器（DAE）的变体来增强噪声鲁棒的端到端ASR系统的功能。该方法通过将目标帧的语音信息从输入传递到模型，在编码器和解码器侧使用跳过连接。它还在训练模型中使用了一个新的目标函数，该目标函数通过测量潜在目标特征和模型（从DAE获得的潜在特征和增强特征）的依赖性，在惩罚项中使用相关距离度量。所提出的方法的性能进行了比较，对传统的模型和一个国家的最先进的模型下看到和看不见的噪声环境中的7种不同类型的背景噪声与不同的SNR水平（0，5，10和20 dB）。还使用线性和非线性惩罚项对所提出的方法进行了测试，其中，与最先进的模型相比，它们都显示出在可见和不可见的噪音条件下总体平均WER的改进。
2019-07-26 cs.LG cs.SD eess.AS
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）
神经元自回归模型的最新进展提高了语音合成（SS）的性能。然而，由于它们缺乏对语音的全局特征（如说话者个性或说话风格）进行建模的能力，特别是当这些特征尚未被标记时，使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中，我们提出了结合VoiceLoop，自回归SS模型，与变分自编码器（VAE）。与传统的自回归SS系统不同，这种方法使用VAE来明确地对全局特征进行建模，从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明，VAE有助于VoiceLoop生成更高质量的语音，并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
Contrastive Predictive Coding Supported Factorized Variational Autoencoder for Unsupervised Learning of Disentangled Speech Representations
Paderborn Center for Parallel Computing（帕德博恩并行计算中心）
在这项工作中，我们解决的风格和内容的语音信号的解开。我们提出了一个完全卷积变分自动编码器采用两个编码器：内容编码器和风格编码器。为了促进解纠缠，我们提出了对抗性对比预测编码。这种新的解纠缠方法既不需要并行数据，也不需要任何监督。我们表明，所提出的技术是能够分离的扬声器和内容的特点到两个不同的表示，并显示竞争力的扬声器内容解纠缠性能相比，其他无监督的方法。我们进一步证明了增加的鲁棒性的内容表示对训练测试不匹配相比，频谱特征，当用于电话识别。
2021-03-11 cs.SD eess.AS
Expressive paragraph text-to-speech synthesis with multi-step variational autoencoder
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于多步变分自编码器的段落语音合成系统EP-MSTTS，通过五层级建模可变风格并在段落切分数据上训练，有效提升了有声读物语音合成的表现力。
2024-06-11 cs.SD eess.AS
