A Statistically Principled and Computationally Efficient Approach to Speech Enhancement using Variational Autoencoders
Universitee de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
最近的研究已经探索了使用基于变分自编码器（VAE）的语音频谱的深度生成模型与无监督噪声模型相结合来执行语音增强。这些研究开发了迭代算法，在每一步都涉及吉布斯采样或梯度下降，这使得它们在计算上很昂贵。本文提出了一种变分推理方法来迭代估计干净语音的功率谱。我们的主要贡献是变分步骤的分析推导，其中预先学习的VAE的编码器可用于估计真实后验分布的变分近似，使用与训练VAE相同的假设。实验表明，该方法产生的结果与上述迭代法使用采样，同时减少了一个因素36的计算成本，以达到给定的性能。
2019-05-14 cs.LG cs.SD eess.AS
Statistical Speech Enhancement Based on Probabilistic Integration of Variational Autoencoder and Non-Negative Matrix Factorization
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
本文提出了一种单通道语音增强的统计方法，该方法使用变分自编码器（VAE）作为纯净语音的先验分布。语音增强的标准方法是训练深度神经网络（DNN）以将含噪语音作为输入并输出干净语音。虽然这种监督方法需要非常大量的配对数据进行训练，但它对未知环境并不鲁棒。另一种方法是使用非负矩阵分解（NMF），该非负矩阵分解基于预先在干净语音上训练的基谱和那些在运行中适应噪声的基谱。然而，这种半监督的方法，由于不切实际的假设，语音频谱是基本频谱的线性组合，导致相当大的信号失真增强语音。用VAE--一个强大的非线性深度生成模型--在干净的语音上训练，取代NMF中干净语音的线性生成模型，我们制定了一个统一的噪声语音概率生成模型。给定带噪语音作为观测数据，我们可以从其后验分布中抽取干净的语音。该方法在看不见的噪声环境中优于传统的基于DNN的方法。
2018-03-19 cs.LG cs.SD eess.AS
SpeechSplit 2.0: Unsupervised speech disentanglement for voice conversion Without tuning autoencoder Bottlenecks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
SpeechSplit可以通过使用多个自动编码器以无监督的方式将语音分解为内容，节奏，音高和音色来执行特定于方面的语音转换。然而，SpeechSplit需要仔细调整自动编码器瓶颈，这可能很耗时，而且不太可靠。本文提出了SpeechSplit 2.0，它约束的语音分量的信息流，使用有效的信号处理方法，而不是瓶颈调整的自动编码器输入解开。评估结果表明，SpeechSplit 2.0在语音解纠缠和对瓶颈大小变化的鲁棒性方面与SpeechSplit具有相当的性能。我们的代码可在https://github.com/biggytruck/SpeechSplit2上获得。
2022-03-26 cs.AI cs.SD eess.AS
A vector quantized masked autoencoder for speech emotion recognition
IETR UMR CNRS 6164（法国国家科学研究中心雷恩电子与电信研究所（UMR 6164））
针对语音情感识别标注数据不足的问题，提出在向量量化变分自编码器离散潜在空间中运行的自监督VQ-MAE-S模型，并证明其优于原始频谱图MAE及现有方法。
2023-04-21 cs.LG cs.SD eess.AS
Enhancing into the codec: Noise Robust Speech Coding with Vector-Quantized Autoencoders
Amazon Web Services（亚马逊云科技）
最近已经开发出基于离散神经自编码器的音频编解码器，并且显示出对于相当质量的语音输出提供显著更高的压缩水平。然而，这些模型与语音内容紧密耦合，并且在噪声条件下产生非预期的输出。基于VQ-VAE自编码器和WaveRNN解码器，我们开发了压缩增强器编码器和附带的解码器，并表明它们在噪声条件下运行良好。我们还观察到，压缩增强器模型在干净的语音输入上的性能优于仅在干净的语音上训练的压缩器模型。
2021-02-12 cs.LG eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder
Adobe Research（Adobe研究院）
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。许多风格转移启发的方法，如生成对抗网络（GANs）和变分自编码器（VAE）已被提出。最近，AutoVC，一个条件自动编码器（CAE）为基础的方法取得了国家的最先进的成果，通过解开使用信息约束瓶颈的说话人身份和语音内容，它实现了zero-shot转换，通过交换在不同的说话人的身份嵌入合成一个新的声音。然而，我们发现，虽然说话人身份从语音内容中解脱出来，但大量的韵律信息，如源F0，通过瓶颈泄漏，导致目标F0不自然地波动。此外，AutoVC无法控制转换后的F0，因此不适用于许多应用。在本文中，我们修改和改进了基于自动编码器的语音转换，以同时解开内容，F0和说话人身份。因此，我们可以控制F0轮廓，生成与目标说话人F0一致的语音，并显着提高质量和相似度。我们通过定量和定性分析来支持我们的改进。
2020-04-15 cs.LG cs.SD eess.AS
Accented Text-to-Speech Synthesis with a Conditional Variational Autoencoder
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出基于条件变分自编码器的高效带口音TTS框架，可合成指定说话人声音并转换为任意目标口音，实验验证了其有效性和口音操控能力。
2024-09-29 cs.LG cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来，提出了一种基于变分自编码器（VAE）的视听语音生成模型，该模型结合噪声方差的非负矩阵分解（NMF）模型实现无监督语音增强。当视觉数据是干净的，语音增强与视听VAE表现出更好的性能比与仅音频VAE，这是在仅音频数据上训练。然而，视听VAE对于噪声视觉数据（例如，当对于某些视频帧，说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明，该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
A Recurrent Variational Autoencoder for Speech Enhancement
CentraleSupélec（中央理工-高等电力学院）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
提出了一种基于递归变分自编码器（RVAE）的生成式语音增强方法。深度生成语音模型仅使用干净的语音信号来训练，并且其与非负矩阵分解噪声模型组合用于语音增强。我们提出了一种变分期望最大化算法，其中RVAE的编码器在测试时进行微调，以近似于噪声语音观测的潜变量的分布。与以前的基于前馈全连接架构的方法相比，所提出的递归深度生成语音模型在潜变量上引入了后验时间动态，这被证明可以改善语音增强结果。
2020-02-10 cs.AI cs.LG cs.NE
Semi-supervised multichannel speech enhancement with variational autoencoders and non-negative matrix factorization
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）
在本文中，我们解决未知噪声环境中的非特定人多通道语音增强。我们的工作是基于一个完善的多通道局部高斯建模框架。我们建议使用一个神经网络建模的语音频谱时间的内容。该监督模型的参数使用变分自编码器的框架来学习。噪声记录环境被认为是未知的，因此噪声频谱-时间建模仍然是无监督的，并且基于非负矩阵分解（NMF）。我们开发了一个蒙特卡洛期望最大化算法，我们的实验表明，所提出的方法优于其基于NMF的同行，其中语音建模使用监督NMF。
2019-04-30 cs.SD eess.AS stat.ML
Improved far-field speech recognition using Joint Variational Autoencoder
Reverie Language Technologies（Reverie语言技术公司）
自动语音识别（ASR）系统在源语音被噪声或房间脉冲响应（RIR）破坏时会受到很大影响。通常，语音增强应用于失配和匹配场景训练和测试中。在匹配设置中，声学模型（AM）在去混响的远场特征上训练，而在失配设置中，AM是固定的。近年来，已经探索了使用去噪自动编码器（DA）将语音特征从远场映射到近距离通话。在本文中，我们重点关注匹配场景训练，并表明提出的基于VAE的联合映射比DA实现了显着改进。具体来说，我们观察到与基于DA的增强相比，字错误率（WER）绝对改善了2.5%，与AM相比，绝对改善了3.96%直接在远场滤波器组特征上训练。
2022-04-24 cs.CL cs.LG cs.SD
Speech enhancement with variational autoencoders and alpha-stable distributions
Inria（法国国家信息与自动化研究所）；LIRMM（法国计算机科学、机器人学与微电子实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）
本文主要研究单通道半监督语音增强。我们使用变分自编码器的框架来学习与说话者无关的深度生成语音模型。噪声模型保持无监督，因为我们不假设噪声记录环境的先验知识。在这种情况下，我们的贡献是提出一个基于α稳定分布的噪声模型，而不是在以前的研究中发现的更传统的高斯非负矩阵分解方法。我们开发了一个蒙特卡罗期望最大化算法估计模型参数在测试时。实验结果表明，该方法在增强后的语音信号的感知质量和可懂度方面都具有优越性。
2019-02-08 cs.SD eess.AS stat.ML
Neural Architecture Search for Quantum Autoencoders
Wells Fargo（沃尔玛银行）
本文提出利用遗传算法自动设计量子自编码器的神经架构搜索框架，以提高在噪声环境下的数据重建效率和特征提取能力。
2025-11-24 cs.AI cs.LG cs.NE
A Deep Learning Approach to Data-driven Parameterizations for Statistical Parametric Speech Synthesis
Carnegie Mellon University（卡内基梅隆大学）
几乎所有的统计参数语音合成器今天使用梅尔倒谱系数作为声道参数化的语音信号。梅尔倒谱系数从来没有打算在参数语音合成框架中工作，但是到目前为止，在创建更适合于合成的更好的参数化方面几乎没有成功。在本文中，我们使用深度学习算法来研究一种数据驱动的参数化技术，该技术是针对合成的特定要求而设计的。我们通过训练锥形堆叠去噪自动编码器（SDA）来创建Mel Log Spectrum的可逆，低维，噪声鲁棒编码。然后，将该SDA解包并用作多层感知器（MLP）的初始化。通过训练MLP来微调它以在输出层重建输入。然后将该MLP从中间拆分，以形成编码和解码网络。这些网络产生Mel对数谱的参数化，旨在更好地满足合成的要求。结果报告的实验进行了使用这一结果的参数化与MixterGen语音合成器。
2014-09-30 cs.CL cs.LG cs.NE
Hierarchical and Multi-Scale Variational Autoencoder for Diverse and Natural Non-Autoregressive Text-to-Speech
Samsung Research（三星研究院）；Supertone, Inc.（Supertone公司）；NCSOFT Corp.（NCSoft公司）
提出了一种基于分层多尺度变分自编码器的非自回归文本转语音模型（HiMuV-TTS），用于生成具有不同说话风格的自然语音。非自回归TTS（NAR-TTS）模型的最新进展显着提高了合成语音的推理速度和鲁棒性。但口语的多样性和自然性有待提高。为了解决这个问题，我们提出了HiMuV-TTS模型，首先确定全球规模的韵律，然后通过调节全球规模的韵律和学习的文本表示来确定本地规模的韵律。此外，我们还采用了对抗训练技术来提高语音质量。实验结果表明，与单尺度变分自编码器的TTS模型相比，该模型能够产生更加多样、自然的语音，并且能够在每个尺度上表现不同的韵律信息。
2022-08-15 cs.SD eess.AS
Fast and efficient speech enhancement with variational autoencoders
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
基于变分自编码器的无监督语音增强方法与常用的有监督方法相比具有良好的性能。该方法涉及使用预训练的深度语音先验以及参数噪声模型，其中噪声参数是利用基于期望最大化（EM）的方法从有噪语音信号中学习的。E步涉及一个棘手的潜在后验分布。解决这一步的现有算法要么是基于计算量大的Monte Carlo Markov Chain抽样方法和变分推理，要么是基于低效的优化方法。在本文中，我们提出了一种基于Langevin动力学的新方法，该方法生成多个样本序列，并带有一个基于总变分的正则化，以结合潜在向量的时间相关性。我们的实验表明，开发的框架，使计算效率和增强质量之间的有效折衷，并优于现有的方法。
2022-11-02 cs.LG cs.SD eess.AS
A Speech Enhancement Method Using Fast Fourier Transform and Convolutional Autoencoder
Department of Artificial Intelligence, Tamkang University, New Taipei City 251301, Taiwan.（人工智能系，台湾桃园大学）；Department of Mathematical Sciences, National Chengchi University, Taipei 116, Taiwan.（数学科学系，台湾国立成功大学）
针对退化测量值的音频信号重建问题，提出结合离散傅里叶变换与卷积自动编码器的轻量级模型FFT-ConvAE，该模型获2024年赫尔辛基语音挑战赛第二名，验证了无神经网络方法在语音重建中的潜力。
2025-10-03 cs.SD eess.AS
A weighted-variance variational autoencoder model for speech enhancement
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Inria Grenoble（法国国家信息与自动化研究所格勒诺布尔分所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出加权方差变分自编码器语音增强模型，通过对频谱图时间帧加权并引入Gamma先验形成Student's t分布，实验证明其优于标准未加权方差模型。
2023-10-26 cs.CV cs.LG cs.SD
Scaling Speech Tokenizers with Diffusion Autoencoders
Meta Superintelligence Labs（Meta超智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出SiTok，一种基于扩散自编码器的语音标记器，通过监督学习实现语义丰富的表示，并在低token率和比特率下实现高保真音频重建。
2026-02-06 cs.AI cs.LG cs.SD
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）
神经元自回归模型的最新进展提高了语音合成（SS）的性能。然而，由于它们缺乏对语音的全局特征（如说话者个性或说话风格）进行建模的能力，特别是当这些特征尚未被标记时，使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中，我们提出了结合VoiceLoop，自回归SS模型，与变分自编码器（VAE）。与传统的自回归SS系统不同，这种方法使用VAE来明确地对全局特征进行建模，从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明，VAE有助于VoiceLoop生成更高质量的语音，并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
AnCoGen: Analysis, Control and Generation of Speech with a Masked Autoencoder
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央高等电力学院）；Grenoble INP（格勒诺布尔理工学院）；Télécom Paris（巴黎电信学院）；Institut polytechnique de Paris（巴黎综合理工学院）
提出 AnCoGen 模型，利用掩码自编码器统一语音属性分析、可控生成与增强，并在多项语音任务中验证其有效性。
2025-01-09 cs.AI cs.SD eess.AS
A Multiscale Autoencoder (MSAE) Framework for End-to-End Neural Network Speech Enhancement
本文提出多尺度自编码器MSAE，通过在多个带限分支中进行不同速率和尺度的频谱分解，实现端到端可微的语音增强，并在语音质量和识别准确率上优于现有方法。
2023-09-21 cs.SD eess.AS
Learning robust speech representation with an articulatory-regularized variational autoencoder
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；GIPSA-lab（GIPSA实验室）；LPNC（LPNC实验室）
人们越来越多地认为，人类的言语感知和产生都依赖于发音表征。在本文中，我们研究了这种类型的表示是否可以提高深度生成模型（这里是变分自编码器）的性能，该模型被训练用于编码和解码声学语音特征。首先，我们开发了一个发音模型，能够关联发音参数描述的下巴，舌头，嘴唇和软腭配置声道形状和频谱特征。然后，我们将这些发音参数到一个变分自编码器应用于频谱特征，通过使用正则化技术，约束的潜在空间的一部分，以遵循发音轨迹。我们表明，这种发音约束通过减少收敛时间和收敛时的重建损失来改善模型训练，并在语音去噪任务中产生更好的性能。
2021-04-07 cs.CL cs.SD eess.AS
Variational Autoencoder for Speech Enhancement with a Noise-Aware Encoder
最近，一种生成式变分自编码器（VAE）已被提出用于语音增强以模拟语音统计。然而，这种方法在训练阶段仅使用干净的语音，使得估计对噪声的存在特别敏感，特别是在低信噪比（SNR）下。为了增加VAE的鲁棒性，我们建议在训练阶段使用噪声感知编码器训练噪声干净的语音对，包括噪声信息。我们使用两个不同的噪声数据集对不同噪声环境和声学条件的真实记录进行评估。我们表明，我们提出的噪声感知VAE优于标准VAE的整体失真，而不增加模型参数的数量。与此同时，我们证明了我们的模型能够比监督前馈深度神经网络（DNN）更好地推广到不可见的噪声条件。此外，我们证明了模型性能的鲁棒性，以减少噪声干净的语音训练数据的大小。
2021-02-17 cs.LG cs.SD eess.AS
Automatic Detection of Phonological Errors in Child Speech Using Siamese Recurrent Autoencoder
The Chinese University of Hong Kong（香港中文大学）
语音障碍（SSD）是指儿童在正确发音方面遇到持续困难的发育障碍。SSD的评估主要依赖于训练有素的言语和语言病理学家（SLP）。随着对SLP需求的不断增加和长期短缺，语音障碍的自动评估成为辅助临床工作的一种非常可取的方法。本文基于一个新收集的大规模语音语料库，对幼儿粤语语音错误进行自动检测。所提出的语音检错检测方法涉及使用暹罗经常性自动编码器，该自动编码器被训练以学习嵌入空间中的音素段之间的相似性和差异。模型的训练只需要来自典型发育（TD）儿童的语音数据。为了区分无序语音和典型语音，计算测试段和参考段的嵌入之间的余弦距离。不同的模型架构和训练策略进行了实验。对6种常见辅音错误的检测结果表明，该模型具有良好的性能，平均精度值为0.82至0.93。
2020-08-07 cs.SD eess.AS
Filter-based Discriminative Autoencoders for Children Speech Recognition
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
由于儿童语音的多样性，儿童语音识别是必不可少的，但也具有挑战性。在本文中，我们提出了一个基于滤波器的判别式自动编码器的声学建模。为了滤除各种说话人类型和音高的影响，将说话人和音高特征的辅助信息与声学特征一起输入到编码器中以生成语音嵌入。在训练阶段，解码器使用辅助信息和编码器提取的语音嵌入来重建输入的声学特征。通过同时最小化ASR损失和特征重建误差来训练自动编码器。该框架可以使语音嵌入更纯粹，从而产生更准确的senone（三音状态）分数。在CMU Kids语料库的测试集上进行评估，与基线系统相比，我们的系统实现了7.8%的相对WER降低。在领域自适应实验中，我们的系统在英国口音PF-STAR任务上也优于基线系统。
2022-05-23 cs.CL cs.LG cs.SD
Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了提高基于脑电的语音识别系统的性能，本文提出了一种基于递归神经网络（RNN）的变分自编码器（VAE）模型，该模型引入了一种新的约束损失函数，可以从原始脑电特征中产生更有意义的脑电特征。我们表明，连续和孤立的语音识别系统的训练和测试，使用原始EEG功能，使用我们的VAE模型产生的EEG功能，提高了性能，我们证明了我们的结果为一个有限的英语词汇组成的30个独特的句子连续语音识别和英语词汇组成的2个独特的句子孤立的语音识别。我们将我们的方法与作者在[1]中描述的另一种最近引入的方法进行比较，以提高基于EEG的连续语音识别系统的性能，并且我们证明，当使用相同的数据集进行训练和测试时，随着词汇量的增加，我们的方法优于他们的方法。即使我们证明的结果仅为自动语音识别（ASR）的实验在本文中，建议的VAE模型与约束损失函数可以扩展到各种其他基于EEG的脑机接口（BCI）的应用。
2020-06-01 cs.LG cs.SD eess.AS
Learning and controlling the source-filter representation of speech with a variational autoencoder
CentraleSupélec（巴黎中央理工-高等电力学院）；IETR UMR CNRS 6164（法国国家科学研究中心电子与电信研究所（UMR 6164））；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）；Inria（法国国家信息与自动化研究所）；LJK（让·昆塞曼实验室）
理解和控制深度生成模型中的潜在表示对于分析、转换和生成各种类型的数据来说是一个具有挑战性且重要的问题。在语音处理中，源滤波器模型从发声的解剖机制出发，认为语音信号是由几个独立的、有物理意义的连续潜在因素产生的，其中基频$f_0$和共振峰是最重要的。在这项工作中，我们从一个变分自编码器（VAE）在一个大的数据集上的未标记的自然语音信号的无监督的方式训练，我们表明，语音生产的源过滤器模型自然产生的VAE潜在空间的正交子空间。利用人工语音合成器产生的标记语音信号，我们提出了一种方法来识别编码$f_0$和前三个共振峰频率的潜在子空间，我们证明了这些子空间是正交的，并基于这种正交性，我们开发了一种方法来精确和独立地控制潜在子空间内的源滤波器语音因子。在不需要诸如文本或人类标记的数据之类的附加信息的情况下，这导致以$f_0$和共振峰频率为条件的语音频谱图的深度生成模型，并且该深度生成模型被应用于变换语音信号。最后，我们还提出了一个强大的$f_0$估计方法，利用投影的语音信号到学习的潜在子空间与$f_0$。
2023-03-21 cs.LG cs.SD eess.AS
Contrastive Predictive Coding Supported Factorized Variational Autoencoder for Unsupervised Learning of Disentangled Speech Representations
Paderborn Center for Parallel Computing（帕德博恩并行计算中心）
在这项工作中，我们解决的风格和内容的语音信号的解开。我们提出了一个完全卷积变分自动编码器采用两个编码器：内容编码器和风格编码器。为了促进解纠缠，我们提出了对抗性对比预测编码。这种新的解纠缠方法既不需要并行数据，也不需要任何监督。我们表明，所提出的技术是能够分离的扬声器和内容的特点到两个不同的表示，并显示竞争力的扬声器内容解纠缠性能相比，其他无监督的方法。我们进一步证明了增加的鲁棒性的内容表示对训练测试不匹配相比，频谱特征，当用于电话识别。
2021-03-11 cs.SD eess.AS
Expressive paragraph text-to-speech synthesis with multi-step variational autoencoder
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于多步变分自编码器的段落语音合成系统EP-MSTTS，通过五层级建模可变风格并在段落切分数据上训练，有效提升了有声读物语音合成的表现力。
2024-06-11 cs.SD eess.AS
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题，我们提出了一个zero-shot多说话人TTS，命名为nnSpeech，它可以合成一个新的说话人的声音，而无需微调，只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比，该方法基于说话人引导的条件变分自编码器，可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明，该模型可以生成自然、相似的语音，只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
A Benchmark of Dynamical Variational Autoencoders applied to Speech Spectrogram Modeling
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔理工学院）
变分自编码器（VAE）是一种强大的深度生成模型，现在被广泛用于通过以无监督方式学习的低维潜在空间来表示高维复杂数据。在原始VAE模型中，输入数据向量被独立地处理。近年来，一系列论文提出了VAE处理序列数据的不同扩展，不仅对潜在空间进行建模，而且还对数据向量序列和相应潜在向量的时间依赖性进行建模，依赖于递归神经网络。我们最近对这些模型进行了全面的回顾，并将它们统一到一个称为动态变分自编码器（DVAE）的通用类中。在本文中，我们提出了一个实验基准比较的结果，这些DVAE模型的语音分析-再合成任务，作为一个例子的高潜力的DVAE语音建模。
2021-06-14 cs.SD eess.AS
DAL: Feature Learning from Overt Speech to Decode Imagined Speech-based EEG Signals with Convolutional Autoencoder
Korea University（高丽大学）
脑-机接口（BCI）是通过反映人的意图和状态来实现人与设备之间通信的工具之一。随着人工智能的发展，人们对使用脑电图（EEG）在人类和无人机之间进行通信的兴趣增加。特别是，在控制无人机群的情况下，例如方向或编队，与控制无人机单元相比，有许多优点。想象言语是一种内源性的脑机接口范式，它可以识别用户的意图。当进行想象语音时，用户想象发音就像实际说话一样。相比之下，显性语音是用户直接发音的任务。当使用想象的语音控制无人机群时，可以更直观地传递复杂的命令，但解码性能低于其他内源性BCI范例。提出了深度自学习算法（DAL）来学习明显语音的脑电信号特征，用于基于想象语音的脑电信号分类。据我们所知，这项研究是第一次尝试使用脑电特征的公开语音解码想象的语音为基础的脑电信号与自动编码器。共有8名受试者参加了实验。当对四个词进行分类时，DAL的平均正确率为48.41%。此外，当比较明显语音的w/o和w/ EEG特征之间的性能时，当包括明显语音的EEG特征时，性能提高了7.42%。因此，我们证明了公开语音的EEG特征可以提高想象语音的解码性能。
2021-07-15 cs.HC cs.LG cs.SD
Unsupervised speech representation learning using WaveNet autoencoders
Institute of Computer Science, University of Wrocław（弗罗茨瓦夫大学计算机科学研究所）；Google Research（谷歌研究院）；DeepMind
我们考虑的任务，无监督提取有意义的潜在表示的语音应用自动编码神经网络语音波形。目标是学习能够从信号中捕获高级语义内容的表示，例如，音素身份，同时对信号中的混淆低级细节（诸如潜在的音高轮廓或背景噪声）不变。由于学习的表示被调整为仅包含语音内容，因此我们采用高容量WaveNet解码器来推断编码器从先前样本中丢弃的信息。此外，自动编码器模型的行为取决于应用于潜在表示的约束类型。我们比较三种变体：简单降维瓶颈、高斯变分自编码器（VAE）和离散矢量量化VAE（VQ-VAE）。我们分析了学习的代表性的说话人独立性，预测语音内容的能力，并能够准确地重建个人声谱图帧的质量。此外，对于使用VQ-VAE提取的离散编码，我们测量将它们映射到音素的难易程度。我们引入了一个正则化方案，迫使表示专注于话语的语音内容，并报告与ZeroSpeech 2017无监督声学单元发现任务中的顶级条目相当的性能。
2019-09-11 cs.LG eess.AS stat.ML
Complex-valued Spatial Autoencoders for Multichannel Speech Enhancement
在这篇文章中，我们提出了一种新的在线多通道语音增强的方法。所提出的方法通过滤波和求和框架来估计增强信号。更具体地说，复值掩模由深度复值神经网络估计，称为复值空间自编码器。所提出的网络能够利用以及操纵麦克风信号的相位和幅度。如实验结果所示，所提出的方法是能够利用所需的源信号的空间和频谱特性，从而在物理上合理的空间选择性和优越的语音质量相比，其他基线方法。
2021-08-06 eess.AS
Correlation Distance Skip Connection Denoising Autoencoder (CDSK-DAE) for Speech Feature Enhancement
Korea University（高丽大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
基于学习的自动语音识别（ASR）的性能易受噪声的影响，特别是当噪声在测试数据中引入而在训练数据中不存在时。这项工作的重点是通过引入一种新的去噪自动编码器（DAE）的变体来增强噪声鲁棒的端到端ASR系统的功能。该方法通过将目标帧的语音信息从输入传递到模型，在编码器和解码器侧使用跳过连接。它还在训练模型中使用了一个新的目标函数，该目标函数通过测量潜在目标特征和模型（从DAE获得的潜在特征和增强特征）的依赖性，在惩罚项中使用相关距离度量。所提出的方法的性能进行了比较，对传统的模型和一个国家的最先进的模型下看到和看不见的噪声环境中的7种不同类型的背景噪声与不同的SNR水平（0，5，10和20 dB）。还使用线性和非线性惩罚项对所提出的方法进行了测试，其中，与最先进的模型相比，它们都显示出在可见和不可见的噪音条件下总体平均WER的改进。
2019-07-26 cs.LG cs.SD eess.AS
Feedback Recurrent AutoEncoder
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通技术公司高通人工智能研究院）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通技术荷兰私人有限公司高通人工智能研究院）；University of California San Diego（加州大学圣地亚哥分校）
在这项工作中，我们提出了一个新的经常性的自动编码器架构，称为反馈递归自动编码器（FRAE），在线压缩的时间依赖性的顺序数据。FRAE的递归结构被设计为有效地提取沿时间维度的冗余，并允许学习数据的紧凑离散表示。我们证明了它在语音谱图压缩中的有效性。具体来说，我们表明，FRAE，与一个强大的神经声码器配对，可以产生高质量的语音波形在一个低的，固定的比特率。我们进一步表明，通过为潜在空间添加学习的先验知识并使用熵编码器，我们可以实现更低的可变比特率。
2020-02-17 cs.LG cs.SD eess.AS
Learning Subject-Invariant Representations from Speech-Evoked EEG Using Variational Autoencoders
KU Leuven（鲁汶大学）
脑电图（EEG）是了解大脑如何处理语音的有力方法。为此，线性模型最近被深度神经网络取代，并产生了有希望的结果。在相关的EEG分类领域，它表明，明确建模主体不变的功能，提高了模型的泛化跨学科和效益的分类精度。在这项工作中，我们适应因式分解层次变分自编码器，利用并行EEG记录相同的刺激。我们将EEG建模为两个解纠缠的潜在空间。主题和内容潜在空间上的主题准确率分别达到98.96%和1.60%，而二进制内容分类实验分别达到51.51%和62.91%。
2022-07-01 cs.LG eess.AS
A Bayesian Permutation training deep representation learning method for speech enhancement with variational autoencoder
Audio Analysis Lab, CREATE, Aalborg University（奥尔堡大学CREATE音频分析实验室）；Capturi A/S（Capturi A/S公司）
最近，变分自动编码器（VAE），一种深度表示学习（DRL）模型，已经被用于执行语音增强（SE）。然而，据我们所知，目前基于VAE的SE方法仅将VAE应用于模型语音信号，而噪声使用传统的非负矩阵分解（NMF）模型建模。使用NMF的最重要的原因之一是，这些基于VAE的方法不能从观察到的信号中分离出语音和噪声潜变量。本文基于贝叶斯理论，推导出一种新的VAE变分下界，保证了VAE可以在监督下训练，并且可以从观测信号中分离出语音和噪声潜变量。这意味着，该方法可以应用VAE模型的语音和噪声信号，这是完全不同于以往的基于VAE的SE作品。更具体地，所提出的DRL方法可以学习将语音和噪声信号先验强加给用于SE的不同的潜在变量集合。实验结果表明，该方法不仅可以从观测信号中分离出语音和噪声潜变量，而且比基于深度神经网络（DNN）的SE方法具有更高的尺度不变信失真比和语音质量分数。
2022-01-24 cs.SD eess.AS
Variational Autoencoder for Personalized Pathological Speech Enhancement
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文针对混合 VAE-NMF 语音增强模型在帕金森病病理语音上的泛化差距，提出用每位说话人数秒干净语音微调预训练模型，实现性能可比的个性化增强。
2025-03-18 cs.SD eess.AS
Chain-based Discriminative Autoencoders for Speech Recognition
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
在我们以前的工作中，我们提出了一个判别式自动编码器（DcAE）的语音识别。DcAE将两个培训计划合二为一。首先，由于DcAE旨在学习编码器-解码器映射，因此重构语音与输入语音之间的平方误差被最小化。其次，在代码层，基于帧的语音嵌入通过最小化地面真值标签和预测的三音素状态分数之间的分类交叉熵来获得。DcAE是基于Kaldi工具包开发的，将各种TDNN模型视为编码器。在本文中，我们进一步提出了三个新版本的DcAE。首先，一个新的目标函数，认为分类交叉熵和互信息之间的地面真相和预测的三音子状态序列。由此产生的DcAE被称为基于链的DcAE（c-DcAE）。对于鲁棒语音识别的应用，我们进一步扩展c-DcAE的层次和并行结构，导致hc-DcAE和pc-DcAE。在这两个模型中，重建的含噪语音与输入的含噪语音之间的误差和增强的语音与参考干净语音之间的误差都被考虑到目标函数中。在WSJ和Aurora-4语料库上的实验结果表明，我们的DcAE模型优于基线系统。
2022-06-15 cs.AI cs.CL cs.LG
Text-to-speech synthesis based on latent variable conversion using diffusion probabilistic model and variational autoencoder
Nagoya university（名古屋大学）
文本转语音合成（TTS）是将文本转换成语音的任务。推动TTS的两个因素是概率模型和潜在表征学习的进步。我们提出了一种基于扩散概率模型和变分自动编码器（VAE）的潜在变量转换的TTS方法。在我们的TTS方法中，我们使用基于VAE的波形模型，从文本预测波形模型中潜变量分布的扩散模型，以及学习文本和语音潜序列之间对齐的对齐模型。我们的方法集成了扩散与VAE通过建模的均值和方差参数与扩散，其中目标分布是由近似从VAE。这个潜在变量转换框架潜在地使我们能够灵活地结合各种潜在特征提取器。我们的实验表明，我们的方法是强大的语言标签与穷人的拼写和对齐错误。
2022-12-16 cs.CL eess.AS stat.ML
Prediction of head motion from speech waveforms with a canonical-correlation-constrained autoencoder
University of Edinburgh（爱丁堡大学）
本研究探讨直接使用语音波形来预测头部运动的语音驱动的头部运动合成，而使用的频谱特征，如MFCC作为基本的输入功能，以及额外的功能，如能量和F0是常见的文献。我们表明，而不是结合不同的功能，源于波形，它是更有效地使用波形直接预测相应的头部运动。基于波形的方法的挑战在于波形包含与预测头部运动无关的大量信息量，这阻碍了神经网络的训练。为了克服这个问题，我们提出了一个典型的相关性约束的自动编码器（CCCAE），其中隐藏层的训练，不仅最大限度地减少错误，但也最大限度地提高与头部运动的典型相关性。与基于MFCC的系统相比，该系统在客观评价方面表现出相当的性能，在主题评价方面表现出更好的性能。
2020-11-02 cs.SD eess.AS
Posterior sampling algorithms for unsupervised speech enhancement with recurrent variational autoencoder
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文针对基于循环变分自编码器的无监督语音增强中变分EM计算复杂的问题，提出基于朗之万动力学和Metropolis-Hastings的后验采样算法，实验证明其在效率和性能上均优于VEM，并具备稳健的泛化能力。
2023-09-19 cs.CV cs.SD eess.AS
Masked Autoencoders Are Articulatory Learners
University Of Maryland, College Park（马里兰大学帕克分校）；Institute For Systems Research（系统研究所）
本文提出基于Masked Autoencoders的深度学习方法，成功重建XRMB数据集中被错误追踪的发音记录，恢复了3.28小时此前无法使用的录音。
2023-05-18 cs.LG cs.SD eess.AS
Deep Vocoder: Low Bit Rate Compression of Speech with Deep Autoencoder
National University of Defense Technology（国防科技大学）；Army Engineering University of PLA（中国人民解放军陆军工程大学）
受深度神经网络（DNN）在语音处理中的成功启发，本文提出了一种带深度自动编码器（DAE）的直接端到端低比特率语音压缩方法--深度声码器（Deep Vocoder）。在深度声码器中，DAE用于提取语音的潜在代表特征（LRF），然后通过合成分析矢量量化（AbS VQ）方法对其进行有效量化。AbS VQ的目标是最小化感知频谱重建失真，而不是LRF向量本身的失真。此外，提出了一种次优码本搜索技术，以进一步降低计算复杂性。实验结果表明，与传统的基于SQ或VQ的编解码器的输出相比，深度声码器在频率加权分段SNR、STOI和PESQ得分方面产生了实质性的改善。对于2400 bit/s和1200 bit/s的语音编码，在TIMIT语料库上产生的PESQ分数分别为3.34和3.08。
2019-05-14 cs.IT cs.MM cs.SD
MIMO Speech Compression and Enhancement Based on Convolutional Denoising Autoencoder
对于物联网环境中与语音相关的应用，确定有效的方法来处理干扰噪声和压缩传输中的数据量对于实现高质量的服务至关重要。在这项研究中，我们提出了一种新的多输入多输出语音压缩和增强（MIMO-SCE）系统的卷积去噪自动编码器（CDAE）模型的基础上，同时提高语音质量和减少传输数据的维数。与传统的单通道和多输入单输出系统相比，MIMO系统可以用于处理需要处理的多个声学信号的应用中。我们研究了两种CDAE模型，全卷积网络（FCN）和Sinc FCN，作为MIMO系统中的核心模型。实验结果证实，所提出的MIMO-SCE框架有效地提高了语音质量和可懂度，同时减少了7倍的记录数据量进行传输。
2021-06-07 eess.AS eess.SP
Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech
Kakao Enterprise（Kakao企业）；School of Computing, KAIST（韩国科学技术院计算学院）
最近几个端到端的文本到语音（TTS）模型，使单阶段的训练和并行采样已被提出，但它们的样本质量不匹配的两个阶段的TTS系统。在这项工作中，我们提出了一个并行的端到端的TTS方法，产生更自然的声音比目前的两阶段模型的音频。我们的方法采用变分推理与规范化流程和对抗性训练过程，提高了生成建模的表达能力。我们还提出了一个随机的持续时间预测合成语音与不同的节奏从输入文本。通过对潜在变量和随机持续时间预测器的不确定性建模，我们的方法表达了自然的一对多关系，其中文本输入可以以多种方式以不同的音高和节奏进行说话。对LJ Speech（单个说话者数据集）的主观人类评价（平均意见得分或MOS）表明，我们的方法优于最好的公开TTS系统，并实现了与地面实况相当的MOS。
2021-06-11 cs.SD eess.AS
ACVAE-VC: Non-parallel many-to-many voice conversion with auxiliary classifier variational autoencoder
NTT Communication Science Laboratories, NTT Corporation（NTT株式会社NTT通信科学实验室）
本文提出了一种非并行的多对多语音转换（VC）方法，使用的条件变分自动编码器（VAE）的变体称为辅助分类器VAE（ACVAE）。所提出的方法有三个关键特征。首先，它采用全卷积架构来构建编码器和解码器网络，以便网络可以学习转换规则，这些规则捕获源和目标语音的声学特征序列中的时间依赖性。其次，它使用信息论正则化的模型训练，以确保属性类标签中的信息不会在转换过程中丢失。对于常规CVAE，编码器和解码器可以自由地忽略属性类标签输入。这可能是有问题的，因为在这种情况下，属性类标签在测试时对控制输入语音的话音特性几乎没有影响。这种情况可以通过引入辅助分类器并训练编码器和解码器来避免，使得解码器输出的属性类被分类器正确地预测。第三，它通过简单地将输入语音的频谱细节移植到其转换后的版本中，避免了在测试时产生嗡嗡声。主观评价实验表明，这种简单的方法在非并行多对多说话人身份转换任务中效果相当好。
2020-10-10 cs.LG cs.SD eess.AS
From Black Box to Biomarker: Sparse Autoencoders for Interpreting Speech Models of Parkinson's Disease
McGill University（麦吉尔大学）；Centre for Research on Brain, Language, and Music（大脑、语言和音乐研究中心）；Mila - Quebec AI Institute（魁北克人工智能研究所）；Douglas Research Centre（道格拉斯研究中心）；Concordia University（Concordia大学）
针对帕金森病语音检测深度学习模型的黑箱问题，本文用稀疏自编码器及新型掩码激活提取可解释字典特征，并将其与构音缺陷和MRI壳核体积相关联。
2025-07-16 cs.LG eess.AS
Complex Recurrent Variational Autoencoder with Application to Speech Enhancement
本文提出结合复值循环神经网络与 L1 重建损失的复值循环 VAE 框架，并在 TIMIT 语音增强任务中验证其可提升语音可懂度与信号质量。
2023-05-12 eess.AS
TTS-by-TTS 2: Data-selective augmentation for neural speech synthesis using ranking support vector machine with variational autoencoder
NAVER Corp.（NAVER公司）；LINE Corp.（LINE公司）
合成语音质量的最新进展使我们能够通过使用合成语料库来训练文本到语音（TTS）系统。然而，仅仅增加合成数据的量并不总是有利于提高训练效率。我们在这项研究中的目的是选择性地选择有利于训练过程的合成数据。在所提出的方法中，我们首先采用变分自动编码器，其后验分布被用来提取潜在的特征，代表录音和合成语料库之间的声学相似性。通过使用这些学到的功能，然后我们训练排名支持向量机（RankSVM），这是众所周知的有效排名二进制类之间的相对属性。通过将记录的和合成的语音设置为两个相反的类，RankSVM用于确定合成的语音在声学上如何与记录的数据相似。然后，从大规模合成语料库中选择分布与记录数据接近的合成TTS数据。通过使用这些数据对TTS模型进行再训练，可以显著提高合成质量。客观和主观评价结果表明，该方法优于传统的方法。
2022-06-30 cs.SD eess.AS
Domain Adaptation and Autoencoder Based Unsupervised Speech Enhancement
Newcastle University（纽卡斯尔大学）；University of Oxford（牛津大学）；University of Sheffield（谢菲尔德大学）
领域自适应作为迁移学习的一个范畴，在将一个任务训练的模型推广到其他类似的任务或环境中起着重要的作用。在语音增强中，可以利用经过良好训练的声学模型来获得其他语言、说话者和环境的上下文中的语音信号。最近的领域自适应研究更有效地发展与各种神经网络和高层次的抽象特征。然而，相关的研究更倾向于将训练好的模型从一个丰富多样的领域转移到一个有限的相似领域。因此，本研究针对非监督语音增强中需要向更大、更丰富的领域转移的情况，提出了领域自适应方法。一方面，重要性加权（IW）的方法是利用方差约束的自动编码器，以减少源和目标域之间的共享权重的移位。另一方面，为了训练具有最坏情况的权重的分类器，并使风险最小化，极小极大方法被提出。建议的IW和minimax方法进行评估，从语音银行和IEEE数据集的TIMIT数据集。实验结果表明，所提出的方法优于国家的最先进的方法。
2021-12-09 cs.SD eess.AS
