Quantization-Based Regularization for Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）；Research Institutes of Sweden（瑞典研究机构）
自动编码器及其变体提供了无监督模型，用于学习下游任务的低维表示。如果没有适当的正则化，自动编码器模型容易受到过拟合问题和所谓的后验崩溃现象的影响。在本文中，我们在自动编码器模型的瓶颈阶段引入了一个基于量化的正则化器来学习有意义的潜在表示。我们结合了矢量量化-变分自编码器（VQ-VAE）和神经网络的经典去噪正则化方法。我们将量化器解释为正则化器，其约束潜在表示，同时在编码器处促进保持相似性的映射。在量化之前，我们对潜在代码施加噪声，并使用贝叶斯估计器来优化基于量化器的表示。引入的瓶颈贝叶斯估计器输出的后验均值的质心的解码器，因此，正在执行软量化的噪声潜在的代码。我们表明，我们提出的正则化方法相比，使用其他瓶颈结构的自动编码器，在改进的潜在表示的监督学习和集群下游任务。
2020-01-22 cs.LG stat.ML
Semi-supervised Grasp Detection by Representation Learning in a Vector Quantized Latent Space
Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）
机器人要完成复杂的操作任务，必须具有良好的抓取能力。然而，视觉为基础的机器人把握检测阻碍了足够的标记数据的不可用性。此外，半监督学习技术在抓取检测中的应用还有待进一步研究。本文提出了一种基于半监督学习的抓取检测方法，该方法采用矢量量化变分自编码器（VQ-VAE）对离散的潜在空间进行建模。据我们所知，这是第一次变分自编码器（VAE）已被应用于机器人抓取检测领域。VAE帮助模型在Cornell抓取数据集（CGD）之外进行推广，尽管通过利用未标记的数据，标记的数据量有限。这一声明已通过在图像上测试模型得到验证，而图像在CGD中不可用。与此同时，我们用VQ-VAE模型中使用的解码器结构增强了生成抓取卷积神经网络（GGCNN）架构，直觉上它应该有助于在矢量量化的潜在空间中回归。随后，该模型的性能显着优于现有的方法，不使用未标记的图像，以提高把握。
2020-01-30 cs.LG cs.RO stat.ML
Vector Quantized Models for Planning
DeepMind（深度思维）；Mila（米拉）；University of Montreal（蒙特利尔大学）
基于模型的强化学习领域的最新发展已经证明在一系列环境中是成功的，特别是在规划至关重要的环境中。然而，这样的成功仅限于确定性的充分观察的环境。我们提出了一种新的方法，处理随机和部分可观察的环境。我们的关键见解是使用离散自动编码器来捕获随机环境中动作的多种可能影响。我们使用随机变量的蒙特卡罗树搜索规划代理的行动和离散的潜变量代表环境的响应。我们的方法显着优于离线版本的MuZero对国际象棋的随机解释，其中对手被认为是环境的一部分。我们还表明，我们的方法可以扩展到DeepMind Lab，这是一个具有大量视觉观察和部分可观察性的第一人称3D环境。
2021-06-10 cs.AI cs.LG stat.ML
Theoretical Convergence Guarantees for Variational Autoencoders
CNRS（法国国家科学研究中心）；LOPF, Califrais’ Machine Learning Lab（LOPF，Califrais机器学习实验室）
本文提出变分自编码器的非渐近收敛保证，分析了不同优化算法和超参数对收敛的影响，为VAE的理论理解提供了新见解。
2025-12-22 cs.LG stat.ML
Multi-Objective Variational Autoencoder: an Application for Smart Infrastructure Maintenance
The University of Sydney（悉尼大学）
多路数据分析已经成为一种重要的工具，用于捕获高阶数据集的底层结构，其中标准的双向分析技术通常无法发现多路数据中变量之间隐藏的相关性。提出了一种基于自编码深度神经网络（ADNN）重构概率的多目标变分自编码器（MVA）智能基础设施损伤检测与诊断方法。我们的方法融合了多个传感器的数据在一个ADNN信息功能被提取和用于损伤识别。它生成概率异常分数来检测损坏，评估其严重程度，并通过ADNN中引入的新定位层进一步定位。我们评估了我们的方法在多路数据集在该地区的结构健康监测损伤诊断的目的。数据收集从我们部署的数据采集系统上的斜拉桥在西悉尼和从实验室为基础的建筑结构从洛斯阿拉莫斯国家实验室（LANL）。实验结果表明，该方法能够准确地检测出结构损伤。它还能够估计不同级别的损坏严重程度，并在无人监督的情况下捕获损坏位置。与现有的方法相比，我们提出的方法在损伤检测和定位方面表现出更好的性能。
2020-03-11 cs.LG stat.ML
Unsupervised speech representation learning using WaveNet autoencoders
Institute of Computer Science, University of Wrocław（弗罗茨瓦夫大学计算机科学研究所）；Google Research（谷歌研究院）；DeepMind
我们考虑的任务，无监督提取有意义的潜在表示的语音应用自动编码神经网络语音波形。目标是学习能够从信号中捕获高级语义内容的表示，例如，音素身份，同时对信号中的混淆低级细节（诸如潜在的音高轮廓或背景噪声）不变。由于学习的表示被调整为仅包含语音内容，因此我们采用高容量WaveNet解码器来推断编码器从先前样本中丢弃的信息。此外，自动编码器模型的行为取决于应用于潜在表示的约束类型。我们比较三种变体：简单降维瓶颈、高斯变分自编码器（VAE）和离散矢量量化VAE（VQ-VAE）。我们分析了学习的代表性的说话人独立性，预测语音内容的能力，并能够准确地重建个人声谱图帧的质量。此外，对于使用VQ-VAE提取的离散编码，我们测量将它们映射到音素的难易程度。我们引入了一个正则化方案，迫使表示专注于话语的语音内容，并报告与ZeroSpeech 2017无监督声学单元发现任务中的顶级条目相当的性能。
2019-09-11 cs.LG eess.AS stat.ML
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain（谷歌大脑）
最近的神经文本转语音（TTS）模型与细粒度的潜在功能，使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器（VAE）结构，提取每个输入令牌处的潜在特征（例如，音素）。然而，使用标准VAE先验生成样本通常会导致不自然和不连续的语音，令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验，可以生成更自然的声音样本。这是通过使用矢量量化（VQ）对潜在特征进行离散化，并针对结果单独训练自回归（AR）先验模型来实现的。我们评估的方法，使用听力测试，客观指标的自动语音识别（ASR）的性能，和韵律属性的测量。实验结果表明，该模型显著提高了随机样本生成的自然度。此外，初步的实验表明，从所提出的模型中随机采样可以作为数据增强，以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
PIGPVAE: Physics-Informed Gaussian Process Variational Autoencoders
SINTEF Digital（SINTEF数字研究院）；Norwegian University of Science and Technology（挪威科学与技术大学）
该文提出物理信息高斯过程变分自编码器（PIGPVAE），通过结合物理模型与差异项，从有限数据中生成合成样本，在室内温度数据上达到最先进性能并支持分布外生成。
2025-05-25 cs.LG stat.ML
On Kernel-based Variational Autoencoder
Math department Lehigh University（莱恩大学数学系）
提出用核密度估计近似 VAE 后验并推导 KL 散度上界，证明 Epanechnikov 核渐近最优，EVAE 在多个图像基准上提升重建质量。
2025-05-12 cs.LG stat.ML
Differentiable VQ-VAE's for Robust White Matter Streamline Encodings
UCLA（加州大学洛杉矶分校）
针对现有自编码器仅处理单根白质流线且潜在空间结构不良的问题，提出可微向量量化变分自编码器，将整个流线束作为单个数据点处理以提供可靠编码，在编码和合成任务上优于现有自编码器。
2023-11-18 cs.LG stat.AP stat.ML
A Statistical Analysis of Wasserstein Autoencoders for Intrinsically Low-dimensional Data
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文从统计学习理论角度分析Wasserstein自编码器，证明在合适网络架构下其期望超额风险收敛速率仅依赖数据内在维度而非高维特征维度，为低维结构数据上的应用提供了理论保证。
2024-02-24 cs.LG math.ST stat.ML
Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse
Columbia University（哥伦比亚大学）
变分自编码器（VAE）遭受后验崩溃，其中用于建模和推理的强大神经网络优化目标，而没有有意义地使用潜在表示。我们引入推理批评，检测和激励后崩溃，要求潜变量和观察之间的对应关系。通过将批评者的目标与自监督对比表示学习中的文献相连接，我们从理论和经验上证明了优化推理批评者增加了观察和潜在之间的互信息，减轻了后崩溃。这种方法很容易实现，并且需要比现有方法少得多的训练时间，但在三个已建立的数据集上获得了有竞争力的结果。总的来说，该方法为使用变分自编码器桥接先前断开的对比学习和概率建模框架奠定了基础，强调了两个社区在其交叉点可能会发现的好处。
2022-07-19 cs.LG stat.ML
