Generalizing to Evolving Domains with Latent Structure-Aware Sequential Autoencoder
City University of Hong Kong(香港城市大学)
领域泛化旨在提高机器学习系统对分布外数据的泛化能力。现有的领域泛化技术都是在静态和离散的环境下进行的,以解决面向对象数据所带来的泛化问题。然而,非平稳环境中的许多现实任务(例如自动驾驶汽车系统、传感器测量)涉及更复杂且不断演变的域漂移,这对领域泛化问题提出了新的挑战。在本文中,我们制定了上述设置的问题,不断发展的领域泛化。具体来说,我们建议引入一个称为潜在结构感知顺序自动编码器(LSSAE)的概率框架,通过探索深度神经网络潜在空间中的底层连续结构来解决进化领域泛化的问题,我们的目标是识别两个主要因素,即协变量偏移和概念移位,这两个因素是非平稳环境中分布偏移的原因。在合成数据集和真实数据集上的实验结果表明,LSSAE可以在不断发展的领域泛化设置的基础上获得更好的性能。
2022-06-16 cs.AI cs.LG
Improving Reconstruction Autoencoder Out-of-distribution Detection with Mahalanobis Distance
University of Waterloo(滑铁卢大学)
越来越明显地需要验证深度学习系统在自动驾驶汽车系统等安全关键应用中所做的分类。最近的一些论文提出了用于检测异常图像数据的方法,这些异常图像数据与已知的内点数据样本不同,包括基于重建的自动编码器。自动编码器优化输入数据到维度小于原始输入的潜在空间的压缩,并尝试使用该压缩表示来准确地重建输入。由于隐向量被优化以仅从内层类捕获显著特征,因此通常假设来自训练类外部的对象的图像不能被有效地压缩和重建。因此,有些人认为重建误差是一种新颖的衡量标准。在这里,我们建议,重建为基础的方法无法捕捉特定的异常,远离已知的内点样本在潜在空间,但附近的潜在维度流形定义的参数的模型。我们建议在潜在空间中加入Mahalanobis距离,以更好地捕获这些分布外的样本,我们的结果表明,这种方法通常比基线方法提高了性能。
2018-12-06 cs.LG stat.ML
Denoising Adversarial Autoencoders
BICV Imperial College London(伦敦帝国理工学院BICV)
无监督学习越来越受到人们的关注,因为它释放了大量未标记数据中的潜力,以学习有用的表示进行推理。自动编码器是生成模型的一种形式,可以通过学习从潜在表示空间重建未标记的输入数据来训练。如果自动编码器学会从损坏的输入样本中恢复干净的输入样本,则它可以产生更鲁棒的表示。可以通过在训练期间引入正则化来进一步改进表示,以形成潜在空间中的编码数据的分布。我们建议去噪对抗性自动编码器,它结合了去噪和正则化,使用对抗性训练来塑造潜在空间的分布。我们引入了一种新的分析,展示了如何将去噪纳入对抗性自动编码器的训练和采样中。进行实验,以评估的贡献,去噪表示分类和样本合成的学习。我们的研究结果表明,使用去噪标准训练的自动编码器实现了更高的分类性能,并且可以合成与输入数据更一致的样本,而不是没有腐败过程的样本。
2018-01-04 cs.CV cs.LG stat.ML
A Paired Autoencoder Framework for Inverse Problems via Bayes Risk Minimization
Emory University(埃默里大学)
提出配对自编码器框架,通过贝叶斯风险最小化学习潜在空间映射,解决逆问题,在无监督数据充足而监督数据稀缺时优于现有方法,并提供廉价评估指标。
2025-01-24 cs.LG cs.NA math.NA
Paired Autoencoders for Likelihood-free Estimation in Inverse Problems
Emory University(埃默里大学);Computational Geosciences Inc.(计算地球科学公司);The University of British Columbia(不列颠哥伦比亚大学)
针对偏微分方程离散化正问题对应的非线性逆问题,提出以配对自编码器作为无似然估计器,可高效构造、评估并改进解,并在全波形反演和逆电磁成像中验证可行性。
2024-12-03 cs.AI cs.LG cs.NA
On Geometry Regularization in Autoencoder Reduced-Order Models with Latent Neural ODE Dynamics
Independent Researcher, Italy(意大利独立研究者)
本文研究了自动编码器降阶模型中几何正则化策略的影响,发现Stiefel投影在改善潜在动态条件和滚动性能方面表现更优。
2026-03-03 cs.LG cs.NA math.NA
Paired Wasserstein Autoencoders for Conditional Sampling
Institute of Mathematics(数学研究所);Department of Mathematics(数学系);Emory University(埃默里大学)
本文提出基于配对Wasserstein自编码器的方法,通过共享潜在空间实现从OT耦合中进行条件采样,并学习最优传输映射。
2026-03-24 cs.LG stat.ML
LatentGAN Autoencoder: Learning Disentangled Latent Distribution
Wobot Intelligence Inc.(沃博特智能公司)
提出LatentGAN自编码器,用生成器学习潜在分布并加信息论约束,在MNIST等数据集上实现解耦控制,无监督分类错误率2.38,优于InfoGAN和AAE。
2025-01-20 cs.CV cs.LG
Latent Autoencoder Ensemble Kalman Filter for Nonlinear Data assimilation
Department of Mathematics, National University of Singapore(新加坡国立大学数学系);School of Mathematics, Southeast University(东南大学数学学院)
本文提出了一种潜在自编码器集合卡尔曼滤波器,通过在学习的潜在空间中重构同化问题,解决传统卡尔曼滤波在强非线性动态下的性能问题,实现稳定且可解释的同化方法。
2026-04-29 cs.LG cs.NA math.NA
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology(香港科技大学);The Education University of Hong Kong(香港教育大学)
我们研究了变分自编码器的一个变体,其中在潜在特征之上存在离散潜在变量的上层结构。一般来说,我们的超结构是一个树结构的多个超级潜在的变量,它是自动学习的数据。当上层结构中只有一个潜在变量时,我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器(LTVAE)。以前的深度学习聚类方法只产生一个数据分区,而LTVAE产生多个数据分区,每个分区由一个超级潜在变量给出。这是可取的,因为高维数据通常具有许多不同的自然方面,并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Educating Text Autoencoders: Latent Representation Guidance via Denoising
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon Web Services(亚马逊云科技)
生成式自动编码器通过利用其潜在的句子表示提供了一种有前途的可控文本生成方法。然而,目前的模型很难保持连贯的潜在空间,需要通过潜在向量操作执行有意义的文本操作。具体来说,我们通过例子证明了神经编码器不一定将相似的句子映射到附近的潜在向量。对这一现象的理论解释表明,高容量自动编码器可以学习序列和相关潜在表示之间的任意映射。为了解决这个问题,我们用去噪目标来增强对抗性自动编码器,其中原始句子是从扰动版本(称为DAAE)中重建的。我们证明,这个简单的修改指导潜在的空间几何的结果模型,鼓励编码器映射类似的文本,以类似的潜在表示。在与各种类型的自动编码器的经验比较中,我们的模型提供了生成质量和重建容量之间的最佳权衡。此外,DAAE潜在空间的改进的几何形状,使zero-shot文本风格转移通过简单的潜在向量算法。
2020-07-07 cs.CL cs.LG stat.ML
Variational Autoencoder-Based Vehicle Trajectory Prediction with an Interpretable Latent Space
Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学);AUDI AG(奥迪股份公司)
本文介绍了描述性变分自编码器(DVAE),一个无监督和端到端的可训练神经网络预测车辆轨迹,提供部分可解释性。新方法是基于常见的变分自编码器的架构和目标。通过在自动编码器的解码器部分中引入专家知识,编码器学习提取潜在参数,这些参数提供人类术语中可理解的含义。这样一个可解释的潜在空间,使专家定义的规则集的验证。DVAE的评估是使用公开的高速公路交通场景的高D数据集进行的。与具有相同复杂度的传统变分自编码器相比,所提出的模型提供了类似的预测精度,但具有可解释的潜在空间的巨大优势。对于关键的决策制定和评估预测的可信度,这个属性是非常可取的。
2021-06-24 cs.LG
Sets of autoencoders with shared latent spaces
自动编码器接收输入数据的潜在模型。在最近的工作中,他们也估计输入的概率密度函数。这一事实使得使用贝叶斯决策理论成为可能。如果我们在参数估计任务中获得每个类或参数空间中的某些点的输入数据的潜在模型,则我们能够估计参数空间中的那些类或点的似然函数。我们展示了如何设置的autoencoders解决识别问题。每个自动编码器描述其自己的模型或上下文,在潜在空间中呈现输入数据的潜在向量可以被称为在其上下文中的处理。共享自动编码器的潜在空间提供了一个非常重要的属性,即能够分离处理和上下文,其中输入信息通过自动编码器集进行处理。这项工作有两个显着和最有价值的结果:一个机制,显示了一种可能的方式形成抽象概念和一种方式,减少数据集的大小在训练过程中。这些结果通过文章中提出的测试得到证实。
2018-11-06 cs.CV cs.LG
Unpriortized Autoencoder For Image Generation
Seoul National University(首尔大学)
在本文中,我们对待的图像生成任务,使用自动编码器,一个代表性的潜在模型。与许多研究通过假设手动指定的先验来正则化潜变量的分布不同,我们通过直接估计潜变量分布来使用自动编码器来处理图像生成任务。为此,我们引入了“潜在密度估计”,它明确地捕获潜在分布,并提出了它的结构。通过实验,我们表明,我们的生成模型生成的图像与以前的自动编码器为基础的生成模型相比,提高了视觉质量。
2021-08-26 cs.CV cs.LG stat.ML
FONDUE: an algorithm to find the optimal dimensionality of the latent representations of variational autoencoders
University of Kent(肯特大学)
在给定数据集上训练变分自编码器(VAE)时,确定潜在变量的最佳数量主要通过网格搜索来完成:就计算时间和碳足迹而言,这是一个昂贵的过程。在本文中,我们探讨的内在尺寸估计(IDE)的数据和潜在的表征学习VAE。我们发现,IDE的平均值和采样表示的VAE后,只有几个步骤的训练之间的差异揭示了被动变量的存在下,在潜在的空间,这在良好的VAE,表明多余的维数。利用这一特性,我们提出了FONDUE:一种快速找到潜在维度数量的算法,在此之后,平均值和采样表示开始发散(即,当引入被动变量时),为VAE和自动编码器选择潜在维度的数量提供了一种原则性方法。
2022-09-26 cs.LG
Better Latent Spaces for Better Autoencoders
Institut für Theoretische Physik, Universität Heidelberg(海德堡大学理论物理研究所);Physikalisches Institut, Universität Heidelberg(海德堡大学物理研究所);Heidelberg Collaboratory for Image Processing, Universität Heidelberg(海德堡大学图像处理合作实验室)
自动编码器作为LHC异常搜索背后的工具存在结构性问题,即它们只在一个方向上工作,提取具有更高复杂性的喷流,而不是相反。为了解决这个问题,我们从(变分)自编码器的潜在空间中导出分类器,特别是在高斯混合和狄利克雷潜在空间中。特别是,狄利克雷设置解决了这个问题,提高了网络的性能和可解释性。
2021-04-16 cs.LG hep-ph
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM(欧洲通信研究院);University of California, Irvine(加州大学欧文分校)
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而,基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题,我们提出了一种新的稀疏高斯过程贝叶斯自动编码器(SGPAE)模型,在该模型中,我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法,并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Dueling Decoders: Regularizing Variational Autoencoder Latent Spaces
Google Research(谷歌研究院)
变分自编码器学习无监督的数据表示,但这些模型经常收敛到最小值,无法保留有意义的语义信息。例如,具有自回归解码器的变分自编码器通常会崩溃为自解码器,在自解码器中,它们学会忽略编码器输入。在这项工作中,我们证明了添加辅助解码器来正则化潜在空间可以防止这种崩溃,但成功的辅助解码任务是依赖于域的。辅助解码器可以增加潜在空间中编码的语义信息量,并在重建中可见。变分自编码器的表示中的语义信息仅与其速率、失真或证据下限弱相关。与其他修改训练目标的流行策略相比,我们对潜在空间的正则化通常增加了语义信息内容。
2019-05-17 cs.LG stat.ML
GALDS: A Graph-Autoencoder-based Latent Dynamics Surrogate model to predict neurite material transport
Department of Mechanical Engineering, Carnegie Mellon University(机械工程系,卡内基梅隆大学);Department of Biomedical Engineering, Carnegie Mellon University(生物医学工程系,卡内基梅隆大学);Department of Civil and Environmental Engineering, Carnegie Mellon University(土木与环境工程系,卡内基梅隆大学)
针对神经突网络物质运输模拟计算成本高的问题,提出基于图自编码器和神经常微分方程的代理模型GALDS,通过在潜在空间预测系统动力学,实现了低误差和10倍加速。
2025-07-15 cs.LG cs.NA math.NA
A Mechanism for Producing Aligned Latent Spaces with Autoencoders
Massachusetts Institute of Technology(麻省理工学院)
对齐的潜在空间,其中输入空间中有意义的语义转换对应于嵌入空间中的翻译,在下游任务(如无监督聚类和数据插补)的成功中发挥着重要作用。在这项工作中,我们证明了线性和非线性自编码器产生对齐的潜在空间,通过拉伸沿左奇异向量的数据。我们充分描述了线性自编码器中的拉伸量,并提供了一个初始化方案,使用这些网络沿顶部方向任意拉伸。我们还量化了非线性自动编码器在简化设置中的拉伸量。我们使用我们的理论结果来对齐药物签名跨细胞类型的基因表达空间和词嵌入空间的语义转变。
2021-06-29 cs.AI cs.LG
Autoencoder Image Interpolation by Shaping the Latent Space
School of Computer Science(计算机科学学院);The Interdisciplinary Center, Herzliya(赫兹利亚跨学科中心)
自动编码器代表了一种有效的方法,用于计算表征不同类型数据集的潜在因素。自动编码器的潜在表示已经在通过解码潜在向量的凸组合来实现数据点之间的插值的上下文中进行了研究。然而,这种插值通常会导致伪影或在重建过程中产生不切实际的结果。我们认为,这些不一致是由于潜在空间的结构,因为这种天真的插值潜在向量偏离数据流形。在本文中,我们提出了一种正则化技术,该技术将潜在表示塑造为遵循与训练图像一致的流形,并使流形平滑和局部凸。这种正则化不仅能够在数据点之间进行忠实的插值,正如我们在这里所展示的,而且还可以用作一般的正则化技术,以避免过拟合或产生用于数据增强的新样本。
2020-10-22 cs.LG stat.ML
Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
University College London(伦敦大学学院);Faculty(学院)
具有分层潜在变量结构的概率模型在非自回归、无监督的基于密度的模型中提供了最先进的结果。然而,基于变分自编码器(VAE)训练此类模型的最常见方法通常无法利用深层层次结构;成功的方法需要复杂的推理和优化方案。最优运输是一种替代的,非基于似然的框架,用于训练具有吸引人的理论属性的生成模型,原则上允许分布之间更容易的训练收敛。在这项工作中,我们提出了一种新的方法来训练模型的基础上最优运输的深层层次结构,而不需要高度定制的模型和推理网络。我们表明,我们的方法使生成模型能够充分利用其深层的潜在层次结构,避免了VAE的众所周知的“潜在变量崩溃”问题;因此,提供了质量更好的样本生成以及比原始Wasserstein Autoencoder更具可解释性的潜在表示。
2020-10-07 cs.CV cs.LG stat.ML
Disentangled Latent Spaces for Reduced Order Models using Deterministic Autoencoders
Institute for Fluid Dynamics and Ship Theory, Hamburg University of Technology(汉堡工业大学流体动力学与船舶理论研究所);Institute of Mathematics, Hamburg University of Technology(汉堡工业大学数学研究所)
针对自编码器降阶模型可解释性不足的问题,提出两种非概率确定性自编码器解耦方法,在基准数据集上取得与β-VAE相当的效果,且超参数鲁棒性更强,还可识别活跃潜变量,并验证了其在飞机着水载荷降维中的工业应用价值。
2025-02-20 cs.LG
Adversarial Latent Autoencoders
West Virginia University(西弗吉尼亚大学)
自动编码器网络是一种无监督的方法,旨在通过同时学习编码器-生成器映射来结合生成和表示属性。虽然被广泛研究,但它们是否具有与GANs相同的生成能力,或者学习分解表示的问题尚未得到充分解决。我们引入了一种联合解决这些问题的自动编码器,我们称之为对抗性潜在自动编码器(ALAE)。它是一种通用架构,可以利用最近对GAN培训程序的改进。我们设计了两个自动编码器:一个基于MLP编码器,另一个基于StyleGAN生成器,我们称之为StyleALAE。我们验证了这两种架构的解纠缠特性。我们证明,StyleALAE不仅可以生成1024 x1024的人脸图像,质量与StyleGAN相当,而且在相同的分辨率下,还可以基于真实图像进行人脸重建和操作。这使得ALAE成为第一个能够与仅生成器类型的架构进行比较并超越其能力的自动编码器。
2020-04-09 cs.CV cs.LG
Use of Student's t-Distribution for the Latent Layer in a Coupled Variational Autoencoder
Photrek, LLC(Photrek有限责任公司)
一个耦合的变分自编码器,它结合了广义损失函数和潜在的层分布,显示出MNIST数字的生成副本的准确性和鲁棒性的改善。潜在层使用学生t分布来合并重尾衰减。损失函数使用耦合对数,这增加了对具有离群值可能性的图像的惩罚。生成的图像的似然的广义平均值被用来衡量算法的决策性,准确性和鲁棒性的性能。
2020-11-21 cs.IT cs.LG math.IT
Exploring the Latent Space of Autoencoders with Interventional Assays
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自动编码器表现出令人印象深刻的能力,将数据流形嵌入到低维潜在空间中,使其成为表示学习方法的主要部分。然而,如果没有明确的监督,这往往是不可用的,表示通常是不可解释的,使分析和原则性的进展具有挑战性。我们提出了一个框架,称为潜在的反应,它利用局部收缩行为表现出的变分自编码器探索学习流形。更具体地说,我们开发的工具来探测的代表性使用干预的潜在空间,以量化潜在变量之间的关系。我们扩展了解纠缠的概念,以考虑到学习的生成过程,从而避免了现有的指标,可能依赖于虚假的相关性的限制。我们的分析强调了研究表示的因果结构的重要性,以提高下游任务的性能,如生成,插值和变异因素的推断。
2023-01-11 cs.CV cs.LG
On the Transformation of Latent Space in Autoencoders
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
注意到隐变量在推理和学习中的重要性,我们提出了一种基于隐变量同胚变换的自动编码器框架,该框架可以减少变换空间中向量之间的距离,同时保持原始空间的拓扑属性,并研究了隐空间变换对学习生成模型和去噪损坏数据的影响。实验结果表明,由于变换,我们基于所提出的框架的生成和去噪模型可以比传统的变分和去噪自动编码器提供更好的性能,其中我们根据训练集之间的豪斯多夫距离来评估生成和去噪模型的性能和处理的,即,生成的图像或去噪的图像,这可以客观地测量它们的差异,以及通过直接比较处理后图像的视觉特征。
2019-06-03 cs.LG stat.ML
CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation
针对缺乏配对数据及目标变异异质时现有方法的不足,提出CASL-VAE模型,它能从不配对数据学习结构化潜在因子,经变分推理实现相关优化,在半合成神经影像数据验证中表现良好,可用于半监督聚类、配对样本生成及揭示疾病异质性。
2026-07-10 cs.LG
On interpretability and proper latent decomposition of autoencoders
Imperial College London(帝国理工学院);The Alan Turing Institute(艾伦·图灵研究所);Delft University of Technology(代尔夫特理工大学)
湍流的动力学倾向于在统计稳定状态下仅占据相空间的一部分。从动力系统的观点来看,这部分是吸引子。湍流吸引子的知识至少有两个目的:(i)我们可以获得对湍流的物理洞察(吸引子的形状和几何形状是什么?),以及(ii)它提供了最小数量的自由度以精确地描述湍流动力学。自动编码器能够计算最佳潜在空间,这是动态的低阶表示。如果经过适当的训练和正确的设计,自动编码器可以学习湍流吸引子的近似,如Doan,Racha和Magri(2022)所示。在本文中,我们从理论上解释了自动编码器的变换。首先,我们注意到潜空间是一个曲线坐标的弯曲流形,可以用黎曼几何的简单工具进行分析。其次,我们刻画了隐空间的几何性质。我们从数学上推导出度量张量,它提供了流形的数学描述。第三,我们提出了一种方法-适当的潜在分解(PLD)-推广适当的正交分解的湍流的autocoder潜在空间。这种分解在弯曲的潜在空间中找到主导方向。这项理论工作为解释自动编码器和创建湍流的降阶模型提供了计算机会。
2022-12-02 cs.LG physics.flu-dyn
Variational Composite Autoencoders
Shanghai Jiao Tong University(上海交通大学);University of Technology Sydney(悉尼科技大学)
在复杂的数据结构或难以处理的潜在变量的存在下,潜在变量模型中的学习是具有挑战性的。先前的变分自编码器由于简单的编码器-解码器结构而可能是低效的。在本文中,我们提出了一个变分复合自动编码器,以回避这个问题的分层隐变量模型的顶部摊销。实验结果证实了我们的模型的优点。
2018-04-12 cs.LG stat.ML
Linked Causal Variational Autoencoder for Inferring Paired Spillover Effects
Arizona State University(亚利桑那州立大学);University of Arkansas at Little Rock(阿肯色大学小石城分校)
从观测数据建模溢出效应是经济学、商业和其他研究领域的一个重要问题。它帮助我们推断两个看似无关的事件之间的因果关系。例如,如果美国的消费者支出下降,就会对依赖美国作为最大出口市场的经济体产生溢出效应。在本文中,我们的目的是推断的因果关系,导致对实体(或单位)之间的溢出效应,我们称之为\textit{paired spillover}这种效果。为了实现这一目标,我们利用变分推理和深度学习技术的最新发展,提出了一种名为链接因果变分自编码器(LCVA)的生成模型。类似于变分自编码器(VAE),LCVA结合了用于学习潜在属性的编码器神经网络和用于重构输入的解码器网络。然而,与VAE不同,LCVA治疗\textit{latent attributes as confounders that are assumed to affect both the treatment and the outcome of units}。具体而言,给定一对单位$u$和$\bar{u}$,其各自的治疗和结局,LCVA的编码器网络通过调节$u$的观察协变量、$u$和$\bar{u}$的治疗以及$u$的结局来对混杂因素进行采样。一旦推断出,$u$的潜在属性(或混杂因素)就可以捕获$\bar{u}$对$u$的溢出效应。使用来自工作培训数据集(LaLonde(1986))和亚马逊电子商务领域的共同购买数据集的用户网络,…
2018-10-03 cs.LG stat.ML
Continuity-Preserving Convolutional Autoencoders for Learning Continuous Latent Dynamical Models from Images
National University of Singapore(新加坡国立大学)
本文提出保连续性卷积自编码器(CpAEs),通过促进卷积滤波器连续性来保持潜在状态连续,从而从离散图像帧中学习更准确的连续潜在动力学模型。
2025-02-02 cs.CV cs.LG
Inferring stability properties of chaotic systems on autoencoders' latent spaces
Imperial College London(帝国理工学院);The Alan Turing Institute(艾伦·图灵研究所)
本文研究CAE-ESN模型能否在自编码器潜在空间中推断混沌系统的稳定性,证明其可通过Lyapunov指数和协变Lyapunov向量恢复不变稳定性性质与切空间几何,为高维混沌系统稳定性推断提供新途径。
2024-10-23 cs.LG nlin.CD
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck
University at Buffalo(布法罗大学);Criteo(Criteo公司);Duke University(杜克大学)
变分自编码器(VAE)是端到端表示学习中必不可少的工具。然而,VAE的顺序文本生成常见的陷阱是,该模型倾向于忽略具有强大自回归解码器的潜在变量。在本文中,我们提出了一个原则性的方法来缓解这个问题,通过应用一个离散化的瓶颈,在一个更紧凑的潜在空间中执行隐式的潜在特征匹配。我们施加一个共享的离散潜在空间,每个输入都被学习选择一个潜在原子的组合作为正则化的潜在表示。我们的模型赋予一个有前途的能力,离散序列的潜在语义建模,从而提供更多的解释性潜在结构。从经验上讲,我们证明了我们的模型在广泛的任务上的效率和有效性,包括语言建模,未对齐的文本样式传输,对话响应生成和神经机器翻译。
2021-02-25 cs.CL cs.LG stat.ML
Beyond Input Activations: Identifying Influential Latents by Gradient Sparse Autoencoders
Northwestern University(西北大学);University of Georgia(佐治亚大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出GradSAE方法,通过引入输出侧梯度信息识别具有高因果影响力的潜在特征,解决了传统SAE分析仅依赖输入激活而忽略特征对输出因果贡献的问题,从而提升模型操控的有效性。
2025-09-23 cs.AI cs.CL cs.LG
Decoder Decomposition for the Analysis of the Latent Space of Nonlinear Autoencoders With Wind-Tunnel Experimental Data
Imperial College London(帝国理工学院);The Alan Turing Institute(阿兰·图灵研究所);Politecnico di Torino(都灵理工大学)
针对非线性自编码器难以解释的问题,提出解码器分解后处理方法,通过合成数据与风洞实验验证其可关联潜变量与流动相干结构、实现潜变量排序选择,助力自编码器的设计与解释。
2024-04-25 cs.LG physics.flu-dyn
A PCA-like Autoencoder
LTCI, Télécom ParisTech, Université Paris Saclay(巴黎萨克雷大学巴黎高等电信学院LTCI实验室)
自动编码器是一个神经网络,它将数据投射到低维潜在空间或从低维潜在空间投射数据,在低维潜在空间中,该数据更容易理解和建模。自动编码器由两个子网络组成,编码器和解码器,它们执行这些转换。神经网络经过训练,使得输出尽可能接近输入,数据已经通过了信息瓶颈:潜在空间。该工具与主成分分析(PCA)有很大的区别,主要有两个不同之处。首先,自编码器是一种非线性变换,与PCA相反,这使得自编码器更加灵活和强大。其次,由PCA找到的轴是正交的,并且根据数据沿着这些轴呈现的变化量进行排序。这使得PCA的可解释性比自动编码器的可解释性大得多,自动编码器不具有这些属性。理想情况下,我们希望自动编码器的潜在空间由独立的组件组成,按数据的重要性递减排序。在本文中,我们提出了一个算法来创建这样的网络。我们创建了一个迭代算法,它逐渐增加潜在空间的大小,在每一步学习一个新的维度。其次,我们提出了一个协方差损失项添加到标准的自动编码器损失函数,以及一个归一化层之前的潜在空间,这鼓励潜在空间分量是统计独立的。我们证明了这个自动编码器的结果,简单的几何形状,并发现该算法确实找到了一个有意义的表示在潜在的空间。这意味着在潜在空间中的后续插值具有关于图像的几何属性的意义。
2019-04-02 cs.CV cs.LG
Variational Autoencoder with Learned Latent Structure
Georgia Institute of Technology(佐治亚理工学院)
流形假设指出,高维数据可以被建模为位于或靠近低维非线性流形。变分自动编码器(VAE)通过学习从低维潜在向量到高维数据的映射来近似该流形,同时通过使用指定的先验分布来鼓励潜在空间中的全局结构。当这种先验与真实数据流形的结构不匹配时,它可能导致数据的模型不太准确。为了解决这种不匹配,我们引入了变分自动编码器与学习的潜在结构(VAELLS),它将一个可学习的流形模型到潜在的VAE空间。这使我们能够从数据中学习非线性流形结构,并使用该结构来定义潜在空间中的先验。潜在流形模型的集成不仅确保我们的先验与数据匹配良好,而且还允许我们在潜在空间中定义生成变换路径,并使用源于每个类的示例的变换来描述类流形。我们在具有已知潜在结构的示例上验证了我们的模型,并在真实世界的数据集上展示了其功能。
2021-03-02 cs.LG stat.ML
Implicit Greedy Rank Learning in Autoencoders via Overparameterized Linear Networks
Apple(苹果公司)
使用梯度下降训练的深度线性网络会产生低秩解,这通常是在矩阵分解中研究的。在本文中,我们进一步分析了自动编码器中的隐式秩正则化。我们展示了贪婪学习的低秩潜在代码诱导的线性子网络的自动编码器的瓶颈。我们进一步提出了正交初始化和原则性的学习率调整,以减轻训练动态对谱先验和线性深度的敏感性。在合成数据上使用线性自编码器,我们的方法稳定地收敛到地面真实潜码秩。使用非线性自编码器,我们的方法收敛到最适合下游分类和图像采样的潜在秩。
2021-07-02 cs.LG
Quantization-Based Regularization for Autoencoders
KTH Royal Institute of Technology(瑞典皇家理工学院);Research Institutes of Sweden(瑞典研究机构)
自动编码器及其变体提供了无监督模型,用于学习下游任务的低维表示。如果没有适当的正则化,自动编码器模型容易受到过拟合问题和所谓的后验崩溃现象的影响。在本文中,我们在自动编码器模型的瓶颈阶段引入了一个基于量化的正则化器来学习有意义的潜在表示。我们结合了矢量量化-变分自编码器(VQ-VAE)和神经网络的经典去噪正则化方法。我们将量化器解释为正则化器,其约束潜在表示,同时在编码器处促进保持相似性的映射。在量化之前,我们对潜在代码施加噪声,并使用贝叶斯估计器来优化基于量化器的表示。引入的瓶颈贝叶斯估计器输出的后验均值的质心的解码器,因此,正在执行软量化的噪声潜在的代码。我们表明,我们提出的正则化方法相比,使用其他瓶颈结构的自动编码器,在改进的潜在表示的监督学习和集群下游任务。
2020-01-22 cs.LG stat.ML
Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University(斯坦福大学)
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布,例如自然语言理解、人类意图预测和视觉场景表示。然而,离散的潜在空间需要足够大,以捕获真实世界数据的复杂性,从而使下游任务在计算上具有挑战性。例如,在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器,同时保持其学习的多模态。作为一种事后潜在空间缩减技术,我们使用证据理论来识别从特定输入条件接收直接证据的潜在类,并过滤掉那些不接收直接证据的潜在类。不同的任务,如图像生成和人类行为预测的实验,证明了我们提出的技术在减少模型的离散潜在样本空间大小,同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
SALSA: Semantically-Aware Latent Space Autoencoder
University of North Carolina(北卡罗来纳大学)
针对仅用SMILES训练的自编码器潜空间不尊重分子结构相似性的问题,本文提出带监督对比损失的SALSA,使仅差一次图编辑的分子编码接近,从而提升潜空间质量。
2023-10-04 cs.LG
Theoretically informed selection of latent activation in autoencoder based recommender systems
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本文通过理论分析确定自编码器编码器应具备的三个数学性质,证明ReLU和tanh无法同时满足,而sigmoid类激活函数更合适,为推荐系统超参数选择提供系统化方法。
2024-11-06 cs.LG
Verification of Unknown Dynamical Systems via Autoencoder Latent Space
Delft University of Technology(代尔夫特理工大学);AI4I, Turin, Italy(意大利都灵AI4I)
本文提出了一种基于凸自编码器和核方法的学习方法,用于减少动态系统维度并验证其在潜在空间中的行为,从而在高维情况下实现更有效的形式验证。
2026-10-23 cs.LG
Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space
FUJITSU LABORATORIES LTD.(富士通实验室有限公司);Fujitsu R&D Center Co., Ltd.(富士通研发中心有限公司)
为了分析现实世界中的高维和复杂数据,诸如变分自编码器(VAE)的深度生成模型将数据嵌入低维空间(潜在空间)中,并在潜在空间中学习概率模型。然而,他们很难从潜在空间中准确地再现输入空间中的概率分布函数(PDF)。如果嵌入是等距的,这个问题可以解决,因为PDF的关系可以变得易于处理。为了实现等距属性,我们提出了率失真优化指导的自动编码器的启发正交变换编码。我们证明了该方法具有以下性质:(i)输入空间和欧氏隐空间之间的雅可比矩阵形成了一个常尺度的正交系统,可以实现等距数据嵌入;(ii)两个空间中PDF的关系可以成为一个易于处理的关系,如比例关系。此外,我们的方法在四个公共数据集的无监督异常检测中优于最先进的方法。
2020-08-31 cs.LG stat.ML
GLSR-VAE: Geodesic Latent Space Regularization for Variational AutoEncoder Architectures
Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学);Sony CSL(索尼计算机科学研究所);École Polytechnique(巴黎综合理工学院)
VAE(变分自编码器)已被证明在密度建模的背景下是强大的,并已被用于各种背景下的创造性目的。在许多情况下,我们建模的数据具有连续属性,我们希望在生成时考虑这些属性。我们在本文中提出了GLSR-VAE,一个测地线潜在空间正则化的变分自编码器架构及其推广,它允许一个精细的控制嵌入到潜在空间的数据。当用这种正则化来增加VAE损失时,学习的潜在空间的变化反映了数据属性的变化。这种对VAE潜在空间结构的更深入理解提供了以连续方式调制所生成数据的属性的可能性。我们证明了它的效率上的单声道音乐生成任务,我们设法生成离散序列的变化,在一个有意的和好玩的方式。
2017-07-14 cs.AI cs.LG stat.ML
Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE
Salesforce AI Research(赛富时人工智能研究院)
Wasserstein自动编码器(WAE)表明,匹配两个分布相当于最小化一个简单的自动编码器(AE)的潜在空间匹配预先指定的先验分布的约束下的损失。这种潜在的空间分布匹配是WAE的核心组成部分,也是一项具有挑战性的任务。在本文中,我们建议使用对比学习框架,已被证明是有效的自我监督表示学习,作为一种手段来解决这个问题。我们这样做是利用这样一个事实,即对比学习目标优化潜在的空间分布是均匀的单位超球体,可以很容易地从采样。我们表明,使用对比学习框架来优化WAE损失实现更快的收敛速度和更稳定的优化相比,现有的流行算法WAE。这也反映在CelebA和CIFAR-10数据集上的FID评分以及CelebA-HQ数据集上的真实生成图像质量中。
2023-02-15 cs.CV cs.LG
Autoencoder Node Saliency: Selecting Relevant Latent Representations
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Center for Applied Scientific Computing(应用科学计算中心)
自动编码器是一个人工神经网络模型,它学习未标记数据的隐藏表示。对于线性传递函数,它类似于主成分分析(PCA)。虽然这两种方法都使用权重向量进行线性变换,但自动编码器没有任何类似于PCA中与特征向量配对的特征值的指示。我们提出了一种新的监督节点显着性(SNS)的方法,排名隐藏的节点通过比较类分布的潜在表示对一个固定的参考分布。隐藏节点的潜在表示可以使用一维直方图来描述。我们应用归一化熵差(NED)来衡量直方图的“兴趣度”,并得出一个属性的NED值来识别一个好的分类节点。通过将我们的方法应用于真实数据集,我们证明了SNS解释训练的自动编码器所学到的东西的能力。
2018-03-08 cs.CV cs.LG stat.ML
Spacetime Autoencoders Using Local Causal States
University of California Davis(加利福尼亚大学戴维斯分校)
局部因果状态是捕捉复杂时空系统中有组织的模式和结构的潜在表征。我们扩展了它们的功能,将它们构建为时空自动编码器。以前,它们只被认为是从可观测时空场到潜在局域因果态场的映射。在这里,我们表明,有一个随机解码,从潜在的字段映射回可观察的字段。此外,他们的马尔可夫性质定义了一个随机动态的潜在空间。结合随机译码,给出了一种新的时空场预测方法。
2020-10-12 cs.LG nlin.AO physics.comp-ph
BinPlay: A Binary Latent Autoencoder for Generative Replay Continual Learning
Warsaw University of Technology(华沙理工大学);Tooploox
我们引入了一个二进制潜在空间自动编码器架构排练训练样本的持续学习的神经网络。用新数据扩展模型知识而不忘记先前学习的样本的能力是持续学习的基本要求。现有的解决方案通过从存储器重放过去的数据来解决它,这对于不断增长的训练数据是不可持续的,或者通过用生成模型来重建过去的样本来解决它,生成模型被训练为泛化超过训练数据,因此错过了各个样本的重要细节。在本文中,我们采取了两全其美,并介绍了一种新的生成排练方法,称为BinPlay。它的主要目标是找到一个质量保持编码过去的样本到预先计算的二进制代码生活在自动编码器的二进制潜在空间。由于我们仅根据训练样本的时间索引来参数化用于预计算代码的公式,因此自动编码器能够实时计算排练样本的二进制嵌入,而无需将它们保存在内存中。对三个基准数据集的评估显示,BinPlay与竞争性生成重放方法相比,准确性提高了两倍。
2020-11-25 cs.LG
Tiered Graph Autoencoders with PyTorch Geometric for Molecular Graphs
IBM(国际商业机器公司)
分子图的分层潜在表示和潜在空间提供了一种简单但有效的方式来显式地表示和利用组(例如,官能团),其由原子(节点)层、基团层和分子(图)层组成。它们可以使用分层图形自动编码器架构来学习。在本文中,我们讨论了调整分层图自动编码器以用于PyTorch Geometric,用于确定性分层图自动编码器模型和概率分层变分图自动编码器模型。我们还讨论了分子结构信息源,可以访问提取分子图的训练数据。为了支持迁移学习,关键的考虑是信息必须利用标准的唯一分子和组成原子标识符。由于使用分层图自编码器进行深度学习,每个分子图都具有分层潜在表示。在每一层,潜在表示包括:节点特征,边索引,边特征,隶属度矩阵和节点嵌入。这使得能够单独地(节点层、组层或图形层)或联合地利用和探索分层的分子潜在空间,以及跨层导航。
2019-08-22 cs.LG stat.ML
PCAE: Learning Ordered Representations in Latent Space for Intrinsic Dimension Estimation via Principal Component Autoencoder
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一种结合非均匀方差正则化与等距约束的自编码器框架,用于在潜在空间中学习有序表示以估计内在维度。
2026-08-10 cs.LG
Latent-Insensitive autoencoders for Anomaly Detection
Al-Azhar University in Cairo(开罗爱资哈尔大学);The Australian National University(澳大利亚国立大学)
基于重构的异常检测方法在应用于具有高类间方差的目标类的复杂数据集时往往达不到要求。与迁移学习中使用的自学学习的想法类似,许多领域都有丰富的类似的未标记数据集,可以用作分布外样本的代理。在本文中,我们介绍了潜在不敏感的自动编码器(LIS-AE),其中来自相似域的未标记数据被用作负例来塑造常规自动编码器的潜在层(瓶颈),使得它只能重建一个任务。我们提出的训练过程和损失函数的理论依据,以及广泛的消融研究,突出我们的模型的重要方面。我们在多个异常检测设置中测试我们的模型,提供定量和定性分析,展示我们的模型在异常检测任务中的显着性能改进。
2021-11-14 cs.CV cs.LG
Disentangled Inference for GANs with Latently Invertible Autoencoder
Xiaomi AI Lab(小米人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
生成对抗网络(GANs)在机器学习中发挥着越来越重要的作用。然而,有一个基本问题阻碍了它们的实际应用:缺乏对真实世界样本进行编码的能力。解决该问题的传统方式是经由变分自动编码器(VAE)来学习用于GAN的编码器。在本文中,我们表明,VAE/GAN框架的潜在空间的纠缠构成了编码器学习的主要挑战。为了解决GAN中的纠缠问题并实现推理,我们提出了一种新的算法,称为潜在可逆自动编码器(LIA)。LIA的框架是一个可逆网络及其逆映射对称地嵌入VAE的潜空间中。首先将LIA的解码器训练成一个标准的GAN,然后通过将LIA的可逆网络从LIA中分离出来,从解纠缠的自编码器中学习部分编码器,从而避免了随机潜在空间带来的纠缠问题。在FFHQ人脸数据集和三个LSUN数据集上进行的实验验证了LIA/GAN的有效性。
2022-03-01 cs.LG stat.ML