Autoencoder-based non-intrusive model order reduction in continuum mechanics
RWTH Aachen University（亚琛工业大学）；Stanford University（斯坦福大学）；Hamburg University of Technology（汉堡工业大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
本研究提出一种基于自编码器的非侵入式连续介质力学降阶建模框架，含三阶段流程及力增强、多场两项扩展，经多类非线性基准验证可准确重建高保真解，公开实现为相关工程应用提供基础。
2025-09-02 cs.AI cs.CE cs.LG
From Points to Spheres: A Geometric Reinterpretation of Variational Autoencoders
Department of Applied Physics（应用物理系）；Beijing University of Technology（北京理工大学）
本文提出用几何视角重新诠释变分自编码器，将潜在表示视为受KL散度约束的高斯球，并统一解释VQ-VAE的生成能力来源，从而揭示VAE塑造潜在几何以实现有效生成的机制。
2025-08-21 cs.LG
Beyond a Bag of Features: Set-Level Instability in Sparse Autoencoders
Heidelberg University（海德堡大学）
该研究以稀疏自编码器（SAE）隐集合重叠度为相似度度量，发现SAE特征不通过简单特征袋语义组合，其激活集合与人类概念判断存在显著不匹配。
2026-08-12 cs.CL cs.LG
3D Convolutional Selective Autoencoder For Instability Detection in Combustion Systems
Iowa State University（爱荷华州立大学）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Intel Corporation（英特尔公司）；Raytheon Technologies（雷神技术公司）
虽然物理系统中的临界（相变）的解析解对于简单的非线性系统来说是丰富的，但对于现实生活中的动力系统来说，这样的分析仍然是棘手的。这种物理系统的一个关键例子是燃烧中的热声不稳定性，其中预测或早期检测不稳定性的发生是一项艰巨的技术挑战，需要解决这一问题，以建立更安全，更节能的燃气涡轮发动机，为航空航天和能源工业提供动力。发动机燃烧室中出现的不稳定性在数学上太复杂，难以建模。为了以数据驱动的方式解决这个问题，我们提出了一种称为3D卷积选择性自动编码器（3D-CSAE）的新型深度学习架构，以使用时空数据检测自激振荡的演变，即，从旋流稳定燃烧室（燃气涡轮发动机燃烧室的实验室替代品）拍摄的高速视频。3D-CSAE由过滤器组成，以分层方式学习与燃烧不稳定性相关的复杂视觉和动态特征。我们在从一组有限的操作条件获得的视频帧上训练3D-CSAE。我们选择的3D-CSAE超参数是有效的分层和多尺度不稳定性结构的演变，利用视频中的动态信息。所提出的模型清楚地表明，在检测不稳定的前兆性能的改善。机器学习驱动的结果与基于物理的离线措施进行了验证。先进的主动控制机制可以直接利用所提出的3D-CSAE的在线检测能力，以减轻燃烧不稳定性对在各种严格要求和条件下运行的发动机的不利影响。
2021-01-06 cs.LG cs.SY eess.SY
Tiered Graph Autoencoders with PyTorch Geometric for Molecular Graphs
IBM（国际商业机器公司）
分子图的分层潜在表示和潜在空间提供了一种简单但有效的方式来显式地表示和利用组（例如，官能团），其由原子（节点）层、基团层和分子（图）层组成。它们可以使用分层图形自动编码器架构来学习。在本文中，我们讨论了调整分层图自动编码器以用于PyTorch Geometric，用于确定性分层图自动编码器模型和概率分层变分图自动编码器模型。我们还讨论了分子结构信息源，可以访问提取分子图的训练数据。为了支持迁移学习，关键的考虑是信息必须利用标准的唯一分子和组成原子标识符。由于使用分层图自编码器进行深度学习，每个分子图都具有分层潜在表示。在每一层，潜在表示包括：节点特征，边索引，边特征，隶属度矩阵和节点嵌入。这使得能够单独地（节点层、组层或图形层）或联合地利用和探索分层的分子潜在空间，以及跨层导航。
2019-08-22 cs.LG stat.ML
A Geometric Perspective on Variational Autoencoders
Université Paris Cité（巴黎西岱大学）；INRIA（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；Centre de Recherche des Cordeliers（科德利埃研究中心）
本文介绍了一种新的解释的变分自动编码器框架采取完全几何的观点。我们认为，香草VAE模型自然揭示了黎曼结构在其潜在的空间，并考虑到这些几何方面可以导致更好的插值和改进的生成过程。这种新提出的采样方法包括从学习的黎曼潜在空间本质上派生的均匀分布中采样，我们表明，使用这种方案可以使香草VAE具有竞争力，甚至比几个基准数据集上的更高级版本更好。由于生成模型是已知的敏感的训练样本的数量，我们也强调该方法的鲁棒性在低数据制度。
2022-11-03 cs.LG stat.ML
A Geometric Perspective on Autoencoders
Korea Institute for Advanced Study（韩国高等研究院）
本文从几何角度解释自动编码器同时学习低维流形与坐标图，指出数据集对应多个解并可能导致错误流形和潜空间扭曲，进而综述相关几何解决方法。
2023-09-27 cs.AI cs.CG cs.LG
Modeling Barrett's Esophagus Progression using Geometric Variational Autoencoders
University of Amsterdam（阿姆斯特丹大学）；Amsterdam University Medical Centres（阿姆斯特丹大学医学中心）
针对巴雷特食管早期检测需求，研究几何变分自编码器捕捉其进展潜在表示的效果，验证两类几何VAE的性能提升，并提出兼具生成能力与自编码器优势的新型架构。
2025-06-16 cs.CV cs.LG eess.IV
A Simple Geometric Method for Cross-Lingual Linguistic Transformations with Pre-trained Autoencoders
Chatlayer.ai by Sinch（Sinch旗下Chatlayer.ai）；Sinch；Ghent University - Imec（根特大学 - imec）
为多种语言训练的强大句子编码器正在崛起。这些系统能够将广泛的语言属性嵌入到向量表示中。虽然显式探测任务可以用来验证特定语言属性的存在，但目前还不清楚是否可以操纵向量表示来间接引导这些属性。为了有效的学习，我们研究了在嵌入空间中使用几何映射来转换语言属性，而无需对预训练的句子编码器或解码器进行任何调整。我们使用预训练的多语言自动编码器在三个语言属性上验证了我们的方法，并在单语和跨语言设置中分析了结果。
2021-09-21 cs.CL cs.LG
CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits
University of Southern California（南加利福尼亚大学）
CircuitSteer是利用SAEs识别多层语义回路的新型框架，通过几何对齐合成引导向量实现多点干预，在多任务多模型上，其引导效果优于牺牲流畅性或覆盖不足的对比方法。
2026-08-07 cs.LG
Bilinear autoencoders find interpretable manifolds
University of Antwerp（安特卫普大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出双线性自编码器用于发现可解释的流形，通过低秩二次形式分解激活，改进语言模型的重构误差，并展示不同几何先验的自编码器能恢复相同输入子空间。
2026-05-09 cs.LG
Feature Starvation as Geometric Instability in Sparse Autoencoders
Imperial College London South Kensington Campus（伦敦帝国理工学院南肯辛顿校区）；Institute for Statistical Mathematics（统计数学研究所）
本文提出了一种自适应弹性净稀疏自编码器（AEN-SAEs），通过引入ℓ2结构项和自适应ℓ1重新加权，解决稀疏自编码器中的特征枯竭问题，同时保持重建能力。
2026-05-06 cs.AI cs.LG math.OC
Sparse, Geometric Autoencoder Models of V1
Harvard University（哈佛大学）；Tufts University（塔夫茨大学）
经典的稀疏编码模型将视觉刺激表示为少数学习的基函数的线性组合，这些基函数在自然图像数据上训练时是类似于Gabor的。然而，通过经典稀疏编码学习的Gabor样滤波器远远高估了调谐良好的简单细胞感受野（SCRF）配置文件。许多后续模型要么完全放弃了稀疏字典学习框架，要么尚未利用展开的神经字典学习架构的激增。这些更新中缺少的一个关键主题是更强的\emph{structured sparsity}概念。我们提出了一个自动编码器架构，其潜在的表示是隐式的，局部组织的谱聚类，这会产生人工神经元更好地匹配观察到的灵长类动物数据。自动编码器目标函数中的加权$\ell_1$（WL）约束保持了稀疏编码框架的核心思想，但也提供了一个有前途的路径来描述在未来工作中的判别层次的感受野的分化。
2023-02-22 cs.AI cs.LG
Multimodal Variational Autoencoder for Low-cost Cardiac Hemodynamics Instability Detection
University of Sheffield（谢菲尔德大学）；IITRAM（印度理工学院拉杰科德校区）；Sheffield Teaching Hospitals（谢菲尔德教学医院）；INSIGNEO, Institute for in Silico Medicine, University of Sheffield（谢菲尔德大学INSIGNEO计算机医学研究所）
本文提出多模态变分自编码器CardioVAE_X,G，通过三流预训练策略融合低成本CXR和ECG数据，在有限标注数据下实现心脏血流动力学不稳定性检测，AUROC达0.79。
2024-07-05 cs.CV cs.LG
Geometric Capsule Autoencoders for 3D Point Clouds
Apple Inc.（苹果公司）
我们提出了一种方法来学习对象表示从3D点云使用束几何可解释的隐藏单元，我们称之为几何胶囊。每个几何胶囊代表一个可视实体，如对象或零件，并由两个组件组成：姿势和特征。姿态编码实体所在的位置，而特征编码实体是什么。我们使用这些胶囊来构建一个几何胶囊自动编码器，它可以学习将3D点分组为部分（小的局部表面），并以无监督的方式将这些部分分组为整个对象。我们的新的多视图协议投票机制被用来发现一个对象的规范构成和其姿态不变的特征向量。使用ShapeNet和ModelNet 40数据集，我们分析了学习表示的属性，并展示了多个投票一致的好处。我们执行任意旋转对象的对齐和检索-评估我们模型的对象识别和规范姿态恢复能力的任务-并获得了有见地的结果。
2019-12-06 cs.CV cs.GR cs.LG
A Geometric View for Understanding Concept Learning and Neuron Interpretation in Sparse Autoencoders
University of California, Berkeley（加州大学伯克利分校）
提出统一数学框架，将概念学习形式化为集合对齐问题，区分检测、分离和近似三种学习强度，并给出几何条件与误差界，通过形式概念分析连接概念学习与神经元解释。
2026-06-05 cs.AI cs.LG
Curvature-Regularized Variational Autoencoder for 3D Scene Reconstruction from Sparse Depth
Department of Computer Engineering（计算机工程系）；Islamic Azad University of Tehran, East Branch（泰姬大学塔里克分校）
本文提出基于曲率正则化的变分自编码器，通过离散拉普拉斯算子提升3D场景重建精度，仅需15%训练开销，有效解决稀疏深度数据下的几何误差问题。
2025-12-05 cs.CV cs.LG
GD-VAEs: Geometric Dynamic Variational Autoencoders for Learning Nonlinear Dynamics and Dimension Reductions
University of California Santa Barbara（加州大学圣巴巴拉分校）
提出GD-VAEs，结合几何与拓扑信息，利用变分自编码器学习非线性动力学的流形潜空间表示，并在多个物理系统上验证其降维性能。
2025-03-26 cs.LG cs.NA math.DS
Geometric instability of graph neural networks on large graphs
University of Cambridge（剑桥大学）；Neo4j
本文提出图原生且具有置换、正交、平移及求值顺序不变性的图格拉姆指数（GGI），用于分析大图上GNN嵌入在节点分类和链路预测中的几何不稳定性。
2023-11-28 cs.LG cs.SI
From Geometric Recovery to Causal Validation: A Reproducible Audit of Sparse Autoencoder Features, from Superposition Geometry to Causal Inertness
研究聚焦于稀疏自编码器特征，通过重现相关实验发现现有评估混淆不同主张。提出sae - 因果审计工具，发现大量特征存在因果惰性，重新审计细化惰性分类，应用该工具于生产SAE揭示原子碰撞信号。
2026-07-15 cs.LG
A PCA-like Autoencoder
LTCI, Télécom ParisTech, Université Paris Saclay（巴黎萨克雷大学巴黎高等电信学院LTCI实验室）
自动编码器是一个神经网络，它将数据投射到低维潜在空间或从低维潜在空间投射数据，在低维潜在空间中，该数据更容易理解和建模。自动编码器由两个子网络组成，编码器和解码器，它们执行这些转换。神经网络经过训练，使得输出尽可能接近输入，数据已经通过了信息瓶颈：潜在空间。该工具与主成分分析（PCA）有很大的区别，主要有两个不同之处。首先，自编码器是一种非线性变换，与PCA相反，这使得自编码器更加灵活和强大。其次，由PCA找到的轴是正交的，并且根据数据沿着这些轴呈现的变化量进行排序。这使得PCA的可解释性比自动编码器的可解释性大得多，自动编码器不具有这些属性。理想情况下，我们希望自动编码器的潜在空间由独立的组件组成，按数据的重要性递减排序。在本文中，我们提出了一个算法来创建这样的网络。我们创建了一个迭代算法，它逐渐增加潜在空间的大小，在每一步学习一个新的维度。其次，我们提出了一个协方差损失项添加到标准的自动编码器损失函数，以及一个归一化层之前的潜在空间，这鼓励潜在空间分量是统计独立的。我们证明了这个自动编码器的结果，简单的几何形状，并发现该算法确实找到了一个有意义的表示在潜在的空间。这意味着在潜在空间中的后续插值具有关于图像的几何属性的意义。
2019-04-02 cs.CV cs.LG
Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model
HRL Laboratories, LLC（HRL实验室有限责任公司）；University of Virginia（弗吉尼亚大学）
在本文中，我们研究通过自动编码器生成建模，同时使用优雅的几何性质的最佳运输（OT）问题和Wasserstein距离。我们引入了切片Wasserstein自动编码器（SWAE），这是一种生成模型，使人们能够将潜在空间的分布塑造成任何可采样的概率分布，而无需训练对抗网络或定义分布的封闭形式。简而言之，我们用编码训练样本的分布和预定义的可采样分布之间的切片Wasserstein距离来正则化自动编码器损失。我们表明，所提出的配方有一个有效的数值解，提供了类似的功能，Wasserstein自动编码器（WAE）和变分自编码器（VAE），同时受益于一个非常简单的实现。
2018-06-27 cs.LG stat.ML
Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；University of Birmingham（伯明翰大学）
我们提出了一个对称图卷积自动编码器，它产生一个低维的潜在表示从一个图。与现有的具有非对称解码器部分的图自编码器相比，所提出的自编码器具有新设计的解码器，该解码器构建了完全对称的自编码器形式。对于节点特征的重建，解码器是基于拉普拉斯锐化作为拉普拉斯平滑的编码器的对应物而设计的，这允许在所提出的自动编码器架构的整个过程中利用图结构。为了防止引入Laplacian锐化所引起的网络数值不稳定性，我们进一步提出了一种新的数值稳定形式的Laplacian锐化，通过引入符号图。此外，一个新的成本函数，发现一个潜在的代表性和潜在的亲和力矩阵同时设计，以提高图像聚类任务的性能。在聚类、链接预测和可视化任务上的实验结果表明，该模型具有较好的稳定性，且性能优于现有的各种算法。
2019-08-07 cs.CV cs.LG stat.ML
Riemannian Geometry-Preserving Variational Autoencoder for MI-BCI Data Augmentation
本文提出保黎曼几何的变分自编码器，用于生成具有对称正定性质的EEG协方差矩阵，以提升MI-BCI的数据增强效果。
2026-03-11 cs.LG
Latent Manifold Reconstruction and Representation with Topological and Geometrical Regularization
Southern University of Science and Technology（南方科技大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院）
本文提出一种基于AutoEncoder的方法，通过流形重建层与拓扑几何正则化相结合，从噪声数据中发现并保持潜在流形结构，实验表明其优于t-SNE、UMAP和Topological AutoEncoders。
2025-05-07 cs.LG
Geodesic Calculus on Implicitly Defined Latent Manifolds
University of Bonn, Germany（波恩大学，德国）；Université Paris–Saclay, ENS Paris–Saclay, Centre Borelli, France（巴黎-萨克莱大学，巴黎-萨克莱高等师范学院，Borelli研究中心，法国）；University of Münster, Germany（穆尔斯特大学，德国）
提出将自编码器的潜在流形视为隐式子流形，并开发离散黎曼微积分工具以近似经典几何算子，通过去噪目标学习近似投影，实现潜在流形上的测地线路径计算和黎曼指数映射。
2026-06-17 cs.LG
Physically Interpretable Representation Learning with Gaussian Mixture Variational AutoEncoder (GM-VAE)
Institute for Computational and Mathematical Engineering, Stanford University（计算与数学工程研究所，斯坦福大学）；Department of Mechanical Engineering, Stanford University（机械工程系，斯坦福大学）；National Renewable Energy Laboratory（国家可再生能源实验室）；Ann and H.J. Smead Department of Aerospace Engineering Sciences, University of Colorado, Boulder（安与H.J.斯迈德航空航天工程科学系，科罗拉多大学，博尔德）
GM-VAE通过结合EM启发式训练和谱可解释性度量，实现对高维科学数据的物理可解释性表示学习，有效提升湍流和反应流动系统的解释能力。
2025-11-26 cs.LG
The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws
ARC Training Centre for Information Resilience (CIRES)（信息韧性ARC培训中心（CIRES））；School of Mathematics and Physics, University of Queensland（昆士兰大学数学与物理学院）；Institute for Molecular Bioscience, University of Queensland（昆士兰大学分子生物科学研究所）；Profenso（Profenso公司）；QIMR Berghofer Medical Research Institute（QIMR伯格霍尔医学研究中心）
本文研究稀疏自编码器中逐层扩展定律的几何原因，发现流形结构决定了每层宽度指数，且跨模型转移表明存在可传递的几何定律。
2026-05-11 cs.AI cs.LG math.DG
Variational autoencoders with latent high-dimensional steady geometric flows for dynamics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出VAE-DLM方法，在潜在空间中引入稳态几何流，通过物理信息方法求解高维流，增强潜在表示的表达能力，在PDE型数据上降低OOD误差15%-35%。
2026-06-17 cs.LG math.DG stat.CO
Knowledge-Guided Masked Autoencoder with Linear Spectral Mixing and Spectral-Angle-Aware Reconstruction
本文提出一种结合物理约束的知识引导掩码自编码器，通过线性光谱混合和光谱-角度感知重建提升模型的可解释性和泛化能力。
2026-02-10 cs.LG
Variational Autoencoders for Learning Nonlinear Dynamics of Physical Systems
University of California Santa Barbara (UCSB)（加州大学圣塔芭芭拉分校）
我们开发了数据驱动的方法，将物理信息的先验学习简约表示的非线性系统所产生的参数化偏微分方程和力学。我们的方法是基于变分自编码器（VAE）从观察学习非线性状态空间模型。我们开发的方法，将几何和拓扑先验通过一般流形潜在空间表示。我们研究我们的方法学习低维表示的非线性Burgers方程和约束力学系统的性能。
2021-03-15 cs.AI cs.LG cs.SY
Geometric regularization of autoencoders via observed stochastic dynamics
Department of Mathematics and Statistics, University at Albany, SUNY（数学与统计学系，阿尔巴尼大学，纽约州立大学）
本文提出一种基于观测随机动力学的自编码器正则化方法，通过构建切包层惩罚和逆一致性惩罚，学习单个非线性切片和潜在SDE，从而减少学习误差并提升泛化能力。
2026-04-17 cs.LG math.DS math.PR
Diffusion Variational Autoencoders
Eindhoven University of Technology（埃因霍温理工大学）
具有欧几里得潜在空间的标准变分自编码器在结构上不能捕获某些数据集的拓扑特性。为了消除拓扑障碍，我们引入了扩散变分自编码器与任意流形作为潜在空间。扩散变分自编码器使用流形上布朗运动的过渡核。特别是，它使用布朗运动的性质来实现重新参数化技巧和快速逼近KL散度。我们证明了扩散变分自编码器能够捕获合成数据集的拓扑特性。此外，我们训练MNIST球，环面，射影空间，SO（3），和一个环面嵌入R3。虽然像MNIST这样的自然数据集没有具有明确拓扑结构的潜在变量，但在流形上训练它仍然可以突出拓扑和几何属性。
2019-03-28 cs.LG stat.ML
Disentanglement with Hyperspherical Latent Spaces using Diffusion Variational Autoencoders
Eindhoven University of Technology（埃因霍温理工大学）；Prosus AI（Prosus人工智能）；Prosus
一个数据集的解纠缠表示应该能够恢复产生它的潜在因素。出现的一个问题是，当潜在的生成因素具有一定的几何结构时，使用欧几里得空间的潜变量模型是否可以产生解纠缠表示。例如，从不同角度看到的汽车图像。该角度具有周期性结构，但一维表示将无法捕获该拓扑。我们如何解决这个问题？提交给NeurIPS 2019解纠缠挑战赛第一阶段的参赛作品包括一个扩散变分自编码器（$Δ$ VAE），该编码器具有超球形潜在空间，例如，可以恢复周期性真因子。训练的$Δ$ VAE是通过将修改后的版本的证据下限（ELBO）的裁剪后近似的编码能力。
2020-03-19 cs.LG stat.ML
Unsupervised Geometric Disentanglement for Surfaces via CFAN-VAE
Rensselaer Polytechnic Institute（伦斯勒理工学院）
几何解纠缠，内在（即身份）和外在（即姿态）几何的潜在代码的分离，是非欧几里德数据的生成模型，如3D可变形模型的一个突出任务。它为潜在空间提供了更大的可解释性，并导致了对生成的更多控制。这项工作介绍了一个网格功能，共形因子和正常功能（CFAN），用于网格卷积自动编码器。我们进一步提出CFAN-VAE，一种新的架构，解开身份和构成使用CFAN功能。CFAN-VAE在训练过程中不需要身份或姿态的标签信息，以无监督的方式实现几何解纠缠。我们的综合实验，包括重建，插值，生成和身份/姿态转移，证明CFAN-VAE实现了最先进的性能无监督的几何解纠缠。我们还成功地检测到网格卷积自动编码器中的几何解纠缠水平，该编码器通过将其潜在空间注册到CFAN-VAE的潜在空间来直接编码xyz坐标。
2020-12-10 cs.CG cs.CV cs.GR
AutoSpeed: A Linked Autoencoder Approach for Pulse-Echo Speed-of-Sound Imaging for Medical Ultrasound
Friedrich-Alexander-University（弗里德里希-亚历山大大学）；Siemens Healthcare GmbH（西门子医疗有限公司）
定量超声，例如，组织中的声速（SoS）提供关于具有诊断价值的组织特性的信息。最近的研究表明，从脉冲回波超声原始数据中提取SoS信息的可能性（也称为RF数据）使用在模拟数据上完全训练的深度神经网络。这些方法采用传感器域数据，即，RF数据作为输入，并以端到端的方式训练网络，以学习RF数据域和SoS域之间的隐式映射。然而，这样的网络容易过拟合到模拟数据，这导致在测量数据上测试时性能差和不稳定。我们提出了一种新的方法，采用学习表示从两个链接的自动编码器的SoS映射。我们测试我们的方法模拟和测量数据从人类乳房模仿幻影。我们表明，SOS映射是可能的使用链接自动编码器。所提出的方法具有2.39%的平均绝对百分比误差（MAPE）的模拟数据。在实测数据上，所提出的方法的预测值接近预期值，MAPE为1.1%。与端到端训练网络相比，该方法具有更高的稳定性和可重复性。
2022-07-04 cs.CV cs.LG eess.IV
Uncovering the Folding Landscape of RNA Secondary Structure with Deep Graph Embeddings
Yale University（耶鲁大学）；Univ. de Montréal（蒙特利尔大学）；Mila（米拉研究所）
生物分子图分析最近在几何深度学习的新兴领域中获得了很多关注。在这里，我们专注于组织生物分子图的方式，揭示它们之间有意义的关系和变化。我们提出了一个几何散射自动编码器（GSAE）网络学习这样的图嵌入。我们的嵌入网络首先使用最近提出的几何散射变换提取丰富的图形特征。然后，它利用半监督变分自编码器来提取低维嵌入，该嵌入保留了这些特征中的信息，从而能够预测分子特性以及表征图形。我们表明，GSAE组织RNA图的结构和能量，准确地反映了RNA的结构。此外，该模型是生成的，可以采样新的折叠轨迹。
2022-03-28 cs.LG stat.ML
Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling
University of California, Santa Barbara（加州大学圣巴巴拉分校）
递归变分自编码器已广泛用于语言建模和文本生成任务。这些模型通常面临一个困难的优化问题，也称为Kullback-Leibler（KL）项消失问题，其中后验很容易崩溃到先验，并且模型将忽略生成任务中的潜在代码。为了解决这个问题，我们引入了一个改进的Wasserstein变分自编码器（WAE）与黎曼规范化流（RNF）的文本建模。RNF将潜在变量转换到一个尊重输入空间几何特征的空间中，这使得后验不可能崩溃为无信息的先验。Wasserstein目标直接最小化边缘分布和先验分布之间的距离，因此不强制后验匹配先验分布。实验结果表明，该模型避免了KL在一系列数据集上的消失，在语言建模、似然近似和文本生成等任务中具有更好的性能。通过对潜在空间的一系列实验和分析，我们证明了我们的模型学习了尊重潜在空间几何的潜在分布，并且能够生成更加多样化的句子。
2019-04-22 cs.CL cs.LG
Indirectly Parameterized Concrete Autoencoders
KTH Royal Institute of Technology（皇家理工学院）；Science for Life Laboratory（生命科学实验室）；Swedish e-Science Research Centre (SeRC)（瑞典电子科学研究中心）；Klarna（克拉纳公司）
针对Concrete自编码器特征选择时因重复特征选择导致联合优化不稳定、训练慢且泛化差的问题，提出间接参数化的IP-CAE，通过学习嵌入到Gumbel-Softmax参数的映射，显著提升泛化能力与训练效率，还可推广至相关分布场景。
2024-08-16 cs.LG stat.ML
Variational Autoencoders with Riemannian Brownian Motion Priors
Technical University of Denmark（丹麦技术大学）；Research Institutes of Sweden（瑞典研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
变分自编码器（VAE）表示低维潜在空间中的给定数据，该潜在空间通常被假设为欧几里得。这个假设自然会导致对连续潜变量的标准高斯先验的共同选择。然而，最近的工作表明，这种先验对模型容量有不利影响，导致性能低于标准。我们建议，欧几里德假设在于这种故障模式的核心。为了解决这个问题，我们假设一个黎曼结构的潜在空间，这构成了一个更有原则的几何视图的潜在代码，并取代标准高斯先验与黎曼布朗运动先验。我们提出了一个有效的推理方案，不依赖于这个先验的未知归一化因子。最后，我们证明了这一先验显着增加模型容量，只使用一个额外的标量参数。
2020-08-07 cs.LG stat.ML
On interpretability and proper latent decomposition of autoencoders
Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；Delft University of Technology（代尔夫特理工大学）
湍流的动力学倾向于在统计稳定状态下仅占据相空间的一部分。从动力系统的观点来看，这部分是吸引子。湍流吸引子的知识至少有两个目的：（i）我们可以获得对湍流的物理洞察（吸引子的形状和几何形状是什么？），以及（ii）它提供了最小数量的自由度以精确地描述湍流动力学。自动编码器能够计算最佳潜在空间，这是动态的低阶表示。如果经过适当的训练和正确的设计，自动编码器可以学习湍流吸引子的近似，如Doan，Racha和Magri（2022）所示。在本文中，我们从理论上解释了自动编码器的变换。首先，我们注意到潜空间是一个曲线坐标的弯曲流形，可以用黎曼几何的简单工具进行分析。其次，我们刻画了隐空间的几何性质。我们从数学上推导出度量张量，它提供了流形的数学描述。第三，我们提出了一种方法-适当的潜在分解（PLD）-推广适当的正交分解的湍流的autocoder潜在空间。这种分解在弯曲的潜在空间中找到主导方向。这项理论工作为解释自动编码器和创建湍流的降阶模型提供了计算机会。
2022-12-02 cs.LG physics.flu-dyn
Mixed-curvature Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）；Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Department of Computer Science（计算机科学系）；MIT（麻省理工学院）；ETH（苏黎世联邦理工学院）
由于其强大和简单，欧几里得几何在历史上一直是机器学习应用程序的典型“主力”。然而，最近已经表明，具有恒定非零曲率的几何空间改进了各种数据类型和下游任务的表示和性能。因此，生成模型，如变分自编码器（VAE）已成功地推广到椭圆和双曲潜在空间。虽然这些方法在具有特定种类的偏差的数据上工作良好，例如双曲线VAE的树状数据，但不存在统一和利用所有三个模型的通用方法。我们开发了一个混合曲率变分自编码器，一个有效的方式来训练的VAE，其潜在空间是一个产品的常曲率黎曼流形，其中每个组件的曲率是固定的或可学习的。这将欧几里得VAE推广到弯曲的潜在空间，并在所有潜在空间分量的曲率变为0时恢复它。
2020-02-13 cs.LG stat.ML
Joint Learning of Geometric and Probabilistic Constellation Shaping
Hamburg University of Technology（汉堡工业大学）；Nokia Bell Labs（诺基亚贝尔实验室）
星座的选择在很大程度上影响通信系统的性能。在设计星座时，可以优化点的位置和出现概率。这些方法分别被称为几何和概率成形。通常，星座的几何形状是固定的，例如，使用正交幅度调制（QAM）。在这种情况下，可实现的信息速率仍然可以通过概率整形来提高。在这项工作中，我们展示了如何利用自动编码器来执行星座的概率整形。我们设计了一个信息理论描述的自编码器，它允许学习的能力实现符号分布和星座。最近，提出了执行几何成形的机器学习技术。然而，概率整形更具挑战性，因为它需要离散分布的优化。此外，所提出的方法使联合概率和几何形状的星座在任何信道模型。仿真结果表明，学习星座实现的信息速率非常接近容量的加性高斯白噪声（AWGN）信道和AWGN和衰落信道上优于现有的方法。
2019-08-29 cs.IT cs.LG math.IT
An attempt to generate new bridge types from latent space of variational autoencoder
Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd（万世先导数智交通科技有限公司）
本研究基于3dsMax和OpenCV构建四类桥梁图像数据集，利用Python、TensorFlow和Keras训练变分自编码器获得低维桥型潜在空间，证明生成式AI能组合现有桥型生成新桥型，辅助设计师创新。
2024-01-01 cs.AI cs.CV cs.LG
Guided Variational Autoencoder for Disentanglement Learning
Tsinghua University（清华大学）；UC San Diego（加州大学圣地亚哥分校）；Qualcomm, Inc.（高通公司）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一种算法，引导变分自编码器（Guided-VAE），这是能够学习一个可控的生成模型，通过执行潜在表示解纠缠学习。学习的目标是通过提供信号的潜在的编码/嵌入VAE不改变其主要骨干架构，从而保持所需的属性的VAE。我们在Guided-VAE中设计了一个无监督策略和一个有监督策略，并观察到增强的建模和控制能力。在无监督策略中，我们通过引入学习潜在几何变换和主成分的轻量级解码器来指导VAE学习;在有监督策略中，我们使用对抗性激励和抑制机制来鼓励潜在变量的解开。Guided-VAE对于一般的表示学习任务以及解纠缠学习具有透明性和简单性。在表示学习的许多实验中，已经观察到元学习中改进的合成/采样、更好的分类解缠以及减少的分类错误。
2020-04-02 cs.CV cs.LG
LOCA: LOcal Conformal Autoencoder for standardized data coordinates
Johns Hopkins University（约翰斯·霍普金斯大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Yale University（耶鲁大学）
我们提出了一种基于深度学习的方法，用于从科学测量中获取标准化的数据坐标。数据观测被建模为来自底层黎曼流形的未知非线性变形的样本，该变形由几个归一化的潜变量参数化。通过利用重复测量采样策略，我们提出了一种学习$\mathbb{R}^d$中的嵌入的方法，该方法与流形的潜变量等距。这些数据坐标在变量的平滑变化下是不变的，使得同一现象的不同仪器观测之间能够匹配。我们的嵌入是使用LOcal保形自动编码器（LOCA）获得的，LOCA是一种通过使用局部z评分过程来构建嵌入以纠正变形的算法，同时保留相关的几何信息。我们在各种模型设置上展示了LOCA的等距嵌入特性，并观察到它表现出有前途的内插和外推能力。最后，我们将LOCA应用于单站点Wi-Fi定位数据，并应用于基于$2$维投影的$3$维曲面估计。
2021-01-14 cs.LG stat.ML
Predicting Transonic Flowfields in Non-Homogeneous Unstructured Grids Using Autoencoder Graph Convolutional Networks
University of Southampton（南安普顿大学）；Zurich University of Applied Sciences ZHAW（苏黎世应用科技大学）；Federal Institute of Technology Zurich ETHZ（苏黎世联邦理工学院）
本文提出 Autoencoder GCN 架构，利用几何深度学习处理 CFD 非均匀非结构化网格，并通过机翼与机翼—机身案例验证其跨音速流场降阶预测能力。
2024-05-07 cs.CE cs.LG
The Effectiveness of Variational Autoencoders for Active Learning
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Colorado School of Mines（科罗拉多矿业学院）
获取标签的高成本是部署监督机器学习算法的主要挑战之一。主动学习是一种很有前途的方法来控制学习过程，并通过从大量未标记的实例中选择标记的训练样本来解决数据标记的困难。在本文中，我们提出了一种新的数据驱动的方法来主动学习，通过选择一个小的一组标记的数据点，既有信息和代表性。为此，我们提出了一种有效的几何技术来选择一个不同的核心集在低维的潜在空间通过训练变分自编码器（VAE）。我们的实验证明了两个相关技术的准确性的提高，更重要的是，表示生成建模的代表性权力开发新的主动学习方法在高维数据设置。
2019-11-18 cs.CV cs.IR cs.LG
Encoded Prior Sliced Wasserstein AutoEncoder for learning latent manifold representations
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）；Department of Mathematics and Center for Scientific Computation and Mathematical Modeling, University of Maryland College Park（马里兰大学帕克分校数学系与科学计算与数学建模中心）
虽然变分自编码器在若干任务中已经成功，但是常规先验的使用在它们对输入数据的底层结构进行编码的能力方面受到限制。我们介绍了一种编码的先验切片Wasserstein自动编码器，其中一个额外的先验编码器网络学习数据流形的嵌入，保留了数据的拓扑和几何属性，从而改善了潜在空间的结构。自动编码器和先验编码器网络使用切片Wasserstein距离进行迭代训练。学习流形编码的有效性是通过沿着测地线插值来遍历潜在空间来探索的，测地线生成的样本位于数据流形上，因此与欧几里得插值相比更真实。为此，我们引入了一个基于图形的算法，探索数据流形和插值沿网络测地线在潜在的空间，最大限度地提高密度的样本沿路径，同时最大限度地减少总能量。我们使用的3D螺旋数据显示，与传统的自动编码器不同，先验编码的几何基础的数据，并展示了通过网络算法的嵌入式数据流形的探索。我们将我们的框架应用于基准图像数据集，以展示学习数据表示在离群值生成，潜在结构和测地线插值中的优势。
2021-12-10 cs.CV cs.LG stat.ML
Geometry-Aware Hyperbolic Residual-Quantized Variational Autoencoders
Universiteit van Amsterdam（阿姆斯特丹大学）
针对残差量化在欧几里得空间忽视层次结构的问题，提出几何感知双曲残差量化，通过前向聚合与后向梯度路由提升稳定性，在层次任务中优于双曲基线，但纯压缩仍以欧氏方法为佳。
2026-09-28 cs.AI cs.LG
Extendable and invertible manifold learning with geometry regularized autoencoders
Utah State University（犹他州立大学）；Univ. de Montréal（蒙特利尔大学）；Mila（米拉研究所）
数据探索中的一个基本任务是提取简化的低维表示，这些表示捕获数据中的内在几何形状，特别是用于忠实地可视化二维或三维数据。这个任务的常见方法是使用核方法进行流形学习。然而，这些方法通常仅提供固定输入数据的嵌入，并且不能扩展到新的数据点。自动编码器最近也成为流行的表示学习。但是，虽然它们自然地计算可扩展到新数据且可逆的特征提取器（即，从潜在表示重构原始特征），但是与基于核的流形学习相比，它们具有有限的能力来遵循全局内在几何。我们提出了一种新的方法，通过将几何正则化项的自动编码器的瓶颈集成这两种方法。我们的正则化基于最近提出的PHATE可视化方法的扩散势距离，鼓励学习的潜在表示遵循内在的数据几何形状，类似于流形学习算法，同时仍然能够忠实地扩展到新数据并从潜在坐标重建原始特征空间中的数据。我们将我们的方法与领先的核方法和流形学习的自动编码器模型进行比较，以提供定性和定量的证据来证明我们在保留内在结构、样本扩展和重建方面的优势。我们的方法很容易实现大数据应用程序，而其他方法在这方面是有限的。
2020-11-22 cs.LG stat.ML
Adversarial Autoencoders with Constant-Curvature Latent Manifolds
Università della Svizzera italiana（意大利瑞士大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）；Politecnico di Milano（米兰理工大学）
常曲率黎曼流形（CCM）在许多应用领域中被证明是理想的嵌入空间，因为它们的非欧几何可以自然地解释数据的一些相关属性，如层次和圆形。在这项工作中，我们介绍了CCM对抗自动编码器（CCM-AAE），这是一种经过训练的概率生成模型，用于表示CCM上的数据分布。我们的方法通过将CCM-AAE的聚合后验与CCM上定义的概率分布相匹配来工作，因此编码器隐式地学习在CCM上表示数据以欺骗网络。通过联合训练CCM-AAE来明确施加几何约束，以最大化嵌入到CCM的隶属度。虽然在最近的文献中的一些作品利用超球面或双曲流形的不同的学习任务，我们是第一个统一的框架，无缝处理不同曲率的CCM。我们展示了我们的模型在三个不同的数据集上的有效性，这些数据集的特征在于非平凡的几何形状：MNIST上的半监督分类，两个流行的引文数据集上的链接预测，以及使用QM 9化学数据库的基于图形的分子生成。结果表明，我们的方法改善了其他自编码器的基础上，欧几里德和非欧几里德几何的所有任务考虑。
2019-04-11 cs.LG stat.ML
Learning Geometrically Disentangled Representations of Protein Folding Simulations
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；Systems & Technology Research（系统与技术研究院）
药物靶蛋白的大规模分子模拟已被用作理解疾病机制和开发治疗方法的工具。这项工作的重点是学习一个生成神经网络的药物靶蛋白，如SARS-CoV-2刺突蛋白，从计算昂贵的分子模拟获得的结构合奏。模型任务包括表征与各种药物分子结合的蛋白质的不同结构波动，以及有效生成蛋白质构象，这些构象可以作为分子模拟引擎的补充。具体来说，我们提出了一个几何自动编码器框架来学习蛋白质结构的内在和外在几何结构的单独潜在空间编码。为此，建议的蛋白质几何自动编码器（ProGAE）模型上的蛋白质接触图和蛋白质的骨架键的方向进行训练。使用ProGAE潜在嵌入，我们重建和生成蛋白质的构象系综或接近实验分辨率，同时获得更好的解释性和可控性，从学习的潜在空间的蛋白质结构生成。此外，ProGAE模型可转移到相同蛋白质的不同状态或不同大小的新蛋白质，其中仅需要重新训练从潜在表示解码的密集层。结果表明，我们的基于几何学习的方法在生成复杂的结构变异方面具有准确性和效率，为分析和增强药物靶蛋白的高成本模拟的可扩展和改进方法指明了道路。
2022-05-20 cs.LG q-bio.BM
$Γ$-VAE: Curvature regularized variational autoencoders for uncovering emergent low dimensional geometric structure in high dimensional data
Cornell University（康奈尔大学）；Sorbonne Université（索邦大学）；Institut Curie Research Center（居里研究所）；PSL University（巴黎文理研究大学）；Inserm（法国国家健康与医学研究院）；Center for Advanced Computing, Cornell University（康奈尔大学高级计算中心）；Kavli Institute at Cornell for Nanoscale Science, Cornell University（康奈尔大学卡夫利纳米科学研究所）
本文提出 $Γ$-VAE，通过正则化变分自编码器流形曲率保留长程几何关系，并在 bulk 与单细胞 RNA-seq 数据上验证其结构识别和分布外泛化能力。
2024-03-02 cs.AI cs.LG physics.bio-ph
