PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low Data Regimes
National Research Council of Canada(加拿大国家研究委员会);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
自编码器(AE)为非线性降维提供了一种有用的方法,但不适合低数据状态。相反,主成分分析(PCA)是数据有效的,但仅限于线性降维,当数据表现出固有的非线性时会出现问题。这在各种科学和工程领域中提出了挑战,例如纳米光子组件设计,其中数据表现出非线性特征,同时由于昂贵的实际测量或偏微分方程的资源消耗解决方案而获得昂贵。为了解决这个困难,我们提出了一种技术,利用两个世界的最好的:一个自动编码器,利用PCA在稀缺的非线性数据上表现良好。具体来说,我们概述了一个数值上鲁棒的基于PCA的AE初始化,它与参数化的ReLU激活函数一起,允许训练过程从精确的PCA解开始并对其进行改进。首先给出了一个合成示例,以研究数据非线性和大小对所提出方法性能的影响。然后,我们评估我们的方法在几个纳米光子组件的设计问题,获得有用的数据是昂贵的。为了证明通用性,我们还将其应用于其他科学领域的任务:基准乳腺癌数据集和基因表达数据集。我们表明,我们提出的方法是大大优于PCA和随机初始化AE在大多数低数据制度的情况下,我们认为,或至少是最好的其他两种方法。
2022-05-23 cs.AI cs.LG
An Automated Data Mining Framework Using Autoencoders for Feature Extraction and Dimensionality Reduction
University of Southern California(南加州大学);Montclair State University(蒙特克莱尔州立大学);University of Virginia(弗吉尼亚大学);Northeastern University(东北大学)
提出一种基于自编码器的自动化数据挖掘框架,实验证明其在特征提取、降维、降噪和异常检测上优于 PCA、FA、T-SNE、UMAP 等方法。
2024-12-03 cs.LG
Deep Autoencoders for Dimensionality Reduction of High-Content Screening Data
University of Toronto(多伦多大学)
高内容筛选使用大量未标记的细胞图像数据来推理遗传学或细胞生物学。两个重要的任务是鉴定具有感兴趣的表型的那些细胞,以及鉴定富集这些表型的亚群。这种探索性数据分析通常涉及降维,然后进行聚类,希望聚类代表一种表型。我们建议使用堆叠去噪自动编码器来执行高内容筛选的降维。我们证明了我们的方法优于PCA,局部线性嵌入,核PCA和Isomap的性能。
2015-01-07 cs.LG
Empirical comparison between autoencoders and traditional dimensionality reduction methods
Ecole Polytechnique Montreal(蒙特利尔理工学院)
为了有效地处理更高维的数据,如图像,句子或音频记录,人们需要找到一种合适的方法来减少这些数据的维数。在这方面,基于SVD的方法,包括PCA和Isomap已被广泛使用。最近,一种称为自动编码器的神经网络替代方案被提出,并且由于其更高的灵活性而经常被优选。这项工作的目的是表明,PCA仍然是一个相关的技术,在分类的背景下降维。为此,我们评估了PCA与Isomap、深度自动编码器和变分自编码器相比的性能。实验在三个常用的图像数据集上进行:MNIST,Fashion-MNIST和CIFAR-10。四种不同的降维技术分别用于每个数据集,将数据投影到低维空间。然后,在每个投影上训练k-NN分类器,并在邻居的数量上进行交叉验证的随机搜索。有趣的是,我们的实验表明,k-NN在PCA上实现了相当的准确性,并且两个自动编码器的投影都提供了足够大的维度。然而,PCA的计算时间是两个数量级快于它的神经网络同行。
2021-03-08 cs.LG
Autoencoder-based non-intrusive model order reduction in continuum mechanics
RWTH Aachen University(亚琛工业大学);Stanford University(斯坦福大学);Hamburg University of Technology(汉堡工业大学);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学)
本研究提出一种基于自编码器的非侵入式连续介质力学降阶建模框架,含三阶段流程及力增强、多场两项扩展,经多类非线性基准验证可准确重建高保真解,公开实现为相关工程应用提供基础。
2025-09-02 cs.AI cs.CE cs.LG
Partially Linear Autoencoders for Manifold Learning and Dimensionality Reduction
CEA List, Université Paris-Saclay(CEA List、巴黎-萨克雷大学);LMS, École Polytechnique, Institut Polytechnique de Paris(LMS、巴黎综合理工学院、巴黎理工学院)
该研究探究自编码器编码器的作用,提出线性编码器自编码器(Lenc-AE)架构,经多数据集验证其重构质量与全非线性自编码器相当,且在简约性、可解释性上更优,明确非线性解码器是流形学习的关键。
2026-09-01 cs.LG
Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized Autoencoders
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
高维数据集通常通过构建潜在的低维空间来分析和探索,这使得方便的可视化和有效的预测建模或聚类成为可能。对于复杂的数据结构,像PCA这样的线性降维技术可能不够灵活,无法实现低维表示。非线性降维技术,如核PCA和自动编码器,遭受损失的可解释性,因为每个潜在变量是依赖于所有的输入尺寸。为了解决这个限制,我们在这里提出了路径套索惩罚自动编码器。这种结构化正则化通过惩罚从输入到潜在变量的编码器的每条路径来增强可解释性,从而限制每个潜在维度中表示多少输入变量。我们的算法使用组套索惩罚和非负矩阵分解来构建稀疏的,非线性的潜在表示。我们比较路径套索正则化的自动编码器PCA,稀疏PCA,自动编码器和稀疏自动编码器的真实和模拟数据集。我们表明,该算法表现出低得多的重建误差比稀疏PCA和参数明智的套索正则化低维表示的自编码器。此外,路径套索表示提供了更准确的重建匹配,即保留原始空间和重建空间中的对象之间的相对距离。
2021-10-20 cs.LG stat.ME
Performance Analysis of Deep Autoencoder and NCA Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
International University of Business Agriculture and Technology(国际商业农业技术大学);Islamic University of Technology(伊斯兰科技大学)
本文的主要目的是在Matlab中实现Deep Autoencoder和Neighborhood Components Analysis(NCA)降维方法,并观察这些算法在UCI机器学习库中9个不同数据集上的应用。这些数据集包括CNAE 9、Movement Libras、Pima Indians diabetes、Parkinsons、Knowledge、Segmentation、Seeds、Mammographic Masses和Ionosphere。首先,通过使用Deep Autoencoder和NCA降维技术选择和提取最相关和最合适的特征或属性,这些数据集的维度已经减少到原始维度的50%。然后,每个数据集分类应用K-最近邻(KNN),扩展最近邻(ENN)和支持向量机(SVM)分类算法。所有的分类算法都是在Matlab环境下开发的。在每个分类中,训练测试数据比率始终设置为90%:10%。在分类时,观察和分析精度之间的变化,以找到每个降维技术与每个分类器的兼容程度,并评估每个分类器在每个数据集上的性能。
2019-12-24 cs.LG
Variational Rank Reduction Autoencoders
本文提出变分秩缩减自编码器(VRRAEs),结合RRAEs的SVD正则化与VAEs的概率潜在空间,通过KL散度正则化,在生成和插值任务上优于两者,并降低后验坍塌风险。
2025-10-14 cs.LG
Dimension Reduction for time series with Variational AutoEncoders
Institut de Mathématiques de Toulouse(图卢兹数学研究所);University of Toulouse(图卢兹大学);Liebherr Aerospace Toulouse(利勃海尔航空航天图卢兹公司);University Toulouse 3(图卢兹第三大学)
在这项工作中,我们探索降维技术的单变量和多变量时间序列数据。我们特别进行小波分解和卷积变分自编码器之间的降维比较。我们表明,变分自编码器是一个很好的选择,为降低维数的高维数据,如心电图。我们在现实世界中,公开可用的ECG数据集上进行这些比较,该数据集具有很大的可变性,并使用重建误差作为度量。然后,我们探索这些模型的鲁棒性与噪声数据是否用于训练或推理。这些测试旨在反映现实世界的时间序列数据中存在的问题,VAE对这两种测试都是鲁棒的。
2022-04-23 cs.LG math.ST stat.TH
Rank Reduction Autoencoders
Arts et Metiers - ENSAM(法国国立高等工程技术学校);University of North Florida(北佛罗里达大学);Stanford University(斯坦福大学)
本文提出秩缩减自编码器(RRAEs),通过截断奇异值分解正则化潜在空间并以秩定义瓶颈,配合自适应算法确定最优瓶颈大小,在多个数据集上优于普通及正则化自编码器。
2025-03-25 cs.LG
Representative period selection for power system planning using autoencoder-based dimensionality reduction
Massachusetts Institute of Technology(麻省理工学院)
用于研究未来低碳电网情景的电力部门容量扩展模型(CEM)必须包含电网运营的详细表示。通常,CEM被公式化以对使用聚类算法从原始输入数据采样的代表性时段上的网格操作进行建模。然而,这种代表性时段选择(RPS)方法受到聚类算法随着输入数据的维数增加而降低的功效的限制,并且不考虑输入数据变化对CEM结果的相对重要性。在这里,我们提出了一个RPS方法,解决了这些限制,通过将降维,通过基于神经网络的自编码器,聚类之前完成。这样的降维不仅提高了聚类算法的性能,而且还便于使用附加特征,诸如从针对输入数据中的每个不相交时段(例如,1周)的CEM的简化版本的并行解产生的估计输出。将降维作为RPS方法的一部分的影响通过相应的缩减空间CEM与全空间CEM的结果中的误差来量化。在各种网络和各种技术和政策场景中进行的大量数值实验确立了基于降维的RPS方法的优越性。
2022-04-28 cs.LG
Dimensionality Reduction and Anomaly Detection for CPPS Data using Autoencoder
Institute Industrial IT(工业信息技术研究所);Fraunhofer IOSB-INA(弗劳恩霍夫应用光学与精密工程研究所-INA)
无监督异常检测(AD)是信息物理生产系统(CPPS)领域的一个重要课题。一个密切相关的问题是降维(DR),它是:1)通常用作AD解决方案中的预处理步骤,2)一种AD,如果提供了对学习数据流形的观察一致性的测量。我们认为,这两个方面可以互补的CPPS异常检测解决方案。在这项工作中,我们专注于非线性自动编码器(AE)作为DR/AD方法。本文的贡献在于:1)研究了声发射重建误差作为CPPS数据中AD判定标准的适用性。2)我们分析了它与AE潜在空间中潜在的第二阶段AD方法的关系3)我们在三个真实世界数据集上评估了该方法的性能。此外,该方法优于最先进的技术,以及相对简单和直接的应用。
2020-10-28 cs.LG
Combatting Adversarial Attacks through Denoising and Dimensionality Reduction: A Cascaded Autoencoder Approach
Purdue University(普渡大学)
机器学习模型容易受到依赖于扰动输入数据的对抗攻击的攻击。这项工作提出了一种新的策略,使用自动编码器深度神经网络来保护机器学习模型免受两种基于梯度的攻击:快速梯度符号攻击和快速梯度攻击。首先,我们使用自动编码器对测试数据进行降噪,该数据是用干净和损坏的数据进行训练的。然后,我们使用另一个自动编码器的隐藏层表示来降低去噪数据的维度。我们进行这个实验的对抗扰动的界限的多个值,并考虑不同数量的减少的维度。当使用该级联流水线对测试数据进行预处理时,测试的深度神经网络分类器产生高得多的准确度,从而减轻对抗性扰动的影响。
2018-12-07 cs.CR cs.LG stat.ML
Investigation of Nonlinear Model Order Reduction of the Quasigeostrophic Equations through a Physics-Informed Convolutional Autoencoder
Virginia Tech(弗吉尼亚理工大学)
降阶建模(ROM)是一个技术领域,它通过廉价的替代物来近似真实世界过程的复杂的基于物理的模型,这些替代物以较少的自由度捕获重要的动态特性。传统的ROM技术,如适当的正交分解(POD)专注于线性投影的动态到一组频谱功能。在本文中,我们探讨了使用自动编码器(AE)的ROM的建设,执行系统动态的非线性投影到一个低维流形从数据中学习。该方法使用卷积神经网络(CNN)来学习空间特征,而不是光谱特征,并利用物理信息(PI)成本函数来捕获时间特征。我们的调查使用准地转方程表明,虽然PI成本函数有助于空间重建,空间特征是不太强大的光谱特征,并通过机器学习为基础的方法,需要大量的调查新的非标准方法的ROM的建设。
2021-08-27 cs.LG
Supervised Dimensionality Reduction and Image Classification Utilizing Convolutional Autoencoders
University of Thessaly(塞萨利大学)
重建和分类误差的联合优化是一个非凸的硬问题,特别是当使用非线性映射时。为了克服这一障碍,提出了一种新的优化策略,其中用于降维的卷积自动编码器和由全连接网络组成的分类器相结合,以同时产生监督降维和预测。事实证明,这种方法在加强深度学习架构的可解释性方面也非常有益。此外,所得到的潜在空间,优化的分类任务,可以用来改善传统的,可解释的分类算法。实验结果表明,所提出的方法与最先进的深度学习方法相比取得了有竞争力的结果,同时在参数计数方面更加有效。最后,它是经验证明,所提出的方法引入了先进的可解释性,不仅通过所产生的潜在空间的数据结构,而且关于分类行为。
2022-11-03 cs.LG cs.NE
On a Mechanism Framework of Autoencoders
本文提出了一个理论框架的机制,自动编码器。在编码器部分,主要研究了降维的两个基本性质:双射映射和数据解纠缠。给出了满足上述两个性质之一或两者的编码器的一般构造方法。对自编码器的泛化机制进行了建模。基于上述理论框架,我们解释了变分自编码器、去噪自编码器和线性单元自编码器的一些实验结果,重点是通过编码器对数据的低维表示的解释;通过这些解释,图像复原的机制很自然地被理解。通过与主成分分析和决策树的比较,证明了(广义)自编码器在降维和分类方面的优势。卷积神经网络和随机加权神经网络也可以用这个框架来解释。
2022-12-12 cs.CV cs.LG
Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics
Freie Universität Berlin(柏林自由大学)
受物理和化学科学中深度学习技术成功的启发,我们将自动编码器类型的深度神经网络的修改应用于分子动力学数据的降维任务。我们可以证明,我们的时滞自动编码器可靠地找到高维特征空间的低维嵌入,这些特征空间捕获了底层随机过程的缓慢动态-超出了线性降维技术的能力。
2017-10-30 cs.LG physics.bio-ph physics.chem-ph
Beyond the Kolmogorov Barrier: A Learnable Weighted Hybrid Autoencoder for Model Order Reduction
Department of Mechanical, Aerospace, and Nuclear Engineering, Rensselaer Polytechnic Institute(机械、航空航天与核工程系,雷士拉尔理工学院)
本文提出可学习加权混合自编码器,通过可学习加权框架融合SVD与深度自编码器以克服柯尔莫哥洛夫障碍,在混沌PDE系统上显著提升降阶建模的泛化性能。
2025-11-05 cs.AI cs.LG physics.comp-ph
Symplectic Autoencoders for Model Reduction of Hamiltonian Systems
Max-Planck-Institut für Plasmaphysik(马克斯·普朗克等离子体物理研究所);Technische Universität München(慕尼黑工业大学)
针对哈密顿系统模型降阶需保辛结构但现有方法多局限于线性变换的问题,提出一种辛自编码器神经网络架构,采用利用微分几何结构的非标准梯度下降训练,精度显著优于现有设计。
2023-12-15 cs.LG cs.NA math.NA
Hyper-Reduced Autoencoders for Efficient and Accurate Nonlinear Model Reductions
Harvard University(哈佛大学);Sandia National Laboratories(桑迪亚国家实验室);NexGen Analytics(奈克斯根分析公司)
基于投影的模型降阶非线性流形最近已被提出的问题,缓慢衰减的Kolmogorov n-宽度,如对流主导的。这些方法通常使用神经网络进行流形学习,并显示出比传统线性子空间降阶模型更高的精度。先前提出的方法的缺点是在高保真解快照上训练网络的潜在高计算成本。在这项工作中,我们提出并分析了一种新的方法,克服了这一缺点,训练神经网络的高保真解决方案快照的子采样版本。该方法与基于搭配的超约简和Gappy-POD相结合,可以实现高效准确的代理模型。我们证明了我们的方法的有效性上的2D汉堡问题。
2023-03-16 cs.LG cs.NA math.NA
Health Monitoring of Movement Disorder Subject based on Diamond Stacked Sparse Autoencoder Ensemble Model
Chengdu Yangjun Technology Co., Ltd(成都杨军科技有限公司);Chongqing University(重庆大学)
对于行动不便的慢性病患者,由于其行动不便,慢性病病程长,因此慢性病的健康监测非常重要。基于机器学习的使用可穿戴传感器从具有运动障碍的人收集的数据的处理是当前可用于健康监测的有效方法。然而,可穿戴传感器系统难以获得高质量和大量的数据,这不能满足诊断精度的要求。此外,现有的机器学习方法不能很好地处理这个问题。特征学习是机器学习的关键。针对这一问题,提出了一种基于菱形叠加稀疏自编码器集成模型(DsaeEM)的运动障碍对象健康监测方法。该算法有两个主要组成部分。首先,使用特征嵌入堆叠稀疏自动编码器(FSSAE)设计特征扩展。其次,设计了一种特征约简机制,去除扩展特征间的冗余。该机制包括L1正则化特征约简算法和改进的流形降维算法。本文将特征扩展和特征约简相结合的机制称为类钻石特征学习机制。该方法的实验验证与几个国家的最先进的算法和两个数据集。结果表明,该算法具有较高的精度.综上所述,本研究开发了一种有效可行的特征学习算法用于慢性病的识别。
2023-03-15 cs.LG
Graph Regularized Autoencoder and its Application in Unsupervised Anomaly Detection
Texas A&M University(德克萨斯农工大学);BAE Systems, Inc.(BAE系统公司)
对于包括异常检测和聚类在内的许多无监督学习任务来说,先验性降低是至关重要的第一步。自动编码器是一种流行的降维机制。为了对嵌入非线性低维流形的高维数据进行有效的降维,需要使用某种测地距离度量来区分数据样本。受测地线距离近似器(如ISOMAP)的成功启发,我们提出使用最小生成树(MST),一种基于图的算法,来近似局部邻域结构并生成数据点之间的结构保持距离。我们使用这种基于MST的距离度量来取代自编码器嵌入函数中的欧氏距离度量,并开发了一种新的图形正则化自编码器,该编码器在20个基准异常检测数据集上优于各种替代方法。我们进一步将MST正则化器纳入两个生成对抗网络,并发现使用MST正则化器大大提高了两个生成对抗网络的异常检测性能。我们还在聚类应用程序中的两个数据集上测试了我们的MST正则化自动编码器,并见证了其卓越的性能。
2021-03-11 cs.LG stat.ML
DIRESA, a distance-preserving nonlinear dimension reduction technique based on regularized autoencoders
Department of Electronics and Informatics, Vrije Universiteit Brussel(比利时布鲁塞尔自由大学电子与信息学院);Observations Scientific Service, Royal Meteorological Institute(皇家气象研究所观测科学部门)
提出基于自编码器的DIRESA降维技术,通过距离正则化保留潜在空间距离并捕捉非线性,在压缩数据集的同时其重建保真度与保距性优于PCA等方法。
2025-04-27 cs.LG nlin.CD physics.ao-ph
Integrating Random Effects in Variational Autoencoders for Dimensionality Reduction of Correlated Data
Tel Aviv University(特拉维夫大学)
针对VAE假设数据独立导致相关数据降维效果不佳的问题,提出LMMVAE模型,将潜变量分离为独立固定部分与相关随机部分,显著提升了重构误差与下游任务性能。
2024-12-24 cs.LG stat.ML
High-order Differentiable Autoencoder for Nonlinear Model Reduction
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Clemson University(克莱姆森大学);University of Leeds(利兹大学);University of Pennsylvania(宾夕法尼亚大学)
本文为利用深度神经网络改进基于物理的仿真提供了一条新途径。具体来说,我们将经典的拉格朗日力学与深度自动编码器相结合,以加速可变形固体的弹性模拟。由于惯性效应,在不评估深度自编码器网络的二阶导数的情况下不能建立动态平衡。这超出了现成的自动微分包和算法的能力,其主要集中在梯度评估上。如果使用标准牛顿法,求解非线性力平衡甚至更具挑战性。这是因为我们需要计算网络的三阶导数来获得变分海森。我们攻击这些困难,利用复杂的步骤有限差分,加上反向自动微分。该策略在充分利用复步长有限差分的方便性和精确性的同时,尽可能集中地部署复值扰动,以节省过多的网络通道。通过基于GPU的实现,我们能够使用深度自动编码器(例如,$10+$层)与相对高维的潜在空间。沿着这条管道,我们还设计了一个采样网络和一个加权网络,使\emph{weight-varying} Cubature积分,以纳入非线性模型简化。我们相信这项工作将启发和有益于未来的研究工作,在非线性减少物理模拟问题。
2021-02-19 cs.GR cs.LG
Enhancing Supervised Visualization through Autoencoder and Random Forest Proximities for Out-of-Sample Extension
Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Utah State University(犹他州立大学);Brigham Young University(杨百翰大学)
本文提出一种结合随机森林邻近性与自动编码器的样本外扩展方法,用于增强 RF-PHATE 监督降维的泛化能力,在保持质量的同时减少 40% 训练时间,并支持仅用 10% 训练数据的半监督场景。
2024-06-06 cs.LG stat.ML
Graph Attention Neural Network for Botnet Detection: Evaluating Autoencoder, VAE and PCA-Based Dimension Reduction
School of Systems and Computing, University of New South Wales(新南威尔士大学系统与计算学院)
本文提出先降维再构图的方法,评估VAE、AE和PCA三种降维技术对图注意力网络(GAT)在物联网僵尸网络检测中的影响,以缓解大型图结构的计算开销。
2025-05-23 cs.CV cs.LG
Deep Neural Networks for Nonlinear Model Order Reduction of Unsteady Flows
University of Tehran(德黑兰大学)
非定常流体系统是一种非线性的高维动力学系统,在时间和空间上可能表现出多种复杂的现象。流体流动的降阶建模(ROM)是近十年来的一个活跃的研究课题,其主要目标是将复杂流动分解为一组对未来状态预测和控制最重要的特征,通常使用降维技术。在这项工作中,介绍了一种新的数据驱动技术的基础上的权力的深度神经网络的降阶建模的非定常流体流动。自动编码器网络用于非线性降维和特征提取,作为奇异值分解(SVD)的替代方案。然后,提取的特征被用作长短期记忆网络(LSTM)的输入,以预测未来时刻的速度场。将所提出的自动编码器-LSTM方法与基于动态模式分解(DMD)和本征正交分解(POD)的非侵入式降阶模型进行了比较。此外,自动编码器DMD算法的降阶建模,它使用的自动编码器网络的降维,而不是SVD秩截断。结果表明,自动编码器-LSTM方法是相当能够预测流体流动演变,其中使用自动编码器-LSTM相比于其他模型获得更高的决定系数值$R^{2}$。
2020-10-02 cs.LG physics.comp-ph physics.flu-dyn
Neural Autoencoder-Based Structure-Preserving Model Order Reduction and Control Design for High-Dimensional Physical Systems
NEC Laboratories Europe(NEC欧洲实验室);Università di Pisa(比萨大学);Delft University of Technology(代尔夫特理工大学);German Aerospace Center (DLR)(德国航空航天中心(DLR))
本文将神经自编码器与保 Hamiltonian/Lagrangian 结构的模型降阶结合,在数百状态的质量-弹簧-阻尼网络中实现少于5自由度、约4%误差的准确压缩,并据此设计欠驱动机械系统控制器。
2023-12-11 cs.LG cs.SY eess.SY
Data-driven Nonlinear Parametric Model Order Reduction Framework using Deep Hierarchical Variational Autoencoder
Seoul National University(首尔国立大学);Jeonbuk National University(全北国立大学);Institute of Advanced Aerospace Technology, Seoul National University(首尔国立大学高等航空技术研究所)
提出基于LSH-VAE与潜流形球面线性插值的数据驱动参数化非线性MOR框架,并在流固耦合、极限环振荡和三维流动中验证其精度、稳定性与加速效果。
2023-07-10 cs.LG physics.data-an physics.flu-dyn
Low PAPR MIMO-OFDM Design Based on Convolutional Autoencoder
提出了一种基于卷积自动编码器($\mathsf{CAE}$)架构的用于多输入多输出($\mathsf{MIMO}$)正交频分复用($\mathsf{OFDM}$)系统的峰均功率比($\mathsf{PAPR}$)降低和波形设计的增强框架。用于通信网络的基于端到端学习的自动编码器($\mathsf{AE}$)通过编码器和解码器来表示网络,其中在编码器和解码器之间,学习的潜在表示通过物理通信信道。我们引入了一种基于投影梯度下降迭代的联合学习方案,以优化非线性高功率放大器($\mathsf{HPA}$)和多径衰落信道的影响下的频谱屏蔽行为和MIMO检测。所提供的高效实现新颖的波形设计技术仅利用单个$\mathsf{PAPR}$缩减块用于所有天线。它是吞吐量无损的,因为在解码器处不需要边信息。通过检查误码率($\mathsf{BER}$)、$\mathsf{PAPR}$和频谱响应来分析性能,并在5G模拟数据上与经典的$\mathsf{PAPR}$减少$\mathsf{MIMO}$检测器方法进行比较。建议的系统具有竞争力的性能时,同时考虑所有的优化标准。我们将渐进损失学习应用于多目标优化,并以经验表明,单个训练模型在宽范围的SNR水平上涵盖了$\mathsf{PAPR}$减少,频谱设计和$\mathsf{MIMO}$检测的任务。
2023-01-11 cs.LG eess.SP
Deep Invertible Autoencoders for Dimensionality Reduction of Dynamical Systems
MOX Laboratory, Department of Mathematics, Politecnico di Milano(米兰理工学院数学系MOX实验室);Department of Applied Mathematics, University of Twente(埃因霍温理工大学应用数学系)
本文提出深度可逆自编码器inv-AE,通过可逆神经网络层提升投影误差稳定性,结合传统ROM方法提高精度,应用于参数化Burgers方程和流体流动问题。
2026-09-16 cs.LG
GD-VAEs: Geometric Dynamic Variational Autoencoders for Learning Nonlinear Dynamics and Dimension Reductions
University of California Santa Barbara(加州大学圣巴巴拉分校)
提出GD-VAEs,结合几何与拓扑信息,利用变分自编码器学习非线性动力学的流形潜空间表示,并在多个物理系统上验证其降维性能。
2025-03-26 cs.LG cs.NA math.DS
AEkNN: An AutoEncoder kNN-based classifier with built-in dimensionality reduction
University of Jaén(哈恩大学)
高维度,即具有大量变量的数据,往往是大多数机器学习任务(包括分类)的挑战。分类器通常建立一个模型,表示一组输入如何解释输出。输入和/或输出的集合越大,该模型就越复杂。有一类分类算法,称为惰性学习方法,它不建立模型。这个家族中最著名的成员之一是kNN算法。它的策略依赖于搜索一组最近的邻居,使用输入变量作为位置向量,并计算它们之间的距离。这些距离在高维空间中失去了意义。因此,kNN和许多其他分类器一样,随着输入变量数量的增加,其性能往往会变差。在这项工作中AEkNN,一个新的kNN为基础的算法与内置的【形】降维,提出。为了获得新的数据表示,具有更低的维度,但具有更多的信息特征,AEkNN内部使用自动编码器。从这个新的特征向量中,计算出的距离应该更重要,从而提供了一种选择更好邻居的方法。新的建议进行了实验评估,分析了几种配置,并将它们与经典的kNN算法进行比较。所得到的结论表明,AEkNN提供了更好的预测和运行时性能的结果。
2018-03-09 cs.LG cs.NE
Deep convolutional recurrent autoencoders for learning low-dimensional feature dynamics of fluid systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
高维动力系统的模型降阶减轻了从设计优化到模型预测控制的各种任务中所面临的计算负担。一种流行的模型降阶方法是基于将控制方程投影到由解快照数据集压缩获得的基函数所跨越的子空间上。然而,这种方法是侵入性的,因为投影需要访问系统操作员。此外,某些系统可能需要对非线性进行特殊处理以确保计算效率或需要额外的建模以保持稳定性。在这项工作中,我们提出了一种基于深度学习的非线性模型约简策略,该策略受到基于投影的模型约简的启发,其想法是识别一些最佳的低维表示并及时发展它。我们的方法构建了一个由深度卷积自动编码器和修改后的LSTM网络组成的模块化模型。深度卷积自动编码器返回一个低维表示,表示在一些表达非线性数据支持流形上的坐标。然后,通过修改后的LSTM网络以计算高效的方式对该流形上的动态进行建模。还开发了一种利用模型模块化的离线无监督训练策略。我们展示了我们的模型上的三个说明性的例子,每个突出的模型的性能在预测任务的流体系统具有较大的参数变化和长期预测的稳定性。
2018-08-22 cs.LG math.DS physics.flu-dyn
Adaptation of Autoencoder for Sparsity Reduction From Clinical Notes Representation Learning
École de Technologie Supérieure, University of Québec(魁北克大学高等技术学院);CHU Sainte-Justine Research Center(圣贾斯汀儿童医院研究中心);CHU Sainte-Justine Hospital(圣贾斯汀儿童医院);University of Montreal(蒙特利尔大学)
在处理小数据集上的临床文本分类时,最近的研究已经证实,经过良好调整的多层感知器优于其他生成分类器,包括深度学习。为了提高神经网络分类器的性能,可以有效地使用用于学习表示的特征选择。然而,大多数特征选择方法只估计变量之间的线性依赖程度,并基于单变量统计检验选择最佳特征。此外,忽略了学习表示中涉及的特征空间的稀疏性。目标:因此,我们的目标是通过压缩临床表示特征空间来获得另一种方法来解决稀疏性,其中也可以有效地处理有限的法国临床笔记。方法:本研究提出了一种自动编码器学习算法,以利用稀疏减少临床笔记表示。其动机是确定如何压缩稀疏,高维数据,通过减少临床笔记表示特征空间的维度。然后在训练和压缩的特征空间中评估分类器的分类性能。结果:所提出的方法为每次评估提供了高达3%的整体性能增益。最后,分类器在检测患者的状况方面实现了92%的准确率,91%的召回率,91%的精确率和91%的f1分数。应用信息瓶颈理论框架,对压缩工作机理和自动编码器预测过程进行了论证。
2022-09-26 cs.CL cs.LG eess.SP
GraphCSVAE: Graph Categorical Structured Variational Autoencoder for Spatiotemporal Auditing of Physical Vulnerability Towards Sustainable Post-Disaster Risk Reduction
University of Cambridge(剑桥大学);Cambridge University Centre for Risk in the Built Environment(剑桥大学建筑环境风险中心);Earth Observation Center(地球观测中心);Institute of Geography(地理研究所)
提出GraphCSVAE框架,通过整合深度学习、图表示和类别概率推断,利用时间序列卫星数据和专家先验,对物理脆弱性进行建模,并在两个灾后地区验证其时空审计能力。
2026-05-20 cs.LG
MultiAuto-DeepONet: A Multi-resolution Autoencoder DeepONet for Nonlinear Dimension Reduction, Uncertainty Quantification and Operator Learning of Forward and Inverse Stochastic Problems
Purdue University(普渡大学)
提出了一种新的数据驱动的随机微分方程算子学习方法。中心目标是使用有限的数据更有效地解决正向和反向随机问题。深度算子网络(DeepONet)最近被提出用于算子学习。与其他神经网络学习函数相比,它针对的是非线性算子的学习问题。然而,使用原始模型来学习高维随机问题的非线性算子可能具有挑战性。我们提出了一种新的多分辨率自动编码器DeepONet模型,称为MultiAuto-DeepONet,以在卷积自动编码器的帮助下解决这一困难。网络的编码器部分被设计为降低维数以及发现高维随机输入的隐藏特征。解码器被设计为具有特殊结构,即DeepONet的形式。解码器中的第一个DeepONet用于重建涉及随机性的输入函数,而第二个DeepONet用于近似所需方程的解。这两个DeepONet有一个公共的分支网络和两个独立的主干网络。这种架构使我们能够自然地处理多分辨率输入。通过对网络进行$L_1$正则化,我们发现分支网络和两个主干网络的输出都具有稀疏结构。这减少了神经网络中可训练参数的数量,从而使模型更有效。最后,我们进行了几个数值实验来说明我们提出的具有不确定性量化的MultiAuto-DeepONet模型的有效性。
2022-04-07 cs.LG stat.ML
A graph convolutional autoencoder approach to model order reduction for parametrized PDEs
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of Zaragoza(萨拉戈萨大学)
本研究提出基于图卷积自编码器的非线性模型降阶框架GCA-ROM,非侵入式数据驱动,适配非结构网格,小数据下泛化性强,可高效评估各类参数化偏微分方程。
2023-11-07 cs.LG cs.NA math.NA
Variational autoencoders for tissue heterogeneity exploration from (almost) no preprocessed mass spectrometry imaging data
本文介绍了变分自编码器(VAE)在质谱成像数据(MSI)降维和探索性分析中的应用。结果证实,VAE能够检测与不同组织亚型相关的模式,其性能优于标准方法。
2017-08-24 cs.LG q-bio.QM stat.ML
Variational Autoencoders for Noise Reduction in Industrial LLRF Systems
RadiaSoft LLC(RadiaSoft有限责任公司);SLAC(SLAC国家加速器实验室)
针对工业粒子加速器因运行环境恶劣、批量生产缺乏单系统优化导致射频信号噪声大、性能低于硬件潜力的问题,提出用变分自编码器等机器学习技术降低逐脉冲反馈射频信号噪声,给出算法、仿真与实测数据结果并规划后续工业部署测试。
2023-11-07 cs.LG physics.acc-ph
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);University of Birmingham(伯明翰大学);University of Manchester(曼彻斯特大学)
变分自动编码器(VAE)为非线性降维提供了一个灵活且可扩展的框架。然而,在应用领域,如基因组学的数据集通常是表格和高维的,黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程,但是,这将是可取的,以建立一个联合建模框架,同时降维和聚类的功能。在本文中,我们建议通过BasisVAE来实现这一点:VAE和概率聚类先验的组合,它让我们学习一个独热基函数表示作为解码器网络的一部分。此外,对于不是所有特征都对齐的情况,我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE,演示各种玩具的例子,以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
Harnessing Structures in Big Data via Guaranteed Low-Rank Matrix Estimation
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
低秩建模在信号处理和机器学习中起着举足轻重的作用,其应用范围从协同滤波、视频监控、医学成像到降维和自适应滤波。许多现代高维数据及其相互作用可以被建模为近似位于低维子空间或流形中,可能具有附加结构,并且其适当的开发导致传感,计算和存储成本的显着降低。近年来,在理解如何以可证明的方式使用计算有效的过程来利用低秩结构方面取得了大量进展,包括凸和非凸方法。一方面,凸松弛,如核范数最小化往往导致统计最优的程序估计低秩矩阵,其中一阶方法的开发,以解决计算的挑战;另一方面,有新的证据表明,适当设计的非凸程序,如投影梯度下降,往往提供全局最优的解决方案,在许多问题的计算成本要低得多。这篇调查文章将提供一个统一的概述,这些最新进展低秩矩阵估计不完全测量。注意这些算法的性能的严格表征,并在低秩矩阵有额外的结构特性,需要新的算法设计和理论分析的问题。
2018-05-02 cs.IT cs.LG eess.SP
Multiscale Graph Neural Network Autoencoders for Interpretable Scientific Machine Learning
Argonne National Laboratory(阿贡国家实验室);Carnegie Mellon University(卡内基梅隆大学)
这项工作的目标是解决基于自动编码器的模型中的两个限制:潜在空间可解释性和与非结构化网格的兼容性。这是在这里完成的一个新的图神经网络(GNN)的自动编码架构的发展与演示复杂的流体流动的应用。为了解决可解释性的第一个目标,GNN自动编码器通过自适应图缩减过程在编码阶段实现节点数量的减少。这种简化过程基本上相当于流场条件节点采样和传感器识别,并以所谓的屏蔽场的形式产生适合流场重建任务的可解释的潜图表示。这些屏蔽字段允许用户(a)可视化给定潜图在物理空间中的活动位置,以及(b)根据域中不稳定流特征(例如,再循环区、剪切层)的时间演变来解释潜图连通性的时间演变。为了解决非结构化网格兼容性的目标,自动编码架构利用了一系列的多尺度消息传递(MMP)层,每个模型在不同的长度尺度的节点邻域之间的信息交换。MMP层通过可学习的粗化操作增强了标准的单尺度消息传递,允许解码器更有效地从掩蔽字段中的识别区域重建流场。使用非结构化快照数据进行分析的潜图产生的自动编码器的各种模型设置的大涡模拟在一个面向后的步骤(BFS)流配置与OpenFOAM为基础的流动求解器在高雷诺数。
2023-02-17 cs.LG physics.flu-dyn
Interpretable Embeddings From Molecular Simulations Using Gaussian Mixture Variational Autoencoders
Max Planck Institute for Polymer Research(马克斯·普朗克聚合物研究所);Koc University(科奇大学)
从分子模拟产生的大量数据中提取洞察力需要识别少量的集体变量,其相应的低维自由能景观保留了底层系统的基本特征。数据驱动技术提供了一个系统的路线来构建这一景观,而不需要对相关驱动力进行广泛的先验直觉。特别是,自动编码器是降维的强大工具,因为它们自然会造成信息瓶颈,从而实现基本特征的低维嵌入。虽然变分自编码器通过假设单峰高斯先验来确保嵌入的连续性,但这与通常由有意义的集体变量的识别产生的多流域自由能景观不一致。在这项工作中,我们采用高斯混合变分自动编码器(GMVAE),鼓励嵌入内的亚稳态的分离,将这种物理直觉到先验。GMVAE在一个统一的框架内执行降维和聚类,并且能够根据对数据进行分类所需的高斯数来识别输入数据的固有维度。我们说明了我们的方法上的两个玩具模型,丙氨酸二肽,和一个具有挑战性的无序肽系综,证明了增强的聚类效果的GMVAE之前相比,标准的VAE。由此产生的嵌入似乎是有前途的表示,用于构建马尔可夫状态模型,突出的可转移性的降维从静力平衡性能的动态。
2019-12-22 cs.LG physics.chem-ph stat.ML
Bi-Lipschitz Autoencoder With Injectivity Guarantee
University of Pennsylvania(宾夕法尼亚大学)
本文提出 Bi-Lipschitz 自编码器,通过引入单射正则化和双 Lipschitz 放松,解决传统自编码器在非单射映射和约束过严的问题,提升鲁棒性和收敛性。
2026-04-08 cs.LG stat.ML
Cross-Temporal Spectrogram Autoencoder (CTSAE): Unsupervised Dimensionality Reduction for Clustering Gravitational Wave Glitches
Northwestern University(西北大学)
针对引力波故障难以获取标签的问题,提出无监督降维聚类方法 CTSAE,通过融合 CNN 和 ViT 的四分支自编码器及 CLS token 多分支融合机制,在 GravitySpy O3 数据集上超越了半监督方法的聚类性能。
2024-04-23 astro-ph.IM cs.CV cs.LG
Topological Autoencoders++: Fast and Accurate Cycle-Aware Dimensionality Reduction
University Claude Bernard Lyon 1(克莱尔贝恩大学 Lyon 1分校);CNRS(国家科学研究中心);Sorbonne University(索邦大学)
该研究针对高维数据循环模式可视化需求,在TopoAE基础上提出TopoAE++方法,通过级联失真惩罚项实现1维持续同调的平面嵌入,搭配快速Rips滤过持续同计算法,兼顾拓扑准确性与视觉效果。
2025-10-03 cs.CG cs.GR cs.LG
MEDAL: Manifold Embedding Distillation via Autoencoder Learning
Department of Statistics, Columbia University(哥伦比亚大学统计学系);School of Data and Information Sciences, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校数据与信息科学学院);Irving Institute for Cancer Dynamics, Columbia University(哥伦比亚大学癌症动力学研究所);Center for Theoretical Neuroscience, Zuckerman Mind Brain Behavior Institute, Columbia University(哥伦比亚大学理论神经科学中心,Zuckerman心智-大脑-行为研究所)
提出MEDAL框架,通过约束自编码器将流形嵌入蒸馏为可复用的编码器-解码器模型,实现留出验证、超参数选择和分布偏移检测。
2026-05-22 cs.LG stat.ML
Low-dimensional Data-based Surrogate Model of a Continuum-mechanical Musculoskeletal System Based on Non-intrusive Model Order Reduction
University of Stuttgart(斯图加特大学)
针对传统有限元肌肉骨骼模型计算成本高、难以实时应用的问题,本文对比四种降维方法,构建了基于低维数据的代理模型,在人体上臂模型上实现了高精度、快速度的系统行为仿真。
2023-02-13 cs.LG
Learning low-dimensional representations of ensemble forecast fields using autoencoder-based methods
Institute of Statistics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院统计研究所);TUM School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Heidelberg Institute for Theoretical Studies(海德堡理论研究所)
针对集合预报场高维且具有概率特性的问题,本文提出两种基于自编码器的降维方法,分别通过逐成员降维后合并为参数分布模型和定制化变分自编码器联合编码,并在欧洲10年温度与风速预报数据上验证了其保留空间统计特征和概率重建能力。
2025-02-06 cs.LG physics.ao-ph
Speeding up astrochemical reaction networks with autoencoders and neural ODEs
University of Heidelberg(海德堡大学)
针对天体化学反应 ODE 的高维、刚性与高计算成本问题,提出结合自编码器降维、潜空间 neural ODE 及线性函数求解器的加速方法,并在 29 物种、224 反应数据集上验证显著精度与加速收益。
2023-12-10 astro-ph.GA cs.LG
Leveraging time and parameters for nonlinear model reduction methods
University of Twente(特温特大学);University of Stuttgart(斯图加特大学)
针对缓慢衰减 Kolmogorov n-宽度问题,本文通过扩展待降阶系统与训练数据,使非线性 autoencoder 可用线性编码器替代,在不损失精度的同时将待训练超参数约减半。
2025-01-07 cs.LG cs.NA math.NA