Differentiable Digital Signal Processing Mixture Model for Synthesis Parameter Extraction from Mixture of Harmonic Sounds
The University of Tokyo(东京大学);National Institute of Technology, Kagawa College(国立高等专门学校机构 香川高等专门学校);Yamaha Corporation(雅马哈公司)
可微分数字信号处理(DDSP)自动编码器是一种结合了深度神经网络(DNN)和频谱建模合成的音乐声音合成器。它允许我们通过改变从输入声音中提取的基频、音色特征和响度(合成参数)来灵活地编辑声音。然而,它是专为单声道和声而设计的,不能处理和声的混合声。在本文中,我们提出了一个模型(DDSP混合模型),该模型将混合物表示为多个预训练DDSP自编码器的输出之和。通过将所提出的模型的输出拟合到所观察到的混合物,我们可以直接估计每个源的合成参数。通过综合参数提取实验,与直接将DDSP自编码器应用于由音频声源分离方法分离的信号的方法相比,该方法具有较高且稳定的性能。
2022-02-01 cs.LG cs.SD eess.AS
Differentiable VQ-VAE's for Robust White Matter Streamline Encodings
UCLA(加州大学洛杉矶分校)
针对现有自编码器仅处理单根白质流线且潜在空间结构不良的问题,提出可微向量量化变分自编码器,将整个流线束作为单个数据点处理以提供可靠编码,在编码和合成任务上优于现有自编码器。
2023-11-18 cs.LG stat.AP stat.ML
An Automated Data Mining Framework Using Autoencoders for Feature Extraction and Dimensionality Reduction
University of Southern California(南加州大学);Montclair State University(蒙特克莱尔州立大学);University of Virginia(弗吉尼亚大学);Northeastern University(东北大学)
提出一种基于自编码器的自动化数据挖掘框架,实验证明其在特征提取、降维、降噪和异常检测上优于 PCA、FA、T-SNE、UMAP 等方法。
2024-12-03 cs.LG
Deep Autoencoders for Dimensionality Reduction of High-Content Screening Data
University of Toronto(多伦多大学)
高内容筛选使用大量未标记的细胞图像数据来推理遗传学或细胞生物学。两个重要的任务是鉴定具有感兴趣的表型的那些细胞,以及鉴定富集这些表型的亚群。这种探索性数据分析通常涉及降维,然后进行聚类,希望聚类代表一种表型。我们建议使用堆叠去噪自动编码器来执行高内容筛选的降维。我们证明了我们的方法优于PCA,局部线性嵌入,核PCA和Isomap的性能。
2015-01-07 cs.LG
Empirical comparison between autoencoders and traditional dimensionality reduction methods
Ecole Polytechnique Montreal(蒙特利尔理工学院)
为了有效地处理更高维的数据,如图像,句子或音频记录,人们需要找到一种合适的方法来减少这些数据的维数。在这方面,基于SVD的方法,包括PCA和Isomap已被广泛使用。最近,一种称为自动编码器的神经网络替代方案被提出,并且由于其更高的灵活性而经常被优选。这项工作的目的是表明,PCA仍然是一个相关的技术,在分类的背景下降维。为此,我们评估了PCA与Isomap、深度自动编码器和变分自编码器相比的性能。实验在三个常用的图像数据集上进行:MNIST,Fashion-MNIST和CIFAR-10。四种不同的降维技术分别用于每个数据集,将数据投影到低维空间。然后,在每个投影上训练k-NN分类器,并在邻居的数量上进行交叉验证的随机搜索。有趣的是,我们的实验表明,k-NN在PCA上实现了相当的准确性,并且两个自动编码器的投影都提供了足够大的维度。然而,PCA的计算时间是两个数量级快于它的神经网络同行。
2021-03-08 cs.LG
Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized Autoencoders
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
高维数据集通常通过构建潜在的低维空间来分析和探索,这使得方便的可视化和有效的预测建模或聚类成为可能。对于复杂的数据结构,像PCA这样的线性降维技术可能不够灵活,无法实现低维表示。非线性降维技术,如核PCA和自动编码器,遭受损失的可解释性,因为每个潜在变量是依赖于所有的输入尺寸。为了解决这个限制,我们在这里提出了路径套索惩罚自动编码器。这种结构化正则化通过惩罚从输入到潜在变量的编码器的每条路径来增强可解释性,从而限制每个潜在维度中表示多少输入变量。我们的算法使用组套索惩罚和非负矩阵分解来构建稀疏的,非线性的潜在表示。我们比较路径套索正则化的自动编码器PCA,稀疏PCA,自动编码器和稀疏自动编码器的真实和模拟数据集。我们表明,该算法表现出低得多的重建误差比稀疏PCA和参数明智的套索正则化低维表示的自编码器。此外,路径套索表示提供了更准确的重建匹配,即保留原始空间和重建空间中的对象之间的相对距离。
2021-10-20 cs.LG stat.ME
Partially Linear Autoencoders for Manifold Learning and Dimensionality Reduction
CEA List, Université Paris-Saclay(CEA List、巴黎-萨克雷大学);LMS, École Polytechnique, Institut Polytechnique de Paris(LMS、巴黎综合理工学院、巴黎理工学院)
该研究探究自编码器编码器的作用,提出线性编码器自编码器(Lenc-AE)架构,经多数据集验证其重构质量与全非线性自编码器相当,且在简约性、可解释性上更优,明确非线性解码器是流形学习的关键。
2026-09-01 cs.LG
Performance Analysis of Deep Autoencoder and NCA Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
International University of Business Agriculture and Technology(国际商业农业技术大学);Islamic University of Technology(伊斯兰科技大学)
本文的主要目的是在Matlab中实现Deep Autoencoder和Neighborhood Components Analysis(NCA)降维方法,并观察这些算法在UCI机器学习库中9个不同数据集上的应用。这些数据集包括CNAE 9、Movement Libras、Pima Indians diabetes、Parkinsons、Knowledge、Segmentation、Seeds、Mammographic Masses和Ionosphere。首先,通过使用Deep Autoencoder和NCA降维技术选择和提取最相关和最合适的特征或属性,这些数据集的维度已经减少到原始维度的50%。然后,每个数据集分类应用K-最近邻(KNN),扩展最近邻(ENN)和支持向量机(SVM)分类算法。所有的分类算法都是在Matlab环境下开发的。在每个分类中,训练测试数据比率始终设置为90%:10%。在分类时,观察和分析精度之间的变化,以找到每个降维技术与每个分类器的兼容程度,并评估每个分类器在每个数据集上的性能。
2019-12-24 cs.LG
Dimension Reduction for time series with Variational AutoEncoders
Institut de Mathématiques de Toulouse(图卢兹数学研究所);University of Toulouse(图卢兹大学);Liebherr Aerospace Toulouse(利勃海尔航空航天图卢兹公司);University Toulouse 3(图卢兹第三大学)
在这项工作中,我们探索降维技术的单变量和多变量时间序列数据。我们特别进行小波分解和卷积变分自编码器之间的降维比较。我们表明,变分自编码器是一个很好的选择,为降低维数的高维数据,如心电图。我们在现实世界中,公开可用的ECG数据集上进行这些比较,该数据集具有很大的可变性,并使用重建误差作为度量。然后,我们探索这些模型的鲁棒性与噪声数据是否用于训练或推理。这些测试旨在反映现实世界的时间序列数据中存在的问题,VAE对这两种测试都是鲁棒的。
2022-04-23 cs.LG math.ST stat.TH
Variational Rank Reduction Autoencoders
本文提出变分秩缩减自编码器(VRRAEs),结合RRAEs的SVD正则化与VAEs的概率潜在空间,通过KL散度正则化,在生成和插值任务上优于两者,并降低后验坍塌风险。
2025-10-14 cs.LG
Rank Reduction Autoencoders
Arts et Metiers - ENSAM(法国国立高等工程技术学校);University of North Florida(北佛罗里达大学);Stanford University(斯坦福大学)
本文提出秩缩减自编码器(RRAEs),通过截断奇异值分解正则化潜在空间并以秩定义瓶颈,配合自适应算法确定最优瓶颈大小,在多个数据集上优于普通及正则化自编码器。
2025-03-25 cs.LG
ASSS: A Differentiable Adversarial Framework for Task-Aware Data Reduction
ASSS通过可微对抗框架将数据减少转化为学习选择器与任务网络之间的博弈,实现高效的数据减少,保留98.9%性能并仅使用30%数据,优于随机采样等方法。
2026-04-05 cs.LG
Representative period selection for power system planning using autoencoder-based dimensionality reduction
Massachusetts Institute of Technology(麻省理工学院)
用于研究未来低碳电网情景的电力部门容量扩展模型(CEM)必须包含电网运营的详细表示。通常,CEM被公式化以对使用聚类算法从原始输入数据采样的代表性时段上的网格操作进行建模。然而,这种代表性时段选择(RPS)方法受到聚类算法随着输入数据的维数增加而降低的功效的限制,并且不考虑输入数据变化对CEM结果的相对重要性。在这里,我们提出了一个RPS方法,解决了这些限制,通过将降维,通过基于神经网络的自编码器,聚类之前完成。这样的降维不仅提高了聚类算法的性能,而且还便于使用附加特征,诸如从针对输入数据中的每个不相交时段(例如,1周)的CEM的简化版本的并行解产生的估计输出。将降维作为RPS方法的一部分的影响通过相应的缩减空间CEM与全空间CEM的结果中的误差来量化。在各种网络和各种技术和政策场景中进行的大量数值实验确立了基于降维的RPS方法的优越性。
2022-04-28 cs.LG
Convolution by Evolution: Differentiable Pattern Producing Networks
Google DeepMind(谷歌DeepMind)
在这项工作中,我们介绍了一个可微版本的组合模式生产网络,称为DPPN。与标准CPPN不同,DPPN的拓扑是演进的,但权重是学习的。拉马克算法结合了进化和学习,产生DPPN来重建图像。我们的主要结果是,DPPN可以进化/训练,将去噪自动编码器的权重从157684压缩到大约200个参数,同时实现与具有两个数量级以上参数的完全连接网络相当的重建精度。DPPN的正则化能力允许它重新发现(近似)嵌入在完全连接架构中的卷积网络架构。这种卷积架构是许多计算机视觉应用的当前技术水平,因此DPPN能够发现这种结构而不是必须通过设计来构建它是令人满意的。DPPN在MNIST上训练后在Omniglot数据集上测试时表现出更好的泛化能力,而不是直接编码的全连接自动编码器。因此,DPPN是整合学习和进化的新框架。
2016-06-08 cs.CV cs.LG cs.NE
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University(斯坦福大学)
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中,我们探讨了一种技术,使用相关的,但更有代表性的样本,以减少估计方差。具体来说,我们将展示如何生成对偶样本,匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合,我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Dimensionality Reduction and Anomaly Detection for CPPS Data using Autoencoder
Institute Industrial IT(工业信息技术研究所);Fraunhofer IOSB-INA(弗劳恩霍夫应用光学与精密工程研究所-INA)
无监督异常检测(AD)是信息物理生产系统(CPPS)领域的一个重要课题。一个密切相关的问题是降维(DR),它是:1)通常用作AD解决方案中的预处理步骤,2)一种AD,如果提供了对学习数据流形的观察一致性的测量。我们认为,这两个方面可以互补的CPPS异常检测解决方案。在这项工作中,我们专注于非线性自动编码器(AE)作为DR/AD方法。本文的贡献在于:1)研究了声发射重建误差作为CPPS数据中AD判定标准的适用性。2)我们分析了它与AE潜在空间中潜在的第二阶段AD方法的关系3)我们在三个真实世界数据集上评估了该方法的性能。此外,该方法优于最先进的技术,以及相对简单和直接的应用。
2020-10-28 cs.LG
Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications
本文提出了一种基于前向-前向学习的自编码器架构,用于提升无线通信的能量效率,通过数值实验展示了其在噪声和衰落信道中的性能优势。
2026-02-16 cs.IT cs.LG math.IT
Combatting Adversarial Attacks through Denoising and Dimensionality Reduction: A Cascaded Autoencoder Approach
Purdue University(普渡大学)
机器学习模型容易受到依赖于扰动输入数据的对抗攻击的攻击。这项工作提出了一种新的策略,使用自动编码器深度神经网络来保护机器学习模型免受两种基于梯度的攻击:快速梯度符号攻击和快速梯度攻击。首先,我们使用自动编码器对测试数据进行降噪,该数据是用干净和损坏的数据进行训练的。然后,我们使用另一个自动编码器的隐藏层表示来降低去噪数据的维度。我们进行这个实验的对抗扰动的界限的多个值,并考虑不同数量的减少的维度。当使用该级联流水线对测试数据进行预处理时,测试的深度神经网络分类器产生高得多的准确度,从而减轻对抗性扰动的影响。
2018-12-07 cs.CR cs.LG stat.ML
Supervised Dimensionality Reduction and Image Classification Utilizing Convolutional Autoencoders
University of Thessaly(塞萨利大学)
重建和分类误差的联合优化是一个非凸的硬问题,特别是当使用非线性映射时。为了克服这一障碍,提出了一种新的优化策略,其中用于降维的卷积自动编码器和由全连接网络组成的分类器相结合,以同时产生监督降维和预测。事实证明,这种方法在加强深度学习架构的可解释性方面也非常有益。此外,所得到的潜在空间,优化的分类任务,可以用来改善传统的,可解释的分类算法。实验结果表明,所提出的方法与最先进的深度学习方法相比取得了有竞争力的结果,同时在参数计数方面更加有效。最后,它是经验证明,所提出的方法引入了先进的可解释性,不仅通过所产生的潜在空间的数据结构,而且关于分类行为。
2022-11-03 cs.LG cs.NE
Investigation of Nonlinear Model Order Reduction of the Quasigeostrophic Equations through a Physics-Informed Convolutional Autoencoder
Virginia Tech(弗吉尼亚理工大学)
降阶建模(ROM)是一个技术领域,它通过廉价的替代物来近似真实世界过程的复杂的基于物理的模型,这些替代物以较少的自由度捕获重要的动态特性。传统的ROM技术,如适当的正交分解(POD)专注于线性投影的动态到一组频谱功能。在本文中,我们探讨了使用自动编码器(AE)的ROM的建设,执行系统动态的非线性投影到一个低维流形从数据中学习。该方法使用卷积神经网络(CNN)来学习空间特征,而不是光谱特征,并利用物理信息(PI)成本函数来捕获时间特征。我们的调查使用准地转方程表明,虽然PI成本函数有助于空间重建,空间特征是不太强大的光谱特征,并通过机器学习为基础的方法,需要大量的调查新的非标准方法的ROM的建设。
2021-08-27 cs.LG
Harnessing Attention Mechanisms: Efficient Sequence Reduction using Attention-based Autoencoders
Centre for Artificial Intelligence Research, University of Agder(阿格德尔大学人工智能研究中心);Department of ICT, University of Agder(阿格德尔大学信息与通信技术系);Oslo Metropolitan University(奥斯都会大学)
本研究提出了一种基于注意力的序列长度缩减方法,并在自编码器模型中验证其有效性,发现将序列缩减至原长度的四分之一时仍能以约90%的准确率重现原始序列。
2023-10-23 cs.AI cs.LG
On a Mechanism Framework of Autoencoders
本文提出了一个理论框架的机制,自动编码器。在编码器部分,主要研究了降维的两个基本性质:双射映射和数据解纠缠。给出了满足上述两个性质之一或两者的编码器的一般构造方法。对自编码器的泛化机制进行了建模。基于上述理论框架,我们解释了变分自编码器、去噪自编码器和线性单元自编码器的一些实验结果,重点是通过编码器对数据的低维表示的解释;通过这些解释,图像复原的机制很自然地被理解。通过与主成分分析和决策树的比较,证明了(广义)自编码器在降维和分类方面的优势。卷积神经网络和随机加权神经网络也可以用这个框架来解释。
2022-12-12 cs.CV cs.LG
Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics
Freie Universität Berlin(柏林自由大学)
受物理和化学科学中深度学习技术成功的启发,我们将自动编码器类型的深度神经网络的修改应用于分子动力学数据的降维任务。我们可以证明,我们的时滞自动编码器可靠地找到高维特征空间的低维嵌入,这些特征空间捕获了底层随机过程的缓慢动态-超出了线性降维技术的能力。
2017-10-30 cs.LG physics.bio-ph physics.chem-ph
Symplectic Autoencoders for Model Reduction of Hamiltonian Systems
Max-Planck-Institut für Plasmaphysik(马克斯·普朗克等离子体物理研究所);Technische Universität München(慕尼黑工业大学)
针对哈密顿系统模型降阶需保辛结构但现有方法多局限于线性变换的问题,提出一种辛自编码器神经网络架构,采用利用微分几何结构的非标准梯度下降训练,精度显著优于现有设计。
2023-12-15 cs.LG cs.NA math.NA
Hyper-Reduced Autoencoders for Efficient and Accurate Nonlinear Model Reductions
Harvard University(哈佛大学);Sandia National Laboratories(桑迪亚国家实验室);NexGen Analytics(奈克斯根分析公司)
基于投影的模型降阶非线性流形最近已被提出的问题,缓慢衰减的Kolmogorov n-宽度,如对流主导的。这些方法通常使用神经网络进行流形学习,并显示出比传统线性子空间降阶模型更高的精度。先前提出的方法的缺点是在高保真解快照上训练网络的潜在高计算成本。在这项工作中,我们提出并分析了一种新的方法,克服了这一缺点,训练神经网络的高保真解决方案快照的子采样版本。该方法与基于搭配的超约简和Gappy-POD相结合,可以实现高效准确的代理模型。我们证明了我们的方法的有效性上的2D汉堡问题。
2023-03-16 cs.LG cs.NA math.NA
Remote sensing framework for geological mapping via stacked autoencoders and clustering
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);The University of Sydney(悉尼大学);Curtin University(科廷大学);University of New South Wales(新南威尔士大学)
针对遥感地质填图中标记数据稀缺问题,提出一种结合堆叠自编码器降维与k-means聚类的无监督框架,在多源遥感数据上表现出优异的岩石区分能力与填图精度。
2024-09-21 cs.AI cs.LG
Health Monitoring of Movement Disorder Subject based on Diamond Stacked Sparse Autoencoder Ensemble Model
Chengdu Yangjun Technology Co., Ltd(成都杨军科技有限公司);Chongqing University(重庆大学)
对于行动不便的慢性病患者,由于其行动不便,慢性病病程长,因此慢性病的健康监测非常重要。基于机器学习的使用可穿戴传感器从具有运动障碍的人收集的数据的处理是当前可用于健康监测的有效方法。然而,可穿戴传感器系统难以获得高质量和大量的数据,这不能满足诊断精度的要求。此外,现有的机器学习方法不能很好地处理这个问题。特征学习是机器学习的关键。针对这一问题,提出了一种基于菱形叠加稀疏自编码器集成模型(DsaeEM)的运动障碍对象健康监测方法。该算法有两个主要组成部分。首先,使用特征嵌入堆叠稀疏自动编码器(FSSAE)设计特征扩展。其次,设计了一种特征约简机制,去除扩展特征间的冗余。该机制包括L1正则化特征约简算法和改进的流形降维算法。本文将特征扩展和特征约简相结合的机制称为类钻石特征学习机制。该方法的实验验证与几个国家的最先进的算法和两个数据集。结果表明,该算法具有较高的精度.综上所述,本研究开发了一种有效可行的特征学习算法用于慢性病的识别。
2023-03-15 cs.LG
Graph Regularized Autoencoder and its Application in Unsupervised Anomaly Detection
Texas A&M University(德克萨斯农工大学);BAE Systems, Inc.(BAE系统公司)
对于包括异常检测和聚类在内的许多无监督学习任务来说,先验性降低是至关重要的第一步。自动编码器是一种流行的降维机制。为了对嵌入非线性低维流形的高维数据进行有效的降维,需要使用某种测地距离度量来区分数据样本。受测地线距离近似器(如ISOMAP)的成功启发,我们提出使用最小生成树(MST),一种基于图的算法,来近似局部邻域结构并生成数据点之间的结构保持距离。我们使用这种基于MST的距离度量来取代自编码器嵌入函数中的欧氏距离度量,并开发了一种新的图形正则化自编码器,该编码器在20个基准异常检测数据集上优于各种替代方法。我们进一步将MST正则化器纳入两个生成对抗网络,并发现使用MST正则化器大大提高了两个生成对抗网络的异常检测性能。我们还在聚类应用程序中的两个数据集上测试了我们的MST正则化自动编码器,并见证了其卓越的性能。
2021-03-11 cs.LG stat.ML
DIRESA, a distance-preserving nonlinear dimension reduction technique based on regularized autoencoders
Department of Electronics and Informatics, Vrije Universiteit Brussel(比利时布鲁塞尔自由大学电子与信息学院);Observations Scientific Service, Royal Meteorological Institute(皇家气象研究所观测科学部门)
提出基于自编码器的DIRESA降维技术,通过距离正则化保留潜在空间距离并捕捉非线性,在压缩数据集的同时其重建保真度与保距性优于PCA等方法。
2025-04-27 cs.LG nlin.CD physics.ao-ph
Integrating Random Effects in Variational Autoencoders for Dimensionality Reduction of Correlated Data
Tel Aviv University(特拉维夫大学)
针对VAE假设数据独立导致相关数据降维效果不佳的问题,提出LMMVAE模型,将潜变量分离为独立固定部分与相关随机部分,显著提升了重构误差与下游任务性能。
2024-12-24 cs.LG stat.ML
Variational Rank Reduction Autoencoders for Generative Thermal Design
ESI Group-UZ Chair of the National Strategy on Artificial Intelligence(ESI集团-乌兹主席国家人工智能战略办公室);Aragon Institute of Engineering Research (I3A)(阿拉贡工程研究所(I3A));Universidad de Zaragoza(萨拉戈萨大学);PIMM Lab(PIMM实验室);ENSAM Institute of Technology(ENSAM技术研究所)
针对生成式热设计中潜空间无结构及高计算成本问题,提出结合变分秩约简自编码器与深度算子网络的混合框架,实现连续潜表示、高效准确预测温度梯度,并提升推理效率。
2025-09-10 cs.AI cs.LG
Autoencoder-based non-intrusive model order reduction in continuum mechanics
RWTH Aachen University(亚琛工业大学);Stanford University(斯坦福大学);Hamburg University of Technology(汉堡工业大学);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学)
本研究提出一种基于自编码器的非侵入式连续介质力学降阶建模框架,含三阶段流程及力增强、多场两项扩展,经多类非线性基准验证可准确重建高保真解,公开实现为相关工程应用提供基础。
2025-09-02 cs.AI cs.CE cs.LG
Topological Autoencoders++: Fast and Accurate Cycle-Aware Dimensionality Reduction
University Claude Bernard Lyon 1(克莱尔贝恩大学 Lyon 1分校);CNRS(国家科学研究中心);Sorbonne University(索邦大学)
该研究针对高维数据循环模式可视化需求,在TopoAE基础上提出TopoAE++方法,通过级联失真惩罚项实现1维持续同调的平面嵌入,搭配快速Rips滤过持续同计算法,兼顾拓扑准确性与视觉效果。
2025-10-03 cs.CG cs.GR cs.LG
PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low Data Regimes
National Research Council of Canada(加拿大国家研究委员会);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
自编码器(AE)为非线性降维提供了一种有用的方法,但不适合低数据状态。相反,主成分分析(PCA)是数据有效的,但仅限于线性降维,当数据表现出固有的非线性时会出现问题。这在各种科学和工程领域中提出了挑战,例如纳米光子组件设计,其中数据表现出非线性特征,同时由于昂贵的实际测量或偏微分方程的资源消耗解决方案而获得昂贵。为了解决这个困难,我们提出了一种技术,利用两个世界的最好的:一个自动编码器,利用PCA在稀缺的非线性数据上表现良好。具体来说,我们概述了一个数值上鲁棒的基于PCA的AE初始化,它与参数化的ReLU激活函数一起,允许训练过程从精确的PCA解开始并对其进行改进。首先给出了一个合成示例,以研究数据非线性和大小对所提出方法性能的影响。然后,我们评估我们的方法在几个纳米光子组件的设计问题,获得有用的数据是昂贵的。为了证明通用性,我们还将其应用于其他科学领域的任务:基准乳腺癌数据集和基因表达数据集。我们表明,我们提出的方法是大大优于PCA和随机初始化AE在大多数低数据制度的情况下,我们认为,或至少是最好的其他两种方法。
2022-05-23 cs.AI cs.LG
Enhancing Supervised Visualization through Autoencoder and Random Forest Proximities for Out-of-Sample Extension
Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Utah State University(犹他州立大学);Brigham Young University(杨百翰大学)
本文提出一种结合随机森林邻近性与自动编码器的样本外扩展方法,用于增强 RF-PHATE 监督降维的泛化能力,在保持质量的同时减少 40% 训练时间,并支持仅用 10% 训练数据的半监督场景。
2024-06-06 cs.LG stat.ML
GrCAN: Gradient Boost Convolutional Autoencoder with Neural Decision Forest
University of New South Wales(新南威尔士大学)
随机森林和深度神经网络是机器学习中两大有效的分类方法流派。虽然随机森林是鲁棒的,与数据域无关,但深度神经网络在处理高维数据方面具有优势。考虑到可以在神经网络中添加可微神经决策森林以充分利用两种模型的优点,在我们的工作中,我们进一步将卷积自动编码器与神经决策森林结合起来,其中自动编码器在寻找输入数据的隐藏表示方面具有优势。我们开发了一个梯度提升模块,并将其嵌入到建议的卷积自动编码器与神经决策森林,以提高性能。梯度增强的思想是学习并在预测中使用残差。此外,我们设计了一种结构来学习神经决策森林和梯度增强模块的参数。在多个公共数据集上的实验表明,与一系列基准方法相比,该模型具有良好的效率和预测性能。
2018-06-24 cs.LG stat.ML
Graph Attention Neural Network for Botnet Detection: Evaluating Autoencoder, VAE and PCA-Based Dimension Reduction
School of Systems and Computing, University of New South Wales(新南威尔士大学系统与计算学院)
本文提出先降维再构图的方法,评估VAE、AE和PCA三种降维技术对图注意力网络(GAT)在物联网僵尸网络检测中的影响,以缓解大型图结构的计算开销。
2025-05-23 cs.CV cs.LG
A Preliminary Study on Pattern Reconstruction for Optimal Storage of Wearable Sensor Data
Queen’s University(女王大学)
如今,医疗数据的高效查询和检索面临着严峻的挑战,许多连接的设备不断生成PB级的图像、文本和物联网(IoT)传感器数据。一种有效地存储健康护理数据的方法是提取相关的和代表性的特征,并且仅存储那些特征而不是连续的流数据。然而,它提出了一个问题,即我们可以从数据中保留多少信息内容,以及我们是否可以在需要时重建伪原始数据。通过促进相关的和代表性的特征提取,存储和重建的近原始模式,我们的目标是解决所面临的一些挑战的爆炸的流数据。我们提出了一个初步的研究,在那里我们探索了多个自动编码器的简洁特征提取和人类活动识别(HAR)传感器数据的重建。我们的多层感知器(MLP)深度自动编码器实现了90.18%的存储减少,而其他三个实现的自动编码器,即卷积自动编码器,长短期记忆(LSTM)自动编码器和卷积LSTM自动编码器分别实现了11.18%,49.99%和72.35%的存储减少。来自自动编码器的编码特征具有更小的尺寸和维度,这有助于减少存储空间。对于更高维度的表示,存储减少是低的。但相关信息的保留率很高,这是通过对重建数据进行分类来验证的。
2023-02-25 cs.LG
Semi-Amortized Variational Autoencoders
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
摊销变分推断(AVI)用全局推理网络代替特定于实例的局部推理。虽然AVI已经实现了深度生成模型(如变分自编码器(VAE))的有效训练,但最近的经验研究表明,推理网络可能会产生次优的变分参数。我们提出了一种混合的方法,使用AVI初始化变分参数和运行随机变分推断(SVI)来完善它们。最重要的是,局部SVI过程本身是可微的,因此推理网络和生成模型可以通过基于梯度的优化进行端到端的训练。这种半摊销方法可以使用丰富的生成模型,而不会遇到在训练VAE时常见的后崩溃现象,例如文本生成。实验表明,该方法在标准文本和图像数据集上的性能优于强自回归和变分基线。
2018-07-23 cs.CL cs.LG stat.ML
Deep Neural Networks for Nonlinear Model Order Reduction of Unsteady Flows
University of Tehran(德黑兰大学)
非定常流体系统是一种非线性的高维动力学系统,在时间和空间上可能表现出多种复杂的现象。流体流动的降阶建模(ROM)是近十年来的一个活跃的研究课题,其主要目标是将复杂流动分解为一组对未来状态预测和控制最重要的特征,通常使用降维技术。在这项工作中,介绍了一种新的数据驱动技术的基础上的权力的深度神经网络的降阶建模的非定常流体流动。自动编码器网络用于非线性降维和特征提取,作为奇异值分解(SVD)的替代方案。然后,提取的特征被用作长短期记忆网络(LSTM)的输入,以预测未来时刻的速度场。将所提出的自动编码器-LSTM方法与基于动态模式分解(DMD)和本征正交分解(POD)的非侵入式降阶模型进行了比较。此外,自动编码器DMD算法的降阶建模,它使用的自动编码器网络的降维,而不是SVD秩截断。结果表明,自动编码器-LSTM方法是相当能够预测流体流动演变,其中使用自动编码器-LSTM相比于其他模型获得更高的决定系数值$R^{2}$。
2020-10-02 cs.LG physics.comp-ph physics.flu-dyn
Neural Autoencoder-Based Structure-Preserving Model Order Reduction and Control Design for High-Dimensional Physical Systems
NEC Laboratories Europe(NEC欧洲实验室);Università di Pisa(比萨大学);Delft University of Technology(代尔夫特理工大学);German Aerospace Center (DLR)(德国航空航天中心(DLR))
本文将神经自编码器与保 Hamiltonian/Lagrangian 结构的模型降阶结合,在数百状态的质量-弹簧-阻尼网络中实现少于5自由度、约4%误差的准确压缩,并据此设计欠驱动机械系统控制器。
2023-12-11 cs.LG cs.SY eess.SY
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia(哥伦比亚国立大学)
相异性混合自动编码器(DMAE)是一种用于基于特征的聚类的神经网络模型,它包含灵活的相异性函数,可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型(DMM),该模型通过将概率重新解释为神经网络表示,将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中,允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估,结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
Data-driven Nonlinear Parametric Model Order Reduction Framework using Deep Hierarchical Variational Autoencoder
Seoul National University(首尔国立大学);Jeonbuk National University(全北国立大学);Institute of Advanced Aerospace Technology, Seoul National University(首尔国立大学高等航空技术研究所)
提出基于LSH-VAE与潜流形球面线性插值的数据驱动参数化非线性MOR框架,并在流固耦合、极限环振荡和三维流动中验证其精度、稳定性与加速效果。
2023-07-10 cs.LG physics.data-an physics.flu-dyn
Low PAPR MIMO-OFDM Design Based on Convolutional Autoencoder
提出了一种基于卷积自动编码器($\mathsf{CAE}$)架构的用于多输入多输出($\mathsf{MIMO}$)正交频分复用($\mathsf{OFDM}$)系统的峰均功率比($\mathsf{PAPR}$)降低和波形设计的增强框架。用于通信网络的基于端到端学习的自动编码器($\mathsf{AE}$)通过编码器和解码器来表示网络,其中在编码器和解码器之间,学习的潜在表示通过物理通信信道。我们引入了一种基于投影梯度下降迭代的联合学习方案,以优化非线性高功率放大器($\mathsf{HPA}$)和多径衰落信道的影响下的频谱屏蔽行为和MIMO检测。所提供的高效实现新颖的波形设计技术仅利用单个$\mathsf{PAPR}$缩减块用于所有天线。它是吞吐量无损的,因为在解码器处不需要边信息。通过检查误码率($\mathsf{BER}$)、$\mathsf{PAPR}$和频谱响应来分析性能,并在5G模拟数据上与经典的$\mathsf{PAPR}$减少$\mathsf{MIMO}$检测器方法进行比较。建议的系统具有竞争力的性能时,同时考虑所有的优化标准。我们将渐进损失学习应用于多目标优化,并以经验表明,单个训练模型在宽范围的SNR水平上涵盖了$\mathsf{PAPR}$减少,频谱设计和$\mathsf{MIMO}$检测的任务。
2023-01-11 cs.LG eess.SP
GD-VAEs: Geometric Dynamic Variational Autoencoders for Learning Nonlinear Dynamics and Dimension Reductions
University of California Santa Barbara(加州大学圣巴巴拉分校)
提出GD-VAEs,结合几何与拓扑信息,利用变分自编码器学习非线性动力学的流形潜空间表示,并在多个物理系统上验证其降维性能。
2025-03-26 cs.LG cs.NA math.DS
Convolutional Autoencoders for Reduced-Order Modeling
North Carolina State University(北卡罗来纳州立大学)
在构造动力系统的降阶模型时,通常采用线性投影方法,例如适当的正交分解。然而,对于许多动力系统,状态空间的低维表示可以最精确地由\textit{nonlinear}流形描述。以前的研究表明,深度学习可以提供一种有效的方法来执行非线性降维,尽管它们依赖于训练数据的可用性,并且通常是特定于问题的\citep [参见][]{carlberg_ca}。在这里,我们利用随机化的训练数据来创建和训练卷积自编码器,该卷积自编码器对波和Kuramoto-Shivasinsky方程进行非线性降维。此外,我们提出了独立于全阶模型样本的训练方法,并使用流形最小二乘Petrov-Galerkin投影方法来定义使用相同自动编码器的热,波和Kuramoto-Shivasinsky方程的降阶模型。
2021-08-27 cs.LG math.DS
Deep Invertible Autoencoders for Dimensionality Reduction of Dynamical Systems
MOX Laboratory, Department of Mathematics, Politecnico di Milano(米兰理工学院数学系MOX实验室);Department of Applied Mathematics, University of Twente(埃因霍温理工大学应用数学系)
本文提出深度可逆自编码器inv-AE,通过可逆神经网络层提升投影误差稳定性,结合传统ROM方法提高精度,应用于参数化Burgers方程和流体流动问题。
2026-09-16 cs.LG
AEkNN: An AutoEncoder kNN-based classifier with built-in dimensionality reduction
University of Jaén(哈恩大学)
高维度,即具有大量变量的数据,往往是大多数机器学习任务(包括分类)的挑战。分类器通常建立一个模型,表示一组输入如何解释输出。输入和/或输出的集合越大,该模型就越复杂。有一类分类算法,称为惰性学习方法,它不建立模型。这个家族中最著名的成员之一是kNN算法。它的策略依赖于搜索一组最近的邻居,使用输入变量作为位置向量,并计算它们之间的距离。这些距离在高维空间中失去了意义。因此,kNN和许多其他分类器一样,随着输入变量数量的增加,其性能往往会变差。在这项工作中AEkNN,一个新的kNN为基础的算法与内置的【形】降维,提出。为了获得新的数据表示,具有更低的维度,但具有更多的信息特征,AEkNN内部使用自动编码器。从这个新的特征向量中,计算出的距离应该更重要,从而提供了一种选择更好邻居的方法。新的建议进行了实验评估,分析了几种配置,并将它们与经典的kNN算法进行比较。所得到的结论表明,AEkNN提供了更好的预测和运行时性能的结果。
2018-03-09 cs.LG cs.NE
Deep convolutional recurrent autoencoders for learning low-dimensional feature dynamics of fluid systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
高维动力系统的模型降阶减轻了从设计优化到模型预测控制的各种任务中所面临的计算负担。一种流行的模型降阶方法是基于将控制方程投影到由解快照数据集压缩获得的基函数所跨越的子空间上。然而,这种方法是侵入性的,因为投影需要访问系统操作员。此外,某些系统可能需要对非线性进行特殊处理以确保计算效率或需要额外的建模以保持稳定性。在这项工作中,我们提出了一种基于深度学习的非线性模型约简策略,该策略受到基于投影的模型约简的启发,其想法是识别一些最佳的低维表示并及时发展它。我们的方法构建了一个由深度卷积自动编码器和修改后的LSTM网络组成的模块化模型。深度卷积自动编码器返回一个低维表示,表示在一些表达非线性数据支持流形上的坐标。然后,通过修改后的LSTM网络以计算高效的方式对该流形上的动态进行建模。还开发了一种利用模型模块化的离线无监督训练策略。我们展示了我们的模型上的三个说明性的例子,每个突出的模型的性能在预测任务的流体系统具有较大的参数变化和长期预测的稳定性。
2018-08-22 cs.LG math.DS physics.flu-dyn
Adaptation of Autoencoder for Sparsity Reduction From Clinical Notes Representation Learning
École de Technologie Supérieure, University of Québec(魁北克大学高等技术学院);CHU Sainte-Justine Research Center(圣贾斯汀儿童医院研究中心);CHU Sainte-Justine Hospital(圣贾斯汀儿童医院);University of Montreal(蒙特利尔大学)
在处理小数据集上的临床文本分类时,最近的研究已经证实,经过良好调整的多层感知器优于其他生成分类器,包括深度学习。为了提高神经网络分类器的性能,可以有效地使用用于学习表示的特征选择。然而,大多数特征选择方法只估计变量之间的线性依赖程度,并基于单变量统计检验选择最佳特征。此外,忽略了学习表示中涉及的特征空间的稀疏性。目标:因此,我们的目标是通过压缩临床表示特征空间来获得另一种方法来解决稀疏性,其中也可以有效地处理有限的法国临床笔记。方法:本研究提出了一种自动编码器学习算法,以利用稀疏减少临床笔记表示。其动机是确定如何压缩稀疏,高维数据,通过减少临床笔记表示特征空间的维度。然后在训练和压缩的特征空间中评估分类器的分类性能。结果:所提出的方法为每次评估提供了高达3%的整体性能增益。最后,分类器在检测患者的状况方面实现了92%的准确率,91%的召回率,91%的精确率和91%的f1分数。应用信息瓶颈理论框架,对压缩工作机理和自动编码器预测过程进行了论证。
2022-09-26 cs.CL cs.LG eess.SP
GraphCSVAE: Graph Categorical Structured Variational Autoencoder for Spatiotemporal Auditing of Physical Vulnerability Towards Sustainable Post-Disaster Risk Reduction
University of Cambridge(剑桥大学);Cambridge University Centre for Risk in the Built Environment(剑桥大学建筑环境风险中心);Earth Observation Center(地球观测中心);Institute of Geography(地理研究所)
提出GraphCSVAE框架,通过整合深度学习、图表示和类别概率推断,利用时间序列卫星数据和专家先验,对物理脆弱性进行建模,并在两个灾后地区验证其时空审计能力。
2026-05-20 cs.LG
Multi-view Factorization AutoEncoder with Network Constraints for Multi-omic Integrative Analysis
University at Buffalo(布法罗大学)
多组学数据提供相同患者的多个视图。多组学数据的综合分析对于阐明疾病病因的分子基础至关重要。然而,多组数据存在“大p,小N”问题(特征数多,但样本数少),仅从多组数据中训练复杂的机器学习模型并使其具有良好的泛化能力是一个挑战。在这里,我们提出了一个框架,称为多视图分解AutoEncoder与网络约束集成多组学数据与领域知识(生物相互作用网络)。我们的框架采用深度表示学习来同时学习特征嵌入和患者嵌入,使我们能够将特征交互网络和患者视图相似性网络约束集成到训练目标中。整个框架是端到端可区分的。我们将我们的方法应用于TCGA泛癌症数据集,并取得了令人满意的结果,以预测疾病无进展间期(PFI)和患者总生存期(OS)事件。代码将公开提供。
2018-09-06 cs.LG stat.ML
Beyond the Kolmogorov Barrier: A Learnable Weighted Hybrid Autoencoder for Model Order Reduction
Department of Mechanical, Aerospace, and Nuclear Engineering, Rensselaer Polytechnic Institute(机械、航空航天与核工程系,雷士拉尔理工学院)
本文提出可学习加权混合自编码器,通过可学习加权框架融合SVD与深度自编码器以克服柯尔莫哥洛夫障碍,在混沌PDE系统上显著提升降阶建模的泛化性能。
2025-11-05 cs.AI cs.LG physics.comp-ph
PCA-VAE: Differentiable Subspace Quantization without Codebook Collapse
Wake Forest University School of Medicine(威克森林大学医学院)
PCA-VAE通过在线PCA瓶颈替代VQ,实现无需码本的可微子空间量化,提升重建质量并减少潜在位数,同时产生可解释的维度特征。
2026-02-21 cs.CV cs.LG