Identifying Mislabeled Images in Supervised Learning Utilizing Autoencoder
University of Texas at Austin(德克萨斯大学奥斯汀分校)
监督学习基于训练数据中的基础事实是准确的假设。然而,这在现实世界的设置中可能无法保证。不准确的训练数据会导致一些意想不到的预测。在图像分类中,不正确的标签也可能导致分类模型不准确。在本文中,我将在训练分类网络之前对训练数据应用无监督技术。卷积自动编码器被应用于编码和重建图像。编码器将图像数据投影到潜在空间上。在潜在空间中,图像特征被保存在较低的维度中。假设具有相似特征的数据样本可能具有相同的标签。通过密度基扫描(DBSCAN)聚类算法,噪声样本可以在潜在空间中进行分类。这些不正确标记的数据被可视化为潜在空间中的离群值。因此,由DBSCAN算法识别的离群值可以被分类为错误标记的样本。在检测到离群值之后,所有离群值都被视为错误标记的数据样本并从数据集中移除。因此,训练数据可以直接用于训练监督学习网络。在实验数据集中,该算法可以检测并去除67%以上的错误标记数据.
2021-01-18 cs.CV cs.LG
Gated Recurrent Unit based Autoencoder for Optical Link Fault Diagnosis in Passive Optical Networks
ADVA Optical Networking SE(ADVA光网络公司);Christian-Albrechts-Universität zu Kiel(基尔大学)
我们提出了一种基于自动编码器的深度学习方法,用于识别和定位无源光网络中的光纤故障。实验结果表明,所提出的方法检测故障的准确率为97%,精确定位它们的RMSE为0.18米,优于传统的技术。
2022-03-19 cs.LG eess.SP
From Points to Spheres: A Geometric Reinterpretation of Variational Autoencoders
Department of Applied Physics(应用物理系);Beijing University of Technology(北京理工大学)
本文提出用几何视角重新诠释变分自编码器,将潜在表示视为受KL散度约束的高斯球,并统一解释VQ-VAE的生成能力来源,从而揭示VAE塑造潜在几何以实现有效生成的机制。
2025-08-21 cs.LG
From Variational to Deterministic Autoencoders
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of California, Los Angeles(加州大学洛杉矶分校)
变分自编码器(VAE)为深度生成模型提供了一个有理论支持的流行框架。然而,从数据中学习VAE仍然存在未回答的理论问题和相当大的实际挑战。在这项工作中,我们提出了一个替代框架生成建模,更简单,更容易训练,和确定性,但有许多VAE的优点。我们观察到,在高斯VAE中对随机编码器进行采样可以被解释为简单地将噪声注入到确定性解码器的输入中。我们研究如何取代这种随机性,与其他显式和隐式正则化计划,可以导致一个同样光滑和有意义的潜在空间,而不强迫它符合任意选择的先验。为了检索生成机制来采样新数据,我们引入了一个事后密度估计步骤,该步骤也可以很容易地应用于现有的VAE,从而提高其样本质量。我们表明,在一个严格的实证研究中,建议正则化确定性自动编码器能够生成的样本是可比的,或更好的,VAE和更强大的替代品时,适用于图像以及结构化数据,如分子。\footnote{An implementation is available at: \url{https://github.com/ParthaEth/Regularized_autoencoders-RAE-}}
2020-05-29 cs.LG stat.ML
Sparse Shift Autoencoders for Identifying Concepts from Large Language Model Activations
Mila-Qu\'ebec AI Institute \& Universit\'e de Montr\'eal;Technical University of M\"unich;Samsung - SAIT AI Lab, Montr\'eal
本文提出稀疏位移自编码器,通过学习嵌入差异的稀疏表示,实现对大语言模型中概念的可识别性操控,从而提升模型的可解释性和可控性。
2026-02-27 cs.AI cs.CL cs.LG
Data-driven identification of nonlinear dynamical systems with LSTM autoencoders and Normalizing Flows
Michigan Technological University(密歇根理工大学)
本研究提出一种基于 LSTM 自编码器和 Normalizing Flows 的深度学习框架,用于非线性动力系统的数据驱动辨识,在 Duffing、Lorenz 及流体流动等案例中有效实现了时间特征提取与系统参数关联。
2025-03-05 cs.LG
Robust Variational Autoencoders for Outlier Detection and Repair of Mixed-Type Data
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);Google Research(谷歌研究院)
研究了混合类型表格数据中的无监督单元离群点检测与修复问题。传统的方法只关心检测数据集中哪些行是离群值。然而,识别特定行中哪些单元格被损坏是实践中的一个重要问题,也是修复它们的第一步。我们引入了鲁棒变分自编码器(RVAE),这是一种深度生成模型,可以学习干净数据的联合分布,同时识别离群细胞,允许对其进行填补(修复)。RVAE显式地学习每个单元格是离群值的概率,平衡行离群值得分中的不同似然模型,使该方法适用于混合类型数据集中的离群值检测。我们的实验表明,RVAE不仅表现得比几个国家的最先进的方法在细胞离群检测和修复表格数据,但也是强大的对初始超参数的选择。
2020-03-03 cs.LG stat.ML
PULSE: Identifying Demonstration-Utility Features with Sparse Autoencoders
PULSE提出基于稀疏自编码器的框架,通过定位模型内部与示范效用相关的特征来选择示范,在分类、生成和推理任务上超越最强基线,并验证了特征的预测性和部分跨数据集迁移性。
2026-09-29 cs.AI cs.CL cs.LG
Push it to the Limit: Discover Edge-Cases in Image Data with Autoencoders
Ludwig Maximilian University(路德维希·马克西米利安大学);Siemens AG(西门子股份公司)
在本文中,我们专注于在大型图像数据集的变化识别语义因素的问题。通过在图像数据上训练卷积自动编码器,我们创建了编码,它在比像素空间更高的抽象级别上描述每个数据点。然后,我们将主成分分析应用于编码,以解开数据中的变化因素。根据单个主成分的值对数据集进行排序,我们发现分布的高端和低端的样本通常具有特定的语义特征。我们将这些样本组称为语义组。当应用于真实世界的数据时,这种方法可以帮助发现不需要的边缘情况。
2019-10-07 cs.CV cs.LG eess.IV
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan(密歇根大学);Technicolor(特艺集团);Adobe(Adobe公司)
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是,数据是从一个低维非线性流形的联合产生的,因此聚类的方法是识别和分离这些流形。在本文中,我们提出了一种新的方法来解决这个问题,通过使用混合的自动编码器。我们的模型由两部分组成:1)一个自动编码器的集合,其中每个自动编码器学习一组相似对象的底层流形,以及2)混合分配神经网络,它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分,我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Unsupervised Time-Series Signal Analysis with Autoencoders and Vision Transformers: A Review of Architectures and Applications
The University of Akron(阿克伦大学)
本文综述了自编码器与视觉Transformer在无监督时间序列信号分析中的架构、应用及趋势,指出混合架构与自监督学习的优势,并总结可解释性、可扩展性和领域泛化等挑战,为信号智能模型发展提供路线图。
2025-06-02 cs.AI cs.CV cs.LG
On the latent dimension of deep autoencoders for reduced order modeling of PDEs parametrized by random fields
Politecnico di Milano(米兰理工大学)
针对随机场参数化PDEs的降阶建模,本文扩展了深度学习降阶模型的理论分析,推导出显式误差界限以指导深度自编码器潜维度的选择,并通过数值实验验证了其对模型性能的显著影响。
2023-10-18 cs.LG cs.NA math.NA
Anomaly Detection for Aggregated Data Using Multi-Graph Autoencoder
在数据系统中,活动或事件在现场不断收集,以跟踪其正确执行。日志记录,即记录事件序列,可用于分析系统故障和失灵,并确定这些问题的原因和位置。在我们的研究中,我们专注于建立一个系统日志的异常检测模型。异常检测的任务是识别数据集中与正常行为不同的意外事件。异常检测模型还有助于数据系统分析任务。现代系统可能会产生如此大量的事件,监视每个单独的事件是不可行的。在这种情况下,事件通常在固定的时间段内汇总,报告每个事件在该时间段内发生的次数。这种聚合有助于扩展,但需要不同的异常检测方法。在这项研究中,我们提出了一个全面的分析的聚合数据和聚合事件之间的关系。基于我们的研究的初始阶段,我们提出了我们的聚合数据集的图形表示,它表示在同一上下文中聚合实例之间的不同关系。使用图表示,我们提出了多图自动编码器MGAE,这是一种新的卷积图自动编码器模型,它利用了我们独特数据集中聚合实例的关系。MGAE优于标准图形自动编码器模型和不同的实验。与标准图形自动编码器相比,我们的新型MGAE的重建误差降低了60%,这是在重建高度关系中表示的。
2021-06-27 cs.LG cs.SI
Differentially Private Synthetic Data Generation via Lipschitz-Regularised Variational Autoencoders
Freie Universität Berlin(柏林自由大学)
针对差分隐私生成模型噪声大、效用低且隐私预算限制训练轮数的问题,本文提出约束变分自编码器等深度模型的连续模以利用固有随机性,并给出严格隐私保证与实验验证。
2023-07-13 cs.LG
Generative Probabilistic Novelty Detection with Adversarial Autoencoders
West Virginia University(西弗吉尼亚大学)
新颖性检测是识别新数据点是否被认为是内点或离群点的问题。我们假设训练数据仅可用于描述内点分布。最近的方法主要利用深度编码器-解码器网络架构来计算重建误差,该重建误差用于计算新颖性分数或训练单类分类器。虽然我们也利用了这种新型网络,但我们采用了概率方法,并有效地计算了样本由内点分布生成的可能性。我们通过两个主要贡献来实现这一目标。首先,我们使计算的新颖性概率可行,因为我们线性化的参数化流形捕捉底层结构的内点分布,并显示如何分解的概率,可以计算相对于局部坐标的流形切空间。其次,我们改进了自编码器网络的训练。一组广泛的结果表明,该方法在几个基准数据集上实现了最先进的结果。
2018-11-10 cs.CV cs.LG
Denoising Autoencoders for Overgeneralization in Neural Networks
The Biorobotics Institute(生物机器人研究所);Scuola Superiore Sant’Anna(圣安娜高等学校)
尽管最近的发展使神经网络在各种应用中取得了令人印象深刻的性能,但这些模型本质上受到过度泛化问题的影响,因为它们将整个输入空间划分为训练期间使用的固定目标类集。因此,属于训练期间未知类别或甚至完全无法识别的类别的新输入有可能欺骗系统将其分类为已知类别之一,即使具有高度的置信度。解决这个问题可能有助于提高此类系统在关键应用中的安全性,并可能进一步导致开集识别和1类识别上下文中的应用。本文提出了一种新的方法来计算置信度得分使用去噪自动编码器,并表明,这样的置信度得分可以正确地识别输入空间的区域接近训练分布,通过近似识别其局部最大值。
2019-01-14 cs.AI cs.CV cs.LG
Fractal Autoencoders for Feature Selection
University of Kentucky(肯塔基大学)
特征选择通过识别信息量最大的特征的子集来降低数据的维度。在本文中,我们提出了一个创新的框架,无监督的特征选择,称为分形自动编码器(FAE)。它训练一个神经网络来精确定位信息特征,用于全局可表示性的探索和局部多样性的挖掘。在架构上,FAE通过添加一对一评分层和一个小型子神经网络以无监督方式进行特征选择来扩展自动编码器。有了这样一个简洁的架构,FAE实现国家的最先进的性能,广泛的实验结果,14个数据集,包括非常高维的数据,已经证明了FAE的优越性比现有的当代方法的无监督特征选择。特别是,FAE在基因表达数据探索方面表现出实质性的优势,与广泛使用的L1000界标基因相比,减少了约$15$ \%的测量成本。此外,我们表明,FAE框架是很容易扩展的应用程序。
2022-01-04 cs.LG
Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders
发现视觉-语言模型中同一概念在不同模态下的特征方向不一致(跨模态特征异质性),并提出训练模态特定稀疏自编码器后对齐对应特征的方法,提升重建保真度和跨模态检索与概念引导性能。
2026-06-29 cs.CV cs.LG
Smart Metering System Capable of Anomaly Detection by Bi-directional LSTM Autoencoder
异常检测涉及广泛的应用,例如故障检测、系统监控和事件检测。从智能计量系统获得的计量数据中识别异常是提高电力系统可靠性、稳定性和效率的关键任务。本文提出了一种异常检测过程中发现异常值观察到的智能计量系统。在所提出的方法中,双向长短期记忆(BiLSTM)的自动编码器的使用和发现的异常数据点。该方法利用非异常数据通过自编码器计算重建误差,通过预先设定的阈值将异常数据与非异常数据分离。利用985户居民的电/水/暖/热水4种能源的计量数据,对基于BiLSTM自动编码器的异常检测方法进行了测试。
2021-12-06 cs.LG cs.SY eess.SY
Theoretically informed selection of latent activation in autoencoder based recommender systems
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本文通过理论分析确定自编码器编码器应具备的三个数学性质,证明ReLU和tanh无法同时满足,而sigmoid类激活函数更合适,为推荐系统超参数选择提供系统化方法。
2024-11-06 cs.LG
Enhancing anomaly detection with topology-aware autoencoders
Durham University(杜伦大学);University of Warsaw(华沙大学)
提出将自编码器潜在空间设计为反映能量-动量守恒的球面、乘积和射影流形,并在强子顶夸克衰变模拟中证明其可提升异常事件检测的灵敏度与鲁棒性。
2025-02-14 cs.LG hep-ex hep-ph
Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction
Beijing Jiaotong University(北京交通大学)
由于当今IT监控系统的维度和复杂性的增加,在没有人工监督的情况下检测多变量时间序列的异常仍然是一个具有挑战性的问题。无监督时间序列异常检测的最新进展主要使用深度自编码器来解决这个问题,即在正常样本上进行训练,并在异常输入上产生显著的重建误差。然而,在实践中,由于神经网络的强大功能,自编码器可以很好地重建异常。此外,这些方法对于识别非点异常(例如,上下文异常和集体异常)可能是无效的,因为它们仅利用逐点重建目标。为了解决上述问题,我们提出了MemAAE(\textit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}),一种新的无监督的时间序列异常检测方法。通过联合训练两个互补的代理任务,重建和预测,与共享的网络架构,我们表明,通过多个任务检测异常获得优越的性能,而不是单任务训练。此外,引入压缩记忆模块来保存正常模式,避免对异常输入的意外泛化。通过广泛的实验,MemAAE在四个公共数据集上的总体F1得分为0.90,显著优于最佳基线0.02。
2021-10-15 cs.LG
Mixture Representation Learning with Coupled Autoencoders
Allen Institute(艾伦研究所)
在没有监督的情况下,联合识别离散和连续可变因素的混合物是解开复杂现象的关键问题。变分推理已经成为一种很有前途的方法来学习可解释的混合表示。然而,在高维潜在空间,特别是离散因素的后验近似仍然具有挑战性。在这里,我们提出了一个无监督的变分框架,使用多个相互作用的网络称为cpl-mixVAE,可以很好地扩展到高维离散设置。在这个框架中,每个网络的混合表示通过对离散因子施加共识约束来正则化。我们证明使用这个框架提供理论和实验结果。最后,我们使用所提出的方法来共同揭示离散和连续的变异因素,描述基因表达的单细胞转录组数据集分析超过一百种皮层神经元类型。
2021-04-13 cs.LG stat.ML
Deep Convolutional Autoencoder for Assessment of Drive-Cycle Anomalies in Connected Vehicle Sensor Data
Michigan Technological University(密歇根理工大学);New York University School of Medicine(纽约大学医学院);Ford Motor Company(福特汽车公司)
提出一种全卷积自编码器,通过重建混合动力车动力总成多元传感器时序数据来无监督检测驾驶循环异常,实验证明其优于传统异常检测器和其他深度学习方法。
2024-09-09 cs.LG cs.NE
FMM-Head: Enhancing Autoencoder-based ECG anomaly detection with prior knowledge
KTH Royal Institute of Technology(KTH皇家理工学院);Karolinska Institutet(卡罗林斯卡学院)
针对现有自动编码器心电图异常检测模型未考虑导联模式、不可解释的问题,提出基于心电图形态先验的FMM-Head重建头替换解码器,在AUROC最高提升0.31、模型减半的同时实现可解释与实时处理。
2023-10-06 cs.AI cs.LG eess.SP
Identifying ODEs from Unstructured Data with Causal Representation Learning
University of Pisa(比萨大学);Saarland University(萨尔兰大学);University of Amsterdam(阿姆斯特丹大学)
本文提出SPEED-AE框架,结合因果表示学习与自编码器,从图像等非结构化数据中恢复稀疏多项式ODE,在多个动力系统上提升解缠性与预测精度。
2026-09-30 cs.AI cs.LG stat.ML
A Novel Framework for Learning Stochastic Representations for Sequence Generation and Recognition
Okinawa Institute of Science and Technology (OIST)(冲绳科学技术大学院大学);Samsung Research(三星研究中心);Geobotica(吉奥博蒂卡)
本文提出带参数偏置的随机循环神经网络(RNNPB),通过重参数化技巧在潜在空间引入随机性以学习序列的概率表示,实验表明其在运动序列生成与识别上优于确定性模型,并增强了不确定度量化和泛化能力。
2024-12-30 cs.AI cs.LG cs.RO
Sparse Autoencoders Make Audio Foundation Models more Explainable
LIUM, Le Mans Université(利姆大学LIUM);VivoLab, I3A, University of Zaragoza(瓦沃拉实验室、I3A、萨拉戈萨大学)
本研究利用稀疏自编码器分析音频预训练模型的隐藏表示,揭示其在歌唱技巧分类中的可解释性提升及对自监督学习系统的作用。
2025-12-17 cs.AI cs.LG cs.SD
Estimating a Brain Network Predictive of Stress and Genotype with Supervised Autoencoders
Pillar Biosciences Inc.(皮拉尔生物科学公司);Duke University(杜克大学)
有针对性地刺激大脑有可能治疗精神疾病。我们提出了一种方法,以帮助设计的刺激协议,通过识别与疾病状态相关的许多大脑区域的电动力学。我们将多区域电活动建模为潜在网络活动的叠加,其中潜在网络上的权重与感兴趣的结果相关。为了改善这种情况下潜在因素建模的缺点,我们专注于监督自动编码器(SAE),它可以在保持生成模型的同时提高预测性能。我们解释了为什么SAE产生改进的预测,描述了分布假设下,SAE是一个适当的建模选择,并提供建模约束,以确保学习网络的生物相关性。我们使用的分析策略,以找到一个网络与压力的特点与双相情感障碍相关的基因型。这个发现的网络与以前使用的刺激技术相一致,为我们的方法提供了实验验证。
2023-03-07 cs.LG q-bio.NC stat.ML
Synthetic generation of 2D data records based on Autoencoders
Royal Military Academy (RMA)(皇家军事学院)
本文提出基于自编码器的深度学习方法,用于合成生成GC-IMS二维光谱数据,以解决标记数据稀缺问题,实验表明添加合成数据显著提升分类性能。
2025-02-18 cs.LG eess.IV
Harnessing Feature Clustering For Enhanced Anomaly Detection With Variational Autoencoder And Dynamic Threshold
University of Maryland Baltimore County(马里兰大学巴尔的摩分校);Geophysical Fluid Dynamics Laboratory(地球流体动力学实验室)
本研究针对北极融雪等极端气候事件的多变量时序异常检测需求,提出融合特征聚类、变分自编码器与动态阈值的检测框架,提升了检测性能与可解释性。
2024-07-14 cs.IR cs.LG
Which Sparse Autoencoder Features Are Real? Model-X Knockoffs for False Discovery Rate Control
Mongol AI(蒙古AI)
针对稀疏自编码器特征难辨真伪的问题,本文引入Model-X knockoffs方法控制FDR,在Pythia-70M情感分类任务中实现了具备有限样本保证的可靠特征筛选,为机制可解释性研究提供了规范框架。
2025-11-12 cs.LG
Identifying and Disentangling Spurious Features in Pretrained Image Representations
YerevaNN(YerevaNN研究所);Yerevan State University(埃里温国立大学);University of Southern California(南加州大学);Meta AI Research(Meta人工智能研究院)
本研究针对预训练表示中虚假特征纠缠导致分类性能下降的问题,提出线性自编码器分离核心、虚假及其他特征,并设计两种去除方法,显著提升最差组准确率。
2023-06-22 cs.CV cs.LG
Learning Representations of Event Time Series with Sparse Autoencoders for Anomaly Detection, Similarity Search, and Unsupervised Classification
Stanford University;Center for Astrophysics | Harvard \& Smithsonian
针对事件时间序列不规则、非结构化导致难以提取模式的挑战,提出二维和三维张量表示结合稀疏自编码器学习潜在嵌入,支持异常检测、相似性检索、语义聚类和无监督分类等下游任务,并在X射线天文数据上验证了其有效性与通用性。
2025-10-11 astro-ph.HE astro-ph.IM cs.AI
A Deep Autoencoder System for Differentiation of Cancer Types Based on DNA Methylation State
Imperial College London(帝国理工学院)
提出了一种基于深度自动编码器的内容检索算法,用于基于在称为CpG岛的遗传区域中鉴定的DNA甲基化的表观遗传模式的存在来预测和区分癌症类型。开发的深度学习系统使用CpG岛状态分类子系统来完成给定人类细胞系中缺失/不完整的岛数据集,然后通过一组复杂的统计和信号处理方法进行流水线处理,以准确预测癌症的存在,并在阳性结果的情况下进一步区分类型和起源细胞。所提出的系统与以前报道的数据来自四个病例组的癌细胞系,实现总体灵敏度为88.24%,特异性为83.33%,准确度为84.75%和马修斯相关系数为0.687。使用表观遗传事件作为识别模式来预测和区分癌症类型的能力在先前报道的来自乳腺癌、肺癌、淋巴母细胞白血病和泌尿系统癌细胞系的数据集中得到了证明,这使得流水线系统对于其他癌细胞系或表观遗传事件是鲁棒的和可调节的。
2018-10-05 cs.LG q-bio.QM stat.ML
WaSA: Wavelet Scattering Autoencoders for Unsupervised Offline Detection of Malicious Clients in Federated Learning
Politecnico di Torino(都灵理工大学);National Institute of Nuclear Physics (INFN)(国家核物理研究所)
本研究针对联邦学习中恶意客户端检测的痛点,提出WaSA无监督离线框架,结合小波散射自编码器与玻尔兹曼采样策略,在多数据集多攻击场景下实现了优于基线的检测性能。
2026-10-12 cs.LG
Towards Interpretable and Inference-Optimal COT Reasoning with Sparse Autoencoder-Guided Generation
University of California, San Diego(加州大学圣地亚哥分校)
本研究提出用稀疏自编码器和聚类技术分析大语言模型内部token表示,构建推理轨迹图并定义奖励函数平衡利用与探索,以引导数学推理任务生成,提升大模型推理的可解释性与效果。
2025-10-02 cs.AI cs.LG
Understanding the role of autoencoders for stiff dynamical systems using information theory
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Ansys Software Pvt. Ltd.(安sys软件私人有限公司)
本文利用信息论分析自编码器在刚性动力系统中的潜空间构建机制,揭示其通过非线性投影将物理空间稀有事件转化为潜空间高概率事件,从而降低时间刚性并识别慢不变流形。
2025-03-08 cs.LG physics.comp-ph
DeStress: Deep Learning for Unsupervised Identification of Mental Stress in Firefighters from Heart-rate Variability (HRV) Data
IBM Research – Zurich(IBM苏黎世研究院);IBM Denmark(IBM丹麦)
在这项工作中,我们进行了各种无监督的方法来识别消防队员学员的精神压力的基础上未标记的心率变异性数据的研究。我们收集RR间隔时间序列数据,从近100名消防学员参加了演习。我们探索并比较了三种方法,以执行无监督的压力检测:1)具有工程时域和频域特征的传统K-Means聚类2)卷积自动编码器和3)长短期记忆(LSTM)自动编码器,两者都是在原始RRI测量值上进行训练,并结合DBSCAN聚类和K-最近邻分类。我们证明了K-Means与工程特征相结合无法捕获数据中有意义的结构。另一方面,卷积和LSTM自动编码器倾向于从指向具有不同大小的聚类的不同聚类的数据中提取不同的结构。我们试图确定真正的压力和正常集群使用的HRV标记的精神压力的文献报道。我们证明了卷积自动编码器产生的聚类一致且成功地对压力与正常样本进行了分层,正如几个已建立的生理压力标记(如RMSSD,Max-HR,Mean-HR和LF-HF比率)所验证的那样。
2019-11-18 cs.LG eess.SP stat.ML
Contrastive Variational Autoencoder Enhances Salient Features
Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系);Department of Biomedical Data Science, Stanford University(斯坦福大学生物医学数据科学系);Stanford University(斯坦福大学)
变分自编码器是用于识别单个数据集中的主导潜在结构的强大算法。然而,在许多应用中,我们感兴趣的是对与某些背景相比在目标数据集中富集的潜在结构和变化进行建模-例如,与一般人群相比在患者中富集。对比学习是捕获目标和背景之间的这种丰富变化的原则框架,但是最先进的对比方法限于线性模型。在本文中,我们介绍了对比变分自编码器(cVAE),它结合了对比学习的优势和深度生成模型的强大功能。cVAE旨在识别和增强显著的潜在特征。cVAE在两个相关但未配对的数据集上进行训练,其中一个数据集对显着潜在特征的贡献最小。cVAE明确地对数据集之间共享的潜在特征以及相对于另一个数据集在一个数据集中富集的那些特征进行建模,这允许算法隔离和增强显著的潜在特征。该算法易于实现,运行时间与标准VAE相似,并且对噪声和数据集纯度具有鲁棒性。我们在不同类型的数据中进行实验,包括基因表达和面部图像,表明cVAE有效地揭示了在特定分析中显着的潜在结构。
2019-02-12 cs.LG stat.ML
LAC : LSTM AUTOENCODER with Community for Insider Threat Detection
National Institute of Science Education and Research(国家科学教育与研究所);Homi Bhaba National Institute(霍米·巴巴国家研究所)
任何组织、机构或行业的雇员都在计算机网络上花费大量时间,在那里他们在一段时间内以网络事务的形式开发他们自己的活动例程。内部威胁检测涉及识别可能以数据泄漏和秘密共享的形式对组织造成损害的例程或异常中的偏差。如果不是自动化的,这个过程涉及到建模人类行为的特征工程,这是一个繁琐而耗时的任务。人类行为中的异常被转发给人类分析师以进行最终的威胁分类。我们使用LSTM AUTOENCODER开发了一个无监督的深度神经网络模型,该模型可以学习模仿单个员工的行为,这些行为来自他们每天的时间戳活动序列。它通过异常例程的重大损失来预测威胁场景。社区中的员工倾向于将他们的日常工作与其他员工保持一致,而不是与社区外的员工保持一致,这促使我们探索AUTOENCODER的变体,LSTM AUTOENCODER-在社区(LAC)中的活动交错序列上进行培训。我们在CERT v6.2数据集上评估了该模型,并对4000名员工的正常和异常日常损失进行了分析。我们的论文的目的是检测异常的员工,以及探索周围的员工是如何影响员工的日常工作随着时间的推移。
2020-08-13 cs.CR cs.IR cs.LG
Interpretable Embeddings From Molecular Simulations Using Gaussian Mixture Variational Autoencoders
Max Planck Institute for Polymer Research(马克斯·普朗克聚合物研究所);Koc University(科奇大学)
从分子模拟产生的大量数据中提取洞察力需要识别少量的集体变量,其相应的低维自由能景观保留了底层系统的基本特征。数据驱动技术提供了一个系统的路线来构建这一景观,而不需要对相关驱动力进行广泛的先验直觉。特别是,自动编码器是降维的强大工具,因为它们自然会造成信息瓶颈,从而实现基本特征的低维嵌入。虽然变分自编码器通过假设单峰高斯先验来确保嵌入的连续性,但这与通常由有意义的集体变量的识别产生的多流域自由能景观不一致。在这项工作中,我们采用高斯混合变分自动编码器(GMVAE),鼓励嵌入内的亚稳态的分离,将这种物理直觉到先验。GMVAE在一个统一的框架内执行降维和聚类,并且能够根据对数据进行分类所需的高斯数来识别输入数据的固有维度。我们说明了我们的方法上的两个玩具模型,丙氨酸二肽,和一个具有挑战性的无序肽系综,证明了增强的聚类效果的GMVAE之前相比,标准的VAE。由此产生的嵌入似乎是有前途的表示,用于构建马尔可夫状态模型,突出的可转移性的降维从静力平衡性能的动态。
2019-12-22 cs.LG physics.chem-ph stat.ML
ODBAE: a high-performance model identifying complex phenotypes in high-dimensional biological datasets
School of Mathematical Sciences, Soochow University(苏州大学数学科学学院);Center for Systems Biology, Soochow University(苏州大学系统生物学研究中心);Jiangsu Province Engineering Research Center of Development and Translation of Key Technologies for Chronic Disease Prevention and Control, Suzhou Vocational Health College(苏州卫生职业技术学院江苏省慢性疾病防控关键技术开发与转化工程研究中心);Cambridge-Suda Genomic Research Center, Suzhou medical college of Soochow University(苏州大学医学部剑桥-苏大基因组资源中心);KTL Research Acceleration LTD(KTL研究加速有限公司);Jiangsu Key Laboratory of Neuropsychiatric Diseases, Suzhou medical college of Soochow University(苏州大学医学部江苏省神经精神疾病重点实验室)
本文提出ODBAE模型,通过平衡自编码器捕捉多生理参数的潜在关系,有效识别高维生物数据中传统方法难以发现的复杂联合异常表型,并在小鼠数据中揭示了新的代谢相关基因。
2024-10-23 cs.LG stat.ML
Autoencoder-based Anomaly Detection in Streaming Data with Incremental Learning and Concept Drift Adaptation
KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
本文提出基于自编码器的增量学习与漂移检测方法strAEm++DD,用于流式数据异常检测,在严重类别不平衡下显著优于现有方法。
2023-09-05 cs.LG cs.SY eess.SY
Identifying and Categorizing Anomalies in Retinal Imaging Data
Medical University of Vienna(维也纳医科大学)
医学图像中标记物的识别和定量对于临床实践中的诊断、预后和患者的管理至关重要。监督或弱监督训练能够检测先验已知的发现。它不能很好地扩展,并且先验定义将标记物的词汇限制在已知的实体上,降低了诊断和预后的准确性。在这里,我们提出了在大规模的医学成像数据的异常识别健康的例子作为参考。我们检测和分类候选人的异常结果不典型的观察数据。在健康的视网膜图像上训练深度卷积自动编码器。学习模型生成一个新的特征表示,和健康的视网膜斑块的分布估计由一类支持向量机。结果表明,我们可以识别图像中的病理区域,而无需使用专家注释。随后的聚类将结果分类为具有临床意义的类别。此外,学习的特征在分类任务中优于标准嵌入方法。
2016-12-02 cs.CV cs.LG
Multivariate Feature Selection and Autoencoder Embeddings of Ovarian Cancer Clinical and Genetic Data
Universidad Rey Juan Carlos(胡安卡洛斯国王大学);Hospital HM Sanchinarro(HM Sanchinarro医院);Fundación Investigación HM Hospitales(HM医院研究基金会)
本研究结合自编码器与信息变量标识符(IVI)方法,分析卵巢癌临床与基因数据,发现手术类型、新辅助化疗及特定基因突变与疾病进展高度相关,为患者分层和个性化治疗提供了新生物标志物潜力。
2025-01-27 cs.LG
Feature Selection for Imbalanced Data with Deep Sparse Autoencoders Ensemble
Politecnico di Milano(米兰理工大学);Human Technopole(人类技术学院);Bicocca University(比可卡大学);University of Cambridge(剑桥大学)
类不平衡是学习算法在许多领域应用中普遍存在的问题。通常,在相同的领域中,正确分类和描述少数类观测值更为相关。这种需求可以通过特征选择(FS)来解决,其提供了几个进一步的优点,例如:降低计算成本,帮助推断和解释。然而,传统的FS技术可能会成为次优的存在强烈不平衡的数据。为了实现FS的优势,在这种情况下,我们提出了一个过滤FS算法排名功能的重要性的基础上重建误差的深度稀疏AutoEncoders Encoders(DSAEE)。我们使用仅在多数类上训练的每个DSAE来重建两个类。从聚合的重建误差的分析,我们确定的功能,其中少数类呈现不同的分布值w.r.t.过度代表的一个,从而确定最相关的特征来区分两者。我们在不同样本量的高维数据集上进行了几次实验,实证证明了我们的算法的有效性,展示了它选择相关和可概括的特征来描述和分类少数类的能力,优于其他基准FS方法。我们还简要介绍了一个真正的应用在放射基因组学,该方法被成功地应用。
2021-03-22 cs.LG stat.ML
q-Space Novelty Detection with Variational Autoencoders
Sapienza University of Rome(罗马第一大学);Cardiff University(卡迪夫大学);Technical University of Munich(慕尼黑工业大学)
在机器学习中,新颖性检测是识别新的未知数据的任务。在训练过程中,只有正常类的样本可用。通过分配新颖性分数将测试样品分类为正常或异常。在这里,我们提出了基于正常数据训练变分自编码器(VAE)的新颖性检测方法。由于在训练过程中不使用异常样本,我们定义的基础上(部分互补)的假设,即VAE是不太能够重建异常样本以及异常样本更强烈地违反VAE正则化;和异常样本不同于正常样本不仅在输入特征空间,而且在VAE潜在空间和VAE输出的新颖性度量。这些方法,结合使用(例如采样)的概率VAE,以获得标量新颖性分数的各种可能性,产生一个大家庭的方法。我们将这些方法应用于磁共振成像,即检测多发性硬化症患者的扩散MRI扫描中的扩散空间(q空间)异常,即检测多发性硬化症病变而不使用任何病变标签进行训练。我们的许多方法优于以前提出的q空间新奇检测方法。我们还评估了MNIST手写数字数据集上提出的方法,并表明它们中的许多都能够超越最先进的。
2018-10-25 cs.AI cs.CV cs.LG
Sparse Koopman Autoencoders Identify Local Dynamical Regimes in Multibasin Systems
Chandar Research Lab(钱达尔研究实验室);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Pennsylvania(宾夕法尼亚大学);NVIDIA(英伟达);Polytechnique Montréal(蒙特利尔理工学院)
该研究提出稀疏Koopman自编码器(SKAEs),无需标签即可识别多盆系统的局部动力学 regime,其预测性能优于密隐KAEs,且隐支撑可有效识别吸引盆。
2026-11-04 cs.LG math.DS
Predicted-occupancy grids for vehicle safety applications based on autoencoders and the Random Forest algorithm
RMIT University(皇家墨尔本理工大学)
本文提出基于自编码器和随机森林算法的预测占用网格方法,用于复杂交通场景中的车辆安全应用,通过降维和分类提高预测准确性。
2025-12-15 cs.LG
TSAE: Structured Sparse Autoencoders for Interpreting Time-Series Forecasting Models
TSAE提出结构化稀疏自编码器,通过共享/私有字典、门控编码和时间连续性约束分解时间序列预测模型的隐藏状态,并配合TSEVAL协议审计,在三个数据集上以更低重建误差和NFRE实现可解释特征。
2026-10-06 cs.AI cs.LG
Implicit supervision for fault detection and segmentation of emerging fault types with Deep Variational Autoencoders
ETH Zurich(苏黎世联邦理工学院)
安全关键系统的数据驱动故障诊断通常面临完全缺乏与故障系统状况相关联的标记数据的挑战(即,故障类型)。由于在部署过程中可能出现未知数量和性质的故障类型,因此这种情况下的数据驱动故障诊断是一个开集学习问题。开集诊断的大多数算法是一类分类和无监督算法,其不利用学习算法中所有可用的标记和未标记数据。因此,它们的故障检测和分段性能(即,识别和分离不同类型的故障)是次优的。有了这项工作,我们提出了一个变分自编码器(VAE)与标记和未标记的样本,同时诱导隐含的监督健康状况的潜在代表。这一点,连同修改后的采样过程中的VAE,创建一个紧凑的和信息丰富的潜在表示,允许使用现有的一类和聚类算法,看不见的故障类型的良好的检测和分割。我们将所提出的方法称为“具有自适应采样的知识诱导的变分自编码器”(KIL-AdaVAE)。所提出的方法的故障检测和分割能力证明了在一个新的模拟案例研究,使用先进的齿轮传动涡扇30000(AGTF 30)在真实的飞行条件下的动力学模型。在广泛的比较中,我们证明了所提出的方法优于其他学习策略(监督学习,嵌入式监督学习和半监督学习)和深度学习算法,在故障检测和故障分割方面产生了显着的性能改进。
2020-09-29 cs.LG stat.ML
Identifying Latent Stochastic Differential Equations
Duke University(杜克大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出了一种从高维时间序列数据中学习潜随机微分方程的方法。给定一个高维时间序列,从一个低维的潜在的未知伊藤过程中产生的,所提出的方法学习从环境到潜在的空间的映射,和潜在的时间序列系数,通过自监督学习方法。使用变分自编码器的框架,我们考虑了一个条件生成模型的数据的基础上的Euler-Maruyama近似的Euler-Maruyama解决方案。此外,我们使用最近的结果的可识别性的潜变量模型表明,所提出的模型不仅可以恢复潜在的隐变量系数,但也可以恢复原始的潜变量,直到一个等距,在无限的数据的限制。我们通过几个模拟的视频处理任务,其中底层的视频是已知的,并通过真实世界的数据集验证该方法。
2021-11-26 cs.LG stat.ML
SincVAE: A new semi-supervised approach to improve anomaly detection on EEG data using SincNet and variational autoencoder
Department of Electrical Engineering and Information Technology, University of Naples Federico II, Naples, Italy(电气工程与信息技术系,那不勒斯费德里科二世大学,那不勒斯,意大利)
针对癫痫脑电数据不平衡与标注困难,提出基于SincNet和变分自编码器的半监督方法SincVAE,以带通滤波层替代预处理,提升发作检测并支持发作前后监测。
2025-08-07 cs.AI cs.LG eess.SP