Lateral Connections in Denoising Autoencoders Support Supervised Learning
Aalto University（阿尔托大学）；ZenRobotics Ltd.（ZenRobotics有限公司）
我们展示了如何使用具有横向连接的深度去噪自动编码器作为辅助无监督学习任务来支持监督学习。该模型通过反向传播训练，同时最小化监督和无监督成本函数的总和，避免了分层预训练的需要。它在置换不变MNIST分类任务中显着提高了最先进的水平。
2015-04-30 cs.LG cs.NE stat.ML
Graph Autoencoder-Based Unsupervised Feature Selection with Broad and Local Data Structure Preservation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
特征选择是一种降维技术，通过消除不相关和冗余的特征，从高维数据中选择代表性特征的子集。近年来，结合稀疏学习的特征选择方法因其相对于传统的忽略特征间相关性的特征选择方法的优异性能而受到广泛关注。这些工作首先将数据映射到一个低维子空间，然后通过对变换矩阵施加稀疏约束来选择特征。然而，它们被设计限制为线性数据变换，这是一个潜在的缺点，因为数据的底层相关结构通常是非线性的。为了利用更复杂的嵌入，我们提出了一种基于自动编码器的无监督特征选择方法，该方法利用单层自动编码器来实现特征选择和流形学习的联合框架。更具体地说，我们在连接输入层和隐藏层的权重矩阵上强制执行列稀疏性，就像以前的工作一样。此外，我们将投影数据的谱图分析纳入学习过程，以实现从原始数据空间到低维特征空间的局部数据几何保持。对图像、音频、文本和生物数据进行了广泛的实验。实验结果验证了该方法的优越性。
2018-04-21 cs.CV cs.LG stat.ML
PhyloVAE: Unsupervised Learning of Phylogenetic Trees via Variational Autoencoders
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；Computational Biology Program, Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心计算生物学项目）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本文提出无监督框架PhyloVAE，结合自回归编码与潜变量生成模型，实现系统发育树拓扑的高分辨率表示学习和快速生成。
2025-02-07 cs.LG q-bio.PE stat.ML
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology（KTH皇家理工学院）；School of Computer Science（计算机科学学院）
我们提出了一种半监督学习方法的应用，以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反，我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见，基于帧的音素分类的TIMIT数据库。我们的实验表明，该方法优于标准的监督训练等量的标记数据，并提供有竞争力的错误率相比，最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
Unsupervised Feature Selection for Tumor Profiles using Autoencoders and Kernel Methods
Universite de Technologie de Troyes（特鲁瓦技术大学）；Instituto de Investigacion en Biomedicina de Buenos Aires (IBioBA)—CONICET Partner Institute of the Max Planck Society（布宜诺斯艾利斯生物医学研究所（IBioBA）—马克斯·普朗克学会合作研究所）
来自肿瘤谱的分子数据是高维的。肿瘤谱可以通过成千上万的基因表达特征来表征。由于基因表达特征集的大小，机器学习方法暴露于噪声变量和复杂性。肿瘤类型呈现异质性，并且可以细分为肿瘤亚型。在许多情况下，肿瘤数据不包括肿瘤亚型标记，因此无监督学习方法对于肿瘤亚型发现是必要的。这项工作旨在学习肿瘤样本的有意义和低维表示，并在不使用肿瘤标签的情况下保留生物特征的同时找到肿瘤亚型聚类。所提出的方法命名为潜在核特征选择（LKFS）是一种无监督的方法，在肿瘤基因表达谱的基因选择。通过使用自动编码器，低维和去噪的潜在空间被学习为目标表示，以指导选择基因子集的多核学习模型。通过使用所选择的基因，聚类方法被用于对样本进行分组。为了评估所提出的无监督特征选择方法的性能，通过临床意义来分析所获得的特征和聚类。所提出的方法已被应用于三个肿瘤数据集，这是脑，肾和肺，每一个由两个肿瘤亚型组成。与基准无监督特征选择方法相比，该方法所得到的结果表明，在所选择的功能和更好的聚类性能较低的冗余。
2020-07-12 cs.LG q-bio.GN q-bio.QM
Fractal Autoencoders for Feature Selection
University of Kentucky（肯塔基大学）
特征选择通过识别信息量最大的特征的子集来降低数据的维度。在本文中，我们提出了一个创新的框架，无监督的特征选择，称为分形自动编码器（FAE）。它训练一个神经网络来精确定位信息特征，用于全局可表示性的探索和局部多样性的挖掘。在架构上，FAE通过添加一对一评分层和一个小型子神经网络以无监督方式进行特征选择来扩展自动编码器。有了这样一个简洁的架构，FAE实现国家的最先进的性能，广泛的实验结果，14个数据集，包括非常高维的数据，已经证明了FAE的优越性比现有的当代方法的无监督特征选择。特别是，FAE在基因表达数据探索方面表现出实质性的优势，与广泛使用的L1000界标基因相比，减少了约$15$ \%的测量成本。此外，我们表明，FAE框架是很容易扩展的应用程序。
2022-01-04 cs.LG
Semi-Supervised Learning of Bearing Anomaly Detection via Deep Variational Autoencoders
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
迄今为止，大多数应用于轴承故障诊断的数据驱动方法都是建立在监督学习范式下的，这通常需要收集大量的先验标记数据。然而，在实际应用中，基于实时轴承条件获得准确的标签可能比简单地使用各种传感器收集大量未标记的数据更具挑战性。因此，在本文中，我们提出了一种使用基于变分自编码器（VAE）的深度生成模型进行轴承异常检测的半监督学习方法，该方法允许在只有一小部分数据具有标签时有效利用数据集。最后，使用凯斯西储大学（CWRU）轴承数据集和辛辛那提大学智能维护系统中心（IMS）数据集进行了一系列实验。实验结果表明，在不同的标记样本比例下，该方法的分类精度提高了3%~ 30%，大大优于两种主流的半监督学习方法和一种基线监督卷积神经网络方法.
2019-12-09 cs.LG eess.SP stat.ML
Unsupervised Feature Selection to Identify Important ICD-10 Codes for Machine Learning: A Case Study on a Coronary Artery Disease Patient Cohort
University of Calgary（卡尔加里大学）；Kyung Hee University（庆熙大学）
针对冠状动脉疾病患者 ICD 编码高维问题，比较五种无监督特征选择方法，发现带 ICD 树权重调整的 Concrete Autoencoders 在特征重建和 90 天死亡率预测上表现最佳，并降低特征复杂度。
2023-03-25 cs.AI cs.LG
Unsupervised Boosting-based Autoencoder Ensembles for Outlier Detection
George Mason University（乔治梅森大学）；Sapienza University of Rome（罗马第一大学）；University of L’Aquila（拉奎拉大学）
自编码器作为一种降维技术，近年来已被应用于离群点检测。然而，已知神经网络易受过拟合的影响，因此在无监督离群值检测设置中具有有限的潜力。目前基于集成的自动编码器的方法不能产生足够的多样性来避免过拟合问题。为了克服上述限制，我们开发了一种基于Boosting的自动编码器Encoder方法（简称BAE）。BAE是一种无监督的集成方法，与boosting方法类似，它构建了自适应级联的自动编码器，以实现改进和鲁棒的结果。BAE通过对数据进行加权采样来依次训练自动编码器组件，旨在减少训练期间使用的离群值数量，并在集合中注入多样性。我们进行了广泛的实验，并表明所提出的方法优于国家的最先进的方法在各种条件下。
2019-10-22 cs.LG stat.ML
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Data Augmentation by AutoEncoders for Unsupervised Anomaly Detection
本文提出了一种自动编码器（AE），用于提高一次类分类器的性能，以检测异常。传统的一类分类器（OCC）在高维和稀疏等特定条件下表现不佳。此外，训练集的大小对单类分类器的性能起着重要的作用。自编码器已被广泛用于从高维数据集获取有用的潜在变量。在所提出的方法中，AE能够从高维数据集中获得有意义的特征，同时进行数据增强。增广的数据用于训练OCC算法。实验结果表明，该方法提高了OCC算法的性能，也优于其他知名的方法。
2019-12-21 cs.LG stat.ML
Bayesian Variational Autoencoders for Unsupervised Out-of-Distribution Detection
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Microsoft Research（微软研究院）
尽管它们取得了成功，但当面对来自与训练数据不同的分布的测试数据时，深度神经网络可能会做出不可靠的预测，这构成了AI安全的主要问题。虽然这最近激发了检测这种分布外（OoD）输入的方法的开发，但仍然缺乏鲁棒的解决方案。我们提出了一个新的概率，无监督的方法来解决这个问题的基础上贝叶斯变分自编码器模型，估计一个完整的后验分布的解码器参数使用随机梯度马尔可夫链蒙特卡罗，而不是拟合点估计。我们描述了如何基于此后验的信息理论的措施，然后可以用来检测OoD输入在输入空间和模型的潜在空间。我们实证证明了我们提出的方法的有效性。
2020-07-15 cs.LG stat.ML
Coalitional Bayesian Autoencoders -- Towards explainable unsupervised deep learning
University of Cambridge（剑桥大学）
本文旨在提高Autoencoder（AE）预测的可解释性，提出了两种解释方法的基础上的平均值和认知的不确定性的对数似然估计，这自然产生的概率公式的AE称为贝叶斯Autoencoders（BAE）。为了定量评估解释方法的性能，我们在传感器网络应用中对它们进行了测试，并提出了三种基于传感器协变量偏移的度量：（1）Spearman漂移系数的G均值，（2）解释排序的敏感性-特异性的G均值和（3）结合上述两种度量的传感器解释质量指数（SEQI）。令人惊讶的是，我们发现，解释BAE的预测遭受高相关性导致误导性的解释。为了缓解这一问题，一个“联盟BAE”的建议，这是基于代理的系统理论的启发。我们在公开的状态监测数据集上进行的全面实验表明，使用联盟BAE的解释质量有所提高。
2021-10-19 cs.LG stat.ML
Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders
University of Maryland College Park（马里兰大学帕克分校）；IBM Research（IBM研究院）
在所有机器学习应用中，检测出分布外（OOD）样本至关重要。深度生成建模已经成为一种主要的范式，可以对没有标签的复杂数据分布进行建模。然而，先前的工作已经表明，与训练它们的数据分布相比，生成模型倾向于为OOD样本分配更高的可能性。首先，我们提出了对抗性镜像自动编码器（AMA），这是对抗性自动编码器的一个变体，它在镜像中使用镜像Wasserstein损失来执行更好的语义级重建。我们还提出了一个潜在的空间正则化学习一个紧凑的流形分布样本。AMA的使用产生更好的特征表示，提高异常检测性能。其次，我们提出了一种替代措施的异常得分，以取代重建为基础的度量，这是传统上使用的生成模型为基础的异常检测方法。我们的方法优于当前国家的最先进的方法异常检测几个OOD检测基准。
2021-01-03 cs.LG stat.ML
Unsupervised learning of phase transitions: from principal component analysis to variational autoencoders
Institut für Theoretische Physik, Universität Heidelberg（海德堡大学理论物理研究所）
我们采用无监督机器学习技术来学习最能描述二维伊辛模型和三维XY模型状态的潜在参数。这些方法的范围从主成分分析到基于人工神经网络的变分自动编码器。在高于和低于临界温度时，使用蒙特卡罗模拟对状态进行采样。我们发现，预测的潜在参数对应于已知的序参量。所讨论的模型的状态的潜在表示被聚类，这使得可以在没有关于它们的存在或底层哈密顿量的先验知识的情况下识别相位。此外，我们发现重构损失函数可以作为相变的通用标识符。
2017-03-12 cond-mat.stat-mech cs.LG stat.ML
Revisiting Adversarial Autoencoder for Unsupervised Word Translation with Cycle Consistency and Improved Training
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
对抗训练在学习双语词典方面取得了令人印象深刻的成功，没有任何并行数据，通过将单语嵌入映射到共享空间。然而，最近的研究表明，非对抗性方法在更具挑战性的语言对中表现出更好的性能。在这项工作中，我们重新审视了用于无监督单词翻译的对抗自动编码器，并提出了两个新的扩展，以产生更稳定的训练和改进的结果。我们的方法包括正则化条款，以加强循环一致性和输入重建，并把目标编码器作为对手对相应的编码器。对欧洲、非欧洲和低资源语言的广泛实验表明，我们的方法比最近提出的对抗性和非对抗性方法更鲁棒，性能更好。
2019-04-04 cs.CL cs.LG stat.ML
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London（帝国理工学院）
我们研究了变分自编码器模型（VAE）的一个变体，该模型以高斯混合作为先验分布，目标是通过深度生成模型执行无监督聚类。我们观察到，已知的问题，已被证明出现在定期VAE也体现在我们的模型，并导致集群退化。我们表明，一个启发式称为最小信息约束，已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外，我们分析了这种启发式的效果，并提供了直观的各种过程的可视化的帮助。最后，我们证明了我们的模型在合成数据，MNIST和SVHN上的性能，表明所获得的聚类是独特的，可解释的，并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
An Unsupervised Bayesian Neural Network for Truth Discovery in Social Networks
Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）
研究了在社会网络中从相互冲突的Agent意见中估计事件真相的问题。自动编码器学习事件真相，代理可靠性和代理观察之间的复杂关系。提出了一种贝叶斯网络模型来指导学习过程，通过建模的自动编码器的输出与不同的变量的关系。同时，它还对网络中Agent之间的社会关系进行了建模。所提出的方法是无监督的，适用于当地面实况标签的事件不可用。变分推理方法用于联合估计贝叶斯网络中的隐变量和自动编码器中的参数。三个真实数据集上的实验表明，我们提出的方法是有竞争力的，在大多数情况下优于，几个国家的最先进的基准方法。
2021-01-25 cs.LG stat.ML
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)（Relayr有限公司）
我们提出了一种新的风格的变分自编码器（VAE），无监督，半监督和全监督学习域之间无缝插值。我们表明，未标记的数据点不仅可以提高无监督任务，而且可以提高分类性能。反之亦然，每个标签不仅可以改进分类，还可以改进无监督任务。所提出的架构很简单：分类层连接到最顶层的编码器层，然后与解码器的重采样潜在层相结合。通常的证据下限（ELBO）损失补充了该分类层上的监督损失目标，仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下，我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；University of Birmingham（伯明翰大学）
我们提出了一个对称图卷积自动编码器，它产生一个低维的潜在表示从一个图。与现有的具有非对称解码器部分的图自编码器相比，所提出的自编码器具有新设计的解码器，该解码器构建了完全对称的自编码器形式。对于节点特征的重建，解码器是基于拉普拉斯锐化作为拉普拉斯平滑的编码器的对应物而设计的，这允许在所提出的自动编码器架构的整个过程中利用图结构。为了防止引入Laplacian锐化所引起的网络数值不稳定性，我们进一步提出了一种新的数值稳定形式的Laplacian锐化，通过引入符号图。此外，一个新的成本函数，发现一个潜在的代表性和潜在的亲和力矩阵同时设计，以提高图像聚类任务的性能。在聚类、链接预测和可视化任务上的实验结果表明，该模型具有较好的稳定性，且性能优于现有的各种算法。
2019-08-07 cs.CV cs.LG stat.ML
Target-Embedding Autoencoders for Supervised Representation Learning
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）
基于自动编码器的学习已经成为在无监督和半监督环境中规范表示的主要方法。本文分析了一个框架，以提高泛化在纯监督设置，目标空间是高维的。我们激励和形式化的一般框架的目标嵌入自动编码器（TEA）的监督预测，学习中间的潜在表示联合优化，既可预测的功能，以及预测的目标-编码的目标的变化是由一组紧凑的基本因素驱动的先验。作为我们的理论贡献，我们通过证明一致稳定性，将辅助重建任务的好处解释为正则化的一种形式，为线性TEA的推广提供了保证。作为我们的经验贡献，我们扩展验证这种方法超出现有的静态分类应用程序的多变量序列预测，验证其优势的线性和非线性经常性架构-从而强调了进一步的一般性，这个框架超越前馈实例。
2020-01-23 cs.LG stat.ML
Towards Unsupervised Causal Representation Learning via Latent Additive Noise Model Causal Autoencoders
Nara Institute of Science and Technology（奈良科学技术大学）；Kyoto University（京都大学）；Ateneo de Manila University（马尼拉大学）
本文提出LANCA模型，通过加性噪声模型作为归纳偏置，实现无监督因果发现，优于现有方法在合成和真实环境中的表现。
2025-12-15 cs.LG stat.ML
Bagging Supervised Autoencoder Classifier for Credit Scoring
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
信用评分模型是银行和金融机构所依赖的最有效的风险管理工具之一，在过去的几十年里一直是一个热门的研究课题。因此，已经制定了许多办法来应对贷款申请人分类方面的挑战，并改进和促进决策。信用评分数据集的不平衡性以及信用评分数据集中特征的异质性，给开发和实施有效的信用评分模型带来了困难，目标是分类模型对看不见的数据的泛化能力。在本文中，我们提出了Bagging监督自动编码器分类器（BSAC），主要利用了监督自动编码器的优越性能，它学习输入数据的低维嵌入专门关于信用评分的最终分类任务，基于多任务学习的原则。BSAC还通过采用基于多数类欠采样的Bagging过程的变体来解决数据不平衡问题。我们在基准和真实信用评分数据集上的实验结果表明，Bagging Supervised Autoencoder Classifier在贷款申请人分类中的鲁棒性和有效性，可以被视为信用评分模型的积极发展。
2021-08-12 cs.LG stat.ML
Semi-supervised representation learning via dual autoencoders for domain adaptation
Hefei University of Technology（合肥工业大学）；Yangzhou University（扬州大学）
领域自适应是利用源领域的知识来促进目标领域的学习任务，在实际应用中起着至关重要的作用。近年来，许多基于自编码器的深度学习方法在领域自适应方面取得了显著的效果。然而，大多数现有的方法集中在最大限度地减少分布分歧，把源和目标数据放在一起，学习全局特征表示，而他们没有考虑在同一类别的不同领域的实例之间的局部关系。为了解决这个问题，我们提出了一种新的半监督表示学习框架，通过双自动编码器的领域自适应，命名为SSRLDA。更具体地说，我们提取更丰富的特征表示，通过学习的全局和局部特征表示同时使用两种新的自编码器，这被称为边缘化去噪自编码器与自适应分布（MDAad）和多类边缘化去噪自编码器（MMDA）分别。同时，我们充分利用标签信息来优化特征表示。实验结果表明，我们提出的方法优于几个国家的最先进的基线方法。
2019-10-25 cs.LG stat.ML
Disentangled Representation Learning with Information Maximizing Autoencoder
University of Southern Queensland（南昆士兰大学）
从任何未标记的数据中学习解纠缠表示是一个重要的问题。在本文中，我们提出了信息最大化自动编码器（InfoAE），编码器学习强大的解开表示通过最大化之间的互信息的表示和给定的信息在一个无监督的方式。我们已经在MNIST数据集上评估了我们的模型，并在使用完全无监督训练时达到了98.9（$\pm .1$）$\%$测试准确率。
2019-04-18 cs.CV cs.LG stat.ML
SAHMM-VAE: A Source-Wise Adaptive Hidden Markov Prior Variational Autoencoder for Unsupervised Blind Source Separation
本文提出SAHMM-VAE，通过为每个潜在维度分配自适应的隐马尔可夫先验，实现无监督盲源分离的端到端学习，学习源特定的时间结构。
2026-03-26 cs.LG stat.ML
Unsupervised speech representation learning using WaveNet autoencoders
Institute of Computer Science, University of Wrocław（弗罗茨瓦夫大学计算机科学研究所）；Google Research（谷歌研究院）；DeepMind
我们考虑的任务，无监督提取有意义的潜在表示的语音应用自动编码神经网络语音波形。目标是学习能够从信号中捕获高级语义内容的表示，例如，音素身份，同时对信号中的混淆低级细节（诸如潜在的音高轮廓或背景噪声）不变。由于学习的表示被调整为仅包含语音内容，因此我们采用高容量WaveNet解码器来推断编码器从先前样本中丢弃的信息。此外，自动编码器模型的行为取决于应用于潜在表示的约束类型。我们比较三种变体：简单降维瓶颈、高斯变分自编码器（VAE）和离散矢量量化VAE（VQ-VAE）。我们分析了学习的代表性的说话人独立性，预测语音内容的能力，并能够准确地重建个人声谱图帧的质量。此外，对于使用VQ-VAE提取的离散编码，我们测量将它们映射到音素的难易程度。我们引入了一个正则化方案，迫使表示专注于话语的语音内容，并报告与ZeroSpeech 2017无监督声学单元发现任务中的顶级条目相当的性能。
2019-09-11 cs.LG eess.AS stat.ML
Self-Supervised Siamese Autoencoders
Leuphana University of Lüneburg（吕讷堡莱布尼茨大学）；Uppsala University（乌普萨拉大学）；Linköping University（林雪平大学）
本文提出孪生去噪自编码器SidAE，融合孪生网络与去噪自编码器的互补优势，在少标注数据条件下于多个图像分类数据集上超越自监督基线。
2025-04-08 cs.CV cs.LG stat.ML
An Attention-based ConvLSTM Autoencoder with Dynamic Thresholding for Unsupervised Anomaly Detection in Multivariate Time Series
Western University（韦仕敦大学）；National Research Council Canada（加拿大国家研究委员会）
由于智能制造中的复杂系统产生了大量的多变量时间序列数据，因此需要改进异常检测框架，以降低系统操作员的操作风险和监控负担。然而，构建这样的框架是具有挑战性的，因为足够大量的有缺陷的训练数据通常不可用，并且框架需要捕获跨不同时间步长的时间和上下文依赖性，同时对噪声是鲁棒的。本文提出了一种无监督的基于注意力的卷积长短期记忆（ConvLSTM）动态保持自编码器（ACLAE-DT）框架，用于多变量时间序列的异常检测和诊断。该框架首先对数据进行预处理和丰富，然后通过捕获时间序列对之间的相互关联来构建特征图像，以表征不同时间步长的系统状态。然后，构造的特征图像被馈送到基于注意力的ConvLSTM自动编码器，其目的是对构造的特征图像进行编码并捕获时间行为，然后对压缩的知识表示进行解码以重建输入的特征图像。然后计算重建误差，并进行基于几何的动态阈值机制，以检测和诊断异常。对实际制造数据进行的评估结果表明，在不同的实验设置下，所提出的方法的性能优势超过了最先进的方法。
2022-01-23 cs.LG cs.SE stat.ML
DeStress: Deep Learning for Unsupervised Identification of Mental Stress in Firefighters from Heart-rate Variability (HRV) Data
IBM Research – Zurich（IBM苏黎世研究院）；IBM Denmark（IBM丹麦）
在这项工作中，我们进行了各种无监督的方法来识别消防队员学员的精神压力的基础上未标记的心率变异性数据的研究。我们收集RR间隔时间序列数据，从近100名消防学员参加了演习。我们探索并比较了三种方法，以执行无监督的压力检测：1）具有工程时域和频域特征的传统K-Means聚类2）卷积自动编码器和3）长短期记忆（LSTM）自动编码器，两者都是在原始RRI测量值上进行训练，并结合DBSCAN聚类和K-最近邻分类。我们证明了K-Means与工程特征相结合无法捕获数据中有意义的结构。另一方面，卷积和LSTM自动编码器倾向于从指向具有不同大小的聚类的不同聚类的数据中提取不同的结构。我们试图确定真正的压力和正常集群使用的HRV标记的精神压力的文献报道。我们证明了卷积自动编码器产生的聚类一致且成功地对压力与正常样本进行了分层，正如几个已建立的生理压力标记（如RMSSD，Max-HR，Mean-HR和LF-HF比率）所验证的那样。
2019-11-18 cs.LG eess.SP stat.ML
Supervised Autoencoders with Fractionally Differentiated Features and Triple Barrier Labelling Enhance Predictions on Noisy Data
University of Warsaw（华沙大学）
提出融合分数阶差分特征、三重障碍标注与监督自编码器的加密货币预测框架，实验表明平衡噪声增强和瓶颈规模可显著提升风险调整后策略表现。
2024-11-30 cs.LG q-fin.TR stat.CO
Unsupervised Linear and Nonlinear Channel Equalization and Decoding using Variational Autoencoders
Tel-Aviv University（特拉维夫大学）
介绍了一种新的盲信道均衡和译码方法，即变分推理方法，特别是变分自编码器（VAE）。首先，我们考虑重建的未编码的数据符号传输在一个嘈杂的线性符号间干扰（ISI）的信道，与一个未知的脉冲响应，而不使用导频符号。我们推导出一个近似的最大似然估计的信道参数和重建的传输数据。我们表现出显着和一致的改善，在出错率的重建符号，相比现有的盲均衡方法，如恒模，从而使更快的信道采集。VAE均衡器使用具有少量自由参数的卷积神经网络。这些结果被推广到未知参数的噪声非线性ISI信道的盲均衡。然后，我们考虑编码通信使用低密度奇偶校验（LDPC）码在噪声线性或非线性ISI信道上传输。目标是在不使用导频符号的情况下，根据与所发送的码字相对应的信道观测来重构所发送的消息。我们证明了改进的期望最大化（EM）算法，使用涡轮均衡。此外，不同于EM，我们的方法的计算复杂性不具有对信道冲激响应的大小的指数依赖性。
2020-04-13 cs.IT cs.LG eess.SP
Posterior sampling algorithms for unsupervised speech enhancement with recurrent variational autoencoder
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文针对基于循环变分自编码器的无监督语音增强中变分EM计算复杂的问题，提出基于朗之万动力学和Metropolis-Hastings的后验采样算法，实验证明其在效率和性能上均优于VEM，并具备稳健的泛化能力。
2023-09-19 cs.CV cs.SD eess.AS
Supervised, semi-supervised and unsupervised inference of gene regulatory networks
从表达数据中推断基因调控网络是一项具有挑战性的任务。许多方法已被开发到这一目的，但一个全面的评价，包括无监督，半监督和监督的方法，并提供指导方针，其实际应用，是缺乏的。我们进行了广泛的评估模拟表达数据的推理方法。结果显示，无监督技术的预测精度非常低，但敲除数据的z得分方法除外。在所有其他情况下，监督的方法实现了最高的准确性，甚至在半监督设置只有少量的阳性样本，优于无监督的技术。
2013-01-07 q-bio.MN q-bio.QM stat.ML
