Plan2Vec: Unsupervised Representation Learning by Latent Plans
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）；UC Berkeley（加州大学伯克利分校）
在本文中，我们介绍了plan2vec，一种受强化学习启发的无监督表示学习方法。Plan2vec使用近邻距离在图像数据集上构建加权图，然后通过提取规划路径上的路径积分将此局部度量外推到全局嵌入。当应用于控制时，plan2vec提供了一种学习目标条件值估计的方法，该方法在长时间范围内都是准确的，计算和采样效率都很高。我们证明了plan2vec在一个模拟和两个具有挑战性的现实世界的图像数据集上的有效性。实验结果表明，plan2vec成功地摊销规划成本，使反应式规划，是线性的内存和计算复杂性，而不是在整个状态空间的穷举。
2020-05-07 cs.AI cs.LG stat.ML
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
Unsupervised learning of phase transitions: from principal component analysis to variational autoencoders
Institut für Theoretische Physik, Universität Heidelberg（海德堡大学理论物理研究所）
我们采用无监督机器学习技术来学习最能描述二维伊辛模型和三维XY模型状态的潜在参数。这些方法的范围从主成分分析到基于人工神经网络的变分自动编码器。在高于和低于临界温度时，使用蒙特卡罗模拟对状态进行采样。我们发现，预测的潜在参数对应于已知的序参量。所讨论的模型的状态的潜在表示被聚类，这使得可以在没有关于它们的存在或底层哈密顿量的先验知识的情况下识别相位。此外，我们发现重构损失函数可以作为相变的通用标识符。
2017-03-12 cond-mat.stat-mech cs.LG stat.ML
Graph-wise Common Latent Factor Extraction for Unsupervised Graph Representation Learning
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）
无监督图级表示学习在分子性质预测和社区分析等各种任务中起着至关重要的作用，特别是当数据注释昂贵时。目前，大多数性能最好的图嵌入方法都是基于Infomax原理的。这些方法的性能高度依赖于阴性样本的选择，如果样本选择不仔细，则会损害性能。如果所选择的用于相似性匹配的图集合质量低，则基于图间相似性的方法也会受到影响。为了解决这个问题，我们只专注于利用当前输入图进行嵌入学习。我们的动机来自于对真实世界的图生成过程的观察，在真实世界的图生成过程中，图是基于图的所有元素所共有的一个或多个全局因素（例如，讨论线程的主题、分子的溶解度水平）。我们假设提取这些共同因素可能是非常有益的。因此，这项工作提出了一个新的原则，无监督图表示学习：图明智的公共潜在因素提取（GCFX）。我们进一步提出了GCFX的深度模型deepGCFX，基于反转上述图生成过程的想法，该过程可以从输入图中显式提取公共潜在因素，并在下游任务上实现当前最先进的改进结果。通过广泛的实验和分析，我们证明，虽然提取公共潜在因子对于图级任务减轻由个体节点或局部邻域的局部变化引起的分心是有益的，它还通过启用长距离节点依赖性（尤其是对于离散图）而有益于节点级任务。
2022-02-07 cs.AI cs.LG stat.ML
Elastic-InfoGAN: Unsupervised Disentangled Representation Learning in Class-Imbalanced Data
UC Davis（加州大学戴维斯分校）；Adobe Research（奥多比研究院）；UCLA（加州大学洛杉矶分校）
我们提出了一种新型的无监督生成模型，它学会将对象身份与类别不平衡数据中的其他低级方面区分开来。我们首先调查了InfoGAN关于均匀性假设的问题，并证明了它在不平衡数据中正确解开对象身份的无效性。我们的主要思想是发现离散的潜在因素的变化不变的真实图像中的身份保持变换，并使用它作为一个信号来学习适当的潜在分布代表对象的身份。在人工（MNIST，3D汽车，3D椅子，ShapeNet）和真实世界（YouTube-Faces）不平衡数据集上的实验证明了我们的方法在解开对象身份作为潜在变化因素方面的有效性。
2020-10-30 cs.CV cs.LG stat.ML
Accuracy of Latent-Variable Estimation in Bayesian Semi-Supervised Learning
分层概率模型，如高斯混合模型，被广泛用于无监督学习任务。这些模型由可观察变量和潜在变量组成，分别代表可观察数据和基础数据生成过程。无监督学习任务，如聚类分析，被认为是基于可观察的潜在变量的估计。在半监督学习中，观察到一些标签，潜在变量的估计将比无监督学习更精确，其中一个关注点是澄清标记数据的影响。然而，还没有足够的理论分析的精度估计的潜变量。在以前的研究中，制定了基于分布的误差函数，并计算了其渐近形式，用于生成模型的无监督学习。结果表明，对于潜变量的估计，贝叶斯方法比最大似然方法更准确。本文揭示了贝叶斯半监督学习中判别式和生成式模型误差函数的渐近形式。结果表明，生成模型，它使用所有给定的数据，表现得更好时，模型是很好的指定。
2015-03-25 stat.ML
Factored Latent Analysis for far-field tracking data
本文使用因子潜在分析（FLA）来学习随时间推移对跟踪对象的观察的因子分解的分段表示。因子潜在分析是潜在类分析，其中观察空间被细分，原始空间的每个方面都由单独的潜在类模型表示。人们可以简单地将这些因素视为完全独立的，忽略它们的相互依赖性，或者可以将它们连接在一起，并尝试学习完整观察空间的潜在类结构。或者，FLA允许在估计有效模型时利用相互依赖性，该模型也能够表示因子化的潜在状态。在本文中，FLA是用来学习一组因素化的潜在类来表示跟踪对象的不同形式的观察。跟踪对象的状态的不同特征各自由单独的潜在类模型表示，包括归一化大小、归一化速度、归一化方向和位置。该模型还能够对这些序列进行有效的时间分割。这种方法是数据驱动的，无监督的，只使用成对观察统计。这种数据驱动和无监督的活动分类技术在多个具有挑战性的环境中表现出良好的性能。
2012-07-11 cs.LG stat.ML
Palm up: Playing in the Latent Manifold for Unsupervised Pretraining
UC Berkeley（加州大学伯克利分校）；DeepMind（深度思维）
大型和多样化的数据集一直是人工智能许多令人印象深刻的进步的基石。然而，智能生物通过与环境的互动来学习，这会改变输入的感觉信号和环境的状态。在这项工作中，我们的目标是两全其美，并提出一种算法，该算法在利用大型多样化数据集的同时表现出探索性行为。我们的关键思想是利用在静态数据集上预训练的深度生成模型，并在潜在空间中引入动态模型。过渡动态简单地混合了动作和随机采样的潜伏。然后，它应用一个指数移动平均的时间持久性，得到的潜在的解码使用预训练的生成器的图像。然后，我们采用无监督强化学习算法在这种环境中进行探索，并对收集到的数据进行无监督表示学习。我们进一步利用这些数据的时间信息来配对数据点，作为表示学习的自然监督。我们的实验表明，学习的表征可以成功地转移到视觉和强化学习领域的下游任务。
2022-10-21 cs.AI cs.LG
Unsupervised Controllable Generation with Self-Training
EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）；Caltech（加州理工学院）
最近的生成对抗网络（GANs）能够生成令人印象深刻的照片般逼真的图像。然而，利用GANs实现可控发电仍然是一个具有挑战性的研究问题。实现可控生成需要语义上可解释和分离的变化因素。使用简单的固定分布（如高斯分布）实现这一目标具有挑战性。相反，我们提出了一个无监督的框架来学习通过自我训练控制生成器的潜在代码的分布。自训练在GAN训练中提供从训练器到生成器的迭代反馈，并且随着训练的进行而逐步改进潜在码的建议。潜在代码是从一个潜在的变量模型，是在学习的特征空间的特征空间的编码。我们考虑了一个归一化的独立分量分析模型，并通过高阶矩的张量分解来学习其参数。我们的框架表现出更好的解纠缠相比，其他变种，如变分自编码器，并能够发现语义有意义的潜在代码，而无需任何监督。我们在汽车和人脸数据集上以经验证明，学习代码中的每组元素控制着具有语义含义的变化模式，例如姿势或背景变化。我们还用定量指标证明，与其他方法相比，我们的方法产生了更好的结果。
2021-05-02 cs.CV cs.LG stat.ML
A Causal Ordering Prior for Unsupervised Representation Learning
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）
针对无监督表示学习中潜变量独立性假设过强的问题，提出基于潜变量加性噪声模型与 Hessian 损失的因果排序先验，实现无需辅助信息或干预数据的完全无监督因果表示学习。
2023-07-11 cs.AI cs.CV cs.LG
LaCoGSEA: Unsupervised deep learning for pathway analysis via latent correlation
School of Computing Science（计算科学学院）；University of Glasgow（格拉斯哥大学）
LaCoGSEA通过潜在相关性进行无监督路径分析，结合深度学习与稳健统计，提升癌症亚型区分和路径恢复性能。
2026-01-27 cs.LG q-bio.GN
Unsupervised Image Representation Learning with Deep Latent Particles
Technion - Israel Institute of Technology（以色列理工学院）
我们提出了一种新的视觉数据表示，从外观解开对象的位置。我们的方法，称为深潜粒子（DLP），分解成低维的潜在的视觉输入“粒子”，其中每个粒子是由其空间位置和周围区域的功能。为了驱动这种表示的学习，我们遵循基于VAE的方法，并引入基于spatial-softmax架构的粒子位置先验，以及对粒子之间倒角距离启发的证据下界损失的修改。我们证明，我们的DLP表示是有用的下游任务，如无监督的关键点（KP）检测，图像处理和视频预测的场景组成的多个动态对象。此外，我们表明，我们的概率解释的问题，自然提供了粒子位置的不确定性估计，可用于模型选择，以及其他任务。视频和代码可在https://taldatech.github.io/deep-latent-particles-web/上获得
2022-07-26 cs.AI cs.CV cs.LG
When Heterophily Meets Heterogeneous Graphs: Latent Graphs Guided Unsupervised Representation Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文针对异构图表示学习中常被忽视的语义异配性问题，提出LatGRL框架，通过构建同配与异配潜在图并结合自适应双频语义融合机制，实现高效且可扩展的无监督表示学习。
2024-09-01 cs.AI cs.LG cs.SI
On the Importance of Feature Decorrelation for Unsupervised Representation Learning in Reinforcement Learning
KAIST（韩国科学技术院）；KaKao Enterprise（Kakao企业）
针对强化学习中无监督表示学习的表示坍缩问题，提出结合特征去相关的因果预测新型URL框架，有效提升了Atari 100k基准上的样本效率。
2023-06-09 cs.LG
Latent Variable Models for Bayesian Causal Discovery
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；ÉTS Montréal（蒙特利尔高等技术学院）
学习不依赖于虚假相关性的预测器涉及构建因果表示。然而，学习这样的表示是非常具有挑战性的。因此，我们制定了从高维数据中学习因果表示的问题，并研究了因果恢复与合成数据。这项工作介绍了一个潜在的变量解码器模型，解码器BCD，贝叶斯因果发现，并在轻度监督和无监督的设置进行实验。我们提出了一系列的合成实验来表征因果发现的重要因素，并表明使用已知的干预目标作为标签有助于无监督贝叶斯推理的结构和参数的线性高斯加性噪声潜在的结构因果模型。
2022-08-11 cs.AI cs.LG stat.ML
Unsupervised learning of acquisition variability in structural connectomes via hybrid latent space modeling
Department of Electrical and Computer Engineering, Vanderbilt University（范德比尔特大学电气与计算机工程系）；Department of Computer Science, Vanderbilt University（范德比尔特大学计算机科学系）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Laboratory of Behavioral Neuroscience, National Institute on Aging, National Institutes of Health（衰老行为神经科学实验室，国家老龄化研究所，国家卫生研究院）；Peabody College of Education and Human Development, Nashville, Tennessee, USA（教育与人类发展学院，纳什维尔，田纳西州，美国）
本文提出一种无监督框架，通过架构退火平衡离散和连续潜在变量，以捕捉dMRI中的获取变异性，通过混合连续-离散潜在空间建模实现结构连接组的高效分析。
2026-05-13 cs.AI cs.LG stat.ML
Unsupervised Representation Learning of Speech for Dialect Identification
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探索使用一个因式分解层次变分自动编码器（FHVAE）模型来学习一个无监督的方言识别（DID）的潜在表示。FHVAE可以学习潜在空间，该潜在空间通过将话语内的更多静态属性编码到两个不同的潜在变量集合中来将它们与更多动态属性分离。方言识别的有用因素，如语音或语言内容，编码的一个分段的潜变量，而不相关的因素，是相对恒定的序列，如通道或扬声器的信息，编码的一个顺序的潜变量。解纠缠特性使得分段潜变量对通道和扬声器变化不太敏感，并且因此减少了来自通道域失配的劣化。我们证明，在完全监督的DID任务中，与在传统声学特征和基于i向量的系统上训练的相同模型相比，在从FHVAE模型中提取的特征上训练的端到端模型实现了最佳性能。此外，我们还表明，所提出的方法可以利用大量的未标记的数据进行FHVAE训练，以学习DID的域不变特征，并在低资源条件下显着提高性能，其中域内数据的标签不可用。
2018-09-12 cs.CL cs.LG eess.AS
Unsupervised Latent Pattern Analysis for Estimating Type 2 Diabetes Risk in Undiagnosed Populations
University of New Mexico（新墨西哥大学）
针对监督式T2DM预测缺乏确诊阴性样本的问题，提出融合NMF与统计技术的无监督框架，利用共病和用药潜在模式估计未确诊人群风险。
2025-06-05 cs.LG stat.AP
PatchVAE: Learning Local Latent Codes for Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）
无监督表示学习有望利用大量未标记的数据来学习一般表示。变分自动编码器（VAE）是无监督学习的一种很有前途的技术。然而，VAE学习的无监督表示在识别方面明显优于监督学习学习的表示。我们的假设是，为了学习有用的识别表示，需要鼓励模型学习数据中重复和一致的模式。从中层表示发现工作中得到启发，我们提出了PatchVAE，在补丁级别上对图像进行推理。我们的主要贡献是一个瓶颈制定，鼓励在VAE框架中的中级风格表示。我们的实验表明，表示学习我们的方法执行更好的识别任务相比，那些学习香草VAE。
2020-04-07 cs.CV cs.LG
CULT: Continual Unsupervised Learning with Typicality-Based Environment Detection
Brandeis University（布兰迪斯大学）
我们介绍了CULT（连续无监督表示学习与基于典型性的环境检测），一种新的算法，连续无监督学习与变分自动编码器。CULT在VAE的潜在空间中使用一个简单的典型性度量来检测环境中的分布变化，该度量与生成重放和辅助环境分类器结合使用，以限制无监督表示学习中的灾难性遗忘。在我们的实验中，CULT显著优于基线连续无监督学习方法。本文的代码可以在这里找到：https://github.com/oliveradk/cult
2022-07-17 cs.LG
Uncovering Latent Patterns in Social Media Usage and Mental Health: A Clustering-Based Approach Using Unsupervised Machine Learning
AIUB（AIUB大学）
本文利用无监督机器学习对社交媒体使用与心理健康进行聚类分析，识别不同群体的风险特征，通过K-means聚类和PCA可视化揭示隐藏模式及心理健康影响。
2026-04-27 cs.LG
An unsupervised approach to Geographical Knowledge Discovery using street level and street network images
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
最近的研究表明，机器学习方法在地理和城市分析中的使用越来越多，主要是使用监督方法从空间和时间数据中提取特征和模式。将地理过程整合到机器学习模型中以及使用无监督方法对地理数据进行知识发现的研究一直很少。这项研究有助于阶梯，在那里我们展示了如何从城市图像的无监督学习方法中学习到的潜在变量可以用于地理知识发现。特别是，我们提出了一种简单的方法称为卷积PCA（ConvPCA），适用于街道水平和街道网络图像，以找到一组不相关和有序的视觉latentcomponents。该方法允许有意义的解释，使用地理和生成可视化的组合来探索潜在的空间，并显示如何学习表示可以用来预测城市特征，如街道质量和街道网络属性。研究还发现，与可解释性较低的降维技术相比，ConvPCA模型的视觉组件达到了相似的精度。
2019-10-11 cs.CV cs.CY cs.LG
Unsupervised Belief Representation Learning with Information-Theoretic Variational Graph Auto-Encoders
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；College of William and Mary（威廉与玛丽学院）
本文开发了一种新型的无监督算法，用于极化网络中的信念表示学习，该算法（i）揭示底层信念空间的潜在维度，以及（ii）将用户和内容项（与他们交互）联合嵌入到该空间中，以促进许多下游任务，例如立场检测、立场预测和意识形态映射。受信息论中的总相关性的启发，我们提出了信息论变分图自动编码器（InfoVGAE），它学习投影用户和内容项（例如，表示用户视图的帖子）到适当的解开的潜在空间中。为了更好地解开该空间中的潜变量，我们开发了一个总相关正则化模块，比例积分（PI）控制模块，并采用整流高斯分布，以确保正交性。然后，用户和内容的潜在表示可以用于量化他们的意识形态倾向，并检测/预测他们对问题的立场。我们评估了三个真实世界的数据集，其中两个是从Twitter和一个从美国国会投票记录收集的性能建议InfoVGAE。评估结果表明，我们的模型优于最先进的无监督模型，减少了10.5%的用户聚类错误，并实现了12.1%的更高的F1分数的立场分离的内容项目。此外，InfoVGAE产生了与监督模型相当的结果。我们还讨论了它的立场预测和意识形态群体内的用户排名的性能。
2022-05-09 cs.LG cs.SI
ABACUS: Unsupervised Multivariate Change Detection via Bayesian Source Separation
变化检测涉及对连续数据进行分段，使得同一段中的观测共享某些期望的属性。多变量变化检测仍然是一个具有挑战性的问题，由于各种方式的变化点可以跨通道相关和潜在的个别通道上的信噪比差。在本文中，我们感兴趣的是在无监督设置中定位加性离群值（AO）和水平位移（LS）。我们提出了ABACUS，稀疏下的自动贝叶斯变点，贝叶斯源分离技术，以恢复潜在的信号，同时也检测模型参数的变化。多级稀疏实现了信号变化的降维和建模。我们表明，ABACUS在仿真研究中对最先进的变化检测方法和建立的潜变量模型具有竞争力或优越的性能。我们还说明了ABACUS的两个实际应用，建模基因组图谱和分析家庭用电量。
2018-10-15 stat.AP stat.ME stat.ML
Unsupervised Cross-lingual Representation Learning for Speech Recognition
Facebook AI（脸书人工智能）
本文介绍了XLSR，它通过从多种语言的语音原始波形中预训练单个模型来学习跨语言的语音表示。我们建立在wav 2 vec 2.0的基础上，通过在掩蔽的潜在语音表示上解决对比任务来训练wav 2 vec 2.0，并联合学习跨语言共享的潜在语音的量化。由此产生的模型在标记数据上进行了微调，实验表明，跨语言预训练显着优于单语预训练。在CommonVoice基准测试中，XLSR显示与最佳已知结果相比，相对音素出错率降低了72%。在BABEL，我们的方法提高了字出错率16%，相对于可比系统。我们的方法使一个单一的多语言语音识别模型，这是强大的个人模型的竞争力。分析表明，潜在的离散语音表示共享跨语言增加共享相关的语言。我们希望通过发布XLSR-53来促进低资源语音理解的研究，XLSR-53是一个用53种语言预训练的大型模型。
2020-12-15 cs.CL cs.LG cs.SD
Estimation of latent variable models for ordinal data via fully exponential Laplace approximation
有序数据的潜变量模型在不同的研究领域中是一个有用的工具，其中感兴趣的结构是不可直接观察的。在这种模型中，由于不存在解析解，可能会出现与似然函数的积分有关的问题。数值逼近，如广泛使用的高斯厄米特（GH）求积，通常用于解决这些问题。然而，GH变得不可行的潜变量的数量增加。在本文中，我们提出了一个扩展版本的拉普拉斯方法近似的积分，称为全指数拉普拉斯近似。该方法在隐变量较多的情况下也是可行的，并且比经典的Laplace方法更精确。
2011-05-09 stat.ME
Unsupervised Meta-Learning through Latent-Space Interpolation in Generative Models
University of Central Florida（中佛罗里达大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
无监督元学习方法依赖于使用诸如随机选择、聚类和/或增强之类的技术创建的合成元任务。不幸的是，聚类和增强是依赖于域的，因此它们需要手动调整或昂贵的学习。在这项工作中，我们描述了一种使用生成模型生成元任务的方法。一个关键的组件是一种新的方法，从潜在的空间，生成对象分组到合成类形成的训练和验证数据的元任务的采样。我们发现，所提出的方法，潜在空间插值无监督元学习（LASIUM），优于或有竞争力的Few-Shot分类任务的最广泛使用的基准数据集上的当前无监督学习基线。此外，该方法有望适用于比以前的方法更广泛的领域，而无需手动调整。
2020-06-18 cs.LG stat.ML
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Deep Unsupervised Clustering with Clustered Generator Model
Shanghai Jiao Tong University（上海交通大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
无监督聚类是机器学习和人工智能领域最基本的问题之一。我们提出了聚类生成器模型的聚类，其中包含连续和离散的潜变量。离散潜变量对聚类标签进行建模，而连续潜变量对每个聚类内的变化进行建模。模型的学习在统一的概率框架中进行，并将无监督聚类作为内部步骤，而不需要像现有的基于变分的模型那样需要额外的推理模型。学习的潜变量既可以作为观察到的数据嵌入，也可以作为数据分布的潜在表示。实验结果表明，该模型可以达到有竞争力的无监督聚类精度，并可以学习解开潜在的表示，以产生现实的样本。此外，该模型可以自然地扩展到每像素无监督聚类，这在很大程度上尚未探索。
2019-11-19 cs.LG stat.ML
Unsupervised Learning of Hybrid Latent Dynamics: A Learn-to-Identify Framework
Zhejiang University（浙江大学）；College of Computing and Information Sciences, Rochester Institute of Technology（罗切斯特理工学院计算与信息科学学院）
针对高维时间序列中潜在动力学的无监督学习可识别性挑战，提出Meta-HyLaD框架，结合物理归纳偏置与学习识别策略，通过元学习分离识别混合动力学组件，实验验证其整合先验知识并识别数据差距的优势。
2024-03-13 cs.LG stat.ML
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University（首尔大学）
具有聚类潜在空间的生成对抗网络（GANs）可以以完全无监督的方式执行条件生成。在现实世界中，未标记数据的显著属性可能是不平衡的。然而，大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性，因为它们假设属性的均匀分布。为了解决这个问题，我们从理论上推导出Stein潜在优化，该优化提供了潜在分布参数的可重新参数化的梯度估计，假设在连续潜在空间中存在高斯混合。在结构上，我们引入了一个编码器网络和新的无监督条件对比损失，以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认，所提出的方法，命名为斯坦潜在优化GANs（SLOGAN），成功地学习平衡或不平衡的属性，并实现了最先进的无监督条件生成性能，即使在没有属性信息的情况下（例如，不平衡度）。此外，我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
Unsupervised Neural Hidden Markov Models with a Continuous latent state space
ANEO；Centre Borelli - ENS Paris-saclay（巴黎萨克雷高等师范学院博雷利中心）；Criteo AI Lab（科韬人工智能实验室）；Crest, ENSAE（法国国立统计与经济管理学院 Crest 研究中心）
我们介绍了一个新的过程神经化无监督隐马尔可夫模型在连续的情况下。这提供了更高的灵活性来解决潜在的潜在变量的问题。这种方法的合成和真实数据进行评估。除了生成与现成的神经架构（LSTM、GRU等）具有可比性能的可能模型参数之外，所得结果易于解释。
2021-06-10 cs.LG
Unsupervised Object Matching for Relational Data
NTT Communication Science Laboratories（NTT通信科学实验室）
提出了一种无监督的关系数据对象匹配方法，该方法在不需要对应信息的情况下，在不同关系数据集中找到对象之间的匹配。例如，所提出的方法在没有字典也没有对齐信息的多语言文档-词网络中匹配不同语言的文档。该方法假设每个对象都有潜在的向量，邻居对象的概率由潜在向量的内积来建模，其中邻居是通过在关系上的短随机游动来生成的。通过最大化每个数据集的邻居的可能性来估计潜在向量。估计的潜在向量包含给定关系数据集中每个对象的隐藏结构信息。然后，该方法通过匹配分布同时保留结构信息，将所有数据集的潜在向量线性投影到所有数据集共享的公共潜在空间上。投影矩阵的估计，通过最小化的正交正则化的潜向量分布之间的距离。为了有效地表示分布，我们使用的核嵌入的分布，持有高阶矩信息的分布作为一个元素，在再生核希尔伯特空间，这使我们能够计算分布之间的距离没有密度估计。通过使用正交正则化器，保留了编码在隐向量中的结构信息。我们使用真实世界的多语言文档-词关系数据集和多个用户-项目关系数据集的实验证明了所提出的方法的有效性。
2018-12-27 cs.LG stat.ML
Unsupervised K-Nearest Neighbor Regression
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
在许多科学学科中，必须找到高维数据的结构，例如，恒星光谱、基因组数据或人脸识别任务。在这项工作中，我们提出了一种新的方法来非线性降维。它基于将K-最近邻回归拟合到用于学习低维流形的无监督回归框架。与大多基于核方法的相关方法类似，无监督K-最近邻（UNN）回归优化了潜在变量w.r.t.采用K-最近邻启发式的数据空间重构误差。优化潜在邻域的问题很难解决，但UNN公式允许设计有效的策略，迭代地将潜在点嵌入到固定的邻域拓扑结构中。UNN非常适合于高维数据的排序。迭代变量进行了实验分析。
2011-09-26 cs.LG stat.ML
Unsupervised Anomaly Detection in NSL-KDD Using $β$-VAE: A Latent Space and Reconstruction Error Approach
Université de Reims Champagne-Ardenne（兰斯香槟-阿登大学）；Seckiot
本文提出基于β-VAE的无监督异常检测方法，通过潜在空间结构和重构误差在NSL-KDD数据集上验证了其在网络流量异常检测中的有效性。
2026-02-23 cs.LG cs.NE stat.ML
Designing Complex Experiments by Applying Unsupervised Machine Learning
BMO Financial Group（蒙特利尔银行金融集团）
实验设计（DOE）在学习和改进各种对象和过程中起着至关重要的作用。本文讨论了应用无监督机器学习来支持复杂实验的实用设计。复杂试验的特点是有大量的因素，混合水平设计，并可能受到约束，消除一些不可行的试验，由于各种原因。具有这些属性，它是非常具有挑战性的设计实用的实验，是经济的，可操作的，及时的声音。这意味着从完全析因设计中显著减少了所需试验的数量，同时仍然试图实现定义的目标。一个beta变分自编码器（beta-VAE）已被应用到表示试验的初始全因子设计后，过滤掉不可行的试验的低维潜在空间。关于可视化和可解释性，本文仅限于2D表示。Beta-VAE支持（1）潜在空间维度的正交性，（2）潜在空间上的表示的各向同性多变量标准正态分布，（3）潜在空间表示通过因子水平的解纠缠，（4）初始设计的应用约束到潜在空间中的传播，以及（5）通过解码潜在空间点来生成试验。在具有这些属性的潜在空间上具有初始设计表示，它允许通过指定潜在空间上的试验次数及其模式（例如正方形或极坐标网格）来生成实用的实验设计（G-DOE）。聚类和聚合梯度度量已被证明可以指导网格规范。
2021-10-05 cs.LG stat.ML
TLR: Transfer Latent Representation for Unsupervised Domain Adaptation
Wuhan University（武汉大学）
领域自适应是指通过利用来自源域的数据来学习目标域中的预测模型的过程。许多经典的方法通过建立公共的潜在空间来解决领域自适应问题，这可能会导致跨两个域的许多重要属性的丢失。在这篇手稿中，我们开发了一种新的方法，转移潜在的代表性（TLR），学习一个更好的潜在空间。具体来说，我们设计了一个目标函数的基础上，一个简单的线性自编码器，以获得这两个域的潜在表示。自动编码器中的编码器旨在将两个域的数据投影到鲁棒的潜在空间中。此外，解码器施加了一个额外的约束来重建原始数据，这可以保持两个域的共同属性，并减少导致域移位的噪声。跨领域任务的实验表明TLR的竞争方法的优势。
2018-08-19 cs.AI cs.LG stat.ML
Blind Recovery of Latent Domains via Unsupervised Symmetry Discovery
Bogazici University（博阿齐奇大学）
提出无监督框架，通过发现数据分布的对称性，从无结构观测中恢复潜在域和信号，使用浅层群卷积网络并施加平稳性和局部性正则化。
2026-06-17 cs.LG
A Disentangled Recognition and Nonlinear Dynamics Model for Unsupervised Learning
Technical University of Denmark（丹麦技术大学）；DeepMind
本文在动态变化的视频中向时间推理迈出了一步，不是在构成其帧的像素空间中，而是在描述其世界中对象的非线性动态的潜在空间中。我们介绍了卡尔曼变分自动编码器，一个框架，用于无监督学习的顺序数据，解开两个潜在的表示：一个对象的表示，来自识别模型，和一个潜在的状态描述其动态。结果，世界的演化可以被想象，并且缺失数据可以被估算，两者都不需要在每个时间步生成高维帧。该模型在各种模拟物理系统的视频上进行端到端训练，在生成和缺失数据插补任务中优于竞争方法。
2017-10-30 cs.LG stat.ML
Unsupervised Detection and Explanation of Latent-class Contextual Anomalies
TU Berlin（柏林工业大学）；Petrobras（巴西国家石油公司）；AIP, RIKEN（理化学研究所AIP）；Korea University（高丽大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
检测和解释异常是一项具有挑战性的工作。当数据表现出很强的依赖性，并且需要在各自的背景下评估和分析单个测量时，这一点尤其适用。在这项工作中，我们考虑的情况下，测量是non-i.i.d，即样本依赖于相应的离散潜变量，通过一些给定的依赖结构，上下文信息连接。我们的贡献是双重的：（i）在支持向量数据描述（SVDD）的基础上，提出了一种能够有效处理隐类依赖结构的方法。我们进一步表明，我们的方法整齐地概括香草SVDD以及k-均值和条件随机场（CRF），并提供了相应的概率解释。(ii)在无法量化异常检测器准确性的无监督场景中，拥有人类可解释的解决方案是成功的关键。基于深度泰勒分解和我们训练的异常检测器作为神经网络的重新表述，我们能够将预测反向传播到像素域，从而识别高相关性的特征和区域。我们证明了我们的新方法的有用性玩具数据与已知的时空结构，并成功地验证合成以及真实世界的离岸数据从石油工业。
2018-06-29 cs.LG stat.ML
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Yandex（扬德克斯）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
GAN模型的潜在空间通常具有语义上有意义的方向。在这些方向上移动对应于人类可解释的图像变换，例如缩放或缩放，从而实现更可控的生成过程。然而，这些方向的发现目前是以监督的方式执行的，需要人类标签，预训练模型或某种形式的自我监督。这些要求严重限制了现有方法可以发现的方向范围。在本文中，我们引入了一种无监督的方法来识别预训练的GAN模型的潜在空间中的可解释方向。通过一个简单的模型不可知的程序，我们发现方向对应于明智的语义操作，没有任何形式的（自我）监督。此外，我们揭示了几个非平凡的发现，这将是很难获得现有的方法，例如，对应于背景去除的方向。作为我们工作的直接实际好处，我们展示了如何利用这一发现来实现弱监督显着性检测的竞争性能。
2020-06-24 cs.CV cs.LG stat.ML
SAHMM-VAE: A Source-Wise Adaptive Hidden Markov Prior Variational Autoencoder for Unsupervised Blind Source Separation
本文提出SAHMM-VAE，通过为每个潜在维度分配自适应的隐马尔可夫先验，实现无监督盲源分离的端到端学习，学习源特定的时间结构。
2026-03-26 cs.LG stat.ML
Unsupervised Latent Space Translation Network
在计算机视觉中经常讨论的一个任务是将图像从一个域映射到另一个域中的对应图像，称为图像到图像转换。目前有几种方法可以解决这个问题。在本文中，我们提出了一个增强的UNIT框架，有助于消除其主要缺点。更具体地说，我们在使用的潜在表示上引入了一个额外的对抗性代理，而不是VAE，这使得两个域的潜在空间分布相似。在MNIST和USPS领域自适应任务上，该方法大大优于竞争方法。
2020-03-20 cs.CV cs.LG eess.IV
Unsupervised Latent Space Alignment with Hyperspherical Geodesic Matching
Northeastern University（东北大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
该研究提出HGA方法，无需配对样本即可实现潜在空间的无监督对齐，在模型拼接等任务中性能可与有监督方法相当。
2026-09-01 cs.LG
Unsupervised Learning of Latent Physical Properties Using Perception-Prediction Networks
MIT（麻省理工学院）；Stanford University（斯坦福大学）
我们提出了一个框架，完全无监督学习的潜在对象的属性，从他们的相互作用：感知预测网络（PPN）。PPN由一个提取潜在对象属性表示的感知模块和一个使用这些提取的属性来模拟系统动态的预测模块组成，可以完全从对象动态样本中以端到端的方式进行训练。通过PPN学习的潜在对象属性的表示不仅足以准确地模拟由先前看不见的对象组成的系统的动态，而且还可以直接转换为人类可解释的属性（例如，质量、恢复系数）。至关重要的是，PPN还可以推广到新的场景：它们基于梯度的训练可以应用于许多动态系统，它们基于图的结构函数可以应用于由不同数量的对象组成的系统。我们的研究结果证明了基于图的神经架构在以对象为中心的推理和预测任务中的有效性，并且我们的模型有可能在尚未完全理解的系统中发现相关的对象属性。
2018-07-25 cs.AI cs.CV cs.LG
StrTransformer: Source-Wise Structured Transformers for Unsupervised Blind Source Recovery
PolyU
提出StrTransformer框架，通过源向结构化Transformer分支和观测空间混合器直接优化潜在源矩阵，实现盲源恢复和分支潜在建模。
2026-05-25 cs.LG stat.ML
Latent Structural Similarity Networks for Unsupervised Discovery in Multivariate Time Series
Independent Researcher（独立研究者）；University of Cambridge（剑桥大学）
本文提出了一种用于多变量时间序列无监督发现的潜在结构相似性网络，通过无监督学习构建实体间关系图，展示潜在相似性对网络结构的影响。
2026-01-15 cs.LG
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；The University of Hong Kong（香港大学）
本文提出AR-Flow VAE，通过自回归流先验提升潜变量建模灵活性，有效捕捉复杂非高斯行为和结构依赖，验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
Video Interpolation and Prediction with Unsupervised Landmarks
NVIDIA Corporation（英伟达公司）
长距离视频数据的预测和插值涉及对每个可见对象的运动轨迹、遮挡和非遮挡以及由于视点和照明引起的外观变化进行建模的复杂任务。基于光流的技术一般化，但仅适用于短时间范围。许多方法选择将视频帧投影到低维潜在空间，实现远程预测。然而，这些潜在的表征通常是不可解释的，因此难以操纵。这项工作提出了视频预测和插值作为无监督的潜在结构推理，然后在这个潜在空间的时间预测。潜在的表示捕捉前景语义，而没有显式的监督，如关键点或姿势。此外，由于每个地标可以被映射到指示语义部分位于何处的坐标，因此我们可以在坐标域内可靠地插值以实现可预测的运动插值。鉴于图像解码器能够将这些地标映射回图像域，我们能够通过在地标表示空间上操作来实现高质量的长距离视频内插和外插。
2019-09-06 cs.CV cs.LG stat.ML
Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization
University of South Florida（南佛罗里达大学）
在本文中，我们提出了一种新的无监督聚类方法，利用隐藏的信息，是间接引入通过一个伪分类目标。具体来说，我们随机地为每个观察分配一个伪父类标签，然后通过应用与所分配的标签相关联的特定于域的变换来修改该标签。生成的伪观测标记对随后用于训练具有自动聚类输出层（ACOL）的神经网络，该自动聚类输出层为每个伪父类引入多个softmax节点。由于基于基于图的活动正则化（GAR）项的无监督目标，每个父类的softmax副本都是专门的，因为通过特定于域的变换捕获的隐藏信息在训练期间传播。最终我们得到一个k-means友好的潜在表示。此外，我们还演示了所选择的转换类型如何影响性能，并有助于传播有助于揭示未知聚类的潜在信息。我们的研究结果显示了MNIST，SVHN和USPS数据集上无监督聚类任务的最新性能，具有迄今为止文献中报道的最高精度。
2018-02-08 cs.LG stat.ML
Independent Subspace Analysis for Unsupervised Learning of Disentangled Representations
Microsoft Research（微软研究院）；University of Cambridge（剑桥大学）；Google Brain（谷歌大脑）
最近，人们越来越关注使用变分自动编码器（VAE）框架对解纠缠表示进行无监督学习。大多数现有的工作主要集中在修改变分成本函数，以实现这一目标。我们首先表明，这些修改，例如β-VAE，简化的倾向，变分推断欠适应造成病理过度修剪和过度正交化的学习组件。其次，我们提出了一个补充的方法：修改概率模型与结构化的潜在先验。这种先验允许发现被构造成独立向量空间的层次结构的潜在变量表示。所提出的先验有三个主要优点：第一，与标准VAE正常先验相比，所提出的先验不是旋转不变的。这解决了标准VAE正态先验不可识别的问题。其次，我们证明了建议的先验鼓励解开的潜在表示，这有利于学习解开的表示。第三，大量的定量实验表明，在现有技术中，先验显著减轻了重建损失和解纠缠之间的权衡。
2019-09-05 cs.LG stat.ML
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
University of Washington（华盛顿大学）
生成对抗网络（GANs）在许多无监督学习任务中取得了显著的成功，聚类无疑是一个重要的无监督学习问题。虽然人们可以潜在地利用GANs中的潜在空间反向投影来聚类，但我们证明了聚类结构不会保留在GAN潜在空间中。在本文中，我们提出了一种新的机制，使用GANs聚类的ChipterGAN。通过从独热编码变量和连续潜变量的混合物中采样潜变量，再加上一个逆网络（将数据投影到潜空间），并使用聚类特定损失进行联合训练，我们能够在潜空间中实现聚类。我们的研究结果显示了一个显着的现象，即GANs可以保持跨类别的潜在空间插值，即使神经网络从未暴露于此类向量。我们将我们的结果与各种聚类基线进行比较，并在合成和真实数据集上表现出卓越的性能。
2019-01-26 cs.LG stat.ML
Unsupervised Dynamic Feature Selection for Robust Latent Spaces in Vision Tasks
Universidade da Coruña（科鲁纳大学）；CITIC Research Center（CITIC研究中心）
针对视觉任务中潜在表征易受噪声/无关特征干扰的问题，提出无监督动态特征选择方法，无标注依赖地逐样本筛选特征以构建鲁棒潜在空间，在多视觉任务上以极小计算代价提升了模型泛化性能。
2025-10-02 cs.AI cs.CV cs.LG
Hidden Markov Nonlinear ICA: Unsupervised Learning from Nonstationary Time Series
University of Helsinki（赫尔辛基大学）；Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）
非线性独立成分分析（ICA）的最新进展为无监督特征学习和解纠缠提供了一个原则性的框架。在这样的作品的中心思想是，潜在的成分被假定为是独立的条件下，一些观察到的辅助变量，如时间段指数。这需要将数据手动分割成非固定段，这在计算上是昂贵的、不准确的并且通常是不可能的。因此，这些模型并非完全无监督。我们通过将非线性ICA与隐马尔可夫模型相结合来弥补这些限制，从而产生一个潜在状态代替所观察到的段索引的模型。我们证明了所提出的模型的一般混合非线性，如神经网络的可识别性。我们还展示了如何使用期望最大化算法的模型的极大似然估计。因此，我们实现了一个新的非线性ICA框架，它是无监督的，更有效的，以及能够建模底层的时间动态。
2020-06-22 cs.LG stat.ML
