Unsupervised Image Representation Learning with Deep Latent Particles
Technion - Israel Institute of Technology（以色列理工学院）
我们提出了一种新的视觉数据表示，从外观解开对象的位置。我们的方法，称为深潜粒子（DLP），分解成低维的潜在的视觉输入“粒子”，其中每个粒子是由其空间位置和周围区域的功能。为了驱动这种表示的学习，我们遵循基于VAE的方法，并引入基于spatial-softmax架构的粒子位置先验，以及对粒子之间倒角距离启发的证据下界损失的修改。我们证明，我们的DLP表示是有用的下游任务，如无监督的关键点（KP）检测，图像处理和视频预测的场景组成的多个动态对象。此外，我们表明，我们的概率解释的问题，自然提供了粒子位置的不确定性估计，可用于模型选择，以及其他任务。视频和代码可在https://taldatech.github.io/deep-latent-particles-web/上获得
2022-07-26 cs.AI cs.CV cs.LG
Unsupervised learning of acquisition variability in structural connectomes via hybrid latent space modeling
Department of Electrical and Computer Engineering, Vanderbilt University（范德比尔特大学电气与计算机工程系）；Department of Computer Science, Vanderbilt University（范德比尔特大学计算机科学系）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Laboratory of Behavioral Neuroscience, National Institute on Aging, National Institutes of Health（衰老行为神经科学实验室，国家老龄化研究所，国家卫生研究院）；Peabody College of Education and Human Development, Nashville, Tennessee, USA（教育与人类发展学院，纳什维尔，田纳西州，美国）
本文提出一种无监督框架，通过架构退火平衡离散和连续潜在变量，以捕捉dMRI中的获取变异性，通过混合连续-离散潜在空间建模实现结构连接组的高效分析。
2026-05-13 cs.AI cs.LG stat.ML
When Heterophily Meets Heterogeneous Graphs: Latent Graphs Guided Unsupervised Representation Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文针对异构图表示学习中常被忽视的语义异配性问题，提出LatGRL框架，通过构建同配与异配潜在图并结合自适应双频语义融合机制，实现高效且可扩展的无监督表示学习。
2024-09-01 cs.AI cs.LG cs.SI
Generic Unsupervised Optimization for a Latent Variable Model With Exponential Family Observables
University of Oldenburg（奥尔登堡大学）
本文提出一种适用于指数族观测变量的二元潜变量通用无监督优化方法，基于EM推导通用参数更新方程，结合变分加速实现高效可扩展，可应用于多类数据及方差学习、去噪等场景。
2023-12-15 cs.LG stat.ML
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
Unsupervised learning of phase transitions: from principal component analysis to variational autoencoders
Institut für Theoretische Physik, Universität Heidelberg（海德堡大学理论物理研究所）
我们采用无监督机器学习技术来学习最能描述二维伊辛模型和三维XY模型状态的潜在参数。这些方法的范围从主成分分析到基于人工神经网络的变分自动编码器。在高于和低于临界温度时，使用蒙特卡罗模拟对状态进行采样。我们发现，预测的潜在参数对应于已知的序参量。所讨论的模型的状态的潜在表示被聚类，这使得可以在没有关于它们的存在或底层哈密顿量的先验知识的情况下识别相位。此外，我们发现重构损失函数可以作为相变的通用标识符。
2017-03-12 cond-mat.stat-mech cs.LG stat.ML
Unsupervised Deep Manifold Attributed Graph Embedding
Zhejiang University（浙江大学）；AI Lab, School of Engineering（工程学院AI实验室）；Westlake University（西湖大学）
无监督属性图表示学习是一个具有挑战性的问题，因为结构和特征信息都需要在潜在空间中表示。现有的方法主要通过重构任务来学习潜在表示，但不能直接优化表示，容易出现过平滑现象，从而限制了其在下游任务中的应用。为了缓解这些问题，我们提出了一种新的图嵌入框架，称为深度流形属性图嵌入（DMAGE）。提出了一种节点间测地线相似度计算方法，计算数据空间和潜在空间之间的节点间相似度，并以Bergman散度作为损失函数，使两者之间的差异最小化。然后，我们设计了一个新的网络结构，较少的聚合，以减轻过度平滑的问题，并结合图结构增强，以提高表示的稳定性。我们提出的DMAGE在三个下游任务上远远超过了最先进的方法：无监督可视化，节点聚类和四个流行数据集的链接预测。
2021-04-27 cs.AI cs.LG
Elastic-InfoGAN: Unsupervised Disentangled Representation Learning in Class-Imbalanced Data
UC Davis（加州大学戴维斯分校）；Adobe Research（奥多比研究院）；UCLA（加州大学洛杉矶分校）
我们提出了一种新型的无监督生成模型，它学会将对象身份与类别不平衡数据中的其他低级方面区分开来。我们首先调查了InfoGAN关于均匀性假设的问题，并证明了它在不平衡数据中正确解开对象身份的无效性。我们的主要思想是发现离散的潜在因素的变化不变的真实图像中的身份保持变换，并使用它作为一个信号来学习适当的潜在分布代表对象的身份。在人工（MNIST，3D汽车，3D椅子，ShapeNet）和真实世界（YouTube-Faces）不平衡数据集上的实验证明了我们的方法在解开对象身份作为潜在变化因素方面的有效性。
2020-10-30 cs.CV cs.LG stat.ML
Unsupervised Learning under Latent Label Shift
Carnegie Mellon University（卡内基梅隆大学）
什么样的结构可以使学习者从未标记的数据中发现类？传统的方法依赖于特征空间相似性和对数据的大胆假设。在本文中，我们介绍了潜在的标签偏移（LLS）下的无监督学习，在这里我们可以访问来自多个域的未标记的数据，使标签边缘$p_d(y)$可以跨域移动，但类条件$p(\mathbf{x}|y)$没有。这项工作实例化了一个识别类的新原则：一起移动的元素一起分组。对于有限的输入空间，我们建立了LLS和主题建模之间的同构：输入对应于单词，域文档和标签的主题。解决连续数据，我们证明，当每个标签的支持包含一个可分离的区域，类似于一个锚字，Oracle访问$p(d|\mathbf{x})$足以识别$p_d(y)$和$p_d(y|\mathbf{x})$排列。因此，出于动机，我们引入了一个实用的算法，利用域判别模型如下：（i）推的例子通过域的$p(d|\mathbf{x})$ ;（ii）离散化的数据，通过聚类的例子在$p(d|\mathbf{x})$空间;（iii）执行非负矩阵分解的离散数据;（iv）结合恢复的$p(y|d)$与并行输出$p(d|\mathbf{x})$计算$p_d(y|x) \; \forall d$。通过半合成实验，我们证明了我们的算法可以利用领域信息来改进竞争性的无监督分类方法。我们揭示了一个失败的模式，标准的无监督分类方法时，特征空间的相似性并不表示真正的分组，并表明经验，我们的方法…
2022-12-01 cs.LG stat.ML
Unsupervised Disentanglement Without Compromises : How Functional Orthogonality Enforces Identifiability
EPFL, LTS4 laboratory, Lausanne, Switzerland（瑞士洛桑联邦理工学院，LTS4实验室，洛桑，瑞士）
从函数视角出发，通过生成映射雅可比的正交性约束实现无监督解缠，证明该条件在无需统计独立或因果假设下保证非线性生成模型的可识别性，实验验证了理论有效性。
2026-08-11 cs.AI cs.LG
LaCoGSEA: Unsupervised deep learning for pathway analysis via latent correlation
School of Computing Science（计算科学学院）；University of Glasgow（格拉斯哥大学）
LaCoGSEA通过潜在相关性进行无监督路径分析，结合深度学习与稳健统计，提升癌症亚型区分和路径恢复性能。
2026-01-27 cs.LG q-bio.GN
LatentSLAM: unsupervised multi-sensor representation learning for localization and mapping
Ghent University - imec（根特大学-imec）；University of Antwerp - Flanders Make（安特卫普大学-Flanders Make）
用于同时定位与地图构建（SLAM）的生物启发算法（诸如RatSLAM）已被证明在室内和室外环境中产生有效且鲁棒的机器人导航。然而，一个缺点是由于低维感觉模板的模板匹配而对感知混叠的敏感性。在本文中，我们提出了一种无监督的表示学习方法，产生低维的潜在状态描述符，可用于RatSLAM。我们的方法是传感器不可知的，可以应用于任何传感器模态，如我们所示的相机图像，雷达距离多普勒地图和激光雷达扫描。我们还展示了如何结合多个传感器可以通过减少错误匹配的数量来增加鲁棒性。我们评估了在类似仓库的环境中导航的移动机器人捕获的数据集，移动通过具有相似外观的不同过道，使得SLAM算法难以消除位置的歧义。
2021-05-07 cs.AI cs.RO
One-Class SVM on siamese neural network latent space for Unsupervised Anomaly Detection on brain MRI White Matter Hyperintensities
Univ. Lyon（里昂大学）；CNRS（法国国家科学研究中心）；Inserm（法国国家健康与医学研究院）；INSA Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；CREATIS（CREATIS实验室）
本文提出一种基于孪生图像块自编码器潜在空间与单类SVM的无监督异常检测方法，用于多模态脑MRI白质高信号检测，在WMH挑战赛上取得与当前最优方法相当的性能。
2023-04-17 cs.AI eess.IV
On the Importance of Feature Decorrelation for Unsupervised Representation Learning in Reinforcement Learning
KAIST（韩国科学技术院）；KaKao Enterprise（Kakao企业）
针对强化学习中无监督表示学习的表示坍缩问题，提出结合特征去相关的因果预测新型URL框架，有效提升了Atari 100k基准上的样本效率。
2023-06-09 cs.LG
Unsupervised Representation Learning of Speech for Dialect Identification
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探索使用一个因式分解层次变分自动编码器（FHVAE）模型来学习一个无监督的方言识别（DID）的潜在表示。FHVAE可以学习潜在空间，该潜在空间通过将话语内的更多静态属性编码到两个不同的潜在变量集合中来将它们与更多动态属性分离。方言识别的有用因素，如语音或语言内容，编码的一个分段的潜变量，而不相关的因素，是相对恒定的序列，如通道或扬声器的信息，编码的一个顺序的潜变量。解纠缠特性使得分段潜变量对通道和扬声器变化不太敏感，并且因此减少了来自通道域失配的劣化。我们证明，在完全监督的DID任务中，与在传统声学特征和基于i向量的系统上训练的相同模型相比，在从FHVAE模型中提取的特征上训练的端到端模型实现了最佳性能。此外，我们还表明，所提出的方法可以利用大量的未标记的数据进行FHVAE训练，以学习DID的域不变特征，并在低资源条件下显着提高性能，其中域内数据的标签不可用。
2018-09-12 cs.CL cs.LG eess.AS
Gaussian Mixture Generative Adversarial Networks for Diverse Datasets, and the Unsupervised Clustering of Images
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
生成对抗网络（GANs）已被证明可以生成逼真的合成图像，并取得了显着的成功，但当训练集高度多样化时，它们的性能似乎不那么令人印象深刻。当数据集包含许多不同的类时，为了更好地拟合目标数据分布，我们提出了一种基本GAN模型的变体，称为高斯混合GAN（GM-GAN），其中潜在空间上的概率分布是高斯的混合。我们还提出了一个有监督的变体，它能够有条件的样本合成。为了评估模型的性能，我们提出了一种新的评分方法，它分别考虑到两个（通常是冲突的）措施-多样性与质量的生成数据。通过一系列的实证实验，使用合成和真实世界的数据集，我们定量地表明，GM-GAN在使用常用的Inception Score进行评估时，以及使用我们自己的替代评分方法进行评估时，都优于基线。此外，我们定性地演示了如何的\textit{unsupervised}变体的GM-GAN倾向于映射从不同的高斯在潜在空间中的样本的数据空间中的不同类别的样本的潜在向量。我们展示了如何利用这种现象进行无监督聚类的任务，并提供定量评价，显示我们的方法的图像数据集的无监督聚类的优越性。最后，我们展示了一个功能，它进一步将我们的模型与其他GAN模型区分开来：通过改变潜在空间的概率分布来控制质量多样性权衡的选项。这允许人们根据自己的需要对更高质量和更低多样性的样本进行采样，反之亦然。
2018-08-30 cs.CV cs.LG stat.ML
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University（克莱姆森大学）
条件生成模型在过去几年中取得了相当大的成功，但通常需要大量的标记数据。最近，聚类器GAN将GAN与编码器相结合，通过无监督条件生成来实现显著的聚类性能。然而，它忽略了数据的真实条件分布，这导致为每个类生成较少多样性的样本，并使编码器只能实现次优聚类性能。在这里，我们提出了一个新的无监督条件生成框架，双循环一致的条件GAN（DC 3-GAN），它可以生成不同的类条件样本。除了生成器-编码器对之外，我们还强制GAN的编码器和生成器形成编码器-生成器对，这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对，它可以间接估计真实的条件分布。同时，该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配，从而将潜在空间分解为两部分：独热离散和连续潜在变量。前者可以直接表示为簇，后者表示剩余的未指定因子。这项工作表明，增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明，该方法优于现有的基于生成模型的聚类方法，同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
Unsupervised Latent Pattern Analysis for Estimating Type 2 Diabetes Risk in Undiagnosed Populations
University of New Mexico（新墨西哥大学）
针对监督式T2DM预测缺乏确诊阴性样本的问题，提出融合NMF与统计技术的无监督框架，利用共病和用药潜在模式估计未确诊人群风险。
2025-06-05 cs.LG stat.AP
PatchVAE: Learning Local Latent Codes for Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）
无监督表示学习有望利用大量未标记的数据来学习一般表示。变分自动编码器（VAE）是无监督学习的一种很有前途的技术。然而，VAE学习的无监督表示在识别方面明显优于监督学习学习的表示。我们的假设是，为了学习有用的识别表示，需要鼓励模型学习数据中重复和一致的模式。从中层表示发现工作中得到启发，我们提出了PatchVAE，在补丁级别上对图像进行推理。我们的主要贡献是一个瓶颈制定，鼓励在VAE框架中的中级风格表示。我们的实验表明，表示学习我们的方法执行更好的识别任务相比，那些学习香草VAE。
2020-04-07 cs.CV cs.LG
ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space
Technische Universität Wien (TU Wien)（维也纳技术大学）
本文提出ImitationNet，通过自适应对比学习构建人机共享潜在空间，无需成对数据即可实现高效精确的无监督人体到机器人运动重定向，并支持文本、视频和关键姿态等多种控制方式。
2024-04-08 cs.AI cs.RO
An unsupervised approach to Geographical Knowledge Discovery using street level and street network images
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
最近的研究表明，机器学习方法在地理和城市分析中的使用越来越多，主要是使用监督方法从空间和时间数据中提取特征和模式。将地理过程整合到机器学习模型中以及使用无监督方法对地理数据进行知识发现的研究一直很少。这项研究有助于阶梯，在那里我们展示了如何从城市图像的无监督学习方法中学习到的潜在变量可以用于地理知识发现。特别是，我们提出了一种简单的方法称为卷积PCA（ConvPCA），适用于街道水平和街道网络图像，以找到一组不相关和有序的视觉latentcomponents。该方法允许有意义的解释，使用地理和生成可视化的组合来探索潜在的空间，并显示如何学习表示可以用来预测城市特征，如街道质量和街道网络属性。研究还发现，与可解释性较低的降维技术相比，ConvPCA模型的视觉组件达到了相似的精度。
2019-10-11 cs.CV cs.CY cs.LG
CULT: Continual Unsupervised Learning with Typicality-Based Environment Detection
Brandeis University（布兰迪斯大学）
我们介绍了CULT（连续无监督表示学习与基于典型性的环境检测），一种新的算法，连续无监督学习与变分自动编码器。CULT在VAE的潜在空间中使用一个简单的典型性度量来检测环境中的分布变化，该度量与生成重放和辅助环境分类器结合使用，以限制无监督表示学习中的灾难性遗忘。在我们的实验中，CULT显著优于基线连续无监督学习方法。本文的代码可以在这里找到：https://github.com/oliveradk/cult
2022-07-17 cs.LG
Uncovering Latent Patterns in Social Media Usage and Mental Health: A Clustering-Based Approach Using Unsupervised Machine Learning
AIUB（AIUB大学）
本文利用无监督机器学习对社交媒体使用与心理健康进行聚类分析，识别不同群体的风险特征，通过K-means聚类和PCA可视化揭示隐藏模式及心理健康影响。
2026-04-27 cs.LG
Unsupervised Belief Representation Learning with Information-Theoretic Variational Graph Auto-Encoders
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；College of William and Mary（威廉与玛丽学院）
本文开发了一种新型的无监督算法，用于极化网络中的信念表示学习，该算法（i）揭示底层信念空间的潜在维度，以及（ii）将用户和内容项（与他们交互）联合嵌入到该空间中，以促进许多下游任务，例如立场检测、立场预测和意识形态映射。受信息论中的总相关性的启发，我们提出了信息论变分图自动编码器（InfoVGAE），它学习投影用户和内容项（例如，表示用户视图的帖子）到适当的解开的潜在空间中。为了更好地解开该空间中的潜变量，我们开发了一个总相关正则化模块，比例积分（PI）控制模块，并采用整流高斯分布，以确保正交性。然后，用户和内容的潜在表示可以用于量化他们的意识形态倾向，并检测/预测他们对问题的立场。我们评估了三个真实世界的数据集，其中两个是从Twitter和一个从美国国会投票记录收集的性能建议InfoVGAE。评估结果表明，我们的模型优于最先进的无监督模型，减少了10.5%的用户聚类错误，并实现了12.1%的更高的F1分数的立场分离的内容项目。此外，InfoVGAE产生了与监督模型相当的结果。我们还讨论了它的立场预测和意识形态群体内的用户排名的性能。
2022-05-09 cs.LG cs.SI
Unsupervised Cross-lingual Representation Learning for Speech Recognition
Facebook AI（脸书人工智能）
本文介绍了XLSR，它通过从多种语言的语音原始波形中预训练单个模型来学习跨语言的语音表示。我们建立在wav 2 vec 2.0的基础上，通过在掩蔽的潜在语音表示上解决对比任务来训练wav 2 vec 2.0，并联合学习跨语言共享的潜在语音的量化。由此产生的模型在标记数据上进行了微调，实验表明，跨语言预训练显着优于单语预训练。在CommonVoice基准测试中，XLSR显示与最佳已知结果相比，相对音素出错率降低了72%。在BABEL，我们的方法提高了字出错率16%，相对于可比系统。我们的方法使一个单一的多语言语音识别模型，这是强大的个人模型的竞争力。分析表明，潜在的离散语音表示共享跨语言增加共享相关的语言。我们希望通过发布XLSR-53来促进低资源语音理解的研究，XLSR-53是一个用53种语言预训练的大型模型。
2020-12-15 cs.CL cs.LG cs.SD
TLR: Transfer Latent Representation for Unsupervised Domain Adaptation
Wuhan University（武汉大学）
领域自适应是指通过利用来自源域的数据来学习目标域中的预测模型的过程。许多经典的方法通过建立公共的潜在空间来解决领域自适应问题，这可能会导致跨两个域的许多重要属性的丢失。在这篇手稿中，我们开发了一种新的方法，转移潜在的代表性（TLR），学习一个更好的潜在空间。具体来说，我们设计了一个目标函数的基础上，一个简单的线性自编码器，以获得这两个域的潜在表示。自动编码器中的编码器旨在将两个域的数据投影到鲁棒的潜在空间中。此外，解码器施加了一个额外的约束来重建原始数据，这可以保持两个域的共同属性，并减少导致域移位的噪声。跨领域任务的实验表明TLR的竞争方法的优势。
2018-08-19 cs.AI cs.LG stat.ML
Unsupervised Learning with Imbalanced Data via Structure Consolidation Latent Variable Model
University of Sheffield（谢菲尔德大学）；Inferentia Ltd（Inferentia有限公司）；University of Bristol（布里斯托大学）
不平衡数据上的无监督学习具有挑战性，因为当给定不平衡数据时，当前模型通常由主要类别主导，而忽略数据量较小的类别。我们开发了一个潜变量模型，可以处理不平衡的数据，通过将潜在空间分为共享空间和私人空间。基于高斯过程潜变量模型，我们提出了一种新的核公式，使潜在空间的分离，并推导出一个有效的变分推理方法。我们的模型的性能证明与不平衡的医学图像数据集。
2016-06-30 cs.LG stat.ML
Hyperprior Induced Unsupervised Disentanglement of Latent Representations
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
我们解决了通过深度生成模型学习的潜在表征的无监督解纠缠问题。与目前的证据下限（ELBO）操作的方法相比，我们认为，VAE的潜在空间中的统计独立性可以强制执行的原则分层贝叶斯方式。为此，我们增加了标准的VAE与逆Wishart（IW）之前的协方差矩阵的潜在代码。通过调整IW参数，我们能够鼓励（或阻止）学习的潜在维度的独立性。在一系列数据集（2Dfields，3DChairs，3DFaces和CelebA）上的广泛实验结果表明，我们的方法优于$β$ -VAE，并与最先进的FactorVAE竞争。我们的方法在一个新的数据集（CorrelatedEllipses）上实现了更好的解纠缠和重建，该数据集引入了变化因素之间的相关性。
2019-01-06 cs.AI cs.LG cs.NE
Unsupervised Meta-Learning through Latent-Space Interpolation in Generative Models
University of Central Florida（中佛罗里达大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
无监督元学习方法依赖于使用诸如随机选择、聚类和/或增强之类的技术创建的合成元任务。不幸的是，聚类和增强是依赖于域的，因此它们需要手动调整或昂贵的学习。在这项工作中，我们描述了一种使用生成模型生成元任务的方法。一个关键的组件是一种新的方法，从潜在的空间，生成对象分组到合成类形成的训练和验证数据的元任务的采样。我们发现，所提出的方法，潜在空间插值无监督元学习（LASIUM），优于或有竞争力的Few-Shot分类任务的最广泛使用的基准数据集上的当前无监督学习基线。此外，该方法有望适用于比以前的方法更广泛的领域，而无需手动调整。
2020-06-18 cs.LG stat.ML
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Unsupervised Learning of Latent Physical Properties Using Perception-Prediction Networks
MIT（麻省理工学院）；Stanford University（斯坦福大学）
我们提出了一个框架，完全无监督学习的潜在对象的属性，从他们的相互作用：感知预测网络（PPN）。PPN由一个提取潜在对象属性表示的感知模块和一个使用这些提取的属性来模拟系统动态的预测模块组成，可以完全从对象动态样本中以端到端的方式进行训练。通过PPN学习的潜在对象属性的表示不仅足以准确地模拟由先前看不见的对象组成的系统的动态，而且还可以直接转换为人类可解释的属性（例如，质量、恢复系数）。至关重要的是，PPN还可以推广到新的场景：它们基于梯度的训练可以应用于许多动态系统，它们基于图的结构函数可以应用于由不同数量的对象组成的系统。我们的研究结果证明了基于图的神经架构在以对象为中心的推理和预测任务中的有效性，并且我们的模型有可能在尚未完全理解的系统中发现相关的对象属性。
2018-07-25 cs.AI cs.CV cs.LG
Deep Unsupervised Clustering with Clustered Generator Model
Shanghai Jiao Tong University（上海交通大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
无监督聚类是机器学习和人工智能领域最基本的问题之一。我们提出了聚类生成器模型的聚类，其中包含连续和离散的潜变量。离散潜变量对聚类标签进行建模，而连续潜变量对每个聚类内的变化进行建模。模型的学习在统一的概率框架中进行，并将无监督聚类作为内部步骤，而不需要像现有的基于变分的模型那样需要额外的推理模型。学习的潜变量既可以作为观察到的数据嵌入，也可以作为数据分布的潜在表示。实验结果表明，该模型可以达到有竞争力的无监督聚类精度，并可以学习解开潜在的表示，以产生现实的样本。此外，该模型可以自然地扩展到每像素无监督聚类，这在很大程度上尚未探索。
2019-11-19 cs.LG stat.ML
Unsupervised Learning of Hybrid Latent Dynamics: A Learn-to-Identify Framework
Zhejiang University（浙江大学）；College of Computing and Information Sciences, Rochester Institute of Technology（罗切斯特理工学院计算与信息科学学院）
针对高维时间序列中潜在动力学的无监督学习可识别性挑战，提出Meta-HyLaD框架，结合物理归纳偏置与学习识别策略，通过元学习分离识别混合动力学组件，实验验证其整合先验知识并识别数据差距的优势。
2024-03-13 cs.LG stat.ML
Unsupervised Neural Hidden Markov Models with a Continuous latent state space
ANEO；Centre Borelli - ENS Paris-saclay（巴黎萨克雷高等师范学院博雷利中心）；Criteo AI Lab（科韬人工智能实验室）；Crest, ENSAE（法国国立统计与经济管理学院 Crest 研究中心）
我们介绍了一个新的过程神经化无监督隐马尔可夫模型在连续的情况下。这提供了更高的灵活性来解决潜在的潜在变量的问题。这种方法的合成和真实数据进行评估。除了生成与现成的神经架构（LSTM、GRU等）具有可比性能的可能模型参数之外，所得结果易于解释。
2021-06-10 cs.LG
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University（首尔大学）
具有聚类潜在空间的生成对抗网络（GANs）可以以完全无监督的方式执行条件生成。在现实世界中，未标记数据的显著属性可能是不平衡的。然而，大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性，因为它们假设属性的均匀分布。为了解决这个问题，我们从理论上推导出Stein潜在优化，该优化提供了潜在分布参数的可重新参数化的梯度估计，假设在连续潜在空间中存在高斯混合。在结构上，我们引入了一个编码器网络和新的无监督条件对比损失，以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认，所提出的方法，命名为斯坦潜在优化GANs（SLOGAN），成功地学习平衡或不平衡的属性，并实现了最先进的无监督条件生成性能，即使在没有属性信息的情况下（例如，不平衡度）。此外，我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
Unsupervised Anomaly Detection in NSL-KDD Using $β$-VAE: A Latent Space and Reconstruction Error Approach
Université de Reims Champagne-Ardenne（兰斯香槟-阿登大学）；Seckiot
本文提出基于β-VAE的无监督异常检测方法，通过潜在空间结构和重构误差在NSL-KDD数据集上验证了其在网络流量异常检测中的有效性。
2026-02-23 cs.LG cs.NE stat.ML
Latent Space Unsupervised Semantic Segmentation
University of Oslo（奥斯陆大学）
紧凑和节能的可穿戴传感器的发展导致了生物信号可用性的增加。为了分析这些连续记录的，通常是多维的，大规模的时间序列，能够进行有意义的无监督数据分割是一个吉祥的目标。实现这一点的常见方法是识别时间序列中的变化点作为分割基础。然而，传统的变点检测算法往往存在缺陷，限制了它们的实际应用。值得注意的是，它们通常依赖于完整的时间序列，因此不能用于实时应用。另一个常见的限制是，它们很难（或不能）处理多维时间序列的分割。因此，这项工作的主要贡献是提出了一种新的无监督分割算法的多维时间序列命名为潜在空间无监督语义分割（LS-USS），这是专为工作容易与在线和批量数据。当在各种真实世界的数据集上将LS-USS与其他最先进的变点检测算法进行比较时，在离线和实时设置中，LS-USS系统地实现了同等或更好的性能。
2022-07-31 cs.AI cs.LG
Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications（计算与通信学院）；Lancaster University（兰卡斯特大学）
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力，证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
Unsupervised Latent Space Translation Network
在计算机视觉中经常讨论的一个任务是将图像从一个域映射到另一个域中的对应图像，称为图像到图像转换。目前有几种方法可以解决这个问题。在本文中，我们提出了一个增强的UNIT框架，有助于消除其主要缺点。更具体地说，我们在使用的潜在表示上引入了一个额外的对抗性代理，而不是VAE，这使得两个域的潜在空间分布相似。在MNIST和USPS领域自适应任务上，该方法大大优于竞争方法。
2020-03-20 cs.CV cs.LG eess.IV
Blind Recovery of Latent Domains via Unsupervised Symmetry Discovery
Bogazici University（博阿齐奇大学）
提出无监督框架，通过发现数据分布的对称性，从无结构观测中恢复潜在域和信号，使用浅层群卷积网络并施加平稳性和局部性正则化。
2026-06-17 cs.LG
Optimal Latent Vector Alignment for Unsupervised Domain Adaptation in Medical Image Segmentation
École Centrale de Nantes（南特中央理工学院）；Laboratoire des Sciences du Numérique de Nantes（南特数字科学实验室）；CNRS（法国国家科学研究中心）
本文讨论了分割的域转移问题。作为解决方案，我们提出了OLVA，一种新的和轻量级的无监督领域自适应方法的基础上变分自动编码器（VAE）和最优传输（OT）理论。由于VAE，我们的模型学习了一个遵循正态分布的共享跨域潜在空间，这减少了域偏移。为了保证有效的分割，我们的共享潜在空间被设计为对形状而不是强度变化进行建模。我们进一步依赖于OT损失来匹配和对齐潜在空间中两个域之间的剩余差异。我们证明了OLVA的有效性的公共多模态全心脏分割（MM-WHS）数据集上的多个心脏结构的分割，其中的源域包括注释的3D MR图像和未标记的目标域的3D CT。我们的研究结果显示了显着的改善，额外的利润率为12.5%的骰子分数比并发生成训练方法。
2021-06-15 cs.AI cs.CV cs.LG
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Yandex（扬德克斯）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
GAN模型的潜在空间通常具有语义上有意义的方向。在这些方向上移动对应于人类可解释的图像变换，例如缩放或缩放，从而实现更可控的生成过程。然而，这些方向的发现目前是以监督的方式执行的，需要人类标签，预训练模型或某种形式的自我监督。这些要求严重限制了现有方法可以发现的方向范围。在本文中，我们引入了一种无监督的方法来识别预训练的GAN模型的潜在空间中的可解释方向。通过一个简单的模型不可知的程序，我们发现方向对应于明智的语义操作，没有任何形式的（自我）监督。此外，我们揭示了几个非平凡的发现，这将是很难获得现有的方法，例如，对应于背景去除的方向。作为我们工作的直接实际好处，我们展示了如何利用这一发现来实现弱监督显着性检测的竞争性能。
2020-06-24 cs.CV cs.LG stat.ML
Unsupervised Object Matching for Relational Data
NTT Communication Science Laboratories（NTT通信科学实验室）
提出了一种无监督的关系数据对象匹配方法，该方法在不需要对应信息的情况下，在不同关系数据集中找到对象之间的匹配。例如，所提出的方法在没有字典也没有对齐信息的多语言文档-词网络中匹配不同语言的文档。该方法假设每个对象都有潜在的向量，邻居对象的概率由潜在向量的内积来建模，其中邻居是通过在关系上的短随机游动来生成的。通过最大化每个数据集的邻居的可能性来估计潜在向量。估计的潜在向量包含给定关系数据集中每个对象的隐藏结构信息。然后，该方法通过匹配分布同时保留结构信息，将所有数据集的潜在向量线性投影到所有数据集共享的公共潜在空间上。投影矩阵的估计，通过最小化的正交正则化的潜向量分布之间的距离。为了有效地表示分布，我们使用的核嵌入的分布，持有高阶矩信息的分布作为一个元素，在再生核希尔伯特空间，这使我们能够计算分布之间的距离没有密度估计。通过使用正交正则化器，保留了编码在隐向量中的结构信息。我们使用真实世界的多语言文档-词关系数据集和多个用户-项目关系数据集的实验证明了所提出的方法的有效性。
2018-12-27 cs.LG stat.ML
LAVA: Explainability for Unsupervised Latent Embeddings
Delft University of Technology, The Netherlands（代尔夫特理工大学，荷兰）
LAVA是一种无监督嵌入可解释性方法，通过输入数据特征共变揭示局部嵌入结构，发现领域相关模式。
2026-01-30 cs.AI cs.LG
Unsupervised K-Nearest Neighbor Regression
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
在许多科学学科中，必须找到高维数据的结构，例如，恒星光谱、基因组数据或人脸识别任务。在这项工作中，我们提出了一种新的方法来非线性降维。它基于将K-最近邻回归拟合到用于学习低维流形的无监督回归框架。与大多基于核方法的相关方法类似，无监督K-最近邻（UNN）回归优化了潜在变量w.r.t.采用K-最近邻启发式的数据空间重构误差。优化潜在邻域的问题很难解决，但UNN公式允许设计有效的策略，迭代地将潜在点嵌入到固定的邻域拓扑结构中。UNN非常适合于高维数据的排序。迭代变量进行了实验分析。
2011-09-26 cs.LG stat.ML
Latent Variable Models for Bayesian Causal Discovery
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；ÉTS Montréal（蒙特利尔高等技术学院）
学习不依赖于虚假相关性的预测器涉及构建因果表示。然而，学习这样的表示是非常具有挑战性的。因此，我们制定了从高维数据中学习因果表示的问题，并研究了因果恢复与合成数据。这项工作介绍了一个潜在的变量解码器模型，解码器BCD，贝叶斯因果发现，并在轻度监督和无监督的设置进行实验。我们提出了一系列的合成实验来表征因果发现的重要因素，并表明使用已知的干预目标作为标签有助于无监督贝叶斯推理的结构和参数的线性高斯加性噪声潜在的结构因果模型。
2022-08-11 cs.AI cs.LG stat.ML
Unsupervised Latent Space Alignment with Hyperspherical Geodesic Matching
Northeastern University（东北大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
该研究提出HGA方法，无需配对样本即可实现潜在空间的无监督对齐，在模型拼接等任务中性能可与有监督方法相当。
2026-09-01 cs.LG
Designing Complex Experiments by Applying Unsupervised Machine Learning
BMO Financial Group（蒙特利尔银行金融集团）
实验设计（DOE）在学习和改进各种对象和过程中起着至关重要的作用。本文讨论了应用无监督机器学习来支持复杂实验的实用设计。复杂试验的特点是有大量的因素，混合水平设计，并可能受到约束，消除一些不可行的试验，由于各种原因。具有这些属性，它是非常具有挑战性的设计实用的实验，是经济的，可操作的，及时的声音。这意味着从完全析因设计中显著减少了所需试验的数量，同时仍然试图实现定义的目标。一个beta变分自编码器（beta-VAE）已被应用到表示试验的初始全因子设计后，过滤掉不可行的试验的低维潜在空间。关于可视化和可解释性，本文仅限于2D表示。Beta-VAE支持（1）潜在空间维度的正交性，（2）潜在空间上的表示的各向同性多变量标准正态分布，（3）潜在空间表示通过因子水平的解纠缠，（4）初始设计的应用约束到潜在空间中的传播，以及（5）通过解码潜在空间点来生成试验。在具有这些属性的潜在空间上具有初始设计表示，它允许通过指定潜在空间上的试验次数及其模式（例如正方形或极坐标网格）来生成实用的实验设计（G-DOE）。聚类和聚合梯度度量已被证明可以指导网格规范。
2021-10-05 cs.LG stat.ML
Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts
University of Waterloo（滑铁卢大学）
本文提出一种利用自然语言提示和图像描述映射潜在方向的无监督框架，无需训练特定向量即可自动分析扩散模型潜在空间中的偏差和表示，实现更可扩展和可解释的理解。
2024-11-04 cs.AI cs.CL cs.CV
Unsupervised Neural Single-Document Summarization of Reviews via Learning Latent Discourse Structure and its Ranking
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文重点研究了无监督的单一产品评审的端到端抽象总结。我们假设一篇综述可以被描述为一棵话语树，其中摘要是根，子句详细解释了它们的父句。通过递归地从其子节点估计父节点，我们的模型在没有外部解析器的情况下学习潜在话语树，并生成简洁的摘要。我们还介绍了一个架构，排名树上的每个句子的重要性，以支持摘要生成集中在主要的审查点。实验结果表明，我们的模型是有竞争力的，或优于其他无监督的方法。特别是，对于相对较长的审查，它实现了竞争力或更好的性能比监督模型。归纳树显示子句子提供了关于其父句子的附加信息，生成的摘要摘要概括了整个评论。
2019-06-13 cs.AI cs.CL cs.LG
ASTER: Latent Pseudo-Anomaly Generation for Unsupervised Time-Series Anomaly Detection
University of Montreal（蒙特利尔大学）；Université de Montréal（蒙特利尔大学）
提出ASTER框架，在潜在空间生成伪异常训练Transformer分类器，结合预训练LLM增强表示，在三个基准数据集上达到最优性能。
2026-06-12 cs.AI cs.CV cs.LG
A Disentangled Recognition and Nonlinear Dynamics Model for Unsupervised Learning
Technical University of Denmark（丹麦技术大学）；DeepMind
本文在动态变化的视频中向时间推理迈出了一步，不是在构成其帧的像素空间中，而是在描述其世界中对象的非线性动态的潜在空间中。我们介绍了卡尔曼变分自动编码器，一个框架，用于无监督学习的顺序数据，解开两个潜在的表示：一个对象的表示，来自识别模型，和一个潜在的状态描述其动态。结果，世界的演化可以被想象，并且缺失数据可以被估算，两者都不需要在每个时间步生成高维帧。该模型在各种模拟物理系统的视频上进行端到端训练，在生成和缺失数据插补任务中优于竞争方法。
2017-10-30 cs.LG stat.ML
Latent Structural Similarity Networks for Unsupervised Discovery in Multivariate Time Series
Independent Researcher（独立研究者）；University of Cambridge（剑桥大学）
本文提出了一种用于多变量时间序列无监督发现的潜在结构相似性网络，通过无监督学习构建实体间关系图，展示潜在相似性对网络结构的影响。
2026-01-15 cs.LG
Unsupervised Detection and Explanation of Latent-class Contextual Anomalies
TU Berlin（柏林工业大学）；Petrobras（巴西国家石油公司）；AIP, RIKEN（理化学研究所AIP）；Korea University（高丽大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
检测和解释异常是一项具有挑战性的工作。当数据表现出很强的依赖性，并且需要在各自的背景下评估和分析单个测量时，这一点尤其适用。在这项工作中，我们考虑的情况下，测量是non-i.i.d，即样本依赖于相应的离散潜变量，通过一些给定的依赖结构，上下文信息连接。我们的贡献是双重的：（i）在支持向量数据描述（SVDD）的基础上，提出了一种能够有效处理隐类依赖结构的方法。我们进一步表明，我们的方法整齐地概括香草SVDD以及k-均值和条件随机场（CRF），并提供了相应的概率解释。(ii)在无法量化异常检测器准确性的无监督场景中，拥有人类可解释的解决方案是成功的关键。基于深度泰勒分解和我们训练的异常检测器作为神经网络的重新表述，我们能够将预测反向传播到像素域，从而识别高相关性的特征和区域。我们证明了我们的新方法的有用性玩具数据与已知的时空结构，并成功地验证合成以及真实世界的离岸数据从石油工业。
2018-06-29 cs.LG stat.ML
