Unsupervised Feature Selection with Adaptive Structure Learning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
特征选择的问题在过去的十年中引起了相当大的兴趣。传统的无监督方法选择能够忠实地保持数据内在结构的特征，其中内在结构是利用数据的所有输入特征来估计的。然而，当不去除冗余和噪声特征时，估计的内在结构是不可靠/不准确的。因此，我们面临着一个两难的境地：一个需要数据的真实结构来识别信息特征，一个需要信息特征来准确地估计数据的真实结构。为了解决这个问题，我们提出了一个统一的学习框架，同时进行结构学习和特征选择。该方法从特征选择的结果中自适应地学习数据结构，并重新选择信息特征以保持数据的精细结构。通过利用这两个基本任务之间的相互作用，我们能够捕获准确的结构并选择更多信息的特征。在许多基准数据集上的实验结果表明，该方法优于许多最先进的无监督特征选择方法。
2015-04-03 cs.LG
Knowledge Discovery using Unsupervised Cognition
Avatar Cognition（阿凡达认知公司）
本文提出三种基于已训练Unsupervised Cognition模型的知识发现技术，包括模式挖掘、特征选择和降维，以区分相关与无关特征并提取有意义的模式，实验证明其超越了现有技术水平。
2025-01-28 cs.AI cs.LG
Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection
HuaQiao University（华侨大学）；Fuzhou University（福州大学）
特征选择是数据采掘和机器学习中一个重要的数据预处理过程，它可以在不降低模型性能的前提下降低特征维数。由于获取带注释的数据在许多情况下是费力的，甚至是不可行的，无监督的特征选择在现实中更实用。虽然已经提出了许多无监督的特征选择方法，但这些方法都是独立地选择特征，因此不能保证选择的特征组是最优的。此外，必须仔细调整所选特征的数量以获得满意的结果。为了解决这些问题，本文提出了一种联合自适应图和结构稀疏正则化无监督特征选择（JASFS）方法.该方法在流形学习中引入一个关于变换矩阵的$l_{2,0}$范数正则化项用于特征选择，在学习模型中引入一个图正则化项用于自适应地学习数据的局部几何结构.通过对该优化问题的计算复杂性分析，设计了一种简单有效的迭代算法。优化完成后，将分组选择最优特征子集，并自动确定所选特征的数量。八个基准测试的实验结果表明，该方法的有效性和效率相比，一些国家的最先进的方法。
2022-04-07 cs.LG
Global and Local Structure Preserving Sparse Subspace Learning: An Iterative Approach to Unsupervised Feature Selection
University of Electronic Science and Technology of China（电子科技大学）；University of Alberta（阿尔伯塔大学）；University of Waterloo（滑铁卢大学）
由于我们的目标是减轻高维灾难，子空间学习变得越来越流行。现有的方法使用的是关于数据的全局或局部结构的信息，很少有研究同时关注全局和局部结构，因为它们都包含重要的信息。本文提出了一种全局和局部结构保持的稀疏子空间学习（GLoSS）模型，用于无监督特征选择。该模型可以同时实现特征选择和子空间学习。此外，我们开发了一个贪心算法来建立一个通用的组合模型，并使用基于加速块坐标下降的迭代策略来解决GLoSS问题。给出了该迭代算法的全序列收敛性分析。在真实数据集上进行了大量的实验，以显示所提出的方法优于几种最先进的无监督特征选择方法。
2015-10-19 cs.LG
Multi-view Unsupervised Feature Selection by Cross-diffused Matrix Alignment
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在大数据时代，多视角的高维数据变得越来越普遍。特征选择是缓解多视图学习中维数灾难的有效方法。在本文中，我们研究了无监督特征选择的多视图数据，类标签通常是昂贵的获得。传统的特征选择方法大多是针对单视图数据设计的，不能充分利用多视图数据中的丰富信息。现有的多视图特征选择方法通常是基于噪声聚类标签，这可能无法从多视图数据中保留足够的信息。为了更好地利用多视图信息，我们提出了一种方法，CDMA-FS，通过交叉扩散矩阵上执行对齐来选择每个视图的特征。我们将其表述为一个约束优化问题，并使用基于拟牛顿的方法求解。在四个真实世界数据集上的实验结果表明，该方法在多视图环境下比现有方法更有效。
2017-05-02 cs.LG
Worse than Random: The Importance of a Baseline for Unsupervised Feature Selection -- Extended Version
University of Southern Denmark（丹麦南部大学）；New Jersey Institute of Technology（新泽西理工学院）；Oratio Technologies（Oratio技术公司）
提出使用随机特征选择作为基线，实证表明许多现有无监督特征选择方法在性能和效率上均不如随机选择，强调新方法开发中必须以此基线确保改进。
2026-10-30 cs.AI cs.LG
AutoEncoder Inspired Unsupervised Feature Selection
Peking University（北京大学）
在计算机视觉和机器学习任务等许多领域，高维数据给计算和分析带来了困难。特征选择是从观测到的特征中选择一个子集，是一种广泛使用的提高高维数据机器学习模型性能和有效性的方法。在本文中，我们提出了一种新的自动编码器特征选择（AEFS）的无监督特征选择结合自动编码器回归和组套索任务。与传统的特征选择方法相比，AEFS能够挖掘特征间的线性和非线性信息，从而选择出最重要的特征，比传统的自表示方法在无监督特征选择中只采用线性假设的情况下更加灵活。在基准数据集上的实验结果表明，该方法优于现有方法。
2018-04-09 cs.LG stat.ML
Fairness-Aware Unsupervised Feature Selection
Tsinghua University（清华大学）；Brandeis University（布兰迪斯大学）；University of Virginia（弗吉尼亚大学）
特征选择是一种普遍的数据预处理范例，用于各种学习任务。由于获取监督信息的代价昂贵，无监督特征选择近年来引起了人们的极大兴趣。然而，现有的无监督特征选择算法没有公平性考虑，并且通过选择与受保护属性（诸如性别、种族和民族）过度关联的特征而遭受放大歧视的高风险。在本文中，我们做了初步的调查公平意识的无监督特征选择问题，并开发了一个原则性的框架，利用内核对齐找到一个子集的高质量的功能，可以最好地保留在原始特征空间中的信息，同时最低限度地与受保护的属性相关。具体而言，不同于主流的处理中去偏置方法，我们提出的框架可以被视为一个模型无关的去偏置策略，消除偏见和歧视之前，下游学习算法参与。多个真实数据集上的实验结果表明，我们的框架实现了效用最大化和公平性促进之间的良好权衡。
2021-06-04 cs.AI cs.LG
Unsupervised feature selection using Bayesian Tucker decomposition
Department of Physics, Chuo University（筑波大学物理系）；Graduate School of Social Data Science, Hitotsubashi University（早稻田大学社会数据科学研究生院）
本文提出贝叶斯塔克分解（BTuD）用于无监督特征选择，通过高阶正交迭代实现，适用于多种数据集，展示了其在基因表达等领域的应用潜力。
2026-04-18 cs.LG stat.ML
Block Model Guided Unsupervised Feature Selection
University of California, Davis（加利福尼亚大学戴维斯分校）
特征选择是数据挖掘的一个核心领域，最近的创新是图驱动的无监督特征选择的链接数据。在此设置中，我们有一个数据集$\mathbf{Y}$，该数据集由每个具有$m$特征的$n$实例和相应的$n$节点图（其邻接矩阵为$\mathbf{A}$）组成，该节点图具有指示两个实例相似的边。在属性网络上进行无监督特征选择的现有努力已经探索了通过求解$f$来直接重新生成链接，使得$f(\mathbf{y}_i,\mathbf{y}_j) \approx \mathbf{A}_{i,j}$或在$\mathbf{A}$中找到社区结构并使用$\mathbf{Y}$中的特征来预测这些社区。然而，图形驱动的无监督特征选择仍然是一个研究不足的领域，探索更复杂的指导。在这里，我们采取了新的方法，首先在图上建立一个块模型，然后使用块模型进行特征选择。也就是说，我们发现$\mathbf{F}\mathbf{M}\mathbf{F}^T \approx \mathbf{A}$，然后找到一个子集的功能$\mathcal{S}$，诱导另一个图，以保持$\mathbf{F}$和$\mathbf{M}$。我们称我们的方法块模型引导无监督特征选择（BMGUFS）。实验结果表明，我们的方法优于国家的最先进的几个现实世界的公共数据集上找到高质量的特征聚类。
2020-07-05 cs.LG stat.ML
Distance Rank Score: Unsupervised filter method for feature selection on imbalanced dataset
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Univ. Savoie Mont Blanc（萨瓦大学）；CNRS（法国国家科学研究中心）；Optimistik
本文提出一种基于斯皮尔曼秩相关的无监督过滤特征选择方法，通过观测距离与特征距离的秩相关性避免方差法在不平衡多类数据上的缺陷，并在多个聚类任务中验证其有效性。
2023-05-31 cs.LG stat.ML
Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection
Air Force Engineering University（空军工程大学）；Northwestern Polytechnical University（西北工业大学）
在数据采掘领域，如何处理高维数据是一个不可避免的问题。无监督特征选择由于不依赖于标签而受到越来越多的关注。基于谱的无监督方法的性能取决于构造的相似性矩阵的质量，该矩阵用于描述数据的内在结构。然而，现实世界中的数据包含大量的噪声样本和特征，使得由原始数据构造的相似度矩阵不能完全可靠。更糟糕的是，随着样本数量的增加，相似度矩阵的大小迅速膨胀，使得计算成本显著增加。受主成分分析的启发，我们提出了一种简单有效的无监督特征选择方法，通过结合重建误差和$l_{2,p}$ -范数正则化。投影矩阵用于特征选择，通过在稀疏约束下最小化重建误差来学习。然后，我们提出了一个有效的优化算法来解决所提出的无监督模型，并从理论上分析了算法的收敛性和计算复杂性。最后，在真实数据集上的实验证明了该方法的有效性。
2020-12-29 cs.LG stat.ML
Unsupervised Feature Selection based on Adaptive Similarity Learning and Subspace Clustering
University of Tehran（德黑兰大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
特征选择方法对提高数据的可读性和降低学习算法的复杂度具有重要作用。近年来，由于在大数据集上的标记任务繁重，基于无监督观点的特征选择问题得到了各种各样的研究。本文提出了一种基于子空间聚类的无监督特征选择新方法，通过对样本间低维子空间的表示学习来保持样本间的相似性。一个自我表达的模型是采用隐式学习的聚类相似性的自适应方式。该方法不仅通过子空间聚类来保持样本的相似性，而且还基于正则化回归模型来捕获判别信息。在基准数据集上的实验结果表明，与现有的方法相比，我们的方法的有效性与所提出的方法的收敛性分析。
2019-12-10 cs.LG stat.ML
K-means Derived Unsupervised Feature Selection using Improved ADMM
School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文提出K-means UFS方法，直接利用K-means目标进行无监督特征选择，并设计改进的ADMM求解NP难优化问题，实验证明其在聚类特征选择上优于现有基线方法。
2024-11-19 cs.AI cs.LG stat.ML
Unsupervised Feature Selection via Robust Autoencoder and Adaptive Graph Learning
Department of Sociology University of California, Davis, California, USA（加州大学戴维斯分校社会学系）
本文提出RAEUFS模型，通过深度自编码器学习非线性特征表示并提高对异常值的鲁棒性，实验表明其在清洁和异常值污染数据中均优于现有方法。
2026-03-19 cs.LG stat.ML
Unsupervised Hypergraph Feature Selection via a Novel Point-Weighting Framework and Low-Rank Representation
Amirkabir University of Technology（阿米尔卡比尔理工大学）
特征选择方法被广泛用于解决“维数灾难”问题。许多提出的特征选择框架，平等地对待所有的数据点，忽略了它们不同的表示能力和重要性。在本文中，我们提出了一个无监督的超图特征选择方法，通过一个新的点加权框架和低秩表示，捕捉不同的数据点的重要性。我们引入了一种新的低复杂度的软超图来建模数据。然后，我们制定的特征选择作为一个优化问题，以保持局部关系，也是全球的数据结构。我们的全局结构保存方法有助于该框架克服无监督学习中数据标签不可用的问题。所提出的特征选择方法根据数据点在定义数据结构和表示能力方面的重要性来处理不同的数据点。此外，由于特征选择方法对噪声和离群值的鲁棒性是非常重要的，我们在我们的模型中采用低秩表示。此外，我们提供了一个有效的算法来解决所提出的优化问题。所提出的算法的计算成本低于许多国家的最先进的方法，这是非常重要的特征选择任务。我们在不同的基准数据集上进行了各种评估方法的综合实验。这些实验表明，显着的改善，与国家的最先进的特征选择方法相比。
2018-10-03 cs.LG stat.ML
Unsupervised Feature Selection Based on Space Filling Concept
University of Lausanne（洛桑大学）
本文讨论了无监督特征选择问题的一个新的措施的适应。所提出的措施是基于空间填充的概念，被称为覆盖措施。该方法被用于判断一个实验空间填充设计的质量。在目前的工作中，覆盖率的措施是适应于选择最小的信息子集的变量，通过减少数据中的冗余。本文提出了一个简单的类比来应用这一措施。它是实现在一个过滤器算法的无监督特征选择问题。该滤波算法对高维数据具有较强的鲁棒性，且无需额外参数即可实现。此外，它是测试与模拟数据和现实世界的案例研究，包括环境数据和高光谱图像。最后，用随机森林算法对结果进行了评价。
2017-06-27 cs.LG stat.ME stat.ML
Adaptive Collaborative Similarity Learning for Unsupervised Multi-view Feature Selection
Shandong Normal University（山东师范大学）；Shandong University（山东大学）；University of Electronic Science and Technology of China（电子科技大学）；National University of Singapore（新加坡国立大学）
本文研究了无监督多视图特征选择的研究问题。传统的解决方案首先简单地将多个预先构建的视图特定相似性结构组合成协作相似性结构，然后执行后续的特征选择。这两个过程是分开和独立的。协作相似性结构在特征选择期间保持固定。此外，简单的无向视图组合可能不利地降低用于特征选择的最终相似性结构的可靠性，因为视图特定的相似性结构通常涉及噪声和外围条目。为了缓解这些问题，我们提出了一个自适应的协作相似性学习（ACSL）的多视图特征选择。我们建议动态学习的合作相似性结构，并进一步将其与最终的特征选择到一个统一的框架。此外，通过合理的排序约束，自适应地学习出一个理想的协同相似结构，并给出合适的相似度组合权重和理想的邻域分配，这两点都有利于特征选择.一个有效的解决方案，保证证明的收敛性，推导出迭代解决制定的优化问题。实验证明了该方法的优越性。
2019-04-25 cs.IR cs.LG
Unsupervised learning with GLRM feature selection reveals novel traumatic brain injury phenotypes
Perelman School of Medicine（佩雷尔曼医学院）；University of Pennsylvania（宾夕法尼亚大学）
基线损伤分类对创伤性脑损伤（TBI）的研究和治疗具有重要意义。目前的分类主要是基于损伤的评分，不足以捕捉损伤的异质性。在这项工作中，我们应用无监督聚类来识别新的TBI表型。我们的方法使用一个广义低秩模型（GLRM）模型的特征选择在一个类似于包装方法的过程。由此产生的聚类揭示了四种新的TBI表型，具有不同的特征，并与90天的功能和认知状态相关。
2018-11-30 cs.LG q-bio.QM stat.ML
Unsupervised Feature Selection for Tumor Profiles using Autoencoders and Kernel Methods
Universite de Technologie de Troyes（特鲁瓦技术大学）；Instituto de Investigacion en Biomedicina de Buenos Aires (IBioBA)—CONICET Partner Institute of the Max Planck Society（布宜诺斯艾利斯生物医学研究所（IBioBA）—马克斯·普朗克学会合作研究所）
来自肿瘤谱的分子数据是高维的。肿瘤谱可以通过成千上万的基因表达特征来表征。由于基因表达特征集的大小，机器学习方法暴露于噪声变量和复杂性。肿瘤类型呈现异质性，并且可以细分为肿瘤亚型。在许多情况下，肿瘤数据不包括肿瘤亚型标记，因此无监督学习方法对于肿瘤亚型发现是必要的。这项工作旨在学习肿瘤样本的有意义和低维表示，并在不使用肿瘤标签的情况下保留生物特征的同时找到肿瘤亚型聚类。所提出的方法命名为潜在核特征选择（LKFS）是一种无监督的方法，在肿瘤基因表达谱的基因选择。通过使用自动编码器，低维和去噪的潜在空间被学习为目标表示，以指导选择基因子集的多核学习模型。通过使用所选择的基因，聚类方法被用于对样本进行分组。为了评估所提出的无监督特征选择方法的性能，通过临床意义来分析所获得的特征和聚类。所提出的方法已被应用于三个肿瘤数据集，这是脑，肾和肺，每一个由两个肿瘤亚型组成。与基准无监督特征选择方法相比，该方法所得到的结果表明，在所选择的功能和更好的聚类性能较低的冗余。
2020-07-12 cs.LG q-bio.GN q-bio.QM
Blind Recovery of Latent Domains via Unsupervised Symmetry Discovery
Bogazici University（博阿齐奇大学）
提出无监督框架，通过发现数据分布的对称性，从无结构观测中恢复潜在域和信号，使用浅层群卷积网络并施加平稳性和局部性正则化。
2026-06-17 cs.LG
Latent Structural Similarity Networks for Unsupervised Discovery in Multivariate Time Series
Independent Researcher（独立研究者）；University of Cambridge（剑桥大学）
本文提出了一种用于多变量时间序列无监督发现的潜在结构相似性网络，通过无监督学习构建实体间关系图，展示潜在相似性对网络结构的影响。
2026-01-15 cs.LG
Behavior Contrastive Learning for Unsupervised Skill Discovery
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Northwestern Polytechnical University（西北工业大学）
提出基于行为对比学习的无监督技能发现方法，通过最大化同技能行为间互信息上界，隐式增加状态熵，在迷宫和连续控制任务中生成多样且远达技能，下游性能媲美最先进方法。
2023-05-08 cs.LG
Unsupervised Causal Abstractions Discovery
Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
提出从低层测量数据中直接学习高层结构因果模型的方法，利用低秩因果发现假设，证明低秩图观测诱导的潜变量形成因果抽象，并给出可辨识性结果及实用学习目标。
2026-06-19 cs.LG
Constrained Ensemble Exploration for Unsupervised Skill Discovery
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）；Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）；East China University of Science and Technology（华东理工大学）；The Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
本文提出一种基于技能集成的无监督强化学习框架，通过状态原型分区探索和状态分布约束，学习可区分的技能，最大化状态覆盖，并在下游任务中取得优越性能。
2024-05-25 cs.LG
Unsupervised Causal Binary Concepts Discovery with VAE for Black-box Model Explanation
University of Tsukuba（筑波大学）；Riken AIP（日本理化学研究所革新智能综合研究中心）
我们的目的是解释一个黑盒分类器的形式：“数据X被归类为类Y，因为X \textit{has} A，B和\textit{does not have} C”，其中A，B和C是高级概念。挑战在于，我们必须以无监督的方式发现一组概念，即，A、B和C，这对解释分类器很有用。我们首先介绍了一个结构生成模型，适合表达和发现这样的概念。然后，我们提出了一个学习过程，同时学习的数据分布，并鼓励某些概念有一个很大的因果关系的分类器输出的影响。我们的方法还允许用户的先验知识，以诱导高的概念的可解释性容易集成。使用多个数据集，我们证明了我们的方法可以发现有用的二进制概念进行解释。
2021-09-09 cs.LG
CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery
UC Berkeley（加州大学伯克利分校）；NYU（纽约大学）；MetaAI（元人工智能）；Covariant（协变公司）
我们介绍了对比内在控制（CIC），无监督的技能发现算法，最大限度地提高状态转换和潜在技能向量之间的互信息。CIC利用状态转换和技能之间的对比学习来学习行为嵌入，并将这些嵌入的熵最大化作为鼓励行为多样性的内在奖励。我们在无监督强化学习基准测试中评估了我们的算法，该测试包括一个长时间的无奖励预训练阶段，然后是一个短时间的适应阶段，以适应具有外部奖励的下游任务。CIC在适应效率方面大大提高了现有方法，比现有的无监督技能发现方法高出1.79倍，比下一个领先的整体探索算法高出1.18倍。
2022-03-30 cs.AI cs.LG
Disentangled Representation Learning through Unsupervised Symmetry Group Discovery
Sorbonne Université, CNRS, Institut des Systèmes Intelligents et de Robotique, ISIR（索邦大学，国家科学研究中心，智能系统与机器人研究所，ISIR）
提出一种具身智能体通过与环境的无监督交互自主发现动作空间的群结构的方法，证明了在最小假设下真实对称群分解的可识别性，并推导出两种算法以学习线性对称基解缠表示。
2026-05-25 cs.LG
Unsupervised Discovery of 3D Physical Objects from Video
MIT（麻省理工学院）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
我们研究了无监督的物理对象发现问题。虽然现有的框架旨在根据每个对象的外观将场景分解为2D片段，但我们探索了物理学，特别是对象交互，如何以无监督的方式从视频中解开3D几何形状和对象位置。从发展心理学中汲取灵感，我们的物理对象发现网络（POD-Net）使用多尺度像素线索和物理运动线索来准确分割不同大小的可观察和部分遮挡对象，并推断这些对象的属性。我们的模型可靠地分割合成和真实场景中的对象。发现的对象属性也可以用于推理物理事件。
2021-03-23 cs.CV cs.LG
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced（加州大学默塞德分校）
如何有效地发现子目标是分层强化学习（HRL）中的一个挑战性问题。在本文中，我们表明，内在动机学习提高了探索的效率，导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外，我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
Transform-Invariant Non-Parametric Clustering of Covariance Matrices and its Application to Unsupervised Joint Segmentation and Action Discovery
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在这项工作中，我们解决了变换不变的无监督学习的协方差矩阵的空间及其应用的问题。我们首先介绍谱多面体协方差矩阵（SPCM）相似性函数;协方差矩阵的相似性函数，对任何类型的变换都不变。然后，我们推导出SPCM-CRP混合模型，这是一种协方差矩阵的变换不变非参数聚类方法，它利用了提出的相似性函数，谱嵌入和距离依赖的中国餐馆过程（dd-CRP）（Blei和Frazier，2011）。这两个贡献的可扩展性和适用性在来自不同研究领域的真实世界协方差矩阵数据集上得到了广泛验证。最后，我们将SPCM-CRP混合模型与贝叶斯非参数印度自助过程（IBP）-隐马尔可夫模型（HMM）（Fox等人，2009），联合分割和发现变换不变的动作原语从复杂的顺序数据。提出了一种基于主题建模的无监督时间序列数据分析的层次模型ICSC-HMM（IBP Coupled SPCM-CRP Hidden Markov Model）。ICSC-HMM的动觉演示单手和双手烹饪任务进行了验证，实现了无监督的人类层次的分解复杂的顺序任务。
2017-10-27 cs.LG
Direct then Diffuse: Incremental Unsupervised Skill Discovery for State Covering and Goal Reaching
Meta AI；Sorbonne University（索邦大学）；Inria Scool（法国国家信息与自动化研究所Scool项目组）；Ubisoft La Forge（育碧La Forge实验室）
在没有奖励的情况下学习有意义的行为是强化学习中的一个难题。一个理想的和具有挑战性的无监督目标是学习一组不同的技能，这些技能在被引导的同时提供对状态空间的全面覆盖，即，可靠地到达环境的不同区域。在本文中，我们建立在互信息框架的技能发现和介绍UPSIDE，它解决了覆盖导向的权衡在以下方面：1）我们设计的政策与定向技能的解耦结构，训练到达一个特定的区域，其次是扩散部分，诱导局部覆盖。2)我们通过在每个策略到达环境的不同区域的约束下最大化它们的数量来优化策略（即，它们是充分可辨别的）并且证明这用作原始互信息目标的下界。3)最后，我们将学习到的定向技能组合成一棵自适应覆盖环境的生长树。我们在几个导航和控制环境中说明了UPSIDE学习的技能如何比现有基线更好地解决稀疏奖励下游任务。
2022-04-30 cs.LG
A Unified Algorithm Framework for Unsupervised Discovery of Skills based on Determinantal Point Process
Purdue University（普渡大学）；The George Washington University（乔治华盛顿大学）
针对无监督 option 发现中多样性与覆盖度难以兼顾的问题，提出基于 DPP 的统一框架及 ODPP 算法，并在 Mujoco、Atari 任务上验证其优于两类前沿基线。
2023-09-26 cs.LG
Unsupervised Skill Discovery with Bottleneck Option Learning
Seoul National University（首尔国立大学）
拥有从环境中获得内在技能的能力，而不需要像人类一样的任何外部奖励或监督，这是一个重要的问题。我们提出了一种新的无监督技能发现方法命名为信息瓶颈选项学习（IBOL）。除了环境的线性化可以促进更多样化和更远距离的状态转换之外，IBOL还可以发现各种技能。它提供了抽象的技能与信息瓶颈框架的选择与改进的稳定性和鼓励解开。我们的经验表明，IBOL在MuJoCo环境中的信息理论评估和下游任务上优于多种最先进的无监督技能发现方法，包括Ant，HalfCheetah，Hopper和D'Kitty。
2021-06-27 cs.AI cs.LG cs.RO
Rondo: Unsupervised Discovery of Recurring Temporal Structure
Rondo提出无监督方法，通过构建可重用单元词汇表来发现连续时间流中的重复层次结构，在有限数据和持续流场景下优于现有基线。
2026-09-29 cs.AI cs.LG
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
COBRA: Data-Efficient Model-Based RL through Unsupervised Object Discovery and Curiosity-Driven Exploration
DeepMind（深度思维）
数据效率和对任务无关扰动的鲁棒性是深度强化学习算法长期面临的挑战。在这里，我们介绍了一种模块化的方法来解决这些挑战，在一个连续的控制环境中，而不使用手工制作或监督的信息。我们的好奇基于对象的搜索代理（COBRA）使用无任务的内在动机的探索和无监督学习，以建立其环境和行动空间的基于对象的模型。随后，它可以通过基于模型的搜索在非常少的步骤中学习各种任务，并在策略鲁棒性的结构化保持测试中表现出色。
2019-08-14 cs.AI cs.LG
Disentangled Unsupervised Skill Discovery for Efficient Hierarchical Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有无监督技能发现方法中技能缠结、下游任务链接难的问题，提出DUSDi方法，通过分解技能为解缠组件，定义基于互信息目标并利用值分解优化，能有效学习解缠技能并解决下游任务，优于先前方法。
2026-07-14 cs.LG cs.RO
Controllability-Aware Unsupervised Skill Discovery
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
提出可控性感知无监督技能发现方法CSD，通过对难实现状态转移赋予更大距离值并最大化距离，使智能体逐步学习复杂操作与运动技能，实验显著优于既有方法。
2023-06-03 cs.AI cs.LG cs.RO
Unsupervised Driving Event Discovery Based on Vehicle CAN-data
Technical University Darmstadt（达姆施塔特工业大学）；COMPREDICT GmbH（COMPREDICT有限公司）
从车辆控制器局域网（CAN）收集的数据在考虑车队时可以迅速超过人类分析或注释能力，这强调了无监督机器学习方法的重要性。这项工作提出了一种同时聚类和分割的方法，车辆CAN数据，以无监督的方式识别常见的驾驶事件。该方法建立在多变量时间序列的自监督学习（SSL），以区分不同的驾驶事件在学习的潜在空间。我们使用真实的特斯拉Model 3车辆CAN数据集和我们用不同驾驶事件注释的两小时驾驶会话来评估我们的方法。通过我们的方法，我们评估了最近时间序列相关的对比和生成SSL技术的适用性，以学习区分驾驶事件的表示。与用于驱动事件发现的最先进的（SOTA）生成SSL方法相比，我们发现对比学习方法达到了相似的性能。
2023-01-12 cs.LG cs.RO
Robust physics discovery via supervised and unsupervised pattern recognition using the Euler characteristic
Arizona State University（亚利桑那州立大学）
机器学习方法已被广泛用于从测量数据中发现动力系统的底层物理。然而，现有的方法仍然缺乏鲁棒性，特别是当测量数据包含大量噪声时。鲁棒性的缺乏主要归因于所使用的特征的代表性不足。因此，无法准确识别控制所观察系统的内在机制。在这项研究中，我们使用一个有效的拓扑描述符复杂的数据，即，欧拉特征（EC），作为特征来表征从动力系统收集的时空数据并发现潜在的物理。无监督流形学习和监督分类结果表明，EC可以有效地区分不同的系统，但相似的控制模型。我们还证明了使用EC的机器学习方法可以提高物理发现的稀疏回归方法的置信水平。
2021-10-15 cs.CE cs.LG
Unsupervised Musical Object Discovery from Audio
The Swiss AI Lab, IDSIA, USI & SUPSI（瑞士人工智能实验室，IDSIA，卢加诺大学与瑞士南部应用科学与艺术大学）；Institute of Neuroinformatics, ETH Zurich（苏黎世联邦理工学院神经信息学研究所）；AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能计划）
MusicSlots将SlotAttention适配到音频，实现无监督音乐分解，在音符发现和属性预测上优于基线。
2023-11-14 cs.LG cs.SD eess.AS
StampNet: unsupervised multi-class object discovery
Eindhoven University of Technology（埃因霍温理工大学）
图像中的无监督对象发现涉及发现定义对象并将其与背景区分开的重复模式。这比图像聚类更具挑战性，因为对象的大小和位置是未知的：这增加了额外的自由度并增加了问题的复杂性。在这项工作中，我们提出了StampNet，一种新型的自动编码神经网络，它可以在图像中的简单背景上定位形状（对象），并同时对它们进行分类。StampNet由一个离散的潜在空间组成，用于对对象进行分类并确定对象的位置。对象类别是在训练过程中形成的，从而发现了一组固定的对象。我们提出了一组实验，证明StampNet能够本地化和聚类多个重叠的形状，具有不同的复杂性，包括从MNIST数据集的数字。我们还提出了一个应用StampNet在架空深度图中的行人定位。
2019-02-07 cs.CV cs.LG
IR-VIC: Unsupervised Discovery of Sub-goals for Transfer in RL
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个新的框架，以确定子目标的探索有用的顺序决策任务下的部分可观测性。我们利用变分内在控制框架（Gregor等人，2016年），最大限度地提高了授权-可靠地达到不同状态集的能力，并展示了如何通过信息理论正则化器将子目标识别为具有高必要选项信息的状态。尽管被发现没有明确的目标监督，我们的子目标提供了更好的探索和样本复杂性具有挑战性的网格世界导航任务相比，监督同行在以前的工作。
2021-01-03 cs.LG stat.ML
SkiLD: Unsupervised Skill Discovery Guided by Factor Interactions
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Massachusettes, Amherst（马萨诸塞大学阿默斯特分校）；Sony AI（索尼人工智能）
本文提出 Skild，利用状态因子间的局部依赖与多样交互引导无监督技能发现，在长程稀疏奖励及模拟家庭机器人任务中优于仅最大化状态覆盖的方法。
2024-10-24 cs.LG cs.RO
An Unsupervised Bayesian Neural Network for Truth Discovery in Social Networks
Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）
研究了在社会网络中从相互冲突的Agent意见中估计事件真相的问题。自动编码器学习事件真相，代理可靠性和代理观察之间的复杂关系。提出了一种贝叶斯网络模型来指导学习过程，通过建模的自动编码器的输出与不同的变量的关系。同时，它还对网络中Agent之间的社会关系进行了建模。所提出的方法是无监督的，适用于当地面实况标签的事件不可用。变分推理方法用于联合估计贝叶斯网络中的隐变量和自动编码器中的参数。三个真实数据集上的实验表明，我们提出的方法是有竞争力的，在大多数情况下优于，几个国家的最先进的基准方法。
2021-01-25 cs.LG stat.ML
Challenges with unsupervised LLM knowledge discovery
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
该研究指出现有无监督LLM知识发现方法仅能提取激活值的突出特征而非知识，理论证明对比一致性搜索的一致性结构可被任意特征满足，并通过实验验证问题，提出评估未来方法的合理性检验。
2023-12-18 cs.AI cs.LG
Unsupervised Story Discovery from Continuous News Streams via Scalable Thematic Embedding
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Yonsei University（延世大学）
针对现有无监督新闻故事发现方法难以应对复杂演化新闻流的问题，提出带主题嵌入的USTORY可扩展框架，经真实数据验证其性能更优且具鲁棒性与可扩展性。
2023-05-04 cs.CL cs.DB cs.IR
Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery
Seoul National University（首尔国立大学）
当前机器人强化学习（RL）由于固有的特定于任务的训练范式，在推广到新的下游任务时经常遇到困难。为了缓解这一问题，无监督强化学习（unsupervised RL）是一种以任务不可知的方式对智能体进行预训练的框架，而无需获得特定于任务的奖励，它利用积极的探索将各种经验提炼成基本技能或可重用的知识。为了在机器人操作中利用这些好处，我们提出了一种无监督的方法，用于可转移的操作技能发现，将结构化探索与交互行为和可转移的技能学习联系起来。它不仅使智能体能够学习交互行为，机器人操作学习的关键方面，没有访问的环境奖励，但也推广到任意下游的操作任务与学习的任务不可知的技能。通过比较实验，我们表明，我们的方法实现了最多样化的互动行为，并显着提高样本效率在下游任务，包括扩展到多对象，多任务问题。
2022-04-29 cs.LG cs.RO
Unsupervised Skill-Discovery and Skill-Learning in Minecraft
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
以任务不可知的方式预训练强化学习代理已经显示出有希望的结果。然而，以前的作品仍然挣扎在学习和发现有意义的技能，在高维状态空间，如像素空间。我们利用无监督的技能发现和状态表示的自监督学习来解决这个问题。在我们的工作中，我们学习一个紧凑的潜在的表示，利用变分和对比技术。我们证明，这两个使RL代理学习一组基本的导航技能，最大限度地提高信息理论的目标。我们评估我们的方法在Minecraft 3D像素地图具有不同的复杂性。我们的结果表明，从像素中学习到的表示和条件策略对于玩具示例来说已经足够了，但不能扩展到现实和复杂的地图。为了克服这些限制，我们探索替代输入观测，例如代理与原始像素的相对位置。
2021-07-18 cs.AI cs.LG
FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery
University of California, Davis（加州大学戴维斯分校）
我们提出了FineGAN，一种新的无监督GAN框架，它将背景，对象形状和对象外观进行分解，分层生成细粒度对象类别的图像。为了在没有监督的情况下解开这些因素，我们的关键思想是使用信息论将每个因素与潜在代码相关联，并以特定的方式调节代码之间的关系，以诱导所需的层次结构。通过大量的实验，我们证明了FineGAN实现了所需的解纠缠，生成了属于鸟类、狗和汽车等细粒度类别的逼真且多样化的图像。使用FineGAN的自动学习功能，我们还对真实图像进行聚类，作为解决无监督细粒度对象类别发现新问题的第一次尝试。我们的代码/模型/演示可以在https://github.com/kkanshul/finegan上找到
2019-04-09 cs.AI cs.CV cs.GR
Unsupervised Model Selection for Variational Disentangled Representation Learning
DeepMind（深度思维）
最近已经证明，在简单的监督和强化学习任务中，解纠缠表示可以提高公平性、数据效率和泛化能力。为了将解纠缠表示的好处扩展到更复杂的领域和实际应用，重要的是要启用现有无监督方法的超参数调整和模型选择，而无需访问大多数数据集不可用的地面真值属性标签。本文针对这个问题，介绍了一个简单而强大的和可靠的方法，无监督的解纠缠模型选择。我们的方法，无监督解纠缠排名（UDR），利用最近的理论结果解释了为什么变分自编码器解纠缠（Rolinek et al，2019），通过在训练的模型表示之间进行成对比较来量化解纠缠的质量。我们表明，我们的方法对来自六个最先进的无监督分解表示学习模型类的5,400个模型中的现有监督替代方案进行了验证。此外，我们表明，我们的方法产生的排名以及相关的最终任务的性能在两个不同的域。
2020-02-14 cs.LG stat.ML
SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation
Duke University（杜克大学）
视觉概念发现一直被认为是提高神经网络可解释性的重要手段，因为一组语义上有意义的概念将为我们构建具有可理解推理过程的机器学习模型提供起点。以前的方法有缺点：要么他们依赖于标记的支持集，其中包含人类对“有用”对象的偏见，要么他们无法识别单个图像中出现的多个概念。我们重新定义的概念发现任务作为一个无监督的语义分割问题，并提出SegDiscover，一个新的框架，发现语义有意义的视觉概念，从图像数据集的复杂场景，而无需监督。我们的方法包含三个重要部分：从原始图像生成概念基元，通过在自监督预训练编码器的潜在空间中聚类来发现概念，以及通过神经网络平滑进行概念细化。实验结果证明，我们的方法可以在单个图像中发现多个概念，并且在Cityscapes和COCO-Stuff等复杂数据集上的性能优于最先进的无监督方法。我们的方法可以进一步作为一个神经网络的解释工具，通过比较不同的编码器得到的结果。
2022-04-22 cs.AI cs.CV cs.LG
Dynamics-Aware Unsupervised Discovery of Skills
Google Brain（谷歌大脑）
传统上，基于基于模型的强化学习（MBRL）旨在学习环境动态的全局模型。一个好的模型可以潜在地使规划算法生成各种各样的行为并解决不同的任务。然而，学习复杂动态系统的精确模型是困难的，即使这样，模型也可能无法在训练状态分布之外很好地泛化。在这项工作中，我们结合了基于模型的学习与无模型学习的原语，使基于模型的规划容易。为此，我们的目标是回答这个问题：我们如何才能发现结果易于预测的技能？我们提出了一个无监督学习算法，动态感知发现的技能（DADS），同时发现可预测的行为，并学习他们的动态。我们的方法可以利用连续的技能空间，理论上，即使是高维状态空间，也可以让我们学习无限多的行为。我们证明，zero-shot规划在学习的潜在空间显着优于标准MBRL和无模型的目标条件强化学习，可以处理稀疏奖励任务，并大大提高了以前的分层强化学习方法的无监督技能发现。
2020-02-14 cs.LG cs.RO stat.ML
