Brain-Inspired Perspective on Configurations: Unsupervised Similarity and Early Cognition
Duke Kunshan University（杜克-昆山大学）；Sichuan University（四川大学）
本文提出了一种基于大脑的配置框架，通过有限分辨率聚类和吸引-排斥动力学，实现无监督相似性与早期认知的建模，展示了其在新颖性检测和动态适应中的优越性能。
2026-07-28 cs.LG q-bio.NC
Rondo: Unsupervised Discovery of Recurring Temporal Structure
Rondo提出无监督方法，通过构建可重用单元词汇表来发现连续时间流中的重复层次结构，在有限数据和持续流场景下优于现有基线。
2026-09-29 cs.AI cs.LG
COBRA: Data-Efficient Model-Based RL through Unsupervised Object Discovery and Curiosity-Driven Exploration
DeepMind（深度思维）
数据效率和对任务无关扰动的鲁棒性是深度强化学习算法长期面临的挑战。在这里，我们介绍了一种模块化的方法来解决这些挑战，在一个连续的控制环境中，而不使用手工制作或监督的信息。我们的好奇基于对象的搜索代理（COBRA）使用无任务的内在动机的探索和无监督学习，以建立其环境和行动空间的基于对象的模型。随后，它可以通过基于模型的搜索在非常少的步骤中学习各种任务，并在策略鲁棒性的结构化保持测试中表现出色。
2019-08-14 cs.AI cs.LG
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced（加州大学默塞德分校）
如何有效地发现子目标是分层强化学习（HRL）中的一个挑战性问题。在本文中，我们表明，内在动机学习提高了探索的效率，导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外，我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
Unsupervised Skill Discovery with Bottleneck Option Learning
Seoul National University（首尔国立大学）
拥有从环境中获得内在技能的能力，而不需要像人类一样的任何外部奖励或监督，这是一个重要的问题。我们提出了一种新的无监督技能发现方法命名为信息瓶颈选项学习（IBOL）。除了环境的线性化可以促进更多样化和更远距离的状态转换之外，IBOL还可以发现各种技能。它提供了抽象的技能与信息瓶颈框架的选择与改进的稳定性和鼓励解开。我们的经验表明，IBOL在MuJoCo环境中的信息理论评估和下游任务上优于多种最先进的无监督技能发现方法，包括Ant，HalfCheetah，Hopper和D'Kitty。
2021-06-27 cs.AI cs.LG cs.RO
Challenges with unsupervised LLM knowledge discovery
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
该研究指出现有无监督LLM知识发现方法仅能提取激活值的突出特征而非知识，理论证明对比一致性搜索的一致性结构可被任意特征满足，并通过实验验证问题，提出评估未来方法的合理性检验。
2023-12-18 cs.AI cs.LG
SUSD: Structured Unsupervised Skill Discovery through State Factorization
Department of Computer Engineering（计算机工程系）
提出SUSD框架，通过将状态空间分解为独立组件并分配不同技能变量，结合动态模型自适应引导探索，实现更丰富多样的无监督技能发现，并在分解环境中显著优于现有方法。
2026-06-03 cs.AI cs.LG
Controllability-Aware Unsupervised Skill Discovery
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
提出可控性感知无监督技能发现方法CSD，通过对难实现状态转移赋予更大距离值并最大化距离，使智能体逐步学习复杂操作与运动技能，实验显著优于既有方法。
2023-06-03 cs.AI cs.LG cs.RO
SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation
Duke University（杜克大学）
视觉概念发现一直被认为是提高神经网络可解释性的重要手段，因为一组语义上有意义的概念将为我们构建具有可理解推理过程的机器学习模型提供起点。以前的方法有缺点：要么他们依赖于标记的支持集，其中包含人类对“有用”对象的偏见，要么他们无法识别单个图像中出现的多个概念。我们重新定义的概念发现任务作为一个无监督的语义分割问题，并提出SegDiscover，一个新的框架，发现语义有意义的视觉概念，从图像数据集的复杂场景，而无需监督。我们的方法包含三个重要部分：从原始图像生成概念基元，通过在自监督预训练编码器的潜在空间中聚类来发现概念，以及通过神经网络平滑进行概念细化。实验结果证明，我们的方法可以在单个图像中发现多个概念，并且在Cityscapes和COCO-Stuff等复杂数据集上的性能优于最先进的无监督方法。我们的方法可以进一步作为一个神经网络的解释工具，通过比较不同的编码器得到的结果。
2022-04-22 cs.AI cs.CV cs.LG
Pretrained equivariant features improve unsupervised landmark discovery
National University of Singapore（新加坡国立大学）
定位语义上有意义的标志点是大量计算机视觉管道的关键组成部分。由于具有真实地标注释的可用数据集数量很少，因此设计鲁棒的无监督和半监督地标检测方法非常重要。最近的许多无监督学习方法依赖于地标的等方差特性来合成图像变形。我们的工作集中在这些广泛使用的方法上，并揭示了其核心问题，即无法产生等变中间卷积特征。这一发现使我们制定了一个两步的无监督方法，通过首先学习强大的基于像素的特征，然后使用预先训练的特征通过传统的等方差方法学习地标检测器来克服这一挑战。我们的方法在几个具有挑战性的地标检测数据集（如BBC Pose数据集和Cat-Head数据集）中产生了最先进的结果。它在一系列其他基准测试中进行了测试。
2021-04-07 cs.AI cs.CV cs.LG
Lipschitz-constrained Unsupervised Skill Discovery
Seoul National University（首尔国立大学）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）
我们研究了无监督的技能发现问题，其目标是在没有外部奖励的情况下学习一组多样而有用的技能。已经有许多基于最大化技能和状态之间的互信息（MI）的技能发现方法。然而，我们指出，他们的MI目标通常更喜欢静态的技能，动态的，这可能会阻碍下游任务的应用。为了解决这个问题，我们提出了Lipschitz约束技能发现（LSD），它鼓励代理发现更多样化，动态和深远的技能。LSD的另一个好处是，它的学习表示函数可以用于解决目标跟踪下游任务，即使是以zero-shot方式-即，无需进一步培训或复杂的计划。通过对各种MuJoCo机器人运动和操作环境的实验，我们证明了LSD在技能多样性，状态空间覆盖率和七个下游任务的性能方面优于以前的方法，包括在Humanoid上遵循多个目标的挑战性任务。我们的代码和视频可以在https://shpark.me/projects/lsd/上找到。
2022-02-08 cs.AI cs.LG cs.RO
Unsupervised Skill Discovery as Exploration for Learning Agile Locomotion
Georgia Institute of Technology（佐治亚理工学院）
本文提出新型学习框架SDAX，利用无监督技能发现自主获取多样化技能以克服障碍，并通过双层优化动态调节探索程度，使四足机器人学会爬行、攀爬、跳跃等敏捷行为并成功迁移至真实硬件。
2025-08-12 cs.AI cs.LG cs.RO
FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery
University of California, Davis（加州大学戴维斯分校）
我们提出了FineGAN，一种新的无监督GAN框架，它将背景，对象形状和对象外观进行分解，分层生成细粒度对象类别的图像。为了在没有监督的情况下解开这些因素，我们的关键思想是使用信息论将每个因素与潜在代码相关联，并以特定的方式调节代码之间的关系，以诱导所需的层次结构。通过大量的实验，我们证明了FineGAN实现了所需的解纠缠，生成了属于鸟类、狗和汽车等细粒度类别的逼真且多样化的图像。使用FineGAN的自动学习功能，我们还对真实图像进行聚类，作为解决无监督细粒度对象类别发现新问题的第一次尝试。我们的代码/模型/演示可以在https://github.com/kkanshul/finegan上找到
2019-04-09 cs.AI cs.CV cs.GR
Unsupervised Pairwise Causal Discovery on Heterogeneous Data using Mutual Information Measures
Alstom（阿尔斯通公司）
本文针对异构数据中的成对因果发现问题，提出一种基于稳健互信息度量的无监督方法，并提供了标准无偏基准结果，以替代依赖监督学习的现有基线，为未知环境下的因果发现提供参考。
2024-08-01 cs.AI cs.LG stat.ME
ViRel: Unsupervised Visual Relations Discovery with Graph-level Analogy
Stanford University（斯坦福大学）
视觉关系构成了理解我们的构图世界的基础，因为视觉对象之间的关系捕获了场景中的关键信息。然后，从数据中自动学习关系是有利的，因为使用预定义标签的学习无法捕获所有可能的关系。然而，目前的关系学习方法通常需要监督，并且没有被设计为推广到具有比训练期间看到的更复杂的关系结构的场景。在这里，我们介绍ViRel，这是一种使用图级类比进行视觉关系无监督发现和学习的方法。在任务中的场景共享相同的底层关系子图结构的设置中，我们的对比同构和非同构图的学习方法以无监督的方式发现任务之间的关系。一旦了解了关系，ViRel就可以通过解析预测的关系结构来检索每个任务的共享关系图结构。使用基于网格世界和抽象推理语料库的数据集，我们证明了我们的方法在关系分类中达到了95%以上的准确率，发现了大多数任务的关系图结构，并进一步推广到具有更复杂关系结构的看不见的任务。
2022-07-04 cs.AI cs.CV cs.LG
Unsupervised Discovery of Mid-Level Discriminative Patches
Carnegie Mellon University（卡内基梅隆大学）
本文的目标是发现一组有区别的补丁，可以作为一个完全无监督的中级视觉表示。所需的补丁需要满足两个要求：1）具有代表性，它们需要在视觉世界中出现足够频繁; 2）具有区分性，它们需要与视觉世界的其他部分足够不同。补丁可以对应于部件、对象、“视觉短语”等，但不限于它们中的任何一个。我们把这作为一个无监督的判别聚类问题的图像补丁的一个巨大的数据集。我们使用一个迭代过程，在聚类和训练判别分类器之间交替进行，同时在每一步都应用仔细的交叉验证来防止过拟合。本文通过实验证明了判别补丁作为无监督的中级视觉表示的有效性，这表明它可以用于代替视觉词的许多任务。此外，判别补丁也可以用于监督机制，如场景分类，其中它们在MIT Indoor-67数据集上展示了最先进的性能。
2012-08-18 cs.AI cs.CV cs.LG
Unsupervised Discovery of 3D Physical Objects from Video
MIT（麻省理工学院）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
我们研究了无监督的物理对象发现问题。虽然现有的框架旨在根据每个对象的外观将场景分解为2D片段，但我们探索了物理学，特别是对象交互，如何以无监督的方式从视频中解开3D几何形状和对象位置。从发展心理学中汲取灵感，我们的物理对象发现网络（POD-Net）使用多尺度像素线索和物理运动线索来准确分割不同大小的可观察和部分遮挡对象，并推断这些对象的属性。我们的模型可靠地分割合成和真实场景中的对象。发现的对象属性也可以用于推理物理事件。
2021-03-23 cs.CV cs.LG
Relational Neural Expectation Maximization: Unsupervised Discovery of Objects and their Interactions
Swiss AI Lab IDSIA, SUPSI, USI（瑞士人工智能实验室IDSIA，南方应用科技大学，瑞士意大利语区大学）；UC Berkeley（加州大学伯克利分校）
常识物理推理是任何智能代理在现实世界中运行的基本要素。例如，它可以用来模拟环境，或推断当前未观察到的世界部分的状态。为了匹配现实世界的条件，必须在不访问监督数据的情况下学习这种因果知识。为了解决这个问题，我们提出了一种新的方法，学习发现对象和模型的物理交互从原始的视觉图像在一个纯粹的\emph{unsupervised}时尚。它结合了关于人类感知的组成性质的先验知识，以考虑对象对之间的交互并有效地学习。在弹跳球的视频中，我们展示了与其他不包含此类先验知识的无监督神经方法相比，我们的方法具有卓越的建模能力。我们展示了它处理遮挡的能力，并表明它可以将学到的知识外推到具有不同数量对象的场景。
2018-02-28 cs.AI cs.LG cs.NE
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
UIUC（伊利诺伊大学厄巴纳-香槟分校）；MIT（麻省理工学院）
提出一种无监督方法从图像集合中发现生成概念，能解耦风格、物体与光照并重组生成新图像，同时可用于下游分类任务。
2023-08-03 cs.AI cs.CV cs.LG
Unsupervised Discovery of Continuous Skills on a Sphere
Mazda Motor Corporation（马自达汽车公司）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；NEC Central Research Laboratories（NEC中央研究实验室）；The University of Tokyo（东京大学）
本文提出DISCS方法，通过在球面上连续表示技能并最大化技能与状态的互信息，实现潜在无限数量多样化技能的无监督学习，并在MuJoCo Ant环境中验证其优于现有离散技能方法。
2023-05-25 cs.AI cs.LG cs.RO
Explore, Discover and Learn: Unsupervised Discovery of State-Covering Skills
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Salesforce Research（Salesforce 研究院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
在没有任务导向奖励函数的情况下获得能力是强化学习研究的前沿。这个问题已经通过授权的视角进行了研究，它在期权发现和信息论之间建立了联系。信息理论的技能发现方法已经从社区获得了很大的兴趣，但很少有研究已经进行了了解其局限性。通过理论分析和经验证据，我们表明，现有的算法遭受一个共同的限制-他们发现的选项，提供了一个穷人的状态空间覆盖。鉴于此，我们提出了“探索，发现和学习”（EDL），一种替代方法，信息理论技能发现。至关重要的是，EDL优化来自授权文献的相同信息理论目标，但使用不同的机器解决优化问题。我们进行了广泛的评估技能发现方法在受控环境中，并表明，EDL提供了显着的优势，如克服覆盖问题，减少依赖的学习技能的初始状态，并允许用户定义一个先验的行为应该学习。代码可在https://github.com/victorcampos7/edl上公开获取。
2020-08-03 cs.AI cs.LG stat.ML
Blind Recovery of Latent Domains via Unsupervised Symmetry Discovery
Bogazici University（博阿齐奇大学）
提出无监督框架，通过发现数据分布的对称性，从无结构观测中恢复潜在域和信号，使用浅层群卷积网络并施加平稳性和局部性正则化。
2026-06-17 cs.LG
Latent Structural Similarity Networks for Unsupervised Discovery in Multivariate Time Series
Independent Researcher（独立研究者）；University of Cambridge（剑桥大学）
本文提出了一种用于多变量时间序列无监督发现的潜在结构相似性网络，通过无监督学习构建实体间关系图，展示潜在相似性对网络结构的影响。
2026-01-15 cs.LG
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
Unsupervised Discovery of Parts, Structure, and Dynamics
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Google Research（谷歌研究院）
人类通过观察物体的运动方式，可以很容易地识别出物体的各个部分及其层次结构;然后，他们就可以预测每个部分未来的运动方式。在本文中，我们提出了一种新的配方，同时学习一个层次化的，解开对象表示和动态模型的对象部分从未标记的视频。我们的部件、结构和动力学（PSD）模型首先通过分层图像表示来识别对象部件;其次，通过将低级概念组成层次结构的结构描述符来预测层次结构;第三，通过预测未来来建模系统动力学。在多个真实和合成数据集上的实验表明，我们的PSD模型在所有三个任务上都表现良好：分割对象部分，构建其层次结构，并捕获其运动分布。
2019-03-12 cs.AI cs.CV cs.LG
Behavior Contrastive Learning for Unsupervised Skill Discovery
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Northwestern Polytechnical University（西北工业大学）
提出基于行为对比学习的无监督技能发现方法，通过最大化同技能行为间互信息上界，隐式增加状态熵，在迷宫和连续控制任务中生成多样且远达技能，下游性能媲美最先进方法。
2023-05-08 cs.LG
SlotGNN: Unsupervised Discovery of Multi-Object Representations and Visual Dynamics
University of Minnesota（明尼苏达大学）
该研究提出包含SlotTransport和SlotGNN的无监督框架，可从视觉数据中发现多目标表征并预测动力学，在机器人重排等任务及真实场景中均表现优异。
2023-10-06 cs.AI cs.CV cs.LG
ComSD: Balancing Behavioral Quality and Diversity in Unsupervised Skill Discovery
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing Institute of Software Technology（南京软件技术研究院）
ComSD通过对比动态奖励平衡状态探索与技能多样性，生成多样且具探索性的无监督技能，在多关节机器人和2D迷宫任务中实现最先进的适应性能。
2025-02-22 cs.AI cs.LG cs.RO
Disentangled Unsupervised Skill Discovery for Efficient Hierarchical Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有无监督技能发现方法中技能缠结、下游任务链接难的问题，提出DUSDi方法，通过分解技能为解缠组件，定义基于互信息目标并利用值分解优化，能有效学习解缠技能并解决下游任务，优于先前方法。
2026-07-14 cs.LG cs.RO
NegatER: Unsupervised Discovery of Negatives in Commonsense Knowledge Bases
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
在机器中编码常识知识是人工智能的长期目标。近年来，自动知识库（KB）的建设技术已经取得了很大的进展。然而，这样的技术主要集中在收购积极（真）KB语句，即使消极（假）语句往往也是重要的判别推理常识知识库。作为对后者的第一步，本文提出了NegatER，一个框架，排名潜在的负面常识知识库使用上下文语言模型（LM）。重要的是，由于大多数知识库不包含否定词，因此NegatER仅依赖于LM中的肯定知识，而不需要地面真实的否定示例。实验表明，与多种对比数据增强方法相比，NegatER产生的否定词更具语法性、连贯性和信息性--在具有挑战性的知识库完成任务中导致统计学上显著的准确性提高，并证实LM中的积极知识可以“重新利用”以生成消极知识。
2021-09-10 cs.AI cs.CL cs.LG
Unsupervised Causal Abstractions Discovery
Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
提出从低层测量数据中直接学习高层结构因果模型的方法，利用低秩因果发现假设，证明低秩图观测诱导的潜变量形成因果抽象，并给出可辨识性结果及实用学习目标。
2026-06-19 cs.LG
Constrained Ensemble Exploration for Unsupervised Skill Discovery
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）；Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）；East China University of Science and Technology（华东理工大学）；The Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
本文提出一种基于技能集成的无监督强化学习框架，通过状态原型分区探索和状态分布约束，学习可区分的技能，最大化状态覆盖，并在下游任务中取得优越性能。
2024-05-25 cs.LG
Unsupervised Musical Object Discovery from Audio
The Swiss AI Lab, IDSIA, USI & SUPSI（瑞士人工智能实验室，IDSIA，卢加诺大学与瑞士南部应用科学与艺术大学）；Institute of Neuroinformatics, ETH Zurich（苏黎世联邦理工学院神经信息学研究所）；AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能计划）
MusicSlots将SlotAttention适配到音频，实现无监督音乐分解，在音符发现和属性预测上优于基线。
2023-11-14 cs.LG cs.SD eess.AS
Unsupervised Causal Binary Concepts Discovery with VAE for Black-box Model Explanation
University of Tsukuba（筑波大学）；Riken AIP（日本理化学研究所革新智能综合研究中心）
我们的目的是解释一个黑盒分类器的形式：“数据X被归类为类Y，因为X \textit{has} A，B和\textit{does not have} C”，其中A，B和C是高级概念。挑战在于，我们必须以无监督的方式发现一组概念，即，A、B和C，这对解释分类器很有用。我们首先介绍了一个结构生成模型，适合表达和发现这样的概念。然后，我们提出了一个学习过程，同时学习的数据分布，并鼓励某些概念有一个很大的因果关系的分类器输出的影响。我们的方法还允许用户的先验知识，以诱导高的概念的可解释性容易集成。使用多个数据集，我们证明了我们的方法可以发现有用的二进制概念进行解释。
2021-09-09 cs.LG
Relevance-guided Unsupervised Discovery of Abilities with Quality-Diversity Algorithms
Imperial College London（帝国理工学院）
质量多样性算法提供了有效的机制来生成大量的多样化和高性能的解决方案，这已被证明是有助于解决下游任务。然而，这些算法中的大多数依赖于行为描述符来描述手工编码的多样性，因此需要关于所考虑的任务的先验知识。在这项工作中，我们引入了相关性指导的无监督发现能力;质量多样性算法，自主地找到适合手头任务的行为特征。特别是，我们的方法引入了一个自定义的多样性度量，导致更高的密度的解决方案附近的区域的学习行为描述符空间。我们评估我们的方法在一个模拟的机器人环境中，机器人自主发现其能力的基础上，其完整的传感器数据。我们评估了三个任务的算法：导航到随机目标，高速前进，并执行半卷。实验结果表明，我们的方法设法发现集合的解决方案，不仅是多样化的，但也很好地适应所考虑的下游任务。
2022-04-21 cs.AI cs.LG cs.NE
Unsupervised Driving Event Discovery Based on Vehicle CAN-data
Technical University Darmstadt（达姆施塔特工业大学）；COMPREDICT GmbH（COMPREDICT有限公司）
从车辆控制器局域网（CAN）收集的数据在考虑车队时可以迅速超过人类分析或注释能力，这强调了无监督机器学习方法的重要性。这项工作提出了一种同时聚类和分割的方法，车辆CAN数据，以无监督的方式识别常见的驾驶事件。该方法建立在多变量时间序列的自监督学习（SSL），以区分不同的驾驶事件在学习的潜在空间。我们使用真实的特斯拉Model 3车辆CAN数据集和我们用不同驾驶事件注释的两小时驾驶会话来评估我们的方法。通过我们的方法，我们评估了最近时间序列相关的对比和生成SSL技术的适用性，以学习区分驾驶事件的表示。与用于驱动事件发现的最先进的（SOTA）生成SSL方法相比，我们发现对比学习方法达到了相似的性能。
2023-01-12 cs.LG cs.RO
Disentangled Representation Learning through Unsupervised Symmetry Group Discovery
Sorbonne Université, CNRS, Institut des Systèmes Intelligents et de Robotique, ISIR（索邦大学，国家科学研究中心，智能系统与机器人研究所，ISIR）
提出一种具身智能体通过与环境的无监督交互自主发现动作空间的群结构的方法，证明了在最小假设下真实对称群分解的可识别性，并推导出两种算法以学习线性对称基解缠表示。
2026-05-25 cs.LG
Robust physics discovery via supervised and unsupervised pattern recognition using the Euler characteristic
Arizona State University（亚利桑那州立大学）
机器学习方法已被广泛用于从测量数据中发现动力系统的底层物理。然而，现有的方法仍然缺乏鲁棒性，特别是当测量数据包含大量噪声时。鲁棒性的缺乏主要归因于所使用的特征的代表性不足。因此，无法准确识别控制所观察系统的内在机制。在这项研究中，我们使用一个有效的拓扑描述符复杂的数据，即，欧拉特征（EC），作为特征来表征从动力系统收集的时空数据并发现潜在的物理。无监督流形学习和监督分类结果表明，EC可以有效地区分不同的系统，但相似的控制模型。我们还证明了使用EC的机器学习方法可以提高物理发现的稀疏回归方法的置信水平。
2021-10-15 cs.CE cs.LG
Unsupervised Story Discovery from Continuous News Streams via Scalable Thematic Embedding
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Yonsei University（延世大学）
针对现有无监督新闻故事发现方法难以应对复杂演化新闻流的问题，提出带主题嵌入的USTORY可扩展框架，经真实数据验证其性能更优且具鲁棒性与可扩展性。
2023-05-04 cs.CL cs.DB cs.IR
StampNet: unsupervised multi-class object discovery
Eindhoven University of Technology（埃因霍温理工大学）
图像中的无监督对象发现涉及发现定义对象并将其与背景区分开的重复模式。这比图像聚类更具挑战性，因为对象的大小和位置是未知的：这增加了额外的自由度并增加了问题的复杂性。在这项工作中，我们提出了StampNet，一种新型的自动编码神经网络，它可以在图像中的简单背景上定位形状（对象），并同时对它们进行分类。StampNet由一个离散的潜在空间组成，用于对对象进行分类并确定对象的位置。对象类别是在训练过程中形成的，从而发现了一组固定的对象。我们提出了一组实验，证明StampNet能够本地化和聚类多个重叠的形状，具有不同的复杂性，包括从MNIST数据集的数字。我们还提出了一个应用StampNet在架空深度图中的行人定位。
2019-02-07 cs.CV cs.LG
IR-VIC: Unsupervised Discovery of Sub-goals for Transfer in RL
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个新的框架，以确定子目标的探索有用的顺序决策任务下的部分可观测性。我们利用变分内在控制框架（Gregor等人，2016年），最大限度地提高了授权-可靠地达到不同状态集的能力，并展示了如何通过信息理论正则化器将子目标识别为具有高必要选项信息的状态。尽管被发现没有明确的目标监督，我们的子目标提供了更好的探索和样本复杂性具有挑战性的网格世界导航任务相比，监督同行在以前的工作。
2021-01-03 cs.LG stat.ML
SkiLD: Unsupervised Skill Discovery Guided by Factor Interactions
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Massachusettes, Amherst（马萨诸塞大学阿默斯特分校）；Sony AI（索尼人工智能）
本文提出 Skild，利用状态因子间的局部依赖与多样交互引导无监督技能发现，在长程稀疏奖励及模拟家庭机器人任务中优于仅最大化状态覆盖的方法。
2024-10-24 cs.LG cs.RO
Transform-Invariant Non-Parametric Clustering of Covariance Matrices and its Application to Unsupervised Joint Segmentation and Action Discovery
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在这项工作中，我们解决了变换不变的无监督学习的协方差矩阵的空间及其应用的问题。我们首先介绍谱多面体协方差矩阵（SPCM）相似性函数;协方差矩阵的相似性函数，对任何类型的变换都不变。然后，我们推导出SPCM-CRP混合模型，这是一种协方差矩阵的变换不变非参数聚类方法，它利用了提出的相似性函数，谱嵌入和距离依赖的中国餐馆过程（dd-CRP）（Blei和Frazier，2011）。这两个贡献的可扩展性和适用性在来自不同研究领域的真实世界协方差矩阵数据集上得到了广泛验证。最后，我们将SPCM-CRP混合模型与贝叶斯非参数印度自助过程（IBP）-隐马尔可夫模型（HMM）（Fox等人，2009），联合分割和发现变换不变的动作原语从复杂的顺序数据。提出了一种基于主题建模的无监督时间序列数据分析的层次模型ICSC-HMM（IBP Coupled SPCM-CRP Hidden Markov Model）。ICSC-HMM的动觉演示单手和双手烹饪任务进行了验证，实现了无监督的人类层次的分解复杂的顺序任务。
2017-10-27 cs.LG
An Unsupervised Bayesian Neural Network for Truth Discovery in Social Networks
Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）
研究了在社会网络中从相互冲突的Agent意见中估计事件真相的问题。自动编码器学习事件真相，代理可靠性和代理观察之间的复杂关系。提出了一种贝叶斯网络模型来指导学习过程，通过建模的自动编码器的输出与不同的变量的关系。同时，它还对网络中Agent之间的社会关系进行了建模。所提出的方法是无监督的，适用于当地面实况标签的事件不可用。变分推理方法用于联合估计贝叶斯网络中的隐变量和自动编码器中的参数。三个真实数据集上的实验表明，我们提出的方法是有竞争力的，在大多数情况下优于，几个国家的最先进的基准方法。
2021-01-25 cs.LG stat.ML
Direct then Diffuse: Incremental Unsupervised Skill Discovery for State Covering and Goal Reaching
Meta AI；Sorbonne University（索邦大学）；Inria Scool（法国国家信息与自动化研究所Scool项目组）；Ubisoft La Forge（育碧La Forge实验室）
在没有奖励的情况下学习有意义的行为是强化学习中的一个难题。一个理想的和具有挑战性的无监督目标是学习一组不同的技能，这些技能在被引导的同时提供对状态空间的全面覆盖，即，可靠地到达环境的不同区域。在本文中，我们建立在互信息框架的技能发现和介绍UPSIDE，它解决了覆盖导向的权衡在以下方面：1）我们设计的政策与定向技能的解耦结构，训练到达一个特定的区域，其次是扩散部分，诱导局部覆盖。2)我们通过在每个策略到达环境的不同区域的约束下最大化它们的数量来优化策略（即，它们是充分可辨别的）并且证明这用作原始互信息目标的下界。3)最后，我们将学习到的定向技能组合成一棵自适应覆盖环境的生长树。我们在几个导航和控制环境中说明了UPSIDE学习的技能如何比现有基线更好地解决稀疏奖励下游任务。
2022-04-30 cs.LG
Dynamics-Aware Unsupervised Discovery of Skills
Google Brain（谷歌大脑）
传统上，基于基于模型的强化学习（MBRL）旨在学习环境动态的全局模型。一个好的模型可以潜在地使规划算法生成各种各样的行为并解决不同的任务。然而，学习复杂动态系统的精确模型是困难的，即使这样，模型也可能无法在训练状态分布之外很好地泛化。在这项工作中，我们结合了基于模型的学习与无模型学习的原语，使基于模型的规划容易。为此，我们的目标是回答这个问题：我们如何才能发现结果易于预测的技能？我们提出了一个无监督学习算法，动态感知发现的技能（DADS），同时发现可预测的行为，并学习他们的动态。我们的方法可以利用连续的技能空间，理论上，即使是高维状态空间，也可以让我们学习无限多的行为。我们证明，zero-shot规划在学习的潜在空间显着优于标准MBRL和无模型的目标条件强化学习，可以处理稀疏奖励任务，并大大提高了以前的分层强化学习方法的无监督技能发现。
2020-02-14 cs.LG cs.RO stat.ML
Transformer VQ-VAE for Unsupervised Unit Discovery and Speech Synthesis: ZeroSpeech 2020 Challenge
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所先进智能项目中心）
在本文中，我们报告了我们在2019年赛道上提交的ZeroSpeech 2020挑战系统。这个挑战的主题是建立一个没有任何文本信息或语音标签的语音合成器。为了应对这些挑战，我们构建了一个系统，该系统必须解决两个主要组件，例如1）给定语音音频，以无监督的方式提取子字单元，2）重新合成来自新扬声器的音频。系统还需要在ABX出错率和比特率压缩率之间平衡码本性能。我们在这里的主要贡献是，我们提出了基于变换器的VQ-VAE的无监督单元发现和基于变换器的逆变器的语音合成给定提取的码书。此外，我们还探索了几种正则化方法来进一步提高性能。
2020-05-24 cs.CL cs.LG cs.SD
A Unified Algorithm Framework for Unsupervised Discovery of Skills based on Determinantal Point Process
Purdue University（普渡大学）；The George Washington University（乔治华盛顿大学）
针对无监督 option 发现中多样性与覆盖度难以兼顾的问题，提出基于 DPP 的统一框架及 ODPP 算法，并在 Mujoco、Atari 任务上验证其优于两类前沿基线。
2023-09-26 cs.LG
Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery
Seoul National University（首尔国立大学）
当前机器人强化学习（RL）由于固有的特定于任务的训练范式，在推广到新的下游任务时经常遇到困难。为了缓解这一问题，无监督强化学习（unsupervised RL）是一种以任务不可知的方式对智能体进行预训练的框架，而无需获得特定于任务的奖励，它利用积极的探索将各种经验提炼成基本技能或可重用的知识。为了在机器人操作中利用这些好处，我们提出了一种无监督的方法，用于可转移的操作技能发现，将结构化探索与交互行为和可转移的技能学习联系起来。它不仅使智能体能够学习交互行为，机器人操作学习的关键方面，没有访问的环境奖励，但也推广到任意下游的操作任务与学习的任务不可知的技能。通过比较实验，我们表明，我们的方法实现了最多样化的互动行为，并显着提高样本效率在下游任务，包括扩展到多对象，多任务问题。
2022-04-29 cs.LG cs.RO
Lyrics-to-Audio Alignment by Unsupervised Discovery of Repetitive Patterns in Vowel Acoustics
Seoul National University（首尔国立大学）；Advanced Institutes of Convergence Technology（先进融合技术研究所）
大多数先前的歌词到音频对齐方法使用预先开发的自动语音识别（ASR）系统，该系统固有地遭受使语音模型适应单个歌手的若干困难。在以前的作品中缺失的一个重要方面是歌唱声音中重复元音模式的自学能力，其中元音部分使用的比辅音部分更一致。在此基础上，我们的系统首先学习一个判别子空间的元音序列，基于加权对称非负矩阵分解（WS-NMF），以自相似性的标准声学特征作为输入。然后，我们利用典型的时间规整（CTW），来自最近的计算机视觉技术，找到一个最佳的时空之间的文本和声音序列的转换。韩语和英语数据集的实验表明，部署这种方法后，预先开发的，无监督的，唱歌声源分离取得了更有前途的结果比其他国家的最先进的无监督的方法和现有的基于ASR的系统。
2017-01-24 cs.AI cs.IR cs.LG
Self-Expressing Autoencoders for Unsupervised Spoken Term Discovery
Johns Hopkins University（约翰斯·霍普金斯大学）
无监督的口语词发现包括两个任务：寻找声学段边界和用相同的标签标记声学上相似的段。我们进行分割的基础上的假设，帧特征向量更相似的一个段内比跨段。因此，对于强分割性能，关键是特征比其他可变性因素更多地表示帧的语音特性。我们通过一个自我表达的自动编码器框架来实现这一点。它由一个单一的编码器和两个解码器共享权重。编码器将输入特征投影到潜在表示中。其中一个解码器试图从这些潜在的表征中重建输入，另一个则从它们的自我表达版本中重建输入。我们使用所获得的功能分割和聚类的语音数据。我们在零资源2020挑战单元发现任务中评估所提出的方法的性能。所提出的系统始终优于基线，证明了该方法在学习表示中的有用性。
2020-07-26 cs.LG cs.SD eess.AS
Unsupervised Discovery and Composition of Object Light Fields
MIT（麻省理工学院）；Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）；MIT BCS（麻省理工学院脑与认知科学系）；CBMM（大脑、思维与机器中心）
针对以物体为中心的神经场景表示中逐物体光线步进成本高、采样不足的问题，提出COLF将物体表示为光场并通过光场组合器重建全局光场，实现无监督分解、SOTA重建与新视角合成，且训练和渲染速度提升数个数量级。
2023-07-15 cs.AI cs.CV cs.GR
An unsupervised approach to Geographical Knowledge Discovery using street level and street network images
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
最近的研究表明，机器学习方法在地理和城市分析中的使用越来越多，主要是使用监督方法从空间和时间数据中提取特征和模式。将地理过程整合到机器学习模型中以及使用无监督方法对地理数据进行知识发现的研究一直很少。这项研究有助于阶梯，在那里我们展示了如何从城市图像的无监督学习方法中学习到的潜在变量可以用于地理知识发现。特别是，我们提出了一种简单的方法称为卷积PCA（ConvPCA），适用于街道水平和街道网络图像，以找到一组不相关和有序的视觉latentcomponents。该方法允许有意义的解释，使用地理和生成可视化的组合来探索潜在的空间，并显示如何学习表示可以用来预测城市特征，如街道质量和街道网络属性。研究还发现，与可解释性较低的降维技术相比，ConvPCA模型的视觉组件达到了相似的精度。
2019-10-11 cs.CV cs.CY cs.LG
Unsupervised deep clustering for predictive texture pattern discovery in medical images
Computational Imaging Research Lab (CIR)（计算成像研究实验室（CIR））；Department of Biomedical Imaging and Image-guided Therapy（生物医学成像与影像引导治疗系）；Medical University of Vienna（维也纳医科大学）
成像数据中的预测标记模式是量化疾病和进展的一种手段，但如果对潜在的生物学知之甚少，则其识别具有挑战性。在这里，我们提出了一种方法来识别预测的医学图像中的纹理模式，在无监督的方式。基于深度聚类网络，我们在低维潜在空间中同时编码和聚类医学图像块。由此产生的聚类作为疾病分期的特征，将它们与潜在疾病联系起来。我们对70例不同阶段肝脂肪变性患者的T1加权磁共振图像进行了评估。深度聚类方法能够找到具有稳定排名的预测聚类，区分F1评分为0.78的低脂肪变性和高脂肪变性。
2020-01-31 cs.CV cs.LG
