Behavior Contrastive Learning for Unsupervised Skill Discovery
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Northwestern Polytechnical University（西北工业大学）
提出基于行为对比学习的无监督技能发现方法，通过最大化同技能行为间互信息上界，隐式增加状态熵，在迷宫和连续控制任务中生成多样且远达技能，下游性能媲美最先进方法。
2023-05-08 cs.LG
Don't miss the Mismatch: Investigating the Objective Function Mismatch for Unsupervised Representation Learning
为无监督表示学习技术寻找通用的评价指标是一个具有挑战性的开放研究问题，由于对无监督方法的兴趣日益增加，这一问题变得越来越必要。尽管这些方法承诺有益的表示特性，但目前大多数方法都存在目标函数不匹配的问题。这种不匹配表明，当无监督的借口任务学习时间过长时，所需目标任务的性能可能会下降-特别是当两个任务都是不适定时。在这项工作中，我们建立在广泛使用的线性评估协议，并定义新的一般评估指标，以定量地捕捉目标函数不匹配和更通用的指标不匹配。我们讨论了我们的协议的可用性和稳定性的各种借口和目标任务，并在广泛的实验研究不匹配。因此，我们披露的依赖关系的目标函数不匹配的几个借口和目标任务的借口模型的表示大小，目标模型的复杂性，借口和目标增强，以及借口和目标任务类型。在我们的实验中，我们发现目标函数不匹配在许多设置中会使Cifar 10，Cifar 100和PCam的性能降低约0.1-5.0%，在极端情况下，3dshapes数据集的性能降低约25-59%。
2022-02-28 cs.AI cs.CV cs.LG
Unsupervised Learning for Combinatorial Optimization with Principled Objective Relaxation
Purdue University（普渡大学）；UCSB（加州大学圣巴巴拉分校）；Georgia Tech.（佐治亚理工学院）
使用机器学习来解决组合优化（CO）问题是具有挑战性的，特别是当数据是未标记的。本文提出了一个CO问题的无监督学习框架。我们的框架遵循标准的松弛加舍入方法，并采用神经网络来参数化松弛的解决方案，以便简单的反向传播可以训练端到端的模型。我们的主要贡献是观察到，如果放松的目标满足条目明智的，低优化损失保证最终的积分解决方案的质量。这一观察结果显着拓宽了以前的框架启发鄂尔多斯的概率方法的适用性。特别是，这一观察可以指导目标模型的设计，在应用程序中的目标没有明确给出，而需要事先建模。我们评估我们的框架，通过解决一个合成图优化问题，和两个现实世界中的应用，包括电路设计和近似计算中的资源分配。我们的框架在很大程度上优于基于朴素放松、强化学习和Gumbel-softmax技巧的基线。
2022-10-22 cs.AR cs.LG math.OC
Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time
MIT（麻省理工学院）
从CNN到注意力机制，将归纳偏差编码到神经网络中一直是机器学习改进的富有成效的来源。在主目标函数中添加辅助损失是编码偏差的一般方法，可以帮助网络学习更好的表示。然而，由于辅助损失仅在训练数据上最小化，因此它们遭受与常规任务损失相同的泛化间隙。此外，通过向损失函数添加一项，该模型优化了与我们关心的目标不同的目标。在这项工作中，我们解决了两个问题：首先，我们从\textit{transductive learning}中获得灵感，并注意到在接收输入后但在进行预测之前，我们可以对任何无监督损失进行微调。我们称这个过程为{ \em tailoring}，因为我们为每个输入定制模型，以确保我们的预测满足归纳偏差。其次，我们制定{ \em元裁剪}，一个嵌套的优化类似于元学习，并训练我们的模型，使其在使用无监督损失进行调整后，在任务目标上表现良好。裁剪和元裁剪的优点进行了理论讨论，并证明了经验上的一组不同的例子。
2021-09-06 cs.CV cs.LG stat.ML
USR: An Unsupervised and Reference Free Evaluation Metric for Dialog Generation
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏有意义的对话自动评价指标，阻碍了开放域对话的研究。标准的语言生成度量已经被证明对于评估对话模型是无效的。为此，本文提出了USR，一个无监督和无参考的对话评价指标。USR是一个无参考的指标，它训练无监督模型来测量对话的几个理想质量。USR被证明与人类对Topical-Chat（回合级别：0.42，系统级别：1.0）和PersonaChat（回合级别：0.48和系统级别：1.0）的判断密切相关。USR还为对话框的几个理想属性提供了可解释的措施。
2020-05-01 cs.CL cs.LG
A Mixture of Surprises for Unsupervised Reinforcement Learning
Tsinghua University（清华大学）；SenseTime（商汤科技）
无监督强化学习旨在以无奖励的方式学习通才策略，以快速适应下游任务。大多数现有的方法提出提供基于惊喜的内在奖励。最大化或最小化惊喜驱使智能体探索或控制其环境。然而，这两种策略都依赖于一个强有力的假设：环境动态的熵要么高，要么低。这个假设在现实世界的场景中可能并不总是成立，其中环境动态的熵可能是未知的。因此，在这两个目标之间作出选择是一个两难的选择。我们提出了一种新颖而简单的混合政策来解决这个问题，使我们能够优化一个目标，同时最大化和最小化的惊喜。具体地说，我们训练一个目标是使突袭最大化的混合成分，另一个目标是使突袭最小化。因此，我们的方法不对环境动态的熵进行假设。我们称我们的方法为无监督强化学习的$\textbf{M}\text{ixture }\textbf{O}\text{f }\textbf{S}\text{urprise}\textbf{S}$（MOSS）。实验结果表明，我们的简单的方法达到了最先进的性能的URLB基准，优于以前的纯惊喜最大化为基础的目标。我们的代码可在https://github.com/LeapLabTHU/MOSS上获得。
2022-10-13 cs.AI cs.LG
Deep Unsupervised Image Anomaly Detection: An Information Theoretic Framework
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
代理任务为基础的方法，最近显示出很大的希望，无监督的图像异常检测。然而，不能保证代理任务与异常检测共享一致的优化方向。在本文中，我们回到一个直接的目标函数异常检测与信息论，最大限度地提高正常和异常数据之间的距离的联合分布的图像和他们的代表。不幸的是，这个目标函数在训练期间没有提供异常数据的无监督设置下不能直接优化。通过对上述目标函数的数学分析，我们将其分解为四个部分。为了在无监督的方式进行优化，我们表明，在正常和异常数据的分布在潜在空间中是可分离的假设下，其下限可以被认为是一个函数的权重之间的权衡互信息和熵。该目标函数能够解释基于代理任务的异常检测方法的有效性，并进一步指出了潜在的改进方向。基于这个目标函数，我们引入了一个新的信息理论框架的无监督图像异常检测。大量的实验表明，所提出的框架显着优于几个国家的最先进的多个基准数据集。
2020-12-09 cs.CV cs.LG stat.ML
Tackling Prevalent Conditions in Unsupervised Combinatorial Optimization: Cardinality, Minimum, Covering, and More
KAIST（韩国科学技术院）；AI4CO Open-Source Community（AI4CO开源社区）；POSTECH（浦项科技大学）
针对无监督组合优化中普遍存在的条件（如基数、最小值、覆盖等），提出具体目标与理论依据，推导非平凡的目标函数和去随机化方法，并在合成及真实图上验证了优化质量与速度的优越性。
2024-05-24 cs.LG math.OC
Direct then Diffuse: Incremental Unsupervised Skill Discovery for State Covering and Goal Reaching
Meta AI；Sorbonne University（索邦大学）；Inria Scool（法国国家信息与自动化研究所Scool项目组）；Ubisoft La Forge（育碧La Forge实验室）
在没有奖励的情况下学习有意义的行为是强化学习中的一个难题。一个理想的和具有挑战性的无监督目标是学习一组不同的技能，这些技能在被引导的同时提供对状态空间的全面覆盖，即，可靠地到达环境的不同区域。在本文中，我们建立在互信息框架的技能发现和介绍UPSIDE，它解决了覆盖导向的权衡在以下方面：1）我们设计的政策与定向技能的解耦结构，训练到达一个特定的区域，其次是扩散部分，诱导局部覆盖。2)我们通过在每个策略到达环境的不同区域的约束下最大化它们的数量来优化策略（即，它们是充分可辨别的）并且证明这用作原始互信息目标的下界。3)最后，我们将学习到的定向技能组合成一棵自适应覆盖环境的生长树。我们在几个导航和控制环境中说明了UPSIDE学习的技能如何比现有基线更好地解决稀疏奖励下游任务。
2022-04-30 cs.LG
Unsupervised Generative Feature Transformation via Graph Contrastive Pre-training and Multi-objective Fine-tuning
Arizona State University（亚利桑那州立大学）；University of Kansas（堪萨斯大学）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
针对无监督特征变换问题，提出度量-预训练-微调范式，结合图对比学习和生成模型，以捕获复杂特征交互并避免大搜索空间。
2024-05-27 cs.AI cs.LG
Unsupervised Learning for Combinatorial Optimization Needs Meta-Learning
Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
组合优化无监督学习的一般框架是训练一个神经网络，其输出通过直接优化组合优化目标给出问题解。尽管与传统的求解器相比有一些优势，但当前的框架优化了历史问题实例分布的平均性能，这与CO的实际目标不一致，即为未来遇到的每个实例寻找一个好的解决方案。有了这个观察，我们提出了一个新的目标，无监督学习的CO学习的目标是寻找良好的初始化为未来的问题实例，而不是直接的解决方案。我们提出了一个基于元学习的训练管道，这个新的目标。我们的方法取得了良好的经验性能。我们观察到，即使是我们的模型在微调之前给出的初始解决方案，在各种评估设置下，包括跨多个数据集的评估，以及问题规模发生重大变化的情况下，也可以显着优于基线。我们推测的原因是，基于元学习的训练让模型与训练实例的每个局部最优值松散地联系在一起，同时更适应实例之间优化景观的变化。
2023-01-22 cs.AI cs.LG
Unsupervised Context Rewriting for Open Domain Conversation
Microsoft（微软）；Microsoft Research（微软研究院）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
上下文建模在开放域会话中具有举足轻重的作用。现有的作品要么使用探试法或联合学习上下文建模和响应生成的编码器-解码器框架。本文提出了一种显式语境重写方法，该方法考虑语境历史重写最后一个话语。我们利用伪并行数据，并阐述了一个上下文重写网络，这是建立在CopyNet与强化学习方法。重写的话语有利于候选检索，可解释的上下文建模，以及使单话轮框架能够应用于多话轮场景。实证结果表明，我们的模型在重写质量，多轮响应生成和端到端检索聊天机器人方面优于基线。
2019-10-30 cs.AI cs.CL cs.LG
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning
Facebook AI Research (FAIR)（脸书人工智能研究院（FAIR））
我们提出了一个大规模的研究无监督时空表示学习从视频。通过对最近四个基于图像的框架的统一观点，我们研究了一个简单的目标，可以很容易地将所有这些方法推广到时空。我们的目标鼓励在同一视频中使用时间持久性特征，尽管它很简单，但它在以下几个方面的效果令人惊讶：（i）不同的无监督框架，（ii）预训练数据集，（iii）下游数据集，以及（iv）骨干架构。我们从这项研究中得出了一系列有趣的观察结果，例如，我们发现，即使时间跨度是60秒，鼓励长跨度的持久性也是有效的。除了在多个基准测试中获得最先进的结果外，我们还报告了一些有希望的案例，其中无监督的预训练可以优于有监督的预训练。代码可在https://github.com/facebookresearch/SlowFast上获得
2021-04-29 cs.AI cs.CV cs.LG
Refining Minimax Regret for Unsupervised Environment Design
University of Oxford（牛津大学）；University College London（伦敦大学学院）；UC Berkeley（加州大学伯克利分校）
本文提出贝叶斯关卡完美MMR（BLP）目标及ReMiDi算法，解决无监督环境设计中最小最大遗憾策略导致学习停滞的问题，并通过实验证明其能持续学习。
2024-06-08 cs.AI cs.LG
The Map Equation Goes Neural: Mapping Network Flows with Graph Neural Networks
University of Zurich（苏黎世大学）；Julius-Maximilians-Universität Würzburg（维尔茨堡大学）；Data Analytics Group（数据分析组）；Department of Informatics（信息学系）；Center for Artificial Intelligence and Data Science（人工智能与数据科学中心）；Chair of Machine Learning for Complex Networks（复杂网络机器学习主席席位）
本文将经典的无监督社区检测目标函数map equation转化为可微张量形式，使其适配图神经网络实现端到端聚类，可自动确定聚类数，在多类数据集上性能比肩当前最优深度图聚类方法。
2024-12-10 cs.LG
Learning in Function Spaces: An Unified Functional Analytic View of Supervised and Unsupervised Learning
本文提出一个框架，将学习问题视为在数据分布诱导的函数空间中的变分优化问题，统一解释监督和无监督学习的差异源于优化的目标函数选择。
2026-03-15 cs.LG
Unsupervised Graph Neural Network Framework for Balanced Multipatterning in Advanced Electronic Design Automation Layouts
The American University in Cairo（埃及亚历山大大学）
本文提出了一种基于无监督图神经网络的框架，用于解决电子设计自动化中的多图案化问题，通过图着色方法优化布局分解，实现特征违规最小化和掩模平衡。
2025-11-20 cs.AR cs.LG
Image Embedded Segmentation: Uniting Supervised and Unsupervised Objectives for Segmenting Histopathological Images
Bilkent University（比尔肯特大学）；Hacettepe University（哈塞特佩大学）
本文提出了一种新的正则化方法来训练一个完全卷积的网络，用于组织病理学图像中的语义组织分割。这种方法依赖于无监督学习的好处，以图像重建的形式，用于网络训练。为此，它提出了一个想法，定义一个新的嵌入，允许联合的主要监督任务的语义分割和辅助无监督任务的图像重建成一个单一的，并提出学习这个联合任务由一个单一的生成模型。该嵌入通过将输入图像叠加在其分割图上来生成输出图像。然后，该方法学习使用条件生成对抗网络将输入图像转换为该嵌入的输出图像，该网络对于图像到图像的转换非常有效。该建议不同于现有的方法，该方法使用图像重建用于相同的正则化目的。现有的方法将分割和图像重建视为多任务网络中的两个独立任务，独立地定义它们的损失，并将它们组合在联合损失函数中。然而，这样的函数的定义需要从外部确定监督损失和非监督损失的正确贡献，从而在分割和图像重建任务之间产生平衡的学习。所提出的方法通过将这两个任务合并为一个任务，从而在本质上结合了它们的损失，从而为这个问题提供了一个更容易的解决方案。我们在三个组织病理学图像数据集上测试我们的方法。我们的实验表明，它导致更好的分割结果，在这些数据集相比，它的同行。
2020-11-25 cs.CV cs.LG eess.IV
Unsupervised Learning through Temporal Smoothing and Entropy Maximization
Albert-Ludwigs-Universität（阿尔伯特-路德维希大学）；Tomlab Software AB（Tomlab软件公司）
本文提出了一种从时间序列形式的未标记数据中进行机器学习的方法。所学习的映射被示出为提取缓慢演变的信息，这将是有用的控制应用，同时有效地过滤掉不需要的，高频噪声。该方法包括训练一个前馈人工神经网络与反向传播使用两个相反的目标。其中第一个是最小化网络中每个单元的时间步长之间激活的平方变化。这种“时间平滑”具有将在时间上接近发生的输入与在L2范数上接近的输出相关联的效果。第二个目标是最大化网络每层中激活的协方差矩阵的对数行列式。这一目标确保信息从每一层传递到下一层。第二个目标是对第一个目标的平衡，它本身会导致网络的所有输入权重都等于零。
2019-05-08 cs.CV cs.LG stat.ML
Divergent representations of ethological visual inputs emerge from supervised, unsupervised, and reinforcement learning
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学中心）；Sainsbury Wellcome Centre（塞恩斯伯里惠康中心）；University College London（伦敦大学学院）；DeepMind（深度思维）
使用强化、监督和无监督学习训练的人工神经系统都获得高维输入的内部表示。这些表征在多大程度上取决于不同的学习目标在很大程度上是未知的。在这里，我们比较了八个不同的卷积神经网络学习的表示，每个网络都具有相同的ResNet架构，并在同一系列以自我为中心的图像上训练，但嵌入在不同的学习系统中。具体来说，这些表示被训练来指导复合强化学习任务中的行动;预测一个或三个与监督相关的任务目标的组合;或使用三个不同的无监督目标之一。利用表征相似性分析，我们发现用强化学习训练的网络与其他网络的差异最大。使用受神经科学文献启发的度量，我们发现用强化学习训练的模型具有稀疏和高维表示，其中各个图像用非常不同的神经活动模式表示。进一步的分析表明，这些表示可能是为了指导RL代理的长期行为和目标寻求。最后，我们将RL代理学习的表示与小鼠视觉皮层的神经活动进行比较，发现它的表现与其他模型一样好或更好。我们的研究结果为神经表征的属性如何受到目标函数的影响提供了见解，并可以为迁移学习方法提供信息。
2022-02-08 cs.LG q-bio.NC
Search and Learning for Unsupervised Text Generation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出一种无监督文本生成方法，通过启发式目标函数与离散搜索生成句子，并利用机器学习从搜索结果中学习以平滑噪声、提升效率，在工业应用和低资源语言处理中具有重要价值。
2023-09-18 cs.CL cs.LG
Unsupervised Method for Intra-patient Registration of Brain Magnetic Resonance Images based on Objective Function Weighting by Inverse Consistency: Contribution to the BraTS-Reg Challenge
University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）；AGH University of Science and Technology（AGH科技大学）；University of Geneva（日内瓦大学）；University of Padova（帕多瓦大学）
针对脑肿瘤术前与随访MRI配准的难点，本研究提出结合实例优化与逆一致性加权的无监督方法，增强LapIRN性能，在BraTS-Reg两届挑战赛中分获冠、季军。
2022-11-14 cs.CV cs.LG
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg（弗赖堡大学）
在本文中，我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数，该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息，以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络（GAN）框架的自然推广，或者作为正则化信息最大化（RIM）框架的扩展，以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络（或CatGAN）-在合成数据以及具有挑战性的图像分类任务上，证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度，并确定了CatGAN目标和判别聚类算法（如RIM）之间的联系。
2016-04-30 cs.LG stat.ML
Invariant Information Clustering for Unsupervised Image Classification and Segmentation
University of Oxford（牛津大学）
我们提出了一种新的聚类目标，从头开始学习神经网络分类器，只给未标记的数据样本。该模型发现了准确匹配语义类的聚类，在跨越图像分类和分割的八个无监督聚类基准中实现了最先进的结果。其中包括ImageNet的无监督变体STL 10和CIFAR 10，我们分别以6.6和9.5个绝对百分点的准确率击败了最接近的竞争对手。该方法不专门用于计算机视觉，并对任何配对的数据集样本进行操作;在我们的实验中，我们使用随机变换从每个图像中获得一对。经过训练的网络直接输出语义标签，而不是需要外部处理才能用于语义聚类的高维表示。其目的只是为了最大限度地提高每一对的类分配之间的互信息。它很容易实现，并且严格基于信息论，这意味着我们可以毫不费力地避免其他聚类方法容易受到的退化解决方案。除了完全无监督模式外，我们还测试了两种半监督设置。第一个在STL 10分类上实现了88.8%的准确率，在所有现有方法（无论是监督，半监督还是无监督）中设置了新的全球最先进的方法。第二个显示了标签覆盖率减少90%的鲁棒性，与希望使用少量标签的应用程序相关。github.com/xu-ji/IIC
2019-08-22 cs.CV cs.LG
Model-Free Unsupervised Learning for Optimization Problems with Constraints
Beihang University（北京航空航天大学）
在无线通信中的许多优化问题中，目标函数或约束条件的表达式很难甚至不可能得到，这使得求解变得困难。在本文中，我们提出了一个无模型学习框架来解决约束优化问题，而无需监督最优解。神经网络分别用于待优化函数的参数化、与瞬时约束相关联的拉格朗日乘子的参数化以及未知目标函数或约束的近似。我们提供的学习算法训练所有的神经网络同时，并揭示了所提出的框架与强化学习的连接。以功率控制问题为例，数值和仿真结果验证了所提出的框架和无模型学习的有效性。
2019-07-30 cs.LG eess.SP stat.ML
Task Adaptation from Skills: Information Geometry, Disentanglement, and New Objectives for Unsupervised Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；University of Maryland, College Park（马里兰大学学院市分校）；Ruhr University Bochum（波鸿鲁尔大学）；Tencent Robotics X（腾讯机器人科技）；University of Liverpool（利物浦大学）
该研究针对无监督强化学习中MISL技能适配性理论不足的问题，提出解耦度量LSEPIN并建立信息几何关联，进一步基于Wasserstein距离提出WSEP目标和PWSEP算法，提升下游任务初始策略的发现能力。
2025-06-12 cs.AI cs.IT cs.LG
Integrating Present and Past in Unsupervised Continual Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；HEC Montréal（蒙特利尔高等商学院）；Columbia University（哥伦比亚大学）；NYU（纽约大学）
本研究构建无监督持续学习统一框架，指出现有方法忽略跨任务巩固的缺陷，提出在独立嵌入空间优化三目标的Osiris方法，在含两个新基准的所有测试中达最优，且证实模型可从更真实的学习场景获益。
2024-08-12 cs.CV cs.LG
DeepCut: Unsupervised Segmentation using Graph Neural Networks Clustering
Weizmann Institute of Science（魏茨曼科学研究所）
针对无监督图像分割中传统聚类方法损失高维特征信息的问题，提出DeepCut方法，用轻量级GNN替代经典聚类，结合原始特征与成对亲和度优化聚类目标，实现无k聚类，在多任务基准上性能超越SOTA。
2023-08-21 cs.AI cs.CV cs.LG
Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations
Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本论文从学习、评估和迁移三个角度推进无监督视觉表示学习，提出无需反向传播的CSNNs、目标无关的表示评估指标、CARLANE域适应基准及内容一致的图像翻译方法。
2023-11-30 cs.AI cs.CV cs.GR
Representation Matters: Offline Pretraining for Sequential Decision Making
Google Research（谷歌研究院）
最近监督学习方法在越来越大的离线数据集上的成功激发了人们对强化学习（RL）领域的兴趣，以研究相同的范式是否可以转化为RL算法。这个研究领域被称为离线RL，主要集中在离线策略优化上，旨在完全从离线数据中找到回报最大化的策略。在本文中，我们考虑了一种稍微不同的方法，将离线数据纳入顺序决策。我们的目标是回答这样一个问题，即应用于离线数据集的无监督目标能够学习状态表示，从而提高下游任务的性能，这些下游任务是否是在线RL，专家演示的模仿学习，甚至是基于同一离线数据集的离线策略优化？通过利用标准离线RL数据集进行的各种实验，我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能，否则这些算法本身的性能就很一般。广泛的消融进一步提供了对这些无监督目标的组成部分的了解-例如，奖励预测、连续或离散表示、预训练或微调--是最重要的，以及在哪些环境中。
2021-02-11 cs.AI cs.LG
Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
针对无监督强化学习中单一熵目标无法适配所有环境的问题，提出将目标选择建模为多臂老虎机的惊奇自适应智能体，通过新型内在反馈信号控制环境熵，在高低熵场景及基准任务中均实现有效行为学习。
2024-08-16 cs.AI cs.LG
Unsupervised Deep Embedding for Clustering Analysis
University of Washington（华盛顿大学）；Facebook AI Research (FAIR)（脸书人工智能研究院）
聚类是许多数据驱动应用领域的核心，并且在距离函数和分组算法方面得到了广泛的研究。相对较少的工作集中在学习表示聚类。在本文中，我们提出了深度嵌入式聚类（DEC），这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射，并在其中迭代优化聚类目标。我们对图像和文本语料库的实验评估表明，国家的最先进的方法显着改善。
2016-05-24 cs.CV cs.LG
Towards Principled Unsupervised Multi-Agent Reinforcement Learning
Politecnico di Milano（米兰理工学院）；Technion（技术学院）
本文研究多智能体无监督预训练与任务无关探索问题，刻画不同目标形式的理论及实践难点，提出可扩展的去中心化信赖域策略搜索算法，并通过数值验证表明混合熵在可处理性与性能间具有优异权衡。
2025-10-19 cs.AI cs.LG
Position: Unlabeled IS NOT Equal to No Human Supervision in Visual Learning
Louisiana State University（路易斯安那州立大学）
该论文指出视觉学习中未标记数据≠无人类监督，呼吁明确识别监督来源、披露学习先验以提升无监督学习研究的概念清晰度与学术交流效率。
2026-09-04 cs.CV cs.LG
Learning deep representations by mutual information estimation and maximization
MSR Montreal（微软研究院蒙特利尔分院）；MILA（蒙特利尔学习算法研究所）；UdeM（蒙特利尔大学）；IVADO（魁北克人工智能研究所）；MRN（磁共振研究所）；UNM（新墨西哥大学）；U Toronto（多伦多大学）；CIFAR（加拿大高级研究所）
在这项工作中，我们通过最大化深度神经网络编码器的输入和输出之间的互信息来执行表示的无监督学习。重要的是，我们表明，结构问题：将知识的输入到目标的局部性可以极大地影响表示的下游任务的适用性。我们进一步控制特性的表示匹配到一个先验分布adversarially。我们称之为Deep InfoMax（DIM）的方法优于许多流行的无监督学习方法，并在几个分类任务上与全监督学习竞争。DIM为表示的无监督学习开辟了新的途径，是为特定最终目标灵活制定表示学习目标的重要一步。
2019-02-22 cs.LG stat.ML
Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills
Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
我们考虑的问题，学习有用的机器人技能，从以前收集的离线数据，而不访问手动指定的奖励或额外的在线探索，一个设置，这是越来越重要的缩放机器人学习通过重用过去的机器人数据。特别是，我们提出了通过学习达到给定数据集中的任何目标状态来学习对环境的功能理解的目标。我们采用目标条件Q学习与后见之明重新标记，并开发了几种技术，使培训在一个特别具有挑战性的离线设置。我们发现，我们的方法可以在高维相机图像上操作，并在真实机器人上学习各种技能，这些技能可以推广到以前看不见的场景和物体。我们还表明，我们的方法可以通过目标链学习在多个事件中实现长期目标，并通过预训练或辅助目标学习丰富的表示，可以帮助下游任务。我们的实验视频可以在www.example.com上找到
2021-06-10 cs.LG cs.RO
Controlling the Interaction Between Generation and Inference in Semi-Supervised Variational Autoencoders Using Importance Weighting
LIPN（巴黎第十三大学计算机科学实验室）；Université Sorbonne Paris Nord（索邦巴黎北大学）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
尽管变分自编码器（VAE）广泛用于半监督学习，但它们工作的原因仍不清楚。事实上，添加无监督目标通常被模糊地描述为正则化。这种正则化的强度通过在训练集的未标记部分上对目标进行向下加权来控制。通过对半监督VAE目标的分析，我们观察到它们使用学习的生成模型的后验来指导推理模型学习部分观察的潜变量。我们表明，鉴于这一观察结果，有可能获得更精细的控制的效果，无监督的目标上的训练过程。使用重要性加权，我们得到两个新的目标，优先考虑部分观察到的潜在变量，或未观察到的潜在变量之一。在IMDB英语情感分析数据集和AG News主题分类数据集上的实验显示了我们的优先级排序机制带来的改进，并表现出与我们对半监督VAE内部工作的描述相一致的行为。
2020-10-14 cs.CL cs.LG
Unsupervised and Semi-supervised Anomaly Detection with LSTM Neural Networks
Bilkent University（比尔肯特大学）
我们研究了无监督框架中的异常检测，并介绍了基于长短期记忆（LSTM）神经网络的算法。特别是，给定可变长度的数据序列，我们首先将这些序列通过基于LSTM的结构，并获得固定长度的序列。然后，我们找到一个决策函数，我们的异常检测器的基础上一类支持向量机（OC-SVM）和支持向量数据描述（SVDD）算法。作为文献中的第一次，我们使用基于高效梯度和二次规划的训练方法联合训练和优化LSTM架构和OC-SVM（或SVDD）算法的参数。为了应用基于梯度的训练方法，我们修改了OC-SVM和SVDD算法的原始目标标准，其中我们证明了修改后的目标标准的收敛性。我们还提供了我们的无监督制定的半监督和全监督框架的扩展。因此，我们得到的异常检测算法，可以处理可变长度的数据序列，同时提供高性能，特别是时间序列数据。我们的方法是通用的，因此我们也将这种方法应用于门控递归单元（GRU）架构，直接将基于LSTM的结构替换为基于GRU的结构。在我们的实验中，我们说明了我们的算法相对于传统方法实现的显着性能提升。
2017-10-25 cs.LG eess.SP stat.ML
Adversarial Examples can be Effective Data Augmentation for Unsupervised Machine Learning
National Yang Ming Chiao Tung University（阳明交通大学）；IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
引起回避预测的对抗性示例被广泛用于评估和提高机器学习模型的鲁棒性。然而，目前的研究集中在监督学习任务，依赖于地面实况数据标签，有针对性的目标，或来自训练分类器的监督。在本文中，我们提出了一个为无监督模型生成对抗性示例的框架，并展示了数据增强的新应用。我们的框架利用互信息神经估计器作为信息理论相似性度量，在没有监督的情况下生成对抗性示例。我们提出了一种新的MinMax算法，具有可证明的收敛保证，可有效生成无监督对抗性示例。我们的框架也可以扩展到监督对抗的例子。当使用无监督对抗性示例作为模型再训练的简单插件数据增强工具时，在不同的无监督任务和数据集上都能观察到显著的改进，包括数据重建、表示学习和对比学习。我们的研究结果显示了新的方法和相当大的优势，在研究和改进无监督机器学习通过对抗性的例子。
2021-12-08 cs.CV cs.LG
Robust Unsupervised Learning of Temporal Dynamic Interactions
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）
时间动态交互的鲁棒表示学习是机器人学习和自动无监督学习中的一个重要问题。时间动态相互作用可以由合适空间中的（多个）几何轨迹来描述，在该空间上可以应用无监督学习技术来从原始和高维数据测量中提取有用的特征。以几何方法来鲁棒表示学习的时间动态交互，有必要开发合适的度量和系统的方法进行比较和评估的稳定性的无监督学习方法相对于其调整参数。这种度量必须考虑物理世界中的（几何）约束以及与学习模式相关的不确定性。在本文中，我们引入了一个无模型的度量的基础上的鲁棒的交互表示学习的Procrustes距离，和一个最佳的传输为基础的距离度量交互原语的分布之间的比较。这些距离度量可以用作评估交互学习算法的稳定性的目标。它们还用于比较不同算法产生的结果。此外，它们也可以被采用作为目标函数，以获得集群和代表性的交互原语。将介绍这些概念和技术以及数学属性，同时将在从世界上最大的联网车辆数据库Safety Pilot数据库中提取的车辆与车辆交互的无监督学习中证明它们的有用性。
2020-06-18 cs.LG cs.MA cs.RO
PAC Learning in Turn-Based Stochastic Games with Reachability Objectives: A Decentralized Private Approach via Expected Conditional Distance
研究回合制随机博弈中可达性目标的 PAC 学习，放宽以往公共信息和集中式学习假设，实现基于私有信息的分散式学习，引入期望条件距离参数的博弈论推广并建立多项式样本复杂度界。
2026-07-17 cs.GT cs.LG
Unifying Goal-Conditioned RL and Unsupervised Skill Learning via Control-Maximization
Helmholtz Munich（海德堡大学慕尼黑分校）；Max Planck Institute for Biological Cybernetics（生物 cybernetics 最大计划研究所）；Princeton University（普林斯顿大学）；University of Tübingen（图宾根大学）
本文通过控制最大化理论统一了目标条件强化学习与无监督技能学习，揭示了两者在目标敏感性上的联系，并证明了不同GCRL形式的不等价性及与MISL目标的对应关系。
2026-10-23 cs.AI cs.LG cs.SY
Unsupervised Multi-Class Domain Adaptation: Theory, Algorithms, and Practice
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；The Hong Kong Polytechnic University（香港理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
在本文中，我们研究了无监督的多类领域自适应（多类UDA）的形式主义，这是最近的一些算法，其学习目标只出于经验。多类评分不一致（MCSD）分歧是通过聚合多类分类中的绝对边缘违规来表示的，该分歧能够充分刻画任意一对多类评分假设之间的关系.通过使用MCSD作为域距离的度量，我们为多类UDA开发了一个新的领域自适应范围;它的数据依赖性，可能近似正确的范围也被开发出来，这自然表明对抗性学习目标可以在源域和目标域之间对齐条件特征分布。因此，多类领域对抗学习网络（McDalNets）的算法框架的开发，其不同的实例通过代理学习目标，要么符合或类似于一些最近流行的方法，从而（部分）强调其实际有效性。基于多类UDA的恒等式理论，我们还提出了一种新的域对称网络算法（SymmNets），该算法具有一种新的域混淆和区分的对抗策略。SymmNets提供了简单的扩展，这些扩展在闭集、部分或开集UDA的问题设置下都能很好地工作。我们进行仔细的实证研究，比较不同的算法McDalNets和我们新推出的SymmNets。实验验证了我们的理论分析，并显示我们提出的对称网络的有效性。此外，我们还公开了我们的实现代码。
2020-11-22 cs.CV cs.LG stat.ML
K-means Derived Unsupervised Feature Selection using Improved ADMM
School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文提出K-means UFS方法，直接利用K-means目标进行无监督特征选择，并设计改进的ADMM求解NP难优化问题，实验证明其在聚类特征选择上优于现有基线方法。
2024-11-19 cs.AI cs.LG stat.ML
Meta-Learning Update Rules for Unsupervised Representation Learning
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
无监督学习的一个主要目标是发现对后续任务有用的数据表示，而无需在训练期间访问监督标签。通常，这涉及最小化替代目标，例如生成模型的负对数似然，希望对后续任务有用的表示将作为副作用出现。在这项工作中，我们提出，而不是直接针对稍后所需的任务，通过元学习的无监督学习规则，导致这些任务有用的表示。具体来说，我们的目标是半监督分类性能，我们元学习一种算法-一种无监督的权重更新规则-产生对这项任务有用的表示。此外，我们将我们的无监督更新规则限制为生物激励的神经元局部函数，这使其能够推广到不同的神经网络架构，数据集和数据模式。我们表明，元学习的更新规则产生有用的功能，有时优于现有的无监督学习技术。我们进一步表明，元学习的无监督更新规则推广到具有不同宽度，深度和非线性的训练网络。它还可以推广到对具有随机排列的输入维度的数据进行训练，甚至可以从图像数据集推广到文本任务。
2019-02-26 cs.LG cs.NE stat.ML
Neocortical plasticity: an unsupervised cake but no free lunch
Element AI（Element AI公司）
人工智能和神经科学领域有着丰富的双向互动的悠久历史。一方面，人工智能系统发展的重要灵感来自于对自然智能系统的研究，特别是哺乳动物的新皮层。另一方面，大脑模型和理论的重要灵感来自人工智能研究。这两个领域交叉的一个中心问题是新皮层学习的过程，以及它们与深度网络的反向传播训练算法的相似程度。匹配新皮层学习的数据效率、传输和泛化属性仍然是深度学习领域的一个活跃研究领域。我们对新皮层的神经元、突触和树突生理学的理解的最新进展提出了无监督表示学习的新方法，也许是通过一类新的目标函数，它可以与反向传播一起或代替反向传播。这种局部学习规则具有关于训练数据的隐含而不是明确的目标，从而促进域适应和泛化。将它们扩展到深度网络中进行表示学习可以更好地利用未标记的数据集，从而显著提高下游监督读出学习的数据效率，并降低对对抗性扰动的敏感性，但代价是适用范围更加有限。
2019-11-15 cs.AI cs.LG cs.NE
Unsupervised Feature Learning in Remote Sensing
NGA Research（NGA研究院）；Etegent Technologies Ltd（Etegent科技有限公司）；CACI；NVIDIA（英伟达）
对标记数据的需求是部署深度学习算法来解决现实世界问题的最常见和最知名的实际障碍之一。当前一代的学习算法需要根据静态和预定义模式标记的大量数据。相反，人类可以快速学习基于大量未标记数据的概括，并使用自发标签将这些概括转化为分类，通常包括以前从未见过的标签。我们将最先进的无监督学习算法应用于噪声和极不平衡的xView数据集，以训练适应多种任务的特征提取器：在常见和罕见类别上表现良好的视觉相似性搜索;识别标记数据集内的离群值;自动学习自然类层次结构。
2019-08-07 cs.CV cs.LG eess.IV
Disentangled and Self-Explainable Node Representation Learning
University of Pisa（比萨大学）；CENTAI Institute（CENTAI研究院）；Delft University of Technology（代尔夫特理工大学）
针对无监督节点嵌入可解释性不足的问题，提出DiSeNE框架，通过解耦表示学习生成逐维度可解释的嵌入，并设计新目标函数与评估指标，实验验证其有效性。
2025-10-16 cs.AI cs.LG stat.ML
Generating Anthropomorphic Phantoms Using Fully Unsupervised Deformable Image Registration with Convolutional Neural Networks
Johns Hopkins Medical Institutes（约翰霍普金斯医学研究所）；Johns Hopkins University（约翰霍普金斯大学）
目的：计算机体模在医学影像学研究的各种应用中起着至关重要的作用。尽管现有的计算机化体模可以通过器官和体模缩放来对解剖变化进行建模，但这并不提供完全再现在人类中看到的解剖变化的方式。然而，具有模拟患者解剖结构变化的体模群体，并且在核医学中，摄取实现对于全面验证和培训至关重要。在这项工作中，我们提出了一种新的图像配准方法，从一个单一的数字幻影创建高度解剖详细的拟人幻影。方法：我们提出了一种基于深度学习的配准算法来预测变形参数，以将XCAT体模扭曲到患者CT扫描。该算法针对给定的图像对，独立于训练数据，优化了一种新的基于SSIM的目标函数，因此是真正和完全无监督的。我们评估所提出的方法在公开的低剂量CT数据集TCIA。结果如下：所提出的模型的性能进行了比较，与几个国家的最先进的方法，并优于他们超过8%，测量的SSIM和小于30%，由MSE。结论：开发了一种基于深度学习的无监督配准方法，以创建拟人幻影，同时提供可用作器官属性建模基础的“黄金标准”解剖结构。实验结果表明了该方法的有效性。由此产生的拟人幻影是高度逼真的。结合真实的成像过程模拟，生成的幻影可以在医学成像研究的许多应用。
2020-04-26 cs.CV cs.LG eess.IV
Unsupervised Learning via Meta-Learning
University of Toronto（多伦多大学）；University of California, Berkeley（加州大学伯克利分校）
无监督学习的中心目标是从未标记的数据或经验中获取表示，这些表示可用于从适量的标记数据中更有效地学习下游任务。许多先前的无监督学习工作旨在通过基于重构、解纠缠、预测和其他度量来开发代理目标来实现这一点。相反，我们开发了一种无监督的元学习方法，该方法明确优化了从少量数据中学习各种任务的能力。为此，我们以自动的方式从未标记的数据中构建任务，并对构建的任务运行元学习。令人惊讶的是，我们发现，当与元学习集成时，相对简单的任务构建机制，如聚类嵌入，在各种下游，人类指定的任务上都有良好的性能。我们在四个图像数据集上的实验表明，我们的无监督元学习方法获得了一个学习算法，无需任何标记数据，适用于广泛的下游分类任务，改进了四个以前的无监督学习方法学习的嵌入。
2019-03-21 cs.AI cs.CV cs.LG
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC（葡萄牙工程与技术研究所）；University of Porto（波尔图大学）
一段时间以来，已知多源领域自适应的问题可以被视为单源领域自适应任务，其中源领域对应于原始源领域的混合。尽管如此，如何调整混合分布权重仍然是一个悬而未决的问题。此外，大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示，这是不够的，以确保低错误的目标域。在这项工作中，我们提出了一个新的框架，解决了这两个问题，并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
