ENSURE: A General Approach for Unsupervised Training of Deep Image Reconstruction Algorithms
University of Iowa(爱荷华大学)
使用深度学习算法的图像重建提供了比经典压缩感知和基于模型的算法更高的重建质量和更低的重建时间。不幸的是,用于训练深度网络的干净且完全采样的地面实况数据在若干应用中通常不可用,从而限制了上述方法的适用性。我们引入了一种新的度量标准,称为ENSHEIN的无偏风险估计(ENSURE)框架,该框架可用于训练深度图像重建算法,而无需完全采样和无噪声图像。建议的框架是经典的SURE和GSURE配方的设置,其中的图像被采样由不同的测量操作,随机选择从一组的推广。我们评估GSURE损失函数在采样模式上的期望,以获得ENSURE损失函数。我们表明,这种损失是一个无偏估计的真实均方误差,这提供了一个更好的替代GSURE,它只提供了一个无偏估计的预测误差。我们的实验表明,用这个损失函数训练的网络可以提供与监督设置相当的重建。虽然我们在MR图像恢复的背景下证明了这个框架,但ENSURE框架通常适用于任意逆问题。
2022-12-02 cs.CV cs.LG eess.IV
SUVR: A Search-based Approach to Unsupervised Visual Representation Learning
National Cheng Kung University(国立成功大学);Academia Sinica(中央研究院)
提出基于搜索的无监督视觉表示学习方法SUVR,通过图遍历探索正样本并从全数据集抽取负样本,在五个基准数据集上显著优于竞争方法。
2023-05-24 cs.CV cs.LG
A Classification approach towards Unsupervised Learning of Visual Representations
Johnson Controls Inc.(江森自控公司)
在本文中,我们提出了一种技术的无监督学习的视觉表示。具体来说,我们训练一个模型的前景和背景分类任务,在这个过程中,它学习视觉表示。训练的前景和背景补丁来后,挖掘这样的补丁从数以百计和数以千计的未标记的视频在网络上,我们提取使用建议的补丁提取算法。在不使用任何监督的情况下,仅使用150,000个未标记的视频和PASCAL VOC 2007数据集,我们训练了一个达到45.3 mAP的对象识别模型,这接近于性能最好的无监督特征学习技术,但优于许多其他提出的算法。补丁提取的代码是在Matlab中实现的,可在以下链接中获得开源。
2018-06-01 cs.CV cs.LG stat.ML
Unsupervised learning of object semantic parts from internal states of CNNs by population encoding
University of California Los Angeles(加利福尼亚大学洛杉矶分校);Johns Hopkins University(约翰斯·霍普金斯大学)
我们解决了一个关键问题,即如何从CNN的内部状态中找到对象部分表示,这些CNN是为高级任务(如对象分类)训练的。这项工作提供了一种新的无监督方法来学习语义部分,并对CNN的内部表示有了新的理解。我们的技术是基于这样一个假设,即语义部分是由神经元的群体,而不是由单个过滤器。我们提出了一种聚类技术来提取部分表示,我们称之为视觉概念。我们表明,视觉概念是语义连贯的,因为它们代表语义部分,视觉连贯的,相应的图像补丁出现非常相似。此外,视觉概念提供对象各部分的完整空间覆盖,而不是像关键点注释中通常发现的一些稀疏部分。此外,我们将单个视觉概念视为部分检测器,并使用PASCAL 3D+数据集和使用我们新注释的ImageNetPart数据集进行关键点检测。实验表明,视觉概念可以用来检测零件。我们还表明,一些视觉概念响应几个语义部分,这些部分在视觉上是相似的。因此,视觉概念具有基本属性:语义意义和检测能力。请注意,我们的ImageNetPart数据集提供了覆盖整个对象的丰富部件注释,使其对其他部件相关应用程序非常有用。
2016-11-12 cs.CV cs.LG
Unsupervised Urban Tree Biodiversity Mapping from Street-Level Imagery Using Spatially-Aware Visual Clustering
针对城市树木生物多样性监测成本高、监督式AI泛化差的问题,提出结合街景图像视觉嵌入与空间种植模式的无监督聚类框架,在北美8城验证能高保真恢复属级多样性,为低成本制图提供新方法。
2025-08-24 cs.CV cs.LG
Visual Grounding in Video for Unsupervised Word Translation
DeepMind(深度思维);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
地球上有成千上万种活跃的语言,但只有一个视觉世界。在这个视觉世界中扎根有可能弥合所有这些语言之间的差距。我们的目标是使用视觉基础来改善语言之间的无监督词映射。其核心思想是通过学习母语讲述的非配对教学视频中的嵌入,在两种语言之间建立一个共同的视觉表示。鉴于这种共享嵌入,我们证明:(i)我们可以映射语言之间的单词,特别是“视觉”单词;(ii)共享嵌入为现有的无监督基于文本的单词翻译技术提供了一个很好的初始化,形成了我们提出的混合视觉-文本映射算法MUVE的基础;和(iii)我们的方法通过解决基于文本的方法的缺点实现了卓越的性能-它更健壮,处理具有较少共性的数据集,并且适用于低资源语言。我们应用这些方法将单词从英语翻译成法语,韩语和日语-所有这些都没有任何平行语料库,只是通过观看许多人说话的视频。
2020-03-26 cs.CL cs.CV cs.LG
Parametric Instance Classification for Unsupervised Visual Feature Learning
Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学)
提出了一种用于无监督视觉特征学习的参数化实例分类方法。与以双分支非参数方式进行实例判别的最新方法不同,PIC直接执行单分支参数实例分类,揭示了类似于监督分类的简单框架,并且不需要解决信息泄漏问题。我们表明,简单的PIC框架可以作为有效的国家的最先进的方法,即Simplified和MoCo v2,通过适应几个常见的组件设置中使用的国家的最先进的方法。我们还提出了两种新的技术来进一步提高PIC的有效性和实用性:1)滑动窗口数据调度器,取代了之前基于纪元的数据调度器,解决了PIC中极不频繁的实例访问问题,提高了有效性; 2)采用负采样和权值更新校正方法,减少训练时间和GPU内存消耗,这也使得能够将PIC应用于几乎无限的训练图像。我们希望事先知情同意框架可以作为一个简单的基线,以方便未来的研究。
2020-06-25 cs.CV cs.LG
Transfer Learning via Unsupervised Task Discovery for Visual Question Answering
POSTECH(浦项科技大学);OpenAI;Seoul National University(首尔国立大学)
本文研究了在视觉问答任务中,如何利用现成的视觉和语言数据来处理词汇外答案。现有的大规模视觉数据集与注释,如图像类标签,边界框和区域描述是学习丰富多样的视觉概念的良好来源。然而,由于问题相关回答模型和没有问题的视觉数据之间的链接缺失,如何捕获视觉概念并将其转移到视觉问答模型并不简单。我们通过两个步骤来解决这个问题:1)学习任务条件视觉分类器,它能够解决各种特定于问题的视觉识别任务,基于无监督任务发现和2)将任务条件视觉分类器转移到视觉问答模型。具体来说,我们采用语言知识源,如结构化的词汇数据库(如WordNet)和视觉描述的无监督任务发现,并转移学习任务条件视觉分类器作为一个回答单元的视觉问答模型。我们的经验表明,该算法推广到词汇表外的答案成功地使用从视觉数据集转移的知识。
2019-04-07 cs.CL cs.CV cs.LG
Propagate Yourself: Exploring Pixel-Level Consistency for Unsupervised Visual Representation Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
用于无监督视觉表示学习的对比学习方法已经达到了显著的迁移性能水平。我们认为,对比学习的力量还没有完全释放,因为目前的方法只在实例级的借口任务上训练,导致表示可能是次优的下游任务需要密集的像素预测。在本文中,我们介绍了像素级的借口任务学习密集的特征表示。第一个任务直接在像素级应用对比学习。我们还提出了一个像素传播的一致性任务,产生更好的结果,甚至超过了国家的最先进的方法,由一个很大的利润。具体来说,当转移到Pascal VOC目标检测(C4)、COCO目标检测时,其实现了60.2 AP、41.4 / 40.5 mAP和77.2 mIoU(FPN / C4)和Cityscapes语义分割,使用ResNet-50骨干网络,它们是2.6 AP,0.8 / 1.0 mAP和1.0 mIoU优于以前基于实例级对比学习的最佳方法。此外,像素级的借口任务被发现是有效的预训练不仅定期骨干网络,但也头网络用于密集的下游任务,并补充实例级的对比方法。这些结果证明了在像素级定义借口任务的强大潜力,并提出了一个新的路径,在无监督的视觉表示学习。代码可在\url{https://github.com/zdaxie/PixPro}上获得。
2021-03-09 cs.CV cs.LG
Manifolds for Unsupervised Visual Anomaly Detection
Augustus Intelligence(奥古斯都智能公司)
根据定义,异常是罕见的,因此标记的示例非常有限或不存在,并且可能不包括不可预见的场景。无监督学习方法在训练中不一定会遇到异常,这将是非常有用的。生成视觉模型在这方面可能是有用的,但不足以表示正常和异常的数据分布。为此,我们提出了常曲率流形嵌入数据分布在无监督的视觉异常检测。通过理论和经验探索的流形形状,我们开发了一种新的超球面变分自动编码器(VAE)通过赤平投影与gyroplane层-一个完全等效的庞加莱VAE。这种具有流形投影的方法在模型泛化方面是有益的,并且可以产生更多可解释的表示。我们展示了精密制造和检测中视觉异常基准的最新结果,展示了工业人工智能场景中的现实效用。我们进一步展示了组织病理学这一具有挑战性问题的方法:我们的无监督方法有效地从嘈杂的全切片图像中检测出癌性脑组织,学习组织类型的平滑、潜在组织,为医疗专业人员提供了一个可解释的决策工具。
2020-06-19 cs.CV cs.LG stat.ML
Patch-aware Vector Quantized Codebook Learning for Unsupervised Visual Defect Detection
Samsung Display America Lab(三星显示美国实验室)
针对无监督视觉缺陷检测中表征能力与紧凑性难平衡的问题,提出引入patch感知动态码分配的增强VQ-VAE框架,优化空间表征以提升检测精度,在多个数据集上达SOTA性能。
2025-01-15 cs.AI cs.CV cs.LG
Delving into Inter-Image Invariance for Unsupervised Visual Representations
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学)
对比学习最近在无监督视觉表示学习中显示出巨大的潜力。现有的研究主要集中在图像内不变性学习。学习通常使用丰富的图像内变换来构建正对,然后使用对比损失来最大化一致性。相反,图像间不变性的优点仍然很少被探索。利用图像间不变性的一个主要障碍是不清楚如何可靠地构建图像间正对,并且由于没有对注释可用,因此还不清楚如何从它们中得到有效的监督。在这项工作中,我们提出了一个全面的实证研究,以更好地了解图像间不变性学习的作用,从三个主要组成部分:伪标签维护,采样策略,和决策边界设计。为了便于研究,我们引入了一个统一的通用框架,支持无监督的图像内和图像间不变性学习的集成。通过精心设计的比较和分析,揭示了多个有价值的观察结果:1)在线标签收敛速度更快,性能优于离线标签; 2)半硬负样本比硬负样本更可靠和无偏; 3)不太严格的决策边界更有利于图像间不变性学习。通过所有获得的配方,我们的最终模型,即Interceptor,在多个标准基准上显示出对最先进的图像内不变性学习方法的一致改进。我们希望这项工作将提供有用的经验,设计有效的无监督图像间不变性学习。代码:https://github.com/open-mmlab/mmselfsup.
2022-09-15 cs.CV cs.LG
Unsupervised Discovery of Mid-Level Discriminative Patches
Carnegie Mellon University(卡内基梅隆大学)
本文的目标是发现一组有区别的补丁,可以作为一个完全无监督的中级视觉表示。所需的补丁需要满足两个要求:1)具有代表性,它们需要在视觉世界中出现足够频繁; 2)具有区分性,它们需要与视觉世界的其他部分足够不同。补丁可以对应于部件、对象、“视觉短语”等,但不限于它们中的任何一个。我们把这作为一个无监督的判别聚类问题的图像补丁的一个巨大的数据集。我们使用一个迭代过程,在聚类和训练判别分类器之间交替进行,同时在每一步都应用仔细的交叉验证来防止过拟合。本文通过实验证明了判别补丁作为无监督的中级视觉表示的有效性,这表明它可以用于代替视觉词的许多任务。此外,判别补丁也可以用于监督机制,如场景分类,其中它们在MIT Indoor-67数据集上展示了最先进的性能。
2012-08-18 cs.AI cs.CV cs.LG
Affect-Aware Deep Belief Network Representations for Multimodal Unsupervised Deception Detection
University of Southern California(南加州大学)
检测欺骗行为的自动化系统可以在医疗、社会工作和法律领域提高人类福祉。用于训练监督式欺骗检测模型的标记数据集很少能被收集用于现实世界的高风险背景。为了应对这一挑战,我们提出了第一个无监督的方法来检测真实世界中的高风险欺骗视频,而不需要标签。本文提出了一种新的方法,用于情感感知的无监督深度信念网络(DBN)学习欺骗性和真实性行为的区分表示。利用心理学理论,链接影响和欺骗,我们实验了单模态和多模态DBN为基础的方法,面部效价,面部唤醒,音频和视觉特征的培训。除了使用面部影响作为训练DBN模型的特征之外,我们还引入了一个DBN训练过程,该过程使用面部影响作为视听表示的对齐器。我们进行了无监督高斯混合模型聚类的分类实验,以评估我们的方法。我们最好的无监督方法(在面部效价和视觉特征上进行训练)实现了80%的AUC,超过了人类的能力,并表现出完全监督模型的性能。我们的研究结果激励了未来在无监督的,感知影响的计算方法上的工作,用于检测野外的欺骗和其他社会行为。
2021-11-08 cs.CV cs.LG
ViRel: Unsupervised Visual Relations Discovery with Graph-level Analogy
Stanford University(斯坦福大学)
视觉关系构成了理解我们的构图世界的基础,因为视觉对象之间的关系捕获了场景中的关键信息。然后,从数据中自动学习关系是有利的,因为使用预定义标签的学习无法捕获所有可能的关系。然而,目前的关系学习方法通常需要监督,并且没有被设计为推广到具有比训练期间看到的更复杂的关系结构的场景。在这里,我们介绍ViRel,这是一种使用图级类比进行视觉关系无监督发现和学习的方法。在任务中的场景共享相同的底层关系子图结构的设置中,我们的对比同构和非同构图的学习方法以无监督的方式发现任务之间的关系。一旦了解了关系,ViRel就可以通过解析预测的关系结构来检索每个任务的共享关系图结构。使用基于网格世界和抽象推理语料库的数据集,我们证明了我们的方法在关系分类中达到了95%以上的准确率,发现了大多数任务的关系图结构,并进一步推广到具有更复杂关系结构的看不见的任务。
2022-07-04 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation for Visual Navigation
Carnegie Mellon University(卡内基梅隆大学)
视觉导航方法的进步导致智能具身导航代理能够学习有意义的表示从原始RGB图像,并执行各种各样的任务,涉及结构和语义推理。然而,大多数基于学习的导航策略都是在仿真环境中训练和测试的。为了使这些政策实际上有用,它们需要被转移到现实世界中。本文提出了一种用于视觉导航的无监督领域自适应方法。我们的方法将目标域中的图像翻译到源域,使得翻译与导航策略所学习的表示一致。该方法优于几个基线在两个不同的导航任务的仿真。我们进一步表明,我们的方法可以用于将在模拟中学习的导航策略转移到现实世界中。
2020-11-12 cs.CV cs.LG cs.RO
SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation
Duke University(杜克大学)
视觉概念发现一直被认为是提高神经网络可解释性的重要手段,因为一组语义上有意义的概念将为我们构建具有可理解推理过程的机器学习模型提供起点。以前的方法有缺点:要么他们依赖于标记的支持集,其中包含人类对“有用”对象的偏见,要么他们无法识别单个图像中出现的多个概念。我们重新定义的概念发现任务作为一个无监督的语义分割问题,并提出SegDiscover,一个新的框架,发现语义有意义的视觉概念,从图像数据集的复杂场景,而无需监督。我们的方法包含三个重要部分:从原始图像生成概念基元,通过在自监督预训练编码器的潜在空间中聚类来发现概念,以及通过神经网络平滑进行概念细化。实验结果证明,我们的方法可以在单个图像中发现多个概念,并且在Cityscapes和COCO-Stuff等复杂数据集上的性能优于最先进的无监督方法。我们的方法可以进一步作为一个神经网络的解释工具,通过比较不同的编码器得到的结果。
2022-04-22 cs.AI cs.CV cs.LG
Data refinement for fully unsupervised visual inspection using pre-trained networks
Scortex
异常检测近年来在视觉检测领域取得了很大的进展。更具体地说,对深度预训练神经网络提取的特征使用经典离群值检测技术已被证明在MVTec异常检测(MVTec AD)数据集上提供了卓越的性能。然而,与大多数其他异常检测策略一样,这些预先训练的方法假设所有训练数据都是正常的。因此,他们不能被视为完全无人监督。据我们所知,在完全无监督的环境下,没有研究这些预先训练的方法的工作。在这项工作中,我们首先使用污染的训练集(即包含有缺陷的样本)评估这些预训练方法对完全无监督上下文的鲁棒性,并表明这些方法与CutPaste等方法相比对污染更鲁棒。然后,我们提出了SROC,一个简单的细化策略一类分类。SROC能够从训练集中去除大部分污染的图像,并恢复一些丢失的AUC。我们进一步表明,我们的简单启发式算法与现有文献中更复杂的策略竞争,甚至优于现有文献中更复杂的策略。
2022-02-25 cs.AI cs.CV cs.LG
Unsupervised Depth Completion from Visual Inertial Odometry
University of California, Los Angeles(加州大学洛杉矶分校)
我们描述了一种方法来推断密集的深度从相机运动和稀疏的深度估计使用视觉惯性里程计系统。与使用激光雷达或结构光传感器的点云的其他场景不同,我们只有几百到几千个点,不足以告知场景的拓扑结构。我们的方法首先构建一个分段平面脚手架的场景,然后使用它来推断密集的深度使用的图像以及稀疏点。我们使用一个预测性的跨模态标准,类似于“自我监督”,测量跨时间的光度一致性,前后姿势一致性,以及与稀疏点云的几何兼容性。我们还推出了第一个视觉惯性+深度数据集,我们希望这将促进更多的探索,以结合视觉和惯性传感器的互补优势。为了将我们的方法与以前的工作进行比较,我们采用了无监督的KITTI深度完成基准,并在其上显示了最先进的性能。代码可在:https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry上获得。
2021-07-21 cs.AI cs.CV cs.LG
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford(牛津大学计算机科学系)
在过去的十年中,监督式深度学习方法已被广泛用于视觉里程计(VO)应用中,这在标记数据不丰富的环境中是不可行的。另一方面,无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射,在VO研究中受到的关注相对较少。在这项研究中,我们提出了一个生成式无监督学习框架,该框架使用深度卷积生成对抗网络(GANs)从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估,结果表明,所提出的方法优于现有的传统和无监督深度VO方法,为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
Semi-Supervised and Unsupervised Deep Visual Learning: A Survey
University of Tübingen(图宾根大学);University of Surrey(萨里大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
最先进的深度学习模型通常使用大量昂贵的标记训练数据进行训练。然而,需要详尽的手动注释可能会降低模型在有限标签制度中的泛化能力。半监督学习和无监督学习为从大量未标记的视觉数据中学习提供了有前途的范例。这些范式的最新进展表明,利用未标记数据来改进模型泛化并提供更好的模型初始化具有强大的好处。在本调查中,我们从统一的角度回顾了最近用于视觉识别的半监督学习(SSL)和无监督学习(UL)的高级深度学习算法。为了全面了解这些领域的最新技术,我们提出了一个统一的分类法。我们对现有的代表性SSL和UL进行了全面而深入的分析,以突出其在不同学习场景和不同计算机视觉任务中的应用中的设计原理。最后,我们讨论了SSL和UL的新兴趋势和开放性挑战,以阐明未来的关键研究方向。
2022-08-24 cs.AI cs.CV cs.LG
Interpretable Unsupervised Deformable Image Registration via Confidence-bound Multi-Hop Visual Reasoning
School of Engineering and Technology(工程与技术学院)
本文提出了一种基于多跳视觉推理的可解释无监督变形图像配准框架,通过局部空间细化和跨参考注意力机制,实现高精度且透明的医学图像配准。
2026-01-30 cs.AI cs.CV cs.LG
Unsupervised Learning of Visual 3D Keypoints for Control
Carnegie Mellon University(卡内基梅隆大学)
从高维图像中学习感觉运动控制策略至关重要地依赖于底层视觉表征的质量。先前的工作表明,结构化的潜在空间,如视觉关键点往往优于非结构化的表示机器人控制。然而,大多数这些表示,无论是结构化的还是非结构化的,都是在2D空间中学习的,即使控制任务通常是在3D环境中执行的。在这项工作中,我们提出了一个框架来学习这样的3D几何结构直接从图像中的端到端的无监督的方式。输入图像通过可微分编码器嵌入到潜在的3D关键点中,该编码器经过训练以优化多视图一致性损失和下游任务目标。这些发现的3D关键点倾向于以跨时间和3D空间的一致方式有意义地捕获机器人关节以及对象运动。所提出的方法在各种强化学习基准测试中优于现有的最先进的方法。https://buoyancy99.github.io/unsup-3d-keypoints/上的代码和视频
2021-06-14 cs.CV cs.LG cs.RO
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
SlotFormer: Unsupervised Visual Dynamics Simulation with Object-Centric Models
University of Toronto(多伦多大学);Vector Institute(向量研究所);Samsung AI Centre Toronto(三星多伦多人工智能中心);Google Research(谷歌研究院)
从视觉观察中理解动态是一个具有挑战性的问题,需要从场景中分离出单个对象并学习它们的相互作用。虽然最近的以对象为中心的模型可以成功地将场景分解为对象,但有效地建模它们的动态仍然是一个挑战。我们通过引入SlotFormer来解决这个问题,SlotFormer是一个基于Transformer的自回归模型,它基于学习到的以对象为中心的表示。给定一个视频剪辑,我们的方法的原因对象的功能,以模拟时空关系,并预测准确的未来对象的状态。在本文中,我们成功地应用SlotFormer对具有复杂对象交互的数据集进行视频预测。此外,无监督SlotFormer的动力学模型可以用于提高有监督下游任务的性能,例如视觉问答(VQA)和目标条件规划。与过去的动态建模工作相比,我们的方法实现了显着更好的长期合成的对象动态,同时保留高质量的视觉生成。此外,SlotFormer使VQA模型能够在没有对象级标签的情况下推理未来,甚至优于使用地面实况注释的同行。最后,我们展示了它作为基于模型的规划的世界模型的能力,这与专门为这些任务设计的方法是有竞争力的。
2023-01-21 cs.AI cs.CV cs.LG
Unsupervised Audio-Visual Subspace Alignment for High-Stakes Deception Detection
University of Southern California(南加州大学)
在高风险情况下检测欺骗的自动化系统可以提高医疗,社会工作和法律领域的社会福祉。用于检测视频中的高风险欺骗的现有模型已经被监督,但是用于训练模型的标记数据集很少能被收集用于大多数现实世界的应用。为了解决这个问题,我们提出了第一个多模态无监督迁移学习方法,该方法可以在不使用高风险标签的情况下检测视频中的真实世界,高风险欺骗。我们的子空间对齐(SA)的方法适应视听表示的欺骗在实验室控制的低风险的情况下,在现实世界中,高风险的情况下检测欺骗。我们最好的无监督SA模型优于没有SA的模型,优于人类的能力,并执行许多现有的监督模型。我们的研究证明了引入基于子空间的迁移学习来模拟现实世界中的高风险欺骗和其他社会行为的潜力,这些行为数据很少。
2021-02-06 cs.CV cs.HC cs.LG
Unsupervised visualization of image datasets using contrastive learning
University of Tübingen(蒂宾根大学)
提出一种名为 t-SimCNE 的新方法,结合对比学习与邻居嵌入,将高维像素空间参数化映射至二维,实现了与 SimCLR 相当的分类准确率,并生成了展示丰富聚类结构和异常值的图像数据集可视化。
2023-02-28 cs.CV cs.HC cs.LG
Unsupervised Visual Time-Series Representation Learning and Clustering
Queensland University of Technology(昆士兰科技大学)
时间序列数据无处不在地从物联网(IoT)基础设施、连接和可穿戴设备、遥感、自动驾驶研究以及大量的音频视频通信中产生。本文探讨了这些时间序列的无监督表示学习的潜力。在本文中,我们使用一种新的数据转换以及新的无监督学习机制将学习从其他领域转移到时间序列,其中前者具有在非常大的标记数据集上进行大量训练的广泛模型。我们进行了广泛的实验,以证明所提出的方法,通过时间序列聚类的潜力。
2021-11-19 cs.AI cs.LG
Self-Supervised Visual Terrain Classification from Unsupervised Acoustic Feature Learning
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究院)
在未知的城市环境中运行的移动机器人遇到了广泛的复杂地形,他们必须适应其规划的轨迹安全和有效的导航。大多数现有的方法利用监督学习从外感受或本体感受传感器模态对地形进行分类。然而,这需要为每个新遇到的地形以及由变化的环境条件引起的地形变化进行大量的手动标记工作。在这项工作中,我们提出了一种新的地形分类框架,利用一个无监督的本体感受分类器,从车辆-地形交互的声音学习自我监督的外感受分类器的图像像素明智的语义分割。为此,我们首先学习一个判别嵌入空间的车辆与地形的相互作用的声音从三元组的音频剪辑形成的视觉特征的相应的地形补丁和集群所产生的嵌入。随后,我们使用这些集群标记的视觉地形补丁,通过投影到相机图像的机器人遍历的轨道。最后,我们使用稀疏标记的图像以弱监督的方式训练我们的语义分割网络。我们提出了广泛的定量和定性结果表明,我们的本体感受地形分类器超过了最先进的无监督方法和我们的自我监督外感受语义分割模型实现了相当的性能与手动标记的数据监督学习。
2019-12-06 cs.CV cs.LG cs.RO
A Review of Single-Source Deep Unsupervised Visual Domain Adaptation
University of California, Berkeley(加利福尼亚大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
大规模的标记训练数据集使深度神经网络能够在广泛的基准视觉任务中表现出色。然而,在许多应用中,获取大量的标记数据是非常昂贵和耗时的。为了应对有限的标记训练数据,许多人试图将在大规模标记源域上训练的模型直接应用于另一个稀疏标记或未标记的目标域。不幸的是,跨域的直接传输通常由于域偏移或数据集偏差的存在而表现不佳。领域自适应是一种机器学习范例,其目的是从源域学习模型,该模型可以在不同(但相关)的目标域上表现良好。在本文中,我们回顾了最新的单源深度无监督领域自适应方法专注于视觉任务,并讨论了未来研究的新视角。我们首先定义了不同的领域自适应策略,并描述了现有的基准数据集。然后,我们总结和比较了不同类别的单源无监督领域自适应方法,包括基于差异的方法,对抗性判别方法,对抗性生成方法和基于自我监督的方法。最后,我们讨论了未来的研究方向与挑战和可能的解决方案。
2020-09-19 cs.CV cs.LG eess.IV
Unsupervised Joint $k$-node Graph Representations with Compositional Energy-Based Models
Purdue University(普渡大学);Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);United States Army Research Laboratory(美国陆军研究实验室)
现有的学习归纳无监督图表示的图神经网络(GNN)方法集中于通过预测图中观察到的边来学习节点和边表示。尽管这样的方法已经在下游节点分类任务中显示出进步,但是它们在联合表示较大的$k$ -节点集合$k{>}2$时是无效的。我们提出了MHM-GNN,一种归纳的无监督图表示方法,将联合$k$节点表示与基于能量的模型(超图马尔可夫网络)和GNN相结合。为了解决这种组合所产生的损失的棘手性,我们使用有限样本无偏马尔可夫链蒙特卡罗估计赋予我们的优化与损失上限。我们的实验表明,MHM-GNN的无监督MHM-GNN表示比文献中现有的方法产生更好的无监督表示。
2020-10-08 cs.AI cs.LG
SlotGNN: Unsupervised Discovery of Multi-Object Representations and Visual Dynamics
University of Minnesota(明尼苏达大学)
该研究提出包含SlotTransport和SlotGNN的无监督框架,可从视觉数据中发现多目标表征并预测动力学,在机器人重排等任务及真实场景中均表现优异。
2023-10-06 cs.AI cs.CV cs.LG
Quad-networks: unsupervised learning to rank for interest point detection
ETH Zurich(苏黎世联邦理工学院);Toshiba Corporation(东芝公司);Microsoft(微软)
几个机器学习任务需要仅使用稀疏的兴趣点集来表示数据。一个理想的检测器是能够找到相应的兴趣点,即使数据经历了一个典型的给定域的变换。由于该任务在计算机视觉中具有很高的实际意义,因此提出了许多手工制作的解决方案。在本文中,我们提出了一个基本问题:我们可以从头开始学习这样的检测器吗?由于通常不清楚哪些点是“有趣的”,因此无法使用人为标签来找到真正无偏见的解决方案。因此,这项任务需要一个无监督的制定。我们是第一个提出这样一个公式:训练一个神经网络以变换不变的方式对点进行排名。然后从该排名的顶部/底部分位数中提取兴趣点。我们验证了我们的方法上的两个任务:标准的RGB图像兴趣点检测和具有挑战性的跨模态RGB和深度图像之间的兴趣点检测。我们定量地表明,我们的无监督方法的性能更好或与基线相当。
2017-04-10 cs.CV cs.LG cs.NE
Unsupervised Neural Quantization for Compressed-Domain Similarity Search
Yandex(扬达克斯);Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学)
我们解决的问题,无监督的视觉描述符压缩,这是一个关键组成部分的大规模图像检索系统。虽然深度学习机器实际上已经使所有计算机视觉管道受益,但现有的最先进的压缩方法采用浅层架构,我们的目标是通过我们的论文缩小这一差距。更详细地说,我们介绍了DNN架构的无监督压缩域检索,基于多码本量化。所提出的架构的目的是将快速的数据编码和有效的距离计算通过查找表。我们证明了我们的方案在现有的量化方法的视觉描述符的几个数据集上通过优于以前的国家的最先进的一个大的利润率的特殊优势。
2019-08-11 cs.CV cs.LG stat.ML
Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
近年来发展起来的无监督学习方法利用类连体框架比较来自同一图像的两个“视图”来学习表示。区分这两种视图是保证无监督方法能够学习有意义信息的核心。然而,如果用于生成两个视图的增强不够强,则这种框架有时在过拟合上是脆弱的,从而导致对训练数据的过度自信问题。这个缺点阻碍了模型学习细微的方差和细粒度的信息。为了解决这个问题,在这项工作中,我们的目标是在无监督学习中涉及标签空间上的距离概念,并通过混合输入数据空间,让模型知道正或负对之间的软相似度,以进一步协同工作的输入和损失空间。尽管其概念简单,我们经验表明,与解决方案-无监督图像混合(Un-Mix),我们可以学习微妙的,更强大的和广义的表示从变换后的输入和相应的新的标签空间。在CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet和标准ImageNet上进行了大量的实验,使用流行的无监督方法Simplified、BYOL、MoCo V1&V2、SwAV等。我们提出的图像混合和标签分配策略在与基本方法完全相同的超参数和训练过程下,可以获得1~3%的一致性改进。代码可在https://github.com/szq0214/Un-Mix上公开获取。
2022-02-17 cs.CV cs.LG eess.IV
Early Visual Concept Learning with Unsupervised Deep Learning
Google DeepMind(谷歌DeepMind)
从原始图像数据中自动发现早期视觉概念是人工智能研究中的一个主要挑战。为了解决这个问题,我们提出了一种无监督的方法来学习解纠缠表示的变化的基本因素。我们从神经科学中汲取灵感,并展示了如何在无监督的生成模型中实现这一点,方法是应用与已建议在大脑腹侧视觉流中起作用的相同的学习压力。通过执行冗余减少,鼓励统计独立性,并暴露于数据的变换连续性类似于人类婴儿所暴露的,我们得到了一个变分自动编码器(VAE)的框架,能够学习解开的因素。我们的方法几乎没有假设,并且在各种各样的数据集上都能很好地工作。此外,我们的解决方案具有有用的涌现属性,如zero-shot推理和对“对象性”的直观理解。
2016-09-20 cs.LG q-bio.NC stat.ML
Online Unsupervised Learning of Visual Representations and Categories
New York University(纽约大学);Google(谷歌);University of Colorado, Boulder(科罗拉多大学博尔德分校);Columbia University(哥伦比亚大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Canadian Institute for Advanced Research(加拿大高等研究院)
现实世界的学习场景涉及样本之间具有顺序依赖性的类的非平稳分布,这与独立于固定的、通常均匀的分布绘制样本的标准机器学习公式形成对比。此外,现实世界的交互需要从很少或没有类标签的动态学习。在这项工作中,我们提出了一个无监督的模型,同时进行在线视觉表示学习和少样本学习的新类别,而不依赖于任何类标签。我们的模型是一个基于原型的内存网络,它有一个控制组件,可以确定何时形成一个新的类原型。我们将其制定为在线混合模型,其中组件仅使用单个新示例创建,并且分配不必平衡,这允许从未经策划的原始数据近似自然不平衡分布。学习包括对比损失,鼓励将同一图像的不同视图分配给同一原型。其结果是一种机制,形成非平稳环境中的对象的分类表示。实验表明,我们的方法可以学习从在线流的视觉输入数据和学习表示是显着更好的类别识别相比,国家的最先进的自监督学习方法。
2022-05-28 cs.CV cs.LG stat.ML
Unsupervised predictive coding models may explain visual brain representation
Directorate of Technology and Innovation(技术与创新局);Chamber of Deputies(众议院)
深度预测编码网络是受神经科学启发的无监督学习模型,可以学习预测未来的感觉状态。我们基于Lotter,Kreiman和Cox(2016)的PredNet实现来研究预测编码表示是否有助于预测视觉皮层的大脑活动。我们使用代表性相似性分析(RSA)比较PredNet表示功能磁共振成像(fMRI)和脑磁图(MEG)数据从Algonauts项目。与文献中先前的发现(Khaligh-Razavi &Kriegeskorte,2014)相比,我们报告的经验数据表明,训练用于预测视频帧的无监督模型可能优于监督图像分类基线。我们提交的最好的作品在Algonauts挑战赛的fMRI和MEG轨道上获得了16.67%和27.67%的平均噪声标准化分数。
2019-06-30 cs.LG q-bio.NC stat.ML
Unsupervised Curricula for Visual Meta-Reinforcement Learning
UC Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
原则上,Meta强化学习算法利用许多任务的经验来学习快速强化学习(RL)策略,这些策略可以转移到类似的任务中。然而,目前的元RL方法依赖于手动定义的训练任务分布,手工制作这些任务分布可能具有挑战性且耗时。“有用的”预训练任务可以在无监督的情况下发现吗?我们开发了一个无监督的算法,诱导自适应元训练任务分布,即自动课程,通过在视觉环境中建模无监督的交互。任务分布由元学习者轨迹分布的参数密度模型支撑。我们制定无监督元RL作为潜在的任务变量和元学习者的数据分布之间的信息最大化,并描述了一个实际的实例,它交替最近的经验整合到任务分布和元学习的更新任务。重复该过程导致迭代重组,使得课程随着元学习者的数据分布偏移而适应。特别是,我们展示了视觉表示的判别聚类如何支持具有像素观测的域中的自动级别任务获取和探索,避免了替代品的陷阱。在基于视觉的导航和操作领域的实验中,我们证明了该算法允许无监督元学习转移到由手工制作的奖励函数指定的下游任务,并作为测试任务分布的更有效的监督元学习的预训练。
2019-12-09 cs.AI cs.LG
Diffusion-Based Unsupervised Audio-Visual Speech Separation in Noisy Environments with Noise Prior
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);OriginAI
针对单麦克风含噪语音分离问题,提出一种基于扩散模型的无监督音视频分离方法,通过显式建模语音与噪声分布并利用逆向扩散过程采样,在嘈杂环境中实现了有效的纯净语音分离。
2025-09-17 cs.LG eess.AS
Dual Mean-Teacher: An Unbiased Semi-Supervised Framework for Audio-Visual Source Localization
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对视听源定位现有方法定位精度低、半监督方法未充分利用未标注数据的问题,提出含双师生结构的DMT无偏半监督框架,通过教师预测共识过滤噪声、取置信度图交集生成伪标签,仅用3%标注即大幅超越现有最优方法并可提升其他AVSL方法性能。
2024-03-05 cs.CV cs.LG cs.MM
Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations
Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本论文从学习、评估和迁移三个角度推进无监督视觉表示学习,提出无需反向传播的CSNNs、目标无关的表示评估指标、CARLANE域适应基准及内容一致的图像翻译方法。
2023-11-30 cs.AI cs.CV cs.GR
Where to Look Next: Unsupervised Active Visual Exploration on 360° Input
KU Leuven(鲁汶大学)
我们解决了大360°输入的主动视觉探索问题。在我们的设置中,具有有限相机带宽的主动代理通过在有限的离散时间步长改变其观看方向来探索其360°环境。因此,它观察世界是一系列狭窄的视野“一瞥”,自己决定下一步看哪里。我们提出的方法大大超过了以前的作品的性能,而不需要深度强化学习或训练单独的网络作为助手。我们系统的一个关键组成部分是空间记忆地图,它使系统意识到瞥见的方向(360°图像中的位置)。此外,我们强调的优势,视网膜般的一瞥时,代理的传感器带宽和时间步长是有限的。最后,我们使用训练好的模型,仅使用在一瞥中观察到的信息对整个场景进行分类。
2019-11-28 cs.AI cs.CV cs.LG
Dislocation cartography: Representations and unsupervised classification of dislocation networks with unique fingerprints
Interdisciplinary Centre for Advanced Materials Simulation (ICAMS)(跨学科先进材料模拟中心);Ruhr-Universität Bochum(鲁尔大学波鸿分校);Max-Planck Institute for Sustainable Materials(马克斯·普朗克可持续材料研究所)
针对晶体塑性变形产生的位错网络结构检测难题,研究采用Isomap流形学习技术揭示位错结构高维密度场的内在结构,构建可生成唯一指纹的定量比较框架,提出可系统扩展的无偏位错结构定量分类方法。
2024-06-21 cond-mat.mtrl-sci cs.LG
Unsupervised Feature Learning for Manipulation with Contrastive Domain Randomization
Technion(以色列理工学院);Cornell University(康奈尔大学)
机器人任务(诸如利用视觉输入的操纵)需要捕获场景的物理属性的图像特征,例如,物体的位置和形状。最近,有人建议从模拟的、自我监督的机器人交互中以无监督的方式学习这些特征;其想法是高级物理特性可以被现代物理模拟器很好地捕获,并且它们从视觉输入的表示可以很好地转移到现实世界。特别是,基于噪声对比估计的学习方法已经显示出有希望的结果。为了增强模拟到真实的转换,域随机化(DR)被建议用于学习对不相关的视觉属性(如纹理或照明)不变量的特征。然而,在这项工作中,我们表明,一个天真的应用DR无监督学习的基础上对比估计不促进不变性,损失函数最大化的功能之间的互信息和相关和不相关的视觉属性。我们提出了一个简单的修改对比度损失来解决这个问题,利用我们可以控制视觉属性的模拟随机化的事实。我们的方法学习的物理特征是更强大的视觉域的变化,因为我们证明使用刚性和非刚性对象。
2021-06-08 cs.AI cs.LG cs.RO
Diffusion-based Unsupervised Audio-visual Speech Enhancement
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学与应用实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本研究提出一种结合扩散视听语音生成模型与NMF噪声模型的无监督AVSE方法,通过迭代后验采样估计干净语音,在性能、泛化性及速度-性能平衡上均优于对比方法。
2025-01-15 cs.AI cs.CV cs.LG
Unsupervised Network Embedding for Graph Visualization, Clustering and Classification
Institute for Information and Communication Technologies, Electronics and Applied Mathematics (ICTEAM)(信息与通信技术、电子与应用数学研究所(ICTEAM));Center for Operations Research and Econometrics (CORE)(运筹学与计量经济学中心(CORE));Université catholique de Louvain(天主教鲁汶大学)
挖掘基于网络的数据的一个主要挑战是找到有效的方法来表示或编码图结构,以便机器学习算法可以有效地利用它。有几种方法集中在节点/边或子结构级别的网络表示。然而,许多现实生活中的挑战,如时变的,多层的,化学化合物和大脑网络涉及到一个家庭的图,而不是单一的分析打开额外的挑战,在图的比较和表示。学习表示的传统方法依赖于手工制作专门的算法来提取关于图的有意义的信息,例如统计属性,结构特征等,以及工程图距离来量化网络之间的不相似性。在这项工作中,我们提供了一个无监督的方法来学习嵌入表示的一组图,使它可以用于许多图挖掘任务。通过对输入图使用无监督的神经网络方法,我们的目标是捕获数据的潜在分布,以便区分不同类别的网络。我们的方法在合成和现实生活中的数据集上进行了经验评估,并在三个不同的任务中进行了评估:图聚类,可视化和分类。结果表明,我们的方法优于众所周知的图距离和图核的聚类和分类任务,是高效的运行时。
2019-03-15 cs.LG cs.SI stat.ML
Unsupervised Reward Shaping for a Robotic Sequential Picking Task from Visual Observations in a Logistics Scenario
Boston University(波士顿大学);Pickle Robot Co.(Pickle机器人公司)
针对物流卸货的顺序拣选任务,本文提出一种基于专家观测的无监督奖励塑形算法,以降低强化学习对监督的依赖并提升其性能。
2023-05-27 cs.LG cs.RO cs.SY