Unsupervised Source-Free Ranking of Biomedical Segmentation Models Under Distribution Shift
EMBL Heidelberg(欧洲分子生物学实验室海德堡分部);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
本文提出一种无监督、源无关的生物医学分割模型排名框架,通过预测一致性在扰动下进行评估,适用于语义和实例分割任务,展示了在2D和3D影像中广泛任务的强相关性。
2026-04-08 cs.CV
Unsupervised Learning of Visual Representations using Videos
Carnegie Mellon University(卡内基梅隆大学)
强有力的监督对于学习一个好的视觉表现是必要的吗?我们真的需要数百万个语义标记的图像来训练卷积神经网络(CNN)吗?在本文中,我们提出了一种简单但功能强大的CNN无监督学习方法。具体来说,我们使用来自网络的数十万未标记的视频来学习视觉表示。我们的核心思想是,视觉跟踪提供监督。也就是说,由轨迹连接的两个补丁在深特征空间中应该具有相似的视觉表示,因为它们可能属于相同的对象或对象部分。我们设计了一个具有排名损失函数的Siamese-triplet网络来训练这个CNN表示。在不使用ImageNet中的单个图像的情况下,仅使用10万个未标记的视频和VOC 2012数据集,我们训练了一个无监督网络的集合,实现了52%的mAP(无限界框回归)。这一性能非常接近其ImageNet监督的同类产品,后者实现了54.4%的mAP。我们还表明,我们的无监督网络可以在其他任务中具有竞争力,例如表面法线估计。
2015-10-06 cs.CV
Momentum Contrast for Unsupervised Visual Representation Learning
Facebook AI Research (FAIR)(Facebook人工智能研究院(FAIR))
我们提出了用于无监督视觉表示学习的动量对比(MoCo)。从对比学习作为字典查找的角度,我们建立了一个动态字典与队列和移动平均编码器。这使得能够在运行中构建一个大而一致的字典,从而促进对比无监督学习。MoCo在ImageNet分类的通用线性协议下提供了有竞争力的结果。更重要的是,MoCo学习到的表示可以很好地转移到下游任务中。MoCo可以在PASCAL VOC,COCO和其他数据集上的7个检测/分割任务中优于其监督的预训练对手,有时甚至远远超过它。这表明,在许多视觉任务中,无监督和有监督的表示学习之间的差距已经很大程度上缩小了。
2020-03-23 cs.CV
Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-Identification
Peking University(北京大学)
由于源域和目标域之间存在较大的域间隙,以及目标域上标记数据的缺乏,无监督域自适应人员重新识别(ReID)具有挑战性。本文通过结合局部单热分类和全局多类分类来联合执行视觉和时间一致性来应对这一挑战。局部独热分类算法在一个训练批中分配不同的人物ID,然后采用自适应分类(SAC)模型对它们进行分类。全局多类分类是通过使用基于记忆的时间引导聚类(MTC)在整个未标记的训练集上预测标签来实现的。MTC通过考虑视觉相似性和时间一致性来预测多类标签,以确保标签预测的质量。这两个分类模型结合在一个统一的框架中,有效地利用了未标记的数据进行区分性特征学习。在三个大规模ReID数据集上的实验结果表明,该方法在无监督和无监督域自适应ReID任务中均具有较好的性能.例如,在无监督设置下,我们的方法优于最近的无监督域自适应方法,后者利用更多的标签进行训练。
2020-07-21 cs.CV
Unsupervised Learning of Dense Visual Representations
Element AI;Cornell University(康奈尔大学);Mila;Université de Montréal(蒙特利尔大学)
对比自监督学习已经成为无监督视觉表示学习的一种很有前途的方法。一般来说,这些方法学习对不同视图不变的全局(图像级)表示(即,数据增强的合成)。然而,许多视觉理解任务需要密集(像素级)表示。在本文中,我们提出了视图不可知稠密表示(VADeR)的无监督学习稠密表示。VADeR通过强制局部特征在不同的观看条件下保持恒定来学习像素表示。具体来说,这是通过像素级的对比学习来实现的:匹配特征(即在不同视图上描述场景的相同位置的特征)应该在嵌入空间中接近,而不匹配的特征应该分开。VADeR为密集预测任务提供了一种自然的表示,并可以很好地转移到下游任务。我们的方法在多个密集预测任务中优于ImageNet监督预训练(和强无监督基线)。
2020-12-07 cs.CV
Unsupervised Visual Attention and Invariance for Reinforcement Learning
UC Berkeley / ICSI(加州大学伯克利分校 / 国际计算机科学研究所)
基于视觉的强化学习(RL)是成功的,但如何将其推广到未知的测试环境仍然具有挑战性。现有的方法专注于训练一个通用于改变视觉领域的RL策略,而我们专注于提取通用的视觉前景,为RL策略学习器提供干净的不变视觉。我们的方法是完全无监督的,没有手动注释或访问环境内部。给定训练环境中的动作视频,我们学习如何通过无监督的关键点检测提取前景,然后通过无监督的视觉注意自动生成每个视频帧的前景遮罩。然后,我们可以引入人工干扰项并训练模型以从噪声观测中重建干净的前景掩模。在测试过程中只需要这个学习模型来为RL策略学习器提供无干扰的视觉输入。我们的视觉注意力和不变性(VAI)方法在视觉领域泛化方面的表现明显优于最先进的方法,在DeepMind Control(我们的DrawerWorld Manipulation)基准测试中,每集的累积奖励增加了15%到49%(61%到229%)。我们的研究结果表明,不仅可以在没有任何监督的情况下学习域不变视觉,而且将RL从视觉干扰中解放出来也使策略更加集中,从而更好。
2021-04-16 cs.CV cs.RO
Learning Unsupervised Visual Grounding Through Semantic Self-Supervision
The Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学);Kohli Center of Intelligent Systems (KCIS)(科利智能系统中心(KCIS));IIIT-Hyderabad(海得拉巴国际信息技术学院)
在图像中定位自然语言短语是一个具有挑战性的问题,需要对文本和视觉模态的联合理解。在无监督环境中,缺乏监督信号加剧了这一困难。在本文中,我们提出了一个新的框架,无监督的视觉接地使用概念学习作为代理任务,以获得自我监督。这个想法背后的简单直觉是鼓励模型本地化到可以解释数据中某些语义属性的区域,在我们的例子中,属性是一组图像中存在的概念。我们提出了全面的定量和定性实验来证明我们的方法的有效性,并显示出比Visual Genome数据集的当前最先进水平提高了5.6%,比ReferItGame数据集提高了5.8%,与Flickr30k数据集的最先进性能相当。
2018-11-16 cs.CV
Transfer Learning via Unsupervised Task Discovery for Visual Question Answering
POSTECH(浦项科技大学);OpenAI;Seoul National University(首尔国立大学)
本文研究了在视觉问答任务中,如何利用现成的视觉和语言数据来处理词汇外答案。现有的大规模视觉数据集与注释,如图像类标签,边界框和区域描述是学习丰富多样的视觉概念的良好来源。然而,由于问题相关回答模型和没有问题的视觉数据之间的链接缺失,如何捕获视觉概念并将其转移到视觉问答模型并不简单。我们通过两个步骤来解决这个问题:1)学习任务条件视觉分类器,它能够解决各种特定于问题的视觉识别任务,基于无监督任务发现和2)将任务条件视觉分类器转移到视觉问答模型。具体来说,我们采用语言知识源,如结构化的词汇数据库(如WordNet)和视觉描述的无监督任务发现,并转移学习任务条件视觉分类器作为一个回答单元的视觉问答模型。我们的经验表明,该算法推广到词汇表外的答案成功地使用从视觉数据集转移的知识。
2019-04-07 cs.CL cs.CV cs.LG
Deep Clustering for Unsupervised Learning of Visual Features
Facebook AI Research(Facebook人工智能研究)
聚类是在计算机视觉中得到广泛应用和研究的一类无监督学习方法。几乎没有做过什么工作来使其适应大规模数据集上视觉特征的端到端训练。在这项工作中,我们提出了DeepCluster,这是一种聚类方法,它联合学习神经网络的参数和所产生特征的聚类分配。DeepCluster使用标准聚类算法k-means迭代地对特征进行分组,并使用后续分配作为监督来更新网络的权重。我们将DeepCluster应用于卷积神经网络在ImageNet和YFCC 100 M等大型数据集上的无监督训练。由此产生的模型在所有标准基准测试中的表现都明显优于当前的最新技术水平。
2019-03-18 cs.CV
Unsupervised semantic discovery through visual patterns detection
Ca’ Foscari University(威尼斯大学)
我们提出了一种新的快速完全无监督的方法来发现语义模式。我们的算法是能够分层找到视觉类别,并产生一个分割掩模,以前的方法失败。通过对图像中的视觉模式进行建模,我们引入了“语义级别”的概念,并设计了一个概念框架以及措施和专用的基准数据集,用于未来的比较。我们的算法由两个阶段组成。过滤阶段,其通过累加器空间选择语义热点,然后聚类阶段,其在超像素的基础上传播热点的语义属性。我们提供了定性和定量的实验验证,在对噪声和语义一致性的鲁棒性方面取得了最佳结果。我们还公开了代码和数据集。
2021-02-24 cs.CV
Joint Visual-Temporal Embedding for Unsupervised Learning of Actions in Untrimmed Sequences
University of Notre Dame(圣母大学);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所)
在动作识别领域,理解未修剪视频中复杂动作的结构是一项具有挑战性的任务。这里的一个问题是,该任务通常需要大量手动注释的分钟甚至小时长的视频数据,但是注释这样的数据非常耗时,并且不容易自动化或扩展。为了解决这个问题,本文提出了一种基于联合视觉-时间嵌入空间的未裁剪视频序列动作无监督学习方法。为此,我们将基于预测U-Net架构的视觉嵌入与时间连续函数相结合。由此产生的表示空间允许检测相关的动作集群的基础上,他们的视觉以及他们的时间外观。该方法在三个标准基准数据集上进行了评估,早餐动作,INRIA YouTube教学视频和50沙拉。我们表明,所提出的方法是能够提供一个有意义的视觉和时间嵌入的视觉线索存在于连续的视频帧,是适合的任务,无监督的时间分割的行动。
2020-09-30 cs.CV
UDIS: Unsupervised Discovery of Bias in Deep Visual Recognition Models
Georgia Institute of Technology(佐治亚理工学院)
深度学习模型已经被证明可以从数据中学习虚假的相关性,有时会导致某些亚群的系统性失败。先前的工作通常通过众包各种受保护属性的注释和测量性能来诊断这一点,这既昂贵又难以扩展。在这项工作中,我们提出了UDIS,一个无监督的算法,表面和分析这些故障模式。UDIS通过数据集嵌入的分层聚类来识别亚群,并通过可视化低性能聚类及其梯度加权类激活图来显示系统故障模式。我们证明了UDIS在识别CelebA和MSCOCO数据集上图像分类训练模型的故障模式方面的有效性。
2021-10-29 cs.CV
A Classification approach towards Unsupervised Learning of Visual Representations
Johnson Controls Inc.(江森自控公司)
在本文中,我们提出了一种技术的无监督学习的视觉表示。具体来说,我们训练一个模型的前景和背景分类任务,在这个过程中,它学习视觉表示。训练的前景和背景补丁来后,挖掘这样的补丁从数以百计和数以千计的未标记的视频在网络上,我们提取使用建议的补丁提取算法。在不使用任何监督的情况下,仅使用150,000个未标记的视频和PASCAL VOC 2007数据集,我们训练了一个达到45.3 mAP的对象识别模型,这接近于性能最好的无监督特征学习技术,但优于许多其他提出的算法。补丁提取的代码是在Matlab中实现的,可在以下链接中获得开源。
2018-06-01 cs.CV cs.LG stat.ML
Spectral Unsupervised Domain Adaptation for Visual Recognition
S-lab(S实验室);Nanyang Technological University(南洋理工大学)
尽管无监督领域自适应(UDA)近年来取得了令人瞩目的进展,但由于目标标注的缺失以及源和目标分布之间的差异,UDA仍然是一个巨大的挑战。我们提出了光谱UDA(SUDA),一个有效的和高效的UDA技术,工作在光谱空间,可以概括不同的视觉识别任务。SUDA从两个角度解决了UDA的挑战。首先,它引入了一个频谱Transformer(ST),减轻域间的差异,通过增强域不变的频谱,同时抑制源和目标样本的域变化的频谱。其次,它引入了多视图光谱学习,通过最大化每个目标样本的多个ST生成的光谱视图之间的互信息来学习有用的无监督表示。大量的实验表明,SUDA在目标检测、语义分割和图像分类等不同的视觉任务中都能保持较高的精度。此外,SUDA还与基于变压器的网络一起工作,并在目标检测方面实现了最先进的性能。
2022-06-05 cs.CV
Quad-networks: unsupervised learning to rank for interest point detection
ETH Zurich(苏黎世联邦理工学院);Toshiba Corporation(东芝公司);Microsoft(微软)
几个机器学习任务需要仅使用稀疏的兴趣点集来表示数据。一个理想的检测器是能够找到相应的兴趣点,即使数据经历了一个典型的给定域的变换。由于该任务在计算机视觉中具有很高的实际意义,因此提出了许多手工制作的解决方案。在本文中,我们提出了一个基本问题:我们可以从头开始学习这样的检测器吗?由于通常不清楚哪些点是“有趣的”,因此无法使用人为标签来找到真正无偏见的解决方案。因此,这项任务需要一个无监督的制定。我们是第一个提出这样一个公式:训练一个神经网络以变换不变的方式对点进行排名。然后从该排名的顶部/底部分位数中提取兴趣点。我们验证了我们的方法上的两个任务:标准的RGB图像兴趣点检测和具有挑战性的跨模态RGB和深度图像之间的兴趣点检测。我们定量地表明,我们的无监督方法的性能更好或与基线相当。
2017-04-10 cs.CV cs.LG cs.NE
A low-rank representation for unsupervised registration of medical images
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
配准网络在医学图像分析中显示出巨大的应用潜力。然而,有监督的训练方法对大型和高质量的标记数据集有很大的需求,这是耗时的,有时由于数据共享问题而不切实际。无监督图像配准算法通常采用基于强度的相似性度量作为损失函数,而不需要任何手动注释。这些方法通过在训练期间优化网络参数来估计运动图像和固定图像对之间的参数化变换。然而,当图像质量变化时,例如,一些图像被大量噪声或伪像破坏。在这项工作中,我们提出了一种基于低秩表示的新方法,即,Regnet-LRR,解决这个问题。我们将带噪图像投影到一个无噪的低秩空间中,然后计算图像之间的相似度。基于低秩相似性测度,我们训练配准网络来预测噪声图像对的密集变形场。我们强调,低秩投影以配准网络可以成功更新梯度的方式重新制定。有两个任务,即,心脏和腹部模态内配准,我们证明了低秩表示可以提高模型的泛化能力和鲁棒性,并在噪声数据配准场景中带来显着改善。
2021-05-20 cs.CV
Deep Unsupervised Learning of Visual Similarities
Heidelberg University(海德堡大学)
以无监督的方式进行视觉相似性的示例学习是计算机视觉中至关重要的问题。然而,在这种背景下,最近在深度学习方面的突破还不能充分发挥其潜力。由于只有一个阳性样本,一个阳性和许多阴性之间的巨大不平衡,以及大多数样本之间的不可靠关系,卷积神经网络的训练受到损害。在本文中,我们使用弱估计的局部相似性,并提出了一个单一的优化问题,以提取批次的样本相互一致的关系。将聚类关系分布在不同的批次上,并将相似的样本分组到紧凑的组中。学习视觉相似性,然后作为一系列的分类任务。然后,CNN巩固组内和组间的传递性关系,并为所有样本学习单个表示,而无需标签。所提出的无监督方法在详细的姿态分析和对象分类方面表现出有竞争力的性能。
2018-02-22 cs.CV
Capsule Network based Contrastive Learning of Unsupervised Visual Representations
Queen Mary, University of London(伦敦大学玛丽女王学院)
胶囊网络在过去的十年中取得了巨大的进步,由于其等变特性,在各种任务中表现优于传统的CNN。通过使用向量I/O提供对象或其部分的大小和方向的信息,在无监督学习环境中使用胶囊网络进行视觉表示任务(如多类图像分类)具有巨大的可能性。在本文中,我们提出了对比胶囊(CoCa)模型,这是一个暹罗风格的胶囊网络使用对比损失与我们的新架构,训练和测试算法。我们在无监督图像分类CIFAR-10数据集上对该模型进行了评估,并达到了70.50%的前1测试准确率和98.10%的前5测试准确率。由于我们的高效架构,我们的模型在监督和无监督学习中的参数和FLOP都比当前的SOTA少31倍。
2022-09-22 cs.AI cs.CV
DeepDiffusion: Unsupervised Learning of Retrieval-adapted Representations via Diffusion-based Ranking on Latent Feature Manifold
University of Yamanashi(山梨大学)
特征表示的无监督学习对于分析大量没有语义标签的多媒体数据是一个具有挑战性的重要问题。最近提出的基于神经网络的无监督学习方法已经成功地获得了适合于多媒体数据分类的特征。然而,无监督学习的特征表示适应于基于内容的匹配,比较,或检索的多媒体数据还没有得到很好的探索。为了获得这样的检索适应功能,我们引入了结合扩散距离的特点流形与神经网络为基础的无监督特征学习的想法。这个想法被实现为一种称为DeepDiffusion(DD)的新算法。DD同时优化两个组件,一个是由深度神经网络嵌入的特征,另一个是利用潜在特征流形上的扩散的距离度量。DD依赖于其损失函数,而不是编码器架构。因此,它可以应用于不同的多媒体数据类型与它们各自的编码器架构。使用3D形状和2D图像的实验评估证明了DD算法的多功能性和高精度。代码可在https://github.com/takahikof/DeepDiffusion上获得
2022-11-14 cs.CV cs.IR
Unsupervised Meta-learning of Figure-Ground Segmentation via Imitating Visual Effects
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);National Tsing Hua University(国立清华大学)
本文提出了一种“学习学习”的方法来进行图形-背景图像分割。通过探索特定视觉效果的丰富图像,我们的方法可以以无监督的方式有效地学习视觉效果的内部表示,并使用这些知识来区分图像中的图形和地面。具体来说,我们制定的元学习过程作为一个组成的图像编辑任务,学习模仿一定的视觉效果,并获得相应的内部表示。这样的生成过程可以帮助实例化潜在的图形-背景概念,并使系统能够完成预期的图像分割。虽然现有的生成方法主要是针对图像合成或风格转移,我们的方法提供了一个灵活的学习机制,从没有明确的像素级注释的无组织图像中建模图形-背景分割的一般概念。我们通过在六个数据集上进行广泛的实验来验证我们的方法,以证明所提出的模型可以在没有地面实况像素标记的情况下进行端到端训练,但优于现有的无监督分割任务方法。
2018-12-20 cs.CV
UniMoCo: Unsupervised, Semi-Supervised and Full-Supervised Visual Representation Learning
Tencent Wechat AI(腾讯微信AI);South China University of Technology(华南理工大学)
动量对比度(MoCo)在无监督视觉表示方面取得了巨大的成功。然而,有很多监督和半监督数据集已经被标记。为了充分利用标签注释,我们提出了统一动量对比(UniMoCo),它扩展了MoCo以支持任意比例的标记数据和未标记数据训练。与MoCo相比,UniMoCo有以下两个改进:(1)与MoCo中的单个正对不同,我们通过将查询标签与标签队列进行比较来动态维护多个正对。(2)我们提出了一个统一的对比(UniCon)损失,以支持任意数量的积极和消极的统一成对优化的角度。我们的UniCon算法在理论和实践上都比监督对比损失算法更加合理和有效。在我们的实验中,我们使用不同比例的ImageNet标签预训练多个UniMoCo模型,并评估各种下游任务的性能。实验结果表明,UniMoCo对无监督、半监督和有监督的视觉表示学习都有很好的泛化能力。
2021-03-19 cs.CV
Local Aggregation for Unsupervised Learning of Visual Embeddings
Stanford University(斯坦福大学)
神经网络中的无监督学习方法对于促进人工智能具有重大意义,这既是因为它们可以在不需要大量昂贵注释的情况下训练网络,也是因为它们是人类部署的那种通用学习的更好模型。然而,无监督网络的性能长期落后于有监督网络,特别是在大规模视觉识别领域。最近在训练深度卷积嵌入以最大限度地提高非参数实例分离和聚类目标方面的发展表明,有希望缩小这一差距。在这里,我们描述了一种方法,该方法训练嵌入函数以最大化局部聚合的度量,使相似的数据实例在嵌入空间中一起移动,同时允许不同的实例分离。这种聚合度量是动态的,允许出现不同规模的软集群。我们在几个大规模视觉识别数据集上评估了我们的过程,在ImageNet中的对象识别,Places 205中的场景识别和PASCAL VOC中的目标检测上实现了最先进的无监督迁移学习性能。
2019-04-10 cs.AI cs.CV
Unsupervised Deep Hashing for Large-scale Visual Search
Northwestern Polytechnical University(西北工业大学);University of Oulu(奥卢大学)
基于学习的哈希算法在大规模视觉搜索中起着关键作用。然而,大多数现有的散列算法倾向于学习不寻求代表性二进制代码的浅模型。在本文中,我们提出了一种基于无监督深度学习的哈希方法,将特征分层转换为哈希码。在异构深度哈希框架内,考虑具有特定约束的自动编码器层来建模特征和二进制代码之间的非线性映射。然后,一个限制玻尔兹曼机(RBM)层的约束被用来减少在汉明空间的维数。视觉搜索问题上的广泛实验证明了我们所提出的方法相比,国家的最先进的竞争力。
2016-01-31 cs.CV cs.LG
Category Contrast for Unsupervised Domain Adaptation in Visual Tasks
Nanyang Technological University(南洋理工大学);Inception Institute of Artificial Intelligence(起源人工智能研究院)
近年来,无监督表示学习的实例对比取得了很大的成功。在这项工作中,我们探讨了无监督领域自适应(UDA)的实例对比学习的想法,并提出了一种新的类别对比技术(CaCo),引入语义先验的实例歧视视觉UDA任务。通过将实例对比学习视为字典查找操作,我们构建了一个语义感知的字典,其中每个目标样本被分配一个(伪)类别标签的基础上的类别先验的源样本和目标域的样本。这允许类别对比学习(在目标查询和类别级字典之间)用于类别区分但域不变的特征表示:相同类别的样本(来自源或目标域)被拉近,而不同类别的样本同时被推开。在多个视觉任务中进行了广泛的UDA实验(例如,分割、分类和检测)表明,与现有技术的方法相比,CaCo实现了优越的性能。实验还表明,CaCo是对现有UDA方法的补充,并可推广到其他学习设置,如无监督模型自适应,开集/部分集自适应等。
2022-03-17 cs.CV
Pose Graph Optimization for Unsupervised Monocular Visual Odometry
The University of Tokyo(东京大学);RIKEN(理化学研究所)
基于无监督学习的单目视觉里程计(VO)因其无标签学习能力和对摄像机参数和环境变化的鲁棒性而受到广泛关注。然而,部分地由于缺乏漂移校正技术,这些方法仍然远不如用于大规模里程估计的几何方法准确。在本文中,我们提出利用图优化和环路闭合检测来克服基于无监督学习的单目视觉里程计的局限性。为此,我们提出了一个混合VO系统,它结合了一个无监督的单眼VO称为NeuralBundler与姿态图优化后端。NeuralBundler是一个神经网络架构,它使用时间和空间光度损失作为主要监督,并生成由多视图6DoF约束组成的窗口姿态图。我们提出了一种新的姿势周期一致性损失,以减轻紧张局势的窗口姿态图,从而提高性能和鲁棒性。在后端,全局姿态图是根据NeuralBundler估计的局部和循环6DoF约束构建的,并在SE(3)上进行优化。对KITTI里程计数据集的实证评估表明,1)NeuralBundler在无监督单目VO估计方面达到了最先进的性能,2)与已建立的单目SLAM系统相比,我们的整个方法可以实现有效的闭环,并显示出良好的整体平移精度。
2019-03-15 cs.CV
Visual Grounding in Video for Unsupervised Word Translation
DeepMind(深度思维);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
地球上有成千上万种活跃的语言,但只有一个视觉世界。在这个视觉世界中扎根有可能弥合所有这些语言之间的差距。我们的目标是使用视觉基础来改善语言之间的无监督词映射。其核心思想是通过学习母语讲述的非配对教学视频中的嵌入,在两种语言之间建立一个共同的视觉表示。鉴于这种共享嵌入,我们证明:(i)我们可以映射语言之间的单词,特别是“视觉”单词;(ii)共享嵌入为现有的无监督基于文本的单词翻译技术提供了一个很好的初始化,形成了我们提出的混合视觉-文本映射算法MUVE的基础;和(iii)我们的方法通过解决基于文本的方法的缺点实现了卓越的性能-它更健壮,处理具有较少共性的数据集,并且适用于低资源语言。我们应用这些方法将单词从英语翻译成法语,韩语和日语-所有这些都没有任何平行语料库,只是通过观看许多人说话的视频。
2020-03-26 cs.CL cs.CV cs.LG
Unsupervised Depth Completion from Visual Inertial Odometry
University of California, Los Angeles(加州大学洛杉矶分校)
我们描述了一种方法来推断密集的深度从相机运动和稀疏的深度估计使用视觉惯性里程计系统。与使用激光雷达或结构光传感器的点云的其他场景不同,我们只有几百到几千个点,不足以告知场景的拓扑结构。我们的方法首先构建一个分段平面脚手架的场景,然后使用它来推断密集的深度使用的图像以及稀疏点。我们使用一个预测性的跨模态标准,类似于“自我监督”,测量跨时间的光度一致性,前后姿势一致性,以及与稀疏点云的几何兼容性。我们还推出了第一个视觉惯性+深度数据集,我们希望这将促进更多的探索,以结合视觉和惯性传感器的互补优势。为了将我们的方法与以前的工作进行比较,我们采用了无监督的KITTI深度完成基准,并在其上显示了最先进的性能。代码可在:https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry上获得。
2021-07-21 cs.AI cs.CV cs.LG
Unsupervised Visual Representation Learning by Context Prediction
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
这项工作探讨了使用空间背景作为一个来源的自由和丰富的监督信号,训练丰富的视觉表征。只给一个大的,未标记的图像集合,我们从每个图像中提取随机的补丁对,并训练卷积神经网络来预测第二个补丁相对于第一个补丁的位置。我们认为,做好这项任务需要模型学习识别对象及其部件。我们证明了使用这种图像内上下文学习的特征表示确实可以捕获图像之间的视觉相似性。例如,这种表示允许我们从Pascal VOC 2011检测数据集中对猫、人甚至鸟类等对象进行无监督的视觉发现。此外,我们还证明了学习的ConvNet可以用于R-CNN框架,并且比随机初始化的ConvNet有显著的提升,从而在仅使用Pascal提供的训练集注释的算法中获得了最先进的性能。
2016-01-16 cs.CV
Unsupervised Data Uncertainty Learning in Visual Retrieval Systems
Honda Research Institute, USA(本田美国研究所)
我们引入了一个无监督的配方估计异方差的不确定性检索系统。我们提出了一个扩展的三重损失模型的数据不确定性为每个输入。除了提高性能,我们的配方模型的嵌入空间中的局部噪声。它量化了输入的不确定性,从而提高了系统的可解释性。这有助于识别查询和搜索数据库中的噪声观测。图像和视频检索应用程序的评价突出了我们的方法的实用性。我们强调了我们使用两个真实世界数据集(Clothing1M和Honda Driving数据集)对局部噪声建模的效率。定性结果说明了我们的能力,在确定混乱的情况下,在各个领域。不确定性学习还可以通过检测嘈杂的训练标签来进行数据清理。
2019-02-07 cs.CV
Unsupervised Graph-based Rank Aggregation for Improved Retrieval
University of Campinas (UNICAMP)(坎皮纳斯大学);São Paulo State University (UNESP)(圣保罗州立大学)
本文提出了一个强大的和全面的基于图的排名聚合方法,用于合并检索任务中孤立的排名模型的结果。该方法遵循一个无监督的计划,这是独立的孤立的行列如何制定。我们的方法是能够结合任意的模型,定义在不同的排名标准,如那些基于文本,图像或混合内容表示。我们重新制定的ad-hoc检索问题作为一个文件检索的基础上融合图,我们提出了一个新的统一的表示模型,能够合并多个等级,并表示检索结果的相互关系自动。通过这样做,我们声称检索系统可以受益于学习数据集的流形结构,从而导致更有效的结果。另一个贡献是,与现有方法不同,我们的基于图的聚合公式允许封装从多个排名编码的上下文信息,这些信息可以直接用于排名,而无需对图进行进一步的计算和后处理步骤。基于图,一个新的相似性检索分数制定使用一个有效的计算最小公共子图。最后,与现有方法相比的另一个好处是没有超参数。考虑到不同的知名公共数据集,包括文本,图像和多模态文档进行了全面的实验评估。执行的实验表明,我们的方法达到最高性能,产生更好的有效性分数比国家的最先进的基线方法,并促进大收益的排名被融合,从而证明了成功的能力的建议表示查询的基础上统一的基于图的模型排名融合。
2019-03-18 cs.CV cs.IR
Unsupervised Video Highlight Detection by Learning from Audio and Visual Recurrence
University of Saskatchewan(萨斯喀彻温大学);Google DeepMind(谷歌DeepMind)
针对视频精彩片段检测依赖标注的问题,提出利用音频与视觉内容跨视频重复性生成伪标签并训练音视检测网络的无监督方法,在三个基准上性能优于已有方法。
2025-05-14 cs.CV
Manifolds for Unsupervised Visual Anomaly Detection
Augustus Intelligence(奥古斯都智能公司)
根据定义,异常是罕见的,因此标记的示例非常有限或不存在,并且可能不包括不可预见的场景。无监督学习方法在训练中不一定会遇到异常,这将是非常有用的。生成视觉模型在这方面可能是有用的,但不足以表示正常和异常的数据分布。为此,我们提出了常曲率流形嵌入数据分布在无监督的视觉异常检测。通过理论和经验探索的流形形状,我们开发了一种新的超球面变分自动编码器(VAE)通过赤平投影与gyroplane层-一个完全等效的庞加莱VAE。这种具有流形投影的方法在模型泛化方面是有益的,并且可以产生更多可解释的表示。我们展示了精密制造和检测中视觉异常基准的最新结果,展示了工业人工智能场景中的现实效用。我们进一步展示了组织病理学这一具有挑战性问题的方法:我们的无监督方法有效地从嘈杂的全切片图像中检测出癌性脑组织,学习组织类型的平滑、潜在组织,为医疗专业人员提供了一个可解释的决策工具。
2020-06-19 cs.CV cs.LG stat.ML
Unsupervised Place Discovery for Visual Place Classification
Univ. of FUKUI(福井大学)
在这项研究中,我们探讨了深度卷积神经网络(DCNN)在机器人映射和定位的视觉位置分类中的应用。一个悬而未决的问题是如何将机器人的工作空间划分为多个位置以最大化性能(例如,准确度、精确度、召回率)。这是一个先有鸡还是先有蛋的问题:如果我们有一个经过良好训练的DCNN分类器,那么将机器人的工作空间划分为各个地方是相当容易的,但DCNN分类器的训练需要一组预定义的地方类。在这项研究中,我们解决了这个问题,并提出了几种策略,无监督发现的地方类(“时间线索”,“位置线索”,“时间外观线索”,“位置外观线索”)。我们还使用公开的密歇根大学北校区长期(NCLT)数据集评估所提出的方法的有效性。
2016-12-21 cs.CV
Patch-aware Vector Quantized Codebook Learning for Unsupervised Visual Defect Detection
Samsung Display America Lab(三星显示美国实验室)
针对无监督视觉缺陷检测中表征能力与紧凑性难平衡的问题,提出引入patch感知动态码分配的增强VQ-VAE框架,优化空间表征以提升检测精度,在多个数据集上达SOTA性能。
2025-01-15 cs.AI cs.CV cs.LG
Fast Unsupervised Tensor Restoration via Low-rank Deconvolution
本文提出带微分正则化的低秩反卷积模型,融合 TV 与积分先验,在图像去噪和视频增强中以低计算成本取得优异恢复性能。
2024-06-15 cs.CV
Leveraging Unsupervised Learning for Cost-Effective Visual Anomaly Detection
Department of Engineering, University of Cambridge(剑桥大学工程系)
本研究提出一种低成本视觉异常检测系统,通过预训练模型和低成本硬件,利用少量数据实现高准确率的异常检测,适用于中小型企业。
2026-05-17 cs.AI cs.CV
Transformer Guided Geometry Model for Flow-Based Unsupervised Visual Odometry
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhengzhou University(郑州大学);University of Wollongong(伍伦贡大学)
现有的无监督视觉里程计(VO)方法要么匹配成对的图像或集成的时间信息,使用递归神经网络在一个长序列的图像。它们要么不准确,训练耗时或误差累积。在本文中,我们提出了一种方法,由两个相机的姿态估计,分别处理成对图像和一个短序列的图像的信息。对于图像序列,采用类似于变换器的结构在局部时间窗口上建立几何模型,称为基于变换器的辅助姿态估计(TAPE)。同时,一个流到流的姿态估计(F2FPE)提出利用成对图像之间的关系。这两个估计量通过简单而有效的训练一致性损失来约束。实证评估表明,该方法优于国家的最先进的无监督学习为基础的方法,由一个很大的利润,并执行监督和传统的KITTI和马拉加数据集。
2020-12-08 cs.CV
Unsupervised Deep Persistent Monocular Visual Odometry and Depth Estimation in Extreme Environments
The University of Oxford(牛津大学);NASA - Jet Propulsion Laboratory, California Institute of Technology(美国国家航空航天局喷气推进实验室、加州理工学院)
近年来,无监督深度学习方法在从未标记的单目图像序列中估计深度和视觉里程计(VO)方面受到了极大的关注。然而,由于感知退化、遮挡和快速运动,它们的性能在具有挑战性的环境中受到限制。此外,现有的无监督方法缺乏跨帧的尺度一致性约束,这导致VO估计器无法提供长序列的持久轨迹。在这项研究中,我们提出了一个无监督的单目深度VO框架,预测六度的自由度构成相机运动和深度图的场景从未标记的RGB图像序列。我们对拟议框架进行了详细的定量和定性评估:a)DARPA地下挑战期间收集的具有挑战性的数据集; b)基准KITTI和Cityscapes数据集。所提出的方法优于传统和最先进的无监督深度VO方法,为姿势估计和深度恢复提供更好的结果。所提出的方法是COSTAR团队参与DARPA地下挑战赛所使用的解决方案的一部分。
2020-10-31 cs.AI cs.CV
Unsupervised Discovery of Mid-Level Discriminative Patches
Carnegie Mellon University(卡内基梅隆大学)
本文的目标是发现一组有区别的补丁,可以作为一个完全无监督的中级视觉表示。所需的补丁需要满足两个要求:1)具有代表性,它们需要在视觉世界中出现足够频繁; 2)具有区分性,它们需要与视觉世界的其他部分足够不同。补丁可以对应于部件、对象、“视觉短语”等,但不限于它们中的任何一个。我们把这作为一个无监督的判别聚类问题的图像补丁的一个巨大的数据集。我们使用一个迭代过程,在聚类和训练判别分类器之间交替进行,同时在每一步都应用仔细的交叉验证来防止过拟合。本文通过实验证明了判别补丁作为无监督的中级视觉表示的有效性,这表明它可以用于代替视觉词的许多任务。此外,判别补丁也可以用于监督机制,如场景分类,其中它们在MIT Indoor-67数据集上展示了最先进的性能。
2012-08-18 cs.AI cs.CV cs.LG
Low-Rank Velocity Fields as a Structural Prior for Unsupervised 4D Medical Image Interpolation
Southern University of Science and Technology(南方科技大学);Shenzhen University of Advanced Technology(深圳先进技术研究院);Shenzhen University Medical School(深圳大学医学院);Shenzhen University(深圳大学);Research Institute of Trustworthy Autonomous Systems(可信自主系统研究院)
提出低秩速度场作为结构先验,结合多尺度方案实现无监督4D医学图像插值,在ACDC和4D-Lung数据集上达到最优性能,生成的中间体积结构一致性与轮廓稳定性更优。
2026-08-26 cs.CV
Unsupervised learning of clutter-resistant visual representations from natural videos
MIT(麻省理工学院);McGovern Institute(麦戈文研究所);Center for Brains, Minds and Machines(大脑、心智与机器中心)
下颞叶皮层(IT)中的神经元群体维持对象身份的显式代码,该代码也容忍对象外观的变换,例如,位置,比例,视角[1,2,3]。虽然学习规则是未知的,但最近的结果[4,5,6]表明了无监督的基于时间关联的方法的操作,例如,Foldiak's trace rule [7].这种方法利用视觉世界的时间连续性,假设在短时间尺度上的视觉体验往往具有不变的身份内容。因此,通过关联来自附近时间的帧的表示,可以实现容忍视频中发生的任何变换的表示。许多先前的研究证实,这种规则可以在没有背景杂波的简单情况下工作,但视觉杂波的存在仍然是这种方法的问题。在这里,我们展示了基于大型类特定过滤器(模板)的时间关联避免了混乱的问题。我们的系统以无监督的方式从互联网上收集的自然视频中学习,并且能够在自然图像上执行困难的无约束人脸识别任务:野外的标记人脸[8]。
2015-04-24 cs.CV cs.LG
Unsupervised Visual Sense Disambiguation for Verbs using Multimodal Embeddings
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们引入了一个新的任务,动词的视觉意义消歧:给定一个图像和一个动词,分配动词的正确意义,即,描述图像中所描绘的动作的那个。就像文本词义消歧对各种NLP任务都很有用一样,视觉词义消歧对图像检索、图像描述和文本说明等多模态任务也很有用。我们引入了VerSe,这是一个新的数据集,它用意义标签增强了现有的多模态数据集(COCO和TUHOI)。我们提出了一个无监督的算法Lesk的基础上进行视觉意义消歧使用文本,视觉,或多模态嵌入。我们发现,当黄金标准的文本注释(对象标签和图像描述)可用时,文本嵌入表现良好,而多模态嵌入在未注释的图像上表现良好。我们还验证了我们的研究结果,使用文本和多模态嵌入作为特征,在监督设置和分析的性能的视觉意义消歧任务。VerSe是公开的,可以在https://github.com/spandanagella/verse下载。
2016-03-30 cs.CL cs.CV
Cluster Contrast for Unsupervised Visual Representation Learning
Department of Electrical and Electronic Engineering(电气与电子工程系)
本研究提出融合对比学习与聚类的无监督视觉表征学习方法CueCo,通过双网络结构与双重损失优化特征分布,在多个基准数据集上取得优异性能,为该领域发展提供新思路。
2025-07-16 cs.AI cs.CV
CONDA: Continual Unsupervised Domain Adaptation Learning in Visual Perception for Self-Driving Cars
University of Arkansas(阿肯色大学)
针对自动驾驶视觉感知中分割模型遇新数据、旧数据因隐私不可用的问题,提出无需旧数据的CONDA持续无监督域自适应方法,通过双射最大似然损失防灾难性遗忘,在基准测试上性能先进。
2024-04-15 cs.CV
Using brain inspired principles to unsupervisedly learn good representations for visual pattern recognition
University of Lisbon(里斯本大学)
虽然深度学习解决了视觉模式识别中的难题,但它在有大量标记训练数据的任务中大多是成功的。此外,基于全局反向传播的训练规则和所采用的层的数量表示偏离生物灵感。大脑能够以非常一般的方式执行大多数这些任务,从有限到没有标记的数据。出于这些原因,研究大脑中的计算原理仍然是一个关键的研究问题,这些原理可以帮助指导模型在无监督的情况下学习良好的表示,然后可以用于执行分类等任务。在这项工作中,我们探索这些原则中的一些产生这样的表示MNIST数据集。我们比较所获得的结果与最近的类似作品,并验证极具竞争力的结果。
2021-04-30 cs.CV cs.NE
Siamese Transition Masked Autoencoders as Uniform Unsupervised Visual Anomaly Detector
Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学)
无监督视觉异常检测在许多场景中具有实际意义,并且由于异常的无限定义而成为一项具有挑战性的任务。此外,大多数先前的方法是特定于应用的,并且建立跨应用场景的异常的统一模型仍然没有解决。本文提出了一种新的混合框架,称为连体过渡掩码自编码器(ST-MAE)处理各种视觉异常检测任务,通过深度特征过渡统一。具体地说,该方法首先从预训练的深度卷积神经网络中提取层次语义特征,然后开发一种特征解耦策略,将深度特征分成两个不相交的特征补丁子集。利用解耦的特征,ST-MAE是使用Siamese编码器开发的,该编码器对特征补丁的每个子集进行操作并执行两个子集的潜在表示转换,以及一个轻量级解码器,该解码器从转换后的潜在表示重建原始特征。最后,利用语义深度特征残差检测异常属性。我们的深度特征转换方案产生了一个非平凡的语义自我监督任务,以提取原型正常模式,这允许学习统一的模型,以及推广不同的视觉异常检测任务。实验结果表明,ST-MAE方法在多个应用场景下具有较好的推理性能,有望成为无监督视觉异常检测的统一模型.
2022-11-01 cs.CV
Knowledge-Aligned Counterfactual-Enhancement Diffusion Perception for Unsupervised Cross-Domain Visual Emotion Recognition
The Laboratory of Intelligent Collaborative Computing of UESTC(UESTC智能协同计算实验室);Ubiquitous Intelligence and Trusted Services Key Laboratory of Sichuan Province(四川省 ubiquitous intelligence and trusted services 重点实验室);Faculty of Information Technology, Monash University(墨尔本大学信息技术学院)
提出KCDP框架,利用VLM对齐情感表示并引导扩散模型,结合CLIEA生成伪标签,解决无监督跨域视觉情感识别中的表达变异和分布偏移,超越SOTA模型12%。
2025-05-26 cs.CV
Vision-Aided Absolute Trajectory Estimation Using an Unsupervised Deep Network with Online Error Correction
GTS;US Army Research Laboratory(美国陆军研究实验室)
我们提出了一种无监督的深度神经网络方法来融合RGB-D图像与惯性测量,以进行绝对轨迹估计。我们的网络被称为视觉惯性测距学习器(VIOLearner),学习在没有惯性测量单元(IMU)内部参数(对应于陀螺仪和加速度计偏差或白噪声)或IMU和相机之间的外部校准的情况下执行视觉惯性测距(VIO)。该网络学习整合IMU测量值并生成假设轨迹,然后根据缩放图像投影误差相对于像素坐标空间网格的雅可比矩阵在线校正这些假设轨迹。我们评估了我们的网络对国家的最先进的(SOA)视觉惯性里程计,视觉里程计,视觉同时定位与地图构建(VSLAM)的KITTI里程计数据集的方法,并展示了竞争力的里程计性能。
2018-03-08 cs.CV cs.RO
Visual Memorability for Robotic Interestingness via Unsupervised Online Learning
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们探讨了移动机器人感兴趣的场景预测问题。这一领域目前尚未得到充分探索,但对于许多实际应用至关重要,例如自主探索和决策。受工业需求的启发,我们首先提出了一种新颖的不变性视觉记忆,用于回忆和识别感兴趣的场景,然后设计了一个长期,短期和在线学习的三阶段架构。这使我们的系统能够分别学习类似人类的经验、环境知识和在线适应。我们的方法在具有挑战性的机器人兴趣数据集上实现了比最先进的算法更高的准确性。
2020-07-18 cs.CV cs.RO
UnDeepVO: Monocular Visual Odometry through Unsupervised Deep Learning
University of Essex(埃塞克斯大学);Heriot-Watt University(赫瑞-瓦特大学);National University of Defense Technology(国防科技大学)
本文提出了一种新的单目视觉里程计(VO)系统UnDeepVO。UnDeepVO能够通过使用深度神经网络来估计单目相机的6-DoF姿态及其景深。所提出的UnDeepVO有两个显著特征:一个是无监督的深度学习方案,另一个是绝对规模恢复。具体来说,我们通过使用立体图像对来训练UnDeepVO以恢复尺度,但通过使用连续的单目图像来测试它。因此,UnDeepVO是一个单目系统。定义用于训练网络的损失函数是基于空间和时间密集信息。系统概述如图1所示。在KITTI数据集上的实验表明,我们的UnDeepVO在姿态精度方面取得了良好的性能。
2018-02-21 cs.CV
AttenIR: Aligning Dense Visual Attention with Mesh Warping for Unsupervised Image Retargeting
School of Media Engineering, Communication University of Zhejiang(浙江传媒学院媒体工程学院);Samsung Research America(三星美国研究院);School of Computer Science and Engineering, The University of New South Wales(新南威尔士大学计算机科学与工程学院)
提出AttenIR框架,通过对齐密集视觉注意力与网格变形,实现无监督图像重定向,在保留内容保真度和全局结构上优于传统及现有学习方法
2026-10-14 cs.CV
Unsupervised Rank-Preserving Hashing for Large-Scale Image Retrieval
Columbia University(哥伦比亚大学);University of Southern California(南加利福尼亚大学)
我们提出了一种无监督哈希方法,其目的是产生二进制代码,保持由实值表示引起的排名。这种紧凑的哈希码能够完全消除实值特征存储,并允许大规模图像检索应用的计算复杂度和存储成本的显着降低。具体来说,我们学习了一个基于神经网络的模型,它将输入表示转换为二进制表示。我们以一种直观有效的方式形式化了网络的训练目标,将每个训练样本视为一个查询,并旨在使用产生的哈希码获得与原始特征相同的检索结果。这种训练公式直接优化散列模型,以实现其产生的散列代码的目标用途。我们进一步探讨了增加一个解码器训练,以获得原始特征的近似重建。在测试时,我们只使用我们的哈希码,通过基于图的高效搜索过程检索最有希望的数据库样本,并使用重建的特征进行重新排序,因此根本不需要访问原始特征。在多个公开的大规模数据集上进行的实验表明,我们的方法始终优于所有比较先进的无监督哈希方法,并且重建过程可以有效地提高搜索精度,同时具有最小的恒定额外成本。
2019-03-04 cs.CV cs.IR cs.MM
Unsupervised domain adaption dictionary learning for visual recognition
China University of Petroleum(中国石油大学)
在过去的几年中,字典学习方法已被广泛应用于处理各种计算机视觉识别应用,并产生了最先进的结果。然而,当目标域的数据实例具有与源域的数据实例不同的分布时,字典学习方法可能无法很好地执行。本文针对跨域视觉识别问题,提出了一种简单有效的无监督域自适应方法,其中标记数据仅来自源域。为了使源域和目标域中的原始数据分布一致,该方法在对源域和目标域中最近耦合的数据进行联合字典学习的同时,强制源域和目标域中最近耦合的数据具有相同的稀疏表示,学习后的字典可以分别重构源域和目标域中的原始数据。因此原始数据的稀疏表示可以用于执行视觉识别任务。我们证明了我们的方法在标准数据集上的有效性。我们的方法与竞争对手的最先进的方法相比,表现相当或更好。
2015-06-03 cs.CV
SUVR: A Search-based Approach to Unsupervised Visual Representation Learning
National Cheng Kung University(国立成功大学);Academia Sinica(中央研究院)
提出基于搜索的无监督视觉表示学习方法SUVR,通过图遍历探索正样本并从全数据集抽取负样本,在五个基准数据集上显著优于竞争方法。
2023-05-24 cs.CV cs.LG