Weakly Supervised Object Discovery by Generative Adversarial & Ranking Networks
KU Leuven(鲁汶大学);KIT(卡尔斯鲁厄理工学院);ETH Zürich(苏黎世联邦理工学院)
深度生成对抗网络(GAN)最近已被证明在不同的计算机视觉应用中有前途,如图像编辑、合成高分辨率图像、生成视频等。这些网络和相应的学习方案可以处理各种视觉空间映射。我们使用一种新的训练方法和学习目标来接近GANs,以发现三种情况下的多个对象实例:1)在杂乱场景中合成特定对象的图片; 2)在弱监督目标检测的图像中定位不同类别; 3)在目标检测管道中改进对象发现。我们的方法的一个关键优势是它学习了一个新的深度相似性度量,以区分一个图像中的多个对象。我们证明了该网络可以作为编码器-解码器生成包含对象的图像的部分,或者作为修改后的深度CNN来表示图像,用于监督和弱监督方案中的目标检测。我们的排名GAN提供了一种新颖的方式来搜索图像中的对象特定模式。我们已经进行了不同的情况下的实验,并证明对象合成和弱监督目标检测和分类使用MS-COCO和PASCAL VOC数据集的方法性能。
2018-04-17 cs.CV
Transfer Learning by Ranking for Weakly Supervised Object Annotation
大多数现有的训练对象检测器的方法依赖于完全监督学习,这需要在训练集中对对象位置进行繁琐的手动注释。最近,人们越来越关注开发弱监督检测器训练方法,其中对象位置不是手动注释的,而是基于指示训练图像是否包含对象的二进制(弱)标签自动确定的。这是一个具有挑战性的问题,因为每个图像可以包含许多候选对象位置,这些候选对象位置与感兴趣的对象部分重叠。现有的方法集中在如何最好地利用二进制标签的对象位置注释。在本文中,我们建议从一个非常不同的角度来解决这个问题,通过铸造它作为一个迁移学习问题。具体来说,我们制定了一个新的迁移学习的基础上学习排序,有效地转移一个模型,自动标注的对象位置从辅助数据集的目标数据集与完全无关的对象类别。我们表明,我们的方法优于现有的最先进的弱监督的方法来注释具有挑战性的VOC数据集中的对象。
2017-05-02 cs.CV
TransRank: Self-supervised Video Representation Learning via Ranking-based Transformation Recognition
The Chinese University of HongKong(香港中文大学);Centre of Perceptual and Interactive Intelligence(感知与交互智能中心);University of Bath(巴斯大学);Shanghai AI Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院)
识别应用于视频剪辑的变换类型(InstTrans)是自监督视频表示学习的一个长期建立的范例,与最近的作品中的实例判别方法(InstDisc)相比,其性能要差得多。然而,基于一个彻底的比较有代表性的CNORT-Trans和InstDisc的方法,我们观察到的巨大潜力的CNORT-Trans的语义相关和时间相关的下游任务。基于硬标签分类,现有的CRT-Trans方法在预训练中受到噪声监督信号的影响。为了缓解这个问题,我们开发了TransRank,这是一个统一的框架,用于识别排名公式中的转换。TransRank通过识别相对的转换来提供准确的监督信号,始终优于基于分类的公式。同时,该统一框架可以通过任意的时间或空间变换来实例化,具有良好的通用性。基于排名的配方和一些经验的做法,我们实现了视频检索和动作识别的竞争力的表现。在相同的设置下,TransRank在UCF 101上的动作识别(Top1 Acc)方面超过了之前最先进的方法6.4%,在HMDB 51上超过了8.3%;在UCF 101上的视频检索提高了20.4%(R@1)。实验结果表明,该方法仍然是一种值得探索的视频自监督学习方法。代码将在https://github.com/kennymckormick/TransRank上发布。
2022-05-04 cs.CV
Tightly Coupled Learning Strategy for Weakly Supervised Hierarchical Place Recognition
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所);Xi’an Jiaotong University(西安交通大学)
视觉位置识别(VPR)是机器人和自主系统的关键问题。为了在时间和性能之间进行权衡,大多数方法使用由粗到细的分层结构,该结构包括使用全局特征检索前N个候选项,并使用局部特征对前N个候选项进行重新排序。然而,由于这两种类型的特征通常是独立处理的,重新排序可能会损害全局检索,称为重新排序混淆。此外,重新排序受到全局检索的限制。在本文中,我们提出了一个紧耦合学习(TCL)策略训练三元组模型。与原有的三元组学习(OTL)策略不同,它结合了全局和局部描述符进行联合优化。此外,还提出了一种双向搜索动态时间规整(BS-DTW)算法,在重新排序时挖掘适合VPR的局部空间信息。在公共基准测试上的实验结果表明,TCL模型的性能优于OTL模型,TCL可以作为一种通用策略,以提高弱监督排序任务的性能。此外,我们的轻量级统一模型优于几个国家的最先进的方法,并具有超过一个数量级的计算效率,以满足机器人的实时要求。
2022-02-14 cs.CV
Semi-Supervised Multi-View Crowd Counting by Ranking Multi-View Fusion Models
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
本文提出基于模型预测和不确定性的多视角人群计数半监督方法,通过排序不同视角数量的模型以提升计数性能。
2025-12-18 cs.CV
Multipartite Ranking-Selection of Low-Dimensional Instances by Supervised Projection to High-Dimensional Space
Australian National University(澳大利亚国立大学);Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织)
删除冗余或不相关的数据实例是模式识别每个成功解决方案的关键。在本文中,我们提出了一种新的排序选择框架的长度短,但高度相关的情况下。我们不是在低维实例空间中工作,而是学习到由所研究的数据集中的类数量所跨越的高维空间的监督投影。通过将标签的概念暴露给实例来施加更高的区别,让我们为每个单独的类部署一个与所有的排名,并通过对整体分数的自适应阈值来选择质量实例。为了证明我们的范例的效率,我们采用它的纹理理解的目的,这是一个很难识别的挑战,由于纹理像素的高相似性和低维度的颜色特征。我们的实验表明,在几个公开的数据集上,识别性能比其他本地描述符有相当大的提高。
2016-06-24 cs.CV cs.LG stat.ML
RankUp: Boosting Semi-Supervised Regression with an Auxiliary Ranking Classifier
Academia Sinica(中央研究院);NVIDIA(英伟达公司)
针对现有半监督分类技术无法直接用于回归任务的问题,提出RankUp方法将回归转排序任务结合分类技术,辅以RDA优化伪标签,在多领域回归基准上取得SOTA性能并开源代码。
2024-10-29 cs.CL cs.CV cs.LG
Self-Evolving Vision-Language Models for Image Quality Assessment via Voting and Ranking
City University of Hong Kong(香港城市大学);ByteDance Inc.(字节跳动公司)
提出EvoQuality框架,通过自一致性生成伪标签,利用群体相对策略优化迭代提升VLM的图像质量感知能力,无监督下在多个IQA基准上超越监督方法。
2026-06-12 cs.CV
End-to-End Localization and Ranking for Relative Attributes
University of California, Davis(加州大学戴维斯分校)
我们提出了一个端到端的深度卷积网络来同时定位和排名相对的视觉属性,只给出弱监督的成对图像比较。与以前的方法不同,我们的网络联合学习属性的特征,定位和排名。我们网络的定位模块发现属性的信息量最大的图像区域,然后由排名模块使用该区域来学习属性的排名模型。我们的端到端框架还大大加快了处理速度,比以前的方法快得多。我们在各种相对属性数据集上展示了最先进的排名结果,我们的定性定位结果清楚地表明了我们的网络学习有意义的图像补丁的能力。
2016-08-09 cs.CV
Glance to Count: Learning to Rank with Anchors for Weakly-supervised Crowd Counting
South China University of Technology(华南理工大学);Fuzhou University(福州大学)
人群图像可以说是注释最费力的数据之一。在本文中,我们致力于减少密集标记的人群数据的大量需求,并提出了一种新的弱监督设置,其中我们利用具有高对比度人群计数的两幅图像的二进制排名作为训练指导。为了在这个新的设置下进行训练,我们将人群计数回归问题转换为排名潜在预测问题。特别是,我们定制了一个暹罗排名网络,预测两个图像的潜在分数,指示计数的顺序。因此,最终的目标是为所有的人群图像分配适当的潜力,以确保它们的排序服从排名标签。另一方面,潜力揭示了相对的人群规模,但不能产生一个确切的人群计数。我们通过在推理阶段引入“锚”来解决这个问题。具体地说,锚点是一些具有计数标签的图像,用于通过简单的线性映射函数引用来自潜在分数的相应计数。我们进行了广泛的实验,研究各种组合的监督,我们表明,所提出的方法优于现有的弱监督的方法,而无需额外的标记工作的大幅度。
2022-05-29 cs.AI cs.CV
Automatically Discovering and Learning New Visual Categories with Ranking Statistics
University of Oxford(牛津大学)
我们解决的问题,发现新的类在图像集合中的其他类的标记的例子。这种设置类似于半监督学习,但明显更难,因为新类没有标记的示例。因此,挑战在于利用标记图像中包含的信息来学习通用聚类模型,并使用后者来识别未标记数据中的新类别。在这项工作中,我们解决这个问题,结合三个想法:(1)我们建议,使用标记数据的自举图像表示的常见方法只会引入不必要的偏见,这可以通过使用自监督学习来避免从零开始训练标记和未标记数据的联合表示;(2)利用秩统计量将模型对标记类的知识转化为对未标记图像的聚类问题;以及(3)通过对数据的标记和未标记子集优化联合目标函数来训练数据表示,改进标记数据的监督分类和未标记数据的聚类。我们评估我们的方法在标准分类基准,并优于目前的方法,新的类别发现的显着保证金。
2020-02-13 cs.CV
Contrastive Learning for Object Detection
Oregon State University(俄勒冈州立大学)
对比学习通常用作自监督学习的方法,其中“锚”和“正”是给定输入图像的两个随机增强,而“负”是所有其他图像的集合。然而,大批量和存储体的需求使得训练变得困难和缓慢。这促使了监督对比方法的兴起,这些方法通过使用注释数据来克服这些问题。我们希望通过基于相似性对类进行排名来进一步改进监督式对比学习,并观察人类偏见(以排名的形式)对学习到的表示的影响。我们认为这是一个需要解决的重要问题,因为学习良好的特征嵌入一直是计算机视觉中长期追求的问题。
2022-08-12 cs.CV
Aerial-ground LiDAR place recognition with patch-level self-supervised learning and expanded reciprocal re-ranking
University of Calgary(卡尔加里大学);Nanchang University(南昌大学);Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学)
提出一种空地激光雷达地点识别框架,通过多尺度块级自监督学习缩小域差距,并利用扩展互逆重排序算法减少误检,在多个数据集上显著提升检索精度。
2026-06-18 cs.CV cs.RO
Progressive Tree-like Curvilinear Structure Reconstruction with Structured Ranking Learning and Graph Algorithm
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所)
提出了一种基于监督学习和图论的树状曲线结构重建算法。在这项工作中,我们分析图像补丁,以获得当地的主要方向和排名,对应的曲线结构。为了提取局部曲线特征,我们使用方向可调滤波器计算方向梯度信息。然后,我们采用结构化支持向量机的顺序回归的输入图像补丁,其中的顺序是由形状相似性潜在的曲线结构。最后,我们逐步重建曲线结构,通过寻找连接远程顶点的测地线路径建立在结构化的输出排名图。实验结果表明,该算法能以最小的像素数忠实地反映曲线结构的拓扑特征。
2016-12-08 cs.CV
MidRank: Learning to rank based on subsequences
The Australian National University(澳大利亚国立大学);University of Amsterdam(阿姆斯特丹大学);Jean Monnet University(让·莫内大学);KU Leuven(鲁汶大学)
我们提出了一个有监督学习排序算法,有效地利用图像序列中的结构排序图像。在监督学习排序文献中,最常见的是通过分析图像对或通过优化全序列上的列表式代理损失函数来进行排序。在这项工作中,我们提出了MidRank,它从中等大小的子序列中学习。这些子序列包含有用的结构排序信息,这些信息在训练过程中具有更好的可学习性,在测试过程中具有更好的泛化能力。通过利用子序列,所提出的MidRank在广泛的图像排名应用程序和数据集上大大提高了排名精度。
2015-11-29 cs.CV cs.LG
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal
Huazhong University of Science and Technology(华中科技大学)
自监督学习在利用未标记数据进行各种视频任务方面表现出了显著的性能。在本文中,我们专注于应用自我监督方法的力量,以提高半监督行动建议生成。特别地,我们设计了一个有效的自监督半监督时态动作建议(SSTAP)框架。SSTAP包含两个关键分支,即,时间感知半监督分支和关系感知自监督分支。半监督分支通过引入两个时间扰动来改进提议模型,即,时间特征转移和时间特征翻转,在平均教师框架。自监督分支定义了两个托词任务,包括掩蔽特征重构和裁剪顺序预测,以学习时间线索之间的关系。通过这种方式,SSTAP可以更好地探索未标记的视频,并提高学习的动作特征的区分能力。我们在THUMOS 14和ActivityNet v1.3数据集上广泛评估了所提出的SSTAP。实验结果表明,SSTAP显着优于最先进的半监督方法,甚至匹配全监督方法。代码可在https://github.com/wangxiang1230/SSTAP上获得。
2021-04-07 cs.CV
Radiomic feature selection for lung cancer classifiers
Bahria University(巴赫里亚大学);National University of Science and Technology(国立科学技术大学)
结合定量成像特征的机器学习方法最近在肺结节分类方面获得了很多关注。然而,在文献中缺乏有效的特征排序方法的分类目的的研究。此外,还需要评估分类任务所需的特征的最佳数量。在这项研究中,我们研究了有监督和无监督的特征选择技术对计算机断层扫描(CT)图像中结节分类的机器学习方法的影响。研究工作探讨了朴素贝叶斯和支持向量机(SVM)的分类性能时,训练与2,4,8,12,16和20高排名的功能,从监督和无监督的排名方法。从监督特征排序方法中选出8个放射性组学特征训练支持向量机,取得了最好的分类结果,准确率为100%。该研究进一步表明,可以通过训练具有较少放射组学特征的任何SVM或Naive Bayes来实现非常好的结节分类。放射性组学特征的数量从2到20的周期性增量没有改善分类结果,无论选择是使用监督还是非监督的排名方法。
2020-03-16 cs.CV eess.IV
Accelerating Self-Supervised Learning via Efficient Training Strategies
University of Edinburgh(爱丁堡大学)
最近,计算机视觉社区的焦点已经从昂贵的监督学习转向视觉表示的自监督学习。虽然监督和自我监督之间的性能差距一直在缩小,但训练自我监督深度网络的时间仍然比监督深度网络大一个数量级,这阻碍了进步,增加了碳成本,并限制了拥有大量资源的机构的社会效益。出于这些问题的动机,本文研究了通过各种尚未用于此问题的模型无关策略来减少最近自监督方法的训练时间。特别是,我们研究了三种策略:一个可扩展的循环学习率调度,一个匹配的渐进增强幅度和图像分辨率的时间表,和一个硬积极的挖掘策略的基础上增强难度。我们发现,所有这三种方法相结合导致了2.7倍的速度在几个自监督的方法的训练时间,同时保持可比性能的标准自监督学习设置。
2022-12-11 cs.CV
Gated Self-supervised Learning For Improving Supervised Learning
Brawijaya University(布劳爪哇大学)
在过去的图像分类的自监督学习的研究中,使用旋转作为增强已经很常见。然而,仅仅依靠旋转作为自监督变换可能会限制模型从数据中学习丰富特征的能力。在本文中,我们提出了一种新的方法,自监督学习的图像分类使用几个本地化的增广结合门控方法。除了旋转之外,我们的方法还使用了翻转和洗牌通道增强,允许模型从数据中学习丰富的功能。此外,门控混合网络用于权衡每个自监督学习对损失函数的影响,使模型能够专注于最相关的分类转换。
2023-01-14 cs.CV
How Severe is Benchmark-Sensitivity in Video Self-Supervised Learning?
University of Amsterdam(阿姆斯特丹大学)
尽管视频自监督学习模型最近取得了成功,但关于其泛化能力仍有许多问题需要了解。在本文中,我们调查如何敏感的视频自监督学习是目前的传统基准和方法是否推广超出了规范的评估设置。我们在四个不同的敏感性因素中做到这一点:域,样本,动作和任务。我们的研究包括7个视频数据集,9个自监督方法和6个视频理解任务上的500多个实验,揭示了视频自监督学习中的当前基准并不是沿着这些敏感因素进行泛化的良好指标。此外,我们发现自监督方法大大落后于常规监督预训练,特别是当域偏移较大且可用下游样本量较低时。从我们的分析中,我们提取了SEVERE基准测试,这是我们实验的一个子集,并讨论了它对评估现有和未来的自监督视频学习方法所获得的表示的泛化能力的影响。
2022-07-30 cs.CV
How Well Do Self-Supervised Models Transfer?
University of Edinburgh(爱丁堡大学);Samsung AI Research Cambridge(三星剑桥人工智能研究院)
自监督视觉表示学习最近取得了巨大的进展,但没有大规模的评估比较了许多模型现在可用。我们评估了13个顶级自监督模型在40个下游任务上的传输性能,包括多镜头和Few-Shot识别,目标检测和密集预测。我们将它们的性能与监督基线进行比较,结果表明,在大多数任务中,最好的自监督模型优于监督,证实了文献中最近观察到的趋势。我们发现ImageNet Top-1的准确性与向多镜头识别的转移高度相关,但对于Few-Shot、目标检测和密集预测,这种相关性越来越小。没有一种自我监督的方法在整体上占主导地位,这表明通用的预训练仍然没有解决。我们的功能分析表明,顶级的自我监督学习者未能保留颜色信息以及监督的替代品,但往往会导致更好的分类器校准,和不太注意过拟合比监督学习者。
2021-03-29 cs.CV
Color-$S^{4}L$: Self-supervised Semi-supervised Learning with Image Colorization
Harbin Institute of Technology(哈尔滨工业大学)
本工作提出自监督半监督学习框架Color-$S^{4}L$,通过引入图像着色代理任务,在CIFAR-10等数据集上验证了其优于以往监督与半监督方法的图像分类性能。
2024-01-08 cs.CV
Attention Distillation: self-supervised vision transformer students need more guidance
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
自监督学习已被广泛应用于训练高质量的视觉Transformer。因此,在内存和计算受限的设备上释放其出色的性能是一个重要的研究课题。然而,如何将知识从一个自我监督的ViT提取到另一个还没有被探索。此外,现有的自监督知识蒸馏(SSKD)方法集中在基于ConvNet的架构是次优的ViT知识蒸馏。本文研究了自监督视觉Transformer(ViT-SSKD)的知识蒸馏。我们发现,直接从教师到学生的关键注意力机制中提取信息可以显着缩小两者之间的绩效差距。在ImageNet-Subset和ImageNet-1 K上的实验中,我们证明了我们的方法AttnDistill优于现有的自监督知识蒸馏(SSKD)方法,并与从头开始学习(使用ViT-S模型)的自监督学习(SSL)方法相比,实现了最先进的k-NN准确性。我们也是第一个将微型ViT-T模型应用于自监督学习的人。此外,AttnDistill算法不依赖于自监督学习算法,可以应用于基于ViT的SSL方法中,以提高性能。代码在这里:https://github.com/wangkai930418/attndistill
2022-10-03 cs.CV
Super-Selfish: Self-Supervised Learning on Images with PyTorch
Technical University of Darmstadt(达姆施塔特工业大学)
Super-Selfish是一个易于使用的PyTorch框架,用于基于图像的自监督学习。特征可以通过13种算法来学习,从简单的分类到更复杂的对比性借口任务。该框架易于使用,仅需两行代码即可预训练任何PyTorch神经网络。同时,通过模块化设计选择保持充分的灵活性。代码可以在https://github.com/MECLabTUDA/Super_Selfish上找到,并使用pip install super-selfish安装。
2020-12-07 cs.CV
Self-supervised AutoFlow
Google Research(谷歌研究院);University of California, Merced(加州大学默塞德分校)
提出自监督 AutoFlow,利用自监督损失作为搜索指标,在无真实标签的真实世界视频中表现优异,并在(半)监督设置中取得竞争性结果。
2023-05-22 cs.CV
Self-Supervised Pretraining Improves Self-Supervised Pretraining
UC Berkeley(加州大学伯克利分校);UCSF(加州大学旧金山分校);Georgia Tech(佐治亚理工学院)
虽然自我监督的预训练已被证明对许多计算机视觉任务有益,但它需要昂贵而冗长的计算,大量的数据,并且对数据增强敏感。先前的工作表明,在与目标数据不同的数据集上预训练的模型,例如在ImageNet上训练的胸部X射线模型,表现不佳。缺乏预训练资源的用户必须使用性能较低的现有模型。本文探讨了分层预训练(HPT),它通过使用现有的预训练模型初始化预训练过程来减少收敛时间并提高精度。通过对16个不同视觉数据集的实验,我们发现HPT的收敛速度快了80倍,提高了跨任务的准确性,并提高了自监督预训练过程对图像增强策略或预训练数据量变化的鲁棒性。总之,HPT提供了一个简单的框架,可以用更少的计算资源获得更好的预训练表示。
2021-03-25 cs.CV
Can Semantic Labels Assist Self-Supervised Visual Representation Learning?
University of Science and Technology of China(中国科学技术大学);Huawei Inc.(华为公司)
近年来,对比学习极大地推动了无监督视觉表示学习的发展。在ImageNet上进行预训练后,与完全监督的方法相比,一些自监督算法报告了更高的迁移学习性能,似乎传递了这样一个信息,即人类标签几乎无助于学习可迁移的视觉特征。在本文中,我们为语义标签的有用性辩护,但指出全监督和自监督方法追求不同类型的特征。为了缓解这个问题,我们提出了一个新的算法命名为监督对比调整邻域(SCAN),最大限度地防止语义指导破坏外观特征嵌入。在一系列的下游任务中,SCAN实现了比以前的全监督和自监督方法更优越的性能,有时增益是显著的。更重要的是,我们的研究表明,语义标签在辅助自我监督方法方面很有用,为社区开辟了一个新的方向。
2020-11-17 cs.CV
Semi-supervised learning made simple with self-supervised clustering
University of Trento(特伦托大学);Inria(法国国家信息与自动化研究所);SAP AI Research(SAP人工智能研究院);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本研究提出一种将基于聚类的自监督方法转化为半监督学习器的简易多任务框架,融合监督与自监督目标,在CIFAR100和ImageNet上取得了最优性能。
2023-06-13 cs.CV
Decorrelation-based Self-Supervised Visual Representation Learning for Writer Identification
Ramakrishna Mission Vivekananda Educational and Research Institute(罗摩克里希纳使命维韦卡南达教育与研究院);Indian Institute of Information Technology, Guwahati(古瓦哈蒂印度信息技术学院);Indian Statistical Institute, Kolkata(加尔各答印度统计研究所);Indian Institute of Technology, Kharagpur(克勒格布尔印度理工学院)
本文改进面向签名验证的 SWIS 去相关自监督框架,通过逐维特征标准化学习解耦笔画特征,在书写者识别基准上超过现有自监督及多种监督方法。
2024-10-02 cs.CV
Self-Supervised Learning of Remote Sensing Scene Representations Using Contrastive Multiview Coding
University of Banja Luka(巴尼亚卢卡大学)
近年来,自监督学习已成为无监督表示学习的一个有前途的候选者。在视觉领域,其应用主要是在自然场景图像的背景下研究的。然而,它的适用性在特定领域特别有趣,如遥感和医学,在这些领域很难获得大量的标记数据。本文对自监督学习在遥感图像分类中的应用进行了深入的分析。我们分析了用于自监督预训练的图像的数量和域对下游任务性能的影响。我们表明,对于遥感图像分类的下游任务,使用自监督的遥感图像预训练可以得到更好的结果比使用监督的预训练的图像的自然场景。此外,我们还表明,自我监督的预训练可以很容易地扩展到多光谱图像,在我们的下游任务中产生更好的结果。
2021-06-03 cs.CV
Simple Distillation Baselines for Improving Small Self-supervised Models
University of Munich(慕尼黑大学);Tencent(腾讯);MIT(麻省理工学院)
虽然大型自监督模型的性能与其监督模型的性能不相上下,但小型模型仍在苦苦挣扎。在本报告中,我们探索了通过蒸馏改进小型自监督模型的简单基线,称为SimDis。具体来说,我们提出了一个离线蒸馏基线,它建立了一个新的国家的最先进的,和一个在线蒸馏基线,它实现了类似的性能与最小的计算开销。我们希望这些基线将为未来的相关研究提供有益的经验。代码可在:https://github.com/JindongGu/SimDis/
2021-06-21 cs.CV
Semi-supervised Learning: Fusion of Self-supervised, Supervised Learning, and Multimodal Cues for Tactical Driver Behavior Detection
Honda Research Institute, USA(美国本田研究院)
在本文中,我们提出了一个初步的研究,从未经修剪的自然驾驶记录的战术驾驶员行为检测。虽然基于监督学习的检测是一种常见的方法,但当标记数据稀缺时,它会受到影响。手动注释既耗时又昂贵。为了强调这个问题,我们在一个104小时的真实自然驾驶数据集上进行了实验,其中标注了一组预定义的驾驶行为。数据集中有三个挑战。首先,预定义的驾驶行为在自然驾驶环境中是稀疏的。第二,驾驶行为的分布是长尾的。第三,观察到巨大的类内变化。为了解决这些问题,最近的自我监督和监督学习和融合的多模态线索利用到我们的架构设计。初步的实验和讨论报告。
2018-07-02 cs.CV
A Stitch in Time: Learning Procedural Workflow via Self-Supervised Plackett-Luce Ranking
Department of Informatics, King’s College London, UK(伦敦国王学院信息学系)
本文提出PL-Stitch框架,通过自监督学习提升视频过程性表示,有效解决传统方法对序列结构的忽视问题,在手术和烹饪任务中取得显著提升。
2026-03-20 cs.AI cs.CV
Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
针对变分对抗主动学习未利用任务信息和未标记数据训练的局限,提出基于排序的损失预测模块和半监督伪标签算法,在分类与分割基准上取得更优性能。
2024-08-23 cs.CV cs.LG
Analyzing the Sample Complexity of Self-Supervised Image Reconstruction Methods
Technical University of Munich(慕尼黑工业大学)
本文从样本复杂度角度分析了一类能计算监督损失梯度无偏估计的自监督图像重建方法,证明其性能可与监督训练相当但需更多样本,并通过去噪和加速MRI实验验证了性能差距随样本增加以问题相关速率消失的理论预测。
2023-10-27 cs.CV eess.IV
Deep SIMBAD: Active Landmark-based Self-localization Using Ranking -based Scene Descriptor
University of Fukui(福井大学)
基于地标的机器人自定位最近作为用于跨域(例如,时间、天气和季节)。然而,基于地标的自定位对于被动观察者(例如,手动机器人控制),因为许多视点可能无法提供有效的地标视图。在这项研究中,我们考虑了一个积极的自我定位任务的积极观察者,并提出了一种新的强化学习(RL)为基础的下一个最佳视图(NBV)规划。我们的贡献如下。(1)基于SIMPAD的VPR:我们将基于地标的紧凑场景描述问题表述为SIMBAD(基于相似性的模式识别),并进一步提出了其深度学习扩展。(2)VPR到NBV的知识转移:我们解决了不确定性下RL的挑战(即,主动自定位)。(3)基于NNQL的NBV:我们将可用的VPR作为经验数据库,采用最近邻近似Q学习(NNQL)。结果显示了一个非常紧凑的数据结构,它将VPR和NBV压缩到单个增量倒排索引中。在公开的NCLT数据集上的实验验证了该方法的有效性。
2021-09-06 cs.CV cs.RO
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
Bootstrapped Self-Supervised Training with Monocular Video for Semantic Segmentation and Depth Estimation
Massachusetts Institute of Technology(麻省理工学院)
对于部署在世界各地的机器人来说,希望具有自主学习的能力,以改善其初始预设知识。我们将其形式化为自举自监督学习问题,其中系统最初在标记数据集上进行监督训练,并且我们寻找一种自监督训练方法,该方法随后可以仅使用未标记数据在监督训练基线上改进系统。在这项工作中,我们利用单目视频中帧之间的时间一致性来执行这种自举式自我监督训练。我们表明,一个训练有素的国家的最先进的语义分割网络可以通过我们的方法进一步改善。此外,我们还证明了自举自监督训练框架可以帮助网络比纯监督训练或自监督训练更好地学习深度估计。
2021-08-01 cs.CV cs.RO
CompRess: Self-Supervised Learning by Compressing Representations
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
自监督学习的目的是学习未标记数据的良好表示。最近的研究表明,较大的模型比较小的模型从自监督学习中受益更多。因此,对于较大的模型,监督学习和自监督学习之间的差距已经大大缩小。在这项工作中,我们没有为自监督学习设计新的伪任务,而是开发了一种模型压缩方法,将已经学习的深度自监督模型(教师)压缩为较小的模型(学生)。我们对学生模型进行训练,使其模仿教师嵌入空间中数据点之间的相对相似性。对于AlexNet,我们的方法优于所有以前的方法,包括ImageNet线性评估(59.0%与56.5%相比)和最近邻评估(50.7%与41.4%相比)的完全监督模型。据我们所知,这是自监督AlexNet首次在ImageNet分类上优于监督AlexNet。我们的代码可以在这里找到:https://github.com/UMBCvision/CompRess
2020-10-28 cs.CV cs.LG
No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency
Bosch Center for AI(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
无参考图像质量评价(NR-IQA)的目标是根据主观评价来估计图像的感知质量,由于缺乏原始参考图像,这是一个复杂且尚未解决的问题。在本文中,我们提出了一种新的模型来解决NR-IQA任务,利用混合方法,受益于卷积神经网络(CNN)和自注意力机制的Transformers从输入图像中提取本地和非本地的功能。我们通过CNN捕获图像的局部结构信息,然后为了规避提取的CNN特征之间的局部偏差并获得图像的非局部表示,我们在提取的特征上使用Transformers,将其建模为Transformer模型的顺序输入。此外,为了改善主观和客观分数之间的单调性相关性,我们利用每批图像之间的相对距离信息,并执行它们之间的相对排名。最后但并非最不重要的是,我们观察到,当我们对输入应用等变变换(例如水平翻转)时,NR-IQA模型的性能会下降。因此,我们提出了一种方法,利用自我一致性作为自我监督的来源,以提高NRIQA模型的鲁棒性。具体来说,我们对每个图像的质量评估模型的输出及其转换(水平翻转)之间进行自我一致性,以利用丰富的自我监督信息并减少模型的不确定性。为了证明我们工作的有效性,我们在七个标准IQA数据集(合成和真实)上进行了评估,并表明我们的模型在各种数据集上都取得了最先进的结果。
2022-01-05 cs.CV eess.IV
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,基于变换的自监督学习已被应用于生成对抗网络(GANs),以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而,在现有的自监督GANs中,单独的自监督任务会导致与生成建模不一致的目标,因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题,我们提出了一种新的自监督GAN,它通过自监督数据转换来增强GAN标签(真实或虚假),从而将GAN任务与自监督任务相结合。具体地说,原始的分类器和自监督分类器被统一成一个标签增强的分类器,该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布,然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲,我们表明,所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Self-supervised regression learning using domain knowledge: Applications to improving self-supervised denoising in imaging
Sungkyunkwan University(成均馆大学);Ulsan National Institute of Science and Technology(蔚山科学技术院);Shanghai Jiao Tong University(上海交通大学);Seoul National University(首尔国立大学)
预测连续量的回归是使用计算成像和计算机视觉技术的应用的核心部分。然而,研究和理解回归任务的自监督学习-除了特定的回归任务,图像去噪-已经落后了。本文提出了一种通用的自监督回归学习(SSRL)框架,该框架通过使用封装特定应用领域知识的可设计伪预测器,仅使用输入数据(但没有地面实况目标数据)来学习回归神经网络。本文强调了使用领域知识的重要性,表明在不同的设置下,更好的伪预测器可以导致SSRL的属性更接近普通的监督学习。低剂量计算断层成像去噪和摄像机图像去噪的数值实验表明,与现有的几种自监督去噪方法相比,该方法显著提高了去噪质量.
2022-05-10 cs.CV eess.IV
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven(鲁汶大学)
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标,它集成了自监督和结构学习。此外,我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明,与传统的自监督学习相比,该框架在下游分类任务中实现了更高的泛化性能,并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec(魁北克大学国立科学研究院-能源、材料与电信);Salesforce Research(赛富时研究院)
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明,使用自监督学习获得的功能是可比的,或优于,监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组,并证明了多任务学习兼容的借口任务提高领域泛化性能相比,单独训练的任务。当训练和测试分布之间存在较大的域偏移时,与其监督对应物相比,通过自监督学习的特征可以更好地泛化到不可见的域,甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合,以进一步提高性能。
2020-03-30 cs.CV cs.LG
Using Multiple Self-Supervised Tasks Improves Model Robustness
Columbia University(哥伦比亚大学)
深度网络在计算机视觉任务上实现了最先进的性能,但它们在人类无法感知的对抗攻击下失败了。在本文中,我们提出了一种新的防御,可以动态地适应输入使用多个自监督任务的内在结构。通过同时使用许多自监督任务,我们的防御避免了将自适应图像过度拟合到一个特定的自监督任务,并与单个自监督任务方法相比,恢复了图像中更多的内在结构。与最先进的单任务自我监督防御相比,我们的方法进一步提高了鲁棒性和清洁准确性。我们的工作是第一个将多个自我监督任务与鲁棒性联系起来的工作,并表明我们可以从视觉数据中获得更多的内在信号来实现更好的鲁棒性。
2022-04-07 cs.CV cs.LG
Self-supervised Adversarial Training
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
最近的研究表明,神经网络容易受到对抗性样本的影响。为了摆脱这一困境,许多研究者试图通过各种方法对模型进行强化,其中对抗性训练是一种有效的方法,它可以学习鲁棒的特征表示,从而抵抗对抗攻击。同时,自监督学习的目标是从数据本身学习鲁棒的和语义的嵌入。基于这些观点,本文引入了自监督学习来对抗对抗性样本。具体地说,自监督表示与k-最近邻相结合,提出了分类。为了进一步增强防御能力,提出了自监督对抗训练方法,该方法最大化了原始样本和对应对抗样本的表示之间的互信息。实验结果表明,自监督表示在鲁棒性方面优于监督表示,自监督对抗训练能进一步有效提高防御能力。
2020-02-01 cs.CV cs.LG
Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay
Columbia University(哥伦比亚大学)
自监督学习因其不需要数据标注就能学习有意义的表示而成为近年来的热门方法。本文提出了一种新的图像增强技术,叠加图像,这还没有被广泛应用于自监督学习。此方法旨在为模型提供更好的指导,以理解底层信息,从而产生更有用的表示。所提出的方法使用对比学习进行评估,对比学习是一种广泛使用的自监督学习方法,在下游任务中表现出良好的性能。实验结果表明,所提出的增强技术在提高自监督模型的性能方面是有效的。
2023-01-23 cs.CV cs.LG
TriBYOL: Triplet BYOL for Self-Supervised Representation Learning
Hokkaido University(北海道大学)
本文提出了一种新的自监督学习方法,学习更好的小批量表示。许多基于某种形式的连体网络的自监督学习方法已经出现并受到了极大的关注。然而,这些方法需要使用大批量来学习良好的表示,并需要大量的计算资源。我们提出了一个新的三重网络结合三重视图损失,以提高性能的自监督表示学习与小批量。实验结果表明,在小批量情况下,我们的方法在多个数据集上的性能可以大大优于最先进的自监督学习方法。我们的方法提供了一个可行的解决方案,自监督学习与现实世界的高分辨率图像,使用小批量。
2022-06-07 cs.AI cs.CV
Noise2Same: Optimizing A Self-Supervised Bound for Image Denoising
Texas A&M University(得克萨斯农工大学)
仅使用单个噪声图像学习去噪模型的自监督框架在各种图像去噪任务中表现出强大的能力和有前途的性能。现有的自监督去噪框架大多建立在相同的理论基础上,其中去噪模型需要是J不变的。然而,我们的分析表明,目前的理论和J-不变性可能导致降噪模型的性能降低。在这项工作中,我们介绍了Noise 2Same,一种新的自监督去噪框架。在Noise 2Same中,通过推导典型监督损失的自监督上界,提出了一种新的自监督损失。特别是,Noise 2Same既不需要J不变性,也不需要有关噪声模型的额外信息,可以用于更广泛的去噪应用中。我们从理论和实验上分析了我们提出的Noise 2 Same。实验结果表明,我们的Noise 2Same在去噪性能和训练效率方面明显优于以前的自监督去噪方法。我们的代码可在https://github.com/divelab/Noise2Same上获得。
2020-10-22 cs.CV cs.LG
MAST: A Memory-Augmented Self-supervised Tracker
Visual Geometry Group, Department of Engineering Science(工程科学系视觉几何组);University of Oxford(牛津大学)
最近对自监督密集跟踪的兴趣已经取得了快速进展,但性能仍然远远低于监督方法。我们提出了一个在没有任何注释的视频上训练的密集跟踪模型,它在现有基准上超过了以前的自监督方法(+15%),并实现了与监督方法相当的性能。在本文中,我们首先通过进行彻底的实验来重新评估用于自我监督训练和重建损失的传统选择,最终阐明最佳选择。其次,我们进一步改善现有的方法,通过增加我们的架构与一个关键的内存组件。第三,我们对大规模半监督视频对象分割(又名。密集跟踪),并提出了一个新的度量:泛化。我们的前两个贡献产生了一个自监督网络,这是第一次在密集跟踪的标准评估指标上与监督方法竞争。在衡量泛化能力时,我们发现自监督方法实际上优于大多数监督方法。我们相信这种新的可推广性度量可以更好地捕捉密集跟踪的真实用例,并将激发人们对这一研究方向的新兴趣。
2020-02-26 cs.CV cs.LG
Self-supervised Pretraining of Visual Features in the Wild
Facebook AI Research(Facebook AI研究院);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆塔纳实验室)
最近,自监督学习方法,如MoCo,Simploy,BYOL和SwAV,已经缩小了与监督方法的差距。这些结果是在控制环境中实现的,即高度策划的ImageNet数据集。然而,自监督学习的前提是它可以从任何随机图像和任何无界数据集中学习。在这项工作中,我们通过在没有监督的情况下随机训练大型模型来探索自我监督是否符合预期。我们最终的自监督(SEER)模型,一个在1B随机图像上用512个GPU训练的1.3B参数的RegNetY,达到了84.2%的top-1准确率,超过了最好的自监督预训练模型1%,并证实了自监督学习在现实世界中的工作环境。有趣的是,我们还观察到自监督模型是很好的Few-Shot学习者,在仅访问ImageNet 10%的情况下实现了77.9%的top-1。代码:https://github.com/facebookresearch/vissl
2021-03-05 cs.AI cs.CV
Self-Supervised Leaf Segmentation under Complex Lighting Conditions
Deakin University(迪肯大学);Lancaster University(兰卡斯特大学);The University of Warwick(华威大学);South China University of Technology(华南理工大学);Medigrowth Australia Pty Ltd(澳大利亚Medigrowth私人有限公司)
叶片分割作为基于图像的植物表型分析中的一个重要前提,近年来得到了越来越多的关注。虽然自监督学习正在成为各种计算机视觉任务的有效替代方案,但其对基于图像的植物表型的适应仍然相当未被探索。在这项工作中,我们提出了一个自监督的叶子分割框架,包括一个自监督的语义分割模型,基于颜色的叶子分割算法,和一个自监督的颜色校正模型。自监督语义分割模型通过迭代地参考自包含信息来对语义相似的像素进行分组,从而允许相同语义对象的像素被基于颜色的叶分割算法联合考虑以用于识别叶区域。此外,我们建议使用一个自我监督的颜色校正模型,在复杂的照明条件下拍摄的图像。不同植物物种的数据集上的实验结果表明,所提出的自监督框架在实现有效的和可推广的叶分割的潜力。
2022-03-29 cs.CV eess.IV
How do Self-Supervised Remote Sensing Vision Models Transfer to Downstream Tasks?
University of Colorado Boulder(科罗拉多大学博尔德分校)
研究六种代表性自监督地理空间基础模型(GeoFMs)在下游任务中的迁移表现,发现模型排名随任务和适应设置变化,中间层特征比最终层更相关,且解码器设计等适应设置影响与模型选择相当。
2026-06-15 cs.AI cs.CV