UniVIP: A Unified Framework for Self-Supervised Visual Pre-training
SenseTime Research(商汤科技研究院);Development Research Institute of Guangzhou Smart City(广州智慧城市发展研究院);Nanyang Technological University(南洋理工大学);Peng Cheng Laboratory(鹏城实验室)
自监督学习(SSL)有望利用大量未标记的数据。然而,流行的SSL方法的成功局限于像ImageNet中的单中心对象图像,忽略了场景和实例之间的相关性,以及场景中实例的语义差异。为了解决上述问题,我们提出了一个统一的自监督视觉预训练(UniVIP),这是一个新的自监督框架,可以在单中心对象或非图标数据集上学习通用的视觉表示。该框架从三个层面考虑了表示学习:1)场景-场景的相似性; 2)场景-实例的相关性; 3)实例-实例的区分性。在学习过程中,我们采用最优传输算法来自动测量实例的区分度。大量实验表明,在非图标COCO上预训练的UniVIP在各种下游任务上实现了最先进的传输性能,如图像分类,半监督学习,目标检测和分割。此外,我们的方法还可以利用ImageNet等单中心对象数据集,在线性探测中,在相同的预训练时间内,比BYOL的性能高出2.5%,并超越了COCO数据集上当前的自监督目标检测方法,证明了其普遍性和潜力。
2022-03-14 cs.CV
Self-supervised object detection from audio-visual correspondence
University of Oxford(牛津大学);University of Amsterdam(阿姆斯特丹大学);Meta AI
我们解决了在没有监督的情况下学习对象检测器的问题。与弱监督目标检测不同,我们不假设图像级的类标签。相反,我们从视听数据中提取监督信号,使用音频组件来“教导”对象检测器。虽然这个问题与声源定位有关,但它相当困难,因为检测器必须按类型对对象进行分类,枚举对象的每个实例,并且即使对象是无声的也要这样做。我们通过首先设计一个具有对比目标的自监督框架来解决这个问题,该框架联合学习对对象进行分类和定位。然后,在不使用任何监督的情况下,我们简单地使用这些自监督标签和盒子来训练基于图像的对象检测器。因此,我们在目标检测和声源定位的任务中优于以前的无监督和弱监督检测器。我们还展示了我们可以将这个检测器与每个伪类只有一个标签的地面实况类对齐,并展示了我们的方法如何学习检测超越仪器的通用对象,如飞机和猫。
2022-07-09 cs.CV
Discovery of Visual Semantics by Unsupervised and Self-Supervised Representation Learning
The University of Chicago(芝加哥大学)
深度学习在计算机视觉中的成功源于深度网络能够根据具有挑战性的视觉任务的要求扩展模型复杂性。随着复杂性的增加,需要大量的标记数据来训练模型。这与昂贵的人工注释工作相关联。为了解决这个问题,我们的长期目标是利用大量廉价的未标记数据,我们探索了无监督的“预训练”方法。“特别是,我们建议使用自监督自动图像着色。我们发现,传统的无监督学习方法,如分层聚类或自动编码器,仍然不如监督预训练。为了寻找一种替代方法,我们开发了一种全自动的图像彩色化方法。我们的方法在振兴旧的黑白摄影方面开创了一个新的艺术状态,而不需要人工努力或专业知识。此外,它还给出了一种自监督表示学习的方法。为了使模型能够适当地重新着色灰度对象,它必须首先能够识别它。这种完全自我监督学习的能力可以用于改进其他视觉任务,例如分类和语义分割。作为未来的自我监督的方向,我们调查,如果多个代理任务可以结合起来,以提高泛化。这是一个具有挑战性的开放问题。我们希望我们对这一努力的贡献将为未来的努力提供基础,使自我监督与监督前训练竞争。
2017-08-19 cs.CV
Weakly-supervised Discovery of Visual Pattern Configurations
University of California, Berkeley(加州大学伯克利分校)
随着弱标记数据的日益突出,对能够应对最小监督的目标检测方法的需求不断增长。我们提出了一种方法,自动识别的视觉模式的特征是一个给定的对象类的歧视性配置。我们制定的问题作为一个受约束的子模块优化问题,并证明了发现的配置在纠正错误定位和寻找信息丰富的积极和消极的训练样本的好处。总之,这些导致了具有挑战性的PASCAL VOC数据集上最先进的弱监督检测结果。
2014-06-25 cs.CV cs.LG
Weakly-Supervised Learning of Visual Relations in Multimodal Pretraining
Google DeepMind(谷歌DeepMind);University of Copenhagen(哥本哈根大学)
本文提出两种预训练方法,利用小规模视觉关系数据的监督信号,通过语言化场景图和掩码关系预测在多模态设置中情境化视觉实体,在零样本评估中有效提升了多模态表示学习能力。
2023-10-19 cs.CL cs.CV
Self-supervised Semantic Segmentation Grounded in Visual Concepts
Robert Bosch Research and Technology Center North America(北美罗伯特·博世研究与技术中心);Robert Bosch GmbH(罗伯特·博世有限公司)
无监督的语义分割需要为每个像素分配一个标签,而不需要任何人工注释。尽管最近在个体图像的自监督表示学习方面取得了进展,但具有像素级表示的无监督语义分割仍然是一项具有挑战性的任务,并且仍然未得到充分探索。在这项工作中,我们提出了一个自我监督的像素表示学习方法的语义分割通过使用视觉概念(即,具有语义含义的像素组,例如部件、对象和场景)。为了指导自监督学习,我们利用像素和概念之间的三种类型的关系,包括像素和局部概念之间的关系,局部和全局概念之间的关系,以及概念的同现。我们在三个数据集上评估了学习的像素嵌入和视觉概念,包括PASCAL VOC 2012,COCO 2017和DAVIS 2017。我们的研究结果表明,该方法获得了一致的和实质性的改进,最近的无监督语义分割方法,也表明,视觉概念可以揭示图像数据集的见解。
2022-07-26 cs.AI cs.CV
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Self-Supervised Learning of Audio-Visual Objects from Video
University of Oxford(牛津大学);University of Michigan(密歇根大学);Naver Corporation(Naver 公司)
我们的目标是使用自监督学习将视频转换为一组离散的视听对象。为此,我们引入了一个模型,使用注意定位和组声源,和光流随着时间的推移聚合信息。我们证明了视听对象嵌入的有效性,我们的模型通过将它们用于四个下游面向语音的任务来学习:(a)多扬声器声音声源分离,(b)定位和跟踪扬声器,(c)校正未对齐的视听数据,以及(d)活动扬声器检测。使用我们的表示,这些任务可以完全通过在未标记的视频上进行训练来解决,而无需对象检测器的帮助。我们还证明了我们的方法的通用性,通过将其应用到非人类的扬声器,包括卡通和puppets.我们的模型显着优于其他自监督的方法,并获得性能与使用监督人脸检测的方法相竞争。
2020-08-10 cs.CV cs.SD eess.AS
Self-Supervised Feature Learning for Long-Term Metric Visual Localization
University of Toronto(多伦多大学)
视觉定位是在已知场景中估计摄像机姿态的任务,是机器人学和计算机视觉中的一个基本问题。然而,由于照明和季节引起的环境外观变化,长期视觉定位仍然是一个挑战。虽然存在使用神经网络来解决外观变化的技术,但是这些方法通常需要地面实况姿态信息来生成准确的图像对应或在训练期间充当监督信号。在本文中,我们提出了一种新的自监督特征学习框架的度量视觉定位。我们使用基于序列的图像匹配算法跨越不同的图像序列(即,经验)来生成没有地面实况标签的图像对应。然后,我们可以对图像对进行采样,以训练一个深度神经网络,该网络使用相关的描述符和分数来学习稀疏特征,而无需地面实况姿势监督。学习到的特征可以与经典的姿态估计器一起用于视觉立体定位。我们通过与现有的Visual Teach & Repeat管道集成来验证学习到的功能,以在不同的照明条件下执行闭环定位实验,总共22.4公里。
2022-11-30 cs.CV cs.RO
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses公司)
我们提出了Dense FixMatch,这是一种简单的方法,用于密集和结构化预测任务的在线半监督学习,通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作,我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能,包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比,Dense FixMatch显著改善了结果,接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
Corrupted Image Modeling for Self-Supervised Visual Pre-Training
Huazhong University of Science & Technology(华中科技大学);Microsoft Research(微软研究院)
我们引入了用于自我监督视觉预训练的损坏图像建模(CIM)。CIM使用一个带有小的可训练BEiT的辅助生成器来破坏输入图像,而不是使用人工[MASK]令牌,其中一些补丁被随机选择并替换为从BEiT输出分布中采样的合理替代品。给定这个损坏的图像,增强器网络学习恢复所有原始图像像素,或者预测每个视觉标记是否被生成器样本替换。生成器和增强器同时训练并协同更新。在预训练之后,增强器可以用作下游任务的高容量视觉编码器。CIM是一个通用的、灵活的可视化预训练框架,适用于各种网络架构。CIM第一次证明了ViT和CNN都可以使用统一的非暹罗框架来学习丰富的视觉表示。实验结果表明,我们的方法在视觉基准测试中取得了令人信服的结果,如ImageNet分类和ADE 20 K语义分割。
2023-03-16 cs.AI cs.CV cs.LG
Self-Supervised Audio-Visual Co-Segmentation
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
分割图像中的对象和分离音频中的声源是具有挑战性的任务,部分原因是传统方法需要大量的标记数据。在本文中,我们开发了一个神经网络模型的视觉对象分割和声音声源分离,学习自然视频通过自我监督。该模型是最近提出的将图像像素映射到声音的工作的扩展。在这里,我们引入了一种学习方法来解开神经网络中的概念,并将语义类别分配给网络特征通道,以便在视频上进行视听训练后实现独立的图像分割和声音声源分离。我们的评估表明,解开模型优于几个基线在语义分割和声音声源分离。
2019-04-18 cs.CV cs.SD eess.AS
Self-supervised Contrastive Learning for Audio-Visual Action Recognition
Sun Yat-sen University(中山大学)
音频和视觉模态之间的潜在相关性可以用于学习未标记视频的监督信息。在本文中,我们提出了一个端到端的自我监督框架,名为视听对比学习(AVCL),学习有区别的视听表示动作识别。具体来说,我们设计了一个基于注意力的多模态融合模块(AMFM)融合音频和视觉模态。为了对齐异构视听模态,我们构建了一个新的相关引导表示对齐模块(CGRA)。为了从未标记的视频中学习监督信息,我们提出了一种新的自监督对比学习模块(SelfCL)。此外,我们建立了一个新的视听动作识别数据集,名为Kinetics-Sounds 100。在Kinetics-Sounds 32和Kinetics-Sounds 100数据集上的实验结果表明,我们的AVCL在大规模动作识别基准上优于最先进的方法。
2023-03-20 cs.CV
UniMoCo: Unsupervised, Semi-Supervised and Full-Supervised Visual Representation Learning
Tencent Wechat AI(腾讯微信AI);South China University of Technology(华南理工大学)
动量对比度(MoCo)在无监督视觉表示方面取得了巨大的成功。然而,有很多监督和半监督数据集已经被标记。为了充分利用标签注释,我们提出了统一动量对比(UniMoCo),它扩展了MoCo以支持任意比例的标记数据和未标记数据训练。与MoCo相比,UniMoCo有以下两个改进:(1)与MoCo中的单个正对不同,我们通过将查询标签与标签队列进行比较来动态维护多个正对。(2)我们提出了一个统一的对比(UniCon)损失,以支持任意数量的积极和消极的统一成对优化的角度。我们的UniCon算法在理论和实践上都比监督对比损失算法更加合理和有效。在我们的实验中,我们使用不同比例的ImageNet标签预训练多个UniMoCo模型,并评估各种下游任务的性能。实验结果表明,UniMoCo对无监督、半监督和有监督的视觉表示学习都有很好的泛化能力。
2021-03-19 cs.CV
Can Semantic Labels Assist Self-Supervised Visual Representation Learning?
University of Science and Technology of China(中国科学技术大学);Huawei Inc.(华为公司)
近年来,对比学习极大地推动了无监督视觉表示学习的发展。在ImageNet上进行预训练后,与完全监督的方法相比,一些自监督算法报告了更高的迁移学习性能,似乎传递了这样一个信息,即人类标签几乎无助于学习可迁移的视觉特征。在本文中,我们为语义标签的有用性辩护,但指出全监督和自监督方法追求不同类型的特征。为了缓解这个问题,我们提出了一个新的算法命名为监督对比调整邻域(SCAN),最大限度地防止语义指导破坏外观特征嵌入。在一系列的下游任务中,SCAN实现了比以前的全监督和自监督方法更优越的性能,有时增益是显著的。更重要的是,我们的研究表明,语义标签在辅助自我监督方法方面很有用,为社区开辟了一个新的方向。
2020-11-17 cs.CV
Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
The Graduate Center, The City University of New York(纽约市立大学研究生中心)
大规模标记数据通常需要训练深度神经网络,以便在从图像或视频学习视觉特征以用于计算机视觉应用中获得更好的性能。为了避免采集和标注大规模数据集的巨大成本,作为无监督学习方法的一个子集,自监督学习方法被提出来从大规模未标注数据中学习一般图像和视频特征,而不使用任何人工标注的标签。本文对基于深度学习的图像或视频自监督一般视觉特征学习方法进行了广泛的回顾。首先,该领域的动机,一般管道,和术语进行了描述。然后总结了用于自监督学习的常用深度神经网络结构。接下来,回顾了自监督学习方法的主要组成部分和评价指标,然后是常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后,对基准数据集上的评价方法的定量性能比较进行了总结和讨论,用于图像和视频特征学习。最后,对本文进行了总结,并提出了自监督视觉特征学习的未来发展方向。
2019-02-16 cs.CV
Revisiting Weakly Supervised Pre-Training of Visual Perception Models
Meta AI
模型预训练是现代视觉识别系统的基石。虽然像ImageNet这样的数据集上的完全监督预训练仍然是事实标准,但最近的研究表明,大规模弱监督预训练可以优于完全监督方法。本文使用带有现代版本的残差网络和有史以来最大的图像数据集以及相应的主题标签,重新审视了使用主题标签监督的模型的弱监督预训练。我们研究了所得到的模型在各种迁移学习设置,包括zero-shot传输的性能。我们还将我们的模型与通过大规模自监督学习获得的模型进行了比较。我们发现我们的弱监督模型在所有环境中都非常有竞争力,并且发现它们的表现大大优于自监督模型。我们还调查了我们的模型是否学到了潜在的令人不安的联想或刻板印象。总的来说,我们的研究结果提供了一个令人信服的论据弱监督学习在视觉识别系统的发展。我们的模型,通过hashtAGs弱监督(SWAG),是公开的。
2022-04-02 cs.CV
Self-supervised Visual-LiDAR Odometry with Flip Consistency
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
大多数基于学习的方法通过利用视觉传感器来估计自我运动,这会受到剧烈的照明变化和无纹理场景的影响。在本文中,我们将稀疏但准确的深度测量激光雷达获得克服视觉方法的局限性。为此,我们设计了一个自我监督的视觉激光雷达测距(Self-VLO)框架。它将单目图像和从3D激光雷达点投影的稀疏深度图作为输入,并以端到端学习的方式产生姿态和深度估计,而不使用任何地面实况标签。为了有效地融合两种模式,我们设计了一个双通道编码器,从视觉和深度图像中提取特征,并通过我们的融合模块将编码特征与解码器中的特征在多个尺度上融合。我们还采用了连体结构,并设计了一个自适应加权翻转一致性损失,以促进我们的VLO的自监督学习。在KITTI里程计基准上的实验表明,该方法优于所有自监督视觉或激光雷达里程计。它的性能也优于完全监督的VO,展示了融合的力量。
2021-01-05 cs.CV
Revisiting Self-Supervised Visual Representation Learning
Google Brain(谷歌大脑)
无监督视觉表示学习是计算机视觉研究中一个尚未解决的问题。在最近提出的大量视觉表征的无监督学习方法中,一类自监督技术在许多具有挑战性的基准测试中取得了优异的性能。已经研究了大量的自监督学习的借口任务,但其他重要方面,如卷积神经网络(CNN)的选择,并没有得到同等的关注。因此,我们重新审视了许多以前提出的自监督模型,进行了彻底的大规模研究,从而发现了多个关键的见解。我们挑战了自监督视觉表征学习中的一些常见做法,并观察到CNN设计的标准配方并不总是转化为自监督表示学习。作为我们研究的一部分,我们大大提高了以前提出的技术的性能,并大大优于以前发表的最先进的结果。
2019-01-25 cs.CV
Self-Supervised Visual Representation Learning from Hierarchical Grouping
University of Chicago(芝加哥大学)
我们创建了一个框架,引导视觉表示学习从一个原始的视觉分组能力。我们通过轮廓检测器将图像划分为多个区域,然后将这些区域合并为一个树形层次结构来实现分组。一个小的监督数据集足以训练这个分组原语。在一个大型的未标记数据集上,我们应用这个学习过的原语来自动预测分层区域结构。这些预测可作为自监督对比特征学习的指导:我们让深度网络产生每像素嵌入,其成对距离尊重区域层次结构。实验表明,我们的方法可以作为最先进的通用预训练,有利于下游任务。我们还探讨了语义区域搜索和基于视频的对象实例跟踪的应用程序。
2020-12-05 cs.CV
Learning Visual Features from Large Weakly Supervised Data
Facebook AI Research(脸书人工智能研究院)
在大型监督数据集上训练的卷积网络产生的视觉特征构成了许多计算机视觉问题的基础。这些视觉特征的进一步改进可能需要更大的手动标记数据集,这严重限制了取得进展的速度。在本文中,我们探讨了利用大量弱标记图像集合来学习良好视觉特征的潜力。我们在包含1亿张Flickr照片和字幕的数据集上训练卷积网络,并表明这些网络产生的功能在一系列视觉问题上表现良好。我们还表明,网络适当地捕捉单词相似性,并学习不同语言之间的对应关系。
2015-11-06 cs.CV
Weakly Supervised Visual Semantic Parsing
Columbia University(哥伦比亚大学)
场景图生成(SGG)的目的是从图像中提取实体、谓词及其语义结构,实现对视觉内容的深入理解,具有视觉推理和图像检索等多种应用。然而,现有的SGG方法需要数百万个手动注释的边界框来进行训练,并且计算效率低下,因为它们穷尽地处理所有对的对象建议以检测谓词。在本文中,我们首先提出了一个广义的SGG,即视觉语义解析,它解开实体和谓词识别,并使次二次性能的制定解决这两个限制。然后,我们提出了视觉语义解析网络,VSPNet,基于一个动态的,基于注意力的,二分消息传递框架,共同推断图形节点和边缘,通过迭代过程。此外,我们提出了第一个基于图的弱监督学习框架,基于一种新的图对齐算法,它使训练没有限界框注释。通过大量的实验,我们证明了VSPNet的性能显著优于弱监督基线,接近完全监督性能,同时速度快了好几倍。我们公开发布我们方法的源代码。
2020-03-31 cs.CV
AlignCAT: Visual-Linguistic Alignment of Category and Attribute for Weakly Supervised Visual Grounding
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Trento(特伦托大学)
AlignCAT通过粗粒度和细粒度对齐模块,利用类别与属性信息增强视觉-语言匹配,在三个基准上超越现有弱监督视觉定位方法。
2025-10-27 cs.CV
Color-$S^{4}L$: Self-supervised Semi-supervised Learning with Image Colorization
Harbin Institute of Technology(哈尔滨工业大学)
本工作提出自监督半监督学习框架Color-$S^{4}L$,通过引入图像着色代理任务,在CIFAR-10等数据集上验证了其优于以往监督与半监督方法的图像分类性能。
2024-01-08 cs.CV
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal
Huazhong University of Science and Technology(华中科技大学)
自监督学习在利用未标记数据进行各种视频任务方面表现出了显著的性能。在本文中,我们专注于应用自我监督方法的力量,以提高半监督行动建议生成。特别地,我们设计了一个有效的自监督半监督时态动作建议(SSTAP)框架。SSTAP包含两个关键分支,即,时间感知半监督分支和关系感知自监督分支。半监督分支通过引入两个时间扰动来改进提议模型,即,时间特征转移和时间特征翻转,在平均教师框架。自监督分支定义了两个托词任务,包括掩蔽特征重构和裁剪顺序预测,以学习时间线索之间的关系。通过这种方式,SSTAP可以更好地探索未标记的视频,并提高学习的动作特征的区分能力。我们在THUMOS 14和ActivityNet v1.3数据集上广泛评估了所提出的SSTAP。实验结果表明,SSTAP显着优于最先进的半监督方法,甚至匹配全监督方法。代码可在https://github.com/wangxiang1230/SSTAP上获得。
2021-04-07 cs.CV
Self-Supervised Steering Angle Prediction for Vehicle Control Using Visual Odometry
Technical University of Munich(慕尼黑工业大学);Artisense(阿蒂森斯公司)
用于自动驾驶汽车的基于视觉的学习方法主要使用监督方法,这些方法需要大量的标签进行训练。然而,这些标签通常很难获得,而且价格昂贵。在本文中,我们演示了如何训练一个模型,以控制车辆的轨迹,使用摄像头的姿态估计通过视觉里程计方法在一个完全自我监督的方式。我们提出了一个可扩展的框架,利用轨迹信息从几个不同的运行使用摄像头设置在汽车的前面。CARLA模拟器上的实验结果表明,我们提出的方法与监督训练的模型表现相当。
2021-03-20 cs.CV
Self-Supervised Video Forensics by Audio-Visual Anomaly Detection
University of Michigan(密歇根大学)
被操纵的视频通常在其视觉和音频信号之间包含微妙的不一致。我们提出了一种基于异常检测的视频取证方法,可以识别这些不一致,并且可以单独使用真实的未标记数据进行训练。我们训练一个自回归模型来生成视听特征序列,使用特征集来捕获视频帧和声音之间的时间同步。在测试时,我们标记模型分配低概率的视频。尽管完全在真实视频上训练,我们的模型在检测操纵语音视频的任务上获得了很好的性能。项目网址:https://cfeng16.github.io/audio-visual-forensics
2023-03-27 cs.CV
Distilling Visual Priors from Self-Supervised Learning
Megvii Research Nanjing(旷视科技南京研究院);Tongji University(同济大学)
卷积神经网络(CNN)容易过拟合小的训练数据集。我们提出了一种新的两阶段管道,利用自监督学习和知识蒸馏,以提高CNN模型的泛化能力,在数据不足的情况下,图像分类。第一阶段是通过自监督学习来学习具有丰富且可推广的视觉表示的教师模型,第二阶段是以自蒸馏的方式将表示提取为学生模型,同时微调学生模型以用于图像分类任务。我们还提出了一种新的边缘损失的自监督对比学习代理任务,以更好地学习数据不足的情况下的表示。与其他技巧一起,我们在VIPriors图像分类挑战中实现了有竞争力的性能。
2020-08-01 cs.CV
DisCont: Self-Supervised Visual Attribute Disentanglement using Context Vectors
IIIT Delhi(印度德里信息技术学院)
在没有事先监督的情况下解开图像中的潜在特征属性是一项具有挑战性的任务。能够很好地分解属性的模型提供了更好的可解释性和控制性。在本文中,我们提出了一个自我监督的框架DisCont解开多个属性,利用图像内的结构归纳偏见。受最近对比学习范式激增的启发,我们的模型弥合了自监督对比学习算法和无监督解缠之间的差距。我们在四个基准数据集上定性和定量地评估了我们的方法的有效性。
2020-06-29 cs.CV
Self-supervised Visualisation of Medical Image Datasets
Hertie Institute for AI in Brain Health(赫蒂脑健康人工智能研究院);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Heidelberg University(海德堡大学);IWR, Heidelberg University(海德堡大学IWR研究所)
本研究应用自监督方法 $t$-SimCNE 可视化医学图像数据集,通过引入任意旋转的数据增强策略提升类可分性,生成的 2D 表征能展示医学相关结构并辅助数据探索与标注。
2024-07-24 cs.CV
Self-supervised Pretraining and Finetuning for Monocular Depth and Visual Odometry
Naver Labs Europe(欧洲Naver实验室)
本文提出两阶段自监督 transformer 训练框架,结合 CroCo 预训练与无标注视频微调,在六类数据集上同时提升单目深度和视觉里程计性能。
2024-06-16 cs.CV
EnAET: A Self-Trained framework for Semi-Supervised and Supervised Learning with Ensemble Transformations
Purdue University(普渡大学);University of Rochester(罗切斯特大学);Futurewei Seattle Cloud Lab(华为西雅图云实验室)
深度神经网络已成功应用于许多现实世界的应用。然而,这样的成功在很大程度上依赖于大量的标记数据,而这些数据的获取成本很高。近年来,人们提出了许多半监督学习的方法,并取得了很好的效果。在这项研究中,我们提出了一个新的EnAET框架,以进一步改善现有的半监督方法与自我监督的信息。据我们所知,目前所有的半监督方法都通过预测一致性和置信度来提高性能。我们是第一个探索{ \bf自我监督}表示在{ \bf半监督}学习中的作用的丰富的家庭的转换。因此,我们的框架可以集成自监督信息作为正则化项,以进一步改进{ \it all}当前的半监督方法。在实验中,我们使用MixMatch,这是当前最先进的半监督学习方法,作为基线来测试所提出的EnAET框架。在不同的数据集上,我们采用相同的超参数,这大大提高了EnAET框架的泛化能力。在不同数据集上的实验结果表明,所提出的EnAET框架大大提高了现有半监督算法的性能.此外,该框架还可以大幅提高{ \bf监督学习},包括每个类只有10张图像的极具挑战性的场景。代码和实验记录可在\url{https://github.com/maple-research-lab/EnAET}中获得。
2021-02-01 cs.CV
Deeply Supervised Multimodal Attentional Translation Embeddings for Visual Relationship Detection
National Technical University of Athens(雅典国立技术大学)
检测视觉关系,即<Subject,Predicate,Object>三元组,是一个具有挑战性的场景理解任务,过去通过单个特征分支中的语言先验或空间信息来实现。我们引入了一种新的深度监督的两分支架构,多模态注意翻译嵌入,其中每个分支的视觉特征由多模态注意机制驱动,该机制利用低维空间中的空间语言相似性。我们提出了各种各样的实验比较对所有相关的方法在文献中,以及通过重新实施和微调其中几个。在常用的VRD数据集[1]上的结果表明,所提出的方法明显优于所有其他方法,同时我们也在定量和定性上证明了我们的主张。
2019-02-15 cs.CV
SSL-R1: Self-Supervised Visual Reinforcement Post-Training for Multimodal Large Language Models
Max Planck Institute for Informatics, SIC(马克斯·普朗克信息研究所,SIC);VIA Research Center(VIA研究中心);Google(谷歌)
SSL-R1通过自监督学习生成可验证奖励,提升多模态大语言模型的推理能力,无需人工或外部监督,有效增强视觉理解。
2026-04-22 cs.CV
Multi-task Self-Supervised Visual Learning
DeepMind;University of Oxford(牛津大学)
我们研究了结合多个自我监督任务的方法--即,监督任务,其中可以收集数据而无需手动标记--以便训练单个视觉表示。首先,我们使用非常深入的ResNet-101架构对四种不同的自监督任务进行了比较。然后,我们组合任务以联合训练网络。我们还探索了套索正则化,以鼓励网络在其表示中分解信息,以及“协调”网络输入的方法,以学习更统一的表示。我们评估了ImageNet分类,PASCAL VOC检测和NYU深度预测的所有方法。我们的研究结果表明,更深的网络工作得更好,并且组合任务-即使是通过简单的多头架构-总是可以提高性能。我们最好的联合网络几乎与ImageNet分类预训练模型的PASCAL性能相匹配,并与纽约大学深度预测的ImageNet网络相匹配。
2017-08-25 cs.CV
A Benchmark for Semi-supervised Multi-modal Crowd Counting
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
本文构建了首个半监督多模态人群计数基准,通过制定标准化协议和评估多种基线方法,为该任务奠定基础。
2026-06-02 cs.CV
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);National University of Singapore(新加坡国立大学)
我们考虑的问题,半监督的3D动作识别,以前很少探索。它的主要挑战在于如何有效地从未标记的数据中学习运动表示。自监督学习(Self-supervised learning,SSL)是一种非常有效的学习方法。然而,对于3D动作识别,几乎没有有效的自监督方法存在,并且直接将SSL应用于半监督学习遭受从SSL和监督学习任务学习的表示的不对准。为了解决这些问题,我们提出了对抗性自监督学习(ASSL),一个新的框架,紧密耦合SSL和半监督方案通过邻居关系探索和对抗性学习。具体来说,我们设计了一个有效的SSL方案,以提高3D动作识别的学习表示的鉴别能力,通过探索一个邻域内的数据关系。我们进一步提出了对抗性正则化来对齐标记和未标记样本的特征分布。为了证明所提出的ASSL在半监督3D动作识别中的有效性,我们在NTU和N-UCLA数据集上进行了广泛的实验。结果证实了其优越的性能超过国家的最先进的半监督方法在几个标签制度的3D动作识别。
2020-07-12 cs.CV
From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis
University of Sheffield(谢菲尔德大学);University of East Anglia(东英吉利大学);University of Electronic Science and Technology of China(电子科技大学);Tsinghua University(清华大学);Northumbria University(诺森比亚大学)
鲁棒的目标识别系统通常依赖于从大量真实图像中提取强大的特征提取机制。然而,在许多实际应用中,为不断增长的新类收集足够的图像是无法实现的。在本文中,我们提出了一个新的零样本学习(Zero-shot learning,简称ZRL)框架,它可以在不获取真实图像的情况下为看不见的类合成视觉特征。使用建议的看不见的视觉数据合成(UVDS)算法,语义属性被有效地利用作为一个中间线索,在训练阶段合成看不见的视觉特征。在此之后,将人脸识别转换为传统的监督问题,即合成的视觉特征可以直接馈送到典型的分类器,如SVM。在四个基准数据集上,我们展示了使用合成的看不见的数据的好处。大量的实验结果表明,我们提出的方法显着提高国家的最先进的结果。
2017-05-04 cs.CV
Explanation-based Weakly-supervised Learning of Visual Relations with Graph Networks
KTH - Royal Institute of Technology(瑞典皇家理工学院)
视觉关系检测是整体图像理解的基础。然而,定位和分类(主语,谓语,宾语)三元组仍然具有挑战性的任务,由于可能的关系,其长尾分布在自然图像中的组合爆炸,和昂贵的注释过程。本文介绍了一种新的弱监督的视觉关系检测方法,依赖于最小的图像级谓词标签。训练图神经网络以从检测到的对象的图表示对图像中的谓词进行分类,隐式地对成对关系的归纳偏差进行编码。然后,我们框架的关系检测作为这样的谓词分类器的解释,即我们通过恢复预测谓词的主语和宾语来获得完整的关系。我们目前的结果与最近的完全和弱监督的方法在三个不同的和具有挑战性的数据集:HICO-DET的人与对象的交互,视觉关系检测的通用对象到对象的关系,和UnRel的不寻常的三胞胎;展示鲁棒性非全面的注释和良好的Few-Shot泛化。
2020-07-17 cs.CV
Self-Supervised Visual Prompting for Cross-Domain Road Damage Detection
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Cornell University(康奈尔大学);Yale University(耶鲁大学);University of California Irvine(加州大学伊万哥罗市分校);Brown University(布朗大学);Oak Ridge National Laboratory(橡树岭国家实验室)
针对跨域道路损伤检测中域偏移问题,提出自监督框架\textbf{\textit{PROBE}},通过SPEM模块和DAPA目标实现零样本迁移、增强域鲁棒性,在四个基准上优于现有方法,为自适应视觉检测提供新方向。
2025-11-16 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.(美团公司)
视觉Transformer(ViT)在半监督学习(SSL)中面临数据稀缺的问题。为了缓解这个问题,受到掩码自编码器(MAE)的启发,这是一个数据高效的自监督学习器,我们提出了Semi-MAE,一个纯粹的基于ViT的SSL框架,由一个并行MAE分支组成,以帮助视觉表示学习,使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支,并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率,标签为10%,超过了半监督图像分类的现有技术水平。此外,大量的实验表明,半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
Solo-learn: A Library of Self-supervised Methods for Visual Representation Learning
University of Trento(特伦托大学);SAP AI Research(SAP人工智能研究);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文介绍了solo-learn,一个用于视觉表示学习的自监督方法库。该库使用Python实现,使用Pytorch和Pytorch lightning,通过具有混合精度的分布式训练管道,通过Nvidia DALI更快的数据加载,在线线性评估以实现更好的原型设计,以及许多额外的训练技巧,满足研究和行业需求。我们的目标是提供一个易于使用的库,其中包含大量的自监督学习(SSL)方法,可以很容易地由社区扩展和微调。solo-learn开辟了在廉价的小型基础设施上利用大预算SSL解决方案的途径,并寻求通过使所有人都可以访问SSL来实现SSL的民主化。源代码可在https://github.com/vturrisi/solo-learn上获得。
2022-02-04 cs.CV
Self-Supervised Visual Learning by Variable Playback Speeds Prediction of a Video
University of Birmingham(伯明翰大学)
我们提出了一种自我监督的视觉学习方法,通过预测视频的可变播放速度。在没有语义标签的情况下,我们在时间一致性的假设下,根据不同的播放速度,利用视觉外观的变化来学习视频的时空视觉表示。为了了解整个视频中的时空视觉变化,我们不仅预测了单个播放速度,还生成了具有随机起点的各种播放速度和方向的剪辑。因此,可以从视频的Meta信息(回放速度和方向)成功地学习视觉表示。我们还提出了一种新的层可靠的时间组归一化方法,该方法可应用于3D卷积网络以提高表示学习性能,其中我们将时间特征分成几组,并使用不同的相应参数对每个组进行归一化。我们通过微调UCF-101和HMDB-51上的动作识别和视频检索任务来验证我们的方法的有效性。
2021-05-21 cs.CV
Visual Reasoning through Tool-supervised Reinforcement Learning
Northeastern University(东北大学);Amazon AGI(亚马逊人工智能研究院)
本文提出工具监督强化学习框架,通过简单可解释的视觉工具提升多模态大语言模型的复杂视觉推理能力,实验表明其高效且具备强大工具使用能力。
2026-04-21 cs.CV
Learning with Difference Attention for Visually Grounded Self-supervised Representations
Adobe Research(奥多比研究院)
针对自监督学习在多目标图像视觉定位上的不足,提出视觉差异注意力(VDA)揭示现有方法缺陷,并设计可微差异注意力(DiDA)损失,大幅提升模型视觉定位能力。
2023-06-26 cs.CV
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification
University of Adelaide(阿德莱德大学);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);Universität Ulm(乌尔姆大学);South Australian Health and Medical Research Institute(南澳大利亚健康与医学研究所)
深度学习模型的训练通常需要大量的注释数据,以实现有效的收敛和泛化。然而,获得高质量的注释是一个费力和昂贵的过程,由于需要专业的放射科医生的标签任务。医学图像分析中的半监督学习的研究是至关重要的,因为获得未标记的图像比获得由放射科专家标记的图像便宜得多。从本质上讲,半监督方法利用大量未标记的数据集来实现比仅使用少量标记图像更好的训练收敛和泛化。在本文中,我们提出了半监督(S $^2$ MTS $^2$)学习的自监督均值教师,它将自监督均值教师预训练与半监督微调相结合。S $^2$ MTS $^2$的主要创新点是基于联合对比学习的自监督平均教师预训练,它使用无限数量的正查询和关键特征对来改进平均教师表示。然后使用经过半监督学习训练的指数移动平均教师框架对模型进行微调。我们验证了S $^2$ MTS $^2$在胸部X射线14和CheXpert的多标签分类问题上的有效性,以及ISIC 2018的多类分类,我们表明它大大优于以前的SOTA半监督学习方法。
2021-11-04 cs.CV
V-GIFT: Boosting Visual Instruction Tuning with Self-Supervised Guidance
Sorbonne Universite, CNRS, ISIR, F-75005 Paris, France(索邦大学、国家科学研究中心、ISIR、法国巴黎75005);Institut universitaire de France (IUF)(法国国家科学院(IUF))
本文提出一种轻量方法,通过加入少量视觉基础自监督任务提升MLLMs的视觉推理能力,无需人工标注或架构修改,有效提升视觉中心评估性能。
2026-10-16 cs.CV
Semi-Supervised Semantic Matching
Aalto University(阿尔托大学)
卷积神经网络(CNN)已成功地应用于解决语义相关图像之间的对应性估计问题。由于无法获得大规模的训练数据集,现有的方法采用自监督或无监督的训练范式。在本文中,我们提出了一个半监督学习框架,施加循环一致性约束的未标记的图像对。与监督损失一起,所提出的模型在基准语义匹配数据集上达到了最先进的水平。
2019-01-24 cs.CV
Semi-supervised Learning of Fetal Anatomy from Ultrasound
Imperial College London(帝国理工学院)
半监督学习方法在标准基准数据集上使用很少的标记图像取得了优异的性能。胎儿2D超声中的解剖分类是测试这些结果是否转化为非理想数据的理想问题设置。我们的研究结果表明,包含一个具有挑战性的背景类可能是有害的,半监督学习主要受益于已经不同的类,有时以牺牲更相似的类。
2019-08-30 cs.CV
Multi-Augmentation for Efficient Visual Representation Learning for Self-supervised Pre-training
Hon Hai Research Institute(鸿海研究院);National Central University(国立中央大学)
近年来,自监督学习被用来解决标签数据集的局限性。在自监督学习的主要组成部分中,数据增强管道是增强结果性能的一个关键因素。然而,大多数研究人员手动设计的增强管道,有限的转换集合可能会导致学习的特征表示缺乏鲁棒性。在这项工作中,我们提出了多增强自我监督表示学习(MA-SSRL),它充分搜索各种增强策略来构建整个管道,以提高学习的特征表示的鲁棒性。MA-SSRL成功地学习了不变特征表示,并为不同分布和域数据集的自监督预训练提供了一个高效,有效和自适应的数据增强管道。MA-SSRL在传输和半监督基准测试上优于以前的最先进方法,同时需要更少的训练时间。
2022-05-24 cs.CV
Visual Distant Supervision for Scene Graph Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);University of Hamburg(汉堡大学)
场景图生成的目的是识别图像中的对象及其关系,提供结构化的图像表示,可以促进计算机视觉中的许多应用。然而,场景图模型通常需要对大量带有密集人工注释的标记数据进行监督学习。在这项工作中,我们提出了视觉远程监督,一种新的范式的视觉关系学习,它可以训练场景图模型,没有任何人类标记的数据。直觉是,通过对齐常识知识库和图像,我们可以自动创建大规模的标记数据,为视觉关系学习提供远程监督。为了减轻噪声在遥远的标记数据,我们进一步提出了一个框架,迭代估计的概率关系标签,并消除噪声。综合实验结果表明,我们的远程监督模型优于强,弱监督和半监督基线。通过以半监督的方式进一步结合人类标记的数据,我们的模型比最先进的全监督模型表现更好(例如,8.3 Visual Genome评估中谓词分类的微观和7.8宏观召回率(50次改进)。我们在https://github.com/thunlp/VisualDS上公开了本文的数据和代码。
2021-08-20 cs.CV
Confidence-Guided Semi-supervised Learning in Land Cover Classification
Cardiff University(卡迪夫大学)
本文提出置信度引导半监督学习方法CGSSL,通过利用高置信度伪标签并引入多网络架构提升伪标签多样性,在Potsdam土地覆盖分类基准上超越经典半监督和全监督方法。
2023-05-30 cs.CV
FlowVOS: Weakly-Supervised Visual Warping for Detail-Preserving and Temporally Consistent Single-Shot Video Object Segmentation
Stanford University(斯坦福大学)
我们考虑半监督视频对象分割(VOS)的任务。我们的方法通过使用视觉扭曲解决细节保留和时间一致性来减轻以前VOS工作中的缺点。在以前的工作,使用全光流相比,我们引入了一个新的前景为目标的视觉扭曲的方法,学习流场的VOS数据。我们训练一个流模块来捕捉帧之间的详细运动使用两个弱监督损失。我们以对象为中心的方法将先前的前景对象掩码扭曲到目标帧中的位置,从而可以在不使用额外流监督的情况下快速运行时进行详细的掩码细化。它还可以直接集成到最先进的分割网络中。在DAVIS17和YouTubeVOS基准测试中,我们的表现优于不使用额外数据的最先进的离线方法,以及许多使用额外数据的在线方法。定性,我们还表明我们的方法产生的分割与高细节和时间的一致性。
2021-11-20 cs.CV
Semi-Supervised Relational Contrastive Learning
University of California, Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学);University of Kentucky(肯塔基大学)
针对医学图像监督学习标注成本高的问题,提出结合自监督对比损失与样本关系一致性的半监督关系对比学习SRCL模型,在ISIC 2018皮肤病变数据集上验证了不同标注量下的有效性。
2023-06-13 cs.CV