Self-Erasing Network for Integral Object Attention
Nankai University(南开大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
最近,针对弱监督对象注意的对抗性擦除由于其能够定位完整对象区域而得到了深入研究。然而,这种策略提出了一个关键问题,即随着训练迭代的继续,注意力区域将逐渐扩展到非对象区域,这会显着降低所生成的注意力图的质量。为了解决这个问题,以及提高质量的对象注意,我们引入了一个简单而有效的自擦除网络(SeeNet),以防止注意力扩散到意想不到的背景区域。特别是,SeeNet利用两种自我擦除策略来鼓励网络使用可靠的对象和背景线索来学习注意力。以这种方式,可以有效地突出显示整体对象区域,而不包括更多的背景区域。为了测试生成的注意力地图的质量,我们采用挖掘的对象区域作为启发式线索学习语义分割模型。Pascal VOC上的实验很好地证明了我们的SeeNet优于其他国家的最先进的方法。
2018-10-23 cs.CV
Self-supervised object detection from audio-visual correspondence
University of Oxford(牛津大学);University of Amsterdam(阿姆斯特丹大学);Meta AI
我们解决了在没有监督的情况下学习对象检测器的问题。与弱监督目标检测不同,我们不假设图像级的类标签。相反,我们从视听数据中提取监督信号,使用音频组件来“教导”对象检测器。虽然这个问题与声源定位有关,但它相当困难,因为检测器必须按类型对对象进行分类,枚举对象的每个实例,并且即使对象是无声的也要这样做。我们通过首先设计一个具有对比目标的自监督框架来解决这个问题,该框架联合学习对对象进行分类和定位。然后,在不使用任何监督的情况下,我们简单地使用这些自监督标签和盒子来训练基于图像的对象检测器。因此,我们在目标检测和声源定位的任务中优于以前的无监督和弱监督检测器。我们还展示了我们可以将这个检测器与每个伪类只有一个标签的地面实况类对齐,并展示了我们的方法如何学习检测超越仪器的通用对象,如飞机和猫。
2022-07-09 cs.CV
LISO: Lidar-only Self-Supervised 3D Object Detection
Mercedes-Benz(梅赛德斯-奔驰);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
针对3D目标检测依赖昂贵人工标注的问题,提出仅用未标注激光雷达点云序列的轨迹正则化自训练方法LISO,借助自监督场景流网络生成优化伪真值,在多数据集多检测网络上验证了有效性。
2024-03-11 cs.CV
Few-shot Object Detection with Self-adaptive Attention Network for Remote Sensing Images
在遥感领域,近年来目标检测的应用越来越广泛,这就需要大量的标记数据。然而,我们可能会遇到一些只有有限数据的情况。在本文中,我们提出了一个Few-Shot目标检测器,它是专为检测新的对象提供了只有几个例子。特别是,为了适应目标检测设置,我们提出的Few-Shot检测器集中在对象的水平,而不是完整的图像与自适应注意力网络(SAAN)的协助下的关系。SAAN通过一个关系GRU单元充分利用对象级关系,同时根据对象级关系自适应地对对象特征附加注意力,避免了某些附加注意力无用甚至有害的情况。最后,检测结果由被注意地添加的特征产生,因此能够被简单地检测。实验证明了该方法在Few-Shot场景中的有效性。
2020-09-26 cs.CV
PatchContrast: Self-Supervised Pre-training for 3D Object Detection
Technion, Israel(以色列理工学院)
针对自动驾驶3D目标检测标注数据成本高的问题,提出自监督点云预训练框架PatchContrast,通过候选区域级和补丁级双抽象层次学习判别表示,在三个常用数据集上优于现有最先进模型。
2025-04-14 cs.CV
STFAR: Improving Object Detection Robustness at Test-Time by Self-Training with Feature Alignment Regularization
South China University of Technology(华南理工大学);I2R, A-STAR(A*STAR资讯通信研究院)
本文提出STFAR方法,通过指数移动平均模型生成伪标签进行自训练,并引入双级别特征分布对齐作为正则化,以解决测试时目标检测中的分布偏移问题,在三个基准数据集上达到SOTA。
2023-03-31 cs.CV
Self-taught Object Localization with Deep Networks
Dartmouth College(达特茅斯学院);Google Inc.(谷歌公司)
本文介绍了自学对象定位,这是一种新方法,它利用经过训练的深度卷积网络进行全图像识别,在没有额外人工监督的情况下定位图像中的对象,即,无需使用任何真实边界框进行训练。其关键思想是分析人工掩盖图像不同区域时识别分数的变化。对包括对象的区域进行掩蔽通常会导致识别分数的显著下降。这个想法是嵌入到凝聚聚类技术,产生自学本地化的假设。我们的对象定位方案在精确度和召回率方面优于现有的建议方法,用于少量的子窗口建议(例如,在ILSVRC-2012上,它比最先进的前1假设产生了23.4%的相对增益)。此外,我们的实验表明,自动生成的注释,我们的方法可以用来训练对象检测器产生识别结果非常接近那些通过人工标注的边界框上的训练。
2016-02-02 cs.CV
SESS: Self-Ensembling Semi-Supervised 3D Object Detection
National University of Singapore(新加坡国立大学)
现有的基于点云的3D目标检测方法的性能严重依赖于大规模高质量的3D注释。然而,这样的注释往往是繁琐和昂贵的收集。半监督学习是一个很好的替代方案,以减轻数据注释问题,但在3D目标检测仍然在很大程度上未被探索。受自集成技术在半监督图像分类任务中的成功启发,我们提出了SESS,一个自集成半监督3D目标检测框架。具体来说,我们设计了一个彻底的扰动方案,以增强网络在未标记和新的未知数据上的泛化能力。此外,我们提出了三个一致性损失,以加强两组预测的3D对象建议之间的一致性,以促进学习的结构和语义不变的对象。在SUN RGB-D和ScanNet数据集上进行的大量实验证明了SESS在归纳和转换半监督3D目标检测中的有效性。与最先进的全监督方法相比,我们的SESS仅使用50%的标记数据就实现了具有竞争力的性能。我们的代码可在https://github.com/Na-Z/sess上获得。
2021-03-17 cs.CV
Incremental-DETR: Incremental Few-Shot Object Detection via Self-Supervised Learning
National University of Singapore(新加坡国立大学);Harbin Institute of Technology(哈尔滨工业大学)
增量式Few-Shot目标检测的目的是在不忘记基本类的知识的情况下检测新类,而仅使用来自新类的少量标记训练数据。大多数相关的现有工作都是关于增量式目标检测的,其依赖于每个新类的丰富训练样本的可用性,这实质上限制了对新数据可能稀缺的真实世界设置的可扩展性。在本文中,我们提出了增量DETR,增量Few-Shot目标检测通过微调和自监督学习的DETR对象检测器。为了减轻严重的过度拟合与一些新的类数据,我们首先微调类特定的组件DETR与自我监督从使用选择性搜索作为伪标签生成的额外的对象建议。我们进一步引入了一个增量的Few-Shot微调策略,在DETR的类特定组件上进行知识蒸馏,以鼓励网络在检测新类时不会忘记基类。在标准增量对象检测和增量Few-Shot目标检测设置上进行的大量实验表明,我们的方法明显优于最先进的方法。
2023-02-27 cs.CV
Self-Supervised Learning of Object Parts for Semantic Segmentation
Technical University of Munich(慕尼黑工业大学);University of Amsterdam(阿姆斯特丹大学)
自监督学习的进展带来了强大的通用图像表示学习方法。然而,到目前为止,它主要集中在图像级别的学习。反过来,像无监督图像分割这样的任务并没有从这种趋势中受益,因为它们需要空间多样的表示。然而,学习密集表示是具有挑战性的,因为在无监督的上下文中,不清楚如何引导模型学习与各种潜在对象类别相对应的表示。在本文中,我们认为,自监督学习的对象部分是一个解决这个问题。对象部分是可泛化的:它们先验地独立于对象定义,但可以被分组以形成后验的对象。为此,我们利用最近提出的Vision Transformer的出席对象的能力,并将其与空间密集的聚类任务进行微调的空间令牌。我们的方法超过了国家的最先进的三个语义分割基准的17%-3%,表明我们的表示是通用的各种对象定义。最后,我们将其扩展到完全无监督的分割-即使在测试时也完全避免使用标签信息-并证明了一种基于社区发现的自动合并发现对象部分的简单方法会产生很大的收益。
2022-06-21 cs.CV
Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence
Rekor Systems, Inc.(Rekor Systems 公司);University of Kansas(堪萨斯大学);Ryerson University(瑞尔森大学)
使用Transformers的目标检测(DETR)和相关工作达到甚至超过了具有自注意网络架构的高度优化的Faster-RCNN基线。受纯自注意具有强烈的诱导偏差导致Transformer失去关于网络深度的表达能力的证据的启发,我们提出了一种具有减轻自注意力机制的Transformer架构,通过在Transformer架构中应用可能的直接映射连接来减轻秩崩溃,从而抵消特征表达损失并提高模型性能。我们将此建议应用于目标检测任务中,并开发了一个名为Miti-DETR的模型。Miti-DETR将每个注意力层的输入保留到该层的输出,以便“非注意力”信息参与任何注意力传播。所形成的残差自注意网络解决了两个关键问题:(1)阻止自注意网络退化到rank-1的最大程度;(2)进一步多样化参数更新的路径分布,以便更容易地进行注意学习。在COCO目标检测数据集上,Miti-DETR显著提高了现有基于DETR的模型的平均检测精度和收敛速度。此外,所提出的Transformer与剩余自注意网络可以很容易地推广或插入到其他相关的任务模型,而无需特定的定制。
2021-12-26 cs.CV
DPNET: Dual-Path Network for Efficient Object Detectioj with Lightweight Self-Attention
Temple University(天普大学)
目标检测通常需要花费相当大的计算量才能获得满意的性能,这对于部署在边缘设备中是不友好的。为了解决计算成本和检测精度之间的权衡,本文提出了一种双路径网络,命名为DPNet,高效的目标检测与轻量级的自我注意。在主干中,设计了一个单一的输入/输出轻量级自注意模块(LSAM)来编码不同位置之间的全局交互。在特征金字塔网络(FPN)中,LSAM也被扩展为多输入版本,用于捕获两条路径上的跨分辨率依赖。COCO数据集上的大量实验表明,我们的方法达到了最先进的检测结果。更具体地说,DPNet在COCO测试开发中获得了29.0%的AP,对于320 x320图像,只有1.14 GFLOP和2.27 M模型大小。
2021-10-31 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China(中北大学)
基于深度学习的水下目标检测(UOD)仍然是一个主要挑战,这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题,提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络,强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性,设计了一种基于视角变换的改进空间Transformer网络,自适应地丰富网络中的图像特征。实验结果表明,该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能,优于许多现有的UOD方法,表明该方法更适合UOD。
2022-03-09 cs.CV
Self-improving object detection via disagreement reconciliation
Istituto Italiano di Tecnologia(意大利技术研究院);University of Genova(热那亚大学)
当新的环境条件在训练数据中不能充分表示时,对象检测器经常经历性能下降。本文研究了如何在新环境中探索和获取图像时自动微调预先存在的对象检测器,而不依赖于人为干预,即,以自我监督的方式。在我们的设置中,代理最初使用预先训练的现成检测器来定位对象并关联伪标签来探索环境。通过假设同一对象的伪标签在不同的视图中必须是一致的,我们设计了一种新的机制,用于从观察结果之间的共识中产生精确的预测。我们的方法在mAP方面将现成的对象检测器提高了2.66%,并且在不依赖地面实况注释的情况下优于当前的最新技术水平。
2023-02-21 cs.CV
Look-into-Object: Self-supervised Structure Modeling for Object Recognition
Harbin Institute of Technology(哈尔滨工业大学);JD AI Research(京东人工智能研究院)
大多数对象识别方法主要集中在学习有区别的视觉模式,而忽略了整体的对象结构。虽然重要,但结构建模通常需要大量的手动注释,因此是劳动密集型的。在本文中,我们提出了“看对象”(明确但本质上建模的对象结构),通过将自我监督到传统的框架。我们表明,识别骨干可以大大增强更强大的表示学习,没有任何额外的注释和推理速度的成本。具体来说,我们首先提出了一个对象范围学习模块,用于根据同一类别中的实例之间共享的视觉模式来定位对象。然后,我们设计了一个空间上下文学习模块,通过预测范围内的相对位置来建模对象的内部结构。这两个模块可以在训练期间轻松插入任何骨干网络,并在推理时分离。大量的实验表明,我们的查找对象方法(LIO)在许多基准测试中实现了很大的性能增益,包括通用对象识别(ImageNet)和细粒度对象识别任务(CUB,汽车,飞机)。我们还表明,这种学习范式是高度概括的其他任务,如目标检测和分割(MS COCO)。项目页面:https://github.com/JDAI-CV/LIO。
2020-03-31 cs.CV
Towards a category-extended object detector with limited data
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);TEG AI, Tencent(腾讯TEG人工智能部);Peng Cheng Laboratory(鹏城实验室)
对象检测器通常在具有固定预定义类别的完全注释的训练数据上学习。然而,类别往往需要逐步增加。通常,在这种情况下,只有用旧类标注的原始训练集和一些用新类标注的新训练数据可用。基于有限的数据集,迫切需要一个能够处理所有类别的统一检测器。我们提出了一个切实可行的方案,以实现它在这项工作。无冲突损失的设计,以避免标签歧义,导致一个可接受的检测器在一个训练轮。为了进一步提高性能,我们提出了一个再训练阶段,在该阶段中,采用Monte Carlo Dropout来计算定位置信度,以挖掘更准确的边界框,并提出了一种加权的方法,以便在再训练过程中更好地利用伪注释。大量的实验证明了我们的方法的有效性。
2022-08-07 cs.CV
Progressive Self-Guided Loss for Salient Object Detection
Nanyang Technological University(南洋理工大学);Ningbo University(宁波大学)
我们提出了一个简单而有效的渐进式自我引导损失函数,以促进图像中基于深度学习的显著目标检测(SOD)。由于显著对象的内部复杂性,大多数相关工作产生的显著图仍然遭受不完整的预测。我们提出的渐进式自我引导损失模拟了对模型预测的形态学关闭操作,用于逐步创建辅助训练监督以逐步指导训练过程。我们证明了这种新的损失函数可以引导SOD模型逐步突出更完整的显著对象,同时有助于以区域增长的方式揭示显著对象像素的空间依赖性。此外,提出了一种新的特征聚合模块,捕获多尺度特征,并通过分支注意力机制自适应地聚合它们。得益于这个模块,我们的SOD框架利用自适应聚合的多尺度特征来有效地定位和检测显著对象。几个基准数据集上的实验结果表明,我们的损失函数不仅提高了现有的SOD模型的性能,而无需架构修改,但也有助于我们提出的框架,以实现国家的最先进的性能。
2021-09-07 cs.CV
Unsupervised Semantic Segmentation with Self-supervised Object-centric Representations
Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);Amazon Web Services(亚马逊云科技);University of Freiburg(弗赖堡大学)
该研究提出结合无监督显著性掩码与自监督特征聚类的无监督语义分割方法,在PASCAL VOC上远超现有前沿水平,还首次在MS COCO全81类上取得了相应结果。
2023-04-30 cs.CV
Unsupervised Salient Object Detection with Spectral Cluster Voting
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们解决了具有挑战性的任务,无监督的显着目标检测(SOD),利用谱聚类自监督功能。我们做出了以下贡献:(i)我们重新审视谱聚类,并展示了其对显着对象的像素进行分组的潜力;(ii)从各种自监督模型计算的图像特征上的谱聚类的多个应用中给出了掩模建议,例如,MoCov 2,SwAV,DINO,我们提出了一个简单但有效的赢家通吃的投票机制,用于选择显着的面具,利用对象先验的框架和独特性的基础上;(iii)使用选定的对象分割伪地面实况面具,我们训练显着的对象检测器,称为SelfMask,它优于以前的方法在三个无监督的SOD基准。代码可在https://github.com/NoelShin/selfmask上公开获取。
2022-03-23 cs.CV
A Self Validation Network for Object-Level Human Attention Estimation
Luddy School of Informatics, Computing, and Engineering(卢迪信息、计算与工程学院);Indiana University Bloomington(印第安纳大学伯明顿分校)
由于人类视觉系统的中央凹性质,人们可以一次将他们的视觉注意力集中在他们视野的一个小区域上,该区域通常仅包含单个对象。估计第一人称(自我中心)视频中的该关注对象对于许多以人为中心的现实世界应用(诸如增强现实应用和驾驶员辅助系统)是有用的。针对该问题的直接解决方案是挑选其限界框被注视击中的对象,其中从传统的眼睛注视估计器获得眼睛注视点估计,并且从现成的对象检测器生成对象候选。然而,这种方法可能会失败,因为它分别解决了在哪里和什么问题,尽管它们是高度相关的,鸡和蛋的问题。在本文中,我们提出了一种新的统一模型,结合了空间和时间的证据,以及在第一人称视频中的关注对象的识别和定位。它引入了一个新的自我验证模块,该模块强制执行并利用了位置和内容概念的一致性。我们在两个公共数据集上进行了评估,证明了自验证模块对训练和测试都有显著的好处,并且我们的模型优于最先进的模型。
2019-12-13 cs.CV
Real-time 3D object proposal generation and classification under limited processing resources
University of New South Wales(新南威尔士大学)
检测3D物体的任务对于各种机器人应用是重要的。现有的基于深度学习的检测技术已经取得了令人印象深刻的性能。然而,这些技术限于在实时的【形】环境中与图形处理单元(GPU)一起运行。为了在机器人有限的计算资源下实现实时的【形】3D目标检测,提出了一种由3D建议生成和分类组成的高效检测方法.建议生成主要基于点分割,而建议分类由轻量级卷积神经网络(CNN)模型执行。为了验证我们的方法,使用KITTI数据集。实验结果表明,提出的实时的【形】三维目标检测方法的能力,从点云具有竞争力的性能,目标召回和分类。
2020-03-24 cs.CV cs.RO
Comprehensive Attention Self-Distillation for Weakly-Supervised Object Detection
Carnegie Mellon University(卡内基梅隆大学)
弱监督目标检测(WSOD)已经成为一种有效的工具,训练对象检测器使用的图像级类别标签。然而,如果没有对象级别的标签,WSOD检测器很容易检测到显着的对象,聚类对象和歧视性的对象部分的边界框。此外,图像级类别标签不强制跨相同图像的不同变换的一致的目标检测。针对上述问题,我们提出了一个全面的注意力自我蒸馏(CASD)训练方法的WSOD。为了平衡所有对象实例之间的特征学习,CASD计算从相同图像的多个变换和特征层聚合的综合注意力。为了对对象进行一致的空间监督,CASD在WSOD网络上进行自蒸馏,使得综合注意力同时由相同图像的多个变换和特征层来近似。CASD在PASCAL VOC 2007/2012和MS-COCO等标准基准上生成最新的WSOD结果。
2020-10-22 cs.CV cs.LG
Monocular Differentiable Rendering for Self-Supervised 3D Object Detection
Preferred Networks, Inc(优选网络公司);Toyota Research Institute - Advanced Development(丰田研究院高级开发部);Toyota Research Institute(丰田研究院)
单目图像中三维目标检测是一个不适定问题,这是由于深度和尺度的投影纠缠。为了克服这种模糊性,我们提出了一种新的自我监督的方法,纹理的3D形状重建和姿势估计的刚性物体的帮助下,强大的形状先验和2D实例掩码。我们的方法预测的3D位置和网格的图像中的每个对象使用微分渲染和来自一个预先训练的单目深度估计网络的自监督的目标。我们使用KITTI三维目标检测数据集来评估该方法的准确性。实验表明,我们可以有效地使用嘈杂的单目深度和微分渲染作为替代昂贵的3D地面实况标签或激光雷达信息。
2020-09-30 cs.CV cs.LG
Custom Object Detection via Multi-Camera Self-Supervised Learning
New York University(纽约大学);Microsoft Research(微软研究院)
本文提出了MCSSL,一种自监督学习方法,用于在多摄像机网络中构建自定义目标检测模型。MCSSL通过利用对极几何和最先进的跟踪和reID算法将摄像机之间的边界框与重叠的视场相关联,并谨慎地生成两组伪标签,以分别在目标检测模型中微调骨干和检测网络。为了有效地在伪标签上进行训练,构造了一个具有一致性损失的强大的类reid借口任务用于模型定制。我们的评估表明,与传统的自训练方法相比,MCSSL在WildTrack和CityFlow数据集上分别将平均mAP提高了5.44%和6.76%。
2021-02-05 cs.AI cs.CV
Time-to-Label: Temporal Consistency for Self-Supervised Monocular 3D Object Detection
University of Genoa(热那亚大学);Technical University of Munich(慕尼黑工业大学);Google Inc.(谷歌公司)
单目3D目标检测由于RGB相机的成本优势和更广泛的可用性而继续吸引关注。尽管最近的进步和大规模采集数据的能力,注释成本和复杂性仍然限制了监督设置中的3D目标检测数据集的大小。另一方面,自监督方法旨在依靠借口任务或各种一致性约束来训练深度网络。此外,其他3D感知任务(如深度估计)已经显示出时间先验作为自我监督信号的好处。在这项工作中,我们认为,时间上的一致性的水平上的对象构成,提供了一个重要的监督信号的物理运动的强先验。具体来说,我们提出了一个自我监督的损失,它使用这种一致性,除了渲染和比较损失,以完善嘈杂的姿态预测,并获得高质量的伪标签。为了评估所提出的方法的有效性,我们微调一个综合训练的单目3D目标检测模型,使用我们在真实数据上生成的伪标签。在标准KITTI 3D基准测试中的评估表明,与其他单目自监督和监督方法相比,我们的方法达到了有竞争力的性能。
2022-03-04 cs.CV cs.RO
Self-Learning Camera: Autonomous Adaptation of Object Detectors to Unlabeled Video Streams
Xerox Research Center Europe(施乐欧洲研究中心);University of Trento(特伦托大学)
学习对象检测器需要来自感兴趣的特定数据源的大量标记训练样本。当处理许多不同的源(例如,在照相机网络中),或者诸如移动照相机的不断变化的照相机(例如,在机器人或驾驶辅助系统中)。在本文中,我们以自主的方式解决自学习检测器的问题,即(i)检测器不断更新自己以有效地适应流数据源(与转换算法相反),(ii)没有任何与目标数据流强烈相关的标记数据(与自定进度的学习相反),以及(iii)没有手动干预来设置和更新超参数。为此,我们提出了一个无监督的,在线的,和自调整的学习算法优化多任务学习凸目标。我们的方法使用自信,但简洁的预言(高精度,但低召回现成的通用检测器),并利用问题的结构,共同学习在线的一个合奏的实例级跟踪器,从中我们得到一个适应的类别级对象检测器。我们的方法在真实世界公开的视频对象数据集上进行了验证。
2014-06-18 cs.CV cs.LG
A Survey of Self-Supervised and Few-Shot Object Detection
Mila(米拉人工智能研究所);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);ServiceNow(ServiceNow公司)
标记数据通常是昂贵且耗时的,特别是对于诸如目标检测和实例分割之类的任务,这些任务需要对图像进行密集标记。虽然Few-Shot目标检测是关于用很少的数据在新的(看不见的)对象类上训练模型,但它仍然需要在基础(看到的)类的许多标记示例上进行先验训练。另一方面,自监督方法旨在从未标记的数据中学习表示,这些数据可以很好地转移到下游任务,如目标检测。结合Few-Shot和自监督目标检测是一个很有前途的研究方向。在这项调查中,我们回顾和表征最新的方法,Few-Shot和自我监督的目标检测。然后,我们给出了我们的主要结论,并讨论了未来的研究方向。项目页面https://gabrielhuang.github.io/fsod-survey/
2022-08-23 cs.AI cs.CV cs.LG
Sample, Crop, Track: Self-Supervised Mobile 3D Object Detection for Urban Driving LiDAR
University of Oxford(牛津大学)
近年来,深度学习在城市驾驶场景中的移动(即,具有移动能力)对象的检测方面取得了很大进展。监督方法通常需要对大型训练集进行注释;因此,人们对利用弱监督、半监督或自监督方法来避免这种情况非常感兴趣,并取得了很大的成功。虽然弱监督和半监督方法需要一些注释,但自监督方法使用了运动等线索来完全消除对注释的需求。然而,注释的完全缺失通常会降低它们的性能,并且在运动分组期间出现的歧义会抑制它们找到准确对象边界的能力。在本文中,我们提出了一种新的自监督移动目标检测方法称为SCT。这使用运动线索和预期的对象大小来提高检测性能,并预测3D定向边界框的密集网格来提高对象发现。在KITTI跟踪基准测试中,我们的性能明显优于最先进的自监督移动目标检测方法TCR,并且对于IoU <= 0.5,性能在完全监督PV-RCNN++方法的30%以内。
2022-09-21 cs.CV cs.LG cs.RO
Self-Supervised Transformers for Unsupervised Object Discovery using Normalized Cut
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Tencent AI Lab(腾讯人工智能实验室);LIGM(加斯帕尔·蒙日信息学实验室);Ecole des Ponts(巴黎桥路学院);Samsung AI Center, Cambridge(三星剑桥人工智能中心);MIT(麻省理工学院)
使用自蒸馏损失(DINO)的自监督学习训练的Transformers已被证明可以产生突出突出前景对象的注意力图。在本文中,我们展示了一个基于图的方法,使用自我监督的Transformer功能,发现一个对象从图像。视觉标记被视为加权图中的节点,其边表示基于标记的相似性的连接性得分。前景对象,然后可以分割使用规范化的图形切割组自相似区域。我们使用谱聚类与广义特征分解来解决图切割问题,并表明第二小特征向量提供了切割解决方案,因为其绝对值表示令牌属于前景对象的可能性。尽管它很简单,但这种方法显着提高了无监督对象发现的性能:我们在VOC 07,VOC 12和COCO 20 K上分别比最新的LOST提高了6.9%,8.1%和8.1%。通过增加第二阶段类不可知检测器(CAD),可以进一步提高性能。我们提出的方法可以很容易地扩展到无监督显著性检测和弱监督目标检测。对于无监督显著性检测,我们在ECSSD,DUTS,DUT-OMRON上分别提高了4.9%,5.2%,12.9%。对于弱监督目标检测,我们在CUB和ImageNet上实现了竞争性的性能。
2022-03-24 cs.CV stat.ML
A Self-supervised Learning System for Object Detection in Videos Using Random Walks on Graphs
Rutgers University(罗格斯大学)
本文提出了一种新的自监督系统,用于学习检测图像中的新的和以前看不见的对象类别。所提出的系统接收作为输入的几个未标记的视频包含各种对象的场景。使用深度信息将视频的帧分割成对象,并且沿着每个视频跟踪片段。然后,系统构建一个加权图,该图根据序列所包含的对象之间的相似性连接序列。在自动重新排列两个序列中的帧以对齐对象的视点后,通过使用通用视觉特征来测量两个对象序列之间的相似性。该图用于通过执行随机游走对相似和不相似示例的三元组进行采样。最后使用三个样本训练一个连体神经网络,将通用视觉特征投影到一个低维流形上。在YCB-Video、CORe 50和RGBD-Object三个公开数据集上的实验表明,投影低维特征提高了未知对象聚类到新类别的准确性,优于最近几种无监督聚类技术。
2021-08-24 cs.CV cs.RO
Self-supervised Transfer Learning for Instance Segmentation through Physical Interaction
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究院)
从图像中分割未知物体的实例分割被认为与包括抓取、跟踪和物体分类在内的几种机器人技能相关。计算机视觉的最新研究结果表明,大型手工标记数据集可以实现高分割性能。为了克服手动标记新环境数据的耗时过程,我们提出了一种机器人迁移学习方法,该方法通过以自我监督的方式与环境交互来学习分割对象。我们的机器人将未知物体推到桌子上,并使用来自光流的信息以物体掩码的形式创建训练标签。为了实现这一目标,我们对现有的DeepMask网络进行微调,以在机器人获取的自标记训练数据上进行实例分割。我们在一组真实图像上评估我们的训练网络(SelfDeepMask),这些图像显示了具有挑战性和混乱的场景以及新颖的对象。在这里,SelfDeepMask在平均精度上优于在COCO数据集上训练的DeepMask网络9.5%。此外,我们将我们的方法与最近使用噪声标签进行训练的方法相结合,以便更好地应对诱导的标签噪声。
2020-05-19 cs.CV cs.RO
HASSOD: Hierarchical Adaptive Self-Supervised Object Detection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
HASSOD提出层次自适应聚类与均值教师框架,实现无监督目标检测及组成理解,在LVIS和SA-1B上显著提升Mask AR,推动自监督检测前沿。
2024-02-05 cs.AI cs.CV cs.LG
Self-Supervised Learning of Audio-Visual Objects from Video
University of Oxford(牛津大学);University of Michigan(密歇根大学);Naver Corporation(Naver 公司)
我们的目标是使用自监督学习将视频转换为一组离散的视听对象。为此,我们引入了一个模型,使用注意定位和组声源,和光流随着时间的推移聚合信息。我们证明了视听对象嵌入的有效性,我们的模型通过将它们用于四个下游面向语音的任务来学习:(a)多扬声器声音声源分离,(b)定位和跟踪扬声器,(c)校正未对齐的视听数据,以及(d)活动扬声器检测。使用我们的表示,这些任务可以完全通过在未标记的视频上进行训练来解决,而无需对象检测器的帮助。我们还证明了我们的方法的通用性,通过将其应用到非人类的扬声器,包括卡通和puppets.我们的模型显着优于其他自监督的方法,并获得性能与使用监督人脸检测的方法相竞争。
2020-08-10 cs.CV cs.SD eess.AS
Move to See Better: Self-Improving Embodied Object Detection
Carnegie Mellon University(卡内基梅隆大学)
用于目标检测和分割的被动方法将同一场景的图像视为单独的样本,并且不利用跨多个视图的对象持久性。因此,对新的或困难的观点的概括需要额外的训练和大量的注释。相比之下,人类通常通过简单地四处移动来识别对象,以获得更多信息的观点。在本文中,我们提出了一种方法,用于提高目标检测在测试环境中,假设没有,但一个具体的代理与预先训练的二维对象检测器。我们的代理收集多视图数据,生成2D和3D伪标签,并以自我监督的方式微调其检测器。室内和室外数据集上的实验表明:(1)我们的方法从多视角RGB-D数据中获得了高质量的2D和3D伪标签;(2)在测试环境中,使用这些伪标签进行微调显著提高了2D检测器;(3)使用我们的伪标签训练3D检测器的性能大大优于先前的自监督方法;(4)在弱监督的情况下,我们的方法可以为新对象生成更好的伪标签。
2021-03-29 cs.AI cs.CV cs.LG
Self-Supervised Unseen Object Instance Segmentation via Long-Term Robot Interaction
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Rice University(莱斯大学)
我们介绍了一种新的机器人系统,用于改善看不见的对象实例分割在现实世界中,利用长期的机器人与对象的交互。以前的方法要么抓住或推一个对象,然后获得一个动作后,抓住或推对象的分割掩模。相反,我们的系统推迟了一系列的机器人推动作后分割对象的决定。通过对机器人推送采集的图像进行多目标跟踪和视频对象分割,系统可以以自监督的方式生成这些图像中所有对象的分割模板。这些图像包括对象彼此非常接近的图像,对于现有的对象分割网络,这些图像通常会出现分割错误。我们证明了我们的系统的有用性,通过微调分割网络训练的合成数据与我们的系统收集的真实世界的数据。我们表明,微调后,网络的分割精度显着提高,无论是在同一个域和不同的域。此外,我们还验证了微调的网络可以提高机器人对现实世界中看不见的物体的自上而下的抓取能力。
2023-02-07 cs.CV cs.LG cs.RO
SA-Det3D: Self-Attention Based Context-Aware 3D Object Detection
University of Waterloo(滑铁卢大学)
现有的基于点云的3D对象检测器使用卷积类算子来处理具有固定权重内核的局部邻域中的信息,并分层地聚合全局上下文。然而,非局部神经网络和2D视觉的自我注意力已经表明,显式地对远程交互进行建模可以产生更强大和更具竞争力的模型。在本文中,我们提出了两种变体的自注意力上下文建模在3D目标检测通过增强卷积特征与自注意力功能。我们首先将成对的自我注意力机制结合到当前最先进的BEV、体素和基于点的检测器中,并在高达1.5 3D AP的强基线模型上显示出一致的改进,同时在KITTI验证集上分别将其参数足迹和计算成本降低了15-80%和30- 50%。接下来,我们提出了一个自注意力变体,它通过在随机采样的位置上学习变形来采样最具代表性的特征的子集。这不仅使我们能够将显式全局上下文建模扩展到更大的点云,而且还导致更具鉴别力和信息量的特征描述符。我们的方法可以灵活地应用于大多数国家的最先进的检测器,提高精度和参数和计算效率。我们证明了我们提出的方法提高了KITTI,nuScenes和Waymo Open数据集上的3D目标检测性能。代码可在https://github.com/AutoVision-cloud/SA-Det3D上获得。
2021-08-19 cs.AI cs.CV cs.LG
ViT-LSLA: Vision Transformer with Light Self-Limited-Attention
Southwest University(西南大学)
Transformers在广泛的视觉任务中表现出具有竞争力的性能,但计算全局自我注意力的成本非常高。许多方法将注意力的范围限制在局部窗口内以降低计算复杂度。然而,他们的方法不能节省参数的数量;同时,自我关注和内部位置偏差(在softmax函数内部)导致每个查询都关注相似和接近的补丁。因此,本文提出了一种轻型自限制注意机制(LSLA),它由轻型自注意力机制(LSA)和自限制注意力机制(SLA)组成,前者节省了计算量和参数数目,后者提高了性能。首先,LSA用X(原点输入)替换自注意力的K(关键)和V(价值)。将其应用于具有编码器结构和自注意力机制的视觉Transformer中,可以简化计算。第二,二语习得有位置信息模块和有限注意模块。前者包含一个动态尺度和一个内部位置偏差,用于调整自我注意分数的分布,增强位置信息。后者在softmax函数之后使用外部位置偏差来限制一些大的注意力权重值。最后,提出了一种具有光自限制注意的层次化视觉Transformer(ViT-LSLA)。实验表明,ViT-LSLA在IP 102上达到了71.6%的top-1准确率(Swin-T的绝对提高2.4%);在Mini-ImageNet上达到了87.2%的top-1准确率(Swin-T的绝对提高3.7%)。此外,它大大降低了FLOPs(3.5GFLOPs vs. Swin-T的4.5GFLOPs)和参数(18.9…
2022-10-31 cs.CV
Aggregative Self-Supervised Feature Learning from a Limited Sample
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Jarvis Lab, Tencent(腾讯贾维斯实验室)
自监督学习是解决训练数据有限和标注不足问题的有效方法。SSL的关键部分是它的代理任务,它定义了监督信号,并驱动学习向有效的特征表示。然而,大多数SSL方法通常集中在一个单一的代理任务,这极大地限制了学习的功能的表达能力,从而恶化了网络的泛化能力。在这方面,我们在此提出了两种聚合策略,根据各种形式的互补性来提高自监督学习特征的鲁棒性。我们首先提出了一个原则性的框架,多任务聚合自监督学习从一个有限的样本,形成一个统一的表示,利用不同的任务之间的特征互补性的意图。然后,在自聚合SSL中,我们提出了一个辅助损失函数的基础上的线性中心内核对齐度量,这显式地促进了探索在哪里被发现的功能,从一个代理任务的学习,进一步提高建模能力,以自我补充现有的代理任务。我们在有限的数据和注释场景下对2D自然图像和3D医学图像分类任务进行了广泛的实验,证实了所提出的聚合策略成功地提高了分类精度。
2021-03-25 cs.CV
Fair Visual Recognition in Limited Data Regime using Self-Supervision and Self-Distillation
IIT Kanpur(印度理工学院坎普尔分校);IIT Roorkee(印度理工学院鲁尔基分校);University of Bath(巴斯大学)
深度学习模型通常学习训练数据中存在的偏差。研究人员已经提出了几种方法来减轻这种偏见,使模型公平。偏差减轻技术假设存在足够大数量的训练样本。然而,我们观察到,如果训练数据是有限的,那么偏差缓解方法的有效性严重降低。在本文中,我们提出了一种新的方法来解决这个问题。具体来说,我们调整自我监督和自我升华,以减少偏见对模型的影响。自我监督和自我升华不用于偏差缓解。然而,通过这项工作,我们第一次证明,这些技术是非常有效的偏见缓解。我们的经验表明,我们的方法可以显着减少模型学习的偏差。此外,我们的实验表明,我们的方法是补充其他偏见缓解策略。我们的方法显着提高了它们的性能,并进一步降低了有限数据制度中的模型偏差。具体来说,在L-CIFAR-10 S偏态数据集上,我们的方法将基线模型的偏差分数显著降低了78.22%,并且在准确性方面优于它8.89%的显著绝对值。它还将最先进的域独立偏差缓解方法的偏差分数显著降低了59.26%,并将其性能显著提高了7.08%的绝对裕度。
2021-06-30 cs.CV
Limited-View Photoacoustic Imaging Reconstruction Via High-quality Self-supervised Neural Representation
ShanghaiTech University(上海科技大学)
本文提出一种名为HIS的自监督神经表示方法,将光声图像建模为隐式连续函数,利用全连接网络与傅里叶特征位置编码从有限视角传感器数据中重建高质量光声图像,实验表明其重建质量优于三种常用方法。
2024-07-04 cs.CV
Expanding Expressiveness of Diffusion Models with Limited Data via Self-Distillation based Fine-Tuning
KAIST(韩国科学技术院)
针对有限数据导致扩散模型表达能力不足的问题,提出 SDFT 自蒸馏微调方法,从源模型迁移通用与少量领域特征,提升多类下游生成任务性能。
2023-11-02 cs.CV
AT-ST: Self-Training Adaptation Strategy for OCR in Domains with Limited Transcriptions
Brno University of Technology(布尔诺理工大学)
本文提出了一种简单的自训练策略的文本识别领域与有限的手动注释。我们的方法应该减少人类注释的努力时,目标域数据是丰富的,如当转录一个人的信件或大型手稿的集合。我们建议训练一个种子系统的大规模数据从相关领域与可用的注释数据从目标域混合。种子系统从目标领域转录未注释的数据,然后用于训练更好的系统。我们研究了几个置信度的措施,并最终决定使用后验概率的转录数据选择。此外,我们建议使用积极的掩蔽方案来增加数据。通过自我训练,我们实现了高达55%的字符出错率减少手写数据和高达38%的打印数据。掩蔽增强本身将出错率降低约10%,并且其效果在困难的手写数据的情况下更明显。
2021-04-27 cs.CV
An Ensemble-Based Self-Taught Learning Approach for Parking Space Classification Under Limited Data
Pontifícia Universidade Católica do Paraná(巴拉那天主教大学);Universidade Federal do Paraná(巴拉那联邦大学)
针对数据有限场景下停车位分类任务,提出基于异构自编码器集成的自监督学习方法,可降低标注需求、提升域偏移下的鲁棒性,在PKLot和CNRPark基准上实现93%-96%的准确率。
2026-09-04 cs.CV
OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation
Korea University(韩国大学)
OSPO通过自构造对象中心偏好数据和对象加权损失,提升文本到图像生成中对象级对齐和保真度,优于现有自我改进方法和专门扩散模型。
2026-09-28 cs.CV
Cardiac Output Prediction from Echocardiograms: Self-Supervised Learning with Limited Data
University of Turin, Italy(都灵大学,意大利);LINKS Foundation, Italy(LINKS基金会,意大利)
本文提出基于SimCLR的自监督学习方法,利用有限数据集提升超声心动图中心脏输出预测的准确性,测试集相关系数达0.41,优于现有模型。
2026-02-14 cs.CV
A Controlled Study of Self-Supervised Image and Video Pretraining under Limited Resources
Eindhoven University of Technology(埃因霍温理工大学)
该研究对照研究有限资源下的图像与视频自监督预训练,发现DINOv2式预训练性能最优,结合其与VideoMAE可提升图像任务性能但降低部分视频任务性能,为资源有限场景的视觉模型训练提供参考。
2026-09-28 cs.CV
Towards Self-Supervised Learning of Global and Object-Centric Representations
KTH - Royal Institute of Technology(KTH皇家理工学院)
自我监督允许学习自然图像的有意义的表示,通常包含一个中心对象。它如何很好地转移到多实体场景?我们讨论了学习结构化的以对象为中心的表示与自我监督的关键方面,并通过CLEVR数据集上的几个实验来验证我们的见解。关于架构,我们确认竞争的重要性,注意力为基础的对象发现,其中每个图像补丁是专门参加一个对象。对于训练,我们表明,配备匹配的对比损失可以直接应用于潜在空间,避免基于像素的重建。然而,这样的优化目标对假阴性(重复出现的对象)和假阳性(匹配错误)敏感。因此,需要仔细考虑数据增强和负样本选择。
2022-04-13 cs.CV
Self-supervised Object Tracking with Cycle-consistent Siamese Networks
Hong Kong University of Science and Technology(香港科技大学)
与监督学习相比,用于视觉对象跟踪的自监督学习具有有价值的优点,例如不需要费力的人工注释和在线训练。在这项工作中,我们利用一个端到端的暹罗网络在一个周期一致的自我监督框架的对象跟踪。自我监督可以通过利用前向和后向跟踪中的周期一致性来执行。为了更好地利用深度网络的端到端学习,我们建议在我们的跟踪框架中集成暹罗区域建议和掩码回归网络,以便在不对每帧进行注释的情况下学习更快,更准确的跟踪器。在用于视觉对象跟踪的VOT数据集和用于视频对象分割传播的DAVIS数据集上的实验表明,我们的方法在这两个任务上都优于以前的方法。
2020-08-03 cs.CV
LOCATE: Self-supervised Object Discovery via Flow-guided Graph-cut and Bootstrapped Self-training
Adobe(奥多比公司);Media and Data Science Research(媒体与数据科学研究院)
LOCATE利用运动与外观信息改进图割生成伪标签,并通过自训练提升分割网络,在多个视频物体分割和显著性检测基准上达到或超越最先进方法。
2023-12-02 cs.CV
Geometry-Guided Self-Supervision for Ultra-Fine-Grained Recognition with Limited Data
Shandong University of Science and Technology(山东科技大学);The University of Queensland(昆士兰大学)
本文提出几何属性探索网络GAEor,通过生成几何属性解决数据有限下的超细粒度视觉分类问题,利用几何特征作为新的识别线索,提升分类性能。
2026-06-29 cs.CV
Self-supervised Object Motion and Depth Estimation from Video
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
我们提出了一个自监督学习框架来估计单个对象的运动和单目深度从视频。我们建模的对象运动作为一个6度的自由度刚体变换。利用实例分割模板引入目标信息。与预测密集光流图来模拟运动的方法相比,我们的方法显着减少了要估计的值的数量。我们的系统通过施加一个新的几何约束损失项来消除运动预测的尺度模糊性。在KITTI驱动数据集上的实验表明,该系统能够在不需要外部注释的情况下捕获对象运动。我们的系统优于以前的自监督方法在3D场景流预测,并有助于在动态区域的视差预测。
2020-05-13 cs.CV
Exploit Clues from Views: Self-Supervised and Regularized Learning for Multiview Object Recognition
University of California, San Diego(加州大学圣地亚哥分校)
多视图识别在文献中得到了很好的研究,并在目标识别和检索任务中取得了不错的性能。然而,大多数以前的工作依赖于监督学习和一些不切实际的基本假设,如在训练和推理时间的所有视图的可用性。在这项工作中,多视图自监督学习(MV-SSL)的问题进行了研究,只有图像对象的关联。在此基础上,提出了一种新的自监督学习的代理任务。通过随机选择一个物体的图像特征作为物体原型,并结合多视点一致性正则化,实现了视点不变的随机原型嵌入(VISPE)。实验结果表明,VISPE在可见和不可见数据上的识别和检索效果优于其他自监督学习方法。VISPE也可以应用于半监督场景,并在有限的数据下表现出强大的性能。代码可在https://github.com/chihhuiho/VISPE上获得
2020-03-28 cs.CV
Self-supervised Learning of 3D Object Understanding by Data Association and Landmark Estimation for Image Sequence
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
在本文中,我们提出了一种自监督学习方法的多目标姿态估计。从二维图像中理解三维目标是一个具有挑战性的任务,它需要从降维信息中推断出目标的三维空间维数,特别是目标的三维位置或方向的估计需要精确的推理,而不像其他简单的聚类任务,如目标分类。因此,训练数据集的规模变得更加关键。然而,由于实现3D标注昂贵且耗时,因此获得大量的3D数据集是具有挑战性的。如果训练数据集的规模可以通过包含简单导航获得的图像序列来增加,则可以克服数据集的规模限制,并有效地适应新的环境。然而,当网络自身对单幅图像进行自标注时,网络的训练性能受到网络自身性能的限制。因此,我们提出了一种利用图像序列中目标的多个观测值来超越自身性能的策略:首先,通过网络预测和数据关联来估计全局目标图的界标,并获得单帧的校正标注。然后,利用自标注得到的数据集进行网络微调,从而超越网络本身的性能边界.在KITTI驾驶场景数据集上对该方法进行了评估,我们证明了该方法在3D空间中多目标姿态估计方面的性能改进。
2021-04-14 cs.CV
Self6D: Self-Supervised Monocular 6D Object Pose Estimation
Technical University of Munich(慕尼黑工业大学);Tsinghua University(清华大学);Google(谷歌)
目标的6维姿态估计是计算机视觉中的一个基本问题。卷积神经网络(CNN)最近已被证明能够甚至从单目图像预测可靠的6D姿态估计。尽管如此,CNN被认为是非常数据驱动的,并且获取足够的注释通常非常耗时和劳动密集型。为了克服这个缺点,我们提出了单目6D姿态估计的想法,通过自监督学习,消除了真正的注释的需要。在用合成RGB数据训练我们提出的完全监督的网络之后,我们利用神经渲染的最新进展,进一步在未注释的真实RGB-D数据上自我监督模型,寻求视觉和几何上的最佳对齐。广泛的评估表明,我们提出的自我监督是能够显着提高模型的原始性能,优于所有其他方法依赖于合成数据或采用精心设计的技术,从领域自适应领域。
2020-08-03 cs.CV