Normalized Cut Loss for Weakly-supervised CNN Segmentation
Disney Research(迪士尼研究院);University of Waterloo(滑铁卢大学)
最新的语义分割方法训练深度卷积神经网络,具有完全注释的掩码,需要像素精度以获得高质量的训练。常见的弱监督方法使用标准的交互式分割方法作为预处理,从部分输入(例如,涂鸦或种子)生成完整的掩码。但是,由于标准损失函数(例如交叉熵)不能将种子与潜在的错误标记的其他像素区分开,因此这种掩模中的错误导致较差的训练。受半监督学习一般思想的启发,我们通过一种新的原则性损失函数来评估网络输出,并以"浅"分割为标准,如归一化割,来解决这些问题。与之前的工作不同,我们损失的交叉熵部分仅评估标签已知的种子,而归一化切割软评估所有像素的一致性。我们专注于归一化的截止损失,其中密集高斯内核是有效地实现在线性时间内的快速双边滤波。我们的归一化切损分割方法使弱监督训练的质量显着接近完全监督方法。
2018-04-04 cs.CV
Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models
Carnegie Mellon University(卡内基梅隆大学);Tohoku University(东北大学);Center for Advanced Intelligence Project (AIP), RIKEN(理化学研究所先进智能项目中心(AIP))
本文实证研究 Random Erasing、CutOut、CutMix 和 MixUp 四种数据增强对自监督/半监督/全监督预训练模型的影响,揭示遮盖区域降低不变性但提升多样性,而 MixUp 在几乎不损失不变性的情况下显著增强多样性。
2023-10-28 cs.AI cs.CV cs.LG
Activity Driven Weakly Supervised Object Detection
University of Southern California(南加州大学);Facebook AI(Facebook人工智能)
弱监督目标检测旨在减少训练检测模型所需的监督量。这样的模型传统上是从仅用对象类而不是对象限界框标记的图像/视频中学习的。在我们的工作中,我们不仅尝试利用对象类标签,还尝试利用与数据相关联的操作标签。我们表明,在图像/视频中描绘的动作可以提供强有力的线索,相关对象的位置。我们根据动作学习对象的空间先验(例如,“球”在“踢球”中更接近“人的腿”),并在同时训练联合目标检测和动作分类模型之前将其合并。我们在视频数据集和图像数据集上进行了实验,以评估我们的弱监督目标检测模型的性能。我们的方法在Charades视频数据集上的mAP中优于当前最先进的(SOTA)方法超过6%。
2019-04-02 cs.CV
Image as First-Order Norm+Linear Autoregression: Unveiling Mathematical Invariance
Microsoft(微软);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出FINOLA性质,将图像表示为潜在空间中的一阶范数+线性自回归过程,并验证其在图像重建与自监督学习中的有效性,仅用三个卷积层即可从单向量重建256x256图像,且预训练表示在分类和检测任务中表现优异。
2023-10-11 cs.CV
DeiT III: Revenge of the ViT
Meta AI;Sorbonne University(索邦大学)
视觉Transformer(ViT)是一种简单的神经架构,可以服务于几个计算机视觉任务。它具有有限的内置架构先验,与最近的架构相比,这些架构包含关于输入数据或特定任务的先验。最近的研究表明,ViTs受益于自我监督的预训练,特别是像BeiT这样的Bert预训练。在本文中,我们重新审视了ViTs的监督训练。我们的过程建立在并简化了为训练ResNet-50而引入的配方。它包括一个新的简单的数据增强过程,只有3个增强,更接近于自监督学习的实践。我们对图像分类(ImageNet-1 k,在ImageNet-21 k上有和没有预训练),迁移学习和语义分割的评估表明,我们的过程远远优于之前的ViT完全监督训练配方。它还表明,我们的ViT训练与监督的性能是比较最近的架构。我们的研究结果可以作为最近在ViT上展示的自我监督方法的更好基线。
2022-04-14 cs.CV
SESS: Self-Ensembling Semi-Supervised 3D Object Detection
National University of Singapore(新加坡国立大学)
现有的基于点云的3D目标检测方法的性能严重依赖于大规模高质量的3D注释。然而,这样的注释往往是繁琐和昂贵的收集。半监督学习是一个很好的替代方案,以减轻数据注释问题,但在3D目标检测仍然在很大程度上未被探索。受自集成技术在半监督图像分类任务中的成功启发,我们提出了SESS,一个自集成半监督3D目标检测框架。具体来说,我们设计了一个彻底的扰动方案,以增强网络在未标记和新的未知数据上的泛化能力。此外,我们提出了三个一致性损失,以加强两组预测的3D对象建议之间的一致性,以促进学习的结构和语义不变的对象。在SUN RGB-D和ScanNet数据集上进行的大量实验证明了SESS在归纳和转换半监督3D目标检测中的有效性。与最先进的全监督方法相比,我们的SESS仅使用50%的标记数据就实现了具有竞争力的性能。我们的代码可在https://github.com/Na-Z/sess上获得。
2021-03-17 cs.CV
Weakly-supervised Pre-training for 3D Human Pose Estimation via Perspective Knowledge
现代基于深度学习的3D姿态估计方法需要大量的3D姿态注释。然而,现有的3D数据集缺乏多样性,这限制了现有方法的性能和泛化能力。虽然现有的方法利用2D姿态标注来帮助3D姿态估计,但它们主要集中在从2D姿态中提取2D结构约束,忽略了隐藏在图像中的3D信息。在本文中,我们提出了一种新的方法来提取弱的三维信息直接从二维图像没有三维姿态监督。首先,我们利用2D姿态标注和透视先验知识来生成关键点与摄像机的远近关系,称为相对深度。我们收集一个2D姿态数据集(MCPC),并生成相对深度标签。基于MCPC,我们提出了一种弱监督预训练(WSP)策略来区分图像中两点之间的深度关系。WSP算法能够在大量的野外图像中学习两个关键点的相对深度,这对于3D人体姿态估计具有更强的深度预测能力和泛化能力。在对3D姿态数据集进行微调后,WSP在两个广泛使用的基准测试中获得了最先进的结果。
2022-11-22 cs.CV
PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering
University of Texas at Austin(德克萨斯大学奥斯汀分校);Cornell University(康奈尔大学)
我们提出了一个新的框架,语义分割没有注释通过聚类。现成的聚类方法仅限于策展的、单标签的和以对象为中心的图像,而现实世界的数据主要是未策展的、多标签的和以场景为中心的。我们将聚类从图像扩展到像素,并将单独的聚类成员分配给每个图像中的不同实例。然而,仅仅依靠像素级特征相似性无法学习高级语义概念,并且过度适应低级视觉线索。我们提出了一种方法,将几何一致性作为一种归纳偏差,以学习光度和几何变化的不变性和等变性。通过我们新颖的学习目标,我们的框架可以学习高级语义概念。我们的方法PiCIE(使用不变性和等方差的像素级特征聚类)是第一种能够分割事物和材料类别的方法,无需任何超参数调整或特定于任务的预处理。我们的方法在COCO和Cityscapes上的表现大大优于现有基线,分别为+17.5 Acc.和+4.5 mIoU。我们表明,PiCIE为标准监督训练提供了更好的初始化。该代码可在https://github.com/janghyuncho/PiCIE上获得。
2021-03-30 cs.CV
Polar Transformation Based Multiple Instance Learning Assisting Weakly Supervised Image Segmentation With Loose Bounding Box Annotations
Delta Micro Technology, Inc.(达美微科技公司);Shenzhen SiBright Co. Ltd.(深圳硅基仿生科技有限公司)
本文研究了基于松散限界框监督的弱监督图像分割。提出了一种基于极坐标变换的多示例学习策略,以辅助松散包围盒作为监督的图像分割。在该策略中,引入加权平滑最大值近似,以结合观察到的像素更接近极坐标变换的原点更可能属于限界框中的对象。在公共医疗数据集上使用Dice系数对所提出的方法进行了评估。结果表明其优越的性能。代码可在\url{https://github.com/wangjuan313/wsis-polartransform}上获得。
2022-03-03 cs.CV cs.LG eess.IV
See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification
University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院)
通常采用数据增强来增加训练数据的量,防止过拟合,提高深度模型的性能。然而,在实践中,随机数据增强(诸如随机图像裁剪)是低效率的,并且可能引入许多不受控制的背景噪声。在本文中,我们提出了弱监督数据增强网络(WS-DAN),以探索数据增强的潜力。具体来说,对于每一个训练图像,我们首先生成的注意力地图表示对象的歧视性部分的弱监督学习。接下来,我们在这些注意力地图的指导下增强图像,包括注意力裁剪和注意力丢弃。所提出的WS-DAN在两个方面提高了分类精度。在第一阶段中,图像可以被更好地看到,因为更多的区分部分的特征将被提取。在第二阶段,注意区域提供了准确的目标位置,这保证了我们的模型更近距离地观察目标,进一步提高了性能。在常见的细粒度视觉分类数据集上的综合实验表明,我们的WS-DAN超越了最先进的方法,这证明了它的有效性。
2019-03-23 cs.CV
MAST: Masked Augmentation Subspace Training for Generalizable Self-Supervised Priors
Apple Inc.(苹果公司)
最近的自监督学习(SSL)方法能够学习对不同数据增强不变的特征表示,然后可以将其转移到感兴趣的下游任务。然而,不同的下游任务需要不同的不变性才能获得最佳性能,因此SSL增强的最佳选择取决于目标任务。在本文中,我们的目标是学习自我监督的特征,这些特征在各种下游任务(例如,对象分类、检测和实例分割)而无需预先知道任何任务信息。我们通过掩蔽增强子空间训练(MAST)来实现这一点,以因子分解的方式在单个特征空间中对来自不同数据增强的先验进行编码。具体来说,我们将特征空间分解为单独的子空间,每个子空间由一个可学习的掩码诱导,该掩码选择相关的特征维度来对特定增强的不变性进行建模。我们展示了MAST在联合捕获来自不同扩增的可推广先验方面的成功,使用跨子空间的独特和共享功能。我们进一步表明,MAST受益于不确定性建模重新加权模糊的样本,从强增强,可能会导致相似性不匹配,在每个子空间。实验表明,MAST一致地提高了各种下游任务的泛化能力,同时在SSL期间是任务不可知的和高效的。我们还提供了关于不同的增强是如何相关的,以及不确定性如何反映学习困难的有趣见解。
2023-03-07 cs.CV cs.LG
A Closer Look at Smoothness in Domain Adversarial Training
Indian Institute of Science(印度科学学院);PES University(PES大学);Amazon(亚马逊)
领域对抗训练已经普遍用于实现不变表示,并广泛用于各种领域自适应任务。近年来,收敛到平滑最优值的方法已经显示出对监督学习任务(如分类)的改进的泛化。在这项工作中,我们分析了平滑增强配方对领域对抗训练的影响,其目标是任务损失(例如,分类、回归等)和对抗性条款我们发现,收敛到一个光滑的最小值关于(w.r.t.)任务丢失使对抗训练稳定,从而在目标域上产生更好的性能。与任务丢失相反,我们的分析表明,收敛到平滑最小值w.r.t.对抗性损失导致目标域上的次优泛化。基于分析,我们引入了平滑域对抗训练(SDAT)过程,该过程有效地增强了现有域对抗方法在分类和目标检测任务中的性能。我们的分析还提供了对SGD在社区中广泛使用Adam进行域对抗训练的见解。
2022-06-16 cs.CV cs.LG
Self-Supervised Learning based on Heat Equation
Microsoft(微软);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出了一种新的自监督学习方法,将热方程扩展到高维特征空间。特别地,我们通过稳态条件去除了时间依赖性,并将剩余的二维拉普拉斯算子从x-y各向同性扩展到线性相关。此外,我们通过将x和y轴分裂为两个一阶线性微分方程来简化它。这种简化明确地分别沿水平和垂直方向对空间不变性进行建模,支持跨图像块的预测。介绍了一种非常简单的掩码图像建模(MIM)方法,称为QB-Heat。QB-热量留下一个单一的块大小的四分之一图像未掩蔽和外推其他三个掩蔽的四分之一线性。它为CNN带来了MIM,没有花里胡哨的东西,甚至可以很好地用于预训练轻量级网络,这些网络适用于图像分类和目标检测,无需微调。与MoCo-v2在预训练具有5.8M参数和285M FLOP的Mobile-Former时相比,QB-Heat在ImageNet上的线性探测中表现相当,但在线性分类器之前添加Transformer块的非线性探测中表现明显优于前者(65.6% vs. 52.9%)。当转移到具有冻结主干的目标检测时,QB-Heat在ImageNet上的表现分别优于MoCo-v2和监督预训练7.9和4.5 AP。这项工作提供了一个有见地的假设,在不同的形状和纹理的视觉表示的不变性:水平和垂直导数之间的线性关系。代码将公开发布。
2022-11-23 cs.CV cs.LG
Self-Supervised Learning of Pretext-Invariant Representations
Facebook AI Research(脸书人工智能研究院)
从图像中进行自监督学习的目标是通过不需要对大型图像训练集进行语义注释的借口任务来构建语义上有意义的图像表示。许多借口任务导致与图像变换协变的表示。我们认为,相反,语义表示在这种变换下应该是不变的。具体来说,我们开发了Pretext-Invariant表示学习(PIRL,发音为“pearl”),它基于借口任务学习不变表示。我们将PIRL用于一个常用的借口任务,包括解决拼图游戏。我们发现,PIRL大大提高了学习的图像表示的语义质量。我们的方法设置了一个新的国家的最先进的自监督学习从图像上的几个流行的基准自监督学习。尽管是无监督的,但PIRL在学习目标检测的图像表示方面优于有监督的预训练。总之,我们的研究结果表明,自监督学习的图像表示具有良好的不变性的潜力。
2019-12-04 cs.CV cs.LG
Look Closer to Ground Better: Weakly-Supervised Temporal Grounding of Sentence in Video
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室);Huazhong University of Science and Technology(华中科技大学)
本文研究了视频中句子的弱监督时间背景问题。具体来说,给定一个未修剪的视频和一个查询语句,我们的目标是在视频中定位一个在语义上与查询语句相对应的时间段,而不依赖于训练过程中的任何时间注释。我们提出了一个两阶段的模型来解决这个问题,在一个由粗到细的方式。在粗略阶段,我们首先使用多尺度滑动窗口生成一组固定长度的时间提案,并将其视觉特征与句子特征进行匹配,以确定最佳匹配的提案作为粗略的接地结果。在精细阶段,我们在最佳匹配建议中的帧的视觉特征和句子特征之间执行细粒度匹配,以定位精细接地结果的精确帧边界。在ActivityNet Captions数据集和Charades-STA数据集上的综合实验表明,我们的两阶段模型具有令人信服的性能。
2020-01-25 cs.CV
Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks
University of Edinburgh(爱丁堡大学);Samsung AI Research(三星人工智能研究院)
自监督学习是无标记图像表示学习的一个强大范例。大量基于实例匹配的有效新方法依赖于数据增强来驱动学习,并且这些方法已经就优化流行识别基准的增强方案达成了大致一致。然而,有充分的理由怀疑计算机视觉中的不同任务需要特征来编码不同的(不)方差,因此可能需要不同的增强策略。在本文中,我们测量了通过对比方法学习的不变性,并证实它们确实学习了对所使用的增强的不变性,并进一步表明这种不变性在很大程度上转移到了姿势和照明的相关现实世界变化中。我们发现,学习的不变性强烈影响下游任务的性能,并确认不同的下游任务受益于极性相反(在)的差异,导致性能损失时,使用标准的增强策略。最后,我们证明了一个简单的融合表示与互补的不变性,确保广泛的可转移性,所有不同的下游任务考虑。
2022-10-10 cs.CV
A Closer Look at Self-Supervised Lightweight Vision Transformers
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Megvii Research(旷视研究院);Wenzhou University(温州大学);ShanghaiTech University(上海科技大学)
该研究针对自监督预训练对轻量级ViT的作用展开基准测试,发现合适预训练可让普通轻量级ViT性能媲美精巧设计的SOTA网络,同时指出其缺陷并提出预训练蒸馏策略以提升MAE预训练的下游性能。
2023-05-03 cs.CV
Learning Online Visual Invariances for Novel Objects via Supervised and Self-Supervised Training
University of Bristol(布里斯托大学)
人类可以识别物体的各种空间变换,如规模和观点。这延伸到新颖的对象,在单个姿势的单个呈现之后,有时被称为在线不变性。CNN已经被提出作为人类视觉的一种引人注目的模型,但它们识别跨转换对象的能力通常是在经过广泛的数据增强后,在训练类别的保持样本上进行测试的。本文评估了标准CNN是否可以通过训练模型来识别经历几种变换的合成3D对象的图像来支持类似人类的在线不变性:旋转,缩放,平移,亮度,对比度和视点。通过分析模型的内部表示,我们表明,在变换对象上训练的标准监督CNN可以在新类上获得强不变性,即使在训练时只需要从10个类中选取50个对象。这扩展到真实物体照片的不同数据集。我们还表明,这些不变性可以获得在一个自我监督的方式,通过解决相同/不同的任务。我们认为,后者的方法可能类似于人类如何获得不变性。
2022-01-14 cs.AI cs.CV
Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?
DeepMind(深度思维);Twitter Cortex(推特科泰克斯)
尽管自监督方法最近在残差网络的表示学习方面取得了进展,但它们在ImageNet分类基准上的表现仍然低于监督学习,限制了它们在性能关键设置中的适用性。基于来自ReLIC的先前理论见解[Mitrovic等人,2021],我们将额外的归纳偏差纳入自监督学习。我们提出了一种新的自我监督的表示学习方法,ReLICv 2,它结合了一个明确的不变性损失与对比的目标,在一组不同的适当构造的数据视图,以避免学习虚假的相关性,并获得更多的信息表示。在ResNet 50上进行线性评估时,ReLICv 2在ImageNet上实现了$77.1\%$ top- $1$精度,从而通过绝对$+1.5\%$改进了先前的最先进技术;在更大的ResNet模型上,ReLICv 2实现了高达$80.6\%$的性能,优于先前的自监督方法,其裕度高达$+2.3\%$。最值得注意的是,ReLICv 2是第一个无监督的表示学习方法,在一系列ResNet架构的同类比较中始终优于监督基线。使用ReLICv 2,我们还学习了更强大和可转移的表示,这些表示比以前的工作更好地概括了分布,无论是在图像分类还是语义分割方面。最后,我们表明,尽管使用ResNet编码器,ReLICv 2与最先进的自监督Vision Transformers相当。
2022-11-03 cs.CV cs.LG stat.ML
Unsupervised Human Action Recognition with Skeletal Graph Laplacian and Self-Supervised Viewpoints Invariance
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);University of Trento(特伦托大学)
本文提出了一种新的端到端的方法的问题,基于神经网络的无监督人体动作识别。我们提出了一个新的架构与卷积自动编码器,使用图形拉普拉斯正则化模型的动作的时间动态的骨架几何。我们的方法是强大的视点变化,包括一个自我监督的梯度反转层,确保泛化跨相机视图。该方法在NTU-60和NTU-120大规模数据集上进行了验证,在跨主题,跨视图和跨设置协议上,该方法优于所有先前的基于无监督模型的方法。虽然是无监督的,但我们的可学习表示允许我们的方法甚至超过一些基于监督的基于动作的动作识别方法。该代码可在:www.example.com
2022-04-21 cs.CV
Revisiting Consistency Regularization for Semi-supervised Change Detection in Remote Sensing Images
Johns Hopkins University(约翰斯·霍普金斯大学)
遥感(RS)变化检测(CD)的目的是从共配准的双时相图像中检测“感兴趣的变化”。现有的深度监督CD方法的性能归因于用于训练网络的大量注释数据。然而,注释大量的遥感图像是劳动密集型和昂贵的,特别是与双时间的图像,因为它需要由人类专家逐像素比较。另一方面,由于对地观测计划的不断增加,我们经常可以获得无限的未标记多时相遥感图像。在本文中,我们提出了一个简单而有效的方法来利用未标记的双时图像的信息,以提高CD方法的性能。更具体地说,我们提出了一个半监督CD模型,其中我们制定了一个无监督CD损失除了监督交叉熵(CE)的损失,通过约束一个给定的未标记的双时间图像对的输出变化概率图是一致的小随机扰动下应用于深特征差异图,通过减去他们的潜在特征表示。在两个公开的CD数据集上进行的实验表明,即使只需要10%的带注释的训练数据,所提出的半监督CD方法也可以达到更接近监督CD的性能。代码可在https://github.com/wgcban/SemiCD获得
2022-04-21 cs.AI cs.CV cs.LG
Self-Supervised Learning of Video-Induced Visual Invariances
Google Research(谷歌研究院)
我们提出了一个通用的框架,自监督学习的可转移的视觉表示的基础上视频诱导的视觉不变性(VIVI)。我们考虑视频中存在的隐式层次结构,并利用(i)帧级不变性(例如,对颜色和对比度扰动的稳定性),(ii)镜头/剪辑级不变性(例如,对对象方向和照明条件变化的鲁棒性),以及(iii)视频级不变性(镜头/剪辑之间场景的语义关系)来定义整体自监督损失。在YouTube-8 M(YT 8 M)数据集的视频上使用所提出的框架的不同变体训练模型,我们在视觉任务适应基准(VTAB)的19个不同下游任务上获得了最先进的自监督迁移学习结果,每个任务仅使用1000个标签。然后,我们展示了如何用标记图像联合训练我们的模型,在标记图像减少10倍的情况下,比ImageNet预训练的ResNet-50的性能高出0.8个点,并且使用完整的ImageNet数据集,比之前的最佳监督模型高出3.7个点。
2020-04-01 cs.CV cs.LG
SA-MixNet: Structure-aware Mixup and Invariance Learning for Scribble-supervised Road Extraction in Remote Sensing Images
Xidian University(西安电子科技大学);Northwestern Polytechnical University(西北工业大学)
本文提出 SA-MixNet,通过结构感知 Mixup 构造复杂场景、不变性正则化和判别器正则化,提升弱监督道路提取在多样遥感场景中的一致性与连通性。
2024-03-03 cs.CV
Learning Intra and Inter-Camera Invariance for Isolated Camera Supervised Person Re-identification
Xidian University(西安电子科技大学);Zhejiang University(浙江大学)
本文针对孤立相机监督行人重识别中的相机偏差问题,提出在统一框架下通过聚类原型对比学习和改进的多相机负样本损失,联合学习相机内与相机间不变性,并在多个基准上验证了方法的有效性。
2023-11-02 cs.CV
Semantics-Consistent Feature Search for Self-Supervised Visual Representation Learning
MEGVII Technology(旷视科技)
在对比自监督学习中,学习区分表示的常见方法是将同一图像的不同增强“视图”拉得更近,同时将所有其他图像推得更远,这已被证明是有效的。然而,在增强过程中,不可避免地会构造出包含不同语义概念的不期望的视图。在特征空间中不加区别地拉近这些增强会破坏表示的语义一致性。在这项研究中,我们引入了特征级增强,并提出了一种新的语义一致的特征搜索(SCFS)方法来减轻这种负面影响。SCFS的主要思想是自适应地搜索语义一致的特征,以增强不同增强中语义一致区域之间的对比度。因此,训练后的模型可以学习关注有意义的对象区域,提高语义表示能力。在不同的数据集和任务上进行的大量实验表明,SCFS有效地提高了自监督学习的性能,并在不同的下游任务上实现了最先进的性能。
2022-12-13 cs.CV
Dual Invariance Self-training for Reliable Semi-supervised Surgical Phase Recognition
Institute of Information Technology (ITEC), University of Klagenfurt(克拉根福大学信息技术研究所(ITEC));Center for AI in Medicine, University of Bern(伯尔尼大学医学人工智能中心)
针对手术阶段识别中标注数据稀缺且伪标签评估不可靠的问题,提出结合时间与变换不变性的半监督框架DIST,通过动态选择可靠伪标签优化决策边界,在多个数据集上超越现有方法。
2025-01-29 cs.CV eess.IV
A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification
California Institute of Technology(加州理工学院);ETH Zurich(苏黎世联邦理工学院);Swiss Data Science Center(瑞士数据科学中心);Empa, Swiss Federal Laboratories for Materials Science and Technology(瑞士联邦材料科学与技术实验室);Altos Labs(阿尔托斯实验室);Bank for International Settlements (BIS)(国际清算银行)
本研究系统评估了自监督预训练的分类评估协议,发现线性/kNN探测是域外性能的最佳预测器,并揭示模型骨干变化解释了判别式与生成式SSL方法的主要性能差异。
2024-07-18 cs.CV
Self-supervised Modal and View Invariant Feature Learning
The City University of New York(纽约市立大学);Northwestern Polytechnical University(西北工业大学)
现有的3D数据的自监督特征学习方法大多是从点云数据或多视图图像中学习3D特征。通过探索3D对象固有的多模态属性,在本文中,我们提出了联合学习模态不变和视图不变的功能,从不同的模态,包括图像,点云,网格与异构网络的3D数据。为了学习模态和视图不变特征,我们提出了两种约束:跨模态不变约束和跨视图不变约束。跨模态不变性约束迫使网络最大化来自相同对象的不同模态的特征的一致性,而跨视图不变性约束迫使网络最大化来自相同对象的图像的不同视图的特征的一致性。已在不同的下游任务上测试了学习特征的质量,这些任务具有三种数据模式,包括点云,多视图图像和网格。通过跨模态检索任务,对不同模态和视图间的不变性进行了评估。广泛的评估结果表明,学习的功能是强大的,在不同的任务有很强的泛化能力。
2020-05-28 cs.CV
Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation
Sony AI(索尼人工智能);University of Central Florida(中央佛罗里达大学)
本文提出实用半监督联邦学习框架FedMox,通过稀疏专家混合架构解决边缘设备计算受限与标注数据稀缺问题,在自动驾驶目标检测任务中验证了其有效性和隐私保护优势。
2025-08-22 cs.CV cs.LG
Same Features, Different Day: Weakly Supervised Feature Learning for Seasonal Invariance
Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音与信号处理中心(CVSSP));University of Surrey(萨里大学)
“像白天和黑夜”是一个常用的表达,暗示两件事是完全不同的。不幸的是,这往往是同一场景的当前视觉特征表示在不同季节或一天中的不同时间的情况。本文的目的是提供一个密集的特征表示,可用于执行本地化,稀疏匹配或图像检索,无论当前的季节或时间外观。最近,已经提出了几种用于深度学习密集特征表示的方法。这些方法利用图像对之间的真实像素对应关系,并专注于特征的空间属性。因此,它们不涉及时间或季节变化。此外,在大多数情况下,获得所需的逐像素对应数据以在跨季节环境中进行训练是非常复杂的。我们提出了Deja-Vu,一种弱监督的方法来学习季节不变的特征,不需要像素级的地面真实数据。所提出的系统只需要粗糙的标签,指示是否两个图像对应于相同的位置或不。从这些标签中,网络被训练为在环境变化的情况下为相应的位置生成“相似的”密集特征图。代码将在https://github.com/jspenmar/DejaVu_Features上提供
2020-03-30 cs.CV
RNN as Linear Transformer: A Closer Investigation into Representational Potentials of Visual Mamba Models
Johns Hopkins University(约翰霍普金斯大学)
本文深入研究了视觉Mamba模型的表示潜力,揭示其与Softmax和线性注意力的关系,并通过定量评估证明其在长距离依赖建模中的能力,同时展示了其在ImageNet上的高性能表现。
2025-11-23 cs.CV
Trend-Aware Supervision: On Learning Invariance for Semi-Supervised Facial Action Unit Intensity Estimation
School of Computer Science, Peking University(北京大学计算机学院);School of Integrated Circuits, Peking University(北京大学集成电路学院)
本文针对半监督AU强度估计中的伪相关问题,提出趋势感知监督TAS,通过排序、速度和受试者三种趋势感知学习AU特定不变特征,在BP4D和DISFA上验证了有效性且推理无额外开销。
2025-03-11 cs.CV
A Closer Look at Edema Area Segmentation in SD-OCT Images Using Adversarial Framework
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对黄斑水肿分析依赖昂贵专家标注数据集、弱监督分割性能落后全监督的问题,本文结合SD-OCT图像中水肿区域与视网膜层的相关性,提出层结构引导后处理和测试时适应策略增强对抗框架,提升分割准确性与鲁棒性,缩小弱监督与全监督模型差距。
2025-08-26 cs.CV eess.IV
Omni-Supervised Motion Editing: Balancing Change and Invariance through Positive-Negative Learning
Shanghai Institute of Artificial Intelligence for Education, East China Normal University, China(上海人工智能教育研究院,华东师范大学,中国);School of Computer Science and Technology, East China Normal University, China(华东师范大学计算机科学与技术学院,中国);School of Statistics, East China Normal University, China(华东师范大学统计学院,中国);The 27th Research Institute of CETC, Zhengzhou, China(中国电子科技集团第27研究所,郑州,中国);Key Laboratory of Advanced Theory and Application in Statistics and Data Science, MOE, China(教育部统计与数据科学先进理论与应用重点实验室,中国);Shanghai Key Laboratory of Computer Software Evaluating and Testing, China(上海计算机软件评测测试重点实验室,中国);School of Computer Science, Shanghai Jiao Tong University, China(上海交通大学计算机科学学院,中国)
提出OmniME框架,通过正负学习结合回顾特征监督、运动保持机制和三元组语义对齐,平衡运动编辑中的变化与不变性,在MotionFix和STANCE Adjustment数据集上达到最优性能。
2026-05-29 cs.CV
Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference
IBM Research AI(IBM研究院人工智能中心);University of Utah(犹他大学)
使用生成对抗网络(GANs)的半监督学习方法最近已经显示出有希望的经验成功。这些方法中的大多数使用共享的分类器/分类器,该分类器可以区分真实的例子和虚假的例子,同时还可以预测类别标签。受GANs生成器很好地捕获数据流形的能力的启发,我们建议使用GANs来估计数据流形的切空间,并将其用于将不变性注入分类器。在这个过程中,我们提出了对现有方法的增强,用于学习逆映射(即,编码器),这极大地提高了重构样本与输入样本的语义相似性。我们在半监督学习中观察到了相当多的经验收益,特别是在标记示例数量较低的情况下。我们还提供了关于假例子如何影响半监督学习过程的见解。
2017-12-05 cs.AI cs.CV cs.LG
TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning
New York University(纽约大学);Viasat, Inc.(Viasat公司);Facebook AI Research(脸书人工智能研究院)
我们提出了自监督视觉表示学习的变换不变性和协方差对比(TiCo)。与其他最近的自监督学习方法类似,我们的方法是基于最大化同一图像的不同失真版本的嵌入之间的一致性,这推动编码器产生变换不变表示。为了避免编码器生成恒定向量的平凡解,我们通过惩罚低秩解来正则化来自不同图像的嵌入的协方差矩阵。通过联合最小化变换不变性损失和协方差对比度损失,我们得到了一个能够为下游任务产生有用表示的编码器。我们分析了我们的方法,并表明,它可以被看作是一个变种的MoCo与隐式存储体的无限大小,没有额外的内存成本。这使得我们的方法在使用小批量时比其他方法表现更好。TiCo也可以被视为巴洛双胞胎的修改。通过将对比和冗余减少方法连接在一起,TiCo为我们提供了关于联合嵌入方法如何工作的新见解。
2022-06-23 cs.AI cs.CV cs.LG
Taking A Closer Look at Interacting Objects: Interaction-Aware Open Vocabulary Scene Graph Generation
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
本文提出交互感知的开放词汇场景图生成框架 INOVA,通过区分交互对象、优先匹配交互对象及交互一致性蒸馏,在 VG 和 GQA 上达到最先进性能。
2025-02-06 cs.CV
VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning
Facebook AI Research(脸书人工智能研究院);Inria, École normale supérieure, CNRS, PSL Research University(法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、巴黎文理研究大学);Courant Institute, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心)
最近的图像表示学习的自监督方法是基于最大化来自同一图像的不同视图的嵌入向量之间的一致性。当编码器输出恒定矢量时,得到平凡解。这种崩溃问题通常通过学习架构中的隐含偏见来避免,这些偏见通常缺乏明确的理由或解释。在本文中,我们引入了VICReg(方差-不变性-协方差正则化),这是一种通过对每个维度的嵌入方差单独使用简单的正则化项来显式避免崩溃问题的方法。VICReg将方差项与基于冗余减少和协方差正则化的去相关机制相结合,并在几个下游任务上实现了与最先进技术相当的结果。此外,我们还表明,将我们的新方差项纳入其他方法有助于稳定训练并提高性能。
2022-01-28 cs.AI cs.CV cs.LG
Benchmarking Omni-Vision Representation through the Lens of Visual Realms
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
虽然在特定的视觉领域(如人脸、狗和地点)已经取得了令人印象深刻的性能,但推广到许多自然视觉领域的全方位视觉表示是非常可取的。但是,现有的基准是有偏见的,效率低下,以评估全方位视觉表示-这些基准要么只包括几个特定的领域,或覆盖大多数领域的代价包含大量的数据集,具有广泛的领域重叠。在本文中,我们提出了Omni-Realm Benchmark(OmniBenchmark)。它包括21个领域数据集,包含7,372个概念和1,074,346个图像。这些数据集没有语义重叠,全面而有效地覆盖了大多数视觉领域。此外,我们提出了一个新的监督对比学习框架,即关系对比学习(ReCo),更好的全方位视觉表示。除了将来自同一概念的两个实例拉得更近(典型的监督对比学习框架)之外,ReCo还将来自同一语义领域的两个实例拉得更近,对概念之间的语义关系进行编码,并促进全视表示学习。我们在OmniBenchmark上对ReCo和其他全视表示研究的进展进行了基准测试,这些研究在体系结构(从CNN到Transformers)和学习范式(从监督学习到自监督学习)方面有所不同。我们说明了ReCo优于其他监督对比学习方法,并揭示了多个实际观察,以方便未来的研究。
2022-07-15 cs.CV
Exploiting Transformation Invariance and Equivariance for Self-supervised Sound Localisation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
我们提出了一个简单而有效的自监督框架视听表示学习,本地化的声源在视频中。为了理解是什么使得能够学习有用的表示,我们系统地研究了数据增强的效果,并揭示了(1)数据增强的组合起着关键作用,即明确地鼓励视听表示对各种变换保持不变~({ \em变换不变性});(2)强制几何一致性实质上提高了学习表示的质量,即,检测到的声源应当遵循应用于输入视频帧的相同变换~({ \em变换等方差})。大量的实验表明,我们的模型显着优于以前的方法在两个声音定位基准,即,Flickr-SoundNet和VGG-Sound。此外,我们还评估了音频检索和跨模态检索任务。在这两种情况下,我们的自监督模型表现出优越的检索性能,甚至与音频检索中的监督方法竞争。这表明,所提出的框架学习强大的多模态表示,有利于声音的本地化和推广到进一步的应用。\textit{All codes will be available}。
2022-08-15 cs.CV cs.MM cs.SD
RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation
Nanjing University of Science and Technology(南京理工大学)
现有的自监督单目深度估计方法可以摆脱昂贵的注释,并取得有希望的结果。然而,当直接采用在固定分辨率上训练的模型来评估其他不同分辨率时,这些方法遭受严重的性能下降。本文通过学习场景深度的尺度不变性,提出了一种分辨率自适应的自监督单目深度估计方法(RA-Depth)。具体来说,我们提出了一个简单而有效的数据增强方法来生成任意尺度的图像为同一场景。然后,我们开发了一个双重高分辨率网络,它使用具有密集交互的多路径编码器和解码器来聚合多尺度特征以进行准确的深度推断。最后,为了明确地学习场景深度的尺度不变性,我们制定了不同尺度的深度预测的跨尺度深度一致性损失。在KITTI、Make 3D和NYU-V2数据集上的大量实验表明,RA-Depth不仅具有最佳的性能,而且具有良好的分辨率自适应能力。
2022-07-26 cs.CV
Self-supervised Image Denoising with Downsampled Invariance Loss and Conditional Blind-Spot Network
Seoul National University(首尔国立大学);Gauss Labs Inc.(高斯实验室公司)
提出一种结合下采样不变性损失与条件盲点网络(C-BSN)的自监督图像去噪框架,通过控制网络盲目性并利用随机子采样器去除空间噪声相关性,在真实数据集上达到最先进性能。
2023-07-28 cs.CV eess.IV
PUCA: Patch-Unshuffle and Channel Attention for Enhanced Self-Supervised Image Denoising
Seoul National University(首尔国立大学);Ewha Womans University(梨花女子大学)
针对自监督图像去噪中J不变性与架构灵活性受限的问题,提出PUCA,一种结合补丁反洗牌/洗牌和扩张注意力块的J不变U-Net架构,实现了最先进的去噪性能。
2023-10-16 cs.CV cs.LG eess.IV
A Closer Look at Weakly-Supervised Audio-Visual Source Localization
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
音视频源定位是一项具有挑战性的任务,旨在预测视频中视觉声源的位置。由于收集探测对象的地面实况注释可能成本高昂,近年来已经提出了大量的弱监督定位方法,这些方法可以通过利用音频和视觉信号的自然共现来从没有边界框注释的数据集中学习。尽管有很大的兴趣,流行的评估协议有两个主要缺陷。首先,它们允许使用完全注释的数据集来执行早期停止,从而显著增加了训练所需的注释工作。第二,当前的评估度量假设声源在任何时候都存在。这当然是一个不切实际的假设,因此需要更好的度量来捕获模型在没有可见声源的(负)样本上的性能。为了实现这一目标,我们扩展了流行的基准测试集,Flickr SoundNet和VGG-Sound Sources,以包括负样本,并使用平衡定位准确性和召回率的指标来衡量性能。使用新的协议,我们对现有的方法进行了广泛的评估,发现大多数现有的工作都无法识别阴性,并且存在严重的过拟合问题(严重依赖于早期停止以获得最佳结果)。我们还提出了一种新的方法,解决这两个问题的视觉声源定位。特别是,我们发现,通过极端的视觉辍学和使用动量编码器,所提出的方法有效地打击过拟合,并建立了一个新的国家的最先进的性能在Flickr SoundNet和VGG-Sound Source。代码和预训练模型可在https://github.com/stoneMo/SLAVC上获得。
2022-08-30 cs.CV cs.LG cs.MM
A Self-supervised GAN for Unsupervised Few-shot Object Recognition
Oregon State University(俄勒冈州立大学)
本文讨论了无监督的Few-Shot对象识别,其中所有的训练图像是未标记的,测试图像被划分为查询和一些标记的支持图像,每个对象类的兴趣。训练图像和测试图像不共享对象类。我们扩展了香草GAN与两个损失函数,都旨在自监督学习。第一个是重建损失,其强制所述解码器重建已用于生成“假”图像的概率采样的潜码。第二个是三重丢失,它强制编码器输出更相似图像的更接近的图像编码。在Few-Shot分类的背景下进行评价、比较和详细的消融研究。我们的方法在Mini-Imagenet和Tiered-Imagenet数据集上的表现明显优于最先进的方法。
2020-10-19 cs.CV
Anatomical Invariance Modeling and Semantic Alignment for Self-supervised Learning in 3D Medical Image Analysis
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hupan Lab(湖畔实验室);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
针对自然图像SSL范式难以利用医学解剖结构一致性的问题,提出Alice框架,通过语义一致的对比学习与条件解剖特征对齐学习3D医学表示,并在三项任务上超越已有SSL方法。
2023-08-17 cs.AI cs.CV
Noise2Same: Optimizing A Self-Supervised Bound for Image Denoising
Texas A&M University(得克萨斯农工大学)
仅使用单个噪声图像学习去噪模型的自监督框架在各种图像去噪任务中表现出强大的能力和有前途的性能。现有的自监督去噪框架大多建立在相同的理论基础上,其中去噪模型需要是J不变的。然而,我们的分析表明,目前的理论和J-不变性可能导致降噪模型的性能降低。在这项工作中,我们介绍了Noise 2Same,一种新的自监督去噪框架。在Noise 2Same中,通过推导典型监督损失的自监督上界,提出了一种新的自监督损失。特别是,Noise 2Same既不需要J不变性,也不需要有关噪声模型的额外信息,可以用于更广泛的去噪应用中。我们从理论和实验上分析了我们提出的Noise 2 Same。实验结果表明,我们的Noise 2Same在去噪性能和训练效率方面明显优于以前的自监督去噪方法。我们的代码可在https://github.com/divelab/Noise2Same上获得。
2020-10-22 cs.CV cs.LG
Capturing implicit hierarchical structure in 3D biomedical images with self-supervised hyperbolic representations
Stanford University(斯坦福大学)
我们考虑的任务表示学习的无监督分割的三维体素网格生物医学图像。我们发现,捕捉子卷之间的隐式层次关系的模型更适合这项任务。为此,我们考虑具有双曲潜在空间的编码器-解码器架构,以显式地捕获数据子卷中存在的层次关系。我们建议利用一个3D双曲线变分自编码器与一个新的gyroplane卷积层映射从嵌入空间回到3D图像。为了捕捉这些关系,我们引入了一个基本的自我监督的损失-除了标准的VAE损失-推断近似层次结构,并鼓励隐式相关的子卷在嵌入空间中映射得更近。我们目前的实验合成数据和生物医学数据来验证我们的假设。
2021-10-25 cs.CV
On Compositions of Transformations in Contrastive Self-Supervised Learning
Facebook AI Research(Facebook人工智能研究院);University of Oxford(牛津大学)
在图像域中,可以通过噪声对比学习将不变性引入到内容保持变换来学习优秀的表示。在本文中,我们将对比学习推广到一组更广泛的变换,以及它们的组合,寻求不变性或独特性。我们表明,这是不是立即明显的现有方法,如Simplified可以扩展到这样做。相反,我们引入了一些正式的要求,所有的对比配方必须满足,并提出了一个实际的建设,满足这些要求。为了最大限度地扩大这种分析的范围,我们将噪声对比公式的所有组成部分表示为数据(GDT)的某些广义变换的选择,包括数据采样。然后,我们将视频视为数据的一个例子,其中可以应用各种各样的转换,考虑到额外的模态-我们分析音频和文本-以及时间维度。我们发现,对某些变换保持不变,对其他变换保持独特,对于学习有效的视频表示,大幅提高多个基准的最新技术水平,甚至超越监督预训练至关重要。
2021-10-27 cs.CV
Are the Latent Representations of Foundation Models for Pathology Invariant to Rotation?
The Francis Crick Institute(弗朗西斯·克里克研究所);The Institute of Cancer Research(癌症研究所);Imperial College London(伦敦帝国学院)
本研究评估十二个病理学基础模型对斑块旋转的潜在表示不变性,发现训练中采用旋转增强的模型显著更鲁棒,并假设Transformer架构缺乏旋转归纳偏置,需通过增强实现不变性。
2024-12-16 cs.CV eess.IV
Soft Equivariance Regularization for Invariant Self-Supervised Learning
AITRICS;Voronoi Inc.;Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出软等价性正则化,通过解耦不变性和等价性强制的层,提升自监督学习在ImageNet-1k和ImageNet-C/P等任务中的性能。
2026-03-04 cs.CV cs.LG
Weakly Supervised Temporal Sentence Grounding via Positive Sample Mining
University of Science and Technology of China(中国科学技术大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Beihang University(北京航空航天大学);State Key Laboratory for Novel Software Technology(国家软件创新科技重点实验室);Nanjing University(南京大学);Shenzhen Key Laboratory of Computer Vision and Pattern Recognition(深圳计算机视觉与模式识别重点实验室);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Chinese Academy of Sciences(中国科学院)
针对弱监督时序句子定位中相似样本被误作负样本的问题,提出 PSM 框架挖掘语义相似正样本,并结合对比损失与排序损失增强判别监督。
2025-05-10 cs.CV
Mirror-Fusion Attention for Reflection-Aware Self-Supervised Representation Learning
University of Bologna(博洛尼亚大学);Jilin University(吉林大学);Shanghai Jiao Tong University(上海交通大学)
提出MFASSL框架,通过镜像融合注意力模块在自监督学习中注入软反射先验,提升医学图像和人脸等近似对称数据的下游性能与鲁棒性。
2026-07-02 cs.CV cs.LG
Scale-Equivariant Imaging: Self-Supervised Learning for Image Super-Resolution and Deblurring
ENSL, CNRS, Laboratoire de Physique(ENSL、CNRS、物理实验室);School of Engineering, University of Edinburgh(工程学院、爱丁堡大学)
本文提出尺度等变成像方法,通过利用图像分布的尺度不变性,提升图像超分辨率和去模糊任务的性能,实现与全监督学习相当的效果。
2026-01-28 cs.CV eess.IV