Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations
先前的动作表示学习工作集中在短视频片段的全局表示。相比之下,许多实际应用,如视频对齐,强烈要求学习长视频的密集表示。在本文中,我们引入了一个新的对比动作表示学习(CARL)框架,以自监督或弱监督的方式学习逐帧动作表示,特别是对于长视频。具体来说,我们引入了一个简单但有效的视频编码器,它通过结合卷积和Transformer来考虑空间和时间上下文。受最近自监督学习取得的巨大进展的启发,我们提出了一种新的序列对比度损失(SCL)适用于两个相关的意见,通过扩大一系列的时空数据在两个版本。一种是自监督版本,通过最小化两个增强视图的序列相似性和时间戳距离的先验高斯分布之间的KL-发散来优化嵌入空间。另一种是弱监督版本,通过动态时间包裹(DTW)使用视频级标签在视频之间构建更多的样本对。FineGym,PennAction和Pouring数据集上的实验表明,我们的方法在下游细粒度动作分类和更快的推理方面比以前的最先进方法有很大的优势。令人惊讶的是,虽然没有像以前的作品那样对配对视频进行训练,但我们的自监督版本在视频对齐和细粒度帧检索任务中也表现出出色的性能。
2023-03-02 cs.CV
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses公司)
我们提出了Dense FixMatch,这是一种简单的方法,用于密集和结构化预测任务的在线半监督学习,通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作,我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能,包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比,Dense FixMatch显著改善了结果,接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
Semi-Supervised Semantic Segmentation with Pixel-Level Contrastive Learning from a Class-wise Memory Bank
Universidad de Zaragoza(萨拉戈萨大学);Magic Leap(Magic Leap公司);Bitbrain(Bitbrain公司)
本文提出了一种新的半监督语义分割方法。这种方法的关键元素是我们的对比学习模块,该模块强制分割网络为整个数据集的同类样本产生类似的像素级特征表示。为了实现这一点,我们保持一个存储体不断更新的相关和高质量的特征向量标记的数据。在端到端训练中,来自标记数据和未标记数据的特征被优化为与来自存储体的同类样本相似。我们的方法在众所周知的公共基准上优于当前最先进的半监督语义分割和半监督领域自适应,在最具挑战性的场景上有更大的改进,即,更少的可用标记数据。https://github.com/Shathe/SemiSeg-Contrastive
2021-08-06 cs.CV
RMPL: Relation-aware Multi-task Progressive Learning with Stage-wise Training for Multimedia Event Extraction
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
提出RMPL框架,通过分阶段训练结合单模态事件抽取和多模态关系抽取的异构监督,在低资源条件下实现多媒体事件抽取,并在M2E2基准上取得一致改进。
2026-05-27 cs.CL cs.CV
Weakly-supervised Semantic Segmentation via Dual-stream Contrastive Learning of Cross-image Contextual Information
针对弱监督语义分割忽视跨图像语义信息的问题,提出 DSCNet 端到端框架,通过 PGCL、SGCL 与 DSCL 联合建模像素级和语义级上下文,并在 PASCAL VOC、MS COCO 上优于 SOTA。
2024-05-08 cs.CV
Weakly Supervised Tracklet Person Re-Identification by Deep Feature-wise Mutual Learning
Sun Yat-sen University(中山大学);Accuvision Technology Co.,LTD(Accuvision科技有限公司);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室)
由于Re-ID(Person Re-identification)数据集的标注困难而导致的可扩展性问题已经成为Re-ID发展的关键瓶颈。为了解决这个问题,最近提出了许多无监督的Re-ID方法。然而,大多数这些模型需要从另一个辅助的完全监督数据集转移,这仍然是昂贵的。在这项工作中,本文提出了一种基于弱监督轨迹(WST)的Re-ID模型,该模型可以通过将同一个人在同一个摄像机视图中的一段时间内的碎片化轨迹进行组合来廉价地获得。我们通过一种新的方法来建立我们的弱监督轨迹Re-ID模型,深度特征互学习(DFML),由特征提取器互学习(MLFE)和特征分类器互学习(MLFC)组成。MLFE通过利用两个特征提取器相互学习来提取更鲁棒和更具鉴别力的特征。另一方面,我们建议MLFC通过适应不同的摄像机视图,每个分类器的区别特征。大量的实验表明,我们提出的DFML优于最先进的无监督模型,甚至一些监督模型在三个Re-ID基准数据集。
2019-10-31 cs.CV
A Semi-Supervised Framework for Automatic Pixel-Wise Breast Cancer Grading of Histological Images
在全世界,乳腺癌是女性死亡的主要原因之一。最近,深度学习方法被开发用于对组织学载玻片的乳腺癌进行自动分级。然而,由于缺乏大型注释生物医学数据集,现有深度学习模型的性能受到限制。减轻注释负担的一种有希望的方法是利用未注释的数据集来增强训练的模型。本文首次将主动学习方法应用于乳腺癌分级,提出了一种基于期望最大化(EM)模型的半监督框架。建议EM方法是基于注释和未注释的数据集之间的协同过滤。协同过滤方法有效地从未标注的图像中提取有用和可信的数据集。全切片图像(WSI)的逐像素预测结果表明,该方法不仅优于最先进的方法,而且还显着降低了70%以上的注释成本。
2022-03-08 cs.CV
Scribble-based Weakly Supervised Deep Learning for Road Surface Extraction from Remote Sensing Images
利用深度学习方法从遥感图像中提取道路表面已经取得了良好的性能,而现有的大多数方法都是基于完全监督学习的,这需要大量的训练数据和费力的逐像素标注。在本文中,我们提出了一种基于涂鸦的弱监督道路表面提取方法,名为ScRoadExtractor,它从易于访问的涂鸦(例如中心线)中学习,而不是从密集注释的道路表面地面实况中学习。为了将语义信息从稀疏的涂鸦传播到未标记的像素,我们引入了一种道路标签传播算法,该算法同时考虑了道路网络的基于缓冲区的属性和超像素的颜色和空间信息。利用道路标签传播算法生成的建议模板训练一个由语义分割分支和辅助边界检测分支组成的双分支编解码器网络。我们在三个不同的道路数据集上进行实验,这些数据集由世界各地的高分辨率遥感卫星和航空图像组成。结果表明,ScRoadExtractor在交集(IoU)指标上超过经典的涂鸦监督分割方法20%,并且优于最先进的基于涂鸦的弱监督方法至少4%。
2020-10-25 cs.CV
Learning Stage-wise GANs for Whistle Extraction in Time-Frequency Spectrograms
San Diego State University(圣地亚哥州立大学);University of California, Irvine(加州大学欧文分校);Cornell University(康奈尔大学);Oregon State University(俄勒冈州立大学);Colorado State University(科罗拉多州立大学);University of St Andrews(圣安德鲁斯大学);University of Hawaii(夏威夷大学);RedRoute, Inc(RedRoute公司)
提出阶段式 GAN 框架分阶段生成背景噪声、哨声轮廓和信号以合成训练数据,解决标注稀缺问题,显著提升哨声提取模型性能。
2023-04-05 cs.CV eess.SP
Semi-supervised reference-based sketch extraction using a contrastive learning framework
KAIST(韩国科学技术院)
本文提出一种基于对比学习框架的半监督多模态草图提取方法,利用非配对数据训练模仿参考草图风格,在定量和定性评估中优于现有最先进方法。
2024-07-19 cs.CV
PiPa: Pixel- and Patch-wise Self-supervised Learning for Domain Adaptative Semantic Segmentation
University of Technology Sydney(悉尼科技大学);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
无监督领域自适应(UDA)旨在增强学习模型对其他领域的推广。域不变知识从在标记的源域上训练的模型转移,例如,视频游戏,到未标记的目标域,例如,真实世界的场景,节省注释费用。现有的用于语义分割的UDA方法通常集中于最小化各个级别的域间差异,例如,像素、特征和预测,用于提取域不变知识。然而,主要的域内知识,如图像内部的上下文相关性,仍然没有得到充分的探索。为了填补这一空白,我们提出了一个统一的像素和补丁明智的自监督学习框架,称为PiPa,域自适应语义分割,促进图像内像素明智的相关性和补丁明智的语义一致性对不同的背景。所提出的框架利用了域内图像的固有结构,其:(1)明确鼓励学习具有类内紧凑性和类间可分性的区分性像素特征,以及(2)激励针对不同上下文或波动的相同补丁的鲁棒特征学习。大量的实验验证了该方法的有效性,在两个广泛使用的UDA基准上获得了竞争性的准确性,75.6 GTA到Cityscapes的mIoU和Synthia到Cityscapes的68.2 mIoU。此外,我们的方法是兼容的其他UDA方法,以进一步提高性能,而不引入额外的参数。
2022-11-14 cs.CV
Deep Class-Wise Hashing: Semantics-Preserving Hashing via Class-wise Loss
City University of Hong Kong(香港城市大学);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院)
深度监督哈希已经成为计算机视觉中大规模语义图像检索问题的有影响力的解决方案。鉴于最近的进展,基于卷积神经网络的散列方法通常寻找成对或三重标签来进行相似性保持学习。然而,视觉内容的复杂语义概念很难通过相似/不相似标签来捕获,这限制了检索性能。通常,成对或三重损失不仅遭受昂贵的训练成本,而且缺乏提取足够的语义信息。在这方面,我们提出了一种新的深度监督哈希模型来学习更紧凑的类级相似性保持二进制代码。我们基于深度学习的模型是由深度度量学习驱动的,深度度量学习直接将语义标签作为训练中的监督信息,并生成相应的判别哈希代码。提出了一种新的基于高斯分布的三次约束损失函数,在保留语义变化的同时,对嵌入空间中不同类的重叠部分进行惩罚。为了解决二进制编码引入的离散优化问题,提出了一种两步优化策略,以提供有效的训练并避免梯度消失的问题。在四个大规模基准数据库上的实验表明,该模型可以达到最先进的检索性能。此外,当训练样本有限时,我们的方法优于其他有监督的深度哈希方法,具有不可忽略的余量。
2018-03-12 cs.CV
Evaluating self-supervised echocardiographic representations across downstream extraction strategies for left-ventricular segmentation and ejection fraction estimation
organization= Centre for AI, Data Science \& AI, BioPharma R\&D, AstraZeneca , addressline= Biomedical Campus, 1 Francis Crick Ave, Trumpington , city= Cambridge , postcode= CB2 0AA , country= UK
本研究系统评估了自监督表示在左心室分割和射血分数估计中的表现,发现下游提取策略(如启发式提取、冻结线性探针、冻结轻量解码器、部分微调)显著影响结论,提出多策略评估是密集医学图像分析中SSL的重要方法论考虑。
2026-06-23 cs.CV
Guided Collaborative Training for Pixel-wise Semi-Supervised Learning
City University of Hong Kong(香港城市大学);SenseTime Research(商汤科技研究院)
我们研究的推广半监督学习(SSL)不同的像素明智的任务。虽然SSL方法在图像分类中取得了令人印象深刻的结果,但由于其需要密集的输出,将其应用于像素级任务的性能并不令人满意。此外,现有的逐像素SSL方法仅适用于某些任务,因为它们通常需要使用特定于任务的属性。在本文中,我们提出了一个新的SSL框架,命名为引导协作训练(GCT),像素明智的任务,有两个主要的技术贡献。首先,GCT通过一种新的缺陷检测器解决了密集输出所引起的问题。其次,GCT中的模块通过两个新提出的独立于任务特定属性的约束从未标记数据中协作学习。因此,GCT可以应用于广泛的像素级任务,而无需结构自适应。我们对四个具有挑战性的视觉任务进行了广泛的实验,包括语义分割,真实图像去噪,人像图像抠图和夜间图像增强,结果表明GCT的性能大大优于最先进的SSL方法。我们的代码可在:https://github.com/ZHKKKe/PixelSSL.
2020-08-12 cs.CV cs.LG eess.IV
Large Scale Autonomous Driving Scenarios Clustering with Self-supervised Feature Extraction
Baidu Research(百度研究院);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
自动驾驶场景数据的聚类可以通过提高仿真测试的完整性和逼真度来大大有益于自动驾驶验证和仿真系统。本文提出了一个全面的数据聚类框架,为大量的车辆驾驶数据。现有的算法利用手工制作的功能,其质量依赖于人类专家的判断。此外,相关的特征压缩方法对于大数据集是不可缩放的。我们的方法充分考虑了交通元素,包括交通代理对象和地图信息。同时,我们提出了一种用于空间和时间特征提取的自监督深度学习方法,以避免有偏见的数据表示。新设计的基于数据增强的驾驶数据聚类评价指标,准确性评估不需要人为标记的数据集,这是受人的偏见。通过这种公正的评估指标,我们已经表明,我们的方法超越了现有的方法,依赖于手工特征提取。
2021-03-30 cs.CV
Weakly-supervised ROI extraction method based on contrastive learning for remote sensing images
Beijing Foreign Studies University(北京外国语大学)
针对遥感图像ROI提取中地形复杂、标注昂贵且弱监督方法精度不足的问题,提出基于对比学习的两步法,利用多尺度Grad-CAM生成伪标注并对比学习分离前景背景,实验验证其优越性。
2023-05-10 cs.CV
GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
Australian National University(澳大利亚国立大学);SenseTime(商汤科技)
弱监督语义分割(WSSS)是具有挑战性的,特别是当图像级标签用于监督像素级预测时。为了弥合它们之间的差距,通常生成类激活图(CAM)以提供像素级伪标签。卷积神经网络中的CAM受到部分激活的影响,即只有最具辨别力的区域被激活。另一方面,基于Transformer的方法在探索具有长范围依赖性建模的全局上下文方面非常有效,从而潜在地减轻“部分激活”问题。在本文中,我们提出了第一个基于Transformer的WSSS方法,并介绍了梯度加权元素的Transformer注意力地图(GETAM)。GETAM显示所有特征图元素的精细缩放激活,显示对象跨Transformer层的不同部分。此外,我们提出了一个激活感知标签完成模块,以生成高质量的伪标签。最后,我们将我们的方法到一个端到端的框架WSSS使用双反向传播。在PASCAL VOC和COCO上进行的大量实验表明,我们的结果明显优于最先进的端到端方法,并且优于大多数多阶段方法。
2022-05-10 cs.CV
Where is the Fake? Patch-Wise Supervised GANs for Texture Inpainting
CMLA, ENS Paris-Saclay(巴黎萨克雷高等师范学院CMLA);Schlumberger AI Lab(斯伦贝谢人工智能实验室);Etudes et Productions Schlumberger(斯伦贝谢研究与生产公司)
我们解决了纹理修复的问题,其中输入图像是具有缺失值的纹理以及指示应该生成的区域的遮罩。图像修补的目标是实现图像的全局和局部一致性。但这些作品在处理纹理时仍然受到限制。实际上,需要使用待完成图像中的局部信息,以便实现局部连续性和视觉上逼真的纹理修复。为此,我们提出了一个新的分段器,它执行分片真/假分类,并由输入掩码进行监督。在训练过程中,它的目的是定位假信号,从而将一致的信号反向传播到生成器。我们在公开的DTD数据集上测试了我们的方法,结果表明,它实现了最先进的性能,并且比现有方法更好地处理了局部一致性。
2020-03-09 cs.CV eess.IV
Weakly Supervised Intracranial Hemorrhage Segmentation using Head-Wise Gradient-Infused Self-Attention Maps from a Swin Transformer in Categorical Learning
Concordia University(康考迪亚大学)
针对颅内出血分割中标注数据昂贵的问题,提出一种基于Swin Transformer分类任务中头部分布梯度注入自注意力图的弱监督分割方法,以0.44的Dice分数媲美全监督模型并优于GradCAM。
2023-08-29 cs.CV
Revisiting Rubik's Cube: Self-supervised Learning with Volume-wise Transformation for 3D Medical Image Segmentation
Hangzhou Dianzi University(杭州电子科技大学);Tencent Jarvis Lab(腾讯Jarvis实验室)
深度学习高度依赖于注释数据的数量。然而,3D体积医学数据的注释需要有经验的医生花费数小时甚至数天的时间进行研究。自监督学习是通过深入挖掘原始数据信息来摆脱对训练数据的强烈需求的潜在解决方案。在本文中,我们提出了一种新的自监督学习框架的体积医学图像。具体来说,我们提出了上下文恢复任务,即,Rubik's cube++,用于预训练3D神经网络。与现有的基于上下文恢复的方法不同,我们采用了一种基于体积的上下文置换变换,这有助于网络更好地利用器官的固有3D解剖信息。相比从头开始训练的策略,从魔方++预训练权重进行微调,可以在胰腺分割和脑组织分割等各种任务中实现更好的性能。实验结果表明,我们的自监督学习方法可以显着提高三维深度学习网络在体积医学数据集上的准确性,而无需使用额外的数据。
2020-07-17 cs.CV cs.LG eess.IV
Supervised level-wise pretraining for recurrent neural network initialization in multi-class classification
IRSTEA(法国国家环境与农业科技研究院);UMR TETIS(TETIS联合研究单位);LIRMM(蒙彼利埃计算机科学与机器人实验室);Univ. of Montpellier(蒙彼利埃大学);CIRAD(法国国际农业发展研究中心)
递归神经网络(RNN)可能会受到初始参数分配的严重影响,这可能会导致对新的未知数据的泛化性能较差。为了解决这一关键问题,在基于RNN的分类背景下,我们提出了一种新的监督分层预训练策略来初始化网络参数。所提出的方法利用数据感知的策略,该策略建立了由模型行为自动导出的分类问题的分类。据我们所知,尽管人们对基于RNN的分类非常感兴趣,但这是第一个处理此类模型初始化的数据感知策略。拟议的战略已在来自两个不同领域的四个基准上进行了测试,即,语音识别与遥感。结果强调了我们的方法的意义,并指出,数据感知策略积极支持基于递归神经网络的分类模型的初始化。
2019-11-04 cs.CV cs.LG stat.ML
Group-wise Scaling and Orthogonal Decomposition for Domain-Invariant Feature Extraction in Face Anti-Spoofing
Chung-Ang University(Chung-Ang 大学);Naver Cloud
本文提出一种域泛化人脸反欺骗框架,通过特征正交分解和分组缩放风险最小化联合对齐权重与偏置,并引入期望校准误差评估偏置对齐效果,在基准数据集上取得最先进性能。
2025-07-05 cs.CV
Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning
EPFL(洛桑联邦理工学院);Magic Leap;Amazon(亚马逊)
我们介绍了一种新的方法,无监督和半监督领域自适应语义分割。与许多早期依赖对抗学习进行特征对齐的方法不同,我们利用对比学习通过跨领域对齐结构相似的标签补丁的特征来弥合领域差距。因此,网络更易于训练并提供更好的性能。我们的方法在两个具有挑战性的域自适应分割任务上始终优于最先进的无监督和半监督方法,特别是在少量目标域注释的情况下。它也可以自然地扩展到弱监督的领域自适应,其中只有微小的准确性下降可以节省高达75%的注释成本。
2021-04-22 cs.CV
Multi-View People Detection in Large Scenes via Supervised View-Wise Contribution Weighting
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(人工智能与数字经济广东省实验室(深圳));Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
本文提出一种监督式视角贡献加权方法,结合大型合成数据集与领域自适应技术,有效解决了大型复杂场景下多视角行人检测的跨场景泛化与信息融合问题。
2024-05-30 cs.CV
SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware Feature Extraction
NAVER LABS(NAVER实验室);Korea Advanced Institute of Science and Technology(韩国科学技术院)
自监督单目深度估计已经成为一种有前途的方法,因为它在训练期间不需要地面实况深度图。作为地面实况深度图的替代方案,光度损失使得能够通过匹配输入图像帧来提供对深度预测的自我监督。然而,光度损失导致各种问题,导致与监督方法相比不太准确的深度值。在本文中,我们提出了SAFENet,旨在利用语义信息来克服光度损失的局限性。我们的核心思想是利用语义感知的深度功能,集成的语义和几何知识。因此,我们引入多任务学习方案,将语义感知到深度特征的表示中。KITTI数据集上的实验表明,我们的方法竞争,甚至优于国家的最先进的方法。此外,在不同数据集上的大量实验表明,该算法具有更好的泛化能力和对各种条件的鲁棒性,如弱光或恶劣天气。
2020-12-29 cs.CV
Semi-Supervised Object Detection with Object-wise Contrastive Learning and Regression Uncertainty
KAIST(韩国科学技术院);The University of Sheffield(谢菲尔德大学);Imperial College London(帝国理工学院)
半监督目标检测(SSOD)旨在通过利用额外的未标记数据来提高检测性能。教师-学生框架已被证明对SSOD很有前途,其中教师网络为未标记的数据生成伪标签,以帮助训练学生网络。由于伪标签是嘈杂的,过滤伪标签是至关重要的,以利用这种框架的潜力。与现有的次优方法不同,我们提出了一个两步的伪标签过滤的分类和回归头在教师和学生的框架。对于分类头,OCL(Object-wise对比学习)通过提高分类分数的区分度来正则化利用未标记数据的对象表示学习以改进伪标记过滤。这被设计为将同一个类中的对象拉到一起,并将不同类中的对象推开。对于回归头,我们进一步提出了RUPL(回归不确定性引导的伪标签)来学习标签过滤对象定位的任意不确定性。通过联合过滤分类头和回归头的伪标签,学生网络从教师网络获得更好的指导,以执行目标检测任务。在Pascal VOC和MS-COCO数据集上的实验结果表明,与现有方法相比,该方法具有很好的性能。
2022-12-06 cs.CV
Self-supervised Feature Extraction for Enhanced Ball Detection on Soccer Robots
Sapienza University of Rome(罗马萨皮恩扎大学);International University of Rome UNINT(罗马国际大学);University of Basilicata(巴塞利卡塔大学)
提出自监督学习框架,利用预训练模型生成伪标签并执行多种前置任务,结合MAML策略,在RoboCup室外数据集上提升球检测准确率、F1和IoU,且收敛更快。
2025-06-20 cs.CV
Channel-Wise Attention-Based Network for Self-Supervised Monocular Depth Estimation
State Key Laboratory for Manufacturing System Engineering(机械制造系统工程国家重点实验室);School of Mechanical Engineering, Xi’an Jiaotong University(西安交通大学机械工程学院)
自监督学习在单目深度估计中已经显示出非常有前途的结果。场景结构和局部细节都是高质量深度估计的重要线索。最近的作品缺乏明确的场景结构建模和正确的细节信息处理,这导致了性能瓶颈和预测结果中的模糊伪影。本文提出了一种基于场景注意力的深度估计网络(CADepth-Net),该网络具有两个有效的贡献:1)结构感知模块采用自注意力机制捕获长距离依赖关系,并在通道维度上聚合判别特征,显式增强场景结构的感知,获得更好的场景理解和丰富的特征表示。2)细节强调模块重新校准逐通道特征图并选择性地强调信息特征,旨在突出关键的局部细节信息并更有效地融合不同级别的特征,从而产生更精确和更锐利的深度预测。此外,大量的实验验证了我们的方法的有效性,并表明我们的模型达到了最先进的KITTI基准测试和Make 3D数据集的结果。
2021-12-24 cs.AI cs.CV cs.LG
Object-wise Masked Autoencoders for Fast Pre-training
University of Jinan(济南大学);Carnegie Mellon University(卡内基梅隆大学)
无标签图像的自监督预训练最近在图像分类中取得了很好的效果。基于transformer的方法ViT和MAE的成功,吸引了社区对主干架构和自监督任务设计的关注。在这项工作中,我们表明,当前的掩码图像编码模型学习整个场景中所有对象之间的潜在关系,而不是单个对象表示。因此,这些方法为自监督预训练带来了大量的计算时间。为了解决这个问题,我们引入了一种新的对象选择和划分策略,通过使用感兴趣的区域掩码进行选择性重建来丢弃非对象补丁以学习对象表示。我们将此方法称为ObjMAE。在四个常用数据集上进行的大量实验表明,我们的模型在降低72%的计算成本的同时实现了具有竞争力的性能。此外,我们研究了对象间和对象内的关系,发现后者对于自监督预训练至关重要。
2022-05-28 cs.CV cs.LG
Gated Multi-layer Convolutional Feature Extraction Network for Robust Pedestrian Detection
Imperial College London(帝国理工学院)
随着深度卷积神经网络的发展,行人检测方法得到了显著改进。然而,鲁棒地检测具有较大尺寸变化和遮挡的行人仍然是一个具有挑战性的问题。在本文中,我们提出了一种门控多层卷积特征提取方法,可以自适应地产生候选行人区域的判别特征。提出的门控特征提取框架由挤压单元、门单元和级联层组成,它们分别执行来自多个CNN层的特征维度挤压、特征元素操作和卷积特征组合。我们提出了两种不同的门模型,可以操纵的区域特征图在通道明智的选择方式和空间明智的选择方式,分别。在具有挑战性的CityPersons数据集上的实验证明了该方法的有效性,特别是在检测小尺寸和遮挡行人方面。
2019-12-18 cs.CV
Depth-Wise Representation Development Under Blockwise Self-Supervised Learning for Video Vision Transformers
Heinrich Heine University, Düsseldorf, Germany(海因里希-海涅大学);Institute for Computational Visualistics, University of Koblenz, Germany(计算视觉学研究所);Institute of Neuroscience and Medicine (INM-1), Research Centre Jülich, Germany(神经科学与医学研究所);Helmholtz AI, Research Centre Jülich, Germany(海德堡人工智能研究所)
本文探讨了块级自监督学习在视频视觉变换器中的应用,通过划分编码器块优化局部重建损失,发现后期块饱和和界面形成对深度表示发展有影响。
2026-01-14 cs.CV
WISE: A Lightweight, Weakly-Supervised Model for Onboard Fire Smoke Detection and Localization
Adelaide University(阿德莱德大学);Swinburne University of Technology(斯威本科技大学);Thales Alenia Space(泰雷兹阿莱尼亚宇航公司)
针对星上野火烟雾检测的延迟与内存限制,提出轻量级弱监督框架WISE,利用师生蒸馏仅用瓦片级标注生成烟雾概率图,在轨实测每瓦片0.10-0.26秒,最佳F1达0.964/0.750,参数仅0.12M。
2026-09-17 cs.CV
Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心)
多年来,由于深度学习的数据饥渴特性,获取足够的地面实况监督来训练深度视觉模型一直是一个瓶颈。这在一些结构化预测任务中加剧,例如需要像素级注释的语义分割。这项工作解决了弱监督语义分割(WSSS),目标是弥合图像级注释和像素级分割之间的差距。我们将WSSS制定为一种新的组学习任务,该任务明确地对一组图像中的语义依赖关系进行建模,以估计更可靠的伪地面实况,这可用于训练更准确的分割模型。特别是,我们设计了一个图神经网络(GNN)组明智的语义挖掘,其中输入图像表示为图形节点,和一对图像之间的潜在关系的特点是一个有效的共同注意力机制。此外,为了防止模型过度关注公共语义,我们进一步提出了一个图丢弃层,鼓励模型学习更准确和完整的对象响应。整个网络可以通过迭代消息传递进行端到端的训练,通过图像传播交互提示以逐步提高性能。我们对流行的PASCAL VOC 2012和COCO基准进行了实验,我们的模型产生了最先进的性能。我们的代码可在https://github.com/Lixy1997/Group-WSSS上获得。
2020-12-09 cs.CV
Spectral-Spatial Feature Extraction and Classification by ANN Supervised with Center Loss in Hyperspectral Imagery
Center for Applied Mathematics, Tianjin University(天津大学应用数学中心)
在本文中,我们提出了一个光谱-空间特征提取和分类框架的人工神经网络(ANN)的背景下,高光谱图像。在有限的标记样本的情况下,仅利用光谱信息进行训练,并且在测试阶段后期整合空间背景。利用人脸识别的最新进展,采用softmax损失和中心损失相结合的联合监督符号对网络进行训练,在收集类内特征的同时扩大类间差异。基于学习的架构,提取的基于频谱的特征进行分类的中心分类器。此外,融合的光谱和空间信息,自适应光谱-空间中心分类器的开发,其中多尺度的邻居被认为是同时进行,并使用自适应投票策略确定最终的标签。最后,在三个著名的数据集上的实验结果验证了所提出的方法的有效性相比,国家的最先进的方法。
2017-11-20 cs.CV
CaCL: Class-aware Codebook Learning for Weakly Supervised Segmentation on Diffuse Image Patterns
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
弱监督学习在生物医学图像分析中得到了快速发展,以从图像标注(分类)实现像素标签(分割),因为生物医学图像在许多情况下自然包含图像标签。来自计算机视觉界的当前弱监督学习算法主要是针对焦点对象(例如,狗和猫)。然而,这样的算法没有针对生物医学成像中的漫射图案(例如,染色和显微成像中的荧光)。在本文中,我们提出了一种新的类感知码本学习(CaCL)算法进行弱监督学习扩散图像模式。具体而言,CaCL算法被部署到从人类十二指肠的组织学图像中分割蛋白质表达的刷状缘区域。我们的贡献是三方面的:(1)我们从一个新的码本学习的角度来处理弱监督分割;(2)CaCL算法分割扩散图像模式,而不是焦点对象;(3)所提出的算法是在一个多任务框架的基础上实现的矢量量化-变分自编码器(VQ-VAE)通过联合图像重建,分类,特征嵌入,和分割。实验结果表明,我们的方法取得了优越的性能相比,基线弱监督算法。该代码可在https://github.com/ddrrnn123/CaCL上获得。
2022-04-13 cs.CV
L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning
TCL AI Lab(TCL人工智能实验室);University of Cambridge(剑桥大学);Zenseact;Flower Labs(Flower实验室)
针对联邦自监督视觉表征学习中数据异质性导致的客户端偏差与散度问题,提出 L-DAWA 逐层角散度感知权重聚合方法,并在多种数据集和设置下取得 SOTA。
2023-07-14 cs.CV
Off-Road Drivable Area Extraction Using 3D LiDAR Data
Peking University(北京大学);China North Vehicle Research Institute(中国北方车辆研究所)
提出了一种基于3D LiDAR数据的越野可行驶区域提取方法,并将其应用于自动驾驶领域。设计了一个特定的深度学习框架来处理模糊区域,这是越野环境中的主要挑战之一。为了减少对人工标注数据的大量需求,我们利用了大量车辆路径和自动生成的障碍物标签的信息。使用这些自动生成的注释,可以使用弱监督或半监督方法训练所提出的网络,这可以用更少的人工注释实现更好的性能。在数据集上的实验验证了该框架的合理性以及弱监督和半监督方法的有效性。
2020-03-10 cs.CV
Scribble-Supervised Target Extraction Method Based on Inner Structure-Constraint for Remote Sensing Images
Beijing Foreign Studies University(北京外国语大学)
针对遥感图像涂鸦监督目标提取中标注稀疏导致结构识别困难的问题,提出基于内部结构约束的方法,通过变形一致性损失和可训练主动轮廓损失优化网络,优于五种最先进算法。
2023-05-18 cs.AI cs.CV
Bottleneck Supervised U-Net for Pixel-wise Liver and Tumor Segmentation
City University of Hong Kong(香港城市大学);Tencent(腾讯)
在本文中,我们提出了一个瓶颈监督(BS)的U-Net模型的肝脏和肿瘤分割。我们的主要贡献是:首先,我们提出了一个变形的原始U-网,结合密集模块,初始模块和扩张卷积的编码路径; 2其次,我们提出了一个瓶颈监督(BS)U-网,它包含一个编码U-网和一个分割U-网。为了训练BS U-Net,首先训练编码U-Net以获得包含解剖信息(形状和位置)的标签图的编码。随后,该信息用于指导分割U-Net的训练,以便保留目标对象的解剖特征。更具体地,用于分割U-Net的损失函数被设置为编码和瓶颈特征向量之间的骰子损失和MSE损失的加权平均。该模型应用于公共肝脏和肿瘤CT扫描数据集。实验结果表明,BS U-Net除了实现出色的整体分割性能外,还在控制形状失真,减少误报和漏报方面发挥了重要作用。
2019-03-13 cs.AI cs.CV
BIM: Block-Wise Self-Supervised Learning with Masked Image Modeling
University of Rochester(罗切斯特大学);New York University(纽约大学)
本文提出分块掩码图像建模框架BIM,通过将MIM任务分解为独立子任务并以分块反向传播替代端到端训练,在保持性能的同时大幅降低峰值内存,并支持同时训练多个适配不同硬件平台的DNN骨干网络。
2023-11-28 cs.CV cs.LG
Self-Supervised Pretraining for Aerial Road Extraction
FZI Research Center for Information Technology(FZI信息技术研究中心);Institute of Applied Informatics and Formal Description Methods, Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院应用信息学与形式化描述方法研究所)
针对航空图像道路提取标注数据稀缺问题,提出基于图像修复的自监督预训练方法,通过重建缺失区域学习图像固有结构,显著提升低数据量下的分割精度与泛化能力。
2025-04-01 cs.CV cs.LG
Increasing Width Allows Greedy Layer-wise Training to Rival End-to-End Backpropagation in Self-Supervised Learning
Jules Stein Eye Institute(朱尔斯·斯坦眼科研究所);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究探讨自监督学习中网络宽度与深度对贪心逐层训练和端到端反向传播的影响,发现宽网络中贪心训练性能可媲美甚至超越端到端训练,并揭示表征几何差异为潜在机制。
2026-10-02 cs.AI cs.CV cs.LG
SCOB: Universal Text Understanding via Character-wise Supervised Contrastive Learning with Online Text Rendering for Bridging Domain Gap
NAVER Cloud AI(NAVER云人工智能);Seoul National University(首尔国立大学)
本文提出SCOB预训练方法,通过字符级监督对比学习与在线文本渲染弥合文档与场景文本领域差距,实现通用文本理解并支持弱监督以降低标注成本,在基准测试中普遍提升性能。
2023-09-21 cs.AI cs.CV
Cross-level Contrastive Learning and Consistency Constraint for Semi-supervised Medical Image Segmentation
Sun Yat-Sen University(中山大学);Xidian University(西安电子科技大学);The Sixth Affiliated Hospital, Sun Yat-sen University(中山大学附属第六医院)
半监督学习(Semi-supervised learning,SSL)利用少量标记图像和大量未标记图像进行网络训练,有利于减轻医学图像分割中的数据标注负担。根据医学影像专家的经验,纹理、光泽和平滑度等局部属性是识别医学图像中病变和息肉等目标对象的重要因素。基于此,我们提出了一种跨层次的对比学习方案,以提高半监督医学图像分割中局部特征的表达能力。与现有的图像,补丁明智和点明智的对比学习算法相比,我们设计的方法是能够探索更复杂的相似性线索,即全球和本地补丁明智的表示之间的关系特性。此外,为了充分利用跨层次的语义关系,我们设计了一种新的一致性约束,比较预测的补丁对那些完整的图像。在两个医学图像数据集上,通过跨层对比学习和一致性约束,可以有效地挖掘未标记数据,提高分割性能。我们的方法代码可用。
2022-02-13 cs.CV eess.IV
Self-supervised Remote Sensing Images Change Detection at Pixel-level
University of Trento(特伦托大学)
深度学习技术在遥感图像变化检测中取得了巨大的成功。它们中的大多数是监督技术,通常需要大量的训练数据,并且仅限于特定的应用。自监督方法作为一种无监督的方法,被广泛应用于无监督的二值变化检测任务中。然而,现有的自监督方法在变化检测是基于预任务或在补丁级别,这可能是次优的逐像素变化检测任务。因此,在这项工作中,提出了一种像素级对比的方法来克服这一限制。这是通过在未标记的多视图设置上使用像素级特征中的对比度损失来实现的。在这种方法中,Siamese ResUnet被训练来获得像素级表示,并从移位的正对中对齐特征。同时,在两个分支中使用矢量量化来增强学习的特征。通过从一个分支的特征中减去另一个分支的特征并使用Rosin阈值方法来获得最终的二进制变化图。为了克服二进制变化图中规则季节变化的影响,我们还使用了一种不确定性方法来增强所提出的方法的时间鲁棒性。两个同质(OSCD和MUDS)数据集和一个异构(加州洪水)数据集被用来评估所提出的方法的性能。结果表明,在效率和准确性的补丁明智的多视图对比方法的改进。
2021-10-08 cs.CV eess.IV
BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search
Monash University(莫纳什大学);Sun Yat-sen University(中山大学);DarkMatter AI Research(DarkMatter AI研究院);University of Oxford(牛津大学);Alibaba Group(阿里巴巴集团);RMIT University(皇家墨尔本理工大学)
最近在手工制作的视觉识别神经架构方面的无数突破突出了探索由多样化构建块组成的混合架构的迫切需要。与此同时,神经结构搜索方法正在激增,期望减少人类的努力。然而,NAS方法是否能够高效且有效地处理具有不同候选者(例如CNN和Transformers)的多样化搜索空间仍然是一个悬而未决的问题。在这项工作中,我们提出了块智能自监督神经架构搜索(BossNAS),一种无监督的NAS方法,解决了以前的方法中由于大的权重共享空间和有偏见的监督而导致的架构评级不准确的问题。更具体地说,我们分解成块的搜索空间,并利用一种新的自我监督的训练计划,命名为合奏自举,训练每个块单独搜索他们作为一个整体的人口中心。此外,我们提出了HyTra搜索空间,一个类似于织物的混合CNN变换器搜索空间,具有可搜索的下采样位置。在这个具有挑战性的搜索空间上,我们的搜索模型BossNet-T在ImageNet上的准确率高达82.5%,在计算时间相当的情况下超过EfficientNet 2.4%。此外,我们的方法在ImageNet的规范MBConv搜索空间和CIFAR-100的NATS-Bench大小搜索空间上分别实现了0.78和0.76 Spearman相关性的卓越架构评级准确性,超过了最先进的NAS方法。代码:https://github.com/changlin31/BossNAS
2021-08-19 cs.CV cs.LG
Mask2Restore: Self-Supervised Ultrasound Despeckling via Inpainting
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);The University of Hong Kong(香港大学)
针对超声斑点噪声的空间相关性,提出基于块状掩蔽修复的自监督去斑框架Mask2Restore,并引入跨分辨率正则化,在模拟和体内数据上改善斑点-细节权衡并保留解剖结构。
2026-09-29 cs.CV eess.IV
SimCVD: Simple Contrastive Voxel-Wise Representation Distillation for Semi-Supervised Medical Image Segmentation
Yale University(耶鲁大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
医学图像分析中的自动分割是一项具有挑战性的任务,需要大量的手动标记数据。然而,大多数现有的基于学习的方法通常遭受有限的手动标注的医学数据,这对准确和鲁棒的医学图像分割提出了一个主要的实际问题。此外,现有的半监督分割方法与有监督分割方法相比,鲁棒性较差,且缺乏对图像几何结构和语义信息的明确建模,这两方面都限制了分割的准确性。在这项工作中,我们提出了SimCVD,一个简单的对比蒸馏框架,显着推进国家的最先进的体素明智的表示学习。我们首先描述了一种无监督训练策略,该策略采用输入体积的两个视图,并预测它们在对比目标中的对象边界的符号距离图,只有两个独立的dropout作为掩码。这种简单的方法工作得非常好,与以前的完全监督方法具有相同的水平,标记数据少得多。我们假设dropout可以被视为一种最小形式的数据增强,并使网络对表示坍塌具有鲁棒性。然后,我们建议通过提取成对相似性来进行结构蒸馏。我们在两个流行的数据集上评估SimCVD:左心房分割挑战(LA)和NIH胰腺CT数据集。LA数据集上的结果表明,在两种类型的标记比率(即,SimCVD的平均Dice评分分别为90.85%和89.03%,与之前的最佳结果相比分别提高了0.91%和2.22%。我们的方法可以以端到端的方式进行训练,显示出利用SimCVD作为下游任务(如医学图像合成,增强和配准)的通用框架的前景。
2022-03-21 cs.AI cs.CV cs.LG
NFANet: A Novel Method for Weakly Supervised Water Extraction from High-Resolution Remote Sensing Imagery
Hunan University(湖南大学);State Key Laboratory of Integrated Services Networks, Xidian University(西安电子科技大学综合业务网理论及关键技术国家重点实验室);Peng Cheng Laboratory(鹏城实验室);Australian National University(澳大利亚国立大学);University of Macau(澳门大学);Sichuan University(四川大学);Helmholtz-Zentrum Dresden-Rossendorf(亥姆霍兹德累斯顿-罗森多夫研究中心);Helmholtz Institute Freiberg for Resource Technology(亥姆霍兹弗莱贝格资源技术研究所)
使用深度学习进行水提取需要精确的像素级标签。然而,在像元级别上对高分辨率遥感图像进行标注是非常困难的。因此,我们研究如何利用点标签提取水体,并提出了一种新的方法称为邻居特征聚合网络(NFANet)。与像素级标签相比,点标签更容易获取,但会丢失大量信息。本文利用局部水体相邻像元之间的相似性,提出了一种邻域采样器对遥感图像进行重采样。然后,将采样的图像发送到网络进行特征聚合。此外,我们使用了一种改进的递归训练算法,进一步提高了提取精度,使水体边界更加自然。此外,我们的方法利用相邻的功能,而不是全局或局部功能,以学习更多的代表性的功能。实验结果表明,所提出的NFANet方法不仅优于其他研究的弱监督方法,但也获得了类似的结果,最先进的。
2022-01-10 cs.CV cs.LG
Tag, Copy or Predict: A Unified Weakly-Supervised Learning Framework for Visual Information Extraction using Sequences
South China University of Technology(华南理工大学);Guangdong Artificial Intelligence and Digital Economy Laboratory (Pazhou Lab)(广东人工智能与数字经济实验室(琶洲实验室));IntSig Information Co., Ltd(合合信息科技股份有限公司)
视觉信息抽取(VIE)近年来受到越来越多的关注。现有的方法通常首先将光学字符识别(OCR)结果组织成纯文本,然后利用标记级实体注释作为监督来训练序列标记模型。然而,它花费了大量的注释成本,并可能暴露于标签混淆,OCR错误也会显着影响最终的性能。本文提出了一个统一的弱监督学习框架TCPN(标记、复制或预测网络),其引入1)高效编码器以同时对2D OCR结果中的语义和布局信息进行建模; 2)仅利用关键信息序列作为监督的弱监督训练策略;以及3)灵活且可切换的解码器,其包含两种推理模式:一种(复制或预测模式)是通过从输入中复制一个标记或在每个时间步中预测一个标记来输出不同类别的关键信息序列,另一种(标记模式)是在单次向前传递中直接标记输入序列。我们的方法在几个公共基准测试中显示了新的最先进的性能,这充分证明了它的有效性。
2021-06-20 cs.AI cs.CV cs.IR