Large-Scale Product Retrieval with Weakly Supervised Representation Learning
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(讯飞-萨里人工智能联合研究中心)
大规模弱监督产品检索是一个实用但计算上具有挑战性的问题。本文介绍了在CVPR 2022的第九届细粒度视觉分类研讨会(FGVC 9)上举行的eBay视觉搜索挑战赛(eProduct)的新解决方案。这种竞争提出了两个挑战:(a)电子商务是一个非常细粒度的领域,包括许多具有细微视觉差异的产品;(b)缺乏用于模型训练的目标实例级标签,只有粗略的类别标签和产品标题可用。为了克服这些障碍,我们制定了一个强大的解决方案,通过一组专门的设计:(a)而不是直接使用文本训练数据,我们从产品标题中挖掘出数千个伪属性,并将它们用作多标签分类的基本事实。(b)我们将几个强大的骨干与先进的训练配方,更有区别的表示学习。(c)我们进一步介绍了一些后处理技术,包括白化,重新排序和模型集成检索增强。通过实现71.53%MAR,我们的解决方案“Involution King”在排行榜上排名第二。
2022-08-01 cs.CV
Collecting Consistently High Quality Object Tracks with Minimal Human Involvement by Using Self-Supervised Learning to Detect Tracker Errors
University of Colorado Boulder(科罗拉多大学博尔德分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta FAIR)
本文提出一种结合自监督学习与少量人工介入的混合跟踪框架,通过自动检测跟踪器失败并触发人工重定位,在三个数据集上验证了对小目标、快速运动及遮挡目标的跟踪优势。
2024-05-06 cs.CV
FUSSL: Fuzzy Uncertain Self Supervised Learning
West Virginia University(西弗吉尼亚大学)
自监督学习(SSL)已经成为一种非常成功的技术,可以利用未标记数据的力量,而无需注释。一些成熟的方法正在发展,目标是超越相对成功的监督替代方法。SSL中的一个主要问题是在不同设置下方法的鲁棒性。在本文中,我们第一次认识到SSL的基本限制来自使用单一的监督信号。为了解决这个问题,我们利用不确定性表示的力量,为任何SSL基线设计一个强大的和通用的标准分层学习/训练协议,无论他们的假设和方法。从本质上讲,使用信息瓶颈原理,我们将特征学习分解为两个阶段的训练过程,每个阶段都有一个不同的监督信号。这种双重监督方法分为两个关键步骤:1)对数据增强的不变性强制,以及2)模糊伪标记(硬注释和软注释)。这种简单而有效的协议,使跨类/集群特征学习,是通过初始训练的整体模型,通过不变性强制数据增强作为第一训练阶段,然后分配模糊标签的原始样本的第二训练阶段实例化。我们考虑多个替代方案与双重监督和评估我们的方法对最近的基线的有效性,涵盖四个不同的SSL范例,包括几何,对比,非对比,和硬/软白化(冗余减少)基线。在多种设置下的大量实验表明,所提出的训练协议一致地提高了以前的基线的性能,独立于它们各自的基本原则。
2022-10-28 cs.CV cs.LG
GUESS: Generative Uncertainty Ensemble for Self Supervision
West Virginia University(西弗吉尼亚大学)
针对自监督学习中确定性增强不变性可能损害下游性能的问题,提出GUESS伪白化框架,通过数据派生不确定性与多失真集成实现更鲁棒的表示学习。
2024-12-03 cs.CV cs.LG
Robust Human Trajectory Prediction via Self-Supervised Skeleton Representation Learning
Chiba University(千叶大学)
本文提出一种基于自监督学习的鲁棒人体轨迹预测方法,通过预训练的骨骼表示模型提升在遮挡环境下预测的鲁棒性和准确性。
2026-02-26 cs.CV
RealMonoDepth: Self-Supervised Monocular Depth Estimation for General Scenes
University of Surrey(萨里大学)
我们提出了一种广义的自监督学习方法,用于在1- 100米的不同深度范围内对场景的真实深度进行单目估计。用于单目深度估计的现有监督方法需要精确的深度测量用于训练。这种限制导致引入了自监督方法,该方法在具有固定相机基线的立体图像对上进行训练,以估计视差,该视差在给定已知校准的情况下被变换为深度。自我监督的方法已经证明了令人印象深刻的结果,但并没有推广到具有不同深度范围或相机基线的场景。在本文中,我们介绍了RealMonoDepth一个自我监督的单目深度估计方法,学习估计真实场景深度的各种室内和室外场景。提出了一种新的基于相对深度缩放和扭曲的场景真实深度损失函数。这允许具有多个数据集的单个网络的自我监督训练,用于具有来自立体对和野生移动相机数据集的不同深度范围的场景。对五个基准数据集的全面性能评估表明,RealMonoDepth提供了一个经过训练的网络,可以在室内和室外场景中进行深度估计,始终优于以前的自监督方法。
2020-04-14 cs.CV
Efficient Self-Supervised Adaptation for Medical Image Analysis
KTH Royal Institute of Technology(皇家理工学院);Science for Life Laboratory(生命科学实验室)
本文提出 ESSA 框架,将参数高效微调用于医学图像的自监督适配,其中 APLA 在多任务上超越全参数 SSA 与有监督微调,并显著降低显存、提升吞吐。
2025-09-27 cs.CV
Self-supervised Learning for Panoptic Segmentation of Multiple Fruit Flower Species
Marquette University(马凯特大学);United States Department of Agriculture (USDA)(美国农业部);University of Florida(佛罗里达大学)
使用手动生成的标签训练的卷积神经网络通常用于语义或实例分割。在精准农业中,自动化花卉检测方法使用监督模型和后处理技术,这些技术可能不会随着花卉的外观和数据采集条件的变化而一致地执行。我们提出了一个自监督学习策略,以提高分割模型的敏感性,不同的花卉品种使用自动生成的伪标签。我们采用了数据增强和细化的方法来提高模型预测的准确性。然后将增强的语义预测转换为全景伪标签以迭代地训练多任务模型。可以使用现有的后处理方法来改进自监督模型预测,以进一步提高其准确性。对多物种果树花数据集的评估表明,我们的方法优于最先进的模型,无需计算昂贵的后处理步骤,为花检测应用提供了新的基线。
2022-09-10 cs.CV
Towards Self-supervised and Weight-preserving Neural Architecture Search
University of Electronic Science and Technology of China(电子科技大学);Zhejiang University(浙江大学);SenseTime Research(商汤科技研究院)
神经结构搜索(NAS)算法节省了人类专家的大量劳动。最近的进步进一步降低了计算开销到一个负担得起的水平。然而,由于繁琐的过程和监督学习范例,在现实世界的应用中部署NAS技术仍然很麻烦。在这项工作中,我们提出了自我监督和权重保持神经架构搜索(SSWP-NAS)作为当前NAS框架的扩展,允许自我监督和保留伴随的权重在搜索阶段发现。因此,我们将NAS的工作流程简化为一个阶段和无代理程序。实验表明,该框架搜索的架构在CIFAR-10,CIFAR-100和ImageNet数据集上达到了最先进的准确性,而无需使用手动标签。此外,我们表明,采用伴随的权重作为初始化一致优于随机初始化和两阶段的权重预训练方法的明确保证金下半监督学习的情况下。代码可在https://github.com/LzVv123456/SSWP-NAS上公开获取。
2022-06-08 cs.CV
ESL: Entropy-guided Self-supervised Learning for Domain Adaptation in Semantic Segmentation
Sorbonne University(索邦大学)
虽然全监督深度学习为城市场景语义分割提供了良好的模型,但这些模型很难推广到具有不同照明或天气条件的新环境。此外,生成任务所需的大量像素级注释的成本很高。无监督领域自适应(UDA)是一种尝试解决这些问题的方法,以使这样的系统更具可扩展性。特别是,自监督学习(SSL)最近已成为一个有效的策略,UDA在语义分割。这种方法的核心是“伪标签”,即为目标数据分配高置信度类别预测作为伪标签,随后用作真标签的做法。为了收集伪标签,以前的作品通常依赖于最高的softmax分数,我们在这里认为这是一个不利的置信度测量。在这项工作中,我们提出了熵引导的自监督学习(ESL),利用熵作为置信度指标,以产生更准确的伪标签。在不同的UDA基准测试中,ESL始终优于强大的SSL基线,并实现了最先进的结果。
2020-06-15 cs.CV
Weakly-supervised Representation Learning for Video Alignment and Analysis
Verily Research(Verily研究院)
视频分析和理解中的许多任务归结为需要基于帧的特征学习,旨在封装相关的视觉内容,以便实现更简单,更容易的后续处理。虽然可以设想这种学习任务的监督策略,但由于难以获得标记数据,自我和弱监督的替代方案是首选。本文介绍了LRProp --一种新的弱监督表示学习方法,重点介绍了同一动作类别的视频对之间的时间对齐的应用。该方法使用一个Transformer编码器提取帧级特征,并采用DTW算法的训练迭代,以确定视频对之间的对齐路径。通过称为“成对位置传播”的过程,每个位置的这些对应的概率分布通过KL发散最小化与帧级特征的相似性相匹配。该算法还使用了正则化的SoftDTW损失,以更好地调整学习的功能。我们新颖的表示学习范例在时间对齐任务上始终优于最先进的技术,在几个下游视频分析应用中建立了新的性能标准。
2023-02-08 cs.CV
Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction
Forschungszentrum Jülich(于利希研究中心);Jülich Supercomputing Centre (JSC)(于利希超级计算中心)
针对增强式自监督学习偏重不变特征、忽视等变特征的问题,本文引入无额外参数的交叉注意力图像重构辅助任务,在3DIEBench和ImageNet上显著提升等变表示及下游性能。
2024-12-04 cs.CV
SPot-the-Difference Self-Supervised Pre-training for Anomaly Detection and Segmentation
AWS AI Labs(亚马逊云科技人工智能实验室);KAIST(韩国科学技术院)
视觉异常检测是工业质量检测中常用的方法。在本文中,我们提出了一个新的数据集以及一种新的用于ImageNet预训练的自监督学习方法,以改进1类和2类5/10/high-shot训练设置中的异常检测和分割。我们发布了视觉异常(VisA)数据集,由10,821张高分辨率彩色图像(9,621个正常样本和1,200个异常样本)组成,涵盖3个领域的12个对象,使其成为迄今为止最大的工业异常检测数据集。提供图像和像素级标签。我们还提出了一个新的自监督框架- SPot-the-difference(SPD)-它可以正则化对比自监督预训练,如SimSiam,MoCo和Simplified,以更适合异常检测任务。我们在VisA和MVTec-AD数据集上的实验表明,SPD持续改善了这些对比预训练基线,甚至是监督预训练。例如,SPD在2类高激发方案中将异常分割的精确-召回曲线下的面积(AU-PR)分别比SimSiam和监督预训练提高了5.9%和6.8%。我们在http://github.com/amazon-research/spot-diff上开源了这个项目。
2022-07-28 cs.CV
Improved Noise and Attack Robustness for Semantic Segmentation by Using Multi-Task Training with Self-Supervised Depth Estimation
Technische Universität Braunschweig(布伦瑞克工业大学)
虽然当前的神经网络训练方法通常旨在提高性能,但较少关注针对不同噪声条件或对抗性示例的定向攻击的鲁棒性的训练方法。在本文中,我们建议通过多任务训练来提高鲁棒性,该训练通过对未标记视频的自监督单目深度估计来扩展监督语义分割。这个额外的任务仅在训练期间执行,以在若干输入扰动下在测试时提高语义分割模型的鲁棒性。此外,我们甚至发现,我们的联合训练方法也提高了模型在原始(监督)语义分割任务上的性能。我们的评估表现出一种特别的新颖性,因为它允许相互比较输入噪声和对抗攻击对语义分割的鲁棒性的影响。我们在Cityscapes数据集上展示了我们的方法的有效性,其中我们的多任务训练方法在鲁棒性与噪声和对抗攻击方面始终优于单任务语义分割基线,而无需在训练中使用深度标签。
2020-04-23 cs.CV
CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning
Johns Hopkins University(约翰斯·霍普金斯大学);Google Cloud AI(谷歌云人工智能)
基于类不平衡数据的半监督学习是一个现实问题,但一直处于研究阶段。虽然已知现有的半监督学习(SSL)方法在少数类上表现不佳,但我们发现它们仍然在少数类上生成高精度的伪标签。通过利用这个属性,在这项工作中,我们提出了类重新平衡自我训练(CReST),一个简单而有效的框架,以改善现有的SSL方法类不平衡的数据。CReST迭代地重新训练基线SSL模型,其中通过从未标记集合添加伪标记样本来扩展标记集合,其中根据估计的类分布更频繁地选择来自少数类的伪标记样本。我们还提出了一个渐进的分布调整,自适应地调整被称为CReST+的再平衡强度。我们表明,CReST和CReST+改进了各种类不平衡数据集上的最先进的SSL算法,并且始终优于其他流行的重新平衡方法。代码已在https://github.com/google-research/crest上提供。
2021-06-17 cs.CV
Self-Supervised Deep Visual Odometry with Online Adaptation
Peking University(北京大学);PKU-SenseTime Machine Vision Joint Lab(北京大学-商汤科技机器视觉联合实验室)
自监督VO方法在从视频中联合估计相机姿态和深度方面取得了巨大成功。然而,与大多数数据驱动方法一样,现有的VO网络在面对与训练数据不同的场景时性能会显着下降,这使得它们不适合实际应用。在本文中,我们提出了一种在线Meta学习算法,使VO网络不断适应新的环境中的自我监督的方式。该方法利用卷积长短期记忆(convLSTM)来聚合过去丰富的时空信息。该网络能够记忆和学习其过去的经验,以更好地估计和快速适应当前帧。在开放环境下运行虚拟现实时,为了适应不断变化的环境,我们提出了一种在线特征对齐方法,通过对齐不同时刻的特征分布来实现。我们的VO网络能够无缝适应不同的环境。在看不见的室外场景,虚拟到现实世界和室外到室内环境中进行的大量实验表明,我们的方法始终优于最先进的自监督VO基线。
2020-05-13 cs.CV
Self-Supervised Visual Prompting for Cross-Domain Road Damage Detection
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Cornell University(康奈尔大学);Yale University(耶鲁大学);University of California Irvine(加州大学伊万哥罗市分校);Brown University(布朗大学);Oak Ridge National Laboratory(橡树岭国家实验室)
针对跨域道路损伤检测中域偏移问题,提出自监督框架\textbf{\textit{PROBE}},通过SPEM模块和DAPA目标实现零样本迁移、增强域鲁棒性,在四个基准上优于现有方法,为自适应视觉检测提供新方向。
2025-11-16 cs.CV
OP-Align: Object-level and Part-level Alignment for Self-supervised Category-level Articulated Object Pose Estimation
Tokyo Institute of Technology, Tokyo, Japan(东京技术大学);Accenture Japan Ltd, Tokyo, Japan(Accenture日本有限公司)
OP-Align通过单帧点云实现自监督类别级 articulated 对象姿态估计,通过对象级和部分级对齐提升姿态估计性能。
2025-12-04 cs.CV
JEPADepth: Masked Predictive Representation Learning for Self-Supervised Monocular Depth Estimation
Politehnica University of Timișoara(蒂米什瓦拉理工大学)
本文提出JEPADepth框架,结合I-JEPA的掩码预测损失优化自监督单目深度估计,在KITTI、Make3D等数据集上实现性能提升,且推理无额外成本。
2026-07-30 cs.CV
Fine-Grained Object Classification via Self-Supervised Pose Alignment
Peng Cheng Laboratory(鹏城实验室);South China University of Technology(华南理工大学);China Communication and Computer Network Laboratory of Guangdong(广东中国通信与计算机网络实验室)
细粒度对象的语义模式是由局部对象细微的外观差异决定的,这就激发了许多基于局部的方法。然而,由于不可控的对象在图像中的姿势,独特的细节所携带的局部区域可以是空间分布的,甚至自遮挡,导致对象表示的变化很大。为了减少姿态变化,本文提出学习一种新的基于图的对象表示,以揭示局部部分的全局配置,用于跨类的自监督姿态对齐,其被用作深度表示学习网络上的辅助特征正则化。一个粗到细的监督,连同建议的姿势不敏感的约束,从浅到深的子,网络以课程学习的方式鼓励区别特征。我们在三个流行的细粒度对象分类基准上评估我们的方法,始终达到最先进的性能。源代码可在https://github.com/yangxh11/P2P-Net上获得。
2022-03-30 cs.CV
Self-supervised Pre-training with Masked Shape Prediction for 3D Scene Understanding
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CUHK(香港中文大学)
本文提出掩码形状预测(MSP)框架,利用几何形状作为预测目标进行三维场景自监督预训练,并通过上下文增强目标与架构设计缓解形状泄漏,在室内外数据集上有效提升下游任务性能。
2023-05-08 cs.CV
NeRF-SOS: Any-View Self-supervised Object Segmentation on Complex Scenes
University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经体积表示已经表明,多层感知机(MLP)可以通过多视图校准图像进行优化,以表示场景几何形状和外观,而无需显式3D监督。基于学习的辐射场,对象分割可以丰富许多下游应用。然而,引入手工制作的分割来定义复杂的真实世界场景中的感兴趣区域是不平凡的和昂贵的,因为它需要每个视图注释。针对复杂的真实场景,利用NeRF进行了自监督学习的目标分割探索。我们的框架,称为NeRF与自监督对象分割NeRF-SOS,耦合对象分割和神经辐射场分割对象在场景内的任何视图。通过在外观和几何级别提出一种新的协作对比损失,NeRF-SOS鼓励NeRF模型从其密度场和自监督预训练的2D视觉特征中提取紧凑的几何感知分割集群。自监督对象分割框架可以应用于各种NeRF模型,这些模型可以为室内和室外场景提供照片般逼真的渲染结果和令人信服的分割图。LLFF、Tank & Temple和BlendedMVS数据集上的大量结果验证了NeRF-SOS的有效性。它始终优于其他基于2D的自监督基线,并预测比现有监督同行更精细的语义掩码。请参阅我们项目页面上的视频了解更多详情:https://zhiwenfan.github.io/NeRF-SOS。
2022-10-12 cs.CV
Self-Supervised Visual Representation Learning: Pretrain-Finetuning or Joint Training?
University of Kentucky(肯塔基大学);Kentucky Geological Survey(肯塔基地质调查局)
研究自监督视觉表征学习中预训练-微调与联合训练两种范式,通过在多种任务及不同标记数据比例下评估性能,发现JT在低标记时提高效率且稳健,PFT在专业领域更可靠,为混合自监督半监督学习提供基准和指导。
2026-07-16 cs.CV
Soft Self-labeling and Potts Relaxations for Weakly-Supervised Segmentation
University of Waterloo(滑铁卢大学)
本文针对涂鸦级弱监督分割提出软自标注方法,通过引入可表示类别不确定性的软伪标签、有原则的辅助损失及通用连续子问题求解器,仅用标准架构即显著超越复杂专用WSSS系统,甚至优于全像素精确监督。
2025-07-02 cs.CV
Scene-Agnostic Traversability Labeling and Estimation via a Multimodal Self-supervised Framework
针对现有自监督可通行性估计方法难以捕捉不可通行区域特征、忽略多模态互补性的问题,提出多模态自监督框架,通过整合多源数据生成标签并训练双流网络,提升了估计鲁棒性,标注方法IoU达88%,较现有方法提升1.6-3.5%。
2025-08-25 cs.CV cs.RO
Why Prototypes Collapse: Diagnosing and Preventing Partial Collapse in Prototypical Self-Supervised Learning
University of Oslo(奥斯陆大学);UiT The Arctic University of Norway(挪威北极大学);University of Campinas(坎皮纳斯大学)
本文提出了一种解耦训练策略,通过独立优化编码器和原型,防止原型自监督学习中的部分崩溃问题,从而提升表示多样性和下游任务性能。
2026-02-12 cs.CV cs.LG
Rethinking Self-Supervised Learning: Small is Beautiful
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
自监督学习,特别是对比学习,近年来取得了很大的进展。然而,这些方法中的一个共同主题是它们继承了来自监督式深度学习场景的学习范式。目前的SSL方法通常在使用高分辨率图像的大规模数据集上预训练多个epoch,这带来了沉重的计算成本并且缺乏灵活性。在本文中,我们证明了SSL的学习范式应该是不同的监督学习和信息编码的对比损失预计将远远小于编码的标签在监督学习通过交叉熵损失。因此,我们提出了缩小的自监督学习(S3L),它包括3个部分:小分辨率,小架构和小数据。在一组不同的数据集,SSL方法和骨干架构上,与以前的SSL学习范式相比,S3L以更低的训练成本实现了更高的准确性。此外,我们表明,即使没有大型预训练数据集,S3L也可以在小数据上取得令人印象深刻的结果。我们的代码已在https://github.com/CupidJay/Scaled-down-self-supervised-learning上公开。
2021-03-25 cs.CV cs.LG
Monocular Depth Estimation with Self-supervised Instance Adaptation
University of Oxford(牛津大学)
自监督学习的最新进展表明,可以从原始视频数据中学习精确的单目深度重建,而无需使用任何3D地面实况进行监督。然而,在机器人应用中,场景的多个视图可能可用或不可用,这取决于机器人的动作,在单目和多视图重建之间切换。为了解决这种混合设置,我们提出了一种新的方法,扩展了任何现成的自我监督单目深度重建系统,在测试时使用多个图像。我们的方法建立在一个标准的先验学习来执行单目重建,但在测试时使用自我监督,以进一步提高重建精度时,多个图像是可用的。当用于更新模型的正确组件,这种方法是非常有效的。在标准KITTI基准上,我们的自监督方法始终优于所有以前的方法,对于三种常见设置(单眼,立体和单眼+立体),绝对误差平均减少25%,并且与完全监督的最先进方法相比,准确性非常接近。
2020-04-13 cs.CV cs.LG
Dual Invariance Self-training for Reliable Semi-supervised Surgical Phase Recognition
Institute of Information Technology (ITEC), University of Klagenfurt(克拉根福大学信息技术研究所(ITEC));Center for AI in Medicine, University of Bern(伯尔尼大学医学人工智能中心)
针对手术阶段识别中标注数据稀缺且伪标签评估不可靠的问题,提出结合时间与变换不变性的半监督框架DIST,通过动态选择可靠伪标签优化决策边界,在多个数据集上超越现有方法。
2025-01-29 cs.CV eess.IV
Concurrent Discrimination and Alignment for Self-Supervised Feature Learning
University of Exeter(埃克塞特大学);University of Tübingen(蒂宾根大学)
现有的自监督学习方法通过托词任务来学习表征,所述托词任务或者是(1)明确指定哪些特征应该被分离的区分任务,或者是(2)精确指示哪些特征应该被闭合在一起的对齐任务,但是忽略了如何联合地并且原则性地定义哪些特征应该被排斥以及哪些特征应该被吸引的事实。在这项工作中,我们结合了积极的方面的歧视和对齐的方法,并设计了一个混合的方法,解决了上述问题。我们的方法明确规定了排斥和吸引机制分别通过判别预测任务和并发最大化共享冗余信息的成对视图之间的互信息。我们定性和定量地表明,我们提出的模型学习更好的功能,更有效的各种下游任务,从分类到语义分割。我们在九个已建立的基准测试上的实验表明,该模型始终优于现有的最先进的自监督和迁移学习协议的结果。
2021-08-19 cs.CV cs.LG
Self-Supervised Pretraining Improves Performance and Inference Efficiency in Multiple Lung Ultrasound Interpretation Tasks
University of Waterloo(滑铁卢大学)
本研究验证了自监督预训练能提升多任务肺部超声分类的AUC并显著降低推理时间,尤其在低标签场景下优势明显。
2023-09-05 cs.CV cs.LG
Curriculum-Driven 3D CT Report Generation via Language-Free Visual Grafting and Zone-Constrained Compression
Center for Applied Artificial Intelligence, University of Kentucky(应用人工智能中心,肯塔基大学)
本文提出Ker-VLJEPA-3B框架,通过四阶段课程学习生成胸腔CT报告,采用无语言视觉主干和区域约束压缩提升生成质量,实验显示其在CT-RATE基准上取得更高F1分数。
2026-03-24 cs.AI cs.CV
Leveraging Label Proportion Prior for Class-Imbalanced Semi-Supervised Learning
Kyushu University, Fukuoka, Japan(九州大学)
本文提出比例损失用于半监督学习,以缓解类别不平衡问题,在长尾CIFAR-10数据集上验证了其有效性。
2026-03-03 cs.CV cs.LG
Subspace Clustering on Incomplete Data with Self-Supervised Contrastive Learning
Department of Electrical Engineering, Biostatistics(电气工程与生物统计学系);Wisconsin Institute of Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出对比子空间聚类(CSC)方法,通过自监督对比学习处理不完整数据,实现鲁棒的子空间聚类。
2026-01-30 cs.AI cs.CV
Bridging Diversity and Uncertainty in Active learning with Self-Supervised Pre-Training
ETH Zürich(苏黎世联邦理工学院)
本研究针对主动学习中多样性与不确定性采样策略的整合问题,提出TCM启发式方法,结合TypiClust多样性采样与Margin不确定性采样,缓解冷启动问题,在多数据集高低数据量场景下均优于现有方法。
2025-01-17 cs.AI cs.CV cs.LG
A Lightweight Medical Image Classification Framework via Self-Supervised Contrastive Learning and Quantum-Enhanced Feature Modeling
The Second Clinical Medical College, Nanjing Medical University(南京医科大学第二临床医学院)
本文提出一种结合自监督对比学习和量子增强特征建模的轻量级医学图像分类框架,通过MobileNetV2和量子电路实现高效模型,实验表明其在性能上优于传统方法。
2026-01-23 cs.CV cs.LG
AlphaMatch: Improving Consistency for Semi-supervised Learning with Alpha-divergence
University of Texas Austin(德克萨斯大学奥斯汀分校)
半监督学习(SSL)是通过联合利用标记和未标记数据来实现更高效的机器学习的关键方法。我们提出了AlphaMatch,一个有效的SSL方法,利用数据增强,通过有效地执行标签之间的一致性的数据点和增强的数据来自他们。我们的主要技术贡献在于:1)使用alpha-发散度来优先考虑高置信度数据的正则化,实现与FixMatch相似的效果,但以更灵活的方式,以及2)提出一种基于优化的EM算法来加强一致性,该算法比最近SSL方法(如FixMatch,UDA和MixMatch)中使用的迭代正则化程序具有更好的收敛性。AlphaMatch简单且易于实现,并且在标准基准测试中始终优于现有技术,例如CIFAR-10,SVHN,CIFAR-100,STL-10。具体来说,我们在CIFAR-10上实现了91.3%的测试准确率,每个类别只有4个标记数据,大大提高了FixMatch之前最好的88.7%的准确率。
2020-11-23 cs.CV cs.LG
Adversarial Masking for Self-Supervised Learning
University of Oxford(牛津大学);The University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维)
我们提出了ADIOS,一个用于自监督学习的掩蔽图像模型(MIM)框架,它同时学习掩蔽函数和使用对抗目标的图像编码器。训练图像编码器以最小化原始图像的表示与掩蔽图像的表示之间的距离。相反,掩蔽函数的目的是最大化该距离。ADIOS在各种任务和数据集上不断改进最先进的自监督学习(SSL)方法-包括ImageNet 100和STL 10上的分类,CIFAR 10/100、Flowers 102和iNaturalist上的迁移学习,以及在背景挑战上评估的鲁棒性(Xiao et al.,2021)--同时生成语义上有意义的掩码。与MAE、BEiT和iBOT等现代MIM模型不同,ADIOS不依赖于视觉Transformer的图像补丁标记化构造,并且可以使用卷积骨干实现。我们进一步证明了ADIOS学习的掩码在改进SSL方法的表示学习方面比流行的MIM模型中使用的掩码方案更有效。代码可在https://github.com/YugeTen/adios上获得。
2022-07-06 cs.CV cs.LG
Contextual Classification Using Self-Supervised Auxiliary Models for Deep Neural Networks
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);TU Kaiserslautern(凯泽斯劳滕工业大学)
用深度神经网络(DNN)解决的分类问题通常依赖于封闭世界范例,并且在单个目标(例如,交叉熵损失的最小化)。这种设置忽略了所有可以用来强化特定模式存在或不存在的支持信号。对可通过设计解释的模型的日益增长的需求使得包含所述上下文信号成为至关重要的必要性。为此,我们引入了自监督自学习(SSAL)模型的概念。SSAL目标是通过一个或多个额外的目标来实现的,这些目标来自原始的监督分类任务,遵循多任务学习中的架构原则。SSAL分支将低级先验强加到优化过程中(例如,分组)。在推理过程中使用SSAL分支的能力使模型能够更快地收敛,专注于更丰富的类相关特征集。我们表明,SSAL模型始终优于国家的最先进的,同时也提供结构化的预测,更可解释的。
2021-01-07 cs.CV cs.LG
Self-Supervised Learning with Generative Adversarial Networks for Electron Microscopy
Forschungszentrum Jülich GmbH(于利希研究中心);RWTH Aachen University(亚琛工业大学)
本文探索了生成对抗网络在电子显微镜数据上的自监督预训练,证明其能提升多种下游任务性能,低复杂度微调模型优于高复杂度随机初始化模型,尤其在标注数据有限时优势显著。
2024-07-18 cond-mat.mtrl-sci cs.AI cs.CV
Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?
DeepMind(深度思维);Twitter Cortex(推特科泰克斯)
尽管自监督方法最近在残差网络的表示学习方面取得了进展,但它们在ImageNet分类基准上的表现仍然低于监督学习,限制了它们在性能关键设置中的适用性。基于来自ReLIC的先前理论见解[Mitrovic等人,2021],我们将额外的归纳偏差纳入自监督学习。我们提出了一种新的自我监督的表示学习方法,ReLICv 2,它结合了一个明确的不变性损失与对比的目标,在一组不同的适当构造的数据视图,以避免学习虚假的相关性,并获得更多的信息表示。在ResNet 50上进行线性评估时,ReLICv 2在ImageNet上实现了$77.1\%$ top- $1$精度,从而通过绝对$+1.5\%$改进了先前的最先进技术;在更大的ResNet模型上,ReLICv 2实现了高达$80.6\%$的性能,优于先前的自监督方法,其裕度高达$+2.3\%$。最值得注意的是,ReLICv 2是第一个无监督的表示学习方法,在一系列ResNet架构的同类比较中始终优于监督基线。使用ReLICv 2,我们还学习了更强大和可转移的表示,这些表示比以前的工作更好地概括了分布,无论是在图像分类还是语义分割方面。最后,我们表明,尽管使用ResNet编码器,ReLICv 2与最先进的自监督Vision Transformers相当。
2022-11-03 cs.CV cs.LG stat.ML
Masked Self-Supervised Pre-Training for Text Recognition Transformers on Large-Scale Datasets
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院)
本文提出掩码自监督预训练方法,通过逐步增加掩码概率并改进损失函数,在5000万未标注文本行上预训练文本识别Transformer,显著降低字符错误率(最高相对降低30%),性能与迁移学习相当且无需额外标注数据。
2025-03-28 cs.AI cs.CV cs.LG
On Pretraining Data Diversity for Self-Supervised Learning
KAUST(阿卜杜拉国王科技大学);University of Oxford(牛津大学)
本文研究在固定计算预算下,增加预训练数据多样性对自监督学习性能的影响,发现仅当分布距离极小时提升有效,且分布偏移仍是挑战,实验涵盖七种方法及大规模数据集。
2024-07-18 cs.AI cs.CV cs.LG
Self-supervised Learning is More Robust to Dataset Imbalance
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究所)
自监督学习(SSL)是一种学习一般视觉表示的可扩展方式,因为它在没有标签的情况下学习。然而,大规模的未标记数据集通常具有长尾标签分布,我们对SSL的行为知之甚少。在这项工作中,我们系统地研究了数据集不平衡下的自监督学习。首先,我们通过大量的实验发现,现成的自监督表示已经比监督表示对类不平衡更鲁棒。在不同样本量下,使用SSL的平衡和不平衡预训练之间的性能差距明显小于使用监督学习的差距,无论是域内还是域外评估。其次,为了理解SSL的鲁棒性,我们假设SSL从频繁数据中学习更丰富的特征:它可以学习与标签无关但可转移的特征,这些特征有助于对稀有类和下游任务进行分类。相反,监督学习没有动机从频繁的例子中学习与标签无关的特征。我们验证了这一假设与半合成实验和理论分析的简化设置。第三,受理论见解的启发,我们设计了一种重新加权的正则化技术,该技术通过几个评估标准不断提高不平衡数据集上的SSL表示质量,用相同数量的例子缩小平衡和不平衡数据集之间的差距。
2022-05-22 cs.CV cs.LG stat.ML
Leveraging Self-supervised Denoising for Image Segmentation
Center for Systems Biology Dresden (CSBD)(德累斯顿系统生物学中心);Max-Planck Institute of Molecular Cell Biology and Genetics(马克斯·普朗克分子细胞生物学与遗传学研究所)
深度学习(DL)可以说是显微图像中生物结构检测和分割的首选方法。然而,深度学习通常需要大量的带注释的训练数据,而这些数据对于生物医学项目来说通常是不可用的,而且生成起来过于昂贵。此外,在存在噪声的情况下,任务变得更加困难,需要更多高质量的训练数据。因此,我们建议使用去噪网络来提高其他基于DL的图像分割方法的性能。更具体地说,我们提出了关于最先进的自监督CARE网络如何改善显微镜数据中的细胞/细胞核分割的想法。使用两种最先进的基线方法,U-Net和StarDist,我们证明了我们的想法始终提高了分割的质量,特别是当只有有限的噪声显微照片的训练数据可用时。
2020-03-19 cs.CV cs.LG eess.IV
On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning
University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
自监督学习(SSL)已成为深度学习研究中非常活跃的领域,它被大量用作分类和其他任务的预训练方法。然而,这一领域的快速发展是有代价的:不同论文的培训渠道差异很大,这是一个潜在的关键混淆因素。在这里,我们表明,超参数和数据增强策略的选择确实会对性能产生巨大影响。为了揭示这些被忽视的因素并帮助最大限度地发挥SSL的功能,我们对这些组件进行了超参数化,并使用贝叶斯优化对其进行了优化,显示了SimSiam SSL方法在多个数据集上的改进。意识到数据增强对SSL的重要性,我们还引入了一个新的自动化数据增强算法GroupAugment,它考虑了增强组并优化了组间的采样。与为监督学习设计的算法相比,GroupAugment在我们考虑的所有数据集上都实现了一致的高线性评估精度。总体而言,我们的研究结果表明SSL的重要性和可能被低估的数据增强的作用。
2022-07-16 cs.AI cs.CV cs.LG