Deep Active Learning with Augmentation-based Consistency Estimation
hutom；KAIST（韩国科学技术院）
在主动学习中，研究的重点主要是未标记数据的选择策略，以增强下一个学习周期的泛化能力。为此，已经提出了各种不确定性测量方法。另一方面，随着数据增强度量作为一般深度学习的正则化器的出现，我们注意到在主动学习场景中，未标记数据选择方法和基于数据增强的正则化技术之间可能存在相互影响。通过各种实验，我们证实了分析学习理论中基于一致性的正则化结合现有的不确定性度量方法可以影响分类器的泛化能力。通过这个事实，我们提出了一种方法来提高泛化能力，通过应用数据增强为基础的技术，主动学习的情况。对于基于数据增强的正则化损失，我们重新定义了cutout（co）和cutmix（cm）策略作为定量度量，并应用于模型训练和未标记数据选择步骤。我们已经表明，基于增强的正则化器可以提高主动学习训练步骤的性能，而同样的方法可以有效地结合到目前为止提出的不确定性测量指标。我们使用FashionMNIST、CIFAR10、CIFAR100和STL 10等数据集来验证所提出的主动学习技术在多个图像分类任务中的性能。我们的实验显示，每个数据集和预算方案的性能都有一致的提高。
2020-11-05 cs.CV
Watching the World Go By: Representation Learning from Unlabeled Videos
University of Washington（华盛顿大学）；Nvidia（英伟达）
最近的单图像无监督表示学习技术在各种任务上显示出显着的成功。这些作品的基本原理是实例判别：学习区分同一图像的两个增强版本和大量不相关的图像。网络学会忽略增强噪声并提取语义上有意义的表示。现有的工作使用人工数据增强技术，例如裁剪和颜色抖动，其只能以表面方式影响图像，并且不与对象实际上如何改变（例如，遮挡、变形、视点改变）对齐。在本文中，我们认为视频免费提供了这种自然增强。视频可以提供对象的全新视图，显示变形，甚至连接语义相似但视觉上不同的概念。我们提出了视频噪声对比估计，一种使用未标记视频来学习强大的，可转移的单图像表示的方法。我们在各种时间和非时间任务中展示了对最近的无监督单图像技术以及完全监督ImageNet预训练的改进。代码和随机相关视频视图数据集可在https://www.github.com/danielgordon10/vince上获得
2020-05-07 cs.CV
Shuffle Augmentation of Features from Unlabeled Data for Unsupervised Domain Adaptation
Xpeng motors（小鹏汽车）；Nanyang Technological University（南洋理工大学）；University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）
无监督领域自适应（UDA）是迁移学习的一个分支，在目标样本的标签不可用的情况下，近年来在对抗训练模型的帮助下得到了广泛的研究和发展。虽然现有的UDA算法能够引导神经网络提取可转移的和有区别的特征，但分类器仅仅是在标记的源数据的监督下训练的。由于源域和目标域之间不可避免的差异，分类器很难知道目标分类边界。在本文中，洗牌增强功能（SAF），一种新的UDA框架，提出了解决这个问题，通过提供监督信号的分类器从目标特征表示。SAF从目标样本中学习，自适应地提取类别感知的目标特征，并隐式引导分类器找到全面的类别边界。大量实验表明，SAF模块可以集成到任何现有的对抗UDA模型，以实现性能改进。
2022-01-28 cs.CV cs.LG
Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification
University of Science and Technology of China（中国科学技术大学）；Texas A&M University（得克萨斯农工大学）
Few-Shot分类的目标是学习一个模型，该模型可以在只有少数标记样本可用的情况下很好地推广到新任务。为了利用在实际应用中更丰富的未标记数据，Ren等人\shortcite{ren2018meta}提出了一种半监督的Few-Shot分类方法，该方法通过手动定义的度量为每个未标记样本分配适当的标签。然而，手动定义的指标无法捕捉数据中的内在属性。在本文中，我们提出了一个\textbf{S} elf-\textbf{A}自适应的\textbf{L} abel \textbf{A}增强方法，称为\textbf{SALA}，用于半监督Few-Shot分类。SALA的一个主要新颖性是任务自适应度量，它可以以端到端的方式自适应地学习不同任务的度量。SALA的另一个吸引人的特性是渐进的邻居选择策略，该策略在训练阶段逐步选择具有高置信度的未标记数据。实验表明，SALA优于几个国家的最先进的方法，半监督Few-Shot分类基准数据集。
2022-06-16 cs.CV
Boosting Semi-Supervised 2D Human Pose Estimation by Revisiting Data Augmentation and Consistency Training
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Chongqing Academy of Science and Technology（重庆科学技术研究院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
针对2D人体姿态估计需大量标签的问题，提出基于半监督学习的方法，通过挖掘未标记数据，结合现有增强方法的协同效应构建易-难增强对，以多路径预测优化多损失，提升模型性能与通用性。
2025-02-13 cs.CV
Unsupervised Face Recognition using Unlabeled Synthetic Data
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
在过去的几年里，人脸识别的主要研究创新集中在使用多类分类损失的变化在大规模身份标记数据集上训练深度神经网络。然而，由于隐私和道德问题的增加，这些数据集中的许多数据集被其创建者撤回。最近，隐私友好的合成数据已被提出作为隐私敏感的真实数据的替代方案，以符合隐私法规并确保人脸识别研究的连续性。本文提出了一种基于无标记合成数据的无监督人脸识别模型（USynthFace）。我们提出的USynthFace学习最大化同一合成实例的两个增强图像之间的相似性。我们通过大量的几何和颜色变换以及基于GAN的增强来实现这一点，这些增强有助于USynthFace模型训练。我们还对USynthFace的不同组成部分进行了大量的实证研究。通过所提出的一组增强操作，我们证明了我们的USynthFace在使用未标记的合成数据实现相对较高的识别精度方面的有效性。
2022-11-14 cs.CV
Semi-Supervised Domain Adaptation Using Target-Oriented Domain Augmentation for 3D Object Detection
Hanyang University（汉阳大学）；Kakao Mobility Corp（Kakao Mobility公司）；Seoul National University（首尔大学）
针对现实场景中传感器数据分布变化影响3D目标检测性能的问题，提出面向LiDAR 3D检测的半监督域自适应方法TODA，通过TargetMix和AdvMix两阶段增强实现特征对齐，性能显著优于现有技术。
2024-06-17 cs.CV
Resampling Augmentation for Time Series Contrastive Learning: Application to Remote Sensing
ICube, University of Strasbourg, Strasbourg, France（ICube，斯特拉斯堡大学，法国斯特拉斯堡）
针对遥感时间序列对比学习，提出重采样增强策略，通过上采样并提取不相交子序列生成正样本对，在农业分类基准上优于常见方法，并在S2-Agri100上达到最先进性能。
2025-06-23 cs.CV
Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentation
University of Sydney（悉尼大学）；Baidu Inc.（百度公司）；Nanjing University（南京大学）；Jilin University（吉林大学）
半监督语义分割的研究近年来取得了很大的进展。尽管其有前途的性能，目前的国家的最先进的方法往往越来越复杂的设计，在引入更多的网络组件和额外的训练过程的成本。因此，在这项工作中，我们遵循一个标准的师生框架，并提出AugSeg，一个简单而干净的方法，主要集中在数据扰动，以提高SSS的性能。我们认为，应该调整各种数据增强，以更好地适应半监督的情况下，而不是直接应用这些技术从监督学习。具体来说，我们采用了一个简化的基于强度的增强，选择一个随机数的数据变换均匀采样失真强度从连续空间。基于模型对不同未标记样本的置信度估计，我们还随机注入标记信息，以自适应的方式增强未标记样本。没有花里胡哨的东西，我们简单的AugSeg可以在不同的分区协议下轻松实现SSS基准测试的最新性能。
2022-12-09 cs.CV
Unilaterally Aggregated Contrastive Learning with Hierarchical Augmentation for Anomaly Detection
Beihang University（北京航空航天大学）
针对异常检测对内点集中与离群点分散的双重需求，提出UniCon-HA，通过有监督/无监督对比损失、软重加权净化和分层深度聚合提升性能。
2023-08-20 cs.CV
Data Augmentation for Object Detection via Differentiable Neural Rendering
JD Finance America Corporation（京东金融美国公司）；University of Pittsburgh（匹兹堡大学）
在监督学习环境下，当标注数据稀缺时，训练鲁棒的目标检测器是具有挑战性的。因此，以前解决这个问题的方法分为两类：从未标记数据中插入标记数据的半监督学习模型，以及通过借口任务利用未标记数据中的信号的自监督学习方法。为了无缝集成和增强现有的监督目标检测方法，在这项工作中，我们专注于从根本上解决数据稀缺问题，而不改变监督学习范式。我们提出了一种新的离线数据增强方法的目标检测，语义插值的训练数据与新的意见。具体来说，我们的新系统生成可控的意见，训练图像的基础上可微神经渲染，连同相应的边界框注释，不涉及人工干预。首先，我们提取像素对齐的图像特征并将其投影到点云中，同时估计深度图。然后我们用目标摄像机的姿态重新投影它们，并渲染一个新颖的2d图像。在点云中标记关键点形式的对象，以在新视图中恢复注释。我们的新方法是完全兼容的在线数据增强方法，如仿射变换，图像混淆等广泛的实验表明，我们的方法，作为一个免费的工具，以丰富的图像和标签，可以显着提高性能的目标检测系统与稀缺的训练数据。代码可在\url{https://github.com/Guanghan/DANR}上获得。
2021-04-05 cs.CV
Exploiting Motion Information from Unlabeled Videos for Static Image Action Recognition
Shanghai Jiao Tong University（上海交通大学）
静态图像动作识别的目的是基于单个图像识别动作，通常依赖于昂贵的人工标记工作，例如足够的标记动作图像和大规模的标记图像数据集。相比之下，可以经济地获得大量未标记的视频。因此，一些工作已经探索使用未标记的视频，以促进图像动作识别，这可以分为以下两类：（a）增强视觉表示的动作图像上的未标记的视频，这属于自监督学习的范围内设计的代理任务;（b）生成辅助表示的动作图像从未标记的视频学习。在本文中，我们将上述两种策略集成在一个统一的框架中，该框架由视觉表示增强（VRE）模块和运动表示增强（MRA）模块组成。具体地说，VRE模块包括一个代理任务，该任务对未标记视频施加伪运动标签约束和时间相干性约束，而MRA模块则利用未标记视频预测静态动作图像的运动信息。我们证明了我们的框架的优势，基于四个基准人类动作数据集有限的标记数据。
2019-12-01 cs.CV
Transductive Label Augmentation for Improved Deep Network Learning
University of Venice（威尼斯大学）；ZHAW Datalab（瑞士应用科技大学苏黎世应用科技大学数据实验室）；DAIS（数据与信息系统系）；DAIS/ECLT（数据与信息系统系/欧洲计算语言学与技术中心）
将深度学习应用于现实世界问题的一个主要障碍是标记数据的稀缺。小的训练集实际上对深度网络没有用处，因为由于大量的可训练参数，它们很可能会受到过拟合现象的影响。另一方面，通过进一步手动或半自动标记来增加训练集大小可能是昂贵的，如果有时不可能的话。因此，解决这个问题的标准技术是迁移学习和数据增强，它包括对现有标记实例应用某种“变换”，以使训练集的大小增长。尽管这种方法在诸如图像分类之类的应用中工作得很好，在这些应用中，设计合适的变换算子相对简单，但如何将其应用于更结构化的场景并不明显。出于观察，在几乎所有的应用领域，它是很容易获得未标记的数据，在本文中，我们采取了不同的角度，并提出了一个\emph{label augmentation}的方法。我们从一个小的，策划的标记数据集开始，并使用图转换技术让标签传播到更大的未标记数据集。这使我们能够自然地使用驻留在数据中的（二阶）相似性信息，这是一种通常被标准增强技术忽略的信息源。特别是，我们表明，通过使用已知的博弈论的转导过程，我们可以创建更大，更准确的标记数据集，使用更好的训练神经网络的结果。初步的实验报告，表现出一致的改善标准图像分类数据集。
2018-05-26 cs.CV
Visual Pre-Training on Unlabeled Images using Reinforcement Learning
该研究将无标注图像视觉预训练建模为强化学习问题，通过智能体变换图像训练价值函数，可借助奖励函数利用精选图像或弱标注字幕优化特征学习，在多类真实无标注数据上实现了更好的图像表征。
2025-06-13 cs.CV cs.LG
Q: How to Specialize Large Vision-Language Models to Data-Scarce VQA Tasks? A: Self-Train on Unlabeled Images!
Northeastern University（东北大学）；NEC Labs America（NEC美国实验室）；Amazon（亚马逊）；UC San Diego（加州大学圣地亚哥分校）
本文提出 SelTDA，利用目标数据集构建教师模型为无标签图像生成问答伪标签，并据此微调 VLM，在数据稀缺的专门 VQA 任务上提升鲁棒性、泛化性与数值推理能力。
2023-06-06 cs.CV
MagicNet: Semi-Supervised Multi-Organ Segmentation via Magic-Cube Partition and Recovery
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；The University of Hong Kong（香港大学）
提出用于半监督多器官分割的师生模型MagicNet，利用先验解剖结构指导基于N^3立方体划分与恢复的数据增强策略，有效学习器官语义并细化伪标签，在公开数据集上显著优于现有方法。
2023-04-06 cs.CV
Synthetic Augmentation with Large-scale Unconditional Pre-training
The Pennsylvania State University（宾夕法尼亚州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；The Ohio State University（俄亥俄州立大学）
本文提出 HistoDiffusion 方法，通过在大规模无标注数据上预训练潜在扩散模型并在小规模标注数据上微调，实现医学图像合成增强，使结直肠癌分类准确率提升 6.4%。
2023-08-08 cs.CV
Efficient Prototype Consistency Learning in Medical Image Segmentation via Joint Uncertainty and Data Augmentation
Faculty of Science and Technology（科技学院）；University of Macau（澳门大学）；Key Laboratory of High Confidence Software Technologies (MOE)（高可信软件技术重点实验室）；School of Computer Science（计算机学院）；Peking University（北京大学）
针对半监督医学图像分割中原型表达不足的问题，提出EPCL-JUDA框架，结合不确定性量化与数据增强，在多个数据集上超越现有方法。
2025-05-22 cs.CV
Image to Pseudo-Episode: Boosting Few-Shot Segmentation by Unlabeled Data
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Intelligent Computing Technology, CAS（中国科学院智能计算技术研究所）；Microsoft Research Asia（微软亚洲研究院）
针对小样本分割中新类别标注数据不足导致泛化能力差的问题，提出IPE方法，通过谱聚类生成伪标签、数据增强生成伪片段来利用无标注数据，在多个基准上取得SOTA性能。
2024-05-14 cs.CV
Multi-Object Tracking with Hallucinated and Unlabeled Videos
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Web Services（亚马逊云服务）
在本文中，我们探索了在没有跟踪注释的情况下学习端到端深度神经跟踪器。这一点很重要，因为大规模训练数据对于训练深度神经跟踪器至关重要，而跟踪注释的获取成本很高。在跟踪注释的地方，我们首先幻觉视频从图像与限界框注释使用放大/缩小运动变换，以获得免费的跟踪标签。我们添加视频模拟增强来创建一个多样化的跟踪数据集，尽管只是简单的运动。接下来，为了解决更难的跟踪问题，我们在一个未标记的真实视频池中挖掘硬例子，跟踪器在我们的幻觉视频数据上进行训练。对于硬示例挖掘，我们提出了一个基于优化的连接过程，首先从未标记的视频池中识别并纠正硬示例。最后，我们使用幻觉数据和挖掘的硬视频示例联合训练我们的跟踪器。我们的弱监督跟踪器在MOT 17和TAO人员数据集上实现了最先进的性能。在MOT 17上，我们进一步证明了我们自己生成的数据和现有的手动注释数据的结合带来了额外的改进。
2021-08-19 cs.CV
Unsupervised Data Augmentation for Consistency Training
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
半监督学习最近在改进标记数据稀缺的深度学习模型方面表现出了很大的希望。在最近的方法中，常见的是在大量未标记数据上使用一致性训练，以约束模型预测对输入噪声保持不变。在这项工作中，我们提出了一个新的视角，如何有效地噪声未标记的例子，并认为噪声的质量，特别是那些先进的数据增强方法，在半监督学习中起着至关重要的作用。通过用高级数据增强方法（如RandAugment和反向翻译）替代简单的噪声操作，我们的方法在相同的一致性训练框架下，在六种语言和三种视觉任务中带来了实质性的改进。在IMDb文本分类数据集上，只有20个标记示例，我们的方法实现了4.20的出错率，优于在25，000个标记示例上训练的最先进模型。在一个标准的半监督学习基准，CIFAR-10，我们的方法优于所有以前的方法，并实现了出错率为5.43，只有250个例子。我们的方法还与迁移学习很好地结合，例如，当从BERT进行微调时，并在高数据状态下产生改进，例如ImageNet，无论是当只有10%的标记数据时，还是当使用具有1.3M额外未标记示例的完整标记集时。代码可在https://github.com/google-research/uda上获得。
2020-11-05 cs.AI cs.CL cs.CV
Instance-specific and Model-adaptive Supervision for Semi-supervised Semantic Segmentation
University of Sydney（悉尼大学）；Baidu VIS（百度视觉技术部）；Jilin University（吉林大学）
最近，半监督语义分割已经取得了很好的性能与一小部分的标记数据。然而，大多数现有的研究都平等对待所有未标记的数据，几乎没有考虑到未标记的实例之间的差异和训练困难。区分未标记的实例可以促进特定于实例的监督以动态地适应模型的演化。在本文中，我们强调的实例差异的重要性，并提出了一个特定的实例和模型自适应的监督半监督语义分割，命名为iMAS。依赖于模型的性能，iMAS采用类加权对称交-并来评估每个未标记实例的定量硬度，并以模型自适应的方式监督对未标记数据的训练。具体来说，iMAS通过根据评估的硬度加权其相应的一致性损失来逐步从未标记的实例中进行学习。此外，iMAS动态地调整每个实例的增强，使得增强实例的失真程度在整个训练过程中适应模型的泛化能力。不集成额外的损失和训练过程，iMAS可以获得显着的性能增益对当前最先进的方法在不同的半监督分割协议下的分割基准。
2022-11-21 cs.CV
Implicit Data Synthesis for Contrastive Unsupervised Data Augmentation
School of Informatics, The University of Edinburgh（信息学院）；Massachusetts Institute of Technology Lincoln Laboratory（麻省理工学院林肯实验室）
针对科学观测数据难以标注的问题，提出通过扰动网络权重而非数据生成对比样本，在雷达流星观测上使用SimCLR管道验证性能提升。
2026-06-05 cs.CV
Mask-based Data Augmentation for Semi-supervised Semantic Segmentation
Illinois Institute of Technology（伊利诺伊理工学院）
使用卷积神经网络（CNN）进行语义分割是图像分析中的重要组成部分。训练CNN以执行语义分割需要大量的标记数据，其中这种标记数据的产生既昂贵又劳动密集。半监督学习算法通过利用未标记数据来解决这个问题，从而减少训练所需的标记数据量。特别地，诸如CutMix和ClassMix的数据增强技术从现有的标记数据生成附加的训练数据。在本文中，我们提出了一种新的数据增强的方法，称为复杂混合，它结合了CutMix和ClassMix的方面，提高了性能。所提出的方法具有控制增强数据的复杂性的能力，同时试图在语义上正确，并解决复杂性和正确性之间的权衡。所提出的ComplexMix方法在标准数据集上进行评估，用于语义分割，并与其他最先进的技术进行比较。实验结果表明，我们的方法产生的改进国家的最先进的方法对标准数据集的语义图像分割。
2021-01-25 cs.CV
Learning End-to-End Action Interaction by Paired-Embedding Data Augmentation
Xi’an Jiaotong University（西安交通大学）；Tencent Robotics X（腾讯机器人X实验室）
在基于认知的动作交互中，机器人对人类动作的响应通常是根据已识别的类别预先设计的，因此是僵硬的。在本文中，我们指定了一个新的交互式动作翻译（IAT）任务，其目的是学习端到端的动作交互从未标记的交互对，删除明确的动作识别。为了实现小规模数据的学习，我们提出了一种有效和可靠的数据增强的配对嵌入（PE）方法。具体来说，我们的方法首先利用配对关系在嵌入空间中聚类个体动作。然后，最初配对的两个动作可以被它们各自邻域中的其他动作替换，组装成新的动作对。基于条件GAN的Act2Act网络随后从增强数据中学习。此外，IAT测试和IAT训练分数是专门提出的评估方法对我们的任务。在两个数据集上的实验结果表明了该方法的有效性和广阔的应用前景。
2020-07-16 cs.CV
Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning
Dublin City University（都柏林城市大学）
半监督学习，即对标记样本和未标记样本的联合学习，由于其在放松人类监督方面的关键作用，是一个活跃的研究课题。在图像分类的背景下，最近的进展，从未标记的样本学习主要集中在一致性正则化方法，鼓励不变的预测不同扰动的未标记的样本。相反，我们建议通过使用网络预测生成软伪标签来从未标记的数据中学习。我们发现，由于所谓的确认偏差，一个天真的伪标签过拟合到不正确的伪标签，并证明混合增强和设置每个小批量的最小标记样本数是有效的正则化技术，以减少它。所提出的方法实现了最先进的结果在CIFAR-10/100，SVHN，和Mini-ImageNet，尽管比其他方法简单得多。这些结果表明，单独的伪标记可以优于一致性正则化方法，而在以前的工作中假设相反。源代码可在https://git.io/fjQsC上获得。
2020-06-29 cs.CV
SequenceMatch: Revisiting the design of weak-strong augmentations for Semi-supervised learning
Sungkyunkwan University（成均馆大学）
SequenceMatch通过引入中等强度数据增强和双重一致性约束，有效缓解了半监督学习中的确认偏差问题，在保持高效率的同时显著提升了多个标准及大规模数据集上的分类准确率。
2023-10-24 cs.AI cs.CV
Raw Data Matters: Enhancing Prompt Tuning by Internal Augmentation on Vision-Language Models
针对基于CLIP的提示调优依赖外部知识导致成本高且忽视图像特征利用的问题，提出自包含的增强驱动提示调优（AugPT）方法，通过内部自监督增强与一致性门控过滤噪声样本，在无外部知识时提升模型性能与泛化能力。
2025-11-12 cs.CV
Improving Out-of-Domain Robustness with Targeted Augmentation in Frequency and Pixel Spaces
HKUST(GZ)（香港科技大学（广州））；SYSU（南方科技大学）；ECNU（华东师范大学）
针对域适应场景下通用增强对域外鲁棒性提升有限、特定数据集定向增强依赖专业知识的问题，提出不依赖数据集的Frequency-Pixel Connect框架，通过频域与像素域混合生成增强样本，在多领域基准上性能优于现有方法。
2025-05-18 cs.CV cs.LG
Data augmentation using learned transformations for one-shot medical image segmentation
MIT（麻省理工学院）；MGH（麻省总医院）
图像分割是许多医学应用中的重要任务。基于卷积神经网络的方法达到了最先进的精度;然而，它们通常依赖于大型标记数据集的监督训练。标记医学图像需要大量的专业知识和时间，并且用于数据增强的典型的手动调整方法无法捕获这种图像中的复杂变化。我们提出了一个自动化的数据增强方法合成标记的医学图像。我们证明了我们的方法分割磁共振成像（MRI）脑扫描的任务。我们的方法只需要一个分段扫描，并利用其他未标记的扫描在半监督的方法。我们从图像中学习一个变换模型，并使用该模型和标记的示例来合成其他标记的示例。每个变换由空间变形场和强度变化组成，能够合成复杂的效果，例如解剖结构和图像采集过程中的变化。我们表明，用这些新的例子训练一个监督分割器，比最先进的一次性生物医学图像分割方法有了显着的改进。我们的代码可在https://github.com/xamyzhao/brainstorm上获得。
2019-04-06 cs.CV
SIAVC: Semi-Supervised Framework for Industrial Accident Video Classification
Minjiang University（闽江学院）；Fujian University of Technology（福建理工大学）；Zhengzhou University（郑州大学）；Fuzhou University（福州大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
针对视频监控中标记数据不足问题，提出半监督框架SIAVC，通过SAB增强和VCAM伪标签生成，在ECA9和火灾检测数据集上分别取得88.76%和89.13%的准确率。
2024-05-23 cs.AI cs.CV
Labeled-to-Unlabeled Distribution Alignment for Partially-Supervised Multi-Organ Medical Image Segmentation
The Hong Kong University of Science and Technology（香港科技大学）；Huazhong University of Science and Technology（华中科技大学）
本文针对部分监督多器官分割中有标签与无标签像素分布不匹配的问题，提出LTUDA框架，通过跨集合数据增强和基于原型的分布对齐提升判别能力，在多个数据集上超越现有部分监督甚至全监督方法。
2024-09-05 cs.CV
Bidirectional Channel-selective Semantic Interaction for Semi-Supervised Medical Segmentation
本文提出双向通道选择性语义交互框架，通过语义-空间扰动、通道选择性路由器和双向通道交互提升半监督医学图像分割性能。
2026-01-09 cs.CV
Learnable Data Augmentation for One-Shot Unsupervised Domain Adaptation
Italian Institute of Technology（意大利理工学院）；University of Verona（维罗纳大学）；University of Genova（热那亚大学）
针对仅单个未标记目标样本的单样本无监督域适应难题，提出LearnAug-UDA方法，通过带感知损失和风格迁移的编解码架构学习增强源数据，在DomainNet和VisDA基准上达SOTA性能。
2023-10-03 cs.CV
Boosting Semi-Supervised 3D Object Detection with Semi-Sampling
Zhejiang University（浙江大学）；Beijing Aircraft Technology Research Institute（北京飞机技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）
当前的3D目标检测方法严重依赖于大量的注释。半监督学习可以用来缓解这个问题。以前的半监督3D目标检测方法直接遵循全监督方法的实践来增强标记和未标记的数据，这是次优的。在本文中，我们设计了一个数据增强方法的半监督学习，我们称之为半采样。具体来说，我们使用地面真值标签和伪标签分别在标记帧和未标记帧上裁剪gt样本和伪样本。然后我们可以生成一个gt样本数据库和一个伪样本数据库。在训练教师-学生半监督框架时，我们随机选取gt样本和伪样本到标记帧和未标记帧中，对它们进行强数据增强。我们的半采样可以看作是gt采样到半监督学习的一个扩展。我们的方法简单但有效。我们不断改进ScanNet、SUN-RGBD和KITTI基准测试的最先进方法。例如，当在ScanNet上仅使用10%的标记数据进行训练时，我们在mAP@0.25和mAP@0.5方面比3DIoUMatch提高了3.1 mAP和6.4 mAP。当在KITTI上仅使用1%的标记数据进行训练时，我们在汽车、行人和骑自行车的类别上将3DIoUMatch提高了3.5 mAP、6.7 mAP和14.1 mAP。代码将在https://github.com/LittlePey/Semi-Sampling上公布。
2022-11-15 cs.CV
Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation
Tianjin University（天津大学）；Baidu Inc.（百度公司）
健壮的语义分割面临的一个常见挑战是昂贵的数据注释成本。现有的半监督解决方案显示出解决这个问题的巨大潜力。他们的核心思想是从未标记的数据中构建一致性正则化和无监督的数据增强用于模型训练。未标记数据的扰动使得一致性训练损失，这有利于半监督语义分割。然而，这些扰动破坏了图像上下文并引入了不自然的边界，这对语义分割是有害的。此外，广泛采用的半监督学习框架，即平均教师，受到性能限制，因为学生模型最终收敛到教师模型。本文首先提出了一种上下文友好的可微几何变形方法来进行无监督的数据增强;其次，提出了一种新的对抗性双学生框架，从以下两个方面改进了Mean-Teacher：（1）除了一个稳定化约束外，双学生模型是独立学习的，以鼓励利用模型差异;（2）对两个学生采用对抗性训练方案，利用判别器对未标记数据进行可靠伪标记的判别，进行自训练。通过在PASCAL VOC 2012和Cityscapes上的大量实验验证了有效性。我们的解决方案显著提高了性能，并在两个数据集上实现了最先进的结果。值得注意的是，与完全监督相比，我们的解决方案在PASCAL VOC 2012上仅使用12.5%的注释数据就实现了73.4%的可比mIoU。我们的代码和型号可在https://github.com/cao-cong/ADS-SemiSeg上获得。
2022-09-27 cs.CV
Semi-supervised Medical Image Segmentation Method Based on Cross-pseudo Labeling Leveraging Strong and Weak Data Augmentation Strategies
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University of Finance and Economics（浙江财经大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen Children's Hospital（深圳市儿童医院）；Shenzhen Research Institute of Big Data（深圳市大数据研究院）
本文提出半监督模型DFCPS，结合Fixmatch概念与强弱数据增强策略，引入交叉伪监督机制，在Kvasir-SEG数据集上显著提升了医学图像分割的性能与泛化能力。
2024-02-17 cs.AI cs.CV
DADA: Deep Adversarial Data Augmentation for Extremely Low Data Regime Classification
University of Science and Technology of China（中国科学技术大学）；Texas A&M University（得克萨斯农工大学）；Sun Yat-Sen University（中山大学）
深度学习已经彻底改变了分类的性能，但同时需要足够的标记数据进行训练。在数据不足的情况下，虽然已经开发了许多技术来帮助对抗过拟合，但如果试图训练深度网络，特别是在病态的极低数据状态下，挑战仍然存在：只有一小部分标记数据可用，并且没有其他数据（包括未标记数据）。这种制度产生于实际情况，其中不仅数据标记而且数据汇集本身都是昂贵的。我们提出了一种深度对抗数据增强（DADA）技术来解决这个问题，在这种技术中，我们精心将数据增强描述为训练类条件和监督生成对抗网络（GAN）的问题。具体地说，提出了一种新的模糊损失，以适应数据增强的目标，通过该方法，真实样本和增强样本都被强制用于寻找决策边界并保持一致。相应地开发了有针对性的培训技术。为了定量验证其有效性，我们首先进行了大量的模拟，以表明DADA大大优于传统的数据增强和一些基于GAN的选项。然后，我们将实验扩展到三个真实世界的小标记数据集，其中现有的数据增强和/或迁移学习策略要么不太有效，要么不可行。所有结果都证实了DADA在增强在实际极低数据状态下训练的深度网络的泛化能力方面的卓越能力。源代码可在https://github.com/SchafferZhang/DADA上获得。
2018-08-29 cs.CV
Constructing Multiple Tasks for Augmentation: Improving Neural Image Classification With K-means Features
Fudan University（复旦大学）
多任务学习（MTL）已经受到了相当大的关注，许多深度学习应用程序都受益于具有多个目标的MTL。然而，构建多个相关任务是困难的，有时只有一个任务可用于数据集中的训练。为了解决这个问题，我们探索了使用无监督聚类来从未标记数据或现有标记数据中构建各种辅助任务的想法。我们发现，这些新构建的任务中的一些可以表现出与某些人类特定属性相对应的语义含义，但也有一些是不理想的。为了有效降低非理想辅助任务对主任务的影响，提出了一种基于元学习的多任务学习方法，将共享隐层训练到辅助任务上，而元优化的目标是最小化主任务上的损失，保证优化方向导致主任务的改进。在五个图像数据集上的实验结果表明，该方法的性能明显优于现有的单任务学习，半监督学习和一些数据增强方法，包括Omniglot数据集上超过9%的改进。
2019-11-18 cs.CV
Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition
Sun Yat-sen University（中山大学）
自监督学习通过直接从未标记的数据中构造代理监督信号，在以无监督的方式改进深度学习模型方面显示出巨大的潜力。与现有的工作不同，我们提出了一种新的方法来获得代理监督信号的基础上一致性正则化的高层次的特征映射。在本文中，我们提出了一种时空一致性正则化从连体网络生成的不同输出功能之间，包括一个干净的路径与原始视频和噪声路径与相应的增强视频馈送。基于视频的时空特性，本文提出了两种基于视频的数据增强方法，时空变换与视频帧内混叠前者的一致性模型的特征的转换一致性，而后者的目的是保持空间不变性，以提取动作相关的功能。大量的实验表明，我们的方法实现了实质性的改进相比，国家的最先进的自监督学习方法的动作识别。当使用我们的方法作为额外的正则化项并结合当前的替代监督信号时，我们在HMDB 51上实现了22%的相对改进，在UCF 101上实现了7%的相对改进。
2020-08-05 cs.CV
CLAF: Contrastive Learning with Augmented Features for Imbalanced Semi-Supervised Learning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对不平衡半监督学习中伪标签偏差问题，提出CLAF方法，通过类依赖特征增强和从标记数据选择正负样本计算对比损失，在不平衡图像分类数据集上验证了有效性。
2023-12-24 cs.CV
AUGCO: Augmentation Consistency-guided Self-training for Source-free Domain Adaptive Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）
用于域自适应语义分割的大多数现代方法依赖于在自适应期间对源数据的持续访问，这可能由于计算或隐私约束而不可行。我们专注于无源领域自适应语义分割，其中一个源模型必须适应一个新的目标域只给未标记的目标数据。我们提出了增强一致性指导的自训练（AUGCO），这是一种无源自适应算法，它使用模型的像素级预测一致性，跨各种自动生成的每个目标图像的视图以及模型置信度来识别可靠的像素预测，并选择性地对这些像素进行自训练。AUGCO在3个标准的语义分割基准测试中实现了最先进的无源自适应结果，所有这些都在一个简单的实现和快速收敛的方法中实现。
2022-01-06 cs.CV cs.LG
Implicit Label Augmentation on Partially Annotated Clips via Temporally-Adaptive Features Learning
University of California, San Diego（加州大学圣迭戈分校）
部分注释的剪辑包含丰富的时间上下文，可以补充稀疏的关键帧注释，为模型训练提供监督。我们提出了一种称为时间自适应特征（TAF）学习的新范式，可以利用这些数据来学习更好的单帧模型。通过对模型中的不同因素施加不同的时间变化率约束，TAF能够使用上下文从未标记的帧中学习，以提高模型的准确性。TAF概括了“慢特征”学习，我们提出了比以前的作品更强的经验证据，在各种架构设计和两个流行的数据集上显示出令人信服的收益，用于具有挑战性的语义分割任务。TAF可以被解释为一种隐式标签增强方法，但与现有的显式增强技术相比，它是一种更有原则的公式。因此，我们的工作将两种有前途的方法联系起来，这些方法利用部分注释的剪辑进行单帧模型训练，并可以激发未来在这个方向上的探索。
2019-05-24 cs.CV cs.LG
TAAL: Test-time Augmentation for Active Learning in Medical Image Segmentation
ETS Montreal（蒙特利尔高等技术学院）
深度学习方法通常依赖于标记数据的可用性，这是昂贵且耗时的。主动学习通过优先考虑哪些样本最好注释来解决这种努力，以便最大化任务模型的性能。虽然主动学习的框架已经在自然图像分类的上下文中被广泛探索，但是它们仅在医学图像分割中被稀疏地使用。挑战在于获得一个不确定性度量，揭示最佳的候选数据进行注释。本文提出了测试时增强的主动学习（TAAL），一种新的半监督主动学习的分割方法，利用数据转换提供的不确定性信息。我们的方法在训练和推理过程中应用交叉增强一致性，以半监督的方式改进模型学习，并识别最相关的未标记样本进行注释。此外，我们的一致性损失使用JSD的修改版本来进一步提高模型性能。通过依赖于数据转换而不是外部模块或通常用于基于不确定性的策略中的简单算法，TAAL成为一种简单但功能强大的任务不可知的半监督主动学习方法，适用于医学领域。我们在公开的心脏图像数据集上的结果表明，TAAL在全监督和半监督设置中优于现有的基线方法。我们的实现可以在https://github.com/melinphd/TAAL上公开获得。
2023-01-16 cs.CV
ST++: Make Self-training Work Better for Semi-supervised Semantic Segmentation
Nanjing University（南京大学）；Tencent（腾讯）；Southeast University（东南大学）
通过伪标签进行自我训练是一种传统、简单和流行的管道，可以利用未标记的数据。在这项工作中，我们首先构建了一个强大的基线的自我训练（即ST）的半监督语义分割通过注入强数据增强（SDA）对未标记的图像，以减轻过度拟合嘈杂的标签，以及解耦教师和学生之间的类似的预测。有了这个简单的机制，我们的ST优于所有现有的方法，没有任何花里胡哨的东西，例如，迭代再训练。受这些令人印象深刻的结果的启发，我们深入研究了SDA，并提供了一些实证分析。然而，不正确的伪标签仍然容易积累并降低性能。为此，我们进一步提出了一个先进的自训练框架（即ST++），它通过基于整体预测级稳定性优先考虑可靠的未标记图像来执行选择性再训练。具体来说，在第一阶段的监督训练中保存了几个模型检查点，它们对未标记图像的预测差异作为可靠性的衡量标准。我们的图像级选择为学习提供了全面的上下文信息。我们证明，它是更适合分割比常见的像素明智的选择。因此，ST++进一步提升了ST的性能。代码可在https://github.com/LiheYoung/ST-PlusPlus上找到。
2022-03-03 cs.CV
ECAP: Extensive Cut-and-Paste Augmentation for Unsupervised Domain Adaptive Semantic Segmentation
Global Trucks Operations, Volvo Group（沃尔沃集团全球卡车运营部）；Chalmers University of Technology（查尔姆斯理工大学）
针对无监督域自适应语义分割中伪标签错误与类别偏差问题，提出 ECAP 记忆库剪切粘贴增强，并在 MIC 上显著提升合成到真实基准性能。
2024-03-06 cs.CV
Modeling the Probabilistic Distribution of Unlabeled Data forOne-shot Medical Image Segmentation
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）
现有的图像分割网络主要利用大规模标记数据集来获得高精度。然而，标记医学图像是非常昂贵的，因为它需要复杂的专业知识。因此，在追求高分割性能时，更希望仅使用少量标记数据。在本文中，我们开发了一种数据增强方法，用于单次脑磁共振成像（MRI）图像分割，它只利用一个标记的MRI图像（命名为图集）和一些未标记的图像。特别是，我们建议通过3D变分自编码器（VAE）来学习不同未标记MRI图像相对于图谱的变形（包括形状和强度）的概率分布。通过这种方式，我们的方法能够利用学习到的图像变形分布来生成新的真实的大脑MRI图像，并且生成的样本的数量将足以训练深度分割网络。此外，我们引入了一个新的标准分割基准，通过交叉数据集设置（从不同来源收集）来评估分割网络的泛化性能。大量的实验表明，我们的方法优于国家的最先进的一次性医疗分割方法。我们的代码已在https://github.com/dyh127/Modeling-the-Probabilistic-Distribution-of-Unlabeled-Data上发布。
2021-02-03 cs.CV eess.IV
Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling
Texas A&M University（得克萨斯农工大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Google Research, Brain Team（谷歌研究院大脑团队）
对比学习方法在学习目标类的标签较少的视觉表示方面取得了很大的成功。这意味着一个诱人的可能性，将它们扩展到超越策划的“种子”基准，从互联网规模的外部来源整合更多未标记的图像，以提高其性能。然而，在实践中，大量的未标记数据将需要更多的计算资源，因为需要更大的模型大小和更长的训练时间。此外，开放世界未标记数据通常遵循隐式长尾类或属性分布，其中许多也不属于目标类。因此，盲目地利用所有未标记的数据可能会导致数据不平衡以及分心问题。这促使我们寻求一种原则性的方法来从外部来源中战略性地选择未标记的数据，以便为相关类学习可概括的，平衡的和多样化的表示。在这项工作中，我们提出了一个开放世界的无标记数据采样框架，称为模型感知K中心（MAK），它遵循三个简单的原则：（1）尾部，鼓励从尾部类的样本采样，通过随机数据增强的样本的经验对比损失期望（ECLE）排序;（2）接近性，拒绝可能分散训练的分布外离群值;以及（3）多样性，其确保采样样本集合中的多样性。从经验上讲，使用ImageNet-100-LT（无标签）作为种子数据集和两个“嘈杂”的外部数据源，我们证明MAK可以始终如一地提高学习特征的整体表示质量和类平衡性，如通过全镜头和Few-Shot设置的线性分类器评估所评估的那样。该代码可从以下网址获得：https://github.com/VITA-Group/MAK
2021-12-08 cs.CV
Scalable Data Balancing for Unlabeled Satellite Imagery
Space ML（太空机器学习（Space ML））
数据不平衡是机器学习中普遍存在的问题。在大规模收集和注释的数据集中，数据不平衡要么通过对频繁类进行欠采样和对稀有类进行过采样来手动缓解，要么通过插补和增强技术进行计划。在这两种情况下，平衡数据都需要标签。换句话说，只有带注释的数据才能平衡。收集完全注释的数据集是具有挑战性的，特别是对于大型卫星系统，如未标记的NASA的35 PB地球图像数据集。虽然NASA地球图像数据集是未标记的，但我们可以依赖数据源的隐含属性来假设其不平衡，例如地球图像中的土地和水的分布。我们提出了一种新的平衡未标记数据的迭代法。我们的方法利用图像嵌入作为图像标签的代理，可用于平衡数据，并最终在训练时提高整体准确性。
2021-07-07 cs.AI cs.CV cs.LG
Federated Contrastive Learning for Decentralized Unlabeled Medical Images
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；University of Oxford（牛津大学）；Oxford, UK（英国牛津（这里仅保留城市和国家，实际机构为牛津大学））
计算机视觉中的标签效率范例是基于对未标记数据的自监督对比预训练，然后用少量标签进行微调。在临床领域实际使用联合计算环境和学习医学图像带来了特定的挑战。在这项工作中，我们提出了FedMoCo，一个强大的联邦对比学习（FCL）框架，它可以有效地利用分散的未标记的医疗数据。FedMoCo有两个新颖的模块：元数据传输、节点间统计数据增强模块和自适应聚合、基于表征相似性分析的聚合模块。据我们所知，这是第一个关于医学图像的FCL工作。我们的实验表明，FedMoCo可以始终优于FedAvg，一个开创性的联邦学习框架，在提取有意义的表示下游任务。我们进一步表明，FedMoCo可以大幅减少下游任务（如COVID-19检测）所需的标记数据量，以实现合理的性能。
2021-09-15 cs.CV cs.LG eess.IV
Generative Hints
本文提出生成提示方法，通过生成模型生成虚拟示例并施加提示目标，直接约束模型预测以满足已知不变性，提升模型在细粒度视觉分类和医学影像中的性能。
2026-03-18 cs.AI cs.CV
How to trust unlabeled data? Instance Credibility Inference for Few-Shot Learning
Fudan University（复旦大学）；Hong Kong University of Science and Technology（香港科技大学）
基于深度学习的模型在许多计算机视觉任务中表现出色，似乎超过了人类的表现。然而，这些模型需要大量昂贵的人工标记的训练数据和多次迭代来训练它们的大量参数。这严重限制了它们对真实世界长尾分布式类别的可扩展性，其中一些类别具有大量实例，但只有少数手动注释。从这种极其有限的标记样本中学习被称为少样本学习（FSL）。与现有技术利用元学习或数据增强策略来缓解这种数据极其稀缺的问题不同，本文提出了一种统计方法，称为实例可信度推断（ICI），以利用未标记实例对Few-Shot视觉识别的支持。通常情况下，我们重新调整自学学习范式的目的，用从Few Shot训练的初始分类器来预测未标记实例的伪标签，然后选择最有信心的分类器来增加训练集以重新训练分类器。这是通过构建一个（广义）线性模型（LM/GLM）与附带参数建模的映射（未）标记的功能，其（伪）标签，其中附带参数的稀疏性指示相应的伪标记实例的可信度。我们沿着其相应的附带参数的正则化路径对伪标记实例的可信度进行排名，并且最可信的伪标记实例被保留为增强的标记实例。理论上，在限制特征值，不可表示性和大误差的温和条件下，我们的方法是保证收集所有正确的预测实例从噪声伪标记集。
2021-05-11 cs.CV
Dual-Decoder Consistency via Pseudo-Labels Guided Data Augmentation for Semi-Supervised Medical Image Segmentation
Fuzhou University（福州大学）；Fujian Medical University Union Hospital（福建医科大学附属协和医院）；Fujian Medical Ultrasound Research Institute（福建省医学超声研究所）；Macao Polytechnic University（澳门理工大学）
本文提出DCPA方法，通过双解码器一致性和伪标签引导数据增强，在仅5%-20%标注数据的半监督医学图像分割中取得优于现有方法的性能。
2024-01-18 cs.CV eess.IV
An Empirical Study and Analysis on Open-Set Semi-Supervised Learning
Tencent Youtu Lab（腾讯优图实验室）
伪标记（PL）和基于数据增强的一致性训练（DACT）是半监督学习（SSL）中广泛使用的两种方法。这些方法在许多机器学习任务中通过利用未标记的数据进行有效的训练而表现出强大的功能。但在更现实的情况下（称为开集SSL），其中未标记的数据集包含分布外（OOD）样本，传统的SSL方法遭受严重的性能下降。最近的方法通过将它们从未标记的数据中过滤出来来减轻OOD样本的负面影响。然而，目前尚不清楚直接删除OOD样本是否是最佳选择。此外，为什么PL和DACT在开集SSL中的表现不同仍然是一个谜。本文深入分析了开集SSL上的各种SSL方法（PL和DACT），并分别讨论了这两种方法的优缺点。基于我们的分析，我们提出了风格扰动，以改善传统的SSL方法在开集SSL和实验表明，我们的方法可以实现国家的最先进的结果在各种数据集上，通过适当地利用OOD样本。我们相信我们的研究可以为SSL研究带来新的见解。
2021-09-14 cs.CV
