PixelDINO: Semi-Supervised Semantic Segmentation for Detecting Permafrost Disturbances
Technical University of Munich (TUM)（慕尼黑工业大学）；University of Potsdam（波茨坦大学）
本文提出半监督语义分割框架PixelDINO，通过在标注与未标注数据上并行训练并利用伪类别一致性约束，提升北极永久冻土扰动RTS的遥感检测性能与跨区域泛化能力。
2024-01-17 cs.CV
GANsfer Learning: Combining labelled and unlabelled data for GAN based data augmentation
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；Imanova Ltd.（Imanova有限公司）
医学成像是一个缺乏用于学习算法训练的人工标注数据的领域。在像素级手动描绘病理区域是一个耗时的过程，特别是在3D图像中，并且通常需要训练有素的专家的时间。因此，有监督的机器学习解决方案必须处理少量的标记数据，尽管通常还有额外的未标记数据可用。虽然这些未标记图像的价值低于标记图像，但它们可能包含有用的信息。在本文中，我们建议在GAN框架内结合标记和未标记的数据，然后使用生成的网络生成图像，以供训练分割网络时使用。我们探讨了AD数据集中的深灰色物质多类分割的任务，并表明所提出的方法导致分割结果的显着改善，特别是在标记数据量受限的情况下。我们表明，这种改善在很大程度上是由更大的能力，以分割已知的结构是最受AD，从而证明了暴露系统的好处，更多的病理解剖变异的例子。我们还展示了训练数据的域从年轻和健康向老年人和更多病理的例子的转变如何导致后者的情况下，更好的分割，这导致显着改善的能力计算分割分层的情况下AD。
2018-11-26 cs.CV
Leveraging Labelled Data Knowledge: A Cooperative Rectification Learning Network for Semi-supervised 3D Medical Image Segmentation
School of Mechanical Engineering and Automation, Northeastern University（东北大学机械工程与自动化学院）；Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
针对半监督3D医学图像分割中无标签数据利用及伪标签准确性问题，提出含协同校正学习网络、动态交互模块和协同正监督的方法，提升伪标签质量与分割性能，实验验证其有效性和优越性。
2025-02-17 cs.AI cs.CV
Automatically Discovering and Learning New Visual Categories with Ranking Statistics
University of Oxford（牛津大学）
我们解决的问题，发现新的类在图像集合中的其他类的标记的例子。这种设置类似于半监督学习，但明显更难，因为新类没有标记的示例。因此，挑战在于利用标记图像中包含的信息来学习通用聚类模型，并使用后者来识别未标记数据中的新类别。在这项工作中，我们解决这个问题，结合三个想法：（1）我们建议，使用标记数据的自举图像表示的常见方法只会引入不必要的偏见，这可以通过使用自监督学习来避免从零开始训练标记和未标记数据的联合表示;（2）利用秩统计量将模型对标记类的知识转化为对未标记图像的聚类问题;以及（3）通过对数据的标记和未标记子集优化联合目标函数来训练数据表示，改进标记数据的监督分类和未标记数据的聚类。我们评估我们的方法在标准分类基准，并优于目前的方法，新的类别发现的显着保证金。
2020-02-13 cs.CV
Improving 3D Semi-supervised Learning by Effectively Utilizing All Unlabelled Data
Concordia University（康考迪亚大学）
提出AllMatch框架，通过自适应硬增强、逆向学习和对比学习三个模块有效利用所有未标记数据，在3D半监督分类任务中显著超越SOTA。
2024-09-21 cs.CV
Dealing with Distribution Mismatch in Semi-supervised Deep Learning for Covid-19 Detection Using Chest X-ray Images: A Novel Approach Using Feature Densities
Centre for Computational Intelligence (CCI), De Montfort University（德蒙福特大学计算智能中心）；School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）
在全球冠状病毒大流行的背景下，已经提出了使用胸部X射线图像进行感染对象检测的不同深度学习解决方案。然而，深度学习模型通常需要大型标记数据集才能有效。半监督深度学习是一种有吸引力的替代方案，其中利用未标记的数据来提高整体模型的准确性。然而，在现实世界的使用设置中，未标记的数据集可能呈现与标记的数据集不同的分布（即，标记的数据集从目标诊所采样，未标记的数据集从源诊所采样）。这导致未标记和标记数据集之间的分布不匹配。在这项工作中，我们评估了标记和未标记数据集之间的分布不匹配的影响，对于用胸部X射线图像训练的半监督模型，用于COVID-19检测。在强分布失配条件下，我们发现准确率接近30%，这表明未标记的数据集分布对模型的行为有很大的影响。因此，我们提出了一个简单的方法来减少这种分布不匹配的影响。我们提出的方法使用的特征空间的密度近似。它建立在目标数据集上，以过滤掉源未标记数据集中可能损害半监督模型准确性的观测。它假设一个小的标记源数据集与一个较大的未标记源数据集一起可用。我们提出的方法不需要任何模型训练，它是简单的，计算成本低。我们将我们提出的方法与两种流行的最先进的分布外数据检测器进行比较，这两种检测器也很便宜且易于实现。在我们的测试中，我们的方法产生了高达32%的准确性增益，与以前的最先进的方法相比。
2021-08-17 cs.CV
AutoNovel: Automatically Discovering and Learning Novel Visual Categories
University of Oxford（牛津大学）
我们解决的问题，发现新的类在图像集合中的其他类的标记的例子。我们提出了一种新的方法称为AutoNovel来解决这个问题，结合三个想法：（1）我们建议，使用标记数据的自举图像表示的常见方法只会引入不必要的偏差，这可以通过使用自监督学习来从零开始训练标记和未标记数据的联合表示来避免;（2）利用排序统计量将模型对标记类的知识转化为对未标记图像的聚类问题;以及（3）通过对数据的标记和未标记子集优化联合目标函数来训练数据表示，改进标记数据的监督分类和未标记数据的聚类。此外，我们提出了一种方法来估计类的数量的情况下，新的类别的数量是未知的先验。我们在标准分类基准上评估了AutoNovel，并大大优于目前的新类别发现方法。此外，我们还证明了AutoNovel可以用于完全无监督的图像聚类，取得了很好的效果。
2021-06-29 cs.CV
Integrating Semi-Supervised and Active Learning for Semantic Segmentation
University of Cambridge（剑桥大学）；Cardiff University（卡迪夫大学）
本文提出一种结合改进半监督学习框架的新型主动学习方法，通过减少人工标注成本并提升模型性能。方法利用主动学习选择的标注数据和排除的未标注数据，通过伪标签自动校正模块提高分割精度。
2026-04-13 cs.AI cs.CV
Denoising Adversarial Autoencoders: Classifying Skin Lesions Using Limited Labelled Training Data
我们提出了一种新的深度学习模型，用于在有大量未标记的医学数据可用但标记数据供应有限的情况下对医学图像进行分类。我们考虑将皮肤病变分类为恶性或良性的具体情况。在这种情况下，所提出的方法-半监督，去噪对抗自动编码器-能够利用大量未标记的数据来学习皮肤病变的表示，以及少量标记的数据来基于学习的表示分配类别标签。我们分析了模型的对抗和去噪组件的贡献，并发现在有限的标记训练数据的设置中，组合产生优越的分类性能。
2018-01-02 cs.CV
Semantic Segmentation of highly class imbalanced fully labelled 3D volumetric biomedical images and unsupervised Domain Adaptation of the pre-trained Segmentation Network to segment another fully unlabelled Biomedical 3D Image stack
Indian Institute of Science（印度科学学院）
我们工作的目标是对三维生物医学体数据进行像素标签语义分割。对于大型的生物医学数据集，人工标注一直是一个难题。因此，我们考虑两种情况，其中一个数据集是完全标记的，另一个数据集假设是完全未标记的。我们首先对完全标记的各向同性生物医学源数据（FIBSEM）执行语义分割，并尝试将训练模型用于分割目标未标记数据集（SNEMI3D），该数据集在不同类型的细胞体和其他细胞成分的背景下与源数据集具有一些相似性。虽然，细胞成分的大小和形状各不相同。因此，在本文中，我们提出了一种新的方法，在无监督的领域自适应的上下文中，同时分类到细胞边界和细胞体的目标体数据的每个像素。此外，我们提出了一种新的方法，给予非均匀的权重，以不同的像素在训练图像中，同时执行像素级的语义分割的存在下，相应的像素明智的标签地图以及在源域中的训练原始图像。我们已经使用了熵图或距离变换矩阵从给定的地面真值标签图检索，这有助于克服医学图像数据中的类不平衡问题，其中细胞边界非常薄，因此非常容易被误分类为非边界。
2020-03-13 cs.CV
DualTeacher: Bridging Coexistence of Unlabelled Classes for Semi-supervised Incremental Object Detection
Tsinghua University（清华大学）；SAIC AI Lab（上汽人工智能实验室）
针对半监督增量目标检测中旧新类别无标签实例共存导致教师模型识别不全的问题，本文提出 DualTeacher 方法，通过分别为旧类别和新类别构建教师模型并拼接其预测来指导学生，在多个基准上以有限开销取得显著性能提升。
2023-12-13 cs.AI cs.CV
Learning Semi-supervised Gaussian Mixture Models for Generalized Category Discovery
University of Edinburgh（爱丁堡大学）；The University of Hong Kong（香港大学）
针对未知类别数的广义类别发现问题，本文提出结合半监督 GMM 随机分裂合并与原型对比学习的 EM 式框架，并在多类图像数据集上达到最先进性能。
2023-08-17 cs.CV
ELUDE: Generating interpretable explanations via a decomposition into labelled and unlabelled features
Princeton University（普林斯顿大学）
在过去的十年里，深度学习模型在机器学习的不同领域取得了巨大的成功;然而，这些模型的规模和复杂性使它们难以理解。为了使它们更易于解释，最近的几项工作专注于通过人类可解释的语义属性来解释深层神经网络的部分。然而，仅仅使用语义属性可能无法完全解释复杂的模型。在这项工作中，我们建议增加这些属性与一小部分不可解释的功能。具体来说，我们开发了一种新的解释框架ELUDE（通过标记和未标记DEcomposition解释），将模型的预测分解为两部分：一部分是通过语义属性的线性组合可解释的，另一部分是依赖于一组不可解释的特征。通过识别后者，我们能够分析模型中“无法解释”的部分，从而深入了解模型所使用的信息。我们表明，未标记的特征集可以推广到使用相同特征空间训练的多个模型，并将我们的工作与两种流行的面向属性的方法（可解释基础分解和概念瓶颈）进行比较，并讨论ELUDE提供的其他见解。
2022-06-16 cs.CV cs.LG
Semi-Supervised 3D Hand Shape and Pose Estimation with Label Propagation
ANU（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）
为了获得3D注释，我们被限制在受控环境或合成数据集，导致我们获得对真实世界场景具有较低概括性的3D数据集。为了在半监督3D手部形状和姿势估计的背景下解决这个问题，我们提出了Pose对齐网络，以将3D注释从标记的帧传播到稀疏注释视频中的附近未标记的帧。我们表明，将对齐监督对标记的未标记的帧，使我们能够提高姿态估计的准确性。此外，我们表明，建议的姿势对齐网络可以有效地传播注释看不见的稀疏标记的视频，而无需微调。
2021-11-30 cs.CV
Semi-supervised Deep Learning for Image Classification with Distribution Mismatch: A Survey
De Montfort University（德蒙福特大学）；Institute of Artificial Intelligence (IAI), De Montfort University（德蒙福特大学人工智能研究所）
深度学习方法已被应用于多个不同的领域，在图像识别应用中取得了巨大的成功，例如材料质量控制、医学成像、自动驾驶等。深度学习模型依赖于大量的标记观察来训练预期模型。这些模型由数百万个待估计的参数组成，增加了对更多训练观测的需求。通常，收集标记的数据观测值是昂贵的，这使得深度学习模型的使用并不理想，因为模型可能过度拟合数据。在半监督设置中，未标记数据用于提高具有小标记数据集的模型的准确性和泛化水平。然而，在许多情况下，可能会有不同的无标签数据来源。这增加了标记和未标记数据集之间显著分布不匹配的风险。这种现象可能会对典型的半监督深度学习框架造成相当大的性能打击，这些框架通常假设标记和未标记的数据集都来自类似的分布。因此，在本文中，我们研究了用于图像识别的半监督深度学习的最新方法。重点是半监督深度学习模型，旨在处理标记和未标记数据集之间的分布不匹配。我们应对开放性挑战，旨在鼓励社区解决这些挑战，并克服传统深度学习管道在现实使用环境下的高数据需求。
2022-03-10 cs.AI cs.CV
SemiCurv: Semi-Supervised Curvilinear Structure Segmentation
Institute for Infocomm Research (I2R), A-STAR（新加坡科技研究局资讯通信研究院（I2R））
最近的工作曲线结构分割主要集中在骨干网络设计和损失工程。收集标记数据的挑战，一个昂贵和劳动密集型的过程，一直被忽视。虽然标记数据的获取成本很高，但未标记数据往往很容易获得。在这项工作中，我们提出了SemiCurv，一个半监督学习（SSL）框架的曲线结构分割，能够利用这种未标记的数据，以减少标签的负担。我们的框架解决了以半监督方式制定曲线分割的两个关键挑战。首先，为了充分利用基于SSL的一致性的能力，我们引入几何变换作为强数据增强，然后通过可微逆变换对齐分割预测，以实现逐像素一致性的计算。其次，传统的无标签数据的均方误差（MSE）容易导致预测崩溃，并且这个问题会随着严重的类别不平衡（显著更多的背景像素）而加剧。我们提出了一个N对一致性损失，以避免无标签数据的平凡预测。我们在六个曲线分割数据集上评估了SemiCurv，发现在不超过5%的标记数据的情况下，相对于完全监督的同类产品，它的性能接近95%。
2022-05-19 cs.CV
Joint Representation Learning and Novel Category Discovery on Single- and Multi-modal Data
Google（谷歌公司）；University of Bristol（布里斯托尔大学）；The University of Hong Kong（香港大学）
本文研究了单模态和多模态数据的新类别发现问题，这些数据具有不同但相关的类别标签。我们提出了一个通用的，端到端的框架，共同学习一个可靠的表示，并分配集群的未标记的数据。为了避免过度拟合学习嵌入标记的数据，我们从噪声对比估计的自监督表示学习中获得灵感，并将其扩展到联合处理标记和未标记的数据。特别是，我们建议使用类别歧视标记的数据和多模态数据的跨模态歧视，以增强传统的对比学习方法中使用的实例歧视。我们进一步采用Winner-Take-All（WTA）哈希算法在共享表示空间上为未标记的数据生成成对的伪标签，以更好地预测聚类分配。我们在大规模多模态视频基准Kinetics-400和VGG-Sound以及图像基准CIFAR 10，CIFAR 100和ImageNet上彻底评估了我们的框架，获得了最先进的结果。
2021-10-14 cs.CV
Self-supervised cross-modality learning for uncertainty-aware object detection and recognition in applications which lack pre-labelled training data
The University of Birmingham（伯明翰大学）；Horizon Robotics（地平线机器人）；The University of Sheffield（谢菲尔德大学）
本文提出一种自监督教师-学生流水线，利用少量标注数据和未标注RGB-D数据训练不确定性感知的YOLOv3网络，实现目标检测、识别与定位，在核废料分拣等无标注工业场景中显著优于直接监督训练。
2024-11-05 cs.AI cs.CV cs.NE
Co-Generation and Segmentation for Generalized Surgical Instrument Segmentation on Unlabelled Data
University of British Columbia（不列颠哥伦比亚大学）；Technical University of Munich（慕尼黑工业大学）
精确的器械跟踪和增强现实叠加需要机器人辅助手术的手术器械分割。因此，该主题已成为CAI社区最近一些论文的主题。基于深度学习的方法在手术器械分割方面表现出了最先进的性能，但其结果取决于标记数据。然而，标记的手术数据是有限的可用性，是这些方法的手术翻译的瓶颈。在本文中，我们展示了这些方法在不同数据集上的有限推广性，包括人类机器人辅助手术。然后，我们提出了一种新的联合生成和分割策略，以学习一个分割模型，具有更好的泛化能力，没有标记的数据域。该方法利用不同域中标记数据的可用性。生成器进行从标记域到未标记域的域转换，同时，分割模型在正则化生成模型的同时使用生成的数据进行学习。我们将我们的方法与最先进的方法进行了比较，并在公开的数据集和我们自己录制的机器人辅助切除术视频帧上显示了其普适性。我们的方法显示一贯高的平均骰子分数标记和未标记的域时，数据仅适用于一个域。*M。Kalia和T. Aleef对这份手稿做出了同样的贡献
2021-03-16 cs.CV cs.LG cs.RO
Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose
Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究的问题，学习估计的3D对象的姿势从一些标记的例子和未标记的数据的集合。我们的主要贡献是一个学习框架，神经视图合成和匹配，它可以可靠地将3D姿态注释从标记图像转移到未标记图像，尽管有看不见的3D视图和讨厌的变化，如对象形状，纹理，照明或场景上下文。在我们的方法中，对象表示为三维立方体网格组成的特征向量在每个网格顶点。该模型是从几个标记的图像初始化，并随后用于合成看不见的三维视图的特征表示。合成视图与未标记图像的特征表示相匹配，以生成3D姿态的伪标签。伪标记的数据又用于训练特征提取器，使得每个网格顶点处的特征在对象的变化的3D视图上更加不变。我们的模型以EM类型的方式进行训练，在增加特征提取器的3D姿态不变性和通过神经视图合成和匹配注释未标记数据之间交替。我们证明了所提出的半监督学习框架的有效性，三维姿态估计的PASCAL 3D+和KITTI数据集。我们发现，我们的方法优于所有基线的一个很大的保证金，特别是在一个极端的Few-Shot设置，只有7个注释的图像。值得注意的是，我们观察到我们的模型在涉及部分遮挡的分布外场景中也实现了出色的鲁棒性。
2021-10-27 cs.CV
Unsupervised Domain Adaptation for Brain Vessel Segmentation through Transwarp Contrastive Learning
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）
本文提出一种基于 Transwarp 对比学习的无监督域自适应框架，用于缩小带标签 3DRA 与无标签 MRA 模态间的域差距，并在脑血管数据集上验证其能有效提升无标签 MRA 数据的血管分割性能。
2024-02-23 cs.CV cs.LG
Bayesian Joint Modelling for Object Localisation in Weakly Labelled Images
我们解决的问题，在图像和视频中的边界框弱标签的对象的本地化。这种弱监督的对象定位问题在过去已经使用判别模型来解决，其中每个对象类独立于其他类进行定位。本文提出了一种基于贝叶斯联合主题建模的新框架，该框架与现有框架的显著不同之处在于：（1）所有前景对象类都在一个单一的生成模型中联合建模，该生成模型对多个对象共存进行编码，以便“解释”推理可以解决歧义并导致更好的学习和定位。(2)图像背景在各个类之间共享，以更好地了解不同的环境并“推出”感兴趣的对象。(3)我们的模型可以通过弱标记和未标记数据的混合来学习，从而可以利用互联网上大量的未标记图像进行学习。此外，贝叶斯公式使得能够利用各种类型的先验知识来补偿弱标记数据提供的有限监督，以及用于迁移学习的贝叶斯领域自适应。在PASCAL VOC，ImageNet和YouTube-Object视频数据集上进行的大量实验证明了我们的贝叶斯联合模型对弱监督对象定位的有效性。
2017-06-19 cs.CV
Curator: Creating Large-Scale Curated Labelled Datasets using Self-Supervised Learning
SpaceML；Pinterest；NVIDIA（英伟达）；Frontier Development Lab（前沿开发实验室）
将机器学习应用于地球科学等领域受到缺乏标记数据的阻碍，尽管在这些领域中有大量的原始数据。例如，在卫星图像上训练野火分类器需要管理大量不同的数据集，这是一个昂贵且耗时的过程，可能持续数周至数月。在超过40 PB的未标记数据中搜索相关示例需要研究人员手动搜索这些图像，就像大海捞针一样。我们提出了一个无代码的端到端管道，馆长，它大大减少了管理一个详尽的标记数据集所需的时间。Curator能够通过结合自我监督、可扩展的最近邻搜索和主动学习来学习和区分图像表示，从而搜索大量未标记的数据。管道也可以很容易地应用于解决跨不同领域的问题。总的来说，该管道使研究人员能够在很短的时间内从一个参考图像到一个全面的数据集。
2022-12-28 cs.CV
Wearable-based behaviour interpolation for semi-supervised human activity recognition
Durham University（杜伦大学）；Newcastle University（纽卡斯尔大学）；Tencent YouTu Lab（腾讯优图实验室）；Chinese Academy of Sciences R&D Center for Internet of Things（中国科学院物联网研究发展中心）
提出深度半监督HAR方法MixHAR，通过线性插值混合标记与未标记数据，并设计校准机制解决活动入侵问题，显著提升识别性能。
2024-05-24 cs.CV
More Than Meets The Eye: Semi-supervised Learning Under Non-IID Data
Centre for Computational Intelligence (CCI)（计算智能中心）；De Montfort University（德蒙福特大学）；Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）
半监督深度学习（SSDL）中的一个常见启发式算法是基于与标记数据的语义相似性来选择未标记数据。例如，标记的数字图像应该与未标记的数字图像配对，而不是与未标记的汽车图像配对。我们将这种实践称为语义数据集匹配。在这项工作中，我们展示了语义数据集匹配的限制。我们表明，它有时甚至可以降低性能的最先进的SSDL算法。我们提出并提供了一个全面的模拟沙箱，称为非IID-SSDL，压力测试的SSDL算法在不同程度的分布之间的不匹配的标记和未标记的数据集。此外，我们证明了简单的密度为基础的相异性措施在一个通用分类器的特征空间提供了一个有前途的和更可靠的定量匹配标准，选择未标记的数据SSDL训练之前。
2021-04-20 cs.CV cs.LG stat.ML
Semi-Supervised Learning with Scarce Annotations
University of Oxford（牛津大学）
虽然半监督学习（SSL）算法提供了一种有效的方法来利用标记和未标记的数据，但当注释样本的数量非常小时，它们通常会遇到困难。在这项工作中，我们考虑了SSL多类分类的问题，很少有标记的实例。我们介绍两个关键的想法。第一个是简单但有效的：我们利用不同任务之间的迁移学习和自我监督的力量来初始化数据的良好表示，而不使用任何标签。第二个想法是一种新的SSL算法，可以很好地利用这种预先训练的表示。该算法的工作原理是交替进行两个阶段，一个是拟合标记点，另一个是拟合未标记点，它们之间有仔细控制的信息流。其好处是大大减少了标记数据的过度拟合，并避免了在训练期间平衡标记和未标记损失的问题。我们的经验表明，这种方法可以成功地训练竞争力的模型，每类只有10个标记的数据点。更一般地说，我们表明，使用自监督学习的自举功能的想法总是提高SSL的标准基准。我们表明，与其他方法相比，我们的算法在从其他任务或数据集进行细化时工作得越来越好。
2020-04-21 cs.CV stat.ML
Leveraging Action Affinity and Continuity for Semi-supervised Temporal Action Segmentation
National University of Singapore（新加坡国立大学）
我们提出了一个半监督学习的时间动作分割任务的方法。该任务的目标是在时间上检测和分割动作长，未修剪的程序视频，其中只有一小部分视频是密集标记的，和大量的视频未标记。为此，我们提出了两个新的损失函数的未标记的数据：一个行动的亲和力损失和行动的连续性损失。动作亲和损失通过施加从标记集合诱导的动作先验来引导未标记样本学习。动作连续性损失加强了动作的时间连续性，这也提供了逐帧分类监督。此外，我们提出了一种自适应边界平滑（ABS）方法来构建更粗糙的动作边界，以实现更强大和可靠的学习。建议的损失函数和ABS进行了评估的三个基准。结果表明，他们显着提高了动作分割性能与少量（5%和10%）的标记数据，并取得了可比的结果与50%的标记数据的全面监督。此外，ABS成功地提高了性能时，集成到全监督学习。
2022-07-21 cs.AI cs.CV
HydraMix-Net: A Deep Multi-task Semi-supervised Learning Approach for Cell Detection and Classification
University of Warwick（华威大学）；Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
半监督技术通过利用未标记的数据来提高模型的性能，从而消除了大规模标记集的障碍。在本文中，我们提出了一种半监督的深度多任务分类和定位方法HydraMix-Net，用于标记耗时且成本高昂的医学成像领域。首先，使用模型对未标记图像的扩展集的预测来生成伪标签，并进行平均。高熵预测进一步锐化以减少熵，然后与标记集混合进行训练。该模型以多任务学习方式进行训练，具有用于分类定位的噪声容忍联合损失，并且与简单的深度模型相比，在给定有限数据时具有更好的性能。在DLBCL数据上，它实现了80%的准确度，而简单的CNN在仅给出100个标记示例时实现了70%的准确度。
2020-08-11 cs.CV
Novel Visual Category Discovery with Dual Ranking Statistics and Mutual Knowledge Distillation
Tongji University（同济大学）；The University of Hong Kong（香港大学）；Google Research（谷歌研究院）；University of Bristol（布里斯托大学）
在本文中，我们解决了新的视觉类别发现的问题，即，通过利用包含来自其他不同但相关类别的图像的标记数据集，将来自新类别的未标记图像分组到不同的语义分区中。这是一个比传统的半监督学习更现实和更具挑战性的设置。我们提出了一个两个分支的学习框架，这个问题，一个分支专注于本地部分级别的信息和其他分支专注于整体特征。为了将知识从标记数据转移到未标记数据，我们建议在两个分支上使用双排名统计来生成伪标签，用于在未标记数据上进行训练。我们进一步引入了一个相互的知识蒸馏方法，以允许信息交换，并鼓励发现新的类别，使我们的模型享受全球和本地功能的好处的两个分支之间的协议。我们在通用对象分类的公共基准上全面评估了我们的方法，以及用于细粒度视觉识别的更具挑战性的数据集，实现了最先进的性能。
2022-01-03 cs.CV
CiPR: An Efficient Framework with Cross-instance Positive Relations for Generalized Category Discovery
The University of Hong Kong（香港大学）
针对未知类别数的广义类别发现（GCD）问题，提出CiPR框架，利用跨实例正关系进行对比学习，并引入SNC半监督层次聚类算法以优化表示学习、估计类别数及分配标签，在多个数据集上达到新SOTA。
2024-03-25 cs.AI cs.CV
Generalized Category Discovery
University of Oxford（牛津大学）；The University of Hong Kong（香港大学）
在本文中，我们考虑了一个高度通用的图像识别设置，其中，给定一个标记和未标记的图像集，任务是对未标记的集合中的所有图像进行分类。这里，未标记的图像可以来自标记的类或来自新的类。现有的识别方法无法处理这种情况，因为它们做出了一些限制性的假设，例如未标记的实例仅来自已知或未知类，以及未知类的数量是先验已知的。我们解决更无约束的设置，命名为“广义类别发现”，并挑战所有这些假设。我们首先通过从新类别发现中采用最先进的算法并使其适应这项任务来建立强大的基线。接下来，我们建议使用视觉Transformer与对比表示学习，这个开放的世界设置。然后，我们引入了一个简单而有效的半监督$k$ -均值方法来自动将未标记的数据聚类到可见和不可见的类中，大大优于基线。最后，我们还提出了一种新的方法来估计类的数量在未标记的数据。我们彻底评估我们的方法对公共数据集的通用对象分类和细粒度数据集，利用最近的语义转移基准套件。项目页面https://www.robots.ox.ac.uk/~vgg/research/gcd
2022-06-19 cs.CV cs.LG
Visual Transformer for Task-aware Active Learning
Imperial College London（帝国理工学院）；KAIST（韩国科学技术院）
主动学习（AL）中基于池的采样代表了在处理深度学习模型时对信息数据进行标注的关键框架。在本文中，我们提出了一种新的管道池为基础的主动学习。与大多数以前的作品不同，我们的方法在训练过程中利用可访问的未标记示例来估计它们与标记示例的相关性。本文的另一个贡献是采用Visual Transformer作为AL管道的采样器。视觉Transformer模型标记和未标记的例子之间的非局部视觉概念依赖，这是至关重要的识别影响未标记的例子。此外，现有的方法相比，学习者和采样器的训练在一个多阶段的方式，我们建议训练他们在一个任务感知的方式，使潜在的空间转化为两个独立的任务：一个分类的标记的例子;其他区分的标签方向。我们评估了我们的工作在四个不同的具有挑战性的基准分类和检测任务，即CIFAR 10，CIFAR 100，FashionMNIST，RaFD和Pascal VOC 2007。我们广泛的实证和定性评估表明，我们的方法相比，现有的方法的优越性。可用代码：https://github.com/razvancaramalau/Visual-Transformer-for-Task-aware-Active-Learning
2021-06-07 cs.AI cs.CV
Sequential Graph Convolutional Network for Active Learning
Imperial College London（帝国理工学院）；KAIST（韩国科学技术院）
本文提出了一种新的基于池的主动学习框架，该框架构建在序列图卷积网络（GCN）上。来自数据池的每个图像的特征表示图中的一个节点，并且边缘编码它们的相似性。使用少量随机采样的图像作为种子标记的示例，我们学习图的参数，以通过最小化二进制交叉熵损失来区分标记与未标记的节点。GCN执行节点之间的消息传递操作，因此，诱导强关联节点的类似表示。我们利用这些特点的GCN选择的未标记的例子是充分不同的标记。为此，我们利用图节点嵌入及其置信度得分，并采用CoreSet和基于不确定性的方法等采样技术来查询节点。我们将新查询的节点的标签从未标记的翻转为标记的，重新训练学习器以优化下游任务和图以最小化其修改的目标。我们在固定预算内继续这一进程。我们在6个不同的基准上评估我们的方法：4个真实的图像分类，1个基于深度的手部姿势估计和1个合成RGB图像分类数据集。我们的方法优于几个有竞争力的基准，如VAAL，学习损失，CoreSet，并在多个应用程序上达到新的最先进的性能。https://github.com/razvancaramalau/Sequential-GCN-for-Active-Learning
2021-04-01 cs.CV cs.LG
Traffic Scenario Clustering by Iterative Optimisation of Self-Supervised Networks Using a Random Forest Activation Pattern Similarity
Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）；Royal Melbourne Institute of Technology（皇家墨尔本理工大学）
交通场景分类是自动驾驶的一个重要组成部分，例如，例如，在一个实施例中，运动规划算法及其验证。无需手工步骤即可发现新的相关场景，这将大幅减少自动驾驶开发所需的资源。本文提出了一种基于随机森林激活模式（RFAP）相似性的聚类方法来解决这一问题。RFAP相似性是使用随机森林算法中的树编码方案生成的。本文提出的聚类方法考虑了存在标记情景的情况，并且标记情景中的信息有助于指导未标记情景的聚类。算法分为3个步骤。首先，利用自监督目标函数，在所有可用的交通场景下训练自监督卷积神经网络.第二，CNN对标记情景的分类进行了微调。第三，使用已标记和未标记的场景，执行迭代优化过程以进行聚类。在第三步中，在迭代优化的每个时期，CNN被用作无监督随机森林的特征生成器。训练森林进而提供RFAP相似性，以迭代地适应由CNN实现的特征生成过程。已在高D数据集上进行了广泛的实验和消融研究。与基线聚类技术相比，该方法具有更好的性能。
2021-06-15 cs.CV
A Horse with no Labels: Self-Supervised Horse Pose Estimation from Unlabelled Images and Synthetic Prior
University of Leeds（利兹大学）
本文提出一种仅需未标注图像和少量合成2D姿态先验的自监督方法，无需任何真实姿态标注即可同时学习马匹的准确3D和2D姿态，并验证了极低假设条件下动物姿态估计的可行性。
2023-08-07 cs.CV
Progressive Sample Mining and Representation Learning for One-Shot Person Re-identification with Adversarial Samples
Beijing Jiaotong University（北京交通大学）
在本文中，我们的目标是解决一次性的人重新识别问题，只有一个图像标记为每个人，而其他图像是未标记的。由于缺乏足够的标记训练数据，该任务是具有挑战性的。为了解决这个问题，我们建议迭代地猜测未标记图像样本的伪标签，这些伪标签随后用于与标记样本一起更新重新识别模型。设计了一种新的采样机制，根据距离矩阵将未标记样本选择为伪标记样本，并形成包括标记样本和伪标记样本的训练三元组批。考虑到伪标签样本的不可靠性，我们还设计了HSoften-Triplet-Loss来减轻不正确伪标签的负面影响。最后，我们部署了一种对抗性学习方法来将图像样本扩展到不同的相机视图。我们的实验表明，我们的框架在Market-1501（mAP 42.7%）和DukeMTMC-Reid数据集（mAP 40.3%）上实现了新的最先进的一次性Re-ID性能。代码将很快可用。
2019-11-02 cs.CV
Self-supervised Learning of Interpretable Keypoints from Unlabelled Videos
University of Oxford（牛津大学）；DeepMind（深度思维）；University of Edinburgh（爱丁堡大学）
我们提出了KeypointGAN，这是一种用于从单个图像中识别对象姿态的新方法，该方法仅使用未标记的视频和对象姿态的弱经验先验进行学习。视频帧的主要区别在于它们所包含的对象的姿态，因此我们的方法通过分析帧之间的差异来提取姿态信息。蒸馏使用对象的几何形状的新的双重表示作为一组2D关键点，并作为图形表示，即骨架图像。这有三个好处：（1）它提供了一个紧密的“几何瓶颈”，其将姿态从外观中分离出来，（2）它可以利用强大的图像到图像转换网络来在测光和几何之间进行映射，以及（3）它允许在学习过程中合并经验姿态先验。从未配对的数据（诸如从不同的数据集或模态（诸如mocap））获得姿态先验，使得在学习姿态识别网络时从不使用注释图像。在人类和人脸姿势识别的标准基准测试中，我们的方法在不需要任何标记图像进行训练的方法中实现了最先进的性能。
2020-12-23 cs.CV
Active Learning by Feature Mixing
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；Idiap Research Institute（Idiap研究所）；Monash University（莫纳什大学）；Amazon（亚马逊）
主动学习（AL）的承诺是通过从未标记的数据池中选择最有价值的示例进行注释来降低标记成本。识别这些示例对于高维数据（例如图像，视频）和低数据状态尤其具有挑战性。在本文中，我们提出了一种新的方法，称为ALFA-Mix的批量AL。我们通过寻求对它们的表征进行干预而导致的预测不一致来识别具有明显不同特征的未标记实例。我们构建标记和未标记的实例表示之间的插值，然后检查预测的标签。我们表明，这些预测中的不一致有助于发现模型在未标记实例中无法识别的特征。我们得到一个有效的实现的基础上的封闭形式的解决方案，最佳插值引起的预测变化。我们的方法优于所有最近的AL方法在30个不同的设置上的12个基准的图像，视频和非视觉数据。这些改进在低数据状态和自我训练的视觉Transformer上尤其显着，其中ALFA-Mix分别在59%和43%的实验中优于最先进的技术。
2022-03-14 cs.CV
Active Learning with Contrastive Pre-training for Facial Expression Recognition
Ingenuity Labs Research Institute（创意实验室研究所）；Queen’s University（女王大学）
本文针对人脸表情识别中标注数据稀缺问题，提出先进行对比自监督预训练再进行主动学习的两步方法，在三个公开数据集上验证其相比随机采样和现有主动学习基线分别最高提升9.2%和6.7%。
2023-07-06 cs.CV
Multi-label Learning Based Deep Transfer Neural Network for Facial Attribute Classification
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；The University of Adelaide（阿德莱德大学）
深度神经网络（DNN）最近在包括面部属性分类在内的各种计算机视觉任务中取得了出色的性能。使用DNN对面部属性进行分类的巨大成功通常依赖于大量的标记数据。然而，在现实世界的应用程序中，标记的数据只提供了一些常用的属性（如年龄，性别）;而，未标记的数据可用于其他属性（如吸引力，发际线）。为了解决上述问题，我们提出了一种新的基于多标签学习的面部属性分类的深度迁移神经网络方法，称为FMTNet，它由三个子网络组成：面部检测网络（FNet），多标签学习网络（MNet）和迁移学习网络（TNet）。首先，基于更快的基于区域的卷积神经网络（Faster R-CNN），FNet被微调用于人脸检测。然后，FNet对MNet进行微调，以使用标记数据预测多个属性，其中开发了一种有效的减肥方案，以显式地利用基于属性分组的面部属性之间的相关性。最后，在MNet的基础上，利用无监督的领域自适应训练TNet进行无标记人脸属性分类。这三个子网络紧密耦合，以执行有效的面部属性分类。所提出的FMTNet方法的一个显着特点是，三个子网络（FNet，MNet和TNet）构建在一个类似的网络结构。在具有挑战性的人脸数据集上的大量实验结果表明，与几种最先进的方法相比，我们提出的方法是有效的。
2018-05-03 cs.CV
MO-CTranS: A unified multi-organ segmentation model learning from multiple heterogeneously labelled datasets
University of Nottingham Ningbo China（宁波诺丁汉大学）
MO-CTranS提出一种结合CNN编码器和Transformer解码器的统一模型，通过任务特定标记解决多数据集标签冲突，在腹部MRI多器官分割中优于基线方法。
2025-03-28 cs.CV
Data Efficient Unsupervised Domain Adaptation for Cross-Modality Image Segmentation
Imperial College London（帝国理工学院）；University of Birmingham（伯明翰大学）
尽管对常见的解剖结构进行成像，但在来自源域（例如成像模式）的医学图像上训练的深度学习模型在部署在来自不同目标域的图像上时通常会失败。深度无监督域自适应（UDA）旨在仅使用未标记的目标域数据和标记的源域数据来提高深度神经网络模型在目标域上的性能。然而，当前最先进的方法在目标数据稀缺时表现出降低的性能。在这项工作中，我们介绍了一种新的数据有效的UDA方法多领域的医学图像分割。所提出的方法结合了一种新的基于VAE的特征先验匹配，这是数据效率，和域对抗训练学习共享域不变的潜在空间，这是在分割过程中利用。我们的方法进行评估的公共多模态心脏图像分割数据集，适应从标记的源域（3D MRI）的未标记的目标域（3D CT）。我们表明，通过只使用一个单一的未标记的三维CT扫描，所提出的架构优于国家的最先进的在相同的设置。最后，我们对先验匹配和领域对抗训练进行了消融研究，以阐明所提出的方法的理论基础。
2019-08-12 cs.CV eess.IV
Labelling unlabelled videos from scratch with multi-modal self-supervision
University of Oxford（牛津大学）；Facebook AI Research（Facebook人工智能研究）
深度学习目前的成功很大一部分在于数据的有效性--更准确地说：标记数据。然而，用人工注释标记数据集仍然需要很高的成本，尤其是对于视频。虽然在图像领域，最近的方法已经允许在没有监督的情况下为未标记的数据集生成有意义的（伪）标签，但这种发展在视频领域是缺失的，其中学习特征表示是当前的焦点。在这项工作中，我们a）表明视频数据集的无监督标记不会免费来自强特征编码器，b）提出一种新的聚类方法，通过利用音频和视觉模态之间的自然对应关系，允许在没有任何人类注释的情况下对视频数据集进行伪标记。一个广泛的分析表明，所产生的集群有很高的语义重叠地面真相人类标签。我们进一步介绍了常见视频数据集Kinetics，Kinetic-Sound，VGG-Sound和AVE的无监督标签的第一个基准测试结果。
2021-02-28 cs.CV cs.LG
A Generalized & Robust Framework For Timestamp Supervision in Temporal Action Segmentation
National University of Singapore（新加坡国立大学）
在时间动作分割中，时间戳监督只需要每个视频序列的少量标记帧。对于未标记的帧，以前的工作依赖于分配硬标签，并且性能在注释假设的细微违反下迅速崩溃。我们提出了一种新的期望最大化（EM）为基础的方法，利用标签的不确定性未标记的帧，是足够强大的，以适应可能的注释错误。通过准确的时间戳注释，我们提出的方法产生SOTA结果，甚至在几个指标和数据集中超过了完全监督的设置。当应用于缺少动作段的时间戳注释时，我们的方法表现出稳定的性能。为了进一步测试我们的公式的鲁棒性，我们引入了新的具有挑战性的注释设置跳过标签监督。这种设置放松了约束，并需要对视频中任何固定数量的随机帧进行注释，使其比时间戳监督更灵活，同时保持竞争力。
2022-07-20 cs.CV
A Semi-Supervised Maximum Margin Metric Learning Approach for Small Scale Person Re-identification
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在视频监控中，人的重新识别是在非重叠摄像机中搜索人图像的任务。虽然有监督的人的再识别方法已经取得了令人印象深刻的性能，获得大规模的交叉视图标记的训练数据是非常昂贵的。然而，可以获得大量未标记的数据。在本文中，我们提出了一种半监督的度量学习方法，可以利用信息的非标记数据的帮助下，一些标记的训练样本。我们还解决了小样本量的问题，固有的，由于少数标记的训练数据。我们的方法学习一个判别空间，其中类内样本崩溃到奇异点，实现类内方差最小，然后在高维核空间上使用最大边缘标准，最大限度地分离不同的类样本。一个最大的边缘准则与两个层次的高维映射到核空间被用来获得更好的跨视图的鉴别的身份。利用互逆最近邻约束的跨视图亲和学习算法从未标记数据中挖掘新的伪类，并迭代更新距离度量。我们在四个具有挑战性的数据集上实现了最先进的性能，并且具有很大的优势。
2019-10-09 cs.CV
Marginal loss and exclusion loss for partially supervised multi-organ segmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Southeast University（东南大学）
注释医学图像中的多个器官既昂贵又耗时;因此，现有的具有标签的多器官数据集的样本量通常很低，并且大多数是部分标记的，即数据集具有标记的少数器官，但不是所有器官。在本文中，我们研究了如何从这些数据集的联合中学习单个多器官分割网络。为此，我们提出了两种类型的新的损失函数，特别是为这种情况下设计的：（i）边际损失和（ii）排除损失。因为部分标记图像的背景标签实际上是所有未标记器官和“真实”背景（在完整标签的意义上）的“合并”标签，所以该“合并”背景标签的概率是边缘概率，在合并之前对相关概率求和。这个边际概率可以被插入到任何现有的损失函数中（例如交叉熵损失、骰子损失等）。形成边际损失。利用器官不重叠的事实，我们提出了排除损失来衡量标记器官和未标记器官的估计分割之间的差异。在肝脏、脾脏、左右肾脏和胰腺的多器官分割中对五个基准数据集的联合实验表明，使用我们新提出的损失函数，在不引入任何额外计算的情况下，为最先进的方法带来了显着的性能改善。
2020-07-08 cs.CV
Noisy Student Training using Body Language Dataset Improves Facial Expression Recognition
The Pennsylvania State University（宾夕法尼亚州立大学）
由于缺乏丰富的标记训练数据，野外视频中的人脸表情识别是一项具有挑战性的任务。大型DNN（深度神经网络）架构和集成方法带来了更好的性能，但由于数据不足，在某些时候很快就会达到饱和。在本文中，我们使用了一种自我训练方法，该方法利用了标记数据集和未标记数据集（Body Language Dataset - BoLD）的组合。实验分析表明，迭代地训练一个有噪声的学生网络有助于获得更好的结果。此外，我们的模型隔离了面部的不同区域，并使用多层次的注意力机制独立地处理它们，这进一步提高了性能。我们的研究结果表明，该方法实现了最先进的性能基准数据集CK+和AFEW 8.0相比，其他单一的模型。
2021-02-24 cs.CV
Cross-Domain Few-Shot Classification via Inter-Source Stylization
University of Oulu（奥卢大学）；National University of Defense Technology（国防科学技术大学）
针对跨域少样本分类中标签稀缺问题，提出源间风格化网络（ISSNet），利用一个完全标注和多个未标注的源领域增强风格化，在8个目标数据集上显著降低领域差距影响。
2023-08-29 cs.CV
HiLo: A Learning Framework for Generalized Category Discovery Robust to Domain Shifts
The University of Hong Kong（香港大学）；University of Oxford（牛津大学）
针对广义类别发现中未标注数据存在领域偏移的问题，提出HiLo网络，通过分离高层语义与低层领域特征并最小化其互信息，结合领域增强与课程学习，在构建的新基准上大幅超越现有方法。
2025-03-03 cs.AI cs.CV
Low-Budget Label Query through Domain Alignment Enforcement
Universidade Federal de São Paulo（圣保罗联邦大学）；University of Trento（特伦托大学）
深度学习革命的发生要归功于大量标记数据的可用性，这些数据有助于开发具有非凡推理能力的模型。尽管有大量的数据集可供公众使用，但为了满足具体要求，往往需要生成一组新的标记数据。通常，标签的生产成本很高，有时需要特定的专业知识才能完成。在这项工作中，我们解决了一个名为低预算标签查询的新问题，该问题包括向用户建议一个小的（低预算）样本集，从一个完全未标记的数据集中进行标记，最终目标是最大限度地提高该数据集的分类精度。在这项工作中，我们首先改进了无监督领域自适应（UDA）方法，以更好地对齐源和目标域使用一致性约束，达到最先进的几个UDA任务。最后，使用先前训练的模型作为参考，我们提出了一种简单而有效的选择方法，该方法基于预测一致性分布的均匀采样，该方法具有确定性，并且在各种公开数据集上稳定地优于其他基线以及竞争模型。
2020-03-29 cs.CV
Applications and Effect Evaluation of Generative Adversarial Networks in Semi-Supervised Learning
Huaiyin Institute of Technology（淮阴科技学院）；Walmart Inc.（沃尔玛公司）；University of Glasgow（格拉斯哥大学）
本文构建基于GANs的半监督图像分类模型，通过生成器、判别器和分类器协同训练，有效利用有限标注和大量未标注数据，提升图像生成质量与分类准确率，为复杂环境图像识别提供解决方案。
2025-05-26 cs.CV cs.LG
Beyond Known Clusters: Probe New Prototypes for Efficient Generalized Class Discovery
Hefei University of Technology（合肥工业大学）；CSIRO（联邦科学与工业研究组织）；University of Edinburgh（爱丁堡大学）
本文针对广义类别发现中聚类数量不足和计算开销大的问题，提出引入可学习潜在原型的自适应探测机制，并仅对未标注数据聚类，在多个数据集上取得领先精度和显著效率提升。
2024-04-30 cs.AI cs.CV cs.LG
Semi-Supervised and Task-Driven Data Augmentation
ETH Zurich（苏黎世联邦理工学院）；University Hospital of Zurich（苏黎世大学医院）
用于分割的监督深度学习方法需要大量标记的训练数据，没有这些数据，它们容易过拟合，不能很好地推广到看不见的图像。在实践中，从临床专家处获得大量注释是昂贵且耗时的。解决注释示例的稀缺性的一种方法是使用随机空间和强度变换的数据增强。最近，有人提出使用生成模型来合成真实的训练样本，以补充随机增强。到目前为止，这些方法相对于随机增强产生了有限的增益。然而，有可能通过（i）明确建模变形场（非仿射空间变换）和强度变换以及（ii）在生成过程中利用未标记的数据来改进该方法。有了这个动机，我们提出了一种新的任务驱动的数据增强方法，其中合成新的训练样本，生成网络明确建模和应用变形场和附加强度掩模现有的标记数据，建模形状和强度变化，分别。至关重要的是，生成模型被优化以有利于任务，在这种情况下是分割，并被约束以匹配从标记和未标记样本中观察到的图像的分布。此外，变形场的显式建模允许通过简单地将所生成的变换应用于输入图像和对应的注释来精确对应地合成分割掩模和图像。我们对心脏磁共振图像（MRI）的实验表明，对于小训练数据场景中的分割任务，所提出的方法大大优于传统的增强技术。
2019-02-28 cs.CV cs.LG stat.ML
Cross Modal Distillation for Flood Extent Mapping
Google Research（谷歌研究院）
洪水的强度和频率不断增加是气候变化的诸多后果之一。在这项工作中，我们探索ML技术，提高洪水检测模块的业务预警系统。我们的方法利用成对的多光谱和合成孔径雷达（SAR）图像的未标记的数据集，以减少纯粹的监督学习方法的标记要求。以前的作品通过创建弱标签来使用未标记的数据。然而，从我们的实验中，我们注意到这样的模型最终仍然会学习那些弱标签中的标签错误。出于知识蒸馏和半监督学习的动机，我们探讨了使用教师训练学生的帮助下，一个小手标记的数据集和一个大的未标记的数据集。与传统的自蒸馏设置不同，我们提出了一个跨模态蒸馏框架，该框架将监督从在更丰富的模态（多光谱图像）上训练的教师转移到在SAR图像上训练的学生模型。然后在Sen 1Floods 11数据集上测试训练好的模型。我们的模型在弱标记SAR图像上训练的Sen 1Floods 11基线模型在测试分割上的绝对优势为6.53% Intersection-over-Union（IoU）。
2023-02-16 cs.CV cs.LG
