FisherMatch: Semi-Supervised Rotation Regression via Entropy-based Filtering
Peking University（北京大学）
从单个RGB图像估计3DoF旋转是一个重要但具有挑战性的问题。最近的作品取得了良好的性能依赖于大量的昂贵的获得标记的数据。为了减少监督量，我们首次提出了一个通用的框架，FisherMatch，用于半监督旋转回归，而无需假设任何特定领域的知识或配对数据。受流行的半监督方法FixMatch的启发，我们建议利用伪标签过滤来促进师生相互学习框架中从标记数据到未标记数据的信息流。然而，将伪标签过滤机制结合到半监督旋转回归中是非常重要的，主要是由于缺乏可靠的旋转预测置信度。在这项工作中，我们建议利用矩阵Fisher分布来建立旋转的概率模型，并设计一个基于矩阵Fisher的回归器，用于联合预测旋转及其预测不确定性。然后，我们建议使用预测分布的熵作为置信度度量，这使我们能够对旋转回归执行伪标签过滤。为了监督这种分布类伪标签，我们进一步研究了如何在两个矩阵Fisher分布之间实施损失的问题。我们广泛的实验表明，我们的方法可以很好地工作，即使在非常低的标记数据比率在不同的基准，实现了显着的和一致的性能改善监督学习和其他半监督学习基线。我们的项目页面位于https://yd-yin.github.io/FisherMatch。
2022-03-29 cs.CV
Semi-Supervised Defect Detection via Conditional Diffusion and CLIP-Guided Noise Filtering
Hefei University of Technology（合肥工业大学）；Jiangnan University（江南大学）；University of Glasgow（格拉斯哥大学）；University of Science and Technology of China（中国科学技术大学）
本文提出基于条件扩散和CLIP噪声过滤的半监督缺陷检测框架DSYM，利用两阶段训练与伪标签，在NEU-DET上以40%标注数据达75.1% mAP，显著提升数据效率。
2025-07-08 cs.CV
Rotation-Equivariant Self-Supervised Method in Image Denoising
Xi’an Jiaotong University（西安交通大学）；Pengcheng Laboratory（鹏城实验室）；Macau University of Science and Technology（澳门科学技术大学）
本文提出将旋转等变卷积引入自监督图像去噪，通过理论分析证明网络可改造为旋转等变版本，并设计掩码融合机制构建自适应框架，实验验证了有效性。
2025-05-26 cs.CV
Dissimilarity Coefficient based Weakly Supervised Object Detection
IIIT Hyderabad（海得拉巴国际信息技术学院）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们考虑弱监督目标检测的问题，其中训练样本只使用图像级标签进行注释，指示对象类别的存在或不存在。为了对对象位置的不确定性进行建模，我们采用了基于相异性系数的概率学习目标。学习目标最小化注释不可知预测分布和注释感知条件分布之间的差异。主要的计算挑战是条件分布的复杂性，它由数百或数千个变量组成。条件分布的复杂性排除了对其进行显式建模的可能性，相反，我们利用了深度学习框架依赖于随机优化的事实。这允许我们使用最先进的离散生成模型，该模型可以从条件分布提供注释一致的样本。PASCAL VOC 2007年和2012年数据集上的广泛实验证明了我们所提出的方法的有效性。
2018-11-25 cs.CV
Deeply Supervised Rotation Equivariant Network for Lesion Segmentation in Dermoscopy Images
The Chinese University of Hong Kong（香港中文大学）
皮肤镜图像中病灶的自动分割是黑色素瘤计算机辅助诊断的重要步骤。皮肤镜图像表现出旋转和反射对称性，然而，这种几何性质尚未在现有技术的基于卷积神经网络的皮肤病变分割方法中编码。在本文中，我们提出了一个深度监督的旋转等变网络的皮肤病变分割扩展最近的组旋转等变网络\cite{cohen2016group}。具体来说，我们提出了G-上采样和G-投影操作，以适应我们的皮肤病变分割问题的旋转等变分类网络。为了进一步提高性能，我们将深度监督方案集成到我们提出的旋转等变分割架构中。整个框架是等变的输入变换，包括旋转和反射，这提高了网络的效率，从而有助于分割性能。我们在ISIC 2017皮肤病变挑战数据集上广泛评估了我们的方法。实验结果表明，在不同的实验设置下，我们的旋转等变网络始终优于具有相同模型复杂度的常规网络。我们最好的模型在测试数据集上达到77.23\%（JA），优于最先进的挑战性方法，并进一步证明了我们提出的深度监督旋转等变分割网络的有效性。我们的最佳模型也优于最先进的挑战性方法，这进一步证明了我们提出的深度监督旋转等变分割网络的有效性。
2018-07-08 cs.CV
Semi-supervised FusedGAN for Conditional Image Generation
Center For Automation Research, University of Maryland, College Park（马里兰大学帕克分校自动化研究中心）；Microsoft Research（微软研究院）
我们介绍了FusedGAN，这是一种用于条件图像合成的深度网络，可对不同图像进行可控采样。逼真度、多样性和可控采样是一个好的图像生成模型的主要质量指标。大多数现有模式在这三个方面都存在不足。FusedGAN可以以非常高的保真度对各种图像进行可控采样。我们认为，可控性可以通过解开生成过程中的各个阶段。与堆栈式GANs不同，其中多个阶段的GANs是单独训练的，并对标记的中间图像进行全面监督，而FusedGAN具有一个带有内置堆栈的GANs的单阶段流水线。与现有方法不同，现有方法需要对条件和图像进行全面监督，FusedGAN可以有效地利用更丰富的图像，而无需在训练中使用相应的条件，以产生更多样化的高保真样本。我们通过融合两个生成器来实现这一点：一个用于无条件图像生成，另一个用于有条件图像生成，其中两个部分共享一个共同的潜在空间，从而解开生成。我们证明了FusedGAN在细粒度图像生成任务（如文本到图像和属性到人脸生成）中的有效性。
2018-01-17 cs.CV
RI-MAE: Rotation-Invariant Masked AutoEncoders for Self-Supervised Point Cloud Representation Learning
South China University of Technology（华南理工大学）；The University of Adelaide（阿德莱德大学）；The University of Western Australia（西澳大学）；The University of Sydney（悉尼大学）
针对点云掩码建模对旋转敏感的问题，提出RI-MAE框架，通过RI-Transformer构建旋转不变潜在空间，并利用双分支师生架构实现旋转不变的自监督重建，在下游任务中达到SOTA。
2024-12-25 cs.CV
Conditional Prior Networks for Optical Flow
University of California, Los Angeles（加州大学洛杉矶分校）
光流的经典计算涉及通用先验（正则化器），其捕获图像的基本统计，但不捕获长程相关性或语义。另一方面，完全监督的方法学习注释数据中的规律性，没有显式正则化，并且有过拟合的风险。我们试图学习更丰富的先验的一组可能的流量，统计兼容的图像。一旦以监督的方式学习了先验，就可以容易地学习完整的图以直接从两个或更多个图像推断光流，而不需要任何（额外的）监督。我们介绍了一种新的架构，称为条件先验网络（CPN），并展示了如何训练它产生一个条件先验。当与简单的光流架构结合使用时，CPN击败了所有变分方法和所有使用相同数据项的基于无监督学习的方法。它可以执行完全监督的任务，但是可以根据特定的数据集进行微调。另一方面，我们的方法即使在数据集之间传输时也表现良好。
2018-07-26 cs.CV
Conditional Diffusion Models for Weakly Supervised Medical Image Segmentation
University of Notre Dame（圣母大学）；National Tsing Hua University（台湾清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出利用条件扩散模型中蕴含的类别感知语义信息，通过近似输出对输入条件的导数来生成预测掩码，在仅使用图像级标注的弱监督医学图像分割任务中超越了现有CAM和扩散模型方法，且时间效率更高。
2023-09-15 cs.CV
Trained Model in Supervised Deep Learning is a Conditional Risk Minimizer
Academy for Advanced Interdisciplinary Studies（前沿交叉学科研究院）；Peking University（北京大学）；MGH/BWH Center for Advanced Medical Computing and Analysis（麻省总医院/布莱根妇女医院高级医学计算与分析中心）；Massachusetts General Hospital and Harvard Medical School（麻省总医院和哈佛医学院）；Beijing International Center for Mathematical Research（北京国际数学研究中心）
我们证明了监督式深度学习中的训练模型可以最小化每个输入的条件风险（定理2.1）。这个属性提供了对训练模型行为的洞察，并在某些情况下建立了监督学习和无监督学习之间的联系。此外，当标签是棘手的，但可以写为一个条件风险最小化，我们证明了一个等价形式的原始监督学习问题与可访问的标签（定理2.2）。我们证明了许多现有的工作，如Noise2Score，Noise2Noise和得分函数估计可以用我们的定理来解释。此外，我们利用定理2.1导出了带噪声标签的分类问题的一个性质，并使用MNIST数据集进行了验证。在此基础上，提出了一种基于定理2.2的图像超分辨率不确定性估计方法，并使用ImageNet数据集进行了验证。我们的代码可以在github上找到。
2022-02-08 cs.CV cs.LG
S2cGAN: Semi-Supervised Training of Conditional GANs with Fewer Labels
Microsoft Research India（微软印度研究院）
生成对抗网络（GANs）在学习复杂的高维实数分布和生成真实样本方面非常成功。但是，它们对生成过程的控制有限。条件GANs（cGANs）提供了一种通过根据用户定义的输入调节输出来控制生成过程的机制。虽然训练GANs只需要无监督的数据，但训练cGANs需要标记的数据，这可能非常昂贵。我们提出了一个cGAN的半监督训练框架，它利用稀疏标签来学习条件映射，同时利用大量的无监督数据来学习无条件分布。我们证明了我们的方法在多个数据集和不同的条件任务的有效性。
2020-10-23 cs.CV cs.LG stat.ML
Self-Supervised Spatiotemporal Feature Learning via Video Rotation Prediction
The City University of New York（纽约城市大学）；NVIDIA Research（英伟达研究院）
深度神经网络的成功通常需要大量的训练数据进行标记，这是昂贵的，并且在规模上是不可行的，特别是对于视频采集。为了缓解这个问题，在本文中，我们提出了3DRotNet：一种完全自监督的方法，可以从未标记的视频中学习时空特征。将一组旋转应用于所有视频，并将借口任务定义为这些旋转的预测。在完成这项任务时，3DRotNet实际上被训练来理解视频中的语义概念和动作。换句话说，它学习时空视频表示，可以将其转移以改善小数据集中的视频理解任务。我们广泛的实验成功地证明了所提出的框架在动作识别上的有效性，从而使最先进的自监督方法得到了显着的改进。使用来自大型数据集的自监督预训练3DRotNet，与从头开始训练的模型相比，UCF 101和HMDB 51的识别准确率分别提高了20.4%和16.7%。
2019-04-04 cs.CV
Gated Self-supervised Learning For Improving Supervised Learning
Brawijaya University（布劳爪哇大学）
在过去的图像分类的自监督学习的研究中，使用旋转作为增强已经很常见。然而，仅仅依靠旋转作为自监督变换可能会限制模型从数据中学习丰富特征的能力。在本文中，我们提出了一种新的方法，自监督学习的图像分类使用几个本地化的增广结合门控方法。除了旋转之外，我们的方法还使用了翻转和洗牌通道增强，允许模型从数据中学习丰富的功能。此外，门控混合网络用于权衡每个自监督学习对损失函数的影响，使模型能够专注于最相关的分类转换。
2023-01-14 cs.CV
Detecting Invasive Ductal Carcinoma with Semi-Supervised Conditional GANs
University of New Hampshire（新罕布什尔大学）
浸润性导管癌（IDC）占所有乳腺癌的近80%。IDC的检测是确定癌症的侵袭性、确定治疗方案和预测患者结果的必要预处理步骤，并且通常由专家病理学家手动执行。在这里，我们描述了一种使用半监督条件生成对抗网络（cGAN）自动检测IDC的新算法。该框架在基线CNN上提高一系列指标的分数方面简单有效。
2021-03-30 cs.CV cs.LG eess.IV
Weakly-Supervised RGB-D Salient Object Detection via SAM-driven Pseudo Annotation and State Space Interaction-based Diffusion
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
研究弱监督 RGB-D 显著目标检测，提出由 SAM-PAG 和 $S^2$Diff 组成的方法，前者扩展稀疏涂鸦为伪标注，后者在条件信息引导下细化显著图，二者合作使方法性能优异。
2026-07-17 cs.CV
CoMaL: Conditional Maximum Likelihood Approach to Self-supervised Domain Adaptation in Long-tail Semantic Segmentation
University of Arkansas（阿肯色大学）；Concordia University（康考迪亚大学）；West Virginia University（西弗吉尼亚大学）
本文提出CoMaL方法，通过条件最大似然和结构依赖建模解决长尾语义分割中的自监督域自适应问题，并在SYNTHIA/GTA到Cityscapes基准上显著超越现有方法。
2023-04-14 cs.CV
HACMatch Semi-Supervised Rotation Regression with Hardness-Aware Curriculum Pseudo Labeling
Shanghai Jiao Tong University（上海交通大学）
提出一种难度感知课程学习框架，通过动态选择伪标签样本和结构化数据增强，在少量标注数据下提升半监督旋转回归性能。
2026-06-18 cs.CV
Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior
University of York（约克大学）；Friedrich-Alexander-Universität（弗里德里希-亚历山大大学）
逆绘制是一个不适定问题。以前的工作已经试图解决这个问题，专注于先验的对象或场景的形状或外观。在这项工作中，我们专注于自然照明的先验。目前的方法依赖于球谐照明或其他通用表示，最好的，一个简单的参数之前。我们提出了一个条件神经场表示的基础上变分自动解码器与SIREN网络，扩展向量神经元，建立等方差直接到网络。利用这一点，我们开发了一个旋转等变，高动态范围（HDR）的神经照明模型，是紧凑的，能够表达复杂的，高频的自然环境地图的功能。在自然场景的1.6K HDR环境地图的策展数据集上训练我们的模型，我们将其与传统表示进行比较，证明其适用于逆向渲染任务，并从部分观察中显示环境地图完成。PyTorch实现，我们的数据集和训练模型可以在jadgardner.github.io/RENI上找到。
2022-10-14 cs.CV
CONSAC: Robust Multi-Model Fitting by Conditional Sample Consensus
Leibniz University Hannover（莱布尼茨汉诺威大学）；Heidelberg University（海德堡大学）；University of Twente（屯特大学）
我们提出了一个强大的估计拟合多个参数模型的相同形式的噪声测量。应用包括在人造场景中寻找多个消失点，将平面拟合到建筑图像，或估计同一序列中的多个刚体运动。与以前的作品，采用手工制作的搜索策略多模型检测，我们学习的搜索策略从数据。以先前检测到的模型为条件的神经网络将RANSAC估计器引导到所有测量的不同子集，从而一个接一个地找到模型实例。我们训练我们的方法监督以及自我监督。对于搜索策略的监督训练，我们贡献了一个新的数据集用于消失点估计。利用这个数据集，该算法是优于其他强大的估计，以及指定的消失点估计算法。对于搜索的自监督学习，我们评估了所提出的算法的多单应性估计，并证明了优于国家的最先进的方法的准确性。
2020-03-25 cs.CV
CamoTeacher: Dual-Rotation Consistency Learning for Semi-Supervised Camouflaged Object Detection
Xiamen University（厦门大学）；Contemporary Amperex Technology Co. Limited（宁德时代新能源科技股份有限公司）；Shanghai Jiao Tong University（上海交通大学）
针对半监督伪装目标检测中伪标签噪声问题，提出CamoTeacher框架，通过双旋转一致性学习分别处理像素级与实例级噪声，性能超越现有半监督方法且可匹敌全监督方法。
2024-08-15 cs.CV
Rethinking Rotation in Self-Supervised Contrastive Learning: Adaptive Positive or Negative Data Augmentation
The University of Tokyo（东京大学）；NTT Corporation（日本电报电话公司）
在对比学习中，旋转经常被列为数据增强的候选者，但很少提供令人满意的改进。我们认为，这是因为旋转的图像总是被视为积极或消极的。图像的语义可以是旋转不变的，也可以是旋转可变的，因此应该根据图像的内容来确定旋转后的图像是正还是负。因此，我们提出了一种新的增强策略，自适应积极或消极的数据增强（PNDA），其中原始图像和旋转图像是一个积极的一对，如果它们是语义接近和一个消极的一对，如果它们是语义不同。为了实现PNDA，我们首先以无监督的方式逐个图像地确定旋转是正还是负。然后，我们将PNDA应用到对比学习框架中。我们的实验表明，PNDA提高了对比学习的性能。代码可在\url{ https://github.com/AtsuMiyai/rethinking_rotation}上获得。
2022-11-24 cs.CV
REFINE-CONTROL: A Semi-supervised Distillation Method For Conditional Image Generation
School of Computer Science and Engineering（计算机科学与工程学院）；AI Lab（人工智能实验室）；Lenovo Research（联想研究院）
本文提出Refine-Control半监督蒸馏框架，通过三级知识融合损失和利用无标注数据，在降低条件图像生成模型计算成本与延迟的同时保持高保真生成能力和可控性。
2025-09-26 cs.AI cs.CV
MaskLRF: Self-supervised Pretraining via Masked Autoencoding of Local Reference Frames for Rotation-invariant 3D Point Set Analysis
University of Yamanashi（山梨大学）
针对现有掩码点建模缺乏旋转不变性的问题，提出MaskLRF框架，通过局部参考帧内的掩码自编码学习旋转不变特征，并在多个下游任务上取得最先进精度。
2024-05-22 cs.CV
RIDE: Self-Supervised Learning of Rotation-Equivariant Keypoint Detection and Invariant Description for Endoscopy
Technical University of Munich（慕尼黑工业大学）；ImFusion GmbH（ImFusion有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出自监督学习方法RIDE，通过架构内隐式建模旋转等变性，实现内窥镜图像中旋转等变关键点检测与不变描述，在匹配和相对位姿估计上达到新最优性能。
2023-09-18 cs.CV
Conditional Pseudo-Supervised Contrast for Data-Free Knowledge Distillation
organization= School of Computer Science
针对现有无数据知识蒸馏方法存在的样本类别分布模糊、多样性不足等问题，提出CPSC-DFKD范式，通过条件生成对抗网络与伪监督对比学习提升学生模型及生成器性能。
2025-10-03 cs.CV cs.LG
Weakly-Supervised Action Localization by Generative Attention Modeling
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
弱监督时间动作定位是一个学习动作定位模型的问题，只有视频级的动作标记可用。一般框架主要依赖于分类激活，它采用注意力模型来识别动作相关帧，然后将它们分类到不同的类。这种方法导致动作上下文混淆的问题：动作片段附近的上下文帧往往被识别为动作帧本身，因为它们与特定的类密切相关。为了解决这个问题，在本文中，我们提出了模型的类不可知帧的概率条件下的帧注意使用条件变分自动编码器（VAE）。通过观察到上下文在表示级别上表现出与动作的显著差异，概率模型，即，条件VAE被学习以对给定注意力的每个帧的可能性进行建模。通过最大化关于注意力的条件概率，动作和非动作框架被很好地分离。在THUMOS 14和ActivityNet1.2上的实验表明了该方法的优越性和处理动作上下文混淆问题的有效性。代码现在在GitHub上可用。
2020-03-30 cs.CV
Truly Generalizable Radiograph Segmentation with Conditional Domain Adaptation
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
生物医学图像的数字化技术在放射学检查中产生不同的视觉模式。这些差异可能会妨碍使用数据驱动的方法对这些图像进行推理，例如深度神经网络。这个领域的另一个值得注意的困难是缺乏标记数据，即使在许多情况下有大量的未标记数据可用。因此，提高这些方法的泛化能力的一个重要步骤是在不同的生物医学图像数据集之间执行无监督和半监督领域自适应。为了解决这个问题，在这项工作中，我们提出了一个无监督和半监督的领域自适应方法分割的生物医学图像，使用生成对抗网络的无监督图像翻译。我们将这些无监督网络与有监督的深度语义分割架构合并，以便创建一种半监督方法，该方法能够在标记可用时从未标记和标记数据中学习。我们使用多个领域，数据集，分割任务和传统基线来比较我们的方法，例如无监督的基于距离的方法和重用预训练模型，无论是否进行微调。我们在实验评估中考虑的不同场景中对所提出的方法和基线进行定量和定性分析。所提出的方法在稀缺的标记数据场景中显示出比基线更好的结果，在大多数任务中实现了大于0.9的Jaccard值和良好的分割质量。观察到无监督领域自适应结果接近于在微调预训练网络的传统过程中使用的完全监督领域自适应。
2019-12-07 cs.CV
Occlusion-Invariant Rotation-Equivariant Semi-Supervised Depth Based Cross-View Gait Pose Estimation
Imperial College London（伦敦帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
从深度图像中准确估计三维人体骨骼可以为医疗保健应用提供重要的度量，特别是对于生物力学步态分析。然而，存在与从单个视图捕获的深度图像相关联的固有问题。收集的数据受到遮挡的影响很大，只能记录部分表面数据。此外，人体的深度图像表现出异构的特点与视点的变化，估计的姿态在局部坐标系下，预计将经历等变旋转。大多数现有的姿态估计模型对这两个问题都很敏感。为了解决这个问题，我们提出了一种新的方法，交叉视图的泛化与闭塞不变的半监督学习框架上建立一个新的旋转等变骨干。我们的模型使用来自单个视图的真实数据和来自多个视图的未标记合成数据进行训练。它可以很好地概括来自所有其他不可见视图的真实世界数据。与其他最先进的方法相比，我们的方法在ICL-Gait数据集上的步态分析方面表现出了卓越的性能，并且它可以在ITOP数据集上产生比其提供的“地面实况”更令人信服的关键点。
2021-09-03 cs.CV
Self-supervised Image Denoising with Downsampled Invariance Loss and Conditional Blind-Spot Network
Seoul National University（首尔国立大学）；Gauss Labs Inc.（高斯实验室公司）
提出一种结合下采样不变性损失与条件盲点网络（C-BSN）的自监督图像去噪框架，通过控制网络盲目性并利用随机子采样器去除空间噪声相关性，在真实数据集上达到最先进性能。
2023-07-28 cs.CV eess.IV
ERANet: Edge Replacement Augmentation for Semi-Supervised Meniscus Segmentation with Prototype Consistency Alignment and Conditional Self-Training
The Chinese University of Hong Kong（香港中文大学）；University of Edinburgh（爱丁堡大学）；Shanghai Jiao Tong University School of Medicine（上海交通大学医学院）；The Chinese University of Hong Kong Medical Centre（香港中文大学医学中心）；Southeast University（东南大学）；Xi'an Jiaotong Liverpool University（西交利物浦大学）；Nanchang University（南昌大学）
ERANet通过边缘替换增强、原型一致性对齐和条件自训练策略，提升半监督半月板分割的性能和鲁棒性。
2025-11-24 cs.CV
ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised Real-world Single Image Super-Resolution
Seoul National University（首尔国立大学）
提出可逆尺度条件函数（ICF）构建自监督SISR框架（ICF-SRSR），无需训练数据即可处理真实世界超分辨率，并生成LR-HR对增强现有方法，性能优于合成训练方法且与最先进方法相当。
2023-08-31 cs.CV eess.IV
Co-supervised learning paradigm with conditional generative adversarial networks for sample-efficient classification
University of Georgia（佐治亚大学）；Clemson University（克莱姆森大学）
使用监督学习的分类需要注释大量的类平衡数据用于模型训练和测试。这实际上限制了监督学习的应用范围，特别是深度学习。为了解决与有限和不平衡的数据相关的问题，本文介绍了一种样本有效的协同监督学习范式（SEC-CGAN），其中有条件的生成对抗网络（CGAN）与分类器一起训练，并在训练过程中向注释数据补充语义条件的、置信度感知的合成示例。在这种情况下，CGAN不仅充当共同监督者，而且还提供补充的质量示例，以端到端的方式帮助分类器训练。实验表明，建议SEC-CGAN优于外部分类器GAN（EC-GAN）和基线ResNet-18分类器。为了比较，上述方法中的所有分类器都采用ResNet-18架构作为骨干。特别地，对于街景门牌号数据集，使用5%的训练数据，SEC-CGAN实现了90.26%的测试准确率，而EC-GAN为88.59%，基线分类器为87.17%;对于高速公路图像数据集，使用10%的训练数据，SEC-CGAN的测试准确率达到98.27%，相比之下，EC-GAN为97.84%，基线分类器为95.52%。
2022-12-27 cs.CV cs.LG
Self-Supervised Learning via Conditional Motion Propagation
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
智能代理自然地从运动中学习。各种自监督算法已经利用运动线索来学习有效的视觉表示。这里的障碍是，运动是模糊和复杂的，使以前的作品要么遭受降低学习效率，或诉诸于对象运动的强假设。在这项工作中，我们设计了一个新的从运动中学习的范例来弥合这些差距。而不是明确建模的运动概率，我们设计的借口任务作为一个有条件的运动传播问题。给定一个输入图像和几个稀疏的流引导向量，我们的框架试图恢复完整的图像运动。与其他替代方案相比，我们的框架具有几个吸引人的特性：（1）在训练期间使用稀疏流指导解决了固有的运动模糊性，从而简化了特征学习。(2)解决有条件运动传播的借口任务鼓励了具有更大表达能力的运动学声音表示的出现。大量的实验表明，我们的框架学习结构和连贯的功能，并实现了最先进的自我监督性能的几个下游任务，包括语义分割，实例分割，和人类解析。此外，我们的框架被成功地扩展到几个有用的应用程序，如半自动像素级注释。项目页面：“http://mmlab.ie.cuhk.edu.hk/projects/CMP/“。
2019-04-25 cs.CV cs.LG
A simple baseline for domain adaptation using rotation prediction
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
近年来，领域自适应成为一个研究热点，并有着广泛的应用前景。我们的目标是使在一个领域中训练的模型适应另一个具有稀缺注释数据的领域。我们提出了一种基于自监督学习的简单而有效的方法，该方法优于或等同于大多数最先进的算法，例如对抗性领域自适应。我们的方法包括两个阶段：预测目标域上的随机旋转（自监督）以及源域的正确标签（监督），然后在目标域上使用自蒸馏。我们的简单方法在DomainNet数据集上实现了半监督领域自适应的最新结果。此外，我们观察到，流行的领域自适应基准的未标记的目标数据集不包含任何类别，除了测试类别。我们认为这引入了在许多实际应用中不存在的偏差。我们表明，从未标记的数据中去除这种偏差会导致最先进方法的性能大幅下降，而我们的简单方法相对稳健。
2019-12-26 cs.CV
Relaxed Conditional Image Transfer for Semi-supervised Domain Adaptation
Chinese University of Hong Kong, Shen Zhen（香港中文大学（深圳））；The Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah's Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）
半监督领域自适应（Semi-supervised domain adaptation，SSDA）是一种在部分标记的目标域上学习模型的方法，其目标是在完全标记的源域上学习模型，近年来受到越来越多的关注。为了显式地利用这两个域中的标记数据，我们自然地引入了一个条件GAN框架来传输图像，而不改变SSDA中的语义。然而，我们在这种方法中发现了标签统治问题。事实上，生成器往往忽略输入源图像，只记住每个类的原型，这导致不令人满意的适应性能。为此，我们提出了一个简单而有效的松弛条件GAN（松弛cGAN）框架。具体来说，我们将不带标签的图像提供给生成器。这样，生成器必须推断出输入数据的语义信息。我们正式证明了它的平衡是可取的，并实证验证其实际的收敛性和有效性的图像传输。此外，我们提出了几种技术来利用目标域中的未标记数据，增强SSDA设置中的模型。我们在广泛采用的数据集上验证了我们的方法：Digits，DomainNet和Bull-Home。我们在低资源和高资源设置下，在DomainNet，E-Home和大多数数字基准上实现了最先进的性能。
2021-01-05 cs.CV cs.LG
Semi-supervised Salient Object Detection with Effective Confidence Estimation
the Australian National University（澳大利亚国立大学）
针对显著目标检测标注成本高的问题，提出基于条件能量模型的半监督伪标签框架，利用像素级不确定性图降低低置信度伪标签影响并防止错误传播，仅用1/16标注样本即取得媲美全监督模型的性能。
2023-11-26 cs.CV
Self-Supervised 3D Face Reconstruction via Conditional Estimation
Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）；MPI for Intelligent Systems, Tübingen（图宾根智能系统研究所）
我们提出了一个条件估计（CEST）框架，通过视频的自监督训练从2D单视图图像中学习3D面部参数。CEST基于合成分析的过程，其中从面部图像估计3D面部参数（形状、反射率、视点和光照），然后重新组合以重建2D面部图像。为了在不显式访问其标签的情况下学习语义上有意义的3D面部参数，CEST通过考虑其统计依赖性来耦合不同3D面部参数的估计。具体地，任何3D面部参数的估计不仅取决于给定图像，而且取决于已经导出的面部参数。此外，采用反射率的对称性和一致性的视频帧之间，以提高解纠缠的面部参数。结合反射对称性和一致性的新策略，CEST可以有效地用野外视频剪辑进行训练。定性和定量实验都证明了CEST的有效性。
2021-10-10 cs.CV cs.LG eess.IV
OwMatch: Conditional Self-Labeling with Consistency for Open-World Semi-Supervised Learning
Southern University of Science and Technology（南方科技大学）；Hong Kong Polytechnic University（香港理工大学）
OwMatch提出结合条件自标记与开放世界层次阈值的框架，解决开放世界半监督学习中未见类别误分类问题，提升已知与未知类别的分类性能。
2024-11-04 cs.CV cs.LG stat.ML
Effect of Rotation Angle in Self-Supervised Pre-training is Dataset-Dependent
University of Toronto（多伦多大学）
本文研究对比自监督预训练中旋转角 $θ$ 对特征学习的影响，通过三个放射学数据集的显著性图与前景/背景分割比较，证明该影响具有数据集依赖性。
2024-06-21 cs.CV
Image Enhanced Rotation Prediction for Self-Supervised Learning
NTT Software Innovation Center（NTT软件创新中心）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）
旋转预测（Rotation）是自监督学习（SSL）的一个简单的预文本任务，其中模型通过解决预文本任务来学习目标视觉任务的有用表示。虽然旋转捕获对象的形状信息，但它几乎不能捕获纹理信息。为了解决这个问题，我们引入了一种新的预文本任务，称为图像增强旋转预测（IE-Rot）的SSL。IE-Rot同时解决旋转和另一个基于图像增强的预文本任务（例如，锐化和日晒），同时保持简单性。通过旋转和图像增强的同时预测，模型学习表示来捕获对象形状和纹理的信息。我们的实验结果表明，IE-Rot模型在各种标准基准测试中的表现优于Rotation，包括ImageNet分类，PASCAL-VOC检测和COCO检测/分割。
2021-06-04 cs.CV cs.LG stat.ML
Multi-Source domain adaptation via supervised contrastive learning and confident consistency regularization
CentraleSupélec（中央理工-高等电力学院）；VitaDX International（VitaDX国际公司）
多源无监督领域自适应（多源UDA）旨在从多个标记的源域中学习模型，同时在训练时只有未标记数据可用的不同目标域上表现良好。为了对齐源和目标特征分布，最近的一些作品使用源和目标显式统计匹配，如特征矩或类质心。然而，这些方法不能保证跨域的类条件分布对齐。在这项工作中，我们提出了一个新的框架，称为对比多源领域自适应（CMSDA）的多源UDA，解决这个限制。通过交叉熵最小化从内插的源示例中学习鉴别特征，通过一致性正则化和硬伪标记从目标示例中学习鉴别特征。同时，利用内插源示例通过监督对比损失的内插版本来对齐源类条件分布。这种对齐导致更一般和可转移的特征，这进一步提高了目标域上的泛化。在三个标准的多源UDA数据集上进行了广泛的实验，我们的方法报告了最先进的结果。
2021-09-27 cs.CV
Self-supervised Learning of Rotation-invariant 3D Point Set Features using Transformer and its Self-distillation
University of Yamanashi（山梨大学）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出一种基于Transformer和自蒸馏的自监督学习框架，从无标注三维点集中学习旋转不变特征，通过令牌分解和自注意力聚合，结合多裁剪与剪切混合增强，实验证明其优于现有方法。
2024-04-18 cs.CV cs.IR
Language-Informed Hyperspectral Image Synthesis for Imbalanced-Small Sample Classification via Semi-Supervised Conditional Diffusion Model
Department of Geomatics Engineering, University of Calgary（测绘工程系，卡尔加里大学）
本文提出 Txt2HSI-LDM(VAE) 模型，通过语言引导的扩散模型生成高光谱图像样本，解决 HSIC 中的 ISSD 问题，优于传统模型和半监督方法。
2025-12-26 cs.CV
DiffDenoise: Self-Supervised Medical Image Denoising with Conditional Diffusion Models
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；United Imaging Intelligence（联影智能）
本文提出DiffDenoise，一种基于条件扩散模型的三阶段自监督医学图像去噪方法，通过盲点网络条件输入、对称噪声平均采样和监督去噪网络，有效保留高频细节，在合成与真实任务中超越现有方法。
2025-03-31 cs.CV eess.IV stat.ML
6D Object Pose Regression via Supervised Learning on Point Clouds
University of Hamburg（汉堡大学）；Tsinghua University（清华大学）
本文讨论了从点云表示的深度信息中估计已知3D对象的6个自由度姿态的任务。由卷积神经网络从颜色信息中学习的深度特征已经成为用于推断对象姿态的主要特征，而深度信息受到的关注要少得多。然而，深度信息包含丰富的几何信息的对象形状，这是重要的推断对象的姿态。我们使用点云表示的深度信息作为深度网络和基于几何的姿势优化的输入，并使用单独的网络进行旋转和平移回归。我们认为轴角表示是适合深度学习的旋转表示，并使用测地线损失函数进行旋转回归。消融研究表明，这些设计选择优于替代方案，如四元数表示和L2损失，或用相同的网络回归平移和旋转。我们简单而有效的方法在YCB视频数据集上明显优于最先进的方法。可在https://github.com/GeeeG/CloudPose上获取实施和训练模型。
2020-01-24 cs.CV
Generative Adversarial Networks and Conditional Random Fields for Hyperspectral Image Classification
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；Xiamen University（厦门大学）
在本文中，我们使用基于生成对抗网络和条件随机场（GAN-CRF）的框架来解决高光谱图像（HSI）分类任务，该框架集成了半监督深度学习和概率图形模型，并做出了三个贡献。首先，我们设计了四种类型的卷积层和转置卷积层，这些卷积层考虑了HSI的特征，以帮助从有限数量的标记HSI样本中提取区分特征。其次，我们构建了半监督GANs，通过向它们添加标签来缓解训练样本的不足，并通过对抗训练隐式地重建真实的HSI数据分布。第三，我们在随机变量之上构建密集条件随机场（CRF），这些随机变量被初始化为训练GANs的softmax预测，并以HSI为条件来细化分类图。这种半监督框架通过博弈论方法利用了判别模型和生成模型的优点。此外，尽管我们使用了来自两个最具挑战性和广泛研究的数据集的非常少量的标记训练HSI样本，但实验结果表明，频谱空间GAN-CRF（SS-GAN-CRF）模型在半监督HSI分类中达到了最高的准确性。
2019-05-12 cs.CV cs.LG eess.IV
Advocacy Learning: Learning through Competition and Class-Conditional Representations
University of Michigan（密歇根大学）
我们介绍倡导学习，一种新的监督训练计划的注意力为基础的分类问题。倡导学习依赖于一个由两个连接的网络组成的框架：1）$N$倡导者（每个类一个），每个倡导者以注意力地图的形式输出一个参数，2）一个法官，根据这些参数预测类标签。每个倡导者产生一个类条件表示，其目标是说服法官，输入的例子属于他们的类，即使输入属于不同的类。应用于几个不同的分类任务，我们表明，倡导学习可以导致分类精度在相同的监督基线小的改进。通过一系列的后续实验，我们分析了这种类条件表征何时以及如何提高区分性能。虽然有点违反直觉，但一个框架，其中子网络被训练以竞争性地提供支持其类的证据，在许多情况下表现与标准学习方法相当。这为进一步探索监督学习中的竞争和类条件表示提供了基础。
2019-08-07 cs.CV cs.LG stat.ML
AggSS: An Aggregated Self-Supervised Approach for Class-Incremental Learning
Indian Institute of Science（印度科学学院）
本文提出聚合自监督方法 AggSS，将图像旋转视为新类别训练并在推理时聚合预测，通过促进鲁棒特征学习显著提升类增量学习性能，且可作为即插即用模块集成到任意框架中。
2024-08-08 cs.CV
Orienting Novel 3D Objects Using Self-Supervised Learning of Rotation Transforms
University of California, Berkeley（加州大学伯克利分校）
定向对象是许多包装和装配任务自动化的关键组成部分。我们提出了一种算法，以定向新的对象给定的深度图像的对象在其当前和所需的方向。我们为这个问题制定了一个自监督目标，并训练一个深度神经网络来估计由四元数参数化的3D旋转，这些当前和期望的深度图像之间。然后，我们在比例控制器中使用经过训练的网络，根据两个深度图像之间的估计旋转来重新定位对象。结果表明，在模拟中，我们可以将具有未知几何形状的不可见物体旋转高达30°，其中位角误差为1.47°，超过100个随机初始/期望方向，每个方向为22个新物体。物理对象上的实验表明，控制器可以实现4.2°的中值角误差超过10个随机初始/期望的方向，每个为5个对象。
2021-05-29 cs.CV cs.RO
Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders
Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
基于视觉Transformer的视觉表征自监督学习~（SSL）中，掩码图像建模（MIM）已成为一种流行的策略。一个代表性的MIM模型，掩蔽自动编码器（MAE），随机屏蔽图像补丁的子集，并重建被掩蔽的补丁给定的未掩蔽的补丁。同时，自监督学习中的许多最近的作品利用学生/教师范例，其基于由先前学生的指数移动平均（EMA）组成的教师的输出为学生提供额外的目标。虽然常见的，相对较少的学生和教师之间的互动的动态所知。通过对一个简单的线性模型的分析，我们发现，教师有条件地删除以前的梯度方向的基础上的特征相似性，有效地作为一个条件动量正则化。从这个分析中，我们提出了一个简单的SSL方法，重建一致性掩蔽自动编码器（RC-MAE），通过添加一个EMA教师MAE。我们发现，RC-MAE收敛速度更快，需要更少的内存使用比国家的最先进的自蒸馏方法在预训练，这可能会提供一种方法来提高昂贵的自监督学习的实用性的视觉Transformer模型。此外，我们还证明了RC-MAE在ImageNet-1 K分类、目标检测和实例分割等下游任务上比MAE具有更高的鲁棒性和更好的性能。
2022-10-05 cs.CV
Self-supervised learning with rotation-invariant kernels
Univ Lyon（里昂大学）；EnsL（里昂高等师范学院）；UCBL（里昂第一大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LIP（里昂信息处理实验室）
我们引入了一个正则化损失的基础上内核的平均嵌入旋转不变的内核超球（也称为点积内核）的图像表示的自监督学习。除了与现有技术完全竞争外，我们的方法还显着降低了自我监督训练的时间和内存复杂性，使其可在现有设备上实现非常大的嵌入维度，并且比以前的方法更容易调整到资源有限的设置。我们的工作遵循主要范式，其中模型学习对一些预定义的图像变换（裁剪，模糊，颜色抖动等）保持不变，同时通过正则化嵌入分布来避免退化解。我们的特别贡献是提出了一个损失家庭促进嵌入分布接近均匀分布的超球，相对于最大的平均差异伪度量。我们证明了这个家庭包括几个正则化的前方法，包括均匀性为基础的和信息最大化的方法，这是我们灵活的正则化损失与不同的内核的变体。除了它的实际后果，国家的最先进的自监督学习有限的资源，建议通用正则化方法打开视角，更广泛地利用文献的内核方法，以改善自监督学习方法。
2023-03-08 cs.AI cs.CV
Self-Supervised GANs via Auxiliary Rotation Loss
University of California, Los Angeles（加州大学洛杉矶分校）；Google Brain（谷歌大脑）
条件GANs处于自然图像合成的最前沿。这种模型的主要缺点是需要标记数据。在这项工作中，我们利用了两种流行的无监督学习技术，对抗训练和自我监督，并朝着弥合有条件和无条件GANs之间的差距迈出了一步。特别是，我们允许网络在表示学习任务上进行合作，同时与经典的GAN游戏对抗。自我监督的作用是鼓励学习者学习有意义的特征表示，这些特征表示在训练过程中不会忘记。我们凭经验测试学习的图像表示的质量和合成图像的质量。在相同的条件下，自监督GAN达到了与最先进的条件对应物相似的性能。最后，我们证明了这种完全无监督学习的方法可以扩展到无条件ImageNet生成的FID为23.4。
2019-04-09 cs.CV cs.LG stat.ML
A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning
Information Technology Lab, NIST（美国国家标准与技术研究院信息技术实验室）；University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；University of Miami（迈阿密大学）
针对 softmax 网络因仅预测条件概率而导致的异常值敏感与过度自信问题，提出基于矩估计的嵌入约束并训练 AAGMM 最终层以学习联合分布，在半监督图像分类中匹配了 FlexMatch 准确率并降低了异常值敏感性。
2024-04-27 cs.CV
Self-Supervised Monocular Depth Estimation of Untextured Indoor Rotated Scenes
Delft University of Technology（代尔夫特理工大学）
自监督深度学习方法已经利用立体图像来训练单眼深度估计。虽然这些方法在室外数据集（如KITTI）上显示出很强的结果，但它们在室内环境中的监督方法与摄像机旋转的性能不匹配。室内，旋转场景是常见的较少限制的应用程序，并提出了两个原因的问题：丰富的低纹理区域和旋转下的图像的深度线索的复杂性增加。为了将自监督学习扩展到更一般的环境中，我们提出了两个补充。首先，我们提出了一种新的填充视差损失项，纠正无纹理区域中图像重建误差损失的模糊性。具体来说，我们插值视差在无纹理区域，使用周围的纹理区域的估计视差，并使用L1损失来纠正原来的估计。我们的实验表明，深度估计是大大提高了低纹理场景，没有任何损失的纹理场景，相比Monodepth由戈达尔等人。其次，我们表明，训练与应用程序的代表性旋转，在俯仰和滚动，是足以显着提高性能在整个范围内的预期旋转。我们证明，深度估计是成功地推广的性能不会丢失时，没有相机旋转的测试集上进行评估。这些发展一起使得能够更广泛地使用用于复杂环境的单目深度估计的自监督学习。
2021-06-25 cs.CV cs.LG
