Weakly Supervised Keypoint Discovery
California Institute of Technology（加州理工学院）
在本文中，我们提出了一种方法，从一个2D图像的关键点发现使用图像级监督。最近的无监督关键点发现工作可靠地发现对齐实例的关键点。然而，当目标实例具有高视点或外观变化时，所发现的关键点不匹配不同图像上的语义对应。我们的工作旨在发现关键点，即使目标实例具有高的观点和外观变化，通过使用图像级监督。受弱监督学习方法的启发，我们的方法利用图像级监督来识别有区别的部分并推断目标实例的视点。为了发现不同的部分，我们采用了一种有条件的图像生成方法，使用一对结构变形的图像。最后，我们强制执行基于视点的等方差约束，使用图像级监督的关键点，以解决空间相关性问题，始终出现在从各种角度拍摄的图像。我们的方法实现了国家的最先进的性能的关键点估计的任务，在有限的监督情况下。此外，所发现的关键点直接适用于下游任务，而不需要任何关键点标签。
2021-09-28 cs.CV
Improving Semantic Correspondence with Viewpoint-Guided Spherical Maps
University of Edinburgh（爱丁堡大学）
本文提出利用弱几何球面先验为自监督特征补充三维理解，以改进语义对应估计，在SPair-71k和AwA数据集上有效区分对称视图与重复部件并实现跨类别泛化。
2024-07-05 cs.CV
FacadeNet: Conditional Facade Synthesis via Selective Editing
Univesity of Cyprus/CYENS CoE（塞浦路斯大学/CYENS卓越中心）；KAUST（阿卜杜拉国王科技大学）
本文提出 FacadeNet，利用条件 GAN 与基于预训练 ViT 嵌入的选择性编辑模块，从单视图和目标视角生成建筑立面图像，在立面生成任务上达到最先进水平。
2023-11-03 cs.AI cs.CV
MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network
Imperial College London（帝国理工学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出了一种新的半监督环境下的条件生成对抗网络（GANs）自监督学习方法。与先前的自我监督方法不同，这些方法通常涉及图像空间上的几何增强，例如预测旋转角度，我们的借口任务利用了标签空间。我们通过从可用的少数标记示例的标签空间中随机采样敏感标签，并将其作为目标标签分配给来自与标记示例相同的分布的丰富的未标记示例来执行增强。然后将图像翻译并按其目标标签分组为正对和负对，作为我们的借口任务的训练样本，该任务涉及优化搜索者一侧的辅助匹配损失。我们在两个具有挑战性的基准测试中测试了我们的方法，CelebA和RaFD，并使用标准指标评估了结果，包括Fréchet Inception Distance，Inception Score和Attribute Classification Rate。广泛的实证评估表明，我们提出的方法的有效性，竞争力的基线和现有的艺术。特别是，我们的方法超过了基线，只有20%的标记的例子用于训练基线。
2020-10-08 cs.CV
Pluggable Weakly-Supervised Cross-View Learning for Accurate Vehicle Re-Identification
由于车辆在不同视角下的视觉外观会发生显著变化，因此学习跨视角一致的特征表示方法是实现车辆再识别的关键。为此，大多数现有的方法诉诸于监督交叉视图学习使用大量的额外的视点标注，然而，这是很难部署在实际应用中，由于昂贵的标签成本和连续的视点变化，使得很难定义离散的视点标签。在这项研究中，我们提出了一个可插入的弱监督交叉视图学习（WCVL）模块的车辆ReID。通过将交叉视图样本视为特征域中最难的正对应物，我们可以在不使用任何视点注释的情况下，仅基于车辆ID通过最小化交叉视图特征距离来学习一致的特征表示。更重要的是，所提出的方法可以无缝地插入到大多数现有的车辆ReID基线中，用于交叉视图学习，而无需重新训练基线。为了证明其有效性，我们将所提出的方法插入到一堆现成的基线中，并在四个公共基准数据集上获得了显着的性能改善，即，VeRi-776、VehicleID、VRIC和VRAI。
2021-03-09 cs.AI cs.CV
C$^3$PS: Context-aware Conditional Cross Pseudo Supervision for Semi-supervised Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）
针对半监督医学图像分割，提出上下文感知条件交叉伪监督方法C$^3$PS，通过带类别条件的交叉伪监督结合上下文感知提升伪标签质量，训练后期可聚焦难分割器官，在两项任务上性能优于现有最优方法。
2023-06-14 cs.CV
Semi-Supervised Learning with Context-Conditional Generative Adversarial Networks
Courant Institute, New York University（纽约大学柯朗研究所）；Facebook AI Research（Facebook人工智能研究院）
本文提出一种基于对抗损失图像修复的半监督学习方法，通过生成器填补随机移除区域并让判别器区分真伪，实现大型VGG网络半监督训练，在STL-10和PASCAL上性能优于或媲美现有方法。
2016-11-19 cs.CV
Bridging the Sim2Real gap with CARE: Supervised Detection Adaptation with Conditional Alignment and Reweighting
Georgia Tech（佐治亚理工学院）；NVIDIA（英伟达）
Sim2Real领域自适应（DA）研究的重点是从标记的合成源域到未标记或稀疏标记的真实目标域的自适应约束设置。然而，对于高风险应用（例如，自动驾驶），除了大量的自动标记的源数据（例如，来自驾驶模拟器）之外，通常还具有适量的人类标记的真实数据。我们研究了这种设置的监督sim2real DA应用到二维目标检测。我们提出了域翻译通过条件对齐和重新加权（CARE）一种新的算法，系统地利用目标标签显式地关闭sim2real外观和内容的差距。我们提出了一个分析的理由，我们的算法，并证明了强大的收益在标准基准的竞争方法。
2023-02-09 cs.CV
Learning Where to Look: Self-supervised Viewpoint Selection for Active Localization using Geometrical Information
Sapienza University of Rome（罗马大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）；Uni Bonn（波恩大学）
本文提出一种基于几何信息的自监督主动定位视角选择方法，采用简单架构实现实时运行，能将地图集成至规划框架，在合成与真实数据上泛化性优于现有方法并开源。
2024-07-22 cs.CV cs.RO
Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook 人工智能研究院）
自监督表示学习方法最近在目标检测和图像分类等下游任务上超过了监督学习方法。令人费解的是，最近的性能提升来自于训练实例分类模型，将每个图像及其增强版本视为单个类的样本。在这项工作中，我们首先提出了定量实验来揭开这些收益的神秘面纱。我们证明了像MOCO和PIRL这样的方法可以学习遮挡不变表示。然而，他们无法捕捉的观点和类别实例的不变性，这是对象识别的关键组成部分。其次，我们证明了这些方法可以从访问像Imagenet这样的干净的以对象为中心的训练数据集中获得进一步的收益。最后，我们提出了一种利用非结构化视频来学习具有更高视点不变性的表示的方法。我们的研究结果表明，学习表示优于MOCOv2训练相同的数据方面的不变性编码和下游图像分类和语义分割任务的性能。
2020-07-29 cs.CV
A Computational Account Of Self-Supervised Visual Learning From Egocentric Object Play
Vanderbilt University（范德堡大学）
本文基于 Toybox 自我中心视频数据集，研究将同一物体不同视角表征等同的自监督对比学习方法，证明其能鲁棒提升下游图像分类性能并可迁移到多个任务。
2023-05-30 cs.AI cs.CV
Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation
National University of Singapore（新加坡国立大学）
用于6D对象姿态估计的现有技术方法需要大量标记数据来训练深度网络。然而，6D对象姿态标注的获取是大量繁琐且劳动密集的。为了缓解这个问题，我们提出了一个弱监督的6D对象姿态估计方法的基础上2D关键点检测。我们的方法只在视点之间具有已知相对变换的图像对上训练。具体来说，我们分配一组任意选择的3D关键点来表示每个未知的目标3D对象，并学习一个网络来检测它们符合相对相机视点的2D投影。在推理过程中，我们的网络首先从查询图像和给定的标记参考图像中推断出2D关键点。然后，我们使用这些2D关键点和从训练中保留的任意选择的3D关键点来推断6D对象姿势。大量的实验表明，我们的方法实现了与最先进的完全监督的方法相当的性能。
2022-03-07 cs.CV
On the robustness of self-supervised representations for multi-view object classification
University of the Witwatersrand（威特沃特斯兰德大学）
众所周知，来自自监督预训练的表示可以在各种下游任务上与来自完全监督预训练的表示表现相当，并且通常更好。这已经在诸如通用对象分类和检测、语义分割和图像检索之类的大量设置中示出。然而，最近出现了一些问题，展示了自监督表示的一些失败模式，例如非ImageNet类数据或复杂场景的性能。在本文中，我们表明，自我监督表示的基础上的实例歧视目标导致更好的表示对象，更强大的变化的观点和观点的对象。我们对多个监督基线进行现代自监督方法的实验来证明这一点，包括通过单应性近似对象视点变化，以及基于多个多视图数据集的真实世界测试。我们发现，自监督表示更强大的对象的观点，似乎编码更多的相关信息的对象，促进从新的观点对象的识别。
2022-07-27 cs.CV cs.LG
Inferring the Class Conditional Response Map for Weakly Supervised Semantic Segmentation
Australian National University（澳大利亚国立大学）
图像级弱监督语义分割（WSSS）依赖于类激活图（CAM）的伪标签生成。由于CAM仅突出对象的最有区别的区域，因此生成的伪标签通常不能令人满意地直接用作监督。为了解决这个问题，大多数现有的方法遵循多训练流水线来细化CAM以获得更好的伪标签，其包括：1）重新训练分类模型以生成CAM; 2）后处理CAM以获得伪标签;以及3）用所获得的伪标签训练语义分割模型。然而，这种多训练管道需要复杂的调整和额外的时间。为了解决这个问题，我们提出了一个类条件推理策略和激活感知掩码细化损失函数，以生成更好的伪标签，而无需重新训练分类器。提出了类条件推理时间方法，以单独和迭代地揭示分类网络的隐藏对象激活，以生成更完整的响应图。此外，我们的激活感知掩模细化损失函数引入了一种新的方法，在分割训练期间利用显著性图，并在不抑制背景对象的情况下细化前景对象掩模。我们的方法实现了优越的WSSS结果，而不需要重新训练的分类器。
2021-10-27 cs.CV
Pose-Aware Self-Supervised Learning with Viewpoint Trajectory Regularization
UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Michigan（密歇根大学）
本文提出基于视角轨迹正则化的自监督学习方法，利用无标注图像三元组学习兼顾物体身份与姿态的视觉特征，在保持语义分类精度的同时实现全局姿态感知并提升对新物体的泛化能力。
2024-08-07 cs.CV cs.LG
Self-supervised 3D Shape and Viewpoint Estimation from Single Images for Robotics
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究院）
我们提出了一个卷积神经网络的联合三维形状预测和视点估计从一个单一的输入图像。在训练过程中，我们的网络从输入图像中对象的轮廓中获取学习信号-这是一种自我监督的形式。它不需要3D形状和视点的地面实况数据。因为它依赖于这样一种弱形式的监督，我们的方法可以很容易地应用于现实世界的数据。我们表明，我们的方法产生合理的定性和定量的结果，自然图像的形状估计和视点预测。与以前的方法不同，我们的方法不需要数据集中同一对象实例的多个视图，这大大扩展了在实际机器人场景中的适用性。我们展示它通过使用幻觉的形状，以提高性能的任务，抓住现实世界中的物体在模拟和PR 2机器人。
2019-10-17 cs.CV cs.LG cs.RO
ViewNeRF: Unsupervised Viewpoint Estimation Using Category-Level Neural Radiance Fields
University of Edinburgh（爱丁堡大学）
我们介绍了ViewNeRF，这是一种基于神经辐射场的视点估计方法，可以在训练过程中直接从图像中学习预测类别级视点。虽然NeRF通常使用地面实况相机姿势进行训练，但已经提出了多种扩展来减少这种昂贵的监督需求。尽管如此，这些方法中的大多数仍然在具有大的相机移动的复杂设置中挣扎，并且限于单个场景，即它们不能在描绘相同对象类别的场景集合上训练。为了解决这些问题，我们的方法使用的分析合成方法，结合条件NeRF与视点预测器和场景编码器，以产生整个对象类别的自监督重建。我们的目标不是高保真重建，而是在复杂场景中进行高效准确的视点预测，例如在真实数据上进行360°旋转。我们的模型在合成数据集和真实数据集上显示了竞争结果，无论是单个场景还是多实例集合。
2022-12-01 cs.CV
Semi-supervised Learning via Conditional Rotation Angle Estimation
The University of Adelaide（阿德莱德大学）
自监督学习（Self-supervised learning，SlfSL）旨在通过巧妙设计的借口任务来学习特征表示而无需人工注释，在过去几年中取得了令人瞩目的进展。最近，SlfSL也被确定为半监督学习（SemSL）的一个有前途的解决方案，因为它提供了一个新的范例，利用未标记的数据。这项工作进一步探讨了这一方向，提出了耦合SlfSL与SemSL。我们的见解是，SemSL中的预测目标可以建模为SlfSL目标预测因子中的潜在因素。边缘化的潜在因素自然会产生一个新的公式，它结合了这两个学习过程的预测目标。通过一种简单但有效的SlfSL方法--旋转角度预测来实现这一想法，我们创建了一种新的SemSL方法，称为条件旋转角度估计（CRAE）。具体地，CRAE的特征在于采用了以候选图像类为条件的预测图像旋转角度的模块。通过实验评估，我们表明，CRAE实现了优越的性能比其他现有的方法相结合的SlfSL和SemSL。为了进一步提高CRAE，我们提出了两个扩展来加强基本CRAE中SemSL目标和SlfSL目标之间的耦合。我们表明，这导致一个改进的CRAE方法，可以实现最先进的SemSL性能。
2020-01-09 cs.CV
MVAT: Multi-View Aware Teacher for Weakly Supervised 3D Object Detection
Université Paris-Saclay, CEA, List（巴黎-萨克雷大学、欧洲原子能机构、List）
针对弱监督3D检测中2D框投影歧义和单视角部分可见问题，提出MVAT框架，利用时序多视图聚合和教师-学生蒸馏生成伪标签，在nuScenes和Waymo上达到SOTA，缩小与全监督差距。
2025-09-09 cs.CV
Semi-Supervised Defect Detection via Conditional Diffusion and CLIP-Guided Noise Filtering
Hefei University of Technology（合肥工业大学）；Jiangnan University（江南大学）；University of Glasgow（格拉斯哥大学）；University of Science and Technology of China（中国科学技术大学）
本文提出基于条件扩散和CLIP噪声过滤的半监督缺陷检测框架DSYM，利用两阶段训练与伪标签，在NEU-DET上以40%标注数据达75.1% mAP，显著提升数据效率。
2025-07-08 cs.CV
PosePilot: Steering Camera Pose for Generative World Models with Self-supervised Depth
The Hong Kong University of Science and Technology（香港科技大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Li Auto；BAAI（北京人工智能研究院）
PosePilot提出利用自监督深度估计与运动恢复结构原理，将相机位姿与视频生成紧密耦合，并通过位姿感知变形和位姿回归损失，显著提升生成式世界模型的位姿可控性与视角合成可靠性。
2025-07-18 cs.CV
Dissimilarity Coefficient based Weakly Supervised Object Detection
IIIT Hyderabad（海得拉巴国际信息技术学院）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们考虑弱监督目标检测的问题，其中训练样本只使用图像级标签进行注释，指示对象类别的存在或不存在。为了对对象位置的不确定性进行建模，我们采用了基于相异性系数的概率学习目标。学习目标最小化注释不可知预测分布和注释感知条件分布之间的差异。主要的计算挑战是条件分布的复杂性，它由数百或数千个变量组成。条件分布的复杂性排除了对其进行显式建模的可能性，相反，我们利用了深度学习框架依赖于随机优化的事实。这允许我们使用最先进的离散生成模型，该模型可以从条件分布提供注释一致的样本。PASCAL VOC 2007年和2012年数据集上的广泛实验证明了我们所提出的方法的有效性。
2018-11-25 cs.CV
Semi-supervised FusedGAN for Conditional Image Generation
Center For Automation Research, University of Maryland, College Park（马里兰大学帕克分校自动化研究中心）；Microsoft Research（微软研究院）
我们介绍了FusedGAN，这是一种用于条件图像合成的深度网络，可对不同图像进行可控采样。逼真度、多样性和可控采样是一个好的图像生成模型的主要质量指标。大多数现有模式在这三个方面都存在不足。FusedGAN可以以非常高的保真度对各种图像进行可控采样。我们认为，可控性可以通过解开生成过程中的各个阶段。与堆栈式GANs不同，其中多个阶段的GANs是单独训练的，并对标记的中间图像进行全面监督，而FusedGAN具有一个带有内置堆栈的GANs的单阶段流水线。与现有方法不同，现有方法需要对条件和图像进行全面监督，FusedGAN可以有效地利用更丰富的图像，而无需在训练中使用相应的条件，以产生更多样化的高保真样本。我们通过融合两个生成器来实现这一点：一个用于无条件图像生成，另一个用于有条件图像生成，其中两个部分共享一个共同的潜在空间，从而解开生成。我们证明了FusedGAN在细粒度图像生成任务（如文本到图像和属性到人脸生成）中的有效性。
2018-01-17 cs.CV
Viewpoint-Aware Loss with Angular Regularization for Person Re-Identification
Tencent YouTu Lab（腾讯优图实验室）；Sun Yat-sen University（中山大学）；Southern University of Science and Technology（南方科技大学）
虽然最近在监督人重新识别（Re-ID）方面取得了很大进展，但由于人的视角变化，Re-ID仍然是一个巨大的视觉挑战。大多数现有的基于视点的人Re-ID方法将来自每个视点的图像投影到分离且不相关的子特征空间中。它们只对个体视点内部的身份级别分布进行建模，而忽略了不同视点之间的潜在关系。为了解决这个问题，我们提出了一种新的方法，称为\textit{Viewpoint-Aware Loss with Angular Regularization }（\textbf{VA-reID}）。而不是一个子空间为每个视点，我们的方法项目的功能从不同的观点到一个统一的超球，并有效地建模的特征分布的身份级别和视点级别。此外，而不是建模不同的观点作为硬标签用于传统的视点分类，我们引入了视点感知的自适应标签平滑正则化（VALSR），分配自适应软标签的功能表示。VALSR算法能有效地解决视点簇标签分配的模糊性问题。在Market 1501和DukeMTMC-reID数据集上进行的大量实验表明，我们的方法优于最先进的监督Re-ID方法。
2019-12-03 cs.CV cs.LG eess.IV
Conditional Prior Networks for Optical Flow
University of California, Los Angeles（加州大学洛杉矶分校）
光流的经典计算涉及通用先验（正则化器），其捕获图像的基本统计，但不捕获长程相关性或语义。另一方面，完全监督的方法学习注释数据中的规律性，没有显式正则化，并且有过拟合的风险。我们试图学习更丰富的先验的一组可能的流量，统计兼容的图像。一旦以监督的方式学习了先验，就可以容易地学习完整的图以直接从两个或更多个图像推断光流，而不需要任何（额外的）监督。我们介绍了一种新的架构，称为条件先验网络（CPN），并展示了如何训练它产生一个条件先验。当与简单的光流架构结合使用时，CPN击败了所有变分方法和所有使用相同数据项的基于无监督学习的方法。它可以执行完全监督的任务，但是可以根据特定的数据集进行微调。另一方面，我们的方法即使在数据集之间传输时也表现良好。
2018-07-26 cs.CV
Conditional Diffusion Models for Weakly Supervised Medical Image Segmentation
University of Notre Dame（圣母大学）；National Tsing Hua University（台湾清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出利用条件扩散模型中蕴含的类别感知语义信息，通过近似输出对输入条件的导数来生成预测掩码，在仅使用图像级标注的弱监督医学图像分割任务中超越了现有CAM和扩散模型方法，且时间效率更高。
2023-09-15 cs.CV
Viewpoint-aware Progressive Clustering for Unsupervised Vehicle Re-identification
Anhui University（安徽大学）
车辆重新识别（Re-ID）在智慧城市大规模智能监控中具有重要意义，因此是一项活跃的任务。尽管近年来进展迅速，但大多数现有方法以监督的方式处理车辆Re-ID任务，这既耗时又费力，并且限制了它们在现实生活场景中的应用。最近，无监督的人的Re-ID方法取得了令人印象深刻的性能，探索域自适应或基于聚类的技术。然而，人们不能直接将这些方法推广到车辆Re-ID，因为车辆图像在不同的视角下呈现出巨大的外观变化。为了解决这个问题，我们提出了一种新的视角感知聚类算法的无监督车辆Re-ID。特别是，我们首先将整个特征空间划分为不同的子空间，根据预测的观点，然后执行渐进聚类挖掘样本之间的准确关系。在两个多视点基准数据集VeRi和VeRi-Wild上对最先进的方法进行了全面的实验，验证了所提出的方法在处理无监督车辆Re-ID时在有和没有域自适应场景下的良好性能。
2020-11-18 cs.CV
3D-aware Conditional Image Synthesis
Carnegie Mellon University（卡内基梅隆大学）
本研究提出3D感知条件生成模型pix2pix3D，结合神经辐射场实现基于2D标签图的多视角可控图像合成，还支持交互式标签编辑与对应输出生成。
2023-05-01 cs.CV cs.GR cs.LG
Weakly-Supervised RGB-D Salient Object Detection via SAM-driven Pseudo Annotation and State Space Interaction-based Diffusion
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
研究弱监督 RGB-D 显著目标检测，提出由 SAM-PAG 和 $S^2$Diff 组成的方法，前者扩展稀疏涂鸦为伪标注，后者在条件信息引导下细化显著图，二者合作使方法性能优异。
2026-07-17 cs.CV
CoMaL: Conditional Maximum Likelihood Approach to Self-supervised Domain Adaptation in Long-tail Semantic Segmentation
University of Arkansas（阿肯色大学）；Concordia University（康考迪亚大学）；West Virginia University（西弗吉尼亚大学）
本文提出CoMaL方法，通过条件最大似然和结构依赖建模解决长尾语义分割中的自监督域自适应问题，并在SYNTHIA/GTA到Cityscapes基准上显著超越现有方法。
2023-04-14 cs.CV
ArbiViewGen: Controllable Arbitrary Viewpoint Camera Data Generation for Autonomous Driving via Stable Diffusion Models
提出ArbiViewGen扩散框架，通过FAVS和CVC-SSL实现无需外推真实数据的可控任意视角相机图像生成，仅需多相机图像和位姿，支持多种车辆配置。
2025-08-07 cs.CV
Trained Model in Supervised Deep Learning is a Conditional Risk Minimizer
Academy for Advanced Interdisciplinary Studies（前沿交叉学科研究院）；Peking University（北京大学）；MGH/BWH Center for Advanced Medical Computing and Analysis（麻省总医院/布莱根妇女医院高级医学计算与分析中心）；Massachusetts General Hospital and Harvard Medical School（麻省总医院和哈佛医学院）；Beijing International Center for Mathematical Research（北京国际数学研究中心）
我们证明了监督式深度学习中的训练模型可以最小化每个输入的条件风险（定理2.1）。这个属性提供了对训练模型行为的洞察，并在某些情况下建立了监督学习和无监督学习之间的联系。此外，当标签是棘手的，但可以写为一个条件风险最小化，我们证明了一个等价形式的原始监督学习问题与可访问的标签（定理2.2）。我们证明了许多现有的工作，如Noise2Score，Noise2Noise和得分函数估计可以用我们的定理来解释。此外，我们利用定理2.1导出了带噪声标签的分类问题的一个性质，并使用MNIST数据集进行了验证。在此基础上，提出了一种基于定理2.2的图像超分辨率不确定性估计方法，并使用ImageNet数据集进行了验证。我们的代码可以在github上找到。
2022-02-08 cs.CV cs.LG
CONSAC: Robust Multi-Model Fitting by Conditional Sample Consensus
Leibniz University Hannover（莱布尼茨汉诺威大学）；Heidelberg University（海德堡大学）；University of Twente（屯特大学）
我们提出了一个强大的估计拟合多个参数模型的相同形式的噪声测量。应用包括在人造场景中寻找多个消失点，将平面拟合到建筑图像，或估计同一序列中的多个刚体运动。与以前的作品，采用手工制作的搜索策略多模型检测，我们学习的搜索策略从数据。以先前检测到的模型为条件的神经网络将RANSAC估计器引导到所有测量的不同子集，从而一个接一个地找到模型实例。我们训练我们的方法监督以及自我监督。对于搜索策略的监督训练，我们贡献了一个新的数据集用于消失点估计。利用这个数据集，该算法是优于其他强大的估计，以及指定的消失点估计算法。对于搜索的自监督学习，我们评估了所提出的算法的多单应性估计，并证明了优于国家的最先进的方法的准确性。
2020-03-25 cs.CV
3DFill:Reference-guided Image Inpainting by Self-supervised 3D Image Alignment
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）
现有的大多数图像修补算法都是基于单个视图的，难以处理大孔洞或包含复杂场景的孔洞。一些参考引导算法通过参考另一个视点图像来填充孔，并使用2D图像对齐。由于摄像机成像过程的原因，简单的二维变换很难达到令人满意的效果。在本文中，我们提出了3DFill，一个简单而有效的方法参考引导图像修补。给定具有任意孔洞区域的目标图像和来自另一视点的参考图像，3DFill首先通过两阶段方法对齐两个图像：3D投影+ 2D变换，其效果优于2D图像对齐。3D投影是图像之间的整体对准，而2D变换是聚焦于孔区域的局部对准。图像对齐的整个过程是自我监督的。然后，我们用对齐图像的内容填充目标图像中的孔。最后，我们使用一个条件生成网络细化填充图像，以获得修复结果。3DFill在各种宽视图偏移的图像修补上实现了最先进的性能，并且具有比其他修补模型更快的推理速度。
2022-11-09 cs.CV
3D Mesh Editing using Masked LRMs
University of Chicago（芝加哥大学）；Meta Reality Labs（Meta现实实验室）
提出一种基于掩码LRM的3D网格编辑方法，将形状编辑视为条件重建问题，通过单次前向传递在保留未掩码区域几何的同时，根据单张图像引导实现高效多样的网格编辑。
2025-09-15 cs.CV
S2cGAN: Semi-Supervised Training of Conditional GANs with Fewer Labels
Microsoft Research India（微软印度研究院）
生成对抗网络（GANs）在学习复杂的高维实数分布和生成真实样本方面非常成功。但是，它们对生成过程的控制有限。条件GANs（cGANs）提供了一种通过根据用户定义的输入调节输出来控制生成过程的机制。虽然训练GANs只需要无监督的数据，但训练cGANs需要标记的数据，这可能非常昂贵。我们提出了一个cGAN的半监督训练框架，它利用稀疏标签来学习条件映射，同时利用大量的无监督数据来学习无条件分布。我们证明了我们的方法在多个数据集和不同的条件任务的有效性。
2020-10-23 cs.CV cs.LG stat.ML
SOLD2: Self-supervised Occlusion-aware Line Description and Detection
ETH Zurich（苏黎世联邦理工学院）；Microsoft Mixed Reality and AI Zurich lab（微软混合现实与人工智能苏黎世实验室）
与特征点检测和描述相比，线段检测和匹配提供了额外的挑战。然而，线特征是对多视图任务的点的有希望的补充。线条确实是由图像梯度定义的，即使在纹理不好的区域也经常出现，并提供了强大的结构线索。因此，我们在此介绍单个深度网络中线段的第一个联合检测和描述。由于自我监督训练，我们的方法不需要任何注释的线标签，因此可以推广到任何数据集。我们的检测器提供可重复和准确的定位图像中的线段，从线框解析方法出发。利用描述符学习的最新进展，我们提出的线描述符是高度区分的，同时保持对视点变化和遮挡的鲁棒性。我们评估我们的方法对以前的线检测和描述方法在几个多视图数据集创建单应性扭曲以及现实世界的观点变化。我们的完整管道产生了更高的可重复性，定位精度和匹配指标，因此代表了弥合与学习特征点方法之间差距的第一步。代码和训练的权重可在https://github.com/cvg/SOLD2上获得。
2021-04-09 cs.CV
Detecting Invasive Ductal Carcinoma with Semi-Supervised Conditional GANs
University of New Hampshire（新罕布什尔大学）
浸润性导管癌（IDC）占所有乳腺癌的近80%。IDC的检测是确定癌症的侵袭性、确定治疗方案和预测患者结果的必要预处理步骤，并且通常由专家病理学家手动执行。在这里，我们描述了一种使用半监督条件生成对抗网络（cGAN）自动检测IDC的新算法。该框架在基线CNN上提高一系列指标的分数方面简单有效。
2021-03-30 cs.CV cs.LG eess.IV
The Worse The Better: Content-Aware Viewpoint Generation Network for Projection-related Point Cloud Quality Assessment
School of Automation, Nanjing University of Science and Technology（南京理工大学自动化学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
针对投影相关点云质量评估中默认视点导致预测分数不稳定的问题，提出 CAVGN 结合点云几何与纹理特征生成内容感知优化视点，并用 SSVRN 自监督构建训练数据，显著提升 PCQA 性能。
2025-02-17 cs.CV
DeLiRa: Self-Supervised Depth, Light, and Radiance Fields
Toyota Research Institute（丰田研究院）；Toyota Technological Institute of Chicago（芝加哥丰田理工学院）；Massachusetts Institute of Technology（麻省理工学院）
提出 DeLiRa 架构，利用自监督多视图光度目标作为体积渲染的几何正则化器，通过通用 Transformer 联合学习辐射场、深度和光场，在 ScanNet 基准上实现高质量体积渲染与实时合成。
2023-04-06 cs.CV
Learning Online Visual Invariances for Novel Objects via Supervised and Self-Supervised Training
University of Bristol（布里斯托大学）
人类可以识别物体的各种空间变换，如规模和观点。这延伸到新颖的对象，在单个姿势的单个呈现之后，有时被称为在线不变性。CNN已经被提出作为人类视觉的一种引人注目的模型，但它们识别跨转换对象的能力通常是在经过广泛的数据增强后，在训练类别的保持样本上进行测试的。本文评估了标准CNN是否可以通过训练模型来识别经历几种变换的合成3D对象的图像来支持类似人类的在线不变性：旋转，缩放，平移，亮度，对比度和视点。通过分析模型的内部表示，我们表明，在变换对象上训练的标准监督CNN可以在新类上获得强不变性，即使在训练时只需要从10个类中选取50个对象。这扩展到真实物体照片的不同数据集。我们还表明，这些不变性可以获得在一个自我监督的方式，通过解决相同/不同的任务。我们认为，后者的方法可能类似于人类如何获得不变性。
2022-01-14 cs.AI cs.CV
Time-Contrastive Networks: Self-Supervised Learning from Video
Google Brain（谷歌大脑）；University of Southern California（南加州大学）
我们提出了一种自我监督的方法，用于学习表示和机器人的行为完全从未标记的视频记录从多个角度来看，并研究这种表示如何可以用于两个机器人模仿设置：模仿对象的相互作用，从人类的视频，模仿人类的姿势。人类行为的模仿需要一个视点不变的表示，捕捉末端效应器（手或机器人抓手）和环境，对象属性和身体姿势之间的关系。我们训练我们的表示使用度量学习损失，其中同一观察的多个同时视点被吸引到嵌入空间中，同时被排斥在视觉上相似但功能上不同的时间邻居。换句话说，模型同时学习识别不同外观图像之间的共同点，以及相似外观图像之间的差异。该信号使我们的模型发现不随视点变化但随时间变化的属性，同时忽略诸如遮挡、运动模糊、照明和背景等讨厌的变量。我们证明，这种表示可以被机器人直接模仿人类的姿势，而无需明确的对应关系，并且它可以用作强化学习算法内的奖励函数。虽然表示是从未标记的任务相关视频集合中学习的，但机器人行为（如倾倒）是通过观看人类的单个第三人称演示来学习的。通过在学习的表示下遵循人类演示而获得的奖励函数使得能够实现对于现实世界的机器人系统实用的有效的强化学习。视频结果、开源代码和数据集可在www.example.com上获得
2018-03-20 cs.CV cs.RO
PoseContrast: Class-Agnostic Object Viewpoint Estimation in the Wild with Pose-Aware Contrastive Learning
Ecole des Ponts（巴黎高科路桥学校）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
出于对任意对象的3D姿态估计的需要，我们考虑仅从图像中进行类不可知对象视点估计的挑战性问题，而无需CAD模型知识。这个想法是利用在可见类上学习的特征来估计看不见的类的姿态，但是这些类与可见类共享相似的几何形状和规范框架。我们训练一个直接的姿态估计器在类不可知的方式通过共享所有对象类的权重，我们引入了一个对比学习方法，有三个主要成分：（i）使用预先训练，自我监督，基于对比度的功能;（ii）姿态感知数据增强;（iii）姿态感知对比损失。我们以跨数据集的方式在Pascal 3D+、ObjectNet 3D和Pix 3D上进行了实验，包括可见类和不可见类。我们报告了最先进的结果，包括针对另外使用CAD模型作为输入的方法。
2021-10-27 cs.CV
Weakly-Supervised Action Localization by Generative Attention Modeling
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
弱监督时间动作定位是一个学习动作定位模型的问题，只有视频级的动作标记可用。一般框架主要依赖于分类激活，它采用注意力模型来识别动作相关帧，然后将它们分类到不同的类。这种方法导致动作上下文混淆的问题：动作片段附近的上下文帧往往被识别为动作帧本身，因为它们与特定的类密切相关。为了解决这个问题，在本文中，我们提出了模型的类不可知帧的概率条件下的帧注意使用条件变分自动编码器（VAE）。通过观察到上下文在表示级别上表现出与动作的显著差异，概率模型，即，条件VAE被学习以对给定注意力的每个帧的可能性进行建模。通过最大化关于注意力的条件概率，动作和非动作框架被很好地分离。在THUMOS 14和ActivityNet1.2上的实验表明了该方法的优越性和处理动作上下文混淆问题的有效性。代码现在在GitHub上可用。
2020-03-30 cs.CV
REFINE-CONTROL: A Semi-supervised Distillation Method For Conditional Image Generation
School of Computer Science and Engineering（计算机科学与工程学院）；AI Lab（人工智能实验室）；Lenovo Research（联想研究院）
本文提出Refine-Control半监督蒸馏框架，通过三级知识融合损失和利用无标注数据，在降低条件图像生成模型计算成本与延迟的同时保持高保真生成能力和可控性。
2025-09-26 cs.AI cs.CV
Truly Generalizable Radiograph Segmentation with Conditional Domain Adaptation
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
生物医学图像的数字化技术在放射学检查中产生不同的视觉模式。这些差异可能会妨碍使用数据驱动的方法对这些图像进行推理，例如深度神经网络。这个领域的另一个值得注意的困难是缺乏标记数据，即使在许多情况下有大量的未标记数据可用。因此，提高这些方法的泛化能力的一个重要步骤是在不同的生物医学图像数据集之间执行无监督和半监督领域自适应。为了解决这个问题，在这项工作中，我们提出了一个无监督和半监督的领域自适应方法分割的生物医学图像，使用生成对抗网络的无监督图像翻译。我们将这些无监督网络与有监督的深度语义分割架构合并，以便创建一种半监督方法，该方法能够在标记可用时从未标记和标记数据中学习。我们使用多个领域，数据集，分割任务和传统基线来比较我们的方法，例如无监督的基于距离的方法和重用预训练模型，无论是否进行微调。我们在实验评估中考虑的不同场景中对所提出的方法和基线进行定量和定性分析。所提出的方法在稀缺的标记数据场景中显示出比基线更好的结果，在大多数任务中实现了大于0.9的Jaccard值和良好的分割质量。观察到无监督领域自适应结果接近于在微调预训练网络的传统过程中使用的完全监督领域自适应。
2019-12-07 cs.CV
ERANet: Edge Replacement Augmentation for Semi-Supervised Meniscus Segmentation with Prototype Consistency Alignment and Conditional Self-Training
The Chinese University of Hong Kong（香港中文大学）；University of Edinburgh（爱丁堡大学）；Shanghai Jiao Tong University School of Medicine（上海交通大学医学院）；The Chinese University of Hong Kong Medical Centre（香港中文大学医学中心）；Southeast University（东南大学）；Xi'an Jiaotong Liverpool University（西交利物浦大学）；Nanchang University（南昌大学）
ERANet通过边缘替换增强、原型一致性对齐和条件自训练策略，提升半监督半月板分割的性能和鲁棒性。
2025-11-24 cs.CV
Conditional Pseudo-Supervised Contrast for Data-Free Knowledge Distillation
organization= School of Computer Science
针对现有无数据知识蒸馏方法存在的样本类别分布模糊、多样性不足等问题，提出CPSC-DFKD范式，通过条件生成对抗网络与伪监督对比学习提升学生模型及生成器性能。
2025-10-03 cs.CV cs.LG
Weakly Supervised Instance Segmentation by Learning Annotation Consistent Instances
IIIT Hyderabad（海得拉巴国际信息技术研究所）；University of Oxford（牛津大学）
用于弱监督实例分割的最新方法取决于两个组件：（i）伪标签生成模型，其提供与给定注释一致的实例;以及（ii）实例分割模型，其使用伪标签作为地面实况以监督方式训练。与以前的方法不同，我们明确地模拟使用条件分布的伪标签生成过程中的不确定性。从我们的条件分布中提取的样本提供了准确的伪标签，这是由于使用了语义类感知的一元项、边界感知的成对平滑项和注释感知的高阶项。此外，我们将实例分割模型表示为与注释无关的预测分布。与以前的方法相比，我们的表示允许我们定义一个联合概率学习目标，最大限度地减少两个分布之间的差异。我们的方法在PASCAL VOC 2012数据集上实现了最先进的结果，超过最佳基线4.2%mAP@0.5和4.8%mAP@0.75。
2020-07-18 cs.CV
Points2Pix: 3D Point-Cloud to Image Translation using conditional Generative Adversarial Networks
Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Ilmenau University of Technology（伊尔默瑙工业大学）
我们提出了第一种基于条件生成对抗网络（cGAN）的三维点云到图像转换方法。该模型处理来自不同领域的多模态信息源，即原始点集和图像。该生成器能够处理三种情况，而点云被编码为原始点集和相机投影。使用图像背景块作为约束来偏置环境纹理。生成器中的全局近似函数直接应用于点云（Point-Net）。因此，代表性学习模型直接在潜在特征空间处并入全局3D特征。使用条件来偏置所生成的图像的背景和视点。这开辟了增强或纹理化3D数据的新方法，旨在生成完全独立的图像。我们在Kitti和SunRGBD数据集上成功地评估了我们的方法，并获得了出色的目标检测初始分数。
2019-09-16 cs.CV
Deep Compatible Learning for Partially-Supervised Medical Image Segmentation
Fudan University（复旦大学）
部分监督学习由于缺乏对未标记结构的监督而对于分割可能具有挑战性，并且直接应用完全监督学习的方法可能导致不兼容，这意味着在给定损失函数的情况下，基础事实不在优化问题的解集中。为了应对这一挑战，我们提出了一个深度兼容学习（DCL）框架，该框架使用仅标注了部分结构的图像来训练单个多标签分割网络。我们首先将部分监督分割公式化为与缺失标签兼容的优化问题，并证明其兼容性。然后，我们为模型配备了条件分割策略，将标签从多个部分注释的图像传播到目标。此外，我们提出了一个双重学习策略，同时学习两个相反的标签传播映射，为未标记的结构提供实质性的监督。这两种策略分别被表述为相容形式，称为条件相容和对偶相容。我们表明，这个框架是普遍适用于传统的损失函数。与现有方法相比，该方法获得了显着的性能改进，特别是在只有少量训练数据集的情况下。三个分割任务的结果表明，所提出的框架可以实现与全监督模型相匹配的性能。
2022-06-18 cs.CV
Self-supervised Image Denoising with Downsampled Invariance Loss and Conditional Blind-Spot Network
Seoul National University（首尔国立大学）；Gauss Labs Inc.（高斯实验室公司）
提出一种结合下采样不变性损失与条件盲点网络（C-BSN）的自监督图像去噪框架，通过控制网络盲目性并利用随机子采样器去除空间噪声相关性，在真实数据集上达到最先进性能。
2023-07-28 cs.CV eess.IV
Unsupervised Geometry-Aware Representation for 3D Human Pose Estimation
CVLab, EPFL（洛桑联邦理工学院计算机视觉实验室）
现代3D人体姿态估计技术依赖于深度网络，这需要大量的训练数据。虽然弱监督方法需要较少的监督，但通过利用没有注释的2D姿势或多视图图像，它们仍然需要足够大的具有3D注释的样本集才能成功学习。在本文中，我们建议克服这个问题，学习几何感知身体表示从多视图图像没有注释。为此，我们使用编码器-解码器，该编码器-解码器预测来自一个视点的图像，给定来自另一个视点的图像。因为这种表示对3D几何体进行编码，所以在半监督设置中使用它可以更容易地从它学习到3D人体姿势的映射。正如我们的实验所证明的那样，我们的方法在给定相同数量的标记数据的情况下显着优于全监督方法，并且在使用仅1%的标记数据的情况下优于其他半监督方法。
2018-04-03 cs.AI cs.CV
Planes vs. Chairs: Category-guided 3D shape learning without any 3D cues
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
我们提出了一种新的三维形状重建方法，学习预测一个隐式的三维形状表示从一个单一的RGB图像。我们的方法使用一组没有视点注释的多个对象类别的单视图图像，迫使模型在没有3D监督的情况下跨多个对象类别学习。为了便于学习，这种最小的监督，我们使用类别标签来指导形状学习与一种新的分类度量学习方法。我们还利用对抗和视点正则化技术来进一步理清视点和形状的影响。我们获得了第一个结果，大规模（超过50个类别）的单视点形状预测使用一个单一的模型，没有任何3D线索。我们也是第一个检查和量化类信息在单视图监督三维形状重建的好处。我们的方法在ShapeNet-13、ShapeNet-55和Pascal 3D+上实现了优于最先进方法的性能。
2022-04-21 cs.CV
