Twitter100k: A Real-world Dataset for Weakly Supervised Cross-Media Retrieval
Tsinghua University（清华大学）；University of Technology, Sydney（悉尼科技大学）
本文提供了一个新的大规模弱监督跨媒体检索数据集，名为Twitter 100 k。目前的数据集，如维基百科，NUS Wide和Flickr 30 k，有两个主要的限制。首先，这些数据集缺乏内容多样性，即，只覆盖了一些预定义的类。其次，这些数据集中的文本是用组织良好的语言编写的，导致与实际应用不一致。为了克服这些缺点，提出的Twitter 100 k数据集具有两个方面的特征：1）它具有从Twitter随机抓取的100，000个图像-文本对，因此在图像类别中没有约束; 2）Twitter 100 k中的文本由用户以非正式语言编写。由于强监督方法利用了在实践中可能缺失的类标签，本文重点研究了用于跨媒体检索的弱监督学习，其中在训练过程中只利用文本图像对。我们广泛测试了四种子空间学习方法和Correspondence AutoEncoder的三种变体的性能，以及维基百科、Flickr 30 k和Twitter 100 k上的各种文本功能。提供了新的见解。作为一个小小的贡献，灵感来自Twitter 100 k的特点，我们提出了一个基于OCR的跨媒体检索方法。在实验中，我们表明，所提出的基于OCR的方法提高了基线性能。
2017-03-20 cs.CV
MoonAnything: A Vision Benchmark with Large-Scale Lunar Supervised Data
IRIT - Université de Toulouse（图卢兹第三大学-计算机科学研究所）；National University of Singapore（新加坡国立大学）；IPAL, IRL2955
本文提出MoonAnything基准，基于真实月球地形和物理渲染，提供首个全面的几何和光度监督。包含LunarGeo和LunarPhoto两个子数据集，共13万+样本，适用于低纹理、高对比条件下的算法测试。
2026-04-01 cs.CV
Self-supervised Domain Adaptation for Breaking the Limits of Low-quality Fundus Image Quality Enhancement
Northeastern University（东北大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；University of Alberta（阿尔伯塔大学）
针对医疗场景中高质量眼底图像难收集导致增强方法受限的问题，本文提出DASQE方法，通过辅助预训练质量评估网络和风格聚类构建补丁域，设计自监督域自适应任务解耦特征，在仅用低质量图像时于EyeQ和Messidor数据集上获SOTA性能。
2023-01-17 cs.AI cs.CV eess.IV
KD-MVS: Knowledge Distillation Based Self-supervised Learning for Multi-view Stereo
Megvii Research（旷视研究院）；Tsinghua University（清华大学）
针对有监督多视图立体方法需大量真实深度数据的难题，提出基于知识蒸馏的自监督训练框架KD-MVS，经自监督教师训练与概率知识迁移，学生模型性能超越教师及有监督方法。
2023-08-20 cs.CV
Boosting Video Object Segmentation based on Scale Inconsistency
Queen Mary University of London（伦敦玛丽女王大学）
我们提出了一个改进框架，以提高预训练的半监督视频对象分割（VOS）模型的性能。我们的工作是基于规模的不一致性，这是由现有的VOS模型从不同大小的输入帧生成不一致的预测的观察动机。我们使用规模的不一致性作为线索，设计一个像素级的注意力模块，聚合的优势，从不同大小的输入预测。尺度不一致性还用于基于由不确定性估计测量的像素级方差来正则化训练。我们进一步提出了一个自我监督的在线适应，为测试时间优化量身定制，引导预测没有地面真理面具的基础上规模不一致。在DAVIS 16和DAVIS 17数据集上的实验表明，该框架可以通用地应用于各种VOS模型，并提高其性能。
2022-05-02 cs.CV
Semi-supervised Deep Large-baseline Homography Estimation with Progressive Equivalence Constraint
Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）；Megvii Technology（旷视科技）
在大基线的情况下，由于低的图像重叠和有限的感受野，单应性估计是错误的。为了解决这个问题，我们提出了一种渐进的估计策略，通过将大基线单应性转换为多个中间项，累积相乘这些中间项可以重建初始单应性。同时，半监督单应性身份损失，它包括两个组成部分：监督目标和非监督目标，被引入。第一个监督损失用于优化中间单应性，而第二个无监督损失有助于估计大基线单应性而没有光度损失。为了验证我们的方法，我们提出了一个大规模的数据集，涵盖了常规和具有挑战性的场景。实验表明，我们的方法在大基线场景中达到了最先进的性能，同时在小基线场景中保持了竞争力的性能。代码和数据集可在https://github.com/megvii-research/LBHomo上获得。
2022-12-06 cs.CV
Inconsistency Masks: Harnessing Model Disagreement for Stable Semi-Supervised Segmentation
IM通过利用模型分歧信号提升半监督分割的稳定性，有效缓解误差传播问题，提升分割精度。
2026-01-25 cs.CV
On the Global Photometric Alignment for Low-Level Vision
Tianjin University（天津大学）
本文提出Photometric Alignment Loss，通过闭式仿射颜色对齐减少光度差异，提升多任务和多数据集的性能。
2026-04-09 cs.CV
Inconsistency-aware Uncertainty Estimation for Semi-supervised Medical Image Segmentation
Nanjing University（南京大学）；Tsinghua University（清华大学）；Tencent Jarvis Lab（腾讯Jarvis实验室）；Shandong Women’s University（山东女子学院）；Southeast University（东南大学）
在半监督医学图像分割中，大多数以前的工作都基于一个共同的假设，即较高的熵意味着较高的不确定性。在本文中，我们研究了一种新的方法来估计不确定性。我们观察到，当在一定程度上分配不同的误分类成本时，如果像素的分割结果变得不一致，则该像素在其分割中表现出相对的不确定性。因此，我们提出了一种新的半监督分割模型，即基于我们的不确定性估计和单独的自训练策略的保守-激进网络（CoraNet）。特别是，我们的CoraNet模型由三个主要组件组成：保守-激进模块（CRM），特定区域分割网络（C-SN）和不确定区域分割网络（UC-SN），它们可以以端到端的方式进行交替训练。我们已经广泛评估了我们的方法在各种分割任务与公开可用的基准数据集，包括CT胰腺，MR内镜，和MR多结构分割的ACDC数据集。与目前的技术水平相比，我们的CoraNet表现出了卓越的性能。此外，我们还分析了它与传统的半监督医学图像分割中的不确定性估计方法的联系和区别。
2021-10-17 cs.CV
S2P3: Self-Supervised Polarimetric Pose Prediction
Technical University of Munich（慕尼黑工业大学）
本文提出首个基于 RGB+偏振图像的自监督 6D 位姿预测方法，结合物理模型、知识蒸馏和可微渲染，在无纹理、反射及透明物体上取得显著性能提升。
2023-12-02 cs.CV
Motion Deblurring with Real Events
Wuhan University（武汉大学）；Dalian University of Technology（大连理工大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
在本文中，我们提出了一个端到端的学习框架，用于以自监督的方式进行基于事件的运动去模糊，其中利用真实世界的事件来减轻由数据不一致引起的性能下降。为了实现这一目的，从事件预测光流，利用模糊一致性和光度一致性来实现具有真实世界数据的去模糊网络上的自我监督。此外，分段线性运动模型，提出了考虑到运动的非线性，从而导致在现实世界的情况下，运动模糊的物理形成的准确模型。对合成和真实运动模糊数据集的广泛评估表明，该算法弥合了模拟和真实世界的运动模糊之间的差距，并显示出显着的性能，基于事件的运动去模糊在真实世界的场景。
2021-09-28 cs.CV
Endo-Depth-and-Motion: Reconstruction and Tracking in Endoscopic Videos using Depth Networks and Photometric Constraints
Universidad de Zaragoza（萨拉戈萨大学）
从体内视频中估计场景重建和相机运动是具有挑战性的，这是由于几个因素，例如体腔的变形或缺乏纹理。在本文中，我们提出了Endo-Depth-and-Motion，这是一个从单目内窥镜视频中估计6自由度相机姿势和密集3D场景模型的管道。我们的方法利用自监督深度网络的最新进展来生成伪RGBD帧，然后使用光度残差跟踪相机姿态，并将注册的深度图融合到体积表示中。我们在公共数据集Hamlyn中进行了广泛的实验评估，显示了高质量的结果并与相关基线进行了比较。我们还发布了所有模型和代码以供将来比较。
2021-07-03 cs.CV cs.LG cs.RO
RoSe: Robust Self-supervised Stereo Matching under Adverse Weather Conditions
Department of Computer Science, City University of Hong Kong（城市大学计算机科学系）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所（CASIA））
针对自监督立体匹配在恶劣天气下性能下降的问题，该研究提出RoSe方案，通过注入视觉基础模型的鲁棒先验优化特征提取，并引入场景对应先验构建监督信号，提升了恶劣天气下的视差估计性能。
2025-09-23 cs.AI cs.CV
MaxMatch: Semi-Supervised Learning with Worst-Case Consistency
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，通过半监督学习（SSL）结合未标记数据来克服监督效率低下的问题取得了很大进展。大多数最先进的模型都基于对输入噪声的未标记数据进行一致的模型预测的想法，这称为一致性正则化。然而，对于其成功背后的原因缺乏理论上的见解。为了弥补理论和实际结果之间的差距，我们提出了一个最坏情况下的一致性正则化技术的SSL在本文中。具体来说，我们首先提出了一个概括的范围SSL的经验损失观察标记和未标记的训练数据分别。出于这个界限，我们推导出一个SSL目标，最大限度地减少原始未标记的样本和它的多个增强变量之间的最大不一致。然后，我们提供了一个简单而有效的算法来解决建议的极大极小问题，并从理论上证明它收敛到一个稳定点。在五个流行的基准数据集上的实验验证了该方法的有效性。
2022-09-26 cs.CV cs.LG stat.ML
Physically-Based Photometric Bundle Adjustment in Non-Lambertian Environments
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Chinese University of Hong Kong（香港中文大学）
针对非朗伯环境中光度一致性假设失效的问题，提出基于物理的PBA方法，引入材质、光照和光路权重，并建立首个含完整真值的非朗伯SLAM数据集，实验验证精度优于现有方法。
2024-09-18 cs.CV cs.RO
Multi-clue Consistency Learning to Bridge Gaps Between General and Oriented Object in Semi-supervised Detection
Nanjing University of Science and Technology（南京理工大学）
针对半监督定向目标检测中的采样、分配与置信度不一致问题，提出 MCL 框架，通过高斯中心分配、尺度感知标签分配和一致置信度软标签实现 SOTA 性能。
2024-07-08 cs.CV
Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning
Inception Institute of Artificial Intelligence（初始人工智能研究院）；University of Macau（澳门大学）；Terminus Group（特斯联集团）
无监督元学习的开创性方法CACTU是一种基于聚类的伪标记方法。这种方法是模型不可知的，可以与监督算法相结合，从未标记的数据中学习。然而，它经常遭受标签不一致或有限的多样性，这导致性能不佳。在这项工作中，我们证明，这是一个集群的嵌入空间中缺乏友好的属性的核心原因。我们通过最小化类间到类内的相似性比率来解决这个问题，以提供聚类友好的嵌入功能，并通过全面的实验来验证我们的方法。请注意，尽管在我们的嵌入空间中只使用了一个简单的聚类算法（k-means）来获得伪标签，但我们取得了显着的改进。此外，我们采用了渐进的评估机制，以获得更多的多样性样本，以进一步缓解有限的多样性问题。最后，我们的方法也是模型不可知的，可以很容易地集成到现有的监督方法。为了证明它的泛化能力，我们将其集成到两个代表性的算法：MAML和EP。三个主要的Few-Shot基准测试的结果清楚地表明，所提出的方法实现了显着的改进相比，国家的最先进的模型。值得注意的是，我们的方法在两个任务中也优于相应的监督方法。
2022-09-27 cs.CV cs.LG
MonoPCC: Photometric-invariant Cycle Constraint for Monocular Depth Estimation of Endoscopic Images
Huazhong University of Science and Technology（华中科技大学）；Wuhan United Imaging Healthcare Surgical Technology Co., Ltd.（武汉联影外科技术有限公司）；Tongji Hospital（同济医院）；Tongji Medical College（同济医学院）；Britton Chance Center for Biomedical Photonics（布里顿·钱斯生物光子学中心）；Wuhan National Laboratory for Optoelectronics（武汉光电国家实验室）
提出MonoPCC方法，通过将光度约束重塑为闭环循环形式解决内窥镜图像亮度不一致问题，结合相位频率移植与EMA策略提升自监督单目深度估计的鲁棒性与精度。
2024-12-19 cs.CV
BarlowTwins-CXR : Enhancing Chest X-Ray abnormality localization in heterogeneous data with cross-domain self-supervised learning
本研究提出BarlowTwins-CXR自监督学习策略，通过两阶段训练解决跨域域不一致性，在异构胸部X射线数据上提升异常定位性能，mAP50提高3%。
2024-02-09 cs.CV
Polarimetric Information for Multi-Modal 6D Pose Estimation of Photometrically Challenging Objects with Limited Data
TU Munich（慕尼黑工业大学）
针对现有6D位姿估计方法处理光度挑战性物体的局限，提出利用偏振信息的监督学习方法，并扩展为无需标注真实数据的自监督范式，结合偏振几何信息、形状先验与物理约束显著提升位姿估计效果。
2023-08-21 cs.CV
SPSG: Self-Supervised Photometric Scene Generation from RGB-D Scans
Technical University of Munich（慕尼黑工业大学）；Google（谷歌）
我们提出了SPSG，一种新的方法来生成高质量的，彩色的3D模型的场景从RGB-D扫描观察学习推断未观察到的场景几何形状和颜色在一个自我监督的方式。我们的自我监督方法通过将不完整的RGB-D扫描与该扫描的更完整版本相关联来学习联合修复几何形状和颜色。值得注意的是，我们不是依靠3D重建损失来告知我们的3D几何和颜色重建，而是提出了在2D渲染上操作的对抗性和感知损失，以实现场景的高分辨率，高质量的彩色重建。这利用了来自单个原始RGB-D帧的高分辨率、自一致信号，而帧的融合3D重建则表现出与视图相关效果的不一致性，例如色彩平衡或姿势不一致。因此，通过直接通过2D信号通知我们的3D场景生成，我们可以生成高质量的3D场景彩色重建，在合成和真实数据上都优于现有技术。
2021-04-28 cs.CV
Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction
Inria（法国国家信息与自动化研究所）；Département d’informatique de l’ENS, CNRS, PSL Research University（巴黎高等师范学院计算机系、法国国家科学研究中心、巴黎文理研究大学）；Microsoft（微软）；Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立高等物理、数学与信息学院、让·库隆实验室）；ETH Zürich（苏黎世联邦理工学院）
手对象操作建模是理解人类如何与环境交互的关键。虽然具有实际重要性，但由于在操纵期间发生的大的相互遮挡，估计手和物体在交互期间的姿势是具有挑战性的。最近的努力已经指向需要大量标记训练样本的完全监督方法。然而，收集用于手-物体交互的3D地面实况数据是昂贵的、繁琐的并且容易出错。为了克服这一挑战，我们提出了一种方法，利用光度一致性在整个时间时，注释只适用于一个稀疏的视频帧的子集。我们的模型在彩色图像上进行端到端的训练，通过推断它们的姿势来联合重建3D中的手和物体。给定我们估计的重建，我们可区分地渲染相邻图像对之间的光流，并在网络中使用它来将一帧扭曲到另一帧。然后，我们应用依赖于附近图像之间的视觉一致性的自监督光度损失。我们实现了最先进的3D手对象重建基准的结果，并表明，我们的方法使我们能够提高姿态估计精度，利用信息从相邻帧在低数据制度。
2020-04-28 cs.CV
SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware Feature Extraction
NAVER LABS（NAVER实验室）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
自监督单目深度估计已经成为一种有前途的方法，因为它在训练期间不需要地面实况深度图。作为地面实况深度图的替代方案，光度损失使得能够通过匹配输入图像帧来提供对深度预测的自我监督。然而，光度损失导致各种问题，导致与监督方法相比不太准确的深度值。在本文中，我们提出了SAFENet，旨在利用语义信息来克服光度损失的局限性。我们的核心思想是利用语义感知的深度功能，集成的语义和几何知识。因此，我们引入多任务学习方案，将语义感知到深度特征的表示中。KITTI数据集上的实验表明，我们的方法竞争，甚至优于国家的最先进的方法。此外，在不同数据集上的大量实验表明，该算法具有更好的泛化能力和对各种条件的鲁棒性，如弱光或恶劣天气。
2020-12-29 cs.CV
Beyond Photometric Loss for Self-Supervised Ego-Motion Estimation
Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程学系）；Tencent YouTu Lab, Shenzhen（腾讯优图实验室（深圳））；Everest Innovation Technology (Altizure), Hong Kong（Everest Innovation Technology（Altizure），香港）
精确的相对位姿是视觉里程计（VO）和同时定位与地图构建（SLAM）的关键组成部分之一。最近，联合优化相对姿态和目标图像深度的自监督学习框架引起了社会的关注。以前的工作依赖于相邻帧之间的深度和姿态产生的光度误差，其中包含由于反射表面和遮挡而导致的真实场景下的大的系统误差。在本文中，我们通过在自监督框架中引入对极几何约束的匹配损失来弥合几何损失和光度损失之间的差距。在KITTI数据集上进行评估，我们的方法比最先进的无监督自我运动估计方法有很大的优势。代码和数据可在https://github.com/hlzz/DeepMatchVO上获得。
2019-02-25 cs.CV cs.RO
JEPADepth: Masked Predictive Representation Learning for Self-Supervised Monocular Depth Estimation
Politehnica University of Timișoara（蒂米什瓦拉理工大学）
本文提出JEPADepth框架，结合I-JEPA的掩码预测损失优化自监督单目深度估计，在KITTI、Make3D等数据集上实现性能提升，且推理无额外成本。
2026-07-30 cs.CV
Consistent-Teacher: Towards Reducing Inconsistent Pseudo-targets in Semi-supervised Object Detection
SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；National University of Singapore（新加坡国立大学）；Peking University（北京大学）
在这项研究中，我们深入研究了半监督目标检测（SSOD）中伪目标的不一致性。我们的核心观察是，振荡的伪目标破坏了准确检测器的训练。它将噪声注入到学生的训练中，导致严重的过拟合问题。因此，我们提出了一个系统的解决方案，称为ConsistentTeacher，以减少不一致。首先，自适应锚分配~（ASA）取代静态IoU为基础的策略，这使得学生网络能够抵抗噪声伪包围盒。然后设计了一个三维特征对齐模块FAM-3D，对子任务预测进行了校准。它允许每个分类特征在任意尺度和位置自适应地查询回归任务的最佳特征向量。最后，高斯混合模型（GMM）动态地修改伪bboxes的分数阈值，这在早期阶段稳定了地面真值的数量，并在训练期间补救了不可靠的监督信号。ConsistentTeacher在SSOD的大范围评价中提供了强有力的结果。它使用ResNet-50主干实现了40.0 mAP，仅给出了10%的注释MS-COCO数据，这超过了之前使用伪标签的基线约3 mAP。当在具有额外未标记数据的完全注释的MS-COCO上训练时，性能进一步提高到47.7 mAP。我们的代码可在\url{https://github.com/Adamdad/ConsistentTeacher}上获得。
2023-03-28 cs.CV
Feature-metric Loss for Self-supervised Learning of Depth and Egomotion
Meituan Dianping Group（美团点评集团）；DeepMotion
光度损失被广泛用于自监督深度和自运动估计。然而，由光度差异引起的损失景观通常是优化的问题，这是由无纹理区域中的像素的高原景观或歧视性较低的像素的多个局部最小值引起的。在这项工作中，特征度量损失被提出并定义在特征表示上，其中特征表示也以自监督的方式学习，并通过一阶和二阶导数进行正则化，以约束损失景观以形成适当的收敛盆地。综合实验和详细的可视化分析表明，所提出的特征度量损失的有效性。特别是，我们的方法提高了国家的最先进的方法KITTI从0.885到0.925测量的$δ_1$的深度估计，并显着优于以前的方法视觉里程计。
2020-07-21 cs.CV
DevNet: Self-supervised Monocular Depth Learning via Density Volume Construction
University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
单目图像的自监督深度学习通常依赖于时间上相邻的图像帧之间的2D逐像素光度关系。然而，它们既没有充分利用3D逐点几何对应，也没有有效地解决由遮挡或照明不一致引起的光度扭曲中的模糊性。为了解决这些问题，这项工作提出了密度体积构造网络（DevNet），这是一种新型的自监督单目深度学习框架，可以考虑3D空间信息，并利用相邻摄像头截头之间更强的几何约束。我们的DevNet不是直接从单个图像中回归像素值，而是将相机截头体划分为多个平行平面，并预测每个平面上的逐点遮挡概率密度。通过沿对应射线积分密度来生成最终深度图。在训练过程中，引入了新的正则化策略和损失函数来减轻光度模糊性和过拟合。在没有明显增加模型参数大小或运行时间的情况下，DevNet在KITTI-2015室外数据集和NYU-V2室内数据集上的表现优于几个代表性基线。特别是，在深度估计任务中，DevNet在KITTI-2015和NYU-V2上的均方根偏差降低了约4%。代码可在https://github.com/gitkaichenzhou/DevNet上获得。
2022-10-02 cs.CV
DeepPS2: Revisiting Photometric Stereo Using Two Differently Illuminated Images
IIT Gandhinagar（印度理工学院甘地纳加尔分校）
光度立体是利用物体在不同光照条件下拍摄的图像恢复物体三维表面法线的问题，在计算机视觉研究中具有重要意义。尽管现有的传统方法和基于深度学习的方法取得了成功，但由于以下原因，其仍然具有挑战性：（i）需要三个或更多个不同照明的图像，（ii）无法对未知的一般反射率进行建模，以及（iii）需要准确的3D地面真实表面法线和已知的照明信息用于训练。在这项工作中，我们试图解决一个不足的光度立体的问题，只使用两个不同的照明图像，称为PS2问题。它是基于单个图像的重建方法（如阴影恢复形状（SfS））和传统的光度立体（PS）之间的中间情况，后者需要三个或更多个图像。我们提出了一个基于逆渲染的深度学习框架，称为DeepPS2，它以完全自监督的方式联合执行表面法线，光照估计和图像重照明，而不需要地面真实数据。我们演示了如何结合图像重建图像重新照明增强了照明估计在自我监督设置。
2022-08-30 cs.CV
Self-supervised Learning of Occlusion Aware Flow Guided 3D Geometry Perception with Adaptive Cross Weighted Loss from Monocular Videos
基于自监督深度学习的3D场景理解方法可以克服获取密集标记的地面实况的困难，并且已经取得了很多进展。然而，遮挡和移动对象仍然是一些主要的限制。在本文中，我们探讨了可学习的遮挡感知光流引导的自监督深度和相机姿态估计的自适应交叉加权损失，以解决上述限制。首先，我们探索训练可学习的遮挡掩模融合光流网络的遮挡感知光度损失的时间补充信息和相邻视图的前后一致性。在此基础上，设计了一种自适应的深度位姿损失与几何和光度误差的光流损失交叉加权方法，以区分违反静态场景假设的运动目标。我们的方法在多个任务下对KITTI，Make3D和Cityscapes数据集显示了有希望的结果。我们也表现出良好的泛化能力，在各种具有挑战性的情况下。
2021-10-22 cs.CV
DMS:Diffusion-Based Multi-Baseline Stereo Generation for Improving Self-Supervised Depth Estimation
Institute of Science Tokyo, Japan（东京科学研究所）；Sony Semiconductor Solutions Group, Japan（日本索尼半导体解决方案集团）；Nanyang Technological University, Singapore（南洋理工大学）
本文提出 DMS，一种利用扩散模型沿极线方向合成多基线新视图以补充遮挡像素的即插即用方法，仅用无标注立体图像对即可显著提升自监督立体匹配与单目深度估计性能，异常值最多减少 35%。
2025-08-18 cs.CV
Self-supervised Learning with Geometric Constraints in Monocular Video: Connecting Flow, Depth, and Camera
Google Research（谷歌研究院）；ETH Zurich（苏黎世联邦理工学院）
我们提出了GLNet，一个自监督的框架，用于学习深度，光流，摄像机姿态和单目视频的内部参数-解决了为这些任务获取现实地面实况的困难。我们提出了三个贡献：1）我们设计了新的损失函数，捕捉多个几何约束（如。对极几何）以及支持多个移动对象（刚性和非刚性）的自适应光度损失，2）我们扩展了模型，使得它预测相机固有特性，使其适用于未校准的视频，以及3）我们提出了几种在线细化策略，其依赖于我们在训练和测试中的自我监督损失的对称性，特别是优化模型参数和/或不同任务的输出，从而利用它们的相互作用。在所有几何约束和光度约束下联合优化系统输出的思想可以被视为经典光束法平差的密集推广。我们证明了我们的方法在KITTI和Cityscapes上的有效性，在这些方法中，我们在多个任务上的表现优于以前的自监督方法。我们还在YouTube视频中展示了迁移学习的良好泛化。
2019-09-09 cs.CV
Label-efficient Hybrid-supervised Learning for Medical Image Segmentation
ByteDance Inc.（字节跳动公司）
由于缺乏医学图像标注方面的专业知识，研究标记有效的医学图像分割方法成为一个热门话题。最近的进展集中在弱注释的有效利用以及一些强注释的标签，以便在许多非专业场景中实现相当的分割性能。然而，这些方法只关注强注释和弱注释实例之间的监督不一致性，而忽略了弱注释实例内部的监督不一致性，这必然导致性能下降。为了解决这个问题，我们提出了一种新的标签有效的混合监督框架，该框架单独考虑每个弱注释实例，并根据强注释实例的梯度方向学习其权重，从而更好地利用强注释实例中的高质量先验，更精确地描述弱注释实例。特别是，我们设计的动态实例指示器（DII）实现了上述目标，并适应我们的动态共正则化（DCR）框架，进一步减轻错误的积累从扭曲的弱注释。在两个混合监督医学分割数据集上的大量实验表明，仅使用10%的强标签，所提出的框架可以有效地利用弱标签，并在100%强标签监督的情况下实现具有竞争力的性能。
2022-03-10 cs.CV cs.LG eess.IV
Self-Supervised Bird's Eye View Motion Prediction with Cross-Modality Signals
Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Southern California（南加州大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对自监督 BEV 运动流中点云对应导致的虚假流与不一致问题，提出跨模态自监督框架，并用掩码 Chamfer 距离、分段刚性和时间一致性三类损失提升运动预测性能。
2024-01-21 cs.CV
Revisiting consistency for semi-supervised semantic segmentation
VSITE College for Information Technologies（VSITE信息技术学院）
半监督学习在深度模型的实际部署中是一种有吸引力的技术，因为它放松了对标记数据的依赖。它在密集预测的范围内尤其重要，因为像素级注释需要大量的工作。本文考虑半监督算法，强制一致的预测扰动未标记的输入。我们研究的优势，扰动只有两个模型实例之一，并防止向后通过未扰动的实例。我们还提出了一个竞争扰动模型作为一个组成的几何扭曲和光度抖动。我们实验高效的模型，由于其实时和低功耗应用的重要性。我们的实验显示出明显的优势：（1）单向一致性，（2）只扰动学生分支，（3）强光度和几何扰动。我们的微扰模型优于最近的工作，大部分的贡献来自光度分量。使用来自Cityscapes的大型粗注释子集的额外数据进行的实验表明，半监督训练可以优于使用粗标签的监督训练。
2023-01-20 cs.CV cs.LG
UCAD: Uncertainty-guided Contour-aware Displacement for semi-supervised medical image segmentation
University of Science and Technology of China（科学技术大学）；Suzhou Institute for Advanced Research（苏州先进研究院）；State Key Laboratory of Precision and Intelligent Chemistry（精密与智能化学国家重点实验室）
UCAD通过基于不确定性的轮廓感知位移框架，提升半监督医学图像分割的准确性和一致性学习效果。
2026-01-24 cs.CV
Self-Supervised Monocular Depth Hints
Niantic；UCL（伦敦大学学院）
单目深度估计器可以用来自双目立体数据的各种形式的自我监督来训练，以规避对高质量激光扫描或其他地面实况数据的需求。然而，缺点是与自监督学习一起使用的光度重投影损失通常具有多个局部最小值。这些看似可行的替代方案可能会限制回归网络的学习，导致它预测质量有限的深度图。作为一个突出的例子，薄结构周围的深度不连续性经常被当前最先进的方法错误地估计。在这里，我们研究的问题，模糊的重新预测深度预测立体的自我监督，并引入深度提示，以减轻其影响。深度提示是从简单的现成的立体声算法获得的补充深度建议。这些提示增强了现有的光度损失函数，并用于指导网络学习更好的权重。它们不需要额外的数据，并且仅在某些时候被认为是正确的。我们表明，使用我们的深度提示在训练几个领先的自监督立体模型时，不仅是我们自己的模型，而且会有很大的提升。此外，结合其他良好的实践，我们在KITTI基准上产生了最先进的深度预测。
2019-09-19 cs.CV
Weakly Supervised Monocular 3D Object Detection using Multi-View Projection and Direction Consistency
Beijing Institute of Technology（北京理工大学）；QCraft（轻舟智航）；University of Macau（澳门大学）
单目三维目标检测因其易于应用而成为自动驾驶领域的主流方法。一个突出的优点是在推理过程中不需要LiDAR点云。然而，目前大多数方法仍然依赖于3D点云数据来标记训练阶段使用的地面实况。训练和推理之间的这种不一致性使得难以利用大规模的反馈数据，并且增加了数据汇集费用。为了弥补这一差距，我们提出了一种新的弱监督单目3D目标检测方法，它可以训练模型，只有2D标记的图像。具体来说，我们在这个任务中探索了三种类型的一致性，即投影一致性、多视图一致性和方向一致性，并在此基础上设计了一个弱监督的框架。此外，我们提出了一个新的二维方向标记方法在这项任务中，以指导模型准确的旋转方向预测。实验表明，我们的弱监督方法实现了一些完全监督的方法相当的性能。当用作预训练方法时，我们的模型可以显著优于相应的全监督基线，只有1/3的3D标签。https://github.com/weakmono3d/weakmono3d
2023-03-15 cs.CV
Self-Supervised Monocular Depth Estimation in the Dark: Towards Data Distribution Compensation
East China University of Science and Technology（华东理工大学）；Beihang University（北京航空航天大学）
本文提出一种无需夜间图像训练的自监督夜间单目深度估计方法，利用白天图像和物理先验进行昼夜数据分布补偿，在 nuScenes-Night 和 RobotCar-Night 上实现了 SoTA 性能。
2024-04-22 cs.CV
Exploring Set Similarity for Dense Self-supervised Representation Learning
University of Sydney（悉尼大学）；Kuaishou Technology（快手科技）；Xidian University（西安电子科技大学）；University of Melbourne（墨尔本大学）
通过考虑空间对应性，密集自监督表示学习在各种密集预测任务上取得了优异的性能。然而，像素级对应往往是嘈杂的，因为许多类似的误导像素，例如，背景为了解决这个问题，在本文中，我们建议探索\textbf{set} \textbf{sim} ilarity（SetSim）的密集自监督表示学习。由于集合包含更多的语义和结构信息，我们将像素相似性学习推广到集合相似性学习，以提高鲁棒性。具体来说，通过诉诸注意力的意见，我们建立相应的集，从而过滤掉嘈杂的背景，可能会导致不正确的对应关系。同时，这些注意特征可以保持同一图像在不同视角下的一致性，以缓解语义不一致。我们进一步搜索集合的交叉视图最近邻，并采用结构化的邻域信息来增强鲁棒性。实验结果表明，SetSim在目标检测、关键点检测、实例分割和语义分割方面优于现有的方法。
2022-03-14 cs.CV
Semi-supervised Hand Appearance Recovery via Structure Disentanglement and Dual Adversarial Discrimination
Southeast University（东南大学）
通过基于标记的MoCap收集具有可靠注释的巨大手部图像。然而，标记物引起的退化限制了其在手部外观重建中的应用。一个清晰的外观恢复洞察是用未配对数据训练的图像到图像的翻译。然而，大多数框架失败，因为存在从退化的手到裸手的结构不一致。我们的方法的核心是首先从这些退化的图像中解开裸露的手结构，然后用双对抗性鉴别（DAD）方案将外观包裹到这个结构中。这两个模块都充分利用了半监督学习范式：结构解纠缠得益于ViT的建模能力，译者通过对翻译过程和翻译结果的双重辨别能力得到增强。已经进行了全面的评估，以证明我们的框架可以鲁棒地恢复逼真的手的外观从不同的标记包含，甚至对象遮挡的数据集。它为其他下游学习问题提供了一种获取裸手外观数据的新途径。https://www.yangangwang.com
2023-03-11 cs.CV
Self-supervised Learning for Astronomical Image Classification
Institute of Mathematics
在天文学中，每天通过光度测量产生大量的图像数据，这些测量扫描天空以收集来自恒星，星系和其他天体的数据。在本文中，我们提出了一种利用未标记的天文图像来预训练深度卷积神经网络的技术，以便学习特定于域的特征提取器，从而在具有少量标记数据的设置中改善机器学习技术的结果。我们表明，我们的技术产生的结果在许多情况下优于使用ImageNet预训练。
2020-06-25 cs.CV
S3C: Semi-Supervised VQA Natural Language Explanation via Self-Critical Learning
Northwestern Polytechnical University（西北工业大学）；University of Adelaide（阿德莱德大学）
提出S3C半监督框架，通过自批判学习与回答奖励提升VQA自然语言解释的逻辑一致性，无需人工标注，在两个数据集上达到最先进性能。
2023-09-05 cs.CV
DSNet: A Dual-Stream Framework for Weakly-Supervised Gigapixel Pathology Image Analysis
University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）；Microsoft Corporation（微软公司）；University of Pittsburgh（匹兹堡大学）；Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）
我们提出了一种新的弱监督框架分类整个幻灯片图像（WSIs）。WSI，由于其千兆像素的分辨率，通常是由块级标签的块式分类处理。然而，贴片级标签需要精确的注释，这是昂贵的，并且通常在临床数据上不可用。仅使用图像级标签，由于块外观和图像级标签之间的不一致，逐块分类将是次优的。为了解决这个问题，我们认为，WSI分析可以有效地进行整合信息在高放大倍率（本地）和低放大倍率（区域）水平。我们将每个补丁中的视觉信号自动编码为表示本地信息的潜在嵌入向量，并将原始WSI下采样为表示区域信息的硬件可接受的缩略图。然后，WSI标签预测与双流网络（DSNet），它采取的变换局部补丁嵌入和多尺度缩略图作为输入，可以训练的图像级标签。在两个大规模公共数据集上进行的实验表明，我们的方法优于所有最新的最先进的弱监督WSI分类方法。
2022-03-09 cs.CV
Weakly supervised segmentation with cross-modality equivariant constraints
École de Technologie Supérieure（高等技术学院）；Purdue University（普渡大学）
弱监督学习已经成为一种有吸引力的替代方案，以减轻语义分割中对大型标记数据集的需求。目前大多数方法利用类激活图（CAM），它可以从图像级注释生成。然而，由此产生的地图已被证明是高度判别，未能作为最佳的代理像素级标签。我们提出了一种新的学习策略，利用自我监督的多模态图像的情况下，显着提高原始CAM。特别是，所提出的方法是基于两个观察。首先，全监督分割网络的学习通过数据增强隐含地施加等方差，而这种隐含的约束在使用图像标签生成的CAM上消失。第二，图像模态之间的共性可以用作有效的自我监督信号，校正跨多个模态获得的CAM所示的不一致性。为了有效地训练我们的模型，我们集成了一个新的损失函数，其中包括一个模态内和跨模态等变项，明确施加这些约束在训练过程中。此外，我们在类预测分布上添加了KL发散，以促进模态之间的信息交换，与等变正则化器相结合，进一步提高了我们模型的性能。在流行的多模态BRATS数据集上的详尽实验表明，在相同的学习条件下，我们的方法优于最近的相关文献。
2022-01-14 cs.CV
Frequency-Aware Self-Supervised Monocular Depth Estimation
Peking University（北京大学）；Advanced Institute of Information Technology, Peking University（北京大学信息工程高等研究院）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术研发创新中心）
我们提出了两种通用的方法，一般增强自我监督的单眼深度估计（MDE）模型。我们的方法是通过解决光度损失函数中的基本和普遍存在的问题来实现的。特别是，从空间频率的角度来看，我们首先提出模糊掩蔽抑制不正确的监督下，光度损失在特定的对象边界，其原因可以追溯到像素级的模糊。其次，我们提出了一种新的频率自适应高斯低通滤波器，旨在鲁棒的光度损失在高频区域。我们是第一个提出模糊图像，以提高深度估计与可解释的分析。这两个模块都是轻量级的，不添加任何参数，也不需要手动更改网络结构。实验表明，我们的方法为大量现有模型提供了性能提升，包括那些声称最先进的模型，同时根本没有引入额外的推理计算。
2022-10-14 cs.AI cs.CV cs.LG
Deeper into Self-Supervised Monocular Indoor Depth Estimation
University of Chinese Academy of Sciences（中国科学院大学）；Shenyang Institute of Computing Technology, Chinese Academy of Sciences（中国科学院沈阳计算技术研究所）
本文提出 IndoorDepth，通过改进 SSIM 的光度损失和带残差位姿块的多阶段光度损失训练，解决室内低纹理与复杂自运动问题，在 NYUv2 上大幅超越现有方法。
2023-12-03 cs.CV
VISTA: Triplet-Supervised Video Style Transfer with Diffusion Transformers
Show Lab, National University of Singapore（新加坡国立大学Show实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Lovart AI（Lovart人工智能）
本文提出VISTA方法，通过引入大规模三元组数据和基于扩散变换器的框架，解决视频风格迁移中风格、内容和运动的联合建模与解耦问题，实现了高质量的风格迁移效果。
2026-05-17 cs.CV
Residual-Guided Learning Representation for Self-Supervised Monocular Depth Estimation
KAIST（韩国科学技术院）
光度一致性损失是自监督单目深度估计中常用的代表性目标函数之一。然而，由于不正确的引导，这种损失通常会导致无纹理或遮挡区域中的深度预测不稳定。最近的自监督学习方法通过利用从自动编码器显式学习的特征表示来解决这个问题，期望比输入图像更好的辨别力。尽管使用了自动编码特征，但我们观察到该方法并不像自动编码特征那样嵌入有鉴别力的特征。在本文中，我们提出了剩余的指导损失，使深度估计网络嵌入的判别功能，通过转移的判别自动编码功能。我们在KITTI基准上进行了实验，并验证了我们的方法的优越性和正交性的其他国家的最先进的方法。
2021-11-08 cs.CV
Uncalibrated Neural Inverse Rendering for Photometric Stereo of General Surfaces
Computer Vision Lab ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；Google Research（谷歌研究院）；KU Leuven（鲁汶大学）
本文提出了一种用于光度立体问题的未校准深度神经网络框架。为了训练模型来解决这个问题，现有的基于神经网络的方法需要精确的光线方向或对象的地面实况表面法线或两者。然而，在实践中，这是具有挑战性的，以获得这两个信息的精确，这限制了更广泛地采用光度立体算法的视觉应用。为了绕过这个困难，我们提出了一个未校准的神经逆渲染方法来解决这个问题。我们的方法首先从输入图像中估计光的方向，然后优化图像重建损失以计算表面法线、双向反射分布函数值和深度。此外，我们的配方明确建模的复杂表面的凹凸部分，以考虑在图像形成过程中的相互反射的影响。对具有挑战性的主题所提出的方法进行的广泛评估通常显示出与监督和经典方法相当或更好的结果。
2021-04-17 cs.CV
A high-precision self-supervised monocular visual odometry in foggy weather based on robust cycled generative adversarial networks and multi-task learning aided depth estimation
North University of China（中北大学）
本文提出了一种高精度的自监督单目VO，这是专门设计用于雾天导航。设计了一种循环生成对抗网络，通过强制前向和后向半循环输出一致的估计，获得高质量的自监督损失。此外，基于梯度的损失和感知损失的引入，以消除复杂的光度变化的自我监督损失在雾天的干扰。为解决深度估计的不适定性问题，基于雾天图像深度估计与透射图计算之间的强相关性，设计了一种自监督多任务学习辅助深度估计模块。在人工雾天KITTI数据集上的实验结果表明，本文提出的自监督单目VO在深度和姿态估计方面优于文献中其他最先进的单目VO，表明所设计的方法更适合雾天。
2022-03-09 cs.CV
Self-Supervised Monocular Depth and Ego-Motion Estimation in Endoscopy: Appearance Flow to the Rescue
Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）；Shandong University（山东大学）
最近，自监督学习技术已被应用于从单目视频中计算深度和自我运动，在自动驾驶场景中取得了显着的性能。深度和自我运动自监督学习的一个广泛采用的假设是图像亮度在附近帧内保持恒定。不幸的是，内窥镜场景不满足该假设，因为在数据汇集期间存在由照明变化、非朗伯反射和相互反射引起的严重亮度波动，并且这些亮度波动不可避免地使深度和自我运动估计精度恶化。在这项工作中，我们引入了一个新的概念，称为外观流来解决亮度不一致的问题。外观流考虑到亮度模式的任何变化，使我们能够开发一个广义的动态图像约束。此外，我们建立了一个统一的自监督框架，估计单眼深度和自我运动同时在内窥镜场景，其中包括一个结构模块，运动模块，外观模块和对应模块，准确重建外观和校准图像亮度。在SCARED数据集和EndoSLAM数据集上进行了大量的实验，所提出的统一框架大大超过了其他自监督方法。为了验证我们的框架在不同患者和相机上的泛化能力，我们在SCARED上训练我们的模型，但在SERV-CT和Hamlyn数据集上测试它，没有任何微调，优越的结果显示了它强大的泛化能力。代码将在以下网址提供：\url{https://github.com/ShuweiShao/AF-SfMLearner}。
2021-12-15 cs.CV
CylinderDepth: Cylindrical Spatial Attention for Multi-View Consistent Self-Supervised Surround Depth Estimation
Leibniz University Hannover（莱布尼茨汉诺威大学）
本文提出一种几何引导方法，通过圆柱空间注意力机制提升多视角自监督周围深度估计的精度和一致性。
2026-04-11 cs.CV
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
自监督单目深度估计由于其重要的实际意义和近年来的发展前景而得到了广泛的研究。然而，大多数作品遭受有限的监督光度一致性，特别是在弱纹理区域和对象边界。为了克服这个弱点，我们提出了新的想法，以提高自我监督的单目深度估计，利用跨域的信息，特别是场景语义。我们专注于将隐含的语义知识几何表示增强，并提出两个想法：一个度量学习方法，利用语义引导的局部几何优化中间深度表示和一个新的功能融合模块，明智地利用两个异构特征表示之间的交叉模态。我们在KITTI数据集上全面评估了我们的方法，并证明我们的方法优于最先进的方法。源代码可在https://github.com/hyBlue/FSRE-Depth上获得。
2021-08-19 cs.CV
