Self-supervision on Unlabelled OR Data for Multi-person 2D/3D Human Pose Estimation
ICube, University of Strasbourg, CNRS, IHU Strasbourg（斯特拉斯堡大学ICube实验室，法国国家科学研究中心，斯特拉斯堡大学医院）；Radiology Department, University Hospital of Strasbourg（斯特拉斯堡大学医院放射科）
需要2D/3D人体姿态估计来开发用于手术室的新型智能工具，该工具可以分析和支持临床活动。然而，注释数据的缺乏和最先进的姿态估计方法的复杂性限制了在OR内部部署这种技术。在这项工作中，我们建议使用教师/学生框架中的知识蒸馏，利用大规模的非注释数据集和准确但复杂的多阶段教师网络中的知识，训练一个轻量级的网络，用于联合2D/3D姿态估计。教师网络还利用未标记的数据来生成有助于改善学生预测的硬标签和软标签。使用这种有效的自我监督策略训练的易于部署的网络与\emph{MVOR+}上的教师网络表现相当，\emph{MVOR+}是公共MVOR数据集的扩展，其中所有人都被完全注释，从而为OR中的实时2D/3D人体姿势估计提供了可行的解决方案。
2021-08-20 cs.CV
BlockGAN: Learning 3D Object-aware Scene Representations from Unlabelled Images
University of Bath（巴斯大学）；Adobe Research（Adobe研究院）；UCL（伦敦大学学院）
我们提出了BlockGAN，这是一种图像生成模型，可以直接从未标记的2D图像中学习对象感知的3D场景表示。当前的场景表示学习要么忽略场景背景，要么将整个场景作为一个对象。同时，考虑场景组合性的工作仅将场景对象视为具有alpha贴图的图像补丁或2D层。受计算机图形管道的启发，我们设计BlockGAN来学习首先生成背景和前景对象的3D特征，然后将它们组合成整个场景的3D特征，最后将它们渲染成逼真的图像。这使得BlockGAN能够推理对象外观之间的遮挡和交互，例如阴影和照明，并提供对每个对象的3D姿态和身份的控制，同时保持图像的真实感。BlockGAN是端到端训练的，只使用未标记的单个图像，而不需要3D几何形状，姿势标签，对象遮罩或同一场景的多个视图。我们的实验表明，使用显式3D特征来表示对象，可以让BlockGAN在对象（前景和背景）及其属性（姿态和身份）方面学习解纠缠表示。
2020-12-02 cs.CV
Semi-Supervised 3D Hand Shape and Pose Estimation with Label Propagation
ANU（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）
为了获得3D注释，我们被限制在受控环境或合成数据集，导致我们获得对真实世界场景具有较低概括性的3D数据集。为了在半监督3D手部形状和姿势估计的背景下解决这个问题，我们提出了Pose对齐网络，以将3D注释从标记的帧传播到稀疏注释视频中的附近未标记的帧。我们表明，将对齐监督对标记的未标记的帧，使我们能够提高姿态估计的准确性。此外，我们表明，建议的姿势对齐网络可以有效地传播注释看不见的稀疏标记的视频，而无需微调。
2021-11-30 cs.CV
Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose
Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究的问题，学习估计的3D对象的姿势从一些标记的例子和未标记的数据的集合。我们的主要贡献是一个学习框架，神经视图合成和匹配，它可以可靠地将3D姿态注释从标记图像转移到未标记图像，尽管有看不见的3D视图和讨厌的变化，如对象形状，纹理，照明或场景上下文。在我们的方法中，对象表示为三维立方体网格组成的特征向量在每个网格顶点。该模型是从几个标记的图像初始化，并随后用于合成看不见的三维视图的特征表示。合成视图与未标记图像的特征表示相匹配，以生成3D姿态的伪标签。伪标记的数据又用于训练特征提取器，使得每个网格顶点处的特征在对象的变化的3D视图上更加不变。我们的模型以EM类型的方式进行训练，在增加特征提取器的3D姿态不变性和通过神经视图合成和匹配注释未标记数据之间交替。我们证明了所提出的半监督学习框架的有效性，三维姿态估计的PASCAL 3D+和KITTI数据集。我们发现，我们的方法优于所有基线的一个很大的保证金，特别是在一个极端的Few-Shot设置，只有7个注释的图像。值得注意的是，我们观察到我们的模型在涉及部分遮挡的分布外场景中也实现了出色的鲁棒性。
2021-10-27 cs.CV
Multi-person 3D pose estimation from unlabelled data
College of Engineering and Physical Sciences, Aston University（阿斯顿大学工程与物理科学学院）；University of Extremadura（埃斯特雷马杜拉大学）
本文针对多视角多人三维姿态估计中的跨视角身份匹配与抗噪鲁棒性问题，提出基于图神经网络与多层感知机的自监督方法，无需三维标注数据即可实现多人三维姿态预测。
2024-04-09 cs.AI cs.CV
Predictive Modeling of Equine Activity Budgets Using a 3D Skeleton Reconstructed from Surveillance Recordings
KTH（瑞典皇家理工学院）；Therapanacea（Therapanacea公司）；SLU（瑞典农业科学大学）
本文提出基于四路同步监控视频的马3D姿态重建流程，结合2D无标记姿态估计与三角剖分，并通过误差分析和行为预测验证其效用。
2023-06-08 cs.CV
Pretraining boosts out-of-domain robustness for pose estimation
EPFL（洛桑联邦理工学院）；Harvard University（哈佛大学）；University of Tübingen（蒂宾根大学）；Performance Genetics（性能遗传学公司）
神经网络是姿态估计的高效工具。然而，与其他计算机视觉任务一样，对域外数据的鲁棒性仍然是一个挑战，特别是对于现实世界应用中常见的小训练集。在这里，我们使用三个架构类（MobileNetV 2s，ResNets和EfficientNets）来探测姿态估计的泛化能力。我们开发了一个包含30匹马的数据集，可以进行“域内”和“域外”（看不见的马）基准测试-这是对鲁棒性的关键测试，目前的人类姿势估计基准没有直接解决。我们发现，如果先在ImageNet上进行预训练，ImageNet性能更好的架构在域内和域外数据上的表现都更好。我们还表明，更好的ImageNet模型在动物物种中具有更好的泛化能力。此外，我们还介绍了Horse-C，这是一个新的基准，用于姿势估计的常见腐败，并确认预训练也可以提高这种域转移背景下的性能。总体而言，我们的研究结果表明，迁移学习是有益的域外鲁棒性。
2020-11-12 cs.CV cs.LG
Learning Neural Volumetric Pose Features for Camera Localization
University of Science and Technology of China（中国科学技术大学）；Alibaba Cloud（阿里云）；Zhejiang University（浙江大学）
本研究提出新型神经体积位姿特征PoseMap，结合APR架构与增强NeRF模块，实现自监督在线对齐，在室内外基准场景中性能提升显著，超越现有APR方法的精度水平。
2024-07-12 cs.CV
TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose Estimation
Technical University of Munich（慕尼黑工业大学）；Google Inc.（谷歌公司）
在本文中，我们介绍了神经纹理学习的6D物体姿态估计从合成数据和一些未标记的真实图像。我们的主要贡献是一个新的学习计划，消除了以前的作品的缺点，即强烈依赖于共同模态或额外的细化。这些在以前是提供用于收敛的训练信号所必需的。我们制定这样的计划作为两个子优化问题的纹理学习和姿势学习。我们分别学习从真实图像集合中预测物体的真实纹理，并从像素完美的合成数据中学习姿态估计。结合这两种能力，然后允许合成真实感新颖的视图，以监督具有准确几何形状的姿态估计器。为了减轻在纹理学习阶段存在的姿态噪声和分割缺陷，我们提出了一个基于表面的对抗训练损失以及来自合成数据的纹理正则化。我们证明，所提出的方法显着优于最近的国家的最先进的方法，没有地面实况姿态注释，并展示了大量的泛化改进对看不见的场景。值得注意的是，我们的计划大大提高了所采用的姿态估计，即使初始化时的性能差得多。
2023-03-14 cs.CV
Pose Recognition in the Wild: Animal pose estimation using Agglomerative Clustering and Contrastive Learning
Jadavpur University（贾达普大学）
动物姿态估计由于其在生物学、动物学和水产养殖业中的应用而受到关注。深度学习方法已经有效地应用于人体姿态估计。然而，这些方法应用于动物姿态估计的主要瓶颈是没有足够数量的标记数据。虽然有大量的未标记的数据公开可用，但为每种动物标记大量数据在经济上是不切实际的。此外，由于动物王国中各种各样的身体形状，跨领域的知识转移是无效的。鉴于人类大脑能够在不需要大量标记数据的情况下识别动物姿势的事实，我们利用无监督学习来解决从可用的未标记数据中识别动物姿势的问题是合理的。在本文中，我们介绍了一种新的架构，能够识别的姿势，多个动物fromunlabeled数据。我们这样做是通过（1）从每个图像中去除背景信息，并采用边缘检测算法的动物的身体，（2）跟踪边缘像素的运动，并执行凝聚聚类分割身体部位，（3）采用对比学习，以阻止遥远的身体部位分组在一起。因此，我们能够区分动物的身体部位，基于它们的视觉行为，而不是潜在的解剖结构。因此，我们能够实现比人类标记的数据更有效的数据分类。我们在TigDog和WLD（WildLife Documentary）数据集上测试了我们的模型，在这些数据集上，我们的表现明显优于最先进的方法。我们还研究了我们的模型在其他公共数据上的性能，以证明我们的模型的泛化能力。
2021-11-16 cs.AI cs.CV
MAEPose: Self-Supervised Spatiotemporal Learning for Human Pose Estimation on mmWave Video
University College London（伦敦大学学院）
提出MAEPose，一种直接处理毫米波频谱视频的掩码自编码方法，通过自监督时空学习实现鲁棒的人体姿态估计，在三个数据集上优于现有方法。
2026-06-03 cs.AI cs.CV
3D Menagerie: Modeling the 3D shape and pose of animals
IMATI-CNR（意大利国家研究委员会应用数学与信息技术研究所）；University of Maryland（马里兰大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在学习逼真的、有关节的人体3D模型方面已经做了大量的工作。相比之下，尽管有许多应用，但很少有这样的动物模型。主要的挑战是动物比人类更不合作。最好的人体模型是从数千个特定姿势的人的3D扫描中学习的，这对活体动物来说是不可行的。因此，我们从一小组任意姿势的玩具雕像的3D扫描中学习我们的模型。我们采用了一种新的基于部分的形状模型来计算初始注册的扫描。然后，我们规范化他们的姿势，学习统计形状模型，并一起优化配准和模型。通过这种方式，我们可以准确地对齐来自不同四足动物家族的动物扫描，这些动物具有非常不同的形状和姿势。通过注册到一个公共模板，我们学习了一个表示动物的形状空间，包括狮子，猫，狗，马，牛和河马。动物形状可以从模型中采样，摆姿势，动画，并适合数据。我们通过将其拟合到真实动物的图像（包括在训练中看不到的物种）来演示泛化。
2017-04-12 cs.CV
Self-supervised 3D Human Pose Estimation from a Single Image
University of Leeds（利兹大学）
提出一种从单张图像预测3D人体姿态的自监督方法，利用未标注图像和未配对2D姿态训练，无需肢体约束或3D姿态先验，在Human3.6M和MPI-INF-3DHP基准上性能优异，并可扩展至其他铰接结构。
2023-04-05 cs.CV
RGBD-Dog: Predicting Canine Pose from RGBD Sensors
University of Bath（巴斯大学）；UNIST（蔚山科学技术院）
从没有标记的图像中自动提取动物\reb{3D}姿态在一系列科学领域中是令人感兴趣的。迄今为止，大多数工作都是根据关节位置的2D标签从RGB图像预测动物姿势。然而，由于获得训练数据的困难性质，没有3D动物运动的地面实况数据集可用于定量评估这些方法。此外，缺乏3D动物姿态数据也使得难以以与身体姿态预测的流行领域类似的方式来训练3D姿态预测方法。在我们的工作中，我们专注于从RGBD图像的3D犬姿态估计的问题，记录了不同品种的狗与几个微软Kinect v2，同时通过运动捕捉系统获得的3D地面真实骨架。我们从这些数据中生成合成RGBD图像的数据集。训练堆叠的沙漏网络来预测3D关节位置，然后使用形状和姿势的先验模型来约束3D关节位置。我们评估我们的模型在合成和真实的RGBD图像，并将我们的结果与以前发表的工作拟合犬模型的图像进行比较。最后，尽管我们的训练集只包含狗的数据，但视觉检查表明，当其他四足动物（例如马或猫）的姿势与我们的训练集中包含的姿势相似时，我们的网络可以对它们的图像进行良好的预测。
2020-04-16 cs.CV
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford（牛津大学计算机科学系）
在过去的十年中，监督式深度学习方法已被广泛用于视觉里程计（VO）应用中，这在标记数据不丰富的环境中是不可行的。另一方面，无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射，在VO研究中受到的关注相对较少。在这项研究中，我们提出了一个生成式无监督学习框架，该框架使用深度卷积生成对抗网络（GANs）从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估，结果表明，所提出的方法优于现有的传统和无监督深度VO方法，为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
Occlusion-Invariant Rotation-Equivariant Semi-Supervised Depth Based Cross-View Gait Pose Estimation
Imperial College London（伦敦帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
从深度图像中准确估计三维人体骨骼可以为医疗保健应用提供重要的度量，特别是对于生物力学步态分析。然而，存在与从单个视图捕获的深度图像相关联的固有问题。收集的数据受到遮挡的影响很大，只能记录部分表面数据。此外，人体的深度图像表现出异构的特点与视点的变化，估计的姿态在局部坐标系下，预计将经历等变旋转。大多数现有的姿态估计模型对这两个问题都很敏感。为了解决这个问题，我们提出了一种新的方法，交叉视图的泛化与闭塞不变的半监督学习框架上建立一个新的旋转等变骨干。我们的模型使用来自单个视图的真实数据和来自多个视图的未标记合成数据进行训练。它可以很好地概括来自所有其他不可见视图的真实世界数据。与其他最先进的方法相比，我们的方法在ICL-Gait数据集上的步态分析方面表现出了卓越的性能，并且它可以在ITOP数据集上产生比其提供的“地面实况”更令人信服的关键点。
2021-09-03 cs.CV
Unsupervised Deep Persistent Monocular Visual Odometry and Depth Estimation in Extreme Environments
The University of Oxford（牛津大学）；NASA - Jet Propulsion Laboratory, California Institute of Technology（美国国家航空航天局喷气推进实验室、加州理工学院）
近年来，无监督深度学习方法在从未标记的单目图像序列中估计深度和视觉里程计（VO）方面受到了极大的关注。然而，由于感知退化、遮挡和快速运动，它们的性能在具有挑战性的环境中受到限制。此外，现有的无监督方法缺乏跨帧的尺度一致性约束，这导致VO估计器无法提供长序列的持久轨迹。在这项研究中，我们提出了一个无监督的单目深度VO框架，预测六度的自由度构成相机运动和深度图的场景从未标记的RGB图像序列。我们对拟议框架进行了详细的定量和定性评估：a）DARPA地下挑战期间收集的具有挑战性的数据集; b）基准KITTI和Cityscapes数据集。所提出的方法优于传统和最先进的无监督深度VO方法，为姿势估计和深度恢复提供更好的结果。所提出的方法是COSTAR团队参与DARPA地下挑战赛所使用的解决方案的一部分。
2020-10-31 cs.AI cs.CV
Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation
University of Augsburg（奥格斯堡大学）
半监督学习（SSL）可以通过将未标记的数据合并到训练中来减少对大型标记数据集的需求。这对于语义分割来说特别有趣，因为标记数据非常昂贵和耗时。目前的SSL方法使用初始监督的训练模型来生成未标记图像的预测，称为伪标签，随后用于从头开始训练新模型。由于预测通常不是来自无误差的神经网络，它们自然充满了错误。然而，使用部分不正确的标签进行训练通常会降低最终模型的性能。因此，明智地管理伪标签的错误/噪声至关重要。在这项工作中，我们使用三种机制来控制伪标签噪声和错误：（1）我们构建了一个坚实的基础框架，通过混合图像与奶牛模式的未标记的图像，以减少错误的伪标签的负面影响。然而，错误的伪标签仍然对性能产生负面影响。因此，（2）我们提出了一种简单有效的伪标签损失加权方案，该方案由在这些伪标签上训练的模型的反馈定义。这允许我们在训练期间基于伪标签训练样本的确定的置信度分数对伪标签训练样本进行软加权。(3)我们还研究了忽略低置信度伪标签的常见做法，并实证分析了不同置信度范围的伪标签对SSL的影响和效果，以及伪标签过滤对可实现的性能增益的贡献。我们表明，我们的方法在各种数据集上的性能优于最先进的替代方案。此外，我们表明，我们的研究结果也转移到其他任务，如人体姿态估计。我们的代码可在https://github.com/ChristmasFan/SSL_Denoising_Segmentation上获得。
2022-10-19 cs.CV
Semantic Part Segmentation using Compositional Model combining Shape and Appearance
University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们研究的问题，语义部分分割的动物。这比标准的目标检测、目标分割和姿态估计任务更具挑战性，因为动物的语义部分通常具有相似的外观和高度变化的形状。为了应对这些挑战，我们建立了一个混合的组合模型来表示对象边界和语义部分的边界。我们将边缘，外观和语义部分线索到组成模型。鉴于部分级别的分割注释，我们开发了一种新的算法来学习的组合模型的各种姿势和观点的某些动物类的混合物。此外，一个线性复杂性算法提供了有效的推理组合模型使用动态规划。我们使用Pascal VOC 2010上新注释的数据集评估我们的方法，该数据集具有像素部分标签。实验结果证明了该方法的有效性。
2014-12-18 cs.CV
Adversarial Inverse Graphics Networks: Learning 2D-to-3D Lifting and Image-to-Image Translation from Unpaired Supervision
Carnegie Mellon University（卡内基梅隆大学）
研究人员已经开发出优秀的前馈模型，可以使用监督学习将图像映射到期望的输出，例如图像的潜在因素或其他图像。从未标记数据中学习这种映射，或者通过利用未标记数据来改进监督模型，仍然是难以捉摸的。我们认为，在没有注释的情况下学习有两个重要部分：（i）将预测与输入观测相匹配，以及（ii）将预测与已知先验相匹配。我们提出了对抗性逆图形网络（AIGN）：弱监督神经网络模型，它结合了来自渲染其预测的反馈，并在其预测和地面实况因素集合之间进行分布匹配。我们将AIGN应用于3D人体姿态估计和3D结构和自运动估计，并且优于仅由成对注释监督的模型。我们进一步将AIGN应用于使用超分辨率和修复渲染器的面部图像变换，同时故意在地面实况数据集中添加偏差。我们的模型无缝地结合了这些偏见，将输入的面孔呈现给年轻，年老，女性，男性或汤姆克鲁斯一样的等价物（取决于所选择的偏见），或者在修复隐藏的嘴唇和鼻子时添加嘴唇和鼻子的增强。
2017-09-02 cs.CV
Skip-and-Play: Depth-Driven Pose-Preserved Image Generation for Any Objects
KAIST（韩国科学技术院）
本文提出Skip-and-Play方法，通过选择性跳过深度条件ControlNet的部分组件，在保持姿态的同时减轻形状依赖，实现任意物体和姿态的深度驱动图像生成。
2024-09-04 cs.CV
Learning Part Segmentation from Synthetic Animals
Johns Hopkins University（约翰斯·霍普金斯大学）；UC San Diego（加州大学圣地亚哥分校）
本文利用SMAL模型构建姿态多样的合成动物部件数据集SAP，提出类别平衡傅里叶数据混合方法CB-FDM以改善合成到真实域适应，并证明所学部件可跨四足动物迁移。
2023-11-30 cs.CV
Sequential Graph Convolutional Network for Active Learning
Imperial College London（帝国理工学院）；KAIST（韩国科学技术院）
本文提出了一种新的基于池的主动学习框架，该框架构建在序列图卷积网络（GCN）上。来自数据池的每个图像的特征表示图中的一个节点，并且边缘编码它们的相似性。使用少量随机采样的图像作为种子标记的示例，我们学习图的参数，以通过最小化二进制交叉熵损失来区分标记与未标记的节点。GCN执行节点之间的消息传递操作，因此，诱导强关联节点的类似表示。我们利用这些特点的GCN选择的未标记的例子是充分不同的标记。为此，我们利用图节点嵌入及其置信度得分，并采用CoreSet和基于不确定性的方法等采样技术来查询节点。我们将新查询的节点的标签从未标记的翻转为标记的，重新训练学习器以优化下游任务和图以最小化其修改的目标。我们在固定预算内继续这一进程。我们在6个不同的基准上评估我们的方法：4个真实的图像分类，1个基于深度的手部姿势估计和1个合成RGB图像分类数据集。我们的方法优于几个有竞争力的基准，如VAAL，学习损失，CoreSet，并在多个应用程序上达到新的最先进的性能。https://github.com/razvancaramalau/Sequential-GCN-for-Active-Learning
2021-04-01 cs.CV cs.LG
A Unified Framework for Domain Adaptive Pose Estimation
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
虽然姿态估计是一项重要的计算机视觉任务，但它需要昂贵的注释并遭受域偏移。在本文中，我们研究的问题域自适应二维姿态估计，将知识学习的合成源域的目标域没有监督。虽然最近已经提出了几个域自适应姿态估计模型，但它们不是通用的，而是仅关注于人类姿态或动物姿态估计，因此它们的有效性在一定程度上限于特定场景。在这项工作中，我们提出了一个统一的框架，概括了各种域自适应姿态估计问题。我们建议使用输入级和输出级线索（分别为像素和姿势标签）对齐表示，这有助于从源域到未标记目标域的知识转移。我们的实验表明，我们的方法实现了国家的最先进的性能在各种域的变化。我们的方法在人类姿势估计方面优于现有基线高达4.5%（pp），手部姿势估计高达7.4pp，动物姿势估计高达4.8pp（狗）和3.3pp（羊）。这些结果表明，我们的方法能够减轻不同任务甚至看不见的域和对象（例如，在马身上训练，在狗身上测试）。我们的代码将在https://github.com/VisionLearningGroup/UDA_PoseEstimation上公开。
2022-08-05 cs.CV cs.LG
Enhancing Human Pose Estimation in Ancient Vase Paintings via Perceptually-grounded Style Transfer Learning
Friedrich Alexander University（弗里德里希-亚历山大大学）；University of Bonn（波恩大学）；Philipps University of Marburg（马尔堡菲利普斯大学）
本文提出通过感知锚定的风格迁移学习将自然图像适配为希腊瓶画风格，并结合自建ClassArch数据集微调模型，显著提升跨领域人体姿态估计性能。
2024-02-25 cs.CV
HoloGAN: Unsupervised learning of 3D representations from natural images
University of Bath（巴斯大学）；Lambda Labs（Lambda实验室）；Twitter（推特）
我们提出了一种新的生成对抗网络（GAN），用于从自然图像中进行3D表示的无监督学习。大多数生成模型依赖于2D内核来生成图像，并且对3D世界做了很少的假设。因此，这些模型往往会在需要强大3D理解的任务中创建模糊图像或伪影，例如新颖视图合成。相反，HoloGAN学习世界的3D表示，并以逼真的方式渲染这种表示。与其他GANs不同，HoloGAN通过对学习到的3D特征进行刚体变换，对生成对象的姿态进行显式控制。我们的实验表明，使用显式3D特征使HoloGAN能够解开3D姿态和身份，并将其进一步分解为形状和外观，同时仍然能够生成具有与其他生成模型相似或更高视觉质量的图像。HoloGAN只能从未标记的2D图像进行端到端训练。特别是，我们不需要姿势标签，3D形状或相同对象的多个视图。这表明HoloGAN是第一个以完全无监督的方式从自然图像中学习3D表示的生成模型。
2019-10-01 cs.CV
Self-supervised Optimization of Hand Pose Estimation using Anatomical Features and Iterative Learning
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）；University of Stuttgart（斯图加特大学）
提出一种自监督流水线，通过通用模型、时空滤波和再训练步骤，适应特定场景的手部姿态估计，实现鲁棒的活动识别。
2023-07-06 cs.AI cs.CV
AnyCam: Learning to Recover Camera Poses and Intrinsics from Casual Videos
Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）
AnyCam提出一种前馈Transformer模型，从动态视频中直接估计相机姿态与内参，利用不确定性损失和预训练深度/光流网络，无需标注，速度快且能生成高质量4D点云。
2025-03-30 cs.CV
LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery
UC Merced（加州大学默塞德分校）；Waymo（Waymo公司）；Google Research（谷歌研究院）；Yonsei University（延世大学）
无论是通过手动创建还是使用3D扫描工具创建高质量的动物3D模型都具有挑战性。因此，从2D图像重建有关节的3D物体的技术是至关重要的和非常有用的。在这项工作中，我们提出了一个实际的问题设置，以估计3D姿态和形状的动物，只有几个（10-30）在野外图像的特定动物物种（说，马）。与依赖于预定义模板形状的现有作品相反，我们不假设任何形式的2D或3D地面实况注释，也不利用任何多视图或时间信息。此外，每个输入图像集合可以包含具有不同姿势、背景、光照和纹理的动物实例。我们的关键见解是，与整体动物相比，3D部分的形状要简单得多，而且它们在w.r.t.动物姿势的发音根据这些见解，我们提出了LASSIE，这是一种新的优化框架，它以自我监督的方式发现3D零件，只需最少的用户干预。LASSIE背后的一个关键驱动力是使用自监督深度特征来加强2D-3D部件的一致性。Pascal-Part和自我收集的野生动物数据集上的实验表明，与现有技术相比，3D重建以及2D和3D部分发现都有相当好的效果。项目页面：chhankyao.github.io/lassie/
2022-07-07 cs.CV
POCO: 3D Pose and Shape Estimation with Confidence
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；University of Amsterdam（阿姆斯特丹大学）
针对现有3D人体姿态与形状回归器无法输出置信度的问题，提出可嵌入任意HPS模型的POCO框架，通过双条件策略输出逐样本不确定性，可用于自举训练和视频姿态补全，同时小幅稳定提升姿态估计精度。
2023-08-24 cs.CV
LoopReg: Self-supervised Learning of Implicit Surface Correspondences, Pose and Shape for 3D Human Mesh Registration
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；Google Research（谷歌研究院）
我们解决的问题，拟合3D人体模型的3D扫描穿着的人。经典方法优化了数据与模型的对应关系和人体模型参数（姿势和形状），但只有当初始化接近解决方案时才是可靠的。一些方法基于完全监督的对应预测器来初始化优化，其端到端不可微，并且一次只能处理单个扫描。我们的主要贡献是LoopReg，这是一个端到端的学习框架，用于将扫描语料库注册到常见的3D人体模型。关键的想法是创建一个自我监督的循环。由神经网络参数化的后向映射预测从每个扫描点到人体模型表面的对应关系。由人体模型参数化的前向映射基于模型参数（姿势和形状）将对应点转换回扫描，从而闭合循环。制定这个闭环并不简单，因为强制NN的输出位于人体模型的表面上并不简单-在此表面之外，人体模型甚至没有定义。为此，我们提出了两个关键的创新。首先，我们定义的规范表面隐含的零水平集的距离场在R3，这与更常见的UV参数化，不需要切割表面，没有不连续性，并不会引起失真。其次，我们将人体模型扩散到3D域R3。这允许向前映射NN预测，即使它们稍微偏离零水平集。结果表明，我们可以训练LoopRegmainly自我监督-在监督的热启动之后，随着处理额外的未标记原始扫描，模型变得越来越准确。我们的代码和预训练模型可以下载以供研究。
2021-11-26 cs.CV
Towards Bridging the Space Domain Gap for Satellite Pose Estimation using Event Sensing
Australian Institute for Machine Learning (AIML)（澳大利亚机器学习研究所）；Sentient Satellites Laboratory (SSL)（感知卫星实验室）
针对太空场景真实数据稀缺导致域适应困难的问题，提出仅用合成事件数据训练并结合基础增强的卫星位姿估计方法，依托实验室模拟交会数据集验证其可在剧烈光照下有效泛化。
2022-09-24 cs.CV cs.RO
Learning from Synthetic Animals
Johns Hopkins University（约翰斯·霍普金斯大学）
尽管在人类解析方面取得了巨大的成功，但解析其他可变形关节对象（如动物）的进展仍然受到缺乏标记数据的限制。在本文中，我们使用从CAD动物模型生成的合成图像和地面实况来应对这一挑战。为了弥补真实图像和合成图像之间的领域差距，我们提出了一种新的一致性约束半监督学习方法（CC-SSL）。我们的方法利用了空间和时间的自举，引导弱模型训练的合成数据与未标记的真实图像。我们证明了我们的方法对高度变形的动物，如马和老虎的有效性。在不使用任何真实图像标签的情况下，我们的方法允许对真实图像进行准确的关键点预测。此外，我们定量地表明，在视觉领域自适应挑战数据集中，使用合成数据的模型比在不同领域的真实图像上训练的模型具有更好的泛化性能。我们的合成数据集包含10多种具有不同姿势和丰富基础事实的动物，这使我们能够使用多任务学习策略来进一步提高模型的性能。
2020-04-05 cs.CV
Self-supervised Single-view 3D Reconstruction via Semantic Consistency
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）
我们学习了一个自我监督的单视图3D重建模型，该模型通过收集2D图像和轮廓来预测目标对象的3D网格形状，纹理和相机姿态。所提出的方法不需要3D监督，手动注释的关键点，对象的多视图图像或先前的3D模板。我们工作的关键见解是，对象可以表示为可变形部分的集合，并且每个部分在同一类别的不同实例之间是语义一致的（例如，鸟的翅膀和汽车的轮子）。因此，通过利用大量类别特定图像的自我监督学习部分分割，我们可以有效地加强重建网格和原始图像之间的语义一致性。这显著地减少了在对象的形状和相机姿态以及纹理的联合预测期间的模糊性。据我们所知，我们是第一个尝试解决单视图重建问题，而无需特定于类别的模板网格或语义关键点。因此，我们的模型可以很容易地推广到各种对象类别，而不需要这样的标签，例如，通过对几类可变形和刚性物体的各种实验，我们证明了我们的无监督方法的性能比现有的监督学习的特定类别重建方法更好。
2020-03-13 cs.CV
Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks
University of Edinburgh（爱丁堡大学）；Samsung AI Research（三星人工智能研究院）
自监督学习是无标记图像表示学习的一个强大范例。大量基于实例匹配的有效新方法依赖于数据增强来驱动学习，并且这些方法已经就优化流行识别基准的增强方案达成了大致一致。然而，有充分的理由怀疑计算机视觉中的不同任务需要特征来编码不同的（不）方差，因此可能需要不同的增强策略。在本文中，我们测量了通过对比方法学习的不变性，并证实它们确实学习了对所使用的增强的不变性，并进一步表明这种不变性在很大程度上转移到了姿势和照明的相关现实世界变化中。我们发现，学习的不变性强烈影响下游任务的性能，并确认不同的下游任务受益于极性相反（在）的差异，导致性能损失时，使用标准的增强策略。最后，我们证明了一个简单的融合表示与互补的不变性，确保广泛的可转移性，所有不同的下游任务考虑。
2022-10-10 cs.CV
OpenHands: Making Sign Language Recognition Accessible with Pose-based Pretrained Models across Languages
AI4Bharat；IIT-Madras（印度理工学院马德拉斯分校）；Microsoft Research（微软研究院）
自然语言的人工智能技术最近取得了巨大的进展。然而，在手语方面没有取得相应的进展，特别是在将手语识别为单个单词或完整句子方面。我们介绍了OpenHands，一个库，我们从NLP社区中为低资源语言提供了四个关键思想，并将其应用于手语的单词级识别。首先，我们建议使用通过预训练模型提取的姿势作为数据的标准模式，以减少训练时间并实现有效的推理，我们发布了6种不同手语的标准化姿势数据集-美国，阿根廷，中国，希腊，印度和土耳其。其次，我们训练并发布了所有6种语言的4个基于姿势的孤立手语识别模型的检查点，为部署提供基线和准备好的检查点。第三，为了解决缺乏标记数据的问题，我们提出了对未标记数据进行自我监督预训练。我们策划并发布了印度手语（Indian-SL）上最大的基于姿势的预训练数据集。第四，我们比较了不同的预训练策略，并首次建立了预训练是有效的手语识别证明（a）改善微调性能，特别是在低资源设置，和（b）高跨语言迁移从印度SL到其他几个手语。我们在OpenHands中开源了所有模型和数据集，希望它能使手语研究更容易获得，可在https://github.com/AI4Bharat/OpenHands上获得。
2021-10-12 cs.AI cs.CL cs.CV
SuperAnimal pretrained pose estimation models for behavioral analysis
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出SuperAnimal方法，通过统一关键点空间和训练策略，构建无需额外人工标签即可用于45+物种的姿态估计基础模型，在六个基准上表现优异，微调后数据效率提高10-100倍，并应用于小鼠行为分类和马步态分析。
2023-12-31 cs.AI cs.CV q-bio.QM
MagicPony: Learning Articulated 3D Animals in the Wild
University of Oxford（牛津大学）
提出MagicPony方法，仅从自然环境单视图图像学习预测铰接式动物的3D形状、姿态等，结合隐式-显式表示与知识蒸馏，在重建任务上超越先前工作并展现强泛化能力。
2023-04-04 cs.CV
4DEquine: Disentangling Motion and Appearance for 4D Equine Reconstruction from Monocular Video
Southern University of Science and Technology（南方科技大学）；Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
4DEquine通过解耦运动与外观重建，提出新框架实现高效4D马类重建，展示在真实数据集上的优越性能。
2026-03-10 cs.CV
CURVETE: Curriculum Learning and Progressive Self-supervised Training for Medical Image Classification
Birmingham City University（伯明翰城市大学）；University of Exeter（埃克塞特大学）
本文提出CURVETE，一种结合课程学习与渐进式自监督训练的深度卷积神经网络，用于解决医学图像分类中样本有限和类别分布不均的问题，在三个数据集上取得优于其他策略的准确率。
2025-10-27 cs.CV
PASS: An ImageNet replacement for self-supervised pretraining without humans
University of Oxford（牛津大学）
计算机视觉长期以来一直依赖ImageNet和其他从互联网上采样的大型图像数据集来进行预训练模型。然而，这些数据集存在道德和技术缺陷，例如包含未经同意获取的个人信息，许可使用不明确，偏见，甚至在某些情况下，有问题的图像内容。另一方面，目前最先进的预训练是通过无监督方法获得的，这意味着像ImageNet这样的标记数据集对于模型预训练来说可能不是必要的，甚至可能不是最佳的。因此，我们提出了一个无标签的数据集PASS：图片没有humAns的自我监督。PASS仅包含具有CC-BY许可证的图像和完整的归属元数据，解决了版权问题。最重要的是，它根本不包含人物图像，也避免了其他类型的图像，这些图像对数据保护或道德有问题。我们表明，PASS可以用于预训练的方法，如MoCo-v2，SwAV和DINO。在迁移学习设置中，即使在涉及人类的任务（例如人类姿势估计）上，它也会产生与ImageNet预训练相似的下游性能。PASS不会使现有的数据集过时，例如它不足以进行基准测试。然而，它表明，在使用更安全的数据时，模型预训练通常是可能的，并且它还为预训练方法的更鲁棒评估提供了基础。
2021-09-27 cs.CV cs.CY
Semi-Mamba-UNet: Pixel-Level Contrastive and Pixel-Level Cross-Supervised Visual Mamba-based UNet for Semi-Supervised Medical Image Segmentation
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
针对医学图像分割中长距离依赖处理效率低和标注成本高的问题，提出Semi-Mamba-UNet半监督框架，结合视觉Mamba与CNN的UNet进行像素级交叉监督和对比学习，显著提升了分割性能。
2024-07-28 cs.CV eess.IV
Self-supervised cross-modality learning for uncertainty-aware object detection and recognition in applications which lack pre-labelled training data
The University of Birmingham（伯明翰大学）；Horizon Robotics（地平线机器人）；The University of Sheffield（谢菲尔德大学）
本文提出一种自监督教师-学生流水线，利用少量标注数据和未标注RGB-D数据训练不确定性感知的YOLOv3网络，实现目标检测、识别与定位，在核废料分拣等无标注工业场景中显著优于直接监督训练。
2024-11-05 cs.AI cs.CV cs.NE
