Mixture Dense Regression for Object Detection and Human Pose Estimation
KU Leuven（鲁汶大学）
混合模型是成熟的学习方法，在计算机视觉中，大多数应用于逆问题或定义不清的问题。然而，它们是通用的分治技术，以数据驱动的方式将输入空间划分为相对均匀的子集。不仅定义不清的复杂问题，而且定义明确的复杂问题都应该从中受益。为此，我们设计了一个使用混合密度网络的空间回归框架。我们实现了目标检测和人体姿态估计的框架。对于这两个任务，混合模型产生更高的准确性，并将输入空间划分为可解释的模式。对于目标检测，混合分量集中在目标尺度上，其中分量的分布紧密跟随地面真值的分布。这实际上消除了对多尺度测试的需求，提供了卓越的速度-精度权衡。对于人体姿态估计，混合模型基于视点和不确定性（即，前视图和后视图）划分数据，其中后视图施加更高的不确定性。我们在MS COCO数据集上进行实验，没有遇到任何模式坍塌。
2020-04-20 cs.CV
DensePose From WiFi
Carnegie Mellon University（卡内基梅隆大学）
计算机视觉和机器学习技术的进步已经导致了从RGB相机、LiDAR和雷达进行2D和3D人体姿态估计的显著发展。然而，从图像中估计人体姿势受到遮挡和照明的不利影响，这在许多感兴趣的场景中是常见的。另一方面，雷达和激光雷达技术需要昂贵且功率密集的专用硬件。此外，将这些传感器放置在非公共区域会引起严重的隐私问题。为了解决这些限制，最近的研究探索了使用WiFi天线（1D传感器）进行身体分割和关键点身体检测。本文进一步扩展了WiFi信号与深度学习架构的结合使用，通常用于计算机视觉，以估计密集的人体姿势对应。我们开发了一个深度神经网络，可以将WiFi信号的相位和振幅映射到24个人体区域内的UV坐标。研究结果表明，我们的模型可以通过利用WiFi信号作为唯一输入来估计多个主体的密集姿态，其性能与基于图像的方法相当。这为低成本、广泛可访问和隐私保护的人类感知算法铺平了道路。
2022-12-31 cs.CV
A Temporal Densely Connected Recurrent Network for Event-based Human Pose Estimation
Hunan Normal University（湖南师范大学）；Zhejiang University of Technology（浙江工业大学）；City University of Hong Kong（香港城市大学）；Soochow University（苏州大学）
本文提出一种密集连接循环架构，通过建模时序与非时序几何一致性来恢复基于事件相机的人体姿态估计中缺失的身体部位，并构建了大规模多模态数据集验证其有效性。
2023-04-06 cs.CV
DenseReg: Fully Convolutional Dense Shape Regression In-the-Wild
Inria（法国国家信息与自动化研究所）
在这项工作中，我们使用深度学习来建立3D对象模型和“野外”图像之间的密集对应。我们引入了“DenseReg”，这是一种全卷积神经网络（F-CNN），它在单个前馈通道中在每个前景像素处密集地回归一对U-V模板坐标。为了训练DenseReg，我们通过结合3D可变形模型拟合和2D地标注释来构造监督信号。我们定义的回归任务的内在，U-V坐标的3D可变形模型，在训练时与图像实例相对应。许多其他对象相关的任务（例如，部分分割，地标定位）被证明是这个任务的副产品，并大大改善由于它的引入。我们通过将语义分割的思想与回归网络相结合来获得高度准确的回归结果，从而产生一种“量化回归”架构，该架构首先通过分类获得位置的量化估计，然后通过残差的回归对其进行细化。我们表明，这样的网络可以提高现有的最先进的姿态估计系统的性能。首先，我们证明了我们的系统可以作为统计可变形模型的初始化，以及级联架构的一个元素，共同定位地标和估计密集的对应关系。我们还表明，所获得的密集对应可以作为“特权信息”的来源，补充和扩展纯地标级注释，加速和改善姿态估计网络的训练。我们报告了在具有挑战性的300 W面部标志定位基准和MPII和LSP人体姿态估计数据集上的最新性能。
2018-03-11 cs.CV
OSOP: A Multi-Stage One Shot Object Pose Estimation Framework
TU Munich（慕尼黑工业大学）；Siemens AG（西门子公司）；NUDT（国防科技大学）
我们提出了一种新的一次性方法，用于目标检测和6自由度姿态估计，不需要对目标对象进行训练。在测试时，它将目标图像和纹理化的3D查询模型作为输入。其核心思想是用从不同视点渲染的许多2D模板来表示3D模型。这使得能够实现基于CNN的直接密集特征提取和匹配。首先在2D中定位对象，然后估计其近似视点，然后进行密集的2D-3D对应预测。最终的姿势是用Pendant计算的。我们在LineMOD，Occlusion，Homebrew，YCB-V和TLESS数据集上评估了该方法，并报告了与在合成数据上训练的最先进方法相比非常有竞争力的性能，即使我们的方法没有在用于测试的对象模型上训练。
2022-03-30 cs.CV
Hybrid model for Single-Stage Multi-Person Pose Estimation
LG Electronics（LG电子）
提出HybridPose混合模型，结合回归与热图方法，利用自相关损失注入空间依赖，实现单阶段多人姿态估计，兼顾密集关键点检测与不存在关键点过滤，且精度无下降。
2023-06-19 cs.CV
HRFormer: High-Resolution Transformer for Dense Prediction
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Baidu（百度）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
我们提出了一个高分辨率的Transformer（HRFormer），学习高分辨率表示密集的预测任务，与原始的视觉Transformer，产生低分辨率的表示，并具有较高的内存和计算成本。我们利用高分辨率卷积网络（HRNet）中引入的多分辨率并行设计，以及在小的非重叠图像窗口上执行自注意的局部窗口自注意，以提高内存和计算效率。此外，我们将卷积引入到FFN中，以跨断开的图像窗口交换信息。我们证明了高分辨率Transformer在人体姿势估计和语义分割任务上的有效性，例如，HRFormer在COCO姿态估计方面优于Swin Transformer by $1.3$ AP，具有更少的参数和更少的FLOP，其中$50\%$和$30\%$更少。代码可在：https://github.com/HRNet/HRFormer.
2021-11-07 cs.CV
FlatteNet: A Simple Versatile Framework for Dense Pixelwise Prediction
Sichuan University（四川大学）；Chengdu PU Chip Science and Technology Company, Ltd.（成都普芯科技有限公司）
在本文中，我们专注于设计一个通用的框架密集像素预测，其目标是分配一个离散或连续的标签，每个像素的图像。众所周知，由于重复的子采样操作而降低的特征分辨率对基于全卷积网络（FCN）的模型构成了严重的挑战。与常用的策略（如扩张卷积和编码器-解码器结构）相比，我们引入了Flattening模块来产生高分辨率的预测，而无需删除任何子采样操作或构建复杂的解码器模块。此外，Flattening模块是轻量级的，可以很容易地与任何现有的FCN相结合，允许模型构建者通过简单地选择不同的骨干网络来权衡模型大小，计算成本和准确性。我们经验证明了所提出的扁平化模块的有效性，通过竞争的结果，在人类的姿态估计MPII，语义分割的PASCAL上下文和目标检测PASCAL VOC。我们希望所提出的方法可以作为一个简单而强大的替代目前占主导地位的密集像素预测框架。
2019-11-08 cs.CV
Dense Optical Flow based Change Detection Network Robust to Difference of Camera Viewpoints
Nagoya University（名古屋大学）；National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）
提出了一种基于稠密光流变化检测网络的场景变化检测方法。在输入图像的相机姿态是固定的或已知的情况下，诸如利用监视和卫星相机，可以知道在不同时间捕获的图像之间的像素对应性。因此，可以通过对场景的外观进行建模来比较准确地检测图像之间的场景变化。另一方面，在摄像机安装在移动物体上的情况下，例如地面和空中车辆，我们必须考虑在不同时间捕获的图像之间的空间对应关系。然而，由于场景变化或缺少图像，可能难以准确地估计场景的相机姿态或3D模型。为了解决这个问题，我们提出了一个变化检测卷积神经网络，利用输入图像之间的密集光流，以提高鲁棒性相机之间的观点的差异。我们的评估的基础上的全景变化检测数据集表明，所提出的方法优于国家的最先进的变化检测算法。
2017-12-08 cs.CV
Transferring dense object detection models to event-based data
Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）
基于事件的图像表示与传统的密集图像有着本质的不同。这对将当前最先进的模型应用于目标检测提出了挑战，因为它们是针对密集图像设计的。在这项工作中，我们评估的YOLO目标检测模型的事件数据。为此，我们将密集卷积层替换为稀疏卷积或异步稀疏卷积，从而能够直接处理基于事件的图像，并将性能和运行时间与将事件直方图馈送到密集卷积中进行比较。在这里，超参数在所有变体之间共享，以隔离稀疏表示对检测性能的影响。在这一点上，我们表明，目前的稀疏卷积实现无法将其理论上较低的计算要求转化为改进的运行时。
2022-10-05 cs.CV
Learning semantical dynamics and spatiotemporal collaboration for human pose estimation in video
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）
针对现有视频人体姿态估计方法依赖局部像素相似性、忽略语义相关性且模态融合简单的问题，本文提出含多级语义运动编码器和空间-运动互学习模块的框架，在三个PoseTrack数据集上取得新SOTA。
2025-02-15 cs.CV
DPOD: 6D Pose Object Detector and Refiner
Technical University of Munich（慕尼黑工业大学）；Siemens Corporate Technology（西门子企业技术）
在本文中，我们提出了一种新的深度学习方法，用于从RGB图像中进行3D目标检测和6D姿态估计。我们的方法，名为DPOD（密集姿态对象检测器），估计密集的多类2D-3D对应映射之间的输入图像和可用的3D模型。给定对应性，经由PSNR和RANSAC计算6DoF姿态。使用定制的基于深度学习的细化方案来执行初始姿态估计的附加RGB姿态细化。我们的结果和大量的相关作品的比较表明，大量的对应关系是有益的，以获得高质量的6D构成之前和之后的细化。与其他主要使用真实数据进行训练并且不对合成渲染进行训练的方法不同，我们对合成和真实训练数据进行评估，与所有最近的检测器相比，在改进之前和之后展示出优异的结果。虽然精确，但所提出的方法仍然具有实时能力。
2019-08-20 cs.CV cs.RO
HiPART: Hierarchical Pose AutoRegressive Transformer for Occluded 3D Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）
针对二维到三维人体姿态估计中遮挡问题，提出HiPART，通过两阶段生成式致密化生成分层二维密集姿态，提升鲁棒性，在单帧任务上达最优，并优于多帧方法且降低复杂度。
2025-03-30 cs.CV cs.LG
Capture Dense: Markerless Motion Capture Meets Dense Pose Estimation
我们提出了一种方法，将无标记的运动捕捉和密集的姿态特征估计到一个单一的框架。我们证明，密集的姿势信息可以帮助多视图/单视图运动捕捉，多视图运动捕捉可以帮助收集高质量的数据集，用于训练密集的姿势检测器。具体来说，我们首先介绍了一种新的无标记的运动捕捉方法，可以利用密集的姿态检测器提供的密集解析能力。由于引入了密集的人类解析能力，我们的方法被证明是更有效，更准确的比现有的最先进的无标记的运动捕捉方法。其次，我们利用多视点无标记运动捕捉数据提高了现有稠密姿态检测器的性能。这样的数据集有利于密集姿态训练，因为它们更密集，更准确，更一致，并且可以补偿诸如不寻常视点之类的角落情况。我们定量地证明了我们的密集姿态检测器在可用的DensePose上的改进性能。我们的密集姿态数据集和探测器将被公开。
2018-12-11 cs.CV
PoseFusion2: Simultaneous Background Reconstruction and Human Shape Recovery in Real-time
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；School of Science and Engineering, the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
包含非结构化移动对象的动态环境对同时定位与地图构建（SLAM）性能提出了难题。刚性物体的运动通常可以通过利用它们的纹理和几何特征来跟踪。然而，在场景中移动的人通常是最重要的交互目标之一-由于非刚性形状，他们很难鲁棒地跟踪和重建。在这项工作中，我们提出了一个快速的，基于学习的人体目标检测器分离的动态人体目标，并实现了实时的【形】密集背景重建框架。我们进一步估计和重建人体姿势和形状。最终输出的环境地图不仅提供了密集的静态背景，而且还包含了动态的人体网格及其轨迹。我们的动态SLAM系统在GPU上的运行速度约为每秒26帧（fps），同时还可以以高达10 fps的速度执行精确的人体姿势估计。
2021-08-02 cs.CV cs.RO
VR3Dense: Voxel Representation Learning for 3D Object Detection and Monocular Dense Depth Reconstruction
Ford Greenfield Labs（福特绿地实验室）
三维目标检测和密集深度估计是自动驾驶中最重要的任务之一。多传感器模态可以共同属性朝向更好的机器人感知，并为此，我们介绍了一种方法，用于联合训练三维目标检测和单目密集深度重建神经网络。它在推理过程中将LiDAR点云和单个RGB图像作为输入，并生成对象姿势预测以及密集重建的深度图。将LiDAR点云转换为一组体素，并使用3D卷积层提取其特征，从中回归物体姿态参数。相应的RGB图像特征提取使用另一个二维卷积神经网络。我们进一步使用这些组合特征来预测密集的深度图。虽然我们的目标检测是以监督的方式训练的，但深度预测网络是用自监督和监督损失函数训练的。我们还介绍了一个损失函数，边缘保持平滑损失，并表明，这导致更好的深度估计相比，边缘感知平滑损失函数，经常用于深度预测工作。
2021-09-14 cs.AI cs.CV cs.LG
ConvPoseCNN: Dense Convolutional 6D Object Pose Estimation
University of Bonn（波恩大学）
6D物体姿态估计是许多应用的先决条件。近年来，单目位姿估计因其不需要深度测量而引起了广泛的研究兴趣。在这项工作中，我们引入了ConvPoseCNN，这是一种完全卷积的架构，可以避免剪切单个对象。相反，我们提出了像素级的，密集预测的对象姿态的平移和方向分量，其中密集的方向表示在四元数的形式。我们提出了不同的方法聚集的密集方向的预测，包括平均和聚类方案。我们在具有挑战性的YCB-Video数据集上评估了ConvPoseCNN，在那里我们证明了该方法的参数要少得多，并且比同类方法训练得更快，而不会牺牲准确性。此外，我们的研究结果表明，密集的方向预测隐式地学习到值得信赖的，无遮挡的，功能丰富的对象区域。
2019-12-16 cs.CV
Learning Body Shape and Pose from Dense Correspondences
CNRS-AIST JRL（法国国家科学研究中心-日本产业技术综合研究所联合机器人实验室）
在本文中，我们解决了从2D图像数据集学习3D人体姿势和身体形状的问题，而不必使用3D数据集（身体形状和姿势）。这个想法是使用图像点和身体表面之间的密集对应关系，可以在野外2D图像上进行注释，并从中提取和聚合3D信息。为此，我们提出了一种名为"变形和学习”的训练策略，在该策略中，我们交替进行可变形表面配准和深度卷积神经网络（ConvNets）的训练。与以前的方法不同，我们的方法不需要从运动捕捉（MoCap）系统或人为干预来验证3D姿态注释的3D姿态注释。
2019-07-27 cs.CV
Improving 2D-3D Dense Correspondences with Diffusion Models for 6D Object Pose Estimation
Automation and Control Institute, TU Wien（维也纳技术大学自动化与控制研究所）；Department of Industrial Engineering, UAS Technikum Vienna（维也纳技术高等专业学院工业工程系）
本研究比较了GAN与扩散模型在图像到图像转换中用于六维物体姿态估计的稠密对应图生成，发现扩散模型表现更优，为姿态估计改进提供新方向。
2024-02-09 cs.CV
Dense Pose Transfer
Facebook AI Research（脸书人工智能研究院）；INRIA（法国国家信息与自动化研究所）；CentraleSupélec（巴黎中央理工-高等电力学院）
在这项工作中，我们将基于表面的建模与神经合成的思想相结合：我们提出了基于表面的姿态估计和深度生成模型的组合，使我们能够执行准确的姿态转移，即基于该人的单个图像和姿态供体的图像合成该人的新图像。我们使用一个密集的姿态估计系统，将两个图像的像素映射到一个共同的基于表面的坐标系，使两个图像相互对应。我们在表面坐标系中对源图像强度进行修补和细化，然后将它们扭曲到目标姿势上。这些预测通过神经合成模块与卷积预测模块的预测融合，从而允许端到端联合训练整个管道，优化对抗性和感知损失的组合。我们表明，密集姿态估计是一个比地标或基于掩码的替代方案更强大的条件输入，并报告了DeepFashion和MVC数据集上最先进的生成器的系统改进。
2018-09-06 cs.CV
UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body Decoupling 3D Model
Beijing Momo Technology Co., Ltd.（北京陌陌科技有限公司）；Sun Yat-sen University（中山大学）
从图像中恢复密集的人体姿态在建立RGB图像和人体3D表面之间的图像到表面的对应关系中起着关键作用，为丰富的现实世界应用（如虚拟人，单眼到3D重建）奠定了基础。然而，流行的DensePose-COCO数据集依赖于复杂的手动注释系统，导致在获取更密集和更准确的注释姿态资源方面受到严重限制。在这项工作中，我们引入了一个新的三维人体模型与一系列的解耦参数，可以自由地控制身体的生成。此外，我们建立了一个数据生成系统的基础上，这个解耦的3D模型，并构建了一个超密集的合成基准UltraPose，包含约13亿个相应的点。与现有的手动注释的DensePose-COCO数据集相比，合成的UltraPose具有超密集的图像到表面的对应关系，没有注释成本和错误。我们提出的UltraPose提供了最大的基准和数据资源，用于提升模型预测更准确密集姿势的能力。为了促进这一领域的未来研究，我们还提出了一种基于变换的方法来建模2D和3D世界之间的密集对应关系。在合成UltraPose上训练的模型可以应用于现实世界的场景，表明我们的基准和模型的有效性。
2021-10-28 cs.CV
DenseBody: Directly Regressing Dense 3D Human Pose and Shape From a Single Color Image
Cloudwalk（云从科技）；Shanghai Jiao Tong University（上海交通大学）
由于人体的高度复杂性和灵活性，以及相对较少的3D标记数据，从2D图像中恢复3D人体形状和姿态是一项具有挑战性的任务。解决这些问题的先前方法通常依赖于预测中间结果，例如身体部位分割、2D/3D关节、轮廓掩模，以将问题分解为多个子任务，以便利用更多的2D标签。以往的研究大多采用参数化的人体模型，在低维空间中预测参数来表示人体。在本文中，我们提出了使用卷积神经网络（CNN）直接从一个单一的彩色图像回归的三维人体网格。我们使用一个有效的表示三维人体形状和姿态，可以通过编码器-解码器神经网络预测。该方法在包括Human3.6M，SURREAL和UP-3D在内的几个3D人体数据集上实现了最先进的性能，运行速度更快。
2019-03-28 cs.CV
ConvPoseCNN2: Prediction and Refinement of Dense 6D Object Poses
University of Bonn（波恩大学）
物体姿态估计是机器人技术中的一项关键感知能力。我们提出了PoseCNN方法的全卷积扩展，它可以密集地预测对象的平移和方向。这有几个优点，例如提高了方向预测的空间分辨率-在高度混乱的布置中有用，通过避免完全连接来显著减少参数，以及快速推断。我们提出并讨论了几种聚合方法，密集的方向预测，可以应用作为后处理步骤，如平均和聚类技术。我们证明了我们的方法在具有挑战性的YCB-Video数据集上达到了与PoseCNN相同的准确性，并提供了我们方法的几种变体的详细消融研究。最后，我们证明了可以通过在网络中间插入迭代细化模块来进一步改进模型，从而加强预测的一致性。
2022-05-23 cs.CV
Flow-NeRF: Joint Learning of Geometry, Poses, and Dense Flow within Unified Neural Representations
HKUST（香港科技大学）
提出 Flow-NeRF 统一框架，通过以位姿为条件的双射光流映射和跨空间特征增强，联合在线优化几何、相机位姿与稠密光流，并在四类任务上取得优异结果。
2025-03-13 cs.CV
Monocular Human Shape and Pose with Dense Mesh-borne Local Image Features
Inria（法国国家信息与自动化研究所）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）；M2S（M2S实验室）
我们提出了改进基于图卷积的方法，用于从单目输入进行人体形状和姿态估计，使用像素对齐的局部图像特征。给定单个输入彩色图像，现有的基于图卷积网络（GCN）的用于人类形状和姿态估计的技术使用单个卷积神经网络（CNN）生成的全局图像特征，该全局图像特征等同地附加到所有网格顶点以初始化GCN阶段，该GCN阶段将模板T姿态网格变换为目标姿态。相比之下，我们第一次提出了使用每个顶点的局部图像特征的想法。这些特征是通过利用使用DensePose生成的像素到网格对应关系从CNN图像特征映射中采样的。我们对标准基准测试的定量和定性结果表明，使用局部特征改善了全局特征，并导致了与最先进技术相比具有竞争力的性能。
2021-11-11 cs.CV
Dense Intrinsic Appearance Flow for Human Pose Transfer
The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
我们提出了一种新的方法的任务，人体姿势转移，其目的是在合成一个新的图像的人从输入图像的人和目标姿势。我们解决了仅在关键点和由于自遮挡而不可见的像素之间识别的有限对应关系的问题。与现有的方法不同，我们建议估计密集和内在的3D外观流，以更好地引导像素之间的姿势转移。特别是，我们希望仅从参考和目标姿势生成3D流。为此目的训练网络是不平凡的，特别是当3D外观流的注释本质上是稀缺的时。我们解决这个问题，通过流合成阶段。这是通过将3D模型拟合到给定的姿势对并将它们投影回2D平面以计算用于训练的密集外观流来实现的。然后，使用合成的地面实况来训练前馈网络，用于从输入和目标骨架姿势到3D外观流的有效映射。通过外观流程，我们对输入图像执行特征扭曲，并生成目标姿势的照片级真实感图像。在DeepFashion和Market-1501数据集上的广泛结果证明了我们的方法优于现有方法的有效性。我们的代码可在http://mmlab.ie.cuhk.edu.hk/projects/pose-transfer上获得
2019-03-27 cs.CV
Interacting Hand-Object Pose Estimation via Dense Mutual Attention
The Australian National University（澳大利亚国立大学）
手部目标的三维姿态估计是计算机视觉许多应用成功的关键。该任务的主要重点是有效地建模手和对象之间的交互。为此，现有的作品要么依赖于在计算昂贵的迭代优化中的交互约束，要么只考虑采样的手和对象关键点之间的稀疏相关性。相比之下，我们提出了一种新的密集的相互注意力机制，能够建模细粒度的手和对象之间的依赖关系。具体来说，我们首先构造的手和对象图根据其网格结构。对于每个手节点，我们通过学习的注意力从每个对象节点聚合特征，反之亦然。由于这种密集的相互关注，我们的方法能够产生物理上合理的姿态，具有高质量和实时推理速度。在大型基准数据集上进行的大量定量和定性实验表明，我们的方法优于最先进的方法。该代码可在https://github.com/rongakowang/DenseMutualAttention.git上获得。
2022-11-16 cs.CV
IUP-Pose: Decoupled Iterative Uncertainty Propagation for Real-time Relative Pose Regression via Implicit Dense Alignment v1
本文提出IUP-Pose，通过隐式密集对齐解决相对姿态估计中姿态与位移估计耦合和跨视图特征对齐不足的问题，实现高精度与高效能的实时部署。
2026-03-20 cs.CV
SurfSurg6D: Geometry Consistent Dense Correspondence for Textureless Surgical Instrument Pose Estimation
National University of Singapore（国立新加坡大学）；Chinese University of Hong Kong（香港中文大学）
针对无纹理手术器械位姿估计中的数据稀缺和几何一致性挑战，本文构建了SynSurg6D数据集并提出SurfSurg6D密集对应框架，在多个数据集上实现了优于现有方法的RGB-only位姿估计。
2026-05-25 cs.CV
Learning 3D Human Shape and Pose from Dense Body Parts
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Institute of Technology（北京理工大学）；University of Sydney（悉尼大学）
从单目图像重建三维人体形状和姿态是具有挑战性的，尽管最近的基于学习的方法取得了可喜的成果。通常发生的不对准来自以下事实：从图像到模型空间的映射是高度非线性的，并且身体模型的基于旋转的姿态表示容易导致关节位置的漂移。在这项工作中，我们研究了从身体部位的密集对应中学习3D人体形状和姿势，并提出了一个分解和聚合网络（DaNet）来解决这些问题。DaNet采用密集的对应映射，密集地建立了2D像素和3D顶点之间的桥梁，作为中间表示，以促进2D到3D映射的学习。DaNet的预测模块被分解为一个全局流和多个局部流，以分别实现形状和姿势预测的全局和细粒度感知。来自本地流的消息被进一步聚合以增强基于旋转的姿势的鲁棒预测，其中提出了位置辅助旋转特征细化策略以利用身体关节之间的空间关系。此外，还引入了基于部分的丢弃（PartDrop）策略，以在训练过程中从中间表示中丢弃密集信息，鼓励网络专注于更多互补的身体部位以及相邻的位置特征。该方法的有效性在室内和真实世界的数据集上进行了验证，包括Human3.6M，UP3D，COCO和3DPW，表明与以前的最先进的方法相比，我们的方法可以显着提高重建性能。我们的代码可在https://hongwenzhang.github.io/dense2mesh上公开获取。
2020-12-06 cs.CV
Dense 3D Regression for Hand Pose Estimation
University of Bonn（波恩大学）；KU Leuven（鲁汶大学）
我们提出了一个简单而有效的方法，从一个单一的深度帧的三维手部姿态估计。与以前基于整体3D回归的最先进方法相反，我们的方法适用于密集像素估计。这是通过在姿态参数化中仔细的设计选择来实现的，姿态参数化利用了深度图的2D和3D属性。具体地，我们将姿态参数分解为一组每像素估计，即，2D热图、3D热图和单位3D方向向量场。通过多任务网络级联估计2D/3D联合热图和3D联合偏移，该网络级联是端到端训练的。逐像素的估计可以直接转化为投票方案。然后使用均值偏移的变体来聚合局部投票，同时通过设计来强制执行所估计的3D姿态与逐像素的2D和3D估计之间的共识。我们的方法是高效和高度准确的。在MSRA和NYU手数据集上，我们的方法比以前所有的最先进的方法都要好。在ICVL手数据集上，我们的方法与目前提出的接近饱和的结果相比，达到了相似的精度，并且优于其他各种方法。代码为$\href{"https://github.com/melonwan/denseReg"}{\text{online}}$。
2017-11-24 cs.CV
DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
从RGB-D图像执行6D对象姿态估计的关键技术挑战是充分利用两个互补的数据源。以前的作品要么从RGB图像和深度中分别提取信息，要么使用昂贵的后处理步骤，限制了它们在高度混乱的场景和实时应用中的性能。在这项工作中，我们提出了DenseFusion，一个通用的框架，用于从RGB-D图像中估计一组已知对象的6D姿态。DenseFusion是一种异构架构，它单独处理两个数据源，并使用一种新型的密集融合网络来提取像素级密集特征嵌入，并从中估计姿态。此外，我们集成了一个端到端的迭代姿态细化过程，进一步提高了姿态估计，同时实现近实时推理。我们的实验表明，我们的方法优于国家的最先进的方法在两个数据集，YCB-Video和LineMOD。我们还部署我们提出的方法，以一个真正的机器人掌握和操纵物体的基础上估计的姿态。
2019-01-15 cs.CV cs.RO
Dense Dynamic Scene Reconstruction and Camera Pose Estimation from Multi-View Videos
本文提出双阶段优化框架，解决多视角视频中动态场景重建与相机姿态估计问题，通过时空连接图实现鲁棒跟踪与密集深度优化，引入宽基线初始化策略和多相机数据集，提升性能与效率。
2026-10-06 cs.CV
Joint Pose and Principal Curvature Refinement Using Quadrics
Monash University（莫纳什大学）
在本文中，我们提出了一种新的联合方法优化表面曲率和姿态对齐。我们提出了两种实现这种联合优化策略，包括快速实现，使用两个帧和离线多帧的方法。我们证明了一个数量级的改进，在模拟状态的最先进的密集相对点到平面迭代最近点（ICP）的姿态对齐使用我们的密集联合帧到帧的方法，并显示可比的姿态漂移密集点到平面ICP束调整使用低成本的深度传感器。此外，我们改进的联合二次曲面为基础的方法可以用来更准确地估计表面曲率的噪声点云比以前的方法。
2017-07-14 cs.CV
Back to the Feature: Zero-Shot 6DoF Pose Estimation via Dense Local Features
Queen’s University（女王大学）
B2TFPose利用冻结的DINOv3提取稠密局部特征，通过测地线NMS、渲染引导重新对应和多掩膜选择，实现无需训练的零样本6DoF姿态估计，在BOP基准上达到最先进性能。
2026-09-09 cs.CV
Pushing the Envelope for RGB-based Dense 3D Hand Pose Estimation via Neural Rendering
Imperial College London（帝国理工学院）；UNIST（蔚山科学技术院）
由于固有的2D-3D映射模糊性和有限的训练数据，从单个RGB图像估计3D手部网格具有挑战性。我们采用了一个紧凑的参数化三维手模型，代表可变形和关节手网格。为了实现RGB图像的模型拟合，我们在三个方面进行了研究和贡献：1）神经渲染：受最近人体工作的启发，我们的手部网格估计器（HME）由神经网络和可微分渲染器实现，由2D分割掩码和3D骨架监督。HME在估计不同的手形方面表现出良好的性能，并提高了姿态估计精度。2)迭代测试细化：我们的拟合函数是可微的。我们使用梯度迭代地改进初始估计，本着迭代模型拟合方法（如ICP）的精神。这一想法得到了最新人体研究的支持。3)自数据增强：收集用于训练的大小的RGB网格（或分割掩码）-骨架三元组是一个很大的障碍。一旦模型成功地拟合到输入RGB图像，它的网格，即形状和关节，是真实的，我们在估计的密集手部姿势之上增加视点。使用三个基于RGB的基准测试的实验表明，我们的框架在3D姿态估计方面提供了超越最先进的精度，并恢复了密集的3D手部形状。上述每个技术组件都有意义地提高了消融研究的准确性。
2019-04-09 cs.CV
CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network
Stony Brook University（石溪大学）
本文提出 CheckerPose，通过三维表面关键点渐进定位、二进制像素编码和图神经网络建模，提升单张 RGB 图像的 6-DoF 物体位姿估计精度，并在多个基准上达到最优。
2023-08-13 cs.CV
SADRNet: Self-Aligned Dual Face Regression Networks for Robust 3D Dense Face Alignment and Reconstruction
Nanjing University（南京大学）；Sun Yat-sen University（中山大学）；Samsung Electronics (China) R&D Centre（三星电子（中国）研发中心）
由于遮挡和大姿态的人脸图像往往会丢失部分人脸信息，因此在野外进行三维人脸密集对齐和重建是一个具有挑战性的问题。大的头部姿势变化也增加了解决方案空间，使建模更加困难。我们的主要思想是建模遮挡和姿势，将这个具有挑战性的任务分解为几个相对更易于管理的子任务。为此，我们提出了一个端到端的框架，称为自对准双脸回归网络（SADRNet），它预测一个姿态相关的脸，一个姿态独立的脸。它们通过遮挡感知的自对准来组合以生成最终的3D面部。两个流行的基准测试，AFLW 2000 -3D和佛罗伦萨，广泛的实验表明，该方法实现了显着优于现有的国家的最先进的方法的性能。
2021-06-06 cs.CV
Correspondence Learning for Controllable Person Image Generation
Harbin Institute of Technology（哈尔滨工业大学）
如图所示，我们提出了一种用于可控人物图像合成的生成模型，该模型可以应用于姿势引导的人物图像合成$i.e.$，将源人物图像的姿势转换为目标姿势，同时保留源人物图像的纹理，以及服装引导的人物图像合成$i.e.$，将源人物图像的服装纹理改变为所需的服装纹理。通过显式地建立目标位姿和源图像之间的密集对应关系，可以有效地解决位姿转换引入的错位问题，生成高质量的图像。具体地说，我们首先在目标姿态的指导下生成目标语义图，这可以在生成过程中提供更准确的姿态表示和结构约束。然后利用分解属性编码器提取部件特征，不仅有助于建立更精确的稠密对应关系，而且实现了服装引导的人物生成。之后，我们将在分片域中建立目标姿势和源图像之间的密集对应关系。源图像特征根据密集对应进行变形，以灵活地考虑变形。最后，网络根据变形后的源图像特征和目标姿态进行图像渲染。实验结果表明，我们的方法是优于国家的最先进的方法，在姿势引导的人生成和服装引导的人生成的有效性。
2020-12-23 cs.CV
DLTPose: 6DoF Pose Estimation From Accurate Dense Surface Point Estimates
Dept. of Electrical and Computer Engineering, Ingenuity Labs Research Institute（电气与计算机工程系，Ingenuity Labs研究学院）
提出DLTPose方法，通过预测像素到关键点的径向距离并利用直接线性变换得到精确的3D表面点，从而提升6DoF姿态估计的准确性和鲁棒性，尤其适用于对称和遮挡物体。
2026-08-26 cs.CV
Fine Dense Alignment of Image Bursts through Camera Pose and Depth Estimation
Inria Paris（法国国家信息与自动化研究所巴黎分院）
针对手持相机连拍图像的精细对齐问题，提出联合优化相机运动及逐像素表面深度与朝向的无训练密集对应方法，在小基线合成连拍上优于现有最佳光流方法，并可支持深度估计与三维重建。
2023-12-08 cs.CV
GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose
SenseTime Research（商汤科技研究院）
我们提出了GeoNet，一个联合无监督学习框架，用于从视频中进行单目深度、光流和自我运动估计。这三个组件通过3D场景几何的性质耦合在一起，由我们的框架以端到端的方式共同学习。具体地说，几何关系提取的各个模块的预测，然后结合作为一个图像重建损失，推理静态和动态场景的部分分开。此外，我们提出了一个自适应的几何一致性损失，以增加对离群值和非朗伯区域的鲁棒性，有效地解决了遮挡和纹理模糊。在KITTI驾驶数据集上的实验表明，我们的方案在所有三个任务中都取得了最先进的结果，比以前的无监督方法表现得更好，并且与有监督的方法相结合。
2018-03-12 cs.CV
DisPose: Disentangling Pose Guidance for Controllable Human Image Animation
Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
DisPose通过将稀疏姿态解耦为运动场和关键点对应，无需额外密集输入，实现高质量可控人体图像动画，并采用即插即用混合ControlNet提升生成一致性与质量。
2025-02-25 cs.CV
Joint 3D Human Shape Recovery and Pose Estimation from a Single Image with Bilayer Graph
University of Utah（犹他大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
从图像估计3D人体形状和姿势的能力在许多情况下是有用的。最近的方法已经探索使用图卷积网络，并取得了可喜的成果。3D形状由网格（无向图）表示的事实使得图卷积网络自然适合此问题。然而，图卷积网络具有有限的表示能力。来自图中节点的信息被传递给连接的邻居，信息的传播需要连续的图卷积。为了克服这个限制，我们提出了一个双尺度图的方法。我们使用一个粗糙的图，从一个密集的图，估计人的三维姿态，和密集的图估计的三维形状。与稠密图相比，粗糙图中的信息可以传播更长的距离。此外，姿态信息可以指导恢复局部形状细节，反之亦然。我们认识到粗糙和密集之间的连接本身就是一个图，并引入图融合块来交换不同尺度的图之间的信息。我们对模型进行了端到端的训练，并证明我们可以在多个评估数据集上获得最先进的结果。
2021-12-05 cs.CV
Rethink Sparse Signals for Pose-guided Text-to-image Generation
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）
本文提出 Spatial-Pose ControlNet (SP-Ctrl)，通过将 OpenPose 扩展为可学习的空间表示并引入关键点概念学习，使稀疏信号具备稳健可控性，在姿态引导的文本到图像生成中匹配密集信号方法的性能。
2025-06-26 cs.CV
Action Recognition via Pose-Based Graph Convolutional Networks with Intermediate Dense Supervision
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
基于姿态的动作识别近年来引起了广泛的关注。现有方法利用关节位置从卷积网络的激活图中提取身体部位特征来辅助人类动作识别。然而，在以前的作品中，这些功能只是简单地连接或最大池化。身体各部分之间的结构化关联对于理解复杂的人类行为至关重要，但尚未得到充分利用。为了解决这个问题，我们提出了一个姿势为基础的图卷积网络（PGCN），它编码的身体部位的功能到一个基于人类的时空图，并明确建模与一个新的轻量级自适应图卷积模块的相关性，以产生一个高度歧视性的表示人类动作识别。此外，我们发现骨干网络倾向于从输入的最具鉴别力的区域识别模式，而不管其他区域。因此，由来自其他区域的联合位置汇集的特征的信息量较少，这因此妨碍了随后的用于识别动作的聚合过程的性能。为了缓解这个问题，我们引入了一个简单的中间密集监督机制的骨干网络，充分解决了这个问题，在推理过程中没有额外的计算成本。我们在三个流行的基于姿势的动作识别任务的基准上评估所提出的方法，即，Sub-JHMDB，PennAction和NTU-RGBD，我们的方法在没有花里胡哨的情况下显著优于最先进的方法。
2019-11-28 cs.CV
ZebraPose: Coarse to Fine Surface Encoding for 6DoF Object Pose Estimation
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Technische Universität München（慕尼黑工业大学）；Google（谷歌）
建立从图像到3D的对应关系一直是6DoF目标位姿估计的关键任务。为了更准确地预测姿势，深入学习的密集地图取代了稀疏模板。密集的方法也改善了姿态估计存在的闭塞。最近，研究人员通过将对象片段学习为分割来显示改进。在这项工作中，我们提出了一个离散的描述符，它可以表示物体表面密集。通过结合分层二进制分组，我们可以非常有效地编码对象表面。此外，我们提出了一种由粗到细的训练策略，可以实现细粒度的对应预测。最后，通过匹配预测代码与物体表面，并使用一个PADOF求解器，我们估计的6DoF位姿。公共LM-O和YCB-V数据集上的结果显示，相对于最先进的w.r.t. ADD（-S）度量，在某些情况下甚至超过了基于RGB-D的方法。
2022-03-29 cs.CV
Dense Match Summarization for Faster Two-view Estimation
Centre for Mathematical Sciences, Lund University（数学科学中心，隆德大学）
本文提出一种高效的匹配摘要化方案，在保持与完整稠密匹配集相当精度的同时，将双视图相对位姿RANSAC估计速度提升10至100倍，并在标准基准上验证了其有效性。
2025-06-03 cs.CV
Neural Voting Field for Camera-Space 3D Hand Pose Estimation
University at Buffalo（布法罗大学）；Microsoft（微软）
我们提出神经投票场（NVF），一种基于三维隐式表示的统一框架，通过相机视锥内的密集三维逐点投票，从单张RGB图像直接估计相机空间三维手部姿态，在FreiHAND和HO3D数据集上达到最先进性能。
2023-05-07 cs.CV
W-PoseNet: Dense Correspondence Regularized Pixel Pair Pose Regression
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院）；Peng Cheng Laboratory（鹏城实验室）
针对6D姿态估计受遮挡、光照等影响的难题，提出W-PoseNet算法，通过稠密对应正则化、像素对特征组合与软投票提升鲁棒性，在YCB-Video、LineMOD基准上性能优于现有最优方法。
2021-03-04 cs.CV cs.RO
Learning Temporal Pose Estimation from Sparsely-Labeled Videos
Facebook AI（脸书人工智能）；University of Pennsylvania（宾夕法尼亚大学）
用于视频中的多人姿态估计的现代方法需要大量的密集注释。然而，标记视频中的每一帧是昂贵且劳动密集的。为了减少对密集注释的需求，我们提出了一个PoseWarper网络，它利用具有稀疏注释（每k帧）的训练视频来学习执行密集的时间姿态传播和估计。给定一对视频帧--一个标记的帧A和一个未标记的帧B--我们训练我们的模型来预测帧A中的人体姿势，使用来自帧B的特征，通过可变形卷积来隐式地学习A和B之间的姿势扭曲。我们证明，我们可以利用我们的训练PoseWarper的几个应用程序。首先，在推理时，我们可以反转网络的应用方向，以便将姿势信息从手动注释的帧传播到未标记的帧。这使得仅给定几个手动标记的帧就可以为整个视频生成姿势注释。与基于光流的现代标签传播方法相比，我们的扭曲机制更紧凑（6 M vs 39 M参数），也更准确（88.7%mAP vs 83.8%mAP）。我们还表明，我们可以提高姿态估计器的准确性，通过将我们传播的姿态添加到原始手动标签中获得的增强数据集进行训练。最后，我们可以使用我们的PoseWarper在推理过程中聚合来自相邻帧的时间姿态信息。这使我们的系统能够在PoseTrack 2017和PoseTrack 2018数据集上实现最先进的姿态检测结果。代码已在https://github.com/facebookresearch/PoseWarper上提供。
2019-12-11 cs.CV
PAOLI: Pose-free Articulated Object Learning from Sparse-view Images
University of Edinburgh（爱丁堡大学）
本文提出了一种利用稀疏视角图像建模可变形物体的方法，通过四视角独立重建并学习变形场，分离静态与运动部件，实现鲁棒的跨视角和跨姿态一致性优化。
2026-09-22 cs.CV
Scene-level Pose Estimation for Multiple Instances of Densely Packed Objects
Rutgers University（罗格斯大学）
本文介绍了关键的机器学习操作，允许从RGB-D数据中实现密集堆积或非结构化堆中的多个对象实例的鲁棒的联合6D姿态估计。第一个目标是学习语义和实例边界检测器，而无需手动标记。对抗性训练框架与基于物理的模拟相结合，用于实现在合成数据和真实数据中表现相似的检测器。给定这样的检测器的随机输出，对象姿态的候选者被采样。第二个目标是自动学习每个姿势候选者的单个分数，该分数表示其通过梯度提升树解释整个场景的质量。所提出的方法使用来自表面和边界之间的对齐观察到的场景和对象模型放置在假设的姿势的功能。然后，通过整数线性规划过程来实现场景级的多实例姿态估计，该整数线性规划过程选择使所学习的个体分数的总和最大化的假设，同时尊重约束，例如避免碰撞。为了评估这种方法，收集了具有挑战性设置的密集包装对象的数据集，用于最先进的方法。在该数据集和公共数据集上的实验表明，该方法在仅使用合成数据集进行训练时，在6D姿态准确度方面显着优于其他方法。
2019-10-11 cs.CV cs.RO
Efficient Sparse-to-Dense Visual Localization via Compact Gaussian Scene Representation and Accelerated Dense Pose Estimation
Electronic Information School, Wuhan University（武汉大学电子信息学院）；School of Robotics, Wuhan University（武汉大学机器人学院）；Electronic Information School and the School of Robotics, Wuhan University（武汉大学电子信息学院和机器人学院）
本文提出了一种高效的视觉定位方法LiteLoc，通过去除冗余的色彩字段和优化密集姿态估计，显著提升了内存和计算效率，同时保持了定位性能。
2026-05-18 cs.CV
