DexAvatar: 3D Sign Language Reconstruction with Hand and Body Pose Priors
Monash University(墨尔本大学)
DexAvatar通过学习的3D手部和身体先验,实现了对野外单目手语视频中细粒度手部动作和身体运动的高精度重建,提升了手语姿态估计的性能。
2025-12-24 cs.AI cs.CV cs.HC
PHD: Personalized 3D Human Body Fitting with Point Diffusion
Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系);ETH AI Center, ETH Zürich(苏黎世联邦理工学院人工智能中心);Reality Labs, Meta(Meta现实实验室)
本文提出 PHD,通过先校准用户体型、再利用 Point Diffusion Transformer 姿态先验进行个性化拟合,提升视频三维人体姿态与绝对位姿估计精度,并可即插即用。
2025-08-28 cs.CV
Joint optimization of fitting & matching in multi-view reconstruction
Western University(韦仕敦大学)
几何模型拟合的许多标准方法是基于预匹配的图像特征。通常,这种预匹配仅使用特征外观(例如SIFT),并且必须丢弃大量非唯一特征以控制误报率。相比之下,我们在联合优化框架中解决特征匹配和多模型拟合问题。本文提出了几个适合与匹配的能量公式的基础上推广的分配问题。我们开发了一个有效的求解器的基础上,最小成本最大流算法,找到接近最优的解决方案。我们的方法显著增加了检测到的匹配的数量。在实践中,基于能量的联合拟合和匹配允许增加先前由局部SIFT匹配的鲁棒性限制的视点之间的距离,并且当与最先进的多模型拟合技术相比时,提高模型拟合精度。
2014-04-09 cs.CV
Landmark Weighting for 3DMM Shape Fitting
Jiangnan University(江南大学);University of Surrey(萨里大学)
人脸是具有形状和表面纹理的三维物体。3D变形模型(3DMM)是一个强大的工具,用于重建三维人脸从一个单一的2D人脸图像。在形状拟合过程中,3DMM估计2D和3D标志之间的对应关系。由于人脸形状拟合是一个复杂的非线性优化问题,传统的3DMM拟合方法无法重建出精确的人脸模型。在本文中,我们表明地标加权是有助于提高形状重建的准确性,并提出了一种新的三维变形模型拟合方法。与以往同等对待所有地标的工作不同,我们考虑了每对2D和3D对应地标的估计误差。基于这些误差在优化成本函数中对界标点进行加权。显然,这些标志点具有不同的语义,因为它们位于不同的面部组件。在近似拟合的解决方案的上下文中,在地标匹配中存在偏差。然而,这些具有不同语义的界标在重建3D人脸时具有不同的效果。因此,有必要单独考虑每个地标。据我们所知,我们是第一个分析每个特征点的三维人脸重建3DMM。权值与界标的估计残差自适应。实验结果表明,该方法显著降低了重建误差,提高了三维模型表达的真实性。
2018-08-16 cs.CV
Single-Camera 3D Head Fitting for Mixed Reality Clinical Applications
University of Pennsylvania(宾夕法尼亚大学);Stevens Institute of Technology(史蒂文斯理工学院)
我们解决的问题,估计一个人的头部的形状,定义为完整的头部表面的几何形状,从一个单一的移动摄像机拍摄的视频,并确定所有视频帧的拟合3D头部的对齐,而不管人的姿势。3D头部重建通常倾向于专注于完善面部重建,使头皮达到统计近似。我们的目标是重建每个人的头部模型,以实现未来的混合现实应用。为此,我们通过从运动恢复结构和多视图立体视觉来恢复密集的3D重建和相机信息。然后在新的两阶段拟合过程中使用这些来恢复3D头部形状,通过迭代拟合头部的3D可变形模型与规范空间中的密集重建,并使用传统的面部标志和从头部分割掩模中提取的头皮特征将其拟合到每个人的头部。我们的方法恢复了不同头部形状的一致几何形状,来自不同人,不同智能手机拍摄的视频,以及从客厅到户外空间的各种环境。
2022-03-07 cs.CV
Fit-NGP: Fitting Object Models to Neural Graphics Primitives
Imperial College London(伦敦帝国理工学院)
提出基于机械臂和腕戴摄像头的全自动物体姿态估计系统,利用高效辐射场重建方法生成的密度场,实现对具有已知3D模型的小型及反射表面物体的高精度6自由度姿态估计。
2024-01-04 cs.CV
Canonical Pose Reconstruction from Single Depth Image for 3D Non-rigid Pose Recovery on Limited Datasets
Northern Border University(北方边境大学);Cardiff University(卡迪夫大学)
针对非刚性物体3D重建需大量训练数据的问题,提出规范姿态重建模型,将单视角深度图转为规范形式以应用刚性重建技术,仅用约300样本即在动物和人类数据集上超越现有方法。
2025-05-23 cs.CV
Semi-signed prioritized neural fitting for surface reconstruction from unoriented point clouds
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Wuhan University(武汉大学)
从\emph{unoriented}点云重建3D几何体可以使许多下游任务受益。目前的形状建模方法大多采用隐式神经网络来拟合符号距离场,并通过\emph{unsigned}监督来优化网络。然而,这些方法有时难以找到复杂物体的粗糙形状,特别是遭受"幽灵“表面(\ie,不应该存在的假表面)。为了引导网络快速适应粗略的形状,我们建议在明显位于对象外部且易于确定的区域中使用签名监督,从而产生我们的半签名监督。为了更好地恢复高保真细节,一种新的重要性采样的基础上跟踪区域损失和渐进的位置编码(PE)优先优化欠拟合和复杂的区域。具体来说,我们体素化和分区的对象空间\emph{sign-known}和\emph{sign-uncertain}地区,在不同的监督应用。此外,我们根据跟踪的重建损失自适应地调整每个体素的采样率,使网络能够更好地聚焦于复杂的欠拟合区域。为此,我们提出了我们的半符号优先(SSP)神经拟合,并进行了广泛的实验,以证明SSP在包括ABC子集和各种具有挑战性的数据在内的多个数据集上实现了最先进的性能。代码将在发布时发布。
2022-12-14 cs.CV
Accurate 6D Object Pose Estimation by Pose Conditioned Mesh Reconstruction
Imperial College London(帝国理工学院)
当前的6D对象姿态方法由针对单个对象完全优化的深度CNN模型组成,但其架构在具有不同形状的对象之间标准化。与以前的作品相比,我们明确地利用每个对象的独特的拓扑信息,即在姿态估计模型中的3D密集网格,具有自动化的过程,并在任何后处理细化阶段之前。为了实现这一点,我们提出了一个学习框架,其中的图卷积神经网络重建的对象的姿态条件的三维网格。一个强大的估计allocentric取向恢复计算,在可微的方式,Procrustes的规范和重建的密集的三维网格之间的对齐。6D自我中心姿态然后使用附加的掩模和2D质心投影估计来提升。我们的方法能够通过测量重建网格的质量来自我验证其姿态估计,这在现实生活中的应用中是非常宝贵的。在我们的实验LINEMOD,OCCLUSION和YCB-Video基准,所提出的方法优于国家的最先进的。
2019-10-23 cs.CV
Comparative Evaluation of 3D Reconstruction Methods for Object Pose Estimation
Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人学与自动化研究所);Czech Technical University in Prague(布拉格捷克技术大学)
针对CAD模型难获取的问题,构建了结合YCB-V数据集、按BOP格式的新型基准,评估图像三维重建质量对物体位姿估计精度的影响,发现重建模型可支撑位姿估计但与CAD模型仍有差距,基准已公开。
2025-06-16 cs.CV
GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction
Imperial College London(帝国理工学院);University of Middlesex(密德萨斯大学)
在过去的几年里,已经做了大量的工作,通过利用深度卷积神经网络(DCNN)的力量,从单个图像重建3D面部结构。在最近的作品中,微分渲染器,以学习的面部身份特征和参数的3D变形模型的形状和纹理之间的关系。纹理特征要么对应于线性纹理空间的分量,要么由自动编码器直接从野外图像中学习。在所有情况下,面部纹理重建的质量的国家的最先进的方法仍然是不能够在高保真度的纹理建模。在本文中,我们采取了一种完全不同的方法,利用生成对抗网络(GANs)和DCNN的强大功能,从单张图像中重建面部纹理和形状。也就是说,我们利用GANs在UV空间中训练一个非常强大的面部纹理生成器。然后,我们重新审视了原始的3D变形模型(3DMMs)拟合方法,利用非线性优化,以找到最佳的潜在参数,最好地重建测试图像,但在一个新的角度。我们通过我们的端到端可区分框架,在预训练的深度身份特征的监督下优化参数。我们在真实感和身份保持3D人脸重建中表现出出色的效果,并首次实现了高频细节的面部纹理重建。
2019-04-06 cs.CV
Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivariance
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Southern California(南加州大学)
本文提出ArtEq,一种基于部件的SE(3)等变神经架构,通过部件检测与关节化等变网络从点云估计SMPL模型,实现对新姿态的高精度泛化,重建精度提升约44%,推理快三个数量级且参数量减少97.3%。
2023-09-19 cs.CV
Reconstructing 3D Human Pose by Watching Humans in the Mirror
Zhejiang University(浙江大学)
在本文中,我们介绍了一个新的任务,重建三维人体姿态从一个单一的图像,我们可以看到的人和人的形象,通过一面镜子。与从单个视图进行3D姿态估计的一般场景相比,镜面反射提供了用于解决深度模糊的附加视图。我们开发了一种基于优化的方法,利用镜像对称约束精确的3D姿态重建。我们还提供了一种方法来估计表面法线的镜子从消失点在单一的图像。为了验证所提出的方法,我们收集了一个名为Mirrored-Human的大规模数据集,该数据集涵盖了各种各样的人类主体,姿势和背景。实验表明,当使用我们重建的3D姿态作为伪地面实况对镜像人进行训练时,现有单视图3D姿态估计器的准确性和通用性可以大大提高。
2021-04-01 cs.CV
Large Area 3D Human Pose Detection Via Stereo Reconstruction in Panoramic Cameras
Profactor GmbH(普罗法克特有限公司);JKU(约翰内斯·开普勒大学)
我们提出了一种新的三维人体姿态检测器使用两个全景摄像机。我们表明,将鱼眼视角转换为直线视图可以直接应用二维深度学习姿势估计方法,而无需明确需要昂贵的重新训练步骤来补偿鱼眼图像失真。通过利用全景相机,我们的方法是能够准确地估计在一个大的视野中的人的姿态。这使得我们的方法适用于人体工程学分析和其他姿势为基础的评估。
2019-07-01 cs.CV
PoRF: Pose Residual Field for Accurate Neural Surface Reconstruction
University of Oxford(牛津大学)
针对神经表面重建对相机位姿噪声敏感的问题,提出位姿残差场(PoRF)隐式表示及对极几何损失,显著提升位姿精度与重建质量,在DTU和MobileBrick数据集上优于现有方法。
2024-03-12 cs.CV
Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies from Single RGB Images
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Xmov(魔珐科技);Zhejiang University(浙江大学);Texas A&M University(德州农工大学)
我们介绍了一种方法,准确地重建三维人体姿势和详细的三维全身几何模型,从单图像实时。我们的方法的核心思想是一种新型的端到端多任务深度学习框架,该框架使用单个图像同时预测五个输出:前景分割掩码,2D关节位置,语义体分区,3D部件方向和UV坐标(UV地图)。多任务网络架构不仅为重建生成更多的视觉线索,而且还使每个单独的预测更加准确。CNN回归器进一步与基于优化的算法相结合,用于精确的运动姿态重建和全身形状建模。我们表明,实时重建达到准确的拟合,还没有见过,特别是野生图像。我们展示了我们的实时3D姿态和人体重建系统在各种具有挑战性的野外视频的结果。我们表明,该系统的进步前沿的三维人体和姿势重建从单一的图像定量评估和比较与国家的最先进的方法。
2021-06-22 cs.CV
Training a Feedback Loop for Hand Pose Estimation
Institute for Computer Graphics and Vision(计算机图形与视觉研究所);Graz University of Technology(格拉茨技术大学)
我们提出了一个完全数据驱动的方法来估计的3D姿态的手给定的深度图像。我们表明,我们可以纠正错误的卷积神经网络训练预测估计的3D姿态通过使用反馈回路。这个反馈回路的组件也是深度网络,使用训练数据进行优化。它们消除了将3D模型拟合到输入数据的需要,这需要精心设计的拟合函数和算法。我们证明了我们的方法优于最先进的方法,并且由于我们的实现在单个GPU上以超过400 fps的速度运行,因此是高效的。
2016-09-30 cs.CV
Robust Model-based Face Reconstruction through Weakly-Supervised Outlier Segmentation
Southeast University(东南大学);University of Basel(巴塞尔大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);University of Freiburg(弗莱堡大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
在这项工作中,我们的目标是通过避免将模型拟合到离群值来增强基于模型的人脸重建,离群值即模型无法很好表达的区域,如遮挡物或化妆。本地化离群值的核心挑战是,它们是高度可变的,难以注释。为了克服这一难题,我们引入了一种联合的人脸自动编码和离群点分割方法(FOCUS),特别是利用了离群点不能很好地被人脸模型拟合的事实,从而可以很好地定位出高质量的模型拟合。主要的挑战是模型拟合和离群值分割相互依赖,需要联合推断。我们用EM型训练策略解决了这个鸡和蛋的问题,其中人脸自动编码器与离群分割网络联合训练。这导致了协同效应,其中分割网络防止面部编码器拟合离群值,从而提高了重建质量。改进的3D人脸重建反过来又使分割网络能够更好地预测离群值。为了解决异常值和难以拟合的区域(如眉毛)之间的模糊性,我们从合成数据中构建了一个统计先验,该先验测量模型拟合中的系统偏差。在NoW测试集上的实验表明,FOCUS在没有3D标注的情况下训练的所有基线中实现了SOTA 3D人脸重建性能。此外,我们在CelebA-HQ和AR数据库上的结果表明,尽管在没有任何分割注释的情况下进行训练,分割网络仍然可以准确地定位遮挡物。
2023-03-21 cs.CV
FvOR: Robust Joint Shape and Pose Optimization for Few-view Object Reconstruction
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司)
在计算机视觉中,从少量的图像观测重建精确的三维物体模型仍然是一个具有挑战性的问题。最先进的方法通常假设准确的相机姿势作为输入,这在现实环境中可能难以获得。在本文中,我们提出了FvOR,这是一种基于学习的对象重建方法,它可以预测精确的3D模型,给出一些带有噪声输入姿势的图像。我们的方法的核心是一个快速和强大的多视图重建算法,共同完善三维几何和相机姿态估计使用可学习的神经网络模块。我们在ShapeNet上提供了针对此问题的最先进方法的全面基准。我们的方法实现了一流的结果。它也比最近的基于优化的方法IDR快两个数量级。我们的代码在\url{https://github.com/zhenpeiyang/FvOR/}上发布
2022-05-16 cs.CV
PF-LRM: Pose-Free Large Reconstruction Model for Joint Pose and Shape Prediction
Adobe Research(奥多比研究中心);HKU(香港大学);Stanford(斯坦福大学);Texas A&M University(德克萨斯农工大学)
提出PF-LRM模型,通过自注意力机制交换3D与2D特征,并利用可微PnP求解器,从少量无位姿图像中在约1.3秒内联合预测3D形状与相机位姿,展现出强大的跨数据集泛化能力及下游任务适用性。
2023-11-23 cs.CV
GRAFT: Geometric Refinement and Fitting Transformer for Human Scene Reconstruction
Westlake University(西湖大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所)
GRAFT通过几何细化和拟合变换,提升单图像中人体与场景交互的重建质量,实现快速且精确的交互推理。
2026-06-29 cs.CV
Leveraging the Learnable Vertex-Vertex Relationship to Generalize Human Pose and Mesh Reconstruction for In-the-Wild Scenes
Asilla Inc.(阿西拉公司);Hanoi University of Science and Technology(河内理工大学)
我们提出了MeshLeTemp,一个强大的方法,三维人体姿势和网格重建从一个单一的图像。在人体先验编码方面,我们建议使用可学习的模板人体网格,而不是以前最先进的方法所使用的恒定模板。所提出的可学习模板不仅反映了顶点之间的交互,而且还反映了人类的姿势和体型,能够适应不同的图像。我们进行了广泛的实验,以显示我们的方法在看不见的情况下的推广。
2022-11-08 cs.CV
3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous Image Data
University of Cambridge(剑桥大学);University of Oxford(牛津大学);Facebook AI Research(Facebook人工智能研究实验室)
我们认为,从单一的和部分遮挡的意见,获得密集的三维重建人类的问题。在这种情况下,视觉证据通常不足以唯一地识别3D重建,所以我们的目标是恢复与输入数据兼容的几个合理的重建。我们建议,可以更有效地通过参数化的可能的身体形状和姿势,通过一个合适的3D模型,如SMPL人类的模糊性建模。我们建议学习一个多假设神经网络回归使用最好的M损失,其中每个M假设被约束躺在一个流形上的合理的人类构成的生成模型。我们表明,我们的方法优于其他方法在模糊的姿态恢复标准基准的3D人类,并在严重闭塞的版本,这些基准。
2020-11-02 cs.CV
GPRAR: Graph Convolutional Network based Pose Reconstruction and Action Recognition for Human Trajectory Prediction
University of Colorado Denver(科罗拉多大学丹佛分校)
高精度预测对于自动驾驶等各种应用至关重要。现有的预测模型很容易在现实世界的环境中出现错误,其中观察(例如人类姿势和位置)通常是嘈杂的。为了解决这个问题,我们引入了GPRAR,一个基于图卷积网络的姿态重建和动作识别的人体轨迹预测。GPRAR的核心思想是在噪声场景下生成鲁棒的特征:人体姿势和动作。为此,我们设计了GPRAR使用两个新的子网络:PRAR(姿态重建和动作识别)和FA(特征聚合器)。PRAR的目标是同时重建人体姿态和动作特征的连贯性和结构特性的人体骨骼。它是一个编码器和两个解码器的网络,每个解码器包括多层时空图卷积网络。此外,我们提出了一个功能聚合器(FA)通道聚合学习的功能:人体姿势,动作,位置和相机运动使用基于编码器-解码器的时间卷积神经网络预测未来的位置。在常用数据集上进行的广泛实验:JAAD [13]和TITAN [19]显示GPRAR的准确性优于最先进的模型。具体而言,GPRAR在JAAD和TITAN数据集上的噪声观测下分别将预测精度提高了22%和50
2021-03-25 cs.CV
Again-Pose: Anchor-Guided Adaptive Inter-Frame Motion Cues Propagating for High-quality Human Pose Reconstruction
提出Again-Pose框架,通过显式识别高质量锚帧并传播运动线索来修复退化帧的姿态,解决极端运动场景下姿态重建的鲁棒性问题。
2026-06-28 cs.CV
Learning Pose-invariant 3D Object Reconstruction from Single-view Images
Center for Research on Intelligent Perception;Computing (CRIPAC), National Laboratory of Pattern Recognition (NLPR), Institute of Automation Chinese Academy of Sciences (CASIA)
学习使用2D图像重建3D形状是一个活跃的研究课题,其优点是不需要昂贵的3D数据。然而,在这个方向上的大多数工作需要多视图图像为每个对象实例作为训练监督,这往往不适用于实践。在本文中,我们放松了常见的多视图假设,并探索了一个更具挑战性但更现实的设置,仅从单视图图像学习3D形状。主要的困难在于单视图图像提供的约束不足,这导致了学习形状空间中的姿态纠缠问题。因此,重建的形状随着输入姿势而变化,并且准确性较差。我们通过一个新的领域自适应的角度来解决这个问题,并提出了一个有效的对抗域混淆方法来学习姿态解纠缠的紧凑形状空间。单视图重建实验表明,该方法能有效解决姿态纠缠问题,重建精度与现有方法相当,且效率较高。
2020-07-27 cs.CV
GCRayDiffusion: Pose-Free Surface Reconstruction via Geometric Consistent Ray Diffusion
Beijing Normal University(北京师范大学);VAST(中国科学院软件研究所);Hong Kong University of Science and Technology(香港科技大学)
GCRayDiffusion通过几何一致射线扩散实现无姿态表面重建,提升稀疏视角下的3D一致性与精度。
2025-03-28 cs.CV
NeRF-Pose: A First-Reconstruct-Then-Regress Approach for Weakly-supervised 6D Object Pose Estimation
National University of Defense Technology(国防科技大学);Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司)
提出弱监督重建流程 NeRF-Pose,仅需 2D 分割和相对相机姿态,通过先重建后回归的思想结合 NeRF 与 PnP+RANSAC 实现 6D 物体姿态估计,在多个数据集上达到先进精度。
2023-09-09 cs.CV
DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction
University of Oxford(牛津大学);Stanford University(斯坦福大学);University of Cambridge(剑桥大学)
本文提出对偶点图DualPM,通过从同一图像提取物体3D位置点图和规范化静止姿态点图,将可变形物体的3D形状与姿态重建及非模态完整形状恢复简化为点图预测,在四足动物建模上实现显著改进。
2025-08-14 cs.CV
Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images
University of Maryland(马里兰大学)
我们提出了一个可扩展的神经网络框架,从多视角图像重建人体的三维网格,在SMPL模型的子空间。使用多视点图像可以显著降低投影模糊问题,提高服装下三维人体的重建精度。我们的实验表明,该方法受益于从我们的管道生成的合成数据集,因为它具有良好的变量控制的灵活性,并可以提供地面实况验证。我们的方法优于现有的方法对现实世界的图像,特别是形状估计。
2019-08-26 cs.CV
MPT: Mesh Pre-Training with Transformers for Human Pose and Mesh Reconstruction
Microsoft(微软)
传统的从单个图像重建3D人体姿态和网格的方法依赖于成对的图像-网格数据集,这可能是困难和昂贵的获得。由于这种限制,模型的可扩展性以及重建性能受到约束。为了应对这一挑战,我们引入了Mesh Pre-Training(MPT),这是一种有效的预训练策略,它利用大量MoCap数据来有效地进行大规模的预训练。我们引入了使用MoCap生成的热图作为网格回归Transformer的输入表示,并提出了一种用于提高预训练性能的掩蔽热图建模方法。这项研究表明,使用所提出的MPT进行预训练,可以使我们的模型在不需要微调的情况下进行有效的推理。我们进一步表明,微调预训练的MPT模型大大提高了人类网格重建从单一图像的准确性。实验结果表明,MPT在Human3.6M和3DPW数据集上的性能优于之前的最先进方法。作为进一步的应用,我们基准测试和研究MPT的三维手部重建的任务,表明我们的通用预训练方案推广以及手部姿态估计,并取得了良好的重建性能。
2023-03-15 cs.CV
ACR-Pose: Adversarial Canonical Representation Reconstruction Network for Category Level 6D Object Pose Estimation
最近,类别级的6D对象姿态估计已经取得了显着的改进与重建规范的3D表示的发展。然而,现有方法的重建质量仍然远远不够好。在本文中,我们提出了一种新的对抗规范表示重建网络ACR-Pose。ACR-Pose由一个Reconstructor和一个Discriminator组成。重构器主要由两个新的子模块组成:姿势无关模块(PIM)和关系重构模块(RRM)。PIM倾向于学习规范相关的特征,使重建器对旋转和平移不敏感,而RRM探索不同输入模态之间的基本关系信息,以生成高质量的特征。随后,一个鉴别器被用来指导重建器生成真实的规范表示。重构器和鉴别器通过对抗训练学习优化。在流行的NOCS-CAMERA和NOCS-REAL数据集上的实验结果表明,我们的方法达到了最先进的性能。
2021-11-20 cs.AI cs.CV
RA-NeRF: Robust Neural Radiance Field Reconstruction with Accurate Camera Pose Estimation under Complex Trajectories
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院);Department of Computer Science and Technology, HIT (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术系);XGRIDS;Department of Computer Science, HKBU(香港大学计算机科学系);Department of Computer Science and Engineering, HKUST(香港理工大学计算机科学与工程系);Data Science and Analytics Thrust, HKUST (Guangzhou)(香港理工大学数据科学与分析方向)
RA-NeRF提出一种结合光度一致性和流驱动位姿调节的NeRF重建方法,并引入隐式位姿滤波器,在复杂轨迹下实现高精度相机位姿估计与高质量场景重建。
2025-06-24 cs.CV
Category-Level 6D Object Pose Estimation via Cascaded Relation and Recurrent Reconstruction Networks
The Chinese University of Hong Kong(香港中文大学);T Stone Robotics Institute, The Chinese University of Hong Kong(香港中文大学T Stone机器人研究所)
类别级6D位姿估计,旨在预测不可见对象实例的位置和方向,是机器人操作和增强现实等许多场景的基础,但仍然没有解决。在标准空间中精确恢复实例3D模型并将其与观测值精确匹配是估计未见过物体的6D姿态时的关键点。在本文中,我们实现了准确的类别级的6D姿态估计通过级联关系和递归重建网络。具体而言,一种新的级联关系网络专用于高级表示学习,探索实例RGB图像,实例点云和类别形状先验之间的复杂和信息的关系。此外,我们设计了一个递归重建网络的迭代残差细化逐步提高重建和对应估计从粗到细。最后,利用实例点云与规范空间中的重建3D模型之间的估计的密集对应关系来获得实例6D姿态。我们对类别级6D姿态估计的两个公认基准进行了广泛的实验,与现有方法相比,性能有显着提高。在$3D_{75}$和$5^{\circ}2 cm$代表性的严格评估指标上,我们的方法超过了CAMERA25数据集上的$4.9\%$和$17.7\%$以及REAL275数据集上的$2.7\%$和$8.5\%$的最新技术水平SPD。代码可在https://wangjiaze.cn/projects/6DPoseEstimation.html上获得。
2021-08-19 cs.CV
SDFit: 3D Object Pose and Shape by Fitting a Morphable SDF to a Single Image
University of Amsterdam(阿姆斯特丹大学);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
针对单图3D姿态形状恢复泛化差、缺反馈回路等问题,提出SDFit优化框架,结合可变形SDF、基础模型检索与2D-3D对应初始化,在遮挡等场景鲁棒性更优且无需重训练。
2025-07-31 cs.CV
RealDenseFace: Real-time Monocular 3D Face Reconstruction from Dense UV-space Priors
Zhejiang University(浙江大学)
RealDenseFace是一种基于优化的实时单目3D人脸重建方法,通过定制高斯-牛顿求解器实现快速收敛,在NeRSemble SVFR基准上精度顶尖,在线跟踪帧率超80 FPS,离线序列重建速度较基线快20倍以上。
2026-08-11 cs.CV
Highly accurate gaze estimation using a consumer RGB-depth sensor
Université Laval(拉瓦尔大学);University of St Andrews(圣安德鲁斯大学)
确定一个人正在看的方向是一个重要的问题,在广泛的人机交互应用。在本文中,我们描述了一个高度准确的算法,使用一个负担得起的和广泛使用的设备,如Kinect进行凝视估计。我们提出的方法开始进行准确的头部姿态估计,通过拟合一个人特定的变形模型的脸的深度数据。通过将拟合目标函数制定为在准确或快速拟合方面表现出色的项的组合,然后在整个拟合过程中自适应地调整它们的相对贡献,同时满足了通常相互竞争的高准确度和高速度要求。在姿态估计之后,通过将拟合模型重新渲染为正面人脸来完成姿态归一化。最后,通过从合成的归一化图像中的眼睛的外观回归来获得注视估计。使用EYEDIAP,从RGB-D数据的凝视估计算法的评估的标准公共数据集,我们证明了我们的方法大大优于最先进的。
2016-04-05 cs.CV
Pushing the Envelope for RGB-based Dense 3D Hand Pose Estimation via Neural Rendering
Imperial College London(帝国理工学院);UNIST(蔚山科学技术院)
由于固有的2D-3D映射模糊性和有限的训练数据,从单个RGB图像估计3D手部网格具有挑战性。我们采用了一个紧凑的参数化三维手模型,代表可变形和关节手网格。为了实现RGB图像的模型拟合,我们在三个方面进行了研究和贡献:1)神经渲染:受最近人体工作的启发,我们的手部网格估计器(HME)由神经网络和可微分渲染器实现,由2D分割掩码和3D骨架监督。HME在估计不同的手形方面表现出良好的性能,并提高了姿态估计精度。2)迭代测试细化:我们的拟合函数是可微的。我们使用梯度迭代地改进初始估计,本着迭代模型拟合方法(如ICP)的精神。这一想法得到了最新人体研究的支持。3)自数据增强:收集用于训练的大小的RGB网格(或分割掩码)-骨架三元组是一个很大的障碍。一旦模型成功地拟合到输入RGB图像,它的网格,即形状和关节,是真实的,我们在估计的密集手部姿势之上增加视点。使用三个基于RGB的基准测试的实验表明,我们的框架在3D姿态估计方面提供了超越最先进的精度,并恢复了密集的3D手部形状。上述每个技术组件都有意义地提高了消融研究的准确性。
2019-04-09 cs.CV
ETCH-X: Robustify Expressive Body Fitting to Clothed Humans with Composable Datasets
Zhejiang University(浙江大学);Westlake University(西湖大学);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学);Nanjing University(南京大学)
本文提出ETCH-X,通过引入紧致性感知拟合范式、SMPL-X扩展和隐式密集对应关系,提升身体拟合的鲁棒性和细节表达,实现对衣物动态、姿态变化和噪声输入的高效处理。
2026-04-10 cs.CV
AlignSDF: Pose-Aligned Signed Distance Fields for Hand-Object Reconstruction
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research Univ.(巴黎文理研究大学);Deepmind(深度思维)
最近的工作取得了令人印象深刻的进展,从单目彩色图像的手和操纵对象的关节重建。现有方法侧重于参数网格或有符号距离场(SDF)的两种替代表示。一方面,参数化模型可以受益于先验知识,但代价是有限的形状变形和网格分辨率。因此,网格模型可能无法精确地重建细节,如手和物体的接触表面。另一方面,基于SDF的方法可以表示任意的细节,但缺乏明确的先验知识。在这项工作中,我们的目标是改善SDF模型使用参数表示提供的先验。特别是,我们提出了一个联合学习框架,解开姿势和形状。我们从参数化模型中获得手和物体的姿势,并使用它们在3D空间中对齐SDF。我们表明,这种对齐的SDF更好地专注于重建形状的细节,提高重建精度的手和对象。我们评估了我们的方法,并证明了具有挑战性的ObMan和DexYCB基准的最先进的显着改进。
2022-07-26 cs.CV
Object Level Depth Reconstruction for Category Level 6D Object Pose Estimation From Monocular RGB Image
Renmin University of China(中国人民大学);Nanjing University of Science and Technology(南京理工大学);Nreal;Tsinghua University(清华大学)
最近,基于RGBD的类别级6D对象姿态估计在性能上取得了有希望的改进,然而,对深度信息的要求阻碍了更广泛的应用。为了解决这个问题,本文提出了一种新的方法命名为对象级深度重建网络(OLD-Net),仅以RGB图像作为输入的类别级6D对象位姿估计。我们建议通过将类别级形状变形为对象级深度和规范的NOCS表示来直接从单目RGB图像预测对象级深度。引入了两个新的模块,即归一化全球位置提示(NGPH)和形状感知解耦深度重建(SDDR)模块,以学习高保真的对象级深度和精细的形状表示。最后,通过将预测的规范表示与反向投影的对象级深度对齐来求解6D对象姿态。在具有挑战性的CAMERA 25和REAL 275数据集上进行的大量实验表明,我们的模型虽然简单,但具有最先进的性能。
2022-08-28 cs.CV
Chasing the Tail in Monocular 3D Human Reconstruction with Prototype Memory
深度神经网络在单图像三维人体重建方面取得了很大进展。然而,现有的方法仍然不足以预测罕见的姿势。这是因为目前大多数模型都是基于单个人体原型进行回归的,这与常见姿势相似,而与罕见姿势相差甚远。在这项工作中,我们1)识别和分析这种学习障碍,2)提出了一个原型记忆增强网络,PM-Net,有效地提高了预测罕见姿势的性能。我们的框架的核心是一个记忆模块,它学习和存储一组3D人体原型,捕获常见姿势或罕见姿势的局部分布。使用这种公式,回归从更好的初始化开始,这相对更容易收敛。在几个广泛使用的数据集上进行的大量实验表明,与其他最先进的方法相比,所提出的框架是有效的。值得注意的是,我们的方法显着提高了模型在罕见姿势上的性能,同时在其他样本上产生了可比较的结果。
2020-12-29 cs.CV
Unsupervised 3D Pose Transfer with Cross Consistency and Dual Reconstruction
Nanyang Technological University(南洋理工大学)
3D姿态转移的目标是将姿态从源网格转移到目标网格,同时保留身份信息(例如,面部、身体形状)。基于深度学习的方法提高了3D姿态传输的效率和性能。然而,他们中的大多数人都是在地面实况的监督下接受培训的,而地面实况的可用性在现实世界中是有限的。在这项工作中,我们提出了X-DualNet,这是一种简单而有效的方法,可以实现无监督的3D姿态传输。在X-DualNet中,我们引入了一个生成器$G$,它包含了对应学习和位姿转换模块来实现3D位姿转换。我们通过解决一个没有任何关键点注释的最优传输问题来学习形状对应关系,并在姿势传输模块中使用我们的弹性实例归一化(ElaIN)生成高质量的网格。以$G$为基本构件,提出了交叉一致性学习方案和双重重建目标,以在无监督的情况下学习姿态转移。除此之外,我们还在训练过程中采用尽可能刚性的变形器来微调生成结果的身体形状。对人类和动物数据的广泛实验表明,我们的框架可以成功地实现与最先进的监督方法相当的性能。
2023-03-16 cs.CV
SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction
ETH Zürich(苏黎世联邦理工学院);University of Würzburg(维尔茨堡大学)
NeRFmm是处理联合优化任务的神经辐射场(NeRF),即,重建真实世界场景并同时注册相机参数。尽管NeRFmm产生精确的场景合成和姿态估计,但它仍然难以在具有挑战性的场景中超越完整注释的基线。在这项工作中,我们发现,存在一个系统的次最优联合优化,并进一步确定多个潜在的来源,以减少潜在的影响,我们提出了正弦神经辐射场(SiNeRF),利用正弦激活辐射映射和一种新的混合区域采样(MRS)有效地选择射线批次。定量和定性的结果表明,与NeRFmm相比,SiNeRF在图像合成质量和姿态估计精度方面取得了全面的显着改善。代码可在https://github.com/yitongx/sinerf上获得。
2022-10-10 cs.CV
GSNet: Joint Vehicle Pose and Shape Reconstruction with Geometrical and Scene-aware Supervision
The Hong Kong University of Science and Technology(香港科技大学);Kwai Inc.(快手公司)
我们提出了一个新的端到端的框架命名为GSNet(几何和场景感知网络),它联合估计6DoF姿态和重建详细的3D汽车形状从单一的城市街景。GSNet采用独特的四向特征提取和融合方案,并在单次向前传递中直接回归6DoF姿势和形状。大量的实验表明,我们的多样性特征提取和融合方案可以大大提高模型的性能。GSNet基于分而治之的3D形状表示策略,重建具有非常详细的3D车辆形状(1352个顶点和2700个面)。这种密集的网格表示进一步引导我们考虑几何一致性和场景上下文,并启发了一种新的多目标损失函数来正则化网络训练,这反过来又提高了6D姿态估计的准确性,并验证了联合执行这两项任务的优点。我们在最大的多任务ApolloCar3D基准上评估GSNet,并在定量和定性方面实现了最先进的性能。项目页面可在https://lkeab.github.io/gsnet/上找到。
2020-07-26 cs.CV
End-to-End Human Pose and Mesh Reconstruction with Transformers
Microsoft(微软)
我们提出了一种新的方法,称为MEsh TRansfOrmer(METRO),重建三维人体姿势和网格顶点从一个单一的图像。我们的方法使用一个Transformer编码器来联合建模顶点-顶点和顶点-关节的相互作用,并同时输出3D关节坐标和网格顶点。与现有的姿态和形状参数回归技术相比,METRO不依赖于任何参数化网格模型,如SMPL,因此它可以很容易地扩展到其他对象,如手。我们进一步放松了网格拓扑结构,并允许Transformer自我注意力机制自由地参与任何两个顶点之间,使得学习网格顶点和关节之间的非局部关系成为可能。通过提出的掩码顶点建模,我们的方法在处理部分遮挡等具有挑战性的情况时更加鲁棒和有效。METRO在公共Human3.6M和3DPW数据集上为人体网格重建生成新的最先进的结果。此外,我们证明了METRO在野外3D手部重建中的通用性,在FreiHAND数据集上优于现有的最先进的方法。代码和预训练模型可在www.example.com上获得。
2021-06-15 cs.CV
Disjoint Pose and Shape for 3D Face Reconstruction
University of California Santa Cruz(加州大学圣克鲁兹分校)
针对少视角下三维人脸重建精度低、优化不稳定的问题,提出姿态与形状解耦的端到端流水线,结合形状先验、立体匹配与3DMM,实现拓扑一致与姿态迭代优化,效果优于现有SOTA方法。
2023-08-26 cs.CV
NoPo-Avatar: Generalizable and Animatable Avatars from Sparse Inputs without Human Poses
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
NoPo-Avatar通过仅使用图像输入,无需姿态信息,实现了从稀疏输入中生成通用且可动画化的3D人体avatar,提升了在噪声姿态下的鲁棒性和广泛应用性。
2025-11-20 cs.CV
hSMAL: Detailed Horse Shape and Pose Reconstruction for Motion Pattern Recognition
KTH(瑞典皇家理工学院);MPI Intelligent Systems(马克斯·普朗克智能系统研究所);Univrses AB(Univrses公司);SLU(瑞典农业科学大学);Silo AI(Silo AI公司);IMATI-CNR(意大利国家研究委员会应用数学与信息技术研究所)
在本文中,我们提出了我们的初步工作,基于模型的行为分析的马运动。我们的方法是基于SMAL模型,一个3D铰接的动物形状的统计模型。我们定义了一个新的SMAL模型的基础上,一个新的模板,骨架和形状空间的马从$37$马玩具。我们测试了我们的hSMAL模型在从3D mocap数据和图像重建马的准确性。我们将hSMAL模型应用于视频中的跛行检测问题,其中我们将模型拟合到图像中以恢复3D姿态并在姿态数据上训练ST-GCN网络。与在mocap点上训练的相同网络的比较说明了我们方法的好处。
2021-06-18 cs.CV
R3-Avatar: Record and Retrieve Temporal Codebook for Reconstructing Photorealistic Human Avatars
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Tokyo(东京大学);Beihang University(北京航空航天大学)
本文提出 R3-Avatar,通过时间码本记录外观并按相似姿态检索,实现兼顾可动画性与照片级真实感的人体化身重建。
2025-03-17 cs.CV
POSEFusion: Pose-guided Selective Fusion for Single-view Human Volumetric Capture
Tsinghua University(清华大学);Google(谷歌)
我们提出了姿势引导选择性融合(POSEFusion),一种单视图人体体积捕获方法,利用基于跟踪的方法和无跟踪推理来实现高保真和动态的3D重建。通过提出一种新的重构框架,该框架包含姿态引导的关键帧选择和鲁棒的隐式曲面融合,该方法充分利用了基于跟踪的方法和无需跟踪的推理方法的优点,最终实现了动态曲面细节的高保真重构,即使是在不可见区域。我们制定的关键帧选择作为一个动态规划问题,以保证重建序列的时间连续性。此外,新的鲁棒隐式曲面融合涉及一个自适应的混合权重,以保持高保真的表面细节和自动碰撞处理方法来处理潜在的自碰撞。总体而言,我们的方法可以从单个RGBD相机在可见和不可见区域中进行高保真和动态捕获,结果和实验表明,我们的方法优于最先进的方法。
2021-03-29 cs.CV
Reconstructing NBA Players
University of Washington(华盛顿大学)
从一张照片中进行三维人体姿态和形状估计已经取得了很大的进展。然而,由于具有挑战性的身体姿势、建模服装和自我遮挡,最先进的结果仍然存在误差。篮球比赛领域特别具有挑战性,因为它展示了所有这些挑战。在本文中,我们介绍了一种新的方法重建的篮球运动员,优于国家的最先进的。我们的方法的关键是一种新的方法,用于创建poseable,皮肤模型的NBA球员,和一个大型数据库的网格(来自NBA2K19视频游戏),我们正在发布的研究社区。基于这些模型,我们介绍了一种新的方法,作为输入的一张照片的穿着球员在任何篮球姿势,并输出一个高分辨率的网格和3D姿态的球员。我们证明了国家的最先进的,单一的图像的身体形状重建的方法有很大的改善。
2020-07-27 cs.CV
Learning Transferable Kinematic Dictionary for 3D Human Pose and Shape Reconstruction
Shanghai Jiao Tong University(上海交通大学);OPPO US Research Center(OPPO美国研究中心)
从单个图像估计3D人体姿势和形状是高度欠约束的。为了解决这种模糊性,我们提出了一种新的先验知识,即运动字典,它明确地正则化了运动树中人体关节的相对3D旋转的解空间。结合统计人体模型和深度神经网络,我们的方法实现了端到端的3D重建,而无需在神经网络的训练过程中使用任何形状注释。运动学字典弥合了野外图像和3D数据集之间的差距,从而促进了所有类型数据集的端到端训练。该方法在包括Human3.6M,MPI-INF-3DHP和LSP在内的大规模数据集上取得了有竞争力的结果,同时在给定人体边界框的情况下实时运行。
2021-04-21 cs.CV
Robust SG-NeRF: Robust Scene Graph Aided Neural Surface Reconstruction
HKUST(GZ)(香港科技大学(广州))
本文提出鲁棒SG-NeRF,通过内点-外点置信度估计、分离颜色网络、重投影损失及蒙特卡洛重定位,有效缓解外点相机位姿对神经表面重建的影响,在SG-NeRF和DTU数据集上持续提升重建质量与位姿精度。
2024-11-20 cs.CV