AlignSDF: Pose-Aligned Signed Distance Fields for Hand-Object Reconstruction
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research Univ.（巴黎文理研究大学）；Deepmind（深度思维）
最近的工作取得了令人印象深刻的进展，从单目彩色图像的手和操纵对象的关节重建。现有方法侧重于参数网格或有符号距离场（SDF）的两种替代表示。一方面，参数化模型可以受益于先验知识，但代价是有限的形状变形和网格分辨率。因此，网格模型可能无法精确地重建细节，如手和物体的接触表面。另一方面，基于SDF的方法可以表示任意的细节，但缺乏明确的先验知识。在这项工作中，我们的目标是改善SDF模型使用参数表示提供的先验。特别是，我们提出了一个联合学习框架，解开姿势和形状。我们从参数化模型中获得手和物体的姿势，并使用它们在3D空间中对齐SDF。我们表明，这种对齐的SDF更好地专注于重建形状的细节，提高重建精度的手和对象。我们评估了我们的方法，并证明了具有挑战性的ObMan和DexYCB基准的最先进的显着改进。
2022-07-26 cs.CV
Uncertainty Quantification for Visual Object Pose Estimation: S-Lemma Ellipsoidal Bounds
Massachusetts Institute of Technology（麻省理工学院）
SLUE通过凸优化方法为视觉目标姿态估计提供高概率的椭球不确定性界，有效缩小平移界限并保持方向精度。
2026-08-04 cs.CV cs.RO
Pixel2ISDF: Implicit Signed Distance Fields based Human Body Model from Multi-view and Multi-pose Images
Dalian University of Technology（大连理工大学）；University of California, Merced（加州大学默塞德分校）；Northwestern Polytechnical University（西北工业大学）；ZMO AI Inc.（ZMO人工智能公司）
在这份报告中，我们专注于重建在规范空间中的多个视图和姿势的人作为输入的衣服的人。为了实现这一点，我们利用SMPLX模型在规范空间中的几何先验来学习几何重建的隐式表示。基于观察到的构成网格和规范空间中的网格之间的拓扑结构是一致的，我们提出了学习潜在代码的构成网格利用多个输入图像，然后分配潜在代码的规范空间中的网格。具体来说，我们首先利用法线和几何网络来提取SMPLX网格上每个顶点的特征向量。与2D图像相比，法线映射被采用以更好地泛化到不可见的图像。然后，从多个图像的姿态网格上的每个顶点的特征是由MLP集成。作为潜在代码的集成功能锚定到SMPLX网格在规范空间。最后，每个三维点的潜在代码被提取并用于计算SDF。我们的工作，重建人体形状的规范姿势达到第三次性能的WCPA MVP-人体挑战赛。
2022-12-06 cs.CV
SDFEst: Categorical Pose and Shape Estimation of Objects from RGB-D using Signed Distance Fields
KTH Royal Institute of Technology（KTH皇家理工学院）
对世界的丰富几何理解是许多机器人应用（如规划和操作）的重要组成部分。在本文中，我们提出了一个模块化的管道，从RGB-D图像给定其类别的对象的姿态和形状估计。我们的方法的核心是一个生成的形状模型，我们将其与一个新的初始化网络和一个可微分的渲染器集成，以实现从单个或多个视图的6D姿态和形状估计。我们调查使用离散签署的距离场作为一个有效的形状表示快速分析合成优化。我们的模块化框架支持多视图优化和可扩展性。我们证明了我们的方法的好处，在几个实验中的合成和真实数据的国家的最先进的方法。我们在https://github.com/roym899/sdfest上公开了我们的方法。
2022-07-11 cs.CV cs.RO
gSDF: Geometry-Driven Signed Distance Functions for 3D Hand-Object Reconstruction
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research Univ.（巴黎文理研究大学）
本文提出gSDF，利用手部与物体姿态、运动链及几何对齐引导SDF从单目RGB图像重建手物，并结合时序信息提升遮挡与运动模糊鲁棒性，在ObMan和DexYCB上显著优于现有方法。
2023-04-24 cs.CV
An Open-Source Gloss-Based Baseline for Spoken to Signed Language Translation
Bar-Ilan University（巴伊兰大学）；University of Zurich（苏黎世大学）
本文提出一个开源的口语到手语翻译基线系统，通过文本到注释、注释到姿态再到视频的流水线，支持德语、法语和意大利语到瑞士手语的转换，并组合词形还原、规则重排和神经机器翻译三种方法。
2023-05-28 cs.CL cs.CV
3D-Aware Ellipse Prediction for Object-Based Camera Pose Estimation
Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种粗略的相机姿态计算方法，它是强大的观看条件，并不需要一个详细的场景模型。这种方法满足了在任何环境中轻松部署机器人或增强现实应用的日益增长的需求，特别是那些没有精确的3D模型或大量地面实况数据的环境。它利用了深度学习技术的能力，无论观看条件如何，都能可靠地检测物体。以前的作品也表明，抽象的几何形状的场景中的对象的椭圆云允许计算相机姿态足够准确地满足各种应用的需要。虽然有前途，这些方法使用椭圆拟合到检测边界框作为近似的成像对象。在本文中，我们更进一步，提出了一种基于学习的方法，该方法检测改进的椭圆近似的物体是一致的3D椭球体的透视投影。实验证明，由于我们的方法，计算的姿态的准确性显着增加，并且对检测框的边界的变化更鲁棒。这在获取训练数据方面几乎不需要付出努力就可以实现--几百个校准图像，其中只有三个需要手动对象注释。代码和模型在https://github.com/zinsmatt/3D-Aware-Ellipses-for-Visual-Localization上发布。
2021-05-24 cs.CV
Learning Compact Latent Space for Representing Neural Signed Distance Functions with High-fidelity Geometry Details
针对多个高保真几何细节神经符号距离函数（SDFs）分析时的潜在空间信息有限与细节丢失问题，提出结合泛化和过拟合学习策略的公共空间表示方法，辅以新颖采样策略，在基准测试中展现更优的表示能力与紧凑性。
2025-11-18 cs.CV
ESLAM: Efficient Dense SLAM System Based on Hybrid Representation of Signed Distance Fields
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；ams OSRAM（艾迈斯欧司朗）；University of Geneva（日内瓦大学）
ESLAM是一种高效稠密视觉SLAM方法，通过融合NeRF技术，利用多尺度轴对齐特征平面和浅层解码器表示场景，在无需预训练的情况下，将3D重建和相机定位精度提升50%以上，速度最多快10倍。
2023-04-03 cs.CV
PROD: Palpative Reconstruction of Deformable Objects through Elastostatic Signed Distance Functions
Beckman Institute of Advanced Science and Technology, University of Illinois Urbana-Champaign（贝克曼先进科学与技术研究所，伊利诺伊大学厄巴纳-香槟分校）
本文提出PROD方法，通过力控触诊交互和弹性静力学符号距离函数，从稀疏位姿与力测量中重建可变形物体的形状和材料刚度，并证明其在多种误差条件下具有鲁棒性。
2025-08-18 cs.CV cs.RO
Compact 3D Gaussian Splatting For Dense Visual SLAM
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）；The University of Tokyo（东京大学）；Harvard University（哈佛大学）；University of Cambridge（剑桥大学）
本文提出紧凑的3D高斯散射SLAM系统，通过滑动窗口遮罩策略和几何代码本压缩高斯参数，提升训练和渲染速度，保持高质量场景表示。
2026-05-13 cs.CV cs.RO
Geometric implicit neural representations for signed distance functions
本文综述了利用微分几何正则化改进有符号距离函数隐式神经表示的方法，重点分析几何损失函数与采样方案，并总结了其在点云和图像表面重建中的进展。
2025-11-10 cs.CG cs.CV cs.GR
PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction
Beijing University of Posts and Telecommunications（北京邮电大学）
针对反射和无纹理表面多视图三维重建中因视觉特征不足导致的相机姿态校准与形状重建失败问题，提出PMNI方法，利用表面法线图整合几何信息，在神经SDF框架内同步恢复准确姿态与高保真表面，性能达最优。
2025-04-14 cs.CV
Semantic Object-level Modeling for Robust Visual Camera Relocalization
Beijing Institute of Technology（北京理工大学）
提出自动物体级体素建模方法实现精确椭球表示，并设计位姿优化策略利用2D与3D投影特性，集成至视觉SLAM系统，显著提升了视觉重定位对新视角的鲁棒性。
2024-02-10 cs.CV cs.RO
Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles with Adaptive Truncated Signed Distance Function
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
大规模三维重建、纹理化和语义映射在自动驾驶汽车、虚拟现实和数据自动生成等领域有着广泛的应用。然而，大多数方法都是针对具有彩色密集点云的RGB-D相机开发的，并且不适用于使用稀疏LiDAR点云的大规模户外环境。由于3D表面通常可以从具有不同视图姿态的多个相机图像中观察到，因此用于纹理化的最佳图像块选择和用于语义映射的最佳语义类估计仍然具有挑战性。为了解决这些问题，我们提出了一种新的三维重建，纹理和语义映射系统，使用激光雷达和相机传感器。提出了一种自适应截断符号距离函数来隐式地描述曲面，该函数可以处理不同的LiDAR点稀疏度，提高模型质量。从这个隐函数提取的三角形网格地图，然后纹理从一系列注册的相机图像，通过应用最佳图像补丁选择策略。此外，提出了一种基于马尔可夫随机场的数据融合方法来估计每个三角形网格的最佳语义类。我们的方法进行评估的合成数据集，KITTI数据集和数据集记录与我们的实验车辆。结果表明，使用我们的方法生成的3D模型比使用其他最先进的方法更准确。纹理和语义映射也取得了很好的效果。
2022-02-28 cs.CV
iSDF: Real-Time Neural Signed Distance Fields for Robot Perception
Imperial College London（帝国理工学院）；Meta AI；Reality Labs Research（现实实验室研究部门）
提出了一个用于实时的【形】符号距离场（SDF）重建的持续学习系统iSDF。给定来自移动相机的姿势深度图像流，它训练随机初始化的神经网络以将输入的3D坐标映射到近似的有符号距离。该模型是自我监督的，通过最小化损失，使用到一批主动采样的查询点中最近采样点的距离来限制预测的有符号距离。与之前基于体素网格的工作相比，我们的神经方法能够提供自适应的细节水平，并对部分观察区域进行合理的填充和对观察结果进行去噪，同时具有更紧凑的表示。在对室内环境的真实和合成数据集的替代方法的评估中，我们发现iSDF产生了更准确的重建，以及更好的碰撞成本和梯度近似值，这对从导航到操作的下游规划者非常有用。代码和视频结果可以在我们的项目页面上找到：https://joeaortiz.github.io/iSDF/。
2022-05-04 cs.CV cs.RO
3D Pose from Detections
Istituto Italiano di Tecnologia（意大利理工学院）
我们提出了一种新的方法来推断，在封闭的形式，一般的3D空间占用和方向的刚性对象的集合给定的2D图像检测从一系列图像。特别是，从2D椭圆拟合到边界框，这种新颖的多视图问题可以重新表述为在3D中的二次曲面（椭球）的估计。我们表明，一个有效的解决方案存在于双空间中使用最少的三个视图，而两个视图的解决方案是可能的，通过使用正则化。然而，在边界框估计中存在严重不准确的情况下，这种代数解可能受到负面影响。为此，我们还提出了一个强大的椭圆拟合算法，能够提高性能的存在错误的检测对象。合成测试和不同的真实数据集上的结果，涉及真正的挑战性的情况下，证明了我们的方法的适用性和潜力。
2015-07-20 cs.CV
Improved Signed Distance Function for 2D Real-time SLAM and Accurate Localization
Megvii (Face++) Technology Inc.（旷视（Face++）科技有限公司）；Northeastern University（东北大学）
精确的映射和定位对于许多工业机器人应用非常重要。在本文中，我们提出了一种改进的符号距离函数（SDF）的二维SLAM和纯定位，以提高映射和定位的准确性。为了实现这一目标，首先，我们改进了后端映射，建立一个更准确的SDF地图，通过扩大更新范围和建立自由空间等。其次，为了获得更准确的姿态估计的前端，我们提出了一种新的迭代配准方法，以对齐当前扫描到SDF子地图，通过删除随机离群值的激光扫描仪。第三，我们合并所有的SDF子地图，以产生一个集成的SDF地图，用于高精度的纯定位。实验结果表明，基于融合的SDF地图，定位精度可以达到几毫米（5mm）的地图内的全球范围内。我们认为，这种方法是重要的移动机器人工作的场景中，高定位精度的事项。
2021-01-20 cs.CV cs.RO
OA-SLAM: Leveraging Objects for Camera Relocalization in Visual SLAM
Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）；CNRS（法国国家科学研究中心）
在这项工作中，我们探讨了使用对象在同时定位与地图构建在看不见的世界，并提出了一个对象辅助系统（OA-SLAM）。更准确地说，我们表明，相比低级别的点，对象的主要好处在于他们的更高层次的语义和区分能力。相反，点具有比用于表示对象（长方体或椭圆体）的通用粗略模型更好的空间定位精度。我们表明，结合点和对象是非常感兴趣的，以解决问题的相机姿态恢复。我们的主要贡献是：（1）我们使用高级对象地标提高了SLAM系统的重新定位能力;（2）我们建立了一个自动系统，能够识别，跟踪和重建具有3D椭球的对象;（3）我们表明，基于对象的定位可以用于重新初始化或恢复相机跟踪。我们的全自动系统允许动态对象映射和增强的姿态跟踪恢复，我们认为这可以大大有利于AR社区。我们的实验表明，相机可以从经典方法失败的视点重新定位。我们证明，这种本地化允许SLAM系统继续工作，尽管跟踪丢失，这可能会经常发生与未启动的用户。我们的代码和测试数据在gitlab.inria.fr/tangram/oa-slam上发布。
2022-09-17 cs.CV
3D-Aware Object Localization using Gaussian Implicit Occupancy Function
University of Luxembourg（卢森堡大学）；SnT - Interdisciplinary Center for Security, Reliability and Trust（SnT——安全、可靠性与信任跨学科中心）
本文提出一种用于2D目标定位的3D感知椭圆标签方法，通过引入隐式高斯分布编码物体占据，并使用新颖的不可训练可微分层E-DSNT提取分布参数，在航天器姿态估计数据集上验证了其有效性。
2023-08-02 cs.CV
FIRe: Fast Inverse Rendering using Directional and Signed Distance Functions
TU Munich（慕尼黑工业大学）；MCML（慕尼黑计算数学与机器学习实验室）；Massachusetts Institute of Technology（麻省理工学院）；University of Bonn（波恩大学）；MPI Informatics（马克斯·普朗克信息学研究所）；SIC（萨尔信息中心）
针对神经3D隐式表示渲染时单光线需多次网络评估导致速度慢的问题，提出方向距离函数DDF，结合SDF实现单光线单次评估渲染，基于此的FIRe算法在单视图深度3D重建中精度更高且迭代速度快15倍以上。
2023-12-19 cs.CV cs.GR
SAMP: Shape and Motion Priors for 4D Vehicle Reconstruction
RWTH Aachen University（亚琛工业大学）
由于相机的投影感测原理、困难的表面特性（例如反射或透明度）以及图像之间的照明变化，从可移动平台推断3D中车辆的姿态和形状仍然是一项具有挑战性的任务。在本文中，我们建议使用三维形状和运动先验规则化的立体图像序列中的车辆的轨迹和形状的估计。我们用3D符号距离函数表示形状，并将它们嵌入到低维流形中。我们的优化方法允许施加一个共同的形状在所有的图像观测沿对象跟踪。我们采用运动模型将轨迹规则化为合理的对象运动。我们在KITTI数据集上评估了我们的方法，并在形状重建和姿态估计精度方面显示了最先进的结果。
2020-05-02 cs.CV
imGHUM: Implicit Generative Models of 3D Human Shape and Articulated Pose
我们提出了imGHUM，第一个整体生成模型的三维人体形状和关节姿势，表示为一个有符号的距离函数。与之前的工作相比，我们隐式地将整个人体建模为零水平集函数，而不使用显式模板网格。我们提出了一种新的网络架构和学习范式，这使得人们可以学习一个详细的隐式生成模型的人体姿势，形状和语义，与最先进的基于网格的模型。我们的模型具有所需的细节，如关节姿势，包括手部运动和面部表情，广泛的形状变化，并可以在任意分辨率和空间位置查询。此外，我们的模型附加了空间语义，使其能够直接建立不同形状实例之间的对应关系，从而使应用程序难以使用经典的隐式表示。在广泛的实验中，我们证明了模型的准确性和它的适用性，目前的研究问题。
2021-08-24 cs.CV cs.LG
iCaps: Iterative Category-level Object Pose and Shape Estimation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Washington（华盛顿大学）；NVIDIA（英伟达）
本文提出了一种类别级的6D对象姿态和形状估计方法iCaps，该方法允许跟踪类别中未见过对象的6D姿态并估计其3D形状。我们使用深度图像作为输入开发了一个类别级自动编码器网络，其中来自自动编码器的特征嵌入对类别中对象的姿态进行编码。自动编码器可以在粒子滤波框架中使用，以估计和跟踪类别中的对象的6D姿态。通过利用基于符号距离函数的隐式形状表示，我们构建了一个LatentNet来估计3D形状的潜在表示，给出了对象的估计姿态。然后，所估计的姿态和形状可以用于以迭代的方式彼此更新。我们的类别级6D对象姿态和形状估计管道仅需要2D检测和分割进行初始化。我们在公开的数据集上评估了我们的方法，并证明了其有效性。特别是，我们的方法在形状估计上达到了很高的精度。
2021-12-31 cs.CV cs.RO
VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis
Johns Hopkins University（约翰斯·霍普金斯大学）；ByteDance Inc.（字节跳动有限公司）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Freiburg（弗莱堡大学）
本研究提出采用体积高斯重建核作为几何基元的可微体积渲染器VoGE，配套近似闭式解与粗到细策略及CUDA实现，在多视觉任务上性能优于现有最先进方法。
2024-01-28 cs.CV cs.GR
Point2Pose: Occlusion-Recovering 6D Pose Tracking and 3D Reconstruction for Multiple Unknown Objects Via 2D Point Trackers
Point2Pose利用2D点跟踪器实现多未知物体的6D姿态跟踪与3D重建，在完全遮挡后能快速恢复，无需CAD模型或类别先验。
2026-08-27 cs.CV cs.RO
High-Quality RGB-D Reconstruction via Multi-View Uncalibrated Photometric Stereo and Gradient-SDF
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
精细的重建在许多应用中有很高的需求。然而，大多数现有的RGB-D重建方法依赖于预先计算的准确相机姿态来恢复详细的表面几何形状，其中在优化不同的量时需要调整表面的表示。在本文中，我们提出了一种新的基于多视图RGB-D的重建方法，通过利用梯度符号距离场（gradient-SDF）来处理相机姿态、光照、光照和表面法线估计。所提出的方法制定的图像渲染过程中使用特定的基于物理的模型（S）和优化的表面的数量在实际表面上使用其体积表示，而不是其他作品估计表面数量仅接近实际表面。为了验证我们的方法，我们调查两个基于物理的图像形成模型的自然光和点光源的应用。在合成数据集和真实数据集上的实验结果表明，该方法能够比现有技术更忠实地恢复曲面的高质量几何形状，并进一步提高了估计相机位姿的准确性。
2022-10-21 cs.CV
ViTaSCOPE: Visuo-tactile Implicit Representation for In-hand Pose and Extrinsic Contact Estimation
Robotics Department University of Michigan（密歇根大学机器人系）
针对局部含噪观测下手部位姿与外部接触估计难的问题，提出融合视触觉的神经隐式表征ViTaSCOPE，以有符号距离场和神经剪切场实现精准定位与接触配准，经仿真训练可零样本迁移到现实，适用于灵巧操作场景。
2025-06-13 cs.CV cs.RO
What's in your hands? 3D Reconstruction of Generic Objects in Hands
Carnegie Mellon University（卡内基梅隆大学）；Meta AI
我们的工作旨在重建一个单一的RGB图像的手持物体。与以前的作品，通常假设已知的3D模板，并减少问题的3D姿态估计，我们的工作重建通用的手持对象，而不知道他们的3D模板。我们的主要见解是，手的关节是高度预测的对象形状，我们提出了一种方法，有条件地重建的对象的基础上的关节和视觉输入。给定一幅描绘手持物体的图像，我们首先使用现成的系统来估计潜在的手部姿势，然后在归一化的以手为中心的坐标系中推断物体的形状。我们通过符号距离来参数化对象，符号距离由隐式网络推断，隐式网络利用来自视觉特征和发音感知坐标的信息来处理查询点。我们在三个数据集上进行了实验，结果表明我们的方法始终优于基线，并且能够重建一组不同的对象。我们分析了显式清晰度调节的好处和鲁棒性，并表明这允许手部姿势估计在测试时优化中进一步提高。
2022-04-14 cs.CV
Neural Active Structure-from-Motion in Dark and Textureless Environment
Kyushu University（九州大学）；Fujitsu Defense & National Security Limited（富士通防务与国家安全有限公司）
本文提出Active SfM方法，利用神经符号距离场对结构光系统进行体素形状全优化，在无纹理暗环境中仅凭稀疏投影图案同时实现场景重建与系统位姿估计。
2024-10-20 cs.CV
Occlusion-Aware 3D Hand-Object Pose Estimation with Masked AutoEncoders
National Engineering Research Center for Robot Visual Perception and Control Technology, School of Artificial Intelligence and Robotics, Hunan University（国家机器人视觉感知与控制技术工程研究中心，人工智能与机器人学院，湖南大学）；School of Architecture and Art, Central South University（建筑与艺术学院，中南大学）；Department of Computer Science and Software Engineering, The University of Western Australia（计算机科学与软件工程系，西澳大学）
提出HOMAE方法，通过目标聚焦掩码策略和隐式SDF与显式点云融合，解决手-物体交互中的严重遮挡问题，在DexYCB和HO3Dv2上达到最优性能。
2026-07-03 cs.CV
Ham2Pose: Animating Sign Language Notation into Pose Sequences
Reichman University（雷赫曼大学）；Bar-Ilan University（巴伊兰大学）
为实现听障与健听群体交流，提出首个将通用手语记谱法HamNoSys文本生成姿态序列的方法，用Transformer编码器结合时空信息生成预测，通过弱监督从非完整数据学习，提出nDTW度量并验证，代码已公开。
2025-04-14 cs.CL cs.CV
SDFit: 3D Object Pose and Shape by Fitting a Morphable SDF to a Single Image
University of Amsterdam（阿姆斯特丹大学）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
针对单图3D姿态形状恢复泛化差、缺反馈回路等问题，提出SDFit优化框架，结合可变形SDF、基础模型检索与2D-3D对应初始化，在遮挡等场景鲁棒性更优且无需重训练。
2025-07-31 cs.CV
Level-Set Parameters: Novel Representation for 3D Shape Analysis
AIML, The University of Adelaide（AIML，阿德莱德大学）；The Australian National University（澳大利亚国立大学）；University of Tübingen（图宾根大学）
本文提出以有符号距离函数的水平集参数作为连续三维形状表示，通过伪正态分布建模形状关联并用超网络生成位姿条件参数，在分类、检索和6D位姿估计中验证其有效性。
2025-07-25 cs.CV
Breaking the Rigid Prior: Towards Articulated 3D Anomaly Detection
ShanghaiTech University（上海科技大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出ArtiAD基准，通过15229个点云数据和六种结构异常类型，解决铰链或滑动关节物体的3D异常检测问题，引入SPA-SDF方法，通过连续姿态条件隐式场实现刚性先验的替代，提升检测性能。
2026-04-29 cs.CV
DCGrasp: Distance-aware Controllable Grasp Generation
提出DCGrasp系统，利用距离感知抓取能量项生成高质量、物理合理的3D手-物交互，支持灵活用户控制并泛化到多样物体和手形。
2026-10-27 cs.CV
NeuralGrasps: Learning Implicit Representations for Grasps of Multiple Robotic Hands
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；St. Mark’s School of Texas（德克萨斯圣马克学校）
我们引入了一个神经隐式表示从多个机器人手的物体的把握。多个机器人手的不同抓握被编码到共享的潜在空间中。每个隐向量被学习以根据两个3D形状的带符号距离函数解码为对象的3D形状和处于抓取姿势的机器人手的3D形状。此外，学习潜在空间中的距离度量以保持不同机器人手之间的抓握之间的相似性，其中抓握的相似性根据机器人手的接触区域来定义。这个属性使我们的方法，以转移掌握不同的抓手，包括人手之间，掌握转移有可能分享机器人之间的抓取技能，使机器人学习掌握技能从人类。此外，在我们的隐式表示中的物体和抓握的编码的有符号距离函数可以用于6D物体姿态估计，并从部分点云进行抓握接触优化，这使得机器人能够在现实世界中进行抓握。
2022-07-06 cs.AI cs.CV cs.LG
LISA: Learning Implicit Shape and Appearance of Hands
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）；Reality Labs, Meta（Meta现实实验室）
本文提出了一个无所不能的人手神经模型，命名为LISA。该模型可以准确地捕捉手的形状和外观，推广到任意的手主题，提供密集的表面对应，重建从图像中的野生和容易动画。我们训练LISA的形状和外观损失最小化的一个大的多视图RGB图像序列注释与粗糙的3D姿态的手骨架。对于手部局部坐标中的3D点，我们的模型独立地预测每个手部骨骼的颜色和有符号距离，然后使用预测的蒙皮权重组合每个骨骼的预测。形状、颜色和姿势表示通过设计被解开，允许仅估计或动画化选定的参数。我们的实验表明，LISA可以准确地重建一个动态的手从单目或多视图序列，实现了显着更高质量的重建手的形状相比，基线方法。项目页面：https://www.iri.upc.edu/people/ecorona/lisa/。
2022-04-04 cs.CV
Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing
University of Tübingen（图宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Facebook Reality Labs（Facebook现实实验室）
我们提出了神经广义内隐函数（Neural-GIF），以动画的人在服装作为身体姿势的函数。给定一系列不同姿势的扫描对象，我们学习为新姿势制作角色的动画。现有的方法依赖于人体（或衣服）的基于模板的表示。然而，这种模型通常具有固定和有限的分辨率，需要困难的数据预处理步骤，并且不能用于复杂的服装。我们从基于模板的方法中汲取灵感，这些方法将运动分解为关节和非刚性变形，但将此概念推广到隐式形状学习以获得更灵活的模型。我们学习将空间中的每个点映射到规范空间，在评估有符号距离场之前，将学习的变形场应用于非刚性效果的建模。我们的公式允许学习服装和软组织的复杂和非刚性变形，而不需要计算模板配准，因为它与当前的方法是常见的。Neural-GIF可以在原始3D扫描上进行训练，并重建详细的复杂表面几何形状和变形。此外，该模型可以推广到新的姿势。我们对来自不同公共数据集的各种服装风格的各种角色进行了评估，并在定量和定性方面显示出比基线方法的显着改进。我们还扩展了我们的模型，以多个形状设置。为了促进进一步的研究，我们将在https://virtualhumans.mpi-inf.mpg.de/neuralgif/上公开模型，代码和数据：
2021-08-20 cs.CV
Intrinsic3D: High-Quality 3D Reconstruction by Joint Appearance and Geometry Optimization with Spatially-Varying Lighting
NVIDIA（英伟达）；Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）
我们介绍了一种新的方法，以获得高品质的3D重建从消费者RGB-D传感器。我们的核心思想是同时优化在有符号距离场（SDF）中编码的几何体、自动选择的关键帧的纹理及其相机姿势以及材质和场景照明。为此，我们提出了一种联合表面重建方法，该方法是基于形状从阴影（SFS）技术，并利用空间变化的球谐函数（SVSH）的重建场景的子体积的估计。通过大量的例子和评估，我们证明了我们的方法大大提高了重建场景几何的细节水平，并有助于一致的表面纹理恢复。
2017-08-04 cs.CV
Watch It Move: Unsupervised Discovery of 3D Joints for Re-Posing of Articulated Objects
NVIDIA（英伟达）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在控制关节对象的姿态的同时渲染关节对象对于诸如虚拟现实或电影动画之类的应用是至关重要的。然而，操纵对象的姿势需要了解其底层结构，即其关节以及它们如何相互作用。不幸的是，假设结构是已知的，如现有的方法所做的那样，排除了在新的对象类别上工作的能力。我们建议通过观察它们从多个视图移动来学习以前看不见的铰接对象的外观和结构，没有关节注释监督或有关结构的信息。我们观察到，相对于彼此静止的3D点应该属于同一部分，并且相对于彼此移动的相邻部分必须通过关节连接。为了利用这一洞察力，我们将3D中的对象部分建模为椭球体，这使我们能够识别关节。我们将这种显式表示与隐式表示相结合，以补偿引入的近似。我们表明，我们的方法适用于不同的结构，从四足动物，单臂机器人，人类。
2022-04-06 cs.CV
HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural Networks
TU Kaiserslautern（凯泽斯劳滕工业大学）；DFKI（德国人工智能研究中心）；NUST Pakistan（巴基斯坦国立科技大学）；UPM Saudi Arabia（沙特阿拉伯乌姆·库拉大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
从单个深度图估计3D手部形状和姿态是具有许多应用的新的且具有挑战性的计算机视觉问题。现有的方法解决它直接回归手网格通过2D卷积神经网络，这导致由于在图像中的透视失真的伪影。为了解决现有方法的局限性，我们开发了HandVoxNet++，即，基于体素的深度网络，具有以完全监督的方式训练的3D和图形卷积。我们网络的输入是基于截断符号距离函数（TSDF）的3D体素化深度图。HandVoxNet++依赖于两个手形表示。第一种是手部形状的3D体素化网格，它不保留网格拓扑结构，是最准确的表示。第二种表示是保持网格拓扑的手部表面。我们结合了这两种表示的优点，通过对齐的手表面的体素化的手的形状，无论是与一个新的神经图形卷积为基础的网格注册（GCN-网格注册）或经典的分段非刚性引力方法（NRGA++），不依赖于训练数据。在对三个公共基准的广泛评价中，SynHand 5 M、基于深度的HANDS 19挑战和HO-3D，建议的HandVoxNet++实现了最先进的性能。在CVPR 2020上提出的我们以前方法的期刊扩展中，我们在SynHand 5 M和HANDS 19数据集上分别获得了41.09%和13.7%的形状对齐精度。在2020年8月向门户网站提交结果时，我们的方法在HANDS 19挑战数据集（任务1：基于深度的3D手部姿势估计）中排名第一。
2021-12-05 cs.CV
SDT-6D: Fully Sparse Depth-Transformer for Staged End-to-End 6D Pose Estimation in Industrial Multi-View Bin Picking
Institute for Applications of Machine Learning and Intelligent Systems（机器学习与智能系统应用研究所）；University of Applied Science Munich（慕尼黑应用科学大学）
SDT-6D提出了一种基于稀疏深度-变换器的端到端6D姿态估计方法，通过分阶段热图机制和密度感知稀疏变换器块，实现高分辨率下的高效姿态预测。
2025-12-09 cs.CV cs.RO
ShapeICP: Iterative Category-level Object Pose and Shape Estimation from Depth
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（计算机科学与人工智能实验室，麻省理工学院）
针对单深度图类别级物体位姿形状估计的耦合难题，提出无需位姿标注数据的ShapeICP算法，采用带顶点连接的新型网格主动形状模型，基于迭代最近点实现，性能超越多数位姿数据驱动方法。
2025-10-05 cs.AI cs.CV cs.RO
Neural Correspondence Field for Object Pose Estimation
University at Buffalo（布法罗大学）；Reality Labs at Meta（Meta现实实验室）
我们提出了一种方法，用于从单个RGB图像中估计具有可用3D模型的刚性对象的6DoF姿态。与经典的基于对应关系的方法预测输入图像的像素处的3D对象坐标不同，所提出的方法预测相机截头体中采样的3D查询点处的3D对象坐标。从像素到3D点的移动受到最近用于3D重建的PIFu风格方法的启发，能够推理整个对象，包括其（自）遮挡部分。对于与像素对齐的图像特征相关联的3D查询点，我们训练全连接的神经网络来预测：（i）相应的3D对象坐标，以及（ii）到对象表面的带符号距离，其中第一个仅针对表面附近的查询点定义。我们把这种网络实现的映射称为神经对应场。然后通过Kabsch-RANSAC算法从预测的3D-3D对应关系中鲁棒地估计对象姿态。该方法在三个BOP数据集上实现了最先进的结果，特别是在具有遮挡的挑战性情况下表现出优越性。该项目的网址是：linhuang17.github.io/NCF。
2022-07-30 cs.AI cs.CV cs.LG
PRIF: Primary Ray-based Implicit Function
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）
我们介绍了一种新的隐式形状表示称为基于主光线的隐式函数（PRIF）。与大多数现有的基于符号距离函数（SDF）处理空间位置的方法相比，我们的表示操作定向射线。具体地说，PRIF被制定为直接产生给定输入光线的表面命中点，而不需要昂贵的球体跟踪操作，因此能够实现高效的形状提取和可微分渲染。我们证明了训练编码PRIF的神经网络在各种任务中取得了成功，包括单一形状表示，类别形状生成，稀疏或噪声观测的形状完成，相机姿态估计的逆渲染，以及彩色神经渲染。
2022-08-12 cs.CV cs.GR cs.LG
SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale
TTI-Chicago（芝加哥技术研究所）
SignMusketeers提出一种基于面部、手部和身体姿态多流输入的自监督高效手语翻译方法，通过单帧学习替代视频序列预训练，在How2Sign数据集上以不到3%的计算量取得与现有最优模型相当的翻译性能。
2025-06-03 cs.AI cs.CL cs.CV
