MonoArt: Progressive Structural Reasoning for Monocular Articulated 3D Reconstruction
S-Lab, Nanyang Technological University, 637335 Singapore（南洋理工大学S实验室）
MonoArt通过渐进结构推理实现单目关节3D重建，无需外部运动模板或多阶段流程，提升重建精度和推理速度，并扩展至机器人操作和关节场景重建。
2026-03-19 cs.CV
Articulated 3D Human-Object Interactions from RGB Videos: An Empirical Analysis of Approaches and Challenges
Simon Fraser University（西蒙弗雷泽大学）
与铰接对象的人-对象交互在日常生活中很常见。尽管在单视图3D重建方面取得了很大进展，但从显示操纵对象的人的RGB视频中推断出铰接的3D对象模型仍然具有挑战性。我们规范化的任务铰接三维人-物体交互重建从RGB视频，并进行了系统的基准测试的五个家庭的方法：3D平面估计，3D长方体估计，CAD模型拟合，隐式场拟合，和自由形式的网格拟合。我们的实验表明，所有的方法都很难获得高精度的结果，即使在提供有关观测对象的地面实况信息时。我们确定的关键因素，使这项任务具有挑战性，并建议未来的工作方向，这一具有挑战性的3D计算机视觉任务。视频摘要：https://www.youtube.com/watch? v=5tAlKBojZwc
2022-09-12 cs.CV
ArtMesh: Part-Aware Articulated Mesh Fields with Motion-Consistent Dynamics
University of California San Diego（加州大学圣地亚哥分校）；University of North Texas（北卡罗来纳州立大学）
ArtMesh通过构建基于网格的可微渲染基础，实现了从多视角图像中重建可变形物体的连接三角网格，并在100个新基准数据集上超越了现有3DGS方法。
2026-05-15 cs.CV
Neural Implicit Representation for Building Digital Twins of Unknown Articulated Objects
NVIDIA（英伟达）；Stanford University（斯坦福大学）
本文提出一种从两次RGBD扫描构建未知关节物体数字孪生的方法，通过两阶段重建物体形状并恢复部件分割与关节运动，显式建模点级对应关系，实现更准确稳定的结果且无需形状先验。
2024-06-06 cs.AI cs.CV cs.GR
ArtPro: Self-Supervised Articulated Object Reconstruction with Adaptive Integration of Mobility Proposals
Shandong University（山东大学）；Southwest University（西南大学）
ArtPro提出了一种自监督框架，通过自适应整合移动提案来解决传统方法在复杂多部件物体重建中的精度和稳定性问题，实验表明其在合成和真实物体上均表现优异。
2026-03-26 cs.CV
A-SDF: Learning Disentangled Signed Distance Functions for Articulated Shape Representation
UC San Diego（加州大学圣迭戈分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近的工作取得了显着的进展，使用隐式函数，作为一个连续的表示三维刚性物体的形状重建。然而，很少有人致力于建模一般铰接对象。与刚性对象相比，铰接对象具有更高的自由度，这使得难以概括为不可见的形状。为了处理大的形状变化，我们引入铰接符号距离函数（A-SDF）来表示铰接形状与解开的潜在空间，在那里我们有单独的编码形状和关节。我们假设没有关于零件几何形状、关节状态、关节类型、关节轴和关节位置的先验知识。有了这个解开的连续表示，我们证明了我们可以控制关节输入和动画看不见的关节角度看不见的实例。此外，我们提出了一个测试时自适应推理算法来调整我们的模型在推理。我们证明了我们的模型可以很好地推广到分布外和看不见的数据，例如，部分点云和真实世界的深度图像。
2021-04-15 cs.CV
Articulate your NeRF: Unsupervised articulated object modeling via conditional view synthesis
University of Edinburgh（爱丁堡大学）
本研究提出一种无监督关节物体建模方法，通过条件视图合成从两张不同姿态的物体观测中学习部件几何、外观、分割与关节运动，采用体素初始化和解耦优化提升性能，可推广至多部件物体且少视图即可高效训练。
2024-06-24 cs.CV
Reconstructing Articulated Rigged Models from RGB-D Videos
University of Bonn（波恩大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
虽然存在商业和开源软件来从用RGB-D传感器记录的序列重建静态对象，但缺乏构建逼真变形并可用于跟踪或动画的铰接对象的操纵模型的工具。在这项工作中，我们填补了这一空白，并提出了一种方法，创建一个完整的操纵模型的一个铰接对象从一个传感器的深度数据。为此，我们结合可变形网格跟踪，运动分割的基础上，谱聚类和基于平均曲率流。然后，完全装配的模型由防水网格、嵌入骨架和蒙皮权重组成。
2016-09-09 cs.CV
EfficientHuman: Efficient Training and Reconstruction of Moving Human using Articulated 2D Gaussian
Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）；Minzu University of China（民族大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对3DGS重建动态人体时多视角不一致、冗余高斯导致训练慢的问题，提出EfficientHuman模型，通过关节化2D高斯表面元+LBS变换及姿态校准等模块，在ZJU-MoCap数据集上实现平均1分钟内重建且比SOTA快20秒，还减少冗余高斯。
2025-04-29 cs.CV
StrobeNet: Category-Level Multiview Reconstruction of Articulated Objects
ShanghaiTech University（上海科技大学）；NVIDIA（英伟达）；Brown University（布朗大学）；Stanford University（斯坦福大学）
我们提出了StrobeNet，一种从一个或多个未设定的RGB图像进行类别级三维重建的方法。重建一般的铰接对象类别具有重要的应用，但具有挑战性，因为对象可以在形状、铰接、外观和拓扑结构上具有广泛的变化。我们解决这个问题的基础上建立的概念，类别级别的衔接规范化-映射观察到一个规范的衔接，使对应自由的多视图聚合。我们的端到端可训练神经网络可从一个或多个对象的无姿态图像中估计特征丰富的规范3D点云、关节连接和部件分割。这些中间估计用于生成最终的隐式3D重建。我们的方法即使在具有大基线的图像中以不同的关节观察对象时也可以重建对象，并且可以重建形状的动画。对不同对象类别的定量和定性评价表明，我们的方法能够实现高的重建精度，特别是当添加更多的视图时。
2021-05-17 cs.CG cs.CV
StructureGS: Structure-aware Gaussian Splatting for Articulated Object Reconstruction
POSTECH（浦项科技大学）
该研究针对关节物体重建中参数纠缠导致的部件分解缺陷，提出StructureGS框架，结合结构感知引导的3D高斯溅射，通过定向包围盒约束实现更优重建性能。
2026-07-30 cs.CV cs.GR cs.RO
ARAH: Animatable Volume Rendering of Articulated Human SDFs
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
将人体模型与可微分渲染相结合，最近已经使得能够从多视图RGB视频的稀疏集合中动画化穿着衣服的人的化身。虽然现有技术的方法利用神经辐射场（NeRF）实现了逼真的外观，但是由于缺少几何约束，推断的几何形状通常缺乏细节。此外，以分布外的姿势对化身进行动画制作还不可能，因为从观察空间到规范空间的映射没有忠实地推广到看不见的姿势。在这项工作中，我们解决了这些缺点，并提出了一个模型来创建可动画化的穿着人类化身与详细的几何形状，以及推广到分布构成。为了实现详细的几何形状，我们结合了一个铰接的隐式表面表示与体渲染。为了推广，我们提出了一种新的联合寻根算法，同时进行射线-曲面相交搜索和对应搜索。我们的算法可以实现高效的点采样和准确的点规范化，同时推广到看不见的姿势。我们证明，我们提出的管道可以从稀疏的多视图RGB视频集生成具有高质量姿势相关几何形状和外观的服装化身。我们的方法在几何和外观重建方面实现了最先进的性能，同时创建了可动画化的化身，这些化身可以很好地推广到少量训练姿势之外的分布姿势。
2022-10-18 cs.CV
Object Wake-up: 3D Object Rigging from a Single Image
University of Alberta（阿尔伯塔大学）；Huawei Hisilicon（华为海思）；Shanghai Jiao Tong University（上海交通大学）；University of Guelph（圭尔夫大学）
给定一个普通物体（如椅子）的单一图像，我们是否也可以恢复其类似于人类建模的三维形状，以便动画化其合理的关节和各种运动？这是一个有趣的新问题，可能具有许多下游增强现实和虚拟现实应用。与以前的工作相比，对象操作，我们的工作超越了二维操纵和刚性变形，并涉及关节操纵。为了实现这一目标，我们提出了一种自动化的方法来建立这样的3D通用对象从单个图像和嵌入关节骨架。具体来说，我们的框架首先从输入图像重建3D对象。之后，提取骨架的通用3D对象，我们开发了一种新的骨架预测方法，通过利用深隐函数的骨架概率场估计的多头结构。收集具有地面实况注释骨架的通用3D对象的数据集。从经验上讲，我们的方法在公共数据集以及我们的内部数据集上表现出令人满意的性能;我们的结果在3D重建和骨架预测方面都明显优于最先进的结果。
2022-07-06 cs.CV
A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose
University of British Columbia（不列颠哥伦比亚大学）；Facebook Reality Labs（Facebook现实实验室）
虽然深度学习通过前馈网络重塑了经典的运动捕捉流水线，但需要生成模型通过迭代细化来恢复精细对齐。不幸的是，现有的模型通常是手工制作的或在受控条件下学习的，仅适用于有限的领域。提出了一种通过扩展神经辐射场（NeRFs）从未标记的单目视频中学习生成神经体模型的方法。我们为它们配备了一个骨架，以应用于时变和关节运动。一个关键的见解是，隐式模型需要显式表面模型中使用的正运动学的逆。我们的reparameterization定义的空间潜变量相对于身体部位的姿势，从而克服了不适定的逆运算与overparameterization。这使得能够从头开始学习体积体型和外观，同时联合细化关节姿势;所有这些都没有输入视频上的外观，姿势或3D形状的地面真实标签。当用于新视图合成和运动捕捉时，我们的神经模型提高了不同数据集的准确性。项目网址：https://lemonatsu.github.io/anerf/。
2021-10-29 cs.CV cs.GR
DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）；NVIDIA Research（英伟达研究院）
获取和创建数字人化身是虚拟临场感、游戏和人体建模等应用中的一个重要问题。用于化身生成的大多数当代方法可以被视为基于3D的方法，其使用多视图数据来学习具有外观（诸如网格、隐式表面或体积）的3D表示，或者基于2D的方法，其学习化身的照片真实感渲染但缺乏准确的3D表示。在这项工作中，我们提出了，DRaCoN，一个框架，用于学习全身体积的化身，它利用了2D和3D神经渲染技术的优势。它由一个微分光栅化模块DiffRas组成，该模块合成目标图像的低分辨率版本以及由参数化身体模型指导的其他潜在特征。然后，DiffRas的输出被用作我们的条件神经3D表示模块（c-NeRF）的条件，该模块使用体积渲染生成最终的高分辨率图像以及身体几何形状。虽然DiffRas有助于获得照片般逼真的图像质量，但c-NeRF采用符号距离场（SDF）进行3D表示，有助于获得精细的3D几何细节。在具有挑战性的ZJU-MoCap和Human3.6M数据集上的实验表明，DRaCoN在错误度量和视觉质量方面都优于最先进的方法。
2022-03-29 cs.CV
GauHuman: Articulated Gaussian Splatting from Monocular Human Videos
Nanyang Technological University（南洋理工大学）
本文提出 GauHuman，通过标准空间高斯泼溅、LBS姿态变换、KL散度引导及高斯合并等策略，从单目视频快速重建可实时渲染的高质量三维人体。
2023-12-05 cs.CV
Reconstructing Compact Building Models from Point Clouds Using Deep Implicit Fields
Delft University of Technology（代尔夫特理工大学）；Technical University of Munich（慕尼黑工业大学）
虽然三维（3D）建筑模型在许多现实世界的应用中发挥着越来越重要的作用，但获得建筑物的紧凑表示仍然是一个悬而未决的问题。在本文中，我们提出了一种新的框架，从点云重建紧凑，防水，多边形建筑模型。我们的框架包括三个组成部分：（a）通过自适应空间划分生成单元复合体，该单元复合体提供多面体嵌入作为候选集;（b）通过深度神经网络学习隐式字段，以便于建筑物占用估计;（c）通过组合优化制定马尔可夫随机场以提取建筑物的外表面。我们评估和比较我们的方法与国家的最先进的方法，在通用的重建，基于模型的重建，几何简化，和原始装配。在合成和真实世界点云上的实验表明，通过我们的神经引导策略，可以获得高质量的建筑模型，在保真度，紧凑性和计算效率方面具有显着优势。我们的方法还显示了对噪声和测量不足的鲁棒性，并且可以直接从合成扫描推广到真实世界的测量。这个作品的源代码可以在https://github.com/chenzhaiyu/points2poly上免费获得。
2022-09-26 cs.CV cs.GR
Learning Part Motion of Articulated Objects Using Spatially Continuous Neural Implicit Representations
Peking University（北京大学）；School of Computer Science（计算机学院）
提出一种基于空间连续神经隐式表示的新框架，通过预测部件表面点的变换矩阵显式解耦铰接物体部件运动，能通用建模多种关节运动，实验证明其有效性。
2023-11-21 cs.CV
HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
HOLD提出首个类别无关的单目视频手-物体联合3D重建方法，通过组合式铰接隐式模型和手-物体约束，在无3D标注条件下超越全监督基线。
2023-11-30 cs.CV
Articulat3D: Reconstructing Articulated Digital Twins From Monocular Videos with Geometric and Motion Constraints
Wuhan University（武汉大学）；Hong Kong Embodied AI Lab（香港具身AI实验室）；The Chinese University of Hong Kong（香港中文大学）；Peking Union Medical College（北京协和医学院）；University of Macau（澳门大学）；Zhejiang University（浙江大学）
提出Articulat3D框架，通过运动先验初始化和几何运动约束优化，从单目视频重建高保真关节式数字孪生，在合成和真实数据上达到最优性能。
2026-06-25 cs.CV
Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；TU Braunschweig（布伦瑞克工业大学）
虽然许多工作都集中在从图像的三维重建，在本文中，我们专注于三维形状重建和完成从各种三维输入，这是在某些方面的不足：低和高分辨率的体素，稀疏和密集的点云，完整或不完整。这种3D输入的处理是一个越来越重要的问题，因为它们是3D扫描仪的输出，其变得越来越容易获得，并且是3D计算机视觉算法的中间输出。最近，学习的隐函数显示出很大的希望，因为它们产生连续的重建。然而，我们确定了从3D输入重建的两个限制：1）没有保留输入数据中存在的细节，以及2）对有关节的人的重建较差。为了解决这个问题，我们提出了隐式特征网络（IF-Nets），它提供连续的输出，可以处理多种拓扑结构，并为丢失或稀疏的输入数据提供完整的形状，保留最近学习的隐式函数的良好特性，但关键是它们还可以保留输入数据中存在的细节，并且可以重建有关节的人。我们的工作在两个关键方面不同于以前的工作。首先，我们不是使用单个向量来编码3D形状，而是提取可学习的深度特征的三维多尺度张量，该张量与嵌入形状的原始欧几里得空间对齐。其次，我们不是直接对x-y-z点坐标进行分类，而是对从连续查询点处的张量中提取的深度特征进行分类。我们表明，这迫使我们的模型作出决定的基础上的全球和局部形状结构，而不是点坐标，这是任意的欧几里得变换。实验表明，IF-Nets在ShapeNet中的3D对象重建方面明显优于先前的工作，并获得更准确的3D人体重建。
2020-04-15 cs.CV cs.LG
PARIS: Part-level Reconstruction and Motion Analysis for Articulated Objects
Simon Fraser University（西蒙弗雷泽大学）
提出自监督端到端框架 PARIS，仅凭两种状态的多视角图像联合完成关节物体部件级隐式重建与运动参数估计，并在多类别上显著超过点云输入方法。
2023-08-14 cs.AI cs.CV cs.GR
3D Implicit Transporter for Temporally Consistent Keypoint Discovery
Xi’an Research Institute of High-Tech（西安高技术研究所）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai AI Laboratory（上海人工智能实验室）；Institute of North Electronic Equipment（北方电子设备研究所）；Peng Cheng Laboratory（鹏城实验室）
针对3D关键点检测忽略时间一致性的问题，提出首个3D版本的Transporter，利用混合3D表示、交叉注意力和隐式重建学习时空一致的关键点，并成功应用于3D物体操作的闭环控制。
2023-09-10 cs.CV
GaussianArt: Unified Modeling of Geometry and Motion for Articulated Objects
BAAI（百度人工智能研究院）；AIR, THU（清华大学人工智能研究院）；NTU（国立台湾大学）；BIT（北京理工大学）；HUST（华中科技大学）
研究关节物体重建，此前方法解耦几何与运动，本文用关节3D高斯联合建模，提升运动分解鲁棒性，支持多达20个部件的物体，还提出新基准测试，实验表明该方法在多任务中精度更优。
2026-07-07 cs.CV
UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；ETAS GmbH（埃塔斯有限责任公司）；ETH Zurich（苏黎世联邦理工学院）
神经隐式3D表示已经成为从多视图图像重建表面和合成新视图的强大范例。不幸的是，现有的方法，如DVR或IDR需要准确的每像素对象掩模作为监督。与此同时，神经辐射场已经彻底改变了新的视图合成。然而，NeRF的估计体积密度不承认准确的表面重建。我们的主要见解是，隐式表面模型和辐射场可以制定一个统一的方式，使表面和体渲染渲染使用相同的模型。这种统一的视角实现了新颖的、更有效的采样过程，并且能够在没有输入掩模的情况下重建精确的表面。我们比较我们的方法在DTU，BlendedMVS和合成室内数据集。我们的实验表明，我们在重建质量方面优于NeRF，同时在不需要掩模的情况下与IDR不相上下。
2021-10-08 cs.CV
KineDiff3D: Kinematic-Aware Diffusion for Category-Level Articulated Object Shape Reconstruction and Generation
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）
本文提出 KineDiff3D 统一框架，结合 KA-VAE、双条件扩散模型与 Chamfer 距离迭代优化，实现单视图类别级关节物体重建、生成及运动学参数估计。
2025-10-20 cs.CV
Interaction-Driven Active 3D Reconstruction with Object Interiors
Shenzhen University（深圳大学）；Simon Fraser University（西蒙弗雷泽大学）
本文提出一种结合视觉感知、机器人交互与3D扫描的主动式3D重建方法，通过分析物体可交互性及关节结构，引导Fetch机器人操作物体扫描遮挡区域，实现了目标物体内外部几何的完整重建。并在实验中验证了其有效性。
2023-10-23 cs.CV
Dynamic Multi-View Scene Reconstruction Using Neural Implicit Surface
Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；TU Berlin（柏林工业大学）；HU Berlin（柏林洪堡大学）
重建一般动态场景对于许多计算机视觉和图形学应用是重要的。最近的工作表示动态场景与神经辐射场的真实感视图合成，而他们的表面几何是欠约束和噪声。其他作品引入表面约束的隐式神经表示解开静态场景重建的几何和外观场的模糊性。为了弥合渲染动态场景和恢复静态表面几何形状之间的差距，我们提出了一种无模板的方法来重建表面几何形状和外观，使用神经隐式表示从多视图视频。我们利用拓扑感知的变形和有符号的距离场，学习复杂的动态表面通过可微体渲染没有场景特定的先验知识，如模板模型。此外，我们提出了一种新的基于掩模的光线选择策略，以显着提高具有挑战性的时变区域的优化。在不同的多视点视频数据集上的实验表明，该方法实现了高逼真度的表面重建以及照片级真实感的新视图合成。
2023-02-28 cs.CV
Hierarchical Frequency-Domain Compression of Implicit Geometric Representations for Large-Scale Point Clouds
针对大规模点云压缩成本高的问题，提出统一框架，结合隐式几何场、分层频域压缩与条件高频预测，在超八百万点复杂点云上实现更高压缩比且保持重建质量。
2026-10-14 cs.CV
Neural Implicit 3D Shapes from Single Images with Spatial Patterns
Peking University（北京大学）；Shandong University（山东大学）
神经隐函数在从单个图像重建3D形状方面取得了令人印象深刻的结果。然而，当图像中存在遮挡、视图和外观的显著变化时，用于描述隐函数的3D点采样的图像特征不太有效。为了更好地编码图像特征，我们研究了几何感知卷积核，以利用所提出的\emph{spatial pattern}的点采样的几何关系，即，结构化点集。具体地，内核在来自空间图案的3D点的2D投影处操作。在空间模式的支持下，2D内核对对于3D重建任务至关重要的几何信息进行编码，而传统内核主要考虑外观信息。此外，为了使网络能够发现更多的自适应空间模式，以进一步捕获非本地上下文信息，内核被设计为可变形的空间模式生成器操纵。在人工数据集和真实数据集上的实验结果表明了该方法的优越性。预先训练的模型、代码和数据可在https://github.com/yixin26/SVR-SP上获得。
2022-01-31 cs.CV
FIND: An Unsupervised Implicit 3D Model of Articulated Human Feet
University of Cambridge（剑桥大学）；Department of Engineering（工程学院）；Machine Intelligence Lab（机器智能实验室）
本文提出高保真关节式人脚3D模型FIND，采用解耦潜在代码参数化，在弱监督下训练，并引入无监督部位损失以提升2D图像拟合，同时发布Foot3D数据集，优于PCA基线。
2025-03-24 cs.CV
imGHUM: Implicit Generative Models of 3D Human Shape and Articulated Pose
我们提出了imGHUM，第一个整体生成模型的三维人体形状和关节姿势，表示为一个有符号的距离函数。与之前的工作相比，我们隐式地将整个人体建模为零水平集函数，而不使用显式模板网格。我们提出了一种新的网络架构和学习范式，这使得人们可以学习一个详细的隐式生成模型的人体姿势，形状和语义，与最先进的基于网格的模型。我们的模型具有所需的细节，如关节姿势，包括手部运动和面部表情，广泛的形状变化，并可以在任意分辨率和空间位置查询。此外，我们的模型附加了空间语义，使其能够直接建立不同形状实例之间的对应关系，从而使应用程序难以使用经典的隐式表示。在广泛的实验中，我们证明了模型的准确性和它的适用性，目前的研究问题。
2021-08-24 cs.CV cs.LG
Convolutional Occupancy Networks
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所（蒂宾根））；University of Tübingen（蒂宾根大学）；Amazon, Tübingen（亚马逊（蒂宾根））；Microsoft（微软）
最近，隐式神经表征在基于学习的3D重建中越来越受欢迎。虽然展示了有希望的结果，但大多数隐式方法仅限于单个对象的简单几何形状，并且不能扩展到更复杂或大规模的场景。隐式方法的关键限制因素是其简单的全连接网络架构，该架构不允许在观测中整合局部信息或纳入诸如平移等方差的归纳偏差。在本文中，我们提出了卷积占用网络，一个更灵活的隐式表示的详细重建对象和3D场景。通过将卷积编码器与隐式占用解码器相结合，我们的模型引入了归纳偏差，从而实现了3D空间中的结构化推理。我们调查所提出的表示的有效性，通过重建复杂的几何噪声点云和低分辨率体素表示。我们的经验发现，我们的方法使细粒度的隐式3D重建的单个对象，规模到大型室内场景，以及从合成到真实数据的推广。
2020-08-01 cs.CV
Neural Articulated Radiance Field
The University of Tokyo（东京大学）；Microsoft Research Asia（微软亚洲研究院）；RIKEN（理化学研究所）
我们提出了神经关节辐射场（NARF），一种新的可变形的3D表示从图像中学习的关节对象。虽然3D隐式表示的最新进展已经使得学习复杂对象的模型成为可能，但是学习铰接对象的姿势可控表示仍然是一个挑战，因为当前的方法需要3D形状监督并且无法呈现外观。在制定一个隐式表示的3D铰接对象，我们的方法只考虑刚性变换的最相关的对象部分在求解的辐射场在每个3D位置。以这种方式，所提出的方法表示姿态相关的变化，而不会显着增加的计算复杂性。NARF是完全可区分的，并且可以从具有姿势注释的图像中训练。此外，通过使用自动编码器，它可以学习对象类的多个实例的外观变化。实验表明，该方法是有效的，可以很好地推广到新的姿态。该代码可在https://github.com/nogu-atsu/NARF上进行研究
2021-08-18 cs.CV
COAP: Compositional Articulated Occupancy of People
ETH Zürich（苏黎世联邦理工学院）；Reality Labs Research（现实实验室研究部）
我们提出了一种新的神经隐式表示铰接人体。与显式模板网格相比，神经隐式身体表示提供了一种有效的机制来建模与环境的交互，这对于三维场景中的人体运动重建和合成至关重要。然而，现有的神经内隐机构遭受要么高度阐述的姿态或推理时间缓慢的泛化能力差。在这项工作中，我们观察到，有关人体的形状和运动学结构的先验知识可以利用，以提高泛化和效率。我们将全身几何结构分解为局部身体部位，并采用部分感知的编码器-解码器架构来学习神经关节占用，该神经关节占用对局部复杂变形进行建模。我们的局部形状编码器不仅代表相应的身体部位的身体变形，而且还代表相邻的身体部位。解码器结合了局部身体形状的几何约束，这显着提高了姿势泛化。我们证明，我们的模型是适合解决与3D环境的自相交和碰撞。定量和定性实验表明，我们的方法大大优于现有的解决方案，在效率和准确性。代码和模型可在https://neuralbodies.github.io/COAP/index.html上获得
2022-04-13 cs.CV
SRHand: Super-Resolving Hand Images and 3D Shapes via View/Pose-aware Neural Image Representations and Explicit 3D Meshes
School of Computing, KAIST（计算机学院，韩国科学技术院）
SRHand提出几何感知隐式图像函数，联合优化隐式表示与显式三维手部网格，从低分辨率图像实现多视角/姿态一致的高保真手部纹理与精细三维几何重建。
2025-09-26 cs.CV
DressRecon: Freeform 4D Human Reconstruction from Monocular Video
Carnegie Mellon University（卡内基梅隆大学）
针对单目视频中宽松衣物、手持物体交互的人体重建难题，提出DressRecon方法，结合通用人体先验与视频专属骨袋变形，解耦身体与衣物变形，实现高保真时间一致4D重建，效果优于现有技术。
2024-10-08 cs.CV
IPVNet: Learning Implicit Point-Voxel Features for Open-Surface 3D Reconstruction
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对开放表面3D重建易产生伪影、离群点的问题，提出融合点云与体素特征的隐式模型IPVNet，通过预测无符号距离实现高精度重建，性能优于现有方法且离群点更少。
2023-11-05 cs.CV cs.GR
Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）
表示为深度学习近似的隐式函数对于重建3D表面是强大的。但是，它们只能生成不可控制的静态曲面，因此通过编辑其姿势或形状参数来修改生成的模型的能力有限。然而，这些特征在为计算机图形学和计算机视觉构建灵活的模型中是必不可少的。在这项工作中，我们提出的方法，结合了细节丰富的隐式函数和参数表示，以重建的人，即使在服装的存在下，仍然可控和准确的3D模型。给定稀疏的3D点云采样的表面上的穿着的人，我们使用隐式部分网络（IP-网），以联合预测的外部3D表面的穿着的人，和内部的身体表面，和语义对应的参数化身体模型。我们随后使用对应关系将身体模型拟合到我们的内表面，然后将其非刚性变形（在参数化身体+位移模型下）到外表面，以捕获服装，面部和头发细节。在定量和定性实验与全身数据和手部扫描，我们表明，所提出的方法概括，是有效的，即使从单视图深度图像收集的不完整的点云。我们的模型和代码可以从http://virtualhumans.mpi-inf.mpg.de/ipnet下载。
2021-11-26 cs.CV
DySurface: Consistent 4D Surface Reconstruction via Bridging Explicit Gaussians and Implicit Functions
KAIST（韩国科学技术院）；Sungkyunkwan University（全北国立大学）
本文提出DySurface框架，通过连接显式高斯和隐式SDF，解决动态场景中几何表面重建的连续性问题，提升表面重建质量与边界完整性。
2026-10-01 cs.CV
PAD3R: Pose-Aware Dynamic 3D Reconstruction from Casual Videos
University of Maryland College Park（马里兰大学学院公园分校）
本文提出PAD3R，利用个性化位姿估计、image-to-3D先验、长期2D点跟踪与可微渲染，从无位姿随手拍单目视频中重建类别无关的高保真可变形3D物体。
2025-09-29 cs.CV
FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Informatics（马克斯·普朗克研究所（信息学））；Stanford University（斯坦福大学）；Microsoft（微软）；USI Lugano（USI卢加诺）
FunRec通过直接从第一人称RGB-D交互视频重建室内场景的3D数字双胞胎，实现了无需控制环境或多状态采集的交互式3D场景重建，提升了部分分割和重建精度。
2026-04-26 cs.CV
Mesh-Guided Neural Implicit Field Editing
City University of Hong Kong（香港城市大学）；Netflix Eyeline Studios（Netflix Eyeline工作室）；Google AR Perception（谷歌AR感知部门）；Microsoft Cloud + AI（微软云与人工智能部门）
本文提出以可微网格为引导编辑神经隐式场，结合八叉树优化实现细粒度几何与颜色修改，兼顾高质量渲染与灵活编辑能力。
2023-12-04 cs.CV
DeepCurrents: Learning Implicit Representations of Shapes with Boundaries
UC San Diego（加州大学圣地亚哥分校）；Massachusetts Institute of Technology（麻省理工学院）
最近的技术已经成功地将表面重建为由深度神经网络参数化的学习函数（例如带符号距离场）的水平集。然而，这些方法中的许多方法仅学习闭合曲面，并且无法重建具有边界曲线的形状。我们提出了一种混合形状表示，结合显式边界曲线与隐式学习内部。使用几何测度理论的机器，我们使用深度网络参数化电流，并使用随机梯度下降来解决最小曲面问题。通过根据目标几何形状来修改度量，例如，从网格或点云，我们可以使用这种方法来表示任意表面，学习隐式定义的形状与显式定义的边界曲线。我们进一步展示了学习家庭的形状共同参数化的边界曲线和潜在的代码。
2022-03-21 cs.CV cs.GR
An efficient iterative method for reconstructing surface from point clouds
University of Utah（犹他大学）
从点云数据重建曲面是计算机视觉中许多应用的基础步骤。在本文中，我们开发了一个有效的迭代法的变分模型的表面重建从点云。该表面隐式地由指示函数表示，然后基于这种表示使用热核卷积来近似能量泛函。然后，我们开发了一种新的迭代法，以尽量减少近似能量，并证明了在每次迭代过程中的能量衰减性质。然后，我们使用渐近展开，给出了所提出的算法和活动轮廓模型之间的连接。在二维和三维欧几里得空间中进行了大量的数值实验，结果表明，所提出的方法是简单、有效和准确的。
2020-05-25 cs.CV cs.NA math.NA
ClusteringSDF: Self-Organized Neural Implicit Surfaces for 3D Decomposition
Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）；Monash University（莫纳什大学）
提出ClusteringSDF方法，基于神经隐式表面SDF将分割渲染与体渲染集成，通过高效聚类机制利用预训练模型的带噪2D标签实现无监督3D分割与重建，在ScanNet和Replica上达到SOTA性能且大幅缩短训练时间。
2024-03-21 cs.CV
Automated Reconstruction of 3D Open Surfaces from Sparse Point Clouds
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
真实世界的3D数据可能包含由显著表面间隙定义的复杂细节。这些开放表面的自动重建（例如，非防水网格）对于混合现实应用中的环境合成来说是一个具有挑战性的问题。现有的基于学习的隐式重建技术可以在闭曲面重建上达到很高的保真度。然而，它们依赖于表面内部和外部之间的区别，使得它们无法重建开放表面。最近，一类新的隐式函数在通过回归无符号距离场来重建开放曲面方面显示出了希望。然而，这些方法依赖于原始数据的离散化表示，这会丢失重要的表面细节，并可能导致重建中的离群值。我们提出了IPVNet，这是一种基于学习的隐式模型，它通过利用原始点云数据及其离散体素对应物来预测3D空间中表面和查询点之间的无符号距离。在合成和真实世界公共数据集上的实验表明，IPVNet的性能优于现有技术，同时在重建中产生的离群值要少得多。
2023-01-18 cs.CV cs.GR
A Comparative Study of Neural Surface Reconstruction for Scientific Visualization
University of Notre Dame（圣母大学）；Wuhan University（武汉大学）
本研究比较了十种神经表面重建方法在科学可视化中的应用，发现NeuS2适合重建闭合表面，NeUDF在重建开放表面方面具潜力，并共享了基准数据集以推动该领域发展。
2024-07-30 cs.CV cs.GR
Optimizing Implicit Neural Representations from Point Clouds via Energy-Based Models
The University of Tokyo（东京大学）；KAUST（阿卜杜拉国王科技大学）；Albert Inc.（艾伯特公司）
针对三维点云曲面重建任务，提出利用能量基模型优化隐式神经表示的方法，以坐标神经网络绝对值为能量函数，可适配点云噪声幅度，抗噪鲁棒性优于传统方法。
2023-11-05 cs.CV cs.LG
Iso-Points: Optimizing Neural Implicit Surfaces with Hybrid Representations
ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
神经隐式函数已经成为3D中曲面的强大表示。这样的函数可以将具有复杂细节的高质量表面编码到深度神经网络的参数中。然而，为精确和鲁棒的重建而优化参数仍然是一个挑战，特别是当输入数据有噪声或不完整时。在这项工作中，我们开发了一种混合神经表面表示，允许我们施加几何感知采样和正则化，这显着提高了重建的保真度。我们建议使用\emph{iso-points}作为神经隐函数的显式表示。这些点在训练过程中实时计算和更新，以捕获重要的几何特征并对优化施加几何约束。我们证明，我们的方法可以采用，以改善国家的最先进的技术，从多视图图像或点云重建神经隐式曲面。定量和定性的评估表明，与现有的采样和优化方法相比，我们的方法可以更快的收敛，更好的推广，并准确地恢复细节和拓扑结构。
2021-04-09 cs.CV cs.GR
Unsupervised Pose-Aware Part Decomposition for 3D Articulated Objects
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
铰接物体广泛存在于现实世界中。然而，以前的3D生成方法无监督的部分分解是不适合这样的对象，因为它们假设一个空间固定的部分位置，导致不一致的部分解析。在本文中，我们提出了PPD（无监督的姿势感知部分分解），以解决一个新的设置，明确针对人造关节与机械关节的对象，考虑部分构成。我们发现，类别共同的先验学习的部分形状和姿势促进无监督学习（1）部分分解与非基元为基础的隐式表示，和（2）部分构成下的单帧形状监督联合参数。我们评估我们的方法在合成和真实的数据集，我们表明，它优于以前的作品在一致的部分解析的铰接对象的基础上可比的部分姿态估计性能的监督基线。
2021-10-08 cs.CV
NeuralSSD: A Neural Solver for Signed Distance Surface Reconstruction
针对现有隐式场参数化难以确保曲面与输入数据紧密拟合的问题，提出基于神经伽辽金法的NeuralSSD方法，通过新型能量方程和卷积网络提升曲面重建精度与泛化性，在ShapeNet等数据集上取得最优结果。
2025-11-18 cs.CV cs.GR cs.LG
MagicPony: Learning Articulated 3D Animals in the Wild
University of Oxford（牛津大学）
提出MagicPony方法，仅从自然环境单视图图像学习预测铰接式动物的3D形状、姿态等，结合隐式-显式表示与知识蒸馏，在重建任务上超越先前工作并展现强泛化能力。
2023-04-04 cs.CV
NLOS-NeuS: Non-line-of-sight Neural Implicit Surface
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出NLOS-NeuS，通过引入符号距离函数（SDF）及三种约束将神经瞬态场扩展为神经隐式表面，实现NLOS场景下平滑且保留细节的三维表面重建，是首项在NLOS场景中结合体渲染与神经隐式表面的研究。
2023-08-01 cs.CV eess.IV
