Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos
University of Pennsylvania（宾夕法尼亚大学）；Amazon.com, Inc（亚马逊公司）
由于服装、遮挡、纹理的不连续性和清晰度以及特定于帧的姿态变化，单目RGB视频的人体重建和合成是一个具有挑战性的问题。许多方法采用延迟渲染、NeRF和隐式方法来表示穿着衣服的人，前提是基于网格的表示无法单独从RGB、轮廓和关键点捕获复杂的服装和纹理。我们通过优化SMPL+D网格和仅使用RGB图像，二进制轮廓和稀疏2D关键点的高效，多分辨率纹理表示来提供对这个基本前提的相反观点。实验结果表明，我们的方法是更能够捕捉几何细节相比，视觉外壳，网格为基础的方法。我们展示了竞争力的新视图合成和改进的新姿态合成相比，NeRF为基础的方法，引入明显的，不必要的文物。通过将解决方案空间限制在SMPL+D模型与可微分渲染相结合，我们在计算、训练时间（高达24倍）和推理时间（高达192倍）方面获得了显着的加速。因此，我们的方法可以按原样使用，也可以作为基于NeRF的方法的快速初始化。
2023-03-15 cs.CV
Full 3D Reconstruction of Transparent Objects
SIAT（中国科学院深圳先进技术研究院）；Shenzhen University（深圳大学）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science & Technology（华中科技大学）；University of Alberta（阿尔伯塔大学）；Memorial University of Newfoundland（纽芬兰纪念大学）
在过去的几十年中，已经提出了许多技术来重建不透明物体的3D模型。但是，它们都不能直接应用于透明对象。本文提出了一种全自动的方法来重建完整的透明物体的三维形状。通过将物体放置在转盘上，捕捉物体在不同视角下的轮廓和光的折射路径。然后，从一个初始的粗糙模型产生的空间雕刻，我们的算法逐步优化模型下的三个约束：表面和折射法向一致性，表面投影和轮廓一致性，表面光滑度。对合成物体和真实物体的实验结果表明，该方法可以成功地恢复透明物体的复杂形状，并忠实地再现其光折射特性。
2018-05-14 cs.CV cs.GR
GISR: Geometric Initialization and Silhouette-based Refinement for Single-View Robot Pose and Configuration Estimation
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算机学院）；University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
本文提出GISR方法，通过几何初始化与深度迭代轮廓细化两个模块，从单视角实时估计机器人手臂的位姿与构型，在速度和精度上优于同类方法。
2024-09-16 cs.AI cs.CV cs.RO
Analytical Derivatives for Differentiable Renderer: 3D Pose Estimation by Silhouette Consistency
Zhejiang University（浙江大学）
可微分绘制广泛应用于基于优化的三维重建中，这需要从可微分运算中获得梯度，以进行基于梯度的优化。现有的可微分绘制器都是通过数值方法获得绘制的梯度，精度和效率都不高。基于这一事实，提出了一种具有解析梯度的可微分网格渲染器。基于光栅化的绘制实现可微性的主要障碍是离散采样操作。为了使光栅化可微分，像素强度被定义为像素区域上的二重积分，并且该积分通过使用平均滤波器的抗混叠来近似。然后，可以从像素强度的连续定义导出关于顶点坐标的解析梯度。为了证明所提出的可微分渲染器的有效性和效率，仅通过多视点轮廓进行3D姿态估计的实验。实验结果表明，三维姿态估计没有3D和2D关节监督是能够产生定性和定量的竞争力的结果。实验结果也表明，提出的可微渲染器是更高的精度和效率相比，以前的可微渲染方法。
2019-06-19 cs.CV cs.GR
The importance of silhouette optimization in 3D shape reconstruction system from multiple object scenes
Umea University（于默奥大学）
针对基于形状的SFS方法中存在的轮廓不一致问题，提出了一种多目标场景的多阶段三维形状重建系统。这些不一致性在多视图图像中是常见的，这是由于不同视图中的对象遮挡、分割以及由于对象或光方向引起的阴影或反射。这些因素提出了巨大的挑战时，试图通过使用现有的方法来构建3D形状，这些方法仅重建在所有轮廓中一致投影的体积部分，而其余部分则未重建。结果，由于多视图对象遮挡和阴影，最终形状不是鲁棒的。在这方面，我们通过分析多个图像来考虑影响重建的主要因素，并执行预处理步骤以优化轮廓。最后，通过使用体积方法SFS重建3D形状。理论和实验结果表明，改进后的算法有效地提高了重建形状的精度，对轮廓误差具有鲁棒性，体积小，计算量小。
2020-12-19 cs.CV
Compact Model Representation for 3D Reconstruction
Carnegie Mellon University（卡内基梅隆大学）；Queensland University of Technology（昆士兰科技大学）
从二维图像重建三维图像是计算机视觉的核心问题。最近的工作一直集中在重建直接从一个单一的图像。然而，众所周知，仅一个图像不能为这样的重建提供足够的信息。由于3D CAD模型在网上的普遍存在，它已经被接受了。一个基本的问题是如何compensable表示数以百万计的CAD模型，同时允许泛化到新的不可见的对象与精细缩放的几何形状。介绍了一种三维网格的压缩表示方法。我们的方法首先选择一个3D模型，从一个图形结构，通过使用一种新的自由变形FFD 3D-2D注册，然后选择的3D模型进行细化，以最好地适应图像轮廓。我们进行了全面的定量和定性分析，展示了令人印象深刻的密集和现实的3D重建从单一的图像。
2017-07-23 cs.CV
SDF-SRN: Learning Signed Distance 3D Object Reconstruction from Static Images
Carnegie Mellon University（卡内基梅隆大学）
最近，从单个图像重建密集的3D对象已经取得了显着的进步，但是由于创建成对的图像-形状数据集的费力过程，使用地面真实3D形状来监督神经网络是不切实际的。最近的努力已经转向学习3D重建，而无需从具有注释的2D轮廓的RGB图像进行3D监督，从而大大降低了注释的成本和工作量。然而，这些技术仍然不切实际，因为它们仍然需要在训练期间对同一对象实例进行多视图注释。因此，到目前为止，大多数实验工作仅限于合成数据集。在本文中，我们解决了这个问题，并提出了SDF-SRN，这种方法在训练时只需要对象的单个视图，为现实世界的场景提供了更大的实用性。SDF-SRN学习隐式3D形状表示来处理数据集中可能存在的任意形状拓扑。为此，我们推导出一种新的微分绘制公式，用于从2D轮廓学习符号距离函数（SDF）。我们的方法在合成和真实世界数据集上具有挑战性的单视图监督设置下的性能优于现有技术。
2020-10-20 cs.AI cs.CV cs.LG
Unsupervised Learning of Fine Structure Generation for 3D Point Clouds by 2D Projection Matching
Wayne State University（韦恩州立大学）；University of Maryland, College Park（马里兰大学学院公园分校）
学习在没有3D监督的情况下生成3D点云是一个重要但具有挑战性的问题。当前的解决方案利用各种可微分渲染器将生成的3D点云投影到2D图像平面上，并使用与2D地面实况图像的每像素差异来训练深度神经网络。然而，这些解决方案仍然难以完全恢复3D形状的精细结构，例如细管或平面。为了解决这个问题，我们提出了一个无监督的方法，三维点云生成精细结构。具体来说，我们将3D点云学习转换为2D投影匹配问题。而不是使用整个2D轮廓图像作为一个定期的像素监督，我们引入结构自适应采样随机采样的轮廓内的2D点作为一个不规则的点监督，这体现了从不同的视角采样的一致性问题。我们的方法推动神经网络生成一个三维点云，其二维投影匹配不规则点的监督从不同的视角。我们的2D投影匹配方法使神经网络能够学习比使用每像素差异更准确的结构信息，特别是对于精细和薄的3D结构。我们的方法可以恢复精细的三维结构从二维轮廓图像在不同的分辨率，并对不同的采样方法和点的数量在不规则点的监督是鲁棒的。我们的方法在广泛使用的基准测试中优于其他方法。我们的代码、数据和模型可以在https：//github.com/chenchao 15/2D\_projection\_matching上找到。
2021-08-08 cs.CV
3D object reconstruction and 6D-pose estimation from 2D shape for robotic grasping of objects
University of Applied Sciences Koblenz（科布伦茨应用科学大学）；Georg-August-University Göttingen（哥廷根大学）；University Medical Center Göttingen（哥廷根大学医学中心）
我们提出了一种方法，用于3D对象重建和6D姿态估计从2D图像，使用的知识作为主键码的对象形状。在所提出的流水线中，2D图像中的对象的识别和标记提供2D片段轮廓，其与从表示所识别的对象类的3D模型的各种视图获得的投影的2D轮廓进行比较。通过直接从2D图像计算变换参数，减少了配准过程中所需的自由参数的数量，使得该方法可行。此外，3D变换和投影几何，以达到在一个完整的3D重建的对象在相机空间中使用校准的设置。包括第二个相机允许解决剩余的模糊性。使用合成数据和测试与实际数据的方法进行定量评估，并显示了其他结果为众所周知的Linemod数据集。在机器人实验中，成功地抓住物体证明了它在现实世界中的可用性，并在可能的情况下，提供与其他方法的比较。该方法适用于3D对象模型的场景，CAD模型或点云是可用的，并且可以获得2D图像的精确的逐像素分割图。与其他方法不同的是，该方法不使用3D深度进行训练，拓宽了应用领域。
2022-03-02 cs.CV cs.RO
Mesh-Gait: A Unified Framework for Gait Recognition Through Multi-Modal Representation Learning from 2D Silhouettes
Johns Hopkins University（约翰霍普金斯大学）；Advanced Micro Devices, Inc.（先进微器件公司）
提出Mesh-Gait框架，通过从2D剪影重建3D热图作为中间表示，高效融合2D与3D模态优势提取步态特征，在避免高计算开销的同时实现了最先进的步态识别准确率。
2025-10-12 cs.AI cs.CV cs.LG
Silhouette based View embeddings for Gait Recognition under Multiple Views
Beihang University（北京航空航天大学）
多视角下的步态识别是计算机视觉和模式识别的重要课题。在新兴的基于卷积神经网络的方法中，视角信息在一定程度上被忽略。我们提出了一个兼容的框架，可以将视图信息嵌入到现有的步态识别架构中，而不是直接的视图估计和训练特定于视图的识别模型。通过选择性投影层简单地实现嵌入。在两个大型公共数据集上的实验结果表明，该框架是非常有效的。
2021-08-12 cs.CV
Supervised Reconstruction for Silhouette Tomography
Michigan State University（密歇根州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出了一种仅依赖成像系统几何结构的X射线计算机层析成像新形式——剪影层析成像，并利用深度神经网络提出了一种有监督重建方法，在合成数据集上的实验证明了其有效性。
2024-02-11 cs.CV eess.IV
Feature Map Pooling for Cross-View Gait Recognition Based on Silhouette Sequence Images
Beijing Advanced Innovation Center for Big Data and Brain Computing, Beihang University（北京航空航天大学大数据与脑计算北京高精尖创新中心）
在本文中，我们开发了一种新的卷积神经网络为基础的方法来提取和聚合有用的信息，而不是简单地表示步态过程的轮廓图像平均的步态轮廓序列图像。该网络以一对任意长度的序列图像作为输入，并独立地提取每个轮廓的特征。然后采用特征映射池策略聚合序列特征。随后，设计了一个类似于暹罗网络的网络来进行识别。所提出的网络是简单的，易于实现，可以在一个端到端的方式进行训练。在OU-ISIR大数据集上进行了跨视角步态识别实验。实验结果表明，该网络能够有效地从轮廓序列中提取和聚合特征。与现有技术相比，它还实现了显著相等的出错率和可比较的识别率。
2017-11-26 cs.CV
Image2Mesh: A Learning Framework for Single Image 3D Reconstruction
Queensland University of Technology（昆士兰科技大学）；Carnegie Mellon University（卡内基梅隆大学）
3D深度学习中仍然存在的一个挑战是如何有效地表示3D数据以馈送深度网络。最近的工作依赖于体积或点云表示，但这样的方法遭受许多问题，如计算复杂性，无序的数据，以及缺乏更精细的几何形状。本文证明了一个网格表示（即顶点和面形成多边形表面）能够捕捉细粒度的几何3D重建任务。然而，网格也是类似于点云的非结构化数据。我们解决这个问题，提出了一个学习框架来推断一个紧凑的网格表示的参数，而不是从网格本身学习。这种紧凑的表示使用自由形式的变形和模型的稀疏线性组合对网格进行编码，使我们能够从单个图像重建3D网格。与之前的工作相比，我们不依赖于轮廓和地标来执行3D重建。我们在合成和真实世界的数据集上评估了我们的方法，结果非常有希望。我们的框架有效地重建3D对象在一个低维的方式，同时保留其重要的几何方面。
2017-11-29 cs.CV
Learning single-image 3D reconstruction by generative modelling of shape, pose and shading
Institute of Science and Technology (IST) Austria（奥地利科学技术研究所）；Google Research（谷歌研究院）
我们提出了一个统一的框架，解决两个问题：类特定的3D重建从一个单一的图像，并产生新的3D形状样本。这些任务最近受到了相当大的关注;然而，大多数现有的方法依赖于3D监督，用关键点或姿势注释2D图像，和/或用每个对象实例的多个视图进行训练。我们的框架非常通用：它可以在与现有方法类似的环境中进行培训，同时还支持较弱的监督。重要的是，它可以完全从2D图像中训练，没有姿势注释，并且每个实例只有一个视图。我们采用网格作为输出表示，而不是在大多数以前的工作中使用的体素。这使我们能够在训练过程中对照明参数进行推理并利用阴影信息，这是以前的2D监督方法所不能做到的。因此，我们的方法可以学习生成和重建凹对象类。我们在各种设置中评估了我们的方法，表明：（i）它学会了从姿势和照明中解开形状;（ii）与仅仅轮廓相比，在损失中使用阴影可以提高性能;（iii）当使用标准的单一白光时，我们的模型优于最先进的2D监督方法，无论有没有姿势监督，都要归功于利用阴影线索;（iv）当使用多种颜色的光时，性能进一步提高，甚至接近最先进的3D监督方法;（v）由我们的模型产生的形状比基于体素的方法更好地捕获光滑表面和精细细节;以及（vi）我们的方法支持诸如浴缸和沙发之类的凹类，基于轮廓的方法不能学习这些凹类。
2019-08-26 cs.CV cs.LG
SiCloPe: Silhouette-Based Clothed People
USC Institute for Creative Technologies（南加州大学创意技术研究所）；Waseda University（早稻田大学）；University of Southern California（南加州大学）；Snap Inc.（Snap公司）；Pinscreen
我们引入了一种新的基于轮廓的表示方法，用于使用深度生成模型对穿着衣服的人体进行建模。我们的方法可以重建一个完整的和纹理的3D模型的人穿着衣服从一个单一的输入图片。受视觉外壳算法的启发，我们的隐式表示使用身体姿势的2D轮廓和3D关节来描述穿着衣服的人的巨大形状复杂性和变化。给定一个分割的2D轮廓的人和其推断的3D关节从输入图片，我们首先合成一致的轮廓从新的视点周围的主题。与输入分割最一致的合成轮廓被馈送到用于鲁棒3D形状预测的深度视觉外壳算法中。然后，我们使用正面图像和分割掩模作为有条件生成对抗网络的输入来推断受试者的后视图的纹理。我们的实验表明，我们的基于轮廓的模型是一个有效的表示和外观的后视图可以可靠地预测使用图像到图像的翻译网络。虽然基于参数模型的经典方法通常无法处理具有挑战性服装的受试者的单视图图像，但我们的方法仍然可以产生成功的结果，这与从多视图输入中获得的结果相当。
2019-04-10 cs.CV
Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion
City University of Hong Kong（香港城市大学）；Bio-Computing Research Center, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）生物计算研究中心）；Shenzhen Key Laboratory of Visual Object Detection and Recognition（深圳市视觉目标检测与识别重点实验室）
针对点云补全需大量难采集的3D完整点云的问题，提出无监督方法Cross-PCC，仅用易获取的单视图2D图像，通过特征融合、轮廓约束与视图校准实现补全，性能优于现有无监督方法，甚至媲美部分有监督方法。
2023-12-06 cs.CV
Single-view Object Shape Reconstruction Using Deep Shape Prior and Silhouette
University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
从单幅图像重建三维形状是一个高度不适定的问题。现代基于深度学习的系统试图通过经由深度网络学习从图像到形状的端到端映射来解决这个问题。在本文中，我们的目标是解决这个问题，通过在线优化框架的启发，传统的方法。我们的框架采用了深度自动编码器来学习一组3D对象形状的潜在代码，这些代码使用高斯混合模型（GMM）通过概率形状先验进行拟合。在推理时，形状和姿态由图像线索和深度形状先验两者引导联合优化，而不依赖于来自任何训练的深度网络的初始化。令人惊讶的是，即使没有训练端到端网络，我们的方法也实现了与最先进方法相当的性能，这表明在这个方向上迈出了有希望的一步。
2019-08-01 cs.CV
SilNet : Single- and Multi-View Reconstruction by Learning from Silhouettes
University of Oxford（牛津大学）
本文的目标是从单个和多个图像的三维形状理解。为此，我们引入了一种新的深度学习架构和损失函数SilNet，它可以以与顺序无关的方式处理多个视图。该架构是完全卷积的，对于训练，我们使用轮廓预测的代理任务，而不是直接学习从2D图像到3D形状的映射，这是最近工作的目标。我们证明了SilNet架构在视图数量上具有泛化性-例如，在2个视图上训练的SilNet可以在测试时与3或4个视图一起使用;并且性能随着更多视图而提高。我们介绍了两个新的合成数据集：一个用于预训练的滴状对象数据集和一个具有挑战性和现实感的雕塑数据集;并在这些数据集上证明SilNet确实已经学习了3D形状。最后，我们表明SilNet超过了ShapeNet基准数据集的最新技术水平，并使用SilNet生成雕塑数据集的新视图。
2017-11-21 cs.CV
ODHSR: Online Dense 3D Reconstruction of Humans and Scenes from Monocular Videos
ETH Zürich（苏黎世联邦理工学院）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；University of Amsterdam（阿姆斯特丹大学）
针对单目野外视频人体-场景重建需预校准相机、长训练时间的问题，提出ODHSR在线统一框架，结合3D高斯溅射、重建基跟踪与姿态估计、变形模块及遮挡感知等技术，在EMDB等数据集上实现多任务性能提升。
2025-04-18 cs.CV
Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction
Tsinghua University（清华大学）
在本文中，我们提出了一个新的角度对基于图像的形状生成。大多数现有的基于深度学习的形状重建方法采用单视图确定性模型，该模型有时不足以确定单个地面实况形状，因为后部被遮挡。在这项工作中，我们首先引入了一个条件生成网络模型的不确定性单视图重建。然后，我们制定了多视图重建的任务，作为每个单一的图像上的预测的形状空间的交集。我们设计了新的可微制导，包括前端约束，多样性约束，和一致性损失，使有效的单视图条件生成和多视图合成。实验结果和消融研究表明，我们提出的方法优于国家的最先进的方法的三维重建测试误差，并证明其泛化能力的真实世界的数据。
2019-04-21 cs.CV
Self-supervised Single-view 3D Reconstruction via Semantic Consistency
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）
我们学习了一个自我监督的单视图3D重建模型，该模型通过收集2D图像和轮廓来预测目标对象的3D网格形状，纹理和相机姿态。所提出的方法不需要3D监督，手动注释的关键点，对象的多视图图像或先前的3D模板。我们工作的关键见解是，对象可以表示为可变形部分的集合，并且每个部分在同一类别的不同实例之间是语义一致的（例如，鸟的翅膀和汽车的轮子）。因此，通过利用大量类别特定图像的自我监督学习部分分割，我们可以有效地加强重建网格和原始图像之间的语义一致性。这显著地减少了在对象的形状和相机姿态以及纹理的联合预测期间的模糊性。据我们所知，我们是第一个尝试解决单视图重建问题，而无需特定于类别的模板网格或语义关键点。因此，我们的模型可以很容易地推广到各种对象类别，而不需要这样的标签，例如，通过对几类可变形和刚性物体的各种实验，我们证明了我们的无监督方法的性能比现有的监督学习的特定类别重建方法更好。
2020-03-13 cs.CV
VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single and Multi-view 3D Reconstruction
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们介绍了一个统一的单视图和多视图神经隐式三维重建框架VPFusion。VPFusion使用3D特征量来捕获3D结构感知上下文，并使用像素对齐的图像特征来捕获精细的局部细节，从而实现高质量的重建。现有的方法使用RNN，特征池或在每个视图中独立计算的注意力进行多视图融合。RNN遭受长期记忆损失和置换方差，而特征池或独立计算的注意力导致每个视图中的表示在最终池化步骤之前不知道其他视图。相比之下，我们通过建立基于变换的成对视图关联来改进多视图特征融合。特别是，我们提出了一种新的交错三维推理和成对视图关联架构的特征量融合在不同的意见。使用这种结构感知和多视图感知的特征量，我们表现出改进的3D重建性能相比，现有的方法。VPFusion还通过结合像素对齐的局部图像特征来捕获精细细节，从而进一步提高了重建质量。我们在ShapeNet和ModelNet数据集上验证了VPFusion的有效性，在这些数据集上，我们的性能优于或优于最先进的单视图和多视图3D形状重建方法。
2022-07-16 cs.CV
A Semi-Automated Framework for 3D Reconstruction of Medieval Manuscript Miniatures
University of Macerata（马切拉塔大学）；University of Pisa（比萨大学）
本文提出一种半自动化框架，将中世纪手稿中的二维微型画转换为适用于扩展现实、触觉3D打印和网络可视化三维数字模型，通过评估七种图像到3D方法，发现体积扩展与几何保真度之间的权衡。
2026-04-08 cs.CV
CADSplat: Sparse-View 3D Gaussian Splatting Aided by CAD Models for Robust, Photorealistic Digital-Twin Reconstruction
Digital Future Lab, Flanders Make, Hasselt University（数字未来实验室，法兰德斯制造，哈瑟尔特大学）
CADSplat利用CAD模型作为形状先验，通过锚定3D高斯泼溅并联合优化变形场，从稀疏视角图像重建逼真数字孪生，在少视图下优于现有基线，并支持多种下游应用。
2026-09-17 cs.CV cs.GR
PlückeRF: A Line-based 3D Representation for Few-view Reconstruction
The Australian National University（澳大利亚国立大学）
本文提出PlückeRF，一种基于结构化特征增强线的3D表示，通过连接3D位置与输入视图像素光线来更有效地利用多视图信息，在少视图重建中优于三平面表示及现有前馈方法。
2025-06-04 cs.CV
3D-RETR: End-to-End Single and Multi-View 3D Reconstruction with Transformers
ETH Zurich（苏黎世联邦理工学院）；RWTH Aachen（亚琛工业大学）；LMU Munich（慕尼黑大学）
3D重建的目的是从2D视图重建3D对象。以前的3D重建工作主要集中在视图之间的特征匹配或使用CNN作为骨干。最近，Transformers在计算机视觉的多种应用中显示出有效性。然而，Transformers是否可以用于3D重建仍不清楚。在本文中，我们填补了这一空白，提出3D-RETR，这是能够执行端到端的3D重建与Transformers。3D-RETR首先使用预训练的Transformer从2D输入图像中提取视觉特征。3D-RETR然后使用另一个Transformer Decoder来获得体素特征。然后，CNN解码器将体素特征作为输入以获得重建的对象。3D-RETR能够从单个视图或多个视图进行3D重建。在两个数据集上的实验结果表明，3DRETR在三维重建方面达到了最先进的性能。其他消融研究也证明了3D-DETR受益于使用Transformers。
2021-11-16 cs.CV
1st Place Solution for ICCV 2023 OmniObject3D Challenge: Sparse-View Reconstruction
Key Laboratory of Peace-building Big Data of Zhejiang Province（浙江省平安建设大数据重点实验室）
本研究针对ICCV 2023 OmniObject3D挑战赛稀疏视图重建任务，以Pixel-NeRF为基础模型，结合深度监督与由粗到细的位置编码，有效提升重建质量，最终以25.44614的PSNR获得赛道第一名。
2024-04-16 cs.CV
Descriptor-Free Multi-View Region Matching for Instance-Wise 3D Reconstruction
Osaka University（大阪大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
本文提出了一种不依赖于纹理或形状描述符匹配的实例分割的多视图扩展。对于具有重复纹理和形状的场景，多视图实例分割变得具有挑战性，例如，植物叶子，由于使用纹理或形状描述符的多视图匹配的困难。为此，我们提出了一种基于对极几何的多视点区域匹配方法，该方法不依赖于任何特征描述符。我们进一步表明，核线区域匹配可以很容易地集成到实例分割和有效的实例明智的3D重建。实验结果表明，该方法在多视点实例匹配和三维重建中的准确性较基线方法有较大提高。
2020-11-27 cs.CV
PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction
Beijing University of Posts and Telecommunications（北京邮电大学）
针对反射和无纹理表面多视图三维重建中因视觉特征不足导致的相机姿态校准与形状重建失败问题，提出PMNI方法，利用表面法线图整合几何信息，在神经SDF框架内同步恢复准确姿态与高保真表面，性能达最优。
2025-04-14 cs.CV
CrossView-GS: Cross-view Gaussian Splatting For Large-scale Scene Reconstruction
School of Computer Science, Beijing Institute of Technology（计算机学院，北京理工大学）
针对3DGS在跨视角大变化场景中的优化挑战，提出基于多分支构建与融合的跨视角Gaussian Splatting方法，通过梯度感知正则化和Gaussian补充策略提升大规模场景重建与新视角合成性能。
2025-04-28 cs.CV
VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction
EPFL（洛桑联邦理工学院）；ETH Zurich（苏黎世联邦理工学院）
VolRecon提出一种基于Signed Ray Distance Function的可泛化多视图隐式重建方法，结合多视图投影特征与粗略全局体积特征，利用射线Transformer渲染颜色和深度，在DTU和ETH3D数据集上表现优异。
2023-04-03 cs.CV
Multi-view 3D Reconstruction with Transformer
University of British Columbia（不列颠哥伦比亚大学）；University of Science and Technology of China（中国科学技术大学）；University of Michigan（密歇根大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
到目前为止，基于深度CNN的方法已经在多视图3D对象重建中取得了最先进的结果。尽管这些方法取得了长足的进步，但其两个核心模块--多视角特征提取和融合，通常是分开研究的，而对不同视角下的目标关系研究较少。在本文中，最近的巨大成功的启发自注意力为基础的Transformer模型，我们重新制定的多视图三维重建序列到序列的预测问题，并提出了一个新的框架命名为三维体积Transformer（伏特）这样一个任务。与以前使用单独设计的基于CNN的方法不同，我们将特征提取和视图融合统一在单个Transformer网络中。我们的设计的一个自然优势在于在多个无序输入之间使用自我注意来探索视图到视图的关系。在ShapeNet -一个大规模的3D重建基准数据集上，我们的方法在多视图重建中实现了新的最先进的精度，与其他基于CNN的方法相比，参数更少（$70\%$更少）。实验结果也表明我们的方法具有很强的缩放能力。我们的代码将公开提供。
2021-03-24 cs.CV
iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse Views
Microsoft（微软）；National Tsing Hua University（国立清华大学）；Amazon（亚马逊）
提出iFusion框架，利用扩散模型反演估计未知相机姿态，微调生成新视图，仅需两幅稀疏视图即可高质量重建三维物体。
2023-12-28 cs.CV
FatesGS: Fast and Accurate Sparse-View Surface Reconstruction using Gaussian Splatting with Depth-Feature Consistency
Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University（北京信息科学与技术国家研究中心（BNRist），清华大学）；School of Software, Tsinghua University（清华大学软件学院）
针对 Gaussian Splatting 在稀疏视图下易过拟合、表面不完整的问题，提出 FatesGS 框架，融合单目深度排序、块内一致性与多视图投影特征约束，在 DTU 和 BlendedMVS 上以 60–200 倍加速超越现有方法。
2025-01-08 cs.CV
FLAME-based Multi-View 3D Face Reconstruction
Shanghai Jiao Tong University（上海交通大学）
本文提出MFNet，将FLAME参数化模型与多视角自监督训练框架结合，通过多视角光流损失、人脸关键点损失和共视掩码等约束，在AFLW和FaceScape数据集及实际自拍数据上实现更高质量的三维人脸重建。
2023-09-25 cs.CV
Neural Surface Reconstruction from Sparse Views Using Epipolar Geometry
Yuanpei College, Peking University（北京大学元培学院）；MIT Media Lab and EECS, MIT（麻省理工学院媒体实验室和电子工程与计算机科学系）
本文提出EpiS框架，利用极几何改进稀疏视角下的表面重建，通过epipolar transformer和射线聚合生成SDF-aware特征，结合几何正则化策略提升重建精度。
2026-08-05 cs.CV
3D Reconstruction from Full-view Fisheye Camera
Stanford University（斯坦福大学）
在这篇报告中，我们提出了一种全视角鱼眼相机的三维重建方法。我们使用的相机是Ricoh Theta，它可以捕获球形图像，并具有宽视场（FOV）。传统的基于透视摄像机模型的立体方法不能直接应用，而是采用球面摄像机模型来描述图像中三维点与其对应观测点之间的关系。我们实现了一个系统，可以使用来自两个或更多个相机的捕获来重建3D场景。还创建了一个GUI，允许用户控制视图透视图，并获得更好的直觉如何重建场景。实验表明，我们的重建结果很好地保留了现实世界中的场景的结构。
2015-06-20 cs.CV
R3D-SWIN:Use Shifted Window Attention for Single-View 3D Reconstruction
East China Jiaotong University（华东交通大学）；Jiangxi University of Software Professional Technology（江西软件职业技术大学）
针对视觉Transformer窗口无多尺度、窗口间无连接限制体素3D重建精度的问题，提出基于滑动窗口注意力的R3D-SWIN网络，首次将该注意力用于体素3D重建，在ShapeNet上的单视图重建精度达SOTA。
2024-03-06 cs.CV
PanoImager: Geometry-Guided Novel View Synthesis and Reconstruction from Sparse Panoramic Views
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）
提出PanoImager框架，无需SfM，结合前馈位姿/深度先验、几何条件扩散视图补全和深度引导3DGS优化，从稀疏全景图像实现稳定新视角合成与重建。
2026-07-10 cs.CV
LegoFormer: Transformers for Block-by-Block Multi-view 3D Reconstruction
Technical University of Munich（慕尼黑工业大学）；Google Inc（谷歌公司）
大多数现代基于深度学习的多视图3D重建技术使用RNN或融合模块在独立编码后组合来自多个图像的信息。这两个独立的步骤有松散的连接，不允许在视图之间轻松共享信息。我们提出LegoFormer，一个Transformer模型，用于基于体素的3D重建，在所有计算阶段使用注意层来共享视图之间的信息。此外，而不是预测每个体素独立，我们建议参数化的输出与一系列的低秩分解因子。这种重构允许将对象预测为一组独立的规则结构，然后聚合以获得最终的重建。在ShapeNet上进行的实验表明，我们的模型在最先进的水平方面具有竞争力的性能，同时由于自我注意层而提高了可解释性。我们还展示了有前途的推广结果，以真实的数据。
2022-07-08 cs.CV
Shape-guided Gaussian Splatting for Sparse-View X-ray 3D Reconstruction
Polytechnique Montréal（蒙特利尔综合理工学院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；CHUM - University of Montreal Hospital（蒙特利尔大学医院中心）
提出形状引导的高斯溅射框架，利用统计形状模型约束高斯位置和密度正则化，在仅5个稀疏视角下实现解剖一致的重建，PSNR提升2.83 dB。
2026-09-10 cs.CV
GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出GaMO框架，通过多视角补全实现稀疏视角3D重建，无需训练即可在零样本条件下提升重建性能，实验表明其在稀疏视角下具有高效且准确的重建能力。
2026-04-04 cs.CV
What Do Single-view 3D Reconstruction Networks Learn?
University of Freiburg（弗莱堡大学）；Intel Labs（英特尔实验室）
用于单视图对象重建的卷积网络表现出令人印象深刻的性能，并已成为一个热门的研究课题。所有现有的技术都是通过具有编码器-解码器网络的思想来统一的，该网络执行关于输出空间的3D结构的非平凡推理。在这项工作中，我们建立了两个替代的方法，分别执行图像分类和检索。这些简单的基线在定性和定量方面都比最先进的方法产生更好的结果。我们表明，编码器-解码器的方法是统计上无法区分的，从这些基线，从而表明，目前的单视图对象重建的技术水平，实际上不执行重建，但图像分类。我们确定了流行的实验程序，引起这种行为的方面，并讨论如何改善目前的研究状况。
2019-05-09 cs.CV
A novel joint points and silhouette-based method to estimate 3D human pose and shape
Lund University（隆德大学）
本文提出了一种新的方法，从稀疏视图图像的三维人体姿态和形状估计，使用关节点和轮廓，基于参数模型。首先，将参数模型拟合到通过基于深度学习的人体姿态估计估计的关节点。然后，我们提取之间的对应关系的参数化模型的姿态拟合和轮廓的2D和3D空间。在此基础上，构造了一种新的能量函数，并将其最小化以拟合参数化模型。我们的方法使用足够的形状信息，因为能量函数的轮廓是建立在2D和3D空间。这也意味着我们的方法只需要来自稀疏视图的图像，这平衡了所使用的数据和所需的先验信息。在合成数据和真实数据上的实验结果表明，该方法在人体姿态和形状估计上具有很好的性能。
2020-12-11 cs.CV
Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object Representation
McGill University（麦吉尔大学）
我们考虑将深生成形状模型缩放到高分辨率的问题。从对象的规范视图表示中提取动机，我们引入了一种新的方法，用于通过对六个正交深度投影执行超分辨率的网络在体素空间中对3D对象进行快速上采样。这使我们能够生成高分辨率的对象，比直接在3D中工作的方法更有效地缩放。我们将二维深度超分辨率问题分解为轮廓和深度预测，以捕获结构和细节。这使得我们的方法比单个网络更容易生成尖锐的边缘。我们评估我们的工作在多个实验有关高分辨率的3D对象，并显示我们的系统能够准确地预测新的对象的分辨率高达512 $\mathbf{\times}$ 512 $\mathbf{\times}$ 512 -最高分辨率报告这项任务。我们在ShapeNet数据集上从RGB图像进行3D对象重建方面实现了最先进的性能，并进一步展示了第一种有效的3D超分辨率方法。
2018-11-14 cs.CV
LASR: Learning Articulated Shape Reconstruction from a Monocular Video
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
从视频或图像集合中进行刚性结构的三维重建已经取得了显着的进展。然而，由于其约束不足的性质，从RGB输入重建非刚性结构仍然具有挑战性。虽然基于模板的方法，如参数化形状模型，在建模已知对象类别的“封闭世界”方面取得了巨大的成功，但它们不能很好地处理新颖对象类别或离群形状的“开放世界”。在这项工作中，我们引入了一种无模板的方法来从单个视频中学习3D形状。它采用了一种分析合成策略，向前渲染对象的轮廓，光流，和像素值与视频观察，生成梯度，以调整相机，形状和运动参数进行比较。在不使用特定类别的形状模板的情况下，我们的方法忠实地从人类，动物和未知类别的对象的视频中重建非刚性3D结构。代码将在lasr-google.github.io上提供。
2021-05-06 cs.CV cs.GR
3DSS: 3D Surface Splatting for Inverse Rendering
INRIA, University of Rennes（INRIA，里昂大学）
3DSS通过基于覆盖的合成模型，结合微facet着色和HDR光照，实现了形状、BRDF材料和光照的联合恢复，适用于多视角图像的逆渲染。
2026-05-13 cs.CV cs.GR
GaussiGAN: Controllable Image Synthesis with 3D Gaussians from Unposed Silhouettes
University of Bath（巴斯大学）；Cornell University（康奈尔大学）；Adobe（奥多比公司）；UNIST（蔚山科学技术院）；Brown University（布朗大学）
我们提出了一种算法，学习一个粗略的3D表示的对象从unposed多视图2D掩模监督，然后使用它来生成详细的掩模和图像纹理。与现有的基于体素的无姿态对象重建方法相比，我们的方法通过透视相机和一组逐图像变换来学习用一组自监督规范3D各向异性高斯来表示生成的形状和姿态。我们表明，这种方法可以鲁棒地估计相机和物体的3D空间，而最近的基线有时很难在这种情况下重建连贯的3D空间。我们显示结果的合成数据集与现实的照明，并演示对象插入与交互式构成。通过我们的工作，我们帮助迈向结构化表示，在基于学习的对象重建中处理更多的现实变化。
2021-06-24 cs.CV
Learning to Reconstruct Shapes from Unseen Classes
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
从单个图像中，人类能够通过利用从日常生活中学习的形状先验来感知物体的完整3D形状。当代的单图像3D重建算法旨在以类似的方式解决这一任务，但通常最终得到的先验知识受到训练类的高度偏见。在这里，我们提出了一种算法，可推广的重建（GenRe），旨在捕捉更通用的，类不可知的形状先验。我们通过一个推理网络和训练过程来实现这一点，该过程结合了可见表面的2.5D表示（深度和轮廓），可见和不可见表面的球形表示以及基于3D体素的表示，以一种原则性的方式利用3D形状如何产生2D图像的因果结构。实验表明，GenRe在单视图形状重建上表现良好，并从训练期间未看到的类别中推广到各种新对象。
2018-12-28 cs.AI cs.CV
Sampling Neural Radiance Fields for Refractive Objects
National Tsing Hua University（台湾清华大学）
近年来，基于神经辐射场的可微分体渲染（NeRF）得到了广泛的应用，其变体也取得了许多令人瞩目的成果。然而，现有的方法通常假设场景是一个均匀的体积，光线是沿着直线路径投射的，而在本文中，场景是一个具有分段常数折射率的非均匀体积，如果光线与不同折射率的物体相交，那么光线的路径将是弯曲的。对于折射物体的新视图合成，我们的NeRF为基础的框架，旨在优化辐射场的有界体积和边界的多视图构成的图像与折射物体的轮廓。为了解决这个具有挑战性的问题，折射率的场景重建从剪影。考虑到折射率，我们扩展了NeRF中的分层和分层采样技术，以允许沿着Eikonal方程跟踪的弯曲路径绘制样本。结果表明，我们的框架优于国家的最先进的方法在定量和定性，表现出更好的性能上的感知相似性度量和显着改善的渲染质量在几个合成和真实场景。
2022-11-27 cs.CV cs.GR cs.LG
MVBoost: Boost 3D Reconstruction with Multi-View Refinement
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；The Hong Kong Polytechnic University（香港理工大学）
针对三维重建模型因数据集稀缺泛化能力有限的问题，提出MVBoost框架，结合多视图扩散模型与三维重建模型生成伪GT数据，构建大规模数据集训练前馈模型，还优化输入视角，实现更优重建结果与泛化能力。
2024-12-02 cs.AI cs.CV
Learning to Correct 3D Reconstructions from Multiple Views
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
本文是关于降低成本的建设良好的大规模三维重建事后。我们渲染现有重建的2D视图，并训练卷积神经网络（CNN），该网络可以细化逆深度以匹配更高质量的重建。由于我们校正的视图是从相同的重建中渲染的，因此它们共享相同的几何体，因此重叠的视图彼此互补。我们从两个方面利用这一点。首先，我们在训练过程中施加一个损失，引导对相邻视图的预测具有相同的几何形状，并已被证明可以提高性能。其次，在以前的工作，它独立地纠正每个视图相反，我们还作出预测的相邻视图集联合。这是通过扭曲视图之间的特征图来实现的，从而绕过了内存密集型3D计算。我们观察到特征图中的特征是视点相关的，并提出了一种方法，用于从视图之间的相对姿态中使用多层感知器生成的动态过滤器来转换特征。在我们的实验中，我们表明，这最后一步是必要的成功融合视图之间的特征映射。
2020-01-22 cs.CV cs.RO
PoInit-of-View: Poisoning Initialization of Views Transfers Across Multiple 3D Reconstruction Systems
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·科斯勒基金会）；Xi’an Jiaotong University（西安交通大学）
本文提出PoInit-of-View方法，通过优化对抗扰动在不同3D重建系统中引发视角污染，破坏关键点检测和特征匹配，从而降低重建质量。
2026-04-17 cs.AI cs.CV
