Efficient Volumetric Fusion of Airborne and Street-Side Data for Urban Reconstruction
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）
空中采集和道路移动测绘提供了城市景观的互补3D信息：前者大规模采集屋顶结构，地面和植被，但缺乏立面和街道细节，而后者对于更高的楼层是不完整的，并且通常完全错过了仅限行人的区域或未驾驶的区域。在这项工作中，我们介绍了一种方法，有效地统一了详细的街边结构从运动（SfM）或多视图立体视觉（MVS）的点云和一个粗糙，但更完整的点云从空中采集的联合表面网格。我们提出了一个点云混合和体积融合的基础上，在3D四面体（3DT）的光线投射，扩展与数据简化技术来处理大型数据集。据我们所知，我们是第一个采用3DT方法进行机载/路边数据融合的公司。我们的管道利用了机载和地面数据的典型特征，并产生了一个完整而详细的无缝，防水的网格。在多源、不同数据密度的三维城市数据上的实验表明了该方法的有效性和优越性。
2016-09-05 cs.CV
Color-Encoded Illumination for High-Speed Volumetric Scene Reconstruction
Weizmann Institute of Science（魏茨曼科学研究院）
本文提出一种无需修改相机硬件的高速体素重建方法，通过快速序列彩色照明实现多视角同时捕获，利用动态高斯点扩散技术解码时空信息，实现实时体素场景重建。
2026-04-29 cs.CV
POSEFusion: Pose-guided Selective Fusion for Single-view Human Volumetric Capture
Tsinghua University（清华大学）；Google（谷歌）
我们提出了姿势引导选择性融合（POSEFusion），一种单视图人体体积捕获方法，利用基于跟踪的方法和无跟踪推理来实现高保真和动态的3D重建。通过提出一种新的重构框架，该框架包含姿态引导的关键帧选择和鲁棒的隐式曲面融合，该方法充分利用了基于跟踪的方法和无需跟踪的推理方法的优点，最终实现了动态曲面细节的高保真重构，即使是在不可见区域。我们制定的关键帧选择作为一个动态规划问题，以保证重建序列的时间连续性。此外，新的鲁棒隐式曲面融合涉及一个自适应的混合权重，以保持高保真的表面细节和自动碰撞处理方法来处理潜在的自碰撞。总体而言，我们的方法可以从单个RGBD相机在可见和不可见区域中进行高保真和动态捕获，结果和实验表明，我们的方法优于最先进的方法。
2021-03-29 cs.CV
VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion
University of California, Santa Barbara（加州大学圣巴巴拉分校）
最近的体积3D重建方法可以产生非常准确的结果，甚至对于未观察到的表面也具有合理的几何形状。然而，当涉及到多视图融合时，它们面临着不期望的权衡。它们可以通过全局平均来融合所有可用的视图信息，从而丢失精细的细节，或者它们可以对局部融合的视图进行聚类，从而限制它们联合考虑所有视图的能力。我们的关键见解是，可以保留更多的细节，而不限制视图的多样性，通过学习相机姿势和图像内容的条件下的视图融合功能。我们建议使用Transformer来学习这种多视图融合。为此，我们引入了VoRTX，这是一种端到端的体积3D重建网络，使用Transformers进行宽基线，多视图特征融合。我们的模型是闭塞意识，利用Transformer架构来预测一个初始的，投影场景的几何估计。该估计用于避免通过表面将图像特征反向投影到被遮挡区域中。我们在ScanNet上对我们的模型进行了训练，并表明它比最先进的方法产生了更好的重建。我们还展示了泛化，没有任何微调，优于其他两个数据集，TUM-RGBD和ICL-NUIM相同的最先进的方法。
2021-12-01 cs.CV cs.LG
Dream-to-Recon: Monocular 3D Reconstruction with Diffusion-Depth Distillation from Single Images
Technical University of Munich（慕尼黑技术大学）；MCML；SE3 Labs（SE3实验室）
本文提出Dream-to-Recon方法，利用预训练二维扩散模型和深度预测模型从单张图像生成合成几何，蒸馏前馈重建模型，在KITTI-360和Waymo数据集上达到或超越多视图监督方法，尤其擅长动态场景。
2025-08-04 cs.CV
360° Volumetric Portrait Avatar
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft（微软）；Technical University of Darmstadt（达姆施塔特工业大学）
本文提出3VP Avatar，通过模板化躯干、头部与表情跟踪及神经辐射场和变形场混合基，仅用单目旋转视频实现首个完整360°照片级真实感人像重建。
2023-12-08 cs.CV
WaterSplatting: Fast Underwater 3D Scene Reconstruction Using Gaussian Splatting
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；CTU in Prague（布拉格技术大学）
提出融合体积渲染与3DGS的水下场景重建方法，利用3DGS表示几何并用体积场捕捉水介质，在SeaThru-NeRF数据集上实现优于NeRF的渲染质量与实时性能。
2025-05-31 cs.CV
VistaFlow: Photorealistic Volumetric Reconstruction with Dynamic Resolution Management via Q-Learning
Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）
本文提出VistaFlow技术，通过Q学习训练的QuiQ控制器动态管理渲染分辨率，在集成CPU图形上实现照片级真实感三维体素重建，兼顾高帧率与硬件兼容性，优于现有方法。
2025-02-05 cs.CV cs.GR
Visual Tomography: Physically Faithful Volumetric Models of Partially Translucent Objects
University of Kiel（基尔大学）；GEOMAR – Helmholtz Centre for Ocean Research Kiel（基尔亥姆霍兹海洋研究中心）
本文提出一种基于逆光线追踪的视觉断层成像体积重建方法，可恢复部分半透明物体内部的吸收与散射物理模型，并展示了在浮游生物数据上的应用效果。
2023-12-21 cs.CV
Deep Textured 3D Reconstruction of Human Bodies
IIIT Hyderabad（海得拉巴国际信息技术学院（IIIT Hyderabad））
恢复非刚性人体形状的纹理3D模型是具有挑战性的，由于自遮挡引起的复杂的身体姿势和形状，服装障碍，缺乏表面纹理，背景杂乱，稀疏的相机与非重叠的视野等，此外，校准自由的环境增加了额外的复杂性重建和纹理恢复。在本文中，我们提出了一种基于深度学习的解决方案，用于从单视图RGB图像进行人体形状的纹理3D重建。这是通过以下方式实现的：首先在给定单个视图RGB图像的情况下恢复非刚性人体的体积网格，然后使用重建的（体积）形状和输入RGB图像的相应深度投影进行正交纹理视图合成。我们建议共同学习与负担得起的RGBD传感器（例如，Kinect），同时在训练阶段显示同一对象的多个视图。我们在定量和定性结果方面表现出卓越的重建性能，在公开的数据集（通过虚拟Kinect模拟深度通道）以及使用我们校准的多Kinect设置收集的真实RGBD数据上。
2018-09-18 cs.CV
3DVNet: Multi-View Depth Prediction and Volumetric Refinement
UCSB（加州大学圣芭芭拉分校）
我们提出了3DVNet，一种新的多视图立体视觉（MVS）的深度预测方法，结合了以前的基于深度和体积MVS方法的优点。我们的主要思想是使用一个3D场景建模网络，迭代更新一组粗略的深度预测，从而导致高度准确的预测，同意底层场景几何。与现有的深度预测技术不同，我们的方法使用体积3D卷积神经网络（CNN），该网络在世界空间中对所有深度图进行联合操作。因此，网络可以学习有意义的场景级先验。此外，与现有的体积MVS技术不同，我们的3D CNN在特征增强的点云上操作，允许有效地聚合多视图信息和灵活的迭代细化深度图。实验结果表明，我们的方法在ScanNet数据集上的深度预测和3D重建指标以及从TUM-RGBD和ICL-NUIM数据集中选择的场景方面都超过了最先进的精度。这表明，我们的方法是有效的，并推广到新的设置。
2021-12-01 cs.CV
LinPrim: Linear Primitives for Differentiable Volumetric Rendering
Technical University of Munich（慕尼黑技术大学）
本文提出基于八面体和四面体线性基元的可微体积渲染新方法，通过GPU光栅化器实现端到端优化，以更少基元达到与最先进方法相当的重建质量。
2025-10-16 cs.CV
Radiance Meshes for Volumetric Reconstruction
Google（谷歌）
本文提出辐射网格技术，通过Delaunay四面体化实现高效体积重建，结合光栅化和光线追踪实现高质量实时渲染，并支持多种应用扩展。
2025-12-03 cs.CV cs.GR
Differentiable Volumetric Rendering: Learning Implicit 3D Representations without 3D Supervision
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；Amazon（亚马逊）；ETAS GmbH, Bosch Group（博世集团ETAS有限公司）
基于学习的3D重建方法已经显示出令人印象深刻的结果。然而，大多数方法需要3D监督，这对于现实世界的数据集来说通常很难获得。最近，一些作品已经提出了微分绘制技术，训练重建模型从RGB图像。不幸的是，这些方法目前仅限于基于体素和网格的表示，遭受离散化或低分辨率。在这项工作中，我们提出了一个可微的隐式形状和纹理表示的渲染公式。隐式表示最近越来越流行，因为它们连续表示形状和纹理。我们的关键见解是，深度梯度可以推导出分析使用隐式微分的概念。这使我们能够直接从RGB图像中学习隐式形状和纹理表示。我们的实验表明，我们的单视图重建对手的学习与全3D监督。此外，我们发现，我们的方法可以用于多视图三维重建，直接导致水密网格。
2020-03-23 cs.CV cs.LG eess.IV
DPHMs: Diffusion Parametric Head Models for Depth-based Tracking
Technical University of Munich（慕尼黑工业大学）；Sony Semiconductor Solutions Europe（索尼半导体解决方案欧洲公司）；Technical University of Darmstadt（达姆施塔特工业大学）
本文提出 DPHMs，利用潜在扩散先验约束身份与表情编码，提升从含噪单目深度序列进行体积头部重建和表情追踪的鲁棒性。
2024-04-08 cs.CV
Gaussian Splashing: Direct Volumetric Rendering Underwater
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；The Inter-University Institute for Marine Sciences（校际海洋科学研究所）；University of Haifa（海法大学）
提出Gaussian Splashing方法，结合3DGS与水下散射成像模型，实现快速高质量的水下3D重建与渲染，速度达140 FPS，显著提升细节清晰度。
2025-11-02 cs.CV
Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction of Clothed People
University of Surrey（萨里大学）；Vicon Motion Systems Ltd（维康运动系统有限公司）
本文提出了一种新的方法来提高从单幅图像重建服装人体形状的准确性。最近的工作已经引入了体积，隐式和基于模型的形状学习框架，用于从一个或多个图像重建对象和人。然而，由于服装，头发，身体大小，姿势和摄像机视点造成的形状变化很大，因此重建的准确性和完整性受到限制。本文介绍了两个进步，以克服这一限制：首先是一个新的合成数据集的现实穿着的人，3DVH;其次，一种新的多视图损失函数的训练单目体积形状估计，这是证明显着提高概括和重建精度。的3DVH数据集的现实穿着不同的自然背景渲染的三维人体模型，以证明允许转移到重建从真实图像的人。综合比较性能评估的合成和真实的人的图像表明，该方法显着优于以前的最先进的基于学习的单图像三维人体形状估计方法实现重建的准确性，完整性和质量显着提高。消融研究表明，这是由于提出的多视图训练和新的3DVH数据集。代码和数据集可以在项目网站上找到：https://akincaliskan3d.github.io/MV3DH/。
2020-09-29 cs.CV
Neural Implicit Surface Reconstruction using Imaging Sonar
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种使用成像声纳（也称为前视声纳（FLS））对物体进行密集三维重建的技术。与以前的方法，模型的场景几何点云或体积网格相比，我们表示的几何神经隐式函数。此外，给出这样的表示，我们使用一个微分体积渲染器，该模型的传播声波合成成像声纳测量。我们在真实和合成数据集上进行实验，结果表明，我们的算法从多视图FLS图像中重建高保真表面几何形状，其质量比以前的技术高得多，并且不会受到相关内存开销的影响。
2022-09-17 cs.CV cs.RO
Three-Step Conditional Diffusion 3D Reconstruction for Light-Field Microscopy
Yanshan University（雁山大学）；Peking University（北京大学）
针对光场显微成像中传统算法分辨率低、伪影重、计算成本高，以及现有学习方法重建精度和泛化能力不足的问题，提出一种基于三步条件扩散的高保真三维重建方法，通过确定性三步采样和轻量条件U-Net实现快速准确重建，并引入类间检测模块增强稳定性。
2026-05-24 cs.CV
Neural RGB-D Surface Reconstruction
Technical University of Munich（慕尼黑工业大学）；Google Research（谷歌研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
获得房间规模场景的高质量3D重建对于即将到来的AR或VR应用至关重要。这些应用范围从用于电话会议、虚拟测量、虚拟房间规划的混合现实应用到机器人应用。虽然使用神经辐射场（NeRF）的当前基于体积的视图合成方法在再现对象或场景的外观方面显示出有希望的结果，但是它们不重建实际表面。当使用Marching Cubes提取曲面时，基于密度的曲面体积表示会导致伪影，因为在优化期间，密度沿着射线累积，并且不会孤立地用于单个采样点。而不是这种体积表示的表面，我们建议表示使用隐式函数（截断符号距离函数）的表面。我们展示了如何将这种表示在NeRF框架中，并将其扩展到使用商品RGB-D传感器（如Kinect）的深度测量。此外，我们提出了一个姿势和相机细化技术，提高了整体重建质量。与NeRF中集成深度先验的并行工作相比，NeRF专注于新颖的视图合成，我们的方法能够重建高质量的测量3D重建。
2022-03-14 cs.CV
ATGS: Anchored Temporal Gaussian Splatting for Long Volumetric Video Representation
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Pengcheng Laboratory（鹏城实验室）
针对长序列体积视频的时间不稳定问题，提出基于高斯溅射的ATGS框架，通过时间条件锚点组织高斯、时间窗口策略及多级锚点特征约束，实现更优的长序列体积视频重建性能。
2026-09-01 cs.CV
Visual Odometry with an Event Camera Using Continuous Ray Warping and Volumetric Contrast Maximization
ShanghaiTech University（上海科技大学）
我们提出了一种新的解决方案，跟踪和映射的事件相机。摄像机的运动包括旋转和平移，并且位移发生在任意结构的环境中。结果，图像匹配可能不再由低维单应性扭曲表示，从而使通常使用的扭曲事件图像（IWE）的应用复杂化。我们引入了一个新的解决方案，这个问题进行对比度最大化的3D。每个事件的射线投射的3D位置作为连续时间运动参数化的函数平滑地变化，并且通过最大化体积射线密度场中的对比度来找到最佳参数。因此，我们的方法对运动和结构进行联合优化。我们的方法的实际有效性支持的AGV运动估计和3D重建与一个单一的车载事件摄像机的应用程序。该方法接近常规相机获得的性能，并最终在具有挑战性的视觉条件下表现出色。
2021-07-07 cs.CV
Fast 3D Volumetric Image Reconstruction from 2D MRI Slices by Parallel Processing
A. K. Choudhury School of Information Technology, University of Calcutta（加尔各答大学A.K.乔杜里信息技术学院）；Indian Statistical Institute（印度统计研究所）
磁共振成像（MRI）是一种详细的解剖特征的非侵入性成像技术。它可以帮助对标本的器官进行功能分析，但它非常昂贵。在这项工作中，方法（i）虚拟三维（3D）重建从一个单一的序列的二维（2D）切片的MR图像的人的脊柱和大脑沿一个单一的轴，和（ii）生成丢失的切片间数据。我们的方法有助于保留被捕获对象的边缘、形状、大小以及内部组织结构。该算法将二维切片沿单轴方向分割成多个相等的子块，然后利用边缘保持的克里格插值法对这些子块进行重建，以预测缺失的切片信息。为了加快插值过程，我们使用了多处理器，通过在并行核上执行初始插值。从这样形成的3D矩阵，剪切波变换被施加到估计的边缘，考虑沿$Z$轴的2D块，并使用建议的均值-中值逻辑，以最小化模糊效应。最后，为了可视化，子矩阵被合并成最终的3D矩阵。然后，将新形成的三维矩阵分解成体素，并应用移动立方体方法得到近似的三维图像。据我们所知，这是第一种基于克里金插值和多重处理的方法，用于从2D切片进行3D重建，并且对于图像比较的相似性度量，实现了约98.89%的准确度。重建所需的时间也减少了约70%的多处理，即使是一个大的输入数据集相比，单核处理。
2023-03-16 cs.CV eess.IV
InfiniTAM v3: A Framework for Large-Scale 3D Reconstruction with Loop Closure
University of Oxford（牛津大学）；Samsung Research America（三星美国研究院）
近年来，体模型已经成为3D场景的流行表示。导致其流行的一个突破是KinectFusion，它专注于使用RGB-D传感器进行3D重建。然而，单目SLAM也已经用非常类似的方法来解决。将重建体表示为TSDF导致了这些系统的GPU实现可以实现的大部分简单性和效率。然而，这种表示是内存密集型的，并限制了小规模重建的适用性。已经探索了几种途径来克服这一问题。为了总结它们并提供快速，灵活的3D重建管道，我们提出了一个新的，统一的框架，称为InfiniTAM。其想法是，相机跟踪、场景表示和新数据集成等步骤可以轻松替换并适应用户的需求。本报告描述了InfiniTAM v3（我们的InfiniTAM系统的第三个版本）的技术实施细节。我们添加了各种新功能，并对低级代码进行了大量增强，从而显着提高了我们的相机跟踪性能。我们期望最感兴趣的新功能是（i）一个强大的相机跟踪模块;（ii）Glocker等人的实现。的关键帧为基础的随机蕨类植物相机relocaliser;（iii）一种新的方法，以全球一致的TSDF为基础的重建，划分成刚性的子地图和优化它们之间的相对姿态的基础上，和（iv）凯勒等人的实施。的基于冲浪的重建方法。
2017-08-02 cs.CV
NeuralBlox: Real-Time Neural Representation Fusion for Robust Volumetric Mapping
ETH Zürich（苏黎世联邦理工学院）
本文提出NeuralBlox，通过潜码网格上的增量融合与训练，实现大规模场景的实时神经隐式建图，并在含噪位姿下比TSDF更鲁棒地保持场景完整性。
2021-10-18 cs.CV cs.RO
PokeFlex: A Real-World Dataset of Volumetric Deformable Objects for Robotics
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）；Swiss Data Science Center（瑞士数据科学中心）；EPFL（洛桑联邦理工学院）
针对可变形物体操作数据缺乏的问题，提出配对标注的真实世界多模态数据集PokeFlex，包含3D网格、点云、RGB图像和深度图，并展示了其在在线3D网格重建任务中达到SOTA的效果。
2025-01-28 cs.CV cs.RO
Volumetric Reconstruction of Prostatectomy Specimens from Histology
Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Freie Universität Berlin（柏林自由大学）；Humboldt Universität zu Berlin（柏林洪堡大学）；MVZ Helios Klinikum Emil von Behring（赫利俄斯埃米尔·冯·贝林诊所MVZ）；University Hospital RWTH Aachen（亚琛工业大学医院）
本文提出开源3DSlicer扩展3D-SLIVER，通过切片数字化、虚拟切片、CPD配准及凸包等重建技术，实现前列腺切除标本的3D组织重建并支持临床与多模态研究。
2024-11-29 cs.CV eess.IV
BVI-CR: A Multi-View Human Dataset for Volumetric Video Compression
针对体积视频压缩缺乏高质量数据集的问题，提出包含18个多视角RGB-D人体动作序列的BVI-CR数据集，并基准测试表明神经表示方法相比传统编码平均PSNR增益达38%。
2024-11-17 cs.CV eess.IV
ERF: Explicit Radiance Field Reconstruction From Scratch
Meta；Reality Labs（现实实验室）
我们提出了一种新的显式密集三维重建方法，处理一组图像的场景与传感器的姿势和校准，并估计一个照片真实的数字模型。关键创新之一是，与基于神经网络的（隐式）替代方案相比，底层体积表示是完全显式的。我们编码场景明确使用清晰和可理解的映射优化变量场景的几何形状和它们的传出表面辐射。我们表示它们使用分层体积字段存储在一个稀疏体素八叉树。仅从已注册的场景图像中鲁棒地重建具有数百万未知变量的这样的体积场景模型是高度非凸的和复杂的优化问题。为此，我们采用随机梯度下降（亚当），这是由一个逆微分渲染器。我们证明了我们的方法可以重建高质量的模型，可以与最先进的隐式方法相媲美。重要的是，我们不使用顺序重建流水线，其中各个步骤受到来自先前阶段的不完整或不可靠信息的影响，而是从具有场景几何形状和辐射的统一初始解开始我们的优化，这些初始解与地面实况相差甚远。结果表明，该方法具有通用性和实用性.它不需要高度控制的实验室设置来捕获，但允许用各种各样的物体重建场景，包括具有挑战性的物体，如户外植物或毛茸茸的玩具。最后，我们重建的场景模型是通用的，由于他们明确的设计。它们可以交互式地编辑，这对于隐式替代方案来说在计算上太昂贵了。
2022-02-28 cs.CV cs.GR
Neural Haircut: Prior-Guided Strand-Based Hair Reconstruction
Samsung AI Center（三星人工智能中心）；Rockstar Games（Rockstar游戏公司）；FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Cinemersive Labs（Cinemersive实验室）
针对头发三维建模难度高的问题，提出Neural Haircut方法，通过两阶段优化结合先验与可微渲染，从单目视频或多视角图实现高保真发丝级个性化头发重建。
2023-06-12 cs.CV cs.GR
PLVS: A SLAM System with Points, Lines, Volumetric Mapping, and 3D Incremental Segmentation
本文提出实时SLAM系统PLVS，融合稀疏点线特征SLAM、并行体素建图与3D增量分割，支持多类相机，提出新型线重投影误差提升精度，经公开数据集验证且已开源。
2024-01-31 cs.CV cs.RO
M-Gaussian: An Magnetic Gaussian Framework for Efficient Multi-Stack MRI Reconstruction
School of Biomedical Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学生物医学工程学院）
M-Gaussian通过磁性高斯框架实现了高效多堆栈MRI重建，结合物理一致渲染与多分辨率训练，在FeTA数据集上达到40.31 dB PSNR并提升14倍速度。
2026-02-24 cs.AI cs.CV
Accurate Human Body Reconstruction for Volumetric Video
Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute（弗劳恩霍夫电信研究所海因里希·赫兹研究所）
在这项工作中，我们增强了一个专业的端到端的体积视频生产管道，实现高保真人体重建只使用被动相机。虽然当前的体积视频方法使用传统的立体匹配技术来估计深度图，但我们引入并优化了基于深度学习的多视图立体视觉网络，以在专业体积视频重建的背景下进行深度图估计。此外，我们提出了一种新的深度图后处理方法，包括过滤和融合，考虑到光度置信度，跨视图几何一致性，前景掩模以及相机视锥。我们表明，我们的方法可以生成高层次的几何细节重建人体。
2022-02-26 cs.CV
Real-time volumetric rendering of dynamic humans
Meta AI
我们提出了一种方法，用于快速三维重建和实时的【形】渲染的动态人从单目视频与随行的参数化的身体适合。我们的方法可以使用单个GPU在不到3小时的时间内重建动态人体，而最近最先进的替代方案需要长达72小时。这些加速比是通过使用仅基于线性混合蒙皮的轻量级变形模型和用于对规范姿势中的人的形状和颜色进行建模的有效因子分解体积表示来获得的。此外，我们提出了一种新的本地光线行进渲染，利用标准的GPU硬件，没有任何烘烤或转换的辐射场，允许可视化的神经人在移动VR设备上每秒40帧的视觉质量损失最小。我们的实验评估表明，优越的或有竞争力的结果与国家的最先进的方法，同时获得大的训练加速，使用一个简单的模型，并实现实时的【形】渲染。
2023-03-21 cs.CV cs.GR
Topology-Change-Aware Volumetric Fusion for Dynamic Scene Reconstruction
拓扑变化是动态场景4D重建的一个挑战性问题。在经典的基于体融合的框架中，通常从TSDF体中提取一个网格作为正则表面表示来帮助估计变形场。然而，表面和嵌入变形图（EDG）表示带来的冲突，在拓扑变化，因为表面网格具有固定的连接，但变形场可以是不连续的。在本文中，经典的框架进行了重新设计，使4D重建的动态场景下的拓扑变化，通过引入一种新的结构的非流形体网格TSDF和EDG的重新设计，它允许通过单元分裂和复制的连接更新。实验结果表明，令人信服的重建结果的拓扑结构变化的动态场景，相比，国家的最先进的方法。
2020-07-14 cs.CV
3D Sketching using Multi-View Deep Volumetric Prediction
Inria Université Côte d’Azur（法国国家数字科学技术研究所蔚蓝海岸大学）；LIGM (UMR 8049), Ecole des Ponts（巴黎桥路学院LIGM（UMR 8049））；OpenAI；UC Berkeley（加州大学伯克利分校）
基于草图的建模致力于将绘图的轻松性和即时性带到3D世界。然而，虽然人类很容易创建图纸，但由于其稀疏性和模糊性，计算机解释它们非常具有挑战性。我们提出了一种数据驱动的方法，通过学习从一个或多个图纸重建3D形状来应对这一挑战。我们方法的核心是一个深度卷积神经网络（CNN），它可以从线条图中预测体素网格的占用率。这个CNN为我们提供了一个初始的三维重建，只要用户完成了所需形状的一个单一的绘图。我们用一个更新器CNN来补充这个单视图网络，该更新器可以根据从新视点创建的形状的新绘图来细化现有的预测。我们的方法的一个关键优点是，我们可以迭代地应用更新器来融合来自任意数量的视点的信息，而不需要绘图之间的显式笔划对应。我们训练这两个CNN渲染合成轮廓图从手工建模的形状集合，以及从程序生成的抽象形状。最后，我们将CNN集成到一个最小的建模界面中，允许用户无缝绘制对象，旋转它以查看其3D重建，并通过使用3D重建作为指导从另一个有利位置重新绘制来优化它。我们的方法的主要优点是它的鲁棒性手绘位图图纸，它能够适应不同的对象类别，以及它提供的单视图和多视图之间的连续体草图为基础的建模。
2018-06-19 cs.CV cs.GR
NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
近年来，通过神经辐射场（NeRF）推广的探索几何和辐射的隐式表示的工作有了巨大的增长。这些作品基本上是基于一个（隐式）体积表示的占用，使他们能够模拟不同的场景结构，包括半透明的对象和大气遮蔽。但是，由于绝大多数真实世界的场景是由定义良好的表面，我们引入了一个表面模拟这样的隐式模型称为神经反射表面（NeRS）。NeRS学习一个封闭曲面的神经形状表示，该曲面与球体同构，保证了水密重建。更重要的是，表面参数化允许NeRS学习（神经）双向表面反射函数（BRDF），将视图相关外观分解为环境照明，漫射颜色（漫射）和镜面反射。“最后，我们不是在合成场景或实验室控制的捕获上说明我们的结果，而是从在线市场收集了一个新的多视图图像数据集，用于销售商品。这样的“野外”多视图图像集带来了许多挑战，包括具有未知/粗略相机估计的少量视图。我们证明了基于表面的神经重建能够从这些数据中学习，优于基于体积的神经渲染重建。我们希望NeRS作为构建可扩展的，高质量的真实世界形状，材料和照明库的第一步。包含代码和视频可视化的项目页面可以在https://jasonyzhang.com/ners上找到。
2021-10-18 cs.CV cs.LG
3D Human Body Reconstruction from a Single Image via Volumetric Regression
The University of Nottingham（诺丁汉大学）；B3D（2B3D公司）
本文提出了一种端到端的卷积神经网络的使用直接重建的三维几何形状的人通过体积回归。所提出的方法不需要形状模型的拟合，并且可以被训练为从各种输入类型工作，无论是地标、图像还是分割掩模。此外，自遮挡或其他情况下的不可见部分仍然被重建，这不是深度图回归的情况。我们目前的结果表明，我们的方法可以处理姿态变化和详细的重建适当的数据集进行训练。
2018-09-11 cs.CV
Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction
Technical University of Munich（慕尼黑工业大学）；Facebook Reality Labs（Facebook现实实验室）
我们提出了动态神经辐射场建模的外观和动态的人脸。数字建模和重建说话的人是各种应用的关键组成部分。特别是，对于AR或VR中的远程呈现应用，需要忠实地再现包括新颖视点或头部姿势的外观。与明确建模几何形状和材料属性或纯粹基于图像的最先进方法相反，我们引入了基于场景表示网络的头部隐式表示。为了处理面部的动态，我们将我们的场景表示网络与低维变形模型相结合，该模型提供了对姿势和表情的显式控制。我们使用体积渲染从这种混合表示生成图像，并证明这样的动态神经场景表示可以只从单眼输入数据学习，而不需要专门的捕获设置。在我们的实验中，我们表明，这种学习的体积表示允许照片般逼真的图像生成，超越了最先进的基于视频的重演方法的质量。
2020-12-05 cs.CV cs.GR
Deep disentangled representations for volumetric reconstruction
Radboud University（拉德堡德大学）；Microsoft Research（微软研究院）
我们介绍了一个卷积神经网络推断一个紧凑的解纠缠的图形描述的对象从2D图像，可用于体积重建。该网络包括一个编码器和一个双尾解码器。编码器生成解纠缠的图形代码。第一解码器生成体积，并且第二解码器使用新颖的训练机制来重建输入图像，该训练机制允许图形代码学习3D对象的单独表示以及其照明和姿态条件的描述。我们证明了这种方法，从图像和视频的脸和椅子生成量和解开图形描述。
2016-10-12 cs.CV
From Slices to Structures: Unsupervised 3D Reconstruction of Female Pelvic Anatomy from Freehand Transvaginal Ultrasound
ETH Zurich（苏黎世联邦理工学院）；University of Basel（巴塞尔大学）；Scanvio Medical AG（Scanvio医疗股份有限公司）
本文提出TVGS方法，通过无监督学习从自由手经阴道超声图像实现高精度3D女性盆腔解剖重建，无需外部设备或姿态估计。
2026-02-02 cs.CV eess.IV
ViVo: A Dataset for Volumetric Video Reconstruction and Compression
Visual Information Lab, University of Bristol（布里斯托大学视觉信息实验室）；Condense Reality Ltd（Condense Reality有限公司）
本文提出ViVo数据集，用于体积分解与压缩，包含多样化的内容，涵盖人类特征和动态视觉现象，通过基准测试展示了数据集的挑战性和现有方法的局限性。
2025-06-09 cs.CV
Refining Gaussian Splatting: A Volumetric Densification Approach
Telecom SudParis（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
本文提出一种基于惯性体积的密度控制方法，改进3DGS致密化策略，在Mip-NeRF 360数据集上超越3DGS，提升重建质量。
2025-08-07 cs.AI cs.CV cs.GR
Associative3D: Volumetric Reconstruction from Sparse Views
University of Michigan（密歇根大学）
本文研究了在未知摄像机的情况下，由场景的两个视图进行三维体重建的问题。虽然这个问题对人类来说似乎很容易，但对计算机来说却面临着许多挑战，因为它需要同时在两个视图中重建对象，同时还要弄清楚它们的关系。我们提出了一种新方法，用于估计重建、相机/对象和相机/相机变换的分布，以及视图间对象亲和力矩阵。然后，这些信息被联合推理，以产生对场景最有可能的解释。我们训练和测试我们的方法对室内场景的数据集，并严格评估我们的联合推理方法的优点。实验表明，该算法能够从稀疏视图中恢复出合理的场景，但问题仍然具有挑战性。项目网址：https://jasonqsy.github.io/Associative3D
2020-07-27 cs.CV
Motion Correction and Volumetric Reconstruction for Fetal Functional Magnetic Resonance Imaging Data
Medical University of Vienna（维也纳医科大学）；King's College London（伦敦国王学院）；Nathan Kline Institute（内森·克莱恩研究所）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
运动校正是胎儿脑功能磁共振成像（fMRI）中必不可少的预处理步骤，其目的是去除由胎动和母亲呼吸引起的伪影，从而抑制错误的信号相关性。目前的胎儿fMRI运动校正方法从特定的采集时间点选择具有最少运动伪影的单个3D体积作为参考体积，并对运动校正后的时间序列进行插值重建。如果没有低运动帧可用，并且如果重建不利用任何关于fMRI信号连续性的假设，则结果可能会受到影响。在这里，我们提出了一个新的框架，估计高分辨率的参考体积，通过使用离群鲁棒的运动校正，并通过利用Huber L2正则化的运动校正的胎儿脑功能磁共振成像的堆栈内体积重建。我们进行了广泛的参数研究，以调查运动估计的有效性，并在这项工作中提出基准指标，以量化运动校正和正则化体积重建方法对功能连接计算的影响。我们证明了所提出的框架的能力，以提高功能连接的估计，再现性和信号的可解释性，这是临床上非常可取的预后非侵入性成像生物标志物的建立。运动校正和体积重建框架作为NiftyMIC的开源软件包提供。
2022-02-11 cs.CV
Volumetric Bias in Segmentation and Reconstruction: Secrets and Solutions
UWO（西安大略大学）；Lund University（隆德大学）
许多用于分割和重建的标准优化方法计算ML模型对分割的外观或几何形状的估计，例如Zhu-Yuille 1996，Torr 1998，Chan-Vese 2001，GrabCut 2004，Delong等人2012。我们观察到，在这些公式中的标准似然项对应于广义概率K-均值能量。在学习中，众所周知，这种能量对相同大小的集群有很强的偏见，这可以表示为对基数均匀分布的KL发散的惩罚。然而，这种体积偏差在计算机视觉中大多被忽略。由于这种偏见，我们证明了标准分割和重建方法中的显着工件。此外，我们提出了二进制和多标签优化技术，要么（a）消除这种偏见或（b）将其替换为任何给定的目标体积分布的KL发散项。我们的一般思想适用于许多连续或离散的能量配方分割，立体和其他重建问题。
2015-05-01 cs.CV
SurfelWarp: Efficient Non-Volumetric Single View Dynamic Reconstruction
Massachusetts Institute of Technology（麻省理工学院）
我们贡献了一个密集的SLAM系统，该系统以实时的深度图像流作为输入，并在没有模板或先验模型的情况下实时的重建非刚性变形场景。与现有的方法相比，我们不维护任何体积数据结构，如截断符号距离函数（TSDF）字段或变形字段，这是性能和存储器密集型。我们的系统使用基于平面点（冲浪）的几何表示，可以直接从商品深度传感器获取。标准图形流水线和通用GPU（GPGPU）计算被用于所有中央操作：即，最近邻维护、非刚性变形场估计和深度测量的融合。我们的管道本质上避免了昂贵的体积操作，如移动立方体，体积融合和密集变形场更新，从而显着提高性能。此外，明确和灵活的surfel为基础的几何表示，使有效的处理拓扑结构的变化和跟踪失败，这使得我们的重建与更新的深度观测一致。我们的系统允许机器人保持一个场景描述与非刚性变形的对象，有可能实现与动态工作环境的交互。
2019-04-30 cs.CV
Stochastic Poisson Surface Reconstruction with One Solve using Geometric Gaussian Processes
cornell（康奈尔大学）；mit（麻省理工学院）；columbia（哥伦比亚大学）
本文提出利用几何高斯过程将插值与泊松曲面重建合并为单阶段方法，每次采样仅需一次线性求解，支持局部查询、概率碰撞检测、射线投射和逐射线下一视角规划，构建出更简洁、有原则且灵活的随机曲面重建流程。
2025-06-05 cs.CV cs.GR cs.LG
A novel 3D display based on micro-volumetric scanning and real time reconstruction of holograms principle
BOWEI INTEGRATED CIRCUITS CO.,LTD.（博威集成电路有限公司）；The 13th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第十三研究所）；Jilin University（吉林大学）
本研究提出一种新颖的三维显示器，包含一个微体积扫描系统（MVS）和一个实时的再现全息系统（RTRH）。
2018-12-16 cs.CV cs.GR
Volumetric Reconstruction Applied to Perceptual Studies of Size and Weight
我们探讨了结构光传感器的体积重建在认知神经科学中的应用，特别是在量化的大小重量错觉，人类往往会系统地感知较小的物体作为较重。我们调查的两个商业结构光扫描系统的性能相比，我们专门为此应用开发的。我们的方法有两个主要的特点：第一，它只采样一系列稀疏的视点，不像其他系统，如Kinect Fusion。其次，而不是建立一个距离场的目的点到表面的转换直接，我们追求一阶的方法：距离函数是从其梯度恢复的筛选泊松重建，这是非常有弹性的噪声，但保留高频信号分量。我们的实验表明，从结构光传感器的度量重建的质量是受系统的偏见，并突出了影响它的因素，我们的主要性能指标率估计的体积（代理的大小），我们审查一个众所周知的公式适用于不完整的网格。我们的代码和数据将在匿名审查过程完成后公开。
2013-11-11 cs.CV
High-Resolution Cranial Defect Reconstruction by Iterative, Low-Resolution, Point Cloud Completion Transformers
AGH University of Science and Technology（AGH科技大学）；University of Applied Sciences Western Switzerland (HES-SO Valais)（瑞士西部应用科学大学（瓦莱州高等学院））；Information Systems Institute（信息系统研究所）
针对现有体素法颅骨缺损重建的局限性，本研究将其重构为点云补全任务，提出迭代式Transformer方法，可实现任意高分辨率重建，且内存效率优于现有先进方法。
2024-05-21 cs.AI cs.CV cs.LG
SpINR: Neural Volumetric Reconstruction for FMCW Radars
Department of Computer Science University of Maryland, College Park（计算机科学系马里兰大学学院公园分校）
SpINR提出将频域可微前向模型与隐式神经表示结合，用于FMCW雷达体积重建，显著优于传统方法，是雷达领域首次应用神经体积重建。
2025-04-25 cs.CV
HeartVolMesh: Cardiac Volumetric Mesh Reconstruction via Covariance-Guided Graph Deformation
Centre for Computational Imaging and Modelling in Medicine (CIMIM), University of Manchester（曼彻斯特大学医学计算成像与建模中心（CIMIM））；Christabel Pankhurst Institute, University of Manchester（曼彻斯特大学克里斯塔贝尔·潘克赫斯特研究所）；Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；Division of Informatics, Imaging & Data Sciences, University of Manchester（曼彻斯特大学信息学、成像与数据科学部）；NIHR Manchester Biomedical Research Centre, Manchester Academic Health Sciences Centre, University of Manchester（曼彻斯特大学NIHR曼彻斯特生物医学研究中心，曼彻斯特学术健康科学中心）
提出HeartVolMesh，将模板顶点提升为各向异性高斯核，用3D CNN-GNN预测位移和协方差，经协方差感知负对数似然损失训练，通过多步骤变形固定模板生成网格，实验表明其在精度上优于基于变形的基线。
2026-07-07 cs.CV
Volumetric performance capture from minimal camera viewpoints
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了一个卷积自动编码器，使高保真度的体积重建的人的表现被捕获的多视图视频，包括只有一小部分的相机视图。我们的方法产生类似的端到端的重建误差的概率视觉船体计算使用显着更多（双或更多）的观点。我们使用了一个深度先验隐式学习的自动编码器训练了一个数据集的视图消融多视图视频片段的广泛的主题和行动。这为在时间或成本不允许使用大量见证摄像机的现场和专业消费者场景中进行高端体积性能捕获提供了可能性。
2018-07-10 cs.CV
