UniPlane: Unified Plane Detection and Reconstruction from Posed Monocular Videos
University of Southern California(南加州大学);Meta Reality Labs(元宇宙现实实验室)
UniPlane提出在单一Transformer网络中统一平面检测与重建,通过三维特征体和平面嵌入的点积直接重建平面,在真实数据集上以+4.6 F-score超越现有方法。
2024-07-04 cs.CV
PHI-MVS: Plane Hypothesis Inference Multi-view Stereo for Large-Scale Scene Reconstruction
基于PatchMatch的多视图立体视觉(MVS)算法在大规模场景重建中取得了巨大的成功。然而,无纹理平面的重建往往会失败,因为相似性测量方法在这些区域上可能变得无效。因此,提出了一种新的平面假设推理策略来处理上述问题。该过程包括两个步骤:首先,使用未成功恢复的区域上的过滤的初始深度图生成多个平面假设;其次,使用马尔可夫随机场(MRF)选择深度假设。该策略在计算时间增加不多的情况下,能显著提高重建结果的完整性。此外,一种新的加速方案,类似于扩张卷积,可以加快深度图估计过程中只有轻微的影响重建。我们将上述想法集成到一个新的MVS流水线,平面假设推理多视图立体视觉(PHI-MVS)。PHI-MVS的结果在ETH 3D公共基准测试中得到了验证,它展示了与最先进技术相竞争的性能。
2021-04-13 cs.CV
PlaneRecNet: Multi-Task Learning with Cross-Task Consistency for Piece-Wise Plane Detection and Reconstruction from a Single RGB Image
分段三维平面重建提供了对人造环境的整体场景理解,特别是对于室内场景。最近的方法主要集中在通过引入先进的网络架构来改善分割和重建结果,但忽略了分段平面作为对象和几何模型的双重特性。与其他现有方法不同,我们从多任务卷积神经网络PlaneRecNet的跨任务一致性开始,PlaneRecNet集成了一个用于分段平面分割的单级实例分割网络和一个深度解码器,用于从单个RGB图像重建场景。为了实现这一目标,我们引入了几个新的损失函数(几何约束),共同提高分段平面分割和深度估计的准确性。同时,提出了一种新的平面先验注意模型,通过对平面实例的感知来指导深度估计。在这项工作中进行了详尽的实验,以验证我们的方法的有效性和效率。
2022-01-30 cs.CV
PlaneNet: Piece-wise Planar Reconstruction from a Single RGB Image
Washington University in St. Louis(圣路易斯华盛顿大学);Adobe Research(Adobe研究院);Argo AI(阿尔戈人工智能公司);Simon Fraser University(西蒙弗雷泽大学)
本文提出了一种深度神经网络(DNN)的分段平面深度图重建从一个单一的RGB图像。虽然DNN已经为单图像深度预测带来了显着的进步,但分段平面深度图重建需要结构化的几何表示,即使对于DNN来说也是一项难以掌握的任务。所提出的端到端DNN学习从单个RGB图像直接推断一组平面参数和相应的平面分割掩码。我们已经从ScanNet(一个大型RGBD视频数据库)中生成了超过50,000个分段平面深度图,用于训练和测试。我们的定性和定量评估表明,所提出的方法优于基线方法在平面分割和深度估计精度。据我们所知,本文提出了第一个端到端的神经架构,用于从单个RGB图像进行分段平面重建。代码和数据可在https://github.com/art-programmer/PlaneNet上获得。
2018-04-17 cs.CV
Multi-task Planar Reconstruction with Feature Warping Guidance
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Humboldt University(洪堡大学)
本文提出SOLOPlanes,一种基于改进实例分割架构的实时平面重建模型,通过多视图特征变形引导实现语义、平面参数与掩码的联合预测,在43 FPS下提升分割精度。
2023-12-21 cs.CV
Plane-Based Optimization of Geometry and Texture for RGB-D Reconstruction of Indoor Scenes
University of Texas at Dallas(德克萨斯大学达拉斯分校)
提出了一种基于平面基元的RGB-D室内场景重建方法。该方法以RGB-D序列和基于该序列的3D重建方法重建的密集粗网格作为输入,生成的低多边形网格具有清晰的人脸纹理和尖锐的特征,同时不丢失原始场景的几何细节。为了实现这一点,我们首先划分输入网格与平面图元,简化成一个轻量级的网格下,然后优化平面参数,相机姿势和纹理颜色,以最大限度地提高跨帧的光度一致性,最后优化网格几何形状,以最大限度地提高几何和平面之间的一致性。与现有的平面重建方法只覆盖场景中较大的平面区域相比,该方法通过自适应平面构建整个场景,不丢失几何细节,并保留了最终网格的尖锐特征。我们证明了我们的方法的有效性,将其应用到几个RGB-D扫描,并将其与其他国家的最先进的重建方法进行比较。
2019-05-23 cs.CV
De-noising, Stabilizing and Completing 3D Reconstructions On-the-go using Plane Priors
Technical University of Munich(慕尼黑工业大学);Google(谷歌)
近年来,在机器人和其他移动设备上创建3D地图已成为现实。在线3D重建可以在机器人和AR/VR游戏中实现许多令人兴奋的应用。然而,重建是嘈杂的,通常是不完整的。此外,在深度重建期间,表面随着每个新集成的深度图像而变化,这对物理引擎和路径规划算法构成了重大挑战。本文提出了一种新的,快速和强大的方法来获取和使用有关平面表面的信息,如墙壁,地板和天花板作为一个阶段,在3D重建的基础上签署的距离场。我们的算法恢复干净和准确的表面,减少移动的个别网格顶点造成的噪声在线重建和填充在闭塞和未观察到的地区。我们实现并评估了两种不同的策略来生成平面候选者和两种策略来合并它们。我们的实现经过优化,可以在Tango平板电脑等移动设备上实时运行。在一组广泛的实验中,我们验证了我们的方法在大量的自然环境中工作良好,尽管存在大量的遮挡,杂波和噪声,这些经常发生。我们进一步表明,平面拟合,使在许多情况下,一个有意义的语义分割的现实世界的场景。
2017-03-28 cs.CV
NOPE-SAC: Neural One-Plane RANSAC for Sparse-View Planar 3D Reconstruction
Wuhan University(武汉大学);Ant Group(蚂蚁集团);North Carolina State University(北卡罗来纳州立大学)
针对稀疏视图双视图3D重建中对应关系不足的问题,提出NOPE-SAC框架,通过孪生网络和共享MLP学习3D平面对应关系生成单平面位姿假设,经RANSAC加权获得最终位姿,在MatterPort3D和ScanNet基准上取得最先进性能。
2023-09-13 cs.CV
Indoor Panorama Planar 3D Reconstruction via Divide and Conquer
National Tsing Hua University(国立清华大学);ASUS AICS(华硕AI研发中心);Joint Research Center for AI Technology and All Vista Healthcare(AI技术与All Vista Healthcare联合研究中心);Aeolus Robotics
室内全景通常由平行或垂直于重力的人造结构组成。我们利用这种现象来近似场景中的360度图像与(H)orizontal-planes和(V)ertical-planes。为此,我们提出了一种有效的分治策略,划分像素的基础上,他们的平面方向估计,然后,后续的实例分割模块征服的任务,更容易在每个平面方向组的平面聚类。此外,V平面的参数取决于摄像机的偏航旋转,但平移不变的CNN不太了解偏航变化。因此,我们提出了一个偏航不变的V平面重新参数化CNN学习。我们通过扩展现有的360深度数据集与地面真实H\& V平面(称为PanoH&V数据集),并采用最先进的平面重建方法来预测H\& V平面作为我们的基线,创建了一个室内全景平面重建的基准。我们的方法在所提出的数据集上的性能大大优于基线。
2021-09-09 cs.CV
P$^2$SDF for Neural Indoor Scene Reconstruction
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);The 38th Research Institute of China Electronic Technology Group Corporation(中国电子科技集团公司第三十八研究所);China Telecom Cloud Company(中国电信云公司);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程研究中心);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海高效节能与定制AI芯片工程研究中心)
神经隐式表面表示方法在三维表面重建中的应用已经显示出了很好的效果。然而,由于每场景优化的本质是基于颜色的体积渲染,因此先前的神经隐式表面重建方法通常在低纹理区域(包括地板、墙壁等)中失败,其通常存在于室内场景中。意识到这些低纹理区域通常对应于平面的事实,而不引入额外的地面实况监控信号或对房间布局进行额外的假设,我们建议利用一种新的伪平面正则化符号距离场(P $^2$ SDF)进行室内场景重建。具体来说,我们认为具有相似颜色的相邻像素位于相同的伪平面上。然后在训练过程中通过高效和有效的两步方案在飞行中估计平面参数。然后,在训练阶段通过估计的平面参数来正则化平面上的点的有符号距离。由于无监督的平面段通常是噪声和不准确的,我们建议在平面估计中为平面上的采样点分配不同的权重以及正则化损失。权重来自融合来自不同视图的平面段。由于平面区域中的采样光线是冗余的,导致训练效率低下,我们进一步提出了一种关键点引导的光线采样策略,该策略关注具有较大颜色变化的信息纹理区域,与原始均匀光线采样策略相比,隐式网络获得了更好的重建效果。实验结果表明,我们的P $^2$ SDF在曼哈顿场景中达到了有竞争力的重建性能。此外,由于我们没有引入任何额外的房间布局假设,我们的P $^2$ SDF很好地推广到非曼哈顿场景的重建。
2023-03-01 cs.CV
PlanarSplatting: Accurate Planar Surface Reconstruction in 3 Minutes
Ant Group(蚂蚁集团);University of Louisville(路易斯维尔大学)
本文提出 PlanarSplatting,通过直接优化三维平面并将其泼溅为深度与法线图,在3分钟内实现高几何精度的室内多视图表面重建。
2024-12-04 cs.CV
Pano Popups: Indoor 3D Reconstruction with a Plane-Aware Network
Zillow Group(齐洛集团);Wormpex AI Research(沃姆派克斯人工智能研究院)
在这项工作中,我们提出了一种方法来训练一个平面感知卷积神经网络的密集深度和表面法线估计以及平面边界从一个单一的室内$360^\circ$图像。使用我们提出的损失函数,我们的网络优于现有的方法,单视图,室内,全向深度估计,并提供了一个初始基准表面正常预测从$360^\circ$图像。我们的改进是由于使用了一种新的平面感知损失,利用主曲率作为平面边界的指标。我们还表明,包括测地坐标地图作为网络先验提供了一个显着的提高表面正常的预测精度。最后,我们演示了如何结合网络的输出来生成室内场景的高质量3D“弹出”模型。
2020-02-24 cs.CV
Image-Plane Geometric Decoding for View-Invariant Indoor Scene Reconstruction
School of Microelectronics,Tianjin University(天津大学微电子学院);College of Electronic Information and Optical Engineering,Nankai University(南开大学电子信息与光工程学院);Technology Research Institute of MEM(MEM技术研究所)
针对现有室内重建方法依赖多视角几何约束导致视角变化时性能下降的问题,提出图像平面解码框架,利用单视角空间信息,在视角减少40%时仍保持高质量重建。
2025-10-27 cs.CV
Surface Reconstruction from 3D Line Segments
LIGM (UMR 8049)(LIGM(UMR 8049));ENPC(国立桥路学校);UPE(巴黎东大学);ONERA(法国航空航天实验室);Université Paris-Saclay(巴黎-萨克雷大学)
在室内场景等人造环境中,当基于点的3D重建由于缺乏纹理而失败时,仍然可以检测到线并用于支撑表面。本文提出了一种新的基于可见性信息的三维线段的水密性分段平面曲面重建方法。首先,平面提取一种新的RANSAC方法的线段,允许多个形状的支持。然后,平面布置的每个3D单元基于与平面的线连接、可见性和正则化被标记为满或空。实验表明,该算法对稀疏输入数据、噪声和离群点具有较好的鲁棒性。
2019-11-01 cs.CV
Normal reconstruction from specularity in the endoscopic setting
我们表明,对于一个平面成像的内窥镜的镜面等照度线是同心圆的场景平面上,它出现在图像中的嵌套椭圆。我们表明,这些椭圆可以检测到,并用于估计飞机的法线方向,形成正常的重建方法,我们验证模拟数据。在实践中,内窥镜图像中可见的解剖表面是局部平面的。我们使用我们的方法来表明,表面法线,因此可以重建的许多镜面反射通常可见的潮湿组织。我们展示了腹腔镜和结肠镜图像的结果。
2023-02-22 cs.CV
PlaneRecTR++: Unified Query Learning for Joint 3D Planar Reconstruction and Pose Estimation
National University of Defense Technology(国防科技大学)
本文提出PlaneRecTR++,一种基于Transformer的单阶段统一框架,首次将多视图3D平面重建与相机位姿估计整合,消除了初始位姿估计和平面对应监督需求,在多个公开数据集上达到最优性能。
2025-09-17 cs.CV
NumGrad-Pull: Numerical Gradient Guided Tri-plane Representation for Surface Reconstruction from Point Clouds
School of Computing, The Australian National University(澳大利亚国立大学计算机学院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系);Department of Computer Science & Software Engineering, the University of Western Australia(西澳大学计算机科学与软件工程系)
本文针对从点云重建连续曲面的挑战,提出NumGrad-Pull方法,利用三平面结构、数值梯度、渐进平面扩展和数据采样策略,集成到统一框架,有效应对学习SDF的局部性和稀疏性问题,实验验证了方法的有效性和鲁棒性。
2026-07-08 cs.CV
Single-Image Piece-wise Planar 3D Reconstruction via Associative Embedding
ShanghaiTech University(上海科技大学);The Pennsylvania State University(宾夕法尼亚州立大学)
单图像分段平面三维重建的目标是同时分割平面实例和恢复三维平面参数从图像。最新的方法利用卷积神经网络(CNN),并取得了可喜的成果。然而,这些方法仅限于检测具有特定学习顺序的固定数量的平面。为了解决这个问题,我们提出了一种新的两阶段的方法,联想嵌入的基础上,其最近的成功实例分割的启发。在第一阶段,我们训练一个CNN,将每个像素映射到一个嵌入空间,在这个嵌入空间中,来自同一平面实例的像素具有相似的嵌入。然后,通过有效的均值漂移聚类算法对平面区域中的嵌入向量进行分组,得到平面实例。在第二阶段,我们估计每个平面实例的参数,同时考虑像素级和实例级的插值。与所提出的方法,我们能够检测任意数量的平面。在公开数据集上的大量实验验证了该方法的有效性和效率。此外,我们的方法在测试时以30 fps运行,因此可以促进许多实时应用,如视觉SLAM和人机交互。代码可在https://github.com/svip-lab/PlanarReconstruction上获得。
2019-04-24 cs.CV
PlanarRecon: Real-time 3D Plane Detection and Reconstruction from Posed Monocular Videos
Northeastern University(东北大学);Zhejiang University(浙江大学);Adobe Research(奥多比研究院);The Pennsylvania State University(宾夕法尼亚州立大学)
我们提出PlanarRecon -一种新的框架,用于从一个单目视频中全局相干检测和重建3D平面。与以前从单个图像中检测2D平面的作品不同,PlanarRecon使用神经网络从场景的体积表示中为每个视频片段(由一组关键帧组成)增量检测3D平面。设计了一个基于学习的跟踪和融合模块,用于合并来自先前片段的平面,以形成连贯的全局平面重建。这种设计允许PlanarRecon整合每个片段内多个视图的观察结果和不同片段之间的时间信息,从而使用低多边形几何结构对场景抽象进行准确和连贯的重建。实验结果表明,该方法在ScanNet数据集上具有较好的实时的【形】性。
2022-06-15 cs.CV cs.RO
Dynamic Plane Convolutional Occupancy Networks
ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学习系统中心)
使用隐式神经表示的基于学习的3D重建不仅在对象级别而且在更复杂的场景中显示出有希望的进展。在本文中,我们提出了动态平面卷积占据网络,一种新的隐式表示进一步推动三维表面重建的质量。将输入的噪声点云编码为投影到多个2D动态平面上的逐点特征。完全连接的网络学习预测最能描述物体或场景形状的平面参数。为了进一步利用平移等方差,应用卷积神经网络来处理平面特征。我们的方法在ShapeNet和室内场景数据集的无方向点云表面重建中表现出卓越的性能。此外,我们还提供了有趣的观察学习动态平面的分布。
2020-11-11 cs.CV
DreamCraft3D++: Efficient Hierarchical 3D Generation with Multi-Plane Reconstruction Model
Tsinghua University(清华大学);VAST;Zhejiang University(浙江大学)
DreamCraft3D++通过引入前馈式多平面重建模型替代耗时的几何优化提速1000倍,并结合无需训练的IP-Adapter模块提升纹理一致性,实现了高效且高质量的复杂3D资产生成。
2024-10-16 cs.CV
MonoPlane: Exploiting Monocular Geometric Cues for Generalizable 3D Plane Reconstruction
Bytedance Inc.(字节跳动公司);College of Information Sciences and Technology, Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院)
MonoPlane利用单目几何线索(深度和法线)结合邻近引导的RANSAC框架,实现可泛化的3D平面检测与重建,在零样本迁移中达到最先进性能。
2024-11-02 cs.CV cs.RO
SHaDe: Compact and Consistent Dynamic 3D Reconstruction via Tri-Plane Deformation and Latent Diffusion
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
提出SHaDe框架,结合三平面形变、SH注意力渲染和潜在扩散先验,实现紧凑一致的动态三维重建,在合成基准上超越HexPlane和4D高斯溅射。
2025-05-22 cs.CV
Fixed Viewpoint Mirror Surface Reconstruction under an Uncalibrated Camera
University of Bristol(布里斯托大学);The Australian National University(澳大利亚国立大学);The University of Hong Kong(香港大学)
针对镜面重构问题,提出了一种基于运动参考面在镜面上反射的方法。与以前的方法,需要繁琐的校准,我们的方法可以恢复相机的本质,构成的参考平面,以及从观察到的反射的参考平面下至少三个未知的不同姿势的镜面。我们首先表明,参考平面的3D姿态可以从图像和参考平面之间建立的反射对应关系来估计。然后,我们从反射对应中形成一束3D线,并导出一个解析解来恢复线投影矩阵。我们将线投影矩阵转换为其等效的相机投影矩阵,并提出了一种基于交比的公式来通过最小化重投影误差来优化相机投影矩阵。然后基于优化交比约束重构镜面。仿真和实际数据的实验结果表明,我们的方法的可行性和准确性。
2021-01-23 cs.CV
Structural Multiplane Image: Bridging Neural View Synthesis and 3D Reconstruction
The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院)
多平面图像(MPI),包含一组前平行RGBA层,是一个有效的和高效的表示从稀疏输入的视图合成。然而,它的固定结构限制了性能,特别是对于以倾斜角度成像的表面。我们介绍了结构MPI(S-MPI),其中平面结构近似3D场景简洁。S-MPI通过几何忠实结构传递RGBA上下文,直接连接视图合成和3D重建。它不仅可以克服MPI的关键限制,即,此外,还可以从倾斜表面和冗余层滥用中获得离散化伪影,并且还可以获得平面3D重建。尽管应用S-MPI的直觉和需求,但也带来了巨大的挑战,例如,RGBA层和平面姿态的高保真近似,多视图一致性,非平面区域建模,以及使用双平面的高效渲染。因此,我们提出了一种基于分割模型的基于变压器的网络。它预测紧凑和表达的S-MPI层与其相应的面具,姿势和RGBA上下文。在我们的统一框架中,非平面区域作为一种特殊情况被包含处理。通过共享全局代理嵌入来确保多视图一致性,该嵌入对覆盖具有对齐坐标的完整3D场景的平面级特征进行编码。大量的实验表明,我们的方法优于以前的国家的最先进的基于MPI的视图合成方法和平面重建方法。
2023-03-10 cs.CV
PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction
Shanghai Jiao Tong University(上海交通大学)
针对NeRF因过拟合导致低纹理区域几何重建差的问题,提出基于SVD的无监督平面正则化方法,结合SSIM损失初始化体表示,在大规模户外场景几何重建和KITTI-360 NVS基准上取得更优效果。
2023-11-05 cs.CV cs.LG
AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos
Tsinghua University(清华大学);ETH Zurich(苏黎世联邦理工学院);Beijing Jiaotong University(北京交通大学)
该研究提出AlphaTablets这一通用3D平面表示方法,将3D平面表示为带alpha通道的矩形,结合2D和3D表示优势,通过可微分光栅化和自下而上流水线实现单目视频3D平面重建,在ScanNet数据集上取得SOTA性能。
2024-11-29 cs.CV cs.LG
Deep Learning for Multi-View Stereo via Plane Sweep: A Survey
Peking University(北京大学);National Innovation Institute of Defense Technology(国防科技创新研究院)
三维重建由于其在自动驾驶、机器人和虚拟现实等领域的广泛应用而受到越来越多的关注。深度学习作为人工智能领域的主导技术,已被成功应用于解决各种计算机视觉问题。然而,用于3D重建的深度学习由于其独特的挑战和不同的管道而仍处于起步阶段。为了促进未来的研究,本文介绍了多视图立体视觉(MVS)的深度学习方法的最新进展,这被认为是基于图像的3D重建的关键任务。它还提供了几个公开数据集的比较结果,具有深刻的观察和鼓舞人心的未来研究方向。
2021-07-29 cs.CV
Floorplan-SLAM: A Real-Time, High-Accuracy, and Long-Term Multi-Session Point-Plane SLAM for Efficient Floorplan Reconstruction
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院)
本文提出Floorplan-SLAM,一种紧耦合多会话点-平面SLAM系统,通过鲁棒平面提取和实时增量平面图重建模块,仅用立体相机实现了高精度、长期的平面图重建,大幅超越现有方法的精度与速度。
2025-03-05 cs.CV cs.RO
Planecell: Representing the 3D Space with Planes
Sun Yat-sen University(中山大学)
基于立体相机的重建最近受到了相当大的关注,但仍然存在两个特殊的挑战。第一个问题是需要以有效的方法聚合类似的像素,第二个问题是在确保足够准确的同时保持尽可能多的可用信息。为了克服这些问题,我们提出了一种新的3D表示方法,即,planecell,从深度辅助图像分割提取平面性,然后将这些深度平面投影到3D世界中。利用条件随机场的能量函数来概括平面关系,最大化合并共面线段。在KITTI和Middlebury数据集上使用各种重建基线对该方法进行了评估,结果表明,与其他3D空间表示方法相比,该方法在精度,内存需求和进一步应用方面具有优势。
2017-03-30 cs.CV
Efficient Plane-Based Optimization of Geometry and Texture for Indoor RGB-D Reconstruction
University of Texas at Dallas(德克萨斯大学达拉斯分校);Matterport, Inc.(Matterport公司)
提出了一种基于平面基元的RGB-D室内场景重建方法。我们的方法作为输入的RGB-D序列和密集的粗网格重建,并生成一个轻量级的,低多边形网格,清晰的面部纹理和尖锐的功能,而不会失去几何细节从原始场景。与现有的仅覆盖场景中较大平面区域的方法相比,我们的方法通过自适应平面构建整个场景,而不会丢失几何细节,并且还保留了网格中的尖锐特征。实验结果表明,该方法比现有方法更有效地从RGB-D数据生成纹理网格。
2019-05-21 cs.CV cs.GR
Neural 3D Scene Reconstruction from Multiple 2D Images without 3D Supervision
Beijing Institute of Technology(北京理工大学);Shenzhen MSU-BIT University(深圳北理莫斯科大学)
本文提出一种无需3D监督的神经场景重建方法,利用稀疏深度、平面约束和几何约束从多张2D图像重建室内场景,在ScanNet上达到与有3D监督方法相当的性能。
2023-07-04 cs.CV
Occupancy Planes for Single-view RGB-D Human Reconstruction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-尚佩恩分校)
具有隐函数的单视图RGB-D人体重建通常被公式化为逐点分类。具体地,首先将相机的视锥体内的一组3D位置独立地投影到图像上,并且随后针对每个3D位置提取对应的特征。然后,每个3D位置的特征用于独立地分类对应的3D点是在观察对象内部还是外部。该过程导致次优结果,因为相邻位置的预测之间的相关性仅通过所提取的特征被隐式地考虑。为了获得更准确的结果,我们提出了占用平面(OPlanes)表示,这使得能够将单视图RGB-D人体重建制定为切片通过相机视锥的平面上的占用预测。这种表示提供了比体素网格更大的灵活性,并且能够比逐点分类更好地利用相关性。在具有挑战性的S3 D数据上,我们观察到一个基于OPlanes表示的简单分类器,以产生令人信服的结果,特别是在由于其他对象和部分可见性而导致部分遮挡的困难情况下,这些问题尚未得到解决。
2022-12-01 cs.AI cs.CV
SimpleRecon: 3D Reconstruction Without 3D Convolutions
Niantic(Niantic公司);UCL(伦敦大学学院);University of Oxford(牛津大学);Google(谷歌)
传统的室内场景重建分为两个阶段:逐幅图像的深度估计、深度融合和表面重建。最近,出现了一系列直接在最终3D体积特征空间中执行重建的方法。虽然这些方法已经显示出令人印象深刻的重建结果,但它们依赖于昂贵的3D卷积层,限制了它们在资源受限环境中的应用。在这项工作中,我们反而回到了传统的路线,并展示了如何专注于高质量的多视图深度预测,从而使用简单的现成的深度融合实现高度准确的3D重建。我们提出了一种简单的最先进的多视图深度估计器,具有两个主要贡献:1)精心设计的2D CNN,其利用强图像先验以及平面扫描特征量和几何损失,结合2)将关键帧和几何元数据集成到成本量中,这允许知情的深度平面评分。我们的方法在深度估计和ScanNet和7-Scenes上的3D重建方面接近或优于当前最先进的技术,但仍然允许在线实时低内存重建。代码、模型和结果可在https://nianticlabs.github.io/simplerecon上获得
2022-08-31 cs.CV
Surface HOF: Surface Reconstruction from a Single Image Using Higher Order Function Networks
Samsung AI Center - New York(三星人工智能中心纽约)
我们解决的问题,从一个单一的图像生成一个高分辨率的表面重建。我们的方法是学习一个高阶函数(HOF),它将对象的图像作为输入并生成映射函数。映射函数从规范域(例如单位球)获取样本,并将每个样本映射到对象的3D重建上的局部切平面。每个切平面被表示为原点和该点处的法向量。通过有效地学习连续映射函数,与生成固定分辨率输出的其他方法相比,可以以任意分辨率生成表面。我们提出了表面HOF,其中高阶函数和映射函数都表示为神经网络,并训练网络生成PointNet对象的重建。实验表明,表面HOF是更准确,使用更有效的表示比其他国家的最先进的方法进行表面重建。表面HOF也更容易训练:它需要最少的输入预处理和输出后处理,并生成更有效的参数表面表示。它的准确性和方便性使表面HOF的一个有吸引力的方法为单图像重建。
2019-12-18 cs.CV
Tri$^{2}$-plane: Thinking Head Avatar via Feature Pyramid
University of Rochester(罗切斯特大学);Sony AI(索尼人工智能公司);University of Science and Technology of China(中国科学技术大学)
针对单目视频动态头部化身重建细粒度细节不足的问题,提出Tri$^2$-plane方法,结合特征金字塔与多尺度三平面提升细节,加入几何感知滑动窗口增强鲁棒性,在定量定性评估中均优于现有方法。
2024-07-11 cs.CV
You Need a Transition Plane: Bridging Continuous Panoramic 3D Reconstruction with Perspective Gaussian Splatting
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Visual Intelligence +X International Cooperation Joint Laboratory of MOE(教育部视觉智能+X国际合作联合实验室);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对单张全景图像三维重建中畸变与边界不连续问题,提出TPGS框架,通过引入过渡平面、面内到面间优化及球面采样,提升重建效果并优于现有方法。
2025-04-12 cs.CV
Light Field Reconstruction Using Shearlet Transform
在这篇文章中,我们开发了一种基于图像的渲染技术的基础上,从有限的一组相机采集的透视图的光场重建。我们的方法利用稀疏表示的核平面图像在一个方向敏感的变换域,通过自适应离散剪切波变换。所使用的迭代阈值算法提供了高质量的重建结果相对较大的差异之间的相邻视图。因此,给定3D场景的所生成的密集采样光场适合于需要光场重构的所有应用。所提出的算法相比有利的最先进的基于深度图像的渲染技术。
2015-09-29 cs.CV
3D Coronary Vessel Reconstruction from Bi-Plane Angiography using Graph Convolutional Networks
Queen Mary University of London(伦敦玛丽女王大学);Barts Health NHS Trust(巴特国民保健信托基金会)
X线冠状动脉造影(XCA)用于评估冠状动脉疾病,并提供有关病变形态和严重程度的有价值信息。然而,XCA图像是2D的,因此限制了血管的可视化。冠状动脉血管的3D重建可以使用多个视图,然而,当前软件中的管腔边界检测是手动执行的,导致有限的再现性和缓慢的处理时间。在这项研究中,我们提出了3DAngioNet,这是一种新型的深度学习(DL)系统,可以使用来自两个视图的2D XCA图像快速重建3D血管网格。我们的方法使用EfficientB 3-UNet分割网络和投影几何来学习粗网格模板,并使用图形卷积网络对其进行变形。3DAngioNet优于类似的自动化重建方法,提高了效率,并实现了分叉血管的建模。该方法使用由熟练的心脏病专家验证的最先进的软件进行了验证。
2023-02-28 cs.CV cs.LG eess.IV
Visual SLAM with Graph-Cut Optimized Multi-Plane Reconstruction
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心)
本文提出了一个语义平面SLAM系统,提高姿态估计和映射使用的线索,从一个实例平面分割网络。虽然主流方法使用RGB-D传感器,但采用具有这种系统的单目相机仍然面临诸如鲁棒数据关联和精确几何模型拟合等挑战。在大多数现有的工作中,几何模型估计问题,如单应性估计和分段平面重建(PPR)通常是解决标准(贪婪)RANSAC单独和顺序。然而,在缺乏关于场景的信息(即尺度)的情况下,设置内点-外点阈值是困难的。在这项工作中,我们重新审视了这些问题,并认为两个提到的几何模型(单应性/3D平面)可以通过最小化利用空间相干性的能量函数来解决,即使用图形切割优化,这也解决了训练的CNN的输出不准确时的实际问题。此外,我们提出了一个自适应的参数设置策略的基础上,我们的实验,并报告了各种开源数据集的综合评价。
2022-06-21 cs.CV cs.RO
Fast Sampling generative model for Ultrasound image reconstruction
Tsinghua University(清华大学)
针对超快平面波超声成像中现有方法泛化差、扩散模型采样慢的问题,提出同时结合超声信号数据一致性与数据驱动先验的快速采样框架,单平面波重建效果优于75波复合的传统DAS方法。
2023-12-15 cs.AI cs.CV
Back to Physics: Operator-Guided Generative Paths for SMS MRI Reconstruction
School of Advanced Manufacturing, Nanchang University(先进制造学院,南昌大学);College of Computer Science and Software Engineering, Shenzhen University(计算机科学与软件工程学院,深圳大学)
本文提出了一种基于操作符的生成路径框架,用于改进SMS MRI重建,通过双流交互网络分离切片内容并预测结构化退化,从而提高重建保真度和减少切片泄漏。
2026-02-08 cs.CV
Unsupervised Roofline Extraction from True Orthophotos for LoD2 Building Model Reconstruction
Delft University of Technology(代尔夫特理工大学);DGI(3D地理信息研究所)
针对传统LiDAR点云成本高、航空影像点云用于平面检测法误差大的问题,提出无需标注数据与预训练模型的无监督屋顶线提取方法,可直接用于LoD2建筑重建,精度与完整性优于现有方法。
2023-10-02 cs.CV
Hierarchical Space Partition for Surface Reconstruction
Independent Researcher(独立研究员);Huazhong University of Science and Technology(华中科技大学)
针对点云重建中因LiDAR扫描局限导致细节缺失的问题,提出基于平面分类与优先级生长的层次空间划分方法,并通过最小割优化生成水密多边形网格。
2026-06-03 cs.CG cs.CV
Accurate Monocular Object Detection via Color-Embedded 3D Reconstruction for Autonomous Driving
Dalian University of Technology(大连理工大学);Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province(辽宁省泛在网络与服务软件重点实验室);The University of Sydney(悉尼大学);SenseTime Computer Vision Research Group(商汤科技计算机视觉研究组)
在本文中,我们提出了一个单目三维目标检测框架,在自动驾驶领域。与以前的基于图像的方法,专注于从2D图像中提取的RGB特征,我们的方法解决了这个问题,在重建的3D空间,以明确地利用3D上下文。为此,我们首先利用一个独立的模块将输入数据从2D图像平面转换到3D点云空间以获得更好的输入表示,然后使用PointNet骨干网执行3D检测以获得对象的3D位置、尺寸和方向。为了增强点云的鉴别能力,我们提出了一个多模态特征融合模块,将互补RGB线索嵌入到生成的点云表示中。我们认为从生成的3D场景空间推断3D边界框(即,X,Y,Z空间)与图像平面(即,R、G、B图像平面)。在具有挑战性的KITTI数据集上的评估表明,我们的方法大大提高了最先进的单目方法的性能。
2021-03-30 cs.CV
Microstructure Surface Reconstruction from SEM Images: An Alternative to Digital Image Correlation (DIC)
Stanford University(斯坦福大学)
我们重建了一个材料表面的3D模型,该材料正在进行疲劳测试并出现裂纹。具体而言,我们在实验结束时从样品的多个视图重建表面深度(平面外侵入和挤出)和横向(平面内)运动,并结合利用临时单视图图像的时间向后的反向光流传播。这些测量可以映射到材料应变张量,这有助于了解材料寿命和预测故障。这种方法提供了一种替代常用的数字图像相关(DIC)技术,它依赖于跟踪应用于材料表面的散斑图案。DIC仅产生面内(2D)测量,而我们的方法是3D和非侵入性的(不需要将图案应用于材料)。
2022-03-25 cs.CV cs.GR
GSPlane: Concise and Accurate Planar Reconstruction via Structured Representation
The Hong Kong Polytechnic University(香港理工大学);University of Science and Technology Beijing(北京科技大学);NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Shandong University(山东大学)
本文提出 GSPlane,利用分割、法向预测和动态高斯重分类构建平面先验与结构化高斯表示,在保持渲染质量的同时提升网格几何精度并简化拓扑。
2025-10-20 cs.CV
LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image
Australian National University(澳大利亚国立大学);Tencent XR Vision Labs(腾讯XR视觉实验室)
LAM3D提出一种利用点云潜在三平面与图像特征对齐的新框架,实现从单张图像在6秒内生成高保真三维网格,显著减少几何畸变。
2024-05-24 cs.CV
SonarSweep: Fusing Sonar and Vision for Robust 3D Reconstruction via Plane Sweeping
Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Chinese University of Hong Kong, Hong Kong(香港中文大学);Department of Automation, Harbin Institute of Technology(哈尔滨工业大学自动化系)
本文提出SonarSweep,一种端到端的深度学习框架,通过将平面扫描算法应用于声纳与视觉数据的跨模态融合,克服了单一模态方法在 underwater 环境中3D重建的局限性,实现了更精确和稳定的深度图生成。
2026-05-18 cs.AI cs.CV cs.RO
Reconstruction of Convex Polytope Compositions from 3D Point-clouds
Institute for Computer Science, LMU Munich(慕尼黑大学计算机科学研究所);The University of Aizu(会津大学)
重构与输入点云完全吻合的凸多面体的组合(并集)是一个困难的优化问题,在逆向工程和刚体动力学仿真中有着重要的应用。我们提出了一个管道,首先提取一组平面,然后将输入点云划分为弱凸聚类,最后生成一组凸多面体作为每个分区的拟合平面的交集。找到最佳拟合凸多面体制定为一个组合优化问题的一组拟合平面,并使用进化算法解决。对于凸聚类,我们采用了两种不同的方法,并详细介绍了他们的优点和缺点,在一个彻底的评估的基础上,多个输入数据集。
2021-04-27 cs.CG cs.CV
Inpainting the Red Planet: Diffusion Models for the Reconstruction of Martian Environments in Virtual Reality
Computer Science Department, Università degli Studi di Torino(托斯纳大学计算机科学系)
本文提出基于无条件扩散模型的火星表面重建方法,利用增强数据集和非均匀重缩放策略,优于传统空洞填充技术,在重建精度和感知相似性上表现更优。
2026-03-02 cs.AI cs.CV cs.GR
Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane
Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学)
本文提出Forplane框架,基于正交神经平面分解4D手术场景,结合时空重要性采样和高效射线行进,在EndoNeRF和Hamlyn数据集上实现超100倍优化加速和超15倍推理加速,同时保持重建质量。
2023-12-23 cs.AI cs.CV
An Efficient Planar Bundle Adjustment Algorithm
Magic Leap(魔力跃动);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种基于点到面代价的最小二乘问题的有效算法,旨在联合优化深度传感器位姿和平面参数进行三维重建。我们称之为最小二乘问题\textbf{Planar Bundle Adjustment}(PBA),由于这个问题之间的相似性和原来的光束调整(BA)的视觉重建。由于平面普遍存在于人造环境中,因此它们通常被用作各种深度传感器的SLAM算法中的地标。PBA对于减少漂移和提高地图质量是重要的。然而,在视觉重建中直接采用已经建立的BA框架将导致PBA的非常低效的解决方案。这是因为三维点在摄影机姿势下只有一个观测。相比之下,深度传感器可以一次记录平面中的数百个点,这导致即使对于小尺度空间也是非常大的非线性最小二乘问题。幸运的是,我们发现PBA问题存在一个特殊的结构。本文引入了一个约化的雅可比矩阵和一个约化的残差向量,并证明了它们可以代替通常采用的LM算法中的雅可比矩阵和残差向量。这大大降低了计算成本。此外,当平面与其他特征结合进行三维重建时,约简后的雅可比矩阵和残差向量也可以代替由平面导出的相应部分。我们的实验结果表明,我们的算法可以显着减少计算时间相比,使用传统的BA框架的解决方案。此外,与使用平面到平面代价的最新解决方案相比,我们的算法更快,更准确,并且对初始化错误更鲁棒
2020-08-16 cs.CG cs.CV
Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction
Univ. of California, Berkeley(加州大学伯克利分校);Univ. of Southern California(南加州大学)
从一幅RGB图像进行三维重建是计算机视觉中一个具有挑战性的问题。以前的方法通常是完全数据驱动的,这导致不准确的3D形状恢复和有限的泛化能力。在这项工作中,我们专注于对象级3D重建,并提出了一个基于几何的端到端深度学习框架,该框架首先检测通常存在于人造对象中的反射对称的镜像平面,然后通过找到对称的图像内像素对应来预测深度图。我们的方法充分利用了几何线索,从对称性在测试时间内,通过建立平面扫描成本卷,一个强大的工具,已被用于多视图立体视觉。据我们所知,这是第一个工作,使用的概念,成本量在单图像三维重建的设置。我们对ShapeNet数据集进行了广泛的实验,发现我们的重建方法在相机姿态和深度图的准确性方面显着优于以前最先进的单视图3D重建网络,而不需要对象完全对称。代码可在https://github.com/zhou13/symmetrynet上获得。
2020-06-17 cs.CV cs.LG