Higher Order Function Networks for View Planning and Multi-View Reconstruction
Samsung AI Center - New York(三星人工智能中心纽约)
我们考虑的问题,规划意见的机器人获取图像的对象进行视觉检查和重建。与需要对象的3D模型作为输入的离线方法或仅依赖于局部测量的在线方法相比,我们的方法使用神经网络来编码大量对象的形状信息。我们建立在最近的深度学习方法的基础上,这些方法能够从单个图像生成对象的完整3D重建。具体来说,在这项工作中,我们扩展了最近的方法,使用高阶函数(HOF)来表示对象的形状。我们提出了一种新的概括,这种方法将多个图像作为输入,并建立了可见性和重建质量之间的连接。这种关系形成了我们的视图规划方法的基础,在该方法中,我们计算视点,以尽可能少的图像在视觉上覆盖多视图HOF网络的输出。实验表明,我们的方法提供了一个很好的在线和离线方法之间的妥协:类似于在线方法,我们的方法不需要真实的对象模型作为输入。就视图数量而言,它更有效。在大多数情况下,它的性能与最佳离线情况相当,即使在网络尚未训练的对象类上也是如此。
2019-10-04 cs.CV cs.RO
Multi-view Normal and Distance Guidance Gaussian Splatting for Surface Reconstruction
The Key Laboratory of Information and Communication Systems, Ministry of Information Industry, Beijing Information Science and Technology University, Beijing 100192, China(信息与通信系统重点实验室,信息产业部,北京信息科学与技术大学,北京100192,中国);The Key Laboratory of Target Cognition and Application Technology, Aerospace Information Research Institute, CAS, Beijing 100094, China(目标认知与应用技术重点实验室,航空信息研究所,中国科学院,北京100094,中国)
针对3DGS在多视图对齐中的偏差问题,提出多视图法线与距离引导高斯泼溅方法,通过距离重投影正则化和法线增强模块实现高精度表面重建。
2025-08-13 cs.CV cs.RO
Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction
Tsinghua University(清华大学)
在本文中,我们提出了一个新的角度对基于图像的形状生成。大多数现有的基于深度学习的形状重建方法采用单视图确定性模型,该模型有时不足以确定单个地面实况形状,因为后部被遮挡。在这项工作中,我们首先引入了一个条件生成网络模型的不确定性单视图重建。然后,我们制定了多视图重建的任务,作为每个单一的图像上的预测的形状空间的交集。我们设计了新的可微制导,包括前端约束,多样性约束,和一致性损失,使有效的单视图条件生成和多视图合成。实验结果和消融研究表明,我们提出的方法优于国家的最先进的方法的三维重建测试误差,并证明其泛化能力的真实世界的数据。
2019-04-21 cs.CV
3D Reconstruction of Simple Objects from A Single View Silhouette Image
Trinity College Ireland(爱尔兰三一学院);National University of Singapore(新加坡国立大学)
虽然最近的深度神经网络已经在从单视图图像进行3D重建方面取得了有希望的结果,但这些依赖于图像中RGB纹理的可用性和作为监督的额外信息。在这项工作中,我们提出了新的堆叠分层网络和端到端的训练策略,以首次解决更具挑战性的任务,即从单视图2D轮廓图像进行3D重建。我们证明,我们的模型是能够进行3D重建从一个单一的视图剪影图像定性和定量。使用Shapenet对单视图重建进行评估,并与单个网络进行比较,以突出所提出的堆叠网络和端到端训练策略所获得的改进。此外,将IoU形式的3D重建与来自单视图RGB图像的现有技术3D重建进行比较,并且所提出的模型实现了比来自单视图RGB图像的现有技术更高的IoU。
2017-01-17 cs.CV
VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single and Multi-view 3D Reconstruction
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍了一个统一的单视图和多视图神经隐式三维重建框架VPFusion。VPFusion使用3D特征量来捕获3D结构感知上下文,并使用像素对齐的图像特征来捕获精细的局部细节,从而实现高质量的重建。现有的方法使用RNN,特征池或在每个视图中独立计算的注意力进行多视图融合。RNN遭受长期记忆损失和置换方差,而特征池或独立计算的注意力导致每个视图中的表示在最终池化步骤之前不知道其他视图。相比之下,我们通过建立基于变换的成对视图关联来改进多视图特征融合。特别是,我们提出了一种新的交错三维推理和成对视图关联架构的特征量融合在不同的意见。使用这种结构感知和多视图感知的特征量,我们表现出改进的3D重建性能相比,现有的方法。VPFusion还通过结合像素对齐的局部图像特征来捕获精细细节,从而进一步提高了重建质量。我们在ShapeNet和ModelNet数据集上验证了VPFusion的有效性,在这些数据集上,我们的性能优于或优于最先进的单视图和多视图3D形状重建方法。
2022-07-16 cs.CV
PSGS: Text-driven Panorama Sliding Scene Generation via Gaussian Splatting
East China University of Science and Technology(东华大学);Zhejiang University(浙江大学);Beijing Institute of Technology(北京理工大学)
PSGS通过高斯点划法和双阶段框架实现高质量文本驱动全景场景生成,提升3D场景的真实感和细节保真度。
2026-01-31 cs.CV
PlückeRF: A Line-based 3D Representation for Few-view Reconstruction
The Australian National University(澳大利亚国立大学)
本文提出PlückeRF,一种基于结构化特征增强线的3D表示,通过连接3D位置与输入视图像素光线来更有效地利用多视图信息,在少视图重建中优于三平面表示及现有前馈方法。
2025-06-04 cs.CV
High Fidelity 3D Reconstructions with Limited Physical Views
Carnegie Mellon University(卡内基梅隆大学);Apple Inc.(苹果公司);The University of Adelaide(阿德莱德大学)
多视图三角测量是从已知校准和足够视图的2D对应进行3D重建的黄金标准。然而,在实践中,需要昂贵的多视图设置-涉及数十甚至数百个摄像机-以便获得许多现代应用所需的高保真3D重建。在本文中,我们提出了一种新的方法,利用神经形状先验在2D-3D提升方面的最新进展,同时还执行多视图等方差。我们展示了我们的方法如何使用有限(2-3)数量的未校准相机视图实现与昂贵的校准多视图钻机相当的保真度。
2021-10-22 cs.AI cs.CV cs.LG
3D-RETR: End-to-End Single and Multi-View 3D Reconstruction with Transformers
ETH Zurich(苏黎世联邦理工学院);RWTH Aachen(亚琛工业大学);LMU Munich(慕尼黑大学)
3D重建的目的是从2D视图重建3D对象。以前的3D重建工作主要集中在视图之间的特征匹配或使用CNN作为骨干。最近,Transformers在计算机视觉的多种应用中显示出有效性。然而,Transformers是否可以用于3D重建仍不清楚。在本文中,我们填补了这一空白,提出3D-RETR,这是能够执行端到端的3D重建与Transformers。3D-RETR首先使用预训练的Transformer从2D输入图像中提取视觉特征。3D-RETR然后使用另一个Transformer Decoder来获得体素特征。然后,CNN解码器将体素特征作为输入以获得重建的对象。3D-RETR能够从单个视图或多个视图进行3D重建。在两个数据集上的实验结果表明,3DRETR在三维重建方面达到了最先进的性能。其他消融研究也证明了3D-DETR受益于使用Transformers。
2021-11-16 cs.CV
1st Place Solution for ICCV 2023 OmniObject3D Challenge: Sparse-View Reconstruction
Key Laboratory of Peace-building Big Data of Zhejiang Province(浙江省平安建设大数据重点实验室)
本研究针对ICCV 2023 OmniObject3D挑战赛稀疏视图重建任务,以Pixel-NeRF为基础模型,结合深度监督与由粗到细的位置编码,有效提升重建质量,最终以25.44614的PSNR获得赛道第一名。
2024-04-16 cs.CV
Descriptor-Free Multi-View Region Matching for Instance-Wise 3D Reconstruction
Osaka University(大阪大学);Japan Science and Technology Agency(日本科学技术振兴机构)
本文提出了一种不依赖于纹理或形状描述符匹配的实例分割的多视图扩展。对于具有重复纹理和形状的场景,多视图实例分割变得具有挑战性,例如,植物叶子,由于使用纹理或形状描述符的多视图匹配的困难。为此,我们提出了一种基于对极几何的多视点区域匹配方法,该方法不依赖于任何特征描述符。我们进一步表明,核线区域匹配可以很容易地集成到实例分割和有效的实例明智的3D重建。实验结果表明,该方法在多视点实例匹配和三维重建中的准确性较基线方法有较大提高。
2020-11-27 cs.CV
PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction
Beijing University of Posts and Telecommunications(北京邮电大学)
针对反射和无纹理表面多视图三维重建中因视觉特征不足导致的相机姿态校准与形状重建失败问题,提出PMNI方法,利用表面法线图整合几何信息,在神经SDF框架内同步恢复准确姿态与高保真表面,性能达最优。
2025-04-14 cs.CV
4D SlingBAG: spatial-temporal coupled Gaussian ball for large-scale dynamic 3D photoacoustic iterative reconstruction
College of Future Technology(未来技术学院);Peking University(北京大学);School of Intelligence Science and Technology(智能科学与技术学院);Nanjing University(南京大学);Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
针对大规模动态3D光声成像中现有迭代重建算法内存消耗高、计算时间长且未充分考虑时空连续性的问题,提出4D SlingBAG方法,通过时空耦合高斯球提升重建效率与质量,显著减少计算时间并保持低内存消耗。
2024-12-05 cs.CV
CrossView-GS: Cross-view Gaussian Splatting For Large-scale Scene Reconstruction
School of Computer Science, Beijing Institute of Technology(计算机学院,北京理工大学)
针对3DGS在跨视角大变化场景中的优化挑战,提出基于多分支构建与融合的跨视角Gaussian Splatting方法,通过梯度感知正则化和Gaussian补充策略提升大规模场景重建与新视角合成性能。
2025-04-28 cs.CV
VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
VolRecon提出一种基于Signed Ray Distance Function的可泛化多视图隐式重建方法,结合多视图投影特征与粗略全局体积特征,利用射线Transformer渲染颜色和深度,在DTU和ETH3D数据集上表现优异。
2023-04-03 cs.CV
Multi-view 3D Reconstruction with Transformer
University of British Columbia(不列颠哥伦比亚大学);University of Science and Technology of China(中国科学技术大学);University of Michigan(密歇根大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
到目前为止,基于深度CNN的方法已经在多视图3D对象重建中取得了最先进的结果。尽管这些方法取得了长足的进步,但其两个核心模块--多视角特征提取和融合,通常是分开研究的,而对不同视角下的目标关系研究较少。在本文中,最近的巨大成功的启发自注意力为基础的Transformer模型,我们重新制定的多视图三维重建序列到序列的预测问题,并提出了一个新的框架命名为三维体积Transformer(伏特)这样一个任务。与以前使用单独设计的基于CNN的方法不同,我们将特征提取和视图融合统一在单个Transformer网络中。我们的设计的一个自然优势在于在多个无序输入之间使用自我注意来探索视图到视图的关系。在ShapeNet -一个大规模的3D重建基准数据集上,我们的方法在多视图重建中实现了新的最先进的精度,与其他基于CNN的方法相比,参数更少($70\%$更少)。实验结果也表明我们的方法具有很强的缩放能力。我们的代码将公开提供。
2021-03-24 cs.CV
iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse Views
Microsoft(微软);National Tsing Hua University(国立清华大学);Amazon(亚马逊)
提出iFusion框架,利用扩散模型反演估计未知相机姿态,微调生成新视图,仅需两幅稀疏视图即可高质量重建三维物体。
2023-12-28 cs.CV
FatesGS: Fast and Accurate Sparse-View Surface Reconstruction using Gaussian Splatting with Depth-Feature Consistency
Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University(北京信息科学与技术国家研究中心(BNRist),清华大学);School of Software, Tsinghua University(清华大学软件学院)
针对 Gaussian Splatting 在稀疏视图下易过拟合、表面不完整的问题,提出 FatesGS 框架,融合单目深度排序、块内一致性与多视图投影特征约束,在 DTU 和 BlendedMVS 上以 60–200 倍加速超越现有方法。
2025-01-08 cs.CV
FLAME-based Multi-View 3D Face Reconstruction
Shanghai Jiao Tong University(上海交通大学)
本文提出MFNet,将FLAME参数化模型与多视角自监督训练框架结合,通过多视角光流损失、人脸关键点损失和共视掩码等约束,在AFLW和FaceScape数据集及实际自拍数据上实现更高质量的三维人脸重建。
2023-09-25 cs.CV
Neural Surface Reconstruction from Sparse Views Using Epipolar Geometry
Yuanpei College, Peking University(北京大学元培学院);MIT Media Lab and EECS, MIT(麻省理工学院媒体实验室和电子工程与计算机科学系)
本文提出EpiS框架,利用极几何改进稀疏视角下的表面重建,通过epipolar transformer和射线聚合生成SDF-aware特征,结合几何正则化策略提升重建精度。
2026-08-05 cs.CV
3D Reconstruction from Full-view Fisheye Camera
Stanford University(斯坦福大学)
在这篇报告中,我们提出了一种全视角鱼眼相机的三维重建方法。我们使用的相机是Ricoh Theta,它可以捕获球形图像,并具有宽视场(FOV)。传统的基于透视摄像机模型的立体方法不能直接应用,而是采用球面摄像机模型来描述图像中三维点与其对应观测点之间的关系。我们实现了一个系统,可以使用来自两个或更多个相机的捕获来重建3D场景。还创建了一个GUI,允许用户控制视图透视图,并获得更好的直觉如何重建场景。实验表明,我们的重建结果很好地保留了现实世界中的场景的结构。
2015-06-20 cs.CV
Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction
Visual Geometry Group, University of Oxford(视觉几何组,牛津大学);Naver Labs Europe(Naver欧洲实验室)
Geo4D利用预训练视频扩散模型的动态先验,仅用合成数据训练即可零样本泛化,通过融合点图、视差图和射线图并采用滑动窗口推理,显著提升动态场景单目四维重建精度。
2025-08-19 cs.CV
R3D-SWIN:Use Shifted Window Attention for Single-View 3D Reconstruction
East China Jiaotong University(华东交通大学);Jiangxi University of Software Professional Technology(江西软件职业技术大学)
针对视觉Transformer窗口无多尺度、窗口间无连接限制体素3D重建精度的问题,提出基于滑动窗口注意力的R3D-SWIN网络,首次将该注意力用于体素3D重建,在ShapeNet上的单视图重建精度达SOTA。
2024-03-06 cs.CV
PanoImager: Geometry-Guided Novel View Synthesis and Reconstruction from Sparse Panoramic Views
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所)
提出PanoImager框架,无需SfM,结合前馈位姿/深度先验、几何条件扩散视图补全和深度引导3DGS优化,从稀疏全景图像实现稳定新视角合成与重建。
2026-07-10 cs.CV
LegoFormer: Transformers for Block-by-Block Multi-view 3D Reconstruction
Technical University of Munich(慕尼黑工业大学);Google Inc(谷歌公司)
大多数现代基于深度学习的多视图3D重建技术使用RNN或融合模块在独立编码后组合来自多个图像的信息。这两个独立的步骤有松散的连接,不允许在视图之间轻松共享信息。我们提出LegoFormer,一个Transformer模型,用于基于体素的3D重建,在所有计算阶段使用注意层来共享视图之间的信息。此外,而不是预测每个体素独立,我们建议参数化的输出与一系列的低秩分解因子。这种重构允许将对象预测为一组独立的规则结构,然后聚合以获得最终的重建。在ShapeNet上进行的实验表明,我们的模型在最先进的水平方面具有竞争力的性能,同时由于自我注意层而提高了可解释性。我们还展示了有前途的推广结果,以真实的数据。
2022-07-08 cs.CV
Shape-guided Gaussian Splatting for Sparse-View X-ray 3D Reconstruction
Polytechnique Montréal(蒙特利尔综合理工学院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);CHUM - University of Montreal Hospital(蒙特利尔大学医院中心)
提出形状引导的高斯溅射框架,利用统计形状模型约束高斯位置和密度正则化,在仅5个稀疏视角下实现解剖一致的重建,PSNR提升2.83 dB。
2026-09-10 cs.CV
GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出GaMO框架,通过多视角补全实现稀疏视角3D重建,无需训练即可在零样本条件下提升重建性能,实验表明其在稀疏视角下具有高效且准确的重建能力。
2026-04-04 cs.CV
Efficient View Planning Guided by Previous-Session Reconstruction for Repeated Plant Monitoring
Humanoid Robots Lab, University of Bonn(波恩大学人形机器人实验室);Lab for Photogrammetry and Robotics, University of Bonn(波恩大学摄影测量与机器人实验室)
本文提出基于先前会话重建的高效视图规划方法,通过重用前一次会话的3D模型提升当前会话的主动感知能力,减少执行视图数量和机器人路径长度。
2026-03-23 cs.RO
MVBoost: Boost 3D Reconstruction with Multi-View Refinement
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);The Hong Kong Polytechnic University(香港理工大学)
针对三维重建模型因数据集稀缺泛化能力有限的问题,提出MVBoost框架,结合多视图扩散模型与三维重建模型生成伪GT数据,构建大规模数据集训练前馈模型,还优化输入视角,实现更优重建结果与泛化能力。
2024-12-02 cs.AI cs.CV
What Do Single-view 3D Reconstruction Networks Learn?
University of Freiburg(弗莱堡大学);Intel Labs(英特尔实验室)
用于单视图对象重建的卷积网络表现出令人印象深刻的性能,并已成为一个热门的研究课题。所有现有的技术都是通过具有编码器-解码器网络的思想来统一的,该网络执行关于输出空间的3D结构的非平凡推理。在这项工作中,我们建立了两个替代的方法,分别执行图像分类和检索。这些简单的基线在定性和定量方面都比最先进的方法产生更好的结果。我们表明,编码器-解码器的方法是统计上无法区分的,从这些基线,从而表明,目前的单视图对象重建的技术水平,实际上不执行重建,但图像分类。我们确定了流行的实验程序,引起这种行为的方面,并讨论如何改善目前的研究状况。
2019-05-09 cs.CV
CDI3D: Cross-guided Dense-view Interpolation for 3D Reconstruction
Tencent XR Vision Labs(腾讯XR视觉实验室)
本文提出CDI3D框架,通过将二维扩散视图插值模块(DVI)与倾斜相机轨迹集成到大型重建模型流程中,增强多视图一致性与输入视图密度,并结合三平面网格重建策略,显著提升单视图三维重建的纹理保真度和几何精度。
2025-03-12 cs.CV
MVLayoutNet:3D layout reconstruction with multi-view panoramas
Riemann Lab, Huawei Technologies(华为技术有限公司黎曼实验室);Wuhan University(武汉大学)
我们提出了MVLayoutNet,这是一个端到端的网络,用于从多视图图像进行整体3D重建。我们的核心贡献是无缝地结合学习单目布局估计和多视图立体视觉(MVS)在3D和图像空间中的准确布局重建。我们共同训练布局模块以产生初始布局,并训练新的MVS模块以获得精确的布局几何形状。与标准MVSNet [33]不同,我们的MVS模块采用新提出的布局成本量,将同一深度层的多视图成本聚合到相应的布局元素中。我们还提供了一个基于注意力的计划,指导MVS模块专注于结构区域。这样的设计考虑了局部像素级成本和全局整体信息,以实现更好的重建。实验表明,我们的方法在2D-3D-S [1]和ZInD [5]数据集上的深度rmse方面优于最先进的21.7%和20.6%。最后,我们的方法导致连贯的布局几何,使整个场景的重建。
2021-12-12 cs.CV
SSR: Semi-supervised Soft Rasterizer for single-view 2D to 3D Reconstruction
McGill University(麦吉尔大学);Element AI
最近的工作在弱监督的学习对象网格方面取得了重大进展。软光栅化方法已经实现了从2D图像精确的3D重建与视点监督。在这项工作中,我们进一步减少了标记的努力,允许这样的三维重建方法利用未标记的图像。为了获得这些未标记图像的视点,我们建议使用一个暹罗网络,该网络将两个图像作为输入并输出它们是否对应于相同的视点。在训练过程中,我们最小化交叉熵损失,以最大化预测一对图像是否属于同一视点的概率。为了获得新图像的视点,我们将其与从训练样本中获得的不同视点进行比较,并选择具有最高匹配概率的视点。最后,我们用最有信心的预测视点标记未标记的图像,并训练具有可区分光栅化层的深度网络。我们的实验表明,即使只标记两个对象,在利用未标记的示例时,ShapeNet的IoU也会得到显着改善。代码可在https://github.com/IssamLaradji/SSR上获得。
2021-08-21 cs.CV
PoInit-of-View: Poisoning Initialization of Views Transfers Across Multiple 3D Reconstruction Systems
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·科斯勒基金会);Xi’an Jiaotong University(西安交通大学)
本文提出PoInit-of-View方法,通过优化对抗扰动在不同3D重建系统中引发视角污染,破坏关键点检测和特征匹配,从而降低重建质量。
2026-04-17 cs.AI cs.CV
Multi-view Reconstruction via SfM-guided Monocular Depth Estimation
Zhejiang University(浙江大学);Beijing Normal Univeristy(北京师范大学)
针对单目深度存在尺度歧义、难以直接用于多视图几何重建的问题,本文提出将 SfM 多视图先验引入深度估计,显著提升深度质量,并在多类场景中超越现有 MVS 方法。
2025-03-18 cs.CV
SyncFix: Fixing 3D Reconstructions via Multi-View Synchronization
Johns Hopkins University(约翰霍普金斯大学);University of Virginia(弗吉尼亚大学)
SyncFix通过多视图同步在扩散过程中修复3D重建的语义和几何不一致,利用联合潜在桥接匹配问题提升重建质量,即使在无干净参考图像时也能生成高质量结果。
2026-04-14 cs.CV
When Wider Views Fail: Stress-Testing Feed-Forward 3D Reconstruction
University of Waterloo(滑铁卢大学);Aalto University(阿尔托大学)
本研究通过控制稀疏输入的视角跨度,系统测试前馈式三维重建模型,发现宽视角导致表面覆盖不全和几何失真,揭示其分布偏移下的脆弱性。
2026-09-22 cs.CV
Sparse2DGS: Geometry-Prioritized Gaussian Splatting for Surface Reconstruction from Sparse Views
Northwestern Polytechnical University(西北工业大学)
针对稀疏视角下表面重建的病态优化问题,提出MVS初始化的Sparse2DGS管线,通过引入几何优先增强方案实现鲁棒几何学习,在精度上显著超越现有方法且速度提升2倍。
2025-04-29 cs.CV
PlaneFormers: From Sparse View Planes to 3D Reconstruction
University of Michigan(密歇根大学)
我们提出了一种方法的平面表面重建的一个场景,从图像与有限的重叠。这个重建任务是具有挑战性的,因为它需要联合推理单个图像3D重建,图像之间的对应关系,以及图像之间的相对相机姿态。过去的工作提出了基于优化的方法。我们介绍了一种更简单的方法PlaneFormer,它使用应用于3D感知平面令牌的Transformer来执行3D推理。我们的实验表明,我们的方法比以前的工作更有效,并且几个3D特定的设计决策对其成功至关重要。
2022-08-08 cs.CV
A Dataset-Dispersion Perspective on Reconstruction Versus Recognition in Single-View 3D Reconstruction Networks
UC Berkeley(加州大学伯克利分校);Clemson University(克莱姆森大学);University of Michigan(密歇根大学);New York University(纽约大学)
神经网络(NN)的单视图三维重建(SVR)已经得到普及。最近的工作指出,对于SVR,大多数尖端NN在重建不可见对象方面的性能有限,因为它们主要依赖于识别(即,基于分类的方法)而不是形状重建。为了深入理解这个问题,我们提供了一个系统的研究,什么时候以及为什么NN更喜欢识别重建,反之亦然。我们的发现表明,在确定识别与重建的一个主要因素是如何分散的训练数据。因此,我们引入了一个新的数据驱动的度量标准,分散分数,量化这一主导因素,并研究其对神经网络的影响。我们假设,当训练图像更分散,训练形状更分散时,NN偏向于识别。我们的假设得到了支持,分散分数被证明是有效的,通过我们的实验合成和基准数据集。我们表明,建议的度量是一个主要的方式来分析重建质量,并提供了新的信息,除了传统的重建分数。
2021-11-30 cs.CV
City-Level 3D Surface Reconstruction with Viewpoint Orientation Partitioning and Scene Completion
School of Software, Tsinghua University(清华大学软件学院);Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系)
针对多视图三维表面重建难题,提出基于视点方向的场景划分方法,确保相似方向视图共同参与以精确估计深度,并行计算更均衡,还提出检测修复点云缺失区域策略,提升大规模场景重建质量。
2026-07-07 cs.CV
3DFIRES: Few Image 3D REconstruction for Scenes with Hidden Surface
University of Michigan(密歇根大学);New York University(纽约大学)
3DFIRES提出一种仅需一张或少量图像即可重建场景完整几何(含隐藏表面)的系统,通过特征级多视图融合,在稀疏视图下超越现有方法。
2024-03-13 cs.CV
Dense Multi-view 3D-reconstruction Without Dense Correspondences
Technical University of Munich(慕尼黑工业大学);University of Toulouse(图卢兹大学);Mikros Image
介绍了一种自然光照下多视点形状恢复的变分方法。其关键思想是耦合基于偏微分方程的解决方案,单图像为基础的形状从阴影的问题,跨多个图像和多个颜色通道的变分制定。而不是交替地解决个别SFS问题和优化的一致性跨图像和通道,这是已知的,导致次优的结果,我们提出了一个有效的解决方案的耦合问题的ADMM算法的装置。在对模拟图像和真实图像进行的大量实验中,我们证明了多视图重建和明暗恢复形状的融合可以提供高度准确的密集重建,而无需计算密集对应关系。随着所提出的变分集成跨多个视图的形状从阴影技术变得适用于具有挑战性的现实世界的重建问题,即使在平滑的亮度变化和缺乏纹理的区域中,也会产生非常详细的几何形状。
2017-04-02 cs.CV
Data-Driven 3D Reconstruction of Dressed Humans From Sparse Views
Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆兹曼实验室);Facebook Reality Labs(Facebook现实实验室)
近年来,数据驱动的单视图重建方法在三维着装人体建模方面取得了很大进展。然而,这样的方法严重地受到单视图输入固有的深度模糊和遮挡的影响。在本文中,我们解决这个问题,通过考虑一个小的输入视图,并探讨最佳策略,适当地利用这些意见的信息。我们提出了一种数据驱动的端到端的方法,从稀疏的相机视图重建一个隐式的3D表示穿着的人。具体来说,我们介绍了三个关键组成部分:第一个空间一致的重建,允许任意放置的人在输入视图中使用的透视相机模型;第二个基于注意力的融合层,学习从多个视点聚合视觉信息;第三个机制,编码本地3D模式下的多视图上下文。在实验中,我们表明,所提出的方法优于现有技术的标准数据在定量和定性。为了证明空间一致的重建,我们将我们的方法应用于动态场景。此外,我们将我们的方法应用于多相机平台采集的真实数据,并证明我们的方法可以获得与多视图立体视觉相当的结果。
2021-12-05 cs.CV
Sparse-View Surface Reconstruction using Gaussian Splatting through High-Confidence Depth Propagation with Normal Priors
School of Software, Tsinghua University(清华大学软件学院);China Telecom(中国电信);Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系)
研究稀疏视图的3D重建难题,提出基于3D高斯点云的方法,用法线引导深度传播扩展深度信息,引入异常深度边缘感知正则化处理深度不连续,实验表明该方法优于现有技术。
2026-07-07 cs.CV
DiViNeT: 3D Reconstruction from Disparate Views via Neural Template Regularization
Simon Fraser University(西蒙弗雷泽大学);Amazon(亚马逊)
DiViNeT提出用跨场景学习的三维高斯神经模板作为表面先验,正则化仅三张差异视角输入下的病态三维重建问题,在稀疏视角下取得最佳重建质量。
2023-11-01 cs.CV
3D Reconstruction through Fusion of Cross-View Images
The Ohio State University(俄亥俄州立大学)
多立体和立体图像的三维重建是基于图像的透视几何的一个重要应用,在计算机视觉、遥感和地理信息学等领域有着广泛的应用。在这一章中,作者利用成像几何和目前的方法,执行3D重建从交叉视图图像是在他们的观点截然不同。我们介绍了我们的框架,采取地面视图图像和卫星图像的全三维恢复,其中包括必要的方法,卫星和地面为基础的点云生成图像,三维数据配准,融合和网格生成。我们展示了我们提出的框架上的数据集,包括12个卫星图像和150 k的视频帧通过车载Go-pro摄像机采集,并展示重建结果。我们还将我们的结果与从涉及典型地理配准和网格化方法的直观处理管道生成的结果进行了比较。
2021-06-27 cs.CV
UniFusion: Sparse-View 4D Reconstruction via Unified Spatio-temporal Depth Alignment
State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能全国重点实验室,北京通用人工智能研究院)
针对稀疏视角视频4D重建中单目深度不一致的问题,提出统一时空深度对齐框架,利用时空神经场联合解决跨视角和时间不一致,无需分割掩码,提升动态高斯溅射重建的精度与一致性。
2026-09-09 cs.CV
SLAM3R: Real-Time Dense Scene Reconstruction from Monocular RGB Videos
Peking University(北京大学);The University of Hong Kong(香港大学);Aalto University(阿尔托大学);VIVO(维沃(vivo))
针对单目RGB视频实时稠密三维重建需求,提出SLAM3R系统,通过前馈网络整合局部重建与全局配准,无需显式求解相机参数,在多数据集上实现SOTA精度且帧率超20FPS。
2025-03-23 cs.CV
Adaptive View Planning for Aerial 3D Reconstruction
University of Minnesota(明尼苏达大学)
随着小型飞行器的普及,获取用于复杂场景的高质量重建的近距离航空图像变得越来越重要。我们提出了一种自适应视图规划方法,以自动化的方式收集这样的图像。我们首先对一小组视图进行采样,以构建场景的粗略代理。然后,我们提出(i)~一种方法,建立一个视图流形视图选择,和(ii)一个算法来选择一个稀疏的视图集。然后,车辆访问这些视点以覆盖场景,并且重复该过程,直到重建质量收敛或达到期望的质量水平。视图流形在使用整个6自由度姿态空间和使用单个视图半球来选择视图之间提供了有效的效率/质量折衷。我们的研究结果表明,在现有的“探索和利用”的方法,只收集两组视图,重建质量可以大大提高,通过添加第三组。它们还表明,即使对于非常复杂的场景,三轮数据汇集也足够了。我们比较我们的算法,现有的方法在三个具有挑战性的场景。我们要求每个算法选择相同数量的视图。我们的算法产生的意见,产生最小的重建误差。
2019-09-20 cs.CG cs.CV
ASV3D: Adapting Diffusion-Based Single-View 3D Reconstruction with Extra Imagery
本文提出ASV3D框架,通过零样本适配和优化适配两种策略,改进单视图3D重建,在基准及真实数据集上提升了重建精度与鲁棒性,效果优于基线方法。
2026-10-09 cs.CV cs.GR
Bag of Views: An Appearance-based Approach to Next-Best-View Planning for 3D Reconstruction
University of Victoria(维多利亚大学);University of British Columbia(不列颠哥伦比亚大学);National Research Council (NRC) Canada(加拿大国家研究委员会)
提出基于外观的Bag-of-Views模型与View Planning Toolbox工具箱,通过强化学习实现离线数据集优化与在线下一最优视角规划,有效减少高质量3D重建所需的视角数量。
2023-11-17 cs.AI cs.CV
MV-DUSt3R+: Single-Stage Scene Reconstruction from Sparse Views In 2 Seconds
Meta Reality Labs(元宇宙现实实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出单阶段前馈网络 MV-DUSt3R 及增强版 MV-DUSt3R+,通过多视图与跨参考视图信息融合实现2秒级稀疏视图重建,并联合 Gaussian splatting 头支持新视图合成。
2024-12-09 cs.AI cs.CV
VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion
University of California, Santa Barbara(加州大学圣巴巴拉分校)
最近的体积3D重建方法可以产生非常准确的结果,甚至对于未观察到的表面也具有合理的几何形状。然而,当涉及到多视图融合时,它们面临着不期望的权衡。它们可以通过全局平均来融合所有可用的视图信息,从而丢失精细的细节,或者它们可以对局部融合的视图进行聚类,从而限制它们联合考虑所有视图的能力。我们的关键见解是,可以保留更多的细节,而不限制视图的多样性,通过学习相机姿势和图像内容的条件下的视图融合功能。我们建议使用Transformer来学习这种多视图融合。为此,我们引入了VoRTX,这是一种端到端的体积3D重建网络,使用Transformers进行宽基线,多视图特征融合。我们的模型是闭塞意识,利用Transformer架构来预测一个初始的,投影场景的几何估计。该估计用于避免通过表面将图像特征反向投影到被遮挡区域中。我们在ScanNet上对我们的模型进行了训练,并表明它比最先进的方法产生了更好的重建。我们还展示了泛化,没有任何微调,优于其他两个数据集,TUM-RGBD和ICL-NUIM相同的最先进的方法。
2021-12-01 cs.CV cs.LG