Holistic Geometric Feature Learning for Structured Reconstruction
Wuhan University(武汉大学)
本文提出频域特征学习策略F-Learn,通过整体融合几何片段增强拓扑推理能力,以轻量修改提升结构化重建性能。
2023-09-18 cs.CV
LCAMV: High-Accuracy 3D Reconstruction of Color-Varying Objects Using LCA Correction and Minimum-Variance Fusion in Structured Light
LCAMV通过LCA校正和最小方差融合技术,实现对颜色变化物体的高精度3D重建,有效降低深度误差。
2026-03-11 cs.CV
Semantic Segmentation from Image Labels by Reconstruction from Structured Decomposition
本文提出将弱监督图像分割重新定义为基于掩码的图像分解重建问题,隐式嵌入正则化,在初步实验中表现出良好效果和对背景歧义的鲁棒性。
2024-09-02 cs.CV
View Transformation Robustness for Multi-View 3D Object Reconstruction with Reconstruction Error-Guided View Selection
College of Computer Science and Software Engineering(计算机科学与软件工程学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (Shenzhen)(广东人工智能与数字经济实验室(深圳))
针对多视图3D物体重建的视图变换鲁棒性研究不足的问题,提出用Stable Diffusion生成新视角并结合重建误差引导的视图选择方法,在大幅视图变换场景下性能优于现有方法。
2025-10-21 cs.CV
Explaining Human Preferences via Metrics for Structured 3D Reconstruction
ETH Zurich, Switzerland(苏黎世联邦理工学院);Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克技术大学电子工程学院);Hover Inc., USA(Hover公司)
该研究围绕结构化3D重建的自动化评估指标展开,分析现有指标缺陷,结合专家偏好验证指标特性,给出场景化选型建议,并提出基于人类专家判断蒸馏的学习型指标。
2025-10-06 cs.CV
Structured illumination microscopy image reconstruction algorithm
Peking University(北京大学)
结构照明显微术(SIM)是一种非常重要的超分辨显微技术,它可以提供高速的超分辨,空间分辨率可以提高一倍左右。已经报道了旨在改善SIM重建算法的性能的几种尝试。然而,这些中的大多数仅突出SIM重构的一个特定方面--诸如准确地确定照明图案相移--而其他关键要素--诸如确定调制因子、估计对象功率谱、包括对象功率谱信息的维纳滤波频率分量,重叠频率分量的移位和合并通常被表面地掩盖。此外,大多数的工作报告谎言分散在整个文献和全面的理论背景审查发现缺乏。本工作的目的是双重的:1)在一个地方收集SIM算法的基本理论细节,从而使他们容易访问的读者第一次;和2)提供一个开源的SIM重建代码(命名为OpenSIM),它使用户能够交互地改变代码参数,并研究它对重建的SIM图像的影响。
2016-02-19 cs.CV
Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems
Peking University(北京大学);Kyushu University(九州大学)
针对多帧结构光深度估计,本文利用已知投影辐射场单独优化神经SDF几何场,并加入表面颜色损失,在少样本真实场景中取得更优几何重建效果。
2024-05-20 cs.CV
Conv-MPN: Convolutional Message Passing Neural Network for Structured Outdoor Architecture Reconstruction
Simon Fraser University(西蒙弗雷泽大学)
本文提出了一种新的消息传递神经(MPN)架构Conv-MPN,它从一个单一的RGB图像重建一个室外建筑物作为一个平面图。Conv-MPN是专门为图的节点具有显式空间嵌入的情况而设计的。在我们的问题中,节点对应于图像中的建筑边缘。Conv-MPN与MPN的不同之处在于:1)与节点相关联的特征被表示为特征体积而不是1D向量;以及2)卷积编码消息而不是完全连接的层。Conv-MPN学习选择节点的真实子集(即,建筑物边缘)以重构建筑物平面图。我们对2,000多座建筑物进行的定性和定量评估表明,Conv-MPN比现有的全神经解决方案有了显着的改进。我们相信,该论文有可能为结构化几何重建开辟一条新的图神经网络研究路线。
2021-06-07 cs.CV
Active Object Reconstruction Using a Guided View Planner
Dalian University of Technology(大连理工大学);City University of Hong Kong(香港城市大学)
受到使用深度学习进行基于图像的对象重建的最新进展的启发,我们提出了一种使用引导视图规划器的主动重建模型。我们的目标是重建一个3D模型,从一个计划序列的信息和歧视性的意见观察到的图像。但是,围绕一个物体的这种信息和歧视性的观点在哪里呢?为了解决这个问题,我们提出了一个统一的模型,用于视图规划和对象重建,这是用来学习引导信息采集模型,并从一系列图像的重建聚合信息。实验表明,我们的模型(1)随着视图数量的增加而提高了重建精度(2),并且与其他替代方法相比,通常预测用于对象重建的更多信息的视图序列。
2018-05-08 cs.CV
Structured Semantic 3D Reconstruction (S23DR) Challenge 2025 -- Winning solution
Dept. of Cybernetics FEE, Czech Technical University(控制系,捷克技术大学)
本文提出一种两阶段三维深度学习方法,直接从稀疏点云和语义分割预测房屋屋顶线框,在S23DR挑战赛2025中以0.43的HSS获胜。
2025-06-19 cs.CV
NSL-SLAM: High-Fidelity Neural Structured-Light Depth for Practical SLAM and Reconstruction
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Computer Science and Technology, Beihang University(北京航空航天大学计算机科学与技术学院);Yuanpei College, Peking University(北京大学元培学院)
研究针对高保真结构光深度定制实用SLAM系统,核心方法是强化深度感知并构建以深度为中心的管道,主要贡献是提升跟踪精度、降低轨迹偏差,实现实用稳健的SLAM且运行速度达20.9 FPS。
2026-09-14 cs.CV
Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction
Tsinghua University(清华大学)
在本文中,我们提出了一个新的角度对基于图像的形状生成。大多数现有的基于深度学习的形状重建方法采用单视图确定性模型,该模型有时不足以确定单个地面实况形状,因为后部被遮挡。在这项工作中,我们首先引入了一个条件生成网络模型的不确定性单视图重建。然后,我们制定了多视图重建的任务,作为每个单一的图像上的预测的形状空间的交集。我们设计了新的可微制导,包括前端约束,多样性约束,和一致性损失,使有效的单视图条件生成和多视图合成。实验结果和消融研究表明,我们提出的方法优于国家的最先进的方法的三维重建测试误差,并证明其泛化能力的真实世界的数据。
2019-04-21 cs.CV
Randomized Iterative Reconstruction for Sparse View X-ray Computed Tomography
Tomsk Polytechnic University(托木斯克理工大学);Sc Piretus Prod Srl
随着更强大的计算机的可用性,迭代重建算法是在设计用于X射线计算机断层摄影的更有效的重建算法中正在进行的工作的主题。在这项工作中,我们将展示如何通过使用随机迭代重建算法校正相应的重建,可以改善两个分析重建算法。随机迭代重建之后的组合的分析重建也可以被视为一种重建算法,在我们已经进行的实验中,与分析重建算法相比,该重建算法使用多达$35\%$更少的投影角度,并且在重建质量方面产生相同的结果,而不显著增加执行时间。
2017-03-06 cs.CV
3D Reconstruction of Simple Objects from A Single View Silhouette Image
Trinity College Ireland(爱尔兰三一学院);National University of Singapore(新加坡国立大学)
虽然最近的深度神经网络已经在从单视图图像进行3D重建方面取得了有希望的结果,但这些依赖于图像中RGB纹理的可用性和作为监督的额外信息。在这项工作中,我们提出了新的堆叠分层网络和端到端的训练策略,以首次解决更具挑战性的任务,即从单视图2D轮廓图像进行3D重建。我们证明,我们的模型是能够进行3D重建从一个单一的视图剪影图像定性和定量。使用Shapenet对单视图重建进行评估,并与单个网络进行比较,以突出所提出的堆叠网络和端到端训练策略所获得的改进。此外,将IoU形式的3D重建与来自单视图RGB图像的现有技术3D重建进行比较,并且所提出的模型实现了比来自单视图RGB图像的现有技术更高的IoU。
2017-01-17 cs.CV
VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single and Multi-view 3D Reconstruction
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍了一个统一的单视图和多视图神经隐式三维重建框架VPFusion。VPFusion使用3D特征量来捕获3D结构感知上下文,并使用像素对齐的图像特征来捕获精细的局部细节,从而实现高质量的重建。现有的方法使用RNN,特征池或在每个视图中独立计算的注意力进行多视图融合。RNN遭受长期记忆损失和置换方差,而特征池或独立计算的注意力导致每个视图中的表示在最终池化步骤之前不知道其他视图。相比之下,我们通过建立基于变换的成对视图关联来改进多视图特征融合。特别是,我们提出了一种新的交错三维推理和成对视图关联架构的特征量融合在不同的意见。使用这种结构感知和多视图感知的特征量,我们表现出改进的3D重建性能相比,现有的方法。VPFusion还通过结合像素对齐的局部图像特征来捕获精细细节,从而进一步提高了重建质量。我们在ShapeNet和ModelNet数据集上验证了VPFusion的有效性,在这些数据集上,我们的性能优于或优于最先进的单视图和多视图3D形状重建方法。
2022-07-16 cs.CV
Planar Surface Reconstruction from Sparse Views
University of Michigan(密歇根大学)
研究了在摄像机姿态未知的情况下,由两个视点重建室内场景的平面曲面。虽然现有方法已经成功地创建了许多场景的以对象为中心的重建,但它们未能利用其他结构,例如平面,这些结构通常是室内场景的主要组成部分。在本文中,我们重建平面表面从多个视图,同时联合估计相机姿态。我们的实验表明,我们的方法是能够推进从稀疏视图重建的艺术状态,从Matterport3D具有挑战性的场景。项目网址:https://jinlinyi.github.io/SparsePlanes/
2021-08-20 cs.CV
Seeing Through Clutter: Structured 3D Scene Reconstruction via Iterative Object Removal
University of California, San Diego(加州大学圣地亚哥分校);Adobe Research(Adobe研究院)
通过迭代移除物体实现结构化3D场景重建,无需特定任务训练,提升复杂场景下的鲁棒性。
2026-02-12 cs.CV
MultiEgo: A Multi-View Egocentric Video Dataset for 4D Scene Reconstruction
Shanghai Jiao Tong University(上海交通大学);VisionStar Information Technology (Shanghai) Co., Ltd.(VisionStar信息科技(上海)有限公司)
MultiEgo是首个多视角第一人称视频数据集,用于4D动态场景重建,包含五个社交互动场景,提供高精度姿态标注和亚毫秒级时间同步,适用于自由视角视频应用。
2025-12-12 cs.CV
MonoFusion: Sparse-View 4D Reconstruction via Monocular Fusion
Carnegie Mellon University(卡内基梅隆大学)
MonoFusion通过单目融合技术,在稀疏视角下实现高质量的动态场景4D重建,优于传统密集多视角方法。
2026-03-01 cs.CV
Denoising of Two-Phase Optically Sectioned Structured Illumination Reconstructions Using Encoder-Decoder Networks
Elmore Family School of Electrical and Computer Engineering(电子与计算机工程学院);Purdue University(普渡大学)
针对两相光学切片结构光重建中存在残留伪影且缺乏干净真值数据的问题,研究人员用合成训练对训练非对称DAE和U-Net两种编码器-解码器网络,有效提升了图像清晰度,为该类图像监督去噪提供了可行方案。
2025-10-03 cs.CV
PlückeRF: A Line-based 3D Representation for Few-view Reconstruction
The Australian National University(澳大利亚国立大学)
本文提出PlückeRF,一种基于结构化特征增强线的3D表示,通过连接3D位置与输入视图像素光线来更有效地利用多视图信息,在少视图重建中优于三平面表示及现有前馈方法。
2025-06-04 cs.CV
3D-RETR: End-to-End Single and Multi-View 3D Reconstruction with Transformers
ETH Zurich(苏黎世联邦理工学院);RWTH Aachen(亚琛工业大学);LMU Munich(慕尼黑大学)
3D重建的目的是从2D视图重建3D对象。以前的3D重建工作主要集中在视图之间的特征匹配或使用CNN作为骨干。最近,Transformers在计算机视觉的多种应用中显示出有效性。然而,Transformers是否可以用于3D重建仍不清楚。在本文中,我们填补了这一空白,提出3D-RETR,这是能够执行端到端的3D重建与Transformers。3D-RETR首先使用预训练的Transformer从2D输入图像中提取视觉特征。3D-RETR然后使用另一个Transformer Decoder来获得体素特征。然后,CNN解码器将体素特征作为输入以获得重建的对象。3D-RETR能够从单个视图或多个视图进行3D重建。在两个数据集上的实验结果表明,3DRETR在三维重建方面达到了最先进的性能。其他消融研究也证明了3D-DETR受益于使用Transformers。
2021-11-16 cs.CV
MambaRecon: MRI Reconstruction with Structured State Space Models
Johns Hopkins University(约翰斯·霍普金斯大学)
提出MambaRecon框架,利用结构化状态空间模型(Mamba)进行MRI重建,增强长距离上下文敏感性,在公开脑部数据集上超越现有最先进基线。
2024-09-19 cs.CV eess.IV
AdaGS: Confidence-Gated Diffusion Adaptation for Unposed Sparse-View 3D Gaussian Reconstruction
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出通过置信度融合的伪视图增强方法,解决稀疏视角下户外场景重建中的几何不一致和伪影问题,提升重建质量和稳定性。
2026-11-02 cs.CV
1st Place Solution for ICCV 2023 OmniObject3D Challenge: Sparse-View Reconstruction
Key Laboratory of Peace-building Big Data of Zhejiang Province(浙江省平安建设大数据重点实验室)
本研究针对ICCV 2023 OmniObject3D挑战赛稀疏视图重建任务,以Pixel-NeRF为基础模型,结合深度监督与由粗到细的位置编码,有效提升重建质量,最终以25.44614的PSNR获得赛道第一名。
2024-04-16 cs.CV
Descriptor-Free Multi-View Region Matching for Instance-Wise 3D Reconstruction
Osaka University(大阪大学);Japan Science and Technology Agency(日本科学技术振兴机构)
本文提出了一种不依赖于纹理或形状描述符匹配的实例分割的多视图扩展。对于具有重复纹理和形状的场景,多视图实例分割变得具有挑战性,例如,植物叶子,由于使用纹理或形状描述符的多视图匹配的困难。为此,我们提出了一种基于对极几何的多视点区域匹配方法,该方法不依赖于任何特征描述符。我们进一步表明,核线区域匹配可以很容易地集成到实例分割和有效的实例明智的3D重建。实验结果表明,该方法在多视点实例匹配和三维重建中的准确性较基线方法有较大提高。
2020-11-27 cs.CV
Sparse multi-view hand-object reconstruction for unseen environments
Queen Mary University of London(伦敦玛丽女王大学);Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出稀疏多视角手-物体重建模型SVHO,将多视角RGB预测直接融合为统一重建结果,无需跨视角优化,并在真实未见物体数据上验证了额外视角对重建质量的提升作用。
2024-05-02 cs.CV
LD-SLRO: Latent Diffusion Structured Light for 3-D Reconstruction of Highly Reflective Objects
Department of Mechanical Engineering, Yonsei University(机械工程系,延世大学)
LD-SLRO通过潜在扩散模型和改进的结构光技术,提升高反射物体的3-D重建精度与光栅质量。
2026-02-05 cs.CV
PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction
Beijing University of Posts and Telecommunications(北京邮电大学)
针对反射和无纹理表面多视图三维重建中因视觉特征不足导致的相机姿态校准与形状重建失败问题,提出PMNI方法,利用表面法线图整合几何信息,在神经SDF框架内同步恢复准确姿态与高保真表面,性能达最优。
2025-04-14 cs.CV
CrossView-GS: Cross-view Gaussian Splatting For Large-scale Scene Reconstruction
School of Computer Science, Beijing Institute of Technology(计算机学院,北京理工大学)
针对3DGS在跨视角大变化场景中的优化挑战,提出基于多分支构建与融合的跨视角Gaussian Splatting方法,通过梯度感知正则化和Gaussian补充策略提升大规模场景重建与新视角合成性能。
2025-04-28 cs.CV
Multi-view Supervision for Single-view Reconstruction via Differentiable Ray Consistency
University of California, Berkeley(加州大学伯克利分校)
我们研究了3D形状和2D观察之间的一致性的概念,并提出了一个可微的配方,它允许计算梯度的3D形状给定的观察从任意视图。我们这样做,重新制定视图一致性使用可微射线一致性(DRC)的条款。我们表明,这种提法可以纳入一个学习框架,利用不同类型的多视图观察,如前景掩模,深度,彩色图像,语义等作为监督学习单视图3D预测。我们目前的实证分析,我们的技术在一个受控的设置。我们还表明,这种方法使我们能够改善现有的技术,从PASCAL VOC数据集的对象的单视图重建。
2017-04-20 cs.CV
VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
VolRecon提出一种基于Signed Ray Distance Function的可泛化多视图隐式重建方法,结合多视图投影特征与粗略全局体积特征,利用射线Transformer渲染颜色和深度,在DTU和ETH3D数据集上表现优异。
2023-04-03 cs.CV
Multi-view 3D Reconstruction with Transformer
University of British Columbia(不列颠哥伦比亚大学);University of Science and Technology of China(中国科学技术大学);University of Michigan(密歇根大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
到目前为止,基于深度CNN的方法已经在多视图3D对象重建中取得了最先进的结果。尽管这些方法取得了长足的进步,但其两个核心模块--多视角特征提取和融合,通常是分开研究的,而对不同视角下的目标关系研究较少。在本文中,最近的巨大成功的启发自注意力为基础的Transformer模型,我们重新制定的多视图三维重建序列到序列的预测问题,并提出了一个新的框架命名为三维体积Transformer(伏特)这样一个任务。与以前使用单独设计的基于CNN的方法不同,我们将特征提取和视图融合统一在单个Transformer网络中。我们的设计的一个自然优势在于在多个无序输入之间使用自我注意来探索视图到视图的关系。在ShapeNet -一个大规模的3D重建基准数据集上,我们的方法在多视图重建中实现了新的最先进的精度,与其他基于CNN的方法相比,参数更少($70\%$更少)。实验结果也表明我们的方法具有很强的缩放能力。我们的代码将公开提供。
2021-03-24 cs.CV
iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse Views
Microsoft(微软);National Tsing Hua University(国立清华大学);Amazon(亚马逊)
提出iFusion框架,利用扩散模型反演估计未知相机姿态,微调生成新视图,仅需两幅稀疏视图即可高质量重建三维物体。
2023-12-28 cs.CV
FatesGS: Fast and Accurate Sparse-View Surface Reconstruction using Gaussian Splatting with Depth-Feature Consistency
Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University(北京信息科学与技术国家研究中心(BNRist),清华大学);School of Software, Tsinghua University(清华大学软件学院)
针对 Gaussian Splatting 在稀疏视图下易过拟合、表面不完整的问题,提出 FatesGS 框架,融合单目深度排序、块内一致性与多视图投影特征约束,在 DTU 和 BlendedMVS 上以 60–200 倍加速超越现有方法。
2025-01-08 cs.CV
UCLID-Net: Single View Reconstruction in Object Space
EPFL(洛桑联邦理工学院)
大多数最先进的深度几何学习单视图重建方法依赖于输出形状参数化或隐式表示的编码器-解码器架构。然而,这些表示很少保留3D空间对象存在的欧几里德结构。在本文中,我们证明了构建一个几何保持的三维潜在空间可以帮助网络同时学习对象坐标空间中的全局形状映射和局部推理,从而提高性能。我们在ShapeNet合成图像(通常用于基准测试目的)和真实世界图像上证明,我们的方法优于最先进的方法。此外,单视图流水线自然地扩展到多视图重建,我们也展示了这一点。
2020-06-16 cs.CV
Robust Structured Multi-task Multi-view Sparse Tracking
Utah State University(犹他州立大学)
稀疏表示是解决视觉跟踪问题的一种可行方法。在本文中,我们提出了一种结构化的多任务多视图跟踪(SMTMVT)方法,它利用粒子滤波框架中的稀疏外观模型来跟踪目标在不同的挑战。具体来说,我们从不同视图中提取目标候选者的特征,并通过不同视图模板的线性组合稀疏地表示它们。与传统的稀疏跟踪器不同,SMTMVT不仅联合考虑了不同任务和不同视图之间的关系,而且在一个强大的多任务多视图制定中保留了不同视图之间的结构。我们引入了一个数值算法的基础上的近似梯度法,快速,有效地找到稀疏的优化问题分为两个子问题的封闭形式的解决方案。具有挑战性的图像序列的基准上的定性和定量评估表明,所提出的跟踪器对各种国家的最先进的跟踪器的优越性能。
2018-06-06 cs.CV
FLAME-based Multi-View 3D Face Reconstruction
Shanghai Jiao Tong University(上海交通大学)
本文提出MFNet,将FLAME参数化模型与多视角自监督训练框架结合,通过多视角光流损失、人脸关键点损失和共视掩码等约束,在AFLW和FaceScape数据集及实际自拍数据上实现更高质量的三维人脸重建。
2023-09-25 cs.CV
Neural Surface Reconstruction from Sparse Views Using Epipolar Geometry
Yuanpei College, Peking University(北京大学元培学院);MIT Media Lab and EECS, MIT(麻省理工学院媒体实验室和电子工程与计算机科学系)
本文提出EpiS框架,利用极几何改进稀疏视角下的表面重建,通过epipolar transformer和射线聚合生成SDF-aware特征,结合几何正则化策略提升重建精度。
2026-08-05 cs.CV
Sparis: Neural Implicit Surface Reconstruction of Indoor Scenes from Sparse Views
Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University(北京信息科学与技术国家研究中心(BNRist),清华大学);School of Software, Tsinghua University(清华大学软件学院)
本文提出Sparis方法,通过引入基于图像间匹配一致性的新型先验、角度滤波与极线匹配权重函数,解决稀疏视角下室内场景神经隐式表面重建中的尺度模糊与几何坍塌问题。
2025-01-02 cs.CV
AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model
AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model(AnyRecon:任意视角3D重建与视频扩散模型)
AnyRecon通过视频扩散模型实现任意视角3D重建,保留显式几何控制并支持灵活条件设置,通过全局场景记忆和几何感知条件策略提升大场景重建效率与鲁棒性。
2026-04-21 cs.CV
Regularising disparity estimation via multi task learning with structured light reconstruction
The Hamlyn Centre, Imperial College London(哈姆林中心,帝国理工学院)
针对医疗数据缺乏导致视差估计受限的问题,提出结合结构光重建的多任务学习框架,隐式学习视差并提升网络性能,在无额外参数下优于单任务学习。
2023-01-19 cs.CV
Associative3D: Volumetric Reconstruction from Sparse Views
University of Michigan(密歇根大学)
本文研究了在未知摄像机的情况下,由场景的两个视图进行三维体重建的问题。虽然这个问题对人类来说似乎很容易,但对计算机来说却面临着许多挑战,因为它需要同时在两个视图中重建对象,同时还要弄清楚它们的关系。我们提出了一种新方法,用于估计重建、相机/对象和相机/相机变换的分布,以及视图间对象亲和力矩阵。然后,这些信息被联合推理,以产生对场景最有可能的解释。我们训练和测试我们的方法对室内场景的数据集,并严格评估我们的联合推理方法的优点。实验表明,该算法能够从稀疏视图中恢复出合理的场景,但问题仍然具有挑战性。项目网址:https://jasonqsy.github.io/Associative3D
2020-07-27 cs.CV
3D Reconstruction from Full-view Fisheye Camera
Stanford University(斯坦福大学)
在这篇报告中,我们提出了一种全视角鱼眼相机的三维重建方法。我们使用的相机是Ricoh Theta,它可以捕获球形图像,并具有宽视场(FOV)。传统的基于透视摄像机模型的立体方法不能直接应用,而是采用球面摄像机模型来描述图像中三维点与其对应观测点之间的关系。我们实现了一个系统,可以使用来自两个或更多个相机的捕获来重建3D场景。还创建了一个GUI,允许用户控制视图透视图,并获得更好的直觉如何重建场景。实验表明,我们的重建结果很好地保留了现实世界中的场景的结构。
2015-06-20 cs.CV
SC-NeuS: Consistent Neural Surface Reconstruction from Sparse and Noisy Views
Beijing Normal University(北京师范大学);Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
本文提出 SC-NeuS,通过可微表面上相交与视图一致性损失联合优化神经表面和含噪相机位姿,在稀疏视图下实现更一致、细节更精细的重建。
2023-07-12 cs.CV
Multi-Task Spatiotemporal Neural Networks for Structured Surface Reconstruction
Indiana University(印第安纳大学);University of Kansas(堪萨斯大学)
深度学习方法在计算机视觉中的许多问题上的性能已经超过了传统技术,但几乎所有这些工作都是研究消费者的照片,在这些照片中,精确正确的输出通常并不重要。目前尚不清楚这些技术在结构化预测问题上的应用效果如何,这些问题需要高精度的细粒度输出,例如在科学成像领域。在这里,我们考虑的问题,分割回波图雷达数据收集的极地冰盖,这是具有挑战性的,因为分割边界往往是非常弱的,有很高程度的噪声。我们提出了一个多任务时空神经网络,结合3D ConvNets和递归神经网络(RNNs)来估计冰表面边界的断层雷达图像序列。我们表明,我们的模型在这个问题上优于最先进的技术,(1)避免了手动调整参数的需要,(2)同时提取多个表面(冰空气和冰床),(3)需要更少的非视觉元数据,(4)大约快6倍。
2018-07-20 cs.CV
R3D-SWIN:Use Shifted Window Attention for Single-View 3D Reconstruction
East China Jiaotong University(华东交通大学);Jiangxi University of Software Professional Technology(江西软件职业技术大学)
针对视觉Transformer窗口无多尺度、窗口间无连接限制体素3D重建精度的问题,提出基于滑动窗口注意力的R3D-SWIN网络,首次将该注意力用于体素3D重建,在ShapeNet上的单视图重建精度达SOTA。
2024-03-06 cs.CV
Image-Plane Geometric Decoding for View-Invariant Indoor Scene Reconstruction
School of Microelectronics,Tianjin University(天津大学微电子学院);College of Electronic Information and Optical Engineering,Nankai University(南开大学电子信息与光工程学院);Technology Research Institute of MEM(MEM技术研究所)
针对现有室内重建方法依赖多视角几何约束导致视角变化时性能下降的问题,提出图像平面解码框架,利用单视角空间信息,在视角减少40%时仍保持高质量重建。
2025-10-27 cs.CV
Virtual View Networks for Object Reconstruction
University of California, Berkeley(加州大学伯克利分校)
从运动恢复结构运动恢复结构算法所“看到”的都是2D点的集合。我们表明,这些贫困的世界观可以伪造的目的,重建对象在具有挑战性的设置,如从一个单一的图像,或从几个相距甚远,通过识别对象,并从一组图像的帮助下,从其他对象从同一类。我们合成虚拟视图计算测地线连接对象与类似的观点,并引入技术,以增加在这种情况下基于因子分解的对象重建的特异性和鲁棒性。我们报告准确的物体形状重建从一个单一的图像上具有挑战性的PASCAL VOC数据,这表明,目前的应用领域的刚性结构从运动技术可能会显着扩展。
2014-11-22 cs.CV
System for 3D Acquisition and 3D Reconstruction using Structured Light for Sewer Line Inspection
Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹通信研究所);Zentrum für Bild- und Signalverarbeitung(图像与信号处理中心);Humboldt University Berlin(柏林洪堡大学)
污水管道系统的评估是一个非常重要的,但同时繁琐和容易出错的任务。我们介绍了一种基于单次结构光模块的创新系统,该系统有助于检测和分类空间缺陷,如突出入侵,剥落或错位接头。该系统可创建具有亚毫米分辨率的管道表面高度精确的3D测量结果,并将其融合到整体3D模型中。这种整体3D模型的好处是双重的:一方面,它有助于准确的手动污水管道评估,另一方面,它简化了下游自动系统中缺陷的检测,因为它赋予输入高度准确的深度信息。在这项工作中,我们提供了系统的广泛概述,并为我们的设计选择提供了有价值的见解。
2023-03-06 cs.CV
DMV3D: Denoising Multi-View Diffusion using 3D Large Reconstruction Model
Adobe Research(Adobe研究院);Stanford University(斯坦福大学);HKU(香港大学);TTIC(丰田工业大学芝加哥分校);HKUST(香港科技大学)
提出DMV3D,利用Transformer-based 3D大型重建模型去噪多视图扩散,结合三平面NeRF,实现快速单阶段3D生成,在单图像重建和文本到3D任务上达到最先进性能。
2023-11-15 cs.CV
PanoImager: Geometry-Guided Novel View Synthesis and Reconstruction from Sparse Panoramic Views
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所)
提出PanoImager框架,无需SfM,结合前馈位姿/深度先验、几何条件扩散视图补全和深度引导3DGS优化,从稀疏全景图像实现稳定新视角合成与重建。
2026-07-10 cs.CV
2D GANs Meet Unsupervised Single-view 3D Reconstruction
Michigan State University(密歇根州立大学)
最近的研究表明,基于预训练的GANs的可控图像生成可以使广泛的计算机视觉任务受益。然而,很少有人关注3D视觉任务。有鉴于此,我们提出了一种新的图像条件神经隐场,它可以利用GAN生成的多视图图像的2D监督,并执行通用对象的单视图重建。首先,提出了一种新的基于StyleGAN的离线生成器,用于生成可信的伪图像,并完全控制视点。然后,我们建议利用神经隐式函数以及可微分渲染器来从具有对象掩码和粗略姿态初始化的伪图像中学习3D几何形状。为了进一步检测不可靠的监督,我们引入了一种新的不确定性模块来预测不确定性地图,这弥补了伪图像中不确定区域的负面影响,从而获得更好的重建性能。我们的方法的有效性证明了通过优越的单视图3D重建结果的通用对象。
2022-07-20 cs.CV
GenRecon: Bridging Generative Priors for Multi-View 3D Scene Reconstruction
Technical University of Munich(慕尼黑技术大学);Computing Systems Lab, Huawei Technologies(华为技术有限公司计算系统实验室)
提出一种将多视图RGB图像重建与强生成3D先验紧密结合的方法,通过条件3D生成和投影条件机制实现高保真、多视图一致的场景级重建,性能优于现有方法16%。
2026-05-22 cs.CV