Semantic Stereo for Incidental Satellite Images
The Johns Hopkins University（约翰斯·霍普金斯大学）
与严格任务的双目或三目一致收集相比，越来越普遍地使用附带卫星图像进行立体重建有助于及时实现全球规模的3D映射;然而，由于季节性外观差异和场景变化，来自多日期图像对的可靠立体对应仍然非常具有挑战性。最近有前途的工作表明，语义场景分割可以提供一个强大的正则化解决立体对应和重建问题的歧义。为了使成对语义立体和多视图语义3D重建与附带的卫星图像的研究，我们已经建立了一个大规模的公共数据集，包括多视图，多波段卫星图像和地面真理的几何和语义标签的两个大城市。为了证明立体声和分割任务的互补性，我们提出了适应最新技术水平的卷积神经网络模型的轻量级公共基线，并评估其性能。
2018-11-21 cs.CV
Structure from Articulated Motion: Accurate and Stable Monocular 3D Reconstruction without Training Data
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Kaiserslautern（凯泽斯劳滕大学）；University of Prince Mugrin (UPM)（穆格林王子大学）
从二维观测数据中恢复关节式三维结构是一个具有挑战性的计算机视觉问题。目前基于学习的方法在公共基准上达到了最先进的精度，但仅限于训练数据集所涵盖的特定类型的对象和运动。基于模型的方法不依赖于训练数据，但在这些数据集上显示出较低的准确性。在本文中，我们介绍了一种基于模型的方法，称为结构从关节运动（SfAM），它可以恢复多个对象和运动类型，而无需训练广泛的数据汇集。同时，它在公共基准测试中的表现与基于学习的最先进方法不相上下，并且优于以前的非刚性运动恢复结构（NRSfM）方法。SfAM建立在通用NRSfM技术的基础上，同时集成了对骨长度的软时空约束。我们使用交替优化策略来恢复最佳几何形状（即，骨骼比例）以及3D关节位置。SfAM对噪声2D注释具有高度鲁棒性，可推广到任意对象，并且不依赖于训练数据，这在公共基准测试和真实视频序列上的大量实验中显示。我们相信，它带来了一个新的视角上的单目3D恢复关节结构，包括人体运动捕捉的域。
2019-11-12 cs.CV
Three Dimensional Reconstruction of Botanical Trees with Simulatable Geometry
Stanford University（斯坦福大学）；Industrial Light & Magic（工业光魔公司）
我们解决了具有挑战性的问题，创建完整和准确的三维重建的植物树与拓扑和几何精度所需的后续物理模拟，例如，在响应风力。虽然我们的方法的某些方面将受益于各种改进，我们的结果超过了最先进的，特别是在几何和拓扑的复杂性和准确性。从连接到无人机的摄像机获取的二维的RGB图像数据开始，我们创建点云，纹理三角形网格，以及可模拟和蒙皮的圆柱形铰接刚体模型。我们讨论了管道每一步的优缺点，为了刺激未来的研究，我们将管道每一步的原始和处理数据以及最终的几何重建公开。
2018-12-20 cs.CV
360Recon: An Accurate Reconstruction Method Based on Depth Fusion from 360 Images
针对360度图像因宽视场畸变导致多视图重建几何一致性问题，提出360Recon算法，通过球面特征提取模块结合3D代价体与多尺度增强特征，在公开数据集上实现了高精度重建与先进性能。
2024-11-28 cs.CV
TerraSky3D: Multi-View Reconstructions of European Landmarks in 4K
Graz University of Technology（格拉茨技术大学）；Sony（索尼）
TerraSky3D提供高分辨率的欧洲地标多视角三维重建数据集，包含5万张图像，涵盖地面、空中和混合场景，旨在为3D重建算法提供挑战性训练和评估数据。
2026-04-13 cs.CV
LGDWT-GS: Local and Global Discrete Wavelet-Regularized 3D Gaussian Splatting for Sparse-View Scene Reconstruction
National Institute of Standards and Technology（国家标准与技术研究院）；Department of Physics, Colorado State University（科罗拉多州立大学物理系）；Electrical Engineering Department, University of Colorado（科罗拉多大学电气工程系）
LGDWT-GS通过整合局部和全局频率正则化，提升稀疏视图下3D重建的几何稳定性与细节保留能力，并提供多光谱数据集和开源基准测试工具。
2026-01-23 cs.CV
DeepC-MVS: Deep Confidence Prediction for Multi-View Stereo Reconstruction
Sony Europe B.V.（索尼欧洲公司）；Graz University of Technology（格拉茨技术大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
深度神经网络（DNN）具有提高基于图像的3D重建质量的潜力。然而，由于内存和计算的限制，在从大型和高分辨率图像数据集进行3D重建的背景下使用DNN仍然是一个开放的挑战。我们提出了一个管道，它利用DNN来提高3D重建的质量，同时能够处理大型和高分辨率的数据集。特别是，我们提出了一个明确为多视图立体视觉（MVS）量身定制的置信度预测网络，并将其用于我们的管道中的深度图离群值过滤和深度图细化，以提高最终3D重建的质量。我们训练我们的信心预测网络上（半）密集地面实况深度图从公开可用的真实世界MVS数据集。通过对流行的基准测试进行广泛的实验，我们证明了我们的整体管道可以在定性和定量方面产生最先进的3D重建。
2020-08-13 cs.CV
EndoLRMGS: Complete Endoscopic Scene Reconstruction combining Large Reconstruction Modelling and Gaussian Splatting
UCL Hawkes Institute, University College London（伦敦大学学院霍克斯研究所）；University College London（伦敦大学学院）；University of Liverpool（利物浦大学）
提出EndoLRMGS，结合大型重建建模与高斯溅射，实现完整手术场景重建，显著提升工具3D模型IoU及渲染质量。
2025-03-28 cs.CV
DynamicSurf: Dynamic Neural RGB-D Surface Reconstruction with an Optimizable Feature Grid
University College London（伦敦大学学院）
DynamicSurf提出一种无模型神经隐式表面重建方法，利用可优化特征网格和深度、法线、RGB损失，从单目RGB-D视频重建非刚性表面，实现6倍加速并达到最先进精度。
2023-11-14 cs.CV
Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction
Facebook AI Research（Facebook人工智能研究院）
我们提出了典型的3D变形器地图，一个新的表示的3D形状的常见对象类别，可以从一个集合的2D图像的独立对象。我们的方法以一种新的方式建立在参数化变形模型，非参数化3D重建和规范嵌入的概念上，结合了它们各自的优势。特别地，它学习将每个图像像素与对应的3D对象点的变形模型相关联，该变形模型是规范的，即对于该点的身份是固有的并且在该类别的对象之间共享。其结果是一种方法，在训练时只给出稀疏的2D监督，在测试时，可以从单个视图重建对象的3D形状和纹理，同时在对象实例之间建立有意义的密集对应。它还在人脸、汽车和鸟类的公共野外数据集上实现了最先进的密集3D重建结果。
2020-12-06 cs.CV
TripoSR: Fast 3D Object Reconstruction from a Single Image
Stability AI；Tripo AI
本文提出基于transformer的前馈3D重建模型TripoSR，可在0.5秒内由单图生成3D网格，并通过改进LRM架构在公开数据集上超越开源替代方案。
2024-03-04 cs.CV
TSPE-GS: Probabilistic Depth Extraction for Semi-Transparent Surface Reconstruction via 3D Gaussian Splatting
针对3D高斯溅射难以重建半透明表面的问题，提出TSPE-GS方法，通过概率深度建模与渐进式TSDF融合实现半透明内外表面重建，可泛化且无额外训练开销，显著提升半透明场景重建效果。
2025-11-13 cs.CV
Single Image 3D Hand Reconstruction with Mesh Convolutions
Imperial College London（帝国理工学院）；Università della Svizzera italiana（瑞士意大利语区大学）；Ariel AI（Ariel人工智能公司）；Twitter, Inc.（推特公司）
可变形物体（如人体部位）的单目3D重建通常通过预测重量级线性模型的参数来实现。在本文中，我们展示了一种替代的解决方案，是基于图像编码成一个潜在的非线性表示网格的想法。3D手部形状的先验知识是通过在谱域中执行固有图卷积来训练自动编码器来学习的。预先训练的解码器充当非线性统计可变形模型。使用图像编码器预测重建图像中的手的形状和关节姿态的潜在参数。我们表明，我们的系统重建合理的网格和实时操作。我们评估了解码器在新数据集上产生的网格重建的质量，并显示了潜在的空间插值结果。我们的代码、数据和模型将公开提供。
2019-08-05 cs.CV
From None to All: Self-Supervised 3D Reconstruction via Novel View Synthesis
Imperial College London（帝国理工学院）
提出NAS3R框架，通过自监督学习从无标注图像中联合估计3D几何和相机参数，利用新视角合成进行训练，无需真实标注或预训练先验。
2026-06-02 cs.CV
Multi-Submap Implicit Neural SLAM with Local-to-Global Loop Closure for Large-Scale Scene Reconstruction
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院）；Carnegie Mellon University（卡内基梅隆大学）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）
本文提出一种带多子图架构与双层回环检测机制的神经SLAM系统，结合渐进式建图、光流跟踪、局部到全局回环及子图间在线蒸馏算法，在大规模场景重建性能上优于现有最优方法。
2026-08-11 cs.CV
Reliable Multi-view 3D Reconstruction for `Just-in-time' Edge Environments
City University of New York, USA（纽约城市大学）；University of Cincinnati, USA（辛辛那提大学）
本文提出一种受投资组合理论启发的边缘资源管理策略，通过遗传算法优化相机选择，在时空相关干扰下保证多视图3D重建质量的可靠性。
2025-08-21 cs.CV cs.DC
OmniGS: Fast Radiance Field Reconstruction using Omnidirectional Gaussian Splatting
Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出OmniGS系统，通过理论分析球面相机导数并实现GPU加速全方位光栅化器，直接对等距柱状图像进行3D高斯溅射，实现快速高质量的全方位辐射场重建。
2024-11-06 cs.CV
Incremental Online Scene Reconstruction by 3D Gaussian Triangulation
Zhejiang University（浙江大学）；Hefei University of Technology（合肥工业大学）；Shenzhen Loop Area Institute（深圳河套学院）
研究增量式在线场景重建问题，提出通过直接对密集几何高斯表示三角剖分来重建和更新显式网格的方法，还给出直接网格化算法及相关约束，实验证明该方法性能优于传统高斯方法。
2026-07-14 cs.CV
Local and Global Point Cloud Reconstruction for 3D Hand Pose Estimation
National University of Singapore（新加坡国立大学）；University of Bonn（波恩大学）
本文研究了基于RGB图像的三维点云重建和人手三维姿态估计。为此，我们提出了一种新的管道，用于使用3D手模板进行局部和全局点云重建，同时学习姿势估计的潜在表示。为了证明我们的方法，我们引入了一个新的多视图手姿态数据集，以获得完整的三维点云的手在现实世界中。在我们新提出的数据集和四个公共基准上的实验证明了该模型的优势。我们的方法在3D姿态估计方面优于竞争对手，同时重建逼真的完整3D手部点云。
2021-12-13 cs.AI cs.CV
3D Reconstruction of Deformable Revolving Object under Heavy Hand Interaction
Inria（法国国家信息与自动化研究所）；Mines ParisTech（巴黎高等矿业学院）
我们通过时间重建3D可变形物体，在现场陶器制作过程的背景下，陶器制作者塑造了物体。由于对象遭受沉重的手交互，并且正在变形，因此不能应用经典技术。我们使用粒子能量优化来估计对象轮廓和对象径向对称性的好处，以增加重建对遮挡和噪声的鲁棒性。我们的方法适用于具有一个或多个深度传感器的无约束可扩展设置。我们评估我们的数据库（发布后）在每帧和时间的基础上，并显示它显着优于国家的最先进的实现7.60毫米的平均对象重建误差。进一步的消融研究证明了我们的方法的有效性。
2019-08-05 cs.CV cs.HC
AudioEar: Single-View Ear Reconstruction for Personalized Spatial Audio
Shanghai Jiao Tong University（上海交通大学）；Anhui University（安徽大学）
空间音频是一种以沉浸式3D声音渲染为核心的技术，在声学领域有着广泛的应用。当前空间音频渲染方法的关键问题之一是缺乏基于个体不同解剖结构的个性化，这对于产生准确的声源位置至关重要。在这项工作中，我们从跨学科的角度来解决这个问题。空间音频的渲染与人体的3D形状（特别是耳朵）密切相关。为此，我们提出了实现个性化的空间音频重建3D人耳与单视图图像。首先，为了对耳部重建任务进行基准测试，我们引入了AudioEar 3D，这是一个高质量的3D耳部数据集，由112个点云耳部扫描和RGB图像组成。为了自我监督地训练重建模型，我们进一步收集了一个由2,000张图像组成的2D耳朵数据集，每张图像都有手动注释的遮挡和55个标志，称为AudioEar 2D。据我们所知，这两个数据集的规模和质量都是最大的。此外，我们提出了AudioEarM，一种由深度估计网络指导的重建方法，该网络在合成数据上进行训练，具有针对耳朵数据定制的两个损失函数。最后，为了填补视觉和声学社区之间的空白，我们开发了一个管道，将重建的耳朵网格与现成的3D人体集成，并模拟个性化的头部相关传递函数（HRTF），这是空间音频渲染的核心。代码和数据可在https://github.com/seanywang0408/AudioEar上公开获取。
2023-01-30 cs.CV cs.MM
Uncertainty Quantification for Cardiac Shape Reconstruction with Deep Signed Distance Functions via MCMC methods
Department of Mathematics and Scientific Computing, University of Graz, Austria（格拉茨大学数学与科学计算系，奥地利）；PRIN-PNRR project no. P2022N5ZNP（PRIN-PNRR项目编号P2022N5ZNP）；INdAM-GNCS
本文提出结合深度符号距离函数与MCMC采样方法的不确定性感知心脏形状重建框架，通过隐式建模心脏几何并进行贝叶斯推断，实现高精度重建与可靠不确定性估计。
2026-05-08 cs.CV eess.IV
Hyperparameter-Free Losses for Model-Based Monocular Reconstruction
Crisalix SA（克里萨利克斯公司）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
这项工作提出了新的超参数无损失的单视图三维重建与变形模型（3DMM）。我们免除了超参数在其他作品中使用的几何形状，使物体的形状和相机的姿势在一个单一的长期表达式共同优化。这种简化减少了优化时间和复杂性。此外，我们提出了一种新的隐式正则化技术的基础上随机虚拟投影，不需要额外的2D或3D注释。我们的实验表明，最大限度地减少形状重投影误差与建议的隐式正则化是特别适合于应用程序，需要精确的几何和图像空间之间的对齐，如增强现实。我们在具有3D地面实况的大规模数据集上评估我们的损失，并发布我们的实现，以促进该领域的可重复性和公共基准测试。
2019-08-16 cs.AI cs.CV
WinT3R: Window-Based Streaming Reconstruction with Camera Token Pool
University of Science and Technology of China（中国科学技术大学）；Shanghai AI Lab（上海人工智能实验室）；SII；Zhejiang University（浙江大学）
针对重建质量与实时性能难以兼顾的问题，提出带滑动窗口机制和全局相机令牌池的前馈重建模型WinT3R，在多数据集上实现在线重建质量、位姿估计和速度的SOTA性能。
2025-09-05 cs.AI cs.CV
Scalable Surface Reconstruction with Delaunay-Graph Neural Networks
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；ENSG IGN（法国国立地理科学学院）；Ecole des Ponts（法国国立桥路学校）；CNRS（法国国家科学研究中心）
我们介绍了一种新的学习为基础的，可靠性意识，表面重建方法的大规模，充满缺陷的点云。我们的方法可以应付的规模和种类的点云缺陷，在现实生活中遇到的多视图立体视觉（MVS）收购。我们的方法依赖于一个三维Delaunay四面体，其细胞被分类为内部或外部的表面由一个图神经网络和一个能量模型可解的图形切割。我们的模型，利用当地的几何属性和视线的可见性信息，是能够学习的可见性模型，从少量的合成训练数据和推广到现实生活中的收购。结合深度学习方法的效率和基于能量的模型的可扩展性，我们的方法在两个公开的重建基准上优于基于学习和非学习的重建算法。我们的代码和数据可在https://github.com/raphaelsulzer/dgnn上获得。
2022-02-02 cs.CG cs.CV
Automated Reconstruction of 3D Open Surfaces from Sparse Point Clouds
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
真实世界的3D数据可能包含由显著表面间隙定义的复杂细节。这些开放表面的自动重建（例如，非防水网格）对于混合现实应用中的环境合成来说是一个具有挑战性的问题。现有的基于学习的隐式重建技术可以在闭曲面重建上达到很高的保真度。然而，它们依赖于表面内部和外部之间的区别，使得它们无法重建开放表面。最近，一类新的隐式函数在通过回归无符号距离场来重建开放曲面方面显示出了希望。然而，这些方法依赖于原始数据的离散化表示，这会丢失重要的表面细节，并可能导致重建中的离群值。我们提出了IPVNet，这是一种基于学习的隐式模型，它通过利用原始点云数据及其离散体素对应物来预测3D空间中表面和查询点之间的无符号距离。在合成和真实世界公共数据集上的实验表明，IPVNet的性能优于现有技术，同时在重建中产生的离群值要少得多。
2023-01-18 cs.CV cs.GR
Multi-View Mesh Reconstruction with Neural Deferred Shading
Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；TU Berlin（柏林工业大学）；Queen Mary University of London（伦敦玛丽女王大学）；HU Berlin（柏林洪堡大学）
本文提出了一种基于分析合成的方法，用于任意材质和光照条件下不透明物体的快速多视点三维重建。现有技术的方法使用神经表面表示和神经渲染两者。虽然灵活，但神经表面表示是优化运行时的一个重要瓶颈。相反，我们将表面表示为三角形网格，并围绕三角形光栅化和神经着色构建可微分渲染管道。渲染器用于梯度下降优化，其中三角形网格和神经着色器两者被联合优化以再现多视图图像。我们在公共3D重建数据集上评估了我们的方法，并表明它可以匹配传统基线和神经方法的重建精度，同时在优化运行时超过它们。此外，我们研究了着色器，发现它可以学习可解释的外观表示，从而实现3D材质编辑等应用。
2022-12-08 cs.CV cs.GR cs.LG
Learning physically grounded traffic accident reconstruction from public accident reports
State Key Laboratory of Internet of Things for Smart City（物联网智能城市国家重点实验室）；Department of Civil Engineering（土木工程系）；Department of Computer and Information Science（计算机与信息科学系）
本文提出基于公共报告和现场测量的参数化多模态学习框架，构建了6217个真实事故案例数据集CISS-REC，实现了交通事故重建的高保真度，优于现有基线方法。
2026-04-29 cs.CV cs.LG
Towards improved lossy image compression: Human image reconstruction with public-domain images
Palo Alto High School（帕洛阿尔托高中）；Monta Vista High School（蒙塔维斯塔高中）；Saint Francis High School（圣弗朗西斯高中）；Stanford University（斯坦福大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
有损图像压缩已经在诸如RMSE、MS-SSIM等典型损失函数的上下文中被广泛研究。然而，在低比特率下的压缩通常产生不令人满意的结果。此外，大量公共图像数据集的可用性似乎在图像压缩中几乎没有被利用。在这里，我们提出了一个范例，用于引发人类图像重建，以执行有损图像压缩。在这个范例中，一个人向第二个人描述图像，第二个人的任务是使用公共可用的图像和文本指令重建目标图像。然后，人工评分员在Amazon Mechanical Turk平台上对重建结果进行评估，并将其与使用最先进的压缩机WebP获得的重建结果进行比较。我们的研究结果表明，优先考虑语义视觉元素可能是实现图像压缩显着改善的关键，我们的范例可以用来开发一个更以人为中心的损失函数。图像、结果和其他数据可在https://compression.stanford.edu/human-compression上获得
2019-06-25 cs.CV cs.IT cs.MM
A Novel end-to-end Framework for Occluded Pixel Reconstruction with Spatio-temporal Features for Improved Person Re-identification
IIIT Naya Raipur（纳亚赖布尔国际信息技术学院）
本文提出一种端到端框架，结合CNN遮挡检测、Conv-LSTM/Autoencoder像素重建和cGAN细化，显著提升了遮挡场景下行人重识别的Rank-1精度。
2023-04-16 cs.CV
PHI-MVS: Plane Hypothesis Inference Multi-view Stereo for Large-Scale Scene Reconstruction
基于PatchMatch的多视图立体视觉（MVS）算法在大规模场景重建中取得了巨大的成功。然而，无纹理平面的重建往往会失败，因为相似性测量方法在这些区域上可能变得无效。因此，提出了一种新的平面假设推理策略来处理上述问题。该过程包括两个步骤：首先，使用未成功恢复的区域上的过滤的初始深度图生成多个平面假设;其次，使用马尔可夫随机场（MRF）选择深度假设。该策略在计算时间增加不多的情况下，能显著提高重建结果的完整性。此外，一种新的加速方案，类似于扩张卷积，可以加快深度图估计过程中只有轻微的影响重建。我们将上述想法集成到一个新的MVS流水线，平面假设推理多视图立体视觉（PHI-MVS）。PHI-MVS的结果在ETH 3D公共基准测试中得到了验证，它展示了与最先进技术相竞争的性能。
2021-04-13 cs.CV
Pursuing 3D Scene Structures with Optical Satellite Images from Affine Reconstruction to Euclidean Reconstruction
University of Northeastern（东北大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
如何利用多幅光学卫星图像恢复场景的三维结构是遥感领域一个具有挑战性的重要问题。现有的大多数方法都是基于经典的RPC（rational polynomial camera）模型，该模型需要至少39个地面控制点，然而，在许多真实场景中要获得如此多的地面控制点并不容易。针对这一问题，我们提出了一个分层重建框架的基础上，多个光学卫星图像，它只需要4个控制点。该框架由仿射稠密重建阶段和仿射到欧氏升级阶段组成：在仿射稠密重建阶段，探索了一种仿射稠密重建方法，用于在没有任何GCP的情况下从输入卫星图像中追求3D仿射场景结构。然后在仿射到欧几里德升级阶段，将获得的3D仿射结构升级为具有4个GCP的欧几里德结构。在两个公开数据集上的实验结果表明，该方法在大多数情况下明显优于三种最先进的方法。
2022-01-16 cs.CV
Attention-based Feature Decomposition-Reconstruction Network for Scene Text Detection
Beihang（北京航空航天大学）
近年来，场景文本检测一直是一个具有挑战性的任务。具有任意形状或大纵横比的文本通常很难检测。以前的基于分割的方法可以更准确地描述曲线文本，但遭受过度分割和文本粘连。在本文中，我们提出了基于注意力的特征分解-重构网络的场景文本检测，它利用上下文信息和低级别的功能，以提高基于分割的文本检测器的性能。在特征融合阶段，我们引入跨层次注意模块，通过在融合的多尺度特征上增加注意力机制来丰富文本的上下文信息。在概率图生成阶段，提出了一种特征分解-重构模块，该模块根据文本特征的频率特性对文本特征进行分解，然后通过添加低层特征进行重构，以缓解大纵横比文本的过分割问题。在两个公共基准数据集上进行了实验，结果表明，我们提出的方法达到了最先进的性能。
2021-11-29 cs.CV
Volumetric Reconstruction Applied to Perceptual Studies of Size and Weight
我们探讨了结构光传感器的体积重建在认知神经科学中的应用，特别是在量化的大小重量错觉，人类往往会系统地感知较小的物体作为较重。我们调查的两个商业结构光扫描系统的性能相比，我们专门为此应用开发的。我们的方法有两个主要的特点：第一，它只采样一系列稀疏的视点，不像其他系统，如Kinect Fusion。其次，而不是建立一个距离场的目的点到表面的转换直接，我们追求一阶的方法：距离函数是从其梯度恢复的筛选泊松重建，这是非常有弹性的噪声，但保留高频信号分量。我们的实验表明，从结构光传感器的度量重建的质量是受系统的偏见，并突出了影响它的因素，我们的主要性能指标率估计的体积（代理的大小），我们审查一个众所周知的公式适用于不完整的网格。我们的代码和数据将在匿名审查过程完成后公开。
2013-11-11 cs.CV
Towards High-Fidelity Single-view Holistic Reconstruction of Indoor Scenes
CUHK-Shenzhen（香港中文大学（深圳））；The Future Network of Intelligence Institute, CUHK-Shenzhen（香港中文大学（深圳）未来智联网络研究院）
本文提出了一种从单视点图像重建包括室内背景和室内物体的整体三维室内场景的新框架。由于室内场景遮挡严重，现有方法只能生成几何质量有限的室内物体的三维形状。为了解决这个问题，我们提出了一个实例对齐的隐式函数（InstPIFu）的详细对象重建。结合实例对齐的注意力模块，我们的方法被授权解耦混合局部特征对被遮挡的实例。此外，与以前的方法，简单地表示为一个3D的限界框，深度图或一组平面的房间背景，我们通过隐式表示恢复精细的几何背景。在SUN RGB-D，Pix 3D，3D-FUTURE和3D-FRONT数据集上的大量实验表明，我们的方法在背景和前景对象重建方面都优于现有方法。我们的代码和模型将公开提供。
2022-08-06 cs.CV
R$^3$Net:Relation-embedded Representation Reconstruction Network for Change Captioning
Kunming University of Science and Technology（昆明理工大学）；Hangzhou Dianzi University（杭州电子科技大学）
改变字幕是用一个自然语言句子来描述两个相似图像之间细粒度的不一致。视点变化是这一任务中最典型的干扰物，因为它改变了物体的尺度和位置，并使真实变化的表征变得模糊。在本文中，我们提出了一个嵌入式表示重建网络（R $^3$ Net），明确区分真正的变化，从大量的杂波和不相关的变化。具体来说，首先设计了一个关系嵌入模块，以探索大量的杂波中潜在的变化对象。然后，基于两幅图像中对应位置的语义相似性，设计了一个表征重构模块（RRM），用于学习重构表征，并进一步对差异表征进行建模。此外，我们引入了一个句法骨架预测器（SSP），以增强变化定位和字幕生成之间的语义交互。实验结果表明，该方法在两个公开数据集上取得了较好的效果。
2021-10-20 cs.CL cs.CV
Semantic Dense Reconstruction with Consistent Scene Segments
Northeastern University（东北大学）；Technical University of Munich（慕尼黑工业大学）；Peking university（北京大学）；MetaSpatie Tech.（元空间科技）；Google Inc.（谷歌公司）
本文提出了一种从RGB-D序列重建稠密语义三维场景的方法，以解决高层次的场景理解任务。首先，每个RGB-D对基于相机跟踪主干被一致地分割成2D语义图，该相机跟踪主干以高概率将对象的标签从全扫描传播到对应的部分视图。然后，从输入RGB-D序列递增地生成未知环境的密集3D网格模型。利用二维一致性语义段和三维模型，提出了一种新的语义投影块（SP-Block），用于从不同视图的二维段中提取深度特征体。最后通过点云编码器将语义体融合为深层体，进行最终的语义分割。在公共数据集上进行的大量实验评估表明，我们的系统同时实现了准确的3D密集重建和最先进的语义预测性能。
2021-09-30 cs.CV cs.RO
Endo-Depth-and-Motion: Reconstruction and Tracking in Endoscopic Videos using Depth Networks and Photometric Constraints
Universidad de Zaragoza（萨拉戈萨大学）
从体内视频中估计场景重建和相机运动是具有挑战性的，这是由于几个因素，例如体腔的变形或缺乏纹理。在本文中，我们提出了Endo-Depth-and-Motion，这是一个从单目内窥镜视频中估计6自由度相机姿势和密集3D场景模型的管道。我们的方法利用自监督深度网络的最新进展来生成伪RGBD帧，然后使用光度残差跟踪相机姿态，并将注册的深度图融合到体积表示中。我们在公共数据集Hamlyn中进行了广泛的实验评估，显示了高质量的结果并与相关基线进行了比较。我们还发布了所有模型和代码以供将来比较。
2021-07-03 cs.CV cs.LG cs.RO
