Automatic 3D Point Set Reconstruction from Stereo Laparoscopic Images using Deep Neural Networks
University of Debrecen（德布勒森大学）
在本文中，提出了一种自动的方法来预测立体腹腔镜图像的三维坐标。该方法通过训练六层深度神经网络将像素强度向量映射到3D坐标。该方法的架构方面的详细介绍和方法进行了评估，在一个公开的数据集有前途的结果。
2016-07-31 cs.CV
PHI-MVS: Plane Hypothesis Inference Multi-view Stereo for Large-Scale Scene Reconstruction
基于PatchMatch的多视图立体视觉（MVS）算法在大规模场景重建中取得了巨大的成功。然而，无纹理平面的重建往往会失败，因为相似性测量方法在这些区域上可能变得无效。因此，提出了一种新的平面假设推理策略来处理上述问题。该过程包括两个步骤：首先，使用未成功恢复的区域上的过滤的初始深度图生成多个平面假设;其次，使用马尔可夫随机场（MRF）选择深度假设。该策略在计算时间增加不多的情况下，能显著提高重建结果的完整性。此外，一种新的加速方案，类似于扩张卷积，可以加快深度图估计过程中只有轻微的影响重建。我们将上述想法集成到一个新的MVS流水线，平面假设推理多视图立体视觉（PHI-MVS）。PHI-MVS的结果在ETH 3D公共基准测试中得到了验证，它展示了与最先进技术相竞争的性能。
2021-04-13 cs.CV
Stereo-GS: Multi-View Stereo Vision Model for Generalizable 3D Gaussian Splatting Reconstruction
Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系）；NVIDIA AI Technology Center, NVIDIA（NVIDIA 人工智能技术中心）；School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学）
Stereo-GS通过立体视觉和解耦框架实现高效通用3D高斯点云重建，无需依赖相机参数，提升鲁棒性和实用性。
2026-01-01 cs.CV
Benchmarking stereo reconstruction for 3D printable Martian terrain models
MIT Cambridge, MA, USA（麻省理工学院，马萨诸塞州剑桥，美国）
针对火星图像低纹理、不规则和部分观测的特点，评估从NASA好奇号图像估计立体深度、补全几何并导出可打印网格的流程，发现基准精度不直接迁移到火星地形重建，几何补全存在局部保真度与全局连通性的权衡。
2026-06-09 cs.CV
Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery
The Chinese University of Hong Kong（香港中文大学）
从内窥镜立体视频中重建机器人手术中的软组织对于许多应用例如术中导航和图像引导的机器人手术自动化是重要的。以前的工作主要依赖于基于SLAM的方法，难以处理复杂的手术场景。受神经渲染最新进展的启发，我们提出了一种新的框架，机器人手术中的单视点设置下的双目捕获的变形组织重建。我们的框架采用动态神经辐射场来表示MLP中的可变形手术场景，并以基于学习的方式优化形状和变形。除了非刚性变形之外，工具遮挡和来自单个视点的不良3D线索也是软组织重建中的特定挑战。为了克服这些困难，我们提出了一系列的策略，工具掩模引导光线投射，立体深度线索光线行进和立体深度监督优化。通过对达芬奇机器人手术视频的实验，我们的方法在处理各种复杂的非刚性变形方面明显优于当前最先进的重建方法。据我们所知，这是第一项利用神经渲染进行手术场景三维重建的工作，具有显着的潜力。代码可在：https://github.com/med-air/EndoNeRF.
2022-06-30 cs.CV
Stereo 3D Object Trajectory Reconstruction
Fraunhofer IOSB（弗劳恩霍夫IOSB研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们提出了一种方法来重建的三维轨迹的一个已知的对象类别使用立体视频数据的移动实例。我们利用实例感知的语义分割技术和光流线索，在像素级上跟踪对象的二维形状。我们将运动恢复结构（SfM）技术应用于对象和背景图像，以确定每帧初始相机相对于对象实例和背景结构的姿态。我们完善的初始SfM的结果，通过整合立体相机的约束，利用因子图。我们通过结合目标和背景摄像机的姿态信息来计算目标的轨迹。与立体匹配方法相比，我们的方法利用时间相邻的对象点三角测量视图。与单目轨迹重建方法相反，我们的方法没有退化的情况。我们评估我们的方法使用公开的视频数据的车辆在城市场景。
2018-08-27 cs.CV
Combining SLAM with muti-spectral photometric stereo for real-time dense 3D reconstruction
Ocean University of China（中国海洋大学）
以较低的计算代价获得密集的三维重建是SLAM领域的重要目标之一。在本文中，我们提出了一种联合使用半密集SLAM和多光谱光度立体方法的单目多光谱视频序列的密集3D重建框架。从多光谱视频开始，SALM（a）重建将被加密的半密集3D形状;（b）恢复相对稀疏的深度图，然后将其作为优先级馈送到基于优化的多光谱光度立体中，以获得更准确的密集表面法线恢复;（c）第（1）款获得相机姿态，随后用于融合过程中的视图转换，其中我们将相对稀疏的点云与密集的表面相结合正常使用本文提出的自动跨尺度融合方法，得到一个密集的点云与微妙的纹理信息。实验表明，该方法可以有效地获得更密集的三维重建。
2018-07-06 cs.CV
Learning to Adapt Multi-View Stereo by Self-Supervision
多视图三维场景重建是计算机视觉中的一个重要经典问题。基于深度学习的方法最近已经展示了令人印象深刻的重建结果。当训练这种模型时，自监督方法是有利的，因为它们不依赖于监督训练所需的地面实况数据，并且通常难以获得。此外，学习的多视图立体视觉重建容易受到环境变化的影响，并且应该鲁棒地推广到不同的领域。我们提出了一种用于多视图立体视觉的自适应学习方法，该方法训练深度神经网络以提高对新目标域的适应性。我们使用模型不可知的元学习（MAML）训练的基础参数，反过来，适应多视图立体视觉的新领域，通过自我监督训练。我们的评估表明，所提出的自适应方法是有效的学习自监督多视图立体视觉重建在新的领域。
2020-09-28 cs.CV
Adapting Stereo Vision From Objects To 3D Lunar Surface Reconstruction with the StereoLunar Dataset
IRIT, Toulouse INP, Université de Toulouse, France（IRIT、图卢兹INP、图卢兹大学、法国）；Airbus Defence and Space（Airbus防卫与航天）；ESA (European Space Agency)（欧洲航天局）
针对现有立体视觉方法难以适配月球表面3D重建的问题，研究团队构建了首个月球写实立体图像公开数据集LunarStereo，并通过微调将MASt3R模型适配至月球领域，在合成与真实数据上均取得优于零样本基线的效果。
2025-10-20 cs.CV
StereoDRNet: Dilated Residual Stereo Net
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Facebook Reality Labs（Facebook现实实验室）
我们提出了一个系统，使用卷积神经网络（CNN）来估计从立体对的深度，然后通过预测的深度图的体积融合来产生场景的3D重建。我们提出的深度细化架构，预测视图一致的视差和遮挡图，帮助融合系统产生几何一致的重建。我们在我们提出的成本过滤网络中使用了3D扩张卷积，与最先进的成本过滤架构相比，该网络可以产生更好的过滤效果，同时几乎减少了一半的计算成本。对于特征提取，我们使用了涡池架构。所提出的方法在KITTI 2012、KITTI 2015和ETH 3D立体基准测试中获得了最先进的结果。最后，我们证明了我们的系统能够产生高保真度的三维场景重建，优于最先进的立体声系统的状态。
2019-06-02 cs.CV
3D Reconstruction with Low Resolution, Small Baseline and High Radial Distortion Stereo Images
在本文中，我们分析和比较的方法，从低分辨率（250 × 250），高径向失真立体图像，这是小基线（约1毫米）采集的三维重建。这些图像用CMOSIS/AWAIBA制造的NanEye Stereo系统采集。这些立体相机也有小光圈，这意味着需要高水平的照明。目标是开发一种方法，以低计算成本产生准确的重建，即，避免了非线性数值优化算法。重点分析和比较了径向畸变模型。为了进行分析和比较，我们基于可用的软件和方法定义了基线方法，例如Bouguet工具箱[2]或Matlab的计算机视觉工具箱。测试的方法的基础上使用的多项式模型的径向失真，并在应用程序的分割模型。变形中心的问题也在分割模型的应用框架内得到了解决。我们的结论是，与一个单一的径向畸变参数的分割模型有局限性。
2017-09-19 cs.CV
Object 3D Reconstruction based on Photometric Stereo and Inverted Rendering
Kingston University London（伦敦金斯顿大学）
用于3D重建的方法（诸如光度立体）使用在可变照明条件下从固定视点拍摄的对象的多个图像来恢复形状和反射率属性。光度立体假设场景仅由照明源直接照明。结果，由于相互反射的间接照明效应在恢复的形状中引入强偏差。我们建议的方法是在间接照明的存在下恢复场景属性。为此，我们提出了一种迭代PS方法，结合反向蒙特卡罗光线追踪算法来克服相互反射效应，旨在分离直接照明和间接照明。这种方法迭代地重建一个表面，同时考虑到物体周围的环境和它的凹面。我们使用三个数据集演示和评估我们的方法，总体结果表明，改进了经典的PS方法。
2018-11-06 cs.CV
Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction
KAIST（韩国科学技术院）
提出Sparse-GS2Mesh，利用对极深度初始化3DGS并引入自适应基线选择、立体匹配微调和2D/3D联合正则化，在稀疏视图下实现高质量表面重建，低重叠设置中较最先进方法提升15%。
2026-10-14 cs.CV
PlantStereo: A Stereo Matching Benchmark for Plant Surface Dense Reconstruction
Zhejiang University（浙江大学）
立体匹配是计算机视觉中的一项重要任务，几十年来一直受到人们的关注。而公共立体数据集在视差精度、密度和数据量等方面难以满足模型的要求。在本文中，我们的目标是解决数据集和模型之间的问题，并提出了一个大规模的立体数据集与高精度视差地面真相命名为PlantStereo。我们使用半自动的方式来构建数据集：经过摄像机校准和图像配准，可以从深度图像中获得高精度的视差图像。PlantStereo总共包含812个图像对，涵盖了各种植物：菠菜、番茄、辣椒和南瓜。我们首先评估了四种不同立体匹配方法的PlantStereo数据集。在不同模型和植物上进行的大量实验表明，与整数精度的地面真值相比，PlantStereo提供的高精度视差图像可以显著提高深度学习模型的训练效果。为实现植物表面密集化改造提供了一种可行可靠的方法。PlantStereo数据集和相关代码可在https://www.github.com/wangqingyu985/PlantStereo上获得
2021-11-30 cs.CV
Study on Real-Time Road Surface Reconstruction Using Stereo Vision
Korea Electronics Technology Institute（韩国电子技术研究院）；Jeonbuk National University（国立全北大学）
本文通过同构全局结构化剪枝和优化头部网络，增强RoadBEV框架，在边缘设备上实现更快的实时路面重建，同时降低重建误差。
2025-04-25 cs.CV
Real-Time Stereo Vision for Road Surface 3-D Reconstruction
The Hong Kong University of Science and Technology（香港科技大学）；University of Bristol（布里斯托大学）
立体视觉技术在土木工程中获得三维道路数据已得到广泛应用。立体视觉的两个重要因素是精度和速度。然而，这是非常具有挑战性的同时实现这两个，因此，开发一个立体视觉系统的主要目的是提高这两个因素之间的权衡。本文提出了一种用于路面三维重建的实时的【形】立体视觉系统。该系统是从我们以前发表的3-D重建算法的目标图像的透视图首先转换成参考视图，这不仅增加了视差精度，但也提高了处理速度。然后，计算每对块之间的相关成本，并存储在两个3-D成本卷中。为了自适应地聚合来自邻域系统的匹配成本，对成本量执行双边滤波。这大大减少了立体匹配过程中的模糊性，并进一步提高了估计视差的精度。最后，通过抛物线插值实现亚像素分辨率，并利用亚像素视差图重建三维路面。该算法在NVIDIA GTX 1080 GPU上实现，以达到实时的【形】目的。实验结果表明，重建精度在3 mm左右。
2018-08-29 cs.CV
Large Area 3D Human Pose Detection Via Stereo Reconstruction in Panoramic Cameras
Profactor GmbH（普罗法克特有限公司）；JKU（约翰内斯·开普勒大学）
我们提出了一种新的三维人体姿态检测器使用两个全景摄像机。我们表明，将鱼眼视角转换为直线视图可以直接应用二维深度学习姿势估计方法，而无需明确需要昂贵的重新训练步骤来补偿鱼眼图像失真。通过利用全景相机，我们的方法是能够准确地估计在一个大的视野中的人的姿态。这使得我们的方法适用于人体工程学分析和其他姿势为基础的评估。
2019-07-01 cs.CV
StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
在本文中，我们提出了StereoPIFu，它集成了立体视觉的几何约束与隐式函数表示的PIFu，恢复的三维形状的穿着的人从一对低成本的纠正图像。首先，我们从基于立体视觉的网络中引入有效的体素对齐特征，以实现深度感知重建。此外，新的相对z偏移被用来关联预测的高保真人体深度和占用推断，这有助于恢复精细的表面细节。其次，设计了一种充分利用立体图像几何信息的网络结构，以提高人体重建质量。因此，我们的StereoPIFu可以自然地推断人体在相机空间中的空间位置，并保持人体不同部位的正确相对位置，这使得我们的方法能够捕捉人体的表现。与以前的作品相比，我们的StereoPIFu显着提高了服装人体重建的鲁棒性，完整性和准确性，这是由大量的实验结果证明。
2021-04-13 cs.CV
Category-level Object Detection, Pose Estimation and Reconstruction from Stereo Images
Tsinghua University（清华大学）；Tencent Robotics X（腾讯Robotics X实验室）
针对不同材质物体的3D理解，提出基于立体图像的隐式匹配与变换-解码器单阶段方法CODERS，解决尺度模糊，显著优于现有方法并泛化至真实机器人操作。
2024-07-17 cs.CV
Investigating Spherical Epipolar Rectification for Multi-View Stereo 3D Reconstruction
The Ohio State University（俄亥俄州立大学）
多视图立体视觉（MVS）重建是建立三维模型的关键。该方法涉及应用极线校正，然后进行视差估计的密集匹配。然而，现有的方法面临的挑战，主要是由于对象规模的巨大差异，在应用密集匹配的图像与不同的观点。在本文中，我们提出了一个球形模型的极线整流，以尽量减少主光线的差异所造成的失真。我们评估所提出的方法使用两个基于空中的数据集组成的多摄像头系统。我们通过定性和定量评估表明，所提出的方法比基于帧的极线校正更好，将点云的完整性提高了4.05%，同时使用LiDAR数据作为地面实况将精度提高了10.23%。
2022-04-08 cs.CV
Differentiable Display Photometric Stereo
POSTECH（浦项科技大学）；Meta Reality Labs（元宇宙现实实验室）
针对显示光度立体视觉中显示图案设计的挑战，提出可微显示光度立体视觉方法，通过可微框架端到端学习显示图案，结合3D打印数据集和偏振光分离反射，提升了法向量重建精度与鲁棒性。
2024-03-12 cs.CV
Semantic Stereo for Incidental Satellite Images
The Johns Hopkins University（约翰斯·霍普金斯大学）
与严格任务的双目或三目一致收集相比，越来越普遍地使用附带卫星图像进行立体重建有助于及时实现全球规模的3D映射;然而，由于季节性外观差异和场景变化，来自多日期图像对的可靠立体对应仍然非常具有挑战性。最近有前途的工作表明，语义场景分割可以提供一个强大的正则化解决立体对应和重建问题的歧义。为了使成对语义立体和多视图语义3D重建与附带的卫星图像的研究，我们已经建立了一个大规模的公共数据集，包括多视图，多波段卫星图像和地面真理的几何和语义标签的两个大城市。为了证明立体声和分割任务的互补性，我们提出了适应最新技术水平的卷积神经网络模型的轻量级公共基线，并评估其性能。
2018-11-21 cs.CV
DeepC-MVS: Deep Confidence Prediction for Multi-View Stereo Reconstruction
Sony Europe B.V.（索尼欧洲公司）；Graz University of Technology（格拉茨技术大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
深度神经网络（DNN）具有提高基于图像的3D重建质量的潜力。然而，由于内存和计算的限制，在从大型和高分辨率图像数据集进行3D重建的背景下使用DNN仍然是一个开放的挑战。我们提出了一个管道，它利用DNN来提高3D重建的质量，同时能够处理大型和高分辨率的数据集。特别是，我们提出了一个明确为多视图立体视觉（MVS）量身定制的置信度预测网络，并将其用于我们的管道中的深度图离群值过滤和深度图细化，以提高最终3D重建的质量。我们训练我们的信心预测网络上（半）密集地面实况深度图从公开可用的真实世界MVS数据集。通过对流行的基准测试进行广泛的实验，我们证明了我们的整体管道可以在定性和定量方面产生最先进的3D重建。
2020-08-13 cs.CV
Revisiting PatchMatch Multi-View Stereo for Urban 3D Reconstruction
University of Parma（帕尔马大学）；VisLab Srl（VisLab有限责任公司）；Ambarella Inc（安霸公司）
提出了一种基于PatchMatch多视图立体视觉（MVS）的城市场景图像三维重建的完整流程。首先将输入图像输入到现成的视觉SLAM系统中以提取相机姿态和稀疏关键点，其用于初始化PatchMatch优化。然后，逐像素的深度和法线迭代计算在一个多尺度的框架与一个新的深度正常的一致性损失项和全局细化算法，以平衡固有的局部性质的PatchMatch。最后，在3D中通过反投影多视图一致性估计生成大规模点云。所提出的方法进行了仔细评估，对经典的MVS算法和单目深度网络的KITTI数据集，显示最先进的性能。
2022-07-18 cs.CV
3D Face Reconstruction Using Color Photometric Stereo with Uncalibrated Near Point Lights
我们提出了一种新的彩色光度立体（CPS）的方法，恢复高品质，详细的三维人脸几何在一个Single Shot。我们的系统使用三个未校准的不同颜色的近点光和一个单一的相机。对于鲁棒的自校准光源，我们使用三维变形模型（3DMM）和面部部位的语义分割。我们解决光谱模糊性问题，将多个共识，多个相似性，代理之前到一个统一的框架。我们避免了需要的空间恒定性，相反，我们使用一个新的措施，是基于的空间相似性的规范配置文件。实验表明，我们的新方法产生的国家的最先进的结果，从单一的图像与高保真的几何，包括细节，如皱纹。
2019-12-22 cs.CV
Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction
Tsinghua University（清华大学）
在本文中，我们提出了一个新的角度对基于图像的形状生成。大多数现有的基于深度学习的形状重建方法采用单视图确定性模型，该模型有时不足以确定单个地面实况形状，因为后部被遮挡。在这项工作中，我们首先引入了一个条件生成网络模型的不确定性单视图重建。然后，我们制定了多视图重建的任务，作为每个单一的图像上的预测的形状空间的交集。我们设计了新的可微制导，包括前端约束，多样性约束，和一致性损失，使有效的单视图条件生成和多视图合成。实验结果和消融研究表明，我们提出的方法优于国家的最先进的方法的三维重建测试误差，并证明其泛化能力的真实世界的数据。
2019-04-21 cs.CV
Stereo4D: Learning How Things Move in 3D from Internet Stereo Videos
Google DeepMind（谷歌DeepMind）；University of Michigan（密歇根大学）；New York University（纽约大学）
提出Stereo4D系统，从互联网立体视频中挖掘高质量4D重建，生成大规模世界一致性3D点云数据，训练DUSt3R变体实现真实图像对的3D结构与运动预测。
2025-04-30 cs.CV
CoMVS-GS: Collaborative Multi-View Stereo and 3D Gaussian Splatting for Surface Reconstruction
Wuhan University（武汉大学）；Hangzhou Dianzi University（杭州电子科技大学）
CoMVS-GS结合多视图立体与3D高斯溅射，通过新的初始化方式和互监督机制优化表面重建，在室外场景提升几何精度与网格紧凑性，同时保持高渲染质量。
2026-08-20 cs.CV
SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization
Inria（法国国家信息与自动化研究所）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息、信号与自动化研究所）；M2S（运动、交互与认知实验室）
SparseCraft提出一种从少量图像进行三维重建和新视图合成的方法，通过隐式神经表示（SDF和辐射场）结合立体视觉线索，并采用几何线性化策略增强鲁棒性，在标准基准上达到最先进性能且训练时间短。
2024-07-19 cs.CV
MUSt3R: Multi-view Network for Stereo 3D Reconstruction
NAVER LABS Europe（NAVER欧洲实验室）
本文提出多视图网络MUSt3R，将DUSt3R从图像对扩展至多视图，通过对称架构直接预测公共坐标系下的三维结构，并引入多层记忆机制降低计算复杂度，实现大规模图像集合的高效三维重建，在SfM、视觉SLAM等多种下游任务中达到SOTA。
2025-03-03 cs.CV
Learning a Multi-View Stereo Machine
UC Berkeley（加州大学伯克利分校）
我们提出了一个学习系统的多视角立体视觉。与最近的基于学习的3D重建方法相比，我们通过沿视线的特征投影和非投影来利用问题的基本3D几何形状。通过以可微的方式制定这些操作，我们能够端到端地学习系统，以执行度量3D重建任务。端到端学习使我们能够在符合几何约束的同时共同推理形状先验，从而能够从比经典方法所需的更少的图像（甚至是单个图像）进行重建，并完成看不见的表面。我们在ShapeNet数据集上彻底评估了我们的方法，并展示了与经典方法以及最近基于学习的方法相比的优势。
2017-08-17 cs.CV
A Comparison of Multi-View Stereo Methods for Photogrammetric 3D Reconstruction: From Traditional to Learning-Based Approaches
Faculty of Geo-Information Science and Earth Observation (ITC), University of Twente（特温特大学地理信息科学与地球观测学院（ITC））
本文比较了传统与基于学习的多视图立体方法在摄影测量3D重建中的性能，评估了COLMAP与MVSNet、Stereo4D等方法在精度、覆盖范围和运行时间上的表现。
2026-04-11 cs.CV
Reflect3r: Single-View 3D Stereo Reconstruction Aided by Mirror Reflections
University of Oxford（牛津大学）
Reflect3r通过利用镜像反射作为辅助视图，实现单视角3D立体重建，结合对称感知损失提升姿态估计，并在动态场景中实现高效几何恢复。
2026-01-09 cs.CV
UniPR: Unified Object-level Real-to-Sim Perception and Reconstruction from a Single Stereo Pair
NTU（国立新加坡大学）；Tencent Robotics X（腾讯机器人实验室）；Futian Laboratory（福田实验室）；HKUST（香港科技大学）；THU（清华大学）
本文提出UniPR，一种端到端的物体级实拍到仿真感知与重建框架，通过几何约束解决尺度模糊问题，消除了对类别特定规范的依赖，并通过大规模立体数据集LVS6D提升研究效率和实用性。
2026-03-20 cs.CV
Deep Learning for Multi-View Stereo via Plane Sweep: A Survey
Peking University（北京大学）；National Innovation Institute of Defense Technology（国防科技创新研究院）
三维重建由于其在自动驾驶、机器人和虚拟现实等领域的广泛应用而受到越来越多的关注。深度学习作为人工智能领域的主导技术，已被成功应用于解决各种计算机视觉问题。然而，用于3D重建的深度学习由于其独特的挑战和不同的管道而仍处于起步阶段。为了促进未来的研究，本文介绍了多视图立体视觉（MVS）的深度学习方法的最新进展，这被认为是基于图像的3D重建的关键任务。它还提供了几个公开数据集的比较结果，具有深刻的观察和鼓舞人心的未来研究方向。
2021-07-29 cs.CV
Self-Supervised Learning for Stereo Reconstruction on Aerial Images
Institute for Computer Graphics and Vision（计算机图形与视觉研究所）；Graz University of Technology（格拉茨工业大学）
最近的发展确立了深度学习作为提高密集匹配和立体估计性能的必然工具。缺点是，学习这些网络需要大量的训练数据才能成功。因此，这些模型在实验室之外的应用远非直线前进。在这项工作中，我们提出了一个自我监督的训练过程，使我们能够使我们的网络适应手头数据集的特定（成像）特征，而不需要外部地面真实数据。相反，我们通过在整个数据集上运行我们的中间网络来生成临时训练数据，然后进行保守的离群值过滤。从我们的混合CNN-CRF模型的预训练版本引导，我们交替生成训练数据和网络训练。有了这个简单的概念，我们就能够显著提升预训练版本的完整性和准确性。我们还表明，我们的最终模型相比其他流行的立体声估计算法的空中数据集。
2019-07-29 cs.CV
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
ShanghaiTech University（上海科技大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（Adobe研究院）
我们提出了MVSNeRF，一种新的神经渲染方法，可以有效地重建神经辐射场的视图合成。与先前在神经辐射场上考虑密集捕获图像上的每场景优化的工作不同，我们提出了一种通用的深度神经网络，该网络可以通过快速网络推理从仅三个附近的输入视图重建辐射场。我们的方法利用平面扫描成本卷（广泛用于多视图立体视觉）的几何感知场景推理，并将其与基于物理的体渲染神经辐射场重建。我们在DTU数据集中的真实对象上训练我们的网络，并在三个不同的数据集上对其进行测试，以评估其有效性和通用性。我们的方法可以概括跨场景（即使是室内场景，完全不同于我们的训练场景的对象），并生成逼真的视图合成结果，仅使用三个输入图像，显着优于并发工作的可概括的辐射场重建。此外，如果捕获密集图像，我们估计的辐射场表示可以很容易地进行微调;这导致快速的每场景重建，具有更高的渲染质量和比NeRF少得多的优化时间。
2021-08-24 cs.CV
GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views
Technion - Israel Institute of Technology（以色列理工学院）
提出GS2Mesh，通过预训练立体匹配模型从3DGS渲染的立体视图提取深度并融合为网格，实现更平滑、精确的表面重建，在野外场景及Tanks and Temples、DTU基准上达到最先进水平。
2024-07-17 cs.CV
Depth Refinement for Improved Stereo Reconstruction
Technion - Israel Institute of Technology（以色列理工学院）
深度估计是需要对环境进行3D评估的大量应用的基石，例如机器人、增强现实和自动驾驶等。用于深度估计的一个突出技术是立体匹配，其具有若干优点：它被认为比其他深度感测技术更容易获得，可以实时产生密集的深度估计，并且近年来大大受益于深度学习的进步。然而，用于从立体图像进行深度估计的当前技术仍然遭受固有缺陷。为了重建深度，立体匹配算法在应用几何三角测量之前首先估计左图像和右图像之间的视差图。简单的分析表明，深度误差与物体的距离成二次正比。因此，对于远离相机的物体，恒定的视差误差会转化为较大的深度误差。为了减轻这种二次关系，我们提出了一种简单但有效的方法，使用细化网络的深度估计。我们的分析和实证结果表明，建议的学习过程减少了这种二次关系。我们在知名的基准测试和数据集（如Sceneflow和KITTI数据集）上评估了所提出的改进过程，并证明了深度精度度量的显着改进。
2021-12-15 cs.CV
ZipMVS: Multi-View Stereo with Compressed Cost Volumes
School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院）；I3A, Universidad de Zaragoza（萨拉戈萨大学I3A研究所）；Agricultural Information Institute, Chinese Academy of Agricultural Sciences（中国农业科学院农业信息研究所）
ZipMVS是一种压缩代价体的多视图立体匹配方法，可在保持重建精度的同时降低GPU内存消耗，在相关数据集上实现了重建质量与内存使用的良好平衡。
2026-08-31 cs.CV
PatchMVSNet: Patch-wise Unsupervised Multi-View Stereo for Weakly-Textured Surface Reconstruction
Wuhan University（武汉大学）
基于学习的多视图立体视觉（MVS）在流行的数据集上获得了良好的重建效果。然而，监督学习方法需要用于训练的基础事实，这是难以收集的，特别是对于大规模数据集。虽然目前已经提出了无监督学习方法并取得了令人满意的结果，但这些方法仍然无法在具有挑战性的场景中重建完整的结果，例如弱纹理表面，因为这些方法主要依赖于受到各种光照的像素级光度一致性。为了减少这些具有挑战性的场景中的匹配模糊性，本文提出了鲁棒的损失函数，利用多视图图像下的约束：1）逐块光度一致性损失，这扩大了多视图相似性测量中的特征的感受野，2）鲁棒的两视图几何一致性，这包括最小遮挡的跨视图深度一致性检查。我们的无监督策略可以用任意的深度估计框架来实现，并且可以用任意的大规模MVS数据集来训练。实验结果表明，该方法能有效降低匹配二义性，特别是提高弱纹理重建的完整性。此外，我们的方法在流行的基准测试中达到了最先进方法的性能，如DTU，Tanks and Temples和ETH3D。代码将很快发布。
2022-03-04 cs.CV
Stereo-Knowledge Distillation from dpMV to Dual Pixels for Light Field Video Reconstruction
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
本文构建三视图双像素视频数据集 dpMV，并通过显式或隐式暗立体知识蒸馏训练高效双像素网络，实现迄今最快、时间一致性最佳的光场视频重建。
2024-05-20 cs.CV
Deep-Learning Assisted High-Resolution Binocular Stereo Depth Reconstruction
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Department of Mechanical Engineering, Carnegie Mellon University（卡内基梅隆大学机械工程系）
这项工作提出了密集的立体重建使用高分辨率图像的基础设施检查。现有的学习和非学习的立体重建方法在高分辨率数据上消耗了太多的计算资源。最近的基于学习的方法在大多数基准测试中都达到了最高水平。然而，由于缺乏特定于任务的训练数据，它们遭受泛化问题。我们建议使用较少的资源需求的非学习方法，指导下的学习为基础的模型，处理高分辨率的图像，实现准确的立体重建。深度学习模型为下采样立体图像对的每个像素产生具有不确定性的初始视差预测。不确定性作为其泛化能力和初始预测视差周围的每像素搜索范围的自我测量。下游过程利用上采样的每像素搜索范围执行半全局块匹配方法的修改版本。所提出的深度学习辅助方法在Middlebury数据集和由我们定制的双目立体相机收集的高分辨率立体图像上进行评估。学习和非学习方法的组合在Middlebury数据集的15个案例中的12个上实现了更好的性能。在我们的基础设施检测实验中，平均三维重建误差小于0.004米。
2020-02-28 cs.CV cs.RO
Detail-preserving and Content-aware Variational Multi-view Stereo Reconstruction
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）；Xi’an Jiaotong University（西安交通大学）
从标定后的二维多视点图像中精确恢复三维几何表面是计算机视觉中一个基本而又活跃的研究领域。尽管多视图立体视觉重建技术取得了长足的进步，但现有的方法在抑制噪声的同时，仍难以恢复细节和尖锐特征，而且在纹理较少的区域重建时可能会失败。为了解决这些问题，本文提出了一种细节保持和内容感知的变分（DCV）多视图立体视觉方法，该方法通过重投影误差最小化和网格去噪之间的交替来重建3D表面。在重投影误差最小化中，我们提出了一种新的图像间相似性度量，该度量有效地保留了重建表面的精细尺度细节，并在引导图像滤波和图像配准之间建立了联系。在网格去噪中，我们提出了一个内容感知的$\ell_{p}$ -最小化算法，通过自适应估计$p$值和正则化参数的基础上，当前的输入。与传统的各向同性网格光顺算法相比，该算法在抑制噪声的同时更能保持网格的尖锐特征。在基准数据集上的实验结果表明，我们的DCV方法能够恢复更多的表面细节，并获得更干净，更准确的重建比国家的最先进的方法。特别是，我们的方法在Middlebury dino环和dino稀疏环数据集上的完整性和准确性方面都取得了最好的结果。
2015-05-03 cs.CV
Adaptive Learning for Multi-view Stereo Reconstruction
Jinggangshan University（井冈山大学）；Jinan Vocational College（济南职业学院）；Tongji University（同济大学）；Peking University（北京大学）
本文针对深度MVS损失函数研究不足的问题，提出自适应Wasserstein损失和偏移模块，在DTU等多个基准上取得最先进性能。
2024-04-08 cs.CV
Plan3D: Viewpoint and Trajectory Optimization for Aerial Multi-View Stereo Reconstruction
ETH Zurich（苏黎世联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）
我们介绍了一种新的方法，有效地计算一组高质量的三维重建在户外环境中的视点和轨迹。我们的目标是自动探索未知区域，并获得感兴趣区域的完整3D扫描（例如，大建筑）。来自安装在自主导航四轴飞行器上的商品RGB相机的图像被馈送到多视图立体视觉重建流水线中，该流水线产生高质量的结果，但计算成本很高。在此设置中，扫描结果受到四轴飞行器有限飞行时间的限制。为此，我们引入了一种新的优化策略，通过最大化稀疏采样视点的信息增益，同时限制四轴飞行器的总行驶距离，来尊重这些约束。在我们的方法的核心在于一个分层的体积表示，允许算法来区分未知的，自由的，和占用的空间。此外，我们的信息增益为基础的配方利用这种表示，以有效的方式处理闭塞。除了表面的几何形状，我们利用自由空间的信息，以避免障碍物，并确定无碰撞的飞行路径。我们的工具可用于指定感兴趣的区域和规划轨迹。我们通过获得一些引人注目的3D重建来展示我们的方法，并提供了一个全面的定量评估，显示出比以前的最先进的和规则的模式的改进。
2018-09-18 cs.CV
High-Quality RGB-D Reconstruction via Multi-View Uncalibrated Photometric Stereo and Gradient-SDF
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
精细的重建在许多应用中有很高的需求。然而，大多数现有的RGB-D重建方法依赖于预先计算的准确相机姿态来恢复详细的表面几何形状，其中在优化不同的量时需要调整表面的表示。在本文中，我们提出了一种新的基于多视图RGB-D的重建方法，通过利用梯度符号距离场（gradient-SDF）来处理相机姿态、光照、光照和表面法线估计。所提出的方法制定的图像渲染过程中使用特定的基于物理的模型（S）和优化的表面的数量在实际表面上使用其体积表示，而不是其他作品估计表面数量仅接近实际表面。为了验证我们的方法，我们调查两个基于物理的图像形成模型的自然光和点光源的应用。在合成数据集和真实数据集上的实验结果表明，该方法能够比现有技术更忠实地恢复曲面的高质量几何形状，并进一步提高了估计相机位姿的准确性。
2022-10-21 cs.CV
High-Performance and Tunable Stereo Reconstruction
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室）
传统的立体声算法将其努力集中在重建质量上，并且在很大程度上避免了优先考虑运行时间性能。另一方面，机器人需要快速的机动性和有效的计算来观察其周围环境并执行任务。在这项工作中，我们提出了一种高性能和可调的立体视差估计方法，峰值帧速率为120 Hz（VGA分辨率，在单个CPU线程上），这可能使机器人能够快速重建其周围环境并高速机动。我们的主要贡献是一个视差估计算法，迭代近似场景深度通过分段平面网格从立体图像，半密集重建的快速深度验证步骤。网格最初以稀疏匹配的关键点作为种子，并且根据需要（经由重新定位阶段）递归地细分和细化，以提供期望的立体视差精度。我们的方法固有的简单性和速度，以及将其调整到所需的重建质量和运行时性能的能力，使其成为高速车辆中应用的引人注目的解决方案。
2016-02-17 cs.CV cs.RO
Real-time Dense Reconstruction of Tissue Surface from Stereo Optical Video
Navigation Sciences, Inc.（导航科学公司）
提出了一种从立体光学视频中实时的【形】重建组织表面致密三维模型的方法，其基本思想是首先利用立体匹配从视频帧中提取三维信息，然后对重建的三维模型进行拼接。针对组织表面常见的低纹理区域，提出了有效的局部立体匹配后处理步骤，包括离群点去除、空洞填充和平滑处理，以扩大约束半径。由于通过立体匹配获得的组织模型仅限于成像模态的视场，我们提出了一种模型拼接方法，通过使用一种新的基于特征的同时定位和映射（SLAM）方法来对齐模型。低纹理区域和变化的光照条件可能导致大比例的特征匹配离群值。为了解决这个问题，我们提出了几种算法来提高SLAM的鲁棒性，主要包括（1）基于直方图投票的方法，从特征匹配结果中粗略选择可能的内点，（2）一种新的基于1点RANSAC的P $n$ P算法（称为DynamicR 1 PP $n$ P）来跟踪相机运动;（3）一种基于GPU的迭代最近点（ICP）和光束法平差（BA）方法来细化相机运动估计结果。实验结果表明，前和在体内数据重建的三维模型具有高分辨率的纹理与精度误差小于2毫米。大多数算法是高度并行的GPU计算，处理一个关键帧的平均运行时间为76.3 ms的立体图像与960 × 540的分辨率。
2020-07-16 cs.CV
Stereo Correspondence and Reconstruction of Endoscopic Data Challenge
Intuitive Inc.（直觉外科公司）；Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute (HHI)（弗劳恩霍夫海因里希·赫兹通信研究所）；University of Western Ontario（西安大略大学）；Digital Surgery Ltd.（数字外科有限公司）；Norwegian University of Science and Technology（挪威科技大学）；Rediminds Inc.（Rediminds公司）；Harbin Institute of Technology（哈尔滨工业大学）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Heidelberg University（海德堡大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS) UCL（伦敦大学学院惠康/EPSRC介入与外科科学中心）；University of Bern（伯尔尼大学）
在中国深圳举行的MICCAI 2019的Endovis挑战期间，组织了内窥镜数据子挑战的立体对应和重建。任务是使用7个训练数据集和2个测试集的结构光数据进行密集深度估计，这些数据集是使用猪尸体捕获的。这些是由Intuitive Surgical的一个团队提供的。10支队伍参加了挑战赛。本文包含挑战完成后提交的3种其他方法，以及这些团队关于他们发现的数据集问题的补充部分。
2021-01-28 cs.CV
Semi-Dense 3D Reconstruction with a Stereo Event Camera
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；ShanghaiTech University（上海科技大学）
事件摄像机是生物启发传感器，具有低延迟、高速和高动态范围等多项优势，可应对计算机视觉中的挑战性场景。本文提出了一种解决方案的三维重建的问题，从一个立体的事件摄像机钻机在静态场景中移动，如在立体同时定位与地图构建的上下文中捕获的数据。所提出的方法包括一个能量函数的优化，旨在利用小基线的时空一致性的事件触发两个立体图像平面。为了提高重建的密度和减少估计的不确定性，还开发了概率深度融合策略。所得到的方法没有特殊的要求，无论是运动的立体事件相机钻机或先验知识的场景。实验表明，我们的方法可以处理纹理丰富的场景，以及稀疏的场景，优于最先进的基于事件数据图像表示的立体方法。
2018-07-19 cs.CV cs.RO
Stereo Hand-Object Reconstruction for Human-to-Robot Handover
Centre for Intelligent Sensing, Queen Mary University of London, UK（智能感知中心，伦敦女王玛丽大学）；Idiap Research Institute and École Polytechnique Fédérale de Lausanne, Switzerland（日内瓦联邦理工学院与IDiap研究机构）
针对人到机器人交接中未见物体与透明物体感知难题，提出概率融合单视图结果的RGB立体手-物重建方法，降低Chamfer距离并支持机器人接收多种家居物体。
2025-05-12 cs.CV cs.RO
Semi-supervised learning of deep metrics for stereo reconstruction
Swiss Federal Institute of Technology in Lausanne（洛桑联邦理工学院）；Idiap Research Institute（伊迪亚普研究所）
深度学习指标最近在匹配图像块以进行立体重建方面表现出非常好的性能。然而，训练这样的度量需要大量的标记的立体图像，对于某些应用来说，收集这些图像可能是困难的或昂贵的。我们工作的主要贡献是一种新的半监督方法，用于从未标记的立体图像中学习深度度量，给出有关场景和光学系统的粗略信息。我们的方法交替优化标准的随机梯度下降的度量，并应用立体约束来正则化其预测。在参考数据集上的实验表明，对于给定的网络架构，使用这种新方法进行训练而不使用地面实况，可以产生性能与使用所述地面实况训练的最先进基线一样好的度量。这项工作有三个实际意义。首先，它有助于克服训练集的局限性，特别是有噪声的地面实况。其次，它允许在学习期间使用更多的训练数据。第三，它允许为特定的立体声系统调谐深度度量，即使地面实况不可用。
2016-12-03 cs.CV cs.NE
Deep Stereo Matching with Dense CRF Priors
Technion - Israel Institute of Technology（以色列理工学院）
最近在深度学习的背景下重新审视了从矫正图像的立体重建。使用深度卷积神经网络来获得逐块匹配成本体积已经导致了在像Middlebury和Kitti这样的经典数据集上的最先进的立体重建。通过将此成本引入到经典的立体声管道中，最终结果比基于非学习的成本模型有了显着改善。然而，这些管道通常包括手工设计的后处理步骤，以有效地调整和清洁结果。在这里，我们表明，通过训练一个完全端到端的网络，可以采取一种更全面的方法，该网络直接包括以密集连接的条件随机场（CRF）形式的正则化，该条件随机场作为像素间交互的先验。我们证明了我们在合成和真实世界数据集上的方法优于替代的端到端网络，并且与手工设计的方法相比更有利。
2017-01-24 cs.CV
