Uncalibrated Neural Inverse Rendering for Photometric Stereo of General Surfaces
Computer Vision Lab ETH Zürich(苏黎世联邦理工学院计算机视觉实验室);Google Research(谷歌研究院);KU Leuven(鲁汶大学)
本文提出了一种用于光度立体问题的未校准深度神经网络框架。为了训练模型来解决这个问题,现有的基于神经网络的方法需要精确的光线方向或对象的地面实况表面法线或两者。然而,在实践中,这是具有挑战性的,以获得这两个信息的精确,这限制了更广泛地采用光度立体算法的视觉应用。为了绕过这个困难,我们提出了一个未校准的神经逆渲染方法来解决这个问题。我们的方法首先从输入图像中估计光的方向,然后优化图像重建损失以计算表面法线、双向反射分布函数值和深度。此外,我们的配方明确建模的复杂表面的凹凸部分,以考虑在图像形成过程中的相互反射的影响。对具有挑战性的主题所提出的方法进行的广泛评估通常显示出与监督和经典方法相当或更好的结果。
2021-04-17 cs.CV
Rethinking the Multi-view Stereo from the Perspective of Rendering-based Augmentation
Fudan University(复旦大学)
GigaMVS因其大规模、复杂遮挡和千兆像素图像而对现有的多视图立体视觉(MVS)算法提出了几项挑战。为了解决这些问题,我们首先应用了一种最先进的基于学习的MVS方法--MVS Former,以克服传统PatchMatch方法所遇到的无纹理和反射区域等棘手场景,但在一些大场景的重建中失败了。此外,传统的PatchMatch算法,如ACMMP,OpenMVS和RealityCapture被用来进一步提高大场景的完整性。此外,为了统一深度学习方法和传统PatchMatch的优点,我们建议渲染深度和彩色图像,以进一步微调MVSFormer模型。值得注意的是,我们发现,MVS方法可以通过渲染图像产生更好的预测,由于重合照明,我们认为这是重要的MVS社区。因此,MVSFormer能够推广到大规模场景,并补充解决了无纹理重建问题。最后,我们组装了上述所有点云\textit{except ones from RealityCapture},并在竞争对手GigaReconstruction上排名前1。
2023-03-11 cs.CV
SVDM: Single-View Diffusion Model for Pseudo-Stereo 3D Object Detection
Southeast University(东南大学)
本文提出单视图扩散模型SVDM,通过少量迭代生成右视图信息,实现端到端、高效且兼容多种立体检测器的伪立体三维目标检测框架,并在KITTI上取得新SOTA。
2023-07-05 cs.AI cs.CV
PS-GS: Gaussian Splatting for Multi-View Photometric Stereo
本文提出 PS-GS,将 Gaussian Splatting 与多视图光度立体视觉结合,通过延迟逆渲染、法线正则化和光线追踪联合恢复几何、材质与光照,提升重建精度与效率。
2025-07-24 cs.CV cs.GR
Generalizable Novel-View Synthesis using a Stereo Camera
POSTECH(浦项科技大学);GSAI(人工智能研究生院);CSE(计算机科学与工程系)
本文提出首个针对多视图立体相机图像的泛化视图合成框架StereoNeRF,通过集成立体匹配技术实现高质量几何重建,并构建首个立体相机多视图数据集StereoNVS,实验证明其超越现有方法。
2024-04-21 cs.CV
A-TVSNet: Aggregated Two-View Stereo Network for Multi-View Stereo Depth Estimation
Shenzhen Evomotion Co., Ltd(深圳进化动力科技有限公司)
提出了一种基于学习的多视图立体视觉(MVS)图像深度图估计网络。我们提出的网络由三个子网络组成:1)用于从非结构化立体图像对进行初始深度图估计的基础网络,2)利用光度和几何信息的新型细化网络,以及3)注意力多视图聚合框架,该框架能够在不同立体图像对之间进行有效的信息交换和集成。该网络被称为A-TVSNet,在各种MVS数据集上进行了评估,并显示出产生高质量深度图的能力,优于竞争方法。我们的代码可在https://github.com/daiszh/A-TVSNet上获得。
2020-03-02 cs.CV
Fast View Synthesis with Deep Stereo Vision
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
新视图合成是计算机视觉和图形学中的一个重要问题。多年来,已经提出了大量的解决方案来解决这个问题。然而,大基线的新视图合成问题远未得到“解决”。最近的工作已经尝试使用卷积神经网络(CNN)来解决视图合成任务。由于学习场景几何形状和解释相机运动的困难,CNN通常无法生成逼真的新视图。在本文中,我们提出了一种新的基于立体视觉和CNN的视图合成方法,将问题分解为两个子任务:视图相关的几何估计和纹理修复。这两个任务都是结构化的预测问题,可以通过CNN有效地学习。在KITTI Odometry数据集上的实验表明,我们的方法比当前最先进的方法更准确,速度也更快。代码和补充材料将公开提供。结果可以在这里找到https://youtu.be/5pzS9jc-5t0
2018-05-07 cs.AI cs.CV
StereoSplat+: Feed-Forward Stereo Gaussian Splatting with Diffusion-Assisted Progressive Inference
Institute of Science Tokyo(东京科学研究所)
研究从单目立体观察恢复高质量3DGS场景的问题,提出StereoSplat+框架,包含StereoSplat估计器及扩散增强单步渐进推理方案,实验表明该方法提升了新视图渲染质量和几何精度,优于现有前馈3DGS基线。
2026-07-13 cs.CV
Fast Underwater Scene Reconstruction using Multi-View Stereo and Physical Imaging
School of Future Technology(未来技术学院);South China University of Technology(华南理工大学)
提出一种结合多视图立体与物理成像模型的水下场景重建方法,无需深度真值,实现快速训练与渲染,并恢复真实颜色,优于现有方法。
2025-01-21 cs.CV
PRM: Photometric Stereo based Large Reconstruction Model
HKUST-GZ(香港科技大学(广州));National University of Singapore(新加坡国立大学)
本研究提出基于光度立体视觉的大型重建模型PRM,通过可变材质光照的光度图像、实时PBR与显式网格表示,实现带细粒度细节的高质量3D重建,性能显著优于现有模型。
2024-12-10 cs.CV cs.GR
Neural Inverse Rendering for General Reflectance Photometric Stereo
RIKEN Center for Advanced Intelligence Project (RIKEN AIP)(理化学研究所先进智能项目中心(RIKEN AIP))
我们提出了一种新的卷积神经网络架构的光度立体(Woodham,1980年),从不同的照明下观察到的多个图像恢复3D物体表面法线的问题。尽管它在计算机视觉中有着悠久的历史,但对于具有未知一般反射特性(BRDF)的表面,该问题仍然显示出根本性的挑战。利用深度神经网络来学习复杂的反射率模型是有希望的,但由于难以获得用于训练的准确的基础事实以及难以设计对输入图像的排列不变的网络,因此在这方面的研究非常有限。为了解决这些挑战,我们提出了一个基于物理学的无监督学习框架,其中表面法线和BRDF由网络预测并输入渲染方程以合成观察到的图像。在测试过程中,通过最小化观察图像和合成图像之间的重建损失来优化网络权重。因此,我们的学习过程不需要地面真实法线,甚至不需要外部图像的预训练。我们的方法是实现国家的最先进的性能在一个具有挑战性的现实世界的场景基准。
2018-05-29 cs.CV cs.NE
StereoGS: Sparse-View 3D Gaussian Splatting via Stereo Priors
South China University of Technology, China(华南理工大学)
提出StereoGS框架,利用立体深度正则化和梯度感知不透明度衰减策略,在稀疏视角下实现高质量3D重建和新视角合成,无需额外推理开销。
2026-07-07 cs.CV
Improving Multi-View Stereo via Super-Resolution
Politecnico di Milano(米兰理工大学)
如今,多视图立体视觉技术能够重建稳健且详细的3D模型,尤其是从高分辨率图像开始时。然而,存在输入图像的分辨率相对较低的情况,例如,当处理旧照片时,或者当硬件限制可以获取的数据量时。在本文中,我们调查,如果,如何,以及有多少通过超分辨率技术提高这些输入图像的分辨率反映在重建的3D模型的质量改进,尽管有时这可能会产生的文物。我们表明,在大多数情况下,在恢复深度图之前应用超分辨率步骤,在基于PatchMatch和基于深度学习的算法的情况下,都会产生更好的3D模型。超分辨率的使用特别提高了重建模型的完整性,并且在纹理场景的情况下特别有效。
2021-07-28 cs.AI cs.CV
Neural Multi-View Self-Calibrated Photometric Stereo without Photometric Stereo Cues
CyberAgent, Japan(日本CyberAgent公司)
本研究提出一种神经逆渲染方法,以神经隐式场表征几何与反射率,结合感知阴影体渲染,单阶段从原始多视角图像联合优化场景参数,精度优于现有法线引导方法,可泛化至视角未对齐多光照图像并处理复杂物体。
2025-07-30 cs.CV
Single-View View Synthesis with Self-Rectified Pseudo-Stereo
Fuzhou University(福州大学);Hong Kong Polytechnic University(香港理工大学);Singapore Management University(新加坡管理大学);South China University of Technology(华南理工大学)
针对单视图新视图合成的不适定性,提出自校正伪立体方法,将任务解耦为立体合成与三维重建,并在多项实验中优于现有方法。
2023-04-20 cs.CV
Stereo Image Rain Removal via Dual-View Mutual Attention
Hefei University of Technology(合肥工业大学);Zhejiang University(浙江大学)
包含具有视差的左视图图像和右视图图像的立体图像最近被用于解决低视力任务,例如,除雨和超分辨率。立体图像复原方法通常通过隐式或显式地学习双视图之间的视差来获得比单目方法更好的性能。然而,现有的立体雨消除方法仍然不能充分利用两视图间的互补信息,这主要是因为:1)雨条纹在方向和密度上的分布较为复杂,严重破坏了互补信息,对两视图间的视差估计提出了更大的挑战; 2)两视图间特征融合机制不完善,视差估计不够准确。为了克服这些局限性,我们提出了一种新的\underline{Stereo} \underline{I}图像\underline{R} ain \underline{R}去除方法(StereoIRR),其包括:1)新的双视图相互注意(DMA)机制,其通过将左视图和右视图作为彼此的关键信息来生成相互注意图,以促进跨视图特征融合; 2)通过基本分块和双视点相互关注,构建了一种远距离、跨视点的交互机制,可以缓解雨水对互补信息的不利影响,帮助立体图像特征实现远距离、跨视点的交互融合。值得注意的是,StereoIRR在几个数据集上优于其他相关的单目和立体图像雨水去除方法。我们的代码和数据集将被发布。
2022-12-20 cs.CV
S-VolSDF: Sparse Multi-View Stereo Regularization of Neural Implicit Surfaces
Stony Brook University(石溪大学)
针对稀疏视图下神经隐式表面渲染质量下降的问题,提出S-VolSDF,利用MVS概率体积和广义交叉熵损失进行正则化,并借助神经渲染的全局一致性提升MVS性能,在仅三个输入视图下显著改善重建质量。
2023-09-03 cs.CV
MonSter++: Unified Stereo Matching, Multi-view Stereo, and Real-time Stereo with Monodepth Priors
School of Electronic Information and Communications, Huazhong University of Science and Technology(电子信息与通讯学院,华中科技大学);Meta;AI Chip Center, Hong Kong University of Science and Technology(香港科技大学人工智能芯片中心);Nanjing Forestry University(南京林业大学);Autel Robotics
MonSter++通过双分支架构融合单目深度先验与多视点线索,迭代互增强解决病态区域匹配难题,在立体匹配、实时立体和多视点立体八个基准上达到最先进水平。
2025-09-25 cs.CV
Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Lab(上海人工智能实验室);South China University of Technology(华南理工大学)
近年来的研究表明,基于视点合成的自监督方法在多视图立体视觉(MVS)方面取得了明显的进展。然而,现有的方法依赖于不同视图之间的对应点共享相同颜色的假设,这在实践中可能并不总是正确的。这可能导致不可靠的自监督信号,并损害最终的重建性能。为了解决这个问题,我们提出了一个框架,集成了更可靠的监督指导下的语义共分割和数据增强。特别地,我们从多视角图像中挖掘出相互的语义,以指导语义的一致性。设计了有效的数据增强机制,将规则样本的预测值作为伪地面真值,对增强样本的预测值进行规则化处理,保证了变换的鲁棒性。在DTU数据集上的实验结果表明,我们提出的方法达到了无监督方法中最先进的性能,甚至可以与有监督方法相媲美。在Tanks&Temples数据集上的实验表明,该方法具有较好的泛化能力.
2021-04-12 cs.AI cs.CV
StereoGaussians: Feed-Forward 3D Gaussian Splatting from Stereo Images
Goertek Alpha Labs(歌尔Alpha实验室)
提出StereoGaussians,从单个立体图像对前馈预测度量3DGS表示,通过复用预训练立体网络特征与视差锚定几何,并增设高斯层和扩展画布处理遮挡与视野外内容,在立体基准上超越强基线。
2026-10-01 cs.CV
Planar Prior Assisted PatchMatch Multi-View Stereo
National Key Laboratory of Science and Technology on Multispectral Information Processing(多光谱信息处理科学技术国家重点实验室)
在多视图立体视觉中,由于低纹理区域的光度一致性不可靠,三维模型的完整性仍然是一个具有挑战性的问题。由于低纹理区域通常表现出较强的平面性,平面模型有利于低纹理区域的深度估计。另一方面,PatchMatch多视图立体视觉由于其采样和传播方案而非常有效。结合平面模型和PatchMatch多视图立体视觉的优点,提出了一种平面先验辅助的PatchMatch多视图立体视觉框架。详细地说,我们利用一个概率图形模型,将平面模型嵌入到PatchMatch多视图立体视觉,并贡献了一个新的多视图聚合匹配成本。这种新的成本考虑了光度一致性和平面兼容性,使其适合于非平面和平面区域的深度估计。实验结果表明,该方法能够有效地恢复极低纹理区域的深度信息,从而获得高完整性的3D模型,达到了最先进的性能。
2019-12-26 cs.CV
From Mono to Stereo: Accelerating Binocular Gaussian Splatting via Reprojection and Selective Patching
Shanghai Jiao Tong University(上海交通大学);Alpha Labs, Goertek(歌尔股份有限公司Alpha Labs)
提出一种基于重投影和选择性补丁的二维高斯泼溅双目渲染方法,在保持轻微质量损失的同时,显著降低渲染时间和内存开销。
2026-09-28 cs.CV
Learning to Adapt Multi-View Stereo by Self-Supervision
多视图三维场景重建是计算机视觉中的一个重要经典问题。基于深度学习的方法最近已经展示了令人印象深刻的重建结果。当训练这种模型时,自监督方法是有利的,因为它们不依赖于监督训练所需的地面实况数据,并且通常难以获得。此外,学习的多视图立体视觉重建容易受到环境变化的影响,并且应该鲁棒地推广到不同的领域。我们提出了一种用于多视图立体视觉的自适应学习方法,该方法训练深度神经网络以提高对新目标域的适应性。我们使用模型不可知的元学习(MAML)训练的基础参数,反过来,适应多视图立体视觉的新领域,通过自我监督训练。我们的评估表明,所提出的自适应方法是有效的学习自监督多视图立体视觉重建在新的领域。
2020-09-28 cs.CV
Nighttime Stereo Depth Estimation using Joint Translation-Stereo Learning: Light Effects and Uninformative Regions
National University of Singapore(新加坡国立大学);DSO National Laboratories(新加坡国防科技研究院);Yale-NUS College(耶鲁-新加坡国立大学学院)
夜间立体声深度估计仍然具有挑战性,因为与日间照明条件相关联的假设不再成立。夜间不仅是低光和密集的噪声,而且是辉光/眩光,耀斑,光的非均匀分布等可能的解决方案之一是训练网络上的夜间立体图像在一个完全监督的方式。然而,要获得密集的、独立于眩光/辉光并且具有足够远的深度范围的适当视差地面实况是极其棘手的。为了解决这个问题,我们介绍了一个网络加入白天/夜间翻译和立体声。在训练网络时,我们的方法不需要夜间图像或成对的白天/夜间图像的地面真实差异。我们利用一个翻译网络,可以从白天立体图像渲染逼真的夜间立体图像。然后,我们使用来自对应的日间立体图像的可用视差监督,在渲染的夜间立体图像上训练立体网络,并且同时也训练日/夜转换网络。我们处理由于无监督/未配对翻译而发生的伪深度问题,用于灯光效果(例如,辉光/眩光)和无信息区域(例如,低光和饱和区域),通过添加结构保持和加权平滑度约束。实验结果表明,该方法在夜间图像上的性能优于基线方法。
2020-10-09 cs.CV
NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo
Toshiba Europe(东芝欧洲);University of Cambridge(剑桥大学)
提出NPLMV-PS多视图光度立体方法,利用逐像素强度渲染、点光源衰减建模与显式阴影光线追踪,联合优化神经材质渲染器与表面,在DiLiGenT-MV基准上优于经典方法,稀疏设置下鲁棒性显著优于SOTA。
2024-11-28 cs.CV
Multi-View Azimuth Stereo via Tangent Space Consistency
Osaka University(大阪大学)
我们提出了一种只使用校准的多视图表面方位图进行三维重建的方法。我们的方法,多视图方位立体,是有效的无纹理或镜面,这是传统的多视图立体视觉方法很难。我们引入了切空间一致性的概念:地表点的多视角方位观测应提升到同一切空间。利用这种一致性,我们通过优化神经隐式表面表示来恢复形状。我们的方法利用光度立体方法或偏振成像的鲁棒方位角估计能力,同时绕过潜在的复杂天顶角估计。使用来自不同来源的方位角地图的实验验证了我们的方法的准确形状恢复,即使没有天顶角。
2023-03-29 cs.CV
A Differential Volumetric Approach to Multi-View Photometric Stereo
University of Cambridge(剑桥大学);Toshiba Research(东芝研究院)
高精度的三维体重建仍然是一个开放的研究课题,其中主要的困难通常涉及到合并一些粗略的估计与高频细节。其中最有前途的方法之一是多视图立体视觉与光度立体图像的融合。除了多视图立体视觉和光度立体视觉为了可靠地工作而固有的困难之外,当一起考虑时,出现补充问题。在这项工作中,我们提出了一个体积的方法来解决多视图光度立体问题。我们的方法的关键点是有符号的距离场参数化及其与表面法线的关系。利用这一点,以获得一个线性偏微分方程,该方程在变分框架中求解,该变分框架将来自多个视点的多个图像组合在单个系统中。此外,体积方法自然是在八叉树上实现的,这允许快速光线跟踪,可靠地消除遮挡和投射阴影。我们的方法在合成和真实数据集上进行了评估,并取得了最先进的结果。
2019-08-02 cs.CV
StereoINR: Cross-View Geometry Consistent Stereo Super Resolution with Implicit Neural Representation
School of Remote Sensing and Information Engineering, Wuhan University, Hubei, China(遥感与信息工程学院,武汉大学,湖北,中国)
本文提出 StereoINR,将立体图像对建模为连续隐式表示,结合空间变形与交叉注意力机制,实现任意倍率且跨视图几何一致的立体图像超分辨率重建。
2025-07-05 cs.CV eess.IV
MORPHOLO C++ Library for glasses-free multi-view stereo vision and streaming of live 3D video
MORPHOLO C++扩展库允许通过变形算法将特定的立体快照转换为本地多视图图像,同时考虑特定倾斜透镜状3D监视器的显示校准数据。MORPHOLO还可用于3D视频流的裸眼直播应用程序,以及各种创新的科学、工程和3D视频游戏应用程序-参见http://www.morpholo.it
2019-12-04 cs.CV
MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo
Great Bay University(湾谷大学);Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
该研究提出MVSGaussian可泛化3D高斯重建方法,结合MVS几何编码、混合渲染与几何一致性聚合策略,实现了更优质量的实时渲染与快速单场景微调,在多个数据集上达到SOTA性能。
2024-07-15 cs.CV
StereoPose: Category-Level 6D Transparent Object Pose Estimation from Stereo Images via Back-View NOCS
The Chinese University of Hong Kong(香港中文大学);University of California, Berkeley(加州大学伯克利分校);Dyson Robot Learning Lab(戴森机器人学习实验室);Hong Kong Centre for Logistics Robotics(香港物流机器人中心)
大多数现有的类别级姿态估计方法依赖于对象点云。然而,当考虑透明对象时,深度相机通常无法捕获有意义的数据,从而导致具有严重伪影的点云。没有高质量的点云,现有的方法不适用于具有挑战性的透明对象。为了解决这个问题,我们提出了StereoPose,这是一种用于类别级对象姿态估计的新型立体图像框架,非常适合透明对象。对于纯立体图像的鲁棒估计,我们开发了一个管道,该管道将类别级姿态估计分解为对象大小估计、初始姿态估计和姿态细化。StereoPose然后基于归一化对象坐标空间~(NOCS)中的表示来估计对象姿态。为了解决图像内容锯齿的问题,我们进一步定义了一个后视图的透明对象的NOCS地图。后视图NOCS旨在减少由内容混叠引起的网络学习模糊性,并利用透明对象背面的信息线索进行更准确的姿态估计。为了进一步提高立体框架的性能,StereoPose配备了用于立体特征融合的视差注意模块和用于提高网络预测的立体视图一致性的极线损失。在公共TOD数据集上的大量实验证明了所提出的StereoPose框架在类别级6D透明对象姿态估计方面的优越性。
2022-11-03 cs.AI cs.CV cs.LG
Multi-View Guided Multi-View Stereo
University of Bologna(博洛尼亚大学)
本文介绍了一种新的深度框架,用于从多个图像帧进行密集3D重建,利用与图像采集联合收集的稀疏深度测量集。给定一个深度多视图立体视觉网络,我们的框架使用稀疏的深度提示来指导神经网络,通过调制在前进步骤中构建的平面扫描成本体积,使我们能够不断推断出更准确的深度图。此外,由于多个视点可以提供额外的深度测量,我们提出了一种多视图指导策略,增加了用于指导网络的稀疏点的密度,从而导致更准确的结果。我们在各种最先进的深度多视图立体视觉网络中评估了我们的多视图引导框架,证明了它在改善BlendedMVG和DTU数据集上每个网络所实现的结果方面的有效性。
2022-10-20 cs.CV
DAVANet: Stereo Deblurring with View Aggregation
SenseTime Research(商汤科技研究院);Harbin Institute of Technology(哈尔滨工业大学);Nanjing University of Science and Technology(南京理工大学)
如今,立体相机更常用于双镜头智能手机和无人机等新兴设备。然而,它们在动态场景中也会出现图像模糊的问题,这会导致视觉不适并阻碍进一步的图像处理。以往的工作已经成功地解决了单目图像去模糊问题,但对立体图像去模糊的研究却很少。通过利用立体图像的两视图特性,我们提出了一种新的立体图像去模糊网络与深度感知和视图聚合,命名为DAVANet。在我们提出的网络中,3D场景线索的深度和变化的信息,从两个视图,这有助于消除复杂的空间变化的动态场景中的模糊。具体来说,我们提出的融合网络,我们集成了双向视差估计和去模糊到一个统一的框架。此外,我们提出了一个大规模的多场景数据集的立体去模糊,包含20,637模糊清晰的立体图像对从135个不同的序列和相应的双向差异。在我们数据集上的实验结果表明,DAVANet在准确性、速度和模型大小方面优于最先进的方法。
2019-04-10 cs.CV
Multi-View Photometric Stereo Revisited
ETH Zürich(苏黎世联邦理工学院);Google Research(谷歌研究院);KU Leuven(鲁汶大学)
多视图光度立体(MVPS)是从图像中获取物体详细和精确3D的首选方法。虽然流行的MVPS方法可以提供出色的结果,但它们通常执行起来很复杂,并且仅限于各向同性材质对象。为了解决这些限制,我们提出了一种简单实用的MVPS方法,该方法适用于各向同性以及其他对象材质类型,如各向异性和光泽。本文中提出的方法利用深度神经网络中的不确定性建模的优点,以可靠地融合光度立体(PS)和多视图立体视觉(MVS)网络预测。然而,相反,最近提出的国家的最先进的,我们引入神经体渲染方法的MVS和PS测量的一个值得信赖的融合。引入神经体渲染的优点是,它有助于对具有不同材料类型的对象进行可靠建模,其中现有的MVS方法、PS方法或两者都可能失败。此外,它允许我们研究神经3D形状表示,最近在许多几何处理任务中显示出出色的结果。我们建议的新损失函数旨在使用最确定的MVS和PS网络预测以及加权神经体渲染成本来拟合隐式神经函数的零水平集。所提出的方法在几个基准数据集上进行了广泛的测试,显示了最先进的结果。
2022-10-14 cs.CV
Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction
KAIST(韩国科学技术院)
提出Sparse-GS2Mesh,利用对极深度初始化3DGS并引入自适应基线选择、立体匹配微调和2D/3D联合正则化,在稀疏视图下实现高质量表面重建,低重叠设置中较最先进方法提升15%。
2026-10-14 cs.CV
Neural Stereoscopic Image Style Transfer
Tencent AI Lab(腾讯人工智能实验室);University of Electronic Science and Technology of China(中国电子科技大学)
神经风格迁移是一种新兴的技术,它能够赋予日常生活图像以吸引人的艺术风格。先前的工作已经成功地将卷积神经网络(CNN)应用于单目图像或视频的风格转移。然而,立体图像的风格转换仍然是一个缺失的部分。与处理单目图像不同,风格化立体对的两个视图需要一致,以提供观察者舒适的视觉体验。在本文中,我们提出了一种新的双路径网络的视角一致的风格转移的立体图像。虽然每个视图的立体对是在一个单独的路径中处理,提出了一种新的特征聚合策略,有效地共享两个路径之间的信息。除了用于控制每个视图中的风格传递质量的传统感知损失之外,还利用多层视图损失来强制网络协调两个路径的学习以生成视图一致的风格化结果。大量的实验表明,与以前的方法相比,我们提出的模型可以产生风格化的立体图像,实现体面的视图一致性。
2018-07-27 cs.CV
Learning Parallax Transformer Network for Stereo Image JPEG Artifacts Removal
Fudan University(复旦大学)
在立体设置下,可以通过利用由第二视图提供的附加信息来进一步提高图像JPEG伪影去除的性能。然而,将此信息用于立体图像JPEG伪影去除是一个巨大的挑战,因为现有的压缩伪影使得像素级视图对齐困难。在本文中,我们提出了一种新的视差Transformer网络(PTNet)的信息,从立体图像对立体图像JPEG伪影去除。具体来说,一个精心设计的对称双向视差Transformer模块,提出了匹配功能与相似的纹理之间的不同意见,而不是像素级的视图对齐。由于遮挡和边界的问题,提出了一个基于置信度的跨视图融合模块,以实现更好的特征融合的两个视图,其中跨视图的特征加权与置信度地图。特别是,我们采用了由粗到细的设计,跨视图的交互,导致更好的性能。综合的实验结果表明,我们的PTNet可以有效地消除压缩文物,并取得优于其他测试国家的最先进的方法的性能。
2022-07-15 cs.CV
Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching
Alibaba A.I. Labs(阿里巴巴人工智能实验室);Simon Fraser University(西蒙弗雷泽大学)
深度多视图立体视觉(MVS)和立体匹配方法通常构造3D成本体积以正则化和回归输出深度或视差。当需要高分辨率输出时,这些方法是有限的,因为存储器和时间成本随着体积分辨率的增加而立方地增长。在本文中,我们提出了一个内存和时间效率的成本体积制定现有的多视图立体视觉和立体匹配方法的基础上,3D成本体积的补充。首先,建议的成本量是建立在一个标准的特征金字塔编码的几何形状和上下文在逐渐精细的尺度。然后,我们可以通过来自前一阶段的深度(或视差)图来缩小每个阶段的深度(或视差)范围。随着成本体积分辨率逐渐提高以及深度(或视差)间隔的自适应调整,以从粗到细的方式恢复输出。我们将级联成本量应用于代表性的MVS-Net,并在DTU基准测试(第一名)上获得了23.1%的改进,GPU内存和运行时间分别减少了50.6%和74.2%。它也是最先进的基于学习的坦克和寺庙基准方法。其他代表性立体CNN的准确性,运行时间和GPU内存的统计数据也验证了我们提出的方法的有效性。
2020-06-05 cs.CV
Learning Intra-view and Cross-view Geometric Knowledge for Stereo Matching
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究院)
针对现有立体匹配算法忽略跨视图几何知识的问题,提出ICGNet,通过兴趣点及点间对应关系融合视图内与跨视图几何知识,提升视差估计效果,实验表现优于当前主流模型。
2024-03-06 cs.CV
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
ShanghaiTech University(上海科技大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Adobe Research(Adobe研究院)
我们提出了MVSNeRF,一种新的神经渲染方法,可以有效地重建神经辐射场的视图合成。与先前在神经辐射场上考虑密集捕获图像上的每场景优化的工作不同,我们提出了一种通用的深度神经网络,该网络可以通过快速网络推理从仅三个附近的输入视图重建辐射场。我们的方法利用平面扫描成本卷(广泛用于多视图立体视觉)的几何感知场景推理,并将其与基于物理的体渲染神经辐射场重建。我们在DTU数据集中的真实对象上训练我们的网络,并在三个不同的数据集上对其进行测试,以评估其有效性和通用性。我们的方法可以概括跨场景(即使是室内场景,完全不同于我们的训练场景的对象),并生成逼真的视图合成结果,仅使用三个输入图像,显着优于并发工作的可概括的辐射场重建。此外,如果捕获密集图像,我们估计的辐射场表示可以很容易地进行微调;这导致快速的每场景重建,具有更高的渲染质量和比NeRF少得多的优化时间。
2021-08-24 cs.CV
MVS2D: Efficient Multi-view Stereo via Attention-Driven 2D Convolutions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司)
深度学习对多视图立体视觉系统产生了重大影响。最先进的方法通常涉及构建成本体积,然后进行多个3D卷积操作以恢复输入图像的像素级深度。虽然平面扫描立体声的这种端到端学习提高了公共基准的准确性,但它们通常计算起来非常缓慢。我们提出了\ouralg,一个高效的多视图立体视觉算法,无缝地集成多视图的约束到单视图网络通过注意力机制。由于\ouralg只建立在2D卷积上,它至少比所有著名的同行快$2\times$。此外,我们的算法可以产生精确的深度估计和3D重建,在具有挑战性的基准ScanNet,SUN3D,RGBD和经典DTU数据集上获得最先进的结果。我们的算法在设置不精确的摄像机姿态方面也优于所有其他算法。我们的代码在\url{https://github.com/zhenpeiyang/MVS2D}上发布
2021-12-11 cs.CV
WT-MVSNet: Window-based Transformers for Multi-view Stereo
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司);Bar-Ilan University(巴伊兰大学);Research Institute of Tsinghua, Pearl River Delta(清华大学珠江三角洲研究院)
最近,Transformers被示出通过实现长距离特征交互来增强多视图立体视觉的性能。在这项工作中,我们提出了基于窗口的Transformers(WT)的局部特征匹配和全局特征聚合在多视图立体视觉。我们介绍了一种基于窗口的核线Transformer(WET),通过使用核线约束减少匹配冗余。由于点到线匹配是敏感的错误的相机姿势和校准,我们匹配的极线附近的窗口。第二个移位WT用于在成本量内聚合全局信息。我们提出了一种新的成本Transformer(CT),以取代3D卷积成本体积正则化。为了更好地约束多视图的估计深度图,我们进一步设计了一种新的几何一致性损失(Geo Loss),它惩罚不可靠的区域,其中多视图一致性不满意。我们的WT多视图立体视觉方法(WT-MVSNet)在多个数据集上实现了最先进的性能,并在坦克和寺庙基准测试中排名$1^{st}$。
2022-05-28 cs.CV
STS: Surround-view Temporal Stereo for Multi-view 3D Detection
MEGVII Technology(旷视科技);Peking University(北京大学);Beihang University(北京航空航天大学)
学习准确的深度对于多视图3D目标检测是必不可少的。最近的方法主要是从单目图像中学习深度,由于单目深度学习的不适定性,这些方法面临固有的困难。在这项工作中,我们提出了一种新的环绕视图时间立体(STS)技术,该技术利用帧之间的几何对应关系来促进准确的深度学习,而不是使用单一的单目深度方法。具体地说,我们把本车周围所有摄像机的视野作为一个统一的视图,即环绕视图,并对其进行时间立体匹配,得到的STS不同帧之间的几何对应关系被利用,并结合单目深度产生最终的深度预测。nuScenes上的综合实验表明,STS大大提高了3D检测能力,特别是对于中距离和长距离物体。在使用ResNet-50主干的BEVDepth上,STS分别将mAP和NDS提高了2.6%和1.4%。当使用更大的主干和更大的图像分辨率时,观察到一致的改善,证明了其有效性
2022-08-22 cs.CV
StereoMV2D: A Sparse Temporal Stereo-Enhanced Framework for Robust Multi-View 3D Object Detection
the school of automation, Northwestern Polytechnical University(自动化学院,西北工业大学);the school of electronic and information engineering, Suzhou University of Science and Technology(电子信息工程学院,苏州科技大学)
StereoMV2D通过整合时间立体建模,提升多视角3D目标检测的鲁棒性和精度,无需显著增加计算开销。
2025-12-19 cs.CV
Cross-View Hierarchy Network for Stereo Image Super-Resolution
South China University of Technology(华南理工大学);Fujian Normal University(福建师范大学);GAC R&D Center(广汽研究院)
本文提出跨视图层次网络CVHSSR,通过视图内跨层次信息挖掘与跨视图交互模块,在更少参数下实现最优立体图像超分辨率性能。
2023-04-13 cs.CV
Polarimetric PatchMatch Multi-View Stereo
Tokyo Institute of Technology(东京工业大学)
本文提出首个利用偏振线索的PatchMatch MVS方法PolarPMS,通过结合偏振一致性与光度一致性评估假设,提升3D重建精度和完整性,尤其对无纹理表面有效。
2023-11-11 cs.CV
Multi-View Stereo 3D Edge Reconstruction
Politecnico di Milano(米兰理工大学)
提出了一种新的多视图立体视觉场景下的三维边缘重建方法。该领域的先前研究通常依赖于视频序列,并且将重建过程限制为直线段或边缘点,即,对应于图像边缘的3D点。相反,我们提出了一个系统,表示为EdgeGraph3D,能够从无序的图像序列中恢复直的和弯曲的3D边缘。这项工作的第二个贡献是一个基于图形的表示为2D边缘,允许识别在图像中检测到的结构上最重要的边缘。我们将EdgeGraph3D集成到多视图立体视觉重建管道中,并分析了3D边缘对恢复表面精度的好处。我们评估了我们的方法在多个数据集从两个不同的集合在多视图立体视觉文献的有效性。实验结果表明,EdgeGraph3D的工作能力存在强烈的照明变化和反射,这通常是不利于经典的光度重建系统的有效性。
2018-01-17 cs.CV
Stereo Magnification: Learning View Synthesis using Multiplane Images
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
视图合成问题--从已知图像生成场景的新视图--最近引起了人们的关注,部分原因是在虚拟和增强现实中的引人注目的应用。在本文中,我们探索了一个有趣的视图合成场景:从窄基线立体相机(包括VR相机和现在广泛使用的双镜头相机手机)捕获的图像中推断视图。我们称这个问题为立体放大,并提出了一个学习框架,利用一个新的分层表示,我们称之为多平面图像(MPI)。我们的方法还使用了大量新的数据源来学习视图外推:YouTube上的在线视频。使用从这些视频中挖掘的数据,我们训练一个深度网络,该网络从输入的立体图像对预测MPI。这个推断的MPI然后可以用于合成场景的一系列新颖视图,包括显著超出输入基线外推的视图。我们表明,我们的方法相比,毫不逊色,最近的几个视图合成方法,并展示应用放大窄基线立体图像。
2018-05-24 cs.CV cs.GR
MVSAnywhere: Zero-Shot Multi-View Stereo
Niantic(Niantic公司);University of Edinburgh(爱丁堡大学);I3A, Universidad de Zaragoza(萨拉戈萨大学I3A研究院);UCL(伦敦大学学院)
本文提出MVSA,一种结合单目与多视图线索及自适应代价体的多视图立体架构,实现跨领域和深度范围的零样本深度估计,在鲁棒多视图深度基准上达到最先进性能。
2025-03-28 cs.CV
SDI-Net: Toward Sufficient Dual-View Interaction for Low-light Stereo Image Enhancement
Hefei University of Technology(合肥工业大学)
针对现有低光照立体图像增强方法未能充分利用左右视图交互的问题,提出SDI-Net模型,通过双编码器-解码器结构及跨视图充分交互模块(CSIM),利用注意力机制挖掘双目相关性,在公开数据集上验证了其优越性。
2024-08-20 cs.AI cs.CV eess.IV
MVPSNet: Fast Generalizable Multi-view Photometric Stereo
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland, College Park(马里兰大学帕克分校)
提出MVPSNet,一种快速可泛化的多视角光度立体解决方案,通过光照聚合特征图(LAFM)从多光照图像中提取几何特征进行立体匹配,在无纹理区域表现优异,推理速度比PS-NeRF快411倍,并引入新合成数据集sMVPS。
2023-05-18 cs.CV
MERLiN: Single-Shot Material Estimation and Relighting for Photometric Stereo
Indian Institute of Technology Gandhinagar(印度甘地讷格尔印度理工学院);National Institute of Informatics(情报学研究所)
本文提出基于注意力的沙漏网络 MERLiN,将单张图像逆渲染与物理重光照统一在一个框架中,通过合成重光照图像规避光度立体的复杂多光源采集问题,在合成与真实数据上均实现高质量形状、材质估计与法线恢复。
2024-09-01 cs.CV
PSMNet: Position-aware Stereo Merging Network for Room Layout Estimation
Zillow Group(Zillow集团);The City College of New York(纽约城市学院)
在本文中,我们提出了一种新的基于深度学习的方法,用于在给定一对360度全景图的情况下估计房间布局。我们的系统,称为位置感知立体融合网络或PSMNet,是一个端到端的联合布局姿态估计器。PSMNet由一个立体全景姿态(SP2)Transformer和一个新的交叉透视投影(CP2)层组成。立体视图SP2 Transformer用于隐式地推断视图之间的对应关系,并且可以处理噪声姿态。姿态感知CP2层被设计为将来自相邻视图的特征渲染到锚(参考)视图,以便执行视图融合并估计可见布局。我们的实验和分析验证了我们的方法,它显着优于最先进的布局估计,特别是对于大型和复杂的房间空间。
2022-03-30 cs.CV
Multi-View Stereo with Asymmetric Checkerboard Propagation and Multi-Hypothesis Joint View Selection
National Key Laboratory of Science and Technology on Multi-spectral Information Processing, School of Automation, Huazhong University of Science & Technology(华中科技大学自动化学院多光谱信息处理国家重点实验室)
在计算机视觉领域,如何快速、准确地实现多视点立体(MVS)仍然是一个具有挑战性的问题。在本文中,我们提出了一种快速而准确的方法,用于3D密集重建,称为AMHMVS,建立在基于PatchMatch的立体算法。与常规的对称传播方案不同,该方法采用了非对称棋盘式传播策略,能够根据当前邻居假设的置信度自适应地使有效假设进一步扩展。为了更好地从多个图像中聚合视觉信息,我们提出了多假设联合视图选择每个像素,它利用基于多个传播假设的成本矩阵来鲁棒地并行推断适当的聚合子集。结合上述两个步骤,我们的方法不仅具有大规模并行计算的能力,而且还获得了较高的精度和完整性。在大规模数据集上的实验表明,该方法具有更高的准确性和鲁棒性,并且运行速度快于竞争方法。
2018-05-21 cs.CV