A Neural Height-Map Approach for the Binocular Photometric Stereo Problem
University of Cambridge（剑桥大学）
提出一种双目光度立体神经高度图方法，通过可微分表面和BRDF渲染优化法线一致性，在DiLiGenT-MV和LUCES-ST数据集上达到最先进性能。
2023-11-10 cs.CV
PanoDepth: A Two-Stage Approach for Monocular Omnidirectional Depth Estimation
University of Missouri（密苏里大学）；BOSCH Research China（博世中国研究中心）；BOSCH Research North America（博世北美研究中心）
全方位的3D信息是必不可少的广泛的应用，如虚拟现实，自动驾驶，机器人等，在本文中，我们提出了一种新的，模型不可知的，两个阶段的管道全方位单目深度估计。我们提出的框架PanoDepth以一个360图像作为输入，在第一阶段产生一个或多个合成视图，并将原始图像和合成图像馈送到后续的立体匹配阶段。在第二阶段，我们提出了一个可微的球形扭曲层，以有效地处理全向立体几何。通过在立体匹配阶段利用显式的基于立体的几何约束，PanoDepth可以生成密集的高质量深度。我们进行了广泛的实验和消融研究，以评估PanoDepth与整个管道以及每个阶段的单个模块。我们的研究结果表明，PanoDepth优于国家的最先进的方法的360单眼深度估计的大幅度。
2022-02-02 cs.CV
Learning Efficient Photometric Feature Transform for Multi-view Stereo
Zhejiang University（浙江大学）；Simon Fraser University（西蒙弗雷泽大学）
我们提出了一种新的框架，学习转换为空间独特的和视图不变的低级别功能，它可以插入到现有的多视图立体视觉管道增强三维重建的每像素光度信息。采集期间的照明条件和随后的每像素特征变换两者可以以可微分的方式联合优化。我们的框架自动适应并有效利用了不同形式的输入数据中的几何信息。各种具有挑战性的物体的高质量3D重建展示在使用照明多路复用设备以及点光源捕获的数据上。我们的结果与最先进的技术相比毫不逊色。
2021-03-27 cs.CV cs.GR
TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering
NAVER LABS（NAVER实验室）；University of Maryland（马里兰大学）
我们提出了一种新的管道，用于在野外使用单个智能手机获取纹理网格，该智能手机可以访问图像，深度图和有效姿势。我们的方法首先引入了一个RGBD辅助的运动恢复结构，它可以产生过滤后的深度图，并根据相应的深度来细化相机姿态。然后，我们采用神经隐式曲面重建方法，它允许高质量的网格，并开发了一个新的训练过程，用于应用经典的多视图立体视觉方法提供的正则化。此外，我们应用微分渲染微调不完整的纹理地图，并生成纹理的感知更接近原始场景。我们的流水线可以应用于现实世界中的任何常见对象，而无需实验室环境或精确的掩模图像。我们展示了捕获的对象与复杂形状的结果，并验证我们的方法对现有的三维重建和纹理映射方法的数值。
2023-03-27 cs.CV
A Confidence-based Iterative Solver of Depths and Surface Normals for Deep Multi-view Stereo
Tsinghua University（清华大学）；ByteDance Inc.（字节跳动公司）；ETH Zurich（苏黎世联邦理工学院）；JCMV
在本文中，我们介绍了一个深度多视图立体视觉（MVS）系统，联合预测深度，表面法线和每视图的信心地图。我们的方法的关键是一种新的求解器，迭代地解决每视图的深度图和法线图，通过优化基于局部平面假设的能量势。具体地说，该算法通过倾斜平面从相邻像素传播来更新深度图，并通过局部概率平面拟合来更新法线图。这两个步骤都由定制的置信度图监控。该求解器不仅作为用于基于平面的深度细化和完成的后处理工具是有效的，而且是可微的，使得它可以有效地集成到深度学习管道中。我们的多视图立体视觉系统在深度和表面法线的初始预测上采用求解器的多个优化步骤。整个系统可以进行端到端的训练，将纹理不良区域内的像素匹配这一具有挑战性的问题与基于成本-体积的神经网络解耦。在ScanNet和RGB-D Scenes V2上的实验结果证明了所提出的深度MVS系统在多视图深度估计上的最新性能，我们提出的求解器与传统的和基于深度学习的MVS流水线相比，始终提高了深度质量。代码可在https://github.com/thuzhaowang/idn-solver上获得。
2022-01-19 cs.CV
DANI-Net: Uncalibrated Photometric Stereo by Differentiable Shadow Handling, Anisotropic Reflectance Modeling, and Neural Inverse Rendering
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Peking University（北京大学）
由于未知光带来的固有模糊性，未校准的光度立体（UPS）具有挑战性。虽然在非朗伯对象上减轻了模糊性，但是对于具有引入不规则阴影的复杂形状的更一般的对象和具有复杂反射率（如各向异性反射率）的一般材料，该问题仍然难以解决。为了利用阴影和反射的线索来解决UPS并提高一般材料的性能，我们提出了DANI-Net，这是一个具有可区分阴影处理和各向异性反射建模的逆渲染框架。与大多数使用不可微阴影贴图并假设各向同性材质的方法不同，我们的网络通过两个可微路径受益于阴影和各向异性反射的线索。在多个真实数据集上的实验证明了我们的优越性和鲁棒性。
2023-03-28 cs.CV
Differentiable Display Photometric Stereo
POSTECH（浦项科技大学）；Meta Reality Labs（元宇宙现实实验室）
针对显示光度立体视觉中显示图案设计的挑战，提出可微显示光度立体视觉方法，通过可微框架端到端学习显示图案，结合3D打印数据集和偏振光分离反射，提升了法向量重建精度与鲁棒性。
2024-03-12 cs.CV
PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo
The University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
传统的多视点光度立体（MVPS）方法通常由多个不相交的阶段组成，导致明显的累积误差。本文提出了一种基于隐式表示的MVPS神经逆绘制方法。给定由多个未知方向光照射的非朗伯物体的多视图图像，我们的方法联合估计几何形状、材料和光。我们的方法首先采用多光图像来估计每视图表面法线映射，其用于正则化从神经辐射场导出的法线。然后，它基于阴影感知可区分渲染层联合优化曲面法线、空间变化BRDF和灯光。优化后的重建对象可用于新视图渲染、重新照明和材质编辑。在合成数据集和真实数据集上的实验表明，我们的方法实现了比现有的MVPS和神经渲染方法更准确的形状重建。我们的代码和模型可以在https://ywq.github.io/psnerf上找到。
2022-12-22 cs.AI cs.CV
DeepPruner: Learning Efficient Stereo Matching via Differentiable PatchMatch
Uber ATG（优步先进技术集团）；University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）
我们的目标是显着加快当前最先进的立体声算法的运行速度，以实现实时推理。为了实现这一目标，我们开发了一个可区分的PatchMatch模块，使我们能够放弃大多数差异，而不需要全面的成本量评估。然后，我们利用这种表示来学习为每个像素修剪哪个范围。通过逐步减少搜索空间和有效地传播这样的信息，我们能够有效地计算成本量的高似然假设，并实现节省内存和计算。最后，利用图像引导的细化模块，以进一步提高性能。由于我们的所有组件都是可区分的，因此整个网络可以端到端进行训练。实验结果表明，该方法在KITTI和SceneFlow数据集上取得了较好的效果，并且实时运行时间为62ms。
2019-09-12 cs.CV
Self-Supervised Siamese Learning on Stereo Image Pairs for Depth Estimation in Robotic Surgery
The Hamlyn Centre for Robotic Surgery, IGHI, Imperial College London（伦敦帝国理工学院哈姆林机器人手术中心）；Dyson Robotics Laboratory, Imperial College London（伦敦帝国理工学院戴森机器人实验室）；OpenAI；Department of Surgery and Cancer, Imperial College London（伦敦帝国理工学院外科与癌症系）
机器人手术已成为执行微创手术的强大工具，与传统手术相比，机器人手术在灵活性、精确性和3D视觉方面具有优势。一种流行的机器人系统是达芬奇手术平台，它允许使用增强现实（AR）将术前信息纳入实时程序。场景深度估计是AR的先决条件，因为准确的配准需要术前和术中器官模型之间的3D对应关系。在过去的十年中，在手术场景的深度估计方面取得了很大进展，例如使用单目或双目腹腔镜[1，2]。最近，深度学习的进步已经通过卷积神经网络（CNN）实现了深度估计[3]，但训练需要具有地面真实深度的大型图像数据集。受[4]的启发，我们提出了一种用于手术场景深度估计的深度学习框架，该框架使用可扩展数据采集的自监督。我们的框架包括一个自动编码器的深度预测，和一个可微的空间Transformer训练立体图像对的自动编码器没有地面真实深度。对机器人肾部分切除术中收集的立体视频进行了验证。
2017-05-17 cs.CV cs.RO
Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness
University of California, San Diego（加州大学圣地亚哥分校）；Nuro Inc.（Nuro公司）；Columbia University（哥伦比亚大学）；Scale AI
我们提出了不确定性感知的级联立体网络（UCS-Net）的三维重建从多个RGB图像。多视图立体视觉（MVS）的目标是从多视点图像中重建出细粒度的场景几何结构。先前基于学习的MVS方法使用在每个平面具有固定深度假设的平面扫描体积来估计每视图深度;这通常需要密集采样的平面以获得所需的精度，并且很难实现高分辨率深度。相比之下，我们提出了自适应薄体积（ATV）;在ATV中，每个平面的深度假设是空间变化的，这适应于以前的每像素深度预测的不确定性。我们的UCS-Net有三个阶段：第一阶段处理一个小的标准平面扫描体积，以预测低分辨率的深度;然后在接下来的阶段中使用两个ATV，以更高的分辨率和更高的精度来细化深度。我们的ATV仅由少量平面组成;然而，它在学习的小间隔内有效地划分了局部深度范围。特别是，我们建议使用基于方差的不确定性估计自适应地构建ATV，这个可微的过程引入了合理和细粒度的空间分区。我们的多阶段框架逐步细分广阔的场景空间，增加深度分辨率和精度，这使得场景重建具有高完整性和准确性，从粗到精的方式。我们证明了我们的方法在各种具有挑战性的数据集上与最先进的基准测试相比具有优异的性能。
2020-04-18 cs.CV cs.LG cs.RO
Differentiable Mobile Display Photometric Stereo
POSTECH（浦项科技大学）；Sogang University（西江大学）
本文提出可微分移动显示光度立体（DMDPS），利用手机同时显示光照图案并捕获 HDR 图像，通过可微分学习优化显示图案，在 3D 打印物体和落叶数据集上验证了法线与反照率重建的有效性。
2025-02-07 cs.AI cs.CV cs.GR
KVN: Keypoints Voting Network with Differentiable RANSAC for Stereo Pose Estimation
University of Padova（帕多瓦大学）
本文提出 KVN，通过在单目位姿网络中加入可微 RANSAC 层并结合不确定性驱动的多视图 PnP，实现立体物体位姿估计，在公开数据集和新建 TTD 上达到最先进水平。
2024-03-04 cs.CV cs.RO
Adversarial View-Consistent Learning for Monocular Depth Estimation
Microsoft Research Asia（微软亚洲研究院）
本文研究了单目深度估计（MDE）问题。现有的MDE方法通常将其建模为像素级回归问题，忽略了底层的几何属性。我们凭经验发现这可能导致次优解决方案：虽然预测的深度图在一个特定视图中呈现小的损失值，但如果在不同方向上观看，则它可能表现出大的损失。在本文中，受多视图立体视觉（MVS）的启发，我们提出了一个对抗性视图一致性学习（AVCL）框架，以迫使估计的深度图是所有合理的多个视图。为此，我们首先设计了一个可微分的深度图扭曲操作，这是端到端的可训练的，然后提出了一个姿势生成器，以对抗的方式为给定的图像生成新的视图。与可微分深度图扭曲操作协作，姿态生成器鼓励深度估计网络从硬视图学习，从而产生视图一致的深度图。我们在NYU Depth V2数据集上评估了我们的方法，实验结果表明，在最先进的MDE方法上，我们的方法具有很好的性能增益。
2019-08-04 cs.CV cs.LG eess.IV
BP-MVSNet: Belief-Propagation-Layers for Multi-View-Stereo
Graz University of Technology（格拉茨理工大学）；Sony Europe B.V.（索尼欧洲有限公司）
在这项工作中，我们提出了BP-MVSNet，一种基于卷积神经网络（CNN）的多视图立体视觉（MVS）方法，该方法使用可微条件随机场（CRF）层进行正则化。为此，我们建议扩展BP层，并添加在MVS设置中成功使用它所需的内容。因此，我们展示了如何根据预期的3D误差计算归一化，然后我们可以使用它来归一化CRF中的标签跳跃。这需要使BP层在MVS设置中对不同尺度保持不变。为了实现分数标签跳跃，我们提出了一个可微插值步骤，我们将其嵌入到成对项的计算中。这些扩展使我们能够将BP层集成到多尺度MVS网络中，在那里我们不断改进粗略的初始估计，直到获得高质量的深度图。我们在消融研究中评估了所提出的BP-MVSNet，并在DTU、Tanks和Temples以及ETH 3D数据集上进行了广泛的实验。实验表明，我们可以显着优于基线，并达到国家的最先进的结果。
2020-10-23 cs.CV
Towards Segmenting Consumer Stereo Videos: Benchmark, Baselines and Ensembles
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；OSRAM Corporate Technology（欧司朗企业技术部）
我们准备好细分消费者立体视频了吗？这种数据类型的数量正在迅速增加，并且包含丰富的外观、运动和深度线索信息。然而，这些数据的细分在很大程度上仍然是未经探索的。首先，我们提出了一个新的基准：视频，注释和指标来衡量这一新兴挑战的进展。其次，我们评估了几种最先进的分割方法，并提出了一种新的集成方法的基础上，最近的谱理论。这将现有的图像和视频分割技术结合在一个有效的方案中。最后，我们提出了一种新的回归模型，并将其集成到该模型中，通过可微代理学习直接优化立体分割性能。回归使我们的分割集成自适应每个立体视频和优于分割的合奏，以及最近的RGB-D分割技术。
2016-09-07 cs.CV
Multiview Textured Mesh Recovery by Differentiable Rendering
ZheJiang University（浙江大学）；Alibaba-ZheJiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
虽然通过自我监督在形状和颜色恢复方面取得了令人鼓舞的结果，但基于多层感知器的方法通常在学习深层隐式表面表示时具有沉重的计算成本。由于渲染每个像素需要前向网络推理，因此合成整个图像是非常计算密集的。为了解决这些问题，本文提出了一种有效的从粗到细的方法来恢复纹理网格从多视图。具体来说，一个可微泊松求解器是用来表示对象的形状，这是能够产生拓扑不可知和水密表面。为了考虑深度信息，我们通过最小化渲染网格与来自多视图立体视觉的预测深度之间的差异来优化形状几何。与隐式的形状和颜色的神经表示相反，我们引入了一种基于物理的逆绘制方案，以联合估计环境光照和物体的反射率，这是能够实时绘制高分辨率图像。重建网格的纹理是从一个可学习的密集纹理网格插值。在多个多视图立体视觉数据集上进行了大量的实验，实验结果表明了该方法的有效性。该代码可在https://github.com/l1346792580123/diff上获得。
2022-10-12 cs.CV
StereoDETR: Stereo-based Transformer for 3D Object Detection
Shanghai University（上海大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
StereoDETR是一种基于立体的高效3D目标检测框架，通过结合单目DETR和立体分支，实现了比单目方法更快的速度和更高的准确性。
2025-11-24 cs.CV
Learning the Distribution of Errors in Stereo Matching for Joint Disparity and Uncertainty Estimation
Stevens Institute of Technology（史蒂文斯理工学院）
提出一种用于深度立体匹配联合视差与不确定性估计的新损失函数，通过KL散度项使不确定性分布匹配视差误差分布，并采用可微软直方图技术近似分布，在大型数据集上显著提升了视差与不确定性预测性能。
2023-03-31 cs.CV
DSGN: Deep Stereo Geometry Network for 3D Object Detection
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
大多数最先进的3D物体探测器严重依赖于LiDAR传感器，因为基于图像和基于LiDAR的方法之间存在很大的性能差距。这是由在3D场景中形成预测表示的方式引起的。我们的方法，称为深度立体几何网络（DSGN），通过检测可微体积表示- 3D几何体积上的3D对象来显着减少这种差距，该体积表示有效地编码了3D规则空间的3D几何结构。通过这种表示，我们可以同时学习深度信息和语义线索。我们首次提供了一个简单有效的基于一级立体的3D检测流水线，该流水线以端到端的学习方式联合估计深度并检测3D对象。我们的方法优于以前的基于立体的3D检测器（AP高出约10），甚至在KITTI 3D目标检测排行榜上实现了与几种基于LiDAR的方法相当的性能。我们的代码可在https://github.com/chenyilun95/DSGN上公开获取。
2020-04-08 cs.CV
End-to-end Learning of Cost-Volume Aggregation for Real-time Dense Stereo
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Applied Parallel Computing LLS（应用并行计算LLS）
我们提出了一种新的基于深度学习的密集立体匹配方法。与以前的作品相比，我们的方法不使用像素外观描述符的深度学习，而是采用非常快速的经典匹配分数。同时，我们的方法使用深度卷积网络来预测成本量聚合过程的局部参数，在本文中，我们使用可微域变换来实现。通过将这种变换视为递归神经网络，我们能够训练我们的整个系统，包括成本量计算，成本量聚合（平滑）和赢家通吃的差异选择端到端。所得到的方法是非常有效的，在测试时，同时实现良好的匹配精度。在KITTI 2015基准测试中，它在现代GPU上以每秒29帧的速度运行时，实现了6.34\%的出错率。
2016-11-17 cs.CV
Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis
University of Zaragoza（萨拉戈萨大学）；German Aerospace Center (DLR)（德国航空航天中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
针对类行星地形中视觉定位难题，提出基于 3D 高斯溅射构建可微地图表示估计相机姿态的方法，采用结合光度与几何损失的几何感知训练策略，经实验验证能有效提升定位准确性与姿态估计鲁棒性。
2026-07-27 cs.CV
Spurfies: Sparse Surface Reconstruction using Local Geometry Priors
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
提出稀疏视图表面重建方法 Spurfies，通过解耦几何与外观并利用合成数据训练的局部几何先验作为约束，在表面质量上超越现有技术35%且支持大场景。
2024-08-29 cs.CV
Improving Multi-View Reconstruction via Texture-Guided Gaussian-Mesh Joint Optimization
SIGS, Tsinghua University（清华大学信息科学与技术学院）；Peng Cheng Laboratory（鹏城实验室）
本文提出一种通过纹理引导的高斯-网格联合优化方法，实现多视图重建中几何与外观的统一优化，提升3D重建质量以支持后续编辑任务。
2026-03-04 cs.AI cs.CV
Neural Architecture Search for Efficient Uncalibrated Deep Photometric Stereo
ETH Zürich（苏黎世联邦理工学院）；Google Research（谷歌研究院）；KU Leuven（鲁汶大学）
我们提出了一种自动化的机器学习方法，用于未校准的光度立体（PS）。我们的工作旨在发现轻量级和计算高效的PS神经网络具有出色的表面法线精度。与以前手工制作和精心调整的未校准深度PS网络不同，我们利用可微神经架构搜索（NAS）策略来自动查找未校准的PS架构。首先，我们定义一个离散的搜索空间的光校准网络和正常的估计网络，分别。然后，我们执行这个搜索空间的连续松弛，并提出了一个基于梯度的优化策略，找到一个有效的光校准和正常估计网络。直接将NAS方法应用于未校准的PS并不简单，因为必须满足某些特定于任务的约束，我们明确地施加这些约束。此外，我们分别搜索和训练这两个网络，以解决广义浅浮雕（GBR）模糊问题。在DiLiGenT数据集上进行的大量实验表明，自动搜索的神经架构性能与最先进的未校准PS方法相比毫不逊色，同时具有较低的内存占用。
2021-10-11 cs.CV
MVSNet: Depth Inference for Unstructured Multi-view Stereo
The Hong Kong University of Science and Technology（香港科技大学）；Shenzhen Zhuke Innovation Technology (Altizure)（深圳珠科创新科技（Altizure））
我们提出了一种端到端的深度学习架构，用于从多视图图像中进行深度图推断。在该网络中，我们首先提取深度视觉图像特征，然后通过可微单应性变形在参考相机截头体上构建3D成本体积。接下来，我们应用3D卷积来正则化和回归初始深度图，然后使用参考图像进行优化以生成最终输出。我们的框架灵活地适应任意N视图输入使用基于方差的成本度量，将多个功能映射到一个成本功能。在大规模室内DTU数据集上证明了所提出的MVSNet。通过简单的后处理，我们的方法不仅显着优于以前的最先进的，而且在运行时快了几倍。我们还在复杂的户外Tanks and Temples数据集上评估了MVSNet，在2018年4月18日之前，我们的方法在没有任何微调的情况下排名第一，显示了MVSNet强大的泛化能力。
2018-07-17 cs.CV
Stereo Magnification with Multi-Layer Images
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
用多个半透明的彩色层来表示场景已经成为实时新颖视图合成的流行和成功的选择。现有方法推断平面或球形形状的规则间隔层的颜色和透明度值。在这项工作中，我们介绍了一种新的视图合成方法的基础上，多个半透明层与场景适应的几何形状。我们的方法推断这样的表示从立体声对在两个阶段。第一阶段从给定的一对视图中推断出少量数据自适应层的几何形状。第二阶段推断这些层的颜色和透明度值，产生用于新颖视图合成的最终表示。重要的是，这两个阶段都通过可区分的渲染器连接，并以端到端的方式进行训练。在实验中，我们证明了所提出的方法的优势，使用规则间隔的层，没有适应场景几何。尽管在渲染过程中速度快了几个数量级，但我们的方法也优于最近提出的基于隐式几何表示的IBRNet系统。结果见https://samsunglabs.github.io/StereoLayers。
2022-03-29 cs.CV cs.GR
Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF Material from Images via Differentiable Path Tracing
Brown University（布朗大学）；Stanford University（斯坦福大学）
从多个视图重建对象几何体和材质通常需要优化。可微分路径追踪是一个有吸引力的框架，因为它可以重现复杂的外观效果。然而，由于计算成本高，它很难使用。在本文中，我们将探讨如何使用可微光线追踪来细化初始粗网格和每个网格面的材料表示。在模拟中，我们发现，它是可能的，以重建精细的几何和材料细节，从低分辨率的输入视图，允许高质量的重建在几个小时内，尽管路径追踪的费用。重建成功地消除了材质属性中的着色、阴影和全局光照效果（如漫反射）的歧义。我们展示了不同几何初始化的影响，包括空间雕刻，多视图立体视觉，和3D神经网络。最后，与输入捕捉使用智能手机视频和消费者360？摄像机的照明估计，我们还展示了如何完善初始重建的现实世界中的对象在不受约束的环境。
2020-12-06 cs.CV cs.GR
Computational 3D topographic microscopy from terabytes of data per sample
Duke University（杜克大学）；Ramona Optics Inc.（拉蒙娜光学公司）；Yonsei University（延世大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出STARCAM大规模计算三维形貌显微镜，利用54相机阵列采集每样本2.1 TB数据，并通过自监督神经网络联合重建全景深合成图与三维高度图。
2023-06-05 cs.CV cs.LG eess.IV
Recovering 3D Shapes from Ultra-Fast Motion-Blurred Images
Shandong University（山东大学）；Nanjing University（南京大学）；Peking University（北京大学）
本文提出了一种高效的逆渲染方法，用于从超快运动模糊图像中恢复3D形状，通过优化计算瓶颈提升模拟速度和精度。
2026-02-08 cs.CV cs.GR
Learning to Render Novel Views from Wide-Baseline Stereo Pairs
MIT（麻省理工学院）
本文针对仅用单个宽基线立体图像对进行新视角合成的难题，提出多视角 Transformer 编码器、图像空间极线采样和轻量交叉注意力渲染器，在大规模真实数据上训练并显著超越现有稀疏观测新视角合成方法。
2023-04-17 cs.AI cs.CV
Prior-Guided Multi-View 3D Head Reconstruction
University of Science and Technology of China（中国科学技术大学）
在计算机视觉和图形学中，恢复包括完整面部和头发区域的三维头部模型仍然是一个具有挑战性的问题。在本文中，我们考虑这个问题，只使用几个多视角的人像图像作为输入。基于优化策略或深度学习技术的先前多视图立体视觉方法遭受低频几何结构，诸如头部结构不清晰和毛发区域中的不准确重建。为了解决这个问题，我们提出了一个事先指导的隐式神经渲染网络。具体来说，我们的头部几何模型与可学习的有符号距离场（SDF），并优化它通过一个隐式微分渲染器的指导下，一些人类头部先验知识，包括面部先验知识，头部语义分割信息和2D头发方向图。利用这些先验知识可以提高重建的准确性和鲁棒性，从而得到高质量的集成3D头部模型。广泛的消融研究和与最先进方法的比较表明，我们的方法可以生成高保真度的3D头部几何形状与这些先验的指导。
2021-10-02 cs.CV
Multi-View Reconstruction using Signed Ray Distance Functions (SRDF)
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Meta Reality Labs（Meta现实实验室）
在本文中，我们研究了一个新的优化框架，多视图三维形状重建。最近的微分绘制方法提供了突破性的性能与隐式形状表示，但他们仍然可以缺乏精度的估计几何形状。另一方面，多视图立体视觉方法可以产生具有沿着观看光线的局部深度预测的逐像素几何精度。我们的方法弥合了这两种策略之间的差距，一种新的体积形状表示，是隐式的，但参数化的像素深度，以更好地实现形状表面一致的有符号的距离沿视线。该方法保留像素精度，同时受益于优化中的体积积分。为此，通过在体积离散化内的每个3D位置处评估对应像素的深度预测一致性与光度一致性之间的一致性来优化深度。优化是不可知的相关联的照片一致性项，其可以从基于中值的基线变化到更精细的标准学习函数。我们的实验证明了体积积分与深度预测的好处。他们还表明，我们的方法优于现有的方法在标准的3D基准更好的几何估计。
2023-03-03 cs.CV
Epipolar Transformers
Carnegie Mellon University（卡内基梅隆大学）；Facebook Reality Labs（Facebook现实实验室）
在同步和校准的多视图设置中定位3D人体关节的常见方法由两个步骤组成：（1）在每个视图上单独应用2D检测器以定位2D中的关节，以及（2）对来自每个视图的2D检测执行鲁棒三角测量以获取3D关节位置。然而，在步骤1中，2D检测器仅限于解决可能在3D中更好地解决的挑战性情况，例如遮挡和倾斜视角，纯粹在2D中，而不利用任何3D信息。因此，我们提出了可微分的“核线Transformer”，这使得2D检测器能够利用3D感知特征来改善2D姿态估计。直觉是：给定当前视图中的2D位置p，我们希望首先在相邻视图中找到其对应点p'，然后将p'处的特征与p处的特征组合，从而导致p处的3D感知特征。受立体匹配的启发，核线Transformer利用核线约束和特征匹配来近似p '处的特征。在InterHand和Human3.6M上的实验表明，我们的方法在基线上有一致的改进。具体来说，在不使用外部数据的情况下，我们使用ResNet-50主干和图像大小256 x 256训练的Human3.6M模型比最先进的模型性能高出4.23 mm，并达到MPJPE 26.9 mm。
2020-05-10 cs.CV
Stable View Synthesis
Intel Labs（英特尔实验室）
我们提出了稳定视图合成（SVS）。给定一组从自由分布的视点描绘场景的源图像，SVS合成场景的新视图。该方法在通过运动恢复结构和多视图立体视觉计算的几何支架上操作。该3D支架上的每个点与视图射线和对应的特征向量相关联，该特征向量对输入图像中该点的外观进行编码。SVS的核心是视图相关的表面特征聚合，其中处理每个3D点处的方向特征向量以产生用于将该点映射到新目标视图的射线的新特征向量。然后，目标视图由卷积网络从以这种方式为所有像素合成的特征张量渲染。该方法由可微模块组成，并进行端到端训练。它支持空间变化的视图相关的重要性加权和源图像在每个点的特征变换;由于表面特征聚合对目标视图的平滑依赖性而具有空间和时间稳定性;以及合成视图相关的效果，如镜面反射。实验结果表明，SVS优于国家的最先进的视图合成方法在三个不同的现实世界的数据集上的定量和定性，实现了前所未有的现实主义水平的自由视点视频的挑战性大规模的场景。代码可在https://github.com/intel-isl/StableViewSynthesis上获得
2021-05-02 cs.CV
Point-Based Neural Rendering with Per-View Optimization
Inria, Université Côté d’Azur（法国国家信息与自动化研究所，蔚蓝海岸大学）；Adobe Research（Adobe研究院）
最近人们对神经渲染绘制方法产生了极大的兴趣。一些方法使用利用多视图立体视觉（MVS）重建的3D几何结构，但是不能从该过程的错误中恢复，而其他方法直接学习体积神经表示，但是遭受昂贵的训练和推理。我们介绍了一种通用的方法，初始化与MVS，但允许进一步优化的场景属性的输入视图的空间，包括深度和重新投影功能，从而改善新颖的视图合成。我们的方法的一个关键要素是我们新的基于点的管道，基于双向椭圆加权平均飞溅，概率深度测试和有效的相机选择。我们在我们的神经渲染器中一起使用这些元素，在我们测试的几乎所有场景中，它在质量和速度方面都优于以前的所有方法。我们的管道可以应用于多视图的协调和风格化，除了新颖的视图合成。
2021-09-08 cs.CV cs.GR
