MonSter: Awakening the Mono in Stereo
Tel-Aviv University（特拉维夫大学）；Toronto University（多伦多大学）
被动深度估计是计算机视觉中研究最久的领域之一。用于被动深度估计的最常见的方法是立体或单目系统。使用前者需要精确的校准过程，并且具有有限的有效范围。后者不需要外部校准，但通常实现较差的深度精度，可以进行调整，以在部分深度范围内实现更好的结果。在这项工作中，我们建议结合这两个框架。我们提出了一个双摄像机系统，其中的摄像机联合使用，以提取立体深度和单独提供从每个摄像机的单眼深度。这些深度图的组合导致更准确的深度估计。此外，强制执行提取的地图之间的一致性导致一种新的在线自校准策略。我们提出了一个原型相机，展示了所提出的组合的好处，在现实世界的场景中的自校准和深度重建。
2019-10-30 cs.CV
Normal Assisted Stereo Depth Estimation
University of California San Diego（加州大学圣迭戈分校）；Tsinghua University（清华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
准确的立体深度估计在室内和室外环境中的各种3D任务中起着关键作用。最近，基于学习的多视图立体视觉方法已经证明了具有有限数量视图的竞争性能。然而，在具有挑战性的情况下，特别是当建立跨视图对应是困难的，这些方法仍然不能产生令人满意的结果。在本文中，我们研究了如何利用法线估计模型和预测的法线映射来提高深度质量。我们将多视图法线估计模块和多视图深度估计模块的学习耦合。此外，我们提出了一种新的一致性损失训练一个独立的一致性模块，细化深度/正常对的深度。我们发现，联合学习可以提高法线和深度的预测，并且通过加强一致性可以进一步提高准确性和平滑性。在MVS、SUN 3D、RGBD和Scenes 11上的实验证明了该方法的有效性和最先进的性能。
2020-06-01 cs.CV
Deep feature fusion for self-supervised monocular depth prediction
IIT Delhi（德里印度理工学院）
端到端无监督学习的最新进展显着提高了单目深度预测的性能，并减轻了对地面真实深度的要求。虽然已经做了大量的工作，通过利用平滑度，左右一致性，正则化和匹配表面法线来合并多个损失来执行各种结构约束，但其中一些考虑到现实世界图像中存在的多尺度结构。大多数作品使用在ImageNet权重上预训练的VGG16或ResNet50模型来预测深度。我们提出了一种深度特征融合方法，利用多尺度特征从头开始学习自监督深度。我们的融合网络在编码器网络的每一层都从上层和下层选择特征，从而创建多个特征金字塔子网络，在应用CoordConv解决方案后将其馈送到解码器。我们还提出了一个细化模块学习更高级别的深度特征和较低级别的残留深度的组合，使用超解析较低级别的残留深度的像素洗牌框架，更高级别的残留深度。我们选择KITTI数据集进行评估，并表明我们提出的架构可以在深度预测中产生更好或相当的结果。
2020-05-16 cs.CV
CUBE360: Learning Cubic Field Representation for Monocular 360 Depth Estimation for Virtual Reality
USTC（中国科学技术大学）；DSEL；VLIS LAB at HKUST(GZ)（香港科技大学（广州）VLIS实验室）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）
针对全景深度估计中ERP畸变与数据集稀缺的问题，提出CUBE360方法，通过立方投影构建MPI立方场实现连续深度估计，自监督训练下性能优于现有SSL方法，可应用于VR等场景。
2024-10-08 cs.CV
ADAADepth: Adapting Data Augmentation and Attention for Self-Supervised Monocular Depth Estimation
IIT Delhi（印度理工学院德里分校）；Manipal University（马尼帕尔大学）
深度的自监督学习已经成为高度研究的研究主题，因为它阐明了具有用于预测深度的地面实况注释的要求。深度是作为视图合成任务的中间解决方案来学习的，利用扭曲的光度一致性。虽然它在使用立体数据训练时给出了良好的结果，但预测的深度仍然对噪声，照明变化和镜面反射敏感。此外，通过从单个相机学习深度可以更好地解决遮挡问题。我们提出了ADAA，利用深度增强作为深度监督，以学习准确和强大的深度。我们提出了一个关系自我注意模块，学习丰富的上下文特征，并进一步增强深度结果。我们还通过在掩码上强制执行L1正则化来优化所有损失的自动掩码策略。我们新颖的渐进式训练策略首先以较低的分辨率学习深度，然后通过轻微的训练达到原始分辨率。我们利用ResNet18编码器，学习预测深度和姿态的特征。我们在标准KITTI驾驶数据集上评估了我们的预测深度，并实现了单目深度估计的最新结果，同时在我们的深度学习框架中具有显着较少的可训练参数数量。我们还在Make3D数据集上评估了我们的模型，显示出比其他方法更好的泛化能力。
2021-03-01 cs.CV
Depth Estimation using Modified Cost Function for Occlusion Handling
Poznan University of Technology（波兹南理工大学）
本文提出了一种新的方法来解决使用三视图的深度估计中的遮挡处理问题。提出了一种基于相似性代价函数修正的解决方案。在深度估计期间，通过优化算法（如Graph Cut）不断更新相似性度量，使得仅考虑侧视图中的非遮挡片段。在算法的每次迭代中，基于从中心视图的当前最佳估计深度图合成的侧视虚拟深度图来检测未被遮挡的片段。然后更新相似性度量，仅在侧视图的非遮挡区域中进行对应搜索。实验结果表明，与基于MPEG深度估计参考软件生成的深度图合成的虚拟视图相比，该方法估计的深度图可提高虚拟视图质量约1.25 dB。
2017-11-10 cs.CV cs.MM
Temporally Consistent Online Depth Estimation Using Point-Based Fusion
Meta
本文提出一种基于全局点云动态更新与图像空间学习融合的在线深度估计方法，在保持时间一致性的同时处理误差和动态物体，实现最先进的视频深度估计质量。
2023-08-05 cs.CV
Depth as Points: Center Point-based Depth Estimation
School of Mechanical Engineering, Nanjing University of Science and Technology（机械工程学院，南京理工大学）；School of Cyber Science and Engineering, Nanjing University of Science and Technology（网络科学与工程学院，南京理工大学）；School of Computer Science , Wuhan University（计算机科学学院，武汉大学）
针对自动驾驶感知计算需求高的问题，提出高效虚拟数据集生成方法构建VirDepth数据集，并设计轻量级单目深度估计架构CenterDepth，通过Center FC-CRFs算法与目标关键点聚合实现高效精准的深度估计。
2025-04-26 cs.CV
HBSplat: Robust Sparse-View Gaussian Reconstruction with Hybrid-Loss Guided Depth and Bidirectional Warping
University of Shanghai for Science and Technology（上海理工大学）；Hefei University of Technology（合肥工业大学）
HBSplat通过混合损失深度估计、双向扭曲虚拟视角合成和遮挡感知重建，在稀疏视角下实现鲁棒的高斯泼溅新视角合成，在LLFF、Blender和DTU上达到最先进性能。
2025-10-08 cs.CV
Lightweight Monocular Depth Estimation Model by Joint End-to-End Filter pruning
University of Alberta（阿尔伯塔大学）
卷积神经网络（CNN）已经成为包括深度估计在内的多视觉任务中的最新技术。然而，内存和计算能力的要求仍然是这些模型中要解决的挑战。单目深度估计在需要部署在低端设备上的机器人和虚拟现实中具有重要用途。从头开始训练一个小模型会导致准确性显著下降，并且它不会从预先训练的大模型中受益。受模型修剪文献的启发，我们提出了一种从大型训练模型中获得的轻量级单目深度模型。这是通过使用新的联合端到端过滤器修剪来去除最不重要的特征来实现的。我们建议为每个过滤器学习一个二进制掩码，以决定是否删除该过滤器。这些掩码被联合训练，以利用不同层的滤波器之间的关系以及同一层内的冗余。我们表明，我们可以在KITTI驾驶数据集上实现约5倍的压缩率，同时精度略有下降。我们还表明，掩蔽可以提高精度的基线与更少的参数，即使没有强制压缩损失。
2019-05-13 cs.CV
Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths from a Monocular Camera
University of Minnesota（明尼苏达大学）；NVIDIA（英伟达）
本文提出了一种新的方法来合成图像从任意角度和时间给定的图像集合的动态场景。新的视图合成的一个关键挑战来自于动态场景重建，其中对极几何不适用于动态内容的局部运动。为了解决这一挑战，我们提出将来自单视图的深度（DSV）和来自多视图立体视觉的深度（DMV）相结合，其中DSV是完整的，即，深度被分配给每个像素，但其比例是视点可变的，而DMV是视点不变的，但不完整。我们的见解是，虽然它的规模和质量与其他视图不一致，从一个单一的视图的深度估计可以用来推理的动态内容的全局一致的几何形状。我们将这个问题视为学习校正DSV的尺度，并利用视图之间的局部一致运动来细化每个深度，以形成连贯的深度估计。我们以自我监督的方式将这些任务集成到深度融合网络中。给定融合的深度图，我们在特定的位置和时间用我们的深度混合网络合成一个逼真的虚拟视图，完成场景并渲染虚拟视图。我们评估我们的方法的深度估计和视图合成不同的真实世界的动态场景，并显示出出色的性能超过现有的方法。
2020-04-02 cs.CV
Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS Erlangen（弗劳恩霍夫研究所埃朗根）
本文提出通过多视角可微渲染优化，提升单目深度图的精度与一致性，实现更高质量的深度估计。
2025-09-03 cs.CV
Unsupervised Learning of Depth and Ego-Motion from Monocular Video Using 3D Geometric Constraints
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Brain（谷歌大脑）
我们提出了一种新的方法，无监督学习的深度和自我运动的单目视频。无监督学习不需要单独的监督信号（深度或自我运动地面实况，或多视图视频）。无监督深度学习的先前工作使用像素或基于梯度的损失，仅考虑小的局部邻域中的像素。我们的主要贡献是明确地考虑场景的推断3D几何形状，执行估计的3D点云和跨连续帧的自我运动的一致性。这是一个具有挑战性的任务，并解决了一个新的（近似）反向传播算法对齐3D结构。我们结合这种新的基于3D的损失与2D损失的基础上，使用估计的深度和自我运动从相邻帧的帧重建的光度质量。我们还引入了有效性掩码，以避免惩罚那些没有有用信息的区域。我们在KITTI数据集和未校准的手机摄像头上捕获的视频数据集上测试我们的算法。我们提出的方法一致地提高了两个数据集上的深度估计，并且在深度和自我运动方面都优于最先进的方法。因为我们只需要一个简单的视频，所以在大型和各种数据集上学习深度和自我运动成为可能。我们通过在低质量的未校准视频数据集上进行训练并在KITTI上进行评估来证明这一点，在KITTI本身上训练的性能最好的先验方法中排名。
2018-06-09 cs.CV
Self-supervised Monocular Depth Estimation on Water Scenes via Specular Reflection Prior
Jiangnan University（江南大学）
针对水上场景单目深度估计缺乏可靠监督的问题，提出利用水面镜面反射作为帧内先验的自监督框架，并构建 WRS 数据集验证其有效性。
2024-04-10 cs.CV
Learning Fine-Grained Geometry for Sparse-View Splatting via Cascade Depth Loss
School of Computer Science The University of Sydney Sydney, Australia；School of Computer Science University of Bristol Bristol, United Kingdom；School of Science Edith Cowan University Perth, Australia
本文提出HDGS框架，通过级联Pearson相关损失提升稀疏视角下几何重建的结构精度，实验表明在LLFF和DTU数据集上取得最佳性能。
2026-04-02 cs.CV
DreamTexture: Shape from Virtual Texture with Analysis by Augmentation
Bielefeld University（比勒费尔德大学）；University of British Columbia（不列颠哥伦比亚大学）
针对DreamFusion无监督3D重建计算成本高、约束不足的问题，提出DreamTexture方法，利用单目深度线索与共形映射优化实现高效3D重建，验证了生成模型的单目形状理解能力，提出“增强分析”新范式。
2025-03-20 cs.AI cs.CV cs.LG
Depth Estimation Analysis of Orthogonally Divergent Fisheye Cameras with Distortion Removal
Aalto University（阿尔托大学）
本文针对正交发散鱼眼相机立体视觉系统提出基于两个虚拟针孔相机的畸变去除与深度估计方法，通过仿真和真实实验验证其在畸变去除和深度估计精度上的有效性。
2023-07-07 cs.CV
DVD: Deterministic Video Depth Estimation with Generative Priors
DVD通过确定性方法将预训练视频扩散模型转化为单次通过深度回归器，解决视频深度估计中的生成与判别模型权衡问题，实现零样本性能提升并释放开源训练套件。
2026-03-12 cs.CV
One Look is Enough: Seamless Patchwise Refinement for Zero-Shot Monocular Depth Estimation on High-Resolution Images
KAIST（韩国科学技术院）
针对高分辨率图像零样本深度估计存在的精度低、内存消耗大、分块拼接不连续及泛化性差等问题，提出含分组分块一致性训练和无偏掩码的PRO框架，可高效无缝集成到现有模型中并提升泛化性。
2025-07-31 cs.CV
OceanSplat: Object-aware Gaussian Splatting with Trinocular View Consistency for Underwater Scene Reconstruction
OceanSplat通过三目视图一致性与深度感知调整，实现高保真水下场景重建与恢复。
2026-01-19 cs.CV
Self-Evolving Depth-Supervised 3D Gaussian Splatting from Rendered Stereo Pairs
Koç University（科奇大学）；University of Bologna（博洛尼亚大学）
针对3D高斯溅射场景几何表征不准、深度渲染有伪影的问题，提出利用GS自渲染虚拟立体对、结合立体网络深度线索的自进化监督策略，在三个数据集上首次验证了其深度精度提升效果。
2024-09-11 cs.CV
Depth-guided NeRF Training via Earth Mover's Distance
Stanford University（斯坦福大学）
本文针对NeRF训练中深度先验的不确定性问题，提出使用预训练扩散模型预测深度并捕捉不确定性，并以地球移动距离监督光线终止距离分布，在深度指标上显著超越基线且保持光度性能。
2024-09-04 cs.AI cs.CV
GeoSurDepth: Harnessing Foundation Model for Spatial Geometry Consistency-Oriented Self-Supervised Surround-View Depth Estimation
State Key Laboratory of Intelligent Green Vehicle and Mobility, School of Vehicle and Mobility, Tsinghua University, Beijing 100084, China（1 智能绿色车辆与移动国家重点实验室，车辆与移动学院，清华大学，北京100084，中国）；California PATH, University of California, Berkeley, CA, United States（2 加州PATH，加州大学伯克利分校，加州，美国）
GeoSurDepth通过利用基础模型和几何一致性，实现了更鲁棒的自监督周围视图深度估计，验证了其在自动驾驶中的有效性。
2026-01-20 cs.CV
NimbleD: Enhancing Self-supervised Monocular Depth Estimation with Pseudo-labels and Large-scale Video Pre-training
University of Reading（雷丁大学）
本文提出NimbleD框架，利用大型视觉模型生成的伪标签进行监督，无需相机内参即可进行大规模视频预训练，显著提升了轻量级模型的深度估计性能，满足低延迟VR/AR应用需求。
2024-08-26 cs.CV
The Aleatoric Uncertainty Estimation Using a Separate Formulation with Virtual Residuals
The University of Tokyo（东京大学）；The University of Washington（华盛顿大学）；Nippon Telegraph and Telephone Corporation（日本电报电话公司）
提出了一种新的优化框架，用于回归问题中任意不确定性估计。现有的方法可以量化的误差在目标估计，但他们往往低估it.To获得固有的观测的预测不确定性，我们提出了一个新的可分离的制定信号的估计和其不确定性，避免过拟合的影响。通过解耦目标估计和不确定性估计，控制信号估计和不确定性估计之间的平衡。我们进行了三种类型的实验：模拟数据的回归，年龄估计，和深度估计。我们证明了所提出的方法优于一个国家的最先进的技术信号和不确定性估计。
2020-11-03 cs.CV
PIV-Based 3D Fluid Flow Reconstruction Using Light Field Camera
粒子成像测速技术（PIV）通过分析注入粒子的运动来估计流体的流动。这个问题是具有挑战性的，因为粒子位于不同的深度，但具有相似的外观，并且跟踪大量粒子特别困难。在本文中，我们提出了一种PIV解决方案，使用密集采样的光场重建和跟踪三维粒子。我们利用光场的重聚焦能力和焦点对称性约束进行可靠的粒子深度估计。我们进一步提出了一种新的运动约束光流估计方案，通过加强局部运动刚性和Navier-Stoke约束。合成和真实实验的综合实验表明，使用单个光场相机，我们的技术可以恢复小到中等体积的密集和准确的3D流体流动。
2020-03-23 cs.CV
Impact of Target and Tool Visualization on Depth Perception and Usability in Optical See-Through AR
Stanford University（斯坦福大学）；SJTU（上海交通大学）；SEU（东南大学）；HUST（华中科技大学）
本研究评估光学透视AR中目标透明度与工具可视化对深度感知和可用性的影响，发现不透明目标与真实工具遮挡能显著提升精度，建议优先跟踪与遮挡处理。
2025-08-25 cs.CV cs.GR cs.HC
SfMLearner++: Learning Monocular Depth & Ego-Motion using Meaningful Geometric Constraints
Embedded Systems and Robotics, TCS Innovation Labs（嵌入式系统与机器人技术，塔塔咨询服务公司创新实验室）；Kolkata, India（印度加尔各答）
单眼视觉里程计（VO）的大多数几何方法提供鲁棒的姿态估计，但是稀疏或半密集的深度估计。最近，深度方法通过优化图像之间的光度一致性，在从单目图像生成密集深度和VO方面表现出良好的性能。尽管是直观的，但朴素的光度损失不能确保两个视图之间的适当像素对应，这是准确深度和相对姿态估计的关键因素。众所周知，简单地最小化这样的错误容易失败。我们提出了一种使用核线约束的方法，使学习更几何声音。我们使用Nister的五点算法获得的基本矩阵，对损失进行有意义的几何约束，而不是将其用作训练的标签。我们的方法，虽然简单，但更几何意义，使用较少数量的参数，提供了一个相当的性能，以国家的最先进的方法，使用复杂的损失和大型网络显示使用极线约束的有效性。这种几何约束的学习方法即使在简单地使光度误差最小化失败的情况下也能成功地执行。
2018-12-20 cs.CV cs.RO
Depth from Dual Differential Defocus and Stereo Consensus
Purdue University（普渡大学）；Northwestern University（西北大学）
提出D^3S Consensus算法，融合散焦深度与立体视觉，在超出景深范围内实现高精度深度估计，通过物理独立线索的一致性选择可靠预测，以更小基线达到可比工作范围。
2026-06-01 cs.CV eess.IV
Geometric Constraints in Deep Learning Frameworks: A Survey
Indiana University Bloomington（印第安纳大学布卢明顿分校）
本综述系统梳理了深度学习框架中的几何约束方法，提出新分类法，并比较其在深度估计等视觉任务中的应用，展望未来研究方向。
2025-07-09 cs.AI cs.CV
Learning to Synthesize a 4D RGBD Light Field from a Single Image
University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣迭戈分校）
我们提出了一种机器学习算法，该算法将2D RGB图像作为输入，并合成4D RGBD光场（每个光线方向上场景的颜色和深度）。为了训练，我们引入了最大的公共光场数据集，包括超过3300个包含花卉和植物的场景的全光相机光场。我们的合成管道由一个卷积神经网络（CNN），估计场景的几何形状，一个阶段，渲染一个朗伯光场使用该几何形状，和第二个CNN，预测遮挡光线和非朗伯效果。我们的算法建立在最近的视图合成方法，但在预测RGBD为每个光场射线和提高无监督的单图像深度估计通过强制执行的一致性，应该相交于同一场景点的射线深度是独一无二的。请在https://youtu.be/yLCvWoQLnms上查看我们的补充视频
2017-08-10 cs.CV cs.GR
Depth Map Estimation for Free-Viewpoint Television
Poznań University of Technology（波兹南工业大学）；Chair of Multimedia Telecommunications and Microelectronics（多媒体电信与微电子学讲座（波兹南工业大学））
提出了一种新的自由视点电视（FTV）深度估计方法。估计是针对片段执行的，因此它们的大小可以用于控制深度图的质量与它们的估计的处理时间之间的权衡。该算法可以将多个任意位置的视图作为输入，同时用于产生多个视图间一致的输出深度图。所提出的深度估计方法使用新颖的并行化和时间一致性增强方法，显著减少了深度估计的处理时间。的建议进行了实验评估，在FTV的虚拟视图质量的分析的基础上。结果表明，所提出的方法提供了一个国家的最先进的方法的深度图质量的改善，同时降低了深度估计的复杂性。深度图的一致性对于合成视频的质量至关重要，因此也大大提高了在3D场景中导航的体验质量。
2019-09-05 cs.CV cs.MM
CLEAR-NeRF: Collinearity and Local-region Enhanced Accurate 3D Reconstruction in Unbounded Scenes
Ericsson Research（爱立信研究）
提出CLEAR-NeRF方法，通过自动局部区域定位、共线性射线采样、深度局部邻域点提取和几何相关颜色聚合，在无界复杂场景中实现高保真度和度量精度的三维重建。
2026-05-27 cs.CV cs.GR
Unsupervised Learning of Depth and Ego-Motion from Cylindrical Panoramic Video
Naval Research Laboratory（海军研究实验室）；California Polytechnic State University（加州州立理工大学）
我们介绍了一个卷积神经网络模型的深度和自我运动的圆柱全景视频的无监督学习。全景深度估计是虚拟现实、三维建模和自主机器人导航等应用的重要技术。与以前将卷积神经网络应用于全景图像的方法相比，我们使用圆柱全景投影，它允许使用传统的CNN层，如卷积滤波器和最大池化，而无需修改。我们对合成数据和真实数据的评估表明，对柱面全景图像进行深度和自我运动的无监督学习可以产生高质量的深度图，并且增加的视场可以提高自我运动估计的准确性。我们还介绍了Headcam，这是一种新颖的全景视频数据集，它是在城市环境中骑自行车时从头盔式摄像机收集的。
2019-10-29 cs.CV cs.LG cs.RO
Echo-Reconstruction: Audio-Augmented 3D Scene Reconstruction
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Maryland at College Park（马里兰大学帕克分校）
反射和无纹理表面（如窗户、镜子和墙壁）对于物体和场景重建来说是一个挑战。这些表面通常重建得很差，并且填充有深度不连续性和孔，使得难以内聚地重建包含这些平面不连续性的场景。我们提出了回声重建，这是一种视听方法，它使用声音的反射来帮助虚拟会议，远程沉浸和其他AR/VR体验的几何和音频重建。手机原型发出脉冲音频，同时记录视频，用于基于RGB的3D重建和视听分类。来自视频的反射声音和图像被输入到我们的音频（EchoCNN-A）和视听（EchoCNN-AV）卷积神经网络中，用于表面和声源检测、深度估计和材料分类。从这些分类的推论增强场景3D重建包含开放空间和反射表面的深度过滤，修补，并放置在场景中的未混合的声源。我们的原型、VR演示和来自具有挑战性表面和声音的真实世界和虚拟场景的实验结果表明，材料分类、深度估计和封闭/开放表面的成功率很高，从而大大改善了3D场景的视觉和音频效果（见图1）。
2021-10-05 cs.CV cs.SD eess.AS
Aug3D-RPN: Improving Monocular 3D Object Detection by Synthetic Images with Virtual Depth
当前基于几何的单目3D目标检测模型可以通过利用透视几何来有效地检测对象，但是由于缺乏准确的深度信息，它们的性能受到限制。虽然这个问题可以在基于深度的模型中得到缓解，其中在3D框推理之前插入深度估计模块以预测深度信息，但是这种模块的引入显著地降低了检测速度。而不是训练一个昂贵的深度估计，我们提出了一个渲染模块，以增加训练数据合成图像与虚拟深度。渲染模块以RGB图像及其对应的稀疏深度图像作为输入，输出各种真实感的合成图像，检测模型可以从中学习更多有区别的特征，以适应物体的深度变化。此外，我们引入了一个辅助模块，通过深度估计任务联合优化检测模型来改进检测模型。这两个模块都在训练时间内工作，不会向检测模型引入额外的计算。实验表明，通过使用我们提出的模块，基于几何的模型可以代表KITTI 3D检测基准的领先精度。
2021-07-28 cs.CV
Body Size and Depth Disambiguation in Multi-Person Reconstruction from Single Images
Institut de Robòtica i Informàtica Industrial CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息学研究所）
我们解决的问题，多人的三维身体姿势和形状估计从一个单一的图像。虽然这个问题可以通过对同一场景多次应用单人方法来解决，但最近的工作已经显示了建立在深度架构上的优点，该深度架构通过强制执行例如深度顺序约束或最小化重建体之间的相互渗透。然而，现有的方法仍然无法捕捉的大小可变性的人所造成的固有的身体规模和深度的模糊性。在这项工作中，我们通过设计一种新的优化方案来应对这一挑战，该方案通过强制所有人的脚保持在地面上来学习适当的身体比例和相对相机姿势。对MuPoTS-3D和3DPW数据集的全面评估表明，我们的方法能够稳健地估计多个人的身体平移和形状，同时检索他们的空间排列，不断提高当前的最先进水平，特别是在高度非常不同的人的场景中
2021-12-08 cs.CV
Dense 3D Facial Reconstruction from a Single Depth Image in Unconstrained Environment
Ocean University of China（中国海洋大学）；University of Portsmouth（朴茨茅斯大学）；Shandong University of Science & Technology（山东科技大学）
随着人们对3D电影、虚拟人机交互、虚拟智能体等虚拟现实应用需求的不断增长，作为虚拟现实任务的基础，三维人脸分析越来越受到人们的重视。由于由附加维度提供的信息，3D面部重建使得能够以比基于2D面部分析的那些更高的精度来实现上述任务。三维人脸模型的密度越大，它所能提供的信息就越多。然而，大多数现有的密集三维人脸重建方法需要复杂的处理和高系统成本。为此，本文提出了一种新的方法，简化了密集的3D面部重建的过程中，只采用一帧的深度数据与现成的RGB-D传感器。实验结果与真实世界的数据具有竞争力。
2017-04-24 cs.CV
Active Stereo in the Wild through Virtual Pattern Projection
University of Bologna（博洛尼亚大学）
本文提出用深度传感器替代物理投影器的虚拟图案投影主动立体范式，无需修改代码或重训练即可显著提升立体匹配的鲁棒性与准确性，并在多个数据集上取得最先进性能。
2025-07-07 cs.CV
Confidence-Aware RGB-D Face Recognition via Virtual Depth Synthesis
Inspur (Beijing) Electronic Information Industry Co., Ltd（浪潮（北京）电子信息产业有限公司）
针对RGB-D人脸识别数据采集昂贵的问题，提出利用3D形变模型生成深度数据预训练，并采用自适应置信度加权融合RGB与深度模态，在多个基准上取得最优性能。
2024-03-16 cs.CV
M3D-VTON: A Monocular-to-3D Virtual Try-On Network
Shenzhen Campus of SYSU（中山大学深圳校区）；UiT The Arctic University of Norway（挪威北极大学）；UC San Diego（加利福尼亚大学圣迭戈分校）；Momo（陌陌科技）
虚拟3D试穿可以为网上购物提供直观、逼真的视角，具有巨大的潜在商业价值。然而，现有的3D虚拟试穿方法主要依赖于标注的3D人体形状和服装模板，这阻碍了它们在实际场景中的应用。2D虚拟试穿方法提供了一种更快的替代方案来操纵穿着衣服的人，但缺乏丰富和逼真的3D表示。在本文中，我们提出了一种新的单眼到三维虚拟试用网络（M3 D-VTON），建立在二维和三维方法的优点。通过有效地集成2D信息和学习将2D表示提升到3D的映射，我们首次尝试仅以目标服装和人物图像作为输入来重建3D试穿网格。提出的M3 D-VTON包括三个模块：1）单目预测模块（MPM），其估计初始全身深度图并通过新颖的两阶段变形过程实现2D衣服-人对准; 2）深度细化模块（DRM），其细化初始身体深度以产生更详细的褶皱和面部特征; 3）纹理融合模块（TFM），其将变形的衣服与非目标身体部位融合以细化结果。我们还构建了一个高质量的合成Monocular到3D虚拟试穿数据集，其中每个人的图像都与正面和背面的深度图相关联。大量的实验表明，所提出的M3 D-VTON可以操纵和重建三维人体穿着给定的服装与引人注目的细节，是比其他3D方法更有效。
2021-08-11 cs.CV
Revisiting Depth Completion from a Stereo Matching Perspective for Cross-domain Generalization
University of Bologna（博洛尼亚大学）
针对深度补全的域偏移问题，提出一种基于虚拟图案投影生成虚构立体对、可兼容各类立体匹配器的框架，经跨域实验验证有效，可拓展深度补全的部署场景。
2023-12-14 cs.CV
DuCos: Duality Constrained Depth Super-Resolution via Foundation Model
National University of Singapore（国立新加坡大学）；Nanjing University of Science and Technology（南京理工大学）
该研究提出基于拉格朗日对偶理论的深度超分辨率框架DuCos，以基础模型为提示，通过相关融合（CF）和梯度调节（GR）组件提升准确性、鲁棒性及跨场景泛化能力，实验证明其优于现有先进方法。
2025-08-20 cs.CV
Efficient Virtual View Selection for 3D Hand Pose Estimation
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba（阿里巴巴）；Simon Fraser University（西蒙弗雷泽大学）；Google（谷歌）
基于单深度的三维手位估计是计算机视觉中的一个基本问题，具有广泛的应用前景，但由于视角变化和人手遮挡等因素的影响，现有的手位估计方法仍不能获得满意的结果。在本文中，我们提出了一个新的虚拟视图选择和融合模块，从单一深度的3D手姿态估计。我们提出了自动选择多个虚拟视点的姿态估计和融合的结果，并发现这经验提供准确和鲁棒的姿态估计。为了选择最有效的虚拟视图进行位姿融合，我们评估的虚拟视图的信任度的基础上，使用一个轻量级的网络，通过网络蒸馏。在NYU、ICVL和Hands 2019三个主要基准数据集上的实验表明，我们的方法在NYU和ICVL上的性能优于最先进的方法，在Hands 2019-Task 1上的性能也非常有竞争力，我们提出的虚拟视图选择和融合模块对3D手部姿态估计都是有效的。
2022-03-29 cs.CV
GeoFlow: Enforcing Implicit Geometric Consistency in Video Generation
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
本文提出GeoFlow，一种通过强化学习微调来增强视频生成中几何一致性的方法，通过引入几何一致性奖励，有效减少时间上的几何伪影，同时保持感知质量。
2026-05-18 cs.CV
Temporally Consistent Depth Prediction with Flow-Guided Memory Units
Yonsei University（延世大学）
从单目视频序列预测深度是自动驾驶的重要任务。尽管在过去几年中已经有了相当大的进步，但最近基于卷积神经网络（CNN）的方法丢弃了视频序列中的时间相干性，并独立地为每个帧估计深度，这通常导致不期望的随时间不一致的结果。为了解决这个问题，我们建议记住视频序列中的时间一致性，并利用它进行深度预测。为此，我们引入了一个具有流引导内存模块的双流CNN，其中每个流分别编码视觉和时间特征。使用卷积门控递归单元（ConvGRUs）实现的存储器模块顺序地输入视觉和时间特征以及针对我们的任务定制的光流。它有选择地记忆各个特征的轨迹，并随着时间的推移传播空间信息，使预测结果具有长期的时间一致性。我们评估我们的方法在KITTI基准数据集上的深度预测精度，时间一致性和运行时间，并实现了一个新的艺术状态。我们还提供了一个广泛的实验分析，清楚地证明了我们的方法的有效性，以记忆时间一致性的深度预测。
2019-09-16 cs.CV
Unsupervised Learning of Depth and Ego-Motion from Cylindrical Panoramic Video with Applications for Virtual Reality
Naval Research Laboratory（海军研究实验室）；California Polytechnic State University, San Luis Obispo（加州州立理工大学圣路易斯奥比斯波分校）
我们介绍了一个卷积神经网络模型的深度和自我运动的圆柱全景视频的无监督学习。全景深度估计是虚拟现实、三维建模和自主机器人导航等应用中的重要技术。与以前将卷积神经网络应用于全景图像的方法相比，我们使用圆柱全景投影，它允许使用传统的CNN层，如卷积滤波器和最大池化，而无需修改。我们对合成数据和真实数据的评估表明，对柱面全景图像进行深度和自我运动的无监督学习可以产生高质量的深度图，并且增加的视场可以提高自我运动估计的准确性。我们创建了两个新的数据集来评估我们的方法：一个是使用CARLA模拟器创建的合成数据集，另一个是Headcam，这是一个在城市环境中骑自行车时从头盔摄像头收集的全景视频的新数据集。我们还将我们的网络转换为立体声的单目camas的问题。
2020-11-10 cs.CV cs.LG cs.RO
Mixed Reality Depth Contour Occlusion Using Binocular Similarity Matching and Three-dimensional Contour Optimisation
Intelligent Media Institute, Communication University of Zhejiang（浙江传媒学院智能媒体研究院）；Key Lab of Film and TV Media Technology of Zhejiang Province（浙江省影视媒体技术重点实验室）；Software Engineering School, Zhejiang University（浙江大学软件学院）
混合现实应用通常需要被真实对象部分遮挡的虚拟对象。然而，以前的研究和商业产品在性能和效率方面存在局限性。为了解决这些挑战，我们提出了一种新的深度轮廓遮挡（DCO）算法。该方法是基于轮廓遮挡的敏感性和双目立体视觉装置。在该方法中，深度轮廓图与从两阶段自适应滤波区域立体匹配算法获得的稀疏深度图和通过数字图像稳定光流方法提取的对象的深度轮廓信息相结合。我们还提出了一个二次优化模型与三个约束，以生成一个准确的密集地图的深度轮廓高品质的真实虚拟遮挡。整个过程由GPU加速。为了评估算法的有效性，我们展示了DCO算法执行的每个阶段的时间消耗统计分析。为了验证真实-虚拟遮挡效果的可靠性，我们对单侧、封闭和复杂遮挡进行了实验分析;随后，我们将其与没有二次优化的遮挡方法进行了比较。在GPU上实现了实时DCO，实验结果表明，该DCO算法能够有效地提高实时性和真实-虚拟遮挡的视觉质量。
2022-03-04 cs.CV cs.LG
Self-Supervised Learning of Depth and Ego-motion with Differentiable Bundle Adjustment
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
学习仅从RGB输入预测场景深度和相机运动是一项具有挑战性的任务。大多数现有的基于学习的方法以监督的方式处理该任务，这需要获取昂贵的地面实况数据。最近的方法探索了在自监督学习框架中估计场景深度和相机姿态的可能性。尽管令人鼓舞的结果显示，当前的方法要么学习从单眼视频的深度和姿势，通常这样做，而不强制执行场景结构和相机运动之间的多视图几何约束，或需要立体序列作为输入，其中地面实况帧间运动参数需要是已知的。在本文中，我们建议通过最小化特征度量误差来结合可微束调整（BA）层来联合优化场景深度和相机运动，然后形成具有视图合成的光度一致性损失作为最终的监督信号。所提出的方法只需要未标记的单目视频作为输入，在KITTI和Cityscapes数据集上进行的大量实验表明，我们的方法在使用单目视频作为输入的自监督方法中取得了最先进的结果，甚至比从校准的立体序列（即姿势监督）中学习的方法更有优势。
2019-09-28 cs.CV
Inter-View Depth Consistency Testing in Depth Difference Subspace
Tobii AB (publ)（托比股份公司）；KTH Royal Institute of Technology（KTH皇家理工学院）
多视点深度成像将在自由视点电视中发挥关键作用。该技术需要高质量的虚拟视图合成，以使观众能够在动态的现实世界场景中自由移动。不同视点的深度图像用于合成任意数量的新颖视图。通常，在多个视点的深度图像估计单独的立体匹配算法，因此，缺乏采访的一致性。这种不一致性会对视图合成的质量产生负面影响。提出了一种在深度差子空间中进行深度一致性检验的方法，以增强场景在多视点间的深度表示。此外，我们提出了一个视图合成算法，使用所获得的一致性信息，以提高在任意视点的虚拟视图的视觉质量。我们的方法可以帮助我们找到一个线性子空间，我们的深度差测量，我们可以有效地测试视图间的一致性。有了这个，我们的方法是能够增强现实世界场景的深度信息。结合我们的一致性自适应视图合成，我们提高了自由视点用户的视觉体验。实验表明，我们的方法提高了高达1.4 dB的虚拟视图的客观质量。主观质量的优势也被证明。
2023-01-27 cs.CV cs.MM eess.IV
Enforcing View-Consistency in Class-Agnostic 3D Segmentation Fields
EPFL（洛桑联邦理工学院）
本文提出一种在类无关3D分割场中强制视图一致性的方法，通过引入空间正则化项和限制竞争对象槽数量，直接学习分割场，实现对不一致掩码的鲁棒性，成功生成3D全景分割并提取高质量3D资产。
2025-04-03 cs.CV cs.GR
DiST-4D: Disentangled Spatiotemporal Diffusion with Metric Depth for 4D Driving Scene Generation
Megvii（旷视科技）；Mach Drive
针对4D驾驶场景生成中时空合成难以兼顾的问题，提出以度量深度为核心几何表示的解耦时空扩散框架DiST-4D，通过两个扩散子模块分别处理时间预测与空间新视角合成，在两类任务及规划评估中表现优异。
2025-03-19 cs.CV
RayOcc: Occlusion-Aware Ray Occupancy Estimation via Gaussian Mixture Intensity
School of Electrical Engineering, Kookmin University（韩国建国大学电气工程学院）
研究针对仅相机的3D语义占有率预测中因深度模糊和遮挡带来的挑战，提出RayOcc框架。该框架将光线建模为多标签存在预测，通过估计高斯混合强度及转换为占有率概率，初始化高斯基元进行语义占有率预测，在nuScenes基准测试中取得最优成绩。
2026-07-21 cs.CV
Perspective-aware Convolution for Monocular 3D Object Detection
National Taiwan University（国立台湾大学）
针对单目3D目标检测中仅靠图像线索难预测深度的问题，提出感知视角卷积层，沿像素深度轴提取特征融入透视信息，在KITTI3D简单基准达23.9%平均精度，提升检测精度。
2023-08-24 cs.CV
