Combining Deep and Depth: Deep Learning and Face Depth Maps for Driver Attention Monitoring
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
最近,深度学习方法在计算机视觉的各个领域取得了令人鼓舞的成果。在本文中,我们研究了基于深度学习的方法和深度图作为输入图像的组合,以解决驾驶员注意力监测的问题。此外,我们假设注意力的概念作为头部姿态估计和面部标志检测任务。与文献中的其他提议不同,所提出的系统能够直接工作并且仅基于原始深度数据。所有提出的方法都在两个新的公共数据集上进行了训练和测试,即Pandora和MotorMark,实现了最先进的结果,并具有实时的性能。
2018-12-14 cs.CV
Monocular Depth Estimation Based On Deep Learning: An Overview
East China University of Science and Technology(华东理工大学)
深度信息对于自主系统感知环境和估计其自身状态是重要的。传统的深度估计方法,如运动恢复结构和立体视觉匹配,是建立在多个视点的特征对应关系。同时,预测的深度图是稀疏的。从单个图像推断深度信息(单目深度估计)是不适定问题。随着深度神经网络的快速发展,基于深度学习的单目深度估计近年来得到了广泛的研究,并在精度方面取得了很好的表现。同时,通过深度神经网络以端到端的方式从单个图像估计密集深度图。为了提高深度估计的精度,本文提出了不同的网络结构、损失函数和训练策略。因此,本文综述了当前基于深度学习的单目深度估计方法。首先,我们总结了几个在基于深度学习的深度估计中广泛使用的数据集和评价指标。此外,我们回顾了一些有代表性的现有方法,根据不同的训练方式:监督,无监督和半监督。最后,我们讨论了单目深度估计的挑战,并为未来的研究提供了一些想法。
2020-07-03 cs.CV
Just-in-Time Reconstruction: Inpainting Sparse Maps using Single View Depth Predictors as Priors
The University of Adelaide(阿德莱德大学);Australian Center for Robotic Vision(澳大利亚机器人视觉中心);Monash University(莫纳什大学)
我们提出了“即时重建”作为实时图像引导修复的地图与任意规模和稀疏生成一个完全密集的深度图的图像。特别是,我们的目标是使用单视图深度预测网络作为虚拟深度传感器,对从单目视觉SLAM系统或稀疏传感器获得的稀疏地图进行修补。我们采用了一种相当标准的数据融合方法,通过在一个新的全连接条件随机场(CRF)上执行推理来产生融合的深度图,该CRF由输入深度图及其像素置信度权重参数化。至关重要的是,我们通过卷积神经网络(CNN)以数据依赖的方式获得了参数化CRF模型的置信度权重,该CNN被训练为在给定每个输入深度图和相关RGB图像的源的情况下对条件深度误差分布进行建模。我们的CRF模型惩罚其节点中的绝对深度误差和其边缘中的成对尺度不变深度误差,并且基于置信度的融合最大限度地减少了离群输入深度值对融合结果的影响。我们展示了我们的方法的灵活性,通过实时修复的ORB-SLAM,Kinect和激光雷达深度图获得在室内和室外任意规模和不规则的稀疏量。
2018-05-11 cs.CV
PENet: Towards Precise and Efficient Image Guided Depth Completion
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院);Hisilicon, Huawei(华为海思)
图像引导深度完成是从稀疏深度图和高质量图像生成密集深度图的任务。在这个任务中,如何融合颜色和深度模态在实现良好的性能方面起着重要的作用。本文提出了一种由颜色主导分支和深度主导分支组成的两分支主干,以充分利用和融合两种模态。更具体地,一个分支输入彩色图像和稀疏深度图以预测密集深度图。另一个分支将稀疏深度图和先前预测的深度图作为输入,并且也输出密集深度图。从两个分支预测的深度图彼此互补,因此它们被自适应地融合。此外,我们还提出了一个简单的几何卷积层来编码3D几何线索。几何编码的主干在多个阶段进行不同模态的融合,导致良好的深度完成结果。我们进一步实现了一个扩张和加速的CSPN++,以有效地细化融合的深度图。提交时,建议的完整模型在KITTI深度完成在线排行榜中排名第一。它也比大多数排名靠前的方法推断快得多。这个工作的代码可以在https://github.com/JUGGHM/PENet_ICRA2021上找到。
2021-03-18 cs.CV
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich(慕尼黑工业大学);Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移,并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中,我们提出利用深单目深度预测,以克服基于几何的单目视觉里程计的局限性。为此,我们将深度预测直接稀疏测距法(DSO)作为直接的虚拟立体测量。对于深度预测,我们设计了一种新的深度网络,它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外,我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能,同时仅依赖于单个相机。
2018-07-25 cs.CV
Fast and Accurate Optical Flow based Depth Map Estimation from Light Fields
Trinity College Dublin(都柏林圣三一学院)
深度图估计是计算机视觉中的关键任务,并且最近出现了利用光场的新方法,因为与基于立体图像或多视图的常见方法相比,这种新的成像模态捕获关于光线的角方向的更多信息。本文在现有的光流估计方法的基础上,提出了一种新的基于光场的深度估计方法。将光流估计器应用于沿光场的角度维度拍摄的图像序列,这产生若干视差图估计。考虑到准确性和效率,我们选择特征流方法作为我们的光流估计。由于其时空边缘感知滤波特性,我们获得的不同视差图估计非常一致,这允许快速简单的聚合步骤来创建单个视差图,然后可以将其转换为深度图。由于视差图估计是一致的,我们还可以从每个视差估计创建深度图,然后在3D空间中聚合不同的深度图以创建单个密集深度图。
2020-08-11 cs.CV
Semi-Supervised Deep Learning for Monocular Depth Map Prediction
RWTH Aachen University(亚琛工业大学)
受监督的深度学习经常受到缺乏足够的训练数据的困扰。具体地,在单目深度图预测的上下文中,几乎不可能在现实的动态户外环境中确定密集的地面实况深度图像。例如,当使用LiDAR传感器时,距离测量中存在噪声,传感器之间的校准不可能是完美的,并且测量通常比相机图像稀疏得多。在本文中,我们提出了一种新的方法来从单目图像中预测深度图,以半监督的方式学习。虽然我们使用稀疏地面实况深度进行监督学习,但我们也使用直接图像对齐损失来强制我们的深度网络在立体设置中产生照片一致性密集深度图。在实验中,我们展示了优越的性能,从单个图像的深度图预测相比,国家的最先进的方法。
2017-05-09 cs.CV
A Two-Streamed Network for Estimating Fine-Scaled Depth Maps from Single RGB Images
University of Bonn(波恩大学);National University of Defense Technology(国防科技大学)
从单个RGB图像估计深度是一个不适定且固有模糊的问题。最先进的深度学习方法现在可以估计准确的2D深度图,但是当地图投影到3D时,它们缺乏局部细节并且通常高度失真。我们提出了一种快速训练的双流CNN,它预测深度和深度梯度,然后将它们融合在一起,形成一个准确而详细的深度图。我们还定义了一种新的多图像集损失;通过正则化一组常见图像之间的估计,该网络不太容易过度拟合,并且比竞争方法实现了更好的准确性。在NYU Depth v2数据集上的实验表明,我们的深度预测与最先进的技术相比具有竞争力,并导致了忠实的3D投影。
2017-12-04 cs.CV
Learning to Generate Facial Depth Maps
Department of Engineering “Enzo Ferrari”(恩佐·法拉利工程系);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);via Vivarelli 10, Modena 41125, Italy(意大利摩德纳维瓦雷利街10号,41125)
本文提出了一种基于单目亮度图像的人脸深度图估计的对抗性结构。通过遵循图像到图像的方法,我们结合了监督学习和对抗训练的优势,提出了一种条件生成对抗网络,它可以有效地学习将强度人脸图像转换为相应的深度图。利用两个公共数据集,即Biwi数据库和Pandora数据集,证明该模型生成高质量的合成深度图像,无论是在视觉外观和信息内容方面。此外,我们表明,该模型能够预测独特的面部细节,通过测试生成的深度图,通过一个深度模型训练真实的深度图的面部验证任务。
2018-05-30 cs.CV
SGTBN: Generating Dense Depth Maps from Single-Line LiDAR
深度完成的目的是从稀疏深度图和对齐的RGB图像生成密集深度图。然而,目前的深度完成方法使用极其昂贵的64线LiDAR(约10万美元)来获得稀疏的深度图,这将限制其应用场景。与64线激光雷达相比,单线激光雷达的成本要低得多,而且更耐用。因此,我们提出了一种方法来解决单线深度完成的问题,其中我们的目标是从单线LiDAR信息和对齐的RGB图像生成密集的深度图。在现有64线深度完井数据集(KITTI)的基础上,提出了一种单线深度完井数据集。提出了一种语义引导双分支网络(SGTBN),它包含全局和局部分支,用于提取和融合全局和局部信息。在我们的网络中使用语义引导的深度上采样模块,以充分利用RGB图像中的语义信息。除了通常的MSE损失外,我们还增加了虚拟法线损失,以增加网络中高阶3D几何的约束。我们的网络在单线深度完井任务中的表现优于最先进的水平。此外,与单目深度估计相比,该方法在精度和模型大小上也有明显的优势。
2021-06-24 cs.CV
Adaptive confidence thresholding for monocular depth estimation
Ewha W. University(梨花女子大学);Yonsei University(延世大学);Korea Aerospace University(韩国航空大学);Korea University(高丽大学)
自监督单目深度估计已成为缺乏地面实况标签的一种有吸引力的解决方案,但其重建损失通常会产生跨对象边界的过度平滑结果,并且无法显式处理遮挡。在本文中,我们提出了一种新的方法来利用伪地面实况深度图的立体图像生成的自监督立体匹配方法。伪地面实况深度图的置信度图被估计以减轻由不准确的伪深度图引起的性能退化。为了应对置信度图本身的预测误差,我们还利用阈值网络,该阈值网络根据伪深度图动态学习阈值。由阈值置信图过滤出的伪深度标签用于监督单目深度网络。此外,我们提出了概率框架,通过像素自适应卷积(PAC)层的不确定性图的帮助下,细化单目深度图。实验结果表明,性能优越的国家的最先进的单眼深度估计方法。最后,我们展示了所提出的阈值学习也可以用来提高现有的置信度估计方法的性能。
2021-08-23 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu(奥卢大学);Aalto University(阿尔托大学)
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器(如Microsoft Kinect)生成,深度图都有噪声,并且可能具有较差的初始配准。在本文中,我们介绍了一种方法,这是能够处理离群值,特别是,甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中,以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后,将原始深度图重新配准到融合点云以细化原始相机外部参数。然后,再次使用细化的外部参数执行融合。重复此过程,直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
Multi-Scale Progressive Fusion Learning for Depth Map Super-Resolution
South China University of Technology(华南理工大学);University of Manchester(曼彻斯特大学)
受成本和技术的限制,深度相机采集的深度图的分辨率往往低于其关联的RGB相机。虽然对RGB图像超分辨率(SR)的研究已经很多,但深度图超分辨率的一个主要问题是会有明显的锯齿状边缘和过多的细节丢失。为了解决这些困难,在这项工作中,我们提出了一个多尺度渐进融合网络的深度图SR,它具有渐进的结构,以整合不同领域的层次特征。给定一个低分辨率(LR)深度图及其相关的高分辨率(HR)彩色图像,我们利用两个不同的分支来实现多尺度特征学习。接下来,我们提出了一种逐步融合策略来恢复HR深度图。最后,引入多维损失来约束清晰的边界和细节。大量的实验表明,我们提出的方法产生了改进的结果对国家的最先进的方法,定性和定量。
2020-11-24 cs.CV
Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS Erlangen(弗劳恩霍夫研究所埃朗根)
本文提出通过多视角可微渲染优化,提升单目深度图的精度与一致性,实现更高质量的深度估计。
2025-09-03 cs.CV
Depth Estimation maps of lidar and stereo images
The Australian National University(澳大利亚国立大学)
本文作为技术报告,重点介绍了基于激光雷达数据和立体图像(前左和前右)的深度估计的评估和性能。激光雷达三维云数据和立体图像由福特公司提供。此外,本文还将对深度估计性能优化的一些细节进行说明。还有一些原因是为什么不用机器学习来做深度估计,而用纯数学来做立体深度估计。本文的结构如下:(1)性能:讨论和评价由立体图像和三维云点生成的深度图,以及对齐和误差的关系分析;(2)立体图像的深度估计:说明如何利用立体图像估计深度的方法;(3)激光雷达的深度估计:说明如何利用三维云数据估计深度的方法;总之,本报告主要是展示深度图的性能及其方法,并对它们进行分析。
2022-12-22 cs.CV
A Joint Intensity and Depth Co-Sparse Analysis Model for Depth Map Super-Resolution
Technische Universität München(慕尼黑工业大学)
高分辨率深度图可以从低分辨率深度测量和同一场景的附加高分辨率强度图像推断。为此,我们引入了一个双峰共稀疏分析模型,它能够捕获注册的强度和深度信息的相互依赖性。该模型是基于这样的假设,即对应的双峰图像结构的共同支持对齐时,由一对合适的分析算子计算。不存在这样的运营商的分析形式,我们提出了一种方法来学习他们从一组注册的训练信号。这个学习过程是离线完成的,并返回一个普遍适用于自然场景的双峰分析算子。我们利用这一点,利用双峰共稀疏分析模型作为解决逆问题的先验,这导致了一个有效的算法深度图超分辨率。
2013-04-19 cs.CV
Panoptic-Depth Color Map for Combination of Depth and Image Segmentation
National Taiwan University(国立台湾大学)
针对自动驾驶场景,提出深度学习网络Panoptic-DepthLab,通过在分割网络中加入深度估计分支实现带深度的实例分割,在Cityscape数据集验证有效,为多任务结合提升自动驾驶安全提供新思路。
2023-08-24 cs.CV
Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised Monocular Depth Estimation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
自监督的单目深度估计,旨在学习场景深度从单一的图像在一个自我监督的方式,近年来受到了广泛的关注。尽管最近在这一领域的努力,如何学习准确的场景深度和减轻遮挡的负面影响,自我监督的深度估计,仍然是一个悬而未决的问题。针对这一问题,我们首先实证分析了连续和离散深度约束的影响,这是广泛使用的训练过程中的许多现有的作品。然后,受上述实证分析的启发,我们提出了一种新的网络来学习用于自监督单目深度估计的遮挡感知的Coarse-to-Fine Depth map,称为OCFD-Net。给定一个任意的立体图像对训练集,所提出的OCFD-Net不仅采用离散深度约束来学习粗层次的深度图,而且还采用连续深度约束来学习场景深度残差,从而得到细层次的深度图。此外,在OCFD-Net下设计了一个遮挡感知模块,该模块能够提高学习的精细级深度图处理遮挡的能力。KITTI上的实验结果表明,在大多数情况下,该方法优于比较国家的最先进的方法在七个常用的指标。此外,在Make 3D上的实验结果表明,该方法在四种常用度量下的跨数据集泛化能力是有效的.该代码可在https://github.com/ZM-Zhou/OCFD-Net_pytorch上获得。
2022-09-15 cs.CV
CNN-SVO: Improving the Mapping in Semi-Direct Visual Odometry Using Single-Image Depth Prediction
University of Alberta(阿尔伯塔大学);Universiti Putra Malaysia(马来西亚博特拉大学)
帧间可靠的特征对应是视觉里程计(VO)和视觉同时定位与地图构建(V-SLAM)算法的关键步骤。与现有的VO和V-SLAM算法相比,半直接视觉里程计(SVO)具有两个主要优点,导致最先进的帧速率相机运动估计:直接像素对应和概率映射方法的有效实现。本文根据单图像深度预测网络的深度预测,通过初始化特征位置处深度的均值和方差,改进了SVO映射。通过显著地减少初始化地图点的深度不确定性(即,以深度预测为中心的小方差),益处是双重的:视图之间的可靠特征对应以及快速收敛到真实深度以便创建新的映射点。我们用两个室外数据集:KITTI数据集和Oxford Robotcar数据集来评估我们的方法。实验结果表明,改进后的SVO映射方法提高了鲁棒性和摄像机跟踪精度。
2018-10-01 cs.CV
V-FUSE: Volumetric Depth Map Fusion with Long-Range Constraints
Stevens Institute of Technology(史蒂文斯理工学院)
提出V-FUSE学习框架,通过体视长程可见性约束与深度搜索窗口估计子网络,端到端融合并提升MVS深度图和置信度图,无需手动调参且精度显著提高。
2023-08-17 cs.CV
Obtaining Depth Maps From Color Images By Region Based Stereo Matching Algorithms
本文提出了一种基于区域的立体匹配算法,用于从双色立体图像对中提取深度信息。为了提高视差图的可靠性,采用了一种消除不可靠视差估计的滤波器。通过算法得到的结果表示和比较。
2009-02-03 cs.CV
Understanding Depth Map Progressively: Adaptive Distance Interval Separation for Monocular 3d Object Detection
Fudan University(复旦大学);Baidu Inc.(百度公司)
提出自适应距离间隔分离网络(ADISN),将深度图按距离划分为子图并作为图像处理,结合不确定性模块和双分支学习,提升单目3D目标检测性能。
2023-06-19 cs.CV
DeepLiDAR: Deep Surface Normal Guided Depth Prediction for Outdoor Scene from Sparse LiDAR Data and Single Color Image
Google(谷歌);UESTC(电子科技大学);Megvii Technology(旷视科技);ETH Zürich(苏黎世联邦理工学院);Microsoft(微软)
在本文中,我们提出了一种深度学习架构,该架构可以从单色图像和稀疏深度中为户外场景生成精确的密集深度。受室内深度补全的启发,我们的网络估计表面法线作为中间表示,以产生密集的深度,并且可以端到端训练。通过改进的编码器-解码器结构,我们的网络有效地融合了密集的彩色图像和稀疏的LiDAR深度。为了解决室外特定的挑战,我们的网络预测了一个置信度掩模来处理由于遮挡而导致的前景边界附近的混合LiDAR信号,并将彩色图像和表面法线的估计与学习的注意力图相结合,以提高深度精度,特别是对于遥远的区域。大量的实验表明,我们的模型提高了国家的最先进的KITTI深度完成基准的性能。消融研究表明,每个模型组件的最终性能的积极影响,综合分析表明,我们的模型推广到输入具有较高的稀疏性或从室内场景。
2019-04-09 cs.CV
Depth Reconstruction of Translucent Objects from a Single Time-of-Flight Camera using Deep Residual Networks
Yonsei University(延世大学)
我们提出了一种新的方法来恢复半透明物体从一个单一的飞行时间(ToF)深度相机使用深残差网络。当使用ToF深度相机记录半透明对象时,由于与周围环境的复杂光交互,它们的深度值受到严重污染。虽然现有的方法建议新的捕获系统或开发的深度失真模型,他们的解决方案是不太实际的,因为严格的假设或沉重的计算复杂性。在本文中,我们采用深残差网络建模的ToF深度失真造成的不透明。为了充分利用目标的局部信息和语义信息,采用多尺度面片来预测深度值。基于我们的基准数据库的定量和定性评价,我们证明了该算法的有效性和鲁棒性。
2018-09-28 cs.CV
Estimating Depth from Monocular Images as Classification Using Deep Fully Convolutional Residual Networks
The University of Adelaide(阿德莱德大学)
单目图像深度估计是场景理解的关键组成部分,最近在很大程度上受益于深度卷积神经网络(CNN)。在本文中,我们利用最近的深度残差网络,并提出了一种简单而有效的方法来解决这个问题。我们将深度估计公式化为逐像素分类任务。具体来说,我们首先将连续深度值离散化为多个bin,并根据其深度范围标记bin。然后,我们训练完全卷积的深度残差网络来预测每个像素的深度标签。执行离散深度标签分类而不是连续深度值回归允许我们以概率分布的形式预测置信度。我们进一步应用全连接条件随机场(CRF)作为后处理步骤,以加强局部平滑交互,从而改善结果。我们在室内和室外数据集上评估了我们的方法,并实现了最先进的性能。
2017-08-11 cs.CV
Deeply Supervised Depth Map Super-Resolution as Novel View Synthesis
Shandong University(山东大学);Baidu Research(百度研究院);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);Northwestern Polytechnical University(西北工业大学)
深度卷积神经网络(DCNN)已成功应用于深度图超分辨率,并大大优于现有方法。然而,这些基于DCNN的深度图超分辨率方法仍然存在阻碍性能的两个主要问题:i)低分辨率深度图需要在馈送到网络中之前被上采样,或者必须使用大量的去卷积;(二)监督(高分辨率深度图)仅应用于网络的末端,因此难以处理大的上采样因子,诸如$\times 8, \times 16$。在本文中,我们提出了一个新的框架来解决上述问题。首先,我们提出将深度图超分辨率的任务表示为一系列新颖的视图合成子任务。新的视图合成子任务旨在从不同的相机姿态生成(合成)深度图,这可以并行学习。其次,为了处理大的上采样因子,我们提出了一种深度监督的网络结构,以在网络的每个阶段实施强监督。第三,提出了一种多尺度融合策略,以有效地利用不同尺度的特征图,并处理块效应。以这种方式,我们提出的框架可以在大的上采样因子(例如,$\times 8, \times 16$)下有效地处理具有挑战性的深度图超分辨率。该方法只使用低分辨率的深度图作为输入,不需要彩色图像的支持,大大降低了该方法的限制。在各种基准数据集上的大量实验表明,我们的方法优于当前最先进的深度图超分辨率方法。
2018-08-27 cs.CV
BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation
Beijing Jiaotong University(北京交通大学);UISEE Technology (Beijing) Co., Ltd.(UISEE科技(北京)有限公司);City University of Hong Kong(香港城市大学)
深度图超分辨率是业界实际应用要求很高的任务。现有的颜色引导的深度图超分辨率重建方法通常需要额外的分支从RGB图像中提取高频细节信息来指导低分辨率的深度图重建。然而,由于这两种模态之间仍然存在一些差异,在特征维度或边缘图维度上的直接信息传输不能达到令人满意的结果,甚至可能在RGB-D对的结构不一致的区域中触发纹理复制。受多任务学习的启发,提出了一种深度图超分辨率(DSR)和单目深度估计(MDE)的联合学习网络,该网络不引入额外的监督标签。对于两个子网络的交互,我们采用了差异化的引导策略,并相应地设计了两个桥。一个是为特征编码过程设计的高频注意桥(HABdg),它学习MDE任务的高频信息来指导DSR任务。另一个是为深度图重建过程设计的内容引导桥(CGBdg),它为MDE任务提供从DSR任务中学习到的内容引导。整个网络架构是高度可移植的,可以提供一个范例,用于关联DSR和MDE任务。在基准数据集上的大量实验表明,我们的方法具有竞争力的性能。我们的代码和模型可以在https://rmcong.github.io/proj_BridgeNet.html上找到。
2021-07-27 cs.CV
3D hierarchical optimization for Multi-view depth map coding
随着高分辨率3D传感器的普及,深度数据得到了广泛的应用。在多视图序列中,深度信息用于补充每个视图的颜色数据。本文提出了一种具有唯一表示的多个深度图的联合编码。每个视图的彩色和深度图像被独立分割,并以最佳率失真方式组合。所得到的分区被投影到参考视图,在参考视图中构建用于多个视图的连贯层次。采用率失真优化算法对分层结构中的节点进行选择,得到最终的分割结果。一致分割用于对多个视图的深度图进行鲁棒编码,从而获得与HEVC编码标准竞争的结果。可从以下网址获得:http://link.springer.com/article/10.1007/s11042-017-5409-z
2019-11-01 cs.CV
Multi-resolution Monocular Depth Map Fusion by Self-supervised Gradient-based Composition
National University of Defense Technology(国防科技大学)
单目深度估计是一个具有挑战性的问题,深度神经网络在这方面表现出巨大的潜力。然而,由于卷积运算和网络中的下采样,现有深度模型预测的深度图通常缺乏细粒度的细节。我们发现,增加输入分辨率有助于保持更多的局部细节,而在低分辨率的估计是更准确的全局。因此,我们提出了一种新的深度图融合模块,结合多分辨率输入的估计的优点。我们采用泊松融合的核心思想,试图将高分辨率深度的梯度域植入到低分辨率深度中,而不是将低分辨率和高分辨率的估计相等地合并。虽然经典的泊松融合需要一个融合掩模作为监督,我们提出了一个自监督框架的基础上引导图像滤波。我们证明了这种基于梯度的组合在噪声免疫方面的表现要好得多,与最先进的深度图融合方法相比。我们的轻量级深度融合是一次性的,并实时运行,使我们的方法比最先进的深度融合方法快80倍。定量评估表明,所提出的方法可以集成到许多完全卷积的单目深度估计骨干具有显着的性能提升,导致国家的最先进的结果的细节增强深度图。
2022-12-03 cs.CV
Learning Depth from Single Monocular Images Using Deep Convolutional Neural Fields
The University of Adelaide(阿德莱德大学)
在这篇文章中,我们解决了从单目图像的深度估计的问题。与使用多个图像的深度估计(诸如立体深度感知)相比,来自单目图像的深度更具挑战性。以前的工作通常集中在利用几何先验或额外的信息源,大多数使用手工制作的功能。最近,越来越多的证据表明,深度卷积神经网络(CNN)的特征为各种视觉应用创造了新的记录。另一方面,考虑到深度值的连续特性,深度估计可以自然地被公式化为连续条件随机场(CRF)学习问题。因此,在这里,我们提出了一个深度卷积神经场模型,用于从单个单目图像中估计深度,旨在联合探索深度CNN和连续CRF的能力。特别是,我们提出了一种深度结构化学习方案,该方案在统一的深度CNN框架中学习连续CRF的一元和成对势。然后,我们进一步提出了一个同样有效的模型,基于全卷积网络和一种新的超像素池化方法,它是$\sim 10$倍快,以加速深度模型中的逐块卷积。通过这种更高效的模型,我们能够设计更深入的网络,以追求更好的性能。在室内和室外场景数据集上的实验表明,该方法的性能优于最先进的深度估计方法。
2015-11-25 cs.CV
Constraining Depth Map Geometry for Multi-View Stereo: A Dual-Depth Approach with Saddle-shaped Depth Cells
Huazhong University of Science and Technology(华中科技大学)
针对现有多视图立体方法忽略深度几何结构的问题,提出由鞍形单元构成的理想深度几何,构建Dual-MVSNet框架,通过双深度预测、新型损失与棋盘选择策略约束深度几何,在多个基准上取得优异性能并开辟新研究方向。
2023-07-18 cs.CV
FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for Depth Completion
Zhejiang University(浙江大学);Baidu Research(百度研究院);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
深度补全的目的是从稀疏深度图中恢复密集深度图,并将相应的彩色图像作为输入。最近的方法主要将深度完成制定为一个阶段的端到端学习任务,直接输出密集的深度图。然而,单阶段框架中的特征提取和监督是不够的,限制了这些方法的性能。为了解决这个问题,我们提出了一种新的端到端剩余学习框架,它将深度完成制定为两阶段学习任务,即,稀疏到粗阶段和粗到细阶段。首先,通过简单的CNN框架获得粗糙密集深度图。然后,在粗到精阶段使用残差学习策略,以粗深度图和彩色图像作为输入,进一步获得细化的深度图。特别地,在由粗到精的阶段中,利用通道混洗提取操作从彩色图像和粗略深度图中提取更具代表性的特征,并且利用基于能量的融合操作来有效地融合通过通道混洗操作获得的这些特征,从而导致更准确和精细的深度图。在KITTI基准测试中,我们在RMSE中实现了SoTA性能。未来在其他数据集上的广泛实验表明,我们的方法优于当前最先进的深度完成方法。
2021-08-17 cs.CV
DGGAN: Depth-image Guided Generative Adversarial Networks for Disentangling RGB and Depth Images in 3D Hand Pose Estimation
University of California, Irvine(加州大学欧文分校);Tencent America(腾讯美国);Amazon(亚马逊);National Chiao Tung University(国立交通大学)
从RGB图像中估计3D手部姿态对于广泛的潜在应用是必不可少的,但由于从RGB图像中推断深度信息存在大量模糊性,因此具有挑战性。最先进的估计器通过在训练过程中正则化3D手部姿势估计模型来解决这个问题,以加强预测的3D姿势和地面真实深度图之间的一致性。然而,这些估计器在训练过程中依赖于RGB图像和成对的深度图。在这项研究中,我们提出了一种条件生成对抗网络(GAN)模型,称为深度图像引导GAN(DGGAN),以生成基于输入RGB图像的真实深度图,并使用合成的深度图来正则化3D手势估计模型,因此不需要地面真实深度图。在多个基准数据集上的实验结果表明,DGGAN生成的合成深度图在正则化姿态估计模型方面非常有效,获得了新的最先进的结果估计精度,在RHD、STB和MHP数据集上,平均3D端点误差(EPE)分别显著降低了4.7%、16.5%和6.8%。
2020-12-06 cs.CV
Deep Depth Completion of a Single RGB-D Image
Princeton University(普林斯顿大学)
我们工作的目标是完成RGB-D图像的深度通道。智能级深度相机通常无法感知闪亮、明亮、透明和遥远表面的深度。为了解决这个问题,我们训练了一个深度网络,该网络以RGB图像作为输入,并预测密集的表面法线和遮挡边界。然后,将这些预测与RGB-D相机提供的原始深度观测结果相结合,以求解所有像素的深度,包括原始观测中缺失的像素。这种方法被选择而不是其他方法(例如,直接修补深度)作为使用新深度补全基准数据集的广泛实验的结果,其中通过渲染从多视图RGB-D扫描创建的表面重建来填充训练数据中的孔。不同的网络输入,深度表示,损失函数,优化方法,修复方法和深度深度估计网络的实验表明,我们提出的方法提供了更好的深度完成比这些替代品。
2018-05-02 cs.CV
VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction
KAIST(韩国科学技术院);DGIST(大邱庆北科学技术院)
传统的多视图立体视觉技术从一组标定的视图重建3D场景时,依赖于两个不同的阶段:局部深度图计算和全局深度图融合。最近的研究集中在通过使用传统深度融合方法或通过回归截断符号距离函数(TSDF)的直接3D重建网络进行深度估计的深度神经架构。在本文中,我们主张用深度神经网络复制传统的两阶段框架,以提高结果的可解释性和准确性。如前所述,我们的网络分两步操作:1)使用深度MVS技术对局部深度图进行局部计算,以及2)深度图和图像的特征融合以构建单个TSDF体积。为了提高从非常不同的视点(例如,大基线和旋转),我们引入了一个旋转不变的3D卷积核,称为PosedConv。通过在ScanNet数据集上进行的一系列实验,强调了所提出的架构的有效性,其中我们的方法与传统和深度学习技术相比具有优势。
2021-08-19 cs.CV
DAL -- A Deep Depth-aware Long-term Tracker
Tampere University(坦佩雷大学);University of Ljubljana(卢布尔雅那大学);Czech Technical University in Prague(捷克布拉格技术大学)
最好的RGBD跟踪器提供高精度,但运行缓慢。另一方面,最好的RGB跟踪器速度很快,但在RGBD数据集上明显较差。在这项工作中,我们提出了一个深度感知的长期跟踪器,实现了最先进的RGBD跟踪性能,并且运行速度快。我们重新制定的深度判别相关滤波器(DCF)的深度信息嵌入到深层功能。此外,相同的深度感知相关滤波器用于目标重新检测。综合评估表明,所提出的跟踪器实现了最先进的性能在普林斯顿RGBD,STC,和新发布的CDTB基准和运行20 fps。
2019-12-02 cs.CV
Deep multi-scale architectures for monocular depth estimation
Safran(赛峰集团);Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);ENSICAEN(卡昂国立高等工程师学院);CNRS(法国国家科学研究中心)
本文旨在了解的作用,多尺度信息的深度估计从单目图像。更确切地说,本文研究了四种不同的深度CNN架构,旨在明确利用网络中的多尺度特征,并将其与最先进的单尺度方法进行比较。该论文还表明,涉及多尺度特征的深度估计不仅提高了性能的准确性,但也给出了更好的深度图。在广泛使用的NYU深度数据集上进行了实验,所提出的方法达到了最先进的性能。
2018-06-08 cs.CV
DepthFake: a depth-based strategy for detecting Deepfake videos
Sapienza University of Rome(罗马第一大学)
针对深度伪造视频检测问题,提出DepthFake方法,通过单目深度估计获取深度图结合RGB信息构建RGBD检测架构,在FaceForensic++数据集上实现最高11.7%的性能提升。
2022-08-23 cs.CV
Render4Completion: Synthesizing Multi-View Depth Maps for 3D Shape Completion
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一种新的方法,通过合成多视图深度图的三维形状完成。虽然以前的形状完成工作依赖于体积表示,网格或点云,但我们建议使用来自一组固定视角的多视图深度图作为我们的形状表示。这使我们能够摆脱体积表示和点云的内存限制,将形状完成转换为图像到图像的转换问题。具体来说,我们从一组固定的视点渲染不完整形状的深度图,并在每个视图中执行深度图完成。与单独完成每个视图的图像到图像转换网络不同,我们的新网络,多视图完成网络(MVCN),利用来自3D形状的所有视图的信息来帮助完成每个视图。这使得MVCN能够利用来自不同深度视图的更多信息,以在单个深度视图完成中实现高精度,并保持不同视图中完成的深度图像之间的一致性。得益于多视图表示和新颖的网络结构,MVCN显着提高了在大规模基准的3D形状完成的准确性相比,最先进的。
2019-09-21 cs.CV
RoutedFusion: Learning Real-time Depth Map Fusion
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
深度图的有效融合是大多数最先进的3D重建方法的关键部分。除了要求高精度外,这些深度融合方法还需要可扩展和具有实时的【形】能力。为此,我们提出了一种新的实时的【形】基于机器学习的深度图融合方法。类似于Curless和Levoy开创性的深度图融合方法,我们只更新局部体素组以确保实时的【形】能力。代替简单的深度信息的线性融合,我们提出了一个神经网络,预测非线性更新,以更好地考虑典型的融合误差。我们的网络由一个2D深度路由网络和一个3D深度融合网络组成,可以有效地处理传感器特定的噪声和离群值。这对于曲面边缘和薄对象特别有用,因为原始方法会出现增厚伪影。我们的方法优于传统的融合方法和相关的学习方法的合成和真实数据。我们证明了我们的方法在重建精细的几何细节从噪声和离群污染的数据在各种场景中的性能。
2020-04-03 cs.CV
Deep Convolutional Neural Networks for Action Recognition Using Depth Map Sequences
University of Wollongong(伍伦贡大学);Tianjin University(天津大学)
近年来,深度学习方法在计算机视觉的各个领域都取得了可喜的成果。本文提出了一种新的基于深度图序列的人体动作识别框架--分层深度运动图(HDMM)+ 3通道深度卷积神经网络(3ConvNets)。首先,我们旋转三维点云中的原始深度数据来模仿摄像机的旋转,这样我们的算法就可以处理视图变化的情况。其次,为了有效地提取身体形状和运动信息,我们在几个时间尺度上生成加权深度运动图(DMM),称为分层深度运动图(HDMM)。然后,分别从三个投影正交平面在HDMM上训练ConvNets的三个通道。分别在MSRD 3D、MSRD 3DExt、UTKinect-Action和MSRDailyActivity 3D数据集上对所提出的算法进行了评估。最后,我们将前三个数据集合并为一个更大的数据集(称为组合数据集),并在该数据集上对所提出的方法进行了测试,结果表明,该方法在单个数据集上可以获得最先进的结果,而在组合数据集上的性能没有显著下降。
2015-01-20 cs.CV
Deep Learning-based Single Image Face Depth Data Enhancement
Hochschule Darmstadt(达姆施塔特应用科学大学)
面部识别可以受益于使用低成本相机捕获的深度数据的利用,特别是用于呈现攻击检测目的。然而,来自这些捕捉设备的深度视频输出可能包含诸如孔或一般深度不准确之类的缺陷。这项工作提出了一个深度学习人脸深度增强方法在这种背景下的面部生物识别,这增加了一个安全方面的主题。利用类似U-Net的架构,并将网络与手工制作的增强器类型进行比较,以及为相邻应用场景训练的相关工作中的类似深度增强器网络。所有测试的增强器类型都专门使用深度数据作为输入,这与基于附加输入数据(如可见光彩色图像)增强深度的方法不同。借助PRNet创建合成面部深度地面实况图像及其退化形式,以使用不同的网络大小和训练配置来训练多个深度学习增强器模型。对合成数据、来自KinectFaceDB的Kinect v1图像以及内部RealSense D435图像进行评估。这些评估包括对遮挡面部深度输入的伪造的评估,这与生物识别安全性有关。所提出的深度学习增强器产生的结果明显好于测试的先前存在的增强器,在提供非面部输入时不会过度伪造深度数据,并且显示出减少了简单的基于地标的PAD方法的错误。
2021-07-27 cs.CV
Depth Completion Using a View-constrained Deep Prior
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
最近的研究表明,卷积神经网络(CNN)的结构诱导了有利于自然图像的强先验。这种先验被称为深度图像先验(DIP),是图像去噪和修复等逆问题中的有效正则化器。我们将DIP的概念扩展到深度图像。给定彩色图像和噪声和不完整的目标深度图,我们优化一个随机初始化的CNN模型,以重建深度图恢复凭借使用CNN网络结构作为先验结合视图约束的照片一致性损失。该损失是使用来自附近视点的几何校准相机的图像来计算的。我们应用此深度先验来修复和改进双目和多视图立体视觉管道内的不完整和有噪声的深度图。我们的定量和定性评估表明,我们改进的深度图更准确和完整,融合后,产生更高质量的密集3D模型。
2020-12-01 cs.CV
Depth Completion via Deep Basis Fitting
University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们考虑的任务,图像引导的深度完成,我们的系统必须推断在输入图像的每个像素的深度的基础上的图像内容和一组稀疏的深度测量。我们提出了一种新的方法,该方法基于现代深度学习技术和经典优化算法的优势,并显着提高了性能。所提出的方法用最小二乘拟合模块代替了大多数深度补全网络中采用的最终$1\times 1$卷积层,该最小二乘拟合模块通过将隐式深度基拟合到给定的稀疏深度测量来计算权重。此外,我们还展示了我们提出的方法如何自然地扩展到多尺度公式,以改进自监督训练。我们通过对各种数据集的广泛实验证明,我们的方法比最先进的基线方法具有更小的计算开销。
2019-12-21 cs.CV
MetricDepth: Enhancing Monocular Depth Estimation with Deep Metric Learning
Harbin Institute of Technology(哈尔滨工业大学)
本文提出MetricDepth,通过基于差分的样本识别和多范围策略将深度度量学习引入单目深度估计,以差异化正则化负样本,从而提升模型性能。
2024-12-29 cs.CV
Deep Convolutional Neural Fields for Depth Estimation from a Single Image
The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
在这项工作中,我们考虑从一个单一的单目图像的深度估计的问题。这是一项具有挑战性的任务,因为没有可靠的深度线索可用,立体对应、运动等。先前的努力一直集中在利用几何先验或额外的信息源上,所有这些都使用手工制作的特征。最近,越来越多的证据表明,深度卷积神经网络(CNN)的特征正在为各种视觉应用创造新的记录。另一方面,考虑到深度值的连续特性,深度估计可以自然地被公式化为连续条件随机场(CRF)学习问题。因此,我们在本文中提出了一种用于从单个图像估计深度的深度卷积神经场模型,旨在联合探索深度CNN和连续CRF的能力。具体来说,我们提出了一种深度结构化学习方案,该方案在统一的深度CNN框架中学习连续CRF的一元势和成对势。该方法可用于一般场景的深度估计,无需几何先验知识,也无需注入任何额外信息。在我们的例子中,配分函数的积分可以解析计算,因此我们可以精确地解决对数似然优化。此外,解决用于预测新图像的深度的MAP问题是高效的,因为存在封闭形式的解决方案。我们的实验表明,该方法优于国家的最先进的深度估计方法在室内和室外场景数据集。
2014-12-18 cs.CV
Sparse-to-Continuous: Enhancing Monocular Depth Estimation using Occupancy Maps
University of São Paulo(圣保罗大学);Toyota Research Institute(丰田研究院)
本文针对单幅图像深度估计(SIDE)问题,着重于提高深度神经网络预测的质量。在监督学习场景中,预测的质量本质上与指导优化过程的训练标签相关。对于室内场景,基于结构光的深度传感器(例如Kinect)能够提供密集的(尽管是短距离的)深度图。另一方面,对于户外场景,LiDAR被认为是标准传感器,其相对提供更稀疏的测量,特别是在更远的区域。本文没有修改神经网络架构来处理稀疏深度图,而是介绍了一种使用Hilbert Maps框架的深度图加密方法。基于来自LiDAR扫描的3D点产生连续占用图,并且将所得的重建表面投影到具有任意分辨率的2D深度图中。KITTI数据集的各种子集进行的实验表明,所提出的稀疏到连续的技术产生了显着的改善,而无需引入额外的信息到训练阶段。
2019-10-21 cs.CV
Towards Interpretable Deep Networks for Monocular Depth Estimation
Sun Yat-sen University(中山大学);NEC Laboratories America(美国 NEC 实验室);National Chiao Tung University(国立交通大学)
用于单目深度估计(MDE)的深度网络最近取得了令人鼓舞的性能,进一步理解这些网络的可解释性是非常重要的。现有的方法试图通过研究视觉线索来提供事后解释,这可能不会探索深度网络学习的内部表征。在本文中,我们发现网络的一些隐藏单元对一定的深度范围具有选择性,因此这种行为可以作为解释内部表示的一种方式。根据我们的观察,我们量化了深度MDE网络的可解释性,其隐藏单元的深度选择性。此外,我们还提出了一种方法来训练可解释的MDE深度网络,而不改变它们的原始架构,通过为每个单元分配一个深度范围来选择。实验结果表明,我们的方法是能够提高深度MDE网络的可解释性,大大提高其单元的深度选择性,同时不损害,甚至提高深度估计的准确性。我们进一步提供了全面的分析来展示选择单元的可靠性、我们的方法在不同层、模型和数据集上的适用性,以及模型误差分析的演示。源代码和模型可在https://github.com/youzunzhi/InterpretableMDE上获得。
2021-08-11 cs.CV
Adaptive Illumination based Depth Sensing using Deep Superpixel and Soft Sampling Approximation
Geomagical labs(Geomagical实验室);Apple Inc(苹果公司);Northwestern University(西北大学)
密集深度图捕获在现有的基于主动稀疏照明的深度获取技术(诸如LiDAR)中具有挑战性。已经提出了各种技术来基于稀疏深度图测量与RGB图像的融合来估计密集深度图。硬件的最新进展使得能够实现自适应深度测量,从而进一步改进密集深度图估计。在本文中,我们研究的主题,估计密集深度从深度采样。自适应稀疏深度采样网络与RGB图像和稀疏深度的融合网络联合训练,生成最优自适应采样模板。我们表明,这种自适应采样掩模可以推广到许多RGB和稀疏深度融合算法下的各种采样率(低至$0.0625\%$)。所提出的自适应采样方法是完全可微的,并且可以灵活地与上游感知算法进行端到端的训练。
2022-02-22 cs.CV
Unsupervised confidence for LiDAR depth maps and applications
University of Bologna(博洛尼亚大学)
深度感知在许多领域都很关键,例如机器人和自动驾驶等。因此,诸如LiDAR的深度传感器在许多应用中迅速普及。这些传感器生成的3D点云通常必须与RGB相机相结合,以从语义上理解框架场景。通常,前者被投影在相机图像平面上,导致稀疏的深度图。不幸的是,这个过程,再加上影响所有深度传感器的固有问题,在最终输出中产生噪声和总异常值。有目的地,在本文中,我们提出了一个有效的无监督框架,旨在通过学习估计LiDAR稀疏深度图的置信度来明确解决这个问题,从而允许过滤出离群值。在KITTI数据集上的实验结果表明,我们的框架在这方面表现出色。此外,我们还展示了这一成就如何改善广泛的任务。
2022-10-06 cs.CV
Deep feature fusion for self-supervised monocular depth prediction
IIT Delhi(德里印度理工学院)
端到端无监督学习的最新进展显着提高了单目深度预测的性能,并减轻了对地面真实深度的要求。虽然已经做了大量的工作,通过利用平滑度,左右一致性,正则化和匹配表面法线来合并多个损失来执行各种结构约束,但其中一些考虑到现实世界图像中存在的多尺度结构。大多数作品使用在ImageNet权重上预训练的VGG16或ResNet50模型来预测深度。我们提出了一种深度特征融合方法,利用多尺度特征从头开始学习自监督深度。我们的融合网络在编码器网络的每一层都从上层和下层选择特征,从而创建多个特征金字塔子网络,在应用CoordConv解决方案后将其馈送到解码器。我们还提出了一个细化模块学习更高级别的深度特征和较低级别的残留深度的组合,使用超解析较低级别的残留深度的像素洗牌框架,更高级别的残留深度。我们选择KITTI数据集进行评估,并表明我们提出的架构可以在深度预测中产生更好或相当的结果。
2020-05-16 cs.CV
Robust Face Recognition with Deeply Normalized Depth Images
Sichuan University(四川大学);College of Computer Science, Sichuan University(四川大学计算机学院);National Key Laboratory of Fundamental Science on Synthetic Vision, College of Computer Science, Sichuan University(四川大学计算机学院合成视觉基础科学国家重点实验室)
深度信息已被证明对人脸识别有用。然而,现有的基于深度图像的人脸识别方法仍然受到噪声的深度值和变化的姿态和表情。在本文中,我们提出了一种新的方法,规范化的面部深度图像正面姿势和中性表情,并提取强大的功能,从规范化的深度图像。该方法通过两个深度卷积神经网络(DCNN)、归一化网络($Net_{N}$)和特征提取网络($Net_{F}$)来实现。给定面部深度图像,$Net_{N}$首先将其转换为HHA图像,通过DCNN从HHA图像重建3D面部。然后,$Net_{N}$从重构的3D面部生成姿势和表情归一化(PEN)深度图像。PEN深度图像最终被传递到$Net_{F}$,$Net_{F}$通过另一个DCNN提取鲁棒的特征表示用于面部识别。我们的初步评估结果表明,所提出的方法在识别人脸的任意姿态和表情与深度图像的优越性。
2018-05-01 cs.CV
SemAttNet: Towards Attention-based Semantic Aware Guided Depth Completion
Department of Computer Science, University of Kaiserslautern, 67663 Kaiserslautern, Germany(凯斯莱特大学计算机科学系);Mindgrage, University of Kaiserslautern, 67663 Kaiserslautern, Germany(Mindgrage凯斯莱特大学);Department of Computer Science, Luleå University of Technology, 971 87 Luleå, Sweden(卢勒奥技术大学计算机科学系)
本文提出SemAttNet,通过三分支架构结合颜色、语义和深度引导,利用注意力机制融合特征,提升深度补全精度,实验表明在KITTI基准上达到最优性能。
2026-04-15 cs.CV
Depth-Map Generation using Pixel Matching in Stereoscopic Pair of Images
Insight Centre for Data Analytics(洞察数据分析中心);National University of Ireland(爱尔兰国立大学);Software Research Institute(软件研究院);Athlone Institute of Technology(阿斯隆理工学院)
现代多媒体内容的制作和传播正朝着呈现越来越“现实”的情景的方向发展。从二维(2D)到三维(3D)的转换一直是该方向的主要驱动力。在最近的过去,已经提出了大量的方法来创建3D图像/视频,其中大多数是基于深度图的生成。本文提出了一种新的算法,用于从一组可用的立体图像对中获取与所描绘的场景有关的深度信息。所提出的算法进行像素到像素的立体对中的两个图像的深度估计匹配。结果表明,所获得的深度图显示出比所报道的同行的改进。
2019-05-15 cs.CV