Dust to Tower: Coarse-to-Fine Photo-Realistic Scene Reconstruction from Sparse Uncalibrated Images
School of Information, Renmin University of China(中国人民大学信息学院)
本文提出 Dust to Tower(D2T)框架,通过由粗到细策略同时优化 3DGS 与相机位姿,解决稀疏未标定图像下的照片级真实感场景重建问题,并在新视角合成和位姿估计上达到最先进性能。
2024-12-27 cs.CV
StyleFields: Multi-Scale AdaIN-Modulated Implicit SDFs for Coarse-to-Fine 3D Shape Reconstruction and Editing
Bilkent University(比尔肯大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
StyleFields提出一种基于DeepSDF的多尺度AdaIN调制隐式SDF架构,实现从粗到细的三维形状重建与可控风格混合,并在汽车空气动力学优化中验证了其有效性。
2026-10-08 cs.CV cs.GR
FineRecon: Depth-aware Feed-forward Network for Detailed 3D Reconstruction
Apple(苹果公司);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文提出FineRecon,通过分辨率无关TSDF监督、多视图深度引导及高分辨率图像特征条件化,提升前馈3D重建的几何细节与准确性。
2023-08-18 cs.CV
Multi-Scale Geometric Consistency Guided Multi-View Stereo
National Key Laboratory of Science and Technology on Multispectral Information Processing(多光谱信息处理科学技术国家重点实验室);School of Artifical Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
在本文中,我们提出了一个有效的多尺度几何一致性引导的多视图立体视觉方法,准确和完整的深度图估计。我们首先介绍了我们的基本多视图立体视觉方法与自适应棋盘采样和多假设联合视图选择(ACMH)。它利用结构化区域信息来采样更好的候选假设以进行传播,并推断每个像素处的聚合视图子集。对于低纹理区域的深度估计,我们进一步提出将ACMH与多尺度几何一致性指导(ACMM)相结合,以获得低纹理区域在较粗尺度下的可靠深度估计,并保证它们可以传播到较细尺度。为了纠正从粗尺度传播的错误估计,我们提出了一种新的细节恢复。在大量数据集上的实验表明,该方法不仅能恢复低纹理区域的深度估计,而且能恢复细节信息,达到了最佳效果。
2019-04-17 cs.CV
Attention Attention Everywhere: Monocular Depth Prediction with Skip Attention
IIT Delhi(印度理工学院德里分校)
单目深度估计(MDE)的目标是在给定单个RGB图像的情况下预测逐像素深度。对于卷积模型和最近的基于注意力的模型,由于同时需要全局上下文和像素级分辨率,基于编码器-解码器的架构被发现是有用的。通常,跳过连接模块用于融合编码器和解码器特征,其包括特征图级联,然后是卷积操作。在众多的计算机视觉问题的注意力的好处证明的启发下,我们提出了一个基于注意力的编码器和解码器的功能融合。我们提出MDE作为一个像素查询细化的问题,其中最粗糙的编码器功能用于初始化像素级查询,然后细化到更高的分辨率建议跳过注意模块(SAM)。我们制定的有序回归的bin中心,离散化的连续深度范围内的预测问题,并引入一个Bin中心预测(BCP)模块,预测箱在粗层次上使用像素查询。除了图像自适应深度分箱的好处外,所提出的设计还有助于通过直接监督地面实况来学习初始像素查询中的改进深度嵌入。在NYUV 2和KITTI这两个规范数据集上进行的大量实验表明,我们的架构分别比最先进的架构高出5.3%和3.9%,并且在SNORGBD数据集上的泛化性能提高了9.4%。代码可在https://github.com/ashutosh1807/PixelFormer.git上获得。
2022-10-17 cs.CV
OccCasNet: Occlusion-aware Cascade Cost Volume for Light Field Depth Estimation
Beijing Normal University(北京师范大学);National University of Defense Technology(国防科技大学);Toronto Metropolitan University(多伦多都会大学)
本文提出OccCasNet,通过级联代价体减少采样数量,并利用遮挡图构建遮挡感知代价体,在HCI 4D基准上以更优的精度与效率平衡取得领先的MSE和Q25表现。
2023-05-28 cs.CV
GasMono: Geometry-Aided Self-Supervised Monocular Depth Estimation for Indoor Scenes
East China University of Science and Technology(华东理工大学);University of Bologna(博洛尼亚大学)
针对室内自监督单目深度估计中的大旋转与低纹理难题,提出 GasMono,利用多视图几何位姿细化及过拟合感知迭代自蒸馏提升精度与泛化。
2023-09-26 cs.CV
All-day Depth Completion
UCLA(加利福尼亚大学洛杉矶分校);Yale University(耶鲁大学)
提出一种多传感器融合的深度补全方法,利用合成数据学习稀疏到稠密深度映射(SpaDe)作为先验,并通过不确定性驱动的残差学习(URL)细化,在白天和夜间场景中显著提升深度估计精度。
2024-05-27 cs.CV
ARAI-MVSNet: A multi-view stereo depth estimation network with adaptive depth range and depth interval
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Institute of Electronics, Chinese Academy of Sciences(中国科学院电子学研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对固定深度范围与等间隔划分导致MVS深度平面利用不足的问题,本文提出由粗到细的ARAI-MVSNet,通过自适应深度范围预测和Z-score归一化的间隔调整,在多个基准上达到最先进性能。
2023-08-17 cs.CV
S&CNet: Monocular Depth Completion for Autonomous Systems and 3D Reconstruction
Beihang University(北京航空航天大学);Peking University(北京大学);Institute for Infocomm Research(信息通信研究院)
密集深度完井对于自主系统和3D重建至关重要。在本文中,提出了一种轻量级而有效的网络(S\&CNet),以获得一个良好的权衡效率和精度之间的密集深度完成。引入双流注意模块(S\&C增强器)来度量提取特征的空间方向和通道方向的全局范围关系,以提高性能。设计了一个由粗到精的网络,并将所提出的S &C增强器插入到粗估计网络的编码器和解码器网络之间。实验结果表明,我们的方法实现了竞争力的性能与现有的作品KITTI数据集,但几乎快四倍。建议的S\&C增强器可以插入到其他现有的作品,并提高其性能显着与一个微不足道的额外的计算成本。
2019-08-29 cs.CV eess.IV
3dDepthNet: Point Cloud Guided Depth Completion Network for Sparse Depth and Single Color Image
University of California, Irvine(加州大学欧文分校);Trifo, Inc.(追觅科技(美国)有限公司)
在本文中,我们提出了一个名为3dDepthNet的端到端深度学习网络,它可以从一对稀疏的LiDAR深度和彩色图像中生成精确的密集深度图像,用于机器人和自动驾驶任务。基于深度图像的维度性质,我们的网络提供了一种新颖的3D到2D粗到细的双重致密化设计,既准确又轻便。深度致密化首先通过点云完成在3D空间中执行,然后是专门设计的编码器-解码器结构,该结构利用来自3D完成的投影密集深度和原始RGB-D图像来执行2D图像完成。在KITTI数据集上的实验表明,我们的网络在更高效的同时达到了最先进的精度。消融和泛化测试证明,我们网络中的每个模块对最终结果都有积极的影响,而且,我们的网络对更稀疏的深度也有弹性。
2020-03-20 cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich(慕尼黑工业大学)
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块,相关的粗深度预测,聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外,我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块,我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比,这产生了几何上有意义的注意力,并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
Size-to-depth: A New Perspective for Single Image Depth Estimation
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们考虑的问题,单目图像的深度估计。由于它的不适定性性质,它是一个具有挑战性的问题,并在工业中得到了广泛的应用。以往的研究大致分为两大类:基于学习的方法和交互式方法。深度卷积神经网络(CNN)被广泛应用于基于学习的方法中,可以取得很好的效果。但它们的泛化能力较低,并且通常在不熟悉的场景中表现不佳。此外,这种方法的数据饥饿的性质使得数据采集昂贵和耗时。交互式方法需要人工深度标注,但人工深度标注误差大、方差大。为了克服这些问题,我们提出了一个新的角度为单目图像的深度估计问题:大小深度。我们的方法需要稀疏标签的对象的真实世界的大小,而不是原始的深度。然后根据尺寸标签遵循几何关系推断粗略深度图。然后通过对条件随机场(CRF)进行能量函数优化来细化深度图。我们的实验证明,我们的方法优于传统的深度标记方法,并且可以生成令人满意的深度图。
2018-01-13 cs.CV
FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators
LISMARS;Hubei Luojia Laboratory(湖北珞珈实验室);Wuhan University(武汉大学);The University of Hong Kong(香港大学);The Hong Kong Polytechnic University(香港理工大学);Texas A&M University(德克萨斯农工大学)
针对图像与点云跨模态特征匹配难的问题,提出FreeReg方法,借助预训练扩散模型的扩散特征和单目深度估计的几何特征实现无任务特定训练的精准配准,在多个基准上性能显著优于现有最优方法。
2024-04-13 cs.CV
Fractal Autoregressive Depth Estimation with Continuous Token Diffusion
本文提出一种分形视觉自回归扩散框架,通过粗到细的自回归生成过程改进单目深度估计,采用多尺度特征融合和连续空间去噪扩散损失提升跨模态条件化效果,同时通过分形递归架构和不确定性感知共识聚合方案提高计算效率与预测稳定性。
2026-03-16 cs.CV
3DVNet: Multi-View Depth Prediction and Volumetric Refinement
UCSB(加州大学圣芭芭拉分校)
我们提出了3DVNet,一种新的多视图立体视觉(MVS)的深度预测方法,结合了以前的基于深度和体积MVS方法的优点。我们的主要思想是使用一个3D场景建模网络,迭代更新一组粗略的深度预测,从而导致高度准确的预测,同意底层场景几何。与现有的深度预测技术不同,我们的方法使用体积3D卷积神经网络(CNN),该网络在世界空间中对所有深度图进行联合操作。因此,网络可以学习有意义的场景级先验。此外,与现有的体积MVS技术不同,我们的3D CNN在特征增强的点云上操作,允许有效地聚合多视图信息和灵活的迭代细化深度图。实验结果表明,我们的方法在ScanNet数据集上的深度预测和3D重建指标以及从TUM-RGBD和ICL-NUIM数据集中选择的场景方面都超过了最先进的精度。这表明,我们的方法是有效的,并推广到新的设置。
2021-12-01 cs.CV
Point-Based Multi-View Stereo Network
Tsinghua University(清华大学);University of California, San Diego(加州大学圣地亚哥分校);The Hong Kong University of Science and Technology(香港科技大学)
我们介绍了Point-MVSNet,一种新的基于点的深度框架多视图立体视觉(MVS)。不同于现有的成本量的方法,我们的方法直接处理的目标场景作为点云。更具体地说,我们的方法以粗到细的方式预测深度。我们首先生成一个粗略的深度图,将其转换为点云,并通过估计当前迭代的深度与地面实况的深度之间的残差来迭代地细化点云。我们的网络通过将3D几何先验和2D纹理信息融合到特征增强的点云中,共同有效地利用它们,并处理点云以估计每个点的3D流。这种基于点的体系结构比基于成本-体积的体系结构具有更高的精度、更高的计算效率和更大的灵活性。实验结果表明,我们的方法实现了显着改善重建质量相比,国家的最先进的方法在DTU和坦克和寺庙数据集。我们的源代码和训练模型可以在www.example.com上找到。
2019-08-12 cs.CV
Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography
Princeton University(普林斯顿大学)
现代移动连拍摄影流水线捕获并合并短帧序列以恢复增强的图像,但通常忽略它们捕获的场景的3D性质,将图像之间的像素运动视为2D聚合问题。我们表明,在一个“长脉冲”,四十二个12万像素的RAW帧捕获在一个两秒的序列,有足够的视差信息从自然的手震颤单独恢复高质量的场景深度。为此,我们设计了一种测试时间优化方法,该方法将神经RGB-D表示与长突发数据相匹配,并同时估计场景深度和相机运动。我们的平面加深度模型是端到端训练的,并通过控制网络在训练期间的什么时间可以访问哪些多分辨率体积特征来执行从粗到细的细化。我们通过实验验证了该方法,并展示了几何精度的深度重建,无需额外的硬件或单独的数据预处理和姿态估计步骤。
2023-03-27 cs.CV
Deep Robust Single Image Depth Estimation Neural Network Using Scene Understanding
Samsung Semiconductor Inc.(三星半导体有限公司)
单幅图像深度估计在三维计算机视觉中起着至关重要的作用。在本文中,我们提出了一个两阶段的鲁棒SIDE框架,可以执行盲SIDE的室内和室外场景。在第一阶段,场景理解模块将RGB图像分类为不同的深度范围。我们介绍了两个不同的场景理解模块,分别基于场景分类和粗深度估计。在第二阶段,由特定深度范围的图像训练的SIDE网络被应用于获得精确的深度图。为了提高准确性,我们进一步设计了一个基于深度可分离卷积的多任务编解码SIDE网络DS-SIDENet。DS-SIDENet经过优化,可最大限度地减少深度分类和深度回归损失。与单任务SIDE网络相比,这提高了准确性。实验结果表明,训练DS-SIDENet在一个单独的数据集,如纽约大学达到竞争力的性能,最先进的方法,更好的效率。我们提出的强大的SIDE框架也表现出良好的性能扫描网室内图像和KITTI室外图像同时。与Robust Vision Challenge(ROB)2018提交的作品相比,它实现了最高性能。
2019-06-07 cs.CV
UDepth: Fast Monocular Depth Estimation for Visually-guided Underwater Robots
University of Florida(佛罗里达大学)
在本文中,我们提出了一种快速的单目深度估计方法,使低成本的水下机器人的三维感知能力。我们制定了一个新的端到端的深度视觉学习管道名为UDepth,它结合了自然水下场景的图像形成特征的领域知识。首先,我们适应一个新的输入空间,从原始RGB图像空间,利用水下光衰减之前,然后设计一个最小二乘公式进行粗略的像素级深度预测。随后,我们将其扩展到域投影损失,以指导UDepth在超过9 K RGB-D训练样本上的端到端学习。UDepth设计了一个计算量小的MobileNetV 2主干和一个基于Transformer的优化器,以确保嵌入式系统的快速推理率。通过域感知的设计选择,并通过全面的实验分析,我们证明,它是可能实现国家的最先进的深度估计性能,同时确保一个小的计算足迹。具体而言,与现有基准相比,网络参数减少了70%-80%,UDepth实现了相当的,通常更好的深度估计性能。虽然完整模型在单个GPU(CPU内核)上提供了超过66 FPS(13 FPS)的推理速率,但我们用于粗略深度预测的域投影在单板NVIDIA Jetson TX 2上的运行速率为51.5 FPS。推理流水线可在https://github.com/uf-robopi/UDepth上获得。
2023-02-02 cs.CV eess.IV
FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for Depth Completion
Zhejiang University(浙江大学);Baidu Research(百度研究院);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
深度补全的目的是从稀疏深度图中恢复密集深度图,并将相应的彩色图像作为输入。最近的方法主要将深度完成制定为一个阶段的端到端学习任务,直接输出密集的深度图。然而,单阶段框架中的特征提取和监督是不够的,限制了这些方法的性能。为了解决这个问题,我们提出了一种新的端到端剩余学习框架,它将深度完成制定为两阶段学习任务,即,稀疏到粗阶段和粗到细阶段。首先,通过简单的CNN框架获得粗糙密集深度图。然后,在粗到精阶段使用残差学习策略,以粗深度图和彩色图像作为输入,进一步获得细化的深度图。特别地,在由粗到精的阶段中,利用通道混洗提取操作从彩色图像和粗略深度图中提取更具代表性的特征,并且利用基于能量的融合操作来有效地融合通过通道混洗操作获得的这些特征,从而导致更准确和精细的深度图。在KITTI基准测试中,我们在RMSE中实现了SoTA性能。未来在其他数据集上的广泛实验表明,我们的方法优于当前最先进的深度完成方法。
2021-08-17 cs.CV
Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction
PLA Strategic Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学)
我们提出了一个有效的多视图立体视觉(MVS)网络的三维重建从多视图图像。虽然先前的基于学习的重建方法执行得相当好,但是它们中的大多数使用在每个平面处具有固定深度假设的平面扫描体积来以固定分辨率估计深度图,这需要密集采样的平面以获得期望的精度,因此难以实现高分辨率深度图。在本文中,我们介绍了一个粗到细的深度推理策略,以实现高分辨率的深度。该策略估计粗略级别的深度图,而更精细级别的深度图被认为是来自先前级别的具有逐像素深度残差的上采样深度图。因此,我们缩小了深度搜索范围与先验信息从以前的水平和构建新的成本量从像素级深度残差进行深度图细化。然后,由于所有参数在不同级别之间共享,因此可以迭代地实现最终的深度图。在每个层次上,自注意层被引入到特征提取块中,用于捕获深度推理任务的长程依赖关系,并且使用相似性度量而不是先前工作中使用的基于方差的方法来生成成本体积。实验在DTU基准数据集和最近发布的BlendedMVS数据集上进行。结果表明,我们的模型可以优于大多数最先进的(SOTA)方法。该项目的代码库位于https://github.com/ArthasMil/AACVP-MVSNet。
2020-11-25 cs.CV cs.LG eess.IV
A Comparative Study of Coarse to Dense 3D Indoor Scene Registration Algorithms
Ecole Militaire Polytechnique(军事理工学院)
三维对准已经成为三维扫描技术中非常重要的一部分。例如,我们可以将对齐过程分为四个步骤:关键点检测、关键点描述、初始姿态估计和对齐细化。研究人员为每一步的文献提供了几种方法,这表明自然需要进行比较研究,以获得更合适的选择。在这项工作中,我们提出了一个描述和评估的不同方法用于3D注册,特别关注RGB-D数据,以找到最佳组合,允许一个完整的和更准确的3D重建的室内场景与廉价的深度相机。
2021-10-28 cs.CV cs.RO
Direct Depth Learning Network for Stereo Matching
Dalian University of Technology(大连理工大学);Beijing Institute of Technology(北京理工大学);The University of Sydney(悉尼大学)
立体匹配作为自动驾驶的一项重要任务,近年来取得了很大的进展。现有的立体匹配方法估计视差而不是深度。它们将视差误差视为深度估计误差的评估度量,因为可以根据三角测量原理从视差计算深度。然而,我们发现,深度的误差不仅取决于视差的误差,而且还取决于点的深度范围。因此,即使视差误差低,深度误差仍然大,特别是对于远点。本文提出了一种新的直接深度学习网络(DDL-Net)用于立体匹配。DDL-Net由两个阶段组成:粗深度估计阶段和自适应粒度深度细化阶段,它们都由深度而不是视差监督。具体地,粗深度估计阶段根据深度范围对匹配候选进行均匀采样,以构造成本体积并输出粗深度。自适应粒度深度细化阶段在粗略深度附近执行进一步匹配,以纠正不精确匹配和错误匹配。为了使自适应粒度深度细化阶段对粗深度具有鲁棒性并适应于点的深度范围,将粒度不确定性引入自适应粒度深度细化阶段。粒度不确定性根据粗预测置信度和深度范围调整匹配范围并选择候选特征。我们通过不同的深度度量在SceneFlow数据集和DrivingStereo数据集上验证了DDL-Net的性能。结果表明,与经典方法相比,DDL-Net在SceneFlow数据集和$12\%$在DrivingStereo数据集上平均提高了25%。更重要的是,我们在大距离上实现了最先进的精度。
2020-12-10 cs.CV
Bi3D: Stereo Depth Estimation via Binary Classifications
NVIDIA(英伟达);University of California, Santa Barbara(加州大学圣巴巴拉分校)
基于立体的深度估计是计算机视觉的基石,具有实时的提供准确结果的最先进的方法。然而,对于诸如自主导航之类的若干应用,用准确性换取较低的延迟可能是有用的。我们提出了Bi3D,一种通过一系列二进制分类来估计深度的方法。它不像现有的立体方法那样测试物体是否在特定的深度$D$,而是将它们分类为比$D$更近或更远。此属性提供了一种强大的机制来平衡准确性和延迟。在严格的时间预算下,Bi3D可以在几毫秒内检测到比给定距离更近的物体,或者通过任意粗量化来估计深度,其复杂性与量化级别的数量呈线性关系。Bi3D还可以使用分配的量化级别来获得连续的深度,但在特定的深度范围内。对于标准立体声(即,在整个范围上的连续深度),我们的方法接近于或等同于最先进的、精细调谐的立体声方法。
2020-06-01 cs.CV cs.RO
DDNeRF: Depth Distribution Neural Radiance Fields
Reichman University(赖希曼大学)
近年来,内隐神经表征领域取得了重大进展。诸如使用相对小的神经网络的神经辐射场(NeRF)之类的模型可以表示高质量的场景,并实现用于新颖视图合成的最新结果。然而,训练这些类型的网络在计算上仍然非常昂贵。我们提出了深度分布神经辐射场(DDNeRF),这是一种新方法,可以显著提高训练过程中沿射线的采样效率,同时在给定的采样预算下获得更好的结果。DDNeRF通过学习沿射线的密度分布的更准确表示来实现这一点。更具体地说,我们训练一个粗略的模型来预测输入体积的透明度的内部分布以及体积的总密度。然后,这种更精细的分布指导精细模型的采样过程。这种方法允许我们在训练过程中使用更少的样本,同时减少计算资源。
2022-03-30 cs.CV cs.GR
Can Language Understand Depth?
Peking University(北京大学);ShanghaiTech University(上海科技大学);Baoji University of Arts and Science(宝鸡文理学院)
除了图像分类之外,对比图像预训练(CLIP)在广泛的视觉任务中取得了非凡的成功,包括对象级和3D空间理解。然而,将从CLIP中学习到的语义知识转化为更复杂的量化目标任务(例如具有几何信息的深度估计)仍然具有挑战性。在本文中,我们提出将CLIP应用于zero-shot单目深度估计,命名为DepthCLIP。我们发现,输入图像的补丁可以响应于一定的语义距离令牌,然后被投影到一个量化的深度箱进行粗略估计。在没有任何训练的情况下,我们的DepthCLIP超越了现有的无监督方法,甚至接近早期的全监督网络。据我们所知,我们是第一个从语义语言知识到量化下游任务进行zero-shot适应并执行zero-shot单眼深度估计的人。我们希望我们的工作能对未来的研究有所启发。该代码可在https://github.com/Adonis-galaxy/DepthCLIP上获得。
2022-09-05 cs.CL cs.CV cs.MM
Instantaneous Stereo Depth Estimation of Real-World Stimuli with a Neuromorphic Stereo-Vision Setup
Institute of Neuroinformatics, University of Zurich and ETH Zurich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所)
立体匹配问题,即,匹配两个不同视图中的相应特征以重建深度在生物学中是有效解决的。然而,它仍然是经典机器视觉方法的计算瓶颈。最近提出的脉冲神经网络(SNN)结构利用事件摄像机的特性,具有简化立体匹配问题的潜力。已经存在将事件摄像机与基于尖峰的神经形态处理器相结合的几种解决方案。然而,它们要么在数字硬件上模拟,要么在简化的刺激上测试。在这项工作中,我们使用动态视觉传感器3D人体姿势数据集(DHP19)来验证在具有真实数据的混合信号神经形态处理器上实现的基于脑启发事件的立体匹配架构。我们的实验表明,这种SNN架构,由重合检测器和视差敏感神经元,是能够提供一个粗略的估计输入的差距瞬间,从而检测存在的刺激移动的深度实时。
2021-04-06 cs.AI cs.CV
Rethinking Depth Estimation for Multi-View Stereo: A Unified Representation
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
在现有的基于学习的多视图立体视觉方法中,深度估计被解决为回归或分类问题。虽然这两种表示最近已经证明了它们的优异性能,但是它们仍然具有明显的缺点,例如,回归方法由于间接学习成本量而倾向于过拟合,并且分类方法由于其离散预测而不能直接推断精确深度。在本文中,我们提出了一种新的表示,称为统一,统一回归和分类的优点。它既可以像分类方法那样直接约束代价量,又可以像回归方法那样实现亚像素深度预测。为了挖掘统一性的潜力,我们设计了一个新的损失函数统一焦点损失,它更统一和合理,以应对样本不平衡的挑战。结合这两个无负担的模块,我们提出了一个由粗到细的框架,我们称之为UniMVSNet。在DTU和Tanks and Temples基准测试中排名第一的结果验证了我们的模型不仅性能最好,而且具有最好的泛化能力。
2022-03-11 cs.AI cs.CV
PXDepth: Pixel-Space Modeling for Structure Preserving Monocular Depth Estimation
CUHKSZ(香港中文大学(深圳));Shenzhen-FNii(深圳先进院集成所);Sun Yat-sen University(中山大学)
该研究针对单目深度估计难以保留细结构的问题,提出PXDepth模型,通过分离全局上下文建模与像素级预测,在零样本基准上实现了兼具局部几何精度与全局深度一致性的高效估计。
2026-09-01 cs.AI cs.CV cs.GR
DiffPCN: Latent Diffusion Model Based on Multi-view Depth Images for Point Cloud Completion
提出 DiffPCN 由粗到细框架,将局部点云投影为多视图深度图并由 DepthLDM 生成完整粗点云,再经点去噪与关联感知上采样实现 SOTA 点云补全。
2025-09-28 cs.CV
WAVE: Wavelet-Controlled Coarse-to-Fine Guidance for Depth Super-Resolution
The University of Western Australia(西澳大利亚大学)
WAVE通过反转特征生成顺序实现由粗到细的深度超分辨率,利用ML-DWT分离处理频率内容并融合多模态,在高上采样基准上性能优于现有方法。
2026-10-27 cs.CV cs.LG
Cost Volume Pyramid Based Depth Inference for Multi-View Stereo
Australian National University(澳大利亚国立大学);NVIDIA(英伟达);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
我们提出了一个基于成本体积的神经网络的深度推断多视图图像。我们证明,以粗到细的方式构建成本体积金字塔,而不是以固定分辨率构建成本体积,可以产生紧凑,轻量级的网络,并允许我们推断高分辨率的深度图,以实现更好的重建结果。为此,我们首先建立一个成本量的基础上均匀采样的前平行平面在整个深度范围内的粗分辨率的图像。然后,给定当前深度估计,我们在逐像素深度残差上迭代地构造新的成本量以执行深度图细化。在与Point-MVSNet分享类似的洞察力,如迭代预测和细化深度的同时,我们表明,与3D点上的Point-MVSNet相比,在成本体积金字塔上工作可以导致更紧凑,但更有效的网络结构。我们进一步提供了(剩余)深度采样和图像分辨率之间的关系的详细分析,这是一个原则,为建设紧凑的成本体积金字塔。在基准数据集上的实验结果表明,我们的模型可以快6倍,并且与最先进的方法具有相似的性能。代码可在https://github.com/JiayuYANG/CVP-MVSNet上获得
2020-03-30 cs.CV
SelfOdom: Self-supervised Egomotion and Depth Learning via Bi-directional Coarse-to-Fine Scale Recovery
National University of Defense Technology(国防科技大学);College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学与技术学院)
针对单目视觉尺度模糊问题,提出自监督双网络框架SelfOdom,通过粗到细两阶段恢复度量尺度,融合惯性数据提升鲁棒性,在正常及夜间等挑战场景下优于传统及学习型VO/VIO模型。
2023-09-02 cs.CV cs.RO
Completion as Enhancement: A Degradation-Aware Selective Image Guided Network for Depth Completion
Nanjing University of Science and Technology(南京理工大学)
本文提出选择性图像引导网络(SigNet),首次将深度补全转化为深度增强,通过非CNN工具初步密集化稀疏深度,并利用隐式退化与多模态条件Mamba融合RGB高频信息,在多个数据集上实现了SOTA性能。
2025-03-07 cs.CV eess.IV
3D Hierarchical Refinement and Augmentation for Unsupervised Learning of Depth and Pose from Monocular Video
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学)
深度和自我运动估计对于自主机器人和自主驾驶的定位和导航至关重要。最近的研究使得从未标记的单目视频中学习每个像素的深度和自我运动成为可能。提出了一种新的无监督训练框架,使用显式3D几何进行3D分层细化和增强。在这个框架中,深度和姿态估计是分层和相互耦合,以细化估计的姿态逐层。提出中间视图图像,并通过利用估计的深度和粗略姿态扭曲图像中的像素来合成中间视图图像。然后,可以从新视图图像和相邻帧的图像估计残余姿态变换以细化粗略姿态。本文以可微的方式实现迭代求精,使整个框架得到一致优化。同时,提出了一种新的图像增强方法,通过合成一个新的视图图像来进行姿态估计,该方法创造性地在3D空间中对姿态进行了增强,但得到了一个新的增强的2D图像。KITTI上的实验表明,我们的深度估计达到了最先进的性能,甚至超过了最近的方法,利用其他辅助任务。我们的视觉里程计优于所有最近的无监督单目学习的方法,并实现竞争力的性能,以几何为基础的方法,ORB-SLAM 2与后端优化。
2022-06-08 cs.CV
Handling Multiple Hypotheses in Coarse-to-Fine Dense Image Matching
Univ. Bordeaux, CNRS, Bordeaux INP, IMS, UMR 5218, F-33400 Talence, France(波尔多大学、国家科学研究中心、波尔多理工学院、IMSA、UMR 5218)
本文提出BEAMER架构,通过束搜索在由粗到精的稠密图像匹配中为每个源位置保留并传播多个对应假设,并将其集成到交叉注意力层中,显著提升了在深度不连续和强放大场景下的匹配鲁棒性。
2025-09-23 cs.CV
Depth Map Prediction from a Single Image using a Multi-Scale Deep Network
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
预测深度是理解场景的3D几何形状的重要组成部分。虽然对于立体图像,局部对应足以进行估计,但从单个图像中找到深度关系不那么简单,需要整合来自各种线索的全局和局部信息。此外,这项任务本身是模糊的,很大的不确定性来源于总体规模。在本文中,我们提出了一种新方法,通过使用两个深度网络堆栈来解决这一任务:一个是基于整个图像进行粗略的全局预测,另一个是在本地细化此预测。我们还应用尺度不变误差来帮助测量深度关系而不是尺度。通过利用原始数据集作为训练数据的大来源,我们的方法在NYU Depth和KITTI上都实现了最先进的结果,并且在不需要超像素的情况下匹配详细的深度边界。
2014-06-09 cs.CV
Deep Stacked Hierarchical Multi-patch Network for Image Deblurring
Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/联邦科学与工业研究组织);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Northwestern Polytechnical University(西北工业大学)
尽管深度端到端学习方法在去除非均匀运动模糊方面表现出了优越性,但当前的多尺度和尺度递归模型仍然存在主要挑战:1)粗到细方案中的反卷积/上采样操作导致昂贵的运行时间; 2)简单地增加模型深度和更精细的尺度级别无法提高去模糊的质量。为了解决上述问题,我们提出了一个深层次的多补丁网络的灵感来自空间金字塔匹配处理模糊图像通过精细到粗糙的层次表示。为了解决w.r.t.深度,我们提出了我们的多补丁模型的堆叠版本。我们提出的基本多补丁模型在GoPro数据集上实现了最先进的性能,同时与当前的多尺度方法相比,运行时间快了40倍。在30 ms内处理1280 x720分辨率的图像,这是第一个以30 fps处理720 p图像的实时深度运动去模糊模型。对于堆叠网络,通过增加网络深度,在GoPro数据集上实现了显着改进(超过1.2dB)。此外,通过改变堆叠模型的深度,可以针对不同的应用场景调整同一网络的性能和运行时间。
2019-04-06 cs.CV
A New Method in Facial Registration in Clinics Based on Structure Light Images
Institute of Biomedical Engineering, Chinese Academy of Medical Sciences & Peking Union Medical College(中国医学科学院北京协和医学院生物医学工程研究所);Capital Medical University Xuanwu Hospital(首都医科大学宣武医院);Institute of Radiation Medicine, Chinese Academy of Medical Sciences & Peking Union Medical College(中国医学科学院北京协和医学院放射医学研究所)
针对神经外科中面部深度图像配准频繁失效的问题,提出一种基于dlib关键点检测和ICP配准的结构光图像与CT图像配准新方法,实现了低至0.995913毫米的误差且耗时更短。
2024-05-23 cs.CV cs.RO
RoomTex: Texturing Compositional Indoor Scenes via Iterative Inpainting
Shanghai AI Laboratory(上海人工智能实验室);The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学)
提出由粗到细的3D场景纹理框架RoomTex,通过全景图引导和迭代修复技术,解决组合室内场景的风格不一致和遮挡问题,生成高保真纹理并支持交互式编辑。
2024-06-04 cs.CV
MeshMVS: Multi-View Stereo Guided Mesh Reconstruction
Simon Fraser University(西蒙弗雷泽大学);Alibaba A.I Labs(阿里巴巴人工智能实验室)
基于深度学习的3D形状生成方法通常利用从彩色图像中提取的潜在特征来编码对象的语义并指导形状生成过程。这些彩色图像语义仅隐式地编码3D信息,潜在地限制了所生成的形状的准确性。在本文中,我们提出了一种多视图网格生成方法,该方法通过使用多视图立体视觉的中间深度表示的特征并针对这些深度图像正则化3D形状来显式地结合几何信息。首先,我们的系统预测一个粗略的3D体积从彩色图像的概率合并体素占用网格从预测的个别意见。然后,来自多视图立体视觉的深度图像连同粗略形状的渲染深度图像一起被用作对比输入,其特征通过一系列图形卷积网络引导粗略形状的细化。值得注意的是,我们实现了比最先进的多视图形状生成方法更好的结果,与地面真实值的倒角距离减少了34%,ShapeNet数据集的F1分数增加了14%。我们的源代码可在https://git.io/Jmalg上获得
2021-04-11 cs.CV cs.LG eess.IV
DRPose3D: Depth Ranking in 3D Human Pose Estimation
Shanghai Jiao Tong University(上海交通大学);Sun Yat-Sen University(中山大学);Tsinghua University(清华大学);SenseTime Group Limited(商汤集团有限公司);East China Normal University(华东师范大学)
在本文中,我们提出了一个两阶段的深度排名为基础的方法(DRPose3D)来解决三维人体姿态估计的问题。代替准确的3D位置,深度排名可以由人类直观地识别,并且通过解决分类问题使用深度神经网络更容易地学习。此外,深度排序包含丰富的3D信息。它防止了两阶段方法中的2D到3D姿态回归是不适定的。在我们的方法中,首先,我们设计了一个成对排序卷积神经网络(PRCNN)从图像中提取人体关节的深度排名。其次,提出了一种由粗到细的3D姿态网络(DPNet),用于从深度排名和2D人体关节位置估计3D姿态。此外,为了提高模型的通用性,我们引入了一种统计方法来增强深度排名。我们的方法在所有三个测试协议的Human3.6M基准测试中优于最先进的方法,这表明深度排名是一个重要的几何特征,可以通过学习来改善3D姿态估计。
2018-05-24 cs.CV
A Simple Approach to Unifying Diffusion-based Conditional Generation
Shanghai Jiao Tong University(上海交通大学);Google DeepMind(谷歌DeepMind)
本文提出一个简单的统一框架,通过扩散模型学习相关图像对的联合分布,仅需单阶段训练和极少额外参数即可支持多种条件生成任务,效果媲美甚至超越现有专门与统一方法。
2025-04-05 cs.CV
LuMon: A Comprehensive Benchmark and Development Suite with Novel Datasets for Lunar Monocular Depth Estimation
本文提出LuMon基准,通过新数据集评估月球单目深度估计方法,分析了领域迁移差距并建立仿真到现实的适应基线。
2026-04-10 cs.CV
Rethinking Disparity: A Depth Range Free Multi-View Stereo Based on Disparity
Wuhan University(武汉大学);The Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));XGRIDS;The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
现有的基于学习的多视图立体视觉(MVS)方法依赖于深度范围来构建3D成本体积,并且当范围太大或不可靠时可能失败。为了解决这个问题,我们提出了一种基于对极视差流(E-flow)的MVS方法,称为DispMVS,它从两个视图之间的像素移动推断深度信息。DispMVS的核心是在图像平面上沿着每对图像之间(参考图像和几个源图像之间)的极线构建一个2D成本体积,用于像素匹配,并通过多视图几何融合从每对图像三角测量的不可数深度,以确保多视图一致性。为了保持鲁棒性,DispMVS从随机初始化的深度图开始,并在粗到精策略的帮助下迭代地细化深度图。在DTUMVS和Tanks\&Temple数据集上的实验表明,DispMVS对深度范围不敏感,并且在较低的GPU内存下实现了最先进的结果。
2022-12-04 cs.CV
Coarse-to-fine Q-attention with Tree Expansion
UC Berkeley(加州大学伯克利分校)
从粗到细的Q-注意力通过以从粗到细的方式离散化平移空间来实现样本高效的机器人操作,其中分辨率在层次结构中的每一层逐渐增加。虽然有效,但Q-attention遭受“粗糙的模糊性”-当体素化非常粗糙时,如果不首先以更精细的分辨率进行检查,就无法区分外观相似的对象。为了解决这个问题,我们建议将Q-attention设想为一棵树,它可以扩展并用于在每个Q-attention深度处累积前k个体素的值估计。当我们的扩展,Q-attention with Tree Expansion(QTE),在注意力驱动的机器人操作(ARM)系统中取代标准的Q-attention时,我们能够完成更大的任务集;特别是那些遭受“粗糙模糊”的任务。除了在12个RLBench任务中评估我们的方法外,我们还表明,在涉及小对象的现实任务中,性能的提高是显而易见的。
2022-05-02 cs.AI cs.CV cs.LG
Top-Down Networks: A coarse-to-fine reimagination of CNNs
Delft University of Technology(代尔夫特理工大学)
生物视觉是一种由粗到细的信息处理过程,从最初的视觉检测和视觉场景显著特征的结合,到对相关刺激的增强和优先处理。相反,CNN采用从细到粗的处理,从局部的边缘检测过滤器移动到更全局的过滤器,提取输入的抽象表示。在本文中,我们颠倒了标准自下而上架构的特征提取部分,并将其颠倒过来:我们提出了自上而下的网络。我们提出的由粗到细的路径,通过模糊高频信息并仅在后期恢复它,提供了一条抵御引入高频噪声的对抗攻击的防线。此外,由于我们随着深度增加图像分辨率,因此最终卷积层中特征图的高分辨率有助于网络决策过程的可解释性。这有利于对象驱动的决策,而不是上下文驱动的决策,因此提供了更好的本地化类激活映射。本文提供了经验证据的自上而下的分辨率处理的适用性,各种现有的架构上的多个视觉任务。
2020-04-16 cs.CV cs.LG
To Preserve or To Compress: An In-Depth Study of Connector Selection in Multimodal Large Language Models
Digital Twin Institute, Eastern Institute of Technology(东方理工大学数字孪生研究院);Saarland University(萨尔大学)
该研究将多模态大语言模型的连接器分为特征保留型与特征压缩型,基于三类基准测试不同任务下的性能,明确两类连接器的适用场景与优势,为MLLM架构设计与优化提供指导。
2024-10-09 cs.CL cs.CV
Depth Map Denoising Network and Lightweight Fusion Network for Enhanced 3D Face Recognition
Beijing University of Posts and Telecommunications(北京邮电大学);China Mobile Research Institute(中国移动研究院)
针对低质量深度传感器数据难以直接用于3D人脸识别的问题,提出基于DIIF的深度图去噪网络DMDNet和轻量级深度与法线融合网络LDNFNet,有效提升识别精度并在Lock3DFace数据库上达到最先进水平。
2024-01-01 cs.AI cs.CV
A Deeper Insight into the UnDEMoN: Unsupervised Deep Network for Depth and Ego-Motion Estimation
TATA Consultancy Services(塔塔咨询服务公司)
本文提出了一种称为UnDEMoN的无监督深度学习框架,用于直接从单目图像中估计密集深度图和6-DoF相机姿态信息。建议的网络进行训练,使用未标记的单目立体图像对,并显示提供卓越的性能,在深度和自我运动估计相比,现有的国家的最先进的。这些改进是通过引入一个新的目标函数,旨在最大限度地减少空间以及时间重建损失的同时。这些损失使用双线性采样内核定义,并使用Charbonnier罚函数进行惩罚。因此,创建的目标函数,提供了图像梯度噪声的鲁棒性,从而提高了整体估计精度,而不诉诸于任何粗到细的策略,这是目前流行的文献。另一个新颖之处在于,我们结合了基于像素的深度估计网络与姿态估计网络,以获得绝对尺度感知的6自由度相机姿态和优越的深度图。该方法的有效性通过与现有的监督和无监督方法在KITTI驾驶数据集上的性能比较来证明。
2018-11-27 cs.AI cs.CV