A multi-task spatiotemporal deep neural network for predicting penetration depth and morphology in laser welding
提出一种多任务深度学习模型,利用焊池图像和焊接参数,通过CNN和状态空间模型提取时空特征,同时预测熔透状态、熔深和焊缝形貌,熔透状态预测精度达99.35%。
2026-06-26 cs.AI cs.CV
SemSegDepth: A Combined Model for Semantic Segmentation and Depth Completion
Tampere University(坦佩雷大学)
针对自主机器的整体场景理解需求,提出名为SemSegDepth的端到端多任务模型,联合处理语义分割与深度补全,在Virtual KITTI 2数据集上验证了联合学习可同时提升两项任务的性能。
2024-03-06 cs.AI cs.CV cs.LG
Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth Estimation with Both Implicit and Explicit Semantic Guidance
Northwestern Polytechnical University(西北工业大学)
自监督深度估计在从未标记图像序列学习深度方面取得了巨大成功。虽然图像和像素级深度之间的映射在当前的方法中得到了很好的研究,但图像,深度和场景语义之间的相关性却很少考虑。这阻碍了网络更好地理解场景的真实几何形状,因为上下文线索不仅贡献了场景深度的潜在表示,而且还贡献了深度图的直接约束。在本文中,我们利用这两个好处,提出了精确的自我监督深度估计的隐式和显式语义指导。我们提出了一个语义感知的空间特征对齐(SSFA)计划,有效地对齐隐含的语义特征与深度特征的场景感知的深度估计。我们还提出了一个语义指导的排名损失明确限制估计的深度图与真实场景的上下文属性是一致的。语义标签噪声和预测不确定性都被认为是产生可靠的深度监督。大量的实验结果表明,我们的方法产生高质量的深度图,无论是在复杂的场景或不同的语义类别是一贯优越的,并优于国家的最先进的方法显着的利润。
2021-02-11 cs.CV
Predicting Sharp and Accurate Occlusion Boundaries in Monocular Depth Estimation Using Displacement Fields
LIGM(LIGM实验室);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
当前用于从单目图像进行深度图预测的方法倾向于预测输入图像中的遮挡边界的平滑、局部化差的轮廓。这是不幸的,因为遮挡边界是识别对象的重要线索,正如我们所展示的,可能会导致一种从场景重建中发现新对象的方法。为了改进预测的深度图,最近的方法依赖于各种形式的滤波或预测加性残差深度图来细化第一估计。相反,我们学习预测,给定通过某种重建方法预测的深度图,2D位移场能够将遮挡边界周围的像素重新采样为更清晰的重建。我们的方法可以以端到端的可训练方式应用于任何深度估计方法的输出。为了进行评估,我们在流行的NYUv 2-Depth数据集的测试分割中手动注释了所有图像中的遮挡边界。我们表明,我们的方法提高了所有国家的最先进的单眼深度估计方法,我们可以评估,而不会降低深度精度的其余图像的遮挡边界的本地化。
2020-05-10 cs.CV
RGBD-Net: Predicting color and depth images for novel views synthesis
University of Oulu(奥卢大学);TomTom(TomTom公司);Tampere University(坦佩雷大学);Czech Technical University in Prague(布拉格捷克理工大学)
我们提出了一种新的级联架构的新颖的视图合成,称为RGBD-Net,它包括两个核心组件:层次深度回归网络和深度感知生成器网络。前者通过自适应深度缩放来预测目标视图的深度图,而后者利用预测的深度并渲染空间和时间一致的目标图像。在标准数据集上的实验评估中,RGBD-Net不仅明显优于最先进的技术,而且在没有每个场景优化的情况下也可以很好地推广到新场景。此外,我们还证明了RGBD-Net可以在没有深度监督的情况下进行可选训练,同时仍然保持高质量的渲染。得益于深度回归网络,RGBD-Net还可用于创建密集的3D点云,其精度高于某些最先进的多视图立体视觉方法。
2021-07-09 cs.CV cs.GR
STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model
CNRS-I3S(法国国家科学研究中心-蔚蓝海岸大学信息、信号与系统实验室);Côte d’Azur University(蔚蓝海岸大学);Renault Software Factory(雷诺软件工厂)
在本文中,提出了一种自监督模型,同时预测一系列的未来帧的视频输入与一种新的时空注意力(ST)网络。ST Transformer网络允许约束跨未来帧的时间一致性,同时约束跨图像中不同尺度的空间对象的一致性。这在先前的深度预测工作中不是这样的,其专注于预测单个帧作为输出。所提出的模型利用先验场景知识,如物体形状和纹理类似于单图像深度推理方法,同时还约束输入图像序列的运动和几何形状。除了Transformer架构之外,相对于先前工作的主要贡献之一在于目标函数,该目标函数在输出帧序列而不是单个输出帧上强制时空一致性。如将示出的,这导致更准确和鲁棒的深度序列预测。该模型实现了高度准确的深度预测结果,优于KITTI基准的现有基线。进行了广泛的消融研究,以评估所提出的技术的有效性。所提出的模型的一个显着的结果是,它是隐式地能够预测场景中的对象的运动,而不是需要复杂的模型,涉及多目标检测,分割和跟踪。
2023-03-02 cs.CV
Exploiting Depth from Single Monocular Images for Object Detection and Semantic Segmentation
The University of Adelaide(阿德莱德大学);The University of Queensland(昆士兰大学)
增强RGB数据与测量的深度已被证明可以提高计算机视觉中的一系列任务的性能,包括目标检测和语义分割。尽管诸如微软Kinect之类的深度传感器已经促进了这种深度信息的容易获取,但是在视觉任务中使用的绝大多数图像不包含深度信息。在本文中,我们表明,增强RGB图像与估计的深度也可以提高目标检测和语义分割的准确性。具体来说,我们首先利用最近成功的深度估计从单目图像和学习深度深度估计模型。然后,我们从估计的深度学习深度特征,并结合RGB特征进行目标检测和语义分割。此外,我们提出了一种RGB-D语义分割方法,该方法采用多任务训练方案:语义标签预测和深度值回归。我们在几个数据集上测试了我们的方法,并证明了将来自估计深度的信息结合起来显著提高了目标检测和语义分割的性能。
2016-10-06 cs.CV
Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth
OPPO US Research Center(OPPO美国研究中心);State University of New York at Buffalo(纽约州立大学布法罗分校)
多任务学习(MTL)范式关注于联合学习两个或多个任务,旨在显著提高模型的泛化能力,性能和训练/推理记忆足迹。在视觉相关{ \bf dense}预测任务的联合训练中,上述优势变得不可或缺。在这项工作中,我们解决了两个密集任务的MTL问题,即,语义分割和深度估计,并提出了一种新的注意力模块,称为跨通道注意力模块({CCAM}),它有助于两个任务之间沿每个通道的有效特征共享,从而在可训练参数增加可忽略不计的情况下获得相互的性能增益。在一个真正的共生精神,然后,我们制定了一个新的数据增强的语义分割任务使用预测的深度称为{AffineMix},和一个简单的深度增强使用预测的语义称为{ColorAug}。最后,我们在Cityscapes和ScanNet数据集上验证了所提出的方法的性能增益,这有助于我们实现基于深度和语义分割的半监督联合模型的最新结果。
2022-10-25 cs.CV
SDGOCC: Semantic and Depth-Guided Bird's-Eye View Transformation for 3D Multimodal Occupancy Prediction
Huazhong University of Science and Technology(华中科技大学)
针对相机与LiDAR单模态3D占据预测的局限,本文提出SDG-OCC,通过语义深度引导视图变换和主动蒸馏实现实时SOTA性能。
2025-07-22 cs.AI cs.CV
Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation
Northwestern Polytechnical University(西北工业大学)
自监督深度估计在仅给定图像序列作为输入的情况下产生高质量深度图方面已经显示出其巨大的有效性。然而,由于有限的深度表示能力,它的性能通常下降时,估计边界区域或薄结构的对象。在本文中,我们解决这个问题,提出了一个语义引导的深度表示增强方法,促进本地和全球的深度特征表示,利用丰富的上下文信息。代替传统范例中使用的单个深度网络,我们提出了一个额外的语义分割分支,为深度估计提供额外的上下文特征。基于这个框架,我们提高了局部特征表示的采样和饲料的基于点的功能,位于语义边缘的一个单独的语义引导的边缘增强模块(SEEM),这是专门设计用于促进深度估计上具有挑战性的语义边界。然后,我们提出了一个语义引导的多级注意力机制,提高了语义和深度特征,通过探索像素级的相关性,在多级深度解码方案的全局特征表示。大量的实验验证了我们的方法在捕捉具有挑战性的图像区域,如语义类别边界和薄对象的高度准确的深度的显着优势。在KITTI上的定量和定性实验表明,我们的方法优于最先进的方法。
2020-12-15 cs.CV
Co-SemDepth: Fast Joint Semantic Segmentation and Depth Estimation on Aerial Images
University of Genova(热那亚大学)
针对无人机自主导航中场景几何与语义信息的实时获取需求,提出Co-SemDepth联合深度学习架构,可同时快速完成航空图像的深度估计与语义分割,在相关基准上性能优异且速度快、内存占用低。
2025-03-23 cs.AI cs.CV
Semantics-Driven Unsupervised Learning for Monocular Depth and Ego-Motion Estimation
本文提出了一种语义驱动的无监督学习方法,用于视频中的单目深度和自我运动估计。最近的无监督学习方法利用合成视图和实际图像之间的光度误差作为用于训练的监督信号。在我们的方法中,我们利用语义分割信息来减轻场景中的动态对象和遮挡的影响,并通过考虑深度和语义之间的相关性来提高深度预测性能。为了避免昂贵的标记过程,我们使用由预训练的语义分割网络获得的噪声语义分割结果。此外,我们最小化相邻帧的对应点之间的位置误差,以利用三维空间信息。KITTI数据集上的实验结果表明,我们的方法在深度和自我运动估计任务中取得了良好的性能。
2020-06-08 cs.CV
SemAttNet: Towards Attention-based Semantic Aware Guided Depth Completion
Department of Computer Science, University of Kaiserslautern, 67663 Kaiserslautern, Germany(凯斯莱特大学计算机科学系);Mindgrage, University of Kaiserslautern, 67663 Kaiserslautern, Germany(Mindgrage凯斯莱特大学);Department of Computer Science, Luleå University of Technology, 971 87 Luleå, Sweden(卢勒奥技术大学计算机科学系)
本文提出SemAttNet,通过三分支架构结合颜色、语义和深度引导,利用注意力机制融合特征,提升深度补全精度,实验表明在KITTI基准上达到最优性能。
2026-04-15 cs.CV
Veritatem Dies Aperit- Temporally Consistent Depth Prediction Enabled by a Multi-Task Geometric and Semantic Scene Understanding Approach
Durham University(杜伦大学)
鲁棒的几何和语义场景理解在自动驾驶和机器人导航等许多现实应用中变得越来越重要。在本文中,我们提出了一个多任务的学习为基础的方法,能够联合执行几何和语义场景理解,即深度预测(单目深度估计和深度完成)和语义场景分割。在单个时间约束的递归网络中,我们的方法独特地利用了一系列复杂的跳过连接,对抗训练和顺序帧递归的时间约束,同时产生一致的深度和语义类标签。广泛的实验评估表明,我们的方法相比,其他当代国家的最先进的技术的有效性。
2019-07-19 cs.CV
SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware Feature Extraction
NAVER LABS(NAVER实验室);Korea Advanced Institute of Science and Technology(韩国科学技术院)
自监督单目深度估计已经成为一种有前途的方法,因为它在训练期间不需要地面实况深度图。作为地面实况深度图的替代方案,光度损失使得能够通过匹配输入图像帧来提供对深度预测的自我监督。然而,光度损失导致各种问题,导致与监督方法相比不太准确的深度值。在本文中,我们提出了SAFENet,旨在利用语义信息来克服光度损失的局限性。我们的核心思想是利用语义感知的深度功能,集成的语义和几何知识。因此,我们引入多任务学习方案,将语义感知到深度特征的表示中。KITTI数据集上的实验表明,我们的方法竞争,甚至优于国家的最先进的方法。此外,在不同数据集上的大量实验表明,该算法具有更好的泛化能力和对各种条件的鲁棒性,如弱光或恶劣天气。
2020-12-29 cs.CV
Multi-task GANs for Semantic Segmentation and Depth Completion with Cycle Consistency
East China University of Science and Technology(华东理工大学);Potsdam Institute for Climate Impact Research(波茨坦气候影响研究所);Humboldt University of Berlin(柏林洪堡大学)
语义分割和深度补全是场景理解中两个具有挑战性的任务,在机器人和自动驾驶领域有着广泛的应用。虽然提出了几个工作,以联合训练这两个任务使用一些小的修改,如改变最后一层,一个任务的结果是不利用,以提高另一个的性能,尽管这两个任务之间有一些相似之处。在本文中,我们提出了多任务生成对抗网络(多任务GANs),它不仅可以胜任语义分割和深度完成,而且还可以通过生成的语义图像来提高深度完成的准确性。此外,我们通过引入多尺度空间池块和结构相似性重建损失来改进基于CycleGAN生成的语义图像的细节。此外,考虑到语义和几何结构之间的内在一致性,我们开发了一个语义引导的平滑损失,以改善深度完成的结果。在Cityscapes数据集和KITTI深度完成基准上的大量实验表明,多任务GANs能够在语义分割和深度完成任务方面取得有竞争力的性能。
2020-11-29 cs.CV
DepthSSC: Monocular 3D Semantic Scene Completion via Depth-Spatial Alignment and Voxel Adaptation
University of Washington(华盛顿大学);Sun Yat-sen University(中山大学);Taiyuan University of Technology(太原理工大学);Central South University(中南大学)
针对单目3D语义场景补全中物体形状预测不准和边界分类错误的问题,提出集成ST-GF模块与GAV的DepthSSC方法,实现空间与深度信息精确对齐,在SemanticKITTI等数据集上取得SOTA性能。
2024-11-25 cs.CV
Depth-Assisted ResiDualGAN for Cross-Domain Aerial Images Semantic Segmentation
Institute of Remote Sensing and Geographic Information System, Peking University(北京大学遥感与地理信息系统研究所)
无监督领域自适应(UDA)是一种最小化领域间隙的方法。生成方法是最小化空间图像的域间隙的常用方法,其提高下游任务的性能,例如,跨领域语义分割。对于航空影像,数字表面模型(DSM)通常在源域和目标域都可用。DSM中的深度信息为生成模型带来了外部信息。本文提出了一种深度辅助的ResidDualGAN(DRDG)算法,该算法利用深度监督损失(DSL)和深度周期一致性损失(DCCL)将深度信息引入到生成模型中。实验结果表明,DRDG在跨领域语义分割任务中达到了生成方法之间最先进的准确性。
2022-08-27 cs.CV
Visual Localization Using Semantic Segmentation and Depth Prediction
OPPO Research Institute(OPPO研究院)
在本文中,我们提出了一个单目视觉定位管道利用语义和深度线索。我们应用语义一致性评价对图像检索结果进行排序,并使用一种实用的聚类技术来拒绝估计离群值。此外,我们证明了一个显着的性能提升实现了多个特征提取器的组合。此外,通过使用深度预测与深度神经网络,我们表明,大量的错误匹配的关键点被识别和消除。在2020年的长期视觉定位基准测试中,拟议的管道优于大多数现有方法。
2020-05-25 cs.CV
SDNet: Semantically Guided Depth Estimation Network
Goethe University(歌德大学);Norwegian Open AI Lab(挪威开放人工智能实验室);NTNU(挪威科技大学)
自动驾驶车辆和机器人需要对环境有全面的场景理解才能与之交互,这种感知通常包含对来自视频传感器的每个图像的深度和语义标签的像素级知识。最近的基于学习的方法使用两个单独的CNN独立地估计这两种类型的信息。在本文中,我们提出了一个模型,能够同时预测两个输出,这导致了改进的结果,甚至降低了计算成本相比,独立估计的深度和语义。我们还通过经验证明了CNN能够学习更有意义和语义更丰富的特征。此外,我们的SDNet基于顺序分类估计深度。在这两个增强的基础上,我们提出的方法实现了最先进的结果,语义分割和深度估计从两个具有挑战性的数据集上的单目输入图像。
2019-07-24 cs.CV
Predicting Deeper into the Future of Semantic Segmentation
Facebook AI Research(Facebook 人工智能研究院);Inria Grenoble, Laboratoire Jean Kuntzmann, Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学 Jean Kuntzmann 实验室、法国国家信息与自动化研究所格勒诺布尔中心);New York University(纽约大学)
预测未来的能力是智力的一个重要属性。它在实时系统中也非常重要,例如在机器人或自动驾驶中,这些系统依赖于视觉场景理解进行决策。虽然预测的原始RGB像素值在未来的视频帧已经在以前的工作中进行了研究,在这里,我们介绍了预测未来帧的语义分割的新任务。给定一个视频帧序列,我们的目标是预测未来一秒或更长时间内尚未观察到的视频帧的分割图。我们开发了一个自回归卷积神经网络,学习迭代生成多帧。我们在Cityscapes数据集上的结果表明,直接预测未来的分割比预测然后分割未来的RGB帧要好得多。在未来的半秒内的预测结果在视觉上是令人信服的,并且比基于使用光流的扭曲语义分割的基线的预测结果准确得多。
2017-08-08 cs.CV cs.LG
Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich(苏黎世联邦理工学院);University of Bonn(波恩大学);KU Leuven(鲁汶大学)
训练用于语义分割的深度网络需要大量标记的训练数据,这在实践中提出了一个重大挑战,因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题,我们提出了一个框架,半监督语义分割,这是增强了自监督单目深度估计从未标记的图像序列。特别是,我们提出三个关键贡献:(1)我们将知识从自监督深度估计期间学习的特征转移到语义分割,(2)我们通过使用场景的几何形状混合图像和标签来实现强数据增强,以及(3)我们利用深度特征多样性以及学生学习深度的难度水平-教师框架来选择最有用的样本进行语义分割的注释。我们在Cityscapes数据集上验证了所提出的模型,其中所有三个模块都表现出显着的性能增益,并且我们实现了半监督语义分割的最新结果。该实现可在www.example.com上获得。
2021-04-05 cs.CV
DepthGAN: GAN-based Depth Generation of Indoor Scenes from Semantic Layouts
University of Chinese Academy of Sciences(中国科学院大学);Chongqing University(重庆大学)
受计算效率和精度的限制,生成复杂的3D场景仍然是现有生成网络的一个挑战性问题。在这项工作中,我们提出了DepthGAN,这是一种只使用语义布局作为输入生成深度图的新方法。首先,我们引入了一个精心设计的Transformer块级联作为我们的生成器来捕获深度图中的结构相关性,这使得全局特征聚合和局部注意力之间取得了平衡。同时,我们提出了一个交叉注意融合模块,以指导边缘保护有效地在深度生成,它利用额外的外观监督信息。最后,我们在Structured3d全景数据集上进行了大量的实验,实验结果表明,本文提出的深度GAN算法在深度生成任务中,无论是在量化结果还是视觉效果上都取得了优异的性能,而且我们生成的深度图可以重建出具有合理结构和空间一致性的室内三维场景。
2022-03-22 cs.CV
Geometry meets semantics for semi-supervised monocular depth estimation
University of Bologna(博洛尼亚大学)
从单个图像进行深度估计是计算机视觉中一个非常令人兴奋的挑战。虽然其他基于图像的深度感测技术利用不同视点之间的几何形状(例如,立体或运动恢复结构),在单个图像内缺乏这些线索使得单目深度估计任务不适定。对于推断,用于单目深度估计的现有技术的编码器-解码器架构依赖于在训练时学习的有效特征表示。对于这些模型的无监督训练,通过从由立体钻机或移动相机获取的视图计算的合适的图像扭曲损失,已经有效地利用了几何形状。在本文中,我们进一步表明,从图像中学习语义信息,能够有效地提高单目深度估计以及。特别是,通过利用语义标记的图像以及通过图像扭曲损失通过几何获得的无监督信号,我们提出了一种旨在联合语义分割和深度估计的深度学习方法。我们的整体学习框架是半监督的,因为我们只在语义领域部署地面实况数据。在训练时,我们的网络学习两个任务的共同特征表示,并提出了一种新的跨任务损失函数。实验结果表明,如何联合处理深度预测和语义分割,允许提高深度估计的准确性。特别是,在KITTI数据集上,我们的网络优于最先进的单眼深度估计方法。
2018-10-26 cs.CV
Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation
Inria(法国国家信息与自动化研究所);Valeo(法雷奥)
卷积神经网络是为密集数据设计的,但视觉数据通常是稀疏的(立体深度、点云、笔划等)。我们提出了一种方法来处理稀疏的深度数据与可选的密集RGB,并完成深度完成和语义分割只改变最后一层。我们的建议有效地学习稀疏特征,而不需要额外的有效性掩码。我们展示了如何确保网络对不同输入稀疏性的鲁棒性。我们的方法甚至适用于低至0.8%的密度(8层激光雷达),并且在Kitti深度完成基准上优于所有已发布的最先进技术。
2018-08-31 cs.CV
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation
Seoul National University(首尔大学);POSTECH(浦项科技大学)
自监督单目深度估计由于其重要的实际意义和近年来的发展前景而得到了广泛的研究。然而,大多数作品遭受有限的监督光度一致性,特别是在弱纹理区域和对象边界。为了克服这个弱点,我们提出了新的想法,以提高自我监督的单目深度估计,利用跨域的信息,特别是场景语义。我们专注于将隐含的语义知识几何表示增强,并提出两个想法:一个度量学习方法,利用语义引导的局部几何优化中间深度表示和一个新的功能融合模块,明智地利用两个异构特征表示之间的交叉模态。我们在KITTI数据集上全面评估了我们的方法,并证明我们的方法优于最先进的方法。源代码可在https://github.com/hyBlue/FSRE-Depth上获得。
2021-08-19 cs.CV
Semantic Scene Completion Combining Colour and Depth: preliminary experiments
Universidade de Brasília(巴西利亚大学);University of Surrey(萨里大学)
语义场景完成是从单视图观察产生具有场景的语义标签的体积占用的完整3D体素表示的任务。我们建立在Song等人(CVPR 2017)最近的工作基础上,他们提出了SSCnet,这是一种在单个端到端3D卷积网络中执行场景完成和语义标记的方法。SSCnet仅使用深度图作为输入,尽管深度图通常是从也捕获颜色信息的设备(如RGBD传感器和立体相机)中获得的。在这项工作中,我们研究了RGB颜色通道改善SSCnet的潜力。
2018-02-13 cs.CV
MuseCL: Predicting Urban Socioeconomic Indicators via Multi-Semantic Contrastive Learning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院)
MuseCL通过多语义对比学习融合视觉与文本信息,提升城市社会经济预测的精度与鲁棒性。
2024-06-23 cs.AI cs.CV cs.CY
Semantic Scene Completion from a Single Depth Image
Princeton University(普林斯顿大学)
本文着重于语义场景完成,一个任务,用于产生一个完整的三维体素表示的体积占用和语义标签的场景从一个单视图深度图观察。以前的工作分别考虑了场景完成和深度图的语义标记。然而,我们注意到,这两个问题是紧密交织在一起的。为了利用这两个任务的耦合性质,我们引入了语义场景完成网络(SSCNet),这是一个端到端的3D卷积网络,它将单个深度图像作为输入,并同时输出相机视锥中所有体素的占用和语义标签。我们的网络使用基于扩张的3D上下文模块来有效地扩展感受野并实现3D上下文学习。为了训练我们的网络,我们构建了SUNC-一个手动创建的大规模数据集的合成三维场景与密集的体积注释。我们的实验表明,联合模型优于孤立地解决每个任务的方法,并优于其他方法的语义场景完成任务。
2016-11-28 cs.CV
GaussianDS: Depth-supervised Semantic Gaussian Splatting for Scene Understanding
Zhejiang University(浙江大学)
GaussianDS提出深度监督的语义高斯泼溅框架,通过联合优化RGB、深度和语义并利用SAM2传播掩码,缓解语义漂移,在LERF和3D-OVS上取得SOTA性能。
2026-09-24 cs.CV
Semantic-Aware Depth Super-Resolution in Outdoor Scenes
NICTA(澳大利亚国家信息与通信技术研究院);EPFL(洛桑联邦理工学院)
虽然深度传感器越来越受欢迎,但它们的空间分辨率通常仍然有限。因此,深度超分辨率作为该问题的解决方案而出现。尽管取得了很大进展,但现有技术存在两个缺点:(i)它们依赖于强度边缘与深度不连续性重合的假设,不幸的是,这仅在受控环境中是真实的;以及(ii)它们通常利用高分辨率训练深度图的可用性,由于传感器的限制,在实践中通常不能获取高分辨率训练深度图。相比之下,在这里,我们介绍了一种在更具挑战性的条件下(例如在户外场景中)执行深度超分辨率的方法。为此,我们首先提出利用语义信息来更好地约束超分辨率过程。特别是,我们设计了一个共稀疏分析模型,从联合强度,深度和语义信息中学习过滤器。此外,我们还展示了如何在我们的学习策略中使用低分辨率训练深度图。我们证明了我们的方法的好处,超过国家的最先进的深度超分辨率方法在两个室外场景数据集。
2016-05-31 cs.CV
Depth-Adapted CNNs for RGB-D Semantic Segmentation
Université Bourgogne Franche-Comté(勃艮第-弗朗什孔泰大学);CNRS(法国国家科学研究中心);Shanghai Jiao Tong University(上海交通大学)
最近的RGB-D语义分割已经激发了研究兴趣,这要归功于从输入侧补充模态的可访问性。现有的作品通常采用双流架构,并行处理光度和几何信息,很少有方法明确利用深度线索的贡献来调整RGB图像上的采样位置。在本文中,我们提出了一种新的框架,将深度信息纳入RGB卷积神经网络(CNN),称为Z-ACN(深度自适应CNN)。具体来说,我们的Z-ACN生成一个2D深度自适应偏移量,它完全受到低级别特征的约束,以指导RGB图像上的特征提取。通过生成的偏移量,我们引入了两个直观有效的操作来取代基本的CNN运算符:深度自适应卷积和深度自适应平均池化。室内和室外语义分割任务上的大量实验证明了我们的方法的有效性。
2022-06-08 cs.CV
GAM-Depth: Self-Supervised Indoor Depth Estimation Leveraging a Gradient-Aware Mask and Semantic Constraints
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局下属新加坡制造技术研究院)
本文提出 GAM-Depth,通过梯度感知掩码和语义约束改善自监督室内深度估计在无纹理区域和物体边界处的不一致问题,并在 NYUv2、ScanNet 和 InteriorNet 上取得最先进性能。
2024-02-22 cs.CV
FreDSNet: Joint Monocular Depth and Semantic Segmentation with Fast Fourier Convolutions
FreDSNet利用快速傅里叶卷积从单张全景图像联合实现单目深度估计与语义分割,性能媲美最先进方法。
2024-02-05 cs.AI cs.CV cs.RO
Predicting Visual Exemplars of Unseen Classes for Zero-Shot Learning
利用类语义描述和已知对象的示例,零样本学习使得可以训练用于其示例不可用的对象类的识别模型。在本文中,我们提出了一种新的零样本学习模型,利用聚类结构的语义嵌入空间。其关键思想是施加结构约束,语义表示必须预测其相应的视觉样本的位置。为此,这简化为从来自所看到的对象类别的标记数据的语义表示样本对训练多个基于内核的回归量。尽管简单,但我们的方法在标准基准数据集上的性能明显优于现有的零样本学习方法,包括包含20,000多个未知类别的ImageNet数据集。
2017-08-20 cs.CV
Sparse Depth Completion with Semantic Mesh Deformation Optimization
IBM Research(IBM研究院)
稀疏深度测量在诸如增强现实、视觉惯性测距法和配备有低成本深度传感器的机器人的许多应用中广泛可用。尽管这种稀疏深度样本对于运动跟踪等某些应用效果很好,但对于更广泛的应用,例如3D对象识别,3D重建和自动驾驶,完整的深度图通常是首选。尽管最近在利用更深的神经网络从单个RGB图像进行深度预测方面取得了进展,但是现有的方法没有产生用于实际使用的可靠结果。在这项工作中,我们提出了一个神经网络与后优化,它采取RGB图像和稀疏的深度样本作为输入,并预测完整的深度图。我们做了三个主要的贡献,以推进国家的最先进的:一个改进的骨干网络架构命名为EDNet,语义边缘加权损失函数和语义网格变形优化方法。我们的评估结果在室内和室外数据集上都优于现有的工作,并且在NYU-Depth-V2数据集上200个稀疏样本的相同设置下,它将平均平均误差显著降低了19.5%。
2021-12-10 cs.CV
Hard Pixel Mining for Depth Privileged Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学)
语义分割已经取得了很大的进展,但由于场景复杂、物体遮挡等原因,语义分割仍存在一定的挑战性,一些研究工作试图使用额外的信息,如深度图来帮助基于RGB的语义分割,因为深度图可以提供互补的几何线索。然而,由于深度传感器的不可访问性,深度信息通常无法用于测试图像。在语义分割中,深度信息只对训练图像有效,而对测试图像无效,本文仅利用训练图像的深度信息作为优先信息来挖掘硬像素。具体来说,我们提出了一种新的损失重量模块,它输出的损失重量图采用两个深度相关的测量硬像素:深度预测误差和深度感知分割误差。然后将损失权重图应用于分割损失,目标是通过更多地关注硬像素来学习更鲁棒的模型。此外,本研究亦探讨以减重图为基础的课程学习策略。同时,为了充分挖掘不同尺度上的硬像素,我们将我们的损失权重模块应用于多尺度侧输出。我们的硬像素挖掘方法在两个基准数据集上取得了最先进的结果,甚至优于在测试过程中需要深度输入的方法。
2020-03-11 cs.CV
RaySt3R: Predicting Novel Depth Maps for Zero-Shot Object Completion
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);NVIDIA(英伟达)
RaySt3R将3D形状补全转化为新视角合成问题,利用前馈transformer从单张RGB-D图像预测多视角深度图、掩码和置信度,并在多个数据集上以最多44%的倒角距离优势超越基线。
2025-06-05 cs.CV
Self-Supervised Monocular Depth Estimation: Solving the Dynamic Object Problem by Semantic Guidance
Technische Universität Braunschweig(布伦瑞克工业大学)
自监督单目深度估计提出了一种从单个相机图像获得3D场景信息的强大方法,其可在任意图像序列上训练而不需要深度标签,例如,从激光雷达传感器。在这项工作中,我们提出了一种新的自监督语义引导的深度估计(SGDepth)方法来处理移动的动态类(DC)对象,如移动的汽车和行人,这违反了静态世界的假设,通常在训练这些模型。具体而言,我们提出了(i)(监督)语义分割和自监督深度估计与特定任务的网络头的互利跨域训练,(ii)语义掩蔽方案提供指导,以防止移动DC对象污染的光度损失,以及(iii)检测方法与非移动DC对象的帧,从其中可以学习DC对象的深度。我们展示了我们的方法在几个基准上的性能,特别是在本征分裂上,我们超过了所有的基线,而没有测试时的改进。
2020-07-21 cs.CV
Incorporating Luminance, Depth and Color Information by a Fusion-based Network for Semantic Segmentation
National Chiao Tung University(国立交通大学);UC San Diego(加州大学圣地亚哥分校)
由于近年来深度卷积网络的成功,语义分割取得了令人鼓舞的进展。同时,深度传感器现在变得普遍,因此可以更容易地获取深度图。然而,有几个研究,专注于RGB-D语义分割任务。利用深度信息有效性来提高性能是一个挑战。在本文中,我们提出了一种新的解决方案LDFNet,它结合了亮度,深度和颜色信息的融合为基础的网络。它包括一个子网络来处理深度图,并采用亮度图像来辅助处理中的深度信息。LDFNet在Cityscapes数据集上的表现优于其他最先进的系统,其推理速度比大多数现有网络都快。实验结果表明了该多模态融合网络的有效性及其在实际应用中的潜力。
2019-05-19 cs.CV
Joint Semantic Segmentation and Depth Estimation with Deep Convolutional Networks
George Mason University(乔治梅森大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
多尺度深度CNN已成功用于将每个像素映射到标签的问题,例如深度估计和语义分割。它还表明,这种架构是可重用的,可以用于多个任务。这些网络通常通过改变输出层和训练目标来为每个任务独立训练。在这项工作中,我们提出了一个新的模型,同时深度估计和语义分割从一个单一的RGB图像。我们的方法证明了为每个任务训练模型的一部分,然后使用单个损失函数同时对两个任务的完整组合模型进行微调的可行性。此外,我们将深度CNN与完全连接的CRF耦合,其捕获语义和深度线索之间的上下文关系和交互,从而提高最终结果的准确性。所提出的模型在NYUDepth V2数据集上进行训练和评估,在语义分割方面优于最先进的方法,并在深度估计任务上取得了可比的结果。
2016-09-19 cs.CV
OccDepth: A Depth-Aware Method for 3D Semantic Scene Completion
MEGVII Technology(旷视科技)
3D语义场景补全(SSC)可以提供密集的几何和语义场景表示,可以应用于自动驾驶和机器人系统领域。仅从视觉图像中估计场景的完整几何和语义是具有挑战性的,准确的深度信息对于恢复3D几何至关重要。在本文中,我们提出了第一个立体SSC方法命名为OccDepth,它充分利用了立体图像(或RGBD图像)的隐式深度信息,以帮助恢复3D几何结构。立体声软特征分配(Stereo-SFA)模块被提出来通过隐式学习立体图像之间的相关性来更好地融合3D深度感知特征。特别地,当输入是RGBD图像时,可以通过原始RGB图像和深度图来生成虚拟立体图像。此外,OAD模块用于通过使用预训练的深度模型进行知识蒸馏来获得几何感知的3D特征。此外,本文还提供了一个改进的TartanAir基准测试,名为SemanticTartanAir,用于进一步测试我们的OccDepth方法在SSC任务上的性能。与最先进的RGB推断的SSC方法相比,在SemanticKITTI上的大量实验表明,我们的OccDepth方法实现了优越的性能,提高了+4.82%mIoU,其中+2.49%mIoU来自立体图像,+2.33%mIoU来自我们提出的深度感知方法。我们的代码和训练模型可以在https://github.com/megvii-research/OccDepth上找到。
2023-02-27 cs.CV
Semi-Supervised Semantic Depth Estimation using Symbiotic Transformer and NearFarMix Augmentation
BUET(孟加拉国工程技术大学)
针对深度估计中语义数据稀缺、卷积方法感受野受限的问题,提出基于共生Transformer的深度语义共生模块与NearFarMix增强策略,半监督框架在室内外数据集上均取得更优效果。
2023-08-28 cs.CV cs.LG
LocalBins: Improving Depth Estimation by Learning Local Distributions
KAUST(阿卜杜拉国王科技大学);National Center for Artificial Intelligence (NCAI), Saudi Data and Artificial Intelligence Authority (SDAIA)(沙特数据与人工智能管理局国家人工智能中心)
我们提出了一种新的架构深度估计从一个单一的图像。该架构本身基于流行的编码器-解码器架构,该架构经常用作所有密集回归任务的起点。我们建立在AdaBins上,AdaBins估计输入图像的深度值的全局分布,并以两种方式发展架构。首先,我们预测每个像素的局部邻域的深度分布,而不是预测全局深度分布。其次,我们不是只预测解码器末端的深度分布,而是涉及解码器的所有层。我们称这种新架构为LocalBins。我们的结果表明,在NYU-Depth V2数据集的所有指标上,都有明显的改进。代码和预训练模型将公开提供。
2022-03-28 cs.CV
3D Neighborhood Convolution: Learning Depth-Aware Features for RGB-D and RGB Semantic Segmentation
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
RGB-D分割的一个关键挑战是如何有效地将来自深度通道的3D几何信息并入2D外观特征。我们建议根据3D邻域的尺度和局部性对2D卷积的有效感受野进行建模。标准卷积在图像空间($u, v$)中是局部的,通常具有3x 3像素的固定感受野。我们建议相对于3D真实世界空间($x, y, z$)中的对应点定义卷积局部,其中深度通道用于适应卷积的感受野,这产生了对尺度不变的所得滤波器,并聚焦于一定的深度范围。我们介绍了3D邻域卷积(3DN-Conv),这是一种围绕3D邻域的卷积算子。此外,我们可以使用估计的深度来使用我们的基于RGB输入的语义分割模型。实验结果验证了我们提出的3DN-Conv算子改进了语义分割,使用地面真实深度(RGB-D)或估计深度(RGB)。
2019-10-03 cs.CV
Depth Edge Alignment Loss: DEALing with Depth in Weakly Supervised Semantic Segmentation
DTU - Technical University of Denmark(丹麦技术大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学)
提出深度边缘对齐损失以提升弱监督语义分割性能,通过像素级深度信息增强模型表现。
2026-01-14 cs.CV
DADA: Depth-aware Domain Adaptation in Semantic Segmentation
Sorbonne University(索邦大学)
无监督领域自适应(UDA)对于大规模标注具有挑战性的代表性数据的应用非常重要。特别是对于语义分割,它有助于部署在真实的“目标域”数据模型上,这些数据模型是在来自不同“源域”(特别是虚拟环境)的注释图像上训练的。为此,大多数以前的作品认为语义分割作为源域数据的唯一监督模式,而忽略了其他可能可用的信息,如深度。在这项工作中,我们的目标是在训练UDA模型的同时最好地利用这样的特权信息。我们提出了一个统一的深度感知UDA框架,利用在几个互补的方式在源域的密集深度的知识。因此,训练后的语义分割模型在目标领域上的性能得到了提升。我们的新方法确实在不同的具有挑战性的合成-2-真实基准上实现了最先进的性能。
2019-08-19 cs.CV
Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos
Johns Hopkins University(约翰霍普金斯大学);Johns Hopkins University School of Medicine(约翰霍普金斯大学医学院)
针对现有视频手术技能评估忽视三维空间信息的问题,提出语义RGB-深度融合框架,结合深度融合与分层注意力,在33例喉显微手术中技能分类F1达0.938,优于单一模态。
2026-10-02 cs.CV
Predicting Semantic Map Representations from Images using Pyramid Occupancy Networks
University of Cambridge(剑桥大学)
自动驾驶汽车通常依赖于其环境的高度详细的鸟瞰图,这些地图既可以捕捉场景的静态元素,如道路布局,也可以捕捉其他汽车和行人等动态元素。动态生成这些地图表示是一个复杂的多阶段过程,其中包含许多重要的基于视觉的元素,包括地平面估计,道路分割和3D目标检测。在这项工作中,我们提出了一个简单的,统一的方法来估计地图直接从单目图像使用一个单一的端到端的深度学习架构。对于地图本身,我们采用了语义贝叶斯占用网格框架,使我们能够在多个相机和时间步长上简单地积累信息。我们通过对NuScenes和Argoverse数据集上的几个具有挑战性的基线进行评估来证明我们方法的有效性,并表明与现有的最佳方法相比,我们能够分别实现9.1%和22.3%的相对改进。
2020-03-30 cs.CV
Hybridnet for depth estimation and semantic segmentation
本文提出HybridNet混合卷积网络,从单一图像同时进行深度估计和语义分割,通过分离任务特有与共享特征改进特征提取,性能与现有方法及单任务方法相当。
2024-02-09 cs.CV
DESC: Domain Adaptation for Depth Estimation via Semantic Consistency
Imperial College London(帝国理工学院)
准确的真实深度注释很难获得,需要使用特殊设备,如LiDAR传感器。自监督方法试图通过处理视频或立体声序列来克服这个问题,这可能并不总是可用的。相反,在本文中,我们提出了一种领域自适应方法来训练一个单目深度估计模型,使用一个完全注释的源数据集和一个非注释的目标数据集。我们通过利用语义预测和低级别边缘特征为目标域提供指导来弥合域差距。我们强制主模型和使用语义分割和边缘图训练的第二模型之间的一致性,并以实例高度的形式引入先验知识。我们的方法进行评估标准的领域自适应的单目深度估计的基准,并表现出一致的改进后,国家的最先进的。
2020-09-03 cs.CV
Pixel-level Encoding and Depth Layering for Instance-level Semantic Labeling
University of Freiburg(弗莱堡大学);TU Darmstadt(达姆施塔特工业大学)
最近的实例感知语义标记方法已经用复杂的多任务架构或计算昂贵的图形模型来增强卷积神经网络(CNN)。我们提出了一种利用全卷积网络(FCN)来预测语义标签、深度和基于实例的编码的方法,该方法使用每个像素朝向其对应实例中心的方向。随后,我们应用低级计算机视觉技术在街景数据集KITTI和Cityscapes上生成最先进的实例分割。我们的方法优于现有的作品由一个很大的利润率,并可以额外预测的绝对距离,从一个单目图像以及像素级的语义标记的个别实例。
2016-07-14 cs.CV
ROIFormer: Semantic-Aware Region of Interest Transformer for Efficient Self-Supervised Monocular Depth Estimation
OPPO
互惠互利的跨域的探索已经显示出巨大的潜力,以准确的自我监督深度估计。在这项工作中,我们重温深度和语义信息之间的特征融合,并提出了一个有效的局部自适应注意几何感知表示增强方法。我们没有在特征空间中建立全局连接或无约束地变形注意力,而是将空间交互绑定在可学习的感兴趣区域内。特别是,我们利用语义信息中的几何线索来学习局部自适应边界框,以指导无监督特征聚合。局部区域将大多数不相关的参考点排除在注意力空间之外,从而产生更多的选择性特征学习和更快的收敛。我们自然地扩展到一个多头和层次的方式,使信息蒸馏在不同的语义水平,提高细粒度的深度估计的特征判别能力的范式。在KITTI数据集上的大量实验表明,我们提出的方法建立了一个新的最先进的自监督单目深度估计任务,证明了我们的方法比以前的Transformer变体的有效性。
2023-03-06 cs.CV
Indoor Scene Generation from a Collection of Semantic-Segmented Depth Images
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了一种用于创建3D室内场景的生成模型,该生成模型是从不同未知场景捕获的语义分割深度图像集合中学习的。给定一个指定大小的房间,我们的方法自动生成3D对象在一个房间从随机采样的潜在代码。不同于现有的方法,表示一个室内场景的类型,位置和其他属性的对象在房间里,并从一个完整的3D室内场景的集合学习场景布局,我们的方法模型每个室内场景作为一个3D语义场景体积和学习体积生成对抗网络(GAN)从一个集合的2.5D部分观察3D场景。为此,我们应用可微投影层将生成的3D语义场景体投影到语义分割的深度图像中,并设计了一种新的多视图投影,用于从2.5D语义分割的深度图像中学习完整的3D场景体。与现有的方法相比,我们的方法不仅有效地减少了建模和获取3D场景训练的工作量,而且还产生了更好的对象形状和它们在场景中的详细布局。我们评估我们的方法与不同的室内场景数据集,并证明我们的方法的优点。我们还扩展了我们的方法,用于从真实场景的RGB图像推断出的语义分割深度图像生成3D室内场景。
2021-08-20 cs.CV