MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题,其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案,多任务网络,执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本,因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测,我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案,以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明,我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
Exploiting Depth from Single Monocular Images for Object Detection and Semantic Segmentation
The University of Adelaide(阿德莱德大学);The University of Queensland(昆士兰大学)
增强RGB数据与测量的深度已被证明可以提高计算机视觉中的一系列任务的性能,包括目标检测和语义分割。尽管诸如微软Kinect之类的深度传感器已经促进了这种深度信息的容易获取,但是在视觉任务中使用的绝大多数图像不包含深度信息。在本文中,我们表明,增强RGB图像与估计的深度也可以提高目标检测和语义分割的准确性。具体来说,我们首先利用最近成功的深度估计从单目图像和学习深度深度估计模型。然后,我们从估计的深度学习深度特征,并结合RGB特征进行目标检测和语义分割。此外,我们提出了一种RGB-D语义分割方法,该方法采用多任务训练方案:语义标签预测和深度值回归。我们在几个数据集上测试了我们的方法,并证明了将来自估计深度的信息结合起来显著提高了目标检测和语义分割的性能。
2016-10-06 cs.CV
Panoptic-Depth Color Map for Combination of Depth and Image Segmentation
National Taiwan University(国立台湾大学)
针对自动驾驶场景,提出深度学习网络Panoptic-DepthLab,通过在分割网络中加入深度估计分支实现带深度的实例分割,在Cityscape数据集验证有效,为多任务结合提升自动驾驶安全提供新思路。
2023-08-24 cs.CV
Using depth information and colour space variations for improving outdoor robustness for instance segmentation of cabbage
University of Hohenheim(霍恩海姆大学)
基于图像的农业产量检测可以提高农场的收获效率和耕作性能。基于此目标,本研究致力于改进田间作物在不同环境条件下的实例分割。五个数据集的卷心菜植物记录在不同的光照条件下的室外。使用商业单色照相机获取图像。此外,深度信息是用运动恢复结构(SfM)从图像流中生成的。使用Mask R-CNN来检测和分割卷心菜头。分析了深度信息和不同颜色空间表示的影响。结果表明,深度与颜色信息相结合,导致分割精度提高了7.1%。通过使用光和饱和度信息与深度信息相结合的颜色空间来描述颜色信息,可以达到16.5%的额外分割改进。CIELAB颜色空间与深度信息层相结合显示出最佳结果,达到75的平均精度。
2021-03-31 cs.CV cs.LG cs.RO
Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich(苏黎世联邦理工学院);University of Bonn(波恩大学);KU Leuven(鲁汶大学)
训练用于语义分割的深度网络需要大量标记的训练数据,这在实践中提出了一个重大挑战,因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题,我们提出了一个框架,半监督语义分割,这是增强了自监督单目深度估计从未标记的图像序列。特别是,我们提出三个关键贡献:(1)我们将知识从自监督深度估计期间学习的特征转移到语义分割,(2)我们通过使用场景的几何形状混合图像和标签来实现强数据增强,以及(3)我们利用深度特征多样性以及学生学习深度的难度水平-教师框架来选择最有用的样本进行语义分割的注释。我们在Cityscapes数据集上验证了所提出的模型,其中所有三个模块都表现出显着的性能增益,并且我们实现了半监督语义分割的最新结果。该实现可在www.example.com上获得。
2021-04-05 cs.CV
Hard Pixel Mining for Depth Privileged Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学)
语义分割已经取得了很大的进展,但由于场景复杂、物体遮挡等原因,语义分割仍存在一定的挑战性,一些研究工作试图使用额外的信息,如深度图来帮助基于RGB的语义分割,因为深度图可以提供互补的几何线索。然而,由于深度传感器的不可访问性,深度信息通常无法用于测试图像。在语义分割中,深度信息只对训练图像有效,而对测试图像无效,本文仅利用训练图像的深度信息作为优先信息来挖掘硬像素。具体来说,我们提出了一种新的损失重量模块,它输出的损失重量图采用两个深度相关的测量硬像素:深度预测误差和深度感知分割误差。然后将损失权重图应用于分割损失,目标是通过更多地关注硬像素来学习更鲁棒的模型。此外,本研究亦探讨以减重图为基础的课程学习策略。同时,为了充分挖掘不同尺度上的硬像素,我们将我们的损失权重模块应用于多尺度侧输出。我们的硬像素挖掘方法在两个基准数据集上取得了最先进的结果,甚至优于在测试过程中需要深度输入的方法。
2020-03-11 cs.CV
Depth-wise layering of 3d images using dense depth maps: a threshold based approach
University of Mysore(迈索尔大学)
图像分割一直是计算机视觉中的一个基本问题。深度分层是一种以深度序列对图像进行切片的分割,与处理表面分解的传统图像分割问题不同。提出的深度分层技术使用静态场景的单个深度图像将其切片成多个层。该技术采用了阈值的方法来分割密集的深度图的行成更小的分区称为线段在本文中。然后,它使用线段标记的方法来识别的对象和场景的层的数量独立。最后一个阶段是将场景的对象链接到它们各自的对象层。我们通过将其应用于许多图像及其密集的深度图来评估所提出的技术的效率。实验表明,分层的结果是有希望的。
2020-10-05 cs.CV eess.IV
Depth-aware CNN for RGB-D Segmentation
University of Southern California(南加利福尼亚大学)
卷积神经网络(CNN)由于其固定的网格核结构而缺乏处理几何信息的能力。深度数据的可用性使得使用CNN的RGB-D语义分割能够取得进展。最先进的方法要么使用深度作为附加图像,要么处理3D体积或点云中的空间信息。这些方法具有高计算和存储成本。为了解决这些问题,我们通过引入两个直观,灵活和有效的操作:深度感知卷积和深度感知平均池化,提出了深度感知CNN。通过在信息传播过程中利用像素之间的深度相似性,几何形状被无缝地结合到CNN中。在不引入任何额外参数的情况下,这两种算子都可以轻松集成到现有的CNN中。大量的实验和消融研究具有挑战性的RGB-D语义分割基准验证了我们的方法的有效性和灵活性。
2018-03-19 cs.CV
PolyphonicFormer: Unified Query Learning for Depth-aware Video Panoptic Segmentation
Peking University(北京大学);SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学);Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室);JD Explore Academy(京东探索研究院)
深度感知的视频全景分割(DVPS)是一个新的具有挑战性的视觉问题,旨在预测全景分割和深度的视频同时。以前的工作解决了这一任务,通过扩展现有的全景分割方法与一个额外的密集的深度预测和实例跟踪头。然而,深度和全景分割之间的关系没有得到很好的探索-简单地结合现有的方法会导致竞争,需要仔细的权重平衡。在本文中,我们提出了PolyphonicFormer,一个视觉Transformer,统一这些子任务下的DVPS任务,并导致更强大的结果。我们的主要见解是,通过我们提出的利用对象查询预测实例级深度图的新范式,深度可以与全景分割协调一致。然后通过探究式学习探讨了这两种任务之间的关系。从实验中,我们证明了我们的设计的好处,从深度估计和全景分割方面。由于每个事物查询也对实例信息进行编码,因此直接使用外观学习来执行跟踪是很自然的。我们的方法在两个DVPS数据集(Semantic KITTI,Cityscapes)上获得了最先进的结果,并在ICCV-2021 BMTT挑战赛视频+深度赛道上排名第一。代码可在https://github.com/HarborYuan/PolyphonicFormer上获得。
2022-12-28 cs.CV
Depth-Assisted ResiDualGAN for Cross-Domain Aerial Images Semantic Segmentation
Institute of Remote Sensing and Geographic Information System, Peking University(北京大学遥感与地理信息系统研究所)
无监督领域自适应(UDA)是一种最小化领域间隙的方法。生成方法是最小化空间图像的域间隙的常用方法,其提高下游任务的性能,例如,跨领域语义分割。对于航空影像,数字表面模型(DSM)通常在源域和目标域都可用。DSM中的深度信息为生成模型带来了外部信息。本文提出了一种深度辅助的ResidDualGAN(DRDG)算法,该算法利用深度监督损失(DSL)和深度周期一致性损失(DCCL)将深度信息引入到生成模型中。实验结果表明,DRDG在跨领域语义分割任务中达到了生成方法之间最先进的准确性。
2022-08-27 cs.CV
Monocular Object Instance Segmentation and Depth Ordering with CNNs
University of Toronto(多伦多大学)
在本文中,我们解决的问题,从一个单一的单目图像的实例级分割和深度排序。为了实现这一目标,我们利用卷积神经网络并训练它们来直接预测实例级分割,其中实例ID对图像补丁内的深度排序进行编码。为了提供图像的连贯的单一解释,我们开发了一个马尔可夫随机场,它将卷积神经网络的预测作为输入,应用于不同分辨率的重叠补丁,以及连接组件算法的输出。它旨在预测准确的实例级分割和深度排序。我们证明了我们的方法在具有挑战性的KITTI基准测试的有效性,并在这两项任务上表现出良好的性能。
2015-12-18 cs.CV
PanDepth: Joint Panoptic Segmentation and Depth Completion
Tampere University(坦佩雷大学)
本文提出一种多任务模型PanDepth,联合处理全景分割与深度补全,利用RGB图像和稀疏深度图,在保持低计算成本和高精度的同时,完成多种分割任务,并在Virtual KITTI 2上验证。
2024-03-06 cs.CV
Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation
Inria(法国国家信息与自动化研究所);Valeo(法雷奥)
卷积神经网络是为密集数据设计的,但视觉数据通常是稀疏的(立体深度、点云、笔划等)。我们提出了一种方法来处理稀疏的深度数据与可选的密集RGB,并完成深度完成和语义分割只改变最后一层。我们的建议有效地学习稀疏特征,而不需要额外的有效性掩码。我们展示了如何确保网络对不同输入稀疏性的鲁棒性。我们的方法甚至适用于低至0.8%的密度(8层激光雷达),并且在Kitti深度完成基准上优于所有已发布的最先进技术。
2018-08-31 cs.CV
3D Neighborhood Convolution: Learning Depth-Aware Features for RGB-D and RGB Semantic Segmentation
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
RGB-D分割的一个关键挑战是如何有效地将来自深度通道的3D几何信息并入2D外观特征。我们建议根据3D邻域的尺度和局部性对2D卷积的有效感受野进行建模。标准卷积在图像空间($u, v$)中是局部的,通常具有3x 3像素的固定感受野。我们建议相对于3D真实世界空间($x, y, z$)中的对应点定义卷积局部,其中深度通道用于适应卷积的感受野,这产生了对尺度不变的所得滤波器,并聚焦于一定的深度范围。我们介绍了3D邻域卷积(3DN-Conv),这是一种围绕3D邻域的卷积算子。此外,我们可以使用估计的深度来使用我们的基于RGB输入的语义分割模型。实验结果验证了我们提出的3DN-Conv算子改进了语义分割,使用地面真实深度(RGB-D)或估计深度(RGB)。
2019-10-03 cs.CV
Sharp U-Net: Depthwise Convolutional Network for Biomedical Image Segmentation
Concordia Institute for Information Systems Engineering(康考迪亚信息系统工程研究院);Concordia University(康考迪亚大学)
建立在完全卷积网络基础上的U-Net架构已被证明在生物医学图像分割中是有效的。然而,U-Net应用跳过连接来合并语义上不同的低级和高级卷积特征,不仅导致模糊的特征图,还导致过度分割和分割不足的目标区域。为了解决这些局限性,我们提出了一种简单而有效的端到端dependencoder-decoder全卷积网络架构,称为Sharp U-Net,用于二进制和多类生物医学图像分割。Sharp U-Net的关键原理是,在合并编码器和解码器特征之前,采用编码器特征图与锐化核滤波器的去卷积,而不是应用普通的跳过连接,从而产生与编码器图相同大小的锐化中间特征图。使用这个锐化过滤层,我们不仅能够融合语义上不太相似的特征,而且还能够在训练的早期阶段平滑整个网络层中的伪影。我们在六个数据集上进行的广泛实验表明,所提出的Sharp U-Net模型在二进制和多类分割任务中始终优于或匹配最近的最新基线,同时没有添加额外的可学习参数。此外,Sharp U-Net的性能优于可学习参数数量超过三倍的基线。
2021-07-26 cs.CV eess.IV
X-Net: Brain Stroke Lesion Segmentation Based on Depthwise Separable Convolution and Long-range Dependencies
University of Chinese Academy of Sciences(中国科学院大学);Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心);Guangdong General Hospital, Guangdong Academy of Medical Sciences(广东省医学科学院广东省人民医院);Henan Provincial People’s Hospital(河南省人民医院);Nanchang University(南昌大学)
近年来脑卒中发病率迅速上升。为了帮助病变测量和治疗计划的专家,自动分割方法是临床实践中至关重要的。最近,基于深度学习的方法和上下文信息提取方法已经用于许多图像分割任务。然而,由于大量参数的训练不足,它们的性能受到限制,有时无法捕获长期依赖性。为了解决这些问题,我们提出了一个依赖可分离卷积的X-Net,设计了一个非局部操作,即特征相似性模块(FSM),以捕获长程依赖。所采用的深度卷积可以减少网络的大小,而开发的FSM提供了一个更有效的,密集的上下文信息提取,从而有利于更好的分割。在开放数据集卒中后病变解剖学追踪(ATLAS)上评价了X-Net的有效性,与其他六种最先进的方法相比,X-Net的性能更优。我们在https://github.com/Andrewsher/X-Net上提供我们的代码和模型。
2019-12-30 cs.CV eess.IV
PDDM: Pseudo Depth Diffusion Model for RGB-PD Semantic Segmentation Based in Complex Indoor Scenes
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(北京大学深圳研究生院通用人工智能国家重点实验室)
针对RGB-D语义分割中深度数据采集成本高、对齐难的问题,提出融合RGB与伪深度的PDDM模型及PDAM模块,在NYUv2、SUNRGB-D数据集上取得SOTA性能。
2025-03-24 cs.CV
Depth-aware Object Segmentation and Grasp Detection for Robotic Picking Tasks
Graz University of Technology(格拉茨技术大学);University of Klagenfurt(克拉根福大学)
在本文中,我们提出了一种新的深度神经网络架构的联合类不可知的对象分割和把握检测机器人采摘任务使用平行板夹持器。我们介绍了深度感知坐标卷积(CoordConv),一种在不增加任何额外的网络参数或计算复杂性的情况下,提高复杂场景中基于点建议的对象实例分割的准确性的方法。深度感知CoordConv使用深度数据来提取关于对象位置的先验信息,以实现高度准确的对象实例分割。这些产生的分割掩模,结合预测把握候选人,导致一个完整的场景描述使用平行板夹持器抓。我们评估把握检测和实例分割的准确性具有挑战性的机器人采摘数据集,即Siléane和OCID_grasp,并显示联合把握检测和分割的好处在现实世界的机器人采摘任务。
2021-11-22 cs.CV cs.RO
Occlusion-Ordered Semantic Instance Segmentation
School of Computer Science, University of Waterloo(滑铁卢大学计算机科学学院)
提出遮挡有序语义实例分割(OOSIS)任务,联合提取实例及其遮挡顺序,利用有向遮挡边界和语义分割,以标记问题简洁求解,并在KINS和COCOA数据集上优于强基线。
2025-04-18 cs.AI cs.CV cs.LG
Depth-Adapted CNNs for RGB-D Semantic Segmentation
Université Bourgogne Franche-Comté(勃艮第-弗朗什孔泰大学);CNRS(法国国家科学研究中心);Shanghai Jiao Tong University(上海交通大学)
最近的RGB-D语义分割已经激发了研究兴趣,这要归功于从输入侧补充模态的可访问性。现有的作品通常采用双流架构,并行处理光度和几何信息,很少有方法明确利用深度线索的贡献来调整RGB图像上的采样位置。在本文中,我们提出了一种新的框架,将深度信息纳入RGB卷积神经网络(CNN),称为Z-ACN(深度自适应CNN)。具体来说,我们的Z-ACN生成一个2D深度自适应偏移量,它完全受到低级别特征的约束,以指导RGB图像上的特征提取。通过生成的偏移量,我们引入了两个直观有效的操作来取代基本的CNN运算符:深度自适应卷积和深度自适应平均池化。室内和室外语义分割任务上的大量实验证明了我们的方法的有效性。
2022-06-08 cs.CV
Incorporating Luminance, Depth and Color Information by a Fusion-based Network for Semantic Segmentation
National Chiao Tung University(国立交通大学);UC San Diego(加州大学圣地亚哥分校)
由于近年来深度卷积网络的成功,语义分割取得了令人鼓舞的进展。同时,深度传感器现在变得普遍,因此可以更容易地获取深度图。然而,有几个研究,专注于RGB-D语义分割任务。利用深度信息有效性来提高性能是一个挑战。在本文中,我们提出了一种新的解决方案LDFNet,它结合了亮度,深度和颜色信息的融合为基础的网络。它包括一个子网络来处理深度图,并采用亮度图像来辅助处理中的深度信息。LDFNet在Cityscapes数据集上的表现优于其他最先进的系统,其推理速度比大多数现有网络都快。实验结果表明了该多模态融合网络的有效性及其在实际应用中的潜力。
2019-05-19 cs.CV
Depth-guided Texture Diffusion for Image Semantic Segmentation
针对深度与视觉模态鸿沟影响语义分割精度的问题,提出深度引导纹理扩散方法,通过纹理扩散增强深度结构信息、构建联合特征嵌入弥合模态差异,在多类语义分割任务上取得SOTA结果。
2024-08-17 cs.AI cs.CV
Incorporating Depth into both CNN and CRF for Indoor Semantic Segmentation
South China University of Technology(华南理工大学)
为了提高分割性能,提出了一种新的神经网络结构(DFCN-DCRF),它将RGB-D全卷积神经网络(DFCN)与深度敏感的全连接条件随机场(DCRF)相结合。首先,设计了一种DFCN架构,该架构将深度信息融合到早期层中,并将扩张卷积应用于后续的上下文推理。然后,提出了一个深度敏感的全连接条件随机场(DCRF),并结合以前的DFCN完善的初步结果。对比实验表明,所提出的DFCN-DCRF具有最好的性能相比,大多数国家的最先进的方法。
2018-07-27 cs.CV
DepthSeg: Depth prompting in remote sensing semantic segmentation
Wuhan University(武汉大学);Changjiang Spatial Information Technology Engineering Co., Ltd(长江空间信息技术工程有限公司);Huazhong Agr. University(华中农大);Hong Kong Baptist University(香港 Baptist 大学)
针对现有遥感语义分割方法忽略高程差异导致复杂场景分类错误的问题,提出DepthSeg框架,通过深度提示整合深度信息,结合轻量适配器微调与特征耦合,提升了土地覆盖制图精度。
2025-06-17 cs.AI cs.CV
PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Horizon Robotics, Inc.(地平线机器人公司);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
提出了一种统一的深度感知全景分割(DPS)框架,旨在从一幅图像中重建具有实例级语义的三维场景。先前的工作通过简单地将密集深度回归头添加到全景分割(PS)网络来解决这个问题,从而产生两个独立的任务分支。这忽略了这两个任务之间的互利关系,因此未能利用方便的实例级语义线索来提高深度准确性,同时也产生了次优的深度图。为了克服这些限制,我们提出了一个统一的框架,通过应用动态卷积技术的PS和深度预测任务的DPS任务。具体来说,我们不是一次预测所有像素的深度,而是生成特定于实例的内核来预测每个实例的深度和分割掩码。此外,利用逐实例深度估计方案,我们添加了额外的实例级深度线索,以通过新的深度损失来帮助监督深度学习。在Cityscapes-DPS和SemKITTI-DPS上的大量实验表明了该方法的有效性和前景。我们希望我们的DPS统一解决方案可以在这一领域引领一个新的范式。代码可在https://github.com/NaiyuGao/PanopticDepth上获得。
2022-06-01 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova(帕多瓦大学)
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景,然而最近的进展表明,使用深度数据允许进一步提高性能。在这项工作中,我们专注于基于transformer的深度学习架构,这些架构在分割任务上实现了最先进的性能,我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地,我们将网络扩展到多模态数据,而不添加任何参数,并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法,在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
Indoor Semantic Segmentation using depth information
IFP Energies Nouvelles(法国新能源与原子能委员会);New York University(纽约大学);Université Paris-Est(巴黎东大学)
这项工作解决了多类分割的RGB-D输入的室内场景。虽然这一领域的研究最近得到了很多关注,但大多数作品仍然依赖于手工制作的功能。相比之下,我们应用多尺度卷积网络直接从图像和深度信息中学习特征。我们在NYU-v2深度数据集上获得了最先进的技术,准确率为64.5%。我们说明了室内场景的视频序列,可以使用适当的硬件,如FPGA的实时处理的标签。
2013-03-14 cs.CV
Depth Edge Alignment Loss: DEALing with Depth in Weakly Supervised Semantic Segmentation
DTU - Technical University of Denmark(丹麦技术大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学)
提出深度边缘对齐损失以提升弱监督语义分割性能,通过像素级深度信息增强模型表现。
2026-01-14 cs.CV
Joint Semantic Segmentation and Depth Estimation with Deep Convolutional Networks
George Mason University(乔治梅森大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
多尺度深度CNN已成功用于将每个像素映射到标签的问题,例如深度估计和语义分割。它还表明,这种架构是可重用的,可以用于多个任务。这些网络通常通过改变输出层和训练目标来为每个任务独立训练。在这项工作中,我们提出了一个新的模型,同时深度估计和语义分割从一个单一的RGB图像。我们的方法证明了为每个任务训练模型的一部分,然后使用单个损失函数同时对两个任务的完整组合模型进行微调的可行性。此外,我们将深度CNN与完全连接的CRF耦合,其捕获语义和深度线索之间的上下文关系和交互,从而提高最终结果的准确性。所提出的模型在NYUDepth V2数据集上进行训练和评估,在语义分割方面优于最先进的方法,并在深度估计任务上取得了可比的结果。
2016-09-19 cs.CV
False Negative Reduction in Semantic Segmentation under Domain Shift using Depth Estimation
Ruhr University Bochum(博尔塔伦大学波恩姆大学);University of Wuppertal(乌珀塔尔大学);EPFL(瑞士联邦理工学院)
通过单目深度估计减少域移时语义分割中的假阴性,提升分割精度和泛化能力。
2022-12-07 cs.CV
Joint Depth Prediction and Semantic Segmentation with Multi-View SAM
University of North Carolina(北卡罗来纳大学);University of California(加利福尼亚大学)
本文提出一种多视角立体深度预测方法,利用SAM语义特征增强深度预测,并将其作为Transformer分割解码器的提示,在ScanNet上实现深度预测与语义分割的相互促进,性能优于单任务及单目多任务方法。
2023-10-31 cs.CV
Multi-task GANs for Semantic Segmentation and Depth Completion with Cycle Consistency
East China University of Science and Technology(华东理工大学);Potsdam Institute for Climate Impact Research(波茨坦气候影响研究所);Humboldt University of Berlin(柏林洪堡大学)
语义分割和深度补全是场景理解中两个具有挑战性的任务,在机器人和自动驾驶领域有着广泛的应用。虽然提出了几个工作,以联合训练这两个任务使用一些小的修改,如改变最后一层,一个任务的结果是不利用,以提高另一个的性能,尽管这两个任务之间有一些相似之处。在本文中,我们提出了多任务生成对抗网络(多任务GANs),它不仅可以胜任语义分割和深度完成,而且还可以通过生成的语义图像来提高深度完成的准确性。此外,我们通过引入多尺度空间池块和结构相似性重建损失来改进基于CycleGAN生成的语义图像的细节。此外,考虑到语义和几何结构之间的内在一致性,我们开发了一个语义引导的平滑损失,以改善深度完成的结果。在Cityscapes数据集和KITTI深度完成基准上的大量实验表明,多任务GANs能够在语义分割和深度完成任务方面取得有竞争力的性能。
2020-11-29 cs.CV
Copy-Pasting Coherent Depth Regions Improves Contrastive Learning for Urban-Scene Segmentation
Delft University of Technology(代尔夫特理工大学)
在这项工作中,我们利用估计的深度来提高自监督对比学习,用于城市场景的分割,其中未标记的视频很容易用于训练自监督深度估计。我们认为,在3D空间中的一组连贯的像素的语义是独立的和不变的上下文中,他们出现。我们组连贯的,语义相关的像素到连贯的深度区域,给出他们的估计深度和使用复制粘贴来综合地改变他们的上下文。通过这种方式,在对比学习中建立跨上下文对应关系,并学习上下文不变表示。对于城市场景的无监督语义分割,我们的方法在Cityscapes上的mIoU和KITTI上的mIoU分别超过了之前最先进的基线+7.14%和+6.65%。对于Cityscapes和KITTI分割的微调,我们的方法与现有模型相比具有竞争力,但我们不需要在ImageNet或COCO上进行预训练,而且我们的计算效率也更高。我们的代码可在https://github.com/LeungTsang/CPCDR上获得
2022-11-25 cs.CV
Boosting Box-supervised Instance Segmentation with Pseudo Depth
Zhejiang University of Technology(浙江工业大学);Zhejiang University(浙江大学);vivo(维沃(vivo));Northwestern Polytechnical University(西北工业大学);Swansea University(斯旺西大学)
针对框监督难以区分框内前后景的问题,本文引入训练期伪深度图、深度预测头及深度一致性匹配,显著提升实例分割性能。
2024-03-02 cs.CV
Hybridnet for depth estimation and semantic segmentation
本文提出HybridNet混合卷积网络,从单一图像同时进行深度估计和语义分割,通过分离任务特有与共享特征改进特征提取,性能与现有方法及单任务方法相当。
2024-02-09 cs.CV
Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所)
针对语义分割的领域自适应旨在提高在源和目标领域之间存在分布偏移的情况下的模型性能。利用辅助任务(如深度估计)的监督有可能治愈这种转变,因为许多视觉任务彼此密切相关。然而,这种监督并不总是可用的。在这项工作中,我们利用自我监督的深度估计,这是在两个域上可用的指导,弥合域的差距。一方面,我们提出了明确地学习任务特征的相关性,以加强目标的语义预测与目标的深度估计的帮助。另一方面,我们使用来自源深度解码器和目标深度解码器的深度预测差异来近似逐像素自适应难度。从深度推断的适应难度然后用于细化目标语义分割伪标签。所提出的方法可以很容易地实现到现有的分割框架。我们证明了我们的方法在基准任务SYNTHIA到城市景观和GTA到城市景观上的有效性,我们分别实现了$55.0\%$和$56.6\%$的新的最先进的性能。我们的代码可在\url{https://qin.ee/corda}获得。
2021-08-24 cs.CV
SwinMTL: A Shared Architecture for Simultaneous Depth Estimation and Semantic Segmentation from Monocular Camera Images
Texas A&M University(德克萨斯农工大学)
提出SwinMTL共享编码器-解码器多任务框架,结合WGAN对抗训练,在Cityscapes和NYU Depth V2上同时提升深度估计与语义分割性能,并开源代码。
2024-03-15 cs.CV
Visual Localization Using Semantic Segmentation and Depth Prediction
OPPO Research Institute(OPPO研究院)
在本文中,我们提出了一个单目视觉定位管道利用语义和深度线索。我们应用语义一致性评价对图像检索结果进行排序,并使用一种实用的聚类技术来拒绝估计离群值。此外,我们证明了一个显着的性能提升实现了多个特征提取器的组合。此外,通过使用深度预测与深度神经网络,我们表明,大量的错误匹配的关键点被识别和消除。在2020年的长期视觉定位基准测试中,拟议的管道优于大多数现有方法。
2020-05-25 cs.CV
DABNet: Depth-wise Asymmetric Bottleneck for Real-time Semantic Segmentation
Sungkyunkwan University(成均馆大学)
语义分割是一个像素级的预测任务,需要大量的计算代价和大量的参数才能获得高性能。近年来,由于对自主系统和机器人的需求不断增加,在精度和推理速度之间进行权衡是很重要的。在本文中,我们提出了一种新的依赖非对称瓶颈(DAB)模块来解决这个难题,它有效地采用深度非对称卷积和扩张卷积来构建瓶颈结构。在DAB模块的基础上,我们设计了一个专门用于实时的【形】语义分割的深度非对称瓶颈网络(DABNet),它能产生足够的感受野,并密集地利用上下文信息。在Cityscapes和CamVid数据集上的实验表明,所提出的DABNet在速度和精度之间取得了平衡。具体来说,在没有任何预训练模型和后处理的情况下,它在Cityscapes测试数据集上实现了70.1%的平均IoU,在单个GTX 1080Ti卡上只有76万个参数和104 FPS的速度。
2019-10-01 cs.CV
Improved Noise and Attack Robustness for Semantic Segmentation by Using Multi-Task Training with Self-Supervised Depth Estimation
Technische Universität Braunschweig(布伦瑞克工业大学)
虽然当前的神经网络训练方法通常旨在提高性能,但较少关注针对不同噪声条件或对抗性示例的定向攻击的鲁棒性的训练方法。在本文中,我们建议通过多任务训练来提高鲁棒性,该训练通过对未标记视频的自监督单目深度估计来扩展监督语义分割。这个额外的任务仅在训练期间执行,以在若干输入扰动下在测试时提高语义分割模型的鲁棒性。此外,我们甚至发现,我们的联合训练方法也提高了模型在原始(监督)语义分割任务上的性能。我们的评估表现出一种特别的新颖性,因为它允许相互比较输入噪声和对抗攻击对语义分割的鲁棒性的影响。我们在Cityscapes数据集上展示了我们的方法的有效性,其中我们的多任务训练方法在鲁棒性与噪声和对抗攻击方面始终优于单任务语义分割基线,而无需在训练中使用深度标签。
2020-04-23 cs.CV
Driving Scene Perception Network: Real-time Joint Detection, Depth Estimation and Semantic Segmentation
Harman International(哈曼国际);University of Virginia(弗吉尼亚大学)
随着近年来对实现高水平自动驾驶的需求不断增加,视觉感知是实现完全自动驾驶的关键特征之一,在本文中,我们介绍了一种使用共享卷积架构同时进行目标检测,深度估计和像素级语义分割的有效方法。提出的网络模型,我们命名为驾驶场景感知网络(DSPNet),使用多级特征映射和多任务学习,以提高目标检测,深度估计和图像分割任务的准确性和效率从一个单一的输入图像。因此,最终的网络模型使用不到850 MiB的GPU内存,并在NVIDIA GeForce GTX 1080上实现14.0 fps的1024x512输入图像,并且精度和效率都比单个任务的组合有所提高。
2018-03-10 cs.CV
Towards Deeply Unified Depth-aware Panoptic Segmentation with Bi-directional Guidance Learning
Dalian University of Technology(大连理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对深度感知全景分割中分割与深度估计任务割裂的问题,提出共享对象查询的深度统一框架,并结合几何查询增强与双向引导学习,在两个基准上达到新SOTA且适用于不完整监督。
2023-08-14 cs.CV
Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所);KU Leuven(鲁汶大学)
训练用于语义分割的深度网络需要大量标记的训练数据,这在实践中提出了一个重大挑战,因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题,我们提出了一个框架,半监督和域自适应语义分割,这是增强了自我监督的单眼深度估计(ESTA)只训练未标记的图像序列。特别地,我们在整个学习框架中全面地利用标注作为辅助任务:首先,基于标注和语义分割之间的样本多样性和难度的相关性,我们自动选择最有用的样本进行语义分割。其次,我们实现了强大的数据增强混合图像和标签使用场景的几何形状。第三,通过迁移和多任务学习,将学习到的特征知识迁移到语义分割中。第四,我们利用跨域深度混合和匹配几何采样来对齐合成数据和真实数据,从而利用附加的标记合成数据。我们在Cityscapes数据集上验证了所提出的模型,其中所有四个贡献都表现出显着的性能增益,并实现了半监督语义分割和半监督领域自适应的最新结果。特别是,只有1/30的Cityscapes标签,我们的方法实现了92%的完全监督基线性能,甚至在利用GTA的额外数据时达到了97%。源代码可在https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth上获得。
2021-08-28 cs.CV
Beyond Appearance: Geometric Cues for Robust Video Instance Segmentation
Wuhan University(武汉大学)
本文通过策略性利用单目深度估计引入几何感知,系统研究了三种深度集成范式以增强视频实例分割的鲁棒性,其中EDC方法在OVIS基准上以56.2 AP达到最先进水平。
2025-07-14 cs.CV
USAM-Net: A U-Net-based Network for Improved Stereo Correspondence and Scene Depth Estimation using Features from a Pre-trained Image Segmentation network
University of the Philippines(菲律宾大学)
针对自动驾驶等场景的高精度深度估计需求,提出结合预训练分割模型SAM与深度估计模型的双路径USAM-Net,通过融合语义分割特征提升性能,在DrivingStereo数据集上优于多个传统模型。
2025-03-19 cs.AI cs.CV
Efficient Multi-task Uncertainties for Joint Semantic Segmentation and Monocular Depth Estimation
Institute of Photogrammetry and Remote Sensing (IPF)(摄影测量与遥感研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出新型师生蒸馏方法 EMUFormer,通过隐式利用教师模型预测不确定性,在联合语义分割和单目深度估计任务上实现高效多任务不确定性量化,在 Cityscapes 和 NYUv2 上达到 SOTA。
2024-02-16 cs.AI cs.CV cs.LG
Real-Time Semantic Segmentation via Auto Depth, Downsampling Joint Decision and Feature Aggregation
Zhejiang University(浙江大学);Tencent AI Lab(腾讯人工智能实验室);Sensetime Research(商汤科技研究院);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
为了满足实时的【形】语义分割领域对计算资源的严格要求,大多数方法都集中在手工设计轻量级分割网络。近年来,神经网络结构搜索(NAS)已被用于自动搜索网络的最优构建块,但网络深度、下采样策略和特征聚合方式仍然是通过反复试验预先设置的。在本文中,我们提出了一个联合搜索框架,称为AutoRTNet,这些策略的自动化设计。具体来说,我们提出了超细胞来共同决定网络深度和下采样策略,以及一个聚合细胞来实现自动多尺度特征聚合。实验结果表明,AutoRTNet在Cityscapes测试集上实现了73.9%的mIoU,在NVIDIA TitanXP GPU卡上实现了110.0 FPS,输入图像为768x1536。
2020-03-31 cs.CV
ViP-DeepLab: Learning Visual Perception with Depth-aware Video Panoptic Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
在本文中,我们提出了ViP-DeepLab,这是一个统一的模型,试图解决视觉中长期存在的具有挑战性的逆投影问题,我们将其建模为从透视图像序列恢复点云,同时为每个点提供实例级语义解释。解决这个问题需要视觉模型预测每个3D点的空间位置、语义类和时间一致的实例标签。ViP-DeepLab通过联合执行单目深度估计和视频全景分割来实现它。我们将这一联合任务命名为深度感知视频全景分割,并提出了一个新的评估指标,以及它的两个衍生数据集,这将提供给公众。在各个子任务上,ViP-DeepLab也取得了最先进的结果,在Cityscapes-VPS上的VPQ比以前的方法高出5.1%,在KITTI单眼深度估计基准测试中排名第一,在KITTI MOTS行人测试中排名第一。这些数据集和评价代码是公开提供的。
2020-12-09 cs.CV
CI-Net: Contextual Information for Joint Semantic Segmentation and Depth Estimation
South China University of Technology(华南理工大学);Shantou University(汕头大学);University of Leeds(利兹大学);China University of Geosciences(中国地质大学)
单目深度估计和语义分割是场景理解的两个基本目标。由于任务交互的优点,许多工作研究联合任务学习算法。然而,大多数现有的方法未能充分利用语义标签,忽略了提供的上下文结构,只使用它们来监督分割分割的预测,这限制了这两个任务的性能。在本文中,我们提出了一个网络注入上下文信息(CI-Net)来解决这个问题。具体来说,我们在编码器中引入自注意力块来生成注意力图。在语义标签创建的理想注意力地图的监督下,网络嵌入了上下文信息,以便更好地理解场景并利用相关特征进行准确预测。此外,通过构造特征共享模块,实现了任务特征的深度融合,并设计了一致性损失机制,实现了特征间的相互指导。我们在NYU-Depth-v2和SUN-RGBD数据集上评估了拟议的CI-Net。实验结果表明,提出的CI-Net能有效地提高语义分割和深度估计的准确率。
2021-09-01 cs.CV
GeomPrompt: Geometric Prompt Learning for RGB-D Semantic Segmentation Under Missing and Degraded Depth
Georgia Institute of Technology(佐治亚理工学院)
GeomPrompt通过从RGB生成任务驱动的几何提示,提升RGB-D语义分割在缺失和退化深度下的性能,同时比单目深度估计器更高效。
2026-04-13 cs.CV cs.RO
Depth Adaptive Deep Neural Network for Semantic Segmentation
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
在这项工作中,我们提出了深度自适应深度神经网络使用深度图的语义分割。典型的深度神经网络在预定位置处接收输入,而不管距相机的距离如何。这种固定的感受野对在神经网络中概括不同距离处的对象的特征提出了挑战。具体地,预定的感受野在短距离处太小,反之亦然。为了克服这一挑战,我们开发了一个神经网络,它能够适应的感受野不仅为每一层,而且为每个神经元在空间位置。为了调整感受野,我们提出了由自适应感知神经元和层内多尺度神经元组成的深度自适应多尺度(DaM)卷积层。自适应感知神经元使用相应的深度信息来调整每个空间位置处的感受野。层内多尺度神经元是在每个特征空间应用不同大小的感受野来学习多个尺度的特征。所提出的DaM卷积被应用于两个完全卷积神经网络。我们证明了所提出的神经网络的有效性公开可用的RGB-D数据集的语义分割和新的手分割数据集的手对象交互。实验结果表明,该方法优于国家的最先进的方法,没有任何额外的层或前/后处理。
2018-01-29 cs.CV
DepthCropSeg++: Scaling a Crop Segmentation Foundation Model With Depth-Labeled Data
MetaPheno Laboratory(MetaPheno实验室);PhenoTrait Technology Co., Ltd.(PhenoTrait技术有限公司);Wuhan Digital Engineering Institute(武汉数字工程研究院);National Key Laboratory of Multispectral Information Intelligent Processing Technology(国家多光谱信息智能处理技术重点实验室);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);Hubei Key Laboratory of Intelligent Robot(湖北省智能机器人重点实验室);School of Computer Science and Engineering, School of Artificial Intelligence, Wuhan Institute of Technology(武汉理工大学计算机科学与工程学院、人工智能学院)
DepthCropSeg++通过深度标注数据扩展作物分割模型,采用两阶段自训练流程提升性能,实现93.11%的mIoU,超越监督基线和SAM模型。
2026-01-18 cs.CV
Multi-Class Detection and Segmentation of Objects in Depth
许多人的生活质量可以通过家庭中的自主人形机器人来改善。为了在人类世界中发挥作用,人形家用机器人必须能够像人类一样定位自己并感知环境;场景感知,目标检测和分割以及3D中的对象空间定位是这种人形机器人的基本能力。提出了一种三维多类别目标检测与分割方法。贡献是双重的。首先,我们提出了一种多类检测方法,其中最小的联合码本学习的原则性的方式。其次,我们使用RGB-D图像结合了深度信息,这增加了该方法的鲁棒性,并给出了对象的3D位置-这是必要的,因为机器人在3D空间中进行推理。实验表明,多类扩展提高了检测效率,而深度扩展提高了检测鲁棒性,并给出了物体的自然三维定位。
2013-01-23 cs.CV cs.RO
Achieving RGB-D level Segmentation Performance from a Single ToF Camera
German Research Center for Artificial Intelligence(德国人工智能研究中心);RPTU Kaiserslautern(凯泽斯劳滕莱茵兰-普法尔茨技术大学);FAU Erlangen(埃尔朗根-纽伦堡大学)
本研究提出在多任务学习框架中利用深度特定卷积融合单个 ToF 相机的红外与深度模态,在车载分割数据集上以更低成本实现了与 RGB-D 相机相当的语义分割准确率。
2023-06-30 cs.AI cs.CV cs.LG