Achelous: A Fast Unified Water-surface Panoptic Perception Framework based on Fusion of Monocular Camera and 4D mmWave Radar
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学)
本文提出Achelous框架,通过融合单目相机与4D毫米波雷达,在边缘端高效统一完成五类水面感知任务,并以低参数量取得优于基线的精度与速度。
2023-07-14 cs.CV cs.RO
PVO: Panoptic Visual Odometry
Zhejiang University(浙江大学);Hangzhou Dianzi University(杭州电子科技大学);University of Bristol(布里斯托大学)
我们提出了PVO,一种新的全景视觉里程计框架,以实现更全面的场景运动,几何和全景分割信息的建模。我们的PVO模型视觉里程计(VO)和视频全景分割(VPS)在一个统一的视图,这使得这两个任务互惠互利。具体地说,我们在图像全景分割的指导下,在VO模块中引入了全景更新模块。该全景增强VO模块可以通过全景感知动态掩模来减轻动态对象在相机姿态估计中的影响。另一方面,VO增强型VPS模块还通过使用从VO模块获得的几何信息(诸如相机姿态、深度和光流)将当前帧的全景分割结果动态地融合到相邻帧来提高分割精度。这两个模块通过循环迭代优化相互促进。大量的实验表明,PVO优于国家的最先进的方法在视觉里程计和视频全景分割任务。
2023-03-26 cs.CV cs.RO
Literature Review: Human Segmentation with Static Camera
University of Alberta(阿尔伯塔大学)
我们的研究课题是人体分割与静态相机。本课题可以分为三个子任务,即目标检测、实例识别和分割。这些子任务是三个密切相关的主题。每个学科的发展对其他两个领域都有很大的影响。在这篇文献综述中,我们将首先介绍人体分割的背景,然后讨论与上述三个领域相关的问题以及它们如何相互作用。
2019-10-28 cs.CV
Learning Object Depth from Camera Motion and Video Object Segmentation
University of Michigan(密歇根大学)
视频对象分割,即,近年来,视频中目标对象与背景的分离在真实和具有挑战性的视频中取得了显著的进展。为了在3D应用中利用这一进展,本文解决了在给定相机运动的一些测量(例如,根据机器人运动学或车辆里程计)。我们首先引入了一个多样化的可扩展数据集,其次设计了一个新的深度网络,该网络仅使用分割掩模和未校准的相机移动来估计对象的深度。我们的数据生成框架创建了人工对象分割,这些分割根据相机和对象之间的距离变化进行缩放,我们的网络即使在分割错误的情况下也能学习估计对象深度。我们展示了我们的方法跨域使用机器人摄像头来定位对象从YCB数据集和车辆摄像头来定位障碍物,而驾驶。
2020-12-18 cs.CV
Label Correction for Road Segmentation Using Road-side Cameras
Aalto University(阿尔托大学)
本文提出一种路边摄像头半自动标注方法,仅手动标注一帧并通过频域图像配准将标签传播到其余帧,利用芬兰927个摄像头冬季数据验证,有效提升了多种深度学习模型的道路分割性能。
2025-02-03 cs.CV
BEVSegFormer: Bird's Eye View Semantic Segmentation From Arbitrary Camera Rigs
Nullmax;Zhengzhou University(郑州大学)
鸟瞰图中的语义分割是自动驾驶的一项重要任务。虽然这项任务已经吸引了大量的研究工作,但灵活地应对自动驾驶汽车上配备的任意(单个或多个)相机传感器仍然具有挑战性。在本文中,我们提出了BEVSegFormer,一个有效的基于变换的方法,用于任意摄像机设备的BEV语义分割。具体来说,我们的方法首先编码图像特征从任意相机与共享的骨干。这些图像特征,然后增强的可变形的基于变换的编码器。此外,我们引入了BEV Transformer解码器模块来解析BEV语义分割结果。设计了一种有效的多摄像机变形注意单元来实现BEV到图像的视图转换。最后,根据BEV中的网格布局对查询进行整形,并上采样以监督方式产生语义分割结果。我们在公共nuScenes数据集和自我收集的数据集上评估了所提出的算法。实验结果表明,我们的方法取得了很好的性能BEV语义分割从任意相机钻机。我们还通过消融研究证明了每个组件的有效性。
2022-08-17 cs.CV
EV-SegNet: Semantic Segmentation for Event-based Cameras
Universidad de Zaragoza(萨拉戈萨大学)
事件相机或动态视觉传感器(DVS)是非常有前途的传感器,其已经显示出比基于帧的相机的几个优点。然而,这些相机的实际应用的最新工作集中在3D重建和6-DOF相机跟踪。基于深度学习的方法在视觉识别任务中处于领先地位,可能会利用DVS的优势,但仍然需要进行一些调整,以便有效地在这些相机上工作。这项工作介绍了第一个基线的语义分割与这种数据。我们建立了一个语义分割CNN的基础上,国家的最先进的技术,将事件信息作为唯一的输入。此外,我们提出了一种新的表示DVS数据,优于以前使用的事件表示相关的任务。由于没有现有的标记数据集,这项任务,我们提出了如何自动生成近似的语义分割标签的DDD 17数据集的一些序列,我们一起发布的模型,并证明他们是有效的训练模型的DVS数据。我们比较了我们的结果语义分割从DVS数据与结果使用相应的灰度图像,证明它们是互补的,值得结合。
2018-11-29 cs.CV
Adapting Semantic Segmentation Models for Changes in Illumination and Camera Perspective
Australian Centre for Field Robotics(澳大利亚野外机器人学中心);University of Sydney(悉尼大学)
使用深度神经网络的语义分割已被广泛探索以生成用于自主车辆的高级上下文信息。为了获得一个完整的$180^\circ$语义理解的前方环境,我们建议缝合语义图像从多个摄像机具有不同的方向。然而,先前训练的语义分割模型在摄像机方向和照明条件发生显著变化后表现出不可接受的性能。为了避免耗时的手工标记,我们探索和评估使用数据增强技术,特别是倾斜和伽马校正,从一个实际的现实世界的角度来扩展现有的模型,并提供更强大的性能。所提出的实验结果显示出显着的改善与不同的照明和相机的角度变化。
2018-09-13 cs.CV
Extrinsic Camera Calibration with Semantic Segmentation
Ulm University(乌尔姆大学)
单目摄像头传感器对于智能车辆操作和自动驾驶辅助至关重要,并且在交通控制基础设施中也得到了大量应用。然而,校准单目摄像机是耗时的,并且通常需要大量的人工干预。在这项工作中,我们提出了一个外部的摄像机标定方法,自动化的参数估计,利用图像和点云的语义分割信息。我们的方法依赖于相机姿态的粗略初始测量,并建立在安装在车辆上的激光雷达传感器上,具有高精度定位以捕获相机环境的点云。之后,通过执行语义分割的传感器数据的激光雷达到相机配准来获得相机坐标空间与世界坐标空间之间的映射。我们评估我们的方法模拟和真实世界的数据,以证明低误差测量的校准结果。我们的方法适用于基础设施传感器以及车辆传感器,同时它不需要相机平台的运动。
2022-08-08 cs.CV
ArticulatedFusion: Real-time Reconstruction of Motion, Geometry and Segmentation Using a Single Depth Camera
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出了一种实时的【形】动态场景重建方法,能够再现运动,几何形状,并同时从一个单一的RGB-D相机的实时深度流分割。我们的方法融合几何帧的帧,并使用分割增强的节点图结构来驱动注册步骤中的几何变形。提出了一种两级节点运动优化算法。节点运动的优化空间和物理上合理的变形范围大大减少,利用关节运动的优势,这是解决了一个有效的节点图分割方法。与以往的基于融合的动态场景重建方法相比,我们的实验表明,鲁棒性和改进的切向和遮挡运动的重建结果。
2018-07-19 cs.CV
Deep Learning Based Segmentation Free License Plate Recognition Using Roadway Surveillance Camera Images
Havelsan Inc.(哈维桑公司)
智能自动化交通执法解决方案近年来越来越受欢迎。这些解决方案广泛用于安全带违规检测、闯红灯违规检测和超速违规检测。高精度的车牌识别是这些系统中不可或缺的一部分。然而,一般的车牌识别系统需要高分辨率的图像以获得高性能。在这项研究中,我们提出了一种新的车牌识别方法,一般道路监控摄像头。提出的无分割车牌识别算法在字符检测和识别过程中利用基于深度学习的目标检测技术。所提出的方法已被测试2000图像上捕获的道路上。
2019-12-05 cs.CV
KD360-VoxelBEV: LiDAR and 360-degree Camera Cross Modality Knowledge Distillation for Bird's-Eye-View Segmentation
Durham University(杜伦大学)
KD360-VoxelBEV通过跨模态知识蒸馏,利用激光雷达和360度摄像头数据提升鸟瞰图分割性能,实现高效且低成本的自动驾驶应用。
2025-12-17 cs.CV
Joint Person Segmentation and Identification in Synchronized First- and Third-person Videos
Indiana University(印第安纳大学)
在摄像机无处不在的世界中,公共空间通常由固定和移动的不同类型的摄像机从多个角度捕获。一个重要的问题是通过找到它们之间的联系来组织这些异构的视频集合,例如识别出现在视频中的人与持有或佩戴相机的人之间的对应关系。在本文中,我们希望解决两个具体问题:(1)给定场景的两个或更多个同步的第三人称视频,产生每个可见人的像素级分割,并识别跨不同视图的对应人(即,确定相机A中的谁对应于相机B中的谁),以及(2)给定一个或多个同步的第三人称视频以及由移动或可穿戴相机拍摄的第一人称视频,分割并识别第三人称视频中的相机佩戴者。与以前的工作,需要地面真值边界框来估计的对应关系,我们执行的人分割和识别联合。我们发现,同时解决这两个问题是互利的,因为更好的细粒度分割使我们能够更好地执行跨视图的匹配,来自多个视图的信息有助于我们执行更准确的分割。我们在两个具有挑战性的数据集上评估了我们的方法,这些数据集是从多个可穿戴相机捕获的交互人员,并表明我们提出的方法在人员分割和识别方面的表现明显优于最先进的方法。
2018-07-25 cs.CV
LiDAR-Camera Fusion for Video Panoptic Segmentation without Video Training
Amirkabir University of Technology(阿米尔卡比尔理工大学);The University of Tokyo(东京大学)
本文提出一种LiDAR与图像特征融合模块,结合两个简单修改,在无需视频训练的情况下显著提升自动驾驶场景的图像与视频全景分割性能,评估指标最高提升5个点。
2024-12-30 cs.CV
Camera-trap images segmentation using multi-layer robust principal component analysis
Universidad de Antioquia UdeA(安蒂奥基亚大学)
从相机捕获的图像中分割动物是一项艰巨的任务。为了说明,由于这些图像中的环境条件和硬件限制,存在各种挑战。提出了一种多层鲁棒主成分分析(多层RPCA)背景减除方法。我们的方法计算稀疏和低秩图像的描述符的加权和,使用颜色和纹理特征作为相机陷阱图像分割的研究案例。该算法采用直方图均衡化或高斯滤波作为图像的预处理,结合活动轮廓线的形态滤波器作为图像的后处理。我们的多层RPCA的参数进行了优化与穷举搜索。该数据库由亚历山大·冯·洪堡生物资源研究所拍摄的哥伦比亚森林的相机陷阱图像组成。我们分析了我们的方法在固有的,因此具有挑战性的情况下的相机陷阱图像的性能。此外,我们将我们的方法与一些最先进的背景减除算法进行了比较,其中我们的多层RPCA优于这些其他方法。我们的多层RPCA达到76.17和69.97%的平均细粒度的F-措施的颜色和红外序列,分别。据我们所知,本文是第一个提出多层RPCA并将其用于相机陷阱图像分割的工作。
2017-12-30 cs.CV
OVOSE: Open-Vocabulary Semantic Segmentation in Event-Based Cameras
Sapienza University of Rome(罗马大学);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院 Télécom Paris LTCI 实验室)
针对事件相机语义分割数据少、基准缺且现有方法局限于闭集的问题,提出首个事件相机开放词汇语义分割算法OVOSE,通过合成事件数据与图像基础模型知识蒸馏实现能力迁移,在两个驾驶数据集上性能优于现有方法。
2024-08-18 cs.CV
A Novel Vision Transformer for Camera-LiDAR Fusion based Traffic Object Segmentation
Tallinn University of Technology(塔林理工大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本研究提出基于视觉Transformer的相机-激光雷达融合模型CLFT,可实现多类交通目标分割并适配多种天气,提升了自动驾驶感知水平,但恶劣环境下的性能仍待优化。
2025-01-06 cs.CV
Color-based Segmentation of Sky/Cloud Images From Ground-based Cameras
Nanyang Technological University(南洋理工大学);Advanced Digital Sciences Center(高级数字科学中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
地面摄像机拍摄的天空/云图像(又名全天空成像仪)由于其在包括气候建模、天气预报、可再生能源发电和卫星通信在内的多个领域中的应用,如今被越来越多地使用。由于这些图像中的云类型和光照条件多种多样,因此云的准确和鲁棒分割具有挑战性。在本文中,我们提出了一个监督的分割框架,地面的天空/云图像的基础上,不同的颜色空间和组件的系统分析,使用偏最小二乘(PLS)回归。与其他最先进的方法不同,我们提出的方法完全基于学习,不需要任何手动定义的参数。此外,我们还向研究界发布了新加坡全天空影像分割数据库(SWIMSEG),这是一个大型的天空/云图像注释数据库。
2016-06-12 cs.CV
Coherent Motion Segmentation in Moving Camera Videos using Optical Flow Orientations
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
在移动摄像机视频中,通常使用像素的图像平面运动或光流来执行运动分割。但是,与相机处于不同深度的对象可能会显示不同的光流,即使它们共享相同的真实世界运动。这可能导致场景的深度相关分割。我们的目标是开发一种分割算法,集群像素,具有类似的现实世界中的运动,无论其在场景中的深度。我们的解决方案使用光流方向,而不是完整的矢量,并利用众所周知的属性,即在相机平移,光流方向是独立的对象深度。我们引入了一个概率模型,自动估计观察到的独立运动的数量,并导致与场景中的真实运动一致的标签。我们的系统的结果是,静态对象被正确地识别为一个片段,即使它们在不同的深度。颜色特征和信息,从以前的帧中的视频序列被用来纠正偶尔的错误,由于基于方向的分割。我们展示了来自不同基准的30多个视频的结果。该系统在包含深度显著不同的对象的复杂背景场景上特别鲁棒
2015-11-05 cs.CV
Restricted Deformable Convolution based Road Scene Semantic Segmentation Using Surround View Cameras
Shanghai Jiao Tong University(上海交通大学);SJTU-ParisTech Elite Institute of Technology(上海交通大学-巴黎高科卓越工程学院)
了解车辆周围环境仍然是自动驾驶面临的挑战之一。本文提出了360度道路场景语义分割使用环绕视图摄像头,这是广泛配备在现有的生产汽车。首先,为了解决鱼眼图像中的大失真问题,提出了一种用于语义分割的受限可变形卷积(RDC)方法,该方法通过学习输入特征图上卷积滤波器的形状,有效地对几何变换进行建模。其次,为了获得大规模的环绕视图图像的训练集,提出了一种称为变焦增强的新方法将常规图像转换为鱼眼图像。最后,建立了一个基于RDC的语义分割模型,通过将真实世界图像与变换后的图像相结合的多任务学习架构,对真实世界的环绕视图图像训练该模型。实验证明了RDC处理大失真图像的有效性,并且所提出的方法在变换后的图像的帮助下使用环绕视图相机显示出良好的性能。
2019-09-16 cs.CV
Hand Segmentation and Fingertip Tracking from Depth Camera Images Using Deep Convolutional Neural Network and Multi-task SegNet
Chonnam National University(全南国立大学);Chosun University(朝鲜大学)
在基于手势的人机交互系统中,手部分割和指尖检测起着不可或缺的作用。在这项研究中,我们提出了一种方法来区分手的组成部分,并在RGB-D图像中定位指尖。该系统由三个主要步骤组成:使用RGB图像进行手部检测,提供被认为是有前途的区域进行进一步处理,手部分割,以及使用深度图像和我们修改后的SegNet进行指尖检测,SegNet是一个轻量级架构,可以同时处理两个独立的任务。实验结果表明,我们的系统是一个很有前途的方法,手分割和指尖检测,实现了相当的性能,而模型复杂度是适合实时应用。
2020-03-11 cs.CV
Segmentation of Camera Captured Business Card Images for Mobile Devices
Jadavpur University(贾达普大学);School of Mobile Computing and Communication(移动计算与通信学院)
由于相机捕获的图像中的巨大变形、名片的性质的多样性以及移动设备的计算限制,设计高效的名片阅读器(BCR)对研究人员具有挑战性。提取文本区域并将其分割成字符是其中一个挑战。在本文中,我们提出了一个有效的字符分割技术的名片图像捕获的手机摄像头,设计在我们目前的工作,发展一个有效的BCR。首先,从卡片图像中提取文本区域,然后使用计算效率高的倾斜校正技术来校正倾斜的文本区域。最后,这些倾斜校正后的文本区域被分割成行和字符的基础上的水平和垂直直方图。实验结果表明,该方法是有效的,适用于移动设备,和平均分割准确率为97.48%,实现了3兆像素(500-600 dpi)的图像。它只需要1.1秒的分割,包括所有的预处理步骤,在一个中等强大的笔记本电脑(双核T2370,1.73 GHz,1GB RAM,1 MB二级缓存)。
2011-01-03 cs.CV
0-MMS: Zero-Shot Multi-Motion Segmentation With A Monocular Event Camera
University of Maryland, College Park(马里兰大学帕克分校)
动态场景中运动目标的分割是导航任务中场景理解的一个关键过程。经典相机在这种情况下遭受运动模糊,从而使它们失效。相反,事件相机,因为它们的高时间分辨率和缺乏运动模糊,是为这个问题量身定制的。我们提出了一种单目多运动分割的方法,该方法将自下而上的特征跟踪和自上而下的运动补偿结合到一个统一的管道中,这是我们所知的第一种方法。该方法利用时间间隔内的事件,通过分割和合并将场景分割为多个运动。我们进一步加快我们的方法,通过使用运动传播和集群密钥片的概念。该方法在EV-IMO,EED和MOD数据集的具有挑战性的真实世界和合成场景中成功进行了评估,并超过了最先进的检测率12%,在上述数据集上实现了81.06%,94.2%和82.35%的最先进的平均检测率。为了进一步研究和系统评估多运动分割,我们提出并开源了一个名为MOD++的新数据集/基准,其中包括具有挑战性的序列和广泛的数据分层,包括相机和对象运动,速度大小,方向和旋转速度。
2020-11-07 cs.CV
BEVSeg2TP: Surround View Camera Bird's-Eye-View Based Joint Vehicle Segmentation and Ego Vehicle Trajectory Prediction
University of Limerick(利默里克大学)
提出BEVSeg2TP系统,将感知与轨迹预测统一,利用环视相机鸟瞰图进行车辆分割并预测自车轨迹,以提升性能。
2023-12-20 cs.CV
NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation
Aalto University(阿莱大学);University of Helsinki(赫尔辛基大学);University of Oulu(奥卢大学)
提出NVSMask3D,一种基于三维高斯泼溅和相机位姿插值的免训练硬视觉提示方法,通过生成多样化视角并强制几何一致性,增强视觉语言模型在三维开放词汇实例分割中的性能。
2025-04-20 cs.CV
CaRaFFusion: Improving 2D Semantic Segmentation with Camera-Radar Point Cloud Fusion and Zero-Shot Image Inpainting
Huawei Sun ⋆ 1,2(华为(深圳)技术有限公司);Bora Kunter Sahin ⋆ 1,3(华为(深圳)技术有限公司);Georg Stettinger 1(华为(深圳)技术有限公司);Maximilian Bernhard 3(慕尼黑工业大学);Matthias Schubert 3(慕尼黑工业大学);Robert Wille 2(华为(深圳)技术有限公司)
本文提出CaRaFFusion框架,通过将扩散模型与相机-雷达融合结合,利用雷达点生成并降噪伪掩码以修复图像,从而在恶劣天气下提升二维语义分割性能。
2025-05-06 cs.CV
FishBEV: Distortion-Resilient Bird's Eye View Segmentation with Surround-View Fisheye Cameras
College of Computer Science, Nankai University(南开大学计算机科学学院);Key Laboratory of Data and Intelligent System Security, Ministry of Education, China(教育部数据与智能系统安全重点实验室);School of Cyber Security, University of Science and Technology of China(中国科学技术大学网络安全学院);Haihe Lab of ITAI, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所海河实验室)
提出专为鱼眼相机设计的FishBEV鸟瞰图分割框架,通过引入抗畸变多尺度提取主干、感知不确定性的空间交叉注意力机制和距离感知时间自注意力模块,有效解决严重几何畸变等问题,在Synwoodscapes数据集上始终优于SOTA基线。
2025-09-17 cs.CV
EV-LayerSegNet: Self-supervised Motion Segmentation using Event Cameras
Advanced Research and Innovation Center, Khalifa University(哈利法大学先进研究与创新中心);MAVLab, TU Delft(代尔夫特理工大学MAVLab)
针对事件相机运动分割真值获取困难的问题,提出自监督 CNN EV-LayerSegNet,通过分层学习仿射光流与分割掩码并以事件去模糊质量作为损失,在模拟仿射运动数据集上实现最高 71% IoU 和 87% 检测率。
2025-06-07 cs.CV
Event-Based Motion Segmentation by Motion Compensation
Monash University(莫纳什大学);ETH Zurich(苏黎世联邦理工学院)
提出首个基于事件运动补偿的按事件分割方法,通过最大化目标函数联合估计事件与物体的关联及运动参数,在公开数据集上性能比现有最优方法高出达10%。
2019-08-22 cs.CV
Radar-Camera BEV Multi-Task Learning with Cross-Task Attention Bridge for Joint 3D Detection and Segmentation
Hacettepe University(哈切特佩大学)
提出CTAB(跨任务注意力桥)模块,通过共享BEV空间中的多尺度可变形注意力在检测和分割分支间交换特征,实现联合3D检测与分割的多任务学习,在nuScenes上提升分割性能且检测几乎不受影响。
2026-05-26 cs.CV
EV-IMO: Motion Segmentation Dataset and Learning Pipeline for Event Cameras
University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所);ETH Zurich(苏黎世联邦理工学院)
我们提出了第一个基于事件的学习方法,用于室内场景中的运动分割和第一个基于事件的数据集- EV-IMO -其中包括精确的像素运动掩模,自运动和地面真实深度。我们的方法是基于一个有效的实现的SfM学习管道使用低参数神经网络架构的事件数据。除了相机自运动和密集的深度图之外,该网络还估计像素独立移动对象分割,并计算移动对象的每个对象的3D平移速度。我们还训练了一个只有40 k个参数的浅层网络,它能够计算深度和自运动。我们的EV-IMO数据集具有32分钟的室内记录功能,最多可同时在摄像机视野中记录3个快速移动的物体。物体和摄像机由VICON运动捕捉系统跟踪。通过对房间和物体进行3D扫描,可以获得精确的深度图地面实况和像素级物体遮罩,即使在光线不足的情况下和快速运动期间也是可靠的。然后,我们在EV-IMO上进行训练和评估我们的学习管道,并证明我们的方法远远超过其竞争对手,非常适合场景受限的机器人应用。
2020-01-12 cs.CV
Finding Meaning in Points: Weakly Supervised Semantic Segmentation for Event Cameras
KAIST(韩国科学技术院)
针对事件相机语义分割标注成本高的问题,提出EV-WSSS弱监督方法,利用稀疏点标注,通过非对称双学生学习和基于类原型的对比学习,实现无需密集真值的有效分割。
2024-07-15 cs.CV
SpectralZoom: Efficient Segmentation with an Adaptive Hyperspectral Camera
University of Florida(佛罗里达大学);Amazon(亚马逊公司)
本文提出SpectralZoom自适应高光谱相机及配套ViT分割算法,通过选择性采样图像块而非完整高光谱立方体,在保证分割精度的同时显著降低数据量与计算负载。
2024-06-06 cs.CV cs.RO
SwinMTL: A Shared Architecture for Simultaneous Depth Estimation and Semantic Segmentation from Monocular Camera Images
Texas A&M University(德克萨斯农工大学)
提出SwinMTL共享编码器-解码器多任务框架,结合WGAN对抗训练,在Cityscapes和NYU Depth V2上同时提升深度估计与语义分割性能,并开源代码。
2024-03-15 cs.CV
LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation
Huazhong University of Science and Technology(华中科技大学);SenseTime Research(商汤科技研究院);Chinese University of Hong Kong(香港中文大学)
摄像头和3D LiDAR传感器已成为现代自动驾驶汽车中不可或缺的设备,其中摄像头提供2D空间中的细粒度纹理,颜色信息,LiDAR捕获周围环境的更精确和更远的距离测量。来自这两个传感器的互补信息使得双模态融合成为期望的选择。然而,相机和LiDAR之间的融合的两个主要问题阻碍了其性能,\ie,如何有效地融合这两种模式,以及如何精确地对齐它们(遭受弱时空同步问题)。在本文中,我们提出了一种由粗到细的LiDAR和基于相机融合的网络(称为LIF-Seg)用于LiDAR分割。对于第一个问题,不同于以前的作品融合点云和图像信息在一对一的方式,所提出的方法充分利用图像的上下文信息,并引入了一个简单但有效的早期融合策略。其次,由于弱时空同步问题,偏移校正方法的目的是对齐这些两个模态功能。这两个组件的合作导致有效的相机-LiDAR融合的成功。在nuScenes数据集上的实验结果表明,所提出的LIF-Seg优于现有方法,具有较大的裕度。消融研究和分析表明,我们提出的LIF-Seg可以有效地解决弱时空同步问题。
2021-08-17 cs.CV
It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
人类检测和分割移动物体的能力在存在多个物体、复杂背景几何形状、观察者运动甚至伪装的情况下都有效。除此之外,检测运动的能力几乎是瞬时的。虽然最近在运动分割方面取得了很大进展,但似乎我们离人类的能力还很远。在这项工作中,我们从第一原理推导出一个新的似然函数,用于评估给定物体的3D运动方向的光流矢量的概率。这种可能性使用光流的角度和幅度的新颖组合来最大化关于对象的真实运动的信息。使用这种新的可能性和几个创新的初始化,我们开发了一个运动分割算法,击败了当前最先进的方法,由一个大的利润。我们比较了五个国家的最先进的方法在两个既定的基准,和第三个新的数据集的动物,我们介绍了推动运动分割到一个新的水平。
2016-04-01 cs.CV
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Google(谷歌)
我们利用无监督学习的深度,自我运动,和相机的本质,以提高单图像语义分割的性能,通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号,从而显著提高其质量,或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
Moving Object Detection from Moving Camera Using Focus of Expansion Likelihood and Segmentation
Department of Precision Engineering, Graduate School of Engineering, The University of Tokyo(精密工程学系,工学研究生院,东京大学);Department of Human and Engineered Environmental Studies, Graduate School of Frontier Sciences, The University of Tokyo(人类与工程环境研究系,前沿科学研究生院,东京大学)
针对运动相机依赖光流检测运动目标在复杂场景效果不佳的问题,提出融合光流与纹理信息的FoELS方法,在相关数据集和真实视频上实现了SOTA性能。
2026-09-30 cs.CV
MONA: Moving Object Detection from Videos Shot by Dynamic Camera
Johns Hopkins University(约翰斯·霍普金斯大学)
MONA利用光流和任意点跟踪提取动态点,结合自适应边界框过滤和Segment Anything分割,实现动态相机视频中的运动目标检测,并在MPI Sintel数据集上达到最先进性能。
2025-01-22 cs.CV
Glass Surface Segmentation with an RGB-D Camera via Weighted Feature Fusion for Service Robots
Fujian Provincial Key Laboratory of Information Processing and Intelligent Control(福建省信息处理与智能控制重点实验室);Minjiang University(闽江学院);European University Cyprus(塞浦路斯欧洲大学);Fujian Hantewin Intelligent Technology Co., Ltd.(福建省翰文智能科技有限公司)
针对服务机器人玻璃表面分割中RGB与深度信息融合难题,提出加权特征融合模块及MJU-Glass数据集,显著提升分割精度与鲁棒性,bIoU提升7.49%。
2025-08-03 cs.CV
EventSSEG: Event-driven Self-Supervised Segmentation with Probabilistic Attention
Defence Research and Development Organization, Bangalore and Indian Institute of Science, Bangalore(国防研究与发展组织、班加罗尔和印度科学学院,班加罗尔);Department of Electronics Systems Engineering, Indian Institute of Science, Bangalore(电子系统工程系,印度科学学院,班加罗尔)
针对自动驾驶道路分割中基于帧相机的低延迟低计算挑战,提出EventSSEG方法,通过仅事件计算、概率注意力机制和基于事件的自监督学习,在DSEC-Semantic和DDD17数据集上以少量标注事件实现最先进性能。
2025-08-20 cs.CV
Competitive Collaboration: Joint Unsupervised Learning of Depth, Camera Motion, Optical Flow and Motion Segmentation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);NVIDIA(英伟达);MIT(麻省理工学院)
我们解决的无监督学习的几个相互关联的问题,在低层次的视觉:单视图深度预测,摄像机运动估计,光流,并分割成静态场景和运动区域的视频。我们的关键见解是,这四个基本的视觉问题是通过几何约束耦合。因此,学习一起解决它们可以简化问题,因为解决方案可以相互加强。我们超越以前的工作,更明确地利用几何和分割成静态和移动区域的场景。为此,我们引入了竞争协作,这是一个促进多个专业神经网络协调训练以解决复杂问题的框架。竞争性协作的工作原理与期望最大化非常相似,但神经网络既充当竞争者来解释与静态或移动区域相对应的像素,又充当协作者,通过调节器将像素分配为静态或独立移动。我们的新方法集成了所有这些问题在一个共同的框架,并同时对分割的场景到运动物体和静态背景,摄像机运动,静态场景结构的深度,和光流的运动物体的原因。我们的模型在没有任何监督的情况下进行训练,并在所有子问题的联合无监督方法中实现了最先进的性能。
2019-03-11 cs.CV
M2S-RoAD: Multi-Modal Semantic Segmentation for Road Damage Using Camera and LiDAR Data
Australian Centre for Robotics (ACFR), The University of Sydney(澳大利亚机器人中心(ACFR),悉尼大学);University of Washington(华盛顿大学)
针对农村道路损伤检测研究不足的问题,本文提出M2S-RoAD数据集,基于相机与LiDAR数据实现道路损伤多模态语义分割,覆盖澳大利亚新南威尔士州农村地区九类损伤,填补农村道路损伤语义分割数据集空白。
2025-04-14 cs.CV
M$^2$BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified Birds-Eye View Representation
The University of Hong Kong(香港大学);NVIDIA(英伟达);NUS(新加坡国立大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Caltech(加州理工学院)
在本文中,我们提出了M $^2$ BEV,一个统一的框架,共同执行三维目标检测和地图分割的鸟瞰视图~(BEV)空间与多相机图像输入。与以往大多数分别处理检测和分割的工作不同,M $^2$ BEV用一个统一的模型来推断这两个任务,提高了效率。M $^2$ BEV有效地将多视图2D图像特征转换为自我汽车坐标中的3D BEV特征。这种BEV表示是重要的,因为它使得不同的任务能够共享单个编码器。我们的框架还包含四个重要的设计,有利于准确性和效率:(1)有效的BEV编码器设计,减少体素特征图的空间维度。(2)一种动态框分配策略,使用学习匹配来分配带有锚点的地面实况3D框。(3)BEV中心性重新加权,其用更大的权重来加强更远的预测,以及(4)大规模2D检测预训练和辅助监督。我们表明,这些设计显着受益于病态的基于相机的3D感知任务,其中深度信息丢失。M $^2$ BEV是内存高效的,允许更高分辨率的图像作为输入,具有更快的推理速度。在nuScenes上的实验表明,M $^2$ BEV在3D目标检测和BEV分割方面都达到了最先进的结果,最好的单个模型在这两个任务中分别达到了42.5 mAP和57.0 mIoU。
2022-04-19 cs.CV
Motion Segmentation from a Moving Monocular Camera
University of Waterloo(滑铁卢大学)
本文提出在物体层面融合点轨迹与光流线索,通过对极几何构建亲和矩阵并用协同正则化多视图谱聚类实现移动单目相机的运动分割,在 KT3DMoSeg 上达到先进水平。
2023-09-24 cs.CV
PCT: Perspective Cue Training Framework for Multi-Camera BEV Segmentation
Keio University(庆应义塾大学);SenseTime Japan(商汤科技日本分部)
针对多相机BEV分割标注成本高的问题,提出PCT框架,利用公开语义分割模型从无标注透视图像生成伪标签,结合共享编码器的透视任务头、CamDrop与BFD扰动及师生框架,在半监督学习和无监督域自适应场景下显著优于基线,性能媲美SOTA。
2024-07-15 cs.CV
Waymo Open Dataset: Panoramic Video Panoptic Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Waymo LLC(Waymo有限责任公司);Google Research(谷歌研究院)
全景图像分割是一项计算机视觉任务,即在图像中找到像素组并为其分配语义类和对象实例标识符。由于图像分割在机器人和自动驾驶中的重要应用,图像分割的研究变得越来越受欢迎。因此,研究界依赖于公开可用的基准数据集来推进计算机视觉的最新发展。然而,由于密集标记图像的高成本,缺乏适用于全景分割的公开可用的地面实况标记。高标签成本也使得将现有数据集扩展到视频域和多摄像机设置具有挑战性。因此,我们提出了Waymo开放数据集:全景视频全景分割数据集,这是一个大规模的数据集,为自动驾驶提供高质量的全景分割标签。我们使用公开的Waymo Open Dataset生成数据集,利用各种相机图像。我们的标签在视频处理过程中始终保持一致,并且在车辆上安装的多个摄像头之间保持一致,以实现完整的全景场景理解。具体来说,我们为28个语义类别和2,860个时间序列提供了标签,这些序列由安装在三个不同地理位置的自动驾驶汽车上的五个摄像头捕获,总共产生了10万个标记的摄像头图像。据我们所知,这使得我们的数据集比提供视频全景分割标签的现有数据集大一个数量级。我们进一步提出了全景视频全景分割的新基准,并基于DeepLab系列模型建立了一些强基线。我们将公开基准测试和代码。在https://waymo.com/open上找到数据集。
2022-06-15 cs.CV
Fast Multi-frame Stereo Scene Flow with Motion Segmentation
RIKEN AIP(理化学研究所革新智能综合研究中心);Microsoft Research(微软研究院);The University of Tokyo(东京大学)
我们提出了一种新的多帧方法,有效地计算场景流(密集的深度和光流)和摄像机自我运动的动态场景观察从一个移动的立体摄像机钻机。我们的技术还分割出移动物体从刚性场景。在我们的方法中,我们首先使用立体匹配和视觉里程计来估计视差图和6-DOF相机运动。然后,我们确定区域不一致的估计相机运动和计算每像素光流只在这些地区。使用融合移动将该流建议与基于相机运动的流建议融合以获得最终的光流和运动分割。这种统一的框架有利于所有四个任务-立体,光流,视觉里程计和运动分割,从而提高整体精度和效率。我们的方法目前在KITTI 2015场景流基准测试中排名第三。此外,我们的CPU实现每帧运行2-3秒,比前六种方法快1-3个数量级。我们还报告了对具有快速相机和物体运动的挑战性Sintel序列的全面评估,其中我们的方法始终优于OSF [Menze和Geiger,2015],目前在KITTI基准中排名第二。
2017-07-05 cs.CV
Spherical formulation of geometric motion segmentation constraints in fisheye cameras
Valeo Vision Systems(法雷奥视觉系统公司);University of Limerick(利默里克大学)
我们介绍了一种视觉运动分割方法采用球面几何鱼眼相机和自动驾驶。针孔图像中三个常用的几何约束(正高度,正深度和核线约束)被重新表述为球坐标,只要相机校准是已知的,使它们对特定的相机配置不变。第四个约束,被称为反平行约束,被添加到解决运动视差模糊,以支持检测相对于主车辆进行平行或接近平行运动的移动物体。一个最终的约束约束,被称为球面三视图约束,虽然没有在我们提出的算法描述。结果表明,该建议是一种有效的运动分割方法,直接就业的鱼眼图像。
2021-04-26 cs.CV cs.RO
High-Dynamic-Range Imaging for Cloud Segmentation
Nanyang Technological University(南洋理工大学);Advanced Digital Sciences Center(高级数字科学中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ADAPT SFI Research Centre(ADAPT科学基金会研究中心);Trinity College Dublin(都柏林大学三一学院)
从地面天空相机获得的天空/云图像通常使用具有宽视场的鱼眼镜头捕获。然而,天空在亮度方面表现出大的动态范围,超过传统相机可以捕获的范围。因此,难以用常规相机在Single Shot中捕获整个场景的细节。在大多数情况下,环日区域曝光过度,而地平线附近的区域曝光不足。这使得对这样的图像的云分割变得困难。在本文中,我们提出了HDRCloudSeg -一种有效的云分割方法,使用高动态范围(HDR)成像的基础上,多曝光融合。我们描述了HDR图像生成过程,并向社区发布了一个新的数据库进行基准测试。我们提出的方法是第一个使用HDR辐射图的云分割,并取得了很好的效果。
2018-03-02 cs.CV
Computer Vision with a Superpixelation Camera
Portland State University(波特兰州立大学);Willamette University(威拉米特大学)
本文提出SuperCam相机,通过实时超级像素分割处理数据,在内存受限情况下提升图像分割、目标检测和单目深度估计性能。
2026-03-27 cs.CV
Semantic Segmentation of Fruits on Multi-sensor Fused Data in Natural Orchards
South China Agricultural University(华南农业大学);Monash University(莫纳什大学);CSIRO(联邦科学与工业研究组织)
语义分割是农业机器人在自然果园中理解周围环境的一项基本任务。激光雷达技术的最新发展使机器人能够在非结构化果园中获得精确的距离测量。与RGB图像相比,3D点云具有几何属性。通过将LiDAR和相机相结合,可以获得关于几何和纹理的丰富信息。在这项工作中,我们提出了一种基于深度学习的分割方法,对来自LiDAR相机视觉传感器的融合数据进行准确的语义分割。在这项工作中,两个关键问题的探索和解决。第一个问题是如何有效地融合多传感器数据的纹理和几何特征。第二个问题是如何在严重不平衡的类别条件下有效地训练三维分割网络。详细介绍了一种基于激光雷达和相机数据融合、数据汇集与标注、网络训练和模型推理的果园三维分割实现方法。在实验中,我们全面分析了网络设置时,处理高度非结构化和噪声点云从苹果园。总体而言,我们提出的方法在高分辨率点云(100 k-200 k点)上分割水果时达到了86.2%的mIoU。实验结果表明,该方法能够在真实的果园环境中进行准确的分割。
2022-08-04 cs.CV
DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning
QT Technologies Ireland Limited(QT技术爱尔兰有限公司);Qualcomm Technologies International GmbH(高通技术国际有限公司);Qualcomm Technologies, Inc.(高通技术公司)
针对环视鱼眼相机缺少BEV分割数据集与去畸变缺陷的问题,本文构建Cognata合成数据集,提出支持任意相机模型、带畸变感知BEV池化和遮挡推理的DaF-BEVSeg。
2024-04-09 cs.CV cs.RO
Deep Learning for Robust Motion Segmentation with Non-Static Cameras
Ulm University of Applied Sciences(乌尔姆应用科学大学)
这项工作提出了一种新的基于端到端DCNN的运动分割方法,特别是对于用这种非静态相机捕获的视频序列,称为MOSNET。虽然其他方法仅关注空间或时间上下文,但所提出的方法使用3D卷积作为关键技术来考虑内聚视频帧中的时空特征。这是通过捕获具有低抽象级别和高抽象级别的特征中的时间信息来完成的。具有约21 k个可训练参数的精益网络架构主要基于预训练的VGG-16网络。MOSNET使用了一种新的特征图融合技术,使网络能够专注于适当的抽象水平,分辨率和适当大小的接收野关于输入。此外,基于端到端深度学习的方法可以通过基于特征的图像对齐作为预处理步骤来扩展,这为某些场景带来了性能上的增益。以场景独立的方式评估基于端到端深度学习的MOSNET网络,在CDNet 2014数据集上的总体F测量值为0.803。使用五个输入帧的小时间窗口来获得该结果,而不需要任何初始化。因此,网络能够在使用非静态相机捕获的场景上表现良好,其中图像内容在场景期间发生显著变化。为了在移动摄像机拍摄的场景中得到鲁棒的结果,可以将基于特征的图像对准作为预处理步骤来实现。与预处理相结合的MOSNET在与重新标记的LASIESTA数据集交叉评估时导致F测量值为0.685,这支持了MOSNET的能力推广。
2021-02-22 cs.CV