NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation
Aalto University(阿莱大学);University of Helsinki(赫尔辛基大学);University of Oulu(奥卢大学)
提出NVSMask3D,一种基于三维高斯泼溅和相机位姿插值的免训练硬视觉提示方法,通过生成多样化视角并强制几何一致性,增强视觉语言模型在三维开放词汇实例分割中的性能。
2025-04-20 cs.CV
Finding Meaning in Points: Weakly Supervised Semantic Segmentation for Event Cameras
KAIST(韩国科学技术院)
针对事件相机语义分割标注成本高的问题,提出EV-WSSS弱监督方法,利用稀疏点标注,通过非对称双学生学习和基于类原型的对比学习,实现无需密集真值的有效分割。
2024-07-15 cs.CV
SpectralZoom: Efficient Segmentation with an Adaptive Hyperspectral Camera
University of Florida(佛罗里达大学);Amazon(亚马逊公司)
本文提出SpectralZoom自适应高光谱相机及配套ViT分割算法,通过选择性采样图像块而非完整高光谱立方体,在保证分割精度的同时显著降低数据量与计算负载。
2024-06-06 cs.CV cs.RO
SwinMTL: A Shared Architecture for Simultaneous Depth Estimation and Semantic Segmentation from Monocular Camera Images
Texas A&M University(德克萨斯农工大学)
提出SwinMTL共享编码器-解码器多任务框架,结合WGAN对抗训练,在Cityscapes和NYU Depth V2上同时提升深度估计与语义分割性能,并开源代码。
2024-03-15 cs.CV
LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation
Huazhong University of Science and Technology(华中科技大学);SenseTime Research(商汤科技研究院);Chinese University of Hong Kong(香港中文大学)
摄像头和3D LiDAR传感器已成为现代自动驾驶汽车中不可或缺的设备,其中摄像头提供2D空间中的细粒度纹理,颜色信息,LiDAR捕获周围环境的更精确和更远的距离测量。来自这两个传感器的互补信息使得双模态融合成为期望的选择。然而,相机和LiDAR之间的融合的两个主要问题阻碍了其性能,\ie,如何有效地融合这两种模式,以及如何精确地对齐它们(遭受弱时空同步问题)。在本文中,我们提出了一种由粗到细的LiDAR和基于相机融合的网络(称为LIF-Seg)用于LiDAR分割。对于第一个问题,不同于以前的作品融合点云和图像信息在一对一的方式,所提出的方法充分利用图像的上下文信息,并引入了一个简单但有效的早期融合策略。其次,由于弱时空同步问题,偏移校正方法的目的是对齐这些两个模态功能。这两个组件的合作导致有效的相机-LiDAR融合的成功。在nuScenes数据集上的实验结果表明,所提出的LIF-Seg优于现有方法,具有较大的裕度。消融研究和分析表明,我们提出的LIF-Seg可以有效地解决弱时空同步问题。
2021-08-17 cs.CV
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Google(谷歌)
我们利用无监督学习的深度,自我运动,和相机的本质,以提高单图像语义分割的性能,通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号,从而显著提高其质量,或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
Moving Object Detection from Moving Camera Using Focus of Expansion Likelihood and Segmentation
Department of Precision Engineering, Graduate School of Engineering, The University of Tokyo(精密工程学系,工学研究生院,东京大学);Department of Human and Engineered Environmental Studies, Graduate School of Frontier Sciences, The University of Tokyo(人类与工程环境研究系,前沿科学研究生院,东京大学)
针对运动相机依赖光流检测运动目标在复杂场景效果不佳的问题,提出融合光流与纹理信息的FoELS方法,在相关数据集和真实视频上实现了SOTA性能。
2026-09-30 cs.CV
MONA: Moving Object Detection from Videos Shot by Dynamic Camera
Johns Hopkins University(约翰斯·霍普金斯大学)
MONA利用光流和任意点跟踪提取动态点,结合自适应边界框过滤和Segment Anything分割,实现动态相机视频中的运动目标检测,并在MPI Sintel数据集上达到最先进性能。
2025-01-22 cs.CV
M2S-RoAD: Multi-Modal Semantic Segmentation for Road Damage Using Camera and LiDAR Data
Australian Centre for Robotics (ACFR), The University of Sydney(澳大利亚机器人中心(ACFR),悉尼大学);University of Washington(华盛顿大学)
针对农村道路损伤检测研究不足的问题,本文提出M2S-RoAD数据集,基于相机与LiDAR数据实现道路损伤多模态语义分割,覆盖澳大利亚新南威尔士州农村地区九类损伤,填补农村道路损伤语义分割数据集空白。
2025-04-14 cs.CV
M$^2$BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified Birds-Eye View Representation
The University of Hong Kong(香港大学);NVIDIA(英伟达);NUS(新加坡国立大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Caltech(加州理工学院)
在本文中,我们提出了M $^2$ BEV,一个统一的框架,共同执行三维目标检测和地图分割的鸟瞰视图~(BEV)空间与多相机图像输入。与以往大多数分别处理检测和分割的工作不同,M $^2$ BEV用一个统一的模型来推断这两个任务,提高了效率。M $^2$ BEV有效地将多视图2D图像特征转换为自我汽车坐标中的3D BEV特征。这种BEV表示是重要的,因为它使得不同的任务能够共享单个编码器。我们的框架还包含四个重要的设计,有利于准确性和效率:(1)有效的BEV编码器设计,减少体素特征图的空间维度。(2)一种动态框分配策略,使用学习匹配来分配带有锚点的地面实况3D框。(3)BEV中心性重新加权,其用更大的权重来加强更远的预测,以及(4)大规模2D检测预训练和辅助监督。我们表明,这些设计显着受益于病态的基于相机的3D感知任务,其中深度信息丢失。M $^2$ BEV是内存高效的,允许更高分辨率的图像作为输入,具有更快的推理速度。在nuScenes上的实验表明,M $^2$ BEV在3D目标检测和BEV分割方面都达到了最先进的结果,最好的单个模型在这两个任务中分别达到了42.5 mAP和57.0 mIoU。
2022-04-19 cs.CV
Waymo Open Dataset: Panoramic Video Panoptic Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Waymo LLC(Waymo有限责任公司);Google Research(谷歌研究院)
全景图像分割是一项计算机视觉任务,即在图像中找到像素组并为其分配语义类和对象实例标识符。由于图像分割在机器人和自动驾驶中的重要应用,图像分割的研究变得越来越受欢迎。因此,研究界依赖于公开可用的基准数据集来推进计算机视觉的最新发展。然而,由于密集标记图像的高成本,缺乏适用于全景分割的公开可用的地面实况标记。高标签成本也使得将现有数据集扩展到视频域和多摄像机设置具有挑战性。因此,我们提出了Waymo开放数据集:全景视频全景分割数据集,这是一个大规模的数据集,为自动驾驶提供高质量的全景分割标签。我们使用公开的Waymo Open Dataset生成数据集,利用各种相机图像。我们的标签在视频处理过程中始终保持一致,并且在车辆上安装的多个摄像头之间保持一致,以实现完整的全景场景理解。具体来说,我们为28个语义类别和2,860个时间序列提供了标签,这些序列由安装在三个不同地理位置的自动驾驶汽车上的五个摄像头捕获,总共产生了10万个标记的摄像头图像。据我们所知,这使得我们的数据集比提供视频全景分割标签的现有数据集大一个数量级。我们进一步提出了全景视频全景分割的新基准,并基于DeepLab系列模型建立了一些强基线。我们将公开基准测试和代码。在https://waymo.com/open上找到数据集。
2022-06-15 cs.CV
StaticSegFormer: An Efficient High-Performance Semantic Segmentation Based on Static Structured Pruning
该研究针对动态结构化剪枝在GPU上帧率低的问题,提出StaticSegFormer静态结构化剪枝方法,使SegFormer在Cityscapes上帧率提升最高34%且无mIoU下降,适配小型编码器与大图像场景。
2026-08-06 cs.CV
Computer Vision with a Superpixelation Camera
Portland State University(波特兰州立大学);Willamette University(威拉米特大学)
本文提出SuperCam相机,通过实时超级像素分割处理数据,在内存受限情况下提升图像分割、目标检测和单目深度估计性能。
2026-03-27 cs.CV
Semantic Segmentation of Fruits on Multi-sensor Fused Data in Natural Orchards
South China Agricultural University(华南农业大学);Monash University(莫纳什大学);CSIRO(联邦科学与工业研究组织)
语义分割是农业机器人在自然果园中理解周围环境的一项基本任务。激光雷达技术的最新发展使机器人能够在非结构化果园中获得精确的距离测量。与RGB图像相比,3D点云具有几何属性。通过将LiDAR和相机相结合,可以获得关于几何和纹理的丰富信息。在这项工作中,我们提出了一种基于深度学习的分割方法,对来自LiDAR相机视觉传感器的融合数据进行准确的语义分割。在这项工作中,两个关键问题的探索和解决。第一个问题是如何有效地融合多传感器数据的纹理和几何特征。第二个问题是如何在严重不平衡的类别条件下有效地训练三维分割网络。详细介绍了一种基于激光雷达和相机数据融合、数据汇集与标注、网络训练和模型推理的果园三维分割实现方法。在实验中,我们全面分析了网络设置时,处理高度非结构化和噪声点云从苹果园。总体而言,我们提出的方法在高分辨率点云(100 k-200 k点)上分割水果时达到了86.2%的mIoU。实验结果表明,该方法能够在真实的果园环境中进行准确的分割。
2022-08-04 cs.CV
Semantic Segmentation for Real-World and Synthetic Vehicle's Forward-Facing Camera Images
Center of Urban Informatics and Progress(城市信息学与进展中心);University of Tennessee at Chattanooga(田纳西大学查塔努加分校)
本文面向车辆前视真实与合成图像,提出以 HRNet 为基线并结合 OCR、HMA 及 DNB 域适应的语义分割方案,在验证集上达到 81.259 mIoU。
2024-07-07 cs.CV
Learning Video Object Segmentation from Static Images
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Disney Research(迪士尼研究院);ETH Zurich(苏黎世联邦理工学院)
受深度学习在实例分割和对象跟踪方面的最新进展的启发,我们引入视频对象分割问题作为引导实例分割的概念。我们的模型在每帧的基础上进行,由前一帧的输出引导到下一帧中的感兴趣对象。我们证明,可以通过使用仅用静态图像训练的convnet来实现视频中的高精度对象分割。我们的方法的关键成分是离线和在线学习策略的组合,其中前者用于从先前的帧估计产生精细的掩模,后者允许捕获特定对象实例的外观。我们的方法可以处理不同类型的输入注释:边界框和段,以及合并多个注释帧,使系统适合于不同的应用程序。我们在三个不同的数据集上获得了竞争结果,独立于输入注释的类型。
2016-12-08 cs.CV
Onboard-Targeted Segmentation of Straylight in Space Camera Sensors
Department of Space Systems Engineering, Faculty of Aerospace Engineering(航天系统工程系,航空航天工程学院);Airbus Defence and Space GmbH(Airbus防务与空间有限公司)
本研究提出了一种基于 AI 的方法,用于在航天器资源受限硬件上实现空间相机中 straylight 的语义分割,并通过自定义指标评估其系统性能。
2026-02-24 cs.AI cs.CV
Training for X-Ray Vision: Amodal Segmentation, Amodal Content Completion, and View-Invariant Object Representation from Multi-Camera Video
本文提出MOVi-MC-AC数据集,通过多摄像机视频提供约580万个物体实例的非模态分割标签和首个真值非模态内容标签,以支持遮挡场景下的物体表示学习。
2025-07-01 cs.AI cs.CV
Static-Dynamic Class-level Perception Consistency in Video Semantic Segmentation
针对视频语义分割的时序信息利用问题,本文提出静动态类别级感知一致性框架,通过多元类别原型、静动态语义对齐模块及窗口注意力计算方法,在VSPW和Cityscapes数据集上取得优于现有最优方法的性能。
2024-12-11 cs.CV
Achieving RGB-D level Segmentation Performance from a Single ToF Camera
German Research Center for Artificial Intelligence(德国人工智能研究中心);RPTU Kaiserslautern(凯泽斯劳滕莱茵兰-普法尔茨技术大学);FAU Erlangen(埃尔朗根-纽伦堡大学)
本研究提出在多任务学习框架中利用深度特定卷积融合单个 ToF 相机的红外与深度模态,在车载分割数据集上以更低成本实现了与 RGB-D 相机相当的语义分割准确率。
2023-06-30 cs.AI cs.CV cs.LG
Segmenting Objects in Day and Night:Edge-Conditioned CNN for Thermal Image Semantic Segmentation
Anhui University(安徽大学);Texas State University(德克萨斯州立大学)
尽管图像语义分割的研究取得了很大的进展,但在可见光成像的局限性所导致的恶劣环境条件下,它仍然具有挑战性。虽然热红外相机具有几个优于可见光谱相机的优点,例如在完全黑暗中操作,对照明变化不敏感,对阴影效果鲁棒,以及穿透薄雾和烟雾的能力强。热红外摄像机的这些优点使得语义目标的分割在白天和夜晚都可以实现。在本文中,我们提出了一种新的网络架构,称为边缘条件卷积神经网络(EC-CNN),热图像语义分割。特别地,我们精心设计了EC-CNN中的门控特征变换层,以自适应地结合边缘先验知识。整个EC-CNN是端到端训练的,可以在边缘指导下生成高质量的分割结果。同时,我们还引入了一个新的基准数据集“白天和黑夜中的分割对象”(SODA),用于热图像语义分割的综合评价。SODA包含超过7,168个手动注释和合成生成的热图像,具有20个语义区域标签,并且来自广泛的视角和场景复杂性。在SODA上的大量实验证明了所提出的EC-CNN对最先进方法的有效性。
2019-07-24 cs.CV
Depth Over RGB: Automatic Evaluation of Open Surgery Skills Using Depth Camera
Technion – Israel Institute of Technology(以色列理工学院);University of Wisconsin-Madison School of Medicine and Public Health(威斯康星大学麦迪逊分校医学与公共卫生学院);University of Wisconsin Hospitals and Clinics(威斯康星大学医院与诊所)
本文提出用深度相机自动评估开放手术技能,结合YOLOv8、UVAST和MSTCN++完成器械检测与动作分割,证明其性能可媲美RGB相机且更具隐私与鲁棒性优势。
2024-01-18 cs.CV
MCDS-VSS: Moving Camera Dynamic Scene Video Semantic Segmentation by Filtering with Self-Supervised Geometry and Motion
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文提出MCDS-VSS模型,通过自监督估计场景几何、相机自运动和物体运动,以预测-融合方式提升移动相机视频语义分割的时间一致性,同时保持分割精度。
2024-09-05 cs.CV cs.RO
PanORama: Multiview Consistent Panoptic Segmentation in Operating Rooms
MCML, Germany(MCML,德国)
本文提出PanORama,通过单次前向传递在骨干网络中建模跨视角交互,实现手术室多视角一致的全景分割,优于现有方法,且无需校准参数。
2026-03-20 cs.CV
UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation
UP-Fuse通过不确定性引导的融合框架,提升激光雷达与摄像头在3D全景分割中的鲁棒性和准确性。
2026-07-28 cs.AI cs.CV
PanoOcc: Unified Occupancy Representation for Camera-based 3D Panoptic Segmentation
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);Centre for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港创新研究院人工智能与机器人创新中心)
针对自动驾驶现有三维感知任务分散、缺乏统一端到端方案的问题,提出PanoOcc方法,通过体素查询粗到精聚合多帧多视图时空信息构建统一占用表示,在nuScenes和Occ3D基准上取得优异性能。
2023-06-16 cs.CV cs.RO
Cross-view Transformers for real-time Map-view Semantic Segmentation
UT Austin(德克萨斯大学奥斯汀分校)
我们提出了跨视图Transformers,一个有效的注意力为基础的地图视图语义分割模型,从多个摄像机。我们的架构隐式地学习到一个规范的地图视图表示使用相机感知的交叉视图注意力机制从个别相机视图的映射。每个摄像机使用位置嵌入,这取决于其内在和外在校准。这些嵌入允许Transformer学习跨不同视图的映射,而无需显式地对其进行几何建模。该架构包括一个卷积图像编码器的每个视图和跨视图Transformer层,以推断地图视图语义分割。我们的模型是简单的,易于并行化,并运行在实时的【形】。所提出的架构在nuScenes数据集上以最先进的方式执行,推理速度快4倍。代码可在https://github.com/bradyz/cross_view_transformers上获得。
2022-05-05 cs.AI cs.CV
Static object detection and segmentation in videos based on dual foregrounds difference with noise filtering
Umea University(于默奥大学)
本文提出了一种从复杂场景中提取静态目标检测和分割的方法。在许多监控应用中,由于运动目标的存在,鲁棒的静态目标检测仍然是一项具有挑战性的任务。难度的高低取决于你如何将待识别的对象标记为静态的,这些静态对象没有建立原始背景,而是在不同的时间出现在视频中。在此背景下,基于帧差概念的背景减除技术被应用于静态目标的识别。首先,我们估计帧差分前景掩模图像通过计算相对于一个静态参考帧的每一帧的差异。采用混合高斯MOG方法检测运动粒子,并从帧差前景模板中减去结果前景模板。应用预处理技术、照明均衡和去雾方法来处理低对比度并减少来自空气中散射材料(例如水滴和灰尘颗粒)的噪声。最后,应用数学形态学运算和最大连通分量分析对目标进行分割和噪声抑制。所提出的方法是建立岩石破碎站的应用程序,并有效地验证了真实的,合成的和两个公共数据集。实验结果表明,该方法在没有任何跟踪先验信息的情况下,能够鲁棒地检测、分割出静止目标。
2020-12-19 cs.CV
SegCodeNet: Color-Coded Segmentation Masks for Activity Detection from Wearable Cameras
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
使用可穿戴摄像头捕获的第一人称视频(FPV)的活动检测是一个活跃的研究领域,在许多领域都有潜在的应用,包括医疗保健、执法和康复。现有技术的方法使用基于光流的混合技术,其依赖于从来自连续帧的对象的运动导出的特征。在这项工作中,我们开发了一个双流网络,\emph{SegCodeNet},它使用一个网络分支包含视频流与颜色编码的语义分割掩码的相关对象,除了原来的RGB视频流。我们还包括一个流明智的注意力门控,优先级之间的两个流和一个帧明智的注意力模块,优先级的视频帧包含相关功能。实验进行FPV数据集包含$18$活动类在办公环境中。与单流网络相比,当针对三种不同帧大小$224\times224$、$112\times112$和$64\times64$比较平均结果时,所提出的双流方法分别实现了$14.366\%$和$10.324\%$对于平均F1分数和准确度的绝对改进。所提出的方法提供了显着的性能增益较低分辨率的图像与绝对改善$17\%$和$26\%$的F1得分为输入尺寸的$112\times112$和$64\times64$,分别。对于$224\times224$的帧大小实现了最佳性能,产生$90.176\%$和$90.799\%$的F1分数和准确度,其分别以$4.529\%$和$2.419\%$的绝对裕度优于最先进的膨胀3D ConvNet(I3D)\cite{carreira2017q…
2020-08-19 cs.CV
PMODE: Prototypical Mask based Object Dimension Estimation
Elm Company(埃尔姆公司)
神经网络能在野外估计物体的尺寸吗?在本文中,我们提出了一种方法和深度学习架构,使用单目相机来估计视频中感兴趣的四边形对象的尺寸。所提出的技术不使用摄像机校准或手工制作的几何特征,然而,在训练过程中,在分割神经网络的系数的帮助下学习特征。采用具有ResNet 50主干的基于实时实例分割的深度神经网络,给出对象的原型掩模,从而提供感兴趣区域以回归其维度。实例分割网络被训练为仅查看最近的感兴趣对象。使用仅查看限界框检测器头和原型分割掩模的掩模系数的MLP头来执行回归。我们用三个不同的随机相机训练系统,测试数据集的MAPE达到22%,用于维度估计
2022-12-26 cs.CV
FusionVision: A comprehensive approach of 3D object reconstruction and segmentation from RGB-D cameras using YOLO and fast segment anything
TOELT LLC(TOELT有限责任公司);LNE(法国国家计量与测试实验室)
本文提出FusionVision流水线,结合YOLO物体检测与FastSAM实例分割,实现对RGB-D图像中物体的鲁棒三维分割与重建,并公开代码和预训练模型。
2024-05-01 cs.AI cs.CV
MVMO: A Multi-Object Dataset for Wide Baseline Multi-View Semantic Segmentation
TECNALIA - Basque Research and Technology Alliance (BRTA)(泰克纳利亚-巴斯克研究与技术联盟(BRTA));Computer Vision Center(计算机视觉中心)
我们提出了MVMO(多视图,多对象数据集):116,000个场景的合成数据集,包含随机放置的10个不同类别的对象,并从上半球的25个摄像机位置捕获。MVMO包括真实感、路径跟踪图像渲染以及每个视图的语义分割基础事实。与现有的多视图数据集不同,MVMO具有相机之间的宽基线和高密度的对象,这导致大的差异,严重的遮挡和依赖于视图的对象外观。单视图语义分割受到自身和对象间遮挡的阻碍,这些遮挡可以受益于附加视点。因此,我们期望MVMO将推动多视图语义分割和跨视图语义迁移的研究。我们还提供了基线,表明在这些领域需要新的研究,以利用多视图设置的互补信息。
2022-05-30 cs.CV
MonoCInIS: Camera Independent Monocular 3D Object Detection using Instance Segmentation
TRACE vzw(TRACE非营利组织);KU Leuven(鲁汶大学);ETHZ(苏黎世联邦理工学院);Toyota Motor Europe(丰田汽车欧洲公司)
单目3D目标检测最近已经显示出有希望的结果,然而仍然存在挑战性的问题。其中之一是缺乏对不同相机内部参数的不变性,这可以在不同的3D对象数据集上观察到。几乎没有努力利用异构3D对象数据集的组合。与一般的直觉相反,我们表明,更多的数据并不能自动保证更好的性能,而是,方法需要有一定程度的“相机独立性”,以受益于大型和异构的训练数据。本文提出了一种基于实例分割的类别级姿态估计方法,该方法利用摄像机无关的几何推理来处理不同数据集的摄像机视点和本征值的变化。实例的每个像素预测对象尺寸、在2D图像空间中投影的3D对象参考点以及可选的局部视角。摄像机固有函数仅在学习的网络外部使用,以将预测的2D参考点提升到3D。我们超越相机独立的方法在具有挑战性的KITTI3D基准,并显示与相机相关的方法相比的关键优势。
2021-10-01 cs.AI cs.CV cs.RO
Superevents: Towards Native Semantic Segmentation for Event-based Cameras
National University of Singapore(新加坡国立大学);Western Sydney University(西悉尼大学)
大多数成功的计算机视觉模型将低级别特征(如Gabor滤波器响应)转换为下游视觉任务的中级或中级复杂性的更丰富表示。这些中级表示还没有探索的事件摄像机,虽然它是特别相关的视觉稀疏,往往不相交的空间信息的事件流。通过利用局部一致的中间表示,称为超事件,许多视觉任务,范围从语义分割,视觉跟踪,深度估计将受益。本质上,超事件是描绘场景中对象的部分的感知上一致的局部单元。受最近的深度学习架构的启发,我们提出了一种新的方法,该方法采用寿命增强来获得事件流表示,该表示被馈送到完全卷积网络以提取超事件。我们对基准数据集的几个序列的定性和定量实验结果突出了基于事件的下游应用的巨大潜力。
2021-05-13 cs.AI cs.CV
Improved Real-Time Monocular SLAM Using Semantic Segmentation on Selective Frames
Handong Global University(韩东国际大学);Sungkyunkwan University(成均馆大学);Institute for Basic Science(基础科学研究院)
单目同时定位与地图构建(SLAM)正在高级驾驶员辅助系统和自动驾驶中兴起,因为单个摄像头便宜且易于安装。传统的单目SLAM有两个主要的挑战,导致不准确的定位和映射。首先,在定位和映射中估计尺度是具有挑战性的。其次,传统的单目SLAM在映射中使用不适当的映射因素,诸如动态对象和低视差区域。本文提出了一种改进的实时的【形】单目SLAM,其通过有效地使用基于深度学习的语义分割来解决上述挑战。为了实现所提出的方法的实时的【形】执行,我们只应用语义分割与映射过程并行的下采样关键帧。此外,所提出的方法校正相机姿势和三维(3D)点的比例,使用估计的地平面从道路标记的3D点和真实的相机高度。该方法还去除了标记为移动对象和低视差区域的不适当的角特征。八个视频序列的实验表明,所提出的单目SLAM系统实现显着改善和可比的轨迹跟踪精度相比,现有的最先进的单目和立体SLAM系统,分别。所提出的系统可以在标准CPU上实现实时的【形】跟踪,可能具有标准GPU支持,而现有的分割辅助单目SLAM则没有。
2022-12-15 cs.CV
Invisible-to-Visible: Privacy-Aware Human Instance Segmentation using Airborne Ultrasound via Collaborative Learning Variational Autoencoder
Panasonic Holdings Corporation(松下控股株式会社);Chubu University(中部大学)
在室内的动作理解中,我们必须考虑到隐私来识别人体的姿势和动作。虽然相机图像可以用于高度准确的人类动作识别,但相机图像不保护隐私。因此,我们提出了一个新的任务,人类实例分割从无形的信息,特别是空中超声,动作识别。为了从不可见信息执行实例分割,我们首先将声波转换为反射的声音方向图像(声音图像)。虽然声音图像可以大致确定一个人的位置,但详细的形状是模糊的。为了解决这个问题,我们提出了一个协作学习变分自编码器(CL-VAE),同时使用声音和RGB图像在训练过程中。在推理中,可以仅从声音图像获得实例分割结果。性能验证结果表明,CL-VAE模型比传统的变分自编码器等模型能更准确地估计人体实例分割。由于该方法可以单独获得人体分割,因此可以应用于具有隐私保护的人体动作识别任务。
2022-04-15 cs.CV
Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion
I3S, Côte d’Azur University, CNRS(I3S,蔚蓝海岸大学,法国国家科学研究中心);LEAT, Côte d’Azur University(LEAT,蔚蓝海岸大学);Zernike Institute, Groningen University(泽尼克研究所,格罗宁根大学)
针对传统相机帧间信息丢失问题,提出结合帧与事件相机的混合架构,利用紧凑SNN估计运动并插值帧间分割,实现高达500Hz分割率且低能耗,提升鲁棒性。
2026-09-22 cs.CV
FisheyeGaussianLift: BEV Feature Lifting for Surround-View Fisheye Camera Perception
本文提出一种失真感知的BEV分割框架,通过高斯参数化和可微溅射融合,实现鱼眼影像的高精度语义分割,无需失真校正。
2025-11-21 cs.CV
Multi-View Deep Learning for Consistent Semantic Mapping with RGB-D Cameras
Technical University of Munich(慕尼黑工业大学)
视觉场景理解是使机器人能够在其环境中有目的地行动的重要能力。在本文中,我们提出了一种使用深度学习从多个RGB-D视图中分割对象类的新方法。我们训练一个深度神经网络,以半监督的方式预测从几个观点来看是一致的对象类语义。在测试时,我们的网络的语义预测可以在语义关键帧映射中比在单个视图上训练的网络的预测更一致地融合。我们的网络架构基于最近的单视图深度学习方法,用于RGB和深度融合,用于语义对象类分割,并通过多尺度损失最小化来增强它。我们使用RGB-D SLAM获得摄像机轨迹,并将RGB-D图像的预测变形为地面实况注释帧,以便在训练期间加强多视图一致性。在测试时,来自多个视图的预测被融合到关键帧中。我们提出并分析了在训练和测试过程中执行多视图一致性的几种方法。我们评估了多视图一致性训练的好处,并证明了在NYUDv 2语义分割基准测试中,深度特征池化和多视图融合的性能优于单视图基线。我们的端到端训练网络在单视图分割和多视图语义融合方面在NYUDv 2数据集上实现了最先进的性能。
2017-12-04 cs.CV
Geometry-Aware Video Object Detection for Static Cameras
University of Oxford(牛津大学);Visual Geometry Group(视觉几何组);Department of Engineering Science(工程科学系)
在本文中,我们提出了一个几何感知模型的视频目标检测。具体来说,我们考虑相机可以很好地近似为静态的设置,例如在视频监控场景中,因此可以从图像平面上的对象比例轻松推断场景伪深度图。我们做出了以下贡献:首先,我们将最近的无锚检测器(CornerNet [17])扩展到视频目标检测。为了在保持高效率的同时利用时空信息,所提出的模型接受视频片段作为输入,并且仅对开始帧和结束帧进行预测,即对象限界框角的热图和用于分组的对应嵌入。第二,为了解决来自目标检测中的尺度变化的挑战,场景几何信息(例如,导出的深度图)被明确地并入深度网络中以用于多尺度特征选择和用于网络预测。第三,我们在Carla模拟器[5]生成的自动驾驶数据集和用于人体检测的真实数据集(DukeMTMC数据集[28])上验证了所提出的架构。当与现有的竞争单级或两级检测器相比,所提出的几何感知时空网络取得了显着更好的结果。
2019-09-06 cs.CV
Enhancing 3D LiDAR Segmentation by Shaping Dense and Accurate 2D Semantic Predictions
The University of Tokyo(东京大学)
本文提出MM2D3D模型,通过多模态引导滤波和动态跨伪监督提升2D预测质量,从而增强3D激光雷达分割的准确性。
2026-02-21 cs.CV
Video to Events: Recycling Video Datasets for Event Cameras
ETH Zurich(苏黎世联邦理工学院)
事件相机是一种新型传感器,它以异步“事件”流的形式而不是强度帧的形式输出亮度变化。与传统相机相比,它们具有显著的优势:高动态范围(HDR)、高时间分辨率和无运动模糊。最近,新的学习方法操作的事件数据取得了令人印象深刻的结果。然而,这些方法需要大量的事件数据进行训练,这是很难得到的,由于事件传感器在计算机视觉研究的新颖性。在本文中,我们提出了一种方法,通过将任何现有的视频数据集记录与传统的相机合成事件数据,以满足这些需求。这就解锁了使用几乎无限数量的现有视频数据集来训练为真实事件数据设计的网络。我们在两个相关的视觉任务上评估我们的方法,即,对象识别和语义分割,并且示出了在合成事件上训练的模型具有几个益处:(i)它们通过继承事件相机的突出特性而很好地推广到真实事件数据,即使在标准相机图像模糊或过度曝光的情况下;(ii)它们可以用于对真实数据进行微调,以改进分类和语义分割两者的现有技术。
2020-04-01 cs.CV
Segmentation-Based Bounding Box Generation for Omnidirectional Pedestrian Detection
Hitachi, Ltd.(日立制作所)
针对全向图像中行人任意旋转导致检测退化的问题,本文利用现有大规模数据集的分割标注生成紧密贴合的旋转边界框训练检测器,并提出伪鱼眼畸变增强,在无需全向训练图像和额外标注的情况下显著提升检测性能。
2023-06-04 cs.CV
LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and Semantic-Aware Alignment
East China Normal University(华东师范大学);Shanghai Jiaotong Univeristy(上海交通大学);Chongqing Institute of East China Normal University(华东师范大学重庆研究院)
针对 LiDAR 与图像融合难题,提出首个 LCPS 全景分割网络,通过 ACPA、SARA 和 PVP 三阶段对齐与特征传播,在 NuScenes 上较 LiDAR 基线提升约 6.9% PQ。
2023-08-11 cs.AI cs.CV
Adverse-to-the-eXtreme Panoptic Segmentation: URVIS 2026 Study and Benchmark
MUSES-AXPS
本文报告了URVIS 2026挑战赛,首次针对极端恶劣环境下的全景分割,基于MUSES数据集,采用加权全景质量指标评估,总结了挑战设定、基准结果及当前进展与挑战。
2026-04-18 cs.CV
FusionLane: Multi-Sensor Fusion for Lane Marking Semantic Segmentation Using Deep Neural Networks
Hefei Institutes of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院);University of Science and Technology of China(中国科学技术大学);Lappeenranta University of Technology (LUT)(拉彭兰塔工业大学)
在车道级高精度地图的构建过程中,实现车道线的有效语义分割是关键的一步。近年来,提出了许多图像语义分割方法。这些方法主要集中在摄像头获取的图像上,由于传感器本身的限制,无法获得车道标线的精确三维空间位置,无法满足车道级高精度地图构建的需求。提出了一种基于LIDAR和摄像机融合深度神经网络的车道标线语义分割方法。与其他方法不同的是,为了获得分割结果的准确位置信息,本文的语义分割对象是从LIDAR点云转换而来的鸟瞰图,而不是摄像机拍摄的图像。该方法首先利用deeplabv 3 + [ \ref{ref:1} ]网络对摄像机采集的图像进行分割,并将分割结果与激光雷达采集的点云数据进行融合,作为网络的输入。在这个神经网络中,我们还添加了一个长短期记忆(LSTM)结构,以帮助网络通过使用时间序列信息进行车道标记的语义分割。在人工标注和扩展的14,000多幅图像数据集上的实验表明,该方法对点云鸟瞰图的语义分割具有较好的效果。因此,可以显著提高高精度地图构建的自动化程度。我们的代码可在https://github.com/rolandying/FusionLane上获得。
2020-03-09 cs.AI cs.CV
Universal Semantic Segmentation for Fisheye Urban Driving Images
Zhejiang University(浙江大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
语义分割是自动驾驶领域的一种重要方法。在进行语义图像分割时,更宽的视场(FoV)有助于获得更多关于周围环境的信息,使自动驾驶更安全,更可靠,这可以通过鱼眼相机提供。然而,由于没有大规模的公共鱼眼数据集,且鱼眼相机拍摄的鱼眼图像具有较大的FoV,畸变较大,无法直接使用常用的语义分割模型。本文提出了一种七自由度(DoF)增强方法,以更全面的方式将直线图像转换为鱼眼图像。在训练过程中,直线图像被转换成鱼眼图像在七个自由度,这模拟了鱼眼图像拍摄的相机的不同位置,方向和焦距。实验结果表明,七自由度增强训练可以提高模型的精度和对不同畸变鱼眼数据的鲁棒性。这种七自由度增强为不同自动驾驶应用中的鱼眼相机提供了通用的语义分割解决方案。此外,我们还提供了自动驾驶增强的具体参数设置。最后,我们在真实的鱼眼图像上测试了我们的通用语义分割模型,取得了令人满意的结果。代码和配置在www.example.com上发布。
2020-08-24 cs.CV cs.LG stat.ML
Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Institute of Deep Perception Technology, JITRI(江苏省产业技术研究院深度感知技术研究所);XJTLU-JITRI Academy of Industrial Technology(西交利物浦大学-江苏省产业技术研究院工业技术学院)
本文全面综述了自动驾驶中用于目标检测和语义分割的雷达-相机融合技术,深入探讨了数据处理、数据集、融合策略及未来挑战。
2023-08-23 cs.AI cs.CV cs.RO
WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmarks for Autonomous Driving on Water Surfaces
University of Liverpool(利物浦大学);Wuhan University of Technology(武汉理工大学);Nantong University(南通大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出首个面向水面自动驾驶的多任务4D雷达-相机融合数据集 WaterScenes,并通过多模态基准实验验证融合感知在恶劣条件下的精度与鲁棒性优势。
2024-06-15 cs.CV cs.RO
CNN based Intelligent Streetlight Management Using Smart CCTV Camera and Semantic Segmentation
Shandong University of Finance and Economics(山东财经大学);Jahangirnagar University(贾汉吉尔纳加尔大学);Northumbria University(诺森比亚大学)
最被忽视的能源损失来源之一是路灯,它在不需要的地方产生太多的光。能源浪费具有巨大的经济和环境影响。此外,由于操作的传统手动性质,经常看到路灯在白天打开而在晚上关闭,这即使在二十一世纪也令人遗憾。这些问题需要自动化路灯控制来解决。本研究旨在开发一种新颖的路灯控制方法,通过将计算机视觉技术驱动的智能交通监控系统与闭路电视摄像机相结合,路灯通过检测行人或车辆的存在,并使用来自CCTV视频的语义图像分割在行人或车辆不存在时调暗路灯,从而以适当的亮度自动点亮流.对于因此,我们的模型区分了白天和夜间,这使得自动化路灯“开”和“关”的过程成为可能,以节省能源消耗成本。根据上述方法,可以利用地理定位传感器数据来做出更明智的路灯管理决策。为了完成这些任务,我们考虑用ResNet-34作为其骨干来训练U-net模型。模型的有效性是保证与使用的评估矩阵。所提出的概念是直接的,经济的,节能的,持久的,比传统的替代品更有弹性。
2023-03-27 cs.AI cs.CV
CLFTv2: Efficient Camera-LiDAR Fusion for Semantic Segmentation via Hierarchical Feature Pyramids
Tallinn University of Technology(塔林理工大学);FinEst Centre for Smart Cities, Tallinn University of Technology(塔林理工大学芬埃斯特智慧城市中心);Universitas Mercatorum(梅尔卡托鲁姆大学)
CLFTv2提出层次化相机-激光雷达融合框架,用Swin多尺度编码器和轻量FPN解码器替代全局注意力,在三个数据集上提升VRU召回率,计算量更低、吞吐量更高,适用于实时车载感知。
2026-09-10 cs.CV cs.RO
Enhancing Road Safety Through Multi-Camera Image Segmentation with Post-Encroachment Time Analysis
Computer Engineering San Diego State University California, USA(计算机工程系,圣地亚哥州立大学,美国加利福尼亚州)
该研究提出基于YOLOv11分割的多摄像头视觉框架,通过像素级PET算法实现高分辨率实时交叉口安全评估,可识别高风险区域,为智能交通系统提供可扩展方案。
2026-09-03 cs.CV cs.LG cs.SI
TiledSoilingNet: Tile-level Soiling Detection on Automotive Surround-view Cameras Using Coverage Metric
Valeo India(法雷奥印度);Valeo R&D Prague(法雷奥布拉格研发中心);Valeo Visions Systems(法雷奥视觉系统);Valeo DAR Bobigny(法雷奥博比尼先进研发中心);Valeo DAR Kronach(法雷奥克罗纳赫先进研发中心)
汽车摄像头,特别是全景摄像头,往往会被泥、水、雪等弄脏。对于更高级别的自动驾驶,有必要拥有一个会触发自动清洁系统的弄脏检测算法。图像中污染的局部检测对于控制清洁系统是必要的。还需要在未污染区域中启用部分功能,同时降低污染区域中的置信度。虽然这可以解决使用语义分割任务,我们探索一个更有效的解决方案,针对部署在低功耗嵌入式系统。我们提出了一种新的方法来回归的面积内的每一种污垢类型的瓷砖直接。我们称之为覆盖。所提出的方法比学习瓷砖中的主导类更好,因为瓷砖内通常会出现多种污垢类型。它还具有处理粗糙多边形标注的优点,这将导致分割任务。建议的污染覆盖解码器是一个数量级的速度比一个等效的分割解码器。我们还集成到一个目标检测和语义分割多任务模型,使用异步反向传播算法。所使用的部分数据集将作为我们WoodScape数据集的一部分公开发布,以鼓励进一步的研究。
2020-07-01 cs.CV cs.RO
vFusedSeg3D: 3rd Place Solution for 2024 Waymo Open Dataset Challenge in Semantic Segmentation
VisioRD(维西奥研发公司);VisionRD(维西奥研发公司)
VFusedSeg3D是由VisionRD团队提出的一种结合相机与LiDAR数据的多模态融合系统,通过在不同阶段对齐和合并几何与语义特征,在验证集上实现了72.46%的mIoU,显著提升了3D语义分割精度。
2024-08-09 cs.CV cs.LG