MS-TCRNet: Multi-Stage Temporal Convolutional Recurrent Networks for Action Segmentation Using Sensor-Augmented Kinematics
Technion – Israel Institute of Technology(以色列理工学院);Stanford University(斯坦福大学)
本研究针对运动学数据下的动作分割任务,提出两款MS-TCRNet架构及两种几何数据增强技术,在三个外科缝合数据集上取得了当前最优性能。
2024-07-12 cs.CV cs.LG cs.RO
ESPRESSO: Entropy and ShaPe awaRe timE-Series SegmentatiOn for processing heterogeneous sensor data
RMIT University(皇家墨尔本理工大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61);ANZ(澳新银行)
从高维可穿戴传感器数据、智能设备或物联网数据中提取信息丰富且有意义的时间片段是人类活动识别(HAR)、轨迹预测、手势识别和生活记录等应用中至关重要的预处理步骤。在本文中,我们提出了ESSTIO(熵和形状awaRe时间序列分割),一个混合分割模型的多维时间序列,制定利用时间序列的熵和时间形状属性。ESSERO不同于现有的方法,专注于特定的统计或时间序列的时间属性。作为模型开发的一部分,引入了时间序列$WCAC$的新时间表示以及基于熵度量估计片段的贪婪搜索方法。ESTERO被证明在七个可穿戴和无穿戴传感的公共数据集上提供了四种最先进的方法的卓越性能。此外,我们对这些数据集进行了更深入的调查,以了解ESTERO及其组成方法如何针对不同的数据集特征进行执行。最后,我们提供了两个有趣的案例研究,以显示如何应用ESTERO可以帮助推断日常活动的程序和人类的情绪状态。
2020-07-24 cs.CV cs.DB cs.IT
MUSES: The Multi-Sensor Semantic Perception Dataset for Driving under Uncertainty
ETH Zürich(苏黎世联邦理工学院);INSAIT(INSAIT(保加利亚国际数学和信息科学研究所))
MUSES是一个多传感器语义感知数据集,包含2500张不同天气和光照下的图像,集成了多种传感器,提出不确定性感知全景分割任务,用于评估和训练自动驾驶感知模型。
2024-09-30 cs.CV
Unsupervised Domain Adaptation in LiDAR Semantic Segmentation with Self-Supervision and Gated Adapters
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在本文中,我们专注于一个较少探索,但更现实和复杂的LiDAR语义分割领域自适应的问题。当训练(源域)和测试(目标域)数据来自不同的LiDAR传感器时,现有分割模型的性能会显着下降。为了克服这个缺点,我们提出了一个无监督的领域自适应框架,利用未标记的目标域数据进行自我监督,再加上一个不成对的掩码转移策略,以减轻域转移的影响。此外,我们引入了门控适配器模块与少量的参数到网络中,以占目标域特定的信息。从真实到真实和合成到真实LiDAR语义分割基准两者适配的实验证明了相对于现有技术的显著改进。
2022-03-21 cs.CV
Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds
Google Research(谷歌研究院)
我们研究了三维点云语义标注的无监督领域自适应问题,特别关注不同LiDAR传感器引起的领域差异。基于对稀疏3D点云从3D表面采样的观察,我们采取完整和标记的方法来恢复底层表面,然后将其传递到分割网络。具体来说,我们设计了一个稀疏体素完成网络(SVCN)来完成稀疏点云的3D表面。与语义标签不同,获得SVCN的训练对不需要手动标记。我们还引入了局部对抗学习来对表面先验进行建模。恢复的3D表面作为一个规范域,语义标签可以在不同的LiDAR传感器之间传输。实验和消融研究表明,我们的新基准的跨域语义标记的激光雷达数据所提出的方法提供了8.2-36.6%的性能比以前的领域自适应方法。
2021-03-30 cs.CV cs.LG
Multi-Modal Multi-Task (3MT) Road Segmentation
Ankara University(安卡拉大学);Hacettepe University(哈杰泰佩大学)
针对道路分割任务,提出融合多传感器原始输入的多模态多任务低成本架构,结合IMU/GNSS生成稠密深度图,在多数据集上性能优异且推理速度适配实时需求。
2023-08-23 cs.CV cs.RO
Configurable Embodied Data Generation for Class-Agnostic RGB-D Video Segmentation
University of Michigan(密歇根大学);Amazon Inc.(亚马逊公司)
提出基于3D重建生成可配置具身数据集MVPd,用于类别无关RGB-D视频分割,证明结合具身形态与3D模态微调基础模型可显著提升分割性能。
2024-10-16 cs.CV cs.RO
H2O-Net: Self-Supervised Flood Segmentation via Adversarial Domain Adaptation and Label Refinement
Department of Computer and Electrical Engineering, Rutgers University(计算机与电气工程系,罗格斯大学);Cloud to Street(云街(Cloud to Street))
通过高分辨率、高延迟的卫星图像进行近乎实时的准确的洪水检测,对于通过提供快速和可操作的信息来防止生命损失至关重要。用于洪水探测的仪器和传感器只能在低分辨率、低延迟的卫星上使用,区域重访期长达16天,使得使用这种卫星的洪水警报系统不可靠。这项工作提出了H2O-Network,一种自监督的深度学习方法,通过桥接低延迟和高延迟卫星之间的域间隙和从粗到细的标签细化来从卫星和航空图像中分割洪水。H2O-Net学习合成与水存在高度相关的信号,作为高分辨率卫星图像中语义分割的领域自适应步骤。我们的工作还提出了一种自我监督机制,它不需要任何手动注释,在训练过程中使用,以生成高质量的地面实况数据。我们证明,H2O-Net优于国家的最先进的语义分割方法卫星图像的10%和12%的像素精度和mIoU分别为洪水分割的任务。我们通过将在卫星图像上训练的模型权重转移到无人机图像(一个高度不同的传感器和领域)来强调我们模型的通用性。
2020-10-11 cs.AI cs.CV
Resource-Efficient Gesture Recognition using Low-Resolution Thermal Camera via Spiking Neural Networks and Sparse Segmentation
imec;KU Leuven(鲁汶大学);VUB(布鲁塞尔自由大学)
本文提出利用低分辨率热传感器结合MMV脉冲神经网络与稀疏分割实现资源高效手势识别,在车内5类手势数据集上达到93.9%准确率,且计算和内存成本比深度学习低一个数量级以上。
2024-01-12 cs.CV cs.HC
XD-MAP: Cross-Modal Domain Adaptation via Semantic Parametric Maps for Scalable Training Data Generation
KIT Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
本文提出XD-MAP,通过语义参数地图将图像数据集中的传感器特定知识转移到LiDAR领域,无需手动标注即可提升多模态领域适应性能。
2026-04-13 cs.AI cs.CV eess.IV
Sensor Adaptation for Improved Semantic Segmentation of Overhead Imagery
The Johns Hopkins University - Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
语义分割是促进视觉场景理解的有力方法。每个像素根据对象类和语义实体的预定义列表被分配一个标签。这是一种非常有用的方法来总结大规模的架空图像。在本文中,我们提出了我们的工作语义分割与应用程序的开销图像。我们提出了一种基于DeepLab框架构建和扩展的算法,能够细化和解析车辆等小对象(相对于图像大小)。我们还研究了传感器自适应作为一种手段,以增加可用的训练数据,以便能够减少神经网络部署在新的环境和新的传感器时的一些缺点。我们报告了几个数据集的结果,并与其他最先进的架构进行了性能比较。
2018-11-20 cs.CV
Semantic Segmentation of Fruits on Multi-sensor Fused Data in Natural Orchards
South China Agricultural University(华南农业大学);Monash University(莫纳什大学);CSIRO(联邦科学与工业研究组织)
语义分割是农业机器人在自然果园中理解周围环境的一项基本任务。激光雷达技术的最新发展使机器人能够在非结构化果园中获得精确的距离测量。与RGB图像相比,3D点云具有几何属性。通过将LiDAR和相机相结合,可以获得关于几何和纹理的丰富信息。在这项工作中,我们提出了一种基于深度学习的分割方法,对来自LiDAR相机视觉传感器的融合数据进行准确的语义分割。在这项工作中,两个关键问题的探索和解决。第一个问题是如何有效地融合多传感器数据的纹理和几何特征。第二个问题是如何在严重不平衡的类别条件下有效地训练三维分割网络。详细介绍了一种基于激光雷达和相机数据融合、数据汇集与标注、网络训练和模型推理的果园三维分割实现方法。在实验中,我们全面分析了网络设置时,处理高度非结构化和噪声点云从苹果园。总体而言,我们提出的方法在高分辨率点云(100 k-200 k点)上分割水果时达到了86.2%的mIoU。实验结果表明,该方法能够在真实的果园环境中进行准确的分割。
2022-08-04 cs.CV
The Segmentation Fusion Method On10 Multi-Sensors
Yeshwant Mahavidyala College(耶什万特·马哈维迪亚拉学院)
最显著的问题可能是融合图像的光谱特征的不期望的影响,以及使用融合图像的益处主要是与由一个传感器同时获取的它们的源图像相比。它们可能适合或可能不适合于其他图像的融合。因此,它变得越来越重要的调查技术,使多传感器,多数据图像融合,以作出最后的结论,可以得出最合适的融合方法。因此,在这项研究中,我们提出了一种新的方法分割融合方法(SF)的遥感图像提出了考虑传感器的物理特性,它使用一个特征级的处理范例。在一个特别的是,试图测试所提出的方法的性能上10多传感器图像和比较它与不同的融合技术,通过使用各种空间和光谱度量定量估计的质量和程度的信息改善。
2012-08-23 cs.CV
DifFUSER: Diffusion Model for Robust Multi-Sensor Fusion in 3D Object Detection and BEV Segmentation
Monash University(莫纳什大学);Hunan University(湖南大学)
提出DifFUSER,利用扩散模型进行多传感器融合,通过cMini-BiFPN架构、GSM模块和PSDT范式增强鲁棒性,在BEV分割和3D目标检测中达到先进性能。
2024-09-24 cs.CV
PicoSAM2: Low-Latency Segmentation In-Sensor for Edge Vision Applications
ETH Zürich(苏黎世联邦理工学院);IBM Research(IBM研究院)
PicoSAM2提出一种130万参数的轻量级可提示分割模型,通过深度可分离U-Net、知识蒸馏和定点提示编码从SAM2学习,在索尼IMX500传感器内以14.3毫秒运行,实现边缘端隐私保护视觉分割。
2025-11-11 cs.CV
Simultaneous Optical Flow and Segmentation (SOFAS) using Dynamic Vision Sensor
Monash University(莫纳什大学);Australian Centre of Excellence for Robotic Vision(澳大利亚机器人视觉卓越中心)
本文提出了一种估计动态视觉传感器(DVS)产生的事件的光流的算法(SOFAS)。在传统相机以固定速率产生帧的情况下,DVS响应于具有高时间分辨率的强度变化而产生异步事件。我们的算法使用的事实,即事件产生的场景中的边缘,不仅估计的光流,但也同时分割成以相同的速度移动的对象的图像。这样就可以避免影响其他实现(如Lucas-Kanade)的光圈问题。最后,我们表明,SOFAS产生更准确的结果比传统的光流算法。
2018-05-31 cs.CV
3D Can Be Explored In 2D: Pseudo-Label Generation for LiDAR Point Clouds Using Sensor-Intensity-Based 2D Semantic Segmentation
Logiroad;LS2N - Ecole Centrale de Nantes(LS2N - 纵向神经网络)
本文提出一种无需三维标注和额外推理模态的三维 LiDAR 点云语义分割流程,通过将强度着色的二维视图用预训练模型分割后反投影并投票生成伪标签,并在无监督领域自适应中验证其有效性。
2025-05-06 cs.CV
Learning to Sense for Driving: Joint Optics-Sensor-Model Co-Design for Semantic Segmentation
University of Arkansas(阿肯色大学)
本文提出了一种联合光学-传感器-模型协同设计框架,通过端到端RAW到任务流水线提升语义分割性能,实现在边缘设备上的高效部署。
2025-12-25 cs.CV
A Sensor Agnostic Domain Generalization Framework for Leveraging Geospatial Foundation Models: Enhancing Semantic Segmentation viaSynergistic Pseudo-Labeling and Generative Learning
University of Houston(休斯敦大学);Purdue University(普渡大学)
本文提出一种传感器无关的域泛化框架,结合软对齐伪标签与源到目标生成式预训练,利用地理空间基础模型提升遥感语义分割的跨传感器适应性与性能。
2025-05-02 cs.CV
Sensor-invariant Fingerprint ROI Segmentation Using Recurrent Adversarial Learning
IIT Delhi(德里印度理工学院);USC(南加州大学);IIT Kanpur(坎普尔印度理工学院);Inria Sophia Antipolis(索菲亚·安蒂波利斯国家信息与自动化研究所)
设计了一种指纹感兴趣区域(roi)分割算法,将前景指纹与背景噪声分离。在文献中提出的所有基于学习的最先进的指纹感兴趣区域分割算法都是在训练和测试数据库都由从相同传感器获取的指纹图像组成的情况下进行基准测试的。然而,当在不同的传感器上进行测试时,所获得的分割性能通常是不令人满意的。因此,每次使用新的指纹传感器进行测试时,都需要使用从新传感器获取的指纹图像及其对应的手动标记的ROI来重新训练指纹ROI分割模型。手动标记指纹ROI是昂贵的,因为首先,它是耗时的,更重要的是,需要领域的专业知识。为了节省人力在生成注释所需的国家的最先进的,我们提出了一个指纹感兴趣区域分割模型,对齐的指纹图像的特征,从看不见的传感器,使它们类似于从指纹获得的地面真实感兴趣区域掩模可用于训练。具体来说,我们提出了一个基于递归对抗学习的特征对齐网络,帮助指纹ROI分割模型学习传感器不变特征。因此,所提出的感兴趣区域分割模型学习的传感器不变特征有助于它实现对从新传感器获取的指纹的改进的分割性能。公开可用的FVC数据库上的实验证明了所提出的工作的有效性。
2021-07-03 cs.AI cs.CV
Extrinsic Camera Calibration with Semantic Segmentation
Ulm University(乌尔姆大学)
单目摄像头传感器对于智能车辆操作和自动驾驶辅助至关重要,并且在交通控制基础设施中也得到了大量应用。然而,校准单目摄像机是耗时的,并且通常需要大量的人工干预。在这项工作中,我们提出了一个外部的摄像机标定方法,自动化的参数估计,利用图像和点云的语义分割信息。我们的方法依赖于相机姿态的粗略初始测量,并建立在安装在车辆上的激光雷达传感器上,具有高精度定位以捕获相机环境的点云。之后,通过执行语义分割的传感器数据的激光雷达到相机配准来获得相机坐标空间与世界坐标空间之间的映射。我们评估我们的方法模拟和真实世界的数据,以证明低误差测量的校准结果。我们的方法适用于基础设施传感器以及车辆传感器,同时它不需要相机平台的运动。
2022-08-08 cs.CV
Uplifting Range-View-based 3D Semantic Segmentation in Real-Time with Multi-Sensor Fusion
University of Toronto(多伦多大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对基于距离视图的3D点云分割存在的遮挡点分割鲁棒性差、RGB投影失真等问题,提出融合激光雷达与相机的LaCRange方法,通过失真补偿知识蒸馏、上下文特征融合和点精修方案,在实时性基础上于nuScenes基准取得最优结果。
2024-07-12 cs.CV
Instant Domain Augmentation for LiDAR Semantic Segmentation
POSTECH(浦项科技大学);Carnegie Mellon University(卡内基梅隆大学)
尽管LiDAR传感器越来越受欢迎,但使用3D LiDAR数据的感知算法仍在与“传感器偏差问题”作斗争。具体而言,感知算法的性能显着下降时,一个看不见的规格的激光雷达传感器应用在测试时,由于域的差异。本文提出了一种快速灵活的激光雷达增强方法的语义分割任务,称为“LiDomAug'。它聚合原始LiDAR扫描并创建任何配置的LiDAR扫描,同时考虑动态失真和遮挡,从而实现即时域增强。我们的按需增强模块以330 FPS运行,因此可以无缝集成到学习框架中的数据加载器中。在我们的实验中,基于学习的方法与所提出的LiDomAug辅助受传感器偏置问题的影响较小,并实现新的最先进的领域自适应性能SemanticKITTI和nuScenes数据集,而不使用目标域数据。我们还提出了一个传感器不可知模型,忠实地工作在各种激光雷达配置。
2023-03-25 cs.CV
Semantic Segmentation from Remote Sensor Data and the Exploitation of Latent Learning for Classification of Auxiliary Tasks
Presagis Inc(Presagis公司)
在本文中,我们解决了三个不同方面的语义分割从遥感数据使用深度神经网络。首先,我们专注于从遥感数据的建筑物的语义分割,并提出了ICT网络。建议的网络已被测试的INRIA和AIRS基准数据集,并显示出优于所有其他国家的最先进的超过1.5%和1.8%的Jaccard指数,分别。其次,由于建筑物分类通常是重建过程的第一步,我们研究了分类精度与重建精度的关系。最后,我们提出了简单但令人信服的潜在学习概念及其在深度学习背景下的含义。我们认为,在主要任务(即建筑物分类)上训练的网络无意中学习了辅助任务(例如道路,树木等的分类),这些任务是对主要任务的补充。我们在ISPRS基准数据集上广泛测试了所提出的技术,该数据集包含多标签地面实况,并报告了平均分类精度(F1分数)54.29%道路、汽车、树木、低矮植被和杂乱物分别为10.15%(SD=2.54)、24.11%(SD=5.25)、42.74%(SD=6.62)和18.30%(SD=16.08)。源代码和补充材料可在http://www.theICTlab.org/lp/2019ICT-Net/上公开获取。
2019-12-19 cs.CV
MetaBEV: Solving Sensor Failures for BEV Detection and Map Segmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Dalian University of Technology(大连理工大学);The University of Hong Kong(香港大学)
本文提出MetaBEV鲁棒感知框架,通过meta-BEV查询、BEV-Evolving解码器和M2oE结构处理传感器损坏、缺失及多任务冲突,在nuScenes检测与分割任务上显著提升性能。
2023-04-19 cs.CV
Deep Learning-Based Approaches for Contactless Fingerprints Segmentation and Extraction
University of Wisconsin–Green Bay(威斯康星大学格林湾分校);Clarkson University(克拉克森大学)
本文提出一种基于深度学习的非接触式指纹分割与提取工具,通过深度学习技术实现高精度定位与分割,在评估中达到30像素MAE、5.92度EAP及97.46%标记准确率,有效降低了对专用硬件的依赖。
2023-11-26 cs.CV
Modular Sensor Fusion for Semantic Segmentation
ETH Zurich(苏黎世联邦理工学院)
传感器融合是机器人系统中的一个基本过程,因为它扩展了感知范围并提高了现实世界操作的鲁棒性。当前基于多传感器深度学习的语义分割方法不为一种模态中表现不佳的类提供鲁棒性,或者需要能够访问完全对齐的多传感器训练数据的特定架构。在这项工作中,我们分析了统计融合方法的语义分割,克服这些缺点,同时保持竞争力的表现。所研究的方法是模块化的建设,允许有不同的训练集,每一个模态,只有一个小得多的子集是需要校准的统计模型。我们评估了一系列统计融合方法,并报告了它们在现实世界和模拟数据上的最新基线性能。在我们的实验中,该方法将IoU的性能提高了5%。我们公开所有的实现和配置。
2018-07-30 cs.CV cs.RO
A Near Sensor Edge Computing System for Point Cloud Semantic Segmentation
Worcester Polytechnic Institute(伍斯特理工学院)
点云语义分割因其对光照条件的鲁棒性而受到关注。这使其成为自动驾驶的理想语义解决方案。然而,考虑到神经网络的大计算负担和带宽需求,将所有的计算都放在车辆电子控制单元(ECU)中是不有效的和不切实际的。提出了一种基于范围视图的轻量化点云语义分割网络。由于其简单的预处理和标准卷积,它在DPU等深度学习加速器上运行时非常高效。此外,近传感器计算系统是建立自动驾驶汽车。在该系统中,基于FPGA的深度学习加速器核心(DPU)被放置在LiDAR传感器旁边,以执行点云预处理和分割神经网络。通过将后处理步骤留给ECU,该解决方案大大减轻了ECU的计算负担,从而缩短了决策和车辆反应延迟。我们的语义分割网络在Xilinx DPU上实现了每秒10帧(fps)的计算效率为42.5 GOP/W。
2022-07-12 cs.AR cs.CV
Phase-Interface Instance Segmentation as a Visual Sensor for Laboratory Process Monitoring
本文提出LGA-RCM-YOLO模型,通过结合局部-全局注意机制和矩形自校准模块,实现高精度的相界面实例分割,用于实验室过程监控。
2026-03-11 cs.CV
Modality-Incremental Learning with Disjoint Relevance Mapping Networks for Image-based Semantic Segmentation
RPTU – University of Kaiserslautern-Landau(凯撒斯劳滕-兰道理工大学);DFKI – German Research Center for Artificial Intelligence(德国人工智能研究中心)
针对自动驾驶中不同传感器模态导致的领域偏移加剧灾难性遗忘问题,提出模态增量学习概念,设计不相交关联映射网络(RMN)保留已学模态性能并增量学习新模态,实验验证其缓解遗忘的有效性。
2024-11-26 cs.CV
Lite-HDSeg: LiDAR Semantic Segmentation Using Lite Harmonic Dense Convolutions
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
自动驾驶车辆和机器人系统依赖于对其周围环境的准确感知。场景理解是感知模块的重要组成部分。在所有可用的传感器中,LiDAR是自动驾驶系统的基本传感方式之一,因为它们具有高分辨率的传感器读数的主动传感特性。为了充分利用LiDAR传感器进行场景理解,需要准确快速的语义分割方法。在本文中,我们提出了Lite-HDSeg,一种新的实时卷积神经网络的完整$3$ D激光雷达点云的语义分割。Lite-HDSeg在SemanticKitti基准测试中可以实现最佳的精度与计算复杂性的权衡,并且是基于一种新的编码器-解码器架构设计的,该架构以轻量级谐波密集卷积为核心。此外,我们引入ICM,一个改进的全球上下文模块,以捕捉多尺度的上下文特征,和MCSPN,一个多类空间传播网络,以进一步细化语义边界。实验结果表明,该方法优于最先进的语义分割方法,可以实时运行,因此适用于机器人和自动驾驶应用。
2021-03-16 cs.CV
OmniPlantSeg: Species Agnostic 3D Point Cloud Organ Segmentation for High-Resolution Plant Phenotyping Across Modalities
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所);University of Bamberg(巴明翰大学)
本文提出KDSS算法,实现物种与传感器无关的植物点云子采样,避免下采样,保留全分辨率,结合现有分割模型在多种模态上取得满意结果。
2025-09-25 cs.CV
Instance Segmentation with Cross-Modal Consistency
Waymo LLC(Waymo有限责任公司);Adobe Research(Adobe研究院);Google Research(谷歌研究院)
分割对象实例是机器感知的关键任务,在机器人和自动驾驶中具有安全关键型应用。我们介绍了一种新的方法来实例分割,联合利用多个传感器模态,如相机和激光雷达的测量。我们的方法学习预测每个像素或点的嵌入,从而产生场景的密集分割。具体来说,我们的技术适用于对比学习在场景中的点跨传感器模态和时域。我们证明,这种提法鼓励模型学习嵌入的观点是不变的变化和一致的传感器模态。我们进一步证明了嵌入是稳定的,随着时间的推移,物体在场景中移动。这不仅提供了稳定的实例掩码,还可以为下游任务(如对象跟踪)提供有价值的信号。我们在Cityscapes和KITTI-360数据集上评估了我们的方法。我们进一步进行了一些消融研究,证明了在对比损失中应用额外输入时的益处。
2022-10-14 cs.CV
LU-Net: An Efficient Network for 3D LiDAR Point Cloud Semantic Segmentation Based on End-to-End-Learned 3D Features and U-Net
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立理工学院);Univ. Paris-Est(巴黎东大学);IGN(法国国家地理研究院);ENSG(法国国立地理科学学院);GEOSAT(GEOSAT公司)
我们提出了LU-Net - for LiDAR U-Net,这是一种用于三维LiDAR点云语义分割的新方法。而不是应用一些全局3D分割方法,如PointNet,我们提出了一个端到端的架构,激光雷达点云语义分割,有效地解决了这个问题作为一个图像处理问题。我们首先提取每个点的高级3D特征,给定其3D邻居。然后,这些功能被投影到一个二维多通道距离图像,通过考虑传感器的拓扑结构。由于这些学习到的特征和这种投影,我们最终可以使用一个简单的U-Net分割网络来执行分割,它表现得非常好,同时非常高效。通过这种方式,我们可以利用数据的3D特性和LiDAR传感器的特异性。正如我们的实验所示,这种方法在KITTI数据集上的表现远远优于最先进的方法。此外,这种方法在单个GPU上以24 fps运行。这高于普通LiDAR传感器的采集速率,使其适用于实时应用。
2019-08-30 cs.CV
Person Segmentation and Action Classification for Multi-Channel Hemisphere Field of View LiDAR Sensors
University of Bonn(波恩大学)
本文提出一种基于MaskDINO的方法,在半球视场LiDAR传感器3D扫描数据上进行人员分割与动作分类,并公开了相关数据集和模型。
2024-11-17 cs.CV cs.RO
Addressing Data Misalignment in Image-LiDAR Fusion on Point Cloud Segmentation
针对相机与LiDAR融合中点云投影错位导致分割困难的问题,本文基于nuScenes和2DPASS分析原因并提出改进方案。
2023-09-26 cs.CV
Sensor Fusion for Joint 3D Object Detection and Semantic Segmentation
Uber Advanced Technologies Group(优步先进技术集团)
在本文中,我们对LaserNet进行了扩展,LaserNet是一种高效且最先进的基于LiDAR的3D物体检测器。我们提出了一种用于融合图像数据与激光雷达数据的方法,并表明这种传感器融合方法提高了模型的检测性能,特别是在长距离上。图像数据的添加是直接的,并且不需要图像标签。此外,我们扩展了该模型的能力,除了3D目标检测执行3D语义分割。在一个大型的基准数据集上,我们证明了我们的方法在目标检测和语义分割上都达到了最先进的性能,同时保持了较低的运行时间。
2019-04-25 cs.CV cs.LG cs.RO
Analyzing General-Purpose Deep-Learning Detection and Segmentation Models with Images from a Lidar as a Camera Sensor
University of Turku(图尔库大学)
在过去的十年中,机器人感知算法从深度学习(DL)的快速发展中受益匪浅。事实上,不同商业和研究平台的大量自主堆栈依赖于DL进行态势感知,特别是视觉传感器。这项工作探讨了通用DL感知算法的潜力,特别是检测和分割神经网络,用于处理高级激光雷达传感器的图像输出。据我们所知,这不是处理三维点云数据,而是第一次专注于低分辨率图像,具有360 \textdegree视场,通过对图像像素中的深度、反射率或近红外光进行编码来获得激光雷达传感器。我们表明,通过适当的预处理,通用DL模型可以处理这些图像,为在视觉传感器存在固有限制的环境条件下使用它们打开了大门。我们提供了一个定性和定量分析的各种神经网络架构的性能。我们相信,与基于点云的感知相比,使用为视觉相机构建的DL模型具有显著的优势,因为它具有更广泛的可用性和成熟度。
2022-03-08 cs.CV cs.RO
Robust Semantic Segmentation in Adverse Weather Conditions by means of Sensor Data Fusion
Ulm University(乌尔姆大学)
在恶劣天气条件下进行稳健可靠的语义分割对于自动驾驶汽车非常重要,但大多数最先进的方法只能在最佳天气条件下实现高准确率。原因是它们只针对良好的天气条件和给定的噪声模型进行了优化。然而,当数据中存在未知干扰时,大多数算法失效,性能大大下降。仍然获得可靠结果的一种可能性是使用不同的传感器类型(例如相机和激光雷达)来观察环境,并且借助于神经网络来融合传感器数据,因为不同的传感器在不同的天气条件下表现不同。因此,传感器可以通过适当的传感器数据融合来相互补充。然而,基于融合的方法仍然容易受到干扰,不能正确分类受干扰的图像区域。这个问题可以通过一种特殊的训练方法来解决,即所谓的鲁棒学习方法(RLM),一种神经网络学习处理未知噪声的方法。在这项工作中,两种不同的传感器融合架构的语义分割进行了比较和评估的几个数据集。此外,它表明,RLM极大地提高了在恶劣天气条件下的鲁棒性,并取得了良好的效果,虽然没有干扰模型已学习的神经网络。
2019-05-24 cs.CV cs.LG cs.RO
Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic Segmentation
Friedrich-Alexander University (FAU) Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Technische Hochschule Ingolstadt(因戈尔施塔特应用技术大学);Research Institute AImotion Bavaria(巴伐利亚AImotion研究所)
自动驾驶汽车的强大环境感知是一个巨大的挑战,这使得相机,激光雷达和雷达等多样化的传感器集至关重要。在理解记录的传感器数据的过程中,三维语义分割起着重要的作用。因此,本工作提出了一种用于激光雷达和摄像机的基于XML的深度融合架构,以改善交通场景的3D语义分割。单个传感器主干提取相机图像和激光雷达点云的特征图。一种新的金字塔融合骨干融合这些特征图在不同的尺度,并结合多模态特征的特征金字塔计算有价值的多模态,多尺度的功能。Pyramid Fusion Head聚合这些金字塔特征,并在后期融合步骤中进一步细化,融合传感器主干的最终特征。在两个具有挑战性的室外数据集上对该方法进行了评估,并研究了不同的融合策略和设置。它优于最近的距离视图为基础的激光雷达方法,以及所有迄今提出的融合策略和架构。
2022-05-26 cs.AI cs.CV cs.RO
Prior-based Hierarchical Segmentation Highlighting Structures of Interest
MINES ParisTech(巴黎矿业学院);PSL Research University(巴黎文理研究大学)
图像分割是将图像按照一定的准则划分为一组有意义的区域的过程。分层分割已经成为这方面的一个主要趋势,因为它有利于在不同尺度上出现重要区域。另一方面,许多方法允许我们具有关于图像中感兴趣结构的位置的先验信息。在本文中,我们提出了一个通用的分层分割方法,考虑到任何先验的空间信息,并输出一个分层分割,强调轮廓或感兴趣的区域,同时保留图像中的重要结构。几个应用程序,说明了方法的通用性和效率。
2017-03-09 cs.CV
Road Scene Understanding by Occupancy Grid Learning from Sparse Radar Clusters using Semantic Segmentation
General Motors, Advanced Technical Center(通用汽车先进技术中心)
占用网格映射是自动驾驶道路场景理解的重要组成部分。它封装了可驾驶区域、道路障碍物的信息,并实现安全的自动驾驶。雷达是自动驾驶车辆视觉中的新兴传感器,由于其长距离传感,低成本和对恶劣天气条件的鲁棒性而得到越来越广泛的应用。尽管深度学习技术取得了最新进展,但雷达数据的占用网格映射仍然主要使用经典滤波方法完成。在这项工作中,我们提出了从聚类雷达数据中学习用于占用网格映射的逆传感器模型。这是在利用计算机视觉技术的数据驱动方法中完成的。由于雷达传感器的数据稀疏性和噪声特性,这项任务非常具有挑战性。这个问题被制定为一个语义分割任务,我们展示了如何使用激光雷达数据生成地面实况。我们定性和定量地表明,我们学习的占用网络使用最近发布的NuScenes真实世界的驾驶数据,大大优于经典方法。
2019-09-02 cs.CV
Minimizing Occlusion Effect on Multi-View Camera Perception in BEV with Multi-Sensor Fusion
University of Limerick(利默里克大学);Valeo Kronach(法雷奥克罗纳赫公司);Valeo Vision Systems(法雷奥视觉系统公司)
针对污垢、雨雾等相机遮挡损害 BEV 感知的问题,本文将 nuScenes 多视角遮挡影响投影到 BEV 进行分析,并用 LiDAR 与雷达融合提升车辆分割的精度和鲁棒性。
2025-01-10 cs.CV
Automated Evaluation of Semantic Segmentation Robustness for Autonomous Driving
Australian Centre for Field Robotics(澳大利亚现场机器人中心);University of Sydney(悉尼大学)
自动驾驶汽车感知系统设计的基本挑战之一是在各种操作条件下验证每个算法的性能。在基于视觉的语义分割的情况下,当遇到与训练数据充分不同的新场景时,存在已知的问题。此外,即使环境条件(如光照和降水)的微小变化也会影响分割模型的分类性能。鉴于对视觉信息的依赖,这些影响通常会转化为语义像素分类不佳,这可能会在自动驾驶时导致灾难性后果。本文提出了一种新的方法来分析语义分割模型的鲁棒性,并提供了一些指标来评估在各种环境条件下的分类性能。该过程采用了一个额外的传感器(激光雷达)来自动化该过程,从而消除了对劳动密集型人工标记验证数据的需求。当视觉传感器的性能针对不同的传感器模态进行验证时,可以监控系统完整性。这对于检测视觉技术固有的故障是必要的。实验结果的基础上收集的多个数据集,在不同的环境条件下,在一年中的不同时间。这些结果表明,语义分割的性能取决于天气,相机参数,阴影的存在,等等。结果还展示了如何使用度量来比较和验证模型改进后的性能,以及比较不同网络的性能。
2018-10-24 cs.CV
Fast-SEnSeI: Lightweight Sensor-Independent Cloud Masking for On-board Multispectral Sensors
Fast-SEnSeI提出轻量级传感器无关编码器,结合改进光谱描述符与量化U-Net,在CPU-FPGA混合流水线上实现星载多光谱云分割,并在Sentinel-2和Landsat 8上验证准确性。
2025-09-25 cs.AI cs.CV cs.LG
HeLiMOS: A Dataset for Moving Object Segmentation in 3D Point Clouds From Heterogeneous LiDAR Sensors
School of Electrical Engineering, KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院电气工程学院);Center for Robotics, University of Bonn(波恩大学机器人中心);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对现有MOS研究多聚焦机械旋转LiDAR、缺少固态LiDAR点云MOS标注数据集的问题,本文提出含四类异构LiDAR数据的HeLiMOS数据集,搭配自动标注方法降低标注成本,并验证了现有方法性能,指明传感器无关MOS研究新方向。
2024-08-12 cs.CV cs.RO
FusionLane: Multi-Sensor Fusion for Lane Marking Semantic Segmentation Using Deep Neural Networks
Hefei Institutes of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院);University of Science and Technology of China(中国科学技术大学);Lappeenranta University of Technology (LUT)(拉彭兰塔工业大学)
在车道级高精度地图的构建过程中,实现车道线的有效语义分割是关键的一步。近年来,提出了许多图像语义分割方法。这些方法主要集中在摄像头获取的图像上,由于传感器本身的限制,无法获得车道标线的精确三维空间位置,无法满足车道级高精度地图构建的需求。提出了一种基于LIDAR和摄像机融合深度神经网络的车道标线语义分割方法。与其他方法不同的是,为了获得分割结果的准确位置信息,本文的语义分割对象是从LIDAR点云转换而来的鸟瞰图,而不是摄像机拍摄的图像。该方法首先利用deeplabv 3 + [ \ref{ref:1} ]网络对摄像机采集的图像进行分割,并将分割结果与激光雷达采集的点云数据进行融合,作为网络的输入。在这个神经网络中,我们还添加了一个长短期记忆(LSTM)结构,以帮助网络通过使用时间序列信息进行车道标记的语义分割。在人工标注和扩展的14,000多幅图像数据集上的实验表明,该方法对点云鸟瞰图的语义分割具有较好的效果。因此,可以显著提高高精度地图构建的自动化程度。我们的代码可在https://github.com/rolandying/FusionLane上获得。
2020-03-09 cs.AI cs.CV
Deep Learning for Semantic Segmentation of 3D Ultrasound Data
Cranfield University(克兰菲尔德大学);Calyo Limited(Calyo有限公司)
本文提出了一种基于3D超声传感器的深度学习框架,用于实现3D语义分割,展示了其在恶劣环境下的稳健性能及潜在改进方向。
2026-01-19 cs.CV
Guided Model-based LiDAR Super-Resolution for Resource-Efficient Automotive scene Segmentation
Industrial Systems Institute, Athena Research Center, Patras Science Park, Greece(工业系统研究所,亚特兰蒂斯研究中心,帕特拉科学公园,希腊);AviSense.AI, Patras Science Park, Greece(AviSense.AI,帕特拉科学公园,希腊)
针对自动驾驶中高分辨率LiDAR成本高、低成本低分辨率LiDAR分割精度低的问题,提出首个联合LiDAR超分辨率与语义分割的端到端轻量级框架,通过联合优化、新型损失函数实现与64通道高成本LiDAR相当的分割效果。
2025-09-01 cs.CV
3D Hierarchical Panoptic Segmentation in Real Orchard Environments Across Different Sensors
Center for Robotics, University of Bonn(波恩大学机器人中心);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(Lamarr机器学习与人工智能研究所)
本文提出了一种基于不同传感器3D数据的苹果园分层全景分割新方法,可同时进行语义和实例分割以估计产量,并提供了专用公开数据集,实验证明其超越了现有农业3D全景分割技术。
2025-06-26 cs.CV cs.RO
Onboard-Targeted Segmentation of Straylight in Space Camera Sensors
Department of Space Systems Engineering, Faculty of Aerospace Engineering(航天系统工程系,航空航天工程学院);Airbus Defence and Space GmbH(Airbus防务与空间有限公司)
本研究提出了一种基于 AI 的方法,用于在航天器资源受限硬件上实现空间相机中 straylight 的语义分割,并通过自定义指标评估其系统性能。
2026-02-24 cs.AI cs.CV
Patchwork: Concentric Zone-based Region-wise Ground Segmentation with Ground Likelihood Estimation Using a 3D LiDAR Sensor
KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院)
地面分割对于地面移动平台进行导航或邻近目标识别至关重要。不幸的是,地面并不平坦,因为它具有陡峭的斜坡;颠簸的道路;或物体,如路边石,花坛等。为了解决这个问题,本文提出了一种新的地面分割方法称为\textit{Patchwork},这是强大的解决欠分割问题,并在40 Hz以上。在本文中,一个点云被编码成同心区域模型为基础的表示,以分配一个适当的云点之间的密度箱的方式,是不计算复杂。然后进行区域接地平面拟合,以估计每个箱的部分接地。最后,地面似然估计的引入,以显着减少误报。在SemanticKITTI和粗糙地形数据集上进行了实验验证,与现有的基于平面拟合的方法相比,我们所提出的方法具有更快的速度。代码可用:www.example.com
2022-03-10 cs.CV cs.RO
Motion Segmentation for Neuromorphic Aerial Surveillance
International Center for Neuromorphic Systems, Western Sydney University(国际神经形态系统中心,西悉尼大学)
本文提出一种基于自监督视觉Transformer的事件相机运动分割方法,融合事件数据与光流信息,无需人工标注和场景特定参数调节,在航空监控场景中实现了最先进的运动分割性能。
2024-10-21 cs.CV
SemanticBridge - A Dataset for 3D Semantic Segmentation of Bridges and Domain Gap Analysis
Fraunhofer Institute for Physical Measurement Techniques IPM(弗劳恩霍夫物理测量技术研究所);University of Freiburg, Department of Sustainable Systems Engineering INATECH(弗赖堡大学可持续系统工程系);University of Cambridge, Department of Engineering(剑桥大学工程系);Digital and Intelligent Engineering Research Institute, Sichuan Highway Planning, Survey, Design and Research Institute Ltd(四川省数字智能工程研究 institute)
SemanticBridge数据集旨在通过3D语义分割提升桥梁结构健康监测,并分析传感器变化导致的领域差距影响。
2025-12-18 cs.CV