4D Panoptic Segmentation as Invariant and Equivariant Field Prediction
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Qualcomm AI Research（高通人工智能研究院）
本文提出用于4D全景分割的旋转等变神经网络，将实例聚类重新表述为不变标量场和等变矢量场预测，在SemanticKITTI排行榜上取得第1名。
2023-09-12 cs.CV
PanoNet: Real-time Panoptic Segmentation through Position-Sensitive Feature Embedding
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
我们提出了一个简单，快速，灵活的框架，同时产生语义和实例掩码的全景分割。我们的方法称为PanoNet，采用了一种干净自然的结构设计，纯粹作为分割任务来解决问题，而无需耗时的检测过程。我们还介绍了位置敏感的嵌入，例如分组占对象的外观和空间位置。总的来说，PanoNet可以实时的【形】生成高分辨率Cityscapes图像的高全景质量结果，明显快于具有可比性能的所有其他方法。我们的方法很好地满足了自动驾驶和增强现实等许多应用的实际速度和内存要求。
2020-08-01 cs.CV
Towards Panoptic 3D Parsing for Single Image in the Wild
UC San Diego（加州大学圣地亚哥分校）；Intel Labs（英特尔实验室）
对单幅图像进行整体理解和三维重建是计算机视觉的核心任务。本文提出了一个集成的系统，执行密集的场景标记，目标检测，实例分割，深度估计，三维形状重建，和三维布局估计室内和室外场景从一个单一的RGB图像。我们将我们的系统命名为全景3D解析（Panoptic 3D），其中执行具有3D重建的全景分割（“填充物”分割和“事物”检测/分割）。我们设计了一个分阶段的系统，Panoptic 3D（分阶段），其中没有一套完整的注释。此外，我们还提供了一个端到端的管道Panoptic 3D（端到端），该管道在具有全套注释的合成数据集上进行训练。我们展示了室内（3D-FRONT）和室外（COCO和Cityscapes）场景的结果。我们提出的全景3D解析框架在计算机视觉中指出了一个有前途的方向。Panoptic 3D可以应用于各种应用，包括自动驾驶、地图绘制、机器人、设计、计算机图形、机器人、人机交互和增强现实。
2021-11-29 cs.CV
LiDAR-based 4D Panoptic Segmentation via Dynamic Shifting Network
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Chinese University of Hong Kong（香港中文大学）
随着自动驾驶的快速发展，为其传感系统配备更全面的3D感知变得至关重要。然而，现有的工作集中于从LiDAR传感器解析对象（例如，汽车和行人）或场景（例如，树木和建筑物）。在这项工作中，我们解决了基于激光雷达的全景分割的任务，其目的是以统一的方式解析对象和场景。作为对这一新的挑战性任务的第一次努力之一，我们提出了动态移位网络（DS-Net），它作为一个有效的全景分割框架中的点云领域。DS-Net具有三个吸引人的特性：1）强骨干设计。DS-Net采用专为LiDAR点云设计的柱面卷积。2)复杂点分布的动态移位。我们观察到，常用的聚类算法无法处理复杂的自动驾驶场景与非均匀的点云分布和不同的实例大小。因此，我们提出了一个有效的可学习的聚类模块，动态移位，它适应不同的情况下飞行的内核函数。3)扩展到4D预测。此外，我们扩展DS-Net的四维全景激光雷达分割对齐的激光雷达帧上的时间统一的实例聚类。为了全面评估基于LiDAR的全景分割的性能，我们从两个大规模自动驾驶LiDAR数据集SemanticKITTI和nuScenes构建和策划基准。大量的实验表明，我们提出的DS-Net在这两项任务中实现了优于当前最先进方法的精度。值得注意的是，在任务的单帧版本中，我们在PQ度量方面优于SOTA方法1.8%。在4D版本的任务中，我们在LSTQ指标方面超过第二名5.4%。
2022-03-14 cs.CV
CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Toronto（多伦多大学）
快速准确的激光雷达点云全景分割系统对于自动驾驶车辆理解周围物体和场景至关重要。现有的方法通常依赖于建议或聚类来分割前景实例。因此，它们很难实现实时性能。在本文中，我们提出了一种新的实时端到端的激光雷达点云全景分割网络，称为CPSeg。特别地，CPSeg包括共享编码器、双解码器和无簇实例分割头，其能够根据学习的嵌入来动态地柱化前景点。然后，它通过使用成对嵌入比较找到连接的柱子来获取实例标签。因此，传统的基于建议或基于聚类的实例分割转化为成对嵌入比较矩阵上的二进制分割问题。为了帮助网络回归实例的嵌入，提出了一种快速确定性的深度补全算法，实时计算每个点云的表面法线。该方法在两个大规模自动驾驶数据集SemanticKITTI和nuScenes上进行了基准测试。值得注意的是，大量的实验结果表明，CPSeg在两个数据集上的实时方法中取得了最先进的结果。
2023-02-03 cs.CV
LiDAR-based Panoptic Segmentation via Dynamic Shifting Network
Nanyang Technological University（南洋理工大学）；Chinese University of Hong Kong（香港中文大学）
随着自动驾驶的快速发展，为其传感系统配备更全面的3D感知变得至关重要。然而，现有的工作集中于从LiDAR传感器解析对象（例如，汽车和行人）或场景（例如，树木和建筑物）。在这项工作中，我们解决了基于激光雷达的全景分割的任务，其目的是以统一的方式解析对象和场景。作为对这一新的挑战性任务的第一次努力之一，我们提出了动态移位网络（DS-Net），它作为一个有效的全景分割框架中的点云领域。DS-Net具有三个吸引人的特性：1）强骨干设计。DS-Net采用专为LiDAR点云设计的柱面卷积。所提取的特征由语义分支和实例分支共享，该分支以自底向上的聚类方式操作。2)复杂点分布的动态移位。我们观察到，常用的聚类算法，如BFS或DBSCAN，无法处理复杂的自动驾驶场景，不均匀的点云分布和不同的实例大小。因此，我们提出了一个有效的可学习的聚类模块，动态移位，它适应核函数的飞行不同的情况。3)融合驱动。最后，共识驱动的融合是用来处理语义和实例预测之间的分歧。为了全面评估基于LiDAR的全景分割的性能，我们从两个大规模自动驾驶LiDAR数据集SemanticKITTI和nuScenes构建和策划基准。大量的实验表明，我们提出的DS-Net实现了优越的精度比目前最先进的方法。值得注意的是，我们在SemanticKITTI的公共排行榜上排名第一，在PQ指标方面超过第二名2.6%。
2020-12-01 cs.CV
Improving Panoptic Segmentation at All Scales
Facebook（脸书）
基于裁剪的训练策略将训练分辨率与GPU内存消耗分离，允许在多百万像素图像上使用大容量全景分割网络。但是，使用裁剪可能会导致偏向于截断或丢失大型对象。为了解决这个问题，我们提出了一种新的作物感知的限界框回归损失（CABB损失），它促进预测与裁剪对象的可见部分一致，而不是过度惩罚它们扩展到作物之外。我们进一步引入了一种新的数据采样和增强策略，通过抵消对象大小的不平衡分布来提高跨尺度的泛化能力。将这两个贡献与精心设计的自上而下的全景分割架构相结合，我们在具有挑战性的Mapillary Vistas（MVD），Indian Driving和Cityscapes数据集上获得了新的最先进的结果，超过了MVD的+4.5%PQ和+5.2%mAP。
2021-03-23 cs.CV
PanDepth: Joint Panoptic Segmentation and Depth Completion
Tampere University（坦佩雷大学）
本文提出一种多任务模型PanDepth，联合处理全景分割与深度补全，利用RGB图像和稀疏深度图，在保持低计算成本和高精度的同时，完成多种分割任务，并在Virtual KITTI 2上验证。
2024-03-06 cs.CV
Panoptic SwiftNet: Pyramidal Fusion for Real-time Panoptic Segmentation
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算机科学学院）；Microblink Ltd.（Microblink公司）
本文提出 Panoptic SwiftNet，通过尺度等变特征提取、金字塔融合和边界感知学习，在遥感等场景中实现实时全景分割，并在 BSB-Aerial 上超越现有方法。
2023-04-18 cs.CV
2nd Place Solution for PVUW Challenge 2024: Video Panoptic Segmentation
ZTE（中兴通讯）
本文提出了一种用于野外视频全景分割的鲁棒集成解决方案，基于DVIS++框架生成初始掩码并引入额外图像语义分割模型，在PVUW Challenge 2024中获得第二名。
2024-06-01 cs.CV
SMAC-Seg: LiDAR Panoptic Segmentation via Sparse Multi-directional Attention Clustering
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
全景分割旨在在统一的框架中同时解决语义和实例分割。然而，在自动驾驶等应用中的全景分割的有效解决方案仍然是一个开放的研究问题。在这项工作中，我们提出了一种新的基于激光雷达的全景系统，称为SMAC-Seg。我们提出了一个可学习的稀疏多方向注意聚类分割多尺度前景实例。SMAC-Seg是一种基于实时聚类的方法，它消除了复杂的建议网络来分割实例。大多数现有的基于聚类的方法使用预测和地面实况中心偏移的差异作为唯一的损失来监督实例质心回归。然而，该损失函数仅考虑当前对象的质心，但在学习聚类时不考虑其相对于相邻对象的相对位置。因此，我们建议使用一种新的质心感知排斥损失作为附加项，以有效地监督网络将每个对象聚类与其邻居区分开来。我们的实验结果表明，SMAC-Seg在大规模公共SemanticKITTI和nuScenes全景分割数据集上的所有实时可部署网络中均达到了最先进的性能。
2021-08-31 cs.CV
Panoptic Segmentation: A Review
Qatar University（卡塔尔大学）
用于视频分析的图像分割在智慧城市、医疗保健、计算机视觉和地球科学以及遥感应用等不同研究领域中起着至关重要的作用。在这方面，一个显着的努力，最近一直致力于开发新的分割策略，最新的杰出成就之一是全景分割。后者是语义分割和实例分割融合的结果。可以解释的是，目前正在研究全景分割，以帮助获得视频监控、人群计数、自动驾驶、医学图像分析等图像场景的更细致入微的知识，并更深入地了解一般场景。为此，我们在本文中提出的第一个全面审查现有的全景分割方法，以最好的作者的知识。因此，基于所采用的算法、应用场景和主要目标的性质来执行现有全景技术的明确定义的分类。此外，使用全景分割注释新的数据集的伪标记进行了讨论。接下来，进行消融研究以从不同角度理解全景方法。此外，评价指标适合于全景分割进行了讨论，并提供了现有的解决方案的性能比较，以告知国家的最先进的，并确定其局限性和优势。最后，阐述了主题技术面临的当前挑战和在不久的将来吸引相当大的兴趣的未来趋势，这可以是即将到来的研究的起点。随代码提供的论文可在以下网址获得：https://github.com/elharroussomar/Awesome-Panoptic-Segmentation
2021-11-19 cs.CV
1st Place Winner of the 2024 Pixel-level Video Understanding in the Wild (CVPR'24 PVUW) Challenge in Video Panoptic Segmentation and Best Long Video Consistency of Video Semantic Segmentation
Device Solutions Research America, Samsung Semiconductor, Inc.（三星半导体公司美国设备解决方案研究中心）
本文提出基于DINOv2 ViT-g和DVIS框架的视频理解方案，在PVUW'24挑战赛中获VPS第一名、VSS第三名及VC16第一名。
2024-06-08 cs.CV
Robust Vision Challenge 2020 -- 1st Place Report for Panoptic Segmentation
University of Freiburg（弗赖堡大学）
在本技术报告中，我们介绍了我们获奖的全景分割架构EffPS_b1bs4_RVC的关键细节。我们的网络是我们最先进的EfficientPS架构的轻量级版本，它由我们提出的共享骨干网组成，以修改后的EfficientNet-B5模型作为编码器，然后是双向FPN，以学习语义丰富的多尺度特征。它由两个特定于任务的头组成，一个是修改后的Mask R-CNN实例头，另一个是我们的新型语义分割头，它使用专门的模块处理不同尺度的特征，以进行连贯的特征细化。最后，我们提出的全景融合模块自适应地融合来自每个头部的logits，以产生全景分割输出。Robust Vision Challenge 2020基准测试结果显示，我们的模型在Microsoft COCO，VIPER和WildDash上排名第一，在Cityscapes和Mapillary Vistas上排名第二，从而实现了全景分割任务的整体排名第一。
2020-08-23 cs.CV cs.LG cs.RO
1st Place Solution for PVUW Challenge 2023: Video Panoptic Segmentation
Wuhan University（武汉大学）；Y-tech, Kuaishou Technology（快手技术Y-tech）
本文提出 PVUW Challenge 2023 视频全景分割赛道的第一名方案，基于 DVIS 解耦策略充分利用 thing 与 stuff 的时间信息，在开发和测试阶段分别取得 51.4 与 53.7 的 VPQ。
2023-06-08 cs.CV
Panoptic nuScenes: A Large-Scale Benchmark for LiDAR Panoptic Segmentation and Tracking
Motional（Motional 公司）；University of Freiburg（弗赖堡大学）
全景场景理解和动态代理的跟踪对于机器人和自动车辆在城市环境中导航是必不可少的。由于LiDAR提供了场景的精确的照明无关几何投影，因此使用LiDAR点云执行这些任务可以提供可靠的预测。然而，现有的数据集缺乏多样性的类型的城市场景，并有数量有限的动态对象的实例，这既阻碍了学习这些任务，以及可靠的基准的开发方法。在本文中，我们介绍了大规模Panoptic nuScenes基准数据集，该数据集扩展了我们流行的nuScenes数据集，具有用于语义分割，全景分割和全景跟踪任务的逐点地面实况注释。为了便于比较，我们为我们建议的数据集上的每个任务提供了几个强大的基线。此外，我们分析了现有的泛光跟踪指标的缺点，并提出了新的实例为中心的PAT指标，解决的问题。我们提出了详尽的实验，证明泛nuScenes的效用相比，现有的数据集，并使在线评估服务器nuScenes.org。我们相信，这种扩展将加速研究的新方法动态城市环境的场景理解。
2021-12-23 cs.AI cs.CV cs.LG
SemRaFiner: Panoptic Segmentation in Sparse and Noisy Radar Point Clouds
CARIAD SE；University of Bonn（波恩大学）；Technical University of Munich（慕尼黑工业大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对稀疏含噪雷达点云，提出SemRaFiner方法，通过密度自适应特征提取与优化训练流程（含数据增强）提升全景分割精度，实验优于现有最先进方法。
2025-07-09 cs.CV
A Versatile Multi-View Framework for LiDAR-based 3D Object Detection with Guidance from Panoptic Segmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
使用LiDAR数据的3D目标检测是自动驾驶系统不可或缺的组成部分。然而，只有少数基于LiDAR的3D目标检测方法利用分割信息来进一步指导检测过程。在本文中，我们提出了一种新的多任务框架，共同执行三维目标检测和全景分割。在我们的方法中，3D目标检测骨干在鸟瞰图（BEV）平面增加的距离视图（RV）的特征图从3D全景分割骨干的注入。这使得检测骨干能够利用多视图信息来解决每个投影视图的缺点。此外，前景语义信息被纳入，以减轻检测任务，突出显示的位置，每个对象类的特征图。最后，基于实例级信息生成的新中心密度热图通过建议对象的可能框中心位置来进一步指导检测骨干。我们的方法适用于任何基于BEV的3D目标检测方法，并且如在nuScenes数据集上的大量实验所示，它提供了显着的性能增益。值得注意的是，基于单级CenterPoint 3D目标检测网络的所提出的方法在nuScenes 3D检测基准测试中达到了最先进的性能，具有67.3 NDS。
2022-03-04 cs.CV
Self-trained Panoptic Segmentation
University of Heidelberg（海德堡大学）；European Molecular Biology Laboratory（欧洲分子生物学实验室）
本文提出一种基于嵌入的自监督全景分割框架，利用自训练在合成到真实的域适应中生成伪标签，以降低对密集标注数据的依赖，并克服现有基于提议的Transformer方法计算复杂的问题。
2023-11-17 cs.CV cs.LG
ACDC: The Adverse Conditions Dataset with Correspondences for Robust Semantic Driving Scene Perception
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；Toyota Motor Europe（丰田欧洲公司）；INSAIT；Sofia University St. Kliment Ohridski（索菲亚大学圣克莱门特·奥赫里迪斯）
针对现有驾驶数据集多为正常条件或规模小的问题，提出ACDC数据集（含8012张图像，4种恶劣条件各4006张），提供对应标注，支持多种语义感知任务，实证其能挑战现有方法并推动鲁棒感知研究。
2025-11-12 cs.CV
Prior2Former -- Evidential Modeling of Mask Transformers for Assumption-Free Open-World Panoptic Segmentation
Technical University of Munich（慕尼黑技术大学）；BMW Group（宝马集团）；Visualais；Google（谷歌）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对全景分割中预定义类别限制导致对未见类别和分布外数据可靠性不足的问题，提出基于信念学习的掩码Transformer方法P2F，通过Beta先验计算不确定性，无需OOD样本或对比训练，实现最先进的异常实例与开放世界全景分割。
2025-08-05 cs.CV
3D Open-Vocabulary Panoptic Segmentation with 2D-3D Vision-Language Distillation
Johns Hopkins University（约翰斯·霍普金斯大学）；Waymo（Waymo公司）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
针对3D全景分割难以识别未知类别的问题，提出融合可学习LiDAR特征与冻结CLIP特征并进行对象级、体素级蒸馏的开放词汇方法，在nuScenes和SemanticKITTI上显著超过强基线。
2024-04-03 cs.CV
4DSegStreamer: Streaming 4D Panoptic Segmentation via Dual Threads
IIIS, Tsinghua University（清华大学人工智能学院）；Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai AI Lab（上海人工智能实验室）
本文提出4DSegStreamer双线程流式4D全景分割框架，通过预测与推理线程补偿运动并预测动态，在HOI4D、SemanticKITTI和nuScenes上验证了实时性与鲁棒性。
2025-10-20 cs.CV
Uncertainty-aware LiDAR Panoptic Segmentation
University of Freiburg（弗莱堡大学）；Technical University Nürnberg（纽伦堡工业大学）
现代自动驾驶系统通常依赖于LiDAR扫描仪，特别是在自动驾驶场景中。在这种情况下，可靠的场景理解是必不可少的。当前基于学习的方法通常试图实现此任务的最大性能，而忽略了对相关不确定性的适当估计。在这项工作中，我们介绍了一种新的方法来解决任务的不确定性意识的全景分割使用激光雷达点云。我们提出的EvLPSNet网络是第一个以无采样方式有效解决这一任务的网络。它的目的是预测每点的语义和实例分割，连同每点的不确定性估计。此外，它还结合了通过采用预测的不确定性来提高性能的方法。我们提供了几个强大的基线结合国家的最先进的全景分割网络与采样免费的不确定性估计技术。广泛的评估表明，我们实现了最好的性能不确定性感知的全景分割的质量和校准相比，这些基线。我们的代码可在https://github.com/kshitij3112/EvLPSNet上获得
2022-10-10 cs.CV cs.RO
InstanceBEV: Unifying Instance and BEV Representation for 3D Panoptic Segmentation
本文提出InstanceBEV，通过在BEV特征中提取实例级特征并在压缩空间中实现全局注意力建模，结合占用预测实现三维全景分割，在OCC3D-nuScenes上以8帧取得优于SparseOcc的性能。
2025-09-23 cs.CV
Open-World Panoptic Segmentation
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文提出Con2MAV方法解决开放世界全景分割，在测试时发现新类别和实例，并保持一致性，在多个数据集上取得最先进结果，同时提出PANIC基准用于自动驾驶场景评估。
2026-10-06 cs.CV cs.RO
EfficientPS: Efficient Panoptic Segmentation
University of Freiburg（弗莱堡大学）
了解自主机器人操作的场景对于其胜任功能至关重要。这种场景理解需要识别交通参与者的实例以及一般场景语义，这可以通过全景分割任务有效地解决。在本文中，我们介绍了高效的全景分割（EfficientPS）架构，该架构由一个共享的骨干，有效地编码和融合语义丰富的多尺度功能。我们结合了一个新的语义头，它连贯地聚合了精细和上下文特征，并将Mask R-CNN的一个新变体作为实例头。我们还提出了一种新的全景融合模块，该模块一致地集成了来自我们的EfficientPS架构的两个头的输出logits，以产生最终的全景分割输出。此外，我们还介绍了KITTI全景分割数据集，其中包含普遍具有挑战性的KITTI基准的全景注释。对Cityscapes，KITTI，Mapillary Vistas和Indian Driving Dataset的广泛评估表明，我们提出的架构始终在所有这四个基准上设置了新的最先进的技术，同时是迄今为止最有效和最快速的全景分割架构。
2021-02-01 cs.CV cs.LG cs.RO
A Technical Survey and Evaluation of Traditional Point Cloud Clustering Methods for LiDAR Panoptic Segmentation
Worcester Polytechnic Institute（伍斯特理工学院）
LiDAR全景分割是自动驾驶领域新提出的技术课题。与流行的端到端深度学习解决方案相比，我们提出了一种混合方法，使用现有的语义分割网络提取语义信息，并使用传统的LiDAR点云聚类算法分割每个实例对象。我们认为，基于几何的传统聚类算法值得考虑，因为它在SemanticKITTI数据集的全景分割排行榜上显示了所有已发布的端到端深度学习解决方案中最先进的性能。据我们所知，我们是第一个尝试点云全景分割与聚类算法。因此，而不是工作在新的模型，我们给了一个全面的技术调查，本文通过实施四个典型的集群方法，并报告其性能的基准。这四种聚类方法是最具代表性的聚类方法，具有实时运行速度快的特点。在本文中，它们是用C++实现的，然后包装成一个python函数，以便与现有的深度学习框架进行无缝集成。我们将代码发布给可能对此问题感兴趣的同行研究人员。
2021-08-21 cs.CV cs.RO
Language-Guided Instance-Aware Domain-Adaptive Panoptic Segmentation
ETH Zurich（苏黎世联邦理工学院）；Swiss Data Science Center, PSI（瑞士数据科学中心 PSI）
本文提出LIDAPS端到端模型，通过IMix实例感知跨域混合和基于CLIP的域对齐，在缓解灾难性遗忘的同时提升全景分割的无监督域自适应性能，并在多个基准上取得最优结果。
2024-12-25 cs.AI cs.CV
Seamless Scene Segmentation
Mapillary Research（Mapillary研究院）
在这项工作中，我们介绍了一种新颖的，基于CNN的架构，可以进行端到端的训练，以提供无缝的场景分割结果。我们的目标是通过全景输出格式预测一致的语义分割和检测结果，超越了独立训练的分割和检测模型的简单组合。所提出的架构利用了一种新型的分割头，该分割头将特征金字塔网络生成的多尺度特征与轻量级DeepLab类模块传达的上下文信息无缝集成。作为额外的贡献，我们审查的panoptic指标，并提出了一种替代方案，克服了其局限性时，评估非实例类别。我们提出的网络架构在三个具有挑战性的街道级数据集上产生了最先进的结果，即城市景观，印度驾驶数据集和Mapillary Vistas。
2019-05-03 cs.CV
PANet: LiDAR Panoptic Segmentation with Sparse Instance Proposal and Aggregation
Zhejiang University（浙江大学）；Institute of Cyber-Systems and Control（网络系统与控制研究所）
本文提出PANet框架，通过非学习的稀疏实例提议模块和实例聚合模块，消除了对偏移分支的依赖，解决了大物体过度分割问题，在SemanticKITTI和nuScenes上实现了最先进的LiDAR全景分割性能。
2023-06-27 cs.AI cs.CV
A Good Foundation is Worth Many Labels: Label-Efficient Panoptic Segmentation
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出 PASTEL，借助视觉基础模型特征、轻量分割与边界检测头、归一化割融合及自训练，在自动驾驶和农业机器人场景中以更少标注实现更优全景分割。
2024-12-03 cs.CV cs.RO
YOLOPv2: Better, Faster, Stronger for Panoptic Driving Perception
T3CAIC Technology（T3CAIC科技）
在过去的十年中，多任务学习方法在解决全景驾驶感知问题方面取得了可喜的成果，提供了高精度和高效率的性能。在计算资源有限的实时实用自动驾驶系统中，它已成为设计网络的一种流行范式。提出了一种高效的多任务学习网络，能够同时完成交通目标检测、可行驶道路区域分割和车道线检测等任务。我们的模型在具有挑战性的BDD 100K数据集上的准确性和速度方面达到了最先进的（SOTA）性能。特别是，与以前的SOTA模型相比，推理时间减少了一半。代码将在不久的将来发布。
2022-08-24 cs.CV
Is clustering enough for LiDAR instance segmentation? A state-of-the-art training-free baseline
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（法国古斯塔夫·埃菲尔大学巴黎高科路桥学院LIGM实验室，法国国家科学研究中心）
针对LiDAR全景分割中实例标注成本高的问题，提出无需训练和实例标注的方法，仅用语义标签实现实例预测，在SemanticKITTI等基准上优于多数监督方法且实时可解释，结合语义分割在SemanticKITTI排行榜居首。
2025-11-15 cs.CV
Panoptic Scene Graph Generation
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
现有的研究从检测的角度解决了场景图生成（SGG）--图像中场景理解的关键技术，即，使用边界框检测对象，然后预测它们的成对关系。我们认为，这样的范例会导致几个问题，阻碍了该领域的进展。例如，当前数据集中基于限界框的标签通常包含头发等冗余类，并遗漏了对理解上下文至关重要的背景信息。在这项工作中，我们引入全景场景图生成（PSG），一个新的问题任务，需要模型生成一个更全面的场景图表示的基础上，而不是刚性的边界框的全景分割。一个高质量的PSG数据集，其中包含来自COCO和Visual Genome的49 k注释良好的重叠图像，是为社区创建的，以跟踪其进展。为了进行基准测试，我们构建了四个两阶段基线，它们是从SGG中的经典方法修改而来的，以及两个一阶段基线，称为PSGTR和PSGFormer，它们基于高效的基于transformer的检测器，即，DETR.虽然PSGTR使用一组查询来直接学习三元组，但PSGFormer以来自两个Transformer解码器的查询的形式分别对对象和关系进行建模，然后是一个类似关系对象匹配的机制。最后，我们分享了对开放挑战和未来方向的见解。
2022-07-22 cs.AI cs.CL cs.CV
YOLOP: You Only Look Once for Panoptic Driving Perception
Huazhong University of Science & Technology（华中科技大学）
全景驾驶感知系统是自动驾驶的重要组成部分。高精度、实时的感知系统可以帮助车辆在行驶过程中做出合理的决策。提出了一种全景驾驶感知网络（YOLOP），用于同时进行交通目标检测、可驾驶区域分割和车道线检测。它由一个用于特征提取的编码器和三个处理特定任务的解码器组成。我们的模型在具有挑战性的BDD 100K数据集上表现非常出色，在准确性和速度方面，在所有三项任务上都达到了最先进的水平。此外，我们通过消融研究验证了我们的多任务学习模型的有效性。据我们所知，这是第一个可以在嵌入式设备Jetson TX 2（23 FPS）上同时实时处理这三个视觉感知任务并保持出色准确性的工作。为了便于进一步的研究，源代码和预训练模型在https://github.com/hustvl/YOLOP上发布。
2022-03-26 cs.CV
PanoOcc: Unified Occupancy Representation for Camera-based 3D Panoptic Segmentation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）；Centre for Artificial Intelligence and Robotics, HKISI, CAS（中国科学院香港创新研究院人工智能与机器人创新中心）
针对自动驾驶现有三维感知任务分散、缺乏统一端到端方案的问题，提出PanoOcc方法，通过体素查询粗到精聚合多帧多视图时空信息构建统一占用表示，在nuScenes和Occ3D基准上取得优异性能。
2023-06-16 cs.CV cs.RO
Camera-Only 3D Panoptic Scene Completion for Autonomous Driving through Differentiable Object Shapes
KU Leuven（库勒万大学）；TRACE vzw（TRACE公司）；ETH Zürich（苏黎世联邦理工学院）；INSAIT（INSAIT研究所）
针对自动驾驶中的 3D 全景场景补全问题，提出可插入现有占据与场景补全模型的 Object Module 和 Panoptic Module，并利用可微物体形状从基准标注中学习实例形状。
2025-05-14 cs.CV
Panoptic Perception for Autonomous Driving: A Survey
Oakland University（奥克兰大学）
本综述系统回顾了自动驾驶领域的全景感知模型，比较了其输入、架构及在性能、响应速度和资源利用率上的表现，并探讨了当前挑战与未来研究方向，为相关研究提供了重要参考。
2024-08-27 cs.CV cs.LG cs.RO
An Instance-Centric Panoptic Occupancy Prediction Benchmark for Autonomous Driving
Tongji University（同济大学）
本文提出实例中心的全景占用预测基准测试，引入ADMesh和CarlaOcc数据集，提供高精度3D模型和实例级标注，建立标准化评估指标并系统评估代表性模型。
2026-03-28 cs.CV
ICON$^2$: Reliably Benchmarking Predictive Inequity in Object Detection
Columbia University（哥伦比亚大学）；Georgia Tech（佐治亚理工学院）；Princeton University（普林斯顿大学）
提出 ICON$^2$ 框架，通过识别子群体性能差异、计算混杂因素与敏感属性的相关性并控制主要混杂因素，更可靠地评估目标检测模型偏见。
2023-06-07 cs.CV
A Divide-and-Merge Point Cloud Clustering Algorithm for LiDAR Panoptic Segmentation
Worcester Polytechnic Institute（伍斯特理工学院）
从LiDAR点云中聚类对象是自动驾驶等许多应用的重要研究问题。为了满足实时性要求，已有研究提出将连通分量标记（CCL）技术应用于LiDAR球面距离图像，并提出一种启发式条件来检测相邻点是否连通。然而，LiDAR距离图像不同于二值图像，二值图像具有确定性条件来判断两个像素是否属于同一分量。在LiDAR距离图像上使用的启发式条件仅凭经验起作用，这表明LiDAR聚类算法应该对经验启发式条件的潜在故障具有鲁棒性。为了克服这一挑战，本文提出了一种分并LiDAR聚类算法。该算法首先在每个均匀划分的局部区域内进行聚类，然后通过对边缘点对的投票合并局部聚类的小分量。假设$m$划分局部区域后，目标的$N$ LiDAR点总数为0，算法的时间复杂度为$O(N)+O(m^2)$。较小的$m$意味着投票将涉及更多的邻居点，但时间复杂度将变得更大。因此，$m$控制时间复杂度和聚类精度之间的权衡。一个合适的$m$有助于所提出的算法的实时工作，以及保持良好的性能。我们评估的分并合并聚类算法的SemanticKITTI全景分割基准级联它与一个国家的最先进的语义分割模型。通过排行榜评估的最终性能在所有已发表的方法中达到最好。该算法是用C++实现的，并包装成一个python函数。它可以很容易地与Python中的现代深度学习框架一起使用。
2021-09-16 cs.CV cs.RO
Evolution of Image Segmentation using Deep Convolutional Neural Network: A Survey
University of Gour Banga（古尔班加大学）；Visva-Bharati University（维斯瓦巴拉蒂大学）
从自动驾驶汽车到医疗诊断，对图像分割任务的需求无处不在。图像分割是计算机视觉中不可缺少的任务之一。该任务比其他视觉任务相对复杂，因为它需要低层次的空间信息。基本上，图像分割可以有两种类型：语义分割和实例分割。这两个基本任务的组合版本被称为全景分割。近年来，深度卷积神经网络（CNN）的成功极大地影响了分割领域，并为我们提供了各种成功的模型。在本调查中，我们将了解基于CNN的语义和实例分割工作的发展。我们还指定了一些最先进模型的比较架构细节，并讨论了它们的训练细节，以清晰地理解这些模型的超参数调整。我们还比较了这些模型在不同数据集上的性能。最后，我们给出了一些最先进的全景分割模型的一瞥。
2020-05-29 cs.CV
Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception
Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；ShanghaiTech University（上海科技大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Kentucky（肯塔基大学）
用于基于LiDAR的驾驶场景感知的现有方法（包括点云语义分割、全景分割和3D检测，\etc）通常将点云投影到2D空间，然后通过2D卷积来处理它们。虽然这种合作显示了点云的竞争力，但它不可避免地改变和放弃了3D拓扑结构和几何关系。一种自然的补救方法是利用3D体素化和3D卷积网络。然而，我们发现，在室外点云，以这种方式获得的改善是相当有限的。一个重要的原因是室外点云的性质，即稀疏性和密度变化。受此研究的启发，我们提出了一个新的框架，用于室外激光雷达分割，其中圆柱形分区和非对称3D卷积网络被设计用于探索3D几何图案，同时保持这些固有属性。所提出的模型充当骨干，并且从该模型学习的特征可以用于下游任务，例如点云语义和全景分割或3D检测。在本文中，我们基准我们的模型在这三个任务。对于语义分割，我们评估了几个大规模的数据集，\ie，SemanticKITTI，nuScenes和A2D2的模型。我们的方法在SemanticKITTI的排行榜上达到了最先进的水平（单扫描和多扫描挑战），并且在nuScenes和A2D2数据集上显着优于现有方法。此外，该三维框架在LiDAR全景分割和LiDAR三维检测方面也表现出了较强的性能和良好的泛化能力。
2021-09-12 cs.CV
Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection
Alibaba Group（阿里巴巴集团）；Sun Yat-sen University（中山大学）；Peking University（北京大学）
在自动驾驶中，有两个关键的3D感知传感器，相机和激光雷达。相机提供丰富的语义信息，如颜色，纹理，LiDAR反映周围物体的3D形状和位置。人们发现，融合这两种模态可以显着提高3D感知模型的性能，因为每种模态都有互补的信息。然而，我们观察到，目前的数据集是从昂贵的车辆，明确设计用于数据汇集的目的，并不能真正反映现实的数据分布由于各种原因。为此，我们收集了一系列具有噪声数据分布的真实案例，并系统地制定了一个鲁棒性基准工具包，该工具包在任何干净的自动驾驶数据集上模拟这些案例。我们通过在两个广泛采用的自动驾驶数据集nuScenes和Waymo上建立鲁棒性基准来展示我们的工具包的有效性，然后，据我们所知，首次对最先进的融合方法进行全面基准测试。我们注意到：i）当仅基于这些数据开发时，大多数融合方法在LiDAR输入中断时往往不可避免地失败; ii）相机输入的改善明显劣于LiDAR输入。我们进一步提出了一个有效的鲁棒训练策略，以提高目前的融合方法的鲁棒性。基准测试和代码可在www.example.com上获得
2022-05-30 cs.CV
From Filters to VLMs: Benchmarking Defogging Methods through Object Detection and Segmentation Performance
University of Southern California（南加州大学）
本文通过目标检测和分割性能评估，探讨了去雾方法在真实与合成环境中的有效性，揭示了视觉语言模型在恶劣天气下的应用潜力。
2026-01-26 cs.CV
SPVC: Structured and Panoptic Video Fixing for Cross-Dataset Driving Scene Rendering
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Zhejiang University（浙江大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Great Wall Motor Company Limited（长城汽车股份有限公司）；Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出SPVC框架，通过结构化、全景、视频及跨数据集修复原则，训练两阶段可控视频扩散模型，解决驾驶场景渲染的伪影问题，实现跨数据集的高效修复。
2026-08-19 cs.CV
Mask2Anomaly: Mask Transformer for Universal Open-set Segmentation
Politecnico di Torino（都灵理工大学）
提出基于掩码分类的 Mask2Anomaly 框架，通过全局掩码注意力、对比学习、掩码细化和未知实例挖掘等技术，联合解决异常分割、开集语义与全景分割，并在多个基准上取得 SOTA 结果。
2023-09-12 cs.CV
LOSC: LiDAR Open-voc Segmentation Consolidator
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM，巴黎理工大学，埃菲尔大学，CNRS）
本文研究了基于图像的视觉-语言模型在驾驶场景中对激光雷达扫描进行开放词汇分割的应用，通过整合标签提升空间时间一致性与图像增强鲁棒性，提出LOSC方法在nuScenes和SemanticKITTI上优于现有最佳方法。
2026-03-13 cs.CV
DVPSFormer: Efficient Online Depth-aware Video Panoptic Segmentation for Autonomous Driving
ETH Zürich（苏黎世联邦理工学院）；INSAIT, Sofia University（保加利亚索菲亚大学INSAIT研究所）；University of Bonn（波恩大学）；Microsoft（微软公司）
DVPSFormer是一种统一在线架构，通过ESD和OMV机制实现高效4D场景理解，在两个DVPS基准上达SOTA，为自动驾驶提供在线机器人感知的精简方案。
2026-07-30 cs.CV
Benchmarking Image Perturbations for Testing Automated Driving Assistance Systems
Technical University of Munich（慕尼黑工业大学）；fortiss（弗劳恩霍夫fortiss研究所）
本研究系统评估了38类图像扰动对ADAS感知系统鲁棒性的影响，证明扰动测试能有效暴露故障，且数据增强与持续学习可显著提升系统在新环境中的性能。
2025-01-21 cs.CV cs.SE
MUSES: The Multi-Sensor Semantic Perception Dataset for Driving under Uncertainty
ETH Zürich（苏黎世联邦理工学院）；INSAIT（INSAIT（保加利亚国际数学和信息科学研究所））
MUSES是一个多传感器语义感知数据集，包含2500张不同天气和光照下的图像，集成了多种传感器，提出不确定性感知全景分割任务，用于评估和训练自动驾驶感知模型。
2024-09-30 cs.CV
ZOPP: A Framework of Zero-shot Offboard Panoptic Perception for Autonomous Driving
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
提出ZOPP框架，融合视觉基础模型与点云3D表示，实现自动驾驶场景的零样本多模态离线全景感知与自动标注，在Waymo数据集上验证了其有效性和下游应用潜力。
2024-11-08 cs.CV cs.RO
In-Place Panoptic Radiance Field Segmentation with Perceptual Prior for 3D Scene Understanding
针对现有3D场景全景理解方法存在的映射不准、复杂场景处理难及伪标签噪声等问题，提出带感知先验引导的神经辐射场全景分割方法，通过同步多模态学习与扩展级联网格提升泛化性，实验验证其能有效提升3D场景表征与分割精度。
2024-10-06 cs.CV
