Learning Segmented 3D Gaussians via Efficient Feature Unprojection for Zero-shot Neural Scene Segmentation
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
提出CoSegGaussians，通过Feature Unprojection and Fusion模块和CoSeg Loss解决3D高斯零样本分割中冗余属性导致的3D不一致性问题，mIoU提升约10%。
2024-07-28 cs.AI cs.CV
Improving Panoptic Segmentation for Nighttime or Low-Illumination Urban Driving Scenes
Queen Mary University of London（伦敦玛丽女王大学）
针对夜间或低照度城市驾驶场景全景分割性能差的问题，提出两种基于CycleGAN域转换的新方法，通过白天图像生成夜间数据重训练模型，在Cityscapes数据集上实现PQ、mIoU等指标显著提升并增强鲁棒性。
2023-06-23 cs.AI cs.CV
SceneEncoder: Scene-Aware Semantic Segmentation of Point Clouds with A Learnable Scene Descriptor
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；School of Computer Science and Software Engineering, East China Normal University（华东师范大学计算机科学与软件工程学院）
在语义分割中，除了局部特征外，全局信息也起着至关重要的作用，但目前的研究工作往往未能明确地提取出有意义的全局信息并充分利用它，本文提出了一种场景编码器模块，以增强全局信息的场景感知引导效果。该模块预测一个场景描述符，该描述符学习表示场景中存在的对象的类别，并通过过滤掉不属于该场景的类别来直接指导点级语义分割。此外，为了减少局部区域的分割噪声，设计了一种区域相似性损失机制，将区分特征传播到具有相同标签的相邻点，从而增强了逐点特征的区分能力。我们将我们的方法集成到几个流行的网络中，并在基准数据集ScanNet和ShapeNet上进行了广泛的实验。结果表明，我们的方法大大提高了基线的性能，达到了最先进的性能。
2020-01-24 cs.CV
CTS: A Consistency-Based Medical Image Segmentation Model
Harbin Engineering University（哈尔滨工程大学）；The Second Affiliated Hospital of Mudanjiang Medical University（牡丹江医学院第二附属医院）
针对扩散模型在医学图像分割中采样慢的问题，提出基于一致性模型的CTS方法，通过多尺度特征监督与损失引导实现收敛，单次采样即可取得更优分割效果。
2024-05-15 cs.AI cs.CV
Self-Supervised Pre-Training Boosts Semantic Scene Segmentation on LiDAR Data
Universitat de Barcelona（巴塞罗那大学）；Cartographic and Geological Institute of Catalonia（加泰罗尼亚制图与地质研究所）
本文提出用Barlow Twins自监督预训练编码器，用于LiDAR点云语义分割，微调后提升性能，尤其改善稀有类别分割。
2023-12-22 cs.AI cs.CV
Towards holistic scene understanding: Semantic segmentation and beyond
Eindhoven University of Technology（埃因霍温理工大学）；University of Gent（根特大学）；TU Delft（代尔夫特理工大学）；NTU Athens（雅典国家技术大学）；Vicomtech（Vicomtech 技术中心）
本论文致力于视觉场景理解，提高分割性能和泛化能力，提高网络的训练效率和整体理解能力。首先，我们研究语义分割的背景下，街道场景和训练语义分割网络上的各种数据集的组合。在第2章中，我们设计了一个基于单个卷积主干的分层分类器框架，并在像素标记数据集的组合上进行端到端的训练，提高了泛化能力和可识别语义概念的数量。第三章重点研究了弱监督对语义分割的改进，提出了一种基于限界框和图像两级监督的弱监督分割算法。在多个数据集上同时训练所带来的内存和计算负载挑战将在第4章中讨论。我们提出了两种方法，用于从监管薄弱的数据集中选择信息丰富且多样化的样本，以在不牺牲性能的情况下减少网络的生态足迹。出于对内存和计算效率的需求，在第5章中，我们重新思考了异构数据集上的同步训练，并提出了一个通用的语义分割框架。该框架通过利用各种场景理解数据集来实现性能指标和语义知识性的一致增加。第6章介绍了部分感知全景分割的新任务，它将我们的推理扩展到整体场景理解。该任务将场景和部件级语义与实例级目标检测相结合。总之，我们的贡献跨越了卷积网络架构，弱监督学习，部分和全景分割，为实现全面，丰富和可持续的视觉场景理解铺平了道路。
2022-01-16 cs.AI cs.CV cs.LG
GeoSAM-3D: Geodesic Prompt Propagation for Open-Vocabulary 3D Scene Segmentation from Monocular Video
University of Minnesota, Twin Cities（明尼苏达大学，双城分校）
提出GeoSAM-3D方法，利用冻结的视觉基础模型和单目3D高斯泼溅重建，通过可微分的图-测地线传播核在场景图上传播用户提示，实现从单目视频的开放词汇3D场景分割。
2026-05-30 cs.AI cs.CV
Finite State Machines for Semantic Scene Parsing and Segmentation
CNRS（法国国家科学研究中心）；LIP6 Lab（巴黎第六大学信息学实验室）；Sorbonne University（索邦大学）
在这项工作中，我们引入了一种新的随机推理过程，场景注释和对象类分割，基于有限状态机（FSM）。我们的框架的设计原则是生成的，并基于建筑，对于一个给定的场景，有限状态机编码的注释格，和推理包括在寻找和评分的最佳配置，在这些格。使用我们的FSM框架定义了不同的新操作，包括重新排序，分割，视觉转换和标签依赖建模。所有这些操作结合在一起，以实现注释以及对象类分割。
2018-12-27 cs.CV
Enhancing Shape Perception and Segmentation Consistency for Industrial Image Inspection
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（人工智能学院，北京邮电大学）；Ricoh Software Research Center (Beijing) Co., Ltd（Ricoh软件研究中心（北京）有限公司）
针对工业图像检测中传统分割模型轮廓感知不足、固定部件分割一致性差及工业设备算力有限的问题，提出形状感知高效网络SPENet与可变边界域VBD方法，同时提出CMSE度量指标，在精度、速度及一致性上均取得显著提升。
2025-05-19 cs.AI cs.CV
Real-time Progressive 3D Semantic Segmentation for Indoor Scene
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Tokyo（东京大学）；Deakin University（迪肯大学）；Hong Kong University of Science and Technology（香港科技大学）
无人机和辅助机器人等自主系统的广泛采用产生了对实时的【形】高质量语义场景分割的需求。在本文中，我们提出了一个有效的，但强大的技术，在飞行密集重建和语义分割的三维室内场景。为了保证（近）实时的【形】性能，我们的方法是建立在一个高效的超体素聚类方法和一个条件随机场与高阶约束的结构和对象线索，使渐进密集语义分割，而无需任何预先计算。我们在SceneNN和ScanNet数据集中的不同室内场景（包括厨房，办公室和卧室）上广泛评估了我们的方法，并表明我们的技术在定性和定量实验中始终产生最先进的分割结果。
2019-04-05 cs.CV
Semantic Scene Segmentation for Robotics Applications
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
语义场景分割在广泛的机器人应用中起着关键作用，例如，自主导航这些应用都伴随着特定的计算限制，例如，在低功耗GPU上以足够的速度运行，并且还用于高分辨率输入。现有的最先进的分割模型提供了不同设置下的评估结果，主要考虑高功率GPU。在本文中，我们研究了最成功的语义场景分割模型的行为，在部署（推理）速度方面，在各种设置（GPU，输入大小等）。in the context上下文of robotics机器人applications应用.这项工作的目标是提供一个比较研究，目前国家的最先进的分割模型，以选择最符合机器人应用程序的要求。
2021-08-25 cs.CV
Neuron-level Selective Context Aggregation for Scene Segmentation
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Shandong University（山东大学）；Tel Aviv University（特拉维夫大学）
背景信息为场景分割中相似像素的消歧提供了重要线索。在本文中，我们介绍了一个神经元级的选择性上下文聚合（SCA）模块的场景分割，包括上下文依赖预测和上下文聚合操作。依赖性预测器被隐式地训练以推断不同图像区域之间的上下文依赖性。上下文聚合算子用全局上下文来增强局部表示，全局上下文根据其动态预测依赖性在每个神经元处选择性地聚合。所提出的机制，使数据驱动的上下文依赖关系的推断，并促进上下文感知的特征学习。所提出的方法改进了基于VGG16的强基线，在具有挑战性的场景分割数据集上，这证明了其在建模上下文信息方面的有效性。
2017-11-22 cs.CV
Value of Temporal Dynamics Information in Driving Scene Segmentation
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Collaborative Safety Research Center, Toyota Motor North America（丰田北美汽车公司协作安全研究中心）
语义场景分割主要通过用监督和非监督方法形成单个图像的表示来解决。动态场景中的语义分割问题最近开始受到视频对象分割方法的关注。不知道的是，视觉场景的时间动态携带了多少额外的信息，这些信息与视频的各个帧中可用的信息互补。有证据表明，人类视觉系统可以有效地感知场景的时间动态信息的场景的变化的视觉特性，而不依赖于个人快照本身的视觉特性。我们的工作采取步骤，探索机器感知是否可以表现出类似的属性，通过结合基于外观的表示和时间动态表示在一个联合学习的问题，揭示了每个对成功的动态场景分割的贡献。此外，我们还提供了MIT驾驶场景分割数据集，这是一个大规模的完整驾驶场景分割数据集，为每个像素和5,000个视频帧中的每一个都进行了密集注释。该数据集旨在帮助进一步探索视频中的语义分割的时间动态信息的价值。
2019-03-21 cs.CV cs.NE
Scene-Generalizable Interactive Segmentation of Radiance Fields
Harbin Institute of Technology（哈尔滨工业大学）；Y-tech, Kuaishou Technology（快手科技Y-tech）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；Dartmouth College（达特茅斯学院）
本文首次提出辐射场场景可泛化交互式分割方法SGISRF，通过跨维度引导传播、不确定性消除3D分割和隐藏监督学习三项技术，仅用少量2D点击即可对未见场景实现高效3D对象分割，性能优于需场景特定优化的经典方法。
2023-08-09 cs.CV
Panoptic 3D Scene Reconstruction From a Single RGB Image
Technical University of Munich（慕尼黑工业大学）
从单个图像中理解3D场景是各种任务的基础，例如机器人、运动规划或增强现实。现有的从单个RGB图像进行3D感知的工作倾向于仅关注几何重建，或者关注具有语义分割或实例分割的几何重建。受2D全景分割的启发，我们提出将几何重建、3D语义分割和3D实例分割的任务统一到全景3D场景重建的任务中-从单个RGB图像，预测图像的相机截头体中场景的完整几何重建，以及语义和实例分割。因此，我们提出了一种新的方法，从一个单一的RGB图像的整体三维场景理解，学习提升和传播2D功能从输入图像的三维体积场景表示。我们证明，这种整体视图的联合场景重建，语义，和实例分割是有益的独立处理的任务，从而优于其他方法。
2022-05-16 cs.CV
Spatial Sampling Network for Fast Scene Understanding
University of Milano-Bicocca（米兰比可卡大学）
我们提出了一种网络架构来执行高效的场景理解。这项工作提出了三个主要的新颖性：第一个是一个改进的引导上采样模块，可以取代在toto的解码器部分，在共同的语义分割网络。我们的第二个贡献是引入了一个新的基于空间采样的模块来执行实例分割。它提供了一个非常快速的实例分割，只需要阈值作为推理时的后处理步骤。最后，我们提出了一种新的高效的网络设计，其中包括新的模块，并测试它对不同的数据集，户外场景理解。据我们所知，我们的网络是迄今为止发布的最有效的场景理解架构之一，而且在语义分割方面比最快的竞争对手准确8.6%，并且比最有效的实例分割网络快近5倍。
2019-05-22 cs.AI cs.CV cs.LG
SceneDecorator: Towards Scene-Oriented Story Generation with Scene Planning and Scene Consistency
Monash University（莫纳什大学）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；South China University of Technology（华南理工大学）
SceneDecorator提出无需训练的场景导向故事生成框架，通过VLM引导场景规划和长期场景共享注意力，解决场景规划与一致性问题，提升艺术、电影和游戏领域的创造力。
2025-10-27 cs.CV
Loci-Segmented: Improving Scene Segmentation Learning
University of Tübingen（蒂宾根大学）
提出Loci-Segmented系统，无需背景信息或槽分配即可动态分割场景为可解释的背景和槽对象编码，在MOVi等数据集上视频分解性能大幅提升，可作为下游任务基础模型。
2024-02-06 cs.CV
Fused Text Segmentation Networks for Multi-oriented Scene Text Detection
Shanghai Jiao Tong University（上海交通大学）；Westone Cryptologic Research Center（威斯顿密码学研究中心）；Xiamen No.1 High School（厦门第一中学）
本文从实例感知的语义分割角度提出了一种面向多方向场景文本检测的端-端框架。我们提出了融合文本分割网络，它在特征提取过程中结合了多层次特征，因为文本实例可能依赖于比一般对象更精细的特征表达。该算法结合语义分割任务和基于区域建议的目标检测任务的优点，同时对文本实例进行检测和分割。在不涉及任何额外管道的情况下，我们的方法在多方向场景文本检测基准上超过了当前最先进的水平：ICDAR 2015偶然场景文本和MSRA-TD 500分别达到Hmean 84.1%和82.0%。此外，我们报告了包含弯曲文本的总文本的基线，这表明所提出的方法的有效性。
2018-05-07 cs.CV
SPNeRF: Open Vocabulary 3D Neural Scene Segmentation with Superpoints
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
针对CLIP图像嵌入缺乏3D分割所需几何细节、现有方法易致冗余或语言能力损失的问题，提出基于NeRF的零样本3D分割方法SPNeRF，整合几何先验生成基元级CLIP特征并辅以亲和度增强的合并机制，在无额外分割模型的情况下较LERF取得显著提升。
2025-03-19 cs.CV
In-Place Panoptic Radiance Field Segmentation with Perceptual Prior for 3D Scene Understanding
针对现有3D场景全景理解方法存在的映射不准、复杂场景处理难及伪标签噪声等问题，提出带感知先验引导的神经辐射场全景分割方法，通过同步多模态学习与扩展级联网格提升泛化性，实验验证其能有效提升3D场景表征与分割精度。
2024-10-06 cs.CV
SceneAdapt: Scene-based domain adaptation for semantic segmentation using adversarial learning
University of Catania（卡塔尼亚大学）；Park Smart s.r.l.（Park Smart有限责任公司）
得益于深度学习，语义分割方法已经取得了出色的性能。然而，当这些算法被部署到训练期间未看到的新上下文时，有必要收集和标记特定于场景的数据，以便使用微调使其适应新的域。由于不同视点引起的不同场景布局，每当移动已经安装的摄像机或在摄像机网络中引入新的摄像机时，都需要该过程。为了限制要收集的附加训练数据的量，理想的是使用已经可用的标记数据和仅来自新相机的未标记数据来训练语义分割方法。我们将这个问题形式化为一个领域自适应任务，并引入了一个新的数据集的城市场景与相关的语义标签。作为解决这一挑战性任务的第一种方法，我们提出了SceneAdapt，一种基于对抗学习的语义分割算法的场景自适应方法。与最先进的领域自适应方法的实验和比较突出表明，当两个场景具有不同的视角时，以及当它们包括完全不同场景的图像时，使用对抗性学习可以实现有希望的性能。为了鼓励对这个主题的研究，我们在我们的网页上提供了我们的代码：https://iplab.dmi.unict.it/ParkSmartSceneAdaptation/。
2020-06-18 cs.CV
Cascaded Scene Flow Prediction using Semantic Segmentation
Brown University（布朗大学）；NVIDIA（英伟达）；UC Irvine（加州大学欧文分校）
给定来自一对立体相机的两个连续帧，3D场景流方法同时估计所观察场景的3D几何形状和运动。许多现有的方法使用超像素进行正则化，但可能会预测刚性移动对象内部不一致的形状和运动。相反，我们假设场景由在静态背景前面刚性移动的前景对象组成，并使用语义线索来产生像素精确的场景流估计。我们的级联分类框架通过迭代地改进语义分割掩模、立体对应、3D刚性运动估计和光流场来精确地建模3D场景。我们在具有挑战性的KITTI自动驾驶基准上评估了我们的方法，并表明考虑分段车辆的运动会带来最先进的性能。
2017-10-05 cs.CV
A Bag of Words Approach for Semantic Segmentation of Monitored Scenes
iWatchLife Inc.（iWatchLife公司）
提出了一种针对监控摄像机拍摄的室外场景的语义分割方法。我们的算法将每个感知同质区域分类为从手动标记的图像集合中学习的预定义类之一。所提出的方法结合了两种不同类型的信息。首先，执行颜色分割以将场景划分为感知上相似的区域。然后，第二步是基于SIFT关键点，并使用词袋表示的区域进行分类。使用朴素贝叶斯网络作为生成分类器进行预测。与现有技术相比，我们的方法提供了更紧凑的场景内容的表示和分割结果是更符合人类的感知，由于结合的颜色信息与图像的关键点。在公开数据集上进行的实验证明了该方法的有效性。
2013-05-14 cs.CV
Self-attention on Multi-Shifted Windows for Scene Segmentation
University of Technology Sydney（悉尼科技大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
图像中的场景分割是视觉内容理解中的一个基本而又具有挑战性的问题，即学习一个模型来为图像中的每个像素分配一个分类标签。这种学习任务的挑战之一是考虑空间和语义关系以获得描述性特征表示，因此从多个尺度学习特征图是场景分割中的常见做法。在本文中，我们探讨了多尺度图像窗口内的自注意力的有效使用，以学习描述性的视觉特征，然后提出了三种不同的策略来聚合这些特征图解码的特征表示密集预测。我们的设计是基于最近提出的Swin Transformer模型，它完全放弃了卷积运算。通过简单而有效的多尺度特征学习和聚合，我们的模型在PASCAL VOC 2012，COCO-Stuff 10 K，ADE 20 K和Cityscapes四个公共场景分割数据集上取得了非常有前途的性能。
2022-07-10 cs.CV
NeRF-SOS: Any-View Self-supervised Object Segmentation on Complex Scenes
University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经体积表示已经表明，多层感知机（MLP）可以通过多视图校准图像进行优化，以表示场景几何形状和外观，而无需显式3D监督。基于学习的辐射场，对象分割可以丰富许多下游应用。然而，引入手工制作的分割来定义复杂的真实世界场景中的感兴趣区域是不平凡的和昂贵的，因为它需要每个视图注释。针对复杂的真实场景，利用NeRF进行了自监督学习的目标分割探索。我们的框架，称为NeRF与自监督对象分割NeRF-SOS，耦合对象分割和神经辐射场分割对象在场景内的任何视图。通过在外观和几何级别提出一种新的协作对比损失，NeRF-SOS鼓励NeRF模型从其密度场和自监督预训练的2D视觉特征中提取紧凑的几何感知分割集群。自监督对象分割框架可以应用于各种NeRF模型，这些模型可以为室内和室外场景提供照片般逼真的渲染结果和令人信服的分割图。LLFF、Tank & Temple和BlendedMVS数据集上的大量结果验证了NeRF-SOS的有效性。它始终优于其他基于2D的自监督基线，并预测比现有监督同行更精细的语义掩码。请参阅我们项目页面上的视频了解更多详情：https://zhiwenfan.github.io/NeRF-SOS。
2022-10-12 cs.CV
Segmentation-grounded Scene Graph Generation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）
场景图生成是计算机视觉中的一个重要问题。虽然场景图提供了对象的基础表示，它们在图像中的位置和关系，但它们只在建议边界框的粒度上这样做。在这项工作中，我们提出了第一个，据我们所知，框架像素级分割接地场景图生成。我们的框架对于底层场景图生成方法是不可知的，并且解决了目标场景图数据集中缺乏分割注释的问题（例如，视觉基因组）通过转移和多任务学习，并与辅助数据集（例如，MS COCO）。具体地，被检测的每个目标对象被赋予分割掩模，该分割掩模被表示为在具有存在于辅助数据集中的注释的类别上的语言相似性加权线性组合。这些推断出的掩模，以及一种新的高斯注意力机制，该机制将图像内的像素级的关系接地，允许改进的关系预测。整个框架是端到端可训练的，并以多任务的方式使用目标和辅助数据集进行学习。
2021-04-29 cs.CV
UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes
Technical University of Munich（慕尼黑工业大学）；Technion（以色列理工学院）；NVIDIA（英伟达）
UnScene3D提出首个全无监督室内三维实例分割方法，利用自监督颜色与几何特征生成伪掩码并结合几何过分割与自训练，将平均精度提升超过300%。
2024-04-30 cs.CV
Cars Can't Fly up in the Sky: Improving Urban-Scene Segmentation via Height-driven Attention Networks
LG Electronics（LG电子）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Korea University（高丽大学）；KAIST（韩国科学技术院）
本文利用城市场景图像的内在特征，提出了一个通用的附加模块，称为高度驱动的注意力网络（HANet），用于改善城市场景图像的语义分割。它根据像素的垂直位置有选择地强调信息特征或类别。在城市场景图像的水平分割部分中，像素级分布彼此之间存在显著差异。同样，城市场景图像也有其独特的特征，但大多数语义分割网络并没有在架构中反映这些独特的属性。建议的网络架构采用的能力，利用属性，有效地处理城市场景数据集。我们验证了一致的性能（mIoU）增加的各种语义分割模型在两个数据集时，采用HANet。这种广泛的定量分析表明，将我们的模块添加到现有模型中是简单且具有成本效益的。我们的方法在Cityscapes基准测试中实现了新的最先进的性能，在基于ResNet-101的分割模型中具有很大的优势。此外，我们表明，所提出的模型是一致的，在城市场景中观察到的事实，通过可视化和解释的注意力地图。我们的代码和训练模型可在https://github.com/shachoi/HANet上公开获取
2020-04-07 cs.CV
DSNet for Real-Time Driving Scene Semantic Segmentation
我们专注于自动驾驶系统的语义分割的非常具有挑战性的任务。它必须实时的【形】为交通关键对象提供合适的语义分割结果。在本文中，我们提出了一个非常有效但功能强大的深度神经网络，用于驾驶场景语义分割，称为驾驶分割网络（DSNet）。DSNet通过受ShuffleNet V2和ENet启发的高效单元和架构设计，在准确性和推理速度之间实现了最先进的平衡。更重要的是，DSNet通过我们的新颖的驾驶重要性加权损失突出了驾驶决策最关键的课程。我们在Cityscapes数据集上对DSNet进行了评估，我们的DSNet在验证集上达到了71.8%的平均交集（IoU），在测试集上达到了69.3%。类明智的IoU分数表明，驾驶重要性加权损失可以提高大多数驾驶关键类的大幅度。与ENet相比，DSNet的准确性提高了18.9%，速度提高了1.1倍以上，这意味着自动驾驶应用的巨大潜力。
2019-12-06 cs.AI cs.CV cs.LG
Learning Dilation Factors for Semantic Segmentation of Street Scenes
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Mannheim（曼海姆大学）
上下文信息是语义分割的关键。然而，找到保持所需的精细细节和同时提供足够大的感受野之间的最佳权衡是不平凡的。当图像中存在的对象或类在大小上显著变化时，情况更是如此。扩张卷积已被证明对于语义分割是有价值的，因为它们允许在不牺牲图像分辨率的情况下增加感受野的大小。然而，在当前最先进的方法中，膨胀参数是手动调整和固定的。在本文中，我们提出了一种方法，用于学习膨胀参数自适应每个通道，不断提高语义分割的街景数据集，如Cityscapes和Camvid的结果。
2017-09-06 cs.CV
Seamless Scene Segmentation
Mapillary Research（Mapillary研究院）
在这项工作中，我们介绍了一种新颖的，基于CNN的架构，可以进行端到端的训练，以提供无缝的场景分割结果。我们的目标是通过全景输出格式预测一致的语义分割和检测结果，超越了独立训练的分割和检测模型的简单组合。所提出的架构利用了一种新型的分割头，该分割头将特征金字塔网络生成的多尺度特征与轻量级DeepLab类模块传达的上下文信息无缝集成。作为额外的贡献，我们审查的panoptic指标，并提出了一种替代方案，克服了其局限性时，评估非实例类别。我们提出的网络架构在三个具有挑战性的街道级数据集上产生了最先进的结果，即城市景观，印度驾驶数据集和Mapillary Vistas。
2019-05-03 cs.CV
Class-Agnostic Visio-Temporal Scene Sketch Semantic Segmentation
Koç University（科奇大学）
本文提出类别无关视觉-时序网络CAVT，首次在场景草图中同时实现实例级和笔画级分割，并构建了包含1K场景草图、403类对象的FrISS数据集，性能优于现有方法。
2024-09-30 cs.CV cs.LG
Perceptual Consistency in Video Segmentation
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；Nanjing University of Science and Technology（南京理工大学）
在本文中，我们提出了一种新的感知一致性的角度来看，视频语义分割，它可以捕获时间的一致性和像素明智的正确性。给定两个相邻的视频帧，感知一致性度量分割决策与通过匹配一般感知特征获得的像素对应性的一致程度。更具体地说，对于一帧中的每个像素，我们在另一帧中找到感知相关性最高的像素。我们的直觉是，这样一对像素极有可能属于同一类。接下来，我们评估分割与这种感知对应性的一致程度，基于此，我们得出这两个帧中分割图的感知一致性。利用感知一致性，我们可以通过测量视频中连续对分割图的感知一致性来评估视频分割的时间一致性。此外，给定稀疏标记的测试视频，可以利用感知一致性来帮助预测未标记帧上的分割的逐像素正确性。更具体地说，通过测量预测的分割和附近帧上可用的地面实况之间的感知一致性，并将其与分割置信度相结合，我们可以准确地评估每个像素的分类正确性。我们的实验表明，所提出的感知一致性可以更准确地评估视频分割的时间一致性相比，基于流的措施。此外，与单独使用分类置信度相比，它可以帮助更自信地预测未标记测试帧的分割精度。最后，我们提出的度量可以在分割模型的训练过程中用作正则化器，从而在保持准确性的同时实现时间上更一致的视频分割。
2021-10-24 cs.AI cs.CV cs.LG
Semantic Segmentation-assisted Scene Completion for LiDAR Point Clouds
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
室外场景补全是三维场景理解中的一个具有挑战性的问题，在智能机器人和自动驾驶中起着重要作用。由于激光雷达数据的稀疏性，使得三维场景的补全和语义分割变得更加复杂。由于语义特征可以为完成任务提供约束和语义先验，因此它们之间的关系值得探讨。因此，我们提出了一个端到端的语义分割辅助场景完成网络，包括一个2D完成分支和一个3D语义分割分支。具体地说，该网络以原始点云作为输入，并将分割分支的特征分层合并到完成分支中以提供语义信息。通过采用BEV表示和3D稀疏卷积，我们可以在保持有效表达的同时受益于较低的操作数。此外，分割分支的解码器被用作辅助，可以在推理阶段丢弃，以节省计算消耗。大量的实验表明，我们的方法在SemanticKITTI数据集上具有低延迟的竞争力。代码和模型将在https://github.com/jokester-zzz/SSA-SC上发布。
2021-09-23 cs.CV
Shift-Memory Network for Temporal Scene Segmentation
Indiana University – Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
语义分割在理解空间布局方面取得了很大的准确性。对于基于动态场景的实时任务，我们扩展了时间域的语义分割，以提高运动的空间精度。我们在流输入上利用移位模式网络来确保零延迟输出。针对移动网络下的数据重叠问题，提出了跨网络层的固定周期重复计算的识别方法。为了避免这种冗余，我们从编码-解码基线中推导出移位记忆网络（SMN），以重用网络值而不损失精度。在补丁模式下训练，SMN提取网络参数，以便SMN在紧凑的存储器中迅速执行推理。我们从1D扫描输入和2D视频中分割动态场景。SMN的实验达到了与移位模式相当的精度，但推理速度更快，存储量更小。这将促进边缘设备上的实时应用中的语义分割。
2022-02-17 cs.CV
Spirit Distillation: Precise Real-time Semantic Segmentation of Road Scenes with Insufficient Data
Jilin University（吉林大学）
道路场景的语义分割是实现自动驾驶场景感知的关键技术之一，深度卷积神经网络（CNN）在此任务中的有效性已得到验证。用于语义分割的现有技术的CNN遭受过度计算以及大规模训练数据需求。受基于微调的迁移学习（FTT）和基于特征的知识蒸馏思想的启发，我们提出了一种新的知识蒸馏方法，用于跨领域知识迁移和有效的数据不足网络训练，称为Spirit Distillation（SD），它允许学生网络模仿教师网络来提取一般特征，从而可以训练出紧凑而准确的学生网络，用于道路场景的实时的【形】语义分割。然后，为了进一步减轻数据不足的麻烦，提高学生的鲁棒性，提出了一种增强的精神蒸馏（ESD）方法，该方法致力于利用更全面的一般特征提取能力，考虑从目标和邻近域的图像作为输入。据我们所知，本文是将知识蒸馏应用于少样本学习的一个开创性工作。利用从COCO 2017和KITTI转移的先验知识对Cityscapes语义分割进行的说服性实验表明，我们的方法可以训练更好的学生网络（mIOU和高精度准确度分别提高1.4%和8.2%，分割方差为78.2%），仅具有41.8%的FLOP（见图1）。
2021-04-17 cs.AI cs.CV cs.LG
PixelLink: Detecting Scene Text via Instance Segmentation
Zhejiang University（浙江大学）；CVTE Research（CVTE研究院）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
大多数最先进的场景文本检测算法是基于深度学习的方法，其依赖于限界框回归并执行至少两种预测：文本/非文本分类和位置回归。在这些方法中，回归在边界框的获取中起着关键作用，但它不是必不可少的，因为文本/非文本预测也可以被认为是一种本身包含完整位置信息的语义分割。然而，场景图像中的文本实例通常彼此非常接近，使得它们很难通过语义分割分离。因此，需要实例分割来解决这个问题。提出了一种基于实例分割的场景文本检测算法PixelLink。文本实例首先通过将同一实例中的像素链接在一起来分割。然后直接从分割结果中提取文本边界框，而无需位置回归。实验表明，与基于回归的方法相比，PixelLink在多个基准测试中可以获得更好或相当的性能，同时需要更少的训练迭代次数和更少的训练数据。
2018-01-04 cs.CV
EFEM: Equivariant Neural Field Expectation Maximization for 3D Object Segmentation Without Scene Supervision
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
我们介绍了等变神经场期望最大化（EFEM），这是一种简单，有效，鲁棒的几何算法，可以分割3D场景中的对象，而无需对场景进行注释或训练。我们实现了这样的无监督分割，利用单个对象的形状先验。我们朝这个方向迈出了两步。首先，我们引入等变形状表示这个问题，以消除由对象配置的变化引起的复杂性。其次，我们提出了一种新的EM算法，可以迭代细化分割掩模使用等变形状先验。我们收集了一个新的真实数据集椅子和杯子，其中包含各种对象配置和新的场景，以验证我们的方法的有效性和鲁棒性。实验结果表明，我们的方法在不同的场景中实现了一致和鲁棒的性能，（弱）监督方法可能会失败。代码和数据可在https://www.cis.upenn.edu/~leijh/projects/efem上获得
2023-03-27 cs.CV
Scene-Centric Unsupervised Panoptic Segmentation
TU Darmstadt（图宾根大学）；TU Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；MCML；ELIZA
该研究针对无监督全景分割问题，提出首个直接基于以场景为中心图像训练的方法，结合视觉表示、深度和运动线索生成伪标签并采用自训练策略，在Cityscapes数据集上PQ指标较现有技术提升9.4个百分点。
2025-04-02 cs.CV
U3DS$^3$: Unsupervised 3D Semantic Scene Segmentation
Durham University（杜伦大学）
本文提出U3DS$^3$，一种无需预训练和标注的完全无监督3D点云场景分割方法，通过超点生成、空间聚类和伪标签迭代训练，利用体积表示的不变性实现室内外场景分割，在ScanNet和SemanticKITTI上达到最先进性能。
2023-11-10 cs.CV
A Deep Learning-based Global and Segmentation-based Semantic Feature Fusion Approach for Indoor Scene Classification
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）；Polytechnic Institute of Tomar（托马尔理工学院）
本研究提出基于分割的语义特征（SSFs）与双分支网络GS2F2App，融合CNN全局特征与SSFs特征用于室内场景分类，在SUN RGB-D和NYU Depth V2数据集上取得SOTA结果。
2024-01-31 cs.CV
A Deep Neural Network Tool for Automatic Segmentation of Human Body Parts in Natural Scenes
National Institute of Mental Health（美国国家心理健康研究所）
这篇短文描述了一个经过训练的深度神经网络，用于在自然场景中执行人体部位的自动分割。更具体地说，我们在Pascal-Parts数据集上训练了一个具有具体dropout的贝叶斯SegNet，以预测给定帧中的每个像素是否是人的头发，头部，耳朵，眉毛，腿，手臂，嘴巴，脖子，鼻子或躯干的一部分。
2020-09-08 cs.CV eess.IV
GaussianCut: Interactive segmentation via graph cut for 3D Gaussian Splatting
University of Toronto（多伦多大学）
提出GaussianCut方法，通过将3D Gaussian Splatting场景表示为图并利用图割算法最小化能量函数，结合2D分割模型与用户输入，实现了无需额外训练的交互式3D多视角分割。
2024-11-12 cs.CV
Hierarchical Consistency Regularized Mean Teacher for Semi-supervised 3D Left Atrium Segmentation
Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
深度学习在3D左心房MR图像上实现了有前景的分割性能。然而，用于分割任务的注释是昂贵的、昂贵的并且难以获得。在本文中，我们介绍了一种新的层次一致性正则化平均教师框架的三维左心房分割。在每次迭代中，学生模型同时通过多尺度深度监督和分层一致性正则化进行优化。大量的实验表明，我们的方法实现了竞争力的性能相比，全注释，优于其他国家的最先进的半监督分割方法。
2021-08-15 cs.AI cs.CV eess.IV
Improving Nighttime Driving-Scene Segmentation via Dual Image-adaptive Learnable Filters
Zhejiang University（浙江大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；The HongKong Polytechnic University（香港理工大学）
驾驶场景图像的语义分割对于自动驾驶至关重要。虽然令人鼓舞的性能已经取得了白天的图像，夜间图像的性能不太令人满意，由于曝光不足和缺乏标记的数据。为了解决这些问题，我们提出了一个附加模块，称为双图像自适应可学习过滤器（DIAL-Filters），以提高夜间驾驶条件下的语义分割，旨在利用驾驶场景图像在不同光照下的内在特征。DIAL滤波器由两部分组成，包括图像自适应处理模块（IAPM）和可学习引导滤波器（LGF）。使用DIAL-Filters，我们为夜间驾驶场景分割设计了无监督和有监督的框架，可以以端到端的方式进行训练。具体而言，IAPM模块由具有一组可微分图像滤波器的小卷积神经网络组成，其中每个图像可以自适应地增强，以便相对于不同的照明进行更好的分割。利用LGF对分割网络的输出进行增强，得到最终的分割结果。DIAL滤镜重量轻，效率高，可以很容易地应用于白天和夜间的图像。我们的实验表明，DAIL-Filters可以显着提高ACDC_Night和NightCity数据集上的监督分割性能，同时在Dark Zurich和Nighttime Driving测试平台上展示了无监督夜间语义分割的最新性能。
2023-03-20 cs.CV
SceneCut: Joint Geometric and Object Segmentation for Indoor Scenes
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）
本文介绍了SceneCut，这是一种使用单个RGB-D图像联合发现先前未见过的对象和非对象表面的新方法。SceneCut对场景语义和几何形状的联合推理允许机器人在复杂场景中检测和分割对象实例，其中基于现代深度学习的方法无法分离对象实例，或者无法检测在训练期间未看到的对象。SceneCut自动将场景分解为表示对象或场景表面的有意义的区域。该分解是由统一的能量函数的对象和几何拟合。我们展示了如何利用分层分割树来有效地优化这个能量函数。此外，我们利用预先训练的面向卷积的边界网络来预测图像的准确边界，用于构建高质量的区域层次结构。我们在几种不同的室内环境中对SceneCut进行了评估，结果表明SceneCut的性能明显优于现有的所有方法。
2018-05-24 cs.CV cs.RO
Robust 6D Object Pose Estimation in Cluttered Scenes using Semantic Segmentation and Pose Regression Networks
University of Bonn（波恩大学）
目标位姿估计是机器人在复杂环境中进行自主操作的重要前提。仓库等现实世界的装箱设置带来了额外的挑战，例如，不断地添加新对象。大多数现有的物体姿态估计方法假设物体的3D模型是预先可用的。我们提出了一个管道，需要最少的人为干预和规避依赖的3D模型的可用性，通过快速数据采集方法和合成数据生成过程。这项工作建立在以前的工作上的语义分割的混乱bin-picking场景，以隔离在混乱的个别对象。在合成场景上训练附加网络以从从分割结果中提取的裁剪的以对象为中心的编码来估计对象姿态。所提出的方法进行评估的合成验证数据集和杂乱的现实世界的场景。
2018-10-08 cs.CV
Graph-Guided Dual-Level Augmentation for 3D Scene Segmentation
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Toronto（多伦多大学）
针对现有3D点云分割增强方法忽略全局结构依赖的问题，提出带双层约束的图引导增强框架，通过局部与全局约束生成高质量场景，提升多模型分割性能。
2025-07-30 cs.CV
Weakly Supervised Adversarial Domain Adaptation for Semantic Segmentation in Urban Scenes
Northwestern Polytechnical University（西北工业大学）
语义分割是一种像素级的视觉任务，通过使用卷积神经网络（CNN）得到了快速发展。训练CNN需要大量的标记数据，但手动注释数据很困难。为了解放人力，近年来，一些合成数据集被发布。然而，它们仍然不同于真实场景，这导致在合成数据（源域）上训练模型不能在真实城市场景（目标域）上取得良好的性能。本文提出了一种弱监督对抗性领域自适应来提高从合成数据到真实场景的分割性能，它由三个深度神经网络组成。具体而言，检测和分割（简称“DS”）模型专注于检测对象和预测分割图;像素级域分类器（简称“PDC”）试图区分图像特征来自哪些域;对象级域分类器（简称“ODC”）区分对象来自哪些域并预测对象类别。PDC和ODC被视为鉴别器，DS被视为生成器。通过对抗学习，DS应该学习域不变特征。在实验中，我们提出的方法产生了新的记录mIoU度量在同一问题。
2019-04-19 cs.CV
U4D: Unsupervised 4D Dynamic Scene Understanding
University of Surrey（萨里大学）
我们介绍了第一种方法来解决具有挑战性的问题，无监督的4D视觉场景理解的复杂动态场景与多个交互的人从多视角视频。我们的方法同时估计一个详细的模型，其中包括每像素的语义和时间相干重建，以及利用照片的一致性，语义和运动信息的实例级分割。我们进一步利用最近的进展，在三维姿态估计约束联合语义实例分割和四维时间相干重建。这使得在复杂的动态场景中的多个交互的人的每个人的语义实例分割成为可能。对具有挑战性的室内和室外序列的最先进的方法的联合视觉场景理解框架的广泛评估表明，在语义分割，重建和场景流的准确性显着（约40%）的改善。
2019-07-23 cs.CV
CLoE: Expert Consistency Learning for Robust Missing Modality Segmentation
University of Chinese Academy Sciences（中国科学院大学）；School of Medicine, Southeast University（东南大学医学院）；Zhejiang University（浙江大学）
提出CLoE框架，通过模态专家一致性和区域专家一致性双重目标，结合可靠性感知门控网络，解决多模态分割中模态缺失导致的专家分歧和不稳定融合问题，在BraTS 2020和MSD Prostate上超越现有方法。
2026-06-23 cs.AI cs.CV cs.LG
SemanticPaint: A Framework for the Interactive Segmentation of 3D Scenes
University of Oxford（牛津大学）；Stanford University（斯坦福大学）；Nankai University（南开大学）；Microsoft Research（微软研究院）
我们提出了一个开源的，实时实现的SemanticPaint，系统的几何重建，对象类分割和学习的3D场景。使用我们的系统，用户可以穿着深度相机和虚拟现实耳机走进房间，并且都密集地重建3D场景并交互地将环境分割成对象类，例如“椅子”、“地板”和“桌子”。用户与真实世界场景进行物理交互，触摸对象并使用语音命令为其分配适当的标签。这些用户生成的标签由基于在线随机森林的机器学习算法利用，该算法用于预测场景的先前不可见部分的标签。整个流水线实时的运行，用户在整个过程中保持"循环“，接收有关标记进度的即时反馈，并根据需要与场景交互，以优化预测的分割。
2015-10-13 cs.CV
Joint Stereo Video Deblurring, Scene Flow Estimation and Moving Object Segmentation
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
动态场景的立体视频通常由于相机运动和具有大深度变化的多个移动对象而显示出令人不快的模糊效果。给定连续的模糊立体视频帧，我们的目标是恢复潜在的干净图像，估计三维场景流和分割的多个运动物体。这三个任务以前被单独处理，未能利用这些任务之间的内在联系，不能实现最优。在本文中，我们建议通过利用它们的内在联系，在一个统一的框架中共同解决这三个任务。为此，我们表示的动态场景与分段平面模型，它利用局部结构的场景，并表示各种动态场景。在我们的模型下，这三个任务自然地连接在一起，并表示为三维场景结构和相机运动（动态场景的结构和运动）的参数估计。通过利用模糊模型约束，运动物体和三维场景结构，我们得到了一个能量最小化公式联合去模糊，场景流和分割。我们在合成数据集和公开可用的真实数据集上广泛评估了我们的方法，这些数据集包括快速移动的物体，相机运动，不受控制的照明条件和阴影。实验结果表明，我们的方法可以实现立体视频去模糊，场景流估计和运动对象分割，比国家的最先进的方法显着改善。
2019-10-06 cs.CV
