Weakly Supervised Adversarial Domain Adaptation for Semantic Segmentation in Urban Scenes
Northwestern Polytechnical University（西北工业大学）
语义分割是一种像素级的视觉任务，通过使用卷积神经网络（CNN）得到了快速发展。训练CNN需要大量的标记数据，但手动注释数据很困难。为了解放人力，近年来，一些合成数据集被发布。然而，它们仍然不同于真实场景，这导致在合成数据（源域）上训练模型不能在真实城市场景（目标域）上取得良好的性能。本文提出了一种弱监督对抗性领域自适应来提高从合成数据到真实场景的分割性能，它由三个深度神经网络组成。具体而言，检测和分割（简称“DS”）模型专注于检测对象和预测分割图;像素级域分类器（简称“PDC”）试图区分图像特征来自哪些域;对象级域分类器（简称“ODC”）区分对象来自哪些域并预测对象类别。PDC和ODC被视为鉴别器，DS被视为生成器。通过对抗学习，DS应该学习域不变特征。在实验中，我们提出的方法产生了新的记录mIoU度量在同一问题。
2019-04-19 cs.CV
A Dense Material Segmentation Dataset for Indoor and Outdoor Scene Parsing
Apple Inc.（苹果公司）
理解世界的一个关键算法是材料分割，它分配一个标签（金属，玻璃等）。每个像素。我们发现，在现有数据上训练的模型在某些情况下表现不佳，并建议使用44，560张室内和室外图像上的320万个密集段的大规模数据集来解决这个问题，这是现有数据的23倍。我们的数据涵盖了更多样化的场景、对象、视点和材料，并包含了更公平的皮肤类型分布。我们表明，在我们的数据上训练的模型在数据集和视点上的表现优于最先进的模型。我们提出了一个大规模的场景解析基准和基线0.729每像素的准确性，0.585平均类的准确性和0.420平均IoU在46种材料。
2022-07-21 cs.CV
Scene Invariant Crowd Segmentation and Counting Using Scale-Normalized Histogram of Moving Gradients (HoMG)
Aimetis Corp.（艾梅蒂斯公司）；University of Waterloo（滑铁卢大学）
自动人群分割和计数的问题在视频监控领域引起了极大的兴趣。本文提出了一种新的场景不变的人群分割和计数算法，设计精度高，但低计算复杂性的想法，这是广泛的工业采用的关键。一种新的低复杂度，规模归一化的功能称为直方图的移动干扰（HoMG）被引入到一个视频中的个人和人群的高效时空表示。该方法通过基于滑动窗口HoMG特征的弱分类器级联实现实时人群分割，同时采用人群区域HoMG特征的线性SVM回归实现实时人群计数。使用多摄像机人群数据集的实验结果表明，该算法显着优于国家的最先进的人群计数算法，以及实现非常有前途的人群分割结果，从而证明了该方法的高精度，实时视频驱动的人群分析的有效性。
2016-02-01 cs.CV
LSVOS 2025 Challenge Report: Recent Advances in Complex Video Object Segmentation
本报告概述了第7届LSVOS挑战赛，介绍了新增的复杂VOS（MOSEv2）赛道及其评估指标，总结了表现最佳的解决方案和新兴趋势。
2025-10-13 cs.CV
A Benchmark for Endoluminal Scene Segmentation of Colonoscopy Images
Computer Vision Center（计算机视觉中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔理工学院）；Hospital Clinic（临床医院）；Universidad de Barcelona（巴塞罗那大学）；Imagia Inc.（Imagia公司）
结直肠癌（CRC）是全球第三大癌症死亡原因。目前，降低CRC相关死亡率的标准方法是定期筛查息肉，结肠镜检查是首选的筛查工具。这种筛查方法的主要局限性是息肉的漏诊率和无法对息肉的恶性程度进行目视评估。这些缺点可以通过设计决策支持系统（DSS）来减少，该决策支持系统旨在通过提供腔内场景分割来帮助临床医生在手术的不同阶段。因此，在本文中，我们介绍了一个扩展的基准结肠镜图像，希望建立一个新的强大的基准结肠镜图像分析研究。我们通过训练标准全卷积网络（FCN）进行语义分割，并在没有任何进一步后处理的情况下显著优于先前的腔内场景分割结果，从而在此数据集上提供新的基线。
2016-12-02 cs.CV
KDTwin: Task-Aware Knowledge Distillation for Lightweight Multi-Task Driving Scene Segmentation
KDTwin提出任务感知知识蒸馏框架，通过编码器成对蒸馏和任务特定解码器损失，在不增加推理开销下提升轻量级多任务驾驶场景分割性能。
2026-09-17 cs.CV
SeasoNet: A Seasonal Scene Classification, segmentation and Retrieval dataset for satellite Imagery over Germany
TU Dortmund University（多特蒙德工业大学）
本文介绍了一种新的大规模多标签土地覆盖和土地利用场景理解数据集SeasoNet。它包括来自Sentinel-2磁贴的$1\,759\,830$图像，具有12个光谱波段和高达$ 120 \ \mathrm{px} \times 120 \ \mathrm{px}$的补丁大小。每个图像都使用德国土地覆盖模型LBM-DE 2018的大尺度像素级标签进行注释，土地覆盖类别基于CORINE土地覆盖数据库（CLC）2018和比原始CLC地图小五倍的最小映射单元（MMU）。我们提供了四季的像素同步示例，外加一个额外的雪景集。这些属性使SeasoNet成为目前最通用和最大的遥感场景理解数据集，其可能的应用范围从土地覆盖映射的场景分类到基于内容的跨季节图像检索和自监督特征学习。我们通过在场景分类和语义分割场景中对新数据集进行最先进的深度网络评估来提供基线结果。
2022-07-19 cs.CV
A Curriculum Domain Adaptation Approach to the Semantic Segmentation of Urban Scenes
在过去的五年中，卷积神经网络（CNN）已经战胜了语义分割，这是自动驾驶和增强现实等许多应用的核心任务之一。然而，训练CNN需要大量的数据，这些数据很难收集并且注释起来很费力。计算机图形学的最新进展使得在具有计算机生成的注释的照片级真实感合成图像上训练CNN成为可能。尽管如此，真实图像和合成数据之间的域不匹配阻碍了模型的性能。因此，我们提出了一种学习风格的学习方法，以最大限度地减少城市场景语义分割的领域差距。课程领域自适应首先解决简单的任务，以推断目标域的必要属性;特别是，第一个任务是学习图像上的全局标签分布和地标超像素上的局部分布。这些很容易估计，因为城市场景的图像具有很强的特质（例如，建筑物、街道、汽车等的尺寸和空间关系）。然后，我们训练一个分割网络，同时在目标域中对其预测进行正则化，以遵循这些推断的属性。在实验中，我们的方法优于两个数据集和两个骨干网络的基线。我们还报告了关于我们方法的广泛消融研究。
2019-01-10 cs.CV
Beyond Visual Boundaries: Rethinking Scene Segmentation for Movie RAG
Korea University（高丽大学）；KAIST（韩国科学技术院）
本文针对电影RAG场景，发现现有场景分割方法不如均匀时间分块，提出以叙事为核心的NarraScene数据集，其生成的片段作为检索单元可提升下游电影理解任务性能。
2026-11-06 cs.CV
STSeg-Complex Video Object Segmentation: The 1st Solution for 4th PVUW MOSE Challenge
Xidian University（西安电子科技大学）
本文提出STSeg方案，通过微调SAM2和TMO并结合自适应伪标签引导的模型精化流水线，在第四届PVUW MOSE挑战赛中以87.26%的J&F分数获得第一名。
2025-04-11 cs.CV
The 1st Solution for MOSEv2 Challenge 2025: Long-term and Concept-aware Video Segmentation via SeC
Tsinghua University（清华大学）；University of Oxford（牛津大学）；University of Warwick（华威大学）；City University of Macau（澳门城市大学）
本文提出基于增强 SAM-2 框架 SeC 的解决方案，利用长期记忆与概念感知记忆应对半监督视频目标分割中的遮挡与干扰问题，在 LSVOS 挑战赛 MOSEv2 赛道以 39.89% JF 分数获得第一名。
2025-09-23 cs.CV
MOSE: Boosting Vision-based Roadside 3D Object Detection with Scene Cues
Hikvision Research Institute（海康威视研究院）
本文提出MOSE框架，通过场景线索库聚合多帧帧不变场景特征，并结合transformer解码器与3D位置嵌入提升路侧单目3D检测性能。
2024-04-08 cs.CV
Weak Supervision for Generating Pixel-Level Annotations in Scene Text Segmentation
University of Siena（锡耶纳大学）
为场景文本分割提供像素级监督本质上是困难和昂贵的，因此只有很少的小数据集可用于此任务。为了面对训练数据的稀缺性，基于卷积神经网络（CNN）的先前方法依赖于使用合成数据集进行预训练。然而，合成数据不能再现自然图像的复杂性和可变性。在这项工作中，我们建议使用弱监督学习的方法来减少合成和真实数据之间的域转移。利用COCO-Text和MLT数据集的边界框监督，我们生成真实图像的弱像素级监督。特别地，创建并发布COCO-文本-分割（COCO_TS）和MLT-分割（MLT_S）数据集。这两个数据集用于训练一个CNN，分割多尺度注意力网络（SMANet），它是专门设计来面对场景文本分割任务的一些特点。SMANet在所提出的数据集上进行端到端训练，实验表明COCO_TS和MLT_S是合成图像的有效替代方案，允许仅使用一小部分训练样本并显着提高性能。
2019-11-19 cs.CV cs.LG eess.IV
2nd Place Solution for MOSE Track in CVPR 2024 PVUW workshop: Complex Video Object Segmentation
Meitu Inc（美图公司）
针对 MOSE 复杂视频对象分割难题，提出结合实例分割生成预训练数据、COCO 对象增强、运动模糊训练及 TTA 与记忆策略的方案，获 PVUW 2024 赛道第二名。
2024-06-12 cs.CV
1st Place Solution for MOSE Track in CVPR 2024 PVUW Workshop: Complex Video Object Segmentation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；University of California at Merced（加州大学默塞德分校）
针对复杂场景中目标遮挡和分裂导致的定义模糊问题，本文提出语义嵌入视频目标分割模型，以目标显著特征作为查询表示，在 PVUW 2024 复杂视频目标分割赛道测试集上以 84.45% 取得第一名。
2024-06-07 cs.CV
Competitive Memory Readout for Robust Video Object Segmentation: 2nd Place Technical Report for the MOSEv2 Track of the 8th LSVOS Challenge
School of Computer Science, University of Sheffield（谢菲尔德大学计算机学院）；Department of Automation, Tsinghua University（清华大学自动化系）
本研究针对第8届LSVOS挑战赛MOSEv2赛道提出基于SAM~3的改进方法，通过竞争性记忆读出机制提升鲁棒视频目标分割性能，获该赛道第2名。
2026-08-25 cs.CV
2nd Place Report of MOSEv2 Challenge 2025: Concept Guided Video Object Segmentation via SeC
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
本文评估 SeC 框架在 MOSEv2 上的零样本半监督视频对象分割性能，借助 LVLM 的概念语义理解，在未微调情况下取得 39.7 J&F 并获 Complex VOS 赛道第二名。
2025-09-28 cs.CV
Advancing Complex Video Object Segmentation via Tracking-Enhanced Prompt: The 1st Winner for 5th PVUW MOSE Challenge
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；Shenzhen Loop Area Institute, China（深圳市环区研究所）
本文提出TEP方法，通过跟踪增强提示解决SAM3在处理小目标和语义主导对象时的不足，取得PVUW挑战赛优异成绩。
2026-04-01 cs.CV
3rd Place Solution for MOSE Track in CVPR 2024 PVUW workshop: Complex Video Object Segmentation
Xidian University（西安电子科技大学）
本文基于Cutie模型研究目标记忆、记忆帧数和输入分辨率对视频目标分割的影响，在MOSE数据集上以0.8139的J&F分数获得CVPR 2024 PVUW研讨会第三名。
2024-06-06 cs.AI cs.CV
The 1st Solution for MOSEv1 Challenge on LSVOS 2025: CGFSeg
Nanjing University of Science and Technology（南京理工大学）
针对复杂真实场景下视频目标分割的挑战，提出置信度引导融合分割方法CGFSeg，通过冻结SAM2特征提取器微调其余组件、引入像素检查策略融合多模型优势，在LSVOS 2025 MOSEv1挑战赛中获第一名。
2025-09-30 cs.CV
Enriched Feature Representation and Motion Prediction Module for MOSEv2 Track of 7th LSVOS Challenge: 3rd Place Solution
Computer Vision Lab., Department of Computer Science, Hanyang University（计算机视觉实验室，计算机科学系，翰林大学）
本文提出SCOPE框架，通过将SAM2的ViT编码器替换Cutie编码器并引入运动预测模块，结合集成策略，在第7届LSVOS挑战赛MOSEv2赛道取得第三名。
2025-09-19 cs.CV
FVOS for MOSE Track of 4th PVUW Challenge: 3rd Place Solution
International Joint Research Center for Intelligent Perception and Computation（智能感知与计算国际联合研究中心）
针对现有视频目标分割方法在复杂场景表现不佳的问题，提出FVOS方法，通过定制化训练优化现有方法并引入形态学后处理与多尺度投票融合策略，在相关挑战赛中获第三名，验证和测试J&F分数分别达76.81%和83.92%。
2025-04-13 cs.CV
VOS-Agent: The 1st Place Solution for the 8th LSVOS Challenge (MOSEv2 Track)
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Nanyang Technological University（南洋理工大学）；Shenzhen Loop Area Institute（深圳河套学院）
针对复杂视频目标分割中微小目标、语义主导目标的稳健传播难题，本文提出VOS-Agent协作框架，以SAM3为共享密集分割模块，根据目标特征激活专用智能体，在ECCV 2026第8届LSVOS挑战赛MOSEv2赛道获第一名，J&JF指标达69.82%。
2026-08-14 cs.CV
SceneEncoder: Scene-Aware Semantic Segmentation of Point Clouds with A Learnable Scene Descriptor
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；School of Computer Science and Software Engineering, East China Normal University（华东师范大学计算机科学与软件工程学院）
在语义分割中，除了局部特征外，全局信息也起着至关重要的作用，但目前的研究工作往往未能明确地提取出有意义的全局信息并充分利用它，本文提出了一种场景编码器模块，以增强全局信息的场景感知引导效果。该模块预测一个场景描述符，该描述符学习表示场景中存在的对象的类别，并通过过滤掉不属于该场景的类别来直接指导点级语义分割。此外，为了减少局部区域的分割噪声，设计了一种区域相似性损失机制，将区分特征传播到具有相同标签的相邻点，从而增强了逐点特征的区分能力。我们将我们的方法集成到几个流行的网络中，并在基准数据集ScanNet和ShapeNet上进行了广泛的实验。结果表明，我们的方法大大提高了基线的性能，达到了最先进的性能。
2020-01-24 cs.CV
Finite State Machines for Semantic Scene Parsing and Segmentation
CNRS（法国国家科学研究中心）；LIP6 Lab（巴黎第六大学信息学实验室）；Sorbonne University（索邦大学）
在这项工作中，我们引入了一种新的随机推理过程，场景注释和对象类分割，基于有限状态机（FSM）。我们的框架的设计原则是生成的，并基于建筑，对于一个给定的场景，有限状态机编码的注释格，和推理包括在寻找和评分的最佳配置，在这些格。使用我们的FSM框架定义了不同的新操作，包括重新排序，分割，视觉转换和标签依赖建模。所有这些操作结合在一起，以实现注释以及对象类分割。
2018-12-27 cs.CV
Real-time Progressive 3D Semantic Segmentation for Indoor Scene
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Tokyo（东京大学）；Deakin University（迪肯大学）；Hong Kong University of Science and Technology（香港科技大学）
无人机和辅助机器人等自主系统的广泛采用产生了对实时的【形】高质量语义场景分割的需求。在本文中，我们提出了一个有效的，但强大的技术，在飞行密集重建和语义分割的三维室内场景。为了保证（近）实时的【形】性能，我们的方法是建立在一个高效的超体素聚类方法和一个条件随机场与高阶约束的结构和对象线索，使渐进密集语义分割，而无需任何预先计算。我们在SceneNN和ScanNet数据集中的不同室内场景（包括厨房，办公室和卧室）上广泛评估了我们的方法，并表明我们的技术在定性和定量实验中始终产生最先进的分割结果。
2019-04-05 cs.CV
Semantic Scene Segmentation for Robotics Applications
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
语义场景分割在广泛的机器人应用中起着关键作用，例如，自主导航这些应用都伴随着特定的计算限制，例如，在低功耗GPU上以足够的速度运行，并且还用于高分辨率输入。现有的最先进的分割模型提供了不同设置下的评估结果，主要考虑高功率GPU。在本文中，我们研究了最成功的语义场景分割模型的行为，在部署（推理）速度方面，在各种设置（GPU，输入大小等）。in the context上下文of robotics机器人applications应用.这项工作的目标是提供一个比较研究，目前国家的最先进的分割模型，以选择最符合机器人应用程序的要求。
2021-08-25 cs.CV
Panoptic 3D Scene Reconstruction From a Single RGB Image
Technical University of Munich（慕尼黑工业大学）
从单个图像中理解3D场景是各种任务的基础，例如机器人、运动规划或增强现实。现有的从单个RGB图像进行3D感知的工作倾向于仅关注几何重建，或者关注具有语义分割或实例分割的几何重建。受2D全景分割的启发，我们提出将几何重建、3D语义分割和3D实例分割的任务统一到全景3D场景重建的任务中-从单个RGB图像，预测图像的相机截头体中场景的完整几何重建，以及语义和实例分割。因此，我们提出了一种新的方法，从一个单一的RGB图像的整体三维场景理解，学习提升和传播2D功能从输入图像的三维体积场景表示。我们证明，这种整体视图的联合场景重建，语义，和实例分割是有益的独立处理的任务，从而优于其他方法。
2022-05-16 cs.CV
Loci-Segmented: Improving Scene Segmentation Learning
University of Tübingen（蒂宾根大学）
提出Loci-Segmented系统，无需背景信息或槽分配即可动态分割场景为可解释的背景和槽对象编码，在MOVi等数据集上视频分解性能大幅提升，可作为下游任务基础模型。
2024-02-06 cs.CV
Re-Prompting SAM 3 via Object Retrieval: 3rd of the 5th PVUW MOSE Track
School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）；Department of Automation, Tsinghua University（清华大学自动化系）
本文基于SAM 3开发自动重新提示框架，通过目标检索提升视频目标分割的鲁棒性，实现51.17%的J&F成绩，在MOSEv2 Track中排名第三。
2026-03-24 cs.CV
Fused Text Segmentation Networks for Multi-oriented Scene Text Detection
Shanghai Jiao Tong University（上海交通大学）；Westone Cryptologic Research Center（威斯顿密码学研究中心）；Xiamen No.1 High School（厦门第一中学）
本文从实例感知的语义分割角度提出了一种面向多方向场景文本检测的端-端框架。我们提出了融合文本分割网络，它在特征提取过程中结合了多层次特征，因为文本实例可能依赖于比一般对象更精细的特征表达。该算法结合语义分割任务和基于区域建议的目标检测任务的优点，同时对文本实例进行检测和分割。在不涉及任何额外管道的情况下，我们的方法在多方向场景文本检测基准上超过了当前最先进的水平：ICDAR 2015偶然场景文本和MSRA-TD 500分别达到Hmean 84.1%和82.0%。此外，我们报告了包含弯曲文本的总文本的基线，这表明所提出的方法的有效性。
2018-05-07 cs.CV
SPNeRF: Open Vocabulary 3D Neural Scene Segmentation with Superpoints
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
针对CLIP图像嵌入缺乏3D分割所需几何细节、现有方法易致冗余或语言能力损失的问题，提出基于NeRF的零样本3D分割方法SPNeRF，整合几何先验生成基元级CLIP特征并辅以亲和度增强的合并机制，在无额外分割模型的情况下较LERF取得显著提升。
2025-03-19 cs.CV
In-Place Panoptic Radiance Field Segmentation with Perceptual Prior for 3D Scene Understanding
针对现有3D场景全景理解方法存在的映射不准、复杂场景处理难及伪标签噪声等问题，提出带感知先验引导的神经辐射场全景分割方法，通过同步多模态学习与扩展级联网格提升泛化性，实验验证其能有效提升3D场景表征与分割精度。
2024-10-06 cs.CV
Cascaded Scene Flow Prediction using Semantic Segmentation
Brown University（布朗大学）；NVIDIA（英伟达）；UC Irvine（加州大学欧文分校）
给定来自一对立体相机的两个连续帧，3D场景流方法同时估计所观察场景的3D几何形状和运动。许多现有的方法使用超像素进行正则化，但可能会预测刚性移动对象内部不一致的形状和运动。相反，我们假设场景由在静态背景前面刚性移动的前景对象组成，并使用语义线索来产生像素精确的场景流估计。我们的级联分类框架通过迭代地改进语义分割掩模、立体对应、3D刚性运动估计和光流场来精确地建模3D场景。我们在具有挑战性的KITTI自动驾驶基准上评估了我们的方法，并表明考虑分段车辆的运动会带来最先进的性能。
2017-10-05 cs.CV
A Bag of Words Approach for Semantic Segmentation of Monitored Scenes
iWatchLife Inc.（iWatchLife公司）
提出了一种针对监控摄像机拍摄的室外场景的语义分割方法。我们的算法将每个感知同质区域分类为从手动标记的图像集合中学习的预定义类之一。所提出的方法结合了两种不同类型的信息。首先，执行颜色分割以将场景划分为感知上相似的区域。然后，第二步是基于SIFT关键点，并使用词袋表示的区域进行分类。使用朴素贝叶斯网络作为生成分类器进行预测。与现有技术相比，我们的方法提供了更紧凑的场景内容的表示和分割结果是更符合人类的感知，由于结合的颜色信息与图像的关键点。在公开数据集上进行的实验证明了该方法的有效性。
2013-05-14 cs.CV
Self-attention on Multi-Shifted Windows for Scene Segmentation
University of Technology Sydney（悉尼科技大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
图像中的场景分割是视觉内容理解中的一个基本而又具有挑战性的问题，即学习一个模型来为图像中的每个像素分配一个分类标签。这种学习任务的挑战之一是考虑空间和语义关系以获得描述性特征表示，因此从多个尺度学习特征图是场景分割中的常见做法。在本文中，我们探讨了多尺度图像窗口内的自注意力的有效使用，以学习描述性的视觉特征，然后提出了三种不同的策略来聚合这些特征图解码的特征表示密集预测。我们的设计是基于最近提出的Swin Transformer模型，它完全放弃了卷积运算。通过简单而有效的多尺度特征学习和聚合，我们的模型在PASCAL VOC 2012，COCO-Stuff 10 K，ADE 20 K和Cityscapes四个公共场景分割数据集上取得了非常有前途的性能。
2022-07-10 cs.CV
NeRF-SOS: Any-View Self-supervised Object Segmentation on Complex Scenes
University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经体积表示已经表明，多层感知机（MLP）可以通过多视图校准图像进行优化，以表示场景几何形状和外观，而无需显式3D监督。基于学习的辐射场，对象分割可以丰富许多下游应用。然而，引入手工制作的分割来定义复杂的真实世界场景中的感兴趣区域是不平凡的和昂贵的，因为它需要每个视图注释。针对复杂的真实场景，利用NeRF进行了自监督学习的目标分割探索。我们的框架，称为NeRF与自监督对象分割NeRF-SOS，耦合对象分割和神经辐射场分割对象在场景内的任何视图。通过在外观和几何级别提出一种新的协作对比损失，NeRF-SOS鼓励NeRF模型从其密度场和自监督预训练的2D视觉特征中提取紧凑的几何感知分割集群。自监督对象分割框架可以应用于各种NeRF模型，这些模型可以为室内和室外场景提供照片般逼真的渲染结果和令人信服的分割图。LLFF、Tank & Temple和BlendedMVS数据集上的大量结果验证了NeRF-SOS的有效性。它始终优于其他基于2D的自监督基线，并预测比现有监督同行更精细的语义掩码。请参阅我们项目页面上的视频了解更多详情：https://zhiwenfan.github.io/NeRF-SOS。
2022-10-12 cs.CV
UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes
Technical University of Munich（慕尼黑工业大学）；Technion（以色列理工学院）；NVIDIA（英伟达）
UnScene3D提出首个全无监督室内三维实例分割方法，利用自监督颜色与几何特征生成伪掩码并结合几何过分割与自训练，将平均精度提升超过300%。
2024-04-30 cs.CV
Cars Can't Fly up in the Sky: Improving Urban-Scene Segmentation via Height-driven Attention Networks
LG Electronics（LG电子）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Korea University（高丽大学）；KAIST（韩国科学技术院）
本文利用城市场景图像的内在特征，提出了一个通用的附加模块，称为高度驱动的注意力网络（HANet），用于改善城市场景图像的语义分割。它根据像素的垂直位置有选择地强调信息特征或类别。在城市场景图像的水平分割部分中，像素级分布彼此之间存在显著差异。同样，城市场景图像也有其独特的特征，但大多数语义分割网络并没有在架构中反映这些独特的属性。建议的网络架构采用的能力，利用属性，有效地处理城市场景数据集。我们验证了一致的性能（mIoU）增加的各种语义分割模型在两个数据集时，采用HANet。这种广泛的定量分析表明，将我们的模块添加到现有模型中是简单且具有成本效益的。我们的方法在Cityscapes基准测试中实现了新的最先进的性能，在基于ResNet-101的分割模型中具有很大的优势。此外，我们表明，所提出的模型是一致的，在城市场景中观察到的事实，通过可视化和解释的注意力地图。我们的代码和训练模型可在https://github.com/shachoi/HANet上公开获取
2020-04-07 cs.CV
Learning Dilation Factors for Semantic Segmentation of Street Scenes
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Mannheim（曼海姆大学）
上下文信息是语义分割的关键。然而，找到保持所需的精细细节和同时提供足够大的感受野之间的最佳权衡是不平凡的。当图像中存在的对象或类在大小上显著变化时，情况更是如此。扩张卷积已被证明对于语义分割是有价值的，因为它们允许在不牺牲图像分辨率的情况下增加感受野的大小。然而，在当前最先进的方法中，膨胀参数是手动调整和固定的。在本文中，我们提出了一种方法，用于学习膨胀参数自适应每个通道，不断提高语义分割的街景数据集，如Cityscapes和Camvid的结果。
2017-09-06 cs.CV
Seamless Scene Segmentation
Mapillary Research（Mapillary研究院）
在这项工作中，我们介绍了一种新颖的，基于CNN的架构，可以进行端到端的训练，以提供无缝的场景分割结果。我们的目标是通过全景输出格式预测一致的语义分割和检测结果，超越了独立训练的分割和检测模型的简单组合。所提出的架构利用了一种新型的分割头，该分割头将特征金字塔网络生成的多尺度特征与轻量级DeepLab类模块传达的上下文信息无缝集成。作为额外的贡献，我们审查的panoptic指标，并提出了一种替代方案，克服了其局限性时，评估非实例类别。我们提出的网络架构在三个具有挑战性的街道级数据集上产生了最先进的结果，即城市景观，印度驾驶数据集和Mapillary Vistas。
2019-05-03 cs.CV
Semantic Segmentation-assisted Scene Completion for LiDAR Point Clouds
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
室外场景补全是三维场景理解中的一个具有挑战性的问题，在智能机器人和自动驾驶中起着重要作用。由于激光雷达数据的稀疏性，使得三维场景的补全和语义分割变得更加复杂。由于语义特征可以为完成任务提供约束和语义先验，因此它们之间的关系值得探讨。因此，我们提出了一个端到端的语义分割辅助场景完成网络，包括一个2D完成分支和一个3D语义分割分支。具体地说，该网络以原始点云作为输入，并将分割分支的特征分层合并到完成分支中以提供语义信息。通过采用BEV表示和3D稀疏卷积，我们可以在保持有效表达的同时受益于较低的操作数。此外，分割分支的解码器被用作辅助，可以在推理阶段丢弃，以节省计算消耗。大量的实验表明，我们的方法在SemanticKITTI数据集上具有低延迟的竞争力。代码和模型将在https://github.com/jokester-zzz/SSA-SC上发布。
2021-09-23 cs.CV
Shift-Memory Network for Temporal Scene Segmentation
Indiana University – Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
语义分割在理解空间布局方面取得了很大的准确性。对于基于动态场景的实时任务，我们扩展了时间域的语义分割，以提高运动的空间精度。我们在流输入上利用移位模式网络来确保零延迟输出。针对移动网络下的数据重叠问题，提出了跨网络层的固定周期重复计算的识别方法。为了避免这种冗余，我们从编码-解码基线中推导出移位记忆网络（SMN），以重用网络值而不损失精度。在补丁模式下训练，SMN提取网络参数，以便SMN在紧凑的存储器中迅速执行推理。我们从1D扫描输入和2D视频中分割动态场景。SMN的实验达到了与移位模式相当的精度，但推理速度更快，存储量更小。这将促进边缘设备上的实时应用中的语义分割。
2022-02-17 cs.CV
PixelLink: Detecting Scene Text via Instance Segmentation
Zhejiang University（浙江大学）；CVTE Research（CVTE研究院）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
大多数最先进的场景文本检测算法是基于深度学习的方法，其依赖于限界框回归并执行至少两种预测：文本/非文本分类和位置回归。在这些方法中，回归在边界框的获取中起着关键作用，但它不是必不可少的，因为文本/非文本预测也可以被认为是一种本身包含完整位置信息的语义分割。然而，场景图像中的文本实例通常彼此非常接近，使得它们很难通过语义分割分离。因此，需要实例分割来解决这个问题。提出了一种基于实例分割的场景文本检测算法PixelLink。文本实例首先通过将同一实例中的像素链接在一起来分割。然后直接从分割结果中提取文本边界框，而无需位置回归。实验表明，与基于回归的方法相比，PixelLink在多个基准测试中可以获得更好或相当的性能，同时需要更少的训练迭代次数和更少的训练数据。
2018-01-04 cs.CV
EFEM: Equivariant Neural Field Expectation Maximization for 3D Object Segmentation Without Scene Supervision
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
我们介绍了等变神经场期望最大化（EFEM），这是一种简单，有效，鲁棒的几何算法，可以分割3D场景中的对象，而无需对场景进行注释或训练。我们实现了这样的无监督分割，利用单个对象的形状先验。我们朝这个方向迈出了两步。首先，我们引入等变形状表示这个问题，以消除由对象配置的变化引起的复杂性。其次，我们提出了一种新的EM算法，可以迭代细化分割掩模使用等变形状先验。我们收集了一个新的真实数据集椅子和杯子，其中包含各种对象配置和新的场景，以验证我们的方法的有效性和鲁棒性。实验结果表明，我们的方法在不同的场景中实现了一致和鲁棒的性能，（弱）监督方法可能会失败。代码和数据可在https://www.cis.upenn.edu/~leijh/projects/efem上获得
2023-03-27 cs.CV
Scene-Centric Unsupervised Panoptic Segmentation
TU Darmstadt（图宾根大学）；TU Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；MCML；ELIZA
该研究针对无监督全景分割问题，提出首个直接基于以场景为中心图像训练的方法，结合视觉表示、深度和运动线索生成伪标签并采用自训练策略，在Cityscapes数据集上PQ指标较现有技术提升9.4个百分点。
2025-04-02 cs.CV
U3DS$^3$: Unsupervised 3D Semantic Scene Segmentation
Durham University（杜伦大学）
本文提出U3DS$^3$，一种无需预训练和标注的完全无监督3D点云场景分割方法，通过超点生成、空间聚类和伪标签迭代训练，利用体积表示的不变性实现室内外场景分割，在ScanNet和SemanticKITTI上达到最先进性能。
2023-11-10 cs.CV
A Deep Learning-based Global and Segmentation-based Semantic Feature Fusion Approach for Indoor Scene Classification
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）；Polytechnic Institute of Tomar（托马尔理工学院）
本研究提出基于分割的语义特征（SSFs）与双分支网络GS2F2App，融合CNN全局特征与SSFs特征用于室内场景分类，在SUN RGB-D和NYU Depth V2数据集上取得SOTA结果。
2024-01-31 cs.CV
GaussianCut: Interactive segmentation via graph cut for 3D Gaussian Splatting
University of Toronto（多伦多大学）
提出GaussianCut方法，通过将3D Gaussian Splatting场景表示为图并利用图割算法最小化能量函数，结合2D分割模型与用户输入，实现了无需额外训练的交互式3D多视角分割。
2024-11-12 cs.CV
Improving Nighttime Driving-Scene Segmentation via Dual Image-adaptive Learnable Filters
Zhejiang University（浙江大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；The HongKong Polytechnic University（香港理工大学）
驾驶场景图像的语义分割对于自动驾驶至关重要。虽然令人鼓舞的性能已经取得了白天的图像，夜间图像的性能不太令人满意，由于曝光不足和缺乏标记的数据。为了解决这些问题，我们提出了一个附加模块，称为双图像自适应可学习过滤器（DIAL-Filters），以提高夜间驾驶条件下的语义分割，旨在利用驾驶场景图像在不同光照下的内在特征。DIAL滤波器由两部分组成，包括图像自适应处理模块（IAPM）和可学习引导滤波器（LGF）。使用DIAL-Filters，我们为夜间驾驶场景分割设计了无监督和有监督的框架，可以以端到端的方式进行训练。具体而言，IAPM模块由具有一组可微分图像滤波器的小卷积神经网络组成，其中每个图像可以自适应地增强，以便相对于不同的照明进行更好的分割。利用LGF对分割网络的输出进行增强，得到最终的分割结果。DIAL滤镜重量轻，效率高，可以很容易地应用于白天和夜间的图像。我们的实验表明，DAIL-Filters可以显着提高ACDC_Night和NightCity数据集上的监督分割性能，同时在Dark Zurich和Nighttime Driving测试平台上展示了无监督夜间语义分割的最新性能。
2023-03-20 cs.CV
Robust 6D Object Pose Estimation in Cluttered Scenes using Semantic Segmentation and Pose Regression Networks
University of Bonn（波恩大学）
目标位姿估计是机器人在复杂环境中进行自主操作的重要前提。仓库等现实世界的装箱设置带来了额外的挑战，例如，不断地添加新对象。大多数现有的物体姿态估计方法假设物体的3D模型是预先可用的。我们提出了一个管道，需要最少的人为干预和规避依赖的3D模型的可用性，通过快速数据采集方法和合成数据生成过程。这项工作建立在以前的工作上的语义分割的混乱bin-picking场景，以隔离在混乱的个别对象。在合成场景上训练附加网络以从从分割结果中提取的裁剪的以对象为中心的编码来估计对象姿态。所提出的方法进行评估的合成验证数据集和杂乱的现实世界的场景。
2018-10-08 cs.CV
Graph-Guided Dual-Level Augmentation for 3D Scene Segmentation
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Toronto（多伦多大学）
针对现有3D点云分割增强方法忽略全局结构依赖的问题，提出带双层约束的图引导增强框架，通过局部与全局约束生成高质量场景，提升多模型分割性能。
2025-07-30 cs.CV
U4D: Unsupervised 4D Dynamic Scene Understanding
University of Surrey（萨里大学）
我们介绍了第一种方法来解决具有挑战性的问题，无监督的4D视觉场景理解的复杂动态场景与多个交互的人从多视角视频。我们的方法同时估计一个详细的模型，其中包括每像素的语义和时间相干重建，以及利用照片的一致性，语义和运动信息的实例级分割。我们进一步利用最近的进展，在三维姿态估计约束联合语义实例分割和四维时间相干重建。这使得在复杂的动态场景中的多个交互的人的每个人的语义实例分割成为可能。对具有挑战性的室内和室外序列的最先进的方法的联合视觉场景理解框架的广泛评估表明，在语义分割，重建和场景流的准确性显着（约40%）的改善。
2019-07-23 cs.CV
SemanticPaint: A Framework for the Interactive Segmentation of 3D Scenes
University of Oxford（牛津大学）；Stanford University（斯坦福大学）；Nankai University（南开大学）；Microsoft Research（微软研究院）
我们提出了一个开源的，实时实现的SemanticPaint，系统的几何重建，对象类分割和学习的3D场景。使用我们的系统，用户可以穿着深度相机和虚拟现实耳机走进房间，并且都密集地重建3D场景并交互地将环境分割成对象类，例如“椅子”、“地板”和“桌子”。用户与真实世界场景进行物理交互，触摸对象并使用语音命令为其分配适当的标签。这些用户生成的标签由基于在线随机森林的机器学习算法利用，该算法用于预测场景的先前不可见部分的标签。整个流水线实时的运行，用户在整个过程中保持"循环“，接收有关标记进度的即时反馈，并根据需要与场景交互，以优化预测的分割。
2015-10-13 cs.CV
