Towards Robust Semantic Segmentation of Accident Scenes via Multi-Source Mixed Sampling and Meta-Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
自动驾驶汽车利用城市场景分割来像人类一样理解现实世界并做出相应的反应。普通场景的语义分割在传统基准上的准确性有了显著的提高。然而,现实生活中的事故中有很大一部分具有异常场景,例如物体变形,翻倒和意外的交通行为。由于即使是很小的错误分割的驾驶场景可能会导致严重的威胁到人类的生命,在事故场景中,这些模型的鲁棒性是一个非常重要的因素,在确保智能交通系统的安全。在本文中,我们提出了一个多源元学习无监督领域自适应(MMUDA)框架,以提高分割Transformers器极端事故场景的泛化能力。在MMUDA中,我们使用多域混合采样来增强多个源域的图像(正常场景)与目标数据外观(异常场景)。为了训练我们的模型,我们在多源设置中插入和学习元学习策略,以增强分割结果的鲁棒性。我们进一步增强了分割骨干(SegFormer)与HybridASPP解码器设计,具有大窗口注意力空间金字塔池和条带池,有效地聚合长距离上下文依赖。我们的方法在DADA-seg基准测试中获得了46.97%的mIoU分数,超过了之前最先进的模型7.50%以上。代码将在https://github.com/xinyu-laura/MMUDA上公开。
2022-03-19 cs.CV cs.RO eess.IV
Value of Temporal Dynamics Information in Driving Scene Segmentation
Massachusetts Institute of Technology (MIT)(麻省理工学院);Collaborative Safety Research Center, Toyota Motor North America(丰田北美汽车公司协作安全研究中心)
语义场景分割主要通过用监督和非监督方法形成单个图像的表示来解决。动态场景中的语义分割问题最近开始受到视频对象分割方法的关注。不知道的是,视觉场景的时间动态携带了多少额外的信息,这些信息与视频的各个帧中可用的信息互补。有证据表明,人类视觉系统可以有效地感知场景的时间动态信息的场景的变化的视觉特性,而不依赖于个人快照本身的视觉特性。我们的工作采取步骤,探索机器感知是否可以表现出类似的属性,通过结合基于外观的表示和时间动态表示在一个联合学习的问题,揭示了每个对成功的动态场景分割的贡献。此外,我们还提供了MIT驾驶场景分割数据集,这是一个大规模的完整驾驶场景分割数据集,为每个像素和5,000个视频帧中的每一个都进行了密集注释。该数据集旨在帮助进一步探索视频中的语义分割的时间动态信息的价值。
2019-03-21 cs.CV cs.NE
SIn-NeRF2NeRF: Editing 3D Scenes with Instructions through Segmentation and Inpainting
KAIST(韩国科学技术院)
本文提出SIn-NeRF2NeRF方法,通过将3D对象与背景场景分离,分别进行对象分割和背景修复,实现对3D场景中对象几何变化的选择性编辑。
2024-08-23 cs.AI cs.CV
Scene-aware SAR ship detection guided by unsupervised sea-land segmentation
Chongqing Metropolitan College of Science and Technology(重庆城市科技学院)
本文提出了一种基于无监督海陆分割的场景感知SAR船舶检测方法,通过增强模型的海陆分割能力提升远海检测性能。
2025-12-18 cs.AI cs.CV
Finite State Machines for Semantic Scene Parsing and Segmentation
CNRS(法国国家科学研究中心);LIP6 Lab(巴黎第六大学信息学实验室);Sorbonne University(索邦大学)
在这项工作中,我们引入了一种新的随机推理过程,场景注释和对象类分割,基于有限状态机(FSM)。我们的框架的设计原则是生成的,并基于建筑,对于一个给定的场景,有限状态机编码的注释格,和推理包括在寻找和评分的最佳配置,在这些格。使用我们的FSM框架定义了不同的新操作,包括重新排序,分割,视觉转换和标签依赖建模。所有这些操作结合在一起,以实现注释以及对象类分割。
2018-12-27 cs.CV
Towards holistic scene understanding: Semantic segmentation and beyond
Eindhoven University of Technology(埃因霍温理工大学);University of Gent(根特大学);TU Delft(代尔夫特理工大学);NTU Athens(雅典国家技术大学);Vicomtech(Vicomtech 技术中心)
本论文致力于视觉场景理解,提高分割性能和泛化能力,提高网络的训练效率和整体理解能力。首先,我们研究语义分割的背景下,街道场景和训练语义分割网络上的各种数据集的组合。在第2章中,我们设计了一个基于单个卷积主干的分层分类器框架,并在像素标记数据集的组合上进行端到端的训练,提高了泛化能力和可识别语义概念的数量。第三章重点研究了弱监督对语义分割的改进,提出了一种基于限界框和图像两级监督的弱监督分割算法。在多个数据集上同时训练所带来的内存和计算负载挑战将在第4章中讨论。我们提出了两种方法,用于从监管薄弱的数据集中选择信息丰富且多样化的样本,以在不牺牲性能的情况下减少网络的生态足迹。出于对内存和计算效率的需求,在第5章中,我们重新思考了异构数据集上的同步训练,并提出了一个通用的语义分割框架。该框架通过利用各种场景理解数据集来实现性能指标和语义知识性的一致增加。第6章介绍了部分感知全景分割的新任务,它将我们的推理扩展到整体场景理解。该任务将场景和部件级语义与实例级目标检测相结合。总之,我们的贡献跨越了卷积网络架构,弱监督学习,部分和全景分割,为实现全面,丰富和可持续的视觉场景理解铺平了道路。
2022-01-16 cs.AI cs.CV cs.LG
T-FunS3D: Task-Driven Hierarchical Open-Vocabulary 3D Functionality Segmentation
P4MARS Lab at the Faculty of Aerospace Engineering, Delft University of Technology(代尔夫特理工大学航空航天工程学院P4MARS实验室)
提出T-FunS3D方法,通过构建开放词汇场景图并利用视觉语言模型,实现任务驱动的分层3D功能分割,在保持性能的同时提升速度和降低内存消耗。
2026-06-04 cs.CV cs.RO
Reinforcement Learning for Semantic Segmentation in Indoor Scenes
George Mason University(乔治梅森大学)
未来机器人自主性和机器人任务复杂性的进步取决于对环境的鲁棒、高效和任务相关的语义理解。语义分割是同时分割和分类的感觉数据的分区的问题。目前的大多数方法都是在条件随机场(CRF)框架中使用多类分割和标记,或者通过生成多个对象假设并按顺序组合它们来解决这个问题。在实际设置中,所需的语义标签的子集取决于任务和特定场景,并且标记每个像素并不总是必要的。我们追求这些意见在开发一个更模块化和灵活的方法来多类分析RGBD数据的学习策略的基础上,结合独立的二进制对象与背景分割,而不是通常的单片多标签CRF的方法。独立二进制分割模型的参数可以非常有效地学习,并且组合策略--使用强化学习学习--可以独立设置,并且可以在不同的任务和环境中变化。准确性与NYU-V2室内场景数据集子集上的最先进方法相当,同时提供额外的灵活性和模块化。
2016-06-03 cs.CV cs.RO
Multi-source Pseudo-label Learning of Semantic Segmentation for the Scene Recognition of Agricultural Mobile Robots
Toyohashi University of Technology(丰桥技术科学大学)
本文介绍了一种新的方法,训练语义分割模型的农业移动机器人的场景识别,利用公共可用的数据集的户外场景是不同的目标温室环境。语义分割模型需要通过繁琐的人工标注给出丰富的标签。一种解决方法是无监督领域自适应(UDA),它将知识从标记的源数据集转移到未标记的目标数据集。然而,现有的方法的有效性没有得到很好的研究,在异构环境之间的适应,如城市场景和温室。在本文中,我们提出了一种方法来训练一个语义分割模型的温室图像没有手动标记的温室图像数据集。其核心思想是利用多个不同环境下的丰富图像数据集,利用分割标签为目标图像生成伪标签,有效地传递多源知识,实现语义分割的精确训练。随着伪标签的生成,我们引入了最先进的方法来处理伪标签中的噪声,以进一步提高性能。我们在多个温室数据集的实验中证明,与单源基线和现有方法相比,我们提出的方法提高了性能。
2023-01-13 cs.CV cs.RO
Aerial-PASS: Panoramic Annular Scene Segmentation in Drone Videos
State Key Laboratory of Optical Instrumentation, Zhejiang University, China(浙江大学光学仪器国家重点实验室);Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology, Germany(卡尔斯鲁厄理工学院人机与机器人研究所)
对周围环境进行空中逐像素场景感知是无人机的一项重要任务。以往的研究工作主要采用传统的针孔摄像机或鱼眼摄像机作为成像器件。然而,这些成像系统不能同时实现大视场(FoV)、小尺寸和轻量化。为此,我们设计了一种具有全景环形透镜(PAL)的无人机系统,该系统具有体积小,重量轻,360度环形FoV的特点。设计了一种轻量级的全景环形语义分割神经网络模型,实现了高精度、实时的场景解析。此外,我们提出了第一个无人机视角的全景场景分割数据集Aerial-PASS,带有田径,田径等注释标签。各种实验表明,所设计的系统在航空全景场景解析中取得了令人满意的效果。特别是,我们提出的模型罢工之间的分割性能和推理速度合适,验证了公共街道场景和我们建立的空中场景数据集的一个很好的权衡。
2021-05-15 cs.CV cs.RO eess.IV
NeSF: Neural Semantic Fields for Generalizable Semantic Segmentation of 3D Scenes
Google Research(谷歌研究院);University of Toronto(多伦多大学)
我们提出了NeSF,一种从单独的RGB图像产生3D语义场的方法。代替经典的3D表示,我们的方法建立在隐式神经场景表示,其中3D结构是由逐点函数捕获的最近的工作。我们利用这种方法来恢复3D密度场,然后我们训练一个3D语义分割模型的监督构成的2D语义地图。尽管仅在2D信号上进行训练,但我们的方法能够从新颖的相机姿势生成3D一致的语义地图,并且可以在任意3D点处查询。值得注意的是,NeSF与任何产生密度场的方法兼容,并且其精度随着密度场质量的提高而提高。我们的实证分析表明,在复杂的、逼真渲染的合成场景上,具有竞争力的2D和3D语义分割基线的质量相当。我们的方法是第一个提供真正密集的3D场景分割,只需要2D监督的训练,不需要任何语义输入的推理新的场景。我们鼓励读者访问该项目的网站。
2021-12-03 cs.CV cs.RO
LapSeg3D: Weakly Supervised Semantic Segmentation of Point Clouds Representing Laparoscopic Scenes
Artiminds Robotics GmbH(阿蒂明兹机器人有限公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Heidelberg University Hospital(海德堡大学医院)
本文提出LapSeg3D,一种基于DNN的弱监督方法,通过半自动聚类流水线生成胆囊标注,在离体猪肝数据集上实现0.94的F1分数,有效解决了腹腔镜场景点云的体素级语义分割问题。
2022-07-15 cs.AI cs.CV cs.LG
Image Synthesis with Class-Aware Semantic Diffusion Models for Surgical Scene Segmentation
Imperial College London(帝国理工学院);Imperial College Healthcare NHS Trust(帝国理工医疗NHS信托)
针对手术场景分割数据稀缺且不均衡、现有合成方法图像多样性不足且难捕捉小型关键组织的问题,提出类别感知语义扩散模型CASDM,通过类别感知损失优化、文本提示生成多类分割图的方式合成场景图像,有效提升下游分割性能与泛化性。
2024-10-31 cs.AI cs.CV
MPerS: Dynamic MLLM MixExperts Perception-Guided Remote Sensing Scene Segmentation
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Southwest Jiaotong University(西南交通大学)
本文提出MPerS方法,通过设计多提示生成高质量遥感描述,结合DINOv3提取视觉特征,利用动态混合专家模块和语言查询引导注意力实现精准分割。
2026-05-11 cs.AI cs.CV
Real-time Progressive 3D Semantic Segmentation for Indoor Scene
Singapore University of Technology and Design(新加坡科技设计大学);The University of Tokyo(东京大学);Deakin University(迪肯大学);Hong Kong University of Science and Technology(香港科技大学)
无人机和辅助机器人等自主系统的广泛采用产生了对实时的【形】高质量语义场景分割的需求。在本文中,我们提出了一个有效的,但强大的技术,在飞行密集重建和语义分割的三维室内场景。为了保证(近)实时的【形】性能,我们的方法是建立在一个高效的超体素聚类方法和一个条件随机场与高阶约束的结构和对象线索,使渐进密集语义分割,而无需任何预先计算。我们在SceneNN和ScanNet数据集中的不同室内场景(包括厨房,办公室和卧室)上广泛评估了我们的方法,并表明我们的技术在定性和定量实验中始终产生最先进的分割结果。
2019-04-05 cs.CV
Semantic Scene Segmentation for Robotics Applications
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
语义场景分割在广泛的机器人应用中起着关键作用,例如,自主导航这些应用都伴随着特定的计算限制,例如,在低功耗GPU上以足够的速度运行,并且还用于高分辨率输入。现有的最先进的分割模型提供了不同设置下的评估结果,主要考虑高功率GPU。在本文中,我们研究了最成功的语义场景分割模型的行为,在部署(推理)速度方面,在各种设置(GPU,输入大小等)。in the context上下文of robotics机器人applications应用.这项工作的目标是提供一个比较研究,目前国家的最先进的分割模型,以选择最符合机器人应用程序的要求。
2021-08-25 cs.CV
Neuron-level Selective Context Aggregation for Scene Segmentation
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Shandong University(山东大学);Tel Aviv University(特拉维夫大学)
背景信息为场景分割中相似像素的消歧提供了重要线索。在本文中,我们介绍了一个神经元级的选择性上下文聚合(SCA)模块的场景分割,包括上下文依赖预测和上下文聚合操作。依赖性预测器被隐式地训练以推断不同图像区域之间的上下文依赖性。上下文聚合算子用全局上下文来增强局部表示,全局上下文根据其动态预测依赖性在每个神经元处选择性地聚合。所提出的机制,使数据驱动的上下文依赖关系的推断,并促进上下文感知的特征学习。所提出的方法改进了基于VGG16的强基线,在具有挑战性的场景分割数据集上,这证明了其在建模上下文信息方面的有效性。
2017-11-22 cs.CV
See in Depth: Training-Free Surgical Scene Segmentation with Monocular Depth Priors
Global College, Shanghai Jiao Tong University, Shanghai, China(上海交通大学全球学院)
本文提出一种无需训练的手术场景分割方法,利用单目深度先验和预训练模型实现高效分割,实验表明其在标注效率和分割性能上优于现有方法。
2025-12-05 cs.AI cs.CV
Class-Agnostic Visio-Temporal Scene Sketch Semantic Segmentation
Koç University(科奇大学)
本文提出类别无关视觉-时序网络CAVT,首次在场景草图中同时实现实例级和笔画级分割,并构建了包含1K场景草图、403类对象的FrISS数据集,性能优于现有方法。
2024-09-30 cs.CV cs.LG
Motion-based Object Segmentation based on Dense RGB-D Scene Flow
Stanford University(斯坦福大学)
给定两个连续的RGB-D图像,我们提出了一个模型,估计密集的3D运动场,也称为场景流。我们利用的事实是,在机器人操作的情况下,场景往往由一组刚性移动的对象。我们的模型联合估计(i)场景分割成未知但有限数量的对象,(ii)这些对象的运动轨迹和(iii)对象场景流。我们采用沙漏状的深层神经网络架构。在编码阶段,RGB和深度图像经历空间压缩和相关。在解码阶段,该模型输出三幅图像,其中包含相应对象中心的每像素估计以及对象平移和旋转。这形成了推断对象分割和最终对象场景流的基础。为了评估我们的模型,我们生成了一个新的具有挑战性的大规模合成数据集,该数据集专门针对机器人操作:它包含大量场景,其中包含一组非常多样化的同时移动的3D对象,并使用模拟的静态RGB-D相机进行记录。在定量实验中,我们表明,我们优于国家的最先进的场景流和运动分割方法在这个数据集。在定性实验中,我们展示了我们学习的模型如何转移到具有挑战性的现实世界场景中,在视觉上产生比现有方法更好的结果。
2018-07-24 cs.CV cs.LG cs.RO
Scene-Generalizable Interactive Segmentation of Radiance Fields
Harbin Institute of Technology(哈尔滨工业大学);Y-tech, Kuaishou Technology(快手科技Y-tech);Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室);Dartmouth College(达特茅斯学院)
本文首次提出辐射场场景可泛化交互式分割方法SGISRF,通过跨维度引导传播、不确定性消除3D分割和隐藏监督学习三项技术,仅用少量2D点击即可对未见场景实现高效3D对象分割,性能优于需场景特定优化的经典方法。
2023-08-09 cs.CV
Panoptic 3D Scene Reconstruction From a Single RGB Image
Technical University of Munich(慕尼黑工业大学)
从单个图像中理解3D场景是各种任务的基础,例如机器人、运动规划或增强现实。现有的从单个RGB图像进行3D感知的工作倾向于仅关注几何重建,或者关注具有语义分割或实例分割的几何重建。受2D全景分割的启发,我们提出将几何重建、3D语义分割和3D实例分割的任务统一到全景3D场景重建的任务中-从单个RGB图像,预测图像的相机截头体中场景的完整几何重建,以及语义和实例分割。因此,我们提出了一种新的方法,从一个单一的RGB图像的整体三维场景理解,学习提升和传播2D功能从输入图像的三维体积场景表示。我们证明,这种整体视图的联合场景重建,语义,和实例分割是有益的独立处理的任务,从而优于其他方法。
2022-05-16 cs.CV
Learning Segmented 3D Gaussians via Efficient Feature Unprojection for Zero-shot Neural Scene Segmentation
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所)
提出CoSegGaussians,通过Feature Unprojection and Fusion模块和CoSeg Loss解决3D高斯零样本分割中冗余属性导致的3D不一致性问题,mIoU提升约10%。
2024-07-28 cs.AI cs.CV
Loci-Segmented: Improving Scene Segmentation Learning
University of Tübingen(蒂宾根大学)
提出Loci-Segmented系统,无需背景信息或槽分配即可动态分割场景为可解释的背景和槽对象编码,在MOVi等数据集上视频分解性能大幅提升,可作为下游任务基础模型。
2024-02-06 cs.CV
Spatial Sampling Network for Fast Scene Understanding
University of Milano-Bicocca(米兰比可卡大学)
我们提出了一种网络架构来执行高效的场景理解。这项工作提出了三个主要的新颖性:第一个是一个改进的引导上采样模块,可以取代在toto的解码器部分,在共同的语义分割网络。我们的第二个贡献是引入了一个新的基于空间采样的模块来执行实例分割。它提供了一个非常快速的实例分割,只需要阈值作为推理时的后处理步骤。最后,我们提出了一种新的高效的网络设计,其中包括新的模块,并测试它对不同的数据集,户外场景理解。据我们所知,我们的网络是迄今为止发布的最有效的场景理解架构之一,而且在语义分割方面比最快的竞争对手准确8.6%,并且比最有效的实例分割网络快近5倍。
2019-05-22 cs.AI cs.CV cs.LG
Improving Panoptic Segmentation for Nighttime or Low-Illumination Urban Driving Scenes
Queen Mary University of London(伦敦玛丽女王大学)
针对夜间或低照度城市驾驶场景全景分割性能差的问题,提出两种基于CycleGAN域转换的新方法,通过白天图像生成夜间数据重训练模型,在Cityscapes数据集上实现PQ、mIoU等指标显著提升并增强鲁棒性。
2023-06-23 cs.AI cs.CV
A Deep Neural Network Tool for Automatic Segmentation of Human Body Parts in Natural Scenes
National Institute of Mental Health(美国国家心理健康研究所)
这篇短文描述了一个经过训练的深度神经网络,用于在自然场景中执行人体部位的自动分割。更具体地说,我们在Pascal-Parts数据集上训练了一个具有具体dropout的贝叶斯SegNet,以预测给定帧中的每个像素是否是人的头发,头部,耳朵,眉毛,腿,手臂,嘴巴,脖子,鼻子或躯干的一部分。
2020-09-08 cs.CV eess.IV
Fused Text Segmentation Networks for Multi-oriented Scene Text Detection
Shanghai Jiao Tong University(上海交通大学);Westone Cryptologic Research Center(威斯顿密码学研究中心);Xiamen No.1 High School(厦门第一中学)
本文从实例感知的语义分割角度提出了一种面向多方向场景文本检测的端-端框架。我们提出了融合文本分割网络,它在特征提取过程中结合了多层次特征,因为文本实例可能依赖于比一般对象更精细的特征表达。该算法结合语义分割任务和基于区域建议的目标检测任务的优点,同时对文本实例进行检测和分割。在不涉及任何额外管道的情况下,我们的方法在多方向场景文本检测基准上超过了当前最先进的水平:ICDAR 2015偶然场景文本和MSRA-TD 500分别达到Hmean 84.1%和82.0%。此外,我们报告了包含弯曲文本的总文本的基线,这表明所提出的方法的有效性。
2018-05-07 cs.CV
SPNeRF: Open Vocabulary 3D Neural Scene Segmentation with Superpoints
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
针对CLIP图像嵌入缺乏3D分割所需几何细节、现有方法易致冗余或语言能力损失的问题,提出基于NeRF的零样本3D分割方法SPNeRF,整合几何先验生成基元级CLIP特征并辅以亲和度增强的合并机制,在无额外分割模型的情况下较LERF取得显著提升。
2025-03-19 cs.CV
In-Place Panoptic Radiance Field Segmentation with Perceptual Prior for 3D Scene Understanding
针对现有3D场景全景理解方法存在的映射不准、复杂场景处理难及伪标签噪声等问题,提出带感知先验引导的神经辐射场全景分割方法,通过同步多模态学习与扩展级联网格提升泛化性,实验验证其能有效提升3D场景表征与分割精度。
2024-10-06 cs.CV
SceneAdapt: Scene-based domain adaptation for semantic segmentation using adversarial learning
University of Catania(卡塔尼亚大学);Park Smart s.r.l.(Park Smart有限责任公司)
得益于深度学习,语义分割方法已经取得了出色的性能。然而,当这些算法被部署到训练期间未看到的新上下文时,有必要收集和标记特定于场景的数据,以便使用微调使其适应新的域。由于不同视点引起的不同场景布局,每当移动已经安装的摄像机或在摄像机网络中引入新的摄像机时,都需要该过程。为了限制要收集的附加训练数据的量,理想的是使用已经可用的标记数据和仅来自新相机的未标记数据来训练语义分割方法。我们将这个问题形式化为一个领域自适应任务,并引入了一个新的数据集的城市场景与相关的语义标签。作为解决这一挑战性任务的第一种方法,我们提出了SceneAdapt,一种基于对抗学习的语义分割算法的场景自适应方法。与最先进的领域自适应方法的实验和比较突出表明,当两个场景具有不同的视角时,以及当它们包括完全不同场景的图像时,使用对抗性学习可以实现有希望的性能。为了鼓励对这个主题的研究,我们在我们的网页上提供了我们的代码:https://iplab.dmi.unict.it/ParkSmartSceneAdaptation/。
2020-06-18 cs.CV
Cascaded Scene Flow Prediction using Semantic Segmentation
Brown University(布朗大学);NVIDIA(英伟达);UC Irvine(加州大学欧文分校)
给定来自一对立体相机的两个连续帧,3D场景流方法同时估计所观察场景的3D几何形状和运动。许多现有的方法使用超像素进行正则化,但可能会预测刚性移动对象内部不一致的形状和运动。相反,我们假设场景由在静态背景前面刚性移动的前景对象组成,并使用语义线索来产生像素精确的场景流估计。我们的级联分类框架通过迭代地改进语义分割掩模、立体对应、3D刚性运动估计和光流场来精确地建模3D场景。我们在具有挑战性的KITTI自动驾驶基准上评估了我们的方法,并表明考虑分段车辆的运动会带来最先进的性能。
2017-10-05 cs.CV
A Bag of Words Approach for Semantic Segmentation of Monitored Scenes
iWatchLife Inc.(iWatchLife公司)
提出了一种针对监控摄像机拍摄的室外场景的语义分割方法。我们的算法将每个感知同质区域分类为从手动标记的图像集合中学习的预定义类之一。所提出的方法结合了两种不同类型的信息。首先,执行颜色分割以将场景划分为感知上相似的区域。然后,第二步是基于SIFT关键点,并使用词袋表示的区域进行分类。使用朴素贝叶斯网络作为生成分类器进行预测。与现有技术相比,我们的方法提供了更紧凑的场景内容的表示和分割结果是更符合人类的感知,由于结合的颜色信息与图像的关键点。在公开数据集上进行的实验证明了该方法的有效性。
2013-05-14 cs.CV
Self-attention on Multi-Shifted Windows for Scene Segmentation
University of Technology Sydney(悉尼科技大学);CSIRO(澳大利亚联邦科学与工业研究组织)
图像中的场景分割是视觉内容理解中的一个基本而又具有挑战性的问题,即学习一个模型来为图像中的每个像素分配一个分类标签。这种学习任务的挑战之一是考虑空间和语义关系以获得描述性特征表示,因此从多个尺度学习特征图是场景分割中的常见做法。在本文中,我们探讨了多尺度图像窗口内的自注意力的有效使用,以学习描述性的视觉特征,然后提出了三种不同的策略来聚合这些特征图解码的特征表示密集预测。我们的设计是基于最近提出的Swin Transformer模型,它完全放弃了卷积运算。通过简单而有效的多尺度特征学习和聚合,我们的模型在PASCAL VOC 2012,COCO-Stuff 10 K,ADE 20 K和Cityscapes四个公共场景分割数据集上取得了非常有前途的性能。
2022-07-10 cs.CV
NeRF-SOS: Any-View Self-supervised Object Segmentation on Complex Scenes
University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经体积表示已经表明,多层感知机(MLP)可以通过多视图校准图像进行优化,以表示场景几何形状和外观,而无需显式3D监督。基于学习的辐射场,对象分割可以丰富许多下游应用。然而,引入手工制作的分割来定义复杂的真实世界场景中的感兴趣区域是不平凡的和昂贵的,因为它需要每个视图注释。针对复杂的真实场景,利用NeRF进行了自监督学习的目标分割探索。我们的框架,称为NeRF与自监督对象分割NeRF-SOS,耦合对象分割和神经辐射场分割对象在场景内的任何视图。通过在外观和几何级别提出一种新的协作对比损失,NeRF-SOS鼓励NeRF模型从其密度场和自监督预训练的2D视觉特征中提取紧凑的几何感知分割集群。自监督对象分割框架可以应用于各种NeRF模型,这些模型可以为室内和室外场景提供照片般逼真的渲染结果和令人信服的分割图。LLFF、Tank & Temple和BlendedMVS数据集上的大量结果验证了NeRF-SOS的有效性。它始终优于其他基于2D的自监督基线,并预测比现有监督同行更精细的语义掩码。请参阅我们项目页面上的视频了解更多详情:https://zhiwenfan.github.io/NeRF-SOS。
2022-10-12 cs.CV
Segmentation-grounded Scene Graph Generation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所)
场景图生成是计算机视觉中的一个重要问题。虽然场景图提供了对象的基础表示,它们在图像中的位置和关系,但它们只在建议边界框的粒度上这样做。在这项工作中,我们提出了第一个,据我们所知,框架像素级分割接地场景图生成。我们的框架对于底层场景图生成方法是不可知的,并且解决了目标场景图数据集中缺乏分割注释的问题(例如,视觉基因组)通过转移和多任务学习,并与辅助数据集(例如,MS COCO)。具体地,被检测的每个目标对象被赋予分割掩模,该分割掩模被表示为在具有存在于辅助数据集中的注释的类别上的语言相似性加权线性组合。这些推断出的掩模,以及一种新的高斯注意力机制,该机制将图像内的像素级的关系接地,允许改进的关系预测。整个框架是端到端可训练的,并以多任务的方式使用目标和辅助数据集进行学习。
2021-04-29 cs.CV
StixelNExT++: Lightweight Monocular Scene Segmentation and Representation for Collective Perception
Institut Pascal ISPR (Image, Systems of Perception, Robotics), Universite Clermont Auvergne INP / CNRS(帕斯卡尔研究所(图像、感知系统、机器人),克莱蒙特大学INP/CNRS);Institute for Intelligent Systems at Esslingen University of Applied Sciences(埃斯林根应用科学大学智能系统研究所)
StixelNExT++提出一种基于3D Stixel聚类的轻量级单目场景表示方法,实现高压缩与实时分割,在Waymo数据集30米内表现优异,适用于集体感知。
2025-07-09 cs.CV cs.RO
UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes
Technical University of Munich(慕尼黑工业大学);Technion(以色列理工学院);NVIDIA(英伟达)
UnScene3D提出首个全无监督室内三维实例分割方法,利用自监督颜色与几何特征生成伪掩码并结合几何过分割与自训练,将平均精度提升超过300%。
2024-04-30 cs.CV
Cars Can't Fly up in the Sky: Improving Urban-Scene Segmentation via Height-driven Attention Networks
LG Electronics(LG电子);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Korea University(高丽大学);KAIST(韩国科学技术院)
本文利用城市场景图像的内在特征,提出了一个通用的附加模块,称为高度驱动的注意力网络(HANet),用于改善城市场景图像的语义分割。它根据像素的垂直位置有选择地强调信息特征或类别。在城市场景图像的水平分割部分中,像素级分布彼此之间存在显著差异。同样,城市场景图像也有其独特的特征,但大多数语义分割网络并没有在架构中反映这些独特的属性。建议的网络架构采用的能力,利用属性,有效地处理城市场景数据集。我们验证了一致的性能(mIoU)增加的各种语义分割模型在两个数据集时,采用HANet。这种广泛的定量分析表明,将我们的模块添加到现有模型中是简单且具有成本效益的。我们的方法在Cityscapes基准测试中实现了新的最先进的性能,在基于ResNet-101的分割模型中具有很大的优势。此外,我们表明,所提出的模型是一致的,在城市场景中观察到的事实,通过可视化和解释的注意力地图。我们的代码和训练模型可在https://github.com/shachoi/HANet上公开获取
2020-04-07 cs.CV
Perception Framework through Real-Time Semantic Segmentation and Scene Recognition on a Wearable System for the Visually Impaired
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院人形机器人与智能系统研究所);Hangzhou SurImage Technology Company Ltd.(杭州 SurImage 科技有限公司);Hangzhou KrVision Technology Company Ltd.(杭州 KrVision 科技有限公司)
由于场景信息,包括对象和场景类型,是重要的人与视觉障碍,在这项工作中,我们提出了一个多任务的高效感知系统的场景解析和识别任务。基于紧凑的ResNet骨干网,我们设计的网络架构有两个共享参数的路径。在该结构中,语义分割路径集成了快速注意,目的是以有效的方式收集长距离上下文信息。同时,场景识别路径通过将语义特征传递到语义驱动的注意力网络中,并通过门控注意力模块将语义提取的表示与RGB提取的表示相结合来实现场景类型推断。在实验中,我们已经验证了系统的准确性和效率在公共数据集和现实世界的场景。该系统在可穿戴腰带上运行,配备英特尔实感LiDAR摄像头和Nvidia Jetson AGX Xavier处理器,可以陪伴视障人士,并在他们的导航任务中提供辅助场景信息。
2021-03-06 cs.CV cs.RO eess.IV
A Local-to-Global Approach to Multi-modal Movie Scene Segmentation
The Chinese University of Hong Kong(香港中文大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));SenseTime(商汤科技)
场景是电影叙事的重要单元,它包含了演员在物理环境中的复杂活动和互动。识别场景的组成是实现电影语义理解的关键一步。这是非常具有挑战性的-与传统视觉问题中研究的视频相比,例如动作识别,因为电影中的场景通常包含更丰富的时间结构和更复杂的语义信息。为了实现这一目标,我们通过构建一个大规模的视频数据集MovieScenes来扩展场景分割任务,该数据集包含来自150部电影的21 K注释场景片段。我们进一步提出了一个局部到全局的场景分割框架,它集成了三个级别的多模态信息,即剪辑,片段和电影。该框架能够从一部长电影的层次时间结构中提取复杂的语义,为场景分割提供自上而下的指导。我们的实验表明,该网络能够以高精度将电影分割成场景,始终优于以前的方法。我们还发现,在MovieScenes上进行预训练可以显著改进现有方法。
2020-04-28 cs.CV cs.MM
Efficient RGB-D Semantic Segmentation for Indoor Scene Analysis
Technische Universität Ilmenau(伊尔梅瑙工业大学)
对于移动机器人在不同环境中的行动来说,彻底地分析场景至关重要。语义分割可以增强各种后续任务,例如(语义辅助的)人感知、(语义)自由空间检测、(语义)映射和(语义)导航。在本文中,我们提出了一种高效且强大的RGB-D分割方法,该方法可以使用NVIDIA TensorRT进行高度优化,因此非常适合作为移动机器人景物分析复杂系统中的常见初始处理步骤。我们表明,RGB-D分割优于单独处理RGB图像,如果仔细设计网络架构,它仍然可以实时的执行。我们评估了我们提出的高效景物分析网络(ESANet)在常见的室内数据集NYUV 2和SNORGB-D,并表明,我们达到了最先进的性能,同时实现更快的推理。此外,我们对户外数据集Cityscapes的评估表明,我们的方法也适用于其他应用领域。最后,我们不仅展示了基准测试结果,还展示了一个室内应用场景的定性结果。
2021-04-07 cs.CV cs.LG cs.RO
DSNet for Real-Time Driving Scene Semantic Segmentation
我们专注于自动驾驶系统的语义分割的非常具有挑战性的任务。它必须实时的【形】为交通关键对象提供合适的语义分割结果。在本文中,我们提出了一个非常有效但功能强大的深度神经网络,用于驾驶场景语义分割,称为驾驶分割网络(DSNet)。DSNet通过受ShuffleNet V2和ENet启发的高效单元和架构设计,在准确性和推理速度之间实现了最先进的平衡。更重要的是,DSNet通过我们的新颖的驾驶重要性加权损失突出了驾驶决策最关键的课程。我们在Cityscapes数据集上对DSNet进行了评估,我们的DSNet在验证集上达到了71.8%的平均交集(IoU),在测试集上达到了69.3%。类明智的IoU分数表明,驾驶重要性加权损失可以提高大多数驾驶关键类的大幅度。与ENet相比,DSNet的准确性提高了18.9%,速度提高了1.1倍以上,这意味着自动驾驶应用的巨大潜力。
2019-12-06 cs.AI cs.CV cs.LG
Learning Dilation Factors for Semantic Segmentation of Street Scenes
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Mannheim(曼海姆大学)
上下文信息是语义分割的关键。然而,找到保持所需的精细细节和同时提供足够大的感受野之间的最佳权衡是不平凡的。当图像中存在的对象或类在大小上显著变化时,情况更是如此。扩张卷积已被证明对于语义分割是有价值的,因为它们允许在不牺牲图像分辨率的情况下增加感受野的大小。然而,在当前最先进的方法中,膨胀参数是手动调整和固定的。在本文中,我们提出了一种方法,用于学习膨胀参数自适应每个通道,不断提高语义分割的街景数据集,如Cityscapes和Camvid的结果。
2017-09-06 cs.CV
Seamless Scene Segmentation
Mapillary Research(Mapillary研究院)
在这项工作中,我们介绍了一种新颖的,基于CNN的架构,可以进行端到端的训练,以提供无缝的场景分割结果。我们的目标是通过全景输出格式预测一致的语义分割和检测结果,超越了独立训练的分割和检测模型的简单组合。所提出的架构利用了一种新型的分割头,该分割头将特征金字塔网络生成的多尺度特征与轻量级DeepLab类模块传达的上下文信息无缝集成。作为额外的贡献,我们审查的panoptic指标,并提出了一种替代方案,克服了其局限性时,评估非实例类别。我们提出的网络架构在三个具有挑战性的街道级数据集上产生了最先进的结果,即城市景观,印度驾驶数据集和Mapillary Vistas。
2019-05-03 cs.CV
Contrastive Gaussian Clustering: Weakly Supervised 3D Scene Segmentation
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院)
本文提出对比高斯聚类方法,通过为每个三维高斯学习分割特征向量,结合对比学习与空间正则化,在弱监督下实现跨视角一致的三维场景分割,并较现有技术提升IoU准确率8%。
2024-04-19 cs.CV cs.LG
Semantic Segmentation-assisted Scene Completion for LiDAR Point Clouds
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学控制科学与工程学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
室外场景补全是三维场景理解中的一个具有挑战性的问题,在智能机器人和自动驾驶中起着重要作用。由于激光雷达数据的稀疏性,使得三维场景的补全和语义分割变得更加复杂。由于语义特征可以为完成任务提供约束和语义先验,因此它们之间的关系值得探讨。因此,我们提出了一个端到端的语义分割辅助场景完成网络,包括一个2D完成分支和一个3D语义分割分支。具体地说,该网络以原始点云作为输入,并将分割分支的特征分层合并到完成分支中以提供语义信息。通过采用BEV表示和3D稀疏卷积,我们可以在保持有效表达的同时受益于较低的操作数。此外,分割分支的解码器被用作辅助,可以在推理阶段丢弃,以节省计算消耗。大量的实验表明,我们的方法在SemanticKITTI数据集上具有低延迟的竞争力。代码和模型将在https://github.com/jokester-zzz/SSA-SC上发布。
2021-09-23 cs.CV
Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Exploring Query-Based Segmentation and Increased Spatial Context for Outdoor Scene Understanding
Rey Juan Carlos University(胡安卡洛斯国王大学)
本报告提出基于SegFormer和Mask2Former的细粒度语义分割方法,通过增大训练裁剪尺寸和测试时增强,在GOOSE挑战赛上达到69.6% mIoU,验证了查询式分割和空间上下文的重要性。
2026-06-23 cs.CV cs.RO
Shift-Memory Network for Temporal Scene Segmentation
Indiana University – Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
语义分割在理解空间布局方面取得了很大的准确性。对于基于动态场景的实时任务,我们扩展了时间域的语义分割,以提高运动的空间精度。我们在流输入上利用移位模式网络来确保零延迟输出。针对移动网络下的数据重叠问题,提出了跨网络层的固定周期重复计算的识别方法。为了避免这种冗余,我们从编码-解码基线中推导出移位记忆网络(SMN),以重用网络值而不损失精度。在补丁模式下训练,SMN提取网络参数,以便SMN在紧凑的存储器中迅速执行推理。我们从1D扫描输入和2D视频中分割动态场景。SMN的实验达到了与移位模式相当的精度,但推理速度更快,存储量更小。这将促进边缘设备上的实时应用中的语义分割。
2022-02-17 cs.CV
Online Self-supervised Scene Segmentation for Micro Aerial Vehicles
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
近年来,在有效载荷和功率受限的轻型微型飞行器(MAV)的发展方面取得了许多进展。由于这些机器人渴望在复杂的动态环境中高速自主飞行,鲁棒的远距离场景理解变得至关重要。该问题的主要特征在于,对于基于几何的方法,传感器能力所施加的限制,或者数据驱动方法所需的大量手动注释的训练数据的需要。这激发了构建系统的需求,这些系统能够通过利用几何和数据驱动方法的互补优势来缓解这些问题。在本文中,我们在这个方向上迈出了一步,并提出了一个通用的框架,自适应场景分割使用自监督在线学习。我们在基于视觉的自主MAV飞行的背景下提出了这一点,并通过对基准数据集和真实世界的现场测试进行了广泛的实验,证明了我们所提出的系统的有效性。
2018-06-13 cs.CV cs.RO
PixelLink: Detecting Scene Text via Instance Segmentation
Zhejiang University(浙江大学);CVTE Research(CVTE研究院);Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences(中国科学院西安光学精密机械研究所);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
大多数最先进的场景文本检测算法是基于深度学习的方法,其依赖于限界框回归并执行至少两种预测:文本/非文本分类和位置回归。在这些方法中,回归在边界框的获取中起着关键作用,但它不是必不可少的,因为文本/非文本预测也可以被认为是一种本身包含完整位置信息的语义分割。然而,场景图像中的文本实例通常彼此非常接近,使得它们很难通过语义分割分离。因此,需要实例分割来解决这个问题。提出了一种基于实例分割的场景文本检测算法PixelLink。文本实例首先通过将同一实例中的像素链接在一起来分割。然后直接从分割结果中提取文本边界框,而无需位置回归。实验表明,与基于回归的方法相比,PixelLink在多个基准测试中可以获得更好或相当的性能,同时需要更少的训练迭代次数和更少的训练数据。
2018-01-04 cs.CV
Self-Supervised Pre-Training Boosts Semantic Scene Segmentation on LiDAR Data
Universitat de Barcelona(巴塞罗那大学);Cartographic and Geological Institute of Catalonia(加泰罗尼亚制图与地质研究所)
本文提出用Barlow Twins自监督预训练编码器,用于LiDAR点云语义分割,微调后提升性能,尤其改善稀有类别分割。
2023-12-22 cs.AI cs.CV
GeoSAM-3D: Geodesic Prompt Propagation for Open-Vocabulary 3D Scene Segmentation from Monocular Video
University of Minnesota, Twin Cities(明尼苏达大学,双城分校)
提出GeoSAM-3D方法,利用冻结的视觉基础模型和单目3D高斯泼溅重建,通过可微分的图-测地线传播核在场景图上传播用户提示,实现从单目视频的开放词汇3D场景分割。
2026-05-30 cs.AI cs.CV
EFEM: Equivariant Neural Field Expectation Maximization for 3D Object Segmentation Without Scene Supervision
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
我们介绍了等变神经场期望最大化(EFEM),这是一种简单,有效,鲁棒的几何算法,可以分割3D场景中的对象,而无需对场景进行注释或训练。我们实现了这样的无监督分割,利用单个对象的形状先验。我们朝这个方向迈出了两步。首先,我们引入等变形状表示这个问题,以消除由对象配置的变化引起的复杂性。其次,我们提出了一种新的EM算法,可以迭代细化分割掩模使用等变形状先验。我们收集了一个新的真实数据集椅子和杯子,其中包含各种对象配置和新的场景,以验证我们的方法的有效性和鲁棒性。实验结果表明,我们的方法在不同的场景中实现了一致和鲁棒的性能,(弱)监督方法可能会失败。代码和数据可在https://www.cis.upenn.edu/~leijh/projects/efem上获得
2023-03-27 cs.CV