Deeply Cascaded U-Net for Multi-Task Image Processing
Utrecht University（乌得勒支大学）
在当前实践中，许多图像处理任务是顺序完成的（例如，去噪、去雾，然后是语义分割）。在本文中，我们提出了一种新的多任务神经网络架构，旨在结合顺序图像处理任务。我们通过为每个单独的任务添加额外的解码路径来扩展U-Net，并探索从一个路径到另一个路径的输出和连接的深度级联。我们证明了所提出的方法在去噪和语义分割，以及渐进的粗到细的语义分割的有效性，并实现更好的性能比多个单独或联合训练的网络，具有较少的可训练参数。
2020-05-01 cs.CV
Cascade-CLIP: Cascaded Vision-Language Embeddings Alignment for Zero-Shot Semantic Segmentation
School of Computer Science, Nankai University（南开大学计算机学院）；Nankai International Advanced Research Institute (Shenzhen Futian)（南开大学国际高等研究院（深圳福田））
针对现有CLIP零样本分割忽略中间层细节且直接聚合多层特征会削弱零样本能力的问题，提出级联独立解码器对齐多层视觉与文本嵌入的Cascade-CLIP框架，在多个分割基准上取得优越性能。
2024-06-06 cs.CV
CTI-Unet: Cascaded Threshold Integration for Improved U-Net Segmentation of Pathology Images
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Vanderbilt University（范德堡大学）
本文提出CTI-Unet，通过级联集成多个阈值化输出克服单阈值分割局限，在KPIs2024数据集上优于nnU-Net、Swin-Unet和CE-Net，实现肾脏病理图像的稳健分割。
2025-04-08 cs.CV eess.IV
Cascaded Context Enhancement Network for Automatic Skin Lesion Segmentation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Science and Technology of China（中国科学技术大学）
皮肤病灶分割是黑色素瘤自动诊断的重要步骤。由于来自不同患者的病变的不可忽略的多样性，提取用于细粒度语义分割的强大上下文在今天仍然具有挑战性。尽管深度卷积神经网络（CNN）在皮肤病变分割方面取得了显着改进，但由于CNN内部连续的卷积步幅和池化操作，它们通常无法保留空间细节和长期依赖性上下文。在本文中，我们制定了一个级联的上下文增强神经网络自动皮肤病变分割。提出了一种新的级联上下文聚合（CCA）模块，基于门的信息集成方法，顺序地和选择性地聚合原始图像和多层次特征的编码器子网络。所生成的上下文被进一步用于通过所设计的上下文引导局部亲和度（CGL）模块来引导区分性特征提取。此外，一个辅助损失被添加到CCA模块用于细化预测。在我们的工作中，我们评估我们的方法对四个公共皮肤皮肤镜图像数据集。该方法在ISIC-2016、ISIC-2017、ISIC-2018和PH 2数据集上实现了87.1%、80.3%、83.4%和86.6%的Jaccard指数（JA），分别高于其他最先进的模型。
2021-06-07 cs.CV eess.IV
CROSS: Cascaded Distillation and Dual-Constraint Grounding for Remote Sensing Referring Segmentation
针对遥感指称分割中架构弱耦合与语义偏差问题，本文提出CROSS范式，通过LGCD与PSCL实现性能突破，成为RRSIS的稳健新方案。
2026-08-06 cs.CV
An application of cascaded 3D fully convolutional networks for medical image segmentation
Nagoya University（名古屋大学）；Gifu University（岐阜大学）；Nagoya University Graduate School of Medicine（名古屋大学医学研究生院）；Aichi Cancer Center（爱知癌症中心）
3D全卷积网络（FCN）的最新进展使得生成体积图像的密集体素预测成为可能。在这项工作中，我们证明了在几个解剖结构（从大器官到薄血管）的手动标记CT扫描上训练的多类3D FCN可以实现有竞争力的分割结果，同时避免了手工制作特征或训练类特定模型的需要。为此，我们提出了一个两阶段，粗到细的方法，将首先使用3D FCN粗略地定义一个候选区域，然后将其用作第二个3D FCN的输入。这将第二个FCN必须分类的体素数量减少到约10%，并允许其专注于器官和血管的更详细分割。我们利用由331张临床CT图像组成的训练和验证集，并在不同医院采集的完全不可见的数据汇集上测试我们的模型，该数据集包括150次CT扫描，针对三个解剖器官（肝脏，脾脏和胰腺）。在胰腺等具有挑战性的器官中，我们的级联方法将平均Dice评分从68.5%提高到82.2%，达到了该数据集上报告的最高平均评分。我们比较了一个2D FCN方法在一个单独的数据集的240 CT扫描与18类，并实现了显着更高的性能在小器官和血管。此外，我们还将探索如何根据不同的数据集对模型进行微调。我们的实验表明，目前的三维FCN的医学图像的语义分割的承诺和鲁棒性，实现国家的最先进的结果。我们的代码和训练模型可供下载：https://github.com/holgerroth/3Dunet_abdomen_cascade。
2018-03-20 cs.CV
Distributed Iterative Gating Networks for Semantic Segmentation
York University（约克大学）；Ryerson University（瑞尔森大学）；Vector Institute for Artificial Intelligence（人工智能向量研究所）
在本文中，我们提出了一个规范的结构，用于控制神经网络中的信息流与有效的反馈路由机制的基础上的分布式迭代选通（DIGNet）的战略。该机制的结构源于强大的概念基础，并通过将反馈信号与前馈架构相结合，提出了一种类似于递归卷积神经网络的自适应计算控制的轻量级机制。与其他RNN公式相比，DIGNet以级联方式生成反馈信号，隐含地携带来自上面所有层的信息。这种级联的反馈传播的传播门的装置被发现是更有效的相比，其他的反馈机制，使用的反馈从相应的阶段或从前一级的输出。实验表明，这种具有级联反馈的递归方法在三个具有挑战性的数据集PASCAL VOC 2012、COCO-Stuff和ADE 20 K上的前馈基线和其他递归模型上具有很高的能力。
2019-09-28 cs.CV
Towards Holistic Scene Understanding: Feedback Enabled Cascaded Classification Models
Cornell University（康奈尔大学）
场景理解包括许多相关的子任务，例如场景分类、深度估计、目标检测等。众所周知，这些子任务中的每一个都非常困难，并且已经存在用于其中许多子任务的最先进的分类器。这些分类器对相同的原始图像进行操作，并提供相关的输出。希望有一种算法可以捕获这种相关性，而不需要对任何分类器的内部工作进行任何改变。我们提出的反馈使能级联分类模型（FE-CCM），共同优化所有的子任务，而只需要一个“黑盒子”的接口，为每个子任务的原始分类。我们使用两层级联的分类器，它们是原始分类器的重复实例化，第一层的输出作为输入馈送到第二层。我们的训练方法涉及到一个反馈步骤，允许后来的分类器提供早期分类器的信息，其中错误模式focuson. We表明，我们的方法显着提高了性能，在所有的子任务领域的场景理解，在那里我们考虑深度估计，场景分类，事件分类，目标检测，几何标记和显着性检测。我们的方法还提高了两个机器人应用程序的性能：一个对象抓取机器人和一个对象发现机器人。
2011-10-24 cs.AI cs.CV cs.RO
Multi-scale and Multi-path Cascaded Convolutional Network for Semantic Segmentation of Colorectal Polyps
Beijing University of Technology（北京工业大学）；Superior University（苏必利尔大学）；COMSATS University Islamabad（伊斯兰堡COMSATS大学）
针对结直肠息肉分割中空间依赖建模不足和解码端多层特征融合缺失的问题，提出MMCC-Net，通过多尺度多路径级联卷积、双重注意力与特征增强提升像素级分割性能。
2024-12-03 cs.CV eess.IV
TuNet: End-to-end Hierarchical Brain Tumor Segmentation using Cascaded Networks
Umeå University（于默奥大学）
神经胶质瘤是最常见的脑肿瘤类型之一;它产生于人脑和脊髓中的神经胶质细胞。除了具有高死亡率之外，神经胶质瘤治疗也非常昂贵。因此，为了延长患者的存活率并降低治疗成本，从早期阶段进行自动和准确的分割和测量是至关重要的。在目前的工作中，我们提出了一种新的端到端级联网络用于语义分割，该网络利用肿瘤子区域的分层结构，在每个卷积和级联块之后具有ResNet样块和挤压和激励模块。通过利用交叉验证，平均集成技术，和一个简单的后处理技术，我们得到的骰子得分为88.06，80.84，和80.29，Hausdorff距离（第95百分位数）为6.10，5.17，和2.21，分别为整个肿瘤，肿瘤核心，和增强肿瘤，在在线测试集。
2019-11-25 cs.CV cs.LG eess.IV
G-CASCADE: Efficient Cascaded Graph Convolutional Decoding for 2D Medical Image Segmentation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出G-CASCADE解码器，通过图卷积块高效细化Transformer编码器的多阶段特征图，在五个医学图像分割任务上优于SOTA方法，且参数量和计算量大幅减少。
2023-10-24 cs.CV cs.LG eess.IV
Instance-aware Semantic Segmentation via Multi-task Network Cascades
Microsoft Research（微软研究院）
语义分割的研究近年来取得了很大的进展，但许多主流方法都无法识别对象实例。在本文中，我们提出了多任务网络级联的实例感知语义分割。我们的模型由三个网络组成，分别区分实例，估计掩码和分类对象。这些网络形成级联结构，并被设计为共享其卷积特征。我们开发了一种算法，用于这种因果级联结构的非平凡端到端训练。我们的解决方案是一个干净的单步训练框架，可以推广到具有更多阶段的级联。我们展示了PASCAL VOC上最先进的实例感知语义分割准确性。与此同时，我们的方法使用VGG-16测试图像仅需360 ms，这比以前的系统快两个数量级。作为副产品，我们的方法还实现了令人信服的目标检测结果，超过了竞争对手的Fast/Faster R-CNN系统。本文中描述的方法是我们提交MS COCO 2015细分竞争的基础，我们在那里赢得了第一名。
2015-12-14 cs.CV
SceneEncoder: Scene-Aware Semantic Segmentation of Point Clouds with A Learnable Scene Descriptor
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；School of Computer Science and Software Engineering, East China Normal University（华东师范大学计算机科学与软件工程学院）
在语义分割中，除了局部特征外，全局信息也起着至关重要的作用，但目前的研究工作往往未能明确地提取出有意义的全局信息并充分利用它，本文提出了一种场景编码器模块，以增强全局信息的场景感知引导效果。该模块预测一个场景描述符，该描述符学习表示场景中存在的对象的类别，并通过过滤掉不属于该场景的类别来直接指导点级语义分割。此外，为了减少局部区域的分割噪声，设计了一种区域相似性损失机制，将区分特征传播到具有相同标签的相邻点，从而增强了逐点特征的区分能力。我们将我们的方法集成到几个流行的网络中，并在基准数据集ScanNet和ShapeNet上进行了广泛的实验。结果表明，我们的方法大大提高了基线的性能，达到了最先进的性能。
2020-01-24 cs.CV
Real-time Progressive 3D Semantic Segmentation for Indoor Scene
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Tokyo（东京大学）；Deakin University（迪肯大学）；Hong Kong University of Science and Technology（香港科技大学）
无人机和辅助机器人等自主系统的广泛采用产生了对实时的【形】高质量语义场景分割的需求。在本文中，我们提出了一个有效的，但强大的技术，在飞行密集重建和语义分割的三维室内场景。为了保证（近）实时的【形】性能，我们的方法是建立在一个高效的超体素聚类方法和一个条件随机场与高阶约束的结构和对象线索，使渐进密集语义分割，而无需任何预先计算。我们在SceneNN和ScanNet数据集中的不同室内场景（包括厨房，办公室和卧室）上广泛评估了我们的方法，并表明我们的技术在定性和定量实验中始终产生最先进的分割结果。
2019-04-05 cs.CV
Panoptic 3D Scene Reconstruction From a Single RGB Image
Technical University of Munich（慕尼黑工业大学）
从单个图像中理解3D场景是各种任务的基础，例如机器人、运动规划或增强现实。现有的从单个RGB图像进行3D感知的工作倾向于仅关注几何重建，或者关注具有语义分割或实例分割的几何重建。受2D全景分割的启发，我们提出将几何重建、3D语义分割和3D实例分割的任务统一到全景3D场景重建的任务中-从单个RGB图像，预测图像的相机截头体中场景的完整几何重建，以及语义和实例分割。因此，我们提出了一种新的方法，从一个单一的RGB图像的整体三维场景理解，学习提升和传播2D功能从输入图像的三维体积场景表示。我们证明，这种整体视图的联合场景重建，语义，和实例分割是有益的独立处理的任务，从而优于其他方法。
2022-05-16 cs.CV
Fused Text Segmentation Networks for Multi-oriented Scene Text Detection
Shanghai Jiao Tong University（上海交通大学）；Westone Cryptologic Research Center（威斯顿密码学研究中心）；Xiamen No.1 High School（厦门第一中学）
本文从实例感知的语义分割角度提出了一种面向多方向场景文本检测的端-端框架。我们提出了融合文本分割网络，它在特征提取过程中结合了多层次特征，因为文本实例可能依赖于比一般对象更精细的特征表达。该算法结合语义分割任务和基于区域建议的目标检测任务的优点，同时对文本实例进行检测和分割。在不涉及任何额外管道的情况下，我们的方法在多方向场景文本检测基准上超过了当前最先进的水平：ICDAR 2015偶然场景文本和MSRA-TD 500分别达到Hmean 84.1%和82.0%。此外，我们报告了包含弯曲文本的总文本的基线，这表明所提出的方法的有效性。
2018-05-07 cs.CV
SPNeRF: Open Vocabulary 3D Neural Scene Segmentation with Superpoints
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
针对CLIP图像嵌入缺乏3D分割所需几何细节、现有方法易致冗余或语言能力损失的问题，提出基于NeRF的零样本3D分割方法SPNeRF，整合几何先验生成基元级CLIP特征并辅以亲和度增强的合并机制，在无额外分割模型的情况下较LERF取得显著提升。
2025-03-19 cs.CV
A Bag of Words Approach for Semantic Segmentation of Monitored Scenes
iWatchLife Inc.（iWatchLife公司）
提出了一种针对监控摄像机拍摄的室外场景的语义分割方法。我们的算法将每个感知同质区域分类为从手动标记的图像集合中学习的预定义类之一。所提出的方法结合了两种不同类型的信息。首先，执行颜色分割以将场景划分为感知上相似的区域。然后，第二步是基于SIFT关键点，并使用词袋表示的区域进行分类。使用朴素贝叶斯网络作为生成分类器进行预测。与现有技术相比，我们的方法提供了更紧凑的场景内容的表示和分割结果是更符合人类的感知，由于结合的颜色信息与图像的关键点。在公开数据集上进行的实验证明了该方法的有效性。
2013-05-14 cs.CV
UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes
Technical University of Munich（慕尼黑工业大学）；Technion（以色列理工学院）；NVIDIA（英伟达）
UnScene3D提出首个全无监督室内三维实例分割方法，利用自监督颜色与几何特征生成伪掩码并结合几何过分割与自训练，将平均精度提升超过300%。
2024-04-30 cs.CV
Cars Can't Fly up in the Sky: Improving Urban-Scene Segmentation via Height-driven Attention Networks
LG Electronics（LG电子）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Korea University（高丽大学）；KAIST（韩国科学技术院）
本文利用城市场景图像的内在特征，提出了一个通用的附加模块，称为高度驱动的注意力网络（HANet），用于改善城市场景图像的语义分割。它根据像素的垂直位置有选择地强调信息特征或类别。在城市场景图像的水平分割部分中，像素级分布彼此之间存在显著差异。同样，城市场景图像也有其独特的特征，但大多数语义分割网络并没有在架构中反映这些独特的属性。建议的网络架构采用的能力，利用属性，有效地处理城市场景数据集。我们验证了一致的性能（mIoU）增加的各种语义分割模型在两个数据集时，采用HANet。这种广泛的定量分析表明，将我们的模块添加到现有模型中是简单且具有成本效益的。我们的方法在Cityscapes基准测试中实现了新的最先进的性能，在基于ResNet-101的分割模型中具有很大的优势。此外，我们表明，所提出的模型是一致的，在城市场景中观察到的事实，通过可视化和解释的注意力地图。我们的代码和训练模型可在https://github.com/shachoi/HANet上公开获取
2020-04-07 cs.CV
Learning Dilation Factors for Semantic Segmentation of Street Scenes
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Mannheim（曼海姆大学）
上下文信息是语义分割的关键。然而，找到保持所需的精细细节和同时提供足够大的感受野之间的最佳权衡是不平凡的。当图像中存在的对象或类在大小上显著变化时，情况更是如此。扩张卷积已被证明对于语义分割是有价值的，因为它们允许在不牺牲图像分辨率的情况下增加感受野的大小。然而，在当前最先进的方法中，膨胀参数是手动调整和固定的。在本文中，我们提出了一种方法，用于学习膨胀参数自适应每个通道，不断提高语义分割的街景数据集，如Cityscapes和Camvid的结果。
2017-09-06 cs.CV
Seamless Scene Segmentation
Mapillary Research（Mapillary研究院）
在这项工作中，我们介绍了一种新颖的，基于CNN的架构，可以进行端到端的训练，以提供无缝的场景分割结果。我们的目标是通过全景输出格式预测一致的语义分割和检测结果，超越了独立训练的分割和检测模型的简单组合。所提出的架构利用了一种新型的分割头，该分割头将特征金字塔网络生成的多尺度特征与轻量级DeepLab类模块传达的上下文信息无缝集成。作为额外的贡献，我们审查的panoptic指标，并提出了一种替代方案，克服了其局限性时，评估非实例类别。我们提出的网络架构在三个具有挑战性的街道级数据集上产生了最先进的结果，即城市景观，印度驾驶数据集和Mapillary Vistas。
2019-05-03 cs.CV
Semantic Segmentation-assisted Scene Completion for LiDAR Point Clouds
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
室外场景补全是三维场景理解中的一个具有挑战性的问题，在智能机器人和自动驾驶中起着重要作用。由于激光雷达数据的稀疏性，使得三维场景的补全和语义分割变得更加复杂。由于语义特征可以为完成任务提供约束和语义先验，因此它们之间的关系值得探讨。因此，我们提出了一个端到端的语义分割辅助场景完成网络，包括一个2D完成分支和一个3D语义分割分支。具体地说，该网络以原始点云作为输入，并将分割分支的特征分层合并到完成分支中以提供语义信息。通过采用BEV表示和3D稀疏卷积，我们可以在保持有效表达的同时受益于较低的操作数。此外，分割分支的解码器被用作辅助，可以在推理阶段丢弃，以节省计算消耗。大量的实验表明，我们的方法在SemanticKITTI数据集上具有低延迟的竞争力。代码和模型将在https://github.com/jokester-zzz/SSA-SC上发布。
2021-09-23 cs.CV
Label-PEnet: Sequential Label Propagation and Enhancement Networks for Weakly Supervised Instance Segmentation
Malong Technologies（码隆科技）；Shenzhen Malong Artificial Intelligence Research Center（深圳码隆人工智能研究中心）；The University of Hong Kong（香港大学）
弱监督实例分割的目标是在只给出图像级标签的情况下精确地检测和分割对象实例。与以前由多个离线阶段组成的方法不同，我们提出了顺序标签传播和增强网络（称为Label-PEnet），它以从粗到细的方式逐步将图像级标签转换为像素级标签。本文设计了多标签分类、目标检测、实例精化和实例分割四个级联模块，通过共享同一主干依次实现。级联的流水线交替地用课程学习策略来训练，该策略以增加的精度逐渐将标签从高级图像概括到低级像素。此外，我们还设计了一个建议校准模块，以探索分类网络找到识别对象部分的关键像素的能力，这是一个以相反顺序运行的后验证策略。我们评估了Label-PEnet在标准基准上挖掘实例掩码的效率：PASCAL VOC 2007和2012。实验结果表明，Label-PEnet的性能明显优于最先进的算法，即使与完全监督的方法也能获得相当的性能。
2020-04-24 cs.CV
Shift-Memory Network for Temporal Scene Segmentation
Indiana University – Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
语义分割在理解空间布局方面取得了很大的准确性。对于基于动态场景的实时任务，我们扩展了时间域的语义分割，以提高运动的空间精度。我们在流输入上利用移位模式网络来确保零延迟输出。针对移动网络下的数据重叠问题，提出了跨网络层的固定周期重复计算的识别方法。为了避免这种冗余，我们从编码-解码基线中推导出移位记忆网络（SMN），以重用网络值而不损失精度。在补丁模式下训练，SMN提取网络参数，以便SMN在紧凑的存储器中迅速执行推理。我们从1D扫描输入和2D视频中分割动态场景。SMN的实验达到了与移位模式相当的精度，但推理速度更快，存储量更小。这将促进边缘设备上的实时应用中的语义分割。
2022-02-17 cs.CV
PixelLink: Detecting Scene Text via Instance Segmentation
Zhejiang University（浙江大学）；CVTE Research（CVTE研究院）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
大多数最先进的场景文本检测算法是基于深度学习的方法，其依赖于限界框回归并执行至少两种预测：文本/非文本分类和位置回归。在这些方法中，回归在边界框的获取中起着关键作用，但它不是必不可少的，因为文本/非文本预测也可以被认为是一种本身包含完整位置信息的语义分割。然而，场景图像中的文本实例通常彼此非常接近，使得它们很难通过语义分割分离。因此，需要实例分割来解决这个问题。提出了一种基于实例分割的场景文本检测算法PixelLink。文本实例首先通过将同一实例中的像素链接在一起来分割。然后直接从分割结果中提取文本边界框，而无需位置回归。实验表明，与基于回归的方法相比，PixelLink在多个基准测试中可以获得更好或相当的性能，同时需要更少的训练迭代次数和更少的训练数据。
2018-01-04 cs.CV
Scene-Centric Unsupervised Panoptic Segmentation
TU Darmstadt（图宾根大学）；TU Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；MCML；ELIZA
该研究针对无监督全景分割问题，提出首个直接基于以场景为中心图像训练的方法，结合视觉表示、深度和运动线索生成伪标签并采用自训练策略，在Cityscapes数据集上PQ指标较现有技术提升9.4个百分点。
2025-04-02 cs.CV
A Deep Learning-based Global and Segmentation-based Semantic Feature Fusion Approach for Indoor Scene Classification
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）；Polytechnic Institute of Tomar（托马尔理工学院）
本研究提出基于分割的语义特征（SSFs）与双分支网络GS2F2App，融合CNN全局特征与SSFs特征用于室内场景分类，在SUN RGB-D和NYU Depth V2数据集上取得SOTA结果。
2024-01-31 cs.CV
Robust 6D Object Pose Estimation in Cluttered Scenes using Semantic Segmentation and Pose Regression Networks
University of Bonn（波恩大学）
目标位姿估计是机器人在复杂环境中进行自主操作的重要前提。仓库等现实世界的装箱设置带来了额外的挑战，例如，不断地添加新对象。大多数现有的物体姿态估计方法假设物体的3D模型是预先可用的。我们提出了一个管道，需要最少的人为干预和规避依赖的3D模型的可用性，通过快速数据采集方法和合成数据生成过程。这项工作建立在以前的工作上的语义分割的混乱bin-picking场景，以隔离在混乱的个别对象。在合成场景上训练附加网络以从从分割结果中提取的裁剪的以对象为中心的编码来估计对象姿态。所提出的方法进行评估的合成验证数据集和杂乱的现实世界的场景。
2018-10-08 cs.CV
U4D: Unsupervised 4D Dynamic Scene Understanding
University of Surrey（萨里大学）
我们介绍了第一种方法来解决具有挑战性的问题，无监督的4D视觉场景理解的复杂动态场景与多个交互的人从多视角视频。我们的方法同时估计一个详细的模型，其中包括每像素的语义和时间相干重建，以及利用照片的一致性，语义和运动信息的实例级分割。我们进一步利用最近的进展，在三维姿态估计约束联合语义实例分割和四维时间相干重建。这使得在复杂的动态场景中的多个交互的人的每个人的语义实例分割成为可能。对具有挑战性的室内和室外序列的最先进的方法的联合视觉场景理解框架的广泛评估表明，在语义分割，重建和场景流的准确性显着（约40%）的改善。
2019-07-23 cs.CV
An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset
Dalian University of Technology（大连理工大学）
随着水下目标抓取技术的发展，对水下目标进行高精度的识别和分割成为一个挑战。现有的水下目标检测技术只能给出物体的大致位置，无法给出物体的轮廓等更详细的信息，严重影响抓取效率。为了解决这个问题，我们标记并建立了第一个真实场景的水下语义分割数据集（DUT-USEG：DUT Underwater Segmentation Dataset）。DUT- USEG数据集包括6617幅图像，其中1487幅具有语义分割和实例分割注释，其余5130幅图像具有目标检测框注释。基于此数据集，我们提出了一个半监督的水下语义分割网络（US-Net：水下分割网络）的边界为重点。该网络通过设计伪标签生成器和边界检测子网络，实现了水下目标与背景边界的精细学习，提高了边界区域的分割效果。实验结果表明，该方法在DUT-USEG数据集上对海参、海胆、海星三种鱼类的分类效果提高了6.7%，达到了最佳的分类效果。DUT- USEG数据集将在https://github.com/baxiyi/DUT-USEG上发布。
2021-08-26 cs.CV
Exploring Scene Affinity for Semi-Supervised LiDAR Semantic Segmentation
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Computer Science and Technology, Hainan University（海南大学计算机科学与技术学院）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）；State Key Lab. of LIESMARS, Wuhan University（武汉大学LIESMARS国家重点实验室）；Institute for Math & AI, Wuhan University（武汉大学数学与人工智能研究院）
本文提出AIScene方法，通过移除无伪标签点确保场景内前后向传播一致性，并结合多场景混合增强，显著提升了半监督LiDAR语义分割性能。
2025-04-01 cs.CV
The effect of scene context on weakly supervised semantic segmentation
Shahid Beheshti University（沙希德·贝赫什提大学）；Cyberspace Research Institute, Shahid Beheshti University（沙希德·贝赫什提大学网络空间研究院）
图像语义分割是将图像分割成若干个区域，每个区域都包含一个语义概念。在弱监督的方式下，由于只有图像级标签可用，因此将对象与背景区分开来是具有挑战性的，并且在某些情况下更加困难。更具体地，在一个特定场景中通常看到的一些对象（例如，“训练”通常在“铁路轨道”上看到）更有可能被混淆。在本文中，我们提出了一种方法来添加特定于目标的场景，以克服上述问题。实际上，我们提出了一个场景推荐器，它建议在目标数据集中添加一些特定的场景上下文，以便更准确地训练模型。值得注意的是，这一想法可以成为许多其他方法基线的补充部分。实验结果验证了该方法对添加场景背景的对象的有效性。
2019-06-07 cs.CV
Prompt What You Need: Enhancing Segmentation in Rainy Scenes with Anchor-based Prompting
Beijing Jiaotong University（北京交通大学）
针对雨天语义分割的挑战，提出结合半监督学习与预训练基础模型、利用熵锚点提示和掩码过滤融合的框架，在Rainy WCity数据集上取得最优性能并获ICME 2023一等奖。
2023-05-12 cs.CV
Active Self-Training for Weakly Supervised 3D Scene Semantic Segmentation
Shenzhen University（深圳大学）；Carleton University（卡尔顿大学）
由于为训练点云的语义分割网络准备标记数据是一个耗时的过程，因此已经引入了弱监督方法来仅从一小部分数据中学习。这些方法通常基于具有对比损失的学习，同时从用户注释的标签的稀疏集合自动导出每点伪标签。在本文中，我们的主要观察结果是，选择要注释的样本与如何使用这些样本进行训练一样重要。因此，我们介绍了一种弱监督分割的3D场景，结合自我训练与主动学习的方法。主动学习选择可能导致训练模型性能改进的注释点，而自训练有效地使用用户提供的标签来学习模型。我们证明，我们的方法导致一个有效的方法，提供了改进的场景分割在以前的作品和基线，同时只需要少量的用户注释。
2022-09-15 cs.CV
Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes
The City College of New York（纽约城市学院）；The City College（城市学院）；The Graduate Center, the City University of New York（纽约城市大学研究生中心）
三维分割标签的缺乏是点云有效分割的主要障碍之一，特别是对于野外场景中各种不同的对象。为了缓解这个问题，我们提出了一种新的基于深度图卷积网络的框架，用于在点云中进行大规模语义场景分割，仅进行2D监督。与之前的许多多视图监督方法专注于单对象点云不同，我们认为，2D监督能够提供足够的指导信息，用于训练自然场景点云的3D语义分割模型，而不是明确地捕捉它们的固有结构，即使每个训练样本只有一个视图。具体而言，一个基于图的金字塔特征网络（GPFN）的设计，隐式地推断点集的全局和局部特征和可观察性网络（OBSNet）的引入，以进一步解决三维场景中的对象的复杂空间关系所造成的对象遮挡问题。在投影过程中，提出了透视渲染和语义融合模块，以提供精细的2D监督信号的训练以及2D-3D联合优化策略。广泛的实验结果证明了我们的2D监督框架的有效性，该框架在流行的SUNC合成数据集和S3 DIS真实世界数据集上进行语义点云分割时，取得了与使用完整3D标签训练的最先进方法相当的结果。
2020-05-17 cs.CV
ASSIST-3D: Adapted Scene Synthesis for Class-Agnostic 3D Instance Segmentation
ASSIST-3D通过异构对象选择、场景布局生成和点云构建，提升无类别3D实例分割的泛化能力。
2025-12-10 cs.CV
Value of Temporal Dynamics Information in Driving Scene Segmentation
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Collaborative Safety Research Center, Toyota Motor North America（丰田北美汽车公司协作安全研究中心）
语义场景分割主要通过用监督和非监督方法形成单个图像的表示来解决。动态场景中的语义分割问题最近开始受到视频对象分割方法的关注。不知道的是，视觉场景的时间动态携带了多少额外的信息，这些信息与视频的各个帧中可用的信息互补。有证据表明，人类视觉系统可以有效地感知场景的时间动态信息的场景的变化的视觉特性，而不依赖于个人快照本身的视觉特性。我们的工作采取步骤，探索机器感知是否可以表现出类似的属性，通过结合基于外观的表示和时间动态表示在一个联合学习的问题，揭示了每个对成功的动态场景分割的贡献。此外，我们还提供了MIT驾驶场景分割数据集，这是一个大规模的完整驾驶场景分割数据集，为每个像素和5,000个视频帧中的每一个都进行了密集注释。该数据集旨在帮助进一步探索视频中的语义分割的时间动态信息的价值。
2019-03-21 cs.CV cs.NE
Class-Agnostic Visio-Temporal Scene Sketch Semantic Segmentation
Koç University（科奇大学）
本文提出类别无关视觉-时序网络CAVT，首次在场景草图中同时实现实例级和笔画级分割，并构建了包含1K场景草图、403类对象的FrISS数据集，性能优于现有方法。
2024-09-30 cs.CV cs.LG
SemanticFlow: A Self-Supervised Framework for Joint Scene Flow Prediction and Instance Segmentation in Dynamic Environments
针对自动驾驶动态场景感知中运动估计与分割任务分离的缺陷，提出自监督多任务框架SemanticFlow，通过由粗到细的共享特征方案、一致性损失与自监督标签生成，在多数据集上实现了性能与效率的提升。
2025-03-19 cs.CV cs.RO
MCDS-VSS: Moving Camera Dynamic Scene Video Semantic Segmentation by Filtering with Self-Supervised Geometry and Motion
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文提出MCDS-VSS模型，通过自监督估计场景几何、相机自运动和物体运动，以预测-融合方式提升移动相机视频语义分割的时间一致性，同时保持分割精度。
2024-09-05 cs.CV cs.RO
Instance Segmentation of Scene Sketches Using Natural Image Priors
Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出InkLayer方法，通过类别无关微调和深度线索细化，将图像分割模型适配到草图实例分割，并构建InkScenes数据集验证其鲁棒性。
2025-05-06 cs.CV cs.GR
Reinforcement Learning for Semantic Segmentation in Indoor Scenes
George Mason University（乔治梅森大学）
未来机器人自主性和机器人任务复杂性的进步取决于对环境的鲁棒、高效和任务相关的语义理解。语义分割是同时分割和分类的感觉数据的分区的问题。目前的大多数方法都是在条件随机场（CRF）框架中使用多类分割和标记，或者通过生成多个对象假设并按顺序组合它们来解决这个问题。在实际设置中，所需的语义标签的子集取决于任务和特定场景，并且标记每个像素并不总是必要的。我们追求这些意见在开发一个更模块化和灵活的方法来多类分析RGBD数据的学习策略的基础上，结合独立的二进制对象与背景分割，而不是通常的单片多标签CRF的方法。独立二进制分割模型的参数可以非常有效地学习，并且组合策略--使用强化学习学习--可以独立设置，并且可以在不同的任务和环境中变化。准确性与NYU-V2室内场景数据集子集上的最先进方法相当，同时提供额外的灵活性和模块化。
2016-06-03 cs.CV cs.RO
Multi-source Pseudo-label Learning of Semantic Segmentation for the Scene Recognition of Agricultural Mobile Robots
Toyohashi University of Technology（丰桥技术科学大学）
本文介绍了一种新的方法，训练语义分割模型的农业移动机器人的场景识别，利用公共可用的数据集的户外场景是不同的目标温室环境。语义分割模型需要通过繁琐的人工标注给出丰富的标签。一种解决方法是无监督领域自适应（UDA），它将知识从标记的源数据集转移到未标记的目标数据集。然而，现有的方法的有效性没有得到很好的研究，在异构环境之间的适应，如城市场景和温室。在本文中，我们提出了一种方法来训练一个语义分割模型的温室图像没有手动标记的温室图像数据集。其核心思想是利用多个不同环境下的丰富图像数据集，利用分割标签为目标图像生成伪标签，有效地传递多源知识，实现语义分割的精确训练。随着伪标签的生成，我们引入了最先进的方法来处理伪标签中的噪声，以进一步提高性能。我们在多个温室数据集的实验中证明，与单源基线和现有方法相比，我们提出的方法提高了性能。
2023-01-13 cs.CV cs.RO
HiRes: A Hierarchical Cascaded Method for Resistor Value Identification
Electrical & Computer Engineering, Texas A&M University at Qatar（塔里赫大学卡塔尔分校电子与计算机工程系）；College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·卡伊夫大学科学与工程学院）
提出HiRes层次级联流水线，结合目标检测、语义分割和几何解码，实现端到端电阻值识别，在真实图像上达到85.8%准确率，优于传统方法和多模态大模型。
2026-06-29 cs.CV eess.IV
NeSF: Neural Semantic Fields for Generalizable Semantic Segmentation of 3D Scenes
Google Research（谷歌研究院）；University of Toronto（多伦多大学）
我们提出了NeSF，一种从单独的RGB图像产生3D语义场的方法。代替经典的3D表示，我们的方法建立在隐式神经场景表示，其中3D结构是由逐点函数捕获的最近的工作。我们利用这种方法来恢复3D密度场，然后我们训练一个3D语义分割模型的监督构成的2D语义地图。尽管仅在2D信号上进行训练，但我们的方法能够从新颖的相机姿势生成3D一致的语义地图，并且可以在任意3D点处查询。值得注意的是，NeSF与任何产生密度场的方法兼容，并且其精度随着密度场质量的提高而提高。我们的实证分析表明，在复杂的、逼真渲染的合成场景上，具有竞争力的2D和3D语义分割基线的质量相当。我们的方法是第一个提供真正密集的3D场景分割，只需要2D监督的训练，不需要任何语义输入的推理新的场景。我们鼓励读者访问该项目的网站。
2021-12-03 cs.CV cs.RO
MPASNET: Motion Prior-Aware Siamese Network for Unsupervised Deep Crowd Segmentation in Video Scenes
Shanghai Jiao Tong University（上海交通大学）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
人群分割是拥挤景物分析的基础，获得精细的像素级分割图是非常必要的。然而，它仍然是一个具有挑战性的问题，因为现有的方法要么需要密集的像素级注释来训练深度学习模型，要么仅仅从具有物理模型的光学或粒子流中产生粗略的分割图。在本文中，我们提出了运动先验感知暹罗网络（MPASNET）的无监督人群语义分割。该模型不仅消除了对注释的需要，而且还产生高质量的分割图。特别地，我们首先分析跨帧的相干运动模式，然后在集体粒子上应用圆形区域合并策略来生成伪标签。此外，我们为MPASNET配备了用于增强不变正则化和连体特征聚合的连体分支。在基准数据集上的实验表明，我们的模型在mIoU方面比最先进的模型高出12%以上。
2021-06-02 cs.CV cs.LG
Towards Robust Semantic Segmentation of Accident Scenes via Multi-Source Mixed Sampling and Meta-Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
自动驾驶汽车利用城市场景分割来像人类一样理解现实世界并做出相应的反应。普通场景的语义分割在传统基准上的准确性有了显著的提高。然而，现实生活中的事故中有很大一部分具有异常场景，例如物体变形，翻倒和意外的交通行为。由于即使是很小的错误分割的驾驶场景可能会导致严重的威胁到人类的生命，在事故场景中，这些模型的鲁棒性是一个非常重要的因素，在确保智能交通系统的安全。在本文中，我们提出了一个多源元学习无监督领域自适应（MMUDA）框架，以提高分割Transformers器极端事故场景的泛化能力。在MMUDA中，我们使用多域混合采样来增强多个源域的图像（正常场景）与目标数据外观（异常场景）。为了训练我们的模型，我们在多源设置中插入和学习元学习策略，以增强分割结果的鲁棒性。我们进一步增强了分割骨干（SegFormer）与HybridASPP解码器设计，具有大窗口注意力空间金字塔池和条带池，有效地聚合长距离上下文依赖。我们的方法在DADA-seg基准测试中获得了46.97%的mIoU分数，超过了之前最先进的模型7.50%以上。代码将在https://github.com/xinyu-laura/MMUDA上公开。
2022-03-19 cs.CV cs.RO eess.IV
Reinforcement Learning as a Parsimonious Alternative to Prediction Cascades: A Case Study on Image Segmentation
Stevens Institute of Technology（斯蒂文斯理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对低资源环境下预测级联模型计算成本高的问题，提出基于强化学习的非级联成本感知流程 PaSeR，并引入 IoU/GigaFlop 指标，在电池材料分割等任务上以更低成本实现更高精度。
2024-02-19 cs.CV cs.LG
Teaching AI the Anatomy Behind the Scan: Addressing Anatomical Flaws in Medical Image Segmentation with Learnable Prior
National University of Singapore（新加坡国立大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
提出解剖学信息级联分割网络（AIC-Net），通过引入可学习的“解剖学先验”并结合可微空间变形与局部级联结构，增强现有分割模型的解剖学感知能力，在腹部器官和椎骨多器官分割任务中有效提升了dice分数和Hausdorff距离。
2024-08-26 cs.CV cs.LG eess.IV
Towards holistic scene understanding: Semantic segmentation and beyond
Eindhoven University of Technology（埃因霍温理工大学）；University of Gent（根特大学）；TU Delft（代尔夫特理工大学）；NTU Athens（雅典国家技术大学）；Vicomtech（Vicomtech 技术中心）
本论文致力于视觉场景理解，提高分割性能和泛化能力，提高网络的训练效率和整体理解能力。首先，我们研究语义分割的背景下，街道场景和训练语义分割网络上的各种数据集的组合。在第2章中，我们设计了一个基于单个卷积主干的分层分类器框架，并在像素标记数据集的组合上进行端到端的训练，提高了泛化能力和可识别语义概念的数量。第三章重点研究了弱监督对语义分割的改进，提出了一种基于限界框和图像两级监督的弱监督分割算法。在多个数据集上同时训练所带来的内存和计算负载挑战将在第4章中讨论。我们提出了两种方法，用于从监管薄弱的数据集中选择信息丰富且多样化的样本，以在不牺牲性能的情况下减少网络的生态足迹。出于对内存和计算效率的需求，在第5章中，我们重新思考了异构数据集上的同步训练，并提出了一个通用的语义分割框架。该框架通过利用各种场景理解数据集来实现性能指标和语义知识性的一致增加。第6章介绍了部分感知全景分割的新任务，它将我们的推理扩展到整体场景理解。该任务将场景和部件级语义与实例级目标检测相结合。总之，我们的贡献跨越了卷积网络架构，弱监督学习，部分和全景分割，为实现全面，丰富和可持续的视觉场景理解铺平了道路。
2022-01-16 cs.AI cs.CV cs.LG
Aerial-PASS: Panoramic Annular Scene Segmentation in Drone Videos
State Key Laboratory of Optical Instrumentation, Zhejiang University, China（浙江大学光学仪器国家重点实验室）；Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology, Germany（卡尔斯鲁厄理工学院人机与机器人研究所）
对周围环境进行空中逐像素场景感知是无人机的一项重要任务。以往的研究工作主要采用传统的针孔摄像机或鱼眼摄像机作为成像器件。然而，这些成像系统不能同时实现大视场（FoV）、小尺寸和轻量化。为此，我们设计了一种具有全景环形透镜（PAL）的无人机系统，该系统具有体积小，重量轻，360度环形FoV的特点。设计了一种轻量级的全景环形语义分割神经网络模型，实现了高精度、实时的场景解析。此外，我们提出了第一个无人机视角的全景场景分割数据集Aerial-PASS，带有田径，田径等注释标签。各种实验表明，所设计的系统在航空全景场景解析中取得了令人满意的效果。特别是，我们提出的模型罢工之间的分割性能和推理速度合适，验证了公共街道场景和我们建立的空中场景数据集的一个很好的权衡。
2021-05-15 cs.CV cs.RO eess.IV
Fully Automatic Segmentation of Lumbar Vertebrae from CT Images using Cascaded 3D Fully Convolutional Networks
Institute for Surgical Technology \& Biomechanics, University of Bern, Bern, Switzerland. Contact
我们提出了一种方法来解决具有挑战性的问题，从不同的视野采集的CT图像腰椎分割。我们的方法是基于级联的3D全卷积网络（FCN）组成的本地化FCN和分割FCN。更具体地说，在第一步中，我们训练一个回归3D FCN（我们称之为“LocalizationNet”）来找到腰椎区域的限界框。之后，开发了一个像FCN这样的3D U-网络（我们称之为“SegmentationNet”），在训练后，它可以执行像素级多类分割，将裁剪的木材区域体积数据映射到其体积标签。在公开可用的数据集上进行评估，我们的方法实现了95.77 $\pm$ 0.81%的平均Dice系数和0.37 $\pm$ 0.06 mm的平均对称表面距离。
2017-12-05 cs.CV
Spatial Sampling Network for Fast Scene Understanding
University of Milano-Bicocca（米兰比可卡大学）
我们提出了一种网络架构来执行高效的场景理解。这项工作提出了三个主要的新颖性：第一个是一个改进的引导上采样模块，可以取代在toto的解码器部分，在共同的语义分割网络。我们的第二个贡献是引入了一个新的基于空间采样的模块来执行实例分割。它提供了一个非常快速的实例分割，只需要阈值作为推理时的后处理步骤。最后，我们提出了一种新的高效的网络设计，其中包括新的模块，并测试它对不同的数据集，户外场景理解。据我们所知，我们的网络是迄今为止发布的最有效的场景理解架构之一，而且在语义分割方面比最快的竞争对手准确8.6%，并且比最有效的实例分割网络快近5倍。
2019-05-22 cs.AI cs.CV cs.LG
