MambaPanoptic: A Vision Mamba-based Structured State Space Framework for Panoptic Segmentation
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Polytechnic University of Milan（米兰理工大学）；University of Stuttgart（斯图加特大学）；Wuhan University（武汉大学）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用科学大学）
本研究提出MambaPanoptic，一种基于视觉Mamba的结构状态空间框架，旨在解决全景分割中长程上下文建模、多尺度特征表示和高效密集预测的挑战，通过引入MambaFPN和改进的PanopticFCN风格核生成器实现统一的实例和物质预测。
2026-05-19 cs.CV
Cross-View Regularization for Domain Adaptive Panoptic Segmentation
School of Computer Science Engineering（计算机科学与工程学院）；Nanyang Technological University（南洋理工大学）
全景分割将语义分割和实例分割结合起来，近年来受到越来越多的关注。然而，大多数现有的研究是在监督学习设置下进行的，而非监督域自适应全景分割在不同的任务和应用中是至关重要的，在很大程度上被忽视。我们设计了一个域自适应全景分割网络，该网络利用风格间一致性和任务间正则化来实现最佳域自适应全景分割。风格间的一致性利用了不同风格的同一图像的几何不变性，这制造了一定的自我监督来引导网络学习域不变特征。任务间正则化利用实例分割和语义分割的互补性质，并将其用作跨域更好的特征对齐的约束。在多个域自适应全景分割任务（例如，合成到真实和真实到真实）表明，我们提出的网络实现了优越的分割性能相比，国家的最先进的。
2021-03-03 cs.CV
Pointly-Supervised Panoptic Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Centre for Artificial Intelligence and Robotics, HKISI_CAS（中国科学院香港创新研究院人工智能与机器人创新中心）
在本文中，我们提出了一种新的方法来应用点级注释弱监督全景分割。与完全监督方法所使用的密集像素级标签不同，点级标签仅为每个目标提供一个点作为监督，从而显着减少了注释负担。我们制定了一个端到端的框架中的问题，同时生成panoptic伪掩模从点级别的标签，并从中学习。为了应对核心挑战，即，panoptic伪掩模生成，我们提出了一个原则性的方法来解析像素，通过最小化像素到点的遍历成本，模型语义相似性，低层次的纹理线索，和高层次的流形知识，以区分panoptic目标。我们在Pascal VOC和MS COCO数据集上进行了实验，以证明该方法的有效性，并在弱监督全景分割问题中表现出最先进的性能。代码可在https://github.com/BraveGroup/PSPS.git上获得。
2022-10-25 cs.CV
Single-shot Path Integrated Panoptic Segmentation
Yonsei University（延世大学）；Adobe Research（Adobe研究院）
全景分割是一种将实例分割和语义分割相结合的新方法，近年来受到了广泛的关注。然而，大多数以前的方法是由多个通路，每个通路专门用于指定的分割任务。在本文中，我们提出了解决全景分割在单镜头通过整合的执行流程。通过该集成路径，生成了一个统一的特征图，称为全景特征，它包含了事物和材料的信息。Panoptic-Feature通过辅助问题变得更加复杂，这些辅助问题引导属于同一实例的像素聚类并区分不同类别的对象。卷积滤波器的集合（其中每个滤波器表示一个事物或一个填充物）被立即应用于全景特征，从而实现单次全景分割。结合自上而下和自下而上两种方法的优点，我们的方法SPINet在主要的全景分割基准：COCO和Cityscapes上具有很高的效率和准确性。
2020-12-04 cs.CV
Panoptic SegFormer: Delving Deeper into Panoptic Segmentation with Transformers
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；NVIDIA（英伟达）；Caltech（加州理工学院）
全景分割涉及联合语义分割和实例分割的组合，其中图像内容被分为两种类型：事物和填充物。我们提出了Panoptic SegFormer，一个通用的框架与Transformers的全景分割。它包含三个创新的组件：一个高效的深度监督掩码解码器，查询解耦策略，和一个改进的后处理方法。我们还使用Deformable DETR来有效地处理多尺度特征，这是DETR的快速有效版本。具体来说，我们监督的注意力模块在掩码解码器中的逐层方式。这种深度监督策略让注意力模块快速关注有意义的语义区域。与Deformable DETR相比，它提高了性能，并将所需的训练次数减少了一半。我们提出的查询解耦策略将查询集的职责分开，避免了事物与事物之间的相互干扰。此外，我们的后处理策略通过联合考虑分类和分割质量来解决冲突的掩码重叠，从而在不增加成本的情况下提高了性能。我们的方法比基线DETR模型的精度提高了6.2\% PQ。Panoptic SegFormer在COCO测试开发中取得了最先进的结果，PQ为56.2\%。与现有方法相比，该方法具有更强的zero-shot鲁棒性。代码在\url{https://github.com/zhiqi-li/Panoptic-SegFormer}发布。
2022-03-18 cs.CV
Combinatorial Optimization for Panoptic Segmentation: A Fully Differentiable Approach
MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学校园）
我们提出了一个完全可区分的架构，同时语义和实例分割（又名。全景分割），其由卷积神经网络和非对称多路切割问题求解器组成。后者解决了一个组合优化问题，优雅地结合语义和边界预测，以产生一个全景标签。我们的配方允许直接最大化的泛光质量度量的平滑代理通过反向传播的梯度通过优化问题。实验评价表明，通过反向传播优化问题w.r.t. Cityscapes和COCO数据集上的类似方法。总的来说，我们的方法显示了在具有挑战性的大规模现实问题中使用组合优化与深度学习的效用，并展示了训练这种架构的好处和见解。
2021-10-25 cs.CV
Unifying Instance and Panoptic Segmentation with Dynamic Rank-1 Convolutions
The University of Adelaide（阿德莱德大学）
最近，与用于实例分割的两阶段框架相比，全卷积一阶段网络已经显示出优越的性能，因为通常它们可以用更少的计算生成更高质量的掩码预测。此外，它们简单的设计为联合多任务学习提供了新的机会。在本文中，我们证明了为语义分割添加单个分类层，全卷积实例分割网络可以实现最先进的全景分割质量。这是可能的，我们的新的动态秩1卷积（DR 1Conv），一种新的动态模块，可以有效地合并高层次的上下文信息与低层次的详细功能，这是有益的语义和实例分割。重要的是，所提出的新方法，称为DR 1 Mask，可以通过添加单层来执行全景分割。据我们所知，DR 1 Mask是第一个全景分割框架，它通过考虑功效和效率，为实例和语义分割利用共享特征图。我们的框架不仅效率更高--是以前最好的两个分支方法的两倍，而且统一的框架为使用相同的上下文模块来提高两个任务的性能提供了机会。作为副产品，当单独执行实例分割时，DR 1 Mask比以前最先进的实例分割网络BlendMask快10%，并且在mAP中更精确1个点。代码可在：https://git.io/AdelaiDet
2020-11-19 cs.CV
Time-Space Transformers for Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
我们提出了一种新的解决方案，视频全景分割的任务，同时预测像素级的语义和实例分割，并产生剪辑级的实例轨道。我们的网络名为VPS-Transformer，具有基于最先进的全景分割网络Panoptic-DeepLab的混合架构，结合了用于单帧全景分割的卷积架构和基于纯Transformer块实例化的新型视频模块。配备有注意力机制的Transformer对当前帧和过去帧的骨干输出特征之间的时空关系进行建模，以获得更准确和一致的全景估计。由于纯Transformer块在处理高分辨率图像时会引入大量计算开销，因此我们提出了一些设计更改以实现更高效的计算。我们研究如何更有效地聚合信息的时空量，我们比较了几个变种的Transformer块与不同的注意力计划。在Cityscapes-VPS数据集上进行的大量实验表明，我们的最佳模型将时间一致性和视频全景质量提高了2.2%，并且几乎没有额外的计算。
2022-10-07 cs.CV
PanDA: Unsupervised Domain Adaptation for Multimodal 3D Panoptic Segmentation in Autonomous Driving
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research (I2R), A*STAR, Singapore（新加坡资讯通信研究院（I2R），A*STAR，新加坡）
本文提出PanDA框架，针对多模态3D全景分割的无监督领域自适应问题，通过不对称多模态增强和双专家伪标签细化模块提升鲁棒性和伪标签完整性，实验表明在多种领域转移场景下超越现有SOTA方法。
2026-04-21 cs.CV
CFNet: Learning Correlation Functions for One-Stage Panoptic Segmentation
Zhejiang University（浙江大学）；Tencent Youtu Lab（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）
近年来，一阶段全景分割方法受到越来越多的关注，该方法旨在有效地在全卷积流水线内联合分割实例和填充物。然而，大多数现有的工作直接馈送的骨干功能，以各种分割头忽略了需求的语义和实例分割是不同的：前者需要语义级的歧视性的功能，而后者要求的功能是可区分的实例。为了缓解这一问题，我们建议首先预测用于增强骨干特征的不同位置之间的语义级和实例级相关性，然后将改进的判别特征分别馈送到相应的分段头中。具体来说，我们将给定位置与所有位置之间的相关性组织为连续序列，并将其作为一个整体进行预测。考虑到这样的序列可能非常复杂，我们采用离散傅里叶变换（DFT），一种可以近似由幅度和相位参数化的任意序列的工具。对于不同的任务，我们以完全卷积的方式从骨干特征中生成这些参数，并通过相应的任务进行隐式优化。结果，这些准确和一致的相关性有助于产生符合复杂的全景分割任务的要求的合理的区别特征。为了验证我们的方法的有效性，我们在几个具有挑战性的全景分割数据集上进行了实验，并在MS COCO上使用$45.1$ \% PQ和ADE 20 k上使用$32.6$ \% PQ实现了最先进的性能。
2022-01-13 cs.CV
ProGuT: Label-Efficient Panoptic Segmentation for Forest Scenes
Robotics Research Lab, RPTU Kaiserslautern-Landau（机器人研究实验室，莱茵兰-普法尔茨凯泽斯劳滕大学）
ProGuT利用CLIP特征聚类与结构张量几何先验，无需逐图掩码即可生成森林场景全景伪标签，在Our-forest和Freiburg Forest上分别达到65.2 PQ和65.9 mIoU，显著优于现有无监督基线。
2026-09-30 cs.CV
Scene-Centric Unsupervised Video Panoptic Segmentation
TU Munich（慕尼黑技术大学）；TU Darmstadt（达姆施塔特技术大学）；NVIDIA（英伟达）；University of Oxford（牛津大学）；MCML；ELIZA
提出无监督视频全景分割任务及首个方法VideoCUPS，利用深度、运动和视觉线索生成伪标签，并通过Video DropLoss训练，在无监督条件下实现准确分割。
2026-06-03 cs.CV
Towards Deeply Unified Depth-aware Panoptic Segmentation with Bi-directional Guidance Learning
Dalian University of Technology（大连理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对深度感知全景分割中分割与深度估计任务割裂的问题，提出共享对象查询的深度统一框架，并结合几何查询增强与双向引导学习，在两个基准上达到新SOTA且适用于不完整监督。
2023-08-14 cs.CV
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford（牛津大学）
我们提出了一个弱监督模型，共同执行语义和实例分割-一个特别相关的问题，因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比，我们的方法不预测任何重叠的实例。此外，我们能够分割“东西”和“东西”类，从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督，而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果，无论是完全监督还是弱监督（实现了约95%的完全监督性能）。此外，我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后，我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系，这是数据集创建者感兴趣的。
2019-01-13 cs.CV
CASNet: Common Attribute Support Network for image instance and panoptic segmentation
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）
实例分割和全景分割是近年来研究的热点。与基于限界框的目标检测和语义分割相比，实例分割可以提供更多的像素级分析结果。针对同一实例中的像素点具有当前实例的一个或多个公共属性的特点，提出了一种单级实例分割网络--公共属性支持网络（CASNet），通过对公共属性的预测和聚类实现实例分割。CASNet采用全卷积的方式设计，可以实现端到端的训练和推理。CASNet能够在预测实例时避免当前大多数实例分割算法存在的重叠和空洞问题。此外，它可以很容易地扩展到全景分割，通过较小的修改与很少的计算开销。CASNet从查找像素类ID到通过对公共属性的操作获得类ID和实例ID，在语义分割和实例分割之间架起了一座桥梁。通过实例实验和全景分割，CASNet在Cityscapes验证数据集上采用联合训练的方法得到mAP 32.8%，PQ 59.0%，采用分离训练的方法得到mAP 36.3%，PQ 66.1%.对于全景分割，CASNet在Cityscapes验证数据集上获得了最先进的性能。
2020-07-17 cs.CV
Pixel Consensus Voting for Panoptic Segmentation
Carnegie Mellon University（卡内基梅隆大学）；TTI-Chicago（丰田工业大学芝加哥分校）；University of Chicago（芝加哥大学）
我们的方法，像素共识投票的核心，是一个框架的实例分割的基础上广义霍夫变换。像素对包含实例质心的可能区域进行离散化的概率投票。在投票热图中出现的检测到的峰值处，应用反向投影来收集像素并产生实例掩码。与密集枚举对象提案的滑动窗口检测器不同，我们的方法检测实例是像素投票之间达成共识的结果。我们使用卷积神经网络的原生算子实现投票聚合和反向投影。质心投票的离散化将实例分割的训练减少到像素标记，类似于和补充于FCN风格的语义分割，从而产生联合建模事物和材料的高效且统一的架构。我们证明了我们的管道COCO和城市景观全景分割的有效性，并获得了有竞争力的结果。代码将是开源的。
2020-04-04 cs.CV
Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation
POSTECH（浦项科技大学）；POSCO DX（浦项制铁DX公司）；Chung-Ang University（中央大学）；Seoul National University（首尔国立大学）
研究将大视图合成模型从外观渲染扩展到3D场景理解，提出复用冻结模型传播全景标签的分割管道，无需3D重建和特定训练，在ScanNet和Replica数据集上实验，分割质量佳且新视图合成表现优。
2026-07-23 cs.CV
ConsInstancy: Learning Instance Representations for Semi-Supervised Panoptic Segmentation of Concrete Aggregate Particles
Leibniz University Hannover（汉诺威莱布尼茨大学）
我们提出了一个半监督的方法，全景分割的基础上ConsInstancy正则化，一种新的策略，半监督学习。它通过在训练期间强制执行预测实例表示和语义分割之间的一致性来利用完全未标记的数据，以提高分割性能。为此，我们还提出了新类型的实例表示，可以通过一个简单的前向路径通过全卷积网络（FCN）进行预测，为全景分割提供一个方便和简单的训练框架。更具体地说，我们提出了一个三维的实例方向图作为中间表示和两个互补的距离变换图作为最终表示的预测，提供独特的实例表示的全景分割。我们在硬化和新鲜混凝土的两个具有挑战性的数据集上测试了我们的方法，后者是作者在本文中提出的，证明了我们方法的有效性，优于最先进的半监督分割方法所取得的结果。特别是，我们能够证明，通过在我们的半监督方法中利用完全未标记的数据，与仅使用标记数据的完全监督训练相比，实现的总体准确度（OA）提高了5%。此外，我们超过了最先进的半监督方法所实现的OA高达1.5%。
2022-04-10 cs.CV
PanSR: An Object-Centric Mask Transformer for Panoptic Segmentation
University of Ljubljana（卢布尔雅那大学）
PanSR 是一种以对象为中心的掩码 Transformer，通过改进查询生成与监督，缓解实例合并、增强小物体检测，在 LaRS 基准上提升 PQ 3.4，达到 Cityscapes 最先进水平。
2024-12-13 cs.CV
GP-S3Net: Graph-based Panoptic Sparse Semantic Segmentation Network
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
全景分割作为静态环境理解和动态目标识别的综合任务，近年来开始受到广泛的研究兴趣。在本文中，我们提出了一个新的计算效率的激光雷达为基础的全景分割框架，称为GP-S3网。GP-S3 Net是一种无需建议的方法，与传统的两级全景系统相比，不需要对象建议来识别对象，其中检测网络用于捕获实例信息。我们的新设计包括一个新的实例级网络，通过构建一个图卷积网络来识别对象（前景），然后将其与背景类融合，从而处理语义结果。通过来自语义分割主干的前景对象的细粒度聚类，生成过分割先验，并随后通过3D稀疏卷积处理以嵌入每个聚类。每个聚类被视为图中的一个节点，其对应的嵌入被用作其节点特征。然后，GCNN预测每个聚类对之间是否存在边缘。我们利用实例标签为每个构建的图生成地面真值边缘标签，以监督学习。广泛的实验表明，GP-S3 Net优于当前最先进的方法，在可用的数据集（如nuScenes和SemanticPOSS）中有显著的优势，在出版后的竞争性公共SemanticKITTI排行榜上排名第一。
2021-08-18 cs.CV
Self-supervised Learning for Panoptic Segmentation of Multiple Fruit Flower Species
Marquette University（马凯特大学）；United States Department of Agriculture (USDA)（美国农业部）；University of Florida（佛罗里达大学）
使用手动生成的标签训练的卷积神经网络通常用于语义或实例分割。在精准农业中，自动化花卉检测方法使用监督模型和后处理技术，这些技术可能不会随着花卉的外观和数据采集条件的变化而一致地执行。我们提出了一个自监督学习策略，以提高分割模型的敏感性，不同的花卉品种使用自动生成的伪标签。我们采用了数据增强和细化的方法来提高模型预测的准确性。然后将增强的语义预测转换为全景伪标签以迭代地训练多任务模型。可以使用现有的后处理方法来改进自监督模型预测，以进一步提高其准确性。对多物种果树花数据集的评估表明，我们的方法优于最先进的模型，无需计算昂贵的后处理步骤，为花检测应用提供了新的基线。
2022-09-10 cs.CV
Evolution of Image Segmentation using Deep Convolutional Neural Network: A Survey
University of Gour Banga（古尔班加大学）；Visva-Bharati University（维斯瓦巴拉蒂大学）
从自动驾驶汽车到医疗诊断，对图像分割任务的需求无处不在。图像分割是计算机视觉中不可缺少的任务之一。该任务比其他视觉任务相对复杂，因为它需要低层次的空间信息。基本上，图像分割可以有两种类型：语义分割和实例分割。这两个基本任务的组合版本被称为全景分割。近年来，深度卷积神经网络（CNN）的成功极大地影响了分割领域，并为我们提供了各种成功的模型。在本调查中，我们将了解基于CNN的语义和实例分割工作的发展。我们还指定了一些最先进模型的比较架构细节，并讨论了它们的训练细节，以清晰地理解这些模型的超参数调整。我们还比较了这些模型在不同数据集上的性能。最后，我们给出了一些最先进的全景分割模型的一瞥。
2020-05-29 cs.CV
Cues3D: Unleashing the Power of Sole NeRF for Consistent and Unique Instances in Open-Vocabulary 3D Panoptic Segmentation
Unitn；Bupt（北华大学）
针对开放词汇3D全景分割中NeRF方法难以维持跨视图实例一致性的问题，提出Cues3D，仅依赖NeRF隐式几何实现全局唯一实例ID，通过三阶段训练和实例消歧在多数据集上取得优异性能。
2025-05-01 cs.CV
Instance and Panoptic Segmentation Using Conditional Convolutions
The University of Adelaide（阿德莱德大学）；Meituan Inc.（美团公司）；Zhejiang University（浙江大学）
我们提出了一个简单而有效的框架，例如和全景分割，称为CondInst（条件卷积例如和全景分割）。在文献中，性能最好的实例分割方法通常遵循Mask R-CNN的范例，并依赖于ROI操作（通常是ROIAlign）来处理每个实例。相比之下，我们建议使用动态条件卷积来处理实例。我们设计动态实例感知掩码头，而不是使用实例式ROI作为固定权重的实例掩码头的输入，以待预测的实例为条件。CondInst有三个优势：1.）实例和全景分割统一到一个完全卷积的网络中，无需ROI裁剪和特征对齐。2.）的情况。ROI裁剪的消除也显著提高了输出实例掩码分辨率。3.）第三章由于动态生成的条件卷积的能力大大提高，掩模头可以非常紧凑（例如，3 conv.层，每个层仅具有8个通道），导致每个实例的推理时间显著更快，并且使总体推理时间几乎恒定，与实例的数量无关。我们展示了一种更简单的方法，可以实现提高精度和推理速度的实例和全景分割任务。在COCO数据集上，我们的表现优于一些最先进的方法。我们希望CondInst可以成为一个强大的基线，例如全景分割。代码可在：https://git.io/AdelaiDet
2022-01-20 cs.CV eess.IV
PPMN: Pixel-Phrase Matching Network for One-Stage Panoptic Narrative Grounding
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Meituan（美团）
全景叙事背景（PNG）是一个新兴的任务，其目标是分割由密集的静态图像的叙事字幕描述的事物和材料类别的视觉对象。该方法首先通过一个现成的全景分割模型提取分割区域，然后进行粗略的区域-短语匹配以确定每个名词短语的候选区域。然而，两阶段流水线通常受到第一阶段低质量建议的性能限制和区域特征池造成的空间细节损失，以及分别为事物和材料类别设计的复杂策略。为了克服这些缺点，我们提出了一个一级端到端的像素短语匹配网络（PPMN），它直接匹配每个短语到其对应的像素，而不是区域建议和输出全景分割通过简单的组合。因此，我们的模型可以利用足够的和更精细的跨模态语义对应关系的监督密集注释的像素短语对，而不是稀疏的区域短语对。此外，我们还提出了一个兼容的像素聚合（LCPA）模块，以进一步提高短语特征的区分能力，通过多轮细化，选择最兼容的像素为每个短语自适应聚合相应的视觉上下文。大量的实验表明，我们的方法在PNG基准测试中获得了新的最先进的性能，绝对平均召回率为4.0。
2022-08-11 cs.CV cs.MM
A Survey on Label-efficient Deep Image Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
图像分割是计算机视觉的基本任务之一，随着深度学习的迅速发展，图像分割取得了很大的进展。然而，目前的分割算法大多依赖于像素级标注的可用性，这往往是昂贵的，繁琐的，费力的。为了减轻这一负担，过去几年人们越来越关注构建标签高效、基于深度学习的图像分割算法。本文提供了一个全面的审查标签有效的图像分割方法。为此，我们首先开发了一个分类法来组织这些方法，根据不同类型的弱标签（包括无监督，不精确监督，不完全监督和不准确监督）提供的监督，并辅以分割问题的类型（包括语义分割，实例分割和全景分割）。接下来，我们从一个统一的角度总结了现有的标签有效的图像分割方法，讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距-目前的方法大多是基于启发式先验知识，如跨像素相似性，跨标签约束，跨视图一致性，跨图像关系。最后，我们分享了我们对标签高效深度图像分割未来研究方向的看法。
2023-02-15 cs.CV
Lidar Panoptic Segmentation and Tracking without Bells and Whistles
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；Argo AI（Argo人工智能公司）；TU Munich（慕尼黑工业大学）；Georgia Institute of Technology（佐治亚理工学院）
提出一种以检测为中心的模块化网络，通过对象实例检测分支和轨迹级监督实现激光雷达全景分割与跟踪，在多个基准上达到开源模型最优。
2023-10-19 cs.CV cs.RO
Annotation-cost Minimization for Medical Image Segmentation using Suggestive Mixed Supervision Fully Convolutional Networks
University of Michigan（密歇根大学）；Indian Institute of Technology - Bombay（印度理工学院孟买分校）
对于医学图像分割，大多数全卷积网络（FCN）需要通过大量高质量密集分割样本进行强有力的监督，这在成本、时间和物流方面都很繁重。这种注释的负担可以通过利用弱廉价的注释（例如边界框和解剖标志）来减轻。然而，\textit{a priori}很难估计每个监督类型所需的注释数量之间的最佳平衡，从而以最小的注释成本获得最大的性能。为了优化这种成本性能权衡，我们提出了一个基于成本最小化框架，在混合监督设置通过密集分割，边界框和地标。我们提出了一个线性规划（LP）制定结合不确定性和相似性的排名策略，明智地选择样本进行注释，以获得最佳性能。在结果部分，我们表明，我们提出的方法实现了与最先进的方法相当的性能，显著降低了注释成本。
2018-12-29 cs.CV
Panoptic Segmentation of Environmental UAV Images : Litter Beach
Gaston Berger University, Saint-Louis, Senegal UMI 209 UMMISCO, Sorbonne University IRD IMSP \& IFRI, University of Abomey-Calavi, Abomey-Calavi, Benin
本文针对海滩垃圾监测中沙地异质性导致的干扰问题，提出结合实例分割与全景分割的 CNN 方法，在少量样本下实现高精度且更稳健的无人机图像垃圾识别。
2025-08-21 cs.AI cs.CV
Learning from Multimodal Pseudo-Labels for Robust Open-Vocabulary Instance and Panoptic Segmentation
Seoul National University of Science and Technology（首尔科技大学）；Chung-Ang University（中央大学）
该研究针对开放词汇实例分割与开放集全景分割的痛点，提出多模态框架，结合预训练视觉语言模型生成伪标签并优化训练目标，在COCO数据集上取得优于现有SOTA的性能。
2026-08-13 cs.AI cs.CV cs.MM
Better Call SAL: Towards Learning to Segment Anything in Lidar
NVIDIA（英伟达）；CMU（卡内基梅隆大学）
提出SAL方法，利用2D视觉基础模型生成伪标签实现无需人工监督的激光雷达零样本分割与分类，性能接近全监督方法并支持任意类别提示。
2024-07-25 cs.CV cs.RO
Towards holistic scene understanding: Semantic segmentation and beyond
Eindhoven University of Technology（埃因霍温理工大学）；University of Gent（根特大学）；TU Delft（代尔夫特理工大学）；NTU Athens（雅典国家技术大学）；Vicomtech（Vicomtech 技术中心）
本论文致力于视觉场景理解，提高分割性能和泛化能力，提高网络的训练效率和整体理解能力。首先，我们研究语义分割的背景下，街道场景和训练语义分割网络上的各种数据集的组合。在第2章中，我们设计了一个基于单个卷积主干的分层分类器框架，并在像素标记数据集的组合上进行端到端的训练，提高了泛化能力和可识别语义概念的数量。第三章重点研究了弱监督对语义分割的改进，提出了一种基于限界框和图像两级监督的弱监督分割算法。在多个数据集上同时训练所带来的内存和计算负载挑战将在第4章中讨论。我们提出了两种方法，用于从监管薄弱的数据集中选择信息丰富且多样化的样本，以在不牺牲性能的情况下减少网络的生态足迹。出于对内存和计算效率的需求，在第5章中，我们重新思考了异构数据集上的同步训练，并提出了一个通用的语义分割框架。该框架通过利用各种场景理解数据集来实现性能指标和语义知识性的一致增加。第6章介绍了部分感知全景分割的新任务，它将我们的推理扩展到整体场景理解。该任务将场景和部件级语义与实例级目标检测相结合。总之，我们的贡献跨越了卷积网络架构，弱监督学习，部分和全景分割，为实现全面，丰富和可持续的视觉场景理解铺平了道路。
2022-01-16 cs.AI cs.CV cs.LG
Generator evaluator-selector net for panoptic image segmentation and splitting unfamiliar objects into parts
Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Toronto（多伦多大学）；Harvard University（哈佛大学）；Canadian Institute for Advanced Research（加拿大高级研究所）
在机器学习和其他领域，为问题提出一个好的解决方案通常比评估这样一个解决方案的质量更难。这种不对称性是大量面向选择的方法的基础，这些方法使用生成器系统来猜测一组解决方案，并使用评估器系统来排名和选择最佳解决方案。这项工作探讨了使用这种方法的问题，全景图像分割和类不可知的部分分割。这种情况下的生成器/评估器方法由两个独立的卷积神经网络组成：一个生成器网络，它建议与图像中的对象，材料和部件区域相对应的各种片段，以及一个评估器网络，它选择要合并到分割图中的最佳片段。其结果是一个试错进化的方法，其中一个生成器，猜测段的平均精度低，但具有广泛的变化，仍然可以产生良好的结果时，再加上一个准确的评估。该生成器由指针网络组成，该指针网络接收图像和图像中的点，并预测包含该点的片段的区域。在这种情况下，分别生成和评估每个分段是必不可少的，因为与每次尝试都猜测和评估完整分段图的系统相比，它需要的猜测次数呈指数级减少。所选片段的分类由独立的区域特定分类网络完成。这允许分割是类不可知的，因此能够分割不属于训练集的不熟悉的类别。该方法在COCO全景分割基准上进行了检查，并给出了与基本语义分割和Mask-RCNN方法相当的结果。此外，该系统还用于将看不见的类别（未出现在训练集中）的对象分割为部分。
2020-04-13 cs.CV cs.LG
COCO_TS Dataset: Pixel-level Annotations Based on Weak Supervision for Scene Text Segmentation
University of Siena（锡耶纳大学）
缺乏具有像素级监督的大规模数据集是训练用于场景文本分割的深度卷积网络的一个重大障碍。为此，通常采用合成数据生成来扩大训练数据集。尽管如此，合成数据不能再现自然图像的复杂性和可变性。在本文中，弱监督学习的方法是用来减少训练之间的真实和合成数据的转变。生成文本检测数据集的像素级监督（即，其中仅边界框注释可用）。特别是，创建并发布了COCO-Text-Segmentation（COCO_TS）数据集，该数据集为COCO-Text数据集提供像素级监督。所生成的注释被用于训练用于语义分割的深度卷积神经网络。实验表明，该数据集可以用来代替合成数据，使我们能够使用只有一小部分的训练样本，并显着提高性能。
2019-09-24 cs.CV
DaTaSeg: Taming a Universal Multi-Dataset Multi-Task Segmentation Model
Google Research（谷歌研究院）；ByteDance（字节跳动）
本文提出 DaTaSeg，通过共享掩码提议表示、语义文本嵌入和全参数共享，训练跨数据集、多任务的通用分割模型，并验证其性能提升、弱监督迁移、开放词汇与规模化能力。
2023-06-02 cs.AI cs.CV cs.LG
LMSeg: Language-guided Multi-dataset Segmentation
Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）；University of the Chinese Academy of Sciences（中国科学院大学）
构建一个通用的、包容性的、能够在各种场景下识别更多类别的细分模型是一个有意义和有吸引力的话题。一种简单的方法是组合现有的碎片分割数据集并训练多数据集网络。然而，多数据集分割存在两个主要问题：（1）不一致的分类法需要手动协调以构建统一的分类法;（2）不灵活的单一热门公共分类法导致耗时的模型重新训练和未标记类别的监督缺陷。在本文中，我们研究了多数据集分割，并提出了一个可扩展的图像引导的多数据集分割框架，称为LMSeg，它支持语义和全景分割。具体来说，我们引入了一个预训练的文本编码器，将类别名称映射到文本嵌入空间作为统一的分类法，而不是使用不灵活的one-hot标签。该模型动态地将段查询与类别嵌入对齐。不是用统一的分类法重新标记每个数据集，而是设计了类别引导解码模块来动态地引导对每个数据集分类法的预测。此外，我们采用了一种基于数据集的增强策略，为每个数据集分配一个特定的图像增强管道，以适应来自不同数据集的图像的属性。大量的实验表明，我们的方法取得了显着的改善四个语义和三个全景分割数据集，消融研究评估每个组件的有效性。
2023-02-27 cs.CV
Nerflets: Local Radiance Fields for Efficient Structure-Aware 3D Scene Representation from 2D Supervision
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们解决了有效的和结构感知的3D场景表示从图像。Nerflets是我们的主要贡献--一组局部神经辐射场，它们共同代表一个场景。每个nerflet都保持自己的空间位置，方向和范围，在此范围内，它有助于全景，密度和辐射重建。通过仅利用光度和推断的全景图像监督，我们可以直接并联合优化一组nerflets的参数，以便形成场景的分解表示，其中每个对象实例由一组nerflets表示。在室内和室外环境的实验中，我们发现nerflets：（1）比传统的全局NeRF更有效地拟合和近似场景，（2）允许从任意视图中提取全景和光度渲染，（3）实现NeRF罕见的任务，如3D全景分割和交互式编辑。
2023-03-10 cs.CV cs.GR
DeeperLab: Single-Shot Image Parser
MIT（麻省理工学院）；Google Inc.（谷歌公司）；UC Berkeley（加州大学伯克利分校）
我们提出了一个单镜头，自底向上的方法，整个图像解析。整体图像解析也称为全景分割，它概括了“stuff”类的语义分割和“thing”类的实例分割的任务，为图像中的每个像素分配语义和实例标签。最近的方法，整个图像解析通常采用单独的独立模块的组成语义和实例分割任务，并需要多个通道的推理。相反，拟议的DeeperLab图像解析器使用一种明显更简单的全卷积方法执行整个图像解析，该方法以单次方式联合解决语义和实例分割任务，从而形成一个更适合快速处理的流线型系统。对于定量评估，我们使用基于实例的Panoptic质量（PQ）度量和建议的基于区域的解析覆盖（PC）度量，它可以更好地捕捉图像解析质量的“东西”类和较大的对象实例。我们报告了在具有挑战性的Mapillary Vistas数据集上的实验结果，其中我们的单个模型在GPU上实现了31.95%（val）/ 31.6% PQ（测试）和55.26% PC（val），每秒3帧（fps）或接近实时的速度（GPU上为22.6 fps），但精度降低。
2019-03-12 cs.CV
Class-independent sequential full image segmentation, using a convolutional net that finds a segment within an attention region, given a pointer pixel within this segment
Vaya Vision（瓦亚视觉）
这项工作研究了使用全卷积网络（FCN）来找到图像片段，给定此片段区域内的像素。该网络接收图像、图像中的点和感兴趣区域（RoI）掩模。净输出是点所在段的二进制掩码。可以找到片段的区域包含在输入RoI掩码中。完整的图像分割可以通过在图像上逐个区域地顺序运行该网络，并将输出片段拼接到单个分割图中来实现。这种简单的方法解决了图像分割的两个主要挑战：1）分割未包含在训练集中的未知类别。2)分割单个对象实例（事物）和非对象（素材），如天空和植被。因此，如果指针像素位于组中的一个人内，则网络将输出覆盖该个人的掩码;如果指针点位于天空区域内，则网络返回图像中的天空区域。即使在训练集中没有出现天空或人的例子，这也是正确的。该网络在COCO panoptic数据集上进行了测试和训练，并实现了67%的IOU用于分割熟悉的类（这是网络训练集的一部分），53%的IOU用于分割不熟悉的类（不包括在训练中）。
2019-02-23 cs.CV
Selective Convolutional Network: An Efficient Object Detector with Ignoring Background
Huazhong University of Science and Technology（华中科技大学）
众所周知，注意力机制可以有效地提高包括对象检测器在内的许多CNN的性能。而不是精炼特征图preferably，我们减少了令人望而却步的计算复杂性的一种新颖的尝试注意。因此，我们引入了一种高效的对象检测器，称为选择性卷积网络（SCN），它只选择性地计算包含有意义和有益信息的位置。该算法的基本思想是将不重要的背景区域排除在外，从而有效地降低了特征提取的计算量。为了解决这个问题，我们设计了一个精心设计的结构，可以忽略不计的开销来指导网络下一步去哪里。它是端到端可训练的，易于嵌入。在没有额外分割数据集的情况下，我们探索了两种不同的训练策略，包括直接监督和间接监督。大量的实验评估PASCAL VOC 2007和MS COCO检测数据集的性能。结果表明，SSD和Pelee与我们的方法相结合，平均减少了1/5和1/3的范围内的计算精度略有损失，证明SCN的可行性。
2020-02-04 cs.CV
Visual Attention Network
Tsinghua University（清华大学）；Nankai University（南开大学）；Fitten Tech（Fitten科技）
虽然最初是为自然语言处理任务设计的，但自我注意力机制最近在各种计算机视觉领域掀起了风暴。然而，图像的2D性质为在计算机视觉中应用自注意力带来了三个挑战。(1)将图像视为1D序列忽略了它们的2D结构。(2)二次复杂度对于高分辨率图像来说太昂贵了。(3)它只考虑了空间适应性，而忽略了信道适应性。在本文中，我们提出了一种新型的线性注意力，称为大内核注意力（LKA），以实现自我注意力的自适应和远程相关性，同时避免其缺点。在此基础上，提出了一种基于LKA的神经网络，即视觉注意力网络（VAN）。虽然非常简单，但VAN在各种任务中超越了类似尺寸的视觉Transformer（ViT）和卷积神经网络（CNN），包括图像分类，目标检测，语义分割，全景分割，姿态估计等。例如，VAN-B6在ImageNet基准测试中达到了87.8%的准确率，并为全景分割设置了新的最先进的性能（58.2 PQ）。此外，VAN-B2在ADE 20 K基准测试中的语义分割方面超过Swin-T 4% mIoU（50.1 vs. 46.1），在COCO数据集上的目标检测方面超过Swin-T 2.6% AP（48.8 vs. 46.2）。它为社区提供了一种新颖的方法和一个简单而强大的基线。代码可在https://github.com/Visual-Attention-Network上获得。
2022-07-11 cs.CV
Learning to Estimate Pose by Watching Videos
IIT Kanpur（印度理工学院坎普尔分校）
在本文中，我们提出了一种技术，用于获得粗略的姿态估计的人在图像中，不需要任何人工监督。虽然一般的无监督技术将无法估计人体姿势，我们建议，可以通过观察人体运动在多帧中获得足够的信息，粗略的姿势。具体来说，我们认为通过视频获得代理监督作为一种手段，用于获得基于运动的分组线索。我们使用检测人员的基本对象检测器来补充该方法。仅使用这些组件，我们就可以获得对人体姿势的粗略估计。利用这些样本进行训练，我们训练了一个完全的卷积神经网络（FCNN）[20]，以获得准确的基于密集斑点的姿势估计。我们表明，所获得的结果接近地面实况，并且接近使用完全监督的卷积姿态估计方法[31]在具有挑战性的数据集[15]上评估的结果。这通过使用基于姿势的动作识别方法[5]评估所获得的姿势来进一步验证。在这种情况下，我们优于使用基线方法获得的结果，该基线方法使用完全监督的姿势估计算法，并且与使用具有完全监督的卷积姿势估计创建的新基线具有竞争力。
2017-04-13 cs.CV
Semantic Edge Detection with Diverse Deep Supervision
Nankai University（南开大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Adelaide（阿德莱德大学）
语义边缘检测（Semantic edge detection，SED）是一种将边缘与其类别信息相结合的检测方法，在语义分割、目标建议生成、目标识别等领域有着广泛的应用。SED自然需要实现两个不同的监督目标：定位精细详细的边缘和识别高级语义。我们的动机来自这样一个假设，即这种不同的目标阻止了最先进的SED方法有效地使用深度监督来改善结果。为此，我们提出了一种新的全卷积神经网络，在多任务框架内使用不同的深度监督（DDS），底层旨在生成类别不可知的边缘，而顶层负责检测类别感知的语义边缘。为了克服假设的监督挑战，引入了一种新的信息转换器单元，其有效性已在SBD和Cityscapes数据集上进行了广泛的评估。
2021-10-27 cs.CV
Gland Instance Segmentation by Deep Multichannel Side Supervision
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）；Zhejiang University（浙江大学）
在本文中，我们提出了一种新的图像实例分割方法，分割单个腺体（实例）在结肠组织学图像。这是一个称为实例分割的任务，最近变得越来越重要。这个问题是具有挑战性的，因为不仅需要从复杂的背景中分割腺体，还需要单独识别它们。在这里，我们利用最近深度学习中的图像到图像预测的想法，通过构建一个框架，自动利用和融合复杂的多通道信息，区域和边界模式，并在腺体组织学图像中进行侧监督（对侧反应的深度监督）。我们提出的系统，深度多通道侧监督（DMCS），简化了繁重的功能设计，由于使用侧监督指导的卷积神经网络。与2015年MICCAI腺体分割挑战赛中报告的方法相比，我们观察到基于许多评估指标的最新结果。
2016-07-14 cs.CV
Deformable Convolutional Networks
Microsoft Research Asia（微软亚洲研究院）
卷积神经网络（CNN）由于其构建模块中的固定几何结构而固有地局限于模型几何变换。在这项工作中，我们引入了两个新的模块来增强CNN的变换建模能力，即可变形卷积和可变形RoI池化。两者都是基于这样的想法，即在模块中增加额外的偏移量并从目标任务中学习偏移量，而无需额外的监督。新的模块可以很容易地取代现有CNN中的普通模块，并且可以通过标准的反向传播很容易地进行端到端的训练，从而产生可变形的卷积网络。大量的实验验证了我们的方法在复杂的视觉任务的目标检测和语义分割的有效性。代码将被释放。
2017-06-05 cs.CV
Multi-stream 3D FCN with Multi-scale Deep Supervision for Multi-modality Isointense Infant Brain MR Image Segmentation
University of Bern（伯尔尼大学）
我们提出了一种方法来解决具有挑战性的问题，分割的多模态等信号婴儿大脑MR图像到白质（WM），灰质（GM），和脑脊液（CSF）。我们的方法基于上下文引导的多流全卷积网络（FCN），经过训练后，可以直接将整个体积数据映射到其体积标签。为了缓解训练过程中潜在的梯度消失问题，我们设计了多尺度深度监督。此外，上下文信息的使用，以进一步提高我们的方法的性能。根据MICCAI 2017 Grand Challenge对6个月婴儿脑MRI分割（iSeg-2017）的测试数据进行验证，我们的方法分别实现了CSF、GM和WM的平均Dice重叠系数为95.4%、91.6%和89.6%。
2019-03-09 cs.CV
BoxSup: Exploiting Bounding Boxes to Supervise Convolutional Networks for Semantic Segmentation
Microsoft Research（微软研究院）
最近领先的语义分割方法依赖于使用人工注释的像素级分割掩码训练的深度卷积网络。这种像素精确的监督需要昂贵的标记工作，并限制了通常受益于更多训练数据的深度网络的性能。在本文中，我们提出了一种方法，达到竞争力的准确性，但只需要容易获得的限界框注释。其基本思想是在自动生成区域建议和训练卷积网络之间进行切换。这两个步骤逐渐恢复分割掩码以改善网络，反之亦然。我们的方法称为BoxSup，仅由框监督产生有竞争力的结果，与相同设置下完全由掩码监督的强基线相当。通过利用大量的边界框，BoxSup进一步释放了深度卷积网络的力量，并在PASCAL VOC 2012和PASCAL-CONTEXT上产生了最先进的结果。
2015-05-18 cs.CV
Boosting Supervised Learning Performance with Co-training
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
深度学习感知模型需要大量标记的训练数据来实现良好的性能。虽然未标记的数据很容易获得，但标记的成本令人望而却步，可能会给公司或个人带来巨大的负担。最近，自我监督已经成为利用未标记数据的替代方案。在本文中，我们提出了一种新的轻量级自监督学习框架，可以以最小的额外计算成本提高监督学习性能。在这里，我们介绍了一个简单灵活的多任务协同训练框架，它将自监督任务集成到任何监督任务中。我们的方法利用借口任务来产生最小的计算和参数开销，并最大限度地减少对现有训练管道的干扰。我们证明了我们的框架的有效性，通过使用两个自我监督的任务，目标检测和全景分割，在不同的感知模型。我们的研究结果表明，这两个自监督任务可以提高监督任务的准确性，同时，在使用额外的未标记数据时，表现出较强的域适应能力。
2021-11-18 cs.CV
Learning Semantic Segmentation with Diverse Supervision
University of Manitoba（曼尼托巴大学）；Shanghai University（上海大学）
基于深度卷积神经网络（CNN）的模型显著提高了语义分割的性能。然而，学习这些模型需要大量带有像素级标签的训练图像，这是非常昂贵和耗时的。在本文中，我们提出了一种方法，用于从具有几种类型的注释的图像中学习基于CNN的语义分割模型，这些注释可用于各种计算机视觉任务，包括用于分类的图像级标签，用于目标检测的框级标签和用于语义分割的像素级标签。所提出的方法是灵活的，可以与任何现有的基于CNN的语义分割网络一起使用。通过对PASCAL VOC 2012和SIFT-flow基准测试的实验验证，该方法能够有效地利用不同的训练数据提高学习模型的性能.
2018-02-01 cs.CV
Cascaded Interaction with Eroded Deep Supervision for Salient Object Detection
Institute of Space Science and Applied Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）空间科学与应用技术研究院）；School of Mechanical Engineering and Automation, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）机电工程与自动化学院）
本文针对显著目标检测中上下采样插值导致的信息失真问题，提出级联交互网络与全局-局部对齐注意力模块，并引入基于边缘侵蚀的深度监督策略，在多个数据集上验证了方法的优越性。
2023-11-30 cs.CV
Fully Convolutional Multi-Class Multiple Instance Learning
UC Berkeley（加州大学伯克利分校）
多实例学习（MIL）可以通过削弱所需的监督程度来减少语义分割等任务中昂贵的注释需求。我们提出了一种新的MIL制定的多类语义分割学习的全卷积网络。在这种情况下，我们试图从弱图像级标签中学习语义分割模型。该模型是端到端训练的，以联合优化表示，同时消除像素图像标签分配的歧义。完全卷积训练接受任何大小的输入，不需要对象建议预处理，并提供像素级损失图来选择潜在实例。我们的多类MIL损失利用了具有多个标签的图像所提供的进一步监督。我们通过对PASCAL VOC分割挑战的初步实验来评估这种方法。
2015-04-15 cs.CV cs.LG cs.NE
DATE: Dual Assignment for End-to-End Fully Convolutional Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baidu（百度）
全卷积检测器放弃了一对多的分配，采用一对一的分配策略来实现端到端的检测，但存在收敛速度慢的问题。在本文中，我们重新审视了这两种分配方法，并发现将一对多分配带回端到端全卷积检测器有助于模型收敛。基于这一观察，我们提出了{ \em \textbf{D} ual \textbf{A} sassignment}用于端到端完全卷积的去\textbf{TE}卷积（DATE）。我们的方法在训练过程中构造了一对多和一对一分配的两个分支，并通过提供更多的监督信号来加速一对一分配分支的收敛。DATE只使用具有一对一匹配策略的分支进行模型推理，不会带来推理开销。实验结果表明，双重分配提供了非平凡的改进，加快了OneNet和DeFCN模型的收敛。代码：https://github.com/YiqunChen1999/date.
2022-12-28 cs.CV
On Boosting Semantic Street Scene Segmentation with Weak Supervision
Eindhoven University of Technology（埃因霍温理工大学）
训练用于语义分割的卷积网络需要每像素的地面真值标签，这非常耗时，因此获得成本很高。因此，在这项工作中，我们研究和开发了一种分层的深度网络架构和相应的语义分割损失，可以从弱监督（如边界框或图像级别标签）以及强逐像素监督中进行训练。我们证明了层次结构和强（每像素）和弱（边界框）标签的同时训练，即使来自单独的数据集，也会不断提高仅针对每像素训练的性能。此外，我们探索了添加弱图像级标签的更具挑战性的情况。我们从巨大的Open Images数据集中收集街景图像和弱标签来生成OpenScapes数据集，并使用这个新的数据集来提高两个已建立的每像素标记数据集Cityscapes和Vistas的分割性能。我们报告在关键街道场景类上的性能提升高达+13.2%mIoU，在512 x 1024分辨率下，Titan V GPU的Cityscapes推理速度为20 fps。我们的网络和OpenScapes数据集与研究社区共享。
2019-07-16 cs.CV
Towards Efficient Scene Understanding via Squeeze Reasoning
Peking University（北京大学）；Fudan University（复旦大学）；DeepMotion；SenseTime（商汤科技）
基于图的卷积模型（如非局部块）已被证明对于增强卷积神经网络（CNN）中的上下文建模能力是有效的。然而，其逐像素计算开销是禁止的，这使得它不适合高分辨率图像。在本文中，我们探讨了上下文图推理的效率，并提出了一个新的框架称为挤压推理。我们不是在空间地图上传播信息，而是首先学习将输入特征压缩到通道全局向量中，并在单个向量内执行推理，从而显着降低计算成本。具体来说，我们在向量中构建节点图，其中每个节点代表一个抽象的语义概念。相同语义类别内的细化特征结果是一致的，这因此有利于下游任务。我们表明，我们的方法可以模块化为端到端的训练块，可以很容易地插入到现有的网络。{尽管其简单性和轻量级，所提出的策略允许我们在不同的语义分割数据集上建立相当多的结果，并且在各种其他场景理解任务（包括目标检测、实例分割和全景分割）上相对于强基线显示出显著的改进。}代码可在\url{https://github.com/lxtGH/SFSegNets}上获得。
2021-07-20 cs.CV
