A Survey of Semantic Segmentation
本综述概述了用于像素级语义分割的不同技术。描述了用于评估分割算法和传统分割方法（如无监督方法，决策森林和SVM）的数据集和数据集，并给出了相关论文的指针。最近发表的方法与卷积神经网络提到和典型的问题的情况下，分割算法进行检查。给出了分割算法的分类。
2016-05-11 cs.CV
A Survey on Semi-Supervised Semantic Segmentation
University of Granada（格拉纳达大学）；Andalusian Research Institute in Data Science and Computational Intelligence（安达卢西亚数据科学与计算智能研究所）
语义分割是计算机视觉中最具挑战性的任务之一。然而，在许多应用中，一个常见的障碍是缺乏标记的图像，由于像素级标记的高成本。在这种情况下，从半监督的角度来处理这个问题是有意义的，其中标记和未标记的图像都被利用。近年来，这条研究路线已经获得了很大的兴趣，并在这个方向上发表了许多方法。因此，本研究的主要目的是提供一个概述的当前状态的最先进的半监督语义分割，提供一个更新的分类所有现有的方法。这是补充与各种模型的实验，代表所有类别的分类在文献中最广泛使用的becnhmark数据集，并最终讨论所获得的结果，挑战和最有前途的未来研究。
2023-02-20 cs.CV
Review of Fruit Tree Image Segmentation
Department of Computer Science and Artificial Intelligence/CAIIT, Jeonbuk National University, South Korea（计算机科学与人工智能系/先进图像与信息科技中心，全州国立大学）
本文综述了水果树前视图像分割研究，指出现有方法缺乏通用数据集和模型，提出六个未来研究方向以构建通用分割模块。
2024-12-19 cs.CV
HATs: Hierarchical Adaptive Taxonomy Segmentation for Panoramic Pathology Image Analysis
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）；NVIDIA Corporation（英伟达公司）
本文提出HATs方法，通过分层自适应分类体系、统一矩阵表示和EfficientSAM特征提取，实现对肾脏全景病理图像中超过15个类别的有效分割。
2024-06-30 cs.CV eess.IV
What a MESS: Multi-Domain Evaluation of Zero-Shot Semantic Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；IBM Research Europe（IBM欧洲研究院）；University of Bonn（波恩大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Germany（IBM德国公司）
本文提出MESS多领域零样本语义分割基准，综述并分类120个数据集后选取22个代表性数据集，评估8个近期模型以分析零样本迁移性能。
2023-12-16 cs.CV
A Survey on Open-Vocabulary Detection and Segmentation: Past, Present, and Future
The Hong Kong University of Science and Technology（香港科技大学）
该综述系统梳理开放词汇检测与分割的最新进展，构建基于弱监督信号的通用分类体系，覆盖多类视觉任务，分析方法优劣与挑战，并给出未来研究方向。
2024-04-15 cs.CV
Explainable AI (XAI) in Image Segmentation in Medicine, Industry, and Beyond: A Survey
Vilnius University（维尔纽斯大学）；National Sun Yat-sen University（国立中山大学）
本文首次系统综述了语义图像分割中的可解释人工智能技术，梳理了专为密集预测提出或由分类方法扩展而来的方法，并提出分类体系与未来研究方向。
2024-05-02 cs.CV
Representation Similarity Analysis for Efficient Task taxonomy & Transfer Learning
Singapore University of Technology and Design（新加坡科技设计大学）
迁移学习广泛应用于深度神经网络模型中，当可用的标记示例很少时。常见的方法是在类似的任务中使用预先训练好的网络，并微调模型参数。这通常是在没有从一组预先训练的模型中进行预先选择的情况下盲目完成的，或者通过微调一组在不同任务上训练的模型，并通过交叉验证选择表现最好的模型。我们解决这个问题，提出了一种方法来评估视觉任务和他们的任务特定模型之间的关系。我们的方法使用表示相似性分析（RSA），它通常用于从大脑数据和模型中找到神经元反应之间的相关性。使用RSA，我们通过计算在不同任务上训练的模型之间的相关性来获得任务之间的相似性得分。我们的方法是有效的，因为它只需要预先训练的模型，和一些图像，没有进一步的训练。我们证明了我们的方法的有效性和效率生成任务分类的Taskonomy数据集。接下来，我们评估RSA与Taskonomy任务和新任务的迁移学习性能之间的关系：Pascal VOC语义分割。我们的研究结果表明，在具有较高相似性得分的任务上训练的模型显示出更高的迁移学习性能。令人惊讶的是，Pascal VOC语义分割的最佳迁移学习结果不是从语义分割的预训练模型中获得的，这可能是由于域差异，并且我们的方法成功地选择了高性能模型。
2019-04-26 cs.AI cs.CV cs.LG
What Holds Back Open-Vocabulary Segmentation?
Faculty of Computer and Information Science（计算机与信息科学学院）；Faculty of Electrical Engineering and Computing（电子工程与计算学院）
本文针对开放词汇分割性能停滞问题，提出利用真实信息的预言机组件识别并解耦瓶颈，通过验证实验提供实证洞见，为未来研究指明方向。
2025-08-06 cs.CV
Automated Label Unification for Multi-Dataset Semantic Segmentation with GNNs
Fudan University（复旦大学）
针对多数据集语义分割中标签空间冲突影响性能的问题，提出基于图神经网络的自动标签统一方法，无需人工重标注即可实现多数据集无缝联合训练，在七数据集训练及WildDash 2基准上取得更优性能。
2024-12-09 cs.CV
A Survey on Label-efficient Deep Image Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
图像分割是计算机视觉的基本任务之一，随着深度学习的迅速发展，图像分割取得了很大的进展。然而，目前的分割算法大多依赖于像素级标注的可用性，这往往是昂贵的，繁琐的，费力的。为了减轻这一负担，过去几年人们越来越关注构建标签高效、基于深度学习的图像分割算法。本文提供了一个全面的审查标签有效的图像分割方法。为此，我们首先开发了一个分类法来组织这些方法，根据不同类型的弱标签（包括无监督，不精确监督，不完全监督和不准确监督）提供的监督，并辅以分割问题的类型（包括语义分割，实例分割和全景分割）。接下来，我们从一个统一的角度总结了现有的标签有效的图像分割方法，讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距-目前的方法大多是基于启发式先验知识，如跨像素相似性，跨标签约束，跨视图一致性，跨图像关系。最后，我们分享了我们对标签高效深度图像分割未来研究方向的看法。
2023-02-15 cs.CV
Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From Learned Pairwise Affinity
Meta AI Research（元人工智能研究院）；UC Berkeley（加州大学伯克利分校）
开放世界实例分割是将像素分组为对象实例而无需任何预定分类的任务。这是具有挑战性的，因为最先进的方法依赖于从大型标记数据集获得的显式类语义，并且域外评估性能显着下降。在这里，我们提出了一种新的方法，面具的建议，通用的网络（GGN），没有语义监督。我们的方法结合了像素亲和力的局部测量与实例级掩码监督，产生一个训练方案，旨在使模型的通用数据多样性允许。我们介绍了一种预测成对亲和力（PA）的方法，这是一种学习到的像素对之间的局部关系。PA很好地概括了看不见的类别。从PA中，我们构建了一个大的伪地面实况实例掩码集;结合人工注释的实例掩码，我们训练了GGN，并在各种基准测试（包括COCO、LVIS、ADE 20 K和UVO）上在开放世界实例分割上显著优于SOTA。代码可在项目网站上获得：www.example.com。
2022-04-12 cs.CV
Meta-information-aware Dual-path Transformer for Differential Diagnosis of Multi-type Pancreatic Lesions in Multi-phase CT
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Yale University（耶鲁大学）
胰腺癌是癌症相关死亡的主要原因之一。准确检测、分割和鉴别诊断胰腺病变的完整分类，即，正常、七种主要类型的病变以及其他病变，对于帮助患者管理和治疗的临床决策至关重要。然而，现有的工作集中在非常特定的病变类型（PDAC）或组的分割和分类。此外，没有以前的工作考虑使用病变患病率相关的非成像患者信息，以协助鉴别诊断。为此，我们开发了一种元信息感知的双路径Transformer，并利用胰腺病变完整分类的分类和分割的可行性。具体而言，所提出的方法由基于CNN的分割路径（S路径）和基于变换器的分类路径（C路径）组成。S-路径的重点是使用基于UNet的网络通过语义分割进行初始特征提取。C路径利用提取的特征和元信息进行患者级分类，基于双路径Transformer块的堆栈，其增强了全局上下文信息的建模。收集了3，096例患者的大规模多期CT数据集，这些患者具有病理学证实的胰腺病变类别标签、放射科医生对病变的体素手动注释和患者元信息，用于训练和评价。我们的研究结果表明，我们的方法可以实现胰腺病变的完整分类的准确分类和分割，接近放射科医生报告的准确性，并显着优于以前的基线。结果还表明，添加公共元信息，即，性别和年龄，可以提高模型的性能，从而证明元信息对帮助胰腺疾病诊断的重要性。
2023-03-02 cs.CV cs.LG eess.IV
Panoptic Segmentation: A Review
Qatar University（卡塔尔大学）
用于视频分析的图像分割在智慧城市、医疗保健、计算机视觉和地球科学以及遥感应用等不同研究领域中起着至关重要的作用。在这方面，一个显着的努力，最近一直致力于开发新的分割策略，最新的杰出成就之一是全景分割。后者是语义分割和实例分割融合的结果。可以解释的是，目前正在研究全景分割，以帮助获得视频监控、人群计数、自动驾驶、医学图像分析等图像场景的更细致入微的知识，并更深入地了解一般场景。为此，我们在本文中提出的第一个全面审查现有的全景分割方法，以最好的作者的知识。因此，基于所采用的算法、应用场景和主要目标的性质来执行现有全景技术的明确定义的分类。此外，使用全景分割注释新的数据集的伪标记进行了讨论。接下来，进行消融研究以从不同角度理解全景方法。此外，评价指标适合于全景分割进行了讨论，并提供了现有的解决方案的性能比较，以告知国家的最先进的，并确定其局限性和优势。最后，阐述了主题技术面临的当前挑战和在不久的将来吸引相当大的兴趣的未来趋势，这可以是即将到来的研究的起点。随代码提供的论文可在以下网址获得：https://github.com/elharroussomar/Awesome-Panoptic-Segmentation
2021-11-19 cs.CV
Loss Functions in the Era of Semantic Segmentation: A Survey and Outlook
RWTH Aachen University（亚琛工业大学）；Iran University of Science and Technology（伊朗科技大学）；University of Regensburg（雷根斯堡大学）
本文综述图像分割中的25种损失函数，提出新分类法，并在医学与自然图像数据集上无偏评估代表性方法，指出挑战与未来方向。
2023-12-08 cs.CV
Tree semantic segmentation from aerial image time series
Mila；Quebec AI Institute（魁北克人工智能研究所）；School of Computer Science（计算机科学学院）；McGill University（麦吉尔大学）
本研究针对树种识别问题，提出结合时空卷积块与分类学层级损失的航空图像时间序列树木语义分割方法，验证了时间序列模态和分类标签信息对分割性能的提升作用。
2024-07-18 cs.CV
Segmentation Loss Odyssey
Nanjing University of Science and Technology（南京理工大学）
损失函数是基于深度学习的医学图像分割方法的关键要素之一。在现有文献中已经提出了许多损失函数，但是单独研究或仅研究很少的其他损失。在本文中，我们提出了一个系统的分类，现有的损失函数分为四个有意义的类别。这有助于揭示它们之间的联系和基本相似之处。此外，我们探讨了传统的基于区域的损失函数和最近的基于边界的损失函数之间的关系。这些损失函数的PyTorch实现可在\url{https://github.com/JunMa11/SegLoss}上公开获得。
2020-05-27 cs.CV cs.LG eess.IV
GEAR-Seg: A Grounded Explainable Agent for Reasoning Segmentation and Data Engine
College of Biosystems Engineering and Food Science, Zhejiang University（浙江大学生物系统工程与食品科学学院）；ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University（浙江大学杭州国际科创中心）
提出GEAR-Seg，一种解耦的智能体框架，通过将像素转换为属性文本实现可解释推理分割，零样本性能优异，并可作为数据引擎构建大规模基准GEAR-131K。
2026-07-02 cs.CV
Real-Time Semantic Segmentation: A Brief Survey & Comparative Study in Remote Sensing
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）
本文综述了遥感图像实时语义分割的最新进展，基于网络架构设计对高效深度学习方法进行分类，并在OpenEarthMap数据集上对比评估了现有模型，发现其分割质量良好但推理速度较低，限制了实时部署能力。
2023-09-12 cs.CV
UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）；CIFAR（加拿大高级研究院）
目标检测和分割的方法依赖于大规模的实例级标注进行训练，这是困难和耗时的收集。努力减轻这种看起来不同程度和质量的监督。弱监督的方法利用图像级标签来构建检测器/分割器，而零/Few-Shot方法假设一组基类具有丰富的实例级数据，而新类则没有或只有几个示例。这种分类法在很大程度上孤立了算法设计。在这项工作中，我们的目标是通过提出一个直观和统一的半监督模型来弥合这一鸿沟，该模型适用于一系列监督：从零到每个新类的几个实例级样本。对于基类，我们的模型学习从弱监督到全监督检测器/分割器的映射。通过学习和利用新类和基类之间的视觉和语言相似性，我们将这些映射转移到新类的检测器/分割器中;如果可用的话，使用一些新类实例级注释样本对其进行细化。整个模型是端到端可训练的，并且高度灵活。通过对MS-COCO和Pascal VOC基准数据集的广泛实验，我们在各种设置中显示出改进的性能。
2021-03-03 cs.CV
MSeg: A Composite Dataset for Multi-domain Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；Intel Labs（英特尔研究院）
我们提出了MSeg，一个复合数据集，统一了来自不同领域的语义分割数据集。由于不一致的分类法和注释实践，组成数据集的简单合并会产生较差的性能。我们协调分类，并通过重新标记80，000多张图像中的220，000多个对象掩码来调整像素级注释，需要超过1.34年的集体注释工作。由此产生的复合数据集能够训练单个语义分割模型，该模型在各个领域中有效地发挥作用，并推广到训练期间未看到的数据集。我们采用zero-shot交叉数据集传输作为基准来系统地评估模型的鲁棒性，并表明与在单个数据集上训练或在没有所呈现的贡献的情况下天真地混合数据集相比，MSeg训练产生了更强大的模型。在MSeg上训练的模型在WildDash-v1排行榜上排名第一，具有强大的语义分割，在训练期间不会暴露于WildDash数据。我们在2020年鲁棒视觉挑战赛（RVC）中评估了我们的模型，作为一个极端的泛化实验。MSeg训练集只包括RVC中七个数据集中的三个;更重要的是，RVC的评估分类法不同且更详细。令人惊讶的是，我们的模型表现出了竞争力，排名第二。为了评估我们离强大，高效和完整的场景理解的宏伟目标有多近，我们超越了语义分割，使用我们的数据集训练实例分割和全景分割模型。此外，我们还评估各种工程设计决策和指标，包括分辨率和计算效率。虽然我们的模型离这个宏伟目标还很远，但我们的全面评估对取得进展至关重要。我们与社区共享所有模型和代码…
2021-12-27 cs.CV
Training Semantic Segmentation on Heterogeneous Datasets
Eindhoven University of Technology（埃因霍温理工大学）
本文在传统的单数据集同质训练的基础上，对语义分割进行了探索，提出了语义分割的异质训练问题。HTSS涉及多个异构数据集的同时训练，即从语义分割的角度来看，具有冲突标签空间和不同（弱）注释类型的数据集。HTSS公式将深度网络暴露给更大且以前未探索的信息聚合，这些信息可以在三个方向上潜在地增强语义分割：i）性能：在可见数据集上增加分割度量，ii）泛化：在不可见数据集上改进分割度量，以及iii）知识性：增加可识别语义概念的数量。为了研究HTSS的这些好处，我们提出了一个统一的框架，该框架将异构数据集纳入一个单一的网络训练管道，遵循既定的FCN标准。我们的框架首先管理异构数据集，将它们转换为通用格式，然后同时在所有数据集上训练单一骨干FCN。为了实现这一点，它转换弱注释，这是不兼容的语义分割，每像素的标签，并分层到一个通用的分类标签空间。经过训练的HTSS模型在广泛的数据集上展示了性能和泛化增益，并扩展了推理标签空间，从而产生了数百个语义类。
2023-01-18 cs.AI cs.CV cs.LG
Image Segmentation with Large Language Models: A Survey with Perspectives for Intelligent Transportation Systems
Department of Computer Science, Iowa State University, Ames, IA, USA（Iowa State University）；Department of Civil, Construction and Environmental Engineering, Iowa State University, Ames, IA, USA（Iowa State University）
本文综述了LLM增强图像分割在智能交通系统中的应用，分类现有方法，并指出实时性与安全性挑战，强调可解释、以人为中心的AI是部署前提。
2025-09-05 cs.AI cs.CV
A comprehensive review and new taxonomy on superpixel segmentation
Pontifical Catholic University of Minas Gerais（米纳斯吉拉斯州天主教大学）；University of Campinas（坎皮纳斯大学）
本文提出超像素分割的新分类法，系统综述现有方法并基于九项标准评估20种策略，同时发布新的评估基准。
2024-09-27 cs.CV
A Modelling and Evaluation Framework for EuroCrops-Driven Sentinel-2 Crop Segmentation
Transilvania University of Braşov（布拉索夫瓦拉米亚大学）
提出一个可配置的流水线，利用EuroCrops标注和Sentinel-2影像生成语义分割数据集，并训练U-Net模型评估其在域内和域外数据集上的性能。
2026-05-30 cs.CV
UniMatch V2: Pushing the Limit of Semi-Supervised Semantic Segmentation
The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出UniMatch V2，主张以DINOv2等大规模预训练ViT替代ResNet作为SSS基线，并在ADE20K、COCO等更难基准上评估，以更低成本获得更优性能。
2025-01-09 cs.CV
Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Exploring Query-Based Segmentation and Increased Spatial Context for Outdoor Scene Understanding
Rey Juan Carlos University（胡安卡洛斯国王大学）
本报告提出基于SegFormer和Mask2Former的细粒度语义分割方法，通过增大训练裁剪尺寸和测试时增强，在GOOSE挑战赛上达到69.6% mIoU，验证了查询式分割和空间上下文的重要性。
2026-06-23 cs.CV cs.RO
Graph-based Semantic Calibration Network for Unaligned UAV RGBT Image Semantic Segmentation and A Large-scale Benchmark
Key Laboratory of Intelligent Computing & Signal Processing (Anhui University), Ministry of Education（智能计算与信号处理重点实验室（安徽大学），教育部）；Anhui Provincial Key Laboratory of Multimodal Cognitive Computation, School of Artificial Intelligence, Anhui University（安徽省多模态认知计算重点实验室，人工智能学院，安徽大学）；School of Computer Science and Technology, Anhui University（计算机科学与技术学院，安徽大学）；GEOVIS Earth Technology Co., Ltd.（GEOVIS地球科技有限公司）
本文提出GSCNet网络，通过特征解耦对齐模块和语义图校准模块解决无人机RGBT图像语义分割中的跨模态空间不一致和细粒度地面物体语义混淆问题，并构建了大规模URTF基准。
2026-04-29 cs.CV
EmbPASS: Towards Cross-Embodiment Open Panoramic Segmentation
Hunan University（湖南大学）
针对跨具身全景感知中的观察偏移问题，提出跨具身开放全景分割任务、EmbPASS基准及EPONet网络，通过RAMA和CAST模块提升空间建模与语义迁移，在EmbPASS上以35.82% mIoU超越基线。
2026-10-05 cs.CV cs.RO
HSI-Road Relabeled: Surface-Aware Road-Scene Segmentation
Valeo Vision Systems（法雷奥视觉系统公司）
本文为 HSI-Road 数据集引入六类表面标注和配准流程，通过对比不同输入配置下的分割模型，发现原始分辨率 RGB 性能最佳，而匹配分辨率下 RGBN 堆叠优于 NIR 和配准 RGB，表明空间分辨率关键且 NIR 提供互补信息。
2026-10-14 cs.CV
Multi-dataset Pretraining: A Unified Model for Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
为语义分割收集带注释的数据是耗时的并且难以扩展。在本文中，我们首次提出了一个统一的框架，称为多数据集预训练，以充分利用不同数据集的碎片化注释。亮点是来自不同领域的注释可以有效地重用，并持续提高每个特定领域的性能。这是通过以下方式实现的：首先通过多个数据集上的像素到原型对比损失对网络进行预训练，而不管它们的分类标签如何，然后像往常一样对特定数据集上的预训练模型进行微调。为了更好地模拟来自不同数据集的图像和类之间的关系，我们通过跨数据集混合扩展像素级嵌入，并提出了一种像素到类稀疏编码策略，该策略显式地模拟流形嵌入空间上的像素类相似性。通过这种方式，我们能够增加类内紧凑性和类间可分性，并考虑不同数据集之间的类间相似性，以获得更好的可移植性。在多个基准测试上的实验表明了其优越的性能。值得注意的是，MDP始终优于ImageNet的预训练模型，并且只使用了不到10%的样本进行预训练。
2021-06-08 cs.CV cs.LG
Open-world Instance Segmentation: Top-down Learning with Bottom-up Supervision
UC San Diego（加州大学圣迭戈分校）；Meta AI
针对自顶向下实例分割架构在开放世界中对已见类别有偏差、性能下降的问题，提出结合自底向上分割算法的UDOS方法，兼具效率与泛化能力，在多数据集跨任务上显著优于现有最优水平。
2024-05-14 cs.AI cs.CV cs.LG
A Sentinel-2 multi-year, multi-country benchmark dataset for crop classification and segmentation with deep learning
National Observatory of Athens（雅典国家天文台）
Sen4AgriNet是一个多国多年度的Sentinel-2数据集，用于农业监测中的作物分类与分割，包含丰富的光谱信息和多种深度学习应用的子数据集。
2022-04-27 cs.CV
On Efficient Real-Time Semantic Segmentation: A Survey
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文综述高效实时语义分割方法，按贡献分类，并在高端 GPU 与低内存嵌入式 GPU 的一致环境下评估速度，揭示实时能力及延迟-准确率权衡。
2022-08-16 cs.CV cs.LG
DynAlign: Unsupervised Dynamic Taxonomy Alignment for Cross-Domain Segmentation
EPFL（洛桑联邦理工学院）；Amazon（亚马逊公司）
提出 DynAlign 框架，结合无监督域适应与基础模型，利用先验语义知识和动态知识融合实现源域与目标域标签空间的对齐，有效解决跨域语义分割中标签级差距问题，在街景基准上取得显著提升。
2025-01-27 cs.CV
Knowledge Distillation for Semantic Segmentation: A Label Space Unification Approach
University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
提出一种知识蒸馏方法统一语义分割标签空间，通过教师模型生成约束伪标签训练学生模型，在城市和越野驾驶领域超越教师，构建最大自动驾驶复合数据集。
2025-02-26 cs.CV
Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Leveraging DINOv3 for Robust Outdoor Scene Understanding in Field Robotics
Daegu Gyeongbuk Institute of Science and Technology (DGIST)（大邱庆北科学技术院）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
提出一种结合DINOv3自监督骨干、ViT-Adapter和Mask2Former解码器的网络设计，以及多尺度测试增强和模型集成的推理策略，在64类细粒度越野语义分割挑战中取得第一名，复合得分76.57%。
2026-06-18 cs.CV cs.RO eess.IV
Dynamic Robot-Assisted Surgery with Hierarchical Class-Incremental Semantic Segmentation
Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系）；Zuse School ELIZA（Zuse学校ELIZA）；NeuroPoly Lab, Institute of Biomedical Engineering, Polytechnique Montréal（神经Poly实验室，生物医学工程学院，蒙特利尔理工学院）；Mila - Québec AI Institute（魁北克人工智能研究所）；Collaborative Research Institute Intelligent Oncology (CRIION)（智能肿瘤学协作研究机构）
针对动态手术环境中的分割模型局限性，基于TOPICS方法提出增强变体TOPICS+，通过引入Dice损失、分层伪标签和定制标签分类法提升手术场景分割鲁棒性，并构建六个新型CISS基准及包含144类标签的评估基准。
2025-08-10 cs.AI cs.CV cs.RO
Medical Image Segmentation Review: The success of U-Net
RWTH Aachen University（亚琛工业大学）；Shahid Beheshti University（沙希德·贝赫什提大学）；Mashhad University of Medical Sciences（马什哈德医科大学）；Sharif University of Technology（谢里夫理工大学）；Stanford University（斯坦福大学）；University of Regensburg（雷根斯堡大学）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学研究所MEVIS）
医学图像自动分割是医学领域的一个重要课题，也是计算机辅助诊断领域的一个重要分支。U-Net是最广泛的图像分割架构，因为它的灵活性，优化的模块化设计，以及在所有医学图像模式中的成功。多年来，U-Net模型得到了学术界和工业界研究人员的极大关注。已经提出了该网络的几个扩展，以解决医疗任务所造成的规模和复杂性。解决天真的U-Net模型的缺陷是供应商为他们的业务使用适当的U-Net变体模型的首要步骤。在一个地方有一个不同变体的概要，使构建者更容易识别相关的研究。此外，对于ML研究人员来说，它将帮助他们理解挑战模型的生物任务的挑战。为了解决这个问题，我们讨论了U-Net模型的实际方面，并提出了一个分类法来对每个网络变体进行分类。此外，为了衡量这些策略在临床应用中的性能，我们提出了一些独特的和著名的设计公知的数据集上的公平评价。我们提供了一个全面的实施库，其中包含经过训练的模型，供未来研究使用。此外，为了便于未来的研究，我们创建了一个在线列表的U-Net论文与他们可能的正式实施。所有信息都收集在https://github.com/NITR098/Awesome-U-Net存储库中。
2022-11-27 cs.CV eess.IV
Generic Event Boundary Detection: A Benchmark for Event Segmentation
Facebook AI（脸书人工智能研究院）；National University of Singapore（新加坡国立大学）
本文提出了一个新的任务，以及一个新的基准检测通用的，无分类的事件边界，分割成块的整个视频。时间视频分割和动作检测中的常规工作集中于定位预定义的动作类别，因此不能扩展到通用视频。自上世纪以来，认知科学就知道人类会不断地将视频分割成有意义的时间块。这种分割是自然发生的，没有预先定义的事件类别，也没有明确要求这样做。在这里，我们在主流CV数据集上重复这些认知实验;我们的新注释指南解决了无分类事件边界注释的复杂性，我们介绍了通用事件边界检测（GEBD）和新基准动力学-GEBD的任务。我们的Kinetics-GEBD拥有最多的边界（例如ActivityNet的32个，EPIC-Kitchen-100的8个），这些边界是在野外，无分类，涵盖通用事件变化，并尊重人类感知的多样性。我们认为GEBD是理解整个视频的重要垫脚石，并且认为由于缺乏适当的任务定义和注释，它以前被忽视了。通过实验和人体研究，我们证明了注释的价值。此外，我们在TAPOS数据集和我们的Kinetics-GEBD上对监督和非监督GEBD方法进行了基准测试。我们在CVPR'21 LOVEU Challenge上发布我们的注释和基线代码：https://sites.google.com/view/loveucvpr21。
2021-08-19 cs.CV
Overview: Computer vision and machine learning for microstructural characterization and analysis
Carnegie Mellon University（卡内基梅隆大学）；MIT（麻省理工学院）
微观结构的表征和分析是微观结构科学的基础，将材料结构与其成分，工艺历史和性能联系起来。微观结构量化传统上涉及人类先验地决定要测量什么，然后设计一种专门的方法来这样做。然而，数据科学的最新进展，包括计算机视觉（CV）和机器学习（ML），提供了从微观结构图像中提取信息的新方法。本文概述了CV方法对微观结构图像中包含的视觉信息进行数字编码，然后为监督或无监督ML算法提供输入，这些算法可以找到高维图像表示中的关联和趋势。用于微观结构表征和分析的CV/ML系统跨越图像分析任务的分类，包括图像分类、语义分割、目标检测和实例分割。这些工具使微观结构分析的新方法成为可能，包括开发新的、丰富的视觉指标和发现加工-微观结构-性能之间的关系。
2020-05-28 cond-mat.mtrl-sci cs.CV
SIP: Site in Pieces- A Dataset of Disaggregated Construction-Phase 3D Scans for Semantic Segmentation and Scene Understanding
Georgia Institute of Technology（佐治亚理工学院）
SIP数据集通过碎片化3D扫描反映施工现场实际约束，为建筑场景的语义分割和理解提供高质量基准数据。
2026-08-11 cs.CV cs.LG
Generalist Models in Medical Image Segmentation: A Survey and Performance Comparison with Task-Specific Approaches
Politecnico di Milano（米兰理工大学）；University of Pavia（帕维亚大学）
本文调查了通用模型在医学图像分割中的应用，对比了通用模型与任务特定方法的性能，探讨了其在监管、隐私、预算及临床转化等方面面临的挑战。
2025-06-12 cs.AI cs.CV eess.IV
Deep Interactive Segmentation of Medical Images: A Systematic Review and Taxonomy
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University Hospital Essen (AöR)（埃森大学医院）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；Helmholtz Imaging（亥姆霍兹成像机构）
本文系统综述医学图像深度交互式分割方法，提出分类体系并分析121种方法的实践现状，指出缺乏跨方法比较等挑战及标准化基准需求。
2024-01-09 cs.AI cs.CV cs.HC
FishNet: Deep Neural Networks for Low-Cost Fish Stock Estimation
University of Hawai’i at Manoa（夏威夷大学马诺阿分校）；Yayasan Konservasi Alam Nusantara（努桑塔拉自然保护基金会）；People and Nature Consulting International（人与自然国际咨询公司）
本文提出FishNet，利用Mask R-CNN和机器学习模型对低成本相机图像进行鱼类检测、分类和体长估计，在分割、分类和长度预测任务上分别取得92% IoU、89% top-1准确率和2.3cm平均绝对误差。
2024-06-27 cs.CV econ.GN q-fin.EC
MVT: Mask-Grounded Vision-Language Models for Taxonomy-Aligned Land-Cover Tagging
HKUST（香港科技大学）；JHU（约翰·霍普金斯大学）；CUHKSZ（香港中文大学）；NUS（新加坡国立大学）；MUST（穆斯林大学）
MVT通过三阶段框架结合类无关掩码证据与基于分类的场景解释，提升遥感土地覆盖标签的准确性和信息性。
2026-01-08 cs.CV
LLM-Guided Taxonomy and Hierarchical Uncertainty for 3D Point Cloud Active Learning
Southwest Jiaotong University（西南交通大学）
本文首次将大型语言模型引入三维点云主动学习，通过LLM构建层次语义分类体系并递归传播不确定性，在极低标注预算下实现显著分割性能提升。
2025-06-03 cs.CV
Graphonomy: Universal Image Parsing via Graph Reasoning and Transfer
Sun Yat-sen University（中山大学）；Hefei University of Technology（合肥工业大学）
现有的高度调整的图像解析模型通常在具有特定语义标签集合的特定领域中进行研究，并且难以适应其他场景（例如，共享差异标签粒度），无需大量重新训练。通过统一来自不同领域或不同粒度级别的标签注释来学习单个通用解析模型是一个重要但很少涉及的主题。这带来了许多基本的学习挑战，例如，发现不同标签粒度之间的底层语义结构或挖掘相关任务之间的标签相关性。为了解决这些挑战，我们提出了一个图推理和迁移学习框架，命名为“Graphonomy”，它将人类知识和标签分类法融入到超越局部卷积的中间图表示学习中。特别地，图形学通过语义感知的图推理和传递来学习多个域中的全局和结构化语义一致性，从而实现跨域解析的共同利益（例如，不同的数据集或共同相关的任务）。Graphonomy包括两个迭代模块：图内推理和图间传输模块。前者提取每个领域的语义图，通过图传播信息来改进特征表示学习;后者利用不同领域的图之间的依赖关系进行双向知识传递。我们将Graphonomy应用于两个相关但不同的图像理解研究主题：人类解析和全景分割，并显示Graphonomy可以通过标准管道很好地处理这两个问题。此外，我们的框架的一些额外的好处被证明，例如，通过跨不同数据集统一注释来生成各种粒度级别的人工解析。
2021-01-26 cs.CV
Class-Incremental Motion Forecasting
Department of Computer Science, University of Freiburg, Germany（弗赖堡大学计算机科学系）；Qualcomm SARL France（法国.qualcomm SARL）；Automated Driving, Qualcomm Technologies, Inc.（qualcomm Technologies, Inc. 自动驾驶部门）
提出类别增量运动预测新任务，通过端到端框架结合伪标签与开放词汇分割，利用3D-2D投票机制和查询特征方差重放策略，缓解灾难性遗忘并适应新类别。
2026-06-19 cs.AI cs.CV cs.RO
A Survey of Deep Visual Cross-Domain Few-Shot Learning
Beijing University of Technology（北京工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
Few-Shot迁移学习已经成为研究的主要焦点，因为它允许识别具有有限标记数据的新类。虽然假设训练和测试数据具有相同的数据分布，但在实际应用中通常并非如此。当新的类分布与学习的类显著不同时，这会导致模型转移效应降低。跨域Few-Shot（CDFS）的研究已经出现，以解决这个问题，形成一个更具挑战性和现实的设置。在本调查中，我们从问题设置和相应的解决方案的角度提供了CDFS的详细分类。我们总结了现有的CDFS网络体系结构，并讨论了每个方向的分类指示的解决方案的想法。此外，我们还介绍了各种CDFS下游应用，并概述了分类，检测和分割基准和相应的评估标准。我们还讨论了CDFS研究的挑战，并探讨未来调查的潜在方向。通过这次审查，我们的目标是为CDFS研究提供全面的指导，使研究人员能够深入了解最先进的技术，同时允许他们在现有解决方案的基础上开发自己的CDFS模型。
2023-03-16 cs.CV
InstanceBench: Diagnosing Referential Reasoning and Target Identity in Referring Expression Segmentation
The University of Sydney（悉尼大学）；The ATLAS Institute（ATLAS研究所）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
InstanceBench是一个以实例为中心的诊断基准，通过指称逻辑分类法和身份感知指标，系统评估RES模型的目标选择能力，发现目标选择是主要瓶颈，并支持测量-诊断-改进循环。
2026-10-08 cs.CV
ConceptSeg-R1: Segment Any Concept via Meta-Reinforcement Learning
Dalian University of Technology（大连理工大学）；X3000 Inspection Co., Ltd（X3000检测有限公司）；Nanyang Technological University（南洋理工大学）；Yale University（耶鲁大学）；Northwestern Polytechnical University（西北工业大学）；Hunan University（湖南大学）
本文提出ConceptSeg-R1框架，通过元强化学习机制学习可迁移的任务规则，结合轻量级概念翻译模块实现概念分割，并在多个领域基准上验证了其在概念层次上的强性能。
2026-05-19 cs.AI cs.CV
From Masks to Pixels and Meaning: A New Taxonomy, Benchmark, and Metrics for VLM Image Tampering
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University College London（伦敦大学学院）
本文提出了一种基于像素和意义的VLM图像篡改检测新方法，引入了新的分类体系和基准，提出了基于像素的度量标准，并评估了现有模型在微编辑和非遮罩篡改上的表现。
2026-03-20 cs.AI cs.CV cs.LG
Detection is solved, delineation is not: what governs tooth segmentation on panoramic radiographs
AI Dentify
本研究通过大规模全景X光片语料库系统评估发现，牙齿分割的瓶颈在于边界精度而非检测，分辨率提升比架构创新更有效。
2026-09-21 cs.CV cs.LG
