Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations
Eindhoven University of Technology（埃因霍温理工大学）
针对部件级预测未关联父对象导致学习目标与PPS任务不一致的问题，本文提出TAPPS，利用共享查询联合建模对象与部件表示，显著提升性能并达到新SOTA。
2024-06-14 cs.CV
A Novel Image Segmentation Enhancement Technique based on Active Contour and Topological Alignments
Faculty of Computer Science, Universiti Teknologi, Malaysia（马来西亚理工大学计算机科学学院）；College of Information Technology, UAE University, UAE（阿联酋大学信息技术学院）
拓扑对准和蛇形线用于图像处理，特别是用于定位对象边界。两者都有各自的优点和局限性。为了改进整个图像边界检测系统，我们重点开发了一种新的图像处理算法。我们提出发展的演算法将以主动轮廓法为基础，结合拓扑对齐法来加强影像侦测的方法。该算法提出了一种新的技术，结合了拓扑对齐和蛇的优点。其中，通过拓扑对齐进行的初始分割首先被转换为snake模型的输入，并开始其向感兴趣的对象边界的演化。实验结果表明，该算法能有效地处理低对比度图像和形状细胞，在弱边界条件下也能达到较好的分割效果，这也是目前图像检测技术精度不高的原因。实现了较好的图像分割和边界检测，提高了系统对低对比度图像的处理能力和对过分割和欠分割的处理能力。
2011-06-02 cs.CV
Multi-Grained Cross-modal Alignment for Learning Open-vocabulary Semantic Segmentation from Text Supervision
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute（杭州创新研究院）
针对文本监督开放词汇语义分割的对齐粒度差距问题，提出多粒度跨模态对齐框架，结合伪多粒度语义对应与难样本策略实现细粒度对齐，还设计自适应语义单元缓解分割缺陷，仅用CC3M训练即超越SOTA。
2024-03-06 cs.CV
Language-guided Medical Image Segmentation with Target-informed Multi-level Contrastive Alignments
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院）；Zhongguancun Academy & Zhongguancun Institute of Artificial Intelligence, Beijing, China（北京中关村学院及中关村人工智能研究院）；Department of Molecular Imaging, Royal Prince Alfred Hospital（皇家珀斯阿尔弗雷德医院分子成像部）
研究针对医学图像分割，提出目标感知多级对比对齐框架，通过引入目标敏感语义距离模块、多级对比对齐策略和语言引导目标增强模块，弥合图文模态差距，实现细粒度文本引导，实验证明性能优于现有方法。
2026-07-07 cs.CV
Unsupervised Domain Adaptation in Semantic Segmentation Based on Pixel Alignment and Self-Training
Peking University（北京大学）；National Engineering Laboratory for Big Data Analysis and Applications（大数据分析与应用国家工程实验室）；Center for Data Science（数据科学中心）；Beijing International Center for Mathematical Research (BICMR)（北京国际数学研究中心）；Center for Data Science in Health and Medicine（健康医疗数据科学中心）
提出了一种基于像素对齐和自训练的无监督跨模态领域自适应方法。像素对齐将ceT1扫描转换为hrT2模态，有助于减少训练分割模型中的域偏移。自训练调整分割网络的决策边界以适应hrT2扫描的分布。实验结果表明，PAST显著优于非UDA基线，在CrossMoDA验证阶段排行榜上获得了2级，平均Dice得分为0.8395。
2021-09-29 cs.CV
Fully Aligned Network for Referring Image Segmentation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出全对齐网络FAN，通过四项跨模态交互原则解决指称图像分割中模态对齐不足的问题，以简洁架构在RefCOCO等主流基准上取得最优性能。
2024-09-29 cs.CV
EAVL: Explicitly Align Vision and Language for Referring Image Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Science（中国科学院大学人工智能学院）
本文提出EAVL方法，通过引入Vision-Language Aligner在分割阶段使用动态卷积核显式对齐视觉与语言特征，在多个数据集上大幅超越现有方法，并可作为通用即插即用模块提升其他RIS模型性能。
2024-10-12 cs.CV
OASIS: One-pass aligned Atlas Set for Image Segmentation
Wuhan University（武汉大学）；Rensselaer Polytechnic Institute (RPI)（伦斯勒理工学院（RPI））
医学图像分割是医学图像分析中的一项基本任务。尽管深度卷积神经网络在这项具有挑战性的任务中获得了出色的性能，但它们通常依赖于大型标记数据集，这限制了它们对定制应用的扩展。通过回顾基于图谱的分割方法的优越性，我们提出了一个新的框架，一遍对齐图谱集图像分割（OASIS）。为了解决用于图谱变形的耗时的迭代图像配准的问题，所提出的方法利用深度学习的能力来实现一遍图像配准。此外，OASIS还通过引入标号约束，使配准过程集中在待分割区域上，提高了分割性能。此外，而不是使用基于图像的相似性的标签融合，这可能会被大背景区域分心，我们提出了一种新的策略来计算标签相似性为基础的标签融合的权重。我们对前列腺MR图像分割的挑战性任务的实验结果表明，OASIS能够显着提高分割性能相比，其他国家的最先进的方法。
2019-12-05 cs.CV
Learning to Generate Text-grounded Mask for Open-world Semantic Segmentation from Only Image-Text Pairs
Kakao Brain
我们解决开放世界的语义分割，其目的是学习分割图像中的任意视觉概念，只使用图像-文本对没有密集的注释。现有的开放世界分割方法通过采用对比学习（CL）来学习不同的视觉概念并将学习到的图像级理解转移到分割任务中，已经显示出令人印象深刻的进步。然而，这些基于CL的方法存在训练-测试差异，因为它在训练期间仅考虑图文对齐，而分割在测试期间需要区域-文本对齐。在本文中，我们提出了一种新的文本接地对比学习（TCL）框架，使模型能够直接学习区域文本对齐。我们的方法为给定的文本生成一个分割掩码，从掩码区域提取文本接地图像嵌入，并通过TCL将其与文本嵌入对齐。通过直接学习区域文本对齐，我们的框架鼓励模型直接提高生成的分割掩码的质量。此外，为了进行严格和公平的比较，我们提出了一个统一的评估协议，广泛使用的8个语义分割数据集。TCL在所有数据集中实现了最先进的zero-shot分割性能，并具有较大的边缘。代码可在https://github.com/kakaobrain/tcl上获得。
2023-03-26 cs.CV
SemiGDA: Generative Dual-distribution Alignment for Semi-Supervised Medical Image Segmentation
Nanjing University of Science and Technology（南京理工大学）；Southeast University（东南大学）
SemiGDA通过双分布对齐模块和一致性驱动跳过适配器提升半监督医学图像分割的语义学习和场景适应性，实验表明其优于现有方法。
2026-04-25 cs.CV
PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
National University of Singapore（新加坡国立大学）
尽管深度CNN在图像语义分割方面取得了很大进展，但它们通常需要大量密集注释的图像进行训练，并且难以推广到看不见的对象类别。因此，已经开发了Few-Shot分割以学习仅从几个注释的示例执行分割。在本文中，我们从度量学习的角度来解决具有挑战性的Few-Shot分割问题，并提出了PANet，一种新的原型对齐网络，以更好地利用支持集的信息。我们的PANet从嵌入空间内的一些支持图像中学习特定于类的原型表示，然后通过将每个像素与学习的原型相匹配来对查询图像进行分割。通过非参数度量学习，PANet提供了高质量的原型，这些原型代表了每个语义类别，同时对不同类别具有区分性。此外，PANet还引入了支持和查询之间的原型对齐正则化。通过这种方式，PANet充分利用了来自支持的知识，并在Few-Shot分割上提供了更好的泛化。值得注意的是，我们的模型在PASCAL-5i上分别实现了48.1%和55.7%的mIoU得分，分别超过了1.8%和8.6%的最先进的方法。
2020-02-07 cs.CV
Adaptive Frequency Domain Alignment Network for Medical image segmentation
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）
AFDAN通过自适应频域对齐技术提升医学图像分割的准确性和鲁棒性，有效解决数据稀缺问题。
2025-12-20 cs.CV
DTFormer: Text-Guided Semantic Alignment for RGB-D Segmentation
Southeast University（东南大学）；Technical University of Munich（慕尼黑工业大学）；City University of Macau（澳门城市大学）；University of Science and Technology of China（中国科学技术大学）
DTFormer提出一种RGB-D-文本三模态语义分割框架，通过文本引导语义对齐模块将语言先验编码为语义原型并与多模态特征对齐，在多个基准上持续提升分割性能，兼具简洁高效。
2026-10-07 cs.CV
Coarse-to-Fine Domain Adaptive Semantic Segmentation with Photometric Alignment and Category-Center Regularization
The University of Hong Kong（香港大学）；Deepwise AI Lab（深度智能实验室）
语义分割中的无监督领域自适应（UDA）是一项基本但有前途的任务，可以减轻繁重的注释工作。然而，在这个任务中的域移位/差异问题损害了最终的分割性能。根据我们的观察，域偏移的主要原因是成像条件的差异（称为图像级域偏移）和对象类别配置的差异（称为类别级域偏移）。在本文中，我们提出了一种新的UDA流水线，它以粗到细的方式统一了图像级对齐和类别级特征分布正则化。具体来说，在粗糙的一面，我们提出了一个光度对齐模块，对齐源域中的图像与参考图像从目标域使用一组图像级运算符;在精细的一面，我们提出了一个面向类别的三重损失，施加软约束，以规范化类别中心在源域和自监督一致性正则化方法在目标域。实验结果表明，我们提出的管道提高了最终分割模型的泛化能力，并显着优于所有以前的国家的最先进的。
2021-03-24 cs.CV
Motion-state Alignment for Video Semantic Segmentation
Meituan（美团）
本文提出运动-状态对齐框架，通过解耦Transformer和阶段Transformer分别捕获动态与静态语义，并以语义分配机制实现区域级和像素级一致性，在低计算成本下提升视频语义分割精度。
2023-04-18 cs.CV
Domain Adaptive Nuclei Instance Segmentation and Classification via Category-aware Feature Alignment and Pseudo-labelling
University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
在一般计算机视觉中，无监督领域自适应（UDA）方法被广泛用于提高模型的自适应能力。然而，与自然图像不同的是，组织病理学图像中不同类别的细胞核之间存在着巨大的语义鸿沟。我们如何构建广义UDA模型来精确分割或分类不同数据集上的细胞核实例，这一点仍有待探索。在这项工作中，我们提出了一种新的深度神经网络，即类别感知特征对齐和伪标签网络（CAPL-Net），用于UDA核实例分割和分类。具体来说，我们首先提出了一个类别级的特征对齐模块与动态学习权衡权重。其次，我们建议通过基于核级原型特征的伪标签的自监督训练来促进目标数据上的模型性能。跨域核实例分割和分类任务的综合实验表明，我们的方法优于国家的最先进的UDA方法具有显着的利润。
2022-07-04 cs.CV
Cross-Domain Grouping and Alignment for Domain Adaptive Semantic Segmentation
Yonsei University（延世大学）；Korea University（高丽大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
在深度卷积神经网络（CNN）内跨源域和目标域适配语义分割网络的现有技术以全局或类别感知的方式处理来自两个域的所有样本。它们不考虑目标域本身或估计类别内的类间变化，从而限制了对具有多模态数据分布的域进行编码。为了克服这个限制，我们引入了一个可学习的聚类模块，和一个新的领域自适应框架称为跨域分组和对齐。为了在不忘记源域上的精确分割能力的情况下最大化域对齐的目标对跨域的样本进行聚类，我们提出了两个损失函数，特别是为了鼓励聚类之间的语义一致性和正交性。我们还提出了一个损失，以解决类不平衡的问题，这是以前的方法的另一个局限性。我们的实验表明，我们的方法一贯提高适应性能的语义分割，优于国家的最先进的各种领域自适应设置。
2020-12-17 cs.CV
LiDAR-based Recurrent 3D Semantic Segmentation with Temporal Memory Alignment
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；AUDI AG（奥迪股份公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer IOSB（弗劳恩霍夫光学、系统技术与图像利用研究所）
理解和解释3d环境是自动驾驶汽车面临的一个关键挑战。三维点云的语义分割将三维信息与语义相结合，从而为这项任务做出了有价值的贡献。在许多实际应用中，点云是由激光雷达传感器以连续的方式生成的。使用时间序列而不是单个和独立的帧可以利用时间信息。因此，我们提出了一个经常性的分割架构（RNN），它需要一个单一的范围图像帧作为输入，并利用递归聚合的时间信息。对齐策略，我们称之为时间记忆对齐，使用自我运动在特征空间中的连续帧之间的时间对齐的记忆。研究了残差网络和ConvGRU用于存储器更新。我们在两个大规模数据集上展示了所提出的方法的好处，并将其与几种最先进的方法进行了比较。我们的方法在SemanticKITTI多扫描基准测试中排名第一，并在单扫描基准测试中实现了最先进的性能。此外，评估表明，利用时间信息显着提高分割结果相比，一个单一的帧的方法。
2021-03-03 cs.CV
Position-Aware Contrastive Alignment for Referring Image Segmentation
Tomorrow Advancing Life（好未来）；Harbin Institute of Technology（哈尔滨工业大学）
参照图像分割的目的是分割出由给定的自然语言表达式描述的目标对象。通常，引用表达式包含目标与其周围对象之间的复杂关系。这项任务的主要挑战是同时理解视觉和语言内容，并在图像中的所有实例中准确地找到所指对象。目前，解决上述问题的最有效方法是在地面真实掩模的监督下，通过计算视觉和语言特征模态之间的相关性来获得对齐的多模态特征。然而，现有的范例有困难，彻底理解视觉和语言的内容，由于无法直接感知周围的对象，涉及到目标的信息。这阻止了它们学习对齐的多模态特征，从而导致不准确的分割。为了解决这个问题，我们提出了一个位置感知的对比对齐网络（PCAN），通过引导视觉和语言之间的相互作用，通过事先的位置信息，以提高多模态功能的对齐。我们的PCAN由两个模块组成：1）位置感知模块（PAM），它提供了与自然语言描述相关的所有对象的位置信息，和2）对比语言理解模块（CLUM），它通过比较被引用对象的特征与相关对象的特征来增强多模态对齐。在三个基准上的大量实验表明，我们的PCAN对最先进的方法表现良好。我们的代码将公开提供。
2022-12-27 cs.CV
PathFL: Multi-Alignment Federated Learning for Pathology Image Segmentation
Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（新型一代人工智能技术及其交叉应用重点实验室（东南大学））；Department of Biostatistics, Center for Global Health, School of Public Health, Nanjing Medical University（公共卫生学院生物统计学系，全球健康中心，南京医科大学）；Institute of High-Performance Computing, Agency for Science, Technology and Research（高性能计算研究所，科技研究局）
提出PathFL，一种用于病理图像分割的多对齐联邦学习框架，通过图像、特征和模型聚合的三级对齐策略解决多中心数据异质性挑战，显著提升分割性能与鲁棒性。
2025-05-28 cs.CV
BLO-Inst: Bi-Level Optimization Based Alignment of YOLO and SAM for Robust Instance Segmentation
Electrical and Computer Engineering, University of California San Diego, CA, US（电子与计算机工程系，加州大学圣地亚哥分校）
BLO-Inst通过双层优化对齐YOLO和SAM，提升实例分割的鲁棒性和性能。
2026-01-29 cs.CV
AlignZeg: Mitigating Objective Misalignment for Zero-shot Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Huawei Inc.（华为公司）
针对零样本语义分割中的目标不一致问题，提出 AlignZeg 架构，通过改进提议提取、分类和校正流程，显著提升了未见类识别性能和整体分割效果。
2024-04-08 cs.CV
Class Incremental Medical Image Segmentation via Prototype-Guided Calibration and Dual-Aligned Distillation
本文提出PGCD和DAPD方法，通过原型引导校准和双对齐蒸馏提升类增量医学图像分割的性能与鲁棒性。
2025-12-29 cs.CV
Learning Implicit Feature Alignment Function for Semantic Segmentation
Peking University（北京大学）；UC San Diego（加州大学圣地亚哥分校）；Qualcomm AI Research（高通人工智能研究院）
在语义分割中，将高层上下文信息与低层细节相结合是至关重要的。为此，大多数现有的分割模型对不同尺度的特征图应用双线性上采样和卷积，然后以相同的分辨率对齐它们。然而，双线性上采样模糊了在这些特征映射中学习到的精确信息，卷积会产生额外的计算成本。为了解决这些问题，我们提出了隐式特征对齐功能（IFA）。我们的方法的灵感来自于隐式神经表示的快速扩展的主题，其中基于坐标的神经网络用于指定信号的字段。在IFA中，特征向量被视为表示2D信息场。给定一个查询坐标，附近的特征向量及其相对坐标从多级特征图中提取，然后送入MLP以生成相应的输出。因此，IFA隐式地对齐不同级别的特征图，并且能够以任意分辨率生成分割图。我们证明了IFA在多个数据集上的有效性，包括Cityscapes，PASCAL Context和ADE20K。我们的方法可以结合各种架构的改进，它实现了最先进的计算精度的权衡常见的基准。代码将在https://github.com/hzhupku/IFA上提供。
2022-06-17 cs.CV
LEAF: Latent Diffusion with Efficient Encoder Distillation for Aligned Features in Medical Image Segmentation
School of Computer Science and Engineering, Sun Yat-sen University, China（计算机科学与工程学院，中山大学）；Department of Biomedical Engineering, Johns Hopkins University, United States（生物医学工程系，约翰霍普金斯大学）
本文提出 LEAF 医学图像分割模型，通过直接预测分割图和视觉编码器特征蒸馏改进潜在扩散模型，在不增加推理参数与计算的情况下提升多数据集分割性能。
2025-07-24 cs.CV
Spatial-aware Symmetric Alignment for Text-guided Medical Image Segmentation
School of Information Engineering, Capital Normal University Beijing, China（信息工程学院，首都师范大学北京，中国）
本文提出SSA框架，通过空间感知对称对齐机制和复合方向引导策略，提升文本引导的医学图像分割性能，尤其在准确分割具有空间约束的病变方面表现优异。
2025-12-28 cs.CV
Extending CLIP's Image-Text Alignment to Referring Image Segmentation
POSTECH（浦项科技大学）；Seoul National University（首尔大学）
提出 RISCLIP 框架，利用 CLIP 的图文共享嵌入与对齐知识，并增强单模态特征提取，在三个主要 RIS 基准上取得优异表现。
2024-04-07 cs.CV
Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation
Hefei University of Technology（合肥工业大学）；Huawei Inc.（华为公司）
针对增量少样本语义分割中基础类与新类间的语义混叠问题，提出语义引导的关系对齐与适应方法，通过基础阶段语义关系对齐与增量阶段语义引导适应抑制混叠，在 PASCAL VOC 2012 和 COCO 数据集上展现出优越性能。
2023-05-18 cs.CV
Unsupervised Domain Adaptation Network with Category-Centric Prototype Aligner for Biomedical Image Segmentation
School of Medical Imaging, Xuzhou Medical University（徐州医科大学医学影像学院）；The Hong Kong Polytechnic University（香港理工大学）
随着深度学习在生物医学图像分割中的广泛成功，域偏移成为一个关键且具有挑战性的问题，因为当部署到具有异构特征的不可见数据时，两个域之间的差距会严重影响模型性能。为了缓解这个问题，我们提出了一种新的无监督领域自适应网络，用于将从标记的源域学习到未标记的目标域的模型推广到跨模态生物医学图像分割。具体来说，我们的方法包括两个关键模块，一个条件域对齐器~（CDD）和一个以类别为中心的原型对齐器~（CCPA）。CDD是在分类器任务中从条件域对抗网络扩展而来的，在处理复杂的跨模态生物医学图像时是有效和鲁棒的。CCPA是在跨领域目标检测中基于图的原型对齐机制的基础上改进而来的，它通过一种精细的原型表示来挖掘精确的实例级特征。此外，它还可以通过基于熵的损失来解决类不平衡的负面影响。在心脏子结构分割任务的公共基准上进行的大量实验表明，我们的方法显着提高了目标域的性能。
2021-03-03 cs.CV
Pixel-by-Pixel Cross-Domain Alignment for Few-Shot Semantic Segmentation
Polytechnic University of Turin（都灵理工大学）；CINI - Consorzio Interuniversitario Nazionale per l’Informatica（意大利国家跨大学信息学联盟）
在本文中，我们考虑自动驾驶应用程序中的语义分割的任务。具体来说，我们考虑跨域Few-Shot设置，其中训练可以仅使用少数真实世界注释图像和许多注释合成图像。在这种情况下，由于分割中固有的像素类不平衡，使得对齐域更具挑战性，并且导致忽略代表性不足的类并过度拟合代表性良好的类。我们解决这个问题，一个新的框架称为像素的像素跨域对齐（PixDA）。我们提出了一种新的逐像素域对抗性损失，遵循三个标准：（i）对齐每个像素的源域和目标域，（ii）避免正确表示的像素上的负传递，以及（iii）正则化不频繁类的训练以避免过拟合。逐像素对抗训练由一种新的样本选择过程和一种知识蒸馏策略辅助，该样本选择过程处理源数据和目标数据之间的不平衡，该知识蒸馏策略避免了对少数目标图像的过度拟合。我们在标准的合成到真实的基准测试中证明，PixDA在（1-5）次拍摄设置中优于以前的最先进的方法。
2021-10-22 cs.CV
APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic Segmentation
Tsinghua University（清华大学）；Tencent YouTu Lab（腾讯优图实验室）；University College London（伦敦大学学院）
Few-Shot语义分割的目标是在给定的查询图像中分割新类别的对象，只有少数标记的支持图像。大多数高级解决方案都利用了一个度量学习框架，该框架通过将每个查询特征与学习到的特定于类的原型相匹配来执行分割。然而，这个框架遭受偏见的分类，由于不完整的功能比较。为了解决这个问题，我们提出了一个自适应的原型表示，通过引入类特定的和类不可知的原型，从而构建完整的样本对学习语义对齐查询功能。互补特征学习方式有效地丰富了特征比较，并有助于在Few-Shot设置中产生无偏分割模型。它是用双分支端到端网络（即，类特定分支和类不可知分支），其生成原型，然后组合查询特征以执行比较。此外，所提出的类不可知分支是简单而有效的。在实践中，它可以自适应地为查询图像生成多个类不可知的原型，并以自对比的方式学习特征对齐。在PASCAL-5 $^i$和COCO-20 $^i$上的实验证明了该方法的优越性。在不牺牲推理效率的情况下，我们的模型在语义分割的1次和5次设置中都实现了最先进的结果。
2023-01-17 cs.CV
Oriented Boxes for Accurate Instance Segmentation
Research MVTec Software GmbH（MVTec软件公司（Research MVTec Software GmbH））；Munich, Germany（德国慕尼黑（此处仅为地址信息，不应提取为机构，原文本中机构粒度已满足，地址部分按要求忽略））
最先进的实例感知语义分割算法使用轴对齐的边界框作为中间处理步骤来推断最终的实例掩码输出。由于以下原因，这通常导致粗糙和不准确的遮罩建议：轴对齐框具有高的背景与前景像素比，遮罩目标相对于底层框有很大的变化，并且相邻实例经常到达感兴趣的实例遮罩的轴对齐限界框。在这项工作中，我们克服了这些问题，提出使用定向框作为基础来推断实例掩码。我们发现，面向实例分割提高了掩模预测，特别是当对象对角对齐，接触，或相互重叠。我们在D2S和Screws数据集上评估了我们的模型，结果表明，与使用轴对齐边界框的实例分割相比，我们可以分别将掩模精度提高10%和12% mAP。在新引入的Pill Bags数据集上，我们仅使用10%的掩码注释就优于基线。
2020-03-13 cs.CV
Stage-Aware Feature Alignment Network for Real-Time Semantic Segmentation of Street Scenes
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；University College London（伦敦大学学院）
在过去的几年里，基于深度卷积神经网络的方法在街景的语义分割方面取得了很大进展。最近的一些方法对齐特征图，以减轻它们之间的语义差距，并实现高分割精度。然而，它们通常在解码器中采用具有相同网络配置的特征对齐模块，从而忽略了在特征聚合过程中解码器各级的不同角色，导致解码器结构复杂。这种方式极大地影响了推理速度。在本文中，我们提出了一种新的阶段意识的特征对齐网络（SFANet）的编码器-解码器结构的基础上的实时的【形】语义分割的街道场景。具体来说，提出了一个阶段感知的特征对齐模块（SFA），有效地对齐和聚合两个相邻级别的特征图。在SFA中，考虑到解码器中每个阶段的独特作用，设计了一种新颖的阶段感知特征增强块（FEB），以增强来自编码器的特征图的空间细节和上下文信息。通过这种方式，我们能够用非常简单和有效的多分支解码器结构来解决未对准问题。此外，辅助训练策略的开发，以显式地减轻多尺度对象的问题，而不会带来额外的计算成本在推理阶段。实验结果表明，SFANet算法在准确性和速度上取得了较好的平衡，能够实现街道场景的实时的【形】语义分割。特别是，基于ResNet-18，SFANet仅使用单个GTX 1080Ti GPU，在具有挑战性的Cityscapes和CamVid测试数据集上，以37 FPS和96 FPS的推理速度分别获得了78.1%和74.7%的按类交集（mIoU）平均值。
2022-03-08 cs.CV
Scaling Open-Vocabulary Image Segmentation with Image-Level Labels
Google Research（谷歌研究院）；NVIDIA（英伟达）
我们设计了一个开放词汇的图像分割模型，将图像组织成由任意文本表示的有意义的区域。最近的作品（CLIP和ALIGN），尽管达到了令人印象深刻的开放词汇分类精度与图像级的标题标签，无法分割的视觉概念与像素。我们认为，这些模型错过了视觉分组的重要步骤，即在学习视觉语义对齐之前将像素组织成组。我们提出OpenSeg来解决上述问题，同时仍然使用可扩展的图像级字幕监督。首先，它学习为可能的组织提出分割掩码。然后，它通过将标题中的每个单词与一个或几个预测的掩码对齐来学习视觉语义对齐。我们发现掩码表示是支持从字幕中学习图像分割的关键，使得可以扩展数据集和词汇量。OpenSeg在PASCAL数据集上的表现明显优于LSeg最近的开放词汇表方法，达到+19.9 mIoU，这要归功于其可扩展性。
2022-07-20 cs.CV
SRA-Seg: Synthetic to Real Alignment for Semi-Supervised Medical Image Segmentation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
SRA-Seg通过合成到现实的特征对齐，利用SA损失和软边缘融合技术，在仅用10%真实标注数据和90%合成数据的情况下，显著提升了医学图像分割性能。
2026-02-03 cs.CV
CoupAlign: Coupling Word-Pixel with Sentence-Mask Alignments for Referring Image Segmentation
Xi’an Jiaotong University（西安交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）
参考图像分割的目的是定位由自然语言句子描述的视觉对象的所有像素。以前的工作学习直接对齐句子嵌入和像素级嵌入以突出显示所引用的对象，但忽略了同一对象内像素的语义一致性，导致不完整的掩码和预测中的定位错误。为了解决这个问题，我们提出了CoupAlign，一个简单而有效的多层次的视觉语义对齐方法，耦合的词-像素对齐的掩码对齐，以执行对象掩码约束，实现更准确的定位和分割。具体来说，单词像素对齐（WPA）模块在视觉和语言编码器的中间层中执行语言和像素级特征的早期融合。基于单词像素对齐的嵌入，生成一组掩码建议来假设可能的对象。然后在句子模板对齐（SMA）模块中，通过句子嵌入对模板进行加权以定位引用的对象，最后将模板投影回来以聚合目标的像素。为了进一步增强两个对齐模块的学习，设计了一个辅助损失来对比前景和背景像素。通过将像素和掩码与语言特征分层对齐，我们的CoupAlign在视觉和语义层面上捕获像素的一致性，从而生成更准确的预测。在流行数据集上进行了大量实验（例如，RefCOCO和G-Ref）表明，我们的方法与最先进的方法相比实现了一致的改进，例如，在RefCOCO的验证和测试集上增加约2% oIoU。特别是，CoupAlign在将目标与同一类的多个对象区分开来方面具有卓越的能力。
2022-12-04 cs.CV
Cascade-CLIP: Cascaded Vision-Language Embeddings Alignment for Zero-Shot Semantic Segmentation
School of Computer Science, Nankai University（南开大学计算机学院）；Nankai International Advanced Research Institute (Shenzhen Futian)（南开大学国际高等研究院（深圳福田））
针对现有CLIP零样本分割忽略中间层细节且直接聚合多层特征会削弱零样本能力的问题，提出级联独立解码器对齐多层视觉与文本嵌入的Cascade-CLIP框架，在多个分割基准上取得优越性能。
2024-06-06 cs.CV
Empowering DINO Representations for Underwater Instance Segmentation via Aligner and Prompter
针对水下实例分割（UIS）任务，提出基于DINO的DiveSeg框架，通过AquaStyle对齐器嵌入水下色彩风格特征、ObjectPrior提示器提供对象级先验，在UIIS和USIS10K数据集上实现最先进性能。
2025-11-11 cs.CV
Rethinking Efficient Crack Segmentation with Task-Aligned Structural-Directional Modeling
xauat（西安理工大学）
将裂缝分割视为稀疏结构恢复问题，提出RIFT模型，通过轻量多尺度融合保留局部证据、聚合方向连续性，在16项指标上达到最优或并列最优。
2026-05-29 cs.CV
Depth Edge Alignment Loss: DEALing with Depth in Weakly Supervised Semantic Segmentation
DTU - Technical University of Denmark（丹麦技术大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃朗根-纽伦堡弗里德里希-亚历山大大学）
提出深度边缘对齐损失以提升弱监督语义分割性能，通过像素级深度信息增强模型表现。
2026-01-14 cs.CV
SHTA: Semantic Hard Token Correction and Center Alignment for Semi-Supervised Medical Image Segmentation
Yale University（耶鲁大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
针对半监督医学图像分割中硬区域语义一致性不足问题，提出SHTA方法，通过语义分配等技术细化语义表示，集成到多个框架并在相关数据集评估，能提升分割精度等性能，且仅增加训练开销。
2026-07-09 cs.CV
Partial CLIP is Enough: Chimera-Seg for Zero-shot Semantic Segmentation
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；AI Thrust, The Hong Kong University of Science and Technology（香港科学与技术大学人工智能研究组）；INSAIT, Sofia University（索菲亚大学INSAIT）
针对零样本语义分割中视觉特征与文本空间对齐及全局局部语义差距问题，提出Chimera-Seg架构与选择性全局蒸馏方法，结合部分CLIP模块保留分割能力并实现语义对齐，在两个基准上hIoU提升0.9%和1.3%。
2025-06-27 cs.CV
Pseudo-label Alignment for Semi-supervised Instance Segmentation
Xiamen University（厦门大学）；Contemporary Amperex Technology Co. Limited（宁德时代新能源科技股份有限公司）
本文提出PAIS框架，通过动态对齐损失DALoss解决半监督实例分割中伪标签因类别与掩码质量不匹配被过滤的问题，在COCO和Cityscapes上显著超越现有方法。
2023-08-10 cs.CV
Style Blind Domain Generalized Semantic Segmentation via Covariance Alignment and Semantic Consistence Contrastive Learning
Korea University（高丽大学）；Chonnam National University（全南大学）
针对语义分割模型在未见目标域因风格差异性能下降的问题，提出BlindNet方法，通过协方差对齐和语义一致性对比学习实现风格盲域泛化，在未见域上取得优于现有方法的鲁棒分割性能。
2024-03-10 cs.CV
BARL: Bilateral Alignment in Representation and Label Spaces for Semi-Supervised Volumetric Medical Image Segmentation
College of Biomedical and Engineering, Fudan University（复旦大学生物医学与工程学院）；ZJU-UIUC Institute, Zhejiang University（浙江大学浙大-UIUC研究院）
BARL通过双侧对齐表示空间和标签空间，提升半监督体积医学图像分割的性能。
2026-01-14 cs.CV
Text-Guided Medical Image Segmentation via Residual Aggregation and Dense Alignment Representations
Anhui University（安徽大学）；Case Western Reserve University（凯斯西储大学）
本文提出RADAR框架，通过解耦协同BiomedCLIP与MedSAM2能力，结合残差聚合等技术实现文本引导医学图像分割，仅用0.74M参数即达竞争力性能，验证了参数高效适配等方面的有效性。
2026-10-14 cs.CV
MTA-CLIP: Language-Guided Semantic Segmentation with Mask-Text Alignment
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出MTA-CLIP框架，通过掩码级视觉-语言对齐、掩码-文本解码器、对比学习及提示学习解决像素级对齐中的边界歧义问题，在ADE20k和Cityscapes上取得最优分割性能。
2024-07-31 cs.CV
Disentangle, align and fuse for multimodal and semi-supervised image segmentation
The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；Cedars Sinai Medical Center（西达赛奈医疗中心）
磁共振（MR）协议依赖于几个序列，以正确评估病理和器官状态。尽管在图像分析的进步，我们倾向于处理每个序列，这里称为模态，在隔离。利用模态之间共享的共同信息（器官的解剖结构）有利于多模态处理和学习。然而，我们必须克服固有的解剖配准错误和信号强度的差异，以获得这种好处。我们提出了一种方法，通过学习利用其他模态中存在的信息，即使很少（半监督）或没有（无监督）注释可用于此特定模态，也可以提高感兴趣模态（在单个输入模型上）的分割准确性。我们的方法的核心是学习解剖和成像因素的分解。来自不同输入的共享解剖因素被联合处理和融合以提取更准确的分割掩模。使用空间Transformer网络校正图像配准错误，该网络非线性地对齐解剖因素。成像因子捕获跨不同模态数据的信号强度特性，并用于图像重建，从而实现半监督学习。动态学习输入之间的时间和切片配对。我们展示了在晚期钆增强（LGE）和血氧水平依赖（BOLD）心脏分割，以及在T2腹部分割的应用。代码可在https://github.com/vios-s/multimodal_segmentation上获得。
2020-11-09 cs.CV
Primitive Generation and Semantic-related Alignment for Universal Zero-Shot Segmentation
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
本文提出一种基于生成模型和语义相关对齐的通用零样本分割方法，通过原始特征组装与特征解耦，实现全景、实例和语义分割的最先进性能。
2023-06-19 cs.CV
CM-MaskSD: Cross-Modality Masked Self-Distillation for Referring Image Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Science（中国科学院大学人工智能学院）；University of Science and Technology Beijing（北京科技大学）
针对指代图像分割中的细粒度对齐难题，提出跨模态掩码自蒸馏框架CM-MaskSD，利用CLIP知识实现patch-word对齐，以近乎无参数方式提升分割精度并超越现有方法。
2024-02-14 cs.CV
Local2Global query Alignment for Video Instance Segmentation
AWS AI Labs（AWS人工智能实验室）；LinkedIn Corporation（LinkedIn公司）；Amazon（亚马逊）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）
本文提出在线视频实例分割框架 Local2Global，通过 L2G-aligner 对齐局部与全局查询，在保持时间一致性的同时以简单在线训练达到最先进性能。
2025-07-27 cs.CV
Aligning Instance-Semantic Sparse Representation towards Unsupervised Object Segmentation and Shape Abstraction with Repeatable Primitives
School of Big Data and Software Engineering, Chongqing University（重庆大学大数据与软件学院）；Department of Computer Science and Engineering, State University of New York at Buffalo（纽约州立大学布法罗分校计算机科学与工程系）
本文提出一种单阶段无监督框架，通过高维空间中物体部件的稀疏表示与实例-语义特征对齐，联合实现实例分割、语义分割和可重复基元形状抽象。
2025-03-10 cs.CV
AlignSeg: Feature-Aligned Segmentation Networks
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；AAII, University of Technology Sydney（悉尼科技大学人工智能高级研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）；Picsart AI Research（Picsart人工智能研究院）
根据不同的卷积块或上下文嵌入来聚合特征已被证明是加强用于语义分割的特征表示的有效方式。然而，目前流行的网络架构往往忽略了在特征聚合过程中由1）逐步下采样操作和2）不加选择的上下文信息融合引起的失准问题。在本文中，我们探讨了解决这些特征不对齐问题的原则，并创造性地提出了一种基于特征对齐的分割网络（AlignSeg）。AlignSeg由两个主要模块组成，即，Aligned Feature Aggregation（AlignFA）模块和Aligned Context Modeling（AlignCM）模块。首先，AlignFA采用一种简单的可学习的插值策略来学习像素的变换偏移量，可以有效地缓解多分辨率特征聚合引起的特征错位问题。其次，有了上下文嵌入，AlignCM使每个像素能够以自适应的方式选择私人自定义上下文信息，使上下文嵌入更好地对齐，以提供适当的指导。我们通过在Cityscapes和ADE 20K上进行的广泛实验验证了AlignSeg网络的有效性，分别获得了82.6%和45.95%的最新mIoU分数。我们的源代码将提供。
2021-03-02 cs.CV eess.IV
From Deterministic to Probabilistic: A Novel Perspective on Domain Generalization for Medical Image Segmentation
针对医学图像分割中域偏移难消除限制模型泛化的问题，提出结合概率建模、对比学习与频域结构增强的域泛化框架，显著提升分割性能，提供鲁棒解决方案。
2024-12-07 cs.CV
