Convexity Shape Prior for Level Set based Image Segmentation Method
Beijing Normal University（北京师范大学）；Hong Kong Baptist University（香港浸会大学）
针对变分水平集图像分割方法，提出了一种几何凸性形状先验保持方法。我们的方法是建立在这样一个事实，即凸的有符号的距离函数的水平集必须是凸的。这一性质使我们能够将复杂的几何凸性先验转化为简单的不等式约束。利用基于有效集的Gauss-Seidel迭代法处理该约束极小化问题，得到了一个有效的算法。我们将我们的方法应用到基于区域和边缘的水平集分割模型，包括Chan-Vese（CV）模型，并保证分割区域是凸的。实验结果表明了该模型和算法的有效性和质量。
2018-05-22 cs.CV
Is Long Range Sequential Modeling Necessary For Colorectal Tumor Segmentation?
Northwestern University（西北大学）；Marmara University School of Medicine（马尔马拉大学医学院）
针对结直肠肿瘤3D分割问题，在新数据集CTS-204中对比长程序列建模架构与所提MambaOutUNet，发现局部标记交互在小而复杂的感兴趣区域分割中更优，为3D肿瘤分割研究提供新方向。
2025-02-10 cs.CV
SegSALSA-STR: A convex formulation to supervised hyperspectral image segmentation using hidden fields and structure tensor regularization
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个监督的高光谱图像分割算法的基础上的凸制定的边缘最大后验分割与隐藏字段和结构张量正则化：分割通过约束分裂增广拉格朗日收缩结构张量正则化（SegSALSA STR）。该公式避免了分割问题的一般离散性质和相关整数优化的固有NP-困难。我们通过约束分裂增广拉格朗日收缩（SegSALSA）算法扩展分割，通过使用从基于块的雅可比矩阵构建的结构张量先验来概括矢量全变分先验。所得到的算法是凸的，时间效率和高度并行化。这显示了通过包含不同的正则化器将隐藏字段与凸优化相结合的潜力。在实际高光谱图像分割中验证了SegSALSA-STR算法的有效性。
2015-04-27 cs.CV
Adversarial Segmentation Loss for Sketch Colorization
Hacettepe University（哈斯特帕大学）；Middle East Technical University（中东技术大学）
我们介绍了一种新的方法，从草图或边缘地图生成彩色图像。目前的方法要么需要某种形式的额外的用户指导，要么仅限于“配对”翻译方法。我们认为，分割信息可以提供有价值的指导草图彩色化。为此，我们建议利用语义图像分割，提供了一个通用的全景分割网络，以创建一个额外的对抗性损失函数。我们的损失函数可以集成到任何基线GAN模型。我们的方法并不局限于包含分割标签的数据集，它可以被训练用于“不成对”的翻译任务。我们使用定性，定量和用户研究分析，在四个不同的数据集上显示了我们的方法在室内，室外和儿童书籍插图图像场景级上的有效性。我们的模型将其基线提高到FID指标的35个点。我们的代码和预训练模型可以在https://github.com/giddyyupp/AdvSegLoss上找到。
2021-06-13 cs.CV
Convex Shape Prior for Deep Neural Convolution Network based Eye Fundus Images Segmentation
Beijing Normal University（北京师范大学）；Hong Kong Baptist University（香港浸会大学）；Henan University（河南大学）
凸面形状（CS）是眼底图像中视盘和视杯分割的常见先验信息。重要的是设计适当的技术来表示凸形状。到目前为止，保证深度神经卷积网络（DCNN）的输出对象是凸形状仍然是一个问题。在这项工作中，我们提出了一种技术，可以很容易地集成到常用的DCNN图像分割，并保证输出是凸形状。这种方法是灵活的，它可以处理多个对象，并允许一些对象是凸的。我们的方法是基于DCNN中S形激活函数的对偶表示。在对偶空间中，凸形状先验可以通过对形状的二进制表示的简单二次约束来保证。此外，我们的方法还可以集成空间正则化和其他形状先验使用软阈值动态（STD）方法。正则化可以使分割对象的边界曲线同时光滑和凸。我们设计了一个非常稳定的活动集投影算法来数值求解我们的模型。该算法可以形成一个新的即插即用的DCNN层，称为CS-STD，其输出必须是凸对象的近似二进制分割。在CS-STD块中，可以传播凸度信息，以在训练和预测过程中引导DCNN进行前向和后向传播。作为一个应用实例，我们以流行的DeepLabV 3+为骨干网络，将凸性先验层应用于眼底图像分割。在多个公共数据集上的实验结果表明，该方法是有效的，优于经典的DCNN分割方法。
2020-05-15 cs.CV
Panoptic-Depth Color Map for Combination of Depth and Image Segmentation
National Taiwan University（国立台湾大学）
针对自动驾驶场景，提出深度学习网络Panoptic-DepthLab，通过在分割网络中加入深度估计分支实现带深度的实例分割，在Cityscape数据集验证有效，为多任务结合提升自动驾驶安全提供新思路。
2023-08-24 cs.CV
Hybridization of Otsu Method and Median Filter for Color Image Segmentation
Irbid National University（伊尔比德国立大学）
本文提出了一种新的彩色图像分割算法。该算法结合了现有的两种方法，在这种新的方式来获得一个显着的方法来分割的彩色图像到显着的区域。在第一阶段，将传统的用于灰度通道图像分割的Otsu方法分别应用于每个R、G和B通道，以确定每个通道的合适的自动阈值。之后，新的修改后的通道再次整合，以制定一个新的彩色图像。产生的图像受到某种扭曲。为了消除这种失真，第二阶段是中值滤波，平滑图像，增加分割区域。这个过程在肉眼看来非常重要。在多种测试图像上的实验结果支持该算法。
2013-05-05 cs.CV
D-Convexity: A Unified Differentiable Convex Shape Prior via Quasi-Concavity for Data-driven Image Segmentation
School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学）
本文提出了一种基于网络输出掩码函数u的准凹性，统一且无阈值的可微凸形状先验，用于数据驱动的图像分割，通过将所有超水平集要求为凸性，将全局形状约束转化为局部可微不等式，从而提升形状正则化性能。
2026-05-19 cs.CV
Improving Sketch Colorization using Adversarial Segmentation Consistency
Hacettepe University（哈斯特帕大学）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Middle East Technical University（中东技术大学）
我们提出了一种新的方法来产生彩色图像的草图。草图着色中的当前解决方案需要额外的用户指令或者限于“配对”翻译策略。我们利用语义图像分割从一个通用的全景分割网络生成一个额外的对抗损失函数。所提出的损失函数与任何GAN模型兼容。我们的方法不限于带有分割标签的数据集，也可以应用于不成对的翻译任务。使用定性和定量分析，并根据用户研究，我们证明了我们的方法对四个不同的图像数据集的有效性。在FID指标上，我们的模型将基线提高了35个点。我们的代码，预训练模型，脚本，以产生新引入的数据集和相应的草图图像可在https://github.com/giddyyupp/AdvSegLoss。
2023-01-20 cs.CV
Voronoi Region-Based Adaptive Unsupervised Color Image Segmentation
University of Manitoba（曼尼托巴大学）；Adiyaman University（阿迪亚曼大学）
彩色图像分割是许多计算机视觉和模式识别应用中的关键步骤。提出了一种基于Voronoi区域的自适应无监督聚类方法，用于解决彩色图像分割问题。该方法在Dirichlet Tessellated图像（也称为沃罗诺伊图）的Voronoi区域内进行区域分裂和合并，提高了聚类数和聚类中心估计过程的效率和准确性。此外，所提出的方法使用聚类质心邻近合并邻近的聚类，以找到最终的聚类和聚类质心的数量。与现有的自适应无监督聚类图像分割算法相比，该方法采用K-means聚类算法代替模糊C-means算法来寻找最终的分割图像。在三个不同的无监督图像分割评价基准上对该方法进行了评价，并将其结果与其他两种自适应无监督聚类图像分割算法进行了比较。实验结果表明，该方法在图像分割质量方面优于现有算法。此外，所提出的方法的结果在最低的平均执行时间每幅图像相比，现有的方法在这篇文章中报道。
2016-04-02 cs.CV
The Four Color Theorem for Cell Instance Segmentation
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen), China（计算机科学与技术学院，哈尔滨工业大学（深圳））；School of Science, Harbin Institute of Technology (Shenzhen), China（科学学院，哈尔滨工业大学（深圳））；Department of Electrical and Computer Engineering, National University of Singapore, Singapore（电气与计算机工程系，新加坡国立大学）
针对紧密接触细胞难区分及现有实例分割框架难平衡性能与效率的问题，提出受四色定理启发的四色编码细胞实例分割方法，结合渐近训练等策略解决训练不稳定问题，达到当前最优性能。
2025-06-11 cs.CV
A Weighted Difference of Anisotropic and Isotropic Total Variation for Relaxed Mumford-Shah Color and Multiphase Image Segmentation
University of California at Irvine（加州大学欧文分校）；Whittier College（惠蒂尔学院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
在一类分段常数图像分割模型中，我们提出将各向异性和各向同性全变差（AITV）的加权差正则化图像中的分区边界。特别是，我们取代总变分正则化的Chan-Vese分割模型和模糊区域竞争模型的建议AITV。为了处理AITV的非凸性质，我们应用凸差分算法（DCA），其中子问题可以通过原始-对偶混合梯度法与线性插值来最小化。分析了DCA格式的收敛性。此外，一个推广到彩色图像分割进行了讨论。在数值实验中，我们比较了所提出的模型与经典的凸方法和两阶段分割方法（平滑，然后阈值）在各种图像上，表明我们的模型是有效的图像分割和鲁棒性的脉冲噪声。
2021-07-18 cs.CV
Learning color space adaptation from synthetic to real images of cirrus clouds
Zhejiang University（浙江大学）
云分割在气候建模的图像分析中起着至关重要的作用。手动标记用于云分割的训练数据是耗时且容易出错的。由于像素级标签的自然获取，我们探索用合成数据来训练分割网络。然而，合成图像和真实图像之间的域差距显着降低了训练模型的性能。我们提出了一种颜色空间自适应方法来弥补这一差距，通过训练一个颜色敏感的生成器和训练器，使合成数据适应颜色空间中的真实图像。我们采用一组封闭形式的操作来进行颜色空间调整，同时保留标签，而不是通过一般的卷积核来转换图像。我们还构建了一个合成到真实的卷云数据集SynCloud，并展示了卷云语义分割任务的适应效果。利用我们自适应的合成数据来训练语义分割，当应用于真实图像时，我们实现了6：59%的改进，优于其他方法。
2020-11-17 cs.CV
Impact of color and mixing proportion of synthetic point clouds on semantic segmentation
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文通过实验探究合成点云的颜色和混合比例对深度学习语义分割的影响，发现真实颜色和高于70%的混合比例能提升性能，并可用于训练检测大型平坦建筑元素的模型。
2025-01-18 cs.CV
AsyInst: Asymmetric Affinity with DepthGrad and Color for Box-Supervised Instance Segmentation
Tongji University（同济大学）；The City University of New York（纽约城市大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Tsinghua University（清华大学）
弱监督实例分割是一个具有挑战性的任务。现有的方法通常使用边界框作为监督，并使用正则化损失项（例如用于实例分割的成对颜色亲和度损失）来优化网络。通过系统分析，我们发现常用的成对亲和度损失有两个局限性：（1）它适用于颜色亲和度，但导致其他模态（如深度梯度）的性能较差，（2）原始亲和度损失并不能阻止预期的琐碎预测，但实际上加速了这个过程，因为亲和度损失项是对称的。为了克服这两个限制，在本文中，我们提出了一种新的不对称的亲和力损失，它提供了对平凡的预测和概括以及从不同的方式与亲和力损失的惩罚。在提出的非对称亲和力损失的情况下，我们的方法在Cityscapes数据集上的性能优于最先进的方法，并且在掩模AP中的性能优于我们的基线方法3.5%。
2022-12-07 cs.CV
Adversarial Stain Transfer to Study the Effect of Color Variation on Cell Instance Segmentation
CEA（法国原子能与替代能源委员会）；CNRS（法国国家科学研究中心）；WITSEE
组织学图像中的染色颜色变化是由多种因素引起的，这不仅对病理学家的视觉诊断而且对细胞分割算法都是一个挑战。为了消除颜色变化，已经提出了许多染色归一化方法。然而，大多数设计用于苏木精和伊红染色图像，并且在免疫组织化学染色图像上表现不佳。目前的细胞分割方法系统地应用染色归一化作为预处理步骤，但颜色变化带来的影响尚未定量研究。在本文中，我们产生了五组不同颜色的NeuN染色图像。我们应用了一种深度学习图像处理方法来执行组织学图像组之间的颜色转移。最后，我们改变了分割集的颜色，并量化了颜色变化对细胞分割的影响。结果证明了在后续分析之前进行颜色归一化的必要性。
2022-10-26 cs.CV eess.IV
Convexity Shape Constraints for Image Segmentation
MPI-CBG（马克斯·普朗克分子细胞生物学与遗传学研究所）；TU Dresden（德累斯顿工业大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
将图像分割成多个分量是计算机视觉的中心任务。在许多实际场景中，关于合理组件的先验知识是可用的。将这样的先验知识简化为用于图像分割的模型和算法是非常期望的，但可能是不平凡的。在这项工作中，我们引入了一种新的方法，允许，第一次，限制部分或所有组件的分割具有凸形。具体来说，我们扩展了最小成本多割问题的一类约束，强制凸性。为了解决这个APX-硬整数线性规划的最优性的情况下，我们分离的分支和切割循环的最先进的ILP求解器中提出的约束。自然和生物图像上的结果证明了该方法的有效性，以及它的优势，国家的最先进的启发式。
2015-09-07 cs.CV
Incorporating Luminance, Depth and Color Information by a Fusion-based Network for Semantic Segmentation
National Chiao Tung University（国立交通大学）；UC San Diego（加州大学圣地亚哥分校）
由于近年来深度卷积网络的成功，语义分割取得了令人鼓舞的进展。同时，深度传感器现在变得普遍，因此可以更容易地获取深度图。然而，有几个研究，专注于RGB-D语义分割任务。利用深度信息有效性来提高性能是一个挑战。在本文中，我们提出了一种新的解决方案LDFNet，它结合了亮度，深度和颜色信息的融合为基础的网络。它包括一个子网络来处理深度图，并采用亮度图像来辅助处理中的深度信息。LDFNet在Cityscapes数据集上的表现优于其他最先进的系统，其推理速度比大多数现有网络都快。实验结果表明了该多模态融合网络的有效性及其在实际应用中的潜力。
2019-05-19 cs.CV
Resolution Enhancement of Range Images via Color-Image Segmentation
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出了一种深度图像超分辨率的方法。我们的方法利用LR图像作为HR网格上的稀疏样本的解释。基于这种解释，我们证明了我们最近报道的方法，利用注册的彩色图像从稀疏的距离数据重建密集的距离图像，可以应用于距离图像的分辨率增强的任务。我们的方法只使用一个单一的彩色图像，除了在超分辨率过程中的距离观察。使用所提出的方法，我们证明了超分辨率结果的大因素（例如4）具有良好的定位精度。
2012-10-28 cs.CV
Optimal Surface Segmentation with Convex Priors in Irregularly Sampled Space
The University of Iowa（爱荷华大学）
最优表面分割是一种用于分割体积数据集中的多个全局最优表面的最新方法。该方法被广泛用于许多医学图像分割应用。然而，基于图的最优表面分割方法中的节点通常对体积的均匀分布的正交体素进行编码。因此，分割不能达到大于单个单位体素的精度，即图空间中两个相邻节点之间的距离。通过利用体素中的部分体积信息可以实现高于单位体素的分割精度，这将导致相邻图形节点之间的非等距间隔。本文提出了一种基于凸先验的广义图多曲面分割方法，该方法可以在不规则采样空间中对目标曲面进行最优分割。该方法允许相邻图形节点之间的非等距间距，通过利用体素中的部分体积信息来实现亚体素分割精度。体素中的部分体积信息通过从原始体积数据计算位移场来利用，以识别每个体素内的子体素精确中心，从而导致相邻图形节点之间的非等距间隔。作为凸约束建模的每个曲面的平滑度控制曲面的连通性和规则性。我们采用基于边的图形表示，将必要的约束和全局最优解是通过计算最小的s-t切割。该方法在10幅血管内多帧超声图像数据集上进行了亚体素分割精度的验证。在所有情况下，该方法都产生了高度准确的结果。我们的方法可以很容易地扩展到高维分割。
2019-02-14 cs.CV
Automatic Color Image Segmentation Using a Square Elemental Region-Based Seeded Region Growing and Merging Method
提出了一种基于正方形基本区域的种子区域生长与合并的彩色图像自动分割方法。我们的分割方法包括三个步骤：生成种子区域，合并的区域，并应用像素的边界确定算法得到的多边形区域。我们的方法的主要特点如下：使用方形的基本区域，而不是像素作为处理单元，种子生成方法的基础上增强的梯度值，种子区域生长方法利用局部梯度值，区域合并方法使用的相似性度量，包括同质性距离的基础上Tsallis熵，和区域合并的终止条件，使用估计所需的区域数量。采用正方形区域作为处理单元，大大降低了算法的时间复杂度，使算法性能稳定。实验结果表明，我们的方法对各种自然图像（包括纹理严重的区域）表现出稳定的性能，并且使用相同的参数值可以产生良好的分割结果。我们的方法的结果是相当可比的，在某些方面优于现有的算法。
2017-11-26 cs.CV
Discriminant Learning-based Colorspace for Blade Segmentation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与信息技术研究所）；Wind Power LAB（风能实验室）
本文提出颜色空间判别分析（CSDA）算法，通过优化颜色表示提升叶片分割的准确性，实验表明定制预处理对领域特定分割至关重要。
2026-01-20 cs.CV cs.LG
Technical Report for ICRA 2025 GOOSE 2D Semantic Segmentation Challenge: Leveraging Color Shift Correction, RoPE-Swin Backbone, and Quantile-based Label Denoising Strategy for Robust Outdoor Scene Understanding
Institute of Intelligent Systems（智能系统研究所）；College of Artificial Intelligence, National Yang Ming Chiao Tung University（人工智能学院，阳明交通大学）；Institute of Data Science, National Cheng Kung University（数据科学研究所，成功大学）
面向GOOSE户外九类2D语义分割挑战，提出融合RoPE-Swin、色偏校正与高误差像素分位数去噪的框架，在官方测试集取得0.848 mIoU。
2025-05-11 cs.CV
Uncertainty Estimation in Instance Segmentation with Star-convex Shapes
本文针对星凸形状实例分割中的空间不确定性估计问题，提出结合空间确定性与分数确定性分数的径向聚类方法，并验证其与 Deep Ensemble 技术结合可提升校准效果和模型可靠性。
2023-09-19 cs.CV
Star-convex Polyhedra for 3D Object Detection and Segmentation in Microscopy
Institute of Bioengineering, École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院生物工程研究所）；Max Planck Institute of Molecular Cell Biology and Genetics (MPI-CBG)（马克斯·普朗克分子细胞生物学与遗传学研究所）；Center for Systems Biology Dresden (CSBD)（德累斯顿系统生物学中心）；Institut de Génomique Fonctionnelle de Lyon (IGFL), École Normale Supérieure de Lyon（里昂高等师范学院里昂功能基因组学研究所）；Centre National de la Recherche Scientifique (CNRS)（法国国家科学研究中心）
在体积（3D）荧光显微镜数据集中准确检测和分割细胞核是许多生物医学研究项目中的重要步骤。尽管存在许多用于这些任务的自动化方法，但它们通常难以获得具有低信噪比和/或细胞核密集堆积的图像。最近显示，对于2D显微图像，可以通过训练神经网络来直接预测细胞核的合适形状表示（星凸多边形）来缓解这些问题。在本文中，我们采用这种方法，并扩展到3D体积使用星凸多面体来表示细胞核和类似的形状。为此，我们克服了以下挑战：1）找到可以忠实描述细胞核形状的参数有效的星凸多面体表示，2）适应荧光显微镜数据集中常见的各向异性体素大小，以及3）有效地计算星凸多面体对之间的交叉点（非最大抑制所需）。虽然我们的方法是相当普遍的，因为星凸多面体包括常见的形状，如边界框和球体作为特殊情况，我们的重点是准确的检测和分割的细胞核。最后，我们在两个具有挑战性的数据集上证明，与经典和基于深度学习的方法相比，我们的方法（StarDist-3D）可以获得更好的结果。
2020-06-15 cs.CV
Convex Histogram-Based Joint Image Segmentation with Regularized Optimal Transport Cost
Université de Bordeaux（波尔多大学）；Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们研究了一个多功能的凸框架多图像分割，依靠正则化的最佳质量传输理论。在这种设置中，几个运输成本函数被认为是和用于匹配的统计分布的功能。在实践中，从分割的图像区域估计全局多维直方图，并将其与先验给定的固定直方图或在非监督情况下直接推断的参考模型进行比较。不同的凸问题研究有效地解决使用原始-对偶算法。所提出的方法是通用的，使多阶段分割以及多个图像的共同分割。
2016-10-05 cs.CV math.OC
Co-Sparse Textural Similarity for Image Segmentation
Technische Universität München（慕尼黑工业大学）
我们提出了一种基于纹理和颜色信息的自然图像分割算法，该算法利用了凸多标签优化框架内的图像分割的共稀疏分析模型。作为该方法的一个关键组成部分，我们引入了一种新的纹理相似性度量，它建立在图像补丁的共同稀疏表示。我们提出了一种贝叶斯方法来合并纹理相似性与颜色和位置的信息。结合最近开发的凸多标签优化方法，这导致一个有效的算法，监督和无监督分割，这是很容易并行化的图形硬件。该方法在无监督分割中提供了有竞争力的结果，并在格拉茨基准上优于最先进的交互式分割方法。
2013-12-17 cs.CV
3D RoI-aware U-Net for Accurate and Efficient Colorectal Tumor Segmentation
Shanghai Jiao Tong University（上海交通大学）；Imsight Medical Technology Co. Ltd.（深圳医诺智能科技有限公司）；The Chinese University of Hong Kong（香港中文大学）；Sun Yat-sen University Cancer Center（中山大学肿瘤防治中心）
从3D磁共振（MR）图像中分割结直肠癌区域是放射治疗的关键过程，其通常需要以劳动力、时间和可再现性为代价来精确描绘肿瘤边界。虽然基于深度学习的方法在3D图像分割任务中提供了良好的基线，但小的适用补丁大小限制了有效的感受野并降低了分割性能。此外，来自大的全体积3D图像的感兴趣区域（ROI）定位用作在速度、目标完整性、减少误报方面带来多个益处的在先操作。与基于滑动窗口或非联合定位分割的模型不同，我们提出了一种新的多任务框架，称为3D RoI感知U-网（3D RU-网），用于RoI定位和区域内分割，其中两个任务共享一个骨干编码器网络。通过编码器的区域建议，我们从编码器中裁剪多级ROI区域内特征，以形成一个GPU内存高效的解码器，用于细节保留分割，从而扩大适用的体积大小和有效的感受野。为了有效地训练模型，我们设计了一个Dice制定的损失函数的全球到本地的多任务学习过程。基于效率的提高，我们继续使用具有不同感受野的集成模型，以实现更高的性能，并花费少量额外的计算开销。在64个癌症病例上进行了广泛的实验，并进行了四重交叉验证，结果显示在准确性和效率方面优于传统框架。总之，所提出的方法具有巨大的潜力，扩展到其他3D对象分割任务的医学图像，由于其固有的普遍性。所提出的方法的代码是公开的。
2019-02-15 cs.CV
DooDLeNet: Double DeepLab Enhanced Feature Fusion for Thermal-color Semantic Segmentation
AnotherBrain（AnotherBrain公司）
在本文中，我们提出了一种新的方法之间的RGB和长波红外热图像的语义分割的驾驶感知任务的特征融合。我们提出了DooDLeNet，这是一个双DeepLab架构，具有用于热和颜色模态的专用编码器-解码器以及用于最终分割的共享解码器。我们结合两种策略的特征融合：置信度加权和相关加权。我们报告了MF数据集上最先进的平均IoU结果。
2022-04-21 cs.CV cs.LG eess.IV
Evaluating the Impact of Point Cloud Colorization on Semantic Segmentation Accuracy
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；CSIRO Mineral Resources（联邦科学与工业研究组织矿产资源部）
针对点云语义分割中RGB颜色误差影响未被量化的问题，提出统计方法评估两类颜色不准确对基于图像的点云分割的影响，发现其均会显著降低精度，为后续算法设计提供参考。
2024-10-09 cs.AI cs.CV cs.LG
Guided interactive image segmentation using machine learning and color based data set clustering
Leipzig University（莱比锡大学）；IfADo - Leibniz Research Centre for Working Environment and Human Factors（莱布尼茨工作环境与人因研究中心）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）；Sorbonne Université（索邦大学）
我们提出了一种新的方法，结合了基于机器学习的交互式图像分割，使用超体素与聚类方法的自动识别类似的彩色图像在大数据集，使指导重用的分类器。我们的方法解决了在生物和医学图像中普遍存在且通常不可避免的显著颜色变化的问题，这通常会导致分割和量化精度恶化，从而大大减少了必要的训练工作。这种效率的提高促进了大量图像的量化，从而使得能够针对高通量成像中的最新技术进步进行交互式图像分析。所提出的方法是适用于几乎任何类型的图像，并代表了一个有用的工具，图像分析任务一般。
2022-06-21 cs.CV eess.IV
Globally Optimal Joint Image Segmentation and Shape Matching Based on Wasserstein Modes
提出了一种变分目标分割和形状匹配的联合泛函。该配方是基于最佳运输w.r.t.几何距离和局部特征相似度。通过引入描述形状模板的变换和变形的自由度来实现对象典型统计变化的几何不变性和建模。形状模型在数学上等同于基于轮廓的方法，但是可以在轮廓和区域表示之间没有转换的情况下执行推断，从而允许与其他凸分割方法组合并简化优化。虽然整体功能是非凸的，非凸性仅限于一个低维变量。我们提出了一个局部最优的交替优化计划和一个全局最优的分支定界计划，基于自适应凸松弛。结合这两种方法，可以消除微妙的初始化问题固有的许多轮廓为基础的方法，同时保持计算实用。通过数值实验，说明和比较了该泛函的性质，它适应各种输入数据结构的能力和不同的优化方案。
2014-12-29 cs.CV
SegGPT: Segmenting Everything In Context
Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Zhejiang University（浙江大学）；Peking University（北京大学）
提出 SegGPT 通用模型，将各类分割任务统一为上下文着色问题进行训练，通过上下文推理实现图像和视频中任意目标的分割，在多项任务中展现出强大的领域内外分割能力。
2023-04-06 cs.CV
Color-Quality Invariance for Robust Medical Image Segmentation
Aillis, Inc.（Aillis公司）
针对医学图像分割单源域泛化中颜色和质量偏移导致的泛化问题，提出动态颜色图像归一化（DCIN）模块和颜色-质量泛化（CQG）损失，显著提升分割性能，Dice得分最高提高32.3点，增强模型跨域鲁棒性。
2025-02-11 cs.CV eess.IV
Pixel-level Semantics Guided Image Colorization
University of Amsterdam（阿姆斯特丹大学）；Lancaster University（兰卡斯特大学）
虽然许多图像彩色化算法最近已经显示出从灰度照片产生合理的颜色版本的能力，但它们仍然遭受上下文混淆和边缘渗色的问题。为了解决上下文混淆，我们建议将像素级的对象语义来指导图像着色。其基本原理是，人类感知和区分颜色的基础上的对象的语义类别。我们提出了一个具有两个分支的分层神经网络。一个分支学习对象是什么，而另一个分支学习对象的颜色。该网络联合优化语义分割损失和着色损失。为了攻击边缘渗色，我们在推理时采用联合双边上采样层来生成具有尖锐边缘的更连续的彩色图。我们的网络是在PASCAL VOC 2012和COCO-stuff上训练的，带有语义分割标签，与最先进的彩色化相比，它产生了更真实、更精细的结果。
2018-08-05 cs.CV
Color Image Segmentation Using Multi-Objective Swarm Optimizer and Multi-level Histogram Thresholding
Isfahan University of Technology（伊斯法罕理工大学）
群体智能优化器和计算机处理能力的快速发展为设计更准确、稳定和全面的彩色图像分割方法提供了机会。本文提出了一种新的无监督图像分割方法，结合直方图阈值化方法（Kapur熵和Otsu方法）和不同的多目标群体智能算法（MOPSO，MOGWO，MSSA和MOALO）阈值化彩色图像的三维直方图。该方法首先结合传统阈值化算法的目标函数设计综合目标函数，然后在对设计的目标函数进行优化的过程中，利用多目标优化器寻找最佳阈值。此外，我们的方法在3D空间中使用矢量目标函数，可以同时处理具有相同阈值的整个图像颜色通道的分割。为了优化这个向量目标函数，我们采用多目标群优化器，可以同时优化多个目标函数。因此，我们的方法考虑通道之间的依赖性，以找到同时满足颜色通道的目标函数（我们称之为矢量目标函数）的阈值。使用相同的阈值分割整个颜色通道也受益于这样一个事实，即我们提出的方法需要比其他阈值算法更少的阈值来分割图像;因此，它需要更少的内存空间来保存阈值。当我们想要将许多图像分割成许多区域时，它有很大的帮助。主观和客观的实验结果表明，该方法优于传统的阈值分割方法，单独阈值的彩色图像的直方图。
2021-10-18 cs.CV cs.NE
Color Image Segmentation Metrics
自动图像分割过程是许多图像分析和计算机视觉的一个不可避免的部分，它深深地影响着系统的其余部分，因此，一套交互式分割评估方法可以大大简化系统的开发过程。本条目介绍了彩色图像分割方法的定量评价指标的最新技术水平，通过对措施进行分析和比较审查。选择合适的评估指标的决策过程仍然非常严肃，因为每个指标倾向于为每个基准数据集选择不同的分割方法。此外，这些指标的概念比较提供了一个高层次的抽象和讨论理解不同的图像分割结果的定量变化。
2020-10-19 cs.CV cs.LG cs.MM
Color Image Segmentation using Adaptive Particle Swarm Optimization and Fuzzy C-means
National Institute of Technology, Mizoram（米佐拉姆国家理工学院）
分割将图像划分为包含具有相似属性的像素的不同区域。模糊C均值聚类算法（FCM）的标准非上下文变体，考虑到其简单性，通常用于图像分割。使用FCM有其缺点，如它依赖于初始猜测的聚类数和高度敏感的噪声。使用FCM不能获得令人满意的视觉分割。粒子群优化算法（PSO）属于进化算法，与遗传算法（GA）相比，具有收敛速度快、参数少等优点。一个优化版本的粒子群算法可以与FCM相结合，作为一个适当的初始化，从而降低其对初始猜测的敏感性。可以使用名为自适应粒子群优化（APSO）的混合PSO算法，其改进了各种超参数（如惯性权重）的计算，学习因子超过标准PSO，使用来自群体行为的见解，从而提高聚类质量。提出了一种基于自适应粒子群优化（APSO）和模糊C均值聚类的图像分割算法--自适应粒子群优化模糊C均值聚类算法（APSOF）。实验结果表明，APSOF算法在正确识别最优聚类中心方面优于FCM算法，从而对图像像素点进行准确分类。因此，APSOF算法具有优越的性能相比，经典的粒子群优化算法（PSO）和模糊C均值聚类算法（FCM）的图像分割。
2020-04-18 cs.CV
Superpixels Based Segmentation and SVM Based Classification Method to Distinguish Five Diseases from Normal Regions in Wireless Capsule Endoscopy
Temple University（天普大学）
无线胶囊式内窥镜（WCE）是一种相对较新的技术，可以检查整个GI轨迹。在一次检查中，它捕获了超过55，000帧。查看所有这些图像非常耗时，而且容易出现人为错误。它一直是一个挑战，开发智能方法，帮助医生审查的框架。WCE帧以8位颜色深度捕获，这提供了足够的颜色范围来检测异常。在这里，提出了基于超像素的方法来分割五种疾病，包括：出血、克罗恩病、淋巴管扩张、黄瘤和类风湿性增生。两个超像素方法进行比较，以提供这些多产疾病的语义分割：简单线性迭代聚类（SLIC）和快速移位（QS）。利用纹理和颜色特征，利用支持向量机将分割后的超像素分为正常和异常两类。对于两种超像素方法，准确性、特异性、灵敏度和精确度（SLIC，QS）分别约为92%、93%、93%和88%。然而，SLIC比QS快得多。
2017-11-17 cs.CV
On the Influence of Shape, Texture and Color for Learning Semantic Segmentation
Department of Mathematics/Computer Science/Physics（数学/计算机科学/物理系）；Institute of Mathematics（数学研究所）
本研究分析语义分割训练中形状、纹理和颜色线索的独立及组合影响，通过分解数据集和专家融合实验发现无单一线索主导，但形状+颜色组合主要改善小物体和边界像素预测，且线索性能顺序在卷积和Transformer架构中一致。
2025-10-24 cs.CV
Pixelated Semantic Colorization
Universiteit van Amsterdam（阿姆斯特丹大学）；Lancaster University（兰卡斯特大学）；Inception Institute of Artificial Intelligence（人工智能 inception 研究所）
虽然许多图像彩色化算法最近已经显示出从灰度照片产生合理的颜色版本的能力，他们仍然受到有限的语义理解。为了解决这个缺点，我们建议利用像素化的对象语义来指导图像着色。其基本原理是，人类感知和区分颜色的基础上的语义类别的对象。从自回归模型开始，我们生成图像的颜色分布，从不同的彩色结果进行采样。我们提出了两种方法，将对象语义的着色模型：通过像素化的语义嵌入和像素化的语义生成器。具体地，所提出的卷积神经网络包括两个分支。一个分支学习对象是什么，而另一个分支学习对象的颜色。该网络以端到端的方式联合优化颜色嵌入损失、语义分割损失和颜色生成损失。在PASCAL VOC 2012和COCO-stuff上的实验表明，与最先进的彩色化相比，我们的网络在使用语义分割标签进行训练时，会产生更逼真和更精细的结果。
2019-02-07 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova（帕多瓦大学）
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景，然而最近的进展表明，使用深度数据允许进一步提高性能。在这项工作中，我们专注于基于transformer的深度学习架构，这些架构在分割任务上实现了最先进的性能，我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地，我们将网络扩展到多模态数据，而不添加任何参数，并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法，在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
Illumination-based Transformations Improve Skin Lesion Segmentation in Dermoscopic Images
Simon Fraser University（西蒙弗雷泽大学）
皮肤病变的语义分割是皮肤镜图像计算机辅助诊断中一项重要而常见的初始任务。尽管基于深度学习的方法已经大大提高了分割准确性，但通过解决主要挑战（例如病变形状、大小、颜色和对比度水平的变化），仍有改进的空间。在这项工作中，我们提出了第一个深度语义分割框架皮肤镜图像，它结合了，随着原始RGB图像，信息提取使用的物理皮肤照明和成像。特别是，我们将信息从特定的色带，照明不变的灰度图像，和阴影衰减的图像。我们在三个数据集上评估了我们的方法：ISBI ISIC 2017皮肤病变分割挑战数据集，DermoFit图像库和PH2数据集，并观察到平均Jaccard指数分别比仅用RGB图像训练的基线模型提高了12.02%，4.30%和8.86%。
2020-03-23 cs.CV
MultiStar: Instance Segmentation of Overlapping Objects with Star-Convex Polygons
University of Heidelberg（海德堡大学）
生物医学图像中重叠对象的实例分割仍然是一个很大程度上未解决的问题。我们接受这一挑战，并提出MultiStar，流行的实例分割方法StarDist的扩展。我们的方法的关键新颖之处在于，我们确定对象重叠的像素，并使用此信息来提高提案采样，并避免抑制真正重叠对象的提案。这使我们能够将StarDist的思想应用于具有重叠对象的图像，同时与已建立的方法相比只产生很小的开销。MultiStar在两个数据集上显示出很好的结果，并且具有使用简单且易于训练的网络架构的优势。
2021-01-14 cs.CV eess.IV
Prototype Learning for Out-of-Distribution Polyp Segmentation
Northwestern University（西北大学）
本文提出PrototypeLab模型，通过融合多种光照模式并学习对象原型，在分布外息肉分割中实现Dice≥90%、mIoU≥85%的接近实时性能，优于16种先进分割架构。
2023-08-07 cs.CV
A Bag of Words Approach for Semantic Segmentation of Monitored Scenes
iWatchLife Inc.（iWatchLife公司）
提出了一种针对监控摄像机拍摄的室外场景的语义分割方法。我们的算法将每个感知同质区域分类为从手动标记的图像集合中学习的预定义类之一。所提出的方法结合了两种不同类型的信息。首先，执行颜色分割以将场景划分为感知上相似的区域。然后，第二步是基于SIFT关键点，并使用词袋表示的区域进行分类。使用朴素贝叶斯网络作为生成分类器进行预测。与现有技术相比，我们的方法提供了更紧凑的场景内容的表示和分割结果是更符合人类的感知，由于结合的颜色信息与图像的关键点。在公开数据集上进行的实验证明了该方法的有效性。
2013-05-14 cs.CV
Reinforced Coloring for End-to-End Instance Segmentation
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）；Korea University（高丽大学）
实例分割是计算机视觉中的一个研究热点，它需要对多个感兴趣的对象进行分割。虽然许多前馈网络在不同类型的图像上产生高质量的分割，但它们的结果往往会因许多对象的分割而出现拓扑错误（合并或分裂），需要进行后处理。另一方面，现有的迭代法使用基于知识的属性（形状、边界等）一次提取单个对象。而不依赖于后处理，但它们的扩展性不好。为了在不影响可扩展性的情况下利用传统的每步单个对象分割方法的优势，我们提出了一种新的迭代深度强化学习代理，它学习如何并行区分多个对象。我们的可训练代理的奖励函数的设计有利于分组像素属于同一个对象使用图着色算法。我们证明，该方法可以有效地执行实例分割的许多对象，而无需繁重的后处理。
2020-05-19 cs.CV cs.LG eess.IV
Uncertainty and Interpretability in Convolutional Neural Networks for Semantic Segmentation of Colorectal Polyps
UiT The Arctic University of Norway（挪威UiT北极大学）
卷积神经网络（CNN）正在推动一系列不同计算机视觉任务的进步，例如目标检测和对象分割。他们的成功激发了对这些模型在医学图像分析中的应用的研究。如果基于CNN的模型要在医学领域有所帮助，它们需要精确、可解释，并且必须很好地理解预测中的不确定性。在本文中，我们开发和评估的不确定性估计和模型的可解释性的背景下，从结肠镜检查图像的息肉的语义分割的最新进展。我们评估并增强了几种用于结直肠息肉语义分割的全卷积网络（FCN）架构，并对这些模型进行了比较。我们的最高性能模型在EndoScene数据集上实现了76.06\%的平均IOU准确度，比以前的最先进技术有了相当大的改进。
2018-07-16 cs.CV cs.LG stat.ML
Improving Dermoscopic Image Segmentation with Enhanced Convolutional-Deconvolutional Networks
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
皮肤镜图像上的皮肤病灶自动分割是黑色素瘤计算机辅助诊断的重要步骤。然而，由于不同患者的病变外观存在显著差异，因此这项任务具有挑战性。当处理大量图像数据时，这一挑战会进一步加剧。在本文中，我们扩展了我们以前的工作，开发了一个更深的网络架构，具有更小的内核，以提高其判别能力。此外，我们显式地包含来自多个颜色空间的颜色信息，以便于网络训练，从而进一步提高分割性能。我们在ISBI 2017皮肤病变分割挑战中广泛评估了我们的方法。通过对2000幅挑战训练图像的训练，我们的方法在600幅挑战测试图像上获得了0.765的平均Jaccard指数（JA），在挑战中排名第一
2017-09-28 cs.CV
SegCodeNet: Color-Coded Segmentation Masks for Activity Detection from Wearable Cameras
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
使用可穿戴摄像头捕获的第一人称视频（FPV）的活动检测是一个活跃的研究领域，在许多领域都有潜在的应用，包括医疗保健、执法和康复。现有技术的方法使用基于光流的混合技术，其依赖于从来自连续帧的对象的运动导出的特征。在这项工作中，我们开发了一个双流网络，\emph{SegCodeNet}，它使用一个网络分支包含视频流与颜色编码的语义分割掩码的相关对象，除了原来的RGB视频流。我们还包括一个流明智的注意力门控，优先级之间的两个流和一个帧明智的注意力模块，优先级的视频帧包含相关功能。实验进行FPV数据集包含$18$活动类在办公环境中。与单流网络相比，当针对三种不同帧大小$224\times224$、$112\times112$和$64\times64$比较平均结果时，所提出的双流方法分别实现了$14.366\%$和$10.324\%$对于平均F1分数和准确度的绝对改进。所提出的方法提供了显着的性能增益较低分辨率的图像与绝对改善$17\%$和$26\%$的F1得分为输入尺寸的$112\times112$和$64\times64$，分别。对于$224\times224$的帧大小实现了最佳性能，产生$90.176\%$和$90.799\%$的F1分数和准确度，其分别以$4.529\%$和$2.419\%$的绝对裕度优于最先进的膨胀3D ConvNet（I3D）\cite{carreira2017q…
2020-08-19 cs.CV
Deep Learning-Based Automated Image Segmentation for Concrete Petrographic Analysis
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）
用于测量混凝土中空隙率的标准岩相学测试方法（ASTM C457）需要在体视显微镜下对样品相组成进行细致和长期的检查。高级专业知识和专业设备阻碍了常规混凝土质量控制的这种测试。虽然这项任务可以减轻与基于颜色的图像分割的帮助下，需要额外的表面颜色处理。最近，使用卷积神经网络（CNN）的深度学习算法在图像测试基准上取得了前所未有的分割性能。在这项研究中，我们研究了使用CNN进行混凝土分割，而不使用颜色处理的可行性。CNN展示了处理各种混凝土的强大潜力，包括那些不参与模型训练的混凝土。实验结果表明，CNN优于基于颜色的分割相当大的利润，并具有人类专家相当的准确性。此外，分割时间减少到仅仅几秒钟。
2020-05-28 cs.CV cs.CY cs.LG
Convex Shape Representation with Binary Labels for Image Segmentation: Models and Fast Algorithms
Henan University（河南大学）；Hong Kong Baptist University（香港浸会大学）；Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的和有效的二进制表示凸形状。我们证明了形状凸性与相关指示函数的某些性质之间的等价性。所提出的方法有两个优点。首先，该表示是基于一个简单的不等式约束的二元函数，而不是凸形状的定义，这使我们能够获得有效的算法，为各种应用的凸性先验。其次，该方法不依赖于所关注形状的尺寸。为了表明所提出的表示方法的有效性，我们将其与基于概率的模型与凸性先验对象分割。利用拉格朗日乘子法和线性逼近，给出了求解该模型的有效算法。各种实验表明，所提出的方法的优越性。
2020-02-22 cs.CV cs.NA eess.IV
Multi-scale and Multi-path Cascaded Convolutional Network for Semantic Segmentation of Colorectal Polyps
Beijing University of Technology（北京工业大学）；Superior University（苏必利尔大学）；COMSATS University Islamabad（伊斯兰堡COMSATS大学）
针对结直肠息肉分割中空间依赖建模不足和解码端多层特征融合缺失的问题，提出MMCC-Net，通过多尺度多路径级联卷积、双重注意力与特征增强提升像素级分割性能。
2024-12-03 cs.CV eess.IV
Color Space-based HoVer-Net for Nuclei Instance Segmentation and Classification
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
细胞核分割和分类是许多不同显微镜医学分析应用中使用的第一步也是最关键的一步。然而，它遭受许多问题，如小对象的分割，不平衡，以及细胞核类型之间的细粒度差异。在本文中，多个不同的贡献做了解决这些问题。首先，最近发布的“ConvNeXt”被用作HoVer-Net模型的编码器，因为它利用了Transformers的关键组件，使它们表现良好。其次，为了增强细胞核之间的视觉差异，使用基于多通道颜色空间的方法来帮助模型提取区分特征。第三，使用统一焦点损失（UFL）来解决背景-前景不平衡。最后，尖锐度感知最小化（SAM），以确保模型的泛化能力。总体而言，我们能够在CoNiC Challenge 2022的初步测试集上以12.489%mPQ+的成绩超过当前最先进的（SOTA）HoVer-Net。
2022-03-03 cs.AI cs.CV eess.IV
