SelfReg-UNet: Self-Regularized UNet for Medical Image Segmentation
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）；McKeley School of Engineering, Washington University in St. Louis（圣路易斯华盛顿大学麦凯莱工程学院）；School of Computing, Clemson University（克莱姆森大学计算学院）
针对UNet因非对称监督产生无关特征、特征图存在冗余的问题，提出SelfReg-UNet，通过解码器末层额外监督与特征蒸馏优化，可即插即用提升UNet在医学图像分割任务上的性能。
2024-06-21 cs.CV eess.IV
Regularized Densely-connected Pyramid Network for Salient Instance Segmentation
College of Computer Science, Nankai University（南开大学计算机学院）；ETH Zurich（苏黎世联邦理工学院）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
最近的显着目标检测（SOD）的努力已经致力于产生准确的显着性图，而不知道他们的实例标签。为此，我们提出了一个新的管道端到端的显着实例分割（SIS），预测每个检测到的显着实例的类不可知的掩码。为了更好地利用深度网络中丰富的特征层次结构并增强侧预测，我们提出了正则化的密集连接，它专注于促进所有特征金字塔中的信息特征并抑制非信息特征。一种新的多级RoIAlign的解码器引入自适应聚合多级功能更好的掩模预测。这些策略可以很好地封装到Mask R-CNN管道中。在流行的基准测试上进行的大量实验表明，我们的设计在AP度量方面显著优于现有的\sArt竞争对手6.3%（58.6%对52.3%）。代码可在https://github.com/yuhuan-wu/RDPNet上获得。
2021-03-12 cs.CV cs.LG eess.IV
A Distance Map Regularized CNN for Cardiac Cine MR Image Segmentation
Rochester Institute of Technology（罗切斯特理工学院）；National Institute of Allergy and Infectious Diseases（国家过敏和传染病研究所）；MSC LLC.（MSC有限责任公司）
心脏图像分割是生成个性化心脏模型和量化心脏性能参数的关键过程。已经提出了几种卷积神经网络（CNN）架构来从心脏电影MR图像中分割心脏腔室。在这里，我们提出了一个多任务学习（MTL）为基础的正则化框架的心脏MR图像分割。该网络被训练来执行语义分割的主要任务，以及像素距离图回归的同步辅助任务。提出的距离图正则化器是添加到现有CNN架构瓶颈层的解码器网络，有助于网络学习鲁棒的全局特征。在训练后移除正则化块，使得网络参数的原始数量不改变。我们表明，所提出的正则化方法提高了相应的国家的最先进的CNN架构上的两个公开的心脏电影MRI数据集的二进制和多类分割性能，获得平均骰子系数为0.84 $\pm$ 0.03和0.91 $\pm$ 0.04，分别。此外，我们还证明了距离图正则化网络在交叉数据集分割上的泛化性能得到了改善，心肌Dice系数从0.56 $\pm$ 0.28提高到0.80 $\pm$ 0.14，提高了42%。
2019-04-18 cs.CV
Volume Preserving Image Segmentation with Entropic Regularization Optimal Transport and Its Applications in Deep Learning
Beijing Normal University（北京师范大学）；Hong Kong Baptist University（香港浸会大学）
基于体积约束的图像分割是许多实际应用中的重要先验。在这项工作中，我们提出了一种新的体积保持图像分割算法，这是基于熵正则化的最优传输理论的框架。将经典的全变分正则化和体积保持结合到一个正则化的最优运输模型中，将体积约束和分类约束看作最优运输问题中的两个测度保持约束.通过对对偶问题的研究，我们提出了一个简单有效的对偶算法。此外，与许多基于变分的图像分割算法不同，所提出的算法可以直接展开到流行的深度卷积神经网络（DCNN）中的新的体积保持和TV正则化softmax（VPTV-softmax）层用于语义分割。实验结果表明，我们提出的模型是非常有竞争力的，可以提高许多语义分割网络，如流行的U-网的性能。
2020-01-22 cs.CV
Microscopy Image Segmentation via Point and Shape Regularized Data Synthesis
New York University（纽约大学）；University Hospital Bonn（波恩大学医院）
针对显微图像分割缺乏密集标注的问题，提出仅用点标注、结合形状先验与对象级一致性生成配对训练数据的三阶段合成框架，并在 MoNuSeg 上达到接近真实密集标注训练的性能。
2023-12-08 cs.CV cs.LG
Robust Prototypical Few-Shot Organ Segmentation with Regularized Neural-ODEs
Indian Institute of Technology Delhi（印度理工学院德里分校）；Chennai Mathematical Institute（金奈数学研究所）
尽管深度学习模型在图像语义分割方面取得了巨大的进步，但它们通常需要大量带注释的示例，并且越来越多的注意力被转移到像少样本学习（FSL）这样的问题设置上，其中只需要少量注释即可概括为新类。这在医学领域中尤其明显，其中获得密集像素级注释是昂贵的。在本文中，我们提出了正则化的原型神经常微分方程（R-PNODE），一种利用神经常微分方程的内在属性，辅助和增强额外的集群和一致性损失执行器官的Few-Shot分割（FSS）的方法。R-PNODE约束来自相同类的支持和查询特征，使其在表示空间中更接近，从而提高了基于现有卷积神经网络（CNN）的FSS方法的性能。我们进一步证明，虽然许多现有的基于深度CNN的方法往往极易受到对抗攻击的攻击，但R-PNODE对各种各样的攻击表现出更强的对抗鲁棒性。我们在域内和跨域FSS设置中使用三个公开的多器官分割数据集进行实验，以证明我们的方法的有效性。此外，我们在各种设置中使用七种常用的对抗攻击进行实验，以证明R-PNODE的鲁棒性。R-PNODE的性能明显优于FSS的基线，并且对于各种强度和设计的攻击也表现出卓越的性能。
2023-03-01 cs.AI cs.CV
Consistency-Regularized Region-Growing Network for Semantic Segmentation of Urban Scenes with Point-Level Annotations
Institute of Advanced Research in Artificial Intelligence（高级人工智能研究所）；Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；Helmholtz Institute Freiberg for Resource Technology（亥姆霍兹弗赖贝格资源技术研究所）
深度学习算法在极高分辨率（VHR）图像的语义分割方面取得了巨大成功。然而，训练这些模型通常需要大量精确的像素级标注，这是非常费力和耗时的。为了减少标注负担，本文提出了一种一致性正则化区域生长网络（CRGNet）来实现具有点级标注的VHR图像的语义分割。CRGNet的核心思想是迭代选择具有高置信度的未标记像素，以扩展原始稀疏点的注释区域。然而，由于扩展标注中可能存在一些错误和噪声，直接从它们中学习可能会误导网络的训练。为此，我们进一步提出了一致性正则化策略，其中一个基本分类器和一个扩展分类器。具体来说，基础分类器由原始稀疏注释监督，而扩展分类器旨在从基础分类器使用区域增长机制生成的扩展注释中学习。因此，通过最小化基础分类器和扩展分类器的预测之间的差异来实现一致性正则化。我们发现这种简单的正则化策略对于控制区域增长机制的质量非常有用。在两个基准数据集上的大量实验表明，所提出的CRGNet显著优于现有的最先进的方法。代码和预训练模型可在线获取（https：//github.com/YonghaoXu/CRGNet）。
2022-06-18 cs.CV
Deep multi-task learning for a geographically-regularized semantic segmentation of aerial images
Swiss Data Science Center, ETH Zurich（苏黎世联邦理工学院瑞士数据科学中心）；Wageningen University and Research（瓦赫宁根大学及研究中心）
当在分米空间分辨率范围内接近架空图像的语义分割时，成功的策略通常将学习语义类的视觉外观的强大方法（例如卷积神经网络）与空间正则化策略（例如图形模型，如条件随机场）相结合。在本文中，我们提出了一种方法来学习证据的形式，语义类的可能性，语义边界跨类和浅到深的视觉特征，每一个由多任务卷积神经网络架构建模。我们将这种自下而上的信息与自上而下的空间正则化相结合，该空间正则化由条件随机场模型编码，该模型优化了具有与区域之间的结构、空间和数据依赖成对关系相关的约束的分段层次结构中的标签空间。我们的研究结果表明，这种策略比一系列反映最先进技术的强基线提供了更好的正则化。所提出的策略提供了一个灵活和原则性的框架，包括视觉和结构信息的几个来源，同时允许不同程度的空间正则化占先验的预期输出结构。
2018-08-23 cs.CV
A Total Variation Regularized Framework for Epilepsy-Related MRI Image Segmentation
Department of Computer Engineering, Modeling, Electronics and Systems (DIMES), University of Calabria, Rende 87036, Italy（计算机工程、建模、电子与系统系（DIMES），卡拉布里亚大学，Rende 87036，意大利）
针对FCD病灶MRI分割难的问题，提出结合Dice损失与各向异性TV正则化的Transformer框架，在85例数据集上Dice提升11.9%，假阳性簇减少61.6%。
2025-10-06 cs.AI cs.CV eess.IV
Distribution Regularized Self-Supervised Learning for Domain Adaptation of Semantic Segmentation
Information Technology University（信息技术大学）；Facebook（脸书）
提出了一种新的像素级分布正则化方案（DRSL），用于语义分割的自监督领域自适应。在典型的设置中，分类丢失迫使语义分割模型重新学习捕获类间变化的表示，以便确定决策（类）边界。由于域移位，该决策边界在目标域中未对齐，导致噪声伪标签不利地影响自监督领域自适应。为了克服这一限制，在捕获类间变化的同时，我们通过类感知的多模态分布学习（MMDL）捕获像素级的类内变化。因此，捕获类内变化所需的信息被明确地从类间区分所需的信息中分离出来。因此，捕获的特征信息量更大，从而产生具有低噪声的伪标签。这种解纠缠使我们能够在判别空间和多模态分布空间中进行单独的对齐，前者使用基于交叉熵的自学习。之后，我们提出了一种新的随机模式对齐方法，通过显式地减少映射到相同模式的目标和源像素之间的距离。在伪标签上计算并从多模态建模头反向传播的距离度量学习损失充当与分割头共享的基础网络上的正则化器。从综合实验到真实领域自适应设置的结果，即，GTA-V/SYNTHIA到Cityscapes，表明DRSL优于许多现有方法（SYNTHIA到Cityscapes的mIoU的最小裕度为2.3%和2.5%）。
2022-06-20 cs.CV
Piecewise Flat Embedding for Image Segmentation
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
本文提出了一种新的多维非线性嵌入--分段平坦嵌入（PFE）--用于图像分割。基于稀疏信号恢复理论，不同通道的分段平坦嵌入试图恢复具有稀疏区域边界和稀疏聚类值散射的分段恒定图像表示。所得到的分段平坦嵌入表现出有趣的特性，如抑制缓慢变化的信号，并提供了一个图像表示具有较高的区域可识别性，这是理想的图像分割或高层次的语义分析任务。我们制定我们的嵌入作为一个变种的拉普拉斯特征映射嵌入$L_{1,p} (0<p\leq1)$正则化项，以促进稀疏的解决方案。首先，我们设计了一个基于Bregman迭代的两阶段数值算法来计算$L_{1,1}$ -正则化分段平坦嵌入。我们进一步推广该算法通过迭代重加权来解决一般的$L_{1,p}$ -正则化问题。为了证明其有效性，我们将PFE集成到两个现有的图像分割框架中，基于聚类的分割和基于轮廓检测的分层分割。四个主要的基准数据集，BSDS 500，MSRC，斯坦福背景数据集，PASCAL上下文的实验表明，分割算法结合我们的嵌入实现显着改善的结果。
2018-05-20 cs.CV eess.IV stat.ML
Semi-supervised Domain Adaptive Medical Image Segmentation through Consistency Regularized Disentangled Contrastive Learning
Stony Brook University（石溪大学）
本文提出一种两阶段半监督域自适应医学图像分割方法，通过域-内容解耦对比学习与像素级一致性约束预训练编码器，再结合少量目标域标签微调，在SSDA和UDA设置下均优于现有最优方法。
2023-07-06 cs.AI cs.CV
Robust Trust Region for Weakly Supervised Segmentation
University of Waterloo（滑铁卢大学）
如果要求标记每个像素，则获取用于标准语义分割的训练数据是昂贵的。然而，当前的方法在弱监督设置中显著恶化，例如，其中一部分像素被标记或者当仅图像级标签可用时。已经证明，正则化损失-最初是为无监督的低级别分割开发的，并在像素标签上表示几何先验-可以大大提高弱监督训练的质量。然而，许多常见的先验需要比梯度下降更强的优化。因此，这种正则化器在深度学习中具有有限的适用性。我们提出了一个新的鲁棒的信赖域方法的正则化损失，提高了国家的最先进的结果。我们的方法可以被看作是一个高阶推广的经典链规则。它允许神经网络优化为相应的正则化器（包括离散正则化器）使用强大的低级求解器。
2021-09-01 cs.CV
Perturbation-Regularized Open-Vocabulary Remote Sensing Segmentation with Unified Multi-Domain Evaluation
Department of Electronic Engineering and Information Science, University of Science and Technology of China（电子工程与信息科学系，中国科学技术大学）；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（人工智能学院，光学与电子学系（iOPEN），西北工业大学）；Institute of Artificial Intelligence (TeleAI), China Telecom, P. R. China（人工智能研究院（TeleAI），中国电信，中华人民共和国）
本文提出OVRSISBenchV2基准和Pi-Seg基线，通过构建大规模数据集和下游任务协议，提升遥感开放词汇分割的现实应用能力。
2026-10-06 cs.CV
CARD: Semantic Segmentation with Efficient Class-Aware Regularized Decoder
Shenzhen Institute for Advanced Study, UESTC（电子科技大学深圳高等研究院）；Tencent AI Lab（腾讯人工智能实验室）；Fujian Normal University（福建师范大学）；University of Technology Sydney（悉尼科技大学）；University of Nottingham Ningbo China（宁波诺丁汉大学）
语义分割最近取得了显着的进步，利用“类级”的上下文信息在学习过程中。然而，这些方法简单地将类级信息连接到像素特征以促进像素表示学习，这不能充分利用类内和类间上下文信息。此外，这些方法基于粗略的掩码预测来学习软类中心，这容易导致错误累积。为了更好地利用类级别的信息，我们提出了一种通用的类感知正则化（CAR）方法来优化特征学习过程中的类内方差和类间距离，其动机是人类可以自己识别对象，无论它与其他对象一起出现。此外，我们设计了一个专用的解码器CAR（CARD），它由一个新的空间令牌混合器和上采样模块，以最大限度地提高其增益为现有的基线，同时在计算成本方面是非常有效的。具体来说，CAR由三个新的损失函数。第一个损失函数鼓励每个类内更紧凑的类表示，第二个直接最大化不同类中心之间的距离，第三个进一步推动类间中心和像素之间的距离。此外，在我们的方法中的类中心是直接从地面真理，而不是从容易出错的粗预测。CAR可以在训练期间直接应用于大多数现有的分割模型，并且可以在没有额外推理开销的情况下大大提高其准确性。在多个基准数据集上进行的大量实验和消融研究表明，所提出的CAR可以将所有基线模型的准确性提高高达2.23% mIOU，具有卓越的泛化能力。CARD在多个基准测试中的表现优于SOTA方法，具有高效的架构。
2023-01-11 cs.CV
Regularized Low-Rank Adaptation for Few-Shot Organ Segmentation
ÉTS Montréal（蒙特利尔工程学院）；Centre de Recherche du Centre Hospitalier de l’Université de Montréal (CRCHUM)（蒙特利尔大学中心医院研究中心）
本文提出一种基于l_1稀疏正则化和近端优化的动态低秩适配方法，用于少样本器官分割，能自动学习任务适配秩，在基础器官和新器官任务上显著优于标准LoRA及其他PEFT方法。
2025-07-21 cs.CV
Flexibly Regularized Mixture Models and Application to Image Segmentation
Albert Einstein College of Medicine（阿尔伯特·爱因斯坦医学院）；École Normale Supérieure, PSL University（巴黎高等师范学院，巴黎文理研究大学）
概率有限混合模型广泛用于无监督聚类。这些模型通常可以通过使其适应数据的拓扑结构来改进。例如，为了类似地对空间上相邻的数据点进行分类，通常对每个数据点属于一个类的后验概率引入拉普拉斯约束。或者，混合概率可以被视为自由参数，同时假设高斯-马尔可夫或更复杂的先验来正则化这些混合概率。然而，这些方法受到先验知识的形状的限制，并且经常导致复杂或难以处理的推理。在这里，我们提出了一个新的参数化的Dirichlet分布灵活地正则化的混合概率过参数化的混合分布。使用期望最大化算法，我们表明，我们的方法允许我们定义任何线性更新规则的混合概率，包括空间平滑正则化作为一种特殊情况。然后，我们表明，这种灵活的设计可以扩展到多个混合模型之间共享类信息。我们将我们的算法应用于人工和自然图像分割任务，我们提供了定量和定性的比较伯克利分割数据集上的高斯和学生-t混合物的性能。我们还演示了如何以概率最优的方式在深度卷积神经网络的各层中传播类信息，这对生物视觉系统中的反馈信号提出了新的解释。我们灵活的方法可以很容易地推广到适应任意数据拓扑的概率混合模型。
2022-02-08 cs.CV cs.LG q-bio.NC
ASIST: Annotation-free synthetic instance segmentation and tracking for microscope video analysis
Vanderbilt University（范德堡大学）；Tufts University（塔夫茨大学）
实例对象分割和跟踪提供跨显微镜视频的对象的全面量化。最近的单阶段基于像素嵌入的深度学习方法已经显示出与“分段然后关联”的两阶段解决方案相比的优越性能。然而，将基于监督像素嵌入的方法应用于显微镜视频的一个主要限制是资源密集型手动标记，其涉及跟踪数百个重叠对象及其跨视频帧的时间关联。受最近基于生成对抗网络（GAN）的无注释图像分割的启发，我们提出了一种新的无注释合成实例分割和跟踪（ASIST）算法，用于分析亚细胞微绒毛的显微镜视频。本文的贡献主要体现在三个方面：（1）提出了一种新的无注释视频分析范式。(2)将基于嵌入的实例分割和跟踪与无注释的合成学习聚合为一个整体框架;（3）据我们所知，这是第一次研究使用基于嵌入的深度学习来研究微绒毛实例分割和跟踪。从实验结果来看，与监督学习相比，所提出的无注释方法取得了更好的性能。
2020-11-02 cs.CV eess.IV
Selective, Regularized, and Calibrated: Harnessing Vision Foundation Models for Cross-Domain Few-Shot Semantic Segmentation
Nanjing University（南京大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出HERA框架，通过选择性、正则化和校准的方法，有效利用视觉基础模型进行跨域少样本语义分割，提升了模型在新领域中的适应能力，并在多个基准上取得了更高的mIoU成绩。
2026-05-19 cs.CV
Center-Extraction-Based Three Dimensional Nuclei Instance Segmentation of Fluorescence Microscopy Images
Purdue University（普渡大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；Indiana University（印第安纳大学）
荧光显微镜是分析组织中三维亚细胞结构的重要工具。组织表征中的重要步骤涉及细胞核分割。在本文中，一个两阶段的方法分割的细胞核使用卷积神经网络（CNN）的描述。特别是，由于手动创建标记的体积用于训练目的是不切实际的，由于3D数据集的大小和复杂性，本文描述了一种基于空间约束的周期一致性对抗网络生成合成显微镜体积的方法。所提出的方法进行了测试，多个真实的显微镜数据集，优于其他常用的分割技术。
2019-09-13 cs.CV eess.IV
Improving the Segmentation of Scanning Probe Microscope Images using Convolutional Neural Networks
Loughborough University（拉夫堡大学）
广泛的技术可以考虑用于纳米结构表面的图像的分割。手动分割这些图像是耗时的，并导致依赖于用户的分割偏差，而目前还没有共识的最佳自动分割方法的特定技术，图像类别和样本。任何图像分割方法都必须最大限度地减少图像中的噪声，以确保可以进行准确和有意义的统计分析。在这里，我们开发的协议，通过从有机溶剂沉积在硅表面上形成的金纳米粒子的2D组件的图像分割。溶剂的蒸发驱动颗粒远离平衡的自组织，产生各种各样的纳米和微米结构的图案。我们表明，使用U-Net卷积神经网络的分割策略优于传统的自动化方法，并且在处理纳米结构系统的图像方面具有特别的潜力。
2020-08-27 cs.CV eess.IV
Automatic semantic segmentation for prediction of tuberculosis using lens-free microscopy images
Universidad Peruana Cayetano Heredia（秘鲁卡耶塔诺·埃雷迪亚大学）；University of Padova（帕多瓦大学）
结核病（TB）是由一种叫做结核分枝杆菌的细菌引起的，是秘鲁和世界上最严重的公共卫生问题之一。该项目的开发旨在通过MODS方法和使用无透镜显微镜来促进和自动化结核病的诊断，因为与透镜显微镜相比，它们更容易校准和更容易使用（由未经培训的人员）。因此，我们在我们收集的数据集中使用U-Net网络来执行TB索的自动分割，以预测结核病。我们的初步结果显示了自动分割结核索的有希望的证据。
2020-07-06 cs.CV eess.IV
Machine Learning Pipeline for Segmentation and Defect Identification from High Resolution Transmission Electron Microscopy Data
University of California Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
在透射电子显微镜领域，数据解释通常落后于采集方法，因为图像处理方法通常必须手动定制以适应各个数据集。机器学习为快速、准确地分析电子显微镜数据提供了一种很有前途的方法。在这里，我们展示了一个灵活的两步管道，用于分析高分辨率透射电子显微镜数据，它使用U-Net进行分割，然后使用随机森林检测堆垛层错。我们训练的U-Net能够以0.8的Dice系数从无定形背景中分割纳米颗粒区域，并且显着优于传统的图像分割方法。使用这些分割的区域，我们能够以86%的准确率对纳米颗粒是否包含可见的堆垛层错进行分类。我们提供这种适应性强的管道作为社区的开源工具。分割网络和分类器的组合输出提供了一种确定感兴趣特征（例如尺寸、形状和缺陷存在）的统计分布的方法，从而能够检测这些特征之间的相关性。
2021-02-23 cs.CV eess.IV
Microplastic Identification Using AI-Driven Image Segmentation and GAN-Generated Ecological Context
Sequoia High School（红杉高中）；University of California Riverside（加州大学河滨分校）；Moore Institute for Plastic Pollution Research（穆尔塑料污染研究所）；Stanford University（斯坦福大学）；Center for Biomedical Informatics Research（生物医学信息学研究中心）
本文提出深度学习分割模型并利用GAN生成多样化训练数据，以自动识别显微图像中的微塑料，实验表明其F1分数由0.82提升至0.91，可降低分析成本并提升可及性。
2024-10-25 cs.CV eess.IV
Memory-efficient Segmentation of High-resolution Volumetric MicroCT Images
Imperial College London（帝国理工学院）
近年来，3D卷积神经网络已成为体积医学图像分割的主要方法。然而，与2D网络相比，3D网络引入了更多的训练参数和对GPU内存的更高要求。这已经成为设计和训练用于高分辨率体积图像的3D网络的主要限制因素。在这项工作中，我们提出了一种用于3D高分辨率图像分割的新型内存高效网络架构。该网络通过一个两阶段的U-网为基础的级联框架，并在第一阶段，一个内存高效的U-网（meU-网）的开发，结合了全球和本地的功能。在这两个阶段学习的特征通过后拼接连接，这进一步改善了信息流。建议的分割方法进行评估的超高分辨率microCT数据集，通常每卷2.5亿体素。实验表明，它优于国家的最先进的三维分割方法在分割精度和内存效率。
2022-05-31 cs.CV eess.IV
Going Beyond U-Net: Assessing Vision Transformers for Semantic Segmentation in Microscopy Image Analysis
Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）；Center for Artificial Intelligence, Technical University of Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用技术大学人工智能中心）；STACC
本研究评估了UNETR、SAM和Swin-UPerNet等视觉Transformer模型在多模态显微图像分割中相较于U-Net的性能，通过架构修改克服了原始Swin Transformer的局限，有效提升了分割精度，证明了改进Transformer在生物医学图像分析中的应用潜力。
2024-09-25 cs.CV eess.IV
MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation
KAIST（韩国科学技术院）；Phiar（Phiar公司）；NEC Laboratories America（NEC美国实验室）
测试时自适应方法最近已经成为一种实用的解决方案，用于在不访问源域数据的情况下处理域移位。在本文中，我们提出并探讨了一种新的多模态扩展的测试时间适应三维语义分割。我们发现，直接应用现有的方法通常会导致在测试时的性能不稳定，因为多模态输入是不考虑联合。为了设计一个框架，可以充分利用多模态，其中每个模态提供正规化的自我监督信号，以其他模态，我们提出了两个互补的模块内和跨模态。首先，引入模态内伪标签生成（Intra-PG），通过聚合来自两个模型的信息来获得每个模态内的可靠伪标签，这两个模型都是在源数据上预先训练的，但以不同的速度用目标数据进行更新。其次，模态间伪标签细化（Inter-PR）自适应地选择更可靠的伪标签从不同的模态的基础上提出的一致性计划。实验表明，我们的正则化伪标签产生稳定的自学习信号，在许多多模态测试时间适应场景的三维语义分割。请访问我们的项目网站www.example.com。
2022-04-27 cs.CV
Convex Color Image Segmentation with Optimal Transport Distances
Université de Caen（卡昂大学）；CNRS（法国国家科学研究中心）；Université de Bordeaux（波尔多大学）
这项工作是关于使用正则化的最佳运输距离凸，直方图为基础的图像分割。在所考虑的框架中，固定的样本直方图定义了竞争中的两个区域的统计特征的先验。在本文中，我们研究了使用各种基于运输的成本函数作为差异的措施，并依靠原始对偶算法来解决所获得的凸优化问题。
2015-03-16 cs.CV
Understand Scene Categories by Objects: A Semantic Regularized Scene Classifier Using Convolutional Neural Networks
Zhejiang University（浙江大学）；The University of Technology, Sydney（悉尼科技大学）
场景分类是当今机器人环境理解的基本感知任务。在本文中，我们试图利用流行的机器学习技术深度学习来增强场景理解，特别是在机器人应用中。由于场景图像比标志性对象图像具有更大的多样性，因此深度学习方法在较少样本的情况下从场景图像中自动学习特征更具挑战性。受人类基于对象知识的场景理解的启发，我们通过鼓励深层神经网络结合对象级信息来解决场景分类问题。这是通过语义分割的正则化来实现的。与250万张图像相比，只有5000张训练图像，我们在公开的SUN RGB-D数据集上展示了所提出的深度架构实现了优于最先进的场景分类结果。此外，语义分割的性能，正则化，也达到了一个新的记录与细化来自预测的场景标签。最后，我们将我们的SUN RGB-D数据集训练的模型应用于移动机器人捕获的图像，对我们大学的场景进行分类，证明了所提出的算法的泛化能力。
2015-09-22 cs.CV
Embedding-based Instance Segmentation in Microscopy
Max Planck Institute of Molecular Cell Biology and Genetics（马克斯·普朗克分子细胞生物学与遗传学研究所）；Center for Systems Biology Dresden (CSBD)（德累斯顿系统生物学中心）；IT4Innovations, VŠB - Technical University of Ostrava（IT4Innovations，俄斯特拉发技术大学）；Fondatione Human Technopole（人类技术基金会）
在2D和3D显微镜数据中自动检测和分割对象对于无数生物医学应用非常重要。在自然图像域中，基于空间嵌入的实例分割方法被认为可以产生高质量的结果，但它们用于分割显微镜数据的实用性目前研究很少。在这里，我们介绍EmbedSeg，一种基于嵌入的实例分割方法，它在2D和3D显微镜数据集上的性能优于现有的最先进的基线。此外，我们表明，EmbedSeg具有足够小的GPU内存占用训练，即使在笔记本电脑GPU上，使它几乎每个人都可以访问。最后，我们介绍了四个新的3D显微镜数据集，我们将其与地面真实训练标签一起公开提供。我们的开源实现可以在https://github.com/juglab/EmbedSeg上找到。
2021-04-29 cs.CV cs.LG eess.IV
An Instance Segmentation Dataset of Yeast Cells in Microstructures
Technische Universität Darmstadt（达姆施塔特工业大学）；Aeronautics Institute of Technology（航空技术研究院）
本文提出一个用于微结构中酵母细胞实例分割的新数据集，包含493张密集标注的显微图像，并提供标准化评估策略以促进新分割算法的发展。
2023-12-31 cs.CV
Cardiac CT segmentation based on distance regularized level set
Sun Yat-sen University（中山大学）
在对CT图像进行分析之前，对心脏图像进行分割是非常重要的，而左心室内外膜的分割是其中的重要内容之一。然而，手动分割是繁琐和耗时的。为了便于医生专注于疾病分析和诊断等高科技任务，开发快速准确的分割方法至关重要[1]。针对这一现象，本文采用距离正则化水平集（DRL SE）方法对心外膜和心内膜的分割效果进行了研究。最后用5幅CT图像对所提方法进行了验证，并采用骰子得分和Hausdorff距离等图像质量评价指标对分割效果进行了评价。结果表明，该方法能很好地分离内、外膜（内膜厚度= 0.9253，Hausdorff = 7.8740;心外膜厚度= 0.9687，Hausdorff = 6。
2021-07-23 cs.CV eess.IV
Automated Grain Boundary (GB) Segmentation and Microstructural Analysis in 347H Stainless Steel Using Deep Learning and Multimodal Microscopy
Pacific Northwest National Laboratory（太平洋西北国家实验室）；National Energy Technology Laboratory（国家能源技术实验室）；NETL Support Contractor（NETL支持承包商）
本研究利用SEM图像与EBSD标签训练CNN模型，实现347H不锈钢晶界自动分割，并通过拓扑信息改善网络连通性，最终准确预测晶粒形态分布。
2023-05-12 cond-mat.mtrl-sci cs.CV eess.IV
trAIce3D: A Prompt-Driven Transformer Based U-Net for Semantic Segmentation of Microglial Cells from Large-Scale 3D Microscopy Images
Institute of Science and Technology Austria（科学与技术研究院）；Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
针对现有3D显微图像小胶质细胞分割方法的诸多局限，研究提出两阶段提示驱动的trAIce3D架构，在41230个细胞数据集上显著提升精度与泛化性，还可扩展至其他神经细胞研究。
2025-07-30 cs.CV cs.LG eess.IV
EVP: Enhanced Visual Perception using Inverse Multi-Attentive Feature Refinement and Regularized Image-Text Alignment
SRI NASU-SSAU（乌克兰国家科学院与乌克兰国立航空航天大学空间研究所）；KAUST（阿卜杜拉国王科技大学）；Intel Labs（英特尔实验室）
本研究提出EVP增强视觉感知架构，通过IMAFR模块与新型图文对齐模块优化Stable Diffusion骨干特征提取，在单图像深度估计和指代分割任务上取得SOTA结果。
2023-12-13 cs.CV
The iterative convolution-thresholding method (ICTM) for image segmentation
University of Utah（犹他大学）；Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们提出了一种新的迭代卷积阈值法（ICTM），适用于一系列的变分模型的图像分割。变分模型通常最小化由保真度项和正则化项组成的能量泛函。在ICTM中，两个不同段域之间的接口由它们的特征函数隐式地表示。然后，保真度项通常被写为特征函数的线性泛函，并且正则化项通过热核卷积方面的特征函数的泛函来近似。这使我们能够设计一种迭代卷积阈值方法，以最大限度地减少近似能量。该方法简单、高效，具有能量衰减特性。数值实验表明，该方法易于实现，鲁棒性强，适用于各种图像分割模型。
2019-04-24 cs.CV
Robust cDNA microarray image segmentation and analysis technique based on Hough circle transform
Zagazig University（扎加齐格大学）；Banha University（班哈大学）
在微阵列图像分析中最具挑战性的任务之一是斑点分割。这个问题的解决方案是提供一种算法，可以用来找到微阵列图像内的任何斑点。循环霍夫变换（CHT）是一种用于图像分析、计算机视觉和数字图像处理的强大的特征提取技术。将CHT算法应用于cDNA微阵列图像，以提高斑点定位、寻址和分割过程的准确性和效率。所应用的技术的目的是通过在cDNA微阵列图像上应用投票程序来定位斑点，同时将每个斑点的像素寻址和表征为前景像素和背景，从而在某类圆内找到斑点的不完美实例。在北卡罗来纳大学基因芯片数据库上的实验表明，该方法优于K-means方法和支持向量机（SVM）。保留字：Hough环变换，cDNA微阵列图像分析，cDNA微阵列图像分割，斑点定位与寻址，斑点分割
2016-03-23 cs.CV
Deep Learning-Based Semantic Segmentation of Microscale Objects
University of Washington（华盛顿大学）
微尺度物体的位置和形状的准确估计对于使用非接触技术（诸如光学镊子）的自动成像引导操纵是至关重要的。当操作环境拥挤时，使用传统计算机视觉算法的感知方法往往会失败。在本文中，我们提出了一个深度学习模型，用于对代表此类环境的图像进行语义分割。我们的模型成功地进行了分割，平均交集超过联盟得分为0.91。
2019-07-03 cs.CV cs.LG eess.IV
Incremental Learning in Semantic Segmentation from Image Labels
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利技术研究院）
虽然现有的语义分割方法取得了令人印象深刻的结果，他们仍然很难更新他们的模型逐渐发现新的类别。此外，逐像素的注释是昂贵且耗时的。本文提出了一种新的框架弱增量学习语义分割，旨在学习分割新的类，从廉价和大量可用的图像级标签。与需要离线生成伪标签的现有方法相反，我们使用辅助分类器，使用图像级标签进行训练并通过分割模型进行正则化，以在线获得伪监督并增量更新模型。我们处理的过程中固有的噪声，通过使用软标签产生的辅助分类器。我们在Pascal VOC和COCO数据集上证明了我们方法的有效性，优于离线弱监督方法，并获得了与完全监督的增量学习方法相当的结果。代码可以在https://github.com/fcdl94/WILSON上找到。
2022-03-31 cs.CV
An Image Segmentation Model with Transformed Total Variation
University of California, Irvine（加利福尼亚大学欧文分校）；Whittier College（惠蒂尔学院）
本文提出了一种带有模糊隶属度函数的 TTV 正则化 Mumford--Shah 模型用于图像分割，并设计了利用变换 $\ell_1$ 近端算子的 ADMM 算法进行求解，实验证明其比经典 TV 及其他非凸 TV 变体更有效。
2024-06-04 cs.CV cs.NA eess.IV
Semantic Segmentation of Colon Glands with Deep Convolutional Neural Networks and Total Variation Segmentation
Institute of Biophysics, Center for Physiological Medicine, Medical University of Graz（格拉茨医科大学医学生物物理研究所）；Institute of Neuroinformatics, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）；Institute for Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形与视觉研究所）；Ludwig Boltzmann Institute for Clinical Forensic Imaging（路德维希·玻尔兹曼临床法医影像研究所）；BioTechMed-Graz（格拉茨生物技术医学联盟）
组织病理学切片的分割是数字病理学中普遍存在的要求，并且由于生物组织的大的可变性，机器学习技术已经显示出优于标准图像处理方法的性能。作为GlaS@MICCAI2015结肠腺分割挑战的一部分，我们提出了一种基于学习的算法来分割良性和恶性结直肠癌组织中的腺体。根据苏木精-伊红染色协议对图像进行预处理，并将两个深度卷积神经网络（CNN）训练为像素分类器。然后使用基于加权总变差的图形-背景分割来正则化CNN预测，以产生最终分割结果。在两个测试集上，我们的方法实现了98%和94%的组织分类准确率，利用我们系统的固有能力来区分良性和恶性组织。
2017-10-10 cs.CV
Confidence Regularized Self-Training
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）；General Motors R&D（通用汽车研发中心）
领域自适应的最新进展表明，深度自训练为无监督领域自适应提供了一种强大的手段。这些方法通常涉及在目标域上进行预测的迭代过程，然后将置信预测作为用于再训练的伪标签。然而，由于伪标签可能是嘈杂的，自我训练可能会将过度自信的标签信念放在错误的类上，导致带有传播错误的偏离解决方案。为了解决这个问题，我们提出了一个信心正规化自我训练（CRST）框架，制定为正规化自我训练。我们的方法将伪标签视为通过交替优化联合优化的连续潜变量。我们提出了两种类型的置信度正则化：标签正则化（LR）和模型正则化（MR）。CRST-LR生成软伪标签，而CRST-MR鼓励网络输出的平滑性。大量的图像分类和语义分割的实验表明，CRST优于其非正则化的最先进的性能。该工作的代码和模型可在https://github.com/yzou2/CRST上获得。
2020-07-15 cs.CV cs.LG cs.MM
Revisiting foundation models for cell instance segmentation
Georg-August-University Göttingen, Institute of Computer Science（哥廷根大学计算机科学学院）；CAIMed - Lower Saxony Center for AI & Causal Methods in Medicine, Göttingen（下萨克森人工智能与因果医学方法中心，哥廷根）；Cluster of Excellence Multiscale Bioimaging (MBExC), Georg-August-University Göttingen（多尺度生物成像（MBExC）集群，哥廷根大学）
本文评估了多种细胞分割基础模型在显微镜图像数据集上的性能，并引入了自动提示生成策略来提升SAM基础模型的性能。
2026-03-18 cs.CV
Semi-Supervised Semantic Segmentation via Derivative Label Propagation
本文提出DerProp半监督语义分割框架，通过导数标签传播修正伪标签，缓解相似度歧义，提升分割性能。
2025-08-04 cs.CV
A regularization-based approach for unsupervised image segmentation
University of Ljubljana（卢布尔雅那大学）
我们提出了一种新的无监督图像分割算法，其目的是分割成几个连贯的部分的图像。它不需要用户输入，没有监督学习阶段，并假设一个未知数量的段。它首先将图像过度分割成数百个超像素。这些迭代地加入的基础上，从每个超像素获得的颜色和纹理信息训练的判别分类器。分类器的输出通过马尔可夫随机场进行正则化，该随机场对更相似的相邻超像素产生更大的影响。在每次迭代中，类似的超像素都落在同一个标签下，直到图像中只剩下几个相干区域。该算法在标准评估数据集上进行了测试，其在精度方面与最先进的算法不相上下，并且通过减少感兴趣对象的过度分割而大大优于最先进的算法。
2016-03-08 cs.CV
Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
我们介绍了正则化的Frank-Wolfe，一个通用的和有效的算法的推理和学习的稠密条件随机场（CRF）。该算法优化了一个非凸连续松弛的CRF推理问题，使用香草弗兰克-沃尔夫近似更新，这相当于最小化一个正则化的能量函数。我们所提出的方法是现有的算法，如平均场或凹凸过程的推广。这种观点不仅提供了对这些算法的统一分析，而且还允许探索可能产生更好性能的不同变体的简单方法。我们在标准语义分割数据集上的经验结果中说明了这一点，其中我们正则化的Frank-Wolfe的几个实例优于平均场推理，无论是作为独立组件还是作为神经网络中的端到端可训练层。我们还表明，密集的CRF，加上我们的新算法，产生显着的改善强CNN基线。
2022-09-07 cs.CV cs.LG math.OC
Efficient Microscopic Image Instance Segmentation for Food Crystal Quality Control
Elmore School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔电气与计算机工程学院）
本文针对食品晶体质量控制中人工计数低效且不一致的问题，提出基于目标检测的高效实例分割方法，在保持计数准确率相当的同时将速度提升五倍，并定义了区分仿晶体与真实晶体的客观标准。
2024-09-26 cs.CV
Leveraging Domain Knowledge to Improve Microscopy Image Segmentation with Lifted Multicuts
EMBL Heidelberg（欧洲分子生物学实验室海德堡分部）；HCI University of Heidelberg（海德堡大学人机交互中心）；COS University of Heidelberg（海德堡大学计算机科学系）
近年来，电子显微镜的吞吐量显著增加，能够详细分析细胞形态和超微结构。以单突触分辨率分析神经回路仍然是这项技术的主要目标，但在细胞和发育生物学方面的应用也开始大规模出现。在这些研究中获取的数据量使得手动实例分割成为不可能，而手动实例分割是许多分析管道中的基本步骤。虽然由于采用了卷积神经网络，自动分割方法得到了显著改进，但其准确性仍然落后于人类注释，并且需要额外的手动校对。进一步改进的一个主要障碍是分割网络的有限视野，这阻止了它们利用人类用来告知其分割决策的预期细胞形态或其他先验生物学知识。在这篇文章中，我们展示了如何利用这些特定于域的信息，将其表达为图分区问题（称为提升多割问题）中的远程交互。使用这种配方，我们证明了显着的改善，在分割精度为三个具有挑战性的EM分割问题，从神经科学和细胞生物学。
2019-08-05 cs.CV
MAVNet: an Effective Semantic Segmentation Micro-Network for MAV-based Tasks
University of Pennsylvania（宾夕法尼亚大学）
受尺寸、重量和功率（SWaP）约束的平台上的实时语义图像分割是空中监视和检查的关键领域。在这项工作中，我们提出了MAVNet：一个小型，轻量，深度神经网络的实时语义分割微型飞行器（MAVs）。MAVNet受到ERFNet的启发，其参数减少了400倍，并在实证实验中实现了与一些参考模型相当的性能。我们的模型实现了速度和精度之间的平衡，在处理高分辨率图像时，在NVIDIA 1080Ti上实现高达48 FPS，在NVIDIA Jetson Xavier上实现高达9 FPS。此外，我们提供了两个新的数据集，代表了实时MAV跟踪和基础设施检查任务的语义分割的挑战，并在这些数据集上验证MAVNet。我们的算法和数据集是公开的。
2019-06-08 cs.CV
ZMIS-SAM: Segment Anything Model Enhanced with Wavelet Transform for Zooplankton Microscopy Image Instance Segmentation
College of Oceanography and Space Informatics, China University of Petroleum (East China)（中国石油大学（华东）海洋与空间信息学院）
针对SAM在浮游动物显微图像实例分割中存在的问题，提出结合小波变换的ZMIS-SAM模型，通过三项核心创新实现最优性能与强泛化能力。
2026-09-22 cs.CV
Hierarchical Consistency Regularized Mean Teacher for Semi-supervised 3D Left Atrium Segmentation
Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
深度学习在3D左心房MR图像上实现了有前景的分割性能。然而，用于分割任务的注释是昂贵的、昂贵的并且难以获得。在本文中，我们介绍了一种新的层次一致性正则化平均教师框架的三维左心房分割。在每次迭代中，学生模型同时通过多尺度深度监督和分层一致性正则化进行优化。大量的实验表明，我们的方法实现了竞争力的性能相比，全注释，优于其他国家的最先进的半监督分割方法。
2021-08-15 cs.AI cs.CV eess.IV
RLCorrector: Reinforced Proofreading for Cell-level Microscopy Image Segmentation
Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔兰大学）
在神经连接组学研究中，纳米级电子显微镜图像的分割是一个关键而又具有挑战性的问题。其中一个原因是，现有的分割方法都不是无错误的，因此它们需要校对，这通常是通过手动干预实现的交互式半自动过程。在此，我们提出了一种基于强化学习的全自动校对方法，该方法模仿人类对分割错误的检测、分类和纠正的决策过程。我们系统地设计了所提出的系统相结合的多个强化学习代理在一个层次的方式，其中每个代理只专注于一个特定的任务，同时保持代理之间的依赖关系。此外，我们证明了强化学习的情景任务设置可以有效地管理输入中同时存在的合并和拆分错误的组合。我们证明了该系统的有效性，通过比较它与传统的校对方法在各种测试情况下。
2022-03-11 cs.CV
An Unsupervised Ensemble-based Markov Random Field Approach to Microscope Cell Image Segmentation
University of Debrecen（德布勒森大学）
在本文中，我们提出了一种方法，使用马尔可夫随机场的图像无监督分割。所提出的方法是基于位平面切片的思想。我们使用的飞机作为初始标记的分割合奏。与像素投票，一个强大的分割方法，可以实现，我们证明显微镜细胞图像。我们在一个公开的数据库上测试了我们的方法，在那里它被证明是与其他方法和手动分割竞争。
2014-10-27 cs.AI cs.CV q-bio.QM
A Multi-scale CNN-CRF Framework for Environmental Microorganism Image Segmentation
Northeastern University（东北大学）；Chengdu University of Information Technology（成都信息工程大学）
为了帮助研究人员有效地识别环境微生物，本文提出了一个多尺度CNN-CRF（MSCC）框架的EM图像分割。在这个框架中有两个部分：第一个是一种新的像素级分割方法，使用新引入的卷积神经网络（CNN），即“mU-Net-B3”，具有密集的条件随机场（CRF）后处理。第二种是基于VGG-16的块级分割方法，采用了一种新的“缓冲区”策略，进一步提高了EM细节的分割质量。在420幅EM图像上的实验结果表明，与现有方法相比，本文提出的MSCC方法将内存需求从355 MB降低到103 MB，提高了整体评价指标（Dice，Jaccard，Recall，Accuracy）分别从85.24%，77.42%，82.27%和96.76%降低到87.13%，79.74%，87.12%和96.91%，并且将体积重叠误差从22.58%降低到20.26%。因此，MSCC方法在EM分割领域显示出巨大的潜力。
2020-07-08 cs.CV
