A Self-Adaptive Network For Multiple Sclerosis Lesion Segmentation From Multi-Contrast MRI With Various Imaging Protocols
Springbok, Inc.（斯普林博克公司）；University of Virginia（弗吉尼亚大学）
深度神经网络（DNN）在多发性硬化（MS）的病灶分割中显示出了良好的前景，包括T1、T2、质子密度（PD）和FLAIR序列。然而，将这种网络部署到临床实践中的一个挑战是成像协议的可变性，其通常与训练数据集不同，因为某些MRI序列可能不可用或不可用。因此，经过训练的网络需要适应部署中成像协议不同的实际情况。在本文中，我们提出了一种基于DNN的MS病变分割框架，该框架具有一种称为序列丢弃的新技术，可以适应部署过程中输入MRI序列的各种组合，并从给定的输入中实现最大可能的性能。此外，在此框架下，我们研究了每个MRI序列对MS病变分割任务的定量影响，而无需训练单独的网络。使用IEEE ISBI 2015纵向MS病变挑战数据集进行实验，我们的方法目前排名第二，Dice相似系数为0.684。此外，我们通过与在相应的输入MRI序列上训练的单独网络进行比较，表明我们的网络在部署期间一个序列不可用时实现了最大可能的性能。特别是，我们发现T1和PD对分割性能的影响很小，而FLAIR是主要序列。多个缺失序列的实验也进行了，并显示了我们的网络的鲁棒性。
2018-11-19 cs.CV
Scalable Neural Architecture Search for 3D Medical Image Segmentation
Kakao Brain；Seoul National University（首尔大学）；MILA, Université de Montréal（MILA，蒙特利尔大学）
在本文中，神经结构搜索（NAS）框架提出了三维医学图像分割，自动优化的神经结构，从一个大的设计空间。我们的NAS框架搜索每一层的结构，包括编码器和解码器中的神经连接和操作类型。由于高分辨率的3D医学图像难以在大的离散结构空间上进行优化，因此还提出了一种基于连续松弛的新的随机采样算法用于基于梯度的可扩展优化。在具有基准数据集的3D医学图像分割任务上，所提出的NAS框架自动设计的架构优于人工设计的3D U-Net，并且这种优化的架构非常适合于被转移到不同的任务。
2019-06-13 cs.CV cs.LG eess.IV
Privacy-Net: An Adversarial Approach for Identity-Obfuscated Segmentation of Medical Images
École de Technologie Supérieure（高等技术学院）；Université de Sherbrooke（舍布鲁克大学）
本文提出了一种客户端/服务器的隐私保护网络的背景下，多中心的医学图像分析。我们的方法基于对抗学习，它对图像进行编码以混淆患者身份，同时为目标任务保留足够的信息。我们的新架构由三个组件组成：1）编码器网络，它从输入的医学图像中删除特定于身份的特征，2）一个编码器网络，它试图从编码图像中识别受试者，3）一个医学图像分析网络，它分析编码图像的内容（在我们的情况下是分割）。通过同时欺骗网络和优化医疗分析网络，编码器学会删除隐私特定的功能，同时保留目标任务的要素。我们的方法在从大规模帕金森进展标志物倡议（PPMI）数据集分割大脑MRI的问题上进行了说明。使用来自PPMI的纵向数据，我们证明了该算法可以在获得高度准确的分割结果的同时，严重扭曲输入图像。
2020-11-13 cs.CV eess.IV
Advanced Multi-Microscopic Views Cell Semi-supervised Segmentation
Moore Threads（摩尔线程）；University of Science and Technology of China（中国科学技术大学）
虽然深度学习（DL）在细胞分割任务中显示出强大的潜力，但它的泛化能力较差，因为基于DL的方法最初在检测细胞膜边界时简化了细胞分割，缺乏突出的细胞结构来定位整体差异。此外，注释细胞图像的稀缺性限制了DL模型的性能。单一类别细胞的分割限制使得大规模实践变得困难，更不用说各种形式了。本文介绍了一种新的半监督细胞分割方法--多显微镜视角细胞半监督分割（Multi-Microscopic-view Cell semi-supervised Segmentation，MMCS），它可以利用标记较少的不同显微镜下的多姿态细胞图像很好地训练细胞分割模型。在技术上，MMCS由Nucleus辅助的全局识别、自适应直径滤波器和时间集成模型组成。核辅助全局识别算法增加了细胞核通道，提高了模糊细胞膜边界的全局识别性能，即使在细胞聚集的情况下也能有效地识别模糊细胞膜边界。此外，自适应细胞直径滤波器可以帮助分离不同形态的多分辨率细胞。它进一步利用时间集成模型来改进半监督训练过程，从而用更少的标记数据实现有效的训练。此外，优化未标记损失对总损失的贡献的权重也提高了模型的性能。在NeurIPS 2022细胞分割挑战（NeurIPS CellSeg）的调整集上进行评估，MMCS达到了0.8239的F1分数，并且所有情况的运行时间都在时间公差范围内。
2023-03-21 cs.CV eess.IV
Lung tumor segmentation in MRI mice scans using 3D nnU-Net with minimum annotations
AstraZeneca R&D UK（阿斯利康英国研发部）
本研究针对小鼠MRI肺部肿瘤分割，证明3D nnU-Net优于2D模型及现有方法，仅用肿瘤标注即可达到可比效果，减少标注成本，助力临床前药物评估。
2024-11-08 cs.CV cs.LG eess.IV
Does image resolution impact chest X-ray based fine-grained Tuberculosis-consistent lesion segmentation?
National Library of Medicine, National Institutes of Health（美国国立医学图书馆，美国国立卫生研究院）
深度学习（DL）模型在分割医学图像中的解剖和疾病感兴趣区域（ROI）方面是最先进的。特别地，已经使用胸部X射线（CXR）报道了大量基于DL的技术。然而，据报道，由于缺乏计算资源的原因，这些模型是在降低的图像分辨率上训练的。文献很少讨论最佳图像分辨率，以训练这些模型分割CXR中的结核病（TB）一致性病变。在这项研究中，我们研究了性能变化，使用Inception-V3 UNet模型，使用各种图像分辨率与/不与肺ROI裁剪和纵横比调整，和（ii）确定了最佳的图像分辨率，通过广泛的经验评估，以提高TB一致的病变分割性能。我们使用深圳CXR数据集进行研究，其中包括326名正常患者和336名结核病患者。我们提出了一种组合方法，包括存储模型快照，优化分割阈值和测试时间增强（TTA），并平均快照预测，以进一步提高性能的最佳分辨率。我们的实验结果表明，更高的图像分辨率并不总是必要的，但是，确定最佳图像分辨率是实现卓越性能的关键。
2023-01-27 cs.CV eess.IV
Optimizing Edge Detection for Image Segmentation with Multicut Penalties
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Mannheim（曼海姆大学）；University of Siegen（锡根大学）
最小代价多割问题（MP）是一种通过在边代价上优化二进制边标签来获得图分解的流行方法。虽然从独立估计的每条边的成本来制定MP是高度灵活和直观的，但解决MP是NP困难和时间昂贵的。作为一种补救措施，最近的工作提出了通过在预测过程中加入循环约束来预测边缘概率，并意识到潜在的冲突。我们认为，这样的配方，而提供了第一步端到端的可学习的边缘权重，是次优的，因为它是建立在一个松散的放松的MP。因此，我们提出了一个自适应的CRF，允许逐步考虑更多的违反约束，因此，问题的解决方案具有更高的有效性。在BSDS500自然图像分割基准和电子显微镜记录上的实验表明，我们的方法可以产生更精确的边缘检测和图像分割。
2021-12-10 cs.CV
Selecting the Best Optimizers for Deep Learning based Medical Image Segmentation
Volastra Therapeutics（沃拉斯特拉治疗公司）；Health Sciences University（健康科学大学）；Northwestern University（西北大学）
这项工作的目标是在心脏图像分割的背景下识别深度学习的最佳优化器，并为如何设计具有有效优化策略的分割网络提供指导。自适应学习通过从较大的学习率（LR）开始并逐渐降低它来帮助快速收敛。动量优化器在加速方案类别中快速优化神经网络时特别有效。通过揭示这两种类型的算法（LR和动量优化器或简称为动量率（MR））之间的潜在相互作用，在本文中，我们将在单个设置中探索SGD算法的两种变体。我们建议使用循环学习作为基础优化器，并整合学习率和动量率的最佳值。我们研究了LR和MR的关系下的一个重要问题的医学图像分割的心脏结构的MRI和CT扫描。我们使用来自MICCAI 2017的ACDC挑战的心脏成像数据集进行了实验，四种不同的架构被证明可以成功解决心脏图像分割问题。我们的综合评估表明，所提出的优化器在单对象和多对象分割设置中取得了比深度学习文献中的其他优化器更好的结果（骰子度量提高了2%以上），具有相似或更低的计算成本。我们假设，加速和自适应优化方法的组合可以在医学图像分割性能产生巨大的影响。为此，我们提出了一种新的循环优化方法（\textit{CLMR}）来解决基于深度学习的医学图像分割的效率和准确性问题。所提出的策略产生了更好的推广相比，自适应优化。
2023-02-05 cs.CV cs.LG eess.IV
Opto-UNet: Optimized UNet for Segmentation of Varicose Veins in Optical Coherence Tomography
人体的静脉对于将血液从身体各部位输送到心脏很重要。人体静脉功能不正常可能由几种静脉疾病引起。静脉曲张是一种这样的疾病，其中可能发生血液回流，通常由于静脉结构的变化而导致静脉压力增加或血流受限。为了研究静脉曲张的功能特征，研究静脉的物理和生物力学特性至关重要。本文提出了一种分割模型Opto-UNet，用于分割静脉壁结构。光学相干断层扫描系统用于获取静脉曲张的图像。由于提取的静脉形状不均匀，因此需要适当的分割方法来分割静脉壁。Opto-UNet模型基于U-Net架构，其中一个新的块被集成到架构中，采用atrous和可分离卷积来提取空间宽范围和可分离的特征图，以获得高级性能。此外，深度可分离卷积通过优化参数的数量显著降低了网络的复杂性。该模型使用854万个参数，准确度为0.9830，灵敏度为0.8425，特异度为0.9980。这些结果表明，该模型是非常适当的分割静脉曲张壁，而不恶化分割质量以及降低复杂性
2023-03-20 cs.CV cs.LG eess.IV
Optimizing the Procedure of CT Segmentation Labeling
KIT（卡尔斯鲁厄理工学院）；Heidelberg University（海德堡大学）
在计算机断层扫描中，机器学习通常用于自动化数据处理。然而，随着模型复杂性的增加，数据集的数量也越来越大，这反过来又增加了模型训练的成本。与大多数通过推进模型架构和训练算法来缓解这一问题的工作不同，我们考虑了注释过程及其对模型性能的影响。我们假设为模型训练收集的良好数据集的三个主要优点是标签质量，多样性和完整性。我们使用开放的医学CT数据集比较了这些优点对模型性能的影响，并得出结论，在标记过程中，质量比多样性更重要;多样性反过来又比完整性更重要。基于这一结论和额外的实验，我们提出了一个标记过程的断层图像的分割，以尽量减少标记上花费的努力，同时最大限度地提高模型的性能。
2023-03-24 cs.CV
TinySeg: Model Optimizing Framework for Image Segmentation on Tiny Embedded Systems
Kyung Hee University（庆熙大学）
针对图像分割模型在微型嵌入式系统上峰值内存过高的问题，本文提出 TinySeg 框架，通过张量生命周期分析、张量溢出存储与融合取用实现内存优化，将峰值内存占用降低 39.3%。
2024-05-03 cs.CV cs.NE
Instance Segmentation by Jointly Optimizing Spatial Embeddings and Clustering Bandwidth
KU Leuven（鲁汶大学）
当前最先进的实例分割方法不适合于像自动驾驶这样的实时应用，自动驾驶需要高精度的快速执行时间。虽然目前占主导地位的基于提议的方法具有高精度，但它们速度慢，并且以固定和低分辨率生成掩模。相比之下，无建议方法可以以高分辨率生成掩码，并且通常更快，但无法达到与基于建议的方法相同的精度。在这项工作中，我们提出了一个新的聚类损失函数的建议自由实例分割。损失函数将属于同一实例的像素的空间嵌入拉到一起，并共同学习特定于实例的聚类带宽，从而最大化所得到的实例掩码的交集。当与快速架构相结合时，该网络可以实时执行实例分割，同时保持高精度。我们在具有挑战性的Cityscapes基准上评估了我们的方法，并在2 MP图像上以超过10 fps的速度获得了最佳结果（比Mask R-CNN提高了5%）。代码将在https://github.com/davyneven/SpatialEmbeddings上提供。
2019-08-02 cs.CV
Automatic text extraction and character segmentation using maximally stable extremal regions
University of Jammu（查谟大学）
文本检测和分割是许多基于内容的图像分析任务的重要前提。本文提出了一种新的文本提取和字符分割算法使用最大稳定极值区域作为基本的字母候选。然后对这些区域进行阈值处理，然后确定各种连通分量以识别单独的字符。该算法是沿着一组不同的JPEG，PNG和BMP图像在四个不同的字符集进行测试;英语，俄语，印地语和乌尔都语。该算法对英语和俄语字符集的字符分割效果较好，但对乌尔都语和印地语的字符分割精度不高。该算法简单、高效，不涉及训练所需的开销，即使对低质量的图像也能给出良好的结果。本文还提出了多语言输入的文本提取和分割的各种挑战。
2016-08-11 cs.CV
Optimizing Operating Points for High Performance Lesion Detection and Segmentation Using Lesion Size Reweighting
Centre for Intelligent Machines（智能机器中心）；McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Montreal Neurological Institute（蒙特利尔神经学研究所）
存在许多临床背景，其需要对患者图像中的所有病灶病理（例如，病变、肿瘤）进行准确检测和分割。在存在小病变和大病变的混合的情况下，标准二进制交叉熵损失将导致以丢失小病变为代价的大病变的更好分割。调整工作点以准确检测所有病变通常会导致大病变的过度分割。在这项工作中，我们提出了一种新的重新加权策略，以消除这种性能差距，提高小病理检测性能，同时保持分割精度。我们表明，我们的重新加权策略大大优于竞争策略的基础上进行实验的大规模，多扫描仪，多中心数据集的多发性硬化症患者的图像。
2022-05-18 cs.CV cs.LG eess.IV
Image Segmentation by Discounted Cumulative Ranking on Maximal Cliques
University of Bonn（波恩大学）
我们提出了一个中级图像分割框架，结合多个图形-背景假设（FG）约束在不同的位置和尺度，到解释，瓷砖整个图像。这个问题被铸造为优化集的最大集团从连接非重叠，假定的图形-背景段假设的图形采样。潜在的功能团结合一元完形为基础的数字质量分数和成对的空间相邻段之间的兼容性，约束T型接头和边界界面的统计数据，从真实的3D场景的投影。学习模型参数被公式化为秩优化，在采样图像平铺和优化其势函数参数之间交替。Berkeley和VOC 2009分割数据集均报告了最新结果，其中实现了28%的改进。
2010-09-24 cs.CV
Towards Lightweight Lane Detection by Optimizing Spatial Embedding
KAIST（韩国科学技术院）；LG Electronics（LG电子）
许多车道检测方法依赖于无建议的实例分割，因为它适应于灵活的对象形状，遮挡和实时应用。针对基于无命题实例分割的车道线检测中像素嵌入难以优化的问题。卷积的平移不变性是假定的优势之一，这给优化像素嵌入带来了挑战。在这项工作中，我们提出了一种基于无命题实例分割的车道检测方法，直接优化空间嵌入的像素使用图像坐标。我们提出的方法允许中心定位的后处理步骤，并以端到端的方式优化聚类。所提出的方法，使实时车道检测，通过简单的后处理和采用一个轻量级的骨干。我们所提出的方法在公共车道检测数据集上表现出具有竞争力的性能。
2020-08-27 cs.CV
Residue Density Segmentation for Monitoring and Optimizing Tillage Practices
Intelinair, Inc.（Intelinair公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
“免耕”和覆盖种植往往被认为是农业固碳的主要简单、最佳管理做法。然而，问题的根源更为复杂，这些方法的潜在好处取决于许多因素，包括田地的土壤类型、地形和管理历史。我们不是使用计算机视觉方法来简单地将田地分类为静止与免耕，而是通过概率深度学习分割方法来识别田地上残留物的覆盖程度，以实现对碳保持潜力和实现的更准确分析。这一方法不仅将为目前实施的做法提供更准确的见解，而且还能够更准确地确定最有可能采用新做法以显著影响农业碳固存的领域。
2021-02-09 cs.AI cs.CV
Optimizing Neural Network Architecture for Medical Image Segmentation Using Monte Carlo Tree Search
Xi'an Kedagaoxin University, Faculty of Science（西安科大新大学科学学院）；Xi'an Kedagaoxin University, School of International Education（西安科大新大学国际教育学院）；Saint Petersburg State University（圣彼得堡国立大学）
本文提出MNAS-Unet框架，结合MCTS和NAS优化医疗图像分割架构，提升搜索效率并实现轻量模型。
2026-02-25 cs.CV
Optimizing rgb-d semantic segmentation through multi-modal interaction and pooling attention
Kunming University of Science and Technology（昆明理工大学）
针对室内 RGB-D 语义分割中 RGB 与深度信息利用不足的问题，提出 MIPANet，通过 MIM 深层交互融合和 PAM 多阶段注意力增强，在 NYUDv2 与 SUN-RGBD 上取得优于现有方法的性能。
2023-12-06 cs.CV
Optimizing against Infeasible Inclusions from Data for Semantic Segmentation through Morphology
University Of Bologna（博洛尼亚大学）；INSAIT（INSAIT研究所）；Sofia University St. Kliment Ohridski（索菲亚大学圣克莱门特·欧赫里迪斯基大学）；ETH Zürich（苏黎世联邦理工学院）
InSeIn通过提取空间类关系约束并采用可微形态学损失优化语义分割，提升预测可行性与性能。
2025-11-30 cs.CV
Optimizing Medical Image Segmentation with Advanced Decoder Design
School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院）
针对现有医学图像分割模型改进重编码器、轻解码器导致性能受限的问题，该研究优化解码器三类组件提出Swin DER模型，在Synapse和MSD脑肿瘤分割任务上超越现有最优方法。
2024-10-05 cs.CV eess.IV
Maximal Cliques on Multi-Frame Proposal Graph for Unsupervised Video Object Segmentation
Oregon State University（俄勒冈州立大学）
无监督视频对象分割（UVOS）旨在通过视频发现对象并跟踪它们。对于精确的UVOS，我们观察到如果可以在关键帧上定位精确的片段建议，则后续过程要简单得多。因此，我们建议使用一个图来推理关键帧提案，该图是用最初从关键帧周围的多个帧生成的对象概率掩码构建的，然后传播到关键帧。在这个图上，我们计算最大团，每个团代表一个候选对象。通过在集团中提出多个提案来投票支持关键帧提案，我们获得了可能比任何单帧提案都更好的改进的关键帧提案。半监督VOS算法随后跟踪这些关键帧提案到整个视频。我们的算法是模块化的，因此可以用于任何实例分割和半监督VOS算法。我们在DAVIS-2017验证和测试开发数据集上实现了最先进的性能。在视频实例分割的相关问题上，我们的方法显示出与以前的最好的算法，需要与VOS算法联合训练的竞争性能。
2023-01-29 cs.CV
Optimizing YOLO27, YOLO26, YOLO11, and YOLOv8 for Fine-Grained Small-Object Detection and Segmentation in Complex Orchard Environments
Cornell University（康奈尔大学）
该研究针对复杂果园中小目标检测与实例分割难题，对YOLOv8、YOLOv11、YOLOv26开展跨代基准测试，发现YOLOv11s-960精度最优、YOLOv26s-960效率与精度均衡，为农业机器人感知提供实用基准。
2026-09-21 cs.CV
Optimizing the Dice Score and Jaccard Index for Medical Image Segmentation: Theory & Practice
KU Leuven（鲁汶大学）；UZ Leuven（鲁汶大学医院）
Dice评分和Jaccard指数是用于评估医学成像中分割任务的常用指标。针对图像分割任务训练的卷积神经网络通常针对（加权）交叉熵进行优化。这在学习优化目标（损失）和最终目标度量之间引入了不利的差异。最近在计算机视觉方面的工作提出了软代理来缓解这种差异，并通过松弛（soft-Dice，soft-Jaccard）或子模块优化（Lovász-softmax）直接优化所需的度量。本研究的目的有两个方面。首先，我们研究了风险最小化框架中的理论差异，并质疑存在加权交叉熵损失，其权重理论上优化为替代Dice或Jaccard。其次，我们实证研究上述损失函数的行为w.r.t.用Dice评分和Jaccard指数对五个医学分割任务进行评价。通过应用的相对逼近界，我们表明，所有的替代品是等价的乘法因子，并没有最佳加权的交叉熵存在近似骰子或Jaccard措施。我们验证了这些发现的经验，并表明，虽然它是重要的是选择一个目标度量代理，而不是一个交叉熵为基础的损失，代理的选择并没有统计上的差异，广泛的医疗分割任务。
2019-11-05 cs.CV cs.LG eess.IV
Optimizing Universal Lesion Segmentation: State Space Model-Guided Hierarchical Networks with Feature Importance Adjustment
North South University（北南大学）
针对传统医学分割模型难以动态调整特征且计算成本高的问题，提出Mamba-Ahnet模型，结合状态空间模型与AHNet，在Universal Lesion Segmentation数据集上实现约98%的Dice系数，显著提升了病灶分割精度与鲁棒性。
2024-04-26 cs.CV eess.IV
Optimizing Vision Transformers for Medical Image Segmentation
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）；University of Warwick（华威大学）
提出 CS-Unet，通过融合卷积、多头自注意力与前馈网络的 CST 块增强局部空间建模，无需预训练即以更少参数在多器官和心脏分割数据集上达到 SOTA。
2022-10-26 cs.CV
Collaborative Vision-Text Representation Optimizing for Open-Vocabulary Segmentation
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Peng Cheng Laboratory（鹏城实验室）；Georgia Institute of Technology（佐治亚理工学院）；Picsart AI Research (PAIR)（Picsart人工智能研究院）
针对开放词汇分割任务中现有方法未充分协同优化视觉-文本表示的问题，提出内容依赖迁移与表示补偿策略，协同优化CLIP的视觉与文本表示，在主流基准上显著提升性能。
2024-12-04 cs.CV
E-BayesSAM: Efficient Bayesian Adaptation of SAM with Self-Optimizing KAN-Based Interpretation for Uncertainty-Aware Ultrasonic Segmentation
the National-Reginoal Key Technology Engineering Laboratory for Medical Ultrasound（医学超声关键技术工程实验室）；Guangdong Key Laboratory of Biomedical Measurements and Ultrasound Imaging（广东省生物医学测量与超声成像重点实验室）；School of Biomedical Engineering（生物医学工程学院）；Shenzhen University Medical School（深圳大学医学院）；Shenzhen University（深圳大学）；the Institute of Maternal and Child Medicine（妇幼医学研究院）；Shenzhen Maternity and Child Healthcare Hospital（深圳妇幼保健院）；Southern Medical University（南方医科大学）；Medical AI Lab（医学人工智能实验室）；the Department of Biomedical Engineering（生物医学工程系）；the Department of Computer and Data Science（计算机与数据科学系）；Case Western Reserve University（凯斯西储大学）
针对SAM贝叶斯适配在医学超声分割中的不稳定性、高计算成本和黑箱问题，提出E-BayesSAM框架，结合T-VBI和SO-KAN，实现高效不确定性感知分割并提升可解释性，在五个数据集上取得实时推理和更优精度。
2025-08-24 cs.CV
Optimizing Brain Tumor Segmentation with MedNeXt: BraTS 2024 SSA and Pediatrics
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））
针对手动分割脑肿瘤耗时易错、现有模型受训练数据限制且在分布偏移人群中可靠性不足的问题，本研究提出基于MedNeXt、模型集成和后处理的方法，在BraTS 2024相关任务验证集上取得优异分割性能。
2024-11-26 cs.CV eess.IV
Style Augmentation improves Medical Image Segmentation
Commissariat à l’Energie Atomique（法国原子能委员会）
由于可用标记数据的限制，医学图像分割是深度学习的一项具有挑战性的任务。传统的数据增强技术已被证明可以通过优化少量训练样本的使用来提高分割网络的性能。然而，目前用于分割的增强方法并没有解决卷积神经网络的强纹理偏差，这在几项研究中观察到。这项工作在MoNuSeg数据集上显示，已经用于分类任务的样式增强有助于减少纹理过度拟合并提高分割性能。
2022-11-02 cs.CV eess.IV
The Lovász-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks
KU Leuven（鲁汶大学）
Jaccard指数，也被称为交集分数，通常用于图像分割结果的评估，因为它具有感知质量，尺度不变性-与每个像素的损失相比，它可以为小对象提供适当的相关性，以及适当的假阴性计数。我们提出了一种方法，直接优化的平均交集超过工会损失的神经网络，在语义图像分割的背景下，基于凸Lovász扩展的子模块损失。的损失表现得更好，相对于Jaccard指数的措施比传统上使用的交叉熵损失。我们展示了优化每个图像的Jaccard指数与优化整个数据集的Jaccard指数之间的定量和定性差异。我们评估了我们的方法在语义分割管道中的影响，并使用最先进的深度学习分割架构在Pascal VOC和Cityscapes数据集上显示了显著改善的交集分割分数。
2018-04-09 cs.CV
Advancing Wound Filling Extraction on 3D Faces: Auto-Segmentation and Wound Face Regeneration Approach
Quy Nhon University（归仁大学）；CIRTECH Institute（CIRTECH研究院）；HUTECH University（胡志明市技术大学）；Applied Research Institute for Science and Technology（科学技术应用研究院）
本文提出基于双流图卷积网络的3D面部伤口自动分割方法，并改进伤口填充物提取，在Cir3D-FaIR上以0.9999986%准确率超越既往方法，结合3D打印辅助术前规划。
2023-07-13 cs.CV
End-to-End Learned Random Walker for Seeded Image Segmentation
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；Heidelberg University（海德堡大学）
我们提出了一个端到端的学习算法种子分割。我们的方法是基于随机沃克算法，其中我们预测的边缘权重的基础图形使用卷积神经网络。这可以被解释为学习线性扩散过程的上下文相关的扩散率。除了计算精确的梯度优化这些扩散率，我们还提出了简化，稀疏采样的梯度，仍然产生竞争力的结果。所提出的方法在CREMI神经元分割挑战的种子版本上实现了目前最好的结果。
2019-05-22 cs.CV cs.LG
Distribution-aware Margin Calibration for Medical Image Segmentation
University of Technology Sydney（悉尼科技大学）；School of Electrical and Data Engineering（电气与数据工程学院）
Jaccard指数，也称为Intersection-over-Union（IoU评分），是医学图像分割中最关键的评价指标之一。然而，直接优化多个目标类的平均IoU（mIoU）得分是一个开放的问题。虽然已经提出了一些算法来优化它的代理人，有没有保证提供的泛化能力。在本文中，我们提出了一种新的数据分布感知的边缘校准方法，用于在整个数据分布上更好地推广mIoU，并以刚性下限为基础。该方案在实践中确保了在IoU分数方面更好的分割性能。我们在两个医学图像分割数据集上评估了所提出的边缘校准方法的有效性，显示出使用深度分割模型的其他学习方案的IoU分数的实质性改善。
2020-11-03 cs.CV
Superpixel Segmentation via Convolutional Neural Networks with Regularized Information Maximization
Denso IT Laboratory, Inc.（电装IT实验室有限公司）
我们通过在推理时间优化随机初始化的卷积神经网络（CNN），提出了一种无监督的超像素分割方法。我们的方法通过CNN从没有任何标签的单个图像生成超像素，通过在推理时间内最小化用于超像素分割的建议目标函数。与许多现有方法相比，我们的方法有三个优点：（i）利用CNN的图像先验进行超像素分割，（ii）根据给定图像自适应地改变超像素的数量，以及（iii）通过向目标函数添加辅助成本来控制超像素的属性。在BSDS500和SBD数据集上，我们定量和定性地验证了我们方法的优点。
2020-06-26 cs.CV cs.LG
Path-Invariant Map Networks
UT Austin（德克萨斯大学奥斯汀分校）；Zhejiang University（浙江大学）
在对象/域的集合（或地图同步）之间优化地图网络是计算机视觉和许多其他相关领域的中心问题。与孤立地优化成对地图相比，地图同步的好处是地图网络之间存在自然约束，可以提高单个地图的质量。虽然这种自我监督约束对于无向映射网络（例如，循环一致性约束），它们对于有向映射网络是未充分探索的，这在映射由参数映射给出时自然出现（例如，前馈神经网络）。在本文中，我们研究了一个自然的自我监督约束的有向映射网络称为路径不变性，它强制复合映射沿着不同的路径之间的一对固定的源和目标域是相同的。我们引入路径不变基的有效编码的路径不变约束，并提出了一种算法，输出一个路径方差基多项式时间和空间复杂度。我们证明了我们的方法的有效性，优化对象的对应关系，估计密集的图像地图，通过神经网络，和语义分割的三维场景，通过地图网络的不同的三维表示。特别是，对于3D语义分割，我们的方法仅需要来自ScanNet的8%标记数据即可实现与使用30%至100%标记数据训练单个3D分割网络相同的性能。
2019-06-04 cs.CV
Optimizing Latent Space Directions For GAN-based Local Image Editing
EPFL（洛桑联邦理工学院）
基于生成对抗网络（GAN）的局部化图像编辑可能遭受语义属性之间的歧义。因此，我们提出了一种新的目标函数来评估的地方的图像编辑。通过从预训练的分割网络引入监督并优化目标函数，我们的框架称为局部有效潜在空间方向（LELSD），适用于任何数据集和GAN架构。我们的方法也是计算速度快，并表现出高度的解纠缠，这使得用户可以交互式地执行一系列的编辑图像。我们在GAN生成的图像和真实图像上的实验定性地证明了我们方法的高质量和优势。
2022-02-17 cs.CV cs.LG
GSANet: Semantic Segmentation with Global and Selective Attention
Samsung SOC R&D Lab（三星SOC研发实验室）；San Diego（圣地亚哥（此处仅为城市名，按要求仅提取机构，原文本中San Diego为城市名，实际机构为Samsung SOC R&D Lab，原答案中补充的San Diego不符合提取要求，正确应为仅Samsung SOC R&D Lab）修正后：{）
提出了一种新的用于语义分割的深度学习架构。建议的全球和选择性注意力网络（GSANet）的特点Atrous空间金字塔池（ASPP）与一个新的sparsemax全球注意力和一个新的选择性注意力，部署了凝聚和扩散机制，以聚合多尺度上下文信息从提取的深层功能。还提出了一种选择性注意解码器来处理GSA-ASPP输出，以优化softmax音量。我们是第一个使用低复杂度特征提取网络（FXN）MobileNetEdge对语义分割网络的性能进行基准测试的公司，该网络针对边缘设备的低延迟进行了优化。我们表明，GSANet可以导致更准确的分割与MobileNetEdge，以及强大的FXN，如Xception。GSANet提高了ADE 20 k和Cityscapes数据集上最先进的语义分割准确性。
2020-02-14 cs.CV cs.LG eess.IV
Topology preserving Image segmentation using the iterative convolution-thresholding method
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对传统图像分割模型忽略目标拓扑特性导致结果偏差的问题，本文提出拓扑保持迭代卷积阈值法TP-ICTM，通过引入拓扑保持约束显式保留连通性等特性，提升了复杂结构或含噪图像分割的准确性与鲁棒性。
2025-03-22 cs.CV
Enhancing Foreground Boundaries for Medical Image Segmentation
NVIDIA（英伟达）
目标分割在现代医学图像分析中起着重要的作用，对临床研究、疾病诊断、手术规划等都有重要意义。鉴于医学图像的各种模态，自动或半自动分割方法已被用于识别和解析器官、骨骼、肿瘤和其他感兴趣区域（ROI）。然而，这些当代的分割方法往往无法预测的ROI的边界区域，因为模糊的外观对比度在成像过程中造成的。为了进一步提高边界区域的分割质量，我们提出了边界增强损失，以加强对优化机器学习模型的额外约束。所提出的损失函数是轻量级的，易于实现，无需任何预处理或后处理。我们的实验结果验证了我们的损失函数在分割精度方面优于或至少与其他最先进的损失函数相当。
2020-05-29 cs.CV eess.IV
LevelSet R-CNN: A Deep Variational Method for Instance Segmentation
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）；MIT（麻省理工学院）
获得精确的实例分割掩模在许多现代应用（例如机器人操作和自动驾驶）中具有高度重要性。目前，许多最先进的模型都是基于Mask R-CNN框架的，该框架虽然非常强大，但以低分辨率输出掩码，这可能导致边界不精确。另一方面，经典的变分分割方法施加所需的全球和当地的数据和几何约束的掩模，通过优化的能量泛函。虽然数学上很优雅，但它们直接依赖于良好的初始化，非鲁棒的图像提示和手动设置超参数，使其不适合现代应用。我们提出了LevelSet R-CNN，它通过获得强大的特征表示来结合这两个世界的优点，这些特征表示以端到端的方式与变分分割框架相结合。我们证明了我们的方法在COCO和Cityscapes数据集上的有效性。
2020-07-30 cs.CV
Semantic Image Segmentation with Task-Specific Edge Detection Using CNNs and a Discriminatively Trained Domain Transform
Google Inc.（谷歌公司）
深度卷积神经网络（CNN）是最先进的语义图像分割系统的支柱。最近的工作表明，用全连接条件随机场（CRF）补充CNN可以显着提高其对象定位精度，但密集的CRF推理在计算上是昂贵的。我们建议用域变换（DT）代替完全连接的CRF，域变换是一种现代的边缘保持滤波方法，其平滑量由基准边图控制。域变换过滤比密集CRF推理快几倍，我们表明，它产生可比的语义分割结果，准确地捕捉对象边界。重要的是，我们的公式允许从中间CNN特征学习基准边图，而不是像标准DT滤波那样使用图像梯度幅度。这在优化目标语义分割质量的端到端可训练系统中产生任务特定的边缘。
2016-06-02 cs.CV
SPG-Net: Segmentation Prediction and Guidance Network for Image Inpainting
University of Southern California（南加州大学）；Baidu Research（百度研究院）
在本文中，我们专注于图像修补任务，旨在恢复一个不完整的图像的上下文信息的缺失区域。深度生成模型的最新发展为图像合成和修复任务提供了一个有效的端到端框架，但基于生成模型的现有方法没有利用分割信息来约束对象形状，这通常会导致边界上的模糊结果。为了解决这个问题，我们提出了引入语义分割信息，它解开类间差异和类内变化的图像修补。这导致语义上不同的区域之间的更清晰的恢复边界和语义上一致的片段内的更好的纹理。该模型将图像修补过程分解为分割预测（SP-Net）和分割指导（SG-Net）两个步骤，首先预测缺失区域的分割标签，然后生成分割指导的修补结果。在多个公共数据集上的实验表明，该方法在优化图像修补质量方面优于现有方法，并且交互式分割指导为图像修补的多模态预测提供了可能。
2018-08-06 cs.CV
Leveraging Contrastive Learning for Semantic Segmentation with Consistent Labels Across Varying Appearances
本文提出一个多天气城市场景合成数据集及利用对比学习实现特征一致性的域自适应方法，有效提升了跨域语义分割性能并确立了合成数据生成与域自适应的新范式。
2024-12-21 cs.CV
Single Image Test-Time Adaptation for Segmentation
Czech Technical University in Prague（布拉格捷克技术大学）；Faculty of Electrical Engineering（电气工程学院）；Technion – Israel Institute of Technology（以色列理工学院）
本文研究仅用单张无标签图像对分割模型进行测试时自适应，提出基于自监督损失优化的方法及带掩膜细化的对抗训练，相比未自适应基线最高提升3.51%。
2024-07-02 cs.CV
Information-Theoretic Segmentation by Inpainting Error Maximization
TTI-Chicago（芝加哥丰田技术研究所）；Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）
我们从信息论的角度研究图像分割，提出了一种新的对抗方法，通过将图像划分为最大独立集来执行无监督分割。更具体地说，我们将图像像素分组为前景和背景，目标是最小化一组像素与另一组像素的可预测性。容易计算的损失驱动贪婪搜索过程以最大化这些分区上的修复错误。我们的方法不涉及训练深度网络，计算成本低，类别不可知，甚至可以单独应用于单个未标记的图像。实验表明，它实现了一个新的国家的最先进的无监督分割质量，同时大大加快，比竞争对手的方法更普遍。
2021-06-29 cs.CV
Joint Learning of Motion Estimation and Segmentation for Cardiac MR Image Sequences
Imperial College London（帝国理工学院）；Queen Mary University of London（伦敦玛丽女王大学）；University of Oxford（牛津大学）
心脏运动估计和分割在定量评价心脏功能和心血管疾病诊断中具有重要作用。在本文中，我们提出了一种新的深度学习方法，用于心脏MR图像序列的运动和分割的联合估计。所提出的网络由两个分支组成：心脏运动估计分支，它是建立在一个新的无监督暹罗风格的递归空间Transformer网络，和心脏分割分支，是基于一个完全卷积网络。特别地，通过同时优化分割分支和运动估计分支来学习联合多尺度特征编码器。这通过利用在运动估计分支中从大量未注释的数据中无监督地学习的特征来实现弱监督分割。使用来自220名受试者的心脏MRI图像的实验结果表明，这两个任务的联合学习是互补的，所提出的模型在准确性和速度方面明显优于竞争方法。
2018-06-11 cs.CV
FIFO: Learning Fog-invariant Features for Foggy Scene Segmentation
POSTECH（浦项科技大学）；NALBI
恶劣天气条件下的鲁棒视觉识别在现实世界的应用中非常重要。在这种情况下，我们提出了一种新的方法来学习语义分割模型对雾鲁棒。其核心思想是将图像的雾状状态作为其风格，在分割模型的神经风格空间中缩小不同雾状状态图像之间的差距。特别是，由于图像的神经风格通常受到其他因素以及雾的影响，我们引入了一个雾通滤波器模块，该模块学习从风格中提取雾相关因素。交替优化雾通滤波器和分割模型逐渐关闭不同雾条件之间的风格差距，并允许学习雾不变的功能。我们的方法大大优于以前的工作三个真正的雾图像数据集。此外，它提高了雾和清晰天气图像的性能，而现有的方法往往降低清晰场景的性能。
2022-04-04 cs.CV
PaddleSeg: A High-Efficient Development Toolkit for Image Segmentation
Baidu Inc.（百度公司）
图像分割在计算机视觉和图像处理中起着至关重要的作用，从医疗诊断到自动驾驶汽车的各种应用。许多分割算法已经被提出来解决特定的问题。近年来，深度学习技术的成功极大地影响了广泛的计算机视觉领域，基于深度学习的现代图像分割方法正变得流行。在本文中，我们介绍了一个高效的图像分割开发工具包，名为PaddleSeg。该工具包旨在帮助开发人员和研究人员设计分割模型，训练模型，优化性能和推理速度以及部署模型的整个过程。目前，PaddleSeg支持大约20种流行的分割模型和50多种来自实时和高精度级别的预训练模型。通过模块化组件和骨干网络，用户可以轻松构建100多个模型以满足不同的需求。此外，我们提供了全面的基准测试和评估，以表明在我们的工具包上训练的这些分割算法具有更有竞争力的准确性。此外，我们还提供基于PaddleSeg的各种实际工业应用和实际案例。PaddleSeg的所有代码和示例都可以在https://github.com/PaddlePaddle/PaddleSeg上找到。
2021-01-15 cs.CV
Seeing Behind Things: Extending Semantic Segmentation to Occluded Regions
The University of Adelaide（阿德莱德大学）；Chalmers University of Technology（查尔姆斯理工大学）
近年来，由于深度神经网络（DNN）的出现，语义分割和实例级分割取得了实质性进展。提出了许多具有卷积神经网络（CNN）的深度架构，这些架构大大超过了传统的机器学习分割方法。这些架构通常通过优化交叉熵损失来预测每个像素的直接可观察的语义类别。在这项工作中，我们推动了语义分割的限制，预测直接可见以及被遮挡的对象或对象部分的语义标签，其中网络的输入是一个单一的深度图像。我们组的语义类别成一个背景和多个前景对象组，我们提出了一个修改的标准交叉熵损失，以应付设置。在我们的实验中，我们证明了通过最小化所提出的损失来训练的CNN能够预测可见和遮挡对象部分的语义类别，而无需增加网络大小（与标准分割任务相比）。结果在新生成的数据集（从SUNC扩展）数据集上进行了验证。
2019-09-17 cs.CV
Moondream Segmentation: From Words to Masks
M87 Labs, San Francisco, CA, USA（M87实验室，美国加利福尼亚州旧金山）
月梦分割基于Moondream 3扩展，通过自回归解码生成掩码并迭代优化，引入强化学习阶段提升分割精度，实现RefCOCO和LVIS数据集的高精度分割结果。
2026-04-03 cs.AI cs.CV
Multislice Modularity Optimization in Community Detection and Image Segmentation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Oxford（牛津大学）
由于网络可以用来表示许多复杂的系统，因此在物理学、计算机科学、社会学和许多其他学科中引起了相当大的关注。网络科学最重要的领域之一是内聚群的算法检测（即，“社区”）的节点。在本文中，我们算法检测社区在社交网络和图像数据，通过优化多层模块化。模块化优化的一个主要优点是它不需要社区数量或大小的先验知识，并且能够找到由不同大小的社区组成的网络分区。通过优化多切片模块化并随后计算对所得到的网络分区的诊断，从而可以获得关于跨多个系统尺度的网络结构的信息。我们说明了这种方法的数据从社交网络和图像，我们发现，优化的多层模块化在这两个任务上表现良好，而不需要广泛的问题特定的适应。然而，提高这种方法的计算速度仍然是一个具有挑战性的开放问题。
2012-11-30 cs.CV cs.SI physics.data-an
Optimizing Contrail Detection: A Deep Learning Approach with EfficientNet-b4 Encoding
Trine University（特莱恩大学）；University of Maryland Eastern Shore（马里兰大学东海岸分校）；Columbia University（哥伦比亚大学）；Northeastern University（东北大学）；Northern Arizona University（北亚利桑那大学）
本文提出一种基于EfficientNet-b4编码器的深度学习方法，集成错位校正、软标签和伪标签技术，以提高卫星图像中尾迹检测的准确性和效率，助力可持续航空。
2024-04-20 cs.AI cs.CV cs.LG
Iterative Segmentation from Limited Training Data: Applications to Congenital Heart Disease
Martinos Center for Biomedical Imaging, Massachusetts General Hospital（马萨诸塞州总医院马丁诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）；Cornell University（康奈尔大学）；Philips Research Laboratories（飞利浦研究实验室）；Boston Children’s Hospital（波士顿儿童医院）
我们提出了一个新的迭代分割模型，可以从一个小的数据集准确地学习。一种常见的方法是训练模型以直接分割图像，这需要大量手动注释的图像来捕获队列中的解剖变异性。相比之下，我们开发了一个分割模型，该模型通过几个步骤递归地演化分割，并将其实现为循环神经网络。我们学习模型参数，除了最后的分割优化的中间步骤的演变。为此，我们训练我们的分割传播模型，提出不完整和/或不准确的输入分割配对与建议的下一步。我们的工作旨在缓解先天性心脏病（CHD）患者心脏MRI分割心脏结构的挑战，其中包括一系列形态变形和拓扑变化。我们在来自CHD患者的20张图像的数据集上展示了这种方法的优势，学习了一种精确分割单个心脏腔室和大血管的模型。与直接分割相比，迭代法对最严重的CHD畸形患者产生更准确的分割。
2018-09-11 cs.CV
