Enhancing Rock Image Segmentation in Digital Rock Physics: A Fusion of Generative AI and State-of-the-Art Neural Networks
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Saudi Aramco EXPEC Advanced Research Center（沙特阿美EXPEC高级研究中心）
本研究融合扩散模型与U-Net、Attention-U-net及TransUNet，增强岩石图像分割，TransU-Net以最优精度和IoU减少专家数据依赖，推动数字岩石物理发展。
2023-11-10 cs.CV eess.IV
TSI-Net: A Timing Sequence Image Segmentation Network for Intracranial Artery Segmentation in Digital Subtraction Angiography
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Tiantan Hospital, Capital Medical University（首都医科大学附属北京天坛医院）
提出TSI-Net网络，通过在编码器引入双向ConvGRU模块处理可变长度DSA序列，并加入敏感细节分支监督细小血管，在DIAS数据集上Sen指标达0.797，显著提升颅内动脉分割性能。
2023-09-07 cs.CV eess.IV
Temporally stable video segmentation without video annotations
Lightricks；The Hebrew University（希伯来大学）
时间上一致的密集视频注释是稀缺的，很难收集。相比之下，图像分割数据集（和预训练模型）是无处不在的，更容易标记任何新的任务。在本文中，我们介绍了一种方法，以适应静止图像分割模型的视频在无监督的方式，通过使用光流为基础的一致性措施。为了确保推断的分割视频在实践中看起来更稳定，我们通过用户研究验证了一致性度量与人类判断的相关性。训练一个新的多输入多输出解码器使用这种措施作为损失，再加上一种技术，用于完善当前的图像分割数据集和时间加权引导过滤器，我们观察到稳定性的改善，在生成的分段视频的准确性损失最小。
2022-03-17 cs.CV
SAM-Path: A Segment Anything Model for Semantic Segmentation in Digital Pathology
Stony Brook University（石溪大学）；Snap Inc.（斯纳普公司）；CentraleSupélec（巴黎中央理工-高等电力学院）；University of Paris-Saclay（巴黎萨克雷大学）
针对SAM在数字病理语义分割中适用性不足的问题，研究提出SAM-Path框架，通过可训练类别提示适配语义分割并加入病理基础模型增强，在BCSS、CRAG数据集上实现显著性能提升。
2023-07-12 cs.CV eess.IV
HistoSeg : Quick attention with multi-loss function for multi-structure segmentation in digital histology images
National University of Sciences and Technology (NUST)（国立科技大学（NUST））
医学图像分割有助于计算机辅助诊断、手术和治疗。数字化组织切片图像用于分析和分割腺体、细胞核和其他生物标志物，这些生物标志物进一步用于计算机辅助医疗应用。为此，许多研究人员开发了不同的神经网络来对组织学图像进行分割，这些网络大多基于编码器-解码器架构，并且还利用复杂的注意力模块或Transformers。然而，这些网络在多个尺度上准确地捕获相关的局部和全局特征时不太准确，因此，我们提出了编码器-解码器网络，快速注意模块和多损失函数（二进制交叉熵（BCE）损失，焦点损失和骰子损失的组合）。我们在两个公开的医学图像分割数据集MoNuSeg和GlaS上评估了我们提出的网络的泛化能力，并在MoNuSeg数据集上提高了1.99%，在GlaS数据集上提高了7.15%，优于最先进的网络。实现代码可在以下链接获得：https://bit.ly/HistoSeg
2022-09-01 cs.CV eess.IV
Path-SAM2: Transfer SAM2 for digital pathology semantic segmentation
Nanjing University（南京大学）；BISTU（北京信息科技大学）
本文提出Path-SAM2，首次将SAM2适配到病理语义分割任务，通过融合UNI病理视觉编码器并引入可学习KAN分类模块替代手动提示，在三个腺瘤病理数据集上取得了最先进性能。
2024-09-04 cs.CV eess.IV
Robustness Evaluation of a Foundation Segmentation Model Under Simulated Domain Shifts in Abdominal CT: Implications for Health Digital Twin Deployment
Healthcare Informatics, University of Illinois Springfield（医疗信息学，伊利诺伊大学斯普林菲尔德分校）
本文评估了SAM(ViT-B)在腹部CT脾脏分割中的鲁棒性，通过模拟临床真实医学影像域移位，发现其在中等CT域移位下表现稳定，支持其作为医学影像分割研究的基础基线。
2026-04-28 cs.CV eess.IV
Coherent Loss: A Generic Framework for Stable Video Segmentation
Dalian University of Technology（大连理工大学）；Baidu Inc.（百度公司）
视频分割方法对于许多视觉任务特别是用于娱乐的视频处理具有重要意义。由于在大规模不同环境下获取高质量的每帧分割注释和大型视频数据集的挑战，学习方法在测试数据集上显示出整体更高的准确性，但在大多数实际应用中缺乏严格的时间约束来自我校正抖动伪影。我们研究了这种抖动伪影如何降低视频分割结果的视觉质量，并提出了一个时间稳定性的度量来数值评估它。特别是，我们提出了一个通用框架的相干损失，以提高神经网络对抖动伪影的性能，它结合了高精度和高一致性。配备了我们的方法，现有的视频对象/语义分割方法实现了显着的改善，在更令人满意的视觉质量方面的视频人体数据集，我们提供了在这一领域的进一步研究，也DAVIS和城市景观。
2020-10-25 cs.CV
Digital Rock Typing DRT Algorithm Formulation with Optimal Supervised Semantic Segmentation
3D地质模型中的每个网格块都需要一种岩石类型，以表示该块的所有物理和化学属性。划分岩石类型的属性是岩性、渗透率和毛管压力。科学家和工程师使用传统的实验室测量来确定这些特性，这些测量对样品嵌入破坏性方法或改变其一些特性（即，润湿性、渗透性和孔隙度），因为测量过程包括样品破碎、流体流动或流体饱和度。最近，数字岩石物理学（DRT）已经出现，以量化这些属性从微型计算机断层扫描（uCT）和磁共振成像（MRI）图像。然而，这些文献并没有尝试在完全数字化的背景下进行岩石分类。我们建议通过以下方式执行数字岩石分型（DRT）：（1）将最新的DRP进展集成到一个新的过程中，该过程支持数字岩石特性测定，同时;（2）将碳酸盐岩中最新的岩石分型方法数字化，以及（3）引入一个新的碳酸盐岩分型过程，该过程利用计算机视觉功能提供有关非均质碳酸盐岩纹理的更多见解。
2022-01-05 astro-ph.EP cs.CV cs.LG
Object Propagation via Inter-Frame Attentions for Temporally Stable Video Instance Segmentation
Birla Institute of Technology and Science Pilani（比尔拉技术与科学学院皮拉尼分校）；Harvard University（哈佛大学）；University of Oxford（牛津大学）
视频实例分割的目的是检测、分割和跟踪视频中的对象。当前的方法将图像级分割算法扩展到时域。然而，这导致时间上不一致的掩模。在这项工作中，我们确定的掩模质量由于时间稳定性作为性能瓶颈。基于此，我们提出了一种视频实例分割方法，解决了由于检测缺失而导致的问题。由于这不能简单地使用空间信息来解决，因此我们使用帧间注意力来利用时间上下文。这使得我们的网络能够使用来自相邻帧的框预测来重新关注丢失的对象，从而克服丢失的检测。我们的方法在YouTube-VIS基准测试中实现了36.0%的mAP，显著优于使用Mask R-CNN主干的先前最先进的算法。此外，我们的方法是完全在线的，不需要未来的帧。我们的代码可在https://github.com/anirudh-chakravarthy/ObjProp上公开获取。
2021-12-14 cs.CV
Detecting Deepfake-Forged Contents with Separable Convolutional Neural Network and Image Segmentation
National Chung Hsing University（中兴大学）；Yango University（阳光学院）
人工智能技术的最新进展使数字图像和视频的伪造变得更加容易，识别这种伪造变得更加困难。这些言论如果恶意传播，可能对社会和政治稳定产生负面影响，并构成重大的道德和法律挑战。Deepfake是自动编码器的一种变体，它使用深度学习技术来识别和交换图片或电影中的人脸图像。Deepfake可能导致公众对数字图像和视频的信任受到侵蚀，这对政治和社会稳定产生深远影响。因此，这项研究提出了一种面部伪造检测的解决方案，以确定图片或电影是否曾经被Deepfake处理过。所提出的解决方案通过使用最近提出的可分离卷积神经网络（CNN）和图像分割来达到检测效率。此外，本研究还研究了不同的图像分割方法如何影响检测结果。最后，集成模型用于提高检测能力。实验结果表明，该方案具有良好的性能.
2019-12-21 cs.CV
PVBM: A Python Vasculature Biomarker Toolbox Based On Retinal Blood Vessel Segmentation
Technion-IIT（以色列理工学院）；KU Leuven（鲁汶大学）；University Hospitals UZ Leuven（鲁汶大学附属医院）
简介：血管可以通过数字眼底图像（DFI）进行无创可视化。几项研究表明，心血管风险与从DFI获得的血管特征之间存在关联。计算机视觉和图像分割的最新进展使得能够自动化DFI血管分割。需要一种可以从这些分割的DFI自动计算数字脉管系统生物标志物（VBM）的资源。方法：在本文中，我们介绍了一个Python Vasculature BioMarker工具箱，表示为PVBM。共实施了11个虚拟边界管理系统。特别是，我们引入新的算法方法来估计曲折度和分支角度。使用PVBM，并作为可用性的证明，我们分析了昏迷患者和健康对照之间的几何血管差异。结果如下：我们基于DFI分割建立了一个全自动的血管生物标志物工具箱，并提供了表征青光眼血管变化的可用性证明。对于小动脉和小静脉，除了迂曲度、小静脉奇点长度和小静脉分支角度之外，青光眼患者的所有生物标志物均显著低于健康对照。结论：我们已经自动化的计算11 VBMs从视网膜血管分割。PVBM工具箱在GNU GPL 3许可证下开源，可在physiozoo.com上获得（以下出版物）。
2022-07-31 cs.CV
Image Segmentation using Multi-Threshold technique by Histogram Sampling
Martin Luther Christian University（马丁·路德基督教大学）
数字图像的分割是图像处理或计算机视觉系统中必不可少的步骤之一。它有助于根据像素的强度水平将像素分成不同的区域。已经提出了大量的分割技术，其中一些使用复杂的计算操作。其中，最简单的程序，可以很容易地实现是阈值。在本文中，我们提出了一种独特的启发式方法，自动确定多级阈值的数字图像的直方图采样的图像分割。我们的方法强调选择一个山谷作为最佳阈值。我们证明了我们的方法优于流行的大津的方法在CPU的计算时间。我们证明了我们的方法优于流行的大津的方法在CPU的计算时间。我们在流行的图像处理基准测试中观察到了35.58倍的最大加速和10.21倍的最小加速。为了证明我们的方法在确定阈值的正确性，我们计算的PSNR，SSIM，和FSIM值进行比较，通过大津的方法获得的值。这种评估表明，我们的方法是可比的，更好地在许多情况下，相比，众所周知的大津的方法。
2019-09-11 cs.CV
DSCA: A Digital Subtraction Angiography Sequence Dataset and Spatio-Temporal Model for Cerebral Artery Segmentation
Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences（中国科学院宁波材料技术与工程研究所）；School of Cyber Science and Engineering, Ningbo University of Technology（宁波工程学院网络空间安全学院）；Shandong Artificial Intelligence Institute, Qilu University of Technology（齐鲁工业大学山东省人工智能研究院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Erasmus MC, University Medical Center（伊拉斯姆斯大学医学中心）；Department of Biomedical Engineering, Eindhoven University of Technology（埃因霍温理工大学生物医学工程系）；First Affiliated Hospital of Zhengzhou University（郑州大学第一附属医院）
本文构建公开的 DSA 脑动脉像素级分割数据集 DSCA，并提出含 TemporalFormer 与 STF 模块的时空网络 DSANet，利用多帧时序信息提升细小血管分割性能，Dice 达 0.9033。
2025-02-20 cs.CV eess.IV
Multi-Resolution Networks for Semantic Segmentation in Whole Slide Images
ContextVision AB（ContextVision公司）
数字病理学提供了将全卷积网络（FCN）应用于任务的绝佳机会，例如全载玻片图像（WSI）的语义分割。然而，标准的FCN面临着从WSI的金字塔排列继承的多分辨率方面的挑战。因此，需要专门设计用于学习和汇总不同级别信息的网络。在本文中，我们提出了两种新的多分辨率网络的基础上流行的“U网”架构，这是一个基准数据集上进行评估的二进制语义分割在WSI。所提出的方法优于U-Net，表现出卓越的学习和泛化能力。
2018-07-25 cs.CV
SD-FSMIS: Adapting Stable Diffusion for Few-Shot Medical Image Segmentation
Computer Vision Institute, College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院计算机视觉研究所）
本文提出SD-FSMIS框架，通过引入支持-查询交互和视觉到文本条件翻译模块，利用预训练的稳定扩散模型提升少样本医学图像分割的效率与鲁棒性。
2026-04-09 cs.CV
Feature Fusion through Multitask CNN for Large-scale Remote Sensing Image Segmentation
Beijing University of Chemical Technology（北京化工大学）
近年来，全卷积网络（FCN）已被广泛应用于各种语义分割任务，包括多模态遥感图像。如何融合多模态数据以提高分割性能一直是研究的热点。本文提出了一种新的端到端全卷积神经网络，用于自然颜色、红外图像和数字表面模型（DSM）的语义分割。它基于修改后的DeepUNet，并以多任务方式执行分割。通道被聚类成组，并在不同的任务管道上处理。经过一系列的分割和融合，它们的共享特征和私有特征被成功地融合在一起。实验结果表明，该特征融合网络是有效的。该方法在ISPRS语义标注竞赛（2D）中取得了良好的效果。
2018-07-24 cs.CV
Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；University of Trento（特伦托大学）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；School of Computer Science, University of Nottingham（诺丁汉大学计算机学院）
针对无源域语义分割中的伪标签噪声问题，提出SND通过最近邻关联稳定与不稳定样本，并以双层学习和对象粘贴实现可靠去噪，显著提升适应性与性能。
2024-06-10 cs.CV
Brain Segmentation from k-space with End-to-end Recurrent Attention Network
Siemens Healthineers（西门子医疗）；Rutgers University（罗格斯大学）
医学图像分割的任务通常涉及图像重建步骤，以在任何分析之前将采集的原始数据转换为图像。然而，由于重建过程中的噪声，伪影和信息丢失几乎是不可避免的，这损害了分割的最终性能。我们提出了一种新的学习框架，直接从k空间数据进行磁共振脑图像分割。端到端的框架包括一个独特的任务驱动的注意力模块，该模块反复利用中间分割估计，以促进从原始数据中的图像域特征提取，从而紧密地桥接重建和分割任务。此外，为了解决手动标记的挑战，我们引入了一种新的工作流程，通过利用成像模态模拟器和数字幻影生成标记的训练数据进行分割。大量的实验结果表明，该方法优于几个国家的最先进的方法。
2019-07-21 cs.CV
Depth-Assisted ResiDualGAN for Cross-Domain Aerial Images Semantic Segmentation
Institute of Remote Sensing and Geographic Information System, Peking University（北京大学遥感与地理信息系统研究所）
无监督领域自适应（UDA）是一种最小化领域间隙的方法。生成方法是最小化空间图像的域间隙的常用方法，其提高下游任务的性能，例如，跨领域语义分割。对于航空影像，数字表面模型（DSM）通常在源域和目标域都可用。DSM中的深度信息为生成模型带来了外部信息。本文提出了一种深度辅助的ResidDualGAN（DRDG）算法，该算法利用深度监督损失（DSL）和深度周期一致性损失（DCCL）将深度信息引入到生成模型中。实验结果表明，DRDG在跨领域语义分割任务中达到了生成方法之间最先进的准确性。
2022-08-27 cs.CV
Jordan-Segmentable Masks: A Topology-Aware definition for characterizing Binary Image Segmentation
Department of Mathematics, University of Bari Aldo Moro（巴里阿尔多·莫罗大学数学系）
本文提出基于乔丹曲线定理的拓扑感知分割定义，通过同调理论和贝蒂数评估分割掩码的拓扑一致性，以改进传统评估指标在保持拓扑正确性方面的不足。
2026-01-19 cs.CV cs.NA math.AT
Minding Fuzzy Regions: A Data-driven Alternating Learning Paradigm for Stable Lesion Segmentation
School of Software, Shandong University（山东大学软件学院）
针对病灶边界模糊和噪声标签导致分割不稳定的问题，提出 DALE 交替学习范式，通过损失一致性协同优化与分布对齐提升训练稳定性，实验显示平均性能最高提升 7.16%。
2025-03-14 cs.CV
Zero-Parameter Geometric Gating for Temporally Stable Low-Altitude UAV Video Semantic Segmentation
Beihang University（北京航空航天大学）；Northeastern University（东北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Beijing Institute of Technology（北京理工大学）
提出零参数几何门控，利用RANSAC单应性内点比率在16x16网格上路由区域，结合语义相似性传播实现时间稳定分割，在合成UAVid上提升mIoU达4.91%。
2026-06-08 cs.CV
A new automatic approach to seed image analysis: From acquisition to segmentation
Escola Agrícola de Jundiaí (EAJ), Universidade Federal do Rio Grande do Norte (UFRN)（南大河州联邦大学）；Dipartimento di Matematica e Informatica, Università degli Studi di Cagliari（卡利亚里大学）；Hortus Botanicus Karalitanus (HBK), Università degli Studi di Cagliari（卡利亚里大学）
图像分析技术为基于种子形态和颜色特征的维管植物分类提供了新的工具，在系统研究方面做出了重要贡献。然而，为了提取形态和色度特征，有必要分割包含待分析样品的图像。这个阶段代表了图像处理中最具挑战性的步骤之一，因为很难从背景中分离均匀和同质的对象。在本文中，我们提出了一个新的，开源插件的种子样本的图像的自动分割。这个插件是用Java编写的，允许它与ImageJ开源软件一起工作。新插件在来自120种豆科植物的3，386个种子样本上进行了测试。使用平板扫描仪获取数字图像。为了测试这种方法在识别物体边缘并将其与背景分离方面的有效性，每个样本都使用四种不同的蓝色背景进行扫描，总共制作了480张数字图像。将新插件的性能与使用相同种子样本的基于双重图像采集（具有黑白背景）的方法进行比较，其中使用Core ImageJ插件手动分割图像。结果表明，新插件能够分割所有的数字图像，而不会产生任何目标检测错误。此外，新插件能够在平均0.02秒内分割图像，而手动方法的平均执行时间为63秒。这个新的开源插件被证明能够处理单个图像，并且在处理大量图像和各种形状时，在时间和分割方面非常高效。
2020-12-11 cs.CV
Efficient Semantic Understanding from Digital Foveation
Zurich University of Applied Sciences (ZHAW)（苏黎世应用科技大学）；ETH Zürich（苏黎世联邦理工学院）；Politecnico di Torino（都灵理工大学）；University of Tübingen（蒂宾根大学）；Czech Technical University（捷克技术大学）
该研究提出轻量主动视觉流水线，通过数字凹视实现高效语义理解，在ADE20K-Object数据集上仅用少量计算即可达到接近基线的准确率，为语义分割提供高效替代方案
2026-09-04 cs.CV
Sat2lod2: A Software For Automated Lod-2 Modeling From Satellite-Derived Orthophoto And Digital Surface Model
The Ohio State University（俄亥俄州立大学）
从卫星图像重建的正射影像和数字表面模型（DSM）推导LoD 2模型是一项具有挑战性的任务。现有的解决方案大多是需要复杂的逐步过程的系统方法，不仅包括启发式几何操作，而且包括高级步骤，例如基于机器学习的语义分割和建筑物检测。在本文中，我们描述了一个开源工具，称为SAT 2LOD 2，基于我们最近发表的工作的微小修改版本构建。SAT 2LoD 2是一个完全开源的基于GUI（图形用户界面）的软件，使用Python编写，以正射影像和DSM作为输入，并输出单个建筑模型，此外还可以采用道路网络shapefiles和自定义分类地图，以进一步改善重建结果。我们通过以下方式进一步提高了该方法的鲁棒性：1）将基于HRNetV 2的建筑物分割集成到我们的软件中; 2）实施了一种决策策略来识别复杂建筑物并直接生成网格，以避免从系统角度进行错误的LoD 2重建。该软件可以使用带有支持CUDA的图形卡的PC处理中等水平的数据（约5000*5000大小的正射影像和DSM）。此外，图形用户界面是自包含的，并存储中间处理结果，方便研究人员学习的过程中容易和重用的中间文件，根据需要。更新后的代码和软件可在此GitHub页面下获得：https://github.com/GDAOSU/LOD2BuildingModel。
2022-04-08 cs.CV
ExtremeMETA: High-speed Lightweight Image Segmentation Model by Remodeling Multi-channel Metamaterial Imagers
Vanderbilt University（范德堡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出大核轻量级分割模型ExtremeMETA，通过扩大卷积核和多路径处理增强首层能力，并应用模型压缩，在三个数据集上将mIoU从92.45提升至95.97，同时将计算量从461.07降至166.03 MMacs。
2024-05-27 cs.CV
Texture Fuzzy Segmentation using Skew Divergence Adaptive Affinity Functions
Federal University at Rio Grande do Norte（北里奥格兰德联邦大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brazilian Federal Highway Police Station（巴西联邦公路警察局）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）
数字图像分割是指对数字图像中的不同对象分配不同标签的过程，模糊分割算法已成功地用于从各种源中分割图像。然而，传统的模糊分割算法无法分割的对象，其特征在于纹理的模式不能成功地描述简单的统计计算在一个非常有限的区域。在本文中，我们提出了一个扩展的模糊分割算法，使用自适应纹理的亲和函数来执行二维图像上的对象的分割。自适应亲和度函数根据正在处理的纹理的特性，在计算种子拼写（空间元素）周围的纹理描述符时计算其适当的邻域大小。然后，该算法分割图像与每个对象的适当的邻域。我们进行了实验的马赛克图像，使用Brodatz数据库中的图像组成，并将我们的结果与最近出版的纹理分割算法，显示我们的方法的适用性。
2017-10-07 cs.AI cs.CV cs.GR
Semantic Segmentation of Colon Glands with Deep Convolutional Neural Networks and Total Variation Segmentation
Institute of Biophysics, Center for Physiological Medicine, Medical University of Graz（格拉茨医科大学医学生物物理研究所）；Institute of Neuroinformatics, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）；Institute for Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形与视觉研究所）；Ludwig Boltzmann Institute for Clinical Forensic Imaging（路德维希·玻尔兹曼临床法医影像研究所）；BioTechMed-Graz（格拉茨生物技术医学联盟）
组织病理学切片的分割是数字病理学中普遍存在的要求，并且由于生物组织的大的可变性，机器学习技术已经显示出优于标准图像处理方法的性能。作为GlaS@MICCAI2015结肠腺分割挑战的一部分，我们提出了一种基于学习的算法来分割良性和恶性结直肠癌组织中的腺体。根据苏木精-伊红染色协议对图像进行预处理，并将两个深度卷积神经网络（CNN）训练为像素分类器。然后使用基于加权总变差的图形-背景分割来正则化CNN预测，以产生最终分割结果。在两个测试集上，我们的方法实现了98%和94%的组织分类准确率，利用我们系统的固有能力来区分良性和恶性组织。
2017-10-10 cs.CV
Principal Component Clustering for Semantic Segmentation in Synthetic Data Generation
Bergische Universität Wuppertal（伍珀塔尔大学）；Aptiv（安波福公司）
提出基于潜在扩散模型自注意力与交叉注意力的语义分割合成数据集生成方法，无需额外分割模型，通过逐头语义凝聚与掩码细化实现分割与分类。
2024-06-25 cs.CV
River Ice Segmentation with Deep Learning
University of Alberta（阿尔伯塔大学）
本文研究了利用数字图像计算两种不同类型冰的表面冰浓度的问题。它提出了尝试解决这个问题的结果，使用几个国家的最先进的语义分割方法的基础上深卷积神经网络（CNN）。该任务提出了两个主要挑战-标记的训练数据的可用性非常有限，并且由于视觉上区分两种类型的冰的巨大困难而存在噪声标记，即使对于人类专家。这些结果被用来分析目前存在的一些最好的深度学习方法在多大程度上可以应对这些挑战。实验中使用的代码和数据是公开的，以促进在这一领域的进一步工作。
2019-06-12 cs.CV
Tool Wear Segmentation in Blanking Processes with Fully Convolutional Networks based Digital Image Processing
本文针对冲裁工艺中刀具磨损监测的局限，提出利用全卷积网络（FCN）对600 spm下获取的12.5万张高分辨率刀具图像进行语义分割，实现磨损表面的直接监测与量化。
2023-10-06 cs.CV eess.IV
Automatic Color Image Segmentation Using a Square Elemental Region-Based Seeded Region Growing and Merging Method
提出了一种基于正方形基本区域的种子区域生长与合并的彩色图像自动分割方法。我们的分割方法包括三个步骤：生成种子区域，合并的区域，并应用像素的边界确定算法得到的多边形区域。我们的方法的主要特点如下：使用方形的基本区域，而不是像素作为处理单元，种子生成方法的基础上增强的梯度值，种子区域生长方法利用局部梯度值，区域合并方法使用的相似性度量，包括同质性距离的基础上Tsallis熵，和区域合并的终止条件，使用估计所需的区域数量。采用正方形区域作为处理单元，大大降低了算法的时间复杂度，使算法性能稳定。实验结果表明，我们的方法对各种自然图像（包括纹理严重的区域）表现出稳定的性能，并且使用相同的参数值可以产生良好的分割结果。我们的方法的结果是相当可比的，在某些方面优于现有的算法。
2017-11-26 cs.CV
Evaluating the Robustness of Semantic Segmentation for Autonomous Driving against Real-World Adversarial Patch Attacks
Scuola Superiore Sant’Anna（圣安娜高等研究院）
深度学习和卷积神经网络可以在计算机视觉任务中实现令人印象深刻的性能，例如目标检测和语义分割（SS）。然而，最近的研究表明，这种模型对对抗性扰动的明显弱点。相反，在现实世界的场景中，比如自动驾驶，应该更多地关注现实世界的对抗性示例（RWAE），它们是物理对象（例如，广告牌和可打印的补丁）被优化为对抗整个感知管道。本文通过测试数字和现实世界对抗补丁的效果，对流行的SS模型的鲁棒性进行了深入评估。这些补丁是精心制作的强大的攻击与一个新的损失函数丰富。首先，通过扩展期望转换（EOT）范式来应对SS，对Cityscapes数据集进行了调查。然后，提出了一种新的攻击优化，称为场景特定攻击。这种攻击利用CARLA驾驶模拟器来提高所提出的基于EOT的攻击到真实3D环境的可转移性。最后，在户外驾驶场景中测试了包含对抗补丁的印刷物理广告牌，以评估所研究的攻击在现实世界中的可行性。详尽的实验表明，提出的攻击公式优于以前的工作，为SS制作数字和现实世界的对抗补丁。与此同时，实验结果表明，这些攻击在现实世界中的效果明显较差，因此质疑对抗攻击与SS模型的实际相关性。
2021-08-13 cs.CV
MeshSegmenter: Zero-Shot Mesh Semantic Segmentation via Texture Synthesis
ShanghaiTech University（上海科技大学）；Shandong University（山东大学）；Xiaohongshu Inc（小红书公司）；Alibaba Group（阿里巴巴集团）；The University of Hong Kong（香港大学）
MeshSegmenter通过结合SAM与stable diffusion生成纹理，并采用多视图重投票方案，实现了零样本3D网格的准确且一致的语义分割。
2024-07-25 cs.CV
Instance Segmentation with Cross-Modal Consistency
Waymo LLC（Waymo有限责任公司）；Adobe Research（Adobe研究院）；Google Research（谷歌研究院）
分割对象实例是机器感知的关键任务，在机器人和自动驾驶中具有安全关键型应用。我们介绍了一种新的方法来实例分割，联合利用多个传感器模态，如相机和激光雷达的测量。我们的方法学习预测每个像素或点的嵌入，从而产生场景的密集分割。具体来说，我们的技术适用于对比学习在场景中的点跨传感器模态和时域。我们证明，这种提法鼓励模型学习嵌入的观点是不变的变化和一致的传感器模态。我们进一步证明了嵌入是稳定的，随着时间的推移，物体在场景中移动。这不仅提供了稳定的实例掩码，还可以为下游任务（如对象跟踪）提供有价值的信号。我们在Cityscapes和KITTI-360数据集上评估了我们的方法。我们进一步进行了一些消融研究，证明了在对比损失中应用额外输入时的益处。
2022-10-14 cs.CV
Stable Diffusion Segmentation for Biomedical Images with Single-step Reverse Process
School of Biomedical Engineering, Sun Yat-sen University（中山大学医学院工程学院）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；International School, Beijing University of Posts and Telecommunications（北京邮电大学国际学院）
针对医学图像分割中扩散模型资源时间消耗大、需多步逆向和多次采样的问题，提出基于稳定扩散的SDSeg模型，通过潜在估计和融合拼接实现单步单次采样的稳定分割，在5个多模态基准数据集上性能超越现有SOTA方法。
2024-07-09 cs.AI cs.CV eess.IV
Repurposing Stable Diffusion Attention for Training-Free Unsupervised Interactive Segmentation
Vivo Tech Research GmbH（维沃技术研究有限公司）
本研究提出一种免训练无监督交互式分割方法，利用Stable Diffusion自注意力构建马尔可夫链生成Markov-map，结合截断最近邻框架实现点提示分割，在多数数据集上NoC指标优于现有基于训练的无监督方法。
2025-03-20 cs.AI cs.CV
HistoSegCap: Capsules for Weakly-Supervised Semantic Segmentation of Histological Tissue Type in Whole Slide Images
Concordia University（康考迪亚大学）；University of Yazd（亚兹德大学）；University of Toronto（多伦多大学）
本文提出基于胶囊网络的弱监督语义分割方法HistoSegCap，用于全幻灯片图像中组织学组织类型分析，在ADP数据集上的准确性和mIoU指标优于传统方法。
2024-02-16 cs.CV cs.LG eess.IV
PU-UNet: Stable Multiplicative Interactions for Medical Image Segmentation
Department of Mathematics, Informatics and Technology, University of Applied Sciences Koblenz（科布伦茨应用科学大学数学、信息学与技术系）；Technical University of Munich（慕尼黑工业大学）
提出PU-UNet，通过稳定乘积单元残差块在低分辨率阶段实现显式乘法特征交互，在三个医学图像分割数据集上提升Dice和IoU，降低假阳性率。
2026-06-19 cs.CV cs.LG
Deep learning-based instance segmentation for the precise automated quantification of digital breast cancer immunohistochemistry images
Hospital Universitario Puerta del Mar（普埃尔塔德尔马大学医院）
本研究提出基于深度学习的实例分割架构，用于自动量化乳腺癌免疫组化图像中的细胞核和膜生物标志物，并开发web平台辅助标注与验证，为病理学家提供决策支持。
2023-11-22 cs.AI cs.CV eess.IV
Structure-Aware Image Segmentation with Homotopy Warping
Stony Brook University（石溪大学）
除了每像素的准确性之外，拓扑正确性对于具有精细尺度结构的图像的分割也是至关重要的，例如，卫星图像和生物医学图像。在本文中，通过利用数字拓扑理论，我们确定在图像中的像素是拓扑结构的关键。通过关注这些关键像素，我们提出了一种新的同伦扭曲损失来训练深度图像分割网络，以获得更好的拓扑准确性。为了有效地识别这些拓扑关键像素，我们提出了一种新的算法，利用距离变换。所提出的算法，以及损失函数，自然地推广到不同的拓扑结构，在2D和3D设置。所提出的损失函数有助于深度网络在拓扑感知度量方面实现更好的性能，优于最先进的结构/拓扑感知分割方法。
2022-10-13 cs.CG cs.CV
Efficient Connectivity-Preserving Instance Segmentation with Supervoxel-Based Loss Function
Allen Institute（艾伦研究所）
针对神经元等丝状结构实例分割中的拓扑错误难题，提出将简单点概念扩展至超体素的拓扑感知神经网络分割方法，并在多个数据集上验证了其低开销与高效性。
2025-03-04 cs.CV q-bio.NC
A new Level-set based Protocol for Accurate Bone Segmentation from CT Imaging
University of Minho（米尼奥大学）
在这项工作中，它提出了一个医学图像分割管道准确的骨骼分割CT成像。这是一个两步的方法，预分割步骤和分割细化步骤。首先，用户执行所需感兴趣区域的粗略分割。接下来，将全自动细化步骤应用于预分割数据。自动分割细化由图像去卷积、图像裁剪和插值等子步骤组成。然后，在图像的去卷积、裁剪和上采样版本上细化用户定义的预分割。该算法被应用于复合股骨的CT图像的分割，重建与不同的重建协议。分割结果根据使用坐标测量机Nikon Metris LK V20获得的黄金标准模型进行确认，该坐标测量机配备数字行扫描仪LC 60-D，可保证28 $μm$的准确度。所有测试数据集均获得了高亚像素精度模型。该算法是能够产生高质量的复合股骨的分割，无论使用的表面网格化策略。
2015-05-12 cs.CV physics.med-ph
SL: Stable Learning in Source-Free Domain Adaption for Medical Image Segmentation
Peking University（北京大学）；Beihang University（北京航空航天大学）
针对医学无源无监督域自适应中现有方法易出现“训练越久性能越差”过拟合的问题，提出由权重巩固和熵提升组成的可扩展稳定学习策略，经实验验证有效并将开源相关代码。
2023-07-24 cs.AI cs.CV
GPU-Based Fuzzy C-Means Clustering Algorithm for Image Segmentation
Universiti Sains Malaysia（马来西亚理科大学）
提出了一种基于GPU的快速实用的模糊C均值（FCM）聚类图像分割算法。首先，进行了广泛的分析，以研究并行化算法中的图像像素之间的依赖性。提出的基于GPU的FCM已经在数字脑模拟数据集上进行了测试，以分割白质（WM），灰质（GM）和脑脊液（CSF）软组织区域。对于大小为1MB的图像数据集，顺序FCM的执行时间为519秒。而提出的基于GPU的FCM算法对于相似大小的图像数据集只需要2.33秒。在具有448个处理器的CUDA设备上，对于40 KB的数据大小，估计有245倍的加速。
2016-03-28 cs.CV cs.DC
Privacy-Preserving Operating Room Workflow Analysis using Digital Twins
Johns Hopkins University（约翰霍普金斯大学）；Johns Hopkins Medical Institutions（约翰霍普金斯医学机构）
针对手术室视频分析的隐私顾虑，提出两阶段流水线：先用视觉基础模型从RGB视频生成去标识化数字孪生，再用SafeOR双流模型基于分割掩码和深度图做事件检测，性能与原视频方法相当，可实现隐私保护与跨机构数据共享。
2025-07-03 cs.AI cs.CV cs.LG
X-Paste: Revisiting Scalable Copy-Paste for Instance Segmentation using CLIP and StableDiffusion
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）
本文提出X-Paste框架，利用CLIP零样本过滤和StableDiffusion生成大规模多样化实例，使复制-粘贴数据增强真正可扩展，在LVIS长尾类别上显著提升实例分割性能。
2023-05-31 cs.CV cs.LG
Anisotropic Mesh Adaptation for Image Segmentation Based on Mumford-Shah Functional
University of Missouri-Kansas City（密苏里大学堪萨斯城分校）；Arizona State University（亚利桑那州立大学）
随着数字图像分辨率的显著提高，图像处理在精度和效率方面变得更具挑战性。在本文中，我们考虑通过求解偏微分方程（PDE）模型的基础上Mumford-Shah功能的图像分割。我们开发了一种新的算法，结合各向异性网格自适应图像表示和有限元法求解偏微分方程模型。与传统的有限差分算法相比，该算法在不降低图像质量的情况下，可以获得更快、更好的结果。我们还扩展了算法分割图像的多个区域。
2020-07-17 cs.CV cs.NA math.NA
Probabilistic Deep Discriminant Analysis for Wind Blade Segmentation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与计算机工业研究所，CSIC-UPC）；Wind Power LAB（风能实验室）
本文提出概率深度判别分析（PDDA）用于风力发电机叶片分割，通过优化Fisher准则和引入概率损失提升分割性能和一致性。
2026-01-20 cs.CV cs.LG
AuxAdapt: Stable and Efficient Test-Time Adaptation for Temporally Consistent Video Semantic Segmentation
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；Nanjing University of Science and Technology（南京理工大学）
在视频分割中，跨帧生成时间上一致的结果与实现逐帧准确度同样重要。现有的方法依赖于光流正则化或微调与测试数据，以达到时间的一致性。然而，光流并不总是可用和可靠的。此外，它是昂贵的计算。在测试时间内对原始模型进行微调是成本敏感的。本文提出了一种有效的，直观的，和无监督的在线自适应方法，自适应，以改善大多数神经网络模型的时间一致性。它不需要光流，只需要视频的一次通过。由于不一致性主要来自模型输出的不确定性，我们提出了一种自适应方案，其中模型在流式传输视频时从自己的分割决策中学习，这允许为跨帧的相似像素产生更自信和时间一致的标签。为了提高稳定性和效率，我们利用一个小型辅助分割网络（CNONet）来帮助进行这种适应。更具体地说，CNONet通过将自己的估计添加到MainNet的估计中来重新调整原始分割网络（Main-Net）的决策。在每一帧中，只有主网通过反向传播进行更新，同时保持主网固定。我们在标准视频基准测试（包括Cityscapes、CamVid和KITTI）上广泛评估了我们的测试时自适应方法。结果表明，我们的方法提供了标签准确，时间一致，计算效率高的适应（5倍以上的开销减少相比，最先进的测试时自适应方法）。
2021-10-24 cs.AI cs.CV cs.LG
A Survey on Instance Segmentation: State of the art
目标检测或定位是从粗略到精细数字图像推断的渐进步骤。它不仅提供了图像对象的类别，而且还提供了已分类的图像对象的位置。位置以边界框或质心的形式给出。语义分割通过预测输入图像中每个像素的标签来提供精细的推断。每个像素都根据其所包含的对象类进行标记。为了进一步发展，实例分割为属于同一类的对象的不同实例提供了不同的标签。因此，实例分割可以被定义为同时解决目标检测问题和语义分割问题的技术。在这篇关于实例分割的综述论文中，讨论了它的背景、问题、技术、演变、流行的数据集、相关的工作、最新的技术水平和未来的范围。本文的研究成果为实例分割领域的研究提供了有价值的参考。
2020-06-28 cs.CV cs.LG eess.IV
Comparison of Different Methods for Tissue Segmentation in Histopathological Whole-Slide Images
Radboud University Medical Center（拉德堡德大学医学中心）
组织分割是数字病理学中高效准确诊断的重要前提。然而，众所周知，例如由于组织类型，或者由于弱染色，全载玻片扫描仪可能无法检测所有组织区域，因为它们的组织检测算法不够鲁棒。在本文中，我们介绍了两种不同的卷积神经网络架构的整个幻灯片图像分割，准确地识别组织切片。我们还比较了算法的出版的传统方法。我们从三个实验室收集了54张不同染色和组织类型的全载玻片图像，以验证我们的算法。我们发现，虽然这两种方法没有显着差异，但它们优于传统方法（Jaccard指数为0.937和0.929 vs. 0.870，p <0.01）。
2017-04-03 cs.CV cs.LG
NINEPINS: Nuclei Instance Segmentation with Point Annotations
National Cheng Kung University（国立成功大学）；IBM Research Europe（IBM欧洲研究院）
基于深度学习的方法在数字病理学中越来越受欢迎，越来越多的出版物和挑战旨在简化系统和详尽分析组织切片的工作。这些方法通常实现非常高的精度，代价是需要大的注释数据集来进行训练。这一要求在医学领域尤其难以满足，因为专业知识是必不可少的。在本文中，我们专注于细胞核分割，这通常需要有经验的病理学家来注释的细胞核区域在千兆像素的组织学图像。我们提出了一种算法，例如分割，使用自动生成的点注释的伪标签分割，作为一种方法，以减少病理学家的负担。该方法利用生成的分割模板训练一个改进的HoVer-Net模型来实现实例分割。实验结果表明，所提出的方法是鲁棒的点注释的不准确性和与Hover-Net训练与充分注释的实例掩码的比较表明，在分割性能的下降并不总是意味着在更高阶的任务，如组织分类的退化。
2020-06-24 cs.CV cs.LG eess.IV
