Application of belief functions to medical image segmentation: A review
Université de technologie de Compiègne(贡比涅技术大学);University of Rouen Normandy(诺曼底鲁昂大学);Institut universitaire de France(法国大学研究院)
不确定性的调查是非常重要的风险关键的应用,如医学图像分割。信度函数理论作为一种不确定性分析和多证据融合的形式化框架,在医学图像分割领域做出了重大贡献,特别是自深度学习发展以来。在本文中,我们提供了一个介绍的主题,医学图像分割方法的信念函数理论。根据融合步骤对融合方法进行了分类,并阐述了如何利用信度函数理论对不确定或不精确信息进行建模和融合。此外,我们还讨论了目前基于信念函数的医学图像分割的挑战和局限性,并提出了未来的研究方向。未来的研究可以同时研究置信函数理论和深度学习,以获得更有希望和可靠的分割结果。
2022-12-05 cs.CV
A review of technical factors to consider when designing neural networks for semantic segmentation of Earth Observation imagery
Clark University(克拉克大学);Graduate School of Geography(地理研究生院);Clark Labs(克拉克实验室)
本文系统综述了面向地球观测影像语义分割的神经网络设计技术因素,涵盖CNN、RNN、GAN和transformer等模型设计模式及数据预处理、不平衡处理和有限数据应对策略,为相关研究和实践提供全面参考。
2023-09-19 cs.CV
Panoptic Segmentation: A Review
Qatar University(卡塔尔大学)
用于视频分析的图像分割在智慧城市、医疗保健、计算机视觉和地球科学以及遥感应用等不同研究领域中起着至关重要的作用。在这方面,一个显着的努力,最近一直致力于开发新的分割策略,最新的杰出成就之一是全景分割。后者是语义分割和实例分割融合的结果。可以解释的是,目前正在研究全景分割,以帮助获得视频监控、人群计数、自动驾驶、医学图像分析等图像场景的更细致入微的知识,并更深入地了解一般场景。为此,我们在本文中提出的第一个全面审查现有的全景分割方法,以最好的作者的知识。因此,基于所采用的算法、应用场景和主要目标的性质来执行现有全景技术的明确定义的分类。此外,使用全景分割注释新的数据集的伪标记进行了讨论。接下来,进行消融研究以从不同角度理解全景方法。此外,评价指标适合于全景分割进行了讨论,并提供了现有的解决方案的性能比较,以告知国家的最先进的,并确定其局限性和优势。最后,阐述了主题技术面临的当前挑战和在不久的将来吸引相当大的兴趣的未来趋势,这可以是即将到来的研究的起点。随代码提供的论文可在以下网址获得:https://github.com/elharroussomar/Awesome-Panoptic-Segmentation
2021-11-19 cs.CV
A Review of Panoptic Segmentation for Mobile Mapping Point Clouds
ETH Zürich(苏黎世联邦理工学院)
本文综述移动测量点云全景分割方法,构建模块化流程进行系统实验,并发布带实例标签的NPM3D扩展数据集,比较了KPConv、PointNet++和稀疏CNN及不同实例分割策略。
2023-08-17 cs.CV
Deep Learning on 3D Semantic Segmentation: A Detailed Review
National Technical University of Athens (NTUA)(雅典国立技术大学);Université de Strasbourg(斯特拉斯堡大学);INSA Strasbourg(斯特拉斯堡国立应用科学学院);CNRS(法国国家科学研究中心);ICube Laboratory(ICube实验室)
本文针对3DSS深度学习方法现有分类体系模糊的问题,基于9篇综述提出标准化分类体系,梳理室内外数据集、评估指标与损失函数,分类介绍各类方法并附代码仓库,还提供含400余种方法分类的GitHub仓库以推动领域发展。
2024-11-04 cs.CV
3D Ultrasound image segmentation: A Survey
University of Ottawa(渥太华大学)
本文对三维超声图像分割方法进行了综述。本报告的重点是调查这些技术的应用和审查的原始想法和概念。虽然许多二维图像分割在文献中被误认为是一种三维的方法,但我们回顾他们作为一个三维的技术。我们选择的研究,已经解决了问题的医学三维超声图像分割,利用他们提出的技术。评估方法和它们之间的比较,并列出在评估技术,交互性和鲁棒性。
2016-11-29 cs.CV
Loss Functions in the Era of Semantic Segmentation: A Survey and Outlook
RWTH Aachen University(亚琛工业大学);Iran University of Science and Technology(伊朗科技大学);University of Regensburg(雷根斯堡大学)
本文综述图像分割中的25种损失函数,提出新分类法,并在医学与自然图像数据集上无偏评估代表性方法,指出挑战与未来方向。
2023-12-08 cs.CV
A Decision-Aware Evaluation Protocol for Uncertainty in Medical Image Segmentation
School of Computer Science, University of Nottingham(诺丁汉大学计算机学院)
该研究提出决策感知评估协议,将不确定性估计与弃权策略分离,在医学图像分割任务中验证TTA等方法的性能,表明不确定性需作为配置评估而非独立分数图。
2026-10-16 cs.CV
Methods and datasets for segmentation of minimally invasive surgical instruments in endoscopic images and videos: A review of the state of the art
Ostbayerische Technische Hochschule Regensburg (OTH Regensburg)(雷根斯堡应用技术大学);Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国理工学院)
该综述系统梳理2015年至2023年内窥镜微创手术器械分割与跟踪的纯视觉方法及公开数据集,分析123篇文献并指出不足与未来方向。
2024-01-23 cs.CV
Fully Convolutional Deep Network Architectures for Automatic Short Glass Fiber Semantic Segmentation from CT scans
Volume Graphics GmbH(Volume Graphics有限公司);University Medical Center Mannheim, Heidelberg University(海德堡大学曼海姆大学医学中心);Heidelberg University(海德堡大学);University of Padova(帕多瓦大学)
我们首次尝试使用深度学习架构在中等(3.9 μm各向同性)和低(8.3 μm各向同性)分辨率下从X射线计算机断层扫描体积数据集执行短玻璃纤维语义分割。我们对合成和真实CT扫描进行了实验,并使用2D和3D内核评估了深度全卷积架构。我们的人工神经网络在中低分辨率扫描方面都优于现有方法。
2019-01-04 cs.CV
Deep Learning in Medical Ultrasound Image Segmentation: a Review
University of Oxford(牛津大学)
将机器学习技术,特别是深度学习应用于医学图像分割,由于其最先进的性能和结果而受到广泛研究。人体组织的三维重建、图像引导的介入治疗、图像分析和可视化等是为临床诊断提供可靠依据的关键步骤。在这篇综述文章中,基于深度学习的超声图像分割方法首先根据其架构和训练分为六个主要组。其次,针对每一类算法,选取了当前几种具有代表性的算法,进行了详细的介绍、分析和总结。此外,对图像分割和超声图像分割数据集的常用评价方法进行了总结。此外,目前的方法和评价的性能进行审查。最后,对医学超声图像分割面临的挑战和潜在的研究方向进行了讨论。
2021-03-05 cs.CV cs.LG eess.IV
A Review on Deep Learning Techniques Applied to Semantic Segmentation
University of Alicante(阿利坎特大学)
图像语义分割越来越受到计算机视觉和机器学习研究者的关注。许多正在兴起的应用都需要准确高效的分割机制:自动驾驶、室内导航,甚至虚拟或增强现实系统等等。这一需求与深度学习方法在几乎所有与计算机视觉相关的领域或应用目标中的兴起相吻合,包括语义分割或场景理解。本文综述了应用于各种应用领域的语义分割深度学习方法。首先,我们描述了这个领域的术语以及强制性的背景概念。接下来,主要的数据集和挑战将被公开,以帮助研究人员决定哪些是最适合他们的需求和目标的数据集。然后,现有的方法进行了审查,突出他们的贡献和他们在该领域的意义。最后,定量结果给出了所描述的方法和数据集,他们进行了评估,后续的结果进行了讨论。最后,我们指出了一组有前途的未来工作,并得出我们自己的结论,深度学习技术的语义分割的艺术状态。
2017-04-22 cs.AI cs.CV
U-Net and its variants for Medical Image Segmentation : A short review
IIT Kharagpur(印度理工学院克勒格布尔分校)
本文是一个简短的回顾医学图像分割使用U-网络及其变种。正如我们所理解的那样,通过医学图像对任何临床医生来说都不是一件容易的事情,无论是放射科医生还是病理学家。分析医学图像是进行非侵入性诊断的唯一途径。分割出感兴趣区域在医学图像中具有重要意义,是诊断的关键。本文还对医学图像分割的发展过程进行了概述。还讨论了深度神经架构的挑战和成功。以下是不同的混合架构如何建立在视觉识别任务的强大技术基础上。最后,我们将看到医学图像分割(MIS)当前的挑战和未来的发展方向。
2022-04-17 cs.AI cs.CV eess.IV
Medical Image Segmentation with Limited Supervision: A Review of Deep Network Models
College of Computer Science and Technology, Huaqiao University(华侨大学计算机科学与技术学院);School of Economics and Finance, Huaqiao University(华侨大学经济与金融学院)
尽管深度学习方法在各种任务上表现出色,但大多数前沿模型严重依赖于大规模带注释的训练样本,而这些样本通常无法用于临床和医疗保健任务。医学图像的标记成本非常高,特别是在医学图像分割中,这通常需要密集的像素/体素标记。因此,从有限的监督(包括有限数量的注释、稀疏注释和不准确的注释)中学习和概括的强大能力对于深度学习模型在医学图像分割中的成功应用至关重要。然而,由于其固有的困难,有限监督的分割是具有挑战性的,需要特定的模型设计和/或学习策略。在本文中,我们提供了一个系统的和最新的审查上述解决方案,总结和评论的方法。我们还强调了在这一领域的几个问题,讨论了未来的方向观察进一步的调查。
2021-02-28 cs.CV cs.LG
Detachable Object Detection: Segmentation and Depth Ordering From Short-Baseline Video
我们描述了一种用于将图像分割成对应于场景中的部分被介质包围的表面的区域的方法。它将外观和运动统计集成到一个成本函数中,该成本函数与遮挡区域一起播种,并通过求解线性规划问题有效地最小化。在短的观察时间不足以确定对象是否是可拆卸的情况下,最小化的结果可以用于基于较长的视频数据序列来播种更昂贵的优化。其结果是一个完全无监督的计划,以检测和分割任意和未知数量的对象。我们测试我们的计划,以突出的潜力,以及我们的方法的局限性。
2011-09-22 cs.CV
Emerging Trends in Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation with Image-Level Supervision
Informatics Institute School of Artificial Intelligence University of Amsterdam(人工智能学院信息研究所阿姆斯特丹大学);Beijing Normal University(北京师范大学)
该综述针对图像级标注的弱监督语义分割(WSSS)领域,按额外监督的类型与程度分类梳理最新进展,探讨领域特定数据集应用的挑战,总结现有局限并提出未来研究方向,填补了现有综述的空白。
2025-07-29 cs.CV
Beyond Pixels: A Comprehensive Survey from Bottom-up to Semantic Image Segmentation and Cosegmentation
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Nanyang Technological University(南洋理工大学)
图像分割是指根据人类的感知能力将图像划分为互不重叠的有意义区域的过程,自计算机视觉早期以来就成为经典课题。已经进行了大量的研究,并导致了许多应用。然而,虽然存在许多分割算法,但只有少数稀疏和过时的总结,缺乏对最近成就和问题的概述。我们的目的是提供一个全面的审查在这一领域的最新进展。涵盖180出版物,我们给出了广泛的领域的分割主题的概述,不仅包括经典的自自底向上的【形】的方法,但也在超像素,交互式方法,对象的建议,语义图像解析和图像cosegmentation的最新发展。此外,我们还回顾了现有的有影响力的数据集和评估指标。最后,我们提出了一些设计风格和研究方向,为未来的研究在图像分割。
2015-02-03 cs.CV
Linking Points With Labels in 3D: A Review of Point Cloud Semantic Segmentation
3D点云语义分割(PCSS)由于其在遥感、计算机视觉和机器人技术中的适用性以及由于深度学习技术提供的新的可能性而引起越来越多的关注。为了提供一个必要的最新审查的最新发展PCSS,本文总结了现有的研究这一主题。首先,我们从遥感和计算机视觉的角度概述了三维点云的获取和演变,以及已公布的PCSS研究基准。然后,传统的和先进的技术用于点云分割(PCS)和PCSS的审查和比较。最后,讨论了PCSS研究中的重要问题和悬而未决的问题。
2020-06-27 cs.CV cs.LG eess.IV
Deep Semantic Segmentation of Natural and Medical Images: A Review
Mila, Université de Montréal(米拉研究所,蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院);School of Computing Science, Simon Fraser University(西蒙菲莎大学计算科学学院)
本文综述了自然与医学图像深度语义分割方法,将其归纳为六类并分析各自变体、局限及未来研究方向。
2024-03-31 cs.CV cs.LG eess.IV
Generalized Shortest Path-based Superpixels for 3D Spherical Image Segmentation
Univ. Bordeaux, Bordeaux INP, IMS, CNRS UMR 5218, France(波尔多大学、波尔多INP、IMS、CNRS UMR 5218、法国)
提出SphSPS方法,利用3D球面几何计算最短路径生成超像素,提升360度图像分割精度与形状规则性,优于现有方法。
2025-09-24 cs.CV
Are We Hungry for 3D LiDAR Data for Semantic Segmentation? A Survey and Experimental Study
Peking University(北京大学)
3D语义分割是机器人和自动驾驶应用的基本任务。最近的工作一直集中在使用深度学习技术,而开发精细注释的3D LiDAR数据集是非常劳动密集型的,需要专业技能。由于数据集不足而导致的性能限制被称为数据饥饿问题。本研究针对“我们是否渴望获得用于语义分割的3D LiDAR数据”这一问题进行了全面的调查和实验研究。研究分三个层次进行。首先,对主要的3D LiDAR数据集进行了广泛的回顾,然后对三个代表性数据集进行了统计分析,以深入了解数据集的大小和多样性,这是学习深度模型的关键因素。其次,对最先进的3D语义分割进行了系统的回顾,然后对三种代表性的深度学习方法进行了实验和交叉检查,以了解数据集的大小和多样性如何影响深度模型的性能。最后,从方法论和数据集的角度对现有的解决数据饥饿问题的努力进行了系统的调查,然后对剩余问题和开放问题进行了深入的讨论。据我们所知,这是第一次使用深度学习技术分析3D语义分割的数据饥饿问题,这些技术在文献综述,统计分析,以及跨数据集和跨算法实验。我们分享调查结果和讨论,这可能会导致未来工作的潜在主题。
2020-11-30 cs.CV
Deep learning for cardiac image segmentation: A review
Imperial College London(伦敦帝国学院);City, University of London(伦敦城市大学);University of Birmingham(伯明翰大学)
近年来,深度学习已成为心脏图像分割中使用最广泛的方法。在本文中,我们回顾了100多篇使用深度学习的心脏图像分割论文,其中涵盖了常见的成像方式,包括磁共振成像(MRI),计算机断层扫描(CT)和超声(US)以及感兴趣的主要解剖结构(心室,心房和血管)。此外,还包括公开可用的心脏图像数据集和代码库的摘要,为鼓励可重复的研究提供基础。最后,我们讨论了当前基于深度学习的方法所面临的挑战和局限性(标签的稀缺性,不同领域的模型泛化性,可解释性),并为未来的研究提出了潜在的方向。
2019-11-09 cs.CV cs.LG eess.IV
Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation
VoxelCloud, Inc.(体素云公司)
医学成像文献在基于卷积神经网络的高性能分割模型方面取得了显着进展。尽管有新的性能高点,但最近的高级分割模型仍然需要大型,代表性和高质量的注释数据集。然而,我们很少有完美的训练数据集,特别是在医学成像领域,数据和注释的获取都很昂贵。最近,大量的研究已经研究了具有不完美数据集的医学图像分割问题,解决了两个主要的数据集限制:稀缺注释,其中只有有限的注释数据可用于训练,以及弱注释,其中训练数据只有稀疏注释,噪声注释或图像级注释。在这篇文章中,我们提供了一个详细的审查上述解决方案,总结了技术创新和实证结果。我们进一步比较了调查方法的优势和要求,并提供了我们推荐的解决方案。我们希望这篇调查文章能提高社区对处理不完美医学图像分割数据集的技术的认识。
2020-02-12 cs.CV cs.LG eess.IV
Deep Learning-Based 3D Instance and Semantic Segmentation: A Review
Tongmyong University(东明大学)
本文综述了基于深度学习的3D点云实例与语义分割方法,分析了各类算法的优缺点、设计机制及在公开数据集上的性能,并指出了未来研究方向。
2024-06-19 cs.AI cs.CV
Nuclei & Glands Instance Segmentation in Histology Images: A Narrative Review
National University of Sciences and Technology(国家科技大学)
组织学图像中细胞核和腺体的实例分割是用于癌症诊断、治疗计划和生存分析的计算病理学工作流程中的重要步骤。随着现代硬件的出现,最近大规模高质量公共数据集的可用性和社区组织的重大挑战已经看到了专注于特定领域挑战的自动化方法的激增,这对于技术进步和临床翻译至关重要。在这项调查中,深入分析了过去五年(2017-2022年)发表的126篇说明基于AI的细胞核和腺体实例分割方法的论文,讨论了当前方法的局限性和面临的挑战。最后,对未来的研究方向进行了展望,并总结了现有方法的贡献。此外,还提供了公开数据集的概括总结和对重大挑战的详细见解,说明了针对每个挑战的最佳执行方法。此外,我们打算给读者现有研究的现状,并指出未来的发展方向,在开发方法,可用于临床实践,使改善诊断,分级,预后和治疗计划的癌症。据我们所知,没有以前的工作已经审查了组织学图像的实例分割集中在这个方向。
2022-08-26 cs.CV eess.IV
Shortcut Learning in Medical Image Segmentation
Technical University of Denmark(丹麦技术大学);Slagelse Hospital(斯劳厄尔瑟医院);CAMES;Copenhagen University Hospital Rigshospitalet(哥本哈根大学医院 Rigshospitalet);University of Copenhagen(哥本哈根大学)
本研究将捷径学习探索扩展至医学图像分割领域,揭示了临床标注与零填充卷积等无意形成的捷径对分割准确率的影响,并提出了缓解策略以提升模型泛化能力。
2024-06-27 cs.CV cs.LG eess.IV
Beyond Forward Shortcuts: Fully Convolutional Master-Slave Networks (MSNets) with Backward Skip Connections for Semantic Segmentation
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
最近的深度CNN包含前向快捷连接;即从低层到高层的跳过连接。重用来自较低层的具有较高分辨率(位置信息)的特征有利于较高层恢复丢失的细节并减轻信息退化。然而,在推理过程中,较低层不知道高层特征,尽管它们包含上下文高语义,有利于低层自适应地为后面的层提取信息特征。在本文中,我们研究了反向跳跃连接的影响,这是在相反的方向向前捷径,即从高层到低层的路径。为了实现这一点--这确实与前馈网络的本质背道而驰--我们提出了一个新的完全卷积模型,它由一对网络组成。“从”网络专用于提供从其顶层到“主”网络底层的反向连接。主网络用于生成最终的标签预测。在我们的实验中,我们在ADE 20 K(ImageNet场景解析),PASCAL-Context和PASCAL VOC 2011数据集上验证了所提出的FCN模型。
2017-07-18 cs.CV
Multi-view Cardiac Image Segmentation via Trans-Dimensional Priors
提出一种多阶段跨维度架构,利用长轴与短轴心脏MR图像间的先验关系进行3D-2D-3D顺序分割,并在M&Ms-2数据集上超越现有最先进方法。
2024-04-25 cs.CV eess.IV
Biomedical Image Segmentation: A Systematic Literature Review of Deep Learning Based Object Detection Methods
School of Computing Sciences, University of East Anglia(东英吉利大学计算科学学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Idrak AI Ltd(伊德拉克人工智能有限公司)
本文对148篇基于深度学习的生物医学图像分割目标检测方法进行系统性文献综述,按两阶段、单阶段和基于点的检测模型分类分析各模型优缺点,总结挑战与未来方向,为研究界提供深入理解。
2024-08-28 cs.CV cs.GR eess.IV
Superpixels Based Segmentation and SVM Based Classification Method to Distinguish Five Diseases from Normal Regions in Wireless Capsule Endoscopy
Temple University(天普大学)
无线胶囊式内窥镜(WCE)是一种相对较新的技术,可以检查整个GI轨迹。在一次检查中,它捕获了超过55,000帧。查看所有这些图像非常耗时,而且容易出现人为错误。它一直是一个挑战,开发智能方法,帮助医生审查的框架。WCE帧以8位颜色深度捕获,这提供了足够的颜色范围来检测异常。在这里,提出了基于超像素的方法来分割五种疾病,包括:出血、克罗恩病、淋巴管扩张、黄瘤和类风湿性增生。两个超像素方法进行比较,以提供这些多产疾病的语义分割:简单线性迭代聚类(SLIC)和快速移位(QS)。利用纹理和颜色特征,利用支持向量机将分割后的超像素分为正常和异常两类。对于两种超像素方法,准确性、特异性、灵敏度和精确度(SLIC,QS)分别约为92%、93%、93%和88%。然而,SLIC比QS快得多。
2017-11-17 cs.CV
A Comprehensive Review of U-Net and Its Variants: Advances and Applications in Medical Image Segmentation
School of Computer Sciences, Universiti Sains Malaysia(马来西亚理科大学计算机科学学院);School of Network Communication, Zhejiang Yuexiu University(浙江越秀外国语学院网络传播学院)
医学图像通常在病变和周围组织之间表现出低的和模糊的对比度,即使在同一疾病内,病变边缘和形状也有相当大的变化,这导致分割的重大挑战。因此,精确分割病灶已成为患者病情评估和制定治疗计划的必要前提。近年来,U-Net模型的相关研究取得了显著成果。该方法提高了分割性能,广泛应用于医学图像的语义分割,为一致性定量病变分析方法提供了技术支持。首先,本文根据医学图像数据集的成像模式对其进行分类,然后从结构修改的角度研究U-Net及其各种改进模型。每种方法的研究目标,创新设计和局限性进行了详细讨论。其次,总结了U-Net及其变体算法的四个主要改进机制:跳跃连接机制、剩余连接机制、3D-UNet和Transformer机制。最后,我们研究了四个核心增强机制与常用医学数据集之间的关系,并提出了未来发展的潜在途径和策略。本文为相关领域的研究者提供了系统的总结和参考,并期待基于U-Net网络设计出更加高效、稳定的医学图像分割网络模型。
2025-02-09 cs.CV eess.IV
Concept Alignment Contrast and Long-Short Prompt Memory for Test-Time Adaptation of SAM3 in Medical Image Segmentation
University of Electronic Science and Technology of China(电子科技大学);Faculty of Information Technology, Monash University(莫纳什大学信息技术学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出CM-TTA框架,通过概念对齐对比(CAC)度量选择最佳增强视图作为监督,并设计长短提示记忆(LSPM)模块平衡快速与稳定自适应,显著提升SAM3在医学图像分割中的测试时性能。
2026-07-02 cs.CV
Few Shot Semantic Segmentation: a review of methodologies, benchmarks, and open challenges
Politecnico di Milano(米兰理工大学)
本文是小样本语义分割领域的全面综述,梳理了该任务的发展脉络、各类模型方法与基础模型带来的新机遇,结合定量与定性分析阐释研究现状与挑战,为相关研究者提供参考与未来方向指引。
2024-05-20 cs.AI cs.CV
Learning with Limited Annotations: A Survey on Deep Semi-Supervised Learning for Medical Image Segmentation
School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学生物医学工程学院);School of Data Science, Fudan University(复旦大学大数据学院);School of Engineering Medicine, Beihang University(北京航空航天大学医工交叉创新研究院);Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与产业研究院);School of Biological Science and Medical Engineering, Beihang University(北京航空航天大学生物与医学工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Beijing Anding Hospital, Capital Medical University(首都医科大学附属北京安定医院);Key Laboratory for Biomechanics and Mechanobiology of Ministry of Education, Beihang University(北京航空航天大学生物力学与力学生物学教育部重点实验室);Hefei Innovation Research Institute, Beihang University(北京航空航天大学合肥创新研究院)
本文综述了医学图像分割中深度半监督学习方法,旨在利用有限标注训练模型,总结了技术新颖性与实证结果,并讨论了局限与未解决问题。
2023-11-14 cs.CV
The Importance of Skip Connections in Biomedical Image Segmentation
Imagia Inc.(Imagia公司);École Polytechnique de Montréal(蒙特利尔理工学院);Université de Montréal(蒙特利尔大学);CHUM Research Center(蒙特利尔大学医院研究中心);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
在本文中,我们研究了长和短的跳跃连接的生物医学图像分割的全卷积网络(FCN)的影响。在标准FCN中,仅使用长跳过连接来将特征从收缩路径跳过到扩展路径,以便恢复在下采样期间丢失的空间信息。我们通过添加短跳跃连接来扩展FCN,这类似于在剩余网络中引入的连接,以便构建非常深的FCN(数百层)。梯度流的回顾证实,对于非常深的FCN,具有长和短跳跃连接是有益的。最后,我们证明了一个非常深的FCN可以在EM数据集上实现接近最先进的结果,而无需任何进一步的后处理。
2016-09-22 cs.CV
A review: Deep learning for medical image segmentation using multi-modality fusion
Université de Rouen Normandie(鲁昂诺曼底大学);INSA Rouen(鲁昂应用科学学院)
多模态成像技术因其能提供同一靶点(肿瘤、器官或组织)的多种信息而被广泛应用于医学成像领域。多模态图像分割是融合多模态信息来改善分割效果。最近,基于深度学习的方法在图像分类、分割、目标检测和跟踪任务中表现出了最先进的性能。由于其在大量数据上的自学习和泛化能力,深度学习最近在多模态医学图像分割方面也引起了极大的兴趣。在本文中,我们概述了用于多模态医学图像分割任务的基于深度学习的方法。首先,我们介绍了深度学习和多模态医学图像分割的一般原理。其次,我们介绍了不同的深度学习网络架构,然后分析了它们的融合策略,并比较了它们的结果。早期的融合是常用的,因为它很简单,它专注于后续的分割网络架构。然而,后期融合更多地关注融合策略,以学习不同模态之间的复杂关系。一般来说,与早期融合相比,如果融合方法足够有效,后期融合可以给出更准确的结果。本文还讨论了医学图像分割中的一些常见问题。最后,本文对未来的研究进行了总结和展望。
2020-07-16 cs.CV cs.LG eess.IV
A Survey on Deep Learning for Polyp Segmentation: Techniques, Challenges and Future Trends
Nanjing University of Science and Technology(南京理工大学);Southeast University(东南大学);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所)
本文综述了深度学习息肉分割技术,涵盖传统与深度算法、基准数据集及基于息肉大小的评估,并讨论了挑战与未来趋势,提供了公开资源链接。
2025-01-17 cs.CV
Automatic ply-specific analyses of CFRP micrographs using shortest-path-based ply distinction
German Aerospace Center (DLR)(德国航空航天中心(DLR));Institute of Lightweight Systems(轻质系统研究所);Composite Process Technologies(复合材料加工技术);Institute of Analysis and Algebra(分析与代数研究所)
提出一种自动方法,通过将语义分割掩码视为图并应用最短路径算法区分铺层实例,实现高分辨率CFRP显微图像的铺层分割与定量分析。
2026-06-18 cs.CV
Contextual Hourglass Networks for Segmentation and Density Estimation
NEC Labs Europe(日本电气欧洲实验室)
沙漏网络(如U-Net和V-Net)是用于医学图像分割和计数问题的流行神经架构。沙漏网络的典型实例包含镜像层之间的快捷连接。这些快捷连接提高了性能,并且假设这是由于减轻了对消失梯度问题的影响以及模型将早期和后期层的特征图组合起来的能力。我们提出了一种方法,不仅结合镜像层的特征图,但也具有不同的空间维度的层的特征图。例如,该方法使得能够将瓶颈特征图与重构层的瓶颈特征图集成。所提出的方法适用于任何沙漏架构。我们评估了上下文沙漏网络在医学领域的图像分割和对象计数问题。我们实现了竞争性的结果,超过流行的沙漏网络高达17个百分点。
2018-06-08 cs.CV
Deep Learning in Multi-organ Segmentation
Emory University(埃默里大学);Winship Cancer Institute(温希普癌症研究所)
本文综述了深度学习(DL)在多器官分割中的应用。本文综述了最新的基于DL的医学图像分割方法及其应用。这些方法根据其网络设计分为六类。对于每个类别,我们列出了调查的作品,强调了重要的贡献,并确定了具体的挑战。在对每一类别进行详细审查之后,我们简要讨论了其成就、不足和未来潜力。我们使用基准数据集对基于DL的胸部和头颈部多器官分割方法进行了全面比较,包括2017年AAPM胸部自动分割挑战数据集和2015年MICCAI头颈部自动分割挑战数据集。
2020-01-28 cs.CV eess.IV physics.med-ph
Automatic Image Co-Segmentation: A Survey
Beijing Institute of Technology(北京理工大学)
图像联合分割是一种重要的图像分割方法,它通过挖掘相关图像之间的相关性来缓解图像分割的病态性。在过去的十年中,出现了许多自动图像联合分割算法,本文对这些算法进行了全面的研究。我们首先分析了用于指导图像联合分割的视觉/语义线索,包括对象线索和相关性线索。然后从基于对象元素、基于对象区域/轮廓、基于公共对象模型三个方面对传统的方法进行了描述。在下一部分中,将回顾基于深度学习的方法。此外,广泛使用的测试数据集和评估标准进行了介绍,并报告的性能调查算法进行了比较。最后,我们讨论了当前的挑战和未来可能的方向,并结束了本文。希望本文的研究能对图像联合分割技术的发展有所帮助。
2019-11-18 cs.CV
A Threefold Review on Deep Semantic Segmentation: Efficiency-oriented, Temporal and Depth-aware design
Institute of Mathematical;Computer Sciences (ICMC) University of S a o Paulo S a o Carlos, S a o Paulo, Brazil
语义图像和视频分割是当今计算机视觉中最重要的任务之一,因为它们通过对给定场景中的像素进行密集分类来提供对环境的完整和有意义的表示。最近,深度学习,更准确地说是卷积神经网络,在性能和泛化能力方面将语义分割提升到了一个新的水平。然而,设计深度语义分割模型是一项复杂的任务,因为它可能涉及依赖于应用程序的方面。特别是,在考虑自动驾驶应用时,应该考虑鲁棒性-效率权衡以及内在限制(计算/内存边界和数据稀缺性)和约束(实时推理)。在这方面,使用额外的数据形式,如深度感知的推理场景的几何形状,从视频的时间线索,以探索冗余和一致性,是有前途的方向,但尚未探索其全部潜力的文献。在本文中,我们进行了调查的深度语义分割在自动驾驶汽车的视觉背景下,最相关的和最新的进展,从三个不同的角度:面向效率的模型开发的实时操作,RGB深度数据集成(RGB-D语义分割),并使用时间感知模型的视频的时间信息。我们的主要目标是从每个角度对主要方法,优势,局限性,结果和面临的挑战进行全面讨论,以便读者不仅可以开始,而且还可以了解这一令人兴奋和具有挑战性的研究领域的最新进展。
2023-03-08 cs.AI cs.CV
Image Segmentation with transformers: An Overview, Challenges and Future
Gauhati University(古瓦哈提大学)
该综述梳理了传统CNN图像分割模型的局限,综述了前沿Transformer-based分割模型及对应挑战的解决方案,同时指出当前挑战与轻量化、数据效率提升等未来方向,为相关研究提供参考。
2025-01-16 cs.CV
Seamless Scene Segmentation
Mapillary Research(Mapillary研究院)
在这项工作中,我们介绍了一种新颖的,基于CNN的架构,可以进行端到端的训练,以提供无缝的场景分割结果。我们的目标是通过全景输出格式预测一致的语义分割和检测结果,超越了独立训练的分割和检测模型的简单组合。所提出的架构利用了一种新型的分割头,该分割头将特征金字塔网络生成的多尺度特征与轻量级DeepLab类模块传达的上下文信息无缝集成。作为额外的贡献,我们审查的panoptic指标,并提出了一种替代方案,克服了其局限性时,评估非实例类别。我们提出的网络架构在三个具有挑战性的街道级数据集上产生了最先进的结果,即城市景观,印度驾驶数据集和Mapillary Vistas。
2019-05-03 cs.CV
Brain Tumor Segmentation: A Comparative Analysis
Beihang University(北京航空航天大学)
五种不同的基于阈值分割的方法已经在这里进行了审查和比较,从一组脑图像中提取肿瘤。本研究着重于图像分割方法的分析,比较了五种半自动方法,以评估它们在肿瘤分割中的相对性能。因此,结果进行了比较的基础上,定量和定性分析各自的方法。本研究的目的是分析确定的方法,最适合应用于特定类型的问题。实验结果表明,在大多数情况下,区域生长分割的效果优于其他分割方法。
2015-03-09 cs.CV
Learning to Detour: Shortcut Mitigating Augmentation for Weakly Supervised Semantic Segmentation
Chung-Ang University(中央大学)
针对弱监督语义分割中分类器依赖捷径特征导致泛化差的问题,提出捷径缓解增强(SMA),通过解耦并重组物体与背景特征生成合成组合,减少上下文依赖,在PASCAL VOC 2012和MS COCO 2014上提升分割性能。
2024-05-28 cs.AI cs.CV
Deep learning approaches to surgical video segmentation and object detection: A Scoping Review
Stanford University School of Medicine(斯坦福大学医学院);Veterans Affairs Palo Alto Health Care System(帕洛阿尔托退伍军人事务医疗系统)
本综述评估2014-2024年间深度学习在手术视频分割与目标检测中的最先进性能,发现U-Net和DeepLab模型对较大器官(如肝脏)效果较好,但较小结构(如神经)准确性较低,并指出数据可用性和泛化性仍是未来挑战。
2025-02-23 cs.AI cs.CV eess.IV
A Review of Bayesian Uncertainty Quantification in Deep Probabilistic Image Segmentation
Eindhoven University of Technology(埃因霍温理工大学)
本文综述了深度概率图像分割中贝叶斯不确定性量化的关键概念与挑战,提出标准化框架并指导未来研究方向。
2026-02-18 cs.AI cs.CV cs.LG
Automatic Breast Ultrasound Image Segmentation: A Survey
University of Idaho(爱达荷大学);Utah State University(犹他州立大学);Harbin Institute of Technology(哈尔滨工业大学)
乳腺癌是全世界妇女癌症死亡的主要原因之一。在临床常规中,自动乳腺超声(BUS)图像分割是非常具有挑战性的,对于癌症诊断和治疗计划至关重要。在过去的二十年中,许多BUS分割方法已经被研究,并且已经被证明在私有数据集上是有效的。目前,公交车图像分割的进展似乎遇到了瓶颈。性能的改进越来越具有挑战性,并且在过去几年中只有很少的新方法被公布。现在是通过全面审查以前的方法来审视该领域并研究未来方向的时候了。在本文中,我们研究的基本思想,理论,优点和缺点的方法,他们分组,并广泛审查每一类深入讨论的原则,应用问题,和优点/缺点。
2018-01-09 cs.CV cs.LG
Attention Mechanisms in Medical Image Segmentation: A Survey
University of Adelaide(阿德莱德大学);Northwestern Polytechnical University(西北工业大学);Alibaba DAMO Academy(阿里巴巴达摩院)
本文系统综述了医学图像分割中的注意力机制,将300余篇相关文献分为非Transformer与Transformer注意力两类,从原理、实现和应用三方面深入分析其优势与局限,并展望未来挑战。
2023-05-29 cs.CV eess.IV
Machine Learning Techniques for Biomedical Image Segmentation: An Overview of Technical Aspects and Introduction to State-of-Art Applications
Stanford University(斯坦福大学)
近年来,在开发用于医学和自然图像分割的更准确和更有效的机器学习算法方面取得了重大进展。在这篇综述文章中,我们强调了机器学习算法在医学成像领域实现高效准确分割方面的重要作用。我们特别关注与机器学习方法在生物医学图像分割中的应用有关的几项关键研究。我们回顾了经典的机器学习算法,如马尔可夫随机场,k-means聚类,随机森林等,虽然这些经典的学习模型通常不如深度学习技术准确,但它们通常更有效,结构更简单。我们还回顾了不同的深度学习架构,如人工神经网络(ANN),卷积神经网络(CNN)和递归神经网络(RNN),并介绍了过去三年中发表的这些学习模型所获得的分割结果。我们强调了每种机器学习范式的成功和局限性。此外,我们还讨论了与不同机器学习模型的训练相关的几个挑战,并提出了一些解决这些挑战的方法。
2019-11-06 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation in Semantic Segmentation: a Review
University of Padova(帕多瓦大学)
本文的目的是概述用于语义分割的深度网络的无监督领域自适应(UDA)的最新进展。这项任务吸引了广泛的兴趣,因为语义分割模型需要大量的标记数据和缺乏数据拟合的具体要求是在部署这些技术的主要限制。这个问题最近已经被探索,并随着大量的特设方法而迅速发展。这促使我们建立一个全面的概述所提出的方法,并提供一个明确的分类。在本文中,我们首先介绍的问题,它的制定和各种情况下,可以考虑。然后,我们介绍了不同的层次上,适应策略可以应用:即,在输入(图像)的水平,在内部特征表示和输出水平。此外,我们提出了一个详细的概述,在该领域的文献,划分以前的方法基于以下类别(非互斥):对抗性学习,生成为基础的,分析的分类器差异,自学,熵最小化,课程学习和多任务学习。新的研究方向也简要介绍了有趣的开放问题在该领域的提示。最后,在广泛使用的自动驾驶场景中的各种方法的性能进行了比较。
2020-05-21 cs.CV cs.LG eess.IV
Medical Image Segmentation Review: The success of U-Net
RWTH Aachen University(亚琛工业大学);Shahid Beheshti University(沙希德·贝赫什提大学);Mashhad University of Medical Sciences(马什哈德医科大学);Sharif University of Technology(谢里夫理工大学);Stanford University(斯坦福大学);University of Regensburg(雷根斯堡大学);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学研究所MEVIS)
医学图像自动分割是医学领域的一个重要课题,也是计算机辅助诊断领域的一个重要分支。U-Net是最广泛的图像分割架构,因为它的灵活性,优化的模块化设计,以及在所有医学图像模式中的成功。多年来,U-Net模型得到了学术界和工业界研究人员的极大关注。已经提出了该网络的几个扩展,以解决医疗任务所造成的规模和复杂性。解决天真的U-Net模型的缺陷是供应商为他们的业务使用适当的U-Net变体模型的首要步骤。在一个地方有一个不同变体的概要,使构建者更容易识别相关的研究。此外,对于ML研究人员来说,它将帮助他们理解挑战模型的生物任务的挑战。为了解决这个问题,我们讨论了U-Net模型的实际方面,并提出了一个分类法来对每个网络变体进行分类。此外,为了衡量这些策略在临床应用中的性能,我们提出了一些独特的和著名的设计公知的数据集上的公平评价。我们提供了一个全面的实施库,其中包含经过训练的模型,供未来研究使用。此外,为了便于未来的研究,我们创建了一个在线列表的U-Net论文与他们可能的正式实施。所有信息都收集在https://github.com/NITR098/Awesome-U-Net存储库中。
2022-11-27 cs.CV eess.IV
Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Institute of Deep Perception Technology, JITRI(江苏省产业技术研究院深度感知技术研究所);XJTLU-JITRI Academy of Industrial Technology(西交利物浦大学-江苏省产业技术研究院工业技术学院)
本文全面综述了自动驾驶中用于目标检测和语义分割的雷达-相机融合技术,深入探讨了数据处理、数据集、融合策略及未来挑战。
2023-08-23 cs.AI cs.CV cs.RO