Unsupervised cross domain learning with applications to 7 layer segmentation of OCTs
University of Washington(华盛顿大学);Moorfields Eye Hospital(莫菲尔德眼科医院);University College London(伦敦大学学院)
用于OCT 7层分割和其他医学应用的无监督跨域自适应,其中标记的训练数据仅在源域中可用,在目标域中不可用。我们提出的方法有助于将深度学习推广到医学领域的许多领域,在这些领域中,获取标记的训练数据既昂贵又耗时,或者目标领域太新颖而无法进行标记。
2021-11-23 cs.CV eess.IV
HUNIS: High-Performance Unsupervised Nuclei Instance Segmentation
University of Southern California(南加州大学)
提出了一种高性能的无监督核实例分割方法。HUNIS由两个阶段的块操作组成。第一阶段包括:1)像素强度的自适应阈值化,2)核尺寸/形状先验的结合,以及3)假阳性核实例的去除。然后,HUNIS通过接收第一阶段分割的指导来进行第二阶段分割。第二阶段利用第一阶段中获得的分割掩模,并利用颜色和形状分布进行更准确的分割。两阶段设计的主要目的是提供从第一阶段到第二阶段的逐像素伪标签。这种自我监督机制新颖有效。在MoNuSeg数据集上的实验结果表明,HUNIS的性能远远优于所有其他无监督方法。它在最先进的监督方法中也具有竞争力。
2022-03-28 cs.CV eess.IV
Unsupervised Cardiac Segmentation Utilizing Synthesized Images from Anatomical Labels
Fudan University(复旦大学);University of Oxford(牛津大学);Chung-Ang University(中央大学)
心脏分割在临床实践中有很大的需求。由于手工描绘的巨大劳动,期望无监督分割。该任务的不适定优化问题本质上是具有挑战性的,需要精心设计的约束。在这项工作中,我们提出了一个无监督的框架,多类分割的强度和形状的约束。首先,我们扩展了一个传统的非凸能量函数作为强度约束,并实现了它与U-Net。对于形状约束,通过图像到图像转换从解剖标签生成合成图像,作为分割网络的形状监督。此外,应用增强不变性以便于分割网络学习形状方面的潜在特征。我们使用MICCAI 2019 MSCMR Challenge的公共数据集评估了拟议的框架,并在Myo、LV和RV的心脏MRI上取得了令人鼓舞的结果,Dice评分分别为0.5737、0.7796和0.6287。
2023-01-15 cs.CV eess.IV
ASC-Net : Adversarial-based Selective Network for Unsupervised Anomaly Segmentation
University of Georgia(佐治亚大学);Shanghai Jiao Tong University(上海交通大学)
我们引入了一个神经网络框架,利用对抗学习将图像划分为两个切口,其中一个切口落入用户提供的参考分布。这个概念解决了无监督异常分割的任务,近年来由于其在无标记数据任务中的广泛应用而引起了越来越多的关注。这种基于对抗性的选择性切割网络(ASC-Net)桥接了基于集群的深度学习方法和基于对抗性的异常/新颖性检测算法这两个领域。我们在BraTS脑肿瘤分割、LiTS肝脏病变分割和MS-SEG 2015分割任务上评估了该无监督学习模型。与AnoGAN家族等现有方法相比,我们的模型在无监督异常分割任务中表现出巨大的性能提升。虽然与监督学习算法相比,仍有进一步提高性能的空间,但有希望的实验结果为使用用户定义的知识构建无监督学习算法提供了启示。
2021-07-09 cs.CV cs.LG eess.IV
Neural collaborative filtering for unsupervised mitral valve segmentation in echocardiography
ETH Zurich(苏黎世联邦理工学院);University Hospital Zurich(苏黎世大学医院)
二尖瓣环和瓣叶的分割是建立机器学习管道的关键第一步,该管道可以支持医生执行多项任务,例如:二尖瓣疾病的诊断、手术计划和术中操作。当前用于2D超声心动图视频上的二尖瓣分割的方法需要与注释器进行广泛的交互,并且在低质量和有噪声的视频上表现不佳。我们提出了一种自动和无监督的二尖瓣分割方法的基础上,使用神经网络协同过滤的低维嵌入的超声心动图视频。该方法在各种二尖瓣疾病患者的超声心动图视频集合中进行评估,另外还在独立的测试队列中进行评估。它在低质量视频或稀疏注释的情况下优于最先进的\emph{unsupervised}和\emph{supervised}方法。
2020-08-13 cs.LG eess.IV
Boundary-aware Information Maximization for Self-supervised Medical Image Segmentation
ETS Montreal(蒙特利尔高等技术学院)
无监督预训练已被证明是一种有效的方法,可以在有限的标记数据下提高各种下游任务。在各种方法中,对比学习通过构建正负对来学习区分性表示。然而,以无监督的方式为分割任务构建合理的对并不是微不足道的。在这项工作中,我们提出了一种新的无监督预训练框架,避免了对比学习的缺点。我们的框架由两个原则组成:无监督过分割作为预训练任务,使用互信息最大化和边界感知保持学习。两个基准的医学分割数据集上的实验结果表明,我们的方法在提高分割性能的有效性时,很少有注释的图像。
2022-02-16 cs.CV eess.IV
Synthetic data for unsupervised polyp segmentation
Insight SFI Centre for Data Analytics(Insight SFI数据分析中心);Dublin City University(都柏林城市大学)
深度学习在分析医学图像方面表现出出色的性能。然而,数据集由于隐私问题、标准化问题和缺乏注释而难以获得。我们通过使用3D技术和生成对抗网络的组合来生成逼真的合成图像来解决这些问题。我们在管道中使用来自医疗专业人员的零注释。我们的完全无监督方法在五个真实的息肉分割数据集上取得了令人满意的结果。作为这项研究的一部分,我们发布了Synth-Colon,这是一个完全合成的数据集,包括20000个逼真的结肠图像以及有关深度和3D几何形状的其他细节:https://enric1994.github.io/synth-colon
2022-02-17 cs.CV eess.IV
Semantic-guided Disentangled Representation for Unsupervised Cross-modality Medical Image Segmentation
Tsinghua University(清华大学)
在医学图像分析中,解纠缠表示是一种有效的无监督域自适应处理方法,但以往的方法只注重提取域不变特征,而忽略了提取的特征对后续任务是否有意义。本文提出了一种语义引导的解纠缠表示框架(SGDR),一种有效的方法,以准确的语义有意义的特征的分割任务,以提高性能的跨模态医学图像分割在无监督域自适应设置。为了提取不同模态的有意义的域不变特征,我们引入内容鉴别器来强制内容表示嵌入到同一空间,并引入特征鉴别器来精确有意义的表示。我们还使用像素-我们在两个公开的数据集上验证了我们的方法,实验结果表明,我们的方法优于传统的方法最先进的方法对两个评价指标的一个显着的边际。
2023-03-04 cs.CV eess.IV
Unsupervised Domain Adaptation with Variational Approximation for Cardiac Segmentation
Fudan University(复旦大学)
无监督区域自适应算法在医学图像分割中具有重要的应用价值。特别地,当目标图像的地面实况不可用时,域自适应可以通过利用来自其他模态的现有标记图像来训练目标特定的模型。大多数已报道的作品都将源域和目标域的图像映射到一个共同的潜在特征空间中,然后通过对抗性训练隐式地或直接最小化差异度量来显式地减少它们的差异。在这项工作中,我们提出了一个新的框架,这两个域的潜在特征被驱动到一个共同的和参数化的变分形式,其条件分布给定的图像是高斯。这是通过基于变分自动编码器(VAE)的两个网络和这种变分近似的正则化来实现的。两个VAE,每个域,包含一个分割模块,其中源分割是以监督的方式训练,而目标分割是无监督地训练。我们使用两个心脏分割任务验证了所提出的域自适应方法,即,跨模态(CT和MR)全心脏分割和跨序列心脏MR分割。结果表明,该方法实现了更好的精度相比,两个国家的最先进的方法,并表现出良好的潜力,心脏分割。此外,所提出的显式正则化被证明是有效的,有效地缩小域之间的分布差距,这是有用的无监督域自适应。我们的代码和数据已通过https://zmiclab.github.io/projects.html发布。
2021-06-16 cs.CV eess.IV
C-MADA: Unsupervised Cross-Modality Adversarial Domain Adaptation framework for medical Image Segmentation
Universidad San Francisco de Quito(旧金山基多大学);University of South Florida(南佛罗里达大学)
深度学习模型已经获得了医学图像分析的最新成果。然而,当这些模型在一个看不见的域上进行测试时,会出现显著的性能下降。在这项工作中,我们提出了一个无监督的跨模态对抗域自适应(C-MADA)框架的医学图像分割。C-MADA以顺序方式实现图像和特征级自适应方法。首先,来自源域的图像通过具有周期一致性损失的非配对图像到图像对抗翻译被翻译到目标域。然后,用映射的源域图像和目标域图像以对抗的方式训练U-Net网络,以学习域不变特征表示。此外,为了提高网络分割性能,在对抗训练期间包括关于预测分割的形状,纹理和轮廓的信息。C-MADA在脑MRI分割任务上进行了测试,获得了有竞争力的结果。
2021-10-29 cs.CV eess.IV
ASC-Net: Unsupervised Medical Anomaly Segmentation Using an Adversarial-based Selective Cutting Network
University of Georgia(佐治亚大学);Zhongnan Hospital of Wuhan University(武汉大学中南医院);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们考虑在医学图像中的无监督异常分割的问题,这引起了越来越多的关注,近年来由于昂贵的像素级的专家注释和存在大量的未注释的正常和异常的图像扫描。我们引入了一个分割网络,该网络利用对抗学习将图像划分为两个切割,其中一个切割落入用户提供的参考分布中。这种基于对抗性的选择性切割网络(ASC-Net)桥接了基于聚类的深度分割和基于对抗性的异常/新颖性检测算法这两个领域。我们的ASC-Net从正常和异常的医疗扫描中学习,以在没有任何监督掩码的情况下分割医疗扫描中的异常。我们在三个公共数据集上评估了这种无监督的异常分割模型,即,BraTS 2019用于脑肿瘤分割,LiTS用于肝脏病变分割,MS-SEG 2015用于脑病变分割,以及用于脑肿瘤分割的私人数据集。与现有方法相比,我们的模型在无监督异常分割任务中表现出巨大的性能提升。虽然与监督学习算法相比,仍有进一步提高性能的空间,但有希望的实验结果和有趣的观察结果揭示了使用用户定义的知识构建用于医疗异常识别的无监督学习算法。
2021-12-16 cs.AI cs.CV eess.IV
Medical Image Segmentation via Unsupervised Convolutional Neural Network
Johns Hopkins Medical Institutes(约翰斯·霍普金斯医学院);Johns Hopkins University(约翰斯·霍普金斯大学);Department of Radiology and Radiological Science(放射学与放射科学系);Department of Electrical and Computer Engineering(电气与计算机工程系)
对于大多数基于学习的分割方法,需要大量高质量的训练数据。在本文中,我们提出了一种新的基于学习的分割模型,可以训练半或无监督。具体而言,在无监督设置中,我们通过卷积神经网络(ConvNet)对无边缘活动轮廓(ACWE)框架进行参数化,并使用自监督方法优化ConvNet的参数。在另一种设置(半监督)中,在训练期间使用辅助分割基础事实。我们表明,该方法提供了快速和高质量的骨分割的背景下,单光子发射计算机断层扫描(SPECT)图像。
2020-07-06 cs.CV cs.LG eess.IV
Unsupervised Microvascular Image Segmentation Using an Active Contours Mimicking Neural Network
Tel Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
显微图像中的血管分割对于许多诊断和研究应用至关重要。然而,根据瞬态成像条件的不同,血管可能看起来有很大的不同,并且收集用于监督训练的数据是费力的。我们提出了一种新的深度学习方法,用于血管的无监督分割。该方法的灵感来自于活动轮廓领域,我们引入了一个新的损失项,这是基于形态学活动轮廓无边缘(ACWE)优化方法。形态算子的作用是由新的池化层发挥的,这些池化层被纳入网络的架构。我们展示了当成像条件发生变化时,以前的监督学习解决方案所面临的挑战。我们的无监督方法在标记数据集以及应用于相似但不同的数据集时都能够优于以前的方法。我们的代码,以及基线方法VesselNN和DeepVess的高效PyTorch重新实现可在GitHub -https://github.com/shirgur/UMIS上获得。
2019-08-16 cs.CV eess.IV
Unsupervised Data-Driven Nuclei Segmentation For Histology Images
University of Southern California(南加州大学)
提出了一种无监督的数据驱动的组织学图像细胞核分割方法,称为CBM。CBM由以逐块方式应用的三个模块组成:1)用于能量压缩和降维的数据驱动的颜色变换,2)数据驱动的二值化,以及3)将几何先验与形态学处理相结合。CBM来自三个模块的第一个字母-“颜色变换”,“二值化”和“形态处理”。在MoNuSeg数据集上的实验验证了该方法的有效性。CBM优于所有其他无监督方法,并在基于聚合Jaccard指数(AJI)指标的监督模型中提供了竞争地位。
2021-10-14 cs.CV eess.IV eess.SP
Unsupervised Tissue Segmentation via Deep Constrained Gaussian Network
National Heart and Lung Institute, Imperial College London(帝国理工学院国家心肺研究所);Technical University of Munich(慕尼黑工业大学);Zhejiang Institute of Standardization(浙江省标准化研究院);National Clinical Research Centre of Kidney Diseases, Nanjing University(南京大学国家肾脏疾病临床医学研究中心)
组织分割是病理学检查的支柱,而手动描绘是过度繁重的。为了帮助这个耗时和主观的手动步骤,研究人员已经设计了自动分割病理图像中结构的方法。最近,基于自动化机器和深度学习的方法主导了组织分割研究。然而,大多数基于机器和深度学习的方法都是使用大量训练样本进行监督和开发的,其中像素级注释是昂贵的,有时可能无法获得。本文介绍了一种新的无监督学习范式,通过将端到端深度混合模型与约束指标相结合来获得准确的语义组织分割。该约束的目的是在优化函数的计算期间集中深度混合模型的分量。这样做,可以大大减少当前无监督学习方法中常见的冗余或空类问题。通过对公共和内部数据集的验证,与其他现有的无监督分割方法相比,所提出的深度约束高斯网络在组织分割方面实现了显着(Wilcoxon符号秩检验)更好的性能(平均Dice得分分别为0.737和0.735),具有更好的稳定性和鲁棒性。此外,与完全监督的U-Net相比,所提出的方法具有相似的性能(p值> 0.05)。
2022-08-04 cs.CV eess.IV
Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation
The Chinese University of Hong Kong(香港中文大学);Imsight Medical Technology Co. Ltd.(视见医疗科技有限公司);The Hong Kong Polytechnic University(香港理工大学)
无监督域自适应在医学图像计算中越来越受到关注,旨在解决深度神经网络在部署到具有异构特征的不可见数据时的性能下降问题。在这项工作中,我们提出了一种新的无监督域自适应框架,命名为协同图像和特征对齐(SIFA),有效地适应分割网络到一个未标记的目标域。我们提出的SIFA进行协同对齐域从图像和功能的角度来看。特别是,我们同时转换跨域图像的外观,并通过在多个方面利用对抗学习和深度监督机制来增强提取特征的域不变性。特征编码器在两个自适应视角之间共享,以通过端到端学习来利用它们的共同利益。我们已经广泛评估了我们的方法与心脏子结构分割和腹部多器官分割的双向跨模态适应MRI和CT图像之间。两个不同的任务的实验结果表明,我们的SIFA方法是有效的,在提高未标记的目标图像的分割性能,并优于国家的最先进的域自适应方法的大幅度提高。
2020-02-06 cs.CV eess.IV
Unsupervised COVID-19 Lesion Segmentation in CT Using Cycle Consistent Generative Adversarial Network
University of Science and Technology of China(中国科学技术大学);The First Affiliated Hospital of USTC (Anhui Provincial Hospital)(中国科学技术大学附属第一医院(安徽省立医院))
COVID-19已成为全球大流行病,并仍对公众构成严重的健康风险。准确有效地分割CT扫描中的肺炎病灶对于治疗决策至关重要。我们提出了一种新型的无监督方法,使用周期一致性生成对抗网络(cycle-GAN),可以自动化并加速病变描绘的过程。工作流程包括肺体积分割、“合成”健康肺生成、感染和健康图像减影以及二进制病变掩模创建。首先使用预训练的U-网络描绘肺体积,并作为后期网络的输入。开发cycle-GAN是为了从受感染的肺部图像生成合成的“健康”肺部CT图像。之后,通过从“感染的”肺CT图像中减去合成的“健康的”肺CT图像来提取肺炎病变。然后应用中值滤波和K均值聚类来勾画病变轮廓。自动分割方法在两个公共数据集(Coronacases和Radiopedia)上进行了验证。对于Coronacases和Radiopedia数据集,Dice系数分别达到0.748和0.730。同时,Coronacases数据集的病变分割检测精度和灵敏度分别为0.813和0.735,Radiopedia数据集的病变分割检测精度和灵敏度分别为0.773和0.726。其性能与现有的监督分割网络相当,并且优于以前的无监督分割网络。所提出的无监督分割方法在自动COVID-19病变勾画中实现了高精度和高效率。分割结果可以作为进一步手动修改的基线和病变诊断的质量保证工具。此外,由于其非监督性质,结果不受医生经验的影响,而医生经…
2021-11-23 cs.CV eess.IV
Temporally Consistent Unbalanced Optimal Transport for Unsupervised Action Segmentation
Australian National University(澳大利亚国立大学)
本文提出融合时间一致性先验的非平衡 Gromov-Wasserstein 最优传输方法,无需已知动作顺序即可从含噪匹配代价中恢复动作分割,并通过 GPU 投影镜像下降高效求解,在多个无监督视频动作分割基准上达到当前最优。
2024-04-08 cs.CV cs.LG eess.IV
Synthetic vascular structure generation for unsupervised pre-training in CTA segmentation tasks
University of Amsterdam(阿姆斯特丹大学)
通常很难获得足够大的计算机断层扫描(CT)数据集来训练有监督的深度模型。其中一个问题是创建地面实况标签(特别是针对体积数据)的手工劳动量。在这项研究中,我们训练一个U-网络架构在血管分割任务,可用于提供见解时,治疗中风患者。我们创建了一个计算模型,生成合成血管结构,可以混合到未标记的头部CT扫描。这种无监督的标记方法用于预训练深度分割模型,然后对真实示例进行微调,以实现与仅在手动标记数据集上训练的模型相比的准确性提高。
2020-01-02 cs.CV cs.LG eess.IV
TricycleGAN: Unsupervised Image Synthesis and Segmentation Based on Shape Priors
McMaster University(麦克马斯特大学);McMaster Children’s Hospital(麦克马斯特儿童医院)
常规地执行医学图像分割以隔离感兴趣区域,诸如器官和病变。目前,深度学习是自动分割的最新技术,但通常受到对大型数据集进行监督训练的需求的限制,这些数据集已由训练有素的临床医生手动分割。半监督和无监督图像分割的目标是大大减少甚至消除对训练数据的需求,从而最大限度地减少临床医生在训练分割模型时的负担。为此,我们引入了一种新的网络架构,能够进行无监督和半监督图像分割,称为TricycleGAN。这种方法使用三个生成模型来学习医学图像和分割图之间的翻译,使用边缘图作为中间步骤。与其他基于生成网络的方法不同,TricycleGAN依赖于形状先验,而不是颜色和纹理先验。因此,它特别适合于医学成像的几个领域,例如超声成像,其中通常使用的视觉提示可能不存在。我们在肾脏超声图像的临床数据集和基准ISIC 2018皮肤病变数据集上进行了TricycleGAN实验。
2021-02-04 cs.CV cs.LG eess.IV
Unsupervised Object Segmentation with Explicit Localization Module
University of California, Davis(加州大学戴维斯分校)
在本文中,我们提出了一种新的架构,迭代发现和分割出的图像重建质量的基础上的场景中的对象。与其他方法不同,我们的模型使用显式定位模块,该模块在每次迭代时基于像素级重建质量定位场景的对象,其中较简单的对象往往在早期迭代中重建得更好,因此首先被分割出来。我们表明,我们的本地化模块提高了分割的质量,特别是在一个具有挑战性的背景。
2019-11-21 cs.CV cs.LG eess.IV
Key Instance Selection for Unsupervised Video Object Segmentation
SK T-Brain(SK T-Brain研究院)
提出了一种基于视频显著性、覆盖对象性和动态性的无监督视频对象分割(UVOS)关键实例选择方法。我们的方法依次帧和提取对象的建议与相应的面具为每一帧。我们根据对象的相似性将它们链接到第M帧,然后为它们分配唯一的ID(即,实例)。相似性度量考虑了ReID描述符、预期轨迹和语义共分割结果等多个属性。在第M帧之后,我们基于视频显著性和出现频率选择K个ID;然后在剩余帧中仅跟踪这些关键ID。由于这些技术贡献,我们的结果在UVOS DAVIS挑战排行榜上排名第三。
2019-07-26 cs.CV cs.LG eess.IV
Road Damage Detection Based on Unsupervised Disparity Map Segmentation
The Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的基于非监督视差图分割的道路破损检测算法。首先,通过最小化关于立体装备滚动角和道路视差投影模型的能量函数来变换视差图。而不是解决这个能量最小化问题,使用非线性优化技术,我们直接找到它的数值解。变换后的视差图,然后分割使用Otus的阈值方法,和损坏的道路区域可以提取。该算法在检测道路损伤时不需要任何参数。实验结果表明,我们提出的算法进行准确和有效的。像素级道路损伤检测准确率约为97.56%。
2019-10-11 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation by Optical Flow Augmentation in Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
生成真实图像标签的成本很高,并且真实图像和模拟图像之间存在域差距,因此在后者上训练的模型无法适应前者。解决这个问题可以完全消除标记真实数据集的需要。类平衡的自我训练是试图减少域差距的现有技术之一。此外,用流图增强RGB在简单的语义分割中具有改进的性能,并且跨域保留几何形状。因此,通过用密集光流图增强图像,可以改进语义分割中的领域自适应。
2019-11-20 cs.CV cs.LG eess.IV
Upgraded W-Net with Attention Gates and its Application in Unsupervised 3D Liver Segmentation
Otto von Guericke University(奥托·冯·格里克大学);German Center for Neurodegenerative Disease(德国神经退行性疾病中心);Center for Behavioral Brain Sciences(行为脑科学中心);Leibniz Institute for Neurobiology(莱布尼茨神经生物学研究所)
生物医学图像的分割可以帮助放射科医生做出更好的诊断,并通过帮助检测异常(如肿瘤)更快地做出决策。然而,手动或半自动分割可能是一项耗时的任务。大多数基于深度学习的自动分割方法都是有监督的,并且依赖于手动分割的地面实况。这个问题的一个可能的解决方案是一种基于无监督深度学习的自动分割方法,这项研究工作试图解决这个问题。我们使用了一个W-Net架构,并对其进行了修改,使其可以应用于3D体积。此外,为了抑制分割中的噪声,我们在跳过连接中添加了注意力门。使用软N-Cuts计算分割输出的损失,使用SSIM计算重建输出的损失。条件随机场被用作后处理步骤,以微调结果。所提出的方法已经显示出有前途的结果,与手动分割相比,肝脏分割的骰子系数为0.88。
2020-11-20 cs.CV cs.LG eess.IV
Unsupervised Segmentation of Fire and Smoke from Infra-Red Videos
The University of New Mexico(新墨西哥大学)
本文提出了一种基于视觉的火灾和烟雾分割系统,该系统利用空间、时间和运动信息从视频帧中提取出所需的区域。信息的融合使用多个特征来完成,例如光流、发散度和强度值。从图像中提取的这些特征用于以无监督的方式将像素分割成不同的类。通过使用多种聚类算法进行分割的比较分析。在这里,马尔可夫随机场执行更准确地比其他分割算法,因为它的特点是使用有限数量的参数的像素的空间相互作用。它构建了一个概率图像模型,该模型使用最大后验概率(MAP)估计来选择最有可能的标签。这种无监督的方法在各种图像上进行了测试,并实现了95.39%的逐帧火灾检测率。因此,该方法可用于早期火灾的实时检测,它可以被纳入室内或室外监控系统。
2019-09-18 cs.CV cs.LG eess.IV
Patch-Based Deep Unsupervised Image Segmentation using Graph Cuts
University of Pennsylvania(宾夕法尼亚大学);Bowdoin College(鲍登学院)
本文提出一种基于图像块的深度无监督图像分割方法,将深度聚类特征提取与经典图割算法相结合,通过简单卷积网络迭代正则化实现像素级分割,并验证了视觉Transformer块级特征的有效性。
2024-01-15 cs.CV cs.LG eess.IV
Quantum-enhanced unsupervised image segmentation for medical images analysis
Ingenii Inc.(英格尼公司)
本文提出首个端到端量子增强无监督乳腺X线图像分割框架,将分割任务建模为QUBO问题,实验证明量子退火和变分量子电路性能可比经典优化及UNet等有监督方法,且量子退火速度快一个数量级。
2024-11-22 cs.CV eess.IV quant-ph
3D Intracranial Aneurysm Classification and Segmentation via Unsupervised Dual-branch Learning
Deakin University(迪肯大学)
颅内动脉瘤是一种常见的疾病,如何对其进行智能检测对数字化医疗具有重要意义。虽然大多数现有的深度学习研究都以监督的方式关注医学图像,但我们引入了一种基于3D点云数据的颅内动脉瘤检测的无监督方法。特别是,我们的方法包括两个阶段:无监督的预训练和下游任务。对于前者,主要思想是将每个点云与其抖动的对应物配对,并最大化它们的对应性。然后我们设计了一个双分支对比网络,每个分支都有一个编码器,然后有一个公共的投影头。对于后者,我们设计了简单的网络进行监督分类和分割训练。在公共数据集(IntrA)上的实验表明,我们的无监督方法与一些最先进的监督技术相比,具有相当甚至更好的性能,并且在血管异常的检测中表现最为突出。在ModelNet40上的实验也表明,我们的方法达到了90.79%的准确率,优于现有的最先进的无监督模型。
2022-01-17 cs.CV cs.LG eess.IV
Image Embedded Segmentation: Uniting Supervised and Unsupervised Objectives for Segmenting Histopathological Images
Bilkent University(比尔肯特大学);Hacettepe University(哈塞特佩大学)
本文提出了一种新的正则化方法来训练一个完全卷积的网络,用于组织病理学图像中的语义组织分割。这种方法依赖于无监督学习的好处,以图像重建的形式,用于网络训练。为此,它提出了一个想法,定义一个新的嵌入,允许联合的主要监督任务的语义分割和辅助无监督任务的图像重建成一个单一的,并提出学习这个联合任务由一个单一的生成模型。该嵌入通过将输入图像叠加在其分割图上来生成输出图像。然后,该方法学习使用条件生成对抗网络将输入图像转换为该嵌入的输出图像,该网络对于图像到图像的转换非常有效。该建议不同于现有的方法,该方法使用图像重建用于相同的正则化目的。现有的方法将分割和图像重建视为多任务网络中的两个独立任务,独立地定义它们的损失,并将它们组合在联合损失函数中。然而,这样的函数的定义需要从外部确定监督损失和非监督损失的正确贡献,从而在分割和图像重建任务之间产生平衡的学习。所提出的方法通过将这两个任务合并为一个任务,从而在本质上结合了它们的损失,从而为这个问题提供了一个更容易的解决方案。我们在三个组织病理学图像数据集上测试我们的方法。我们的实验表明,它导致更好的分割结果,在这些数据集相比,它的同行。
2020-11-25 cs.CV cs.LG eess.IV
AD-GAN: End-to-end Unsupervised Nuclei Segmentation with Aligned Disentangling Training
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Duke Kunshan University(昆山杜克大学)
本文考虑无监督的细胞核分割。利用最近提出的细胞核图像和随机合成掩模之间的不成对图像到图像转换,现有方法,例如,CycleGAN取得了令人鼓舞的成果。然而,这些方法通常需要两个阶段的管道,并且无法在细胞核图像中进行端到端的学习。更严重的是,它们可能导致有损变换问题,即,原始图像和相应的分割输出之间的内容不一致。为了解决这些限制,我们提出了一种新的端到端无监督框架,称为Aligned Disentangling Generative Adversarial Network(AD-GAN)。与众不同的是,AD-GAN引入了表示解纠缠,将内容表示(底层空间结构)与风格表示(结构的渲染)分开。有了这个框架,空间结构可以显式地保留,从而大大减少了宏观级的有损变换。我们还提出了一种新的训练算法,能够在潜在空间中对齐未纠缠的内容,以减少微观层面的有损变换。对真实世界的2D和3D数据集的评估表明,AD-GAN在定量和定性方面都大大优于其他比较方法和专业软件。具体来说,所提出的AD-GAN导致了比当前最好的无监督方法平均17.8%的显著改进(相对于W.R.T.度量DICE)在四个细胞核数据集上。作为一种无监督的方法,AD-GAN甚至可以与最好的监督模型竞争,朝着端到端无监督细胞核分割的方向又迈进了一步。
2022-03-10 cs.CV cs.LG eess.IV
A novel unsupervised covid lung lesion segmentation based on the lung tissue identification
Shahid Sadoughi University of Medical Sciences(沙希德·萨杜吉医科大学);Mashhad University of Medical Sciences(马什哈德医科大学);Geneva University Hospital(日内瓦大学医院)
本研究旨在评估一种新的基于无监督深度学习的框架的性能,用于从Covid患者的CT图像中自动分割感染病变。在第一步中,两个残差网络被独立训练,以监督的方式识别正常和新冠肺炎患者的肺组织。这两个模型分别被称为DL-Covid和DL-Norm,用于Covid-19和正常患者,生成用于肺组织识别的逐体素概率图。为了检测Covid病变,通过DL-Covid和DL-Norm模型处理Covid患者的CT图像,以获得两个肺部概率图。由于DL-Norm模型不熟悉肺部内的Covid感染,因此该模型为病变分配的概率低于DL-Covid模型。因此,新冠病毒感染的概率图可以通过从DL-Covid和DL-Norm模型获得的两个肺部概率图相减来生成。使用50张Covid-19 CT图像的手动病变分割来评估无监督病变分割方法的准确性。在外部验证数据集中,正常和Covid患者的肺部分割分别获得了0.985和0.978的Dice系数。通过所提出的无监督方法进行感染分割的定量结果显示,Dice系数和Jaccard指数分别为0.67和0.60。对所提出的用于Covid-19感染性病变分割的无监督方法的定量评估显示出相对令人满意的结果。由于该框架不需要任何注释数据集,因此可以用于为专用于噪声和/或弱注释数据集的监督机器学习算法生成非常大的训练样本。
2022-02-24 cs.CV eess.IV physics.med-ph
Unsupervised Segmentation of Colonoscopy Images
Genentech(基因泰克);Roche(罗氏)
本文探索利用视觉变换器的自监督特征,在无标注条件下实现结肠镜图像的分类、目标检测及无监督分割,并发现多种临床相关结构,展示了在医学图像分析中的巨大潜力。
2023-12-19 cs.AI cs.CV cs.LG