Enhanced Unsupervised Image-to-Image Translation Using Contrastive Learning and Histogram of Oriented Gradients
本文提出基于CUT模型并结合HOG特征的增强无监督图像到图像翻译方法,通过最小化HOG特征损失保留语义结构,有效减少伪影幻觉并提升图像质量。
2024-09-26 cs.CV eess.IV
MHITNet: a minimize network with a hierarchical context-attentional filter for segmenting medical ct images
在医学CT图像处理领域,卷积神经网络(CNN)一直是占主导地位的技术。编码器-解码器CNN利用局部性来提高效率,但它们不能正确地模拟远距离像素的相互作用。最近的研究表明,可以堆叠自注意或Transformer层来有效地学习长程依赖性。通过将图像块构建和处理为嵌入,Transformers已经应用于计算机视觉应用。然而,基于transformer的架构缺乏全局语义信息交互,并且需要大规模的训练数据集,这使得用小数据样本进行训练具有挑战性。为了解决这些挑战,我们提出了一个分层的上下文注意力Transformer网络(MHITNet),它结合了多尺度,Transformer,并在跳跃连接层次上下文提取模块。多尺度模块捕获更深的CT语义信息,使得Transformers能够更有效地将来自各个CNN阶段的标记化图片块的特征图编码为输入注意力序列。在三个数据集上进行的大量实验表明,本文提出的MHITNet算法优于目前最好的算法
2022-11-01 eess.IV
Image Embedded Segmentation: Uniting Supervised and Unsupervised Objectives for Segmenting Histopathological Images
Bilkent University(比尔肯特大学);Hacettepe University(哈塞特佩大学)
本文提出了一种新的正则化方法来训练一个完全卷积的网络,用于组织病理学图像中的语义组织分割。这种方法依赖于无监督学习的好处,以图像重建的形式,用于网络训练。为此,它提出了一个想法,定义一个新的嵌入,允许联合的主要监督任务的语义分割和辅助无监督任务的图像重建成一个单一的,并提出学习这个联合任务由一个单一的生成模型。该嵌入通过将输入图像叠加在其分割图上来生成输出图像。然后,该方法学习使用条件生成对抗网络将输入图像转换为该嵌入的输出图像,该网络对于图像到图像的转换非常有效。该建议不同于现有的方法,该方法使用图像重建用于相同的正则化目的。现有的方法将分割和图像重建视为多任务网络中的两个独立任务,独立地定义它们的损失,并将它们组合在联合损失函数中。然而,这样的函数的定义需要从外部确定监督损失和非监督损失的正确贡献,从而在分割和图像重建任务之间产生平衡的学习。所提出的方法通过将这两个任务合并为一个任务,从而在本质上结合了它们的损失,从而为这个问题提供了一个更容易的解决方案。我们在三个组织病理学图像数据集上测试我们的方法。我们的实验表明,它导致更好的分割结果,在这些数据集相比,它的同行。
2020-11-25 cs.CV cs.LG eess.IV
Automated segmentation of 3-D body composition on computed tomography
University of Pittsburgh School of Medicine(匹兹堡大学医学院);VA Pittsburgh Healthcare System(匹兹堡退伍军人医疗系统)
目的:开发并验证一种计算机工具,用于对计算机断层扫描(CT)扫描中描述的以下组织的身体成分进行自动和同步分割:内脏脂肪(VAT)、皮下脂肪(SAT)、肌间脂肪(IMAT)、骨骼肌(SM)和骨骼。方法:使用了从癌症成像档案(TCIA)获得的100个CT扫描的队列- 50个全身正电子发射断层扫描(PET)-CT,25个胸部和25个腹部。五种不同的身体组成手动注释(VAT,SAT,IMAT,SM和骨)。为了提高效率,使用了边注释边训练的策略。UNet模型使用已经注释的案例进行训练。然后,使用该模型对其余病例进行半自动注释。10重交叉验证方法用于开发和验证几种卷积神经网络(CNN)的性能,包括UNet,递归残差UNet(R2 Unet)和UNet++。当训练CNN模型时,使用3-D补丁采样操作。对单独训练的CNN模型进行测试,看看它们是否能比联合分割它们获得更好的性能。使用配对样本t检验来检验统计学显著性。结果如下:在三种CNN模型中,UNet在联合分割五种身体成分方面表现出最好的整体性能,Dice系数为0.840+/-0.091,0.908 +/-0.067,0.603 +/-0.084,0.889 +/-0.027,0.884+/-0.031,Jaccard指数为0.734+/-0.119,VAT、SAT、IMAT、SM和骨分别为0.837 ± 0.096、0.437 ± 0.082、…
2021-12-16 cs.CV eess.IV
Deep learning-based method for segmenting epithelial layer of tubules in histopathological images of testicular tissue
Deepcell, Inc.(Deepcell公司);Swedish University of Agricultural Sciences(瑞典农业科学大学);Aarhus University(奥胡斯大学)
针对环境污染物致睾丸毒性评估问题,提出基于ResNet-34和SE注意力机制的F-CNN模型,用于自动分割组织学图像中的曲细精管上皮层,实验证明其泛化性强且优于现有方法。
2023-01-24 cs.AI cs.CV eess.IV
Segmenting Medical Images with Limited Data
National University of Singapore(新加坡国立大学);Sun Yat-sen University(中山大学);Tan Tock Seng Hospital(陈笃生医院)
针对医学图像分割中数据有限、未标注图像难利用的问题,提出融合在线自动增强、残差鲁棒性增强模块与敏感损失的半监督分割方法DEMS,在小数据场景下性能显著优于现有方法。
2024-07-12 cs.CV eess.IV
An Unpaired Cross-modality Segmentation Framework Using Data Augmentation and Hybrid Convolutional Networks for Segmenting Vestibular Schwannoma and Cochlea
Huazhong University of Science and Technology(华中科技大学);Kennesaw State University(肯尼索州立大学)
crossMoDA挑战旨在通过利用标记的对比增强T1扫描自动分割未标记的高分辨率T2扫描的前庭神经鞘瘤(VS)肿瘤和耳蜗区域。2022版通过包括多机构扫描扩展了细分任务。在这项工作中,我们提出了一个使用数据增强和混合卷积网络的不成对跨模态分割框架。考虑到多机构扫描的异构分布和各种图像尺寸,我们应用最小-最大归一化来缩放所有扫描的强度在-1和1之间,并使用体素尺寸恢复和中心裁剪来获得用于训练的固定尺寸子体积。我们采用两种数据增强方法来有效地学习语义信息并生成逼真的目标域扫描:生成和在线数据增强。对于生成数据增强,我们使用CUT和CycleGAN生成两组具有不同细节和外观的真实T2体积,用于监督分割训练。对于在线数据增强,我们设计了一种随机肿瘤信号减少方法来模拟VS肿瘤信号的异质性。此外,我们利用具有多维卷积的高级混合卷积网络自适应地学习稀疏切片间信息和密集切片内信息,以在各向异性扫描中准确地对VS肿瘤和耳蜗区域进行体积分割。在crossMoDA 2022验证数据集上,我们的方法产生了有希望的结果,并且对于VS肿瘤和耳蜗区域,分别实现了72.47%和76.48%的平均DSC值和3.42 mm和0.53 mm的ASSD值。
2022-11-28 cs.CV eess.IV
A Survey of Left Atrial Appendage Segmentation and Analysis in 3D and 4D Medical Images
J. J. Strossmayer University of Osijek(奥西耶克J.J.斯特罗斯马耶大学);Ghent University(根特大学);imec(比利时微电子研究中心)
心房颤动(AF)是一种心血管疾病,被认为是卒中的主要危险因素之一。大多数房颤引起的卒中是由起源于左心耳(LAA)的凝块引起的。左心耳封堵术是降低卒中风险的有效手术。使用术前成像和分析计划手术已显示出受益。分析通常通过在2D切片上手动分割附件来完成。自动LAA分割方法可以节省专家的时间,并提供有见地的3D可视化和准确的自动测量,以帮助医疗程序。已经提出了几种半自动和全自动的方法分割的附件。本文综述了3D和4D医学图像(包括CT、MRI和超声心动图图像)上的LAA自动分割方法。我们将方法分为启发式和基于模型的方法,以及半自动和全自动方法。我们总结和比较所提出的方法,评估其有效性,目前在该领域的挑战和方法来克服它们。
2022-05-13 cs.CV eess.IV
Fish Detection Using Morphological Approach Based-on K-Means Segmentation
图像分割是一个经常用于目标检测的概念。这种检测难以检测具有许多颜色的背景的对象,甚至具有与被检测对象相似的颜色。本研究的目的是使用分割,即分割的鱼类图像,使用k-均值聚类的鱼类检测。首先通过改进图像来处理分割过程。初始过程是预处理以改善图像。预处理完成两次,在使用k-means分割之前和之后。预处理阶段1使用resize和reshape。而在k-means之后是对比度受限的自适应直方图均衡化。预处理结果使用k-means聚类进行分割。K-means概念使用对象和背景之间的段(使用k = 8)对图像进行分类。最后一步是形态学过程与开放和关闭操作,以获得鱼的轮廓,使用黑白图像的灰度图像从彩色图像。基于实验结果,该过程可以运行良好,SSIM值接近1,这意味着图像信息没有改变。处理后的对象提供了鱼对象的清晰图像,因此这种k-means分割可以帮助检测鱼对象。
2021-01-16 eess.IV
Using the Polar Transform for Efficient Deep Learning-Based Aorta Segmentation in CTA Images
Faculty of Electrical Engineering, Computer Science and Information Technology(电气工程、计算机科学与信息技术学院);Ghent University(根特大学);Faculty of Engineering and Architecture(工程与建筑学院);imec(比利时微电子研究中心)
医学图像分割通常需要在单个图像上分割多个椭圆形对象。除其他任务外,这包括在轴向CTA切片中分割血管,例如主动脉。在本文中,我们提出了一种通用的方法来提高神经网络在这些任务中的语义分割性能,并验证了我们的方法对主动脉分割的任务。我们使用两个神经网络的级联,其中一个基于U-Net架构执行粗略分割,另一个基于输入的极坐标图像变换执行最终分割。粗分割的连通分量分析用于构造极坐标变换,并使用滞后阈值融合对同一图像的多个变换的预测。我们表明,这种方法提高了主动脉分割性能,而不需要复杂的神经网络架构。此外,我们表明,我们的方法提高了鲁棒性和像素级召回,同时实现了符合最新技术水平的分割性能。
2022-06-21 cs.CV eess.IV
AtrialGeneral: Domain Generalization for Left Atrial Segmentation of Multi-Center LGE MRIs
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);King’s College London(伦敦国王学院)
晚期钆增强磁共振成像(LGE MRI)的左心房(LA)分割是计划房颤治疗所需的关键步骤。然而,由于图像质量差、左心房形状的高度可变性和左心房边界不清晰,LGE MRI的自动左心房分割仍然具有挑战性。虽然基于深度学习的方法可以提供有希望的LA分割结果,但它们通常对看不见的领域(例如来自不同扫描仪和/或站点的数据)的概括性很差。在这项工作中,我们收集了210个LGE MRI从不同的中心与不同级别的图像质量。为了评估LA分割任务模型的域泛化能力,我们采用了四种常用的语义分割网络,用于多中心LGE MRI的LA分割。此外,我们还研究了三种领域泛化策略,即,直方图匹配、基于互信息的解纠缠表示和随机风格转移,其中简单的直方图匹配被证明是最有效的。
2021-07-05 cs.CV eess.IV
Towards Automated Semantic Segmentation in Mammography Images
Pontifícia Universidade Católica do Rio de Janeiro(里约热内卢天主教大学);Tecgraf Institute(Tecgraf研究所)
本研究针对乳腺X线摄影图像中关键结构的自动分割需求,提出基于深度学习的多结构分割框架,构建大型私有数据集并验证其在复杂病例中的精准分割效果,可应用于临床辅助诊断。
2023-07-18 cs.CV cs.LG eess.IV
Self-Supervised Audio-Visual Co-Segmentation
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
分割图像中的对象和分离音频中的声源是具有挑战性的任务,部分原因是传统方法需要大量的标记数据。在本文中,我们开发了一个神经网络模型的视觉对象分割和声音声源分离,学习自然视频通过自我监督。该模型是最近提出的将图像像素映射到声音的工作的扩展。在这里,我们引入了一种学习方法来解开神经网络中的概念,并将语义类别分配给网络特征通道,以便在视频上进行视听训练后实现独立的图像分割和声音声源分离。我们的评估表明,解开模型优于几个基线在语义分割和声音声源分离。
2019-04-18 cs.CV cs.SD eess.AS
Deep Object Co-segmentation via Spatial-Semantic Network Modulation
Nanjing University of Information Science and Technology(南京信息工程大学);JD Finance America Corporation(京东金融美国公司)
目标共分割是将多幅相关图像中的共享目标分割出来,在计算机视觉中有着广泛的应用。本文提出了一种用于对象共分割的空间和语义调制的深度网络框架。采用骨干网络进行多分辨率图像特征提取。以相关图像的多分辨率特征作为输入,设计了一个空间调制器来学习每幅图像的掩模。空间调制器通过无监督学习捕获图像特征描述符的相关性。学习的遮罩可以粗略地定位共享的前景对象,同时抑制背景。对于语义调制器,我们将其建模为监督图像分类任务。我们提出了一个层次化的二阶池化模块来转换图像特征用于分类。两个调制器的输出通过移位和缩放操作来操纵多分辨率特征,使得特征集中于分割共同对象区域。所提出的模型是端到端训练的,没有任何复杂的后处理。在四个图像联合分割基准数据集上的实验表明,与现有方法相比,该方法具有更高的精度。
2019-11-29 cs.CV cs.LG eess.IV
Analysis of supervised and semi-supervised GrowCut applied to segmentation of masses in mammography images
Center for Informatics, Federal University of Pernambuco(伯南布哥联邦大学信息学中心);Department of Biomedical Engineering, Federal University of Pernambuco(伯南布哥联邦大学生物医学工程系)
乳腺癌已经是世界上最常见的癌症之一。乳腺X线摄影图像分析仍然是促进乳腺癌早期发现的最有效的诊断方法。准确分割数字乳腺X线摄影图像中的肿瘤对于提高医疗专家的诊断能力和避免误诊具有重要意义。在这项工作中,我们评估了应用GrowCut分割肿瘤区域的可行性,我们提出了两个GrowCut半监督版本。通过评价分割技术对从Mini-MIAS乳腺X线摄影图像数据库获得的一组图像的应用,进行所有分析。GrowCut分割与区域生长、活动轮廓、随机游走和图切割技术进行了比较。实验表明,GrowCut,与其他技术相比,能够获得更好的结果的指标分析。此外,所提出的半监督版本的GrowCut被证明具有临床上令人满意的分割质量。
2017-12-20 cs.AI cs.CV cs.NE