Segmentation of structural parts of rosebush plants with 3D point-based deep learning methods
Eskisehir Osmangazi University(埃斯基谢希尔奥斯曼加齐大学);INRAe(法国国家农业食品与环境研究院);Institut de Recherche en Horticulture et Semences(园艺与种子研究所);Université d’Angers(昂热大学)
植物三维模型结构部分的分割是植物表型分析的重要步骤,特别是对于监测建筑和形态特征。当前最先进的方法依赖于手工制作的3D局部特征来对植物结构中的几何变化进行建模。虽然点云深度学习的最新进展具有提取相关局部和全局特征的潜力,但标记的3D植物数据的稀缺性阻碍了对这种潜力的探索。我们采用了六种最近的基于点的深度学习架构(PointNet,PointNet++,DGCNN,PointCNN,ShellNet,RIConv)来分割玫瑰树模型的结构部分。我们生成了3D合成玫瑰树模型,为这些架构的修改和预训练提供了足够数量的标记数据。为了评估它们在真实蔷薇植物上的表现,我们使用了完全注释的点云模型的ROSE-X数据集。我们提供了包含和不包含合成数据的实验,以证明基于点的深度学习技术的潜力,即使是有限的真实植物标记数据。实验结果表明,在六种基于点的深度学习方法中,PointNet++的分割准确率最高。PointNet++的优势在于它提供了点云数据分层组织规模的灵活性。使用合成3D模型进行预训练提高了所有架构的性能,但PointNet除外。
2022-02-23 cs.CV
Image Segmentation Using Hierarchical Merge Tree
University of Utah(犹他大学)
本文研究了计算机视觉中最基本的问题之一:图像分割。我们提出了一个监督的分层方法对象无关的图像分割。从超像素过分割开始,采用树结构表示区域合并的层次结构,将图像区域分割问题归结为寻找一组树节点的标签分配。我们制定的树结构作为一个受约束的条件模型相关联的区域合并使用集成边界分类器预测的可能性。然后可以通过有效地找到模型的全局最优解来推断最终分割。我们还提出了一个迭代的训练和测试算法,生成各种树结构,并结合它们强调准确的边界分割积累。在六个公共数据集上的实验结果和与其他最新方法的比较表明,我们的方法达到了最先进的区域精度,在没有语义先验的图像分割中具有很强的竞争力。
2016-07-31 cs.CV
SemiCurv: Semi-Supervised Curvilinear Structure Segmentation
Institute for Infocomm Research (I2R), A-STAR(新加坡科技研究局资讯通信研究院(I2R))
最近的工作曲线结构分割主要集中在骨干网络设计和损失工程。收集标记数据的挑战,一个昂贵和劳动密集型的过程,一直被忽视。虽然标记数据的获取成本很高,但未标记数据往往很容易获得。在这项工作中,我们提出了SemiCurv,一个半监督学习(SSL)框架的曲线结构分割,能够利用这种未标记的数据,以减少标签的负担。我们的框架解决了以半监督方式制定曲线分割的两个关键挑战。首先,为了充分利用基于SSL的一致性的能力,我们引入几何变换作为强数据增强,然后通过可微逆变换对齐分割预测,以实现逐像素一致性的计算。其次,传统的无标签数据的均方误差(MSE)容易导致预测崩溃,并且这个问题会随着严重的类别不平衡(显著更多的背景像素)而加剧。我们提出了一个N对一致性损失,以避免无标签数据的平凡预测。我们在六个曲线分割数据集上评估了SemiCurv,发现在不超过5%的标记数据的情况下,相对于完全监督的同类产品,它的性能接近95%。
2022-05-19 cs.CV
Satellite Image Semantic Segmentation
CNRS(法国国家科学研究中心);LIRIS - INSA Lyon(里昂国立应用科学学院LIRIS实验室);Ubisoft(育碧公司)
本文提出了一种将卫星图像自动语义分割为六类(疏林、密林、沼泽、草本层、建筑物和道路)的方法。我们依赖于Swin Transformer架构,并从IGN开放数据中构建数据集。我们报告了该数据集的定量和定性分割结果,并讨论了优势和局限性。数据集和训练的模型是公开的。
2021-10-12 cs.CV cs.GR
Interlaced Sparse Self-Attention for Semantic Segmentation
Microsoft Research Asia(微软亚洲研究院);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
在本文中,我们提出了一个所谓的交错稀疏自注意的方法,以提高效率的\emph{self-attention}机制语义分割。其主要思想是将稠密亲和矩阵分解为两个稀疏亲和矩阵的乘积。存在两个连续的注意力模块,每个注意力模块估计稀疏亲和矩阵。第一关注模块用于估计具有长空间间隔距离的位置的子集内的亲和力,并且第二关注模块用于估计具有短空间间隔距离的位置的子集内的亲和力。这两个注意力模块被设计成使得每个位置能够接收来自所有其他位置的信息。与原始的自我注意模块相比,我们的方法大大降低了计算和内存的复杂性,特别是在处理高分辨率特征图时。我们经验验证了我们的方法的有效性六个具有挑战性的语义分割基准。
2019-07-30 cs.CV
Deep Learning for Multi-Task Medical Image Segmentation in Multiple Modalities
University Medical Center Utrecht(乌得勒支大学医学中心);Eindhoven University of Technology(埃因霍温理工大学)
医学图像的自动分割是许多临床应用的重要任务。在实践中,使用不同的成像模式可视化各种各样的解剖结构。在本文中,我们研究了单个卷积神经网络(CNN)是否可以被训练来执行不同的分割任务。训练单个CNN以分割MR脑图像中的六个组织、MR乳房图像中的胸肌以及心脏CTA中的冠状动脉。因此,CNN学习识别成像模态、可视化解剖结构和组织类别。对于这三个任务中的每一个(脑MRI、乳腺MRI和心脏CTA),这种组合训练程序的分割性能都相当于专门为该任务训练的CNN的分割性能,证明了CNN架构的高容量。因此,在临床实践中可以使用单个系统来自动执行不同的分割任务,而无需特定于任务的训练。
2017-04-11 cs.CV
EMDS-5: Environmental Microorganism Image Dataset Fifth Version for Multiple Image Analysis Tasks
Northeastern University(东北大学);Stevens Institute of Technology(史蒂文斯理工学院);Huazhong University of Science and Technology(华中科技大学);Johns Hopkins University(约翰斯·霍普金斯大学);Chengdu University of Information Technology(成都信息工程大学)
环境微生物数据集第五版(EMDS-5)是一个显微图像数据集,包括原始环境微生物(EM)图像和两组地面实况(GT)图像。GT图像集包括单对象GT图像集和多对象GT图像集。EMDS-5数据集包含21种EM,每种EM包含20幅原始EM图像、20幅单目标GT图像和20幅多目标GT图像。EMDS-5可以实现对图像的预处理、图像分割、特征提取、图像分类和图像检索等功能。为了证明EMDS-5的有效性,针对每个功能,我们选取了最具代表性的算法和价格指标进行测试和评价。图像预处理功能包括图像去噪和图像边缘检测两部分。图像去噪采用9种滤波器分别对13种噪声进行去噪。在边缘检测方面,采用六种边缘检测算子对图像进行边缘检测,并采用峰值信噪比和平均结构相似度两个评价指标进行评价。图像分割包括单目标图像分割和多目标图像分割。本文采用六种方法对单目标图像进行分割,采用k-means和U-net方法对多目标图像进行分割,在EMDS-5中提取了九种特征,并使用支持向量机分类器进行了测试。在图像分类方面,我们选择VGG 16特征来测试不同的分类器。我们测试了两种类型的检索方法:纹理特征检索和深度学习特征检索。我们选择这两个深度学习网络的最后一层特征作为特征向量。我们使用平均精度作为检索的评价指标。
2021-02-20 cs.CV
BURST: A Benchmark for Unifying Object Recognition, Segmentation and Tracking in Video
RWTH Aachen University(亚琛工业大学);Carnegie Mellon University(卡内基梅隆大学);Google(谷歌);Amazon(亚马逊)
多个现有的基准涉及跟踪和分割视频中的对象,视频对象分割(VOS)和多对象跟踪和分割(MOTS),但由于使用不同的基准数据集和指标(例如J&F,mAP,sMOTSA),它们之间几乎没有交互。因此,出版的作品通常针对特定的基准,并且不容易相互比较。我们认为,开发能够处理多种任务的通用方法需要这些研究子社区之间更大的凝聚力。在本文中,我们的目标是通过提出BURST来促进这一点,BURST是一个包含数千个具有高质量对象掩码的不同视频的数据集,以及一个相关的基准测试,其中包含六个涉及视频中对象跟踪和分割的任务。所有任务都使用相同的数据和可比指标进行评估,这使研究人员能够统一考虑它们,从而更有效地将不同方法的知识汇集到不同任务中。此外,我们展示了所有任务的几个基线,并表明一个任务的方法可以应用于另一个可量化和可解释的性能差异。数据集注释和评估代码可在https://github.com/Ali2500/BURST-benchmark上获得。
2022-11-22 cs.CV
Automatic Tooth Segmentation from 3D Dental Model using Deep Learning: A Quantitative Analysis of what can be learnt from a Single 3D Dental Model
Colgate-Palmolive Company(高露洁-棕榄公司);Rutgers University(罗格斯大学)
牙齿的三维分割是数字牙颌学的一个重要课题。已经提出了几种深度学习方法,用于从3D牙齿模型或口内扫描中自动分割牙齿。这些方法需要注释的3D口内扫描。手动注释3D口内扫描是一项艰巨的任务。一种方法是设计自我监督的方法,以减少人工标签的努力。与其他类型的点云数据(如场景点云或形状点云数据)相比,三维牙齿点云数据具有非常规则的结构和较强的形状先验。我们看看有多少代表性的信息可以从一个单一的3D口内扫描学习。我们定量评估这十种不同的方法,其中六种是通用的点云分割方法,而其他四种是牙齿分割的具体方法的帮助。令人惊讶的是,我们发现,在单次3D口内扫描训练中,Dice得分可以高达0.86,而整个训练集的Dice得分为0.94。我们的结论是,分割方法可以学习大量的信息,从一个单一的三维牙齿点云扫描在适当的条件下,如数据增强。我们是第一个从单个3D口内扫描中定量评估和展示深度学习方法的表示学习能力的人。这可以通过最大限度地利用可用数据来实现在极端数据限制情况下构建用于牙齿分割的自我监督方法。
2022-09-16 cs.CV
DVIS++: Improved Decoupled Framework for Universal Video Segmentation
Wuhan University(武汉大学);Y-tech, Kuaishou Technology(快手科技Y-tech)
DVIS++通过将视频分割解耦为分割、跟踪和细化三个子任务,并引入引用跟踪器和时间细化器,在六个基准上显著超越现有方法,并支持开放词汇分割。
2023-12-20 cs.CV
Semi-supervised Left Atrium Segmentation with Mutual Consistency Training
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Monash University(莫纳什大学);Monash-Airdoc Research(莫纳什-鹰瞳研究中心);Monash Medical AI, Monash eResearch Centre(莫纳什电子研究中心莫纳什医学人工智能部)
半监督学习在机器学习领域引起了极大的关注,特别是对于医学图像分割任务,因为它减轻了收集大量密集注释数据用于训练的沉重负担。然而,大多数现有方法在训练期间低估了具有挑战性的区域(例如,小分支或模糊边缘)的重要性。我们认为,这些未标记的区域可能包含更关键的信息,以最大限度地减少模型的不确定性预测,并应在训练过程中加以强调。因此,在本文中,我们提出了一种新的相互一致性网络(MC-Net)的半监督左心房分割从三维MR图像。特别地,我们的MC-Net由一个编码器和两个略有不同的解码器组成,并且通过我们设计的循环伪标签方案将两个解码器的预测差异转换为无监督损失,以鼓励相互一致性。这种相互一致性鼓励两个解码器具有一致和低熵的预测,并使模型能够从这些未标记的具有挑战性的区域中逐渐捕获广义特征。我们在公共左心房(LA)数据库上评估了我们的MC-Net,它通过有效地利用未标记数据获得了令人印象深刻的性能增益。我们的MC-Net在左心房分割方面优于最近的六种半监督方法,并在LA数据库上设置了最先进的性能。
2021-07-07 cs.CV
A transformer boosted UNet for smoke segmentation in complex backgrounds in multispectral LandSat imagery
University of South Australia(南澳大学);UniSA STEM
针对卫星影像复杂背景下烟雾检测效果不佳的问题,提出融合虚拟波段构建模块与Transformer增强UNet的VTrUNet模型,在多光谱烟雾分割任务上性能优于现有相关模型。
2024-06-18 cs.CV
Delivering Arbitrary-Modal Semantic Segmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hunan University(湖南大学);Zhejiang University(浙江大学);Beihang University(北京航空航天大学)
多模态融合可以使语义分割更加鲁棒。然而,融合任意数量的模式仍然探索不足。为了深入研究这个问题,我们创建了DeLiVER任意模态分割基准,涵盖深度,LiDAR,多视图,事件和RGB。除此之外,我们还提供了四种恶劣天气条件下的数据集以及五种传感器故障情况,以利用模态互补性并解决部分停机问题。为了使这成为可能,我们提出了任意跨模态分割模型CMNeXt。它包含一个自查询中心(SQ-Hub),旨在从任何模态中提取有效信息,以便随后与RGB表示融合,并且每个附加模态仅添加可忽略不计的参数(约0.01 M)。最重要的是,为了有效和灵活地从辅助模态中收获有区别的线索,我们引入了简单的并行池混合器(PPX)。通过对总共六个基准测试的广泛实验,我们的CMNeXt在DeLiVER、KITTI-360、MFNet、NYU Depth V2、UrbanLF和MCubeS数据集上实现了最先进的性能,允许从1到81种模式进行扩展。在新收集的DeLiVER上,四模态CMNeXt在mIoU中达到66.30%,与单模态基线相比增益为+9.10%。DeLiVER数据集和我们的代码位于:https://jamycheung.github.io/DELIVER.html。
2023-03-02 cs.CV
PARSE challenge 2022: Pulmonary Arteries Segmentation using Swin U-Net Transformer(Swin UNETR) and U-Net
Robert Bosch Center of Data Science and AI, IIT Madras(印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
在这项工作中,我们提出了我们提出的方法,使用Swin UNETR和基于U-Net的深度神经网络架构从CT扫描中分割肺动脉。六个模型,三个模型的基础上Swin UNETR,和三个模型的基础上的3D U-网与残留的单位集成使用加权平均,使最终的分割掩模。我们的团队通过这种方法获得了84.36%的多级骰子得分。我们的工作代码可在以下链接中找到:https://github.com/akansh12/parse2022。这项工作是MICCAI PARSE 2022挑战赛的一部分。
2022-08-20 cs.CV eess.IV
Omni-Seg: A Single Dynamic Network for Multi-label Renal Pathology Image Segmentation using Partially Labeled Data
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
计算机辅助的千兆像素病理图像定量分析为组织学检查提供了新的途径。这些创新主要集中在癌症病理学上(即,肿瘤分割和表征)。在非癌症病理学中,可以要求学习算法同时检查更全面的组织类型,作为多标签设置。现有技术通常需要训练多个分割网络以便匹配异质组织类型(例如,肾小球簇、肾小球单位、近端小管、远端小管、小管周围毛细血管和动脉)。在本文中,我们提出了一种动态单分割网络(Omni-Seg),它可以使用部分标记的图像(即,对于每个训练图像仅标记一种组织类型)。通过学习来自六种组织类型的约150,000个分块病理图像,与以前的多网络和多头设计相比,所提出的Omni-Seg网络实现了更高的分割精度和更少的资源消耗。在测试阶段,所提出的方法获得“完全标记”的组织分割结果,仅使用“部分标记”的训练图像。源代码可在https://github.com/ddrrnn123/Omni-Seg上获得
2022-03-23 cs.CV eess.IV
Semi-supervised Medical Image Segmentation via Geometry-aware Consistency Training
Zhejiang University(浙江大学)
针对医学图像标注稀缺问题,提出几何感知一致性训练框架,通过辅助几何任务、边界指数加权和双视图网络利用未标注数据,在左心房基准上显著优于全监督及六种半监督方法。
2024-05-10 cs.CV eess.IV
Comparing Adversarial and Supervised Learning for Organs at Risk Segmentation in CT images
Politecnico di Milano(米兰理工大学);Human Technopole(人类技术园)
本文比较GAN与监督学习在CT图像危及器官分割中的表现,提出三种不同判别器的GAN模型,在StructSeg数据集上验证其性能达到或优于SE-ResUnet和DeepLabV3等CNN方法。
2023-03-31 cs.CV cs.LG eess.IV