Multi-Level Contextual Network for Biomedical Image Segmentation
Shahid Beheshti University（沙希德·贝赫什提大学）
准确可靠的图像分割是生物医学图像分析的重要组成部分。在本文中，我们考虑使用深度卷积神经网络的生物医学图像分割的问题。我们提出了一个新的端到端的网络架构，有效地整合了本地和全球的上下文模式的组织学基元，以获得更可靠的分割结果。具体来说，我们引入了一个深度全卷积残差网络，它具有一个新的跳过连接策略来控制向前传递的上下文信息。此外，我们的训练模型由于其网络参数数量少，在计算上也很便宜。我们在两个公共数据集上评估了我们的方法，用于上皮分割和小管分割任务。我们的实验结果表明，该方法提供了一种快速，有效的方式产生一个像素级的密集预测的生物医学图像。
2018-09-30 cs.CV
Biologically-inspired Semi-supervised Semantic Segmentation for Biomedical Imaging
ISTI（ISTI机构）
针对生物医学图像标签稀缺问题，提出基于 Hebbian 局部学习的无监督预训练与少量标签反向传播微调相结合的半监督语义分割方法，并在多个数据集上超越 SOTA。
2025-03-18 cs.CV
CAF-YOLO: A Robust Framework for Multi-Scale Lesion Detection in Biomedical Imagery
School of Computer Science, Xi’an Shiyou University（西安石油大学计算机学院）
本文提出基于YOLOv8的CAF-YOLO，通过ACFM融合注意力与卷积并利用MSNN增强多尺度特征聚合，提升BCCD和LUNA16上微小病变的检测与定位性能。
2024-08-04 cs.CV
Flyweight FLIM Networks for Salient Object Detection in Biomedical Images
Instituto de Computação, Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学计算机研究所）；Institute of Computing Sciences, Pontifical Catholic University of Minas Gerais（米纳斯吉拉斯州天主教大学计算科学研究所）；University of Rennes（雷恩大学）；IRISA（IRISA研究所）；Inria（法国国家信息与自动化研究所）
针对深度学习SOD在资源受限生物医学场景中的计算与数据问题，本研究提出无需反向传播的FLIM轻量级网络，通过学习扩张可分离卷积核、简化网络并结合自适应解码器，实现了效率优于轻量模型、效果媲美重量级模型的生物医学图像显著目标检测。
2025-04-15 cs.CV
MDU-Net: Multi-scale Densely Connected U-Net for biomedical image segmentation
Peng Cheng Laboratory（鹏城实验室）
提出MDU-Net，通过编码器、解码器及跨层三种多尺度密集连接融合多尺度特征并引入量化防过拟合，在GlaS数据集上提升U-Net分割性能达1.8%和3.5%。
2024-03-18 cs.CV
A System for Accurate Tracking and Video Recordings of Rodent Eye Movements using Convolutional Neural Networks for Biomedical Image Segmentation
Harvard University（哈佛大学）
针对啮齿动物眼部图像参数多变、毛发干扰和尺寸小的问题，本文提出可增量训练的卷积神经网络分割模型，并结合自动化红外视频记录系统，实现高精度瞳孔与角膜反射识别。
2025-06-09 cs.CV eess.IV
CC-Net: Image Complexity Guided Network Compression for Biomedical Image Segmentation
University of Notre Dame（圣母大学）
用于生物医学图像分析的卷积神经网络（CNN）通常具有非常大的尺寸，导致高存储需求和高操作延迟。为特定成像应用搜索基础CNN的可接受压缩表示通常涉及一系列耗时的训练/验证实验，以在网络大小和准确性之间实现良好的折衷。为了解决这一挑战，我们提出了CC-Net，一种新的图像复杂度引导的CNN压缩方案，用于生物医学图像分割。给定一个CNN模型，CC-Net根据从训练数据计算的平均图像复杂度预测不同大小网络的最终精度。然后，它选择一个乘法因子，以产生具有可接受的网络精度和大小的期望网络。实验表明，CC-Net可以有效地生成压缩的分割网络，保持高达95%的基本网络分割精度，并且在最佳情况下仅利用全尺寸网络的0.1%的可训练参数。
2019-09-08 cs.CV
U-Net-and-a-half: Convolutional network for biomedical image segmentation using multiple expert-driven annotations
Boston University School of Medicine（波士顿大学医学院）；Academic Medical Center（学术医学中心）；Leiden University Medical Center（莱顿大学医学中心）；University of Amsterdam（阿姆斯特丹大学）；Arkana laboratories（Arkana实验室）；Amsterdam Cardiovascular Sciences（阿姆斯特丹心血管科学）；Veterans Affairs Boston Healthcare System（退伍军人事务部波士顿医疗系统）；Boston University（波士顿大学）
开发用于生物医学分割的深度学习系统通常需要访问专家驱动的手动注释数据集。如果在同一图像的注释中涉及多个专家，则专家间的一致性不一定是完美的，并且没有单个专家注释可以精确地捕获所有图像上的感兴趣区域的所谓地面实况。此外，使用来自多个专家的注释来生成参考估计值也不是微不足道的。在这里，我们提出了一个深度神经网络，定义为U-Net-and-a-half，它可以同时从多个专家对同一组图像执行的注释中学习。U-Net-and-a-half包含一个卷积编码器，用于从输入图像中生成特征，多个解码器，允许从多个专家独立生成的注释中获得的图像掩码中同时学习，以及共享的低维特征空间。为了证明我们的框架的适用性，我们分别使用了来自数字病理学和放射学的两个不同的数据集。具体来说，我们分别使用病理学家驱动的人类肾脏活检（10例患者）的整个载玻片图像上的肾小球注释和放射学家驱动的从血管内超声图像（10例患者）获得的人类动静脉瘘管腔横截面注释来训练两个单独的模型。基于U-Net-and-a-half的模型超过了仅在单个专家注释上训练的传统U-Net模型的性能，从而扩展了生物医学图像分割背景下的多任务学习范围。
2021-08-10 cs.CV cs.LG eess.IV
The Importance of Skip Connections in Biomedical Image Segmentation
Imagia Inc.（Imagia公司）；École Polytechnique de Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）；CHUM Research Center（蒙特利尔大学医院研究中心）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
在本文中，我们研究了长和短的跳跃连接的生物医学图像分割的全卷积网络（FCN）的影响。在标准FCN中，仅使用长跳过连接来将特征从收缩路径跳过到扩展路径，以便恢复在下采样期间丢失的空间信息。我们通过添加短跳跃连接来扩展FCN，这类似于在剩余网络中引入的连接，以便构建非常深的FCN（数百层）。梯度流的回顾证实，对于非常深的FCN，具有长和短跳跃连接是有益的。最后，我们证明了一个非常深的FCN可以在EM数据集上实现接近最先进的结果，而无需任何进一步的后处理。
2016-09-22 cs.CV
Convolution Neural Networks for Semantic Segmentation: Application to Small Datasets of Biomedical Images
TECHNISCHE UNIVERSITÄT MÜNCHEN（慕尼黑工业大学）
本文研究了卷积神经网络（CNN）产生的分割结果在应用于小型生物医学数据集时如何彼此不同。我们使用不同的架构，参数和超参数，试图找到更好的配置来完成我们的任务，并试图找出潜在的错误。两个工作数据集来自生物医学研究领域。我们对这两种网络进行了大量的实验，得到的结果表明，某些实验条件和网络参数优于其他条件。所有测试结果都在表中给出，为了更好地说明，还显示了一些选定的结果图和分割预测。
2020-11-01 cs.CV eess.IV
Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Harper Cancer Research Institute（哈珀癌症研究所）
图像分割是生物医学图像分析中的一个基本问题。深度学习的最新进展在许多生物医学图像分割基准上取得了令人鼓舞的结果。然而，由于生物医学图像的变化很大（不同的模态、图像设置、对象、噪声等），要在新的应用程序中使用深度学习，通常需要一组新的训练数据。这可能会导致大量的注释工作和成本，因为只有生物医学专家才能有效地注释，并且图像中通常有太多的实例（例如，单元格）进行注释。在本文中，我们旨在解决以下问题：通过有限的努力（例如，时间）进行注释，为了获得最佳性能，应该注释哪些实例？我们提出了一个深度主动学习框架，该框架结合了全卷积网络（FCN）和主动学习，通过对最有效的注释区域提出明智的建议来显着减少注释工作。我们利用FCN提供的不确定性和相似性信息，并制定了一个广义版本的最大集合覆盖问题，以确定最具代表性和不确定的区域进行注释。使用2015年MICCAI腺体挑战数据集和淋巴结超声图像分割数据集的广泛实验表明，使用我们的方法的注释建议，仅使用50%的训练数据就可以实现最先进的分割性能。
2017-06-15 cs.CV
Image Complexity Guided Network Compression for Biomedical Image Segmentation
University of Notre Dame（圣母大学）
压缩是使卷积神经网络（CNN）遵守某些特定计算资源约束的标准过程。然而，搜索压缩架构通常涉及一系列耗时的训练/验证实验，以确定网络大小和性能准确性之间的良好折衷。为了解决这个问题，我们提出了一个图像复杂度引导的网络压缩技术的生物医学图像分割。考虑到任何资源限制，我们的框架利用数据复杂性和网络架构来快速估计不需要网络训练的压缩模型。具体来说，我们将数据集的复杂性映射到由压缩引起的目标网络精度下降。这样的映射使我们能够根据计算出的数据集复杂度来预测不同网络大小的最终精度。因此，可以选择满足网络大小和分段精度要求的解决方案。最后，使用映射来确定用于生成压缩网络的卷积逐层乘法因子。我们使用5个数据集进行实验，采用3种常用的CNN架构作为代表网络进行生物医学图像分割。我们提出的框架被证明是有效的生成压缩分割网络，保留高达$\approx 95\%$的全尺寸的网络分割精度，并在同一时间，利用$\approx 32x$更少的网络可训练的权重（平均减少）的全尺寸的网络。
2021-07-06 cs.CV eess.IV
A New Ensemble Learning Framework for 3D Biomedical Image Segmentation
University of Notre Dame（圣母大学）
三维图像分割在生物医学图像分析中起着重要的作用。许多2D和3D深度学习模型在3D生物医学图像数据集上实现了最先进的分割性能。然而，2D和3D模型有自己的优点和缺点，通过将它们统一在一起，可以实现更准确的结果。在本文中，我们提出了一个新的集成学习框架的三维生物医学图像分割，结合了2D和3D模型的优点。首先，我们开发了一个完全基于卷积网络的元学习器，以学习如何改进2D和3D模型的结果（基本学习器）。然后，为了最大限度地减少我们复杂的元学习器的过度拟合，我们设计了一种新的训练方法，该方法使用基础学习器的结果作为多个版本的“地面真理”。此外，由于我们新的元学习者训练方案不依赖于手动注释，因此可以利用丰富的未标记3D图像数据来进一步改进模型。在两个公共数据集（HVSMR 2016 Challenge数据集和小鼠梨状皮质数据集）上进行的广泛实验表明，我们的方法在全监督、半监督和转换设置下是有效的，并且比最先进的图像分割方法具有更好的性能。
2018-12-10 cs.CV
ACE-Net: Biomedical Image Segmentation with Augmented Contracting and Expansive Paths
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Science and Technology of China（中国科学技术大学）
如今，类U形网的FCN在各种生物医学图像分割应用中占主导地位，并且在很大程度上由于其优雅的架构而获得有前途的性能，例如，对称收缩和膨胀路径以及横向跳跃连接。它仍然是一个研究方向，设计新的架构，以进一步有利于分割。在本文中，我们开发了一个ACE网络，旨在提高功能的表示和利用，通过增加收缩和扩张路径。特别是，我们通过最近提出的先进技术，包括ASPP，密集连接和深度监督机制，以及新颖的连接，如直接将原始图像连接到扩展侧，来增强路径。通过这些增强，ACE-net可以利用来自多个源、尺度和接收场的特征进行分割，同时仍然保持相对简单的架构。两个典型的生物医学分割任务的实验验证了它的有效性，在这两个任务中获得了非常有竞争力的结果，而ACE网络仍然运行快速的推理。
2019-08-23 cs.CV
Prompt-Free and Efficient SAM2 Adaptation for Biomedical Semantic Segmentation via Dual Adapters
Meijo University（名古屋大学）
本文提出一种无需提示的高效SAM2适应框架，通过双适配器策略提升生物医学分割性能，实验表明在多个数据集上准确率提升19.66%，计算成本降低87%。
2026-05-07 cs.CV
A comparative study of semi- and self-supervised semantic segmentation of biomedical microscopy data
TU Dresden（德累斯顿工业大学）；AICURA medical GmbH（AICURA医疗有限公司）；National Center of Tumor Diseases (NCT)（国家肿瘤疾病中心）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
近年来，卷积神经网络（CNN）已成为生物医学图像分析的最先进方法。然而，这些网络通常以监督的方式训练，需要大量的标记训练数据。这些标记的数据集通常难以在生物医学领域获得。在这项工作中，我们验证了使用较少标签训练CNN的替代方法，用于生物医学图像分割。我们采用两种半监督和自监督图像分类方法，并分析其性能的生物医学显微图像的语义分割。
2020-11-23 cs.AI cs.CV stat.AP
YOLO-MED : Multi-Task Interaction Network for Biomedical Images
Shanghai Jiao Tong University（上海交通大学）
提出端到端多任务网络 YOLO-Med，通过多尺度特征提取、任务专用解码器和跨尺度任务交互模块，同时完成生物医学图像检测与分割，并在精度和速度间取得良好平衡。
2024-03-01 cs.CV
Unsupervised Domain Adaptation Network with Category-Centric Prototype Aligner for Biomedical Image Segmentation
School of Medical Imaging, Xuzhou Medical University（徐州医科大学医学影像学院）；The Hong Kong Polytechnic University（香港理工大学）
随着深度学习在生物医学图像分割中的广泛成功，域偏移成为一个关键且具有挑战性的问题，因为当部署到具有异构特征的不可见数据时，两个域之间的差距会严重影响模型性能。为了缓解这个问题，我们提出了一种新的无监督领域自适应网络，用于将从标记的源域学习到未标记的目标域的模型推广到跨模态生物医学图像分割。具体来说，我们的方法包括两个关键模块，一个条件域对齐器~（CDD）和一个以类别为中心的原型对齐器~（CCPA）。CDD是在分类器任务中从条件域对抗网络扩展而来的，在处理复杂的跨模态生物医学图像时是有效和鲁棒的。CCPA是在跨领域目标检测中基于图的原型对齐机制的基础上改进而来的，它通过一种精细的原型表示来挖掘精确的实例级特征。此外，它还可以通过基于熵的损失来解决类不平衡的负面影响。在心脏子结构分割任务的公共基准上进行的大量实验表明，我们的方法显着提高了目标域的性能。
2021-03-03 cs.CV
Contour Proposal Networks for Biomedical Instance Segmentation
Research Centre Jülich（于利希研究中心）；Heinrich Heine University（海因里希·海涅大学）；University Hospital Düsseldorf（杜塞尔多夫大学医院）
我们提出了一个概念上简单的框架对象实例分割称为轮廓建议网络（CPN），它检测可能重叠的对象在图像中，同时拟合封闭的对象轮廓使用可解释的，固定大小的表示傅立叶描述符的基础上。CPN可以将最先进的目标检测架构作为骨干网络并入到可以端到端训练的单级实例分割模型中。我们构建了具有不同骨干网络的CPN模型，并将其应用于不同模态数据集中细胞的实例分割。在我们的实验中，我们展示了在实例分割准确性方面优于U-Nets和Mask R-CNN的CPNs，并展示了具有适合实时应用的执行时间的变体。经过训练的模型在不同的细胞类型领域都有很好的泛化能力。由于该框架的主要假设是封闭的对象轮廓，它适用于广泛的检测问题，也在生物医学领域之外。PyTorch中模型架构的实现是免费的。
2021-04-07 cs.CV
Multi-Compound Transformer for Accurate Biomedical Image Segmentation
The University of Hong Kong（香港大学）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）深圳大数据研究院）；SenseTime Research（商汤科技研究院）
最近的视觉Transformer（即图像分类）学习不同的补丁令牌的非本地注意的相互作用。然而，现有技术没有学习不同像素的跨尺度依赖性、不同标签的语义对应性以及特征表示和语义嵌入的一致性，这些对于生物医学分割是至关重要的。在本文中，我们解决了上述问题，提出了一个统一的Transformer网络，称为多复合Transformer（MCTrans），它将丰富的特征学习和语义结构挖掘到一个统一的框架。具体来说，MCTrans将多尺度卷积特征嵌入为一系列令牌，并执行尺度内和尺度间的自注意，而不是以前的作品中的单尺度注意。此外，一个可学习的代理嵌入也被引入到模型的语义关系和特征增强，分别使用自注意和交叉注意。MCTrans可以很容易地插入到一个类似UNet的网络中，并在六个标准基准中实现了对最先进的生物医学图像分割方法的显着改进。例如，MCTrans在Pannuke，CVC-Clinic，CVC-Colon，Etis，Kavirs，ISIC 2018数据集中分别优于UNet 3.64%，3.71%，4.34%，2.8%，1.88%，1.57%。代码可在https://github.com/JiYuanFeng/MCTrans上获得。
2021-06-28 cs.CV
Biomedical Image Segmentation by Retina-like Sequential Attention Mechanism Using Only A Few Training Images
Hiroshima University（广岛大学）
在本文中，我们提出了一种新的基于深度学习的生物医学图像分割算法，该算法使用顺序注意力机制，能够以选择性的方式在图像上转移注意力，允许以更高的分辨率处理更难以分类的子区域。类信息在每个子区域中的空间分布是使用类似视网膜的表示来学习的，其中分辨率随着与注意力中心的距离而减小。最终的分割是通过对重叠子区域的类预测进行平均来实现的，利用集成学习的能力来提高分割精度。实验结果表明，语义分割任务，只有少数的训练图像是可用的，一个CNN使用所提出的方法优于基于块的分类CNN和一个完全基于卷积的方法。
2019-09-27 cs.CV cs.NE
MultiResUNet : Rethinking the U-Net Architecture for Multimodal Biomedical Image Segmentation
BUET（孟加拉国工程技术大学）
近年来，深度学习在医学图像分割方面取得了突破性进展。在这方面，U-Net是最突出的深度网络，它一直是医学成像领域最受欢迎的架构。尽管在分割多模态医学图像方面表现出色，但从对具有挑战性的数据集的广泛实验中，我们发现经典的U-Net架构似乎在某些方面有所欠缺。因此，我们提出了一些修改，以改善已经国家的最先进的U-Net模型。因此，经过修改，我们开发了一种新的架构MultiResUNet作为成功的U-Net架构的潜在继任者。我们已经比较了我们提出的架构MultiResUNet与经典的U-Net上的大量的多模态医学图像。尽管在理想图像的情况下略有改进，但对于具有挑战性的图像，性能已获得显着提高。我们在五个不同的数据集上评估了我们的模型，每个数据集都有自己独特的挑战，并且分别获得了10.15%，5.07%，2.63%，1.41%和0.62%的相对性能提升。
2019-02-11 cs.CV
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
Peter Munk Cardiac Centre, University Health Network（彼得·蒙克心脏中心，大学健康网络）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
针对生物医学图像分割中CNN和Transformer处理长距离依赖受限的问题，提出通用网络U-Mamba，通过混合CNN-SSM块结合局部特征提取与长距离依赖捕获能力，并具备自配置机制，在四项任务中均优于现有最先进方法。
2024-01-09 cs.CV cs.LG eess.IV
Non-Local Context Encoder: Robust Biomedical Image Segmentation against Adversarial Attacks
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）；Deepwise AI Lab（深智云人工智能实验室）
基于深度卷积神经网络（CNN）的生物医学图像分割的研究进展引起了人们的广泛关注。然而，它对对抗性样本的脆弱性不容忽视。本文是第一篇发现所有基于CNN的最先进的生物医学图像分割模型对对抗性扰动敏感的论文。这限制了这些方法在安全关键的生物医学领域的部署。在本文中，我们发现，在生物医学图像的全局空间依赖性和全局上下文信息可以用来抵御对抗攻击。为此，提出了非局部上下文编码器（NLCE）来建模短期和长期的空间依赖性和编码的全局上下文，以加强功能激活通道明智的注意。NLCE模块增强了非局部上下文编码网络（NLCEN）的鲁棒性和准确性，NLCEN使用NLCE模块学习鲁棒的增强金字塔特征表示，然后将不同级别的信息集成在一起。在肺部和皮肤病变分割数据集上的实验表明，NLCEN在对抗对抗攻击方面优于任何其他最先进的生物医学图像分割方法。此外，NLCE模块可以应用于提高其他基于CNN的生物医学图像分割方法的鲁棒性。
2019-04-27 cs.CV eess.IV
Panoptic Feature Fusion Net: A Novel Instance Segmentation Paradigm for Biomedical and Biological Images
School of Computer Science, University of Sydney（悉尼大学计算机科学学院）；School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；University of Pittsburgh（匹兹堡大学）
实例分割是生物医学和生物图像分析的重要任务。由于复杂的背景成分，对象外观的高度可变性，许多重叠的对象，以及模糊的对象边界，该任务仍然具有挑战性。最近，基于深度学习的方法已被广泛用于解决这些问题，并且可以分为无命题方法和基于命题的方法。然而，无论是基于提议的方法和无提议的方法遭受信息丢失，因为它们专注于全局级的语义或本地级的实例功能。为了解决这个问题，我们提出了一个全景特征融合网（PFFNet），统一了语义和实例功能在这项工作中。具体而言，我们提出的PFFNet包含一个剩余注意力特征融合机制，将实例预测与语义特征相结合，以促进实例分支中的语义上下文信息学习。然后，掩模质量子分支被设计为将每个对象的置信度分数与掩模预测的质量对齐。此外，在语义分支和实例分支中的语义分割任务之间设计了一致性正则化机制，以实现两个任务的鲁棒学习。大量的实验证明了我们提出的PFFNet的有效性，它在各种生物医学和生物数据集上的性能优于几种最先进的方法。
2021-01-01 cs.CV
nnMamba: 3D Biomedical Image Segmentation, Classification and Landmark Detection with State Space Model
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
针对传统CNN长程建模不足、Transformer计算成本高的问题，提出融合CNN与状态空间序列模型的nnMamba架构，通过MICCSS模块等设计在6个数据集的3D医学图像任务上取得SOTA表现。
2024-03-10 cs.CV
Modality specific U-Net variants for biomedical image segmentation: A survey
IIIT Allahabad（阿拉哈巴德印度信息技术学院）
随着深度学习方法的进步，如深度卷积神经网络，残差神经网络，对抗网络; U-Net架构在生物医学图像分割中得到最广泛的应用，以解决目标区域或子区域的识别和检测的自动化。在最近的研究中，基于U-Net的方法已经在不同的应用中展示了最先进的性能，用于开发用于早期诊断和治疗诸如脑肿瘤、肺癌、乳腺癌等疾病的计算机辅助诊断系统，使用各种形式。本文通过描述U-Net框架来展示这些方法的成功，然后通过执行1）模态间和2）模态内分类来全面分析U-Net变体，以更好地了解相关挑战和解决方案。此外，本文还强调了基于U-Net的框架在正在进行的大流行中的贡献，严重急性呼吸系统综合征冠状病毒2（SARS-CoV-2，也称为COVID-19）。最后，分析了这些U-Net变体的优势和相似性以及生物医学图像分割所面临的挑战，以揭示该领域未来有前途的研究方向。
2022-01-27 cs.CV eess.IV
Task Decomposition and Synchronization for Semantic Biomedical Image Segmentation
Department of Brain and Cognitive Engineering, Korea University（高丽大学脑与认知工程系）
语义分割在生物医学图像分析中具有重要意义。最近的许多工作主要集中在将全卷积网络（FCN）架构与复杂的卷积实现和深度监控相集成。在本文中，我们建议将单个分割任务分解为三个后续子任务，包括（1）逐像素图像分割，（2）预测图像内对象的类标签，以及（3）图像所属场景的分类。虽然这三个子任务的训练，以优化其各自的损失函数的不同的感知水平，我们建议让它们相互作用的任务-任务上下文集成。此外，我们提出了一种新的同步正则化惩罚像素分割和类预测任务的输出之间的偏差。这些有效的正则化有助于FCN全面利用上下文信息，实现准确的语义分割，即使在许多生物医学应用中用于训练的图像的数量可能是有限的。我们已经成功地将我们的框架应用于三个不同的2D/3D医学图像数据集，包括机器人场景分割挑战18（ROBOT 18），脑肿瘤分割挑战18（BRATS 18）和视网膜眼底青光眼挑战（REFUGE 18）。我们在所有三项挑战中都取得了顶级成绩。
2019-06-22 cs.CV eess.IV
Focal Attention Networks: optimising attention for biomedical image segmentation
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
近年来，人们越来越关注将注意力纳入深度学习架构中进行生物医学图像分割。注意力机制的模块化设计使得能够灵活地集成到卷积神经网络架构中，例如U-Net。注意力是否适合使用，使用什么类型的注意力，以及在网络中的何处纳入注意力模块，都是目前被忽视的重要考虑因素。在本文中，我们研究了焦点参数在调节注意力中的作用，揭示了损失函数和网络中注意力之间的联系。通过引入焦距惩罚项，我们扩展了统一焦点损失框架，以包括基于边界的损失。此外，我们开发了一个简单的和可解释的，数据集和模型特定的启发式算法，将焦点参数集成到挤压和激励块和注意力门中，在三个经过充分验证的生物医学成像数据集上使用较少的注意力模块实现最佳性能，这表明明智地使用注意力模块可以获得更好的性能和效率。
2021-10-31 cs.AI cs.CV eess.IV
ScaffoldNet: Detecting and Classifying Biomedical Polymer-Based Scaffolds via a Convolutional Neural Network
minoHealth AI Labs（minoHealth人工智能实验室）；Old Dominion University（奥多明尼昂大学）
我们开发了一个卷积神经网络模型来识别和分类喷刷（也称为吹纺），静电纺丝和钢丝支架。我们的模型ScaffoldNet是一个6层卷积神经网络，在3,043张喷枪、静电纺丝和钢丝支架的图像上进行了训练和测试。该模型将成像的支架作为输入，然后输出支架类型（喷枪，静电纺丝或钢丝）作为3个类别的预测概率。我们的模型获得了99.44%的准确性，证明了适应调查和解决针对抽象空间背景的复杂机器学习问题的潜力，或者筛选在皮质骨和纤维壳中看到的复杂的生物纤维结构。
2018-05-17 cs.CV
SPDA: Superpixel-based Data Augmentation for Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Pennsylvania State University（宾夕法尼亚州立大学）
监督训练深度神经网络旨在“教”网络模仿人类视觉感知，由训练数据中的图像和标签对表示。超像素化（SP）图像对人类来说是视觉上可感知的，但是常规训练的深度学习模型在处理SP图像时通常表现不佳。为了更好地模仿人类视觉感知，我们认为深度学习模型不仅能够感知原始图像，而且能够感知SP图像。在本文中，我们提出了一种新的基于超像素的数据增强（SPDA）方法，用于训练生物医学图像分割的深度学习模型。我们的方法将超像素生成方案应用于所有原始训练图像以生成超像素化图像。然后将由此获得的SP图像与原始训练图像联合使用以训练深度学习模型。我们在四个生物医学图像数据集上进行的SPDA实验表明，SPDA是有效的，可以持续提高最先进的全卷积网络在2D和3D图像中进行生物医学图像分割的性能。进一步的研究也表明，SPDA可以实际上减少泛化差距。
2019-02-28 cs.AI cs.CV cs.LG
Hyper-Convolution Networks for Biomedical Image Segmentation
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
卷积运算是广泛用于计算机视觉的神经网络架构的核心构建块。卷积核的大小决定了卷积神经网络（CNN）的表达能力以及可学习参数的数量。增加网络容量以捕获丰富的像素关系需要增加可学习参数的数量，这通常会导致过拟合和/或缺乏鲁棒性。在本文中，我们提出了一个强大的新的构建块，超卷积，它隐含地表示卷积核作为内核坐标的函数。超卷积能够将内核大小以及其感受野与可学习参数的数量解耦。在我们的实验中，专注于具有挑战性的生物医学图像分割任务，我们证明了用超卷积取代常规卷积可以带来更高效的架构，从而提高准确性。我们的分析还表明，学习的超卷积是自然正则化的，这可以提供更好的泛化性能。我们相信超卷积可以成为未来计算机视觉任务神经网络架构的强大构建块。我们在这里提供所有代码：https://github.com/tym002/Hyper-Convolution
2022-10-06 cs.CV eess.IV
MSRF-Net: A Multi-Scale Residual Fusion Network for Biomedical Image Segmentation
Computer Vision and Pattern Recognition Unit, Indian Statistical Institute（印度统计研究所计算机视觉与模式识别部）；Østfold University College（东福尔大学学院）；Oslo Metropolitan University（奥斯陆城市大学）
基于卷积神经网络的方法提高了生物医学图像分割的性能。然而，这些方法中的大多数不能有效地分割可变大小的对象并且在小的和有偏差的数据集上进行训练，这对于生物医学用例是常见的。虽然存在结合多尺度融合方法来解决可变大小所带来的挑战的方法，但它们通常使用更适合于一般语义分割问题的复杂模型。在本文中，我们提出了一种新的架构称为多尺度残差融合网络（MSRF-Net），这是专门为医学图像分割设计的。建议MSRF-Net是能够交换不同的感受野使用双尺度密集融合（DSDF）块的多尺度功能。我们的DSDF块可以在两个不同的分辨率尺度上严格交换信息，我们的MSRF子网络顺序使用多个DSDF块来执行多尺度融合。这允许保留分辨率、改进信息流以及高级和低级特征的传播，以获得准确的分割图。建议的MSRF-Net允许捕获对象的可变性，并提供不同的生物医学数据集上的改进结果。在MSRF-Net上进行的大量实验表明，该方法在四个公开数据集上的分割效果优于现有的医学图像分割方法。我们分别在Kvasir-SEG，CVC-ClinicDB，2018 Data Science Bowl数据集和ISIC-2018皮肤病变分割挑战数据集上实现了0.9217，0.9420和0.9224，0.8824的骰子系数。我们进一步进行了概化测试，并分别在CVC-ClinicDB和Kvasir-SEG上获得了0.7921和0.7575的骰子系数…
2022-01-31 cs.CV eess.IV
BT-Unet: A self-supervised learning framework for biomedical image segmentation using Barlow Twins with U-Net models
Indian Institute of Information Technology Allahabad（阿拉哈巴德印度信息技术学院）
深度学习为生物医学图像分割带来了最深远的贡献，使医学成像中的描绘过程自动化。为了完成这样的任务，需要使用大量的注释或标记数据来训练模型，这些数据用二进制掩码突出显示感兴趣的区域。然而，高效地生成如此庞大的数据的注释需要专业的生物医学分析师和大量的人工工作。这是一项繁琐而昂贵的任务，同时也容易受到人为错误的影响。为了解决这个问题，提出了一种自监督学习框架BT-Unet，该框架使用Barlow Twins方法通过冗余减少以无监督的方式预训练U-Net模型的编码器来学习数据表示。之后，对整个网络进行微调以执行实际分割。BT-Unet框架可以使用有限数量的注释样本进行训练，同时具有大量的未注释样本，这在现实世界的问题中大多是如此。该框架通过使用标准评估指标生成有限数量的标记样本的场景，在不同数据集上的多个U-Net模型上进行验证。通过详尽的实验测试，可以观察到BT-Unet框架在这种情况下显著提高了U-Net模型的性能。
2022-03-23 cs.CV eess.IV
KiU-Net: Towards Accurate Segmentation of Biomedical Images using Over-complete Representations
Johns Hopkins University（约翰斯·霍普金斯大学）；Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）
由于其优异的性能，U-Net是近年来最广泛使用的生物医学图像分割的骨干架构。然而，在我们的研究中，我们观察到，在检测具有模糊噪声边界的较小解剖标志的情况下，存在相当大的性能下降。我们详细分析了这个问题，并提出了一个过完备的架构（Ki-Net），其中涉及到投影到更高的维度（在空间意义上）的数据来解决这个问题。当使用U-Net增强时，该网络在分割小解剖标志和模糊噪声边界的情况下得到显着改善，同时获得更好的整体性能。此外，所提出的网络具有更快的收敛速度和更少的参数数量等额外的好处。我们评估了所提出的方法对早产儿2D超声（US）脑解剖分割的任务，并实现了约4%的DICE准确性和Jaccard指数方面的改进相比，标准的U-Net，而优于最近最好的方法2%。代码：https://github.com/jeya-maria-jose/KiU-Net-pytorch.
2020-07-08 cs.CV eess.IV
FAN-Unet: Enhancing Unet with vision Fourier Analysis Block for Biomedical Image Segmentation
School of Science（理学院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对医学图像分割中CNN难捕捉长程依赖、Transformer难有效捕捉局部特征的问题，提出结合FAN视觉骨干与U-Net的FAN-UNet架构，通过Vision-FAN层整合傅里叶分析与自注意力，在多数据集上验证了其在复杂度与性能间的良好平衡。
2024-11-28 cs.CV eess.IV
Non-local U-Net for Biomedical Image Segmentation
Texas A&M University（得克萨斯农工大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
深度学习在各种生物医学图像分割任务中显示出巨大的潜力。现有的模型通常基于U-Net，并依赖于具有堆叠的本地操作符的编码器-解码器架构来逐渐聚合远程信息。然而，仅使用本地操作员限制了效率和有效性。在这项工作中，我们提出了非局部U-网，它配备了灵活的全球聚合块，生物医学图像分割。这些块可以作为大小保持过程以及下采样和上采样层插入到U-Net中。我们在3D多模态等信号婴儿脑MR图像分割任务上进行了深入的实验，以评估非局部U-网。结果表明，我们提出的模型实现了最佳性能与更少的参数和更快的计算。
2020-02-18 cs.CV cs.LG stat.AP
FANet: A Feedback Attention Network for Improved Biomedical Image Segmentation
SimulaMet（SimulaMet研究所）；UiT The Arctic University of Norway（挪威北极大学）；University of Oxford（牛津大学）；Oslo Metropolitan University（奥斯陆城市大学）；Oxford NIHR Biomedical Research Centre（牛津NIHR生物医学研究中心）
可用的大型临床和实验数据集的增加为生物医学图像分析领域做出了大量重要贡献。图像分割，这是至关重要的任何定量分析，特别引起了人们的注意。最近的硬件进步导致了深度学习方法的成功。然而，尽管深度学习模型是在大型数据集上训练的，但现有方法不能有效地使用来自不同学习时期的信息。在这项工作中，我们利用每个训练时期的信息来修剪后续时期的预测图。我们提出了一种称为反馈注意力网络（FANet）的新架构，该架构将先前的时期掩码与当前训练时期的特征图相结合。然后使用先前的epoch mask来提供对不同卷积层处的学习特征图的硬注意。该网络还允许在测试期间以迭代方式校正预测。我们表明，我们提出的\textit{feedback attention}模型提供了一个显着的改进，大多数分割指标测试7个公开的生物医学成像数据集证明FANet的有效性。源代码可从\url{https://github.com/nikhilroxtomar/FANet}获得。
2022-03-25 cs.CV eess.IV
Uncertainty Quantification using Variational Inference for Biomedical Image Segmentation
University of Maryland（马里兰大学）
针对医学图像深度学习模型需提供预测置信度的需求，提出基于变分推断的编解码架构，在BRATS数据集上以贝叶斯方式融合两类不确定性实现脑肿瘤分割。
2024-08-15 cs.CV cs.LG eess.IV
Instance Segmentation of Biomedical Images with an Object-aware Embedding Learned with Local Constraints
RWTH Aachen University（亚琛工业大学）
自动实例分割是许多生物医学应用中出现的问题。现有技术的方法或者执行语义分割或者细化从检测方法获得的对象边界框。这两种方法都在不同程度上受到拥挤对象的影响，合并相邻对象或抑制有效对象。在这项工作中，我们通过深度神经网络为每个像素分配一个嵌入向量。该网络被训练为输出来自同一对象的像素的相似方向的嵌入向量，而相邻对象在嵌入空间中是正交的，这有效地避免了人群中对象的融合。我们的方法即使在细胞分割（BBBC006 + DSB2018）和叶分割数据集（CVPPP2017）上使用轻量级骨干网络也能产生最先进的结果。代码和模型权重是公开的。
2020-04-21 cs.CV cs.LG
Anatomical Priors in Convolutional Networks for Unsupervised Biomedical Segmentation
MIT（麻省理工学院）；MGH（麻省总医院）；Cornell University（康奈尔大学）
我们考虑将生物医学图像分割成感兴趣的解剖区域的问题。我们专门解决了常见的情况下，我们没有配对的训练数据，包含图像和它们的手动分割。相反，我们采用不成对的分割图像来建立解剖先验。重要的是，这些分割可以从来自与当前任务不同的数据集和成像模态的成像数据导出。我们引入了一种生成概率模型，该模型采用通过卷积神经网络学习的先验知识来计算无监督设置中的分割。我们在结构脑MRI分割的背景下对所提出的方法进行了实证分析，使用了超过14，000次扫描的多研究数据集。我们的研究结果表明，解剖先验可以实现快速无监督分割，这通常是不可能使用标准卷积网络。解剖先验的集成可以促进在一系列新的临床问题中基于CNN的解剖分割，其中很少或没有注释可用，因此标准网络不可训练。该代码可在http://github.com/adalca/neuron上免费获得。
2019-03-07 cs.CV
Calibrating the Dice loss to handle neural network overconfidence for biomedical image segmentation
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；University of Salerno（萨勒诺大学）
Dice相似系数（DSC）是生物医学图像分割中广泛使用的度量和损失函数，因为它对类别不平衡具有鲁棒性。然而，众所周知，DSC损失校准不良，导致过度自信的预测，不能在生物医学和临床实践中有效地解释。性能通常是用于评估深度神经网络产生的分割的唯一指标，而校准往往被忽视。然而，校准对于转化为生物医学和临床实践非常重要，为科学家和临床医生解释模型预测提供了关键的上下文信息。在这项研究中，我们提供了一种简单而有效的DSC损失扩展，称为DSC++损失，它选择性地调节与过度自信，不正确的预测相关的惩罚。作为一个独立的损失函数，DSC++损失在六个经过充分验证的开源生物医学成像数据集（包括2D二进制和3D多类分割任务）上实现了比传统DSC损失显著改进的校准。同样，我们观察到显着改善校准时，集成的DSC++损失到四个DSC为基础的损失函数。最后，我们使用softmax阈值来说明校准良好的输出可以定制召回精度偏差，这是一种重要的后处理技术，可以调整模型预测以适应生物医学或临床任务。DSC++损失克服了DSC损失的主要限制，为训练用于生物医学和临床实践的深度学习分割模型提供了合适的损失函数。源代码可在https://github.com/mlyg/DicePlusPlus上获得。
2022-11-01 cs.AI cs.CV eess.IV
Perspectives: Comparison of Deep Learning Segmentation Models on Biophysical and Biomedical Data
Center for Biological Physics, Arizona State University（亚利桑那州立大学生物物理中心）；Department of Radiation Oncology, Emory School of Medicine（埃默里医学院放射肿瘤学系）
本文针对生物物理实验中小数据集的图像分割任务，全面比较了卷积神经网络、U-Nets、视觉Transformer和视觉状态空间模型四种深度学习架构，为研究人员提供了模型选择的实用指南。
2025-01-30 cs.CV eess.IV physics.bio-ph
Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation
National Taiwan University（台湾大学）；GE Global Research（GE全球研究中心）
诸如卷积神经网络的深度学习模型已广泛用于3D生物医学分割并实现最先进的性能。然而，它们中的大多数通常采用单个模态或将多个模态堆叠为不同的输入通道。为了更好地利用多模态，我们提出了一种具有交叉模态卷积层的深度编码器-解码器结构，以合并不同模态的MRI数据。此外，我们还利用卷积LSTM对2D切片序列进行建模，并以端到端的方式联合学习多模态和卷积LSTM。为了避免收敛到某些标签，我们采用了重新加权方案和两阶段训练来处理标签不平衡。在BRATS-2015上的实验结果表明，我们的方法优于最先进的生物医学分割方法。
2017-04-25 cs.CV
Parallel Multi-Dimensional LSTM, With Application to Fast Biomedical Volumetric Image Segmentation
University of Kaiserslautern（凯泽斯劳滕大学）；Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (The Swiss AI Lab IDSIA)（达莱莫勒人工智能研究所（瑞士人工智能实验室IDSIA））；Scuola universitaria professionale della Svizzera italiana (SUPSI)（瑞士意大利语区应用科学大学（SUPSI））；Universitá della Svizzera italiana (USI)（瑞士意大利语区大学（USI））；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
卷积神经网络（CNN）可以在2D图像或3D视频中移动以分割它们。它们具有固定的输入大小，并且通常仅感知要被分类为前景或背景的像素的小的局部上下文。相比之下，多维递归神经网络（MD-RNN）可以在所有像素的几次扫描中感知每个像素的整个时空上下文，特别是当RNN是长短期记忆（LSTM）时。然而，尽管有这些理论上的优势，但与CNN不同的是，以前的MD-LSTM变体很难在GPU上并行化。在这里，我们以金字塔的方式重新排列MD-LSTM中传统的长方体计算顺序。由此产生的PyraMiD-LSTM易于并行化，特别是对于3D数据，如大脑切片图像堆栈。PyraMiD-LSTM在MRBrainS 13上实现了最知名的像素级大脑图像分割结果（以及EM-ISBI 12上的竞争结果）。
2015-06-24 cs.CV cs.LG
Machine Learning Techniques for Biomedical Image Segmentation: An Overview of Technical Aspects and Introduction to State-of-Art Applications
Stanford University（斯坦福大学）
近年来，在开发用于医学和自然图像分割的更准确和更有效的机器学习算法方面取得了重大进展。在这篇综述文章中，我们强调了机器学习算法在医学成像领域实现高效准确分割方面的重要作用。我们特别关注与机器学习方法在生物医学图像分割中的应用有关的几项关键研究。我们回顾了经典的机器学习算法，如马尔可夫随机场，k-means聚类，随机森林等，虽然这些经典的学习模型通常不如深度学习技术准确，但它们通常更有效，结构更简单。我们还回顾了不同的深度学习架构，如人工神经网络（ANN），卷积神经网络（CNN）和递归神经网络（RNN），并介绍了过去三年中发表的这些学习模型所获得的分割结果。我们强调了每种机器学习范式的成功和局限性。此外，我们还讨论了与不同机器学习模型的训练相关的几个挑战，并提出了一些解决这些挑战的方法。
2019-11-06 cs.CV cs.LG eess.IV
Redefining the Down-Sampling Scheme of U-Net for Precision Biomedical Image Segmentation
Department of Radiation Oncology Stanford University（放射肿瘤科 斯坦福大学）
本文提出阶梯池化方法，通过调节下采样节奏减少信息损失，提升U-Net在生物医学图像分割中的精度与性能。
2026-02-23 cs.AI cs.CV
Graph Relation Distillation for Efficient Biomedical Instance Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出图关系蒸馏方法，通过实例图蒸馏和亲和图蒸馏分别迁移实例特征、实例关系及像素级边界知识，在参数和推理时间大幅减少的情况下实现高效生物医学实例分割。
2024-01-12 cs.AI cs.CV
Orthogonal Ensemble Networks for Biomedical Image Segmentation
Research institute for signals, systems and computational intelligence, sinc(i), FICH-UNL / CONICET（信号、系统与计算智能研究所sinc(i)，国立滨海大学工程与水文系/国家科学技术研究委员会）；École de Technologie Supérieure（高等技术学院）
尽管基于深度学习的方法在语义分割等视觉任务中表现惊人，但众所周知，它们会产生错误的预测，这可能对关键的决策过程有害。包围学习不仅可以提高单个模型的性能，还可以通过平均独立预测来减少它们的误校准。在这种情况下，模型多样性已成为一个关键因素，它有助于各个模型融合到不同的功能解决方案中。在这项工作中，我们介绍了正交增强网络（OEN），一种新的框架，明确地通过正交约束执行模型多样性。所提出的方法是基于这样的假设，即诱导正交性的组成部分的合奏将增加整体模型的多样性。我们诉诸于一个新的成对正交约束，可用于正则化的顺序集成训练过程，从而提高预测性能和更好的校准模型输出。我们在两个具有挑战性的脑病变分割任务-脑肿瘤和白质高强度分割的MR图像中的基准所提出的框架。实验结果表明，我们的方法产生更强大的和良好的校准集成模型，可以处理具有挑战性的任务，在生物医学图像分割的背景下。
2021-05-22 cs.CV eess.IV
ViTBIS: Vision Transformer for Biomedical Image Segmentation
Vellore Institute of Technology（韦洛尔理工学院）
在本文中，我们提出了一种新的网络命名为Vision Transformer的生物医学图像分割（ViTBIS）。我们的网络将输入特征映射分成三个部分，在编码器和解码器中都有$1\times 1$，$3\times 3$和$5\times 5$卷积。Concat算子用于合并特征，然后输入到三个连续的Transformer模块，其中嵌入了注意机制。跳过连接用于连接编码器和解码器Transformer模块。类似地，Transformer块和多尺度架构在被线性投影以产生输出分割图之前在解码器中使用。我们使用Synapse多器官分割数据集，自动心脏诊断挑战数据集，脑肿瘤MRI分割数据集和脾脏CT分割数据集测试我们的网络的性能。没有花里胡哨的东西，我们的网络使用Dice得分和Hausdorff距离作为评估指标，表现优于大多数以前最先进的CNN和基于Transformer的模型。
2022-01-15 cs.CV cs.LG eess.IV
Image Segmentation to Distinguish Between Overlapping Human Chromosomes
UC Berkeley（加州大学伯克利分校）；Salesforce Research（Salesforce 研究院）；Insight Data Science（Insight 数据科学）
在医学中，染色体可视化对于医学诊断、药物开发和生物医学研究非常重要。不幸的是，染色体经常重叠，有必要识别和区分重叠的染色体。快速和自动化的分割解决方案将使具有成本效益的医学和生物医学研究得以扩展。我们应用神经网络为基础的图像分割的问题，区分部分重叠的DNA染色体。针对该问题定制了一个卷积神经网络。结果在重叠区域实现了94.7%的交叉联合（IOU）评分，在非重叠染色体区域实现了88-94%的交叉联合（IOU）评分。
2017-12-20 cs.CV cs.LG q-bio.QM
BioIE: Biomedical Information Extraction with Multi-head Attention Enhanced Graph Convolutional Network
Xi’an Jiaotong University（西安交通大学）；The First Affiliated Hospital of Xi’an Jiaotong University（西安交通大学第一附属医院）
构建大规模的医学知识图谱可以极大地促进医学监护在医疗保健领域的应用，近年来受到了广泛的关注。构建大规模MKG的一个重要步骤是从医疗报告中提取信息。近年来，信息抽取技术在生物医学信息抽取中得到了广泛的应用。然而，这些方法只考虑有限类型的实体和关系，由于嘈杂的生物医学文本数据与复杂的实体相关性。因此，它们不能为构建MKG提供足够的信息，并限制了下游应用。为了解决这个问题，我们提出了生物医学信息抽取，一个混合神经网络，从生物医学文本和非结构化的医疗报告中提取关系。我们的模型利用一个多头注意力增强的图卷积网络来捕捉复杂的关系和上下文信息，同时抵抗来自数据的噪声。我们评估我们的模型上两个主要的生物医学关系提取任务，化学-疾病关系和化学-蛋白质相互作用，和跨医院泛癌症病理报告语料库。结果表明，我们的方法实现了优于基线的性能。此外，我们评估了我们的方法的适用性下的迁移学习设置，并表明BioIE在处理不同格式和写作风格的医学文本取得了良好的性能。
2021-10-26 cs.AI cs.CL cs.CV
C-Net: A Reliable Convolutional Neural Network for Biomedical Image Classification
University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）
癌症是许多国家的主要死亡原因。早期诊断在对这种使人衰弱的疾病进行适当治疗方面起着至关重要的作用。癌症类型的自动分类是一项具有挑战性的任务，因为病理学家必须检查大量的组织病理学图像来检测微小的异常。在这项研究中，我们提出了一种新的卷积神经网络（CNN）架构，由多个网络的级联组成，称为C-Net，对生物医学图像进行分类。该模型包含多个CNN，包括外部，中间和内部。该架构的前两个部分包含六个网络，这些网络作为特征提取器输入到内部网络中，以根据恶性和良性对图像进行分类。C-Net应用于两个公共数据集的组织病理学图像分类，包括BreakHis和Osteosarcoma。为了评估性能，该模型进行了测试，使用几个评估指标，其可靠性。C-Net模型在两个数据集的各个指标上优于所有其他模型，并实现了零误分类。这种方法有可能被扩展到额外的分类任务，实验结果表明，利用广泛的评估指标。
2021-08-19 cs.CV eess.IV
Capturing implicit hierarchical structure in 3D biomedical images with self-supervised hyperbolic representations
Stanford University（斯坦福大学）
我们考虑的任务表示学习的无监督分割的三维体素网格生物医学图像。我们发现，捕捉子卷之间的隐式层次关系的模型更适合这项任务。为此，我们考虑具有双曲潜在空间的编码器-解码器架构，以显式地捕获数据子卷中存在的层次关系。我们建议利用一个3D双曲线变分自编码器与一个新的gyroplane卷积层映射从嵌入空间回到3D图像。为了捕捉这些关系，我们引入了一个基本的自我监督的损失-除了标准的VAE损失-推断近似层次结构，并鼓励隐式相关的子卷在嵌入空间中映射得更近。我们目前的实验合成数据和生物医学数据来验证我们的假设。
2021-10-25 cs.CV
