TraceCaps: A Capsule-based Neural Network for Semantic Segmentation
Ohio University（俄亥俄大学）；University of Kentucky（肯塔基大学）
在本文中，我们提出了一个基于胶囊的神经网络模型来解决语义分割问题。通过利用胶囊层中可提取的部分-整体依赖关系，我们通过递归的逐层过程推导出各个胶囊的类标签的概率。我们将此过程建模为回溯管道，并将其作为构建端到端分割网络的核心部分。在所提出的框架下，图像级类别标签和对象边界以显式的方式共同寻找，这比最先进的全卷积网络（FCN）解决方案具有显着的优势。有了提取部分-整体信息的能力，我们的回溯管道可以作为构建模块来设计可解释的神经网络。在修改后的MNIST和神经图像上进行的实验表明，与领先的FCN变体相比，我们的模型大大提高了分割性能。
2020-07-15 cs.AI cs.CV cs.LG
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
PointCaps: Raw Point Cloud Processing using Capsule Networks with Euclidean Distance Routing
University of Moratuwa（莫拉图瓦大学）；Florida International University（佛罗里达国际大学）；University of Maryland, College Park（马里兰大学帕克分校）
利用胶囊网络处理原始点云由于其能够保持输入数据的空间一致性而被广泛用于分类、重建和分割。然而，大多数现有的基于胶囊的网络方法计算量大，并且无法将整个点云表示为单个胶囊。我们通过提出PointCaps来解决现有基于胶囊网络的方法中的这些限制，PointCaps是一种具有参数共享的新型卷积胶囊架构。随着PointCaps，我们提出了一种新的欧几里德距离路由算法和类独立的潜在表示。潜在表示捕获点云的物理可解释的几何参数，通过动态欧几里得路由，PointCaps很好地表示了点的空间（点到零件）关系。与最先进的胶囊网络相比，PointCaps的参数数量明显减少，需要的FLOP数量也明显减少，同时实现了更好的重建，原始点云的分类和分割精度相当。
2022-08-21 cs.CV
Diagnosing Colorectal Polyps in the Wild with Capsule Networks
University of Central Florida（中佛罗里达大学）；Mayo Clinic（妙佑医疗国际（梅奥诊所））；University of Catania（卡塔尼亚大学）
结直肠癌主要由称为息肉的前驱病变引起，仍然是全球癌症相关死亡的主要原因之一。由于光学活检方法的测试准确度和灵敏度大大低于推荐水平，目前的临床标准要求息肉的切除和组织病理学分析。在这项研究中，我们设计了一种新的胶囊网络架构（D-Caps），以提高结肠直肠息肉光学活检的可行性。我们提出的方法引入了几个技术创新，包括一个新的胶囊架构与胶囊平均池（CAP）的方法，以提高效率，在大规模的图像分类。我们证明了比以前最先进的卷积神经网络（CNN）方法提高了43%的结果。这项工作为新的Mayo息肉数据集提供了一个重要的基准，这是一个比以前的息肉研究更具挑战性和更大的数据集，其结果在所有可用的类别，成像设备和模式以及聚焦模式中分层，以促进AI驱动的结直肠癌筛查系统的未来发展方向。代码可在https://github.com/lalonderodney/D-Caps上公开获取。
2020-01-10 cs.CV cs.LG eess.IV
Improving Medical Waste Classification with Hybrid Capsule Networks
Tilburg University（蒂尔堡大学）
本文提出将胶囊网络与预训练 DenseNet 结合用于医疗废物分类，并在更大规模、多样化图像数据集上验证，解冻层混合模型将 F1 从 0.89 提升至 0.92。
2025-03-13 cs.CV cs.LG
Mamba Capsule Routing Towards Part-Whole Relational Camouflaged Object Detection
Northwestern Polytechnical University（西北工业大学）；Huazhong University of Science and Technology（华中科技大学）；Changzhou University（常州大学）
针对传统EM像素级胶囊路由计算量大、参数多的问题，提出类型级Mamba胶囊路由方法，在降低计算开销的同时保留部分-整体关系建模能力，在三个COD基准数据集上性能超越现有最优水平。
2024-10-05 cs.CV
Self-Supervised Learning for Pre-training Capsule Networks: Overcoming Medical Imaging Dataset Challenges
Heriot-Watt University（赫瑞瓦特大学）
针对医学影像数据集规模小、类别不平衡等问题，本文研究用着色和对比学习等自监督任务预训练胶囊网络，在PICCOLO息肉分类任务上准确率提升5.26%。
2025-02-07 cs.CV cs.LG
Subspace Capsule Network
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
卷积神经网络（CNN）已经成为人工智能领域的重要资产。尽管它们的成功表现，CNN遭受一个主要的缺点。它们无法捕捉实体不同部分之间的空间关系层次。为了解决这个问题，Hinton提出了胶囊的想法。在本文中，我们提出了子空间胶囊网络（SCN），它利用胶囊网络的思想，通过一组胶囊子空间来模拟实体的外观或隐式定义的属性的可能变化，而不是简单地将神经元分组以创建胶囊。通过使用可学习变换将输入特征向量从较低层投影到胶囊子空间上来创建胶囊。该变换找到输入与由胶囊子空间建模的属性的对准程度。我们证明了SCN是一个通用的胶囊网络，可以成功地应用于判别和生成模型，而不会产生计算开销相比，CNN在测试时间。SCN的有效性进行了评估，通过一系列全面的实验监督图像分类，半监督图像分类和高分辨率图像生成任务，使用生成对抗网络（GAN）框架。SCN显著提高了基线模型在所有3个任务中的性能。
2020-02-07 cs.CV
Self-mentoring: a new deep learning pipeline to train a self-supervised U-net for few-shot learning of bio-artificial capsule segmentation
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔计算机、信号与自动控制实验室）
背景资料：在显微成像中对生物人工囊等微观结构的精确分割是计算机辅助理解重要生物力学现象的前提。最先进的分割性能是通过深度神经网络和相关的数据驱动方法实现的。仅从几个带注释的示例训练这些网络是具有挑战性的，而生成提供监督的手动注释图像是乏味的。方法：最近，自我监督，即设计一个提供合成或间接监督的神经管道，已被证明可以显着提高在少数镜头上训练的模型的泛化性能。本文的目的是在微胶囊图像分割的背景下，介绍一个这样的神经管道。我们的方法利用了这些图像的相当简单的内容，以便学员网络可以由裁判网络指导，裁判网络之前已经在合成生成的损坏/正确区域掩码对上进行了训练。结果：建立了实验装置。它们只涉及3到10个带注释的图像以及大量的未注释图像。在生物人工胶囊数据集中，我们的方法始终如一地大幅提高了准确性。我们还表明，学习裁判网络是可转移到另一个胶质母细胞瘤细胞数据集，它可以有效地与数据增强策略相结合。结论：实验结果表明，非常显着的准确性增量所提出的管道，从而得出结论，本文介绍的自我监督机制有可能取代人类注释。
2023-01-07 cs.CV cs.LG
SAR Image Change Detection Based on Multiscale Capsule Network
Ocean University of China（中国海洋大学）；Southwest Jiaotong University（西南交通大学）
传统的基于卷积神经网络（CNN）的变化检测方法面临着合成孔径雷达图像斑点噪声和变形敏感性的挑战。为了缓解这些问题，我们提出了一个多尺度胶囊网络（Ms-CapsNet）来提取变化和不变像素之间的区别信息。一方面，胶囊模块被用来开发的特征的空间关系。因此，可以通过聚合来自不同位置的特征来实现等变特性。另一方面，一个自适应融合卷积（AFC）模块的建议Ms-CapsNet的设计。可以为初级胶囊捕获更高的语义特征。AFC模块提取的特征显著提高了对斑点噪声的鲁棒性。建议Ms-CapsNet的有效性进行了验证，在三个真实的SAR数据集。与四种最先进的方法的对比实验证明了所提出的方法的有效性。我们的代码可在https://github.com/summitgao/SAR_CD_MS_CapsNet上获得。
2021-09-25 cs.CV cs.LG eess.IV
Dense and Diverse Capsule Networks: Making the Capsules Learn Better
Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）
在过去的几年里，人们对深度学习方法的兴趣呈指数级增长，这些方法快速提高了准确性并降低了计算复杂性。特别地，使用卷积神经网络（CNN）的架构已经为图像分类和对象识别任务产生了最先进的性能。最近，胶囊网络（CapsNet）通过解决CNN在编码姿态和变形方面的固有限制，实现了性能的显著提高。在这种进步的鼓舞下，我们问自己，我们能做得更好吗？我们提出了密集胶囊网络（DCNet）和多样胶囊网络（DCNet++）。这两个框架通过用密集连接的卷积替换标准卷积层来定制CapsNet。这有助于将不同层学习的特征图合并到形成主胶囊中。DCNet本质上增加了一个更深的卷积网络，这导致了对区分特征图的学习。此外，DCNet++使用分层架构来学习以从细到粗的方式表示空间信息的胶囊，这使得它在学习复杂数据时更有效。使用基准数据集的图像分类任务的实验证明了所提出的架构的有效性。DCNet在MNIST数据集上实现了最先进的性能（99.75%），与传统的CapsNet相比，总训练迭代次数减少了20倍。此外，DCNet++在SVHN数据集上的表现优于CapsNet（96.90%），在CIFAR-10上的表现优于7个CapsNet模型的集合0.31%，参数数量减少了7倍。
2018-05-10 cs.CV
Capsule Networks with Max-Min Normalization
Ford Motor Company（福特汽车公司）
胶囊网络（CapsNet）使用Softmax函数将路由系数的logit转换为一组归一化值，表示相邻层中胶囊之间的分配概率。我们表明，Softmax的使用可以防止胶囊层在较低和较高级别的胶囊之间形成最佳耦合。Softmax约束路由系数的动态范围，并导致在几次路由迭代后保持大部分均匀的概率。相反，我们建议使用Max-Min归一化。Max-Min对logits执行尺度不变的归一化，允许每个较低级别的胶囊采用独立的值，仅受归一化边界的约束。Max-Min在五个数据集上提供了测试准确性的一致改进，并允许更多的路由迭代而不会降低网络性能。使用Max-Min训练的单个CapsNet在MNIST数据集上实现了0.20%的改进测试误差。通过一个简单的3模型多数投票，我们在MNIST上实现了0.17%的测试误差。
2019-03-22 cs.CV
CapProNet: Deep Feature Learning via Orthogonal Projections onto Capsule Subspaces
University of Central Florida（中佛罗里达大学）；Huawei Cloud（华为云）
在本文中，我们形式化了胶囊网络背后的想法，即使用胶囊向量而不是神经元激活来预测样本的标签。为此，我们建议学习一组输入特征向量投影到的胶囊子空间。然后使用所得胶囊的长度来对属于不同类别的概率进行评分。我们通过学习每个胶囊子空间的正交投影矩阵来训练这样的胶囊投影网络（CapProNet），并显示每个胶囊子空间被更新，直到它包含对应于相关联的类的输入特征向量。我们还将证明，胶囊投影可以被视为同时对权重矩阵的多列进行归一化以形成正交基，这使得它在合并输入特征的新分量以更新胶囊表示时更有效。换句话说，胶囊投影可以被视为胶囊子空间中的多维权重归一化，其中常规权重归一化仅仅是胶囊投影到1D线上的特殊情况。在低维胶囊子空间中训练网络或通过替代的超幂迭代来估计归一化矩阵，仅引起小的可忽略的计算开销。在图像数据集上的实验结果表明，在相同的计算和内存开销水平下，该模型可以分别大大提高$10-20\%$和$5-7\%$的ResNet骨干网和Densenet的性能. CapProNet通过显著减少基准数据集上的测试错误，为胶囊网络系列建立了具有竞争力的最先进性能。
2018-10-20 cs.CV
Capsule network with shortcut routing
Chonnam National University（全南国立大学）
本研究提出胶囊网络的新型shortcut routing机制及带模糊系数的注意力路由方法，省去中间层提升计算效率，在多个数据集上取得可比分类精度，计算量较EM路由最高降低2.5倍，推动高效层级模式表示模型发展。
2023-07-14 cs.CV
Inference and Learning for Generative Capsule Models
Amazon Development Centre Scotland（亚马逊苏格兰开发中心）；University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
胶囊网络（参见例如Hinton等人，2018）旨在编码对象及其部件之间关系的知识和推理。在本文中，我们指定了一个生成模型，这样的数据，并推导出一个变分算法，用于推断场景中的每个模型对象的变换，以及所观察到的部分的对象的分配。我们基于变分期望最大化（Jordan等人，1999年）。我们还研究了基于Fischler和Bolles（1981）的RANSAC方法的另一种推理算法。我们将这些推理方法应用于（i）从多个几何对象（如正方形和三角形（“星座”））生成的数据，以及（ii）来自基于零件的面部模型的数据。Kosiorek等人（2019）最近的工作通过堆叠胶囊自动编码器（SCAE）使用摊销推理来解决这个问题-我们的结果表明，我们在可以进行比较的地方（星座数据）显着优于它们。
2022-10-21 cs.CV cs.LG
Lossless Image Compression Algorithm for Wireless Capsule Endoscopy by Content-Based Classification of Image Blocks
Isfahan University of Technology（伊斯法罕理工大学）；University of Queensland（昆士兰大学）；University of Michigan（密歇根大学）
胶囊式内窥镜系统的最新进展引入了新的方法和能力。胶囊式内窥镜系统通过观察整个消化道，显著改善了胃肠道疾病的诊断。该系统具有需要解决的挑战，诸如需要增强所传输的图像的质量、传输的低帧速率以及电池寿命。胶囊内窥镜系统的重要组成部分之一是图像压缩单元。更好的图像压缩提高了帧速率，从而改善了诊断过程。本文提出了一种高压缩比的高精度压缩算法。在该算法中，我们使用帧之间的相似性，以压缩数据更有效。
2018-02-21 cs.CV
Deformable Capsules for Object Detection
Palantir Technologies（帕兰蒂尔科技公司）；Zillow Group Inc.（齐洛集团公司）；Northwestern University（西北大学）
本文提出用于目标检测的可变形胶囊网络（DeformCaps），包含SplitCaps结构和SE-Routing算法，首次实现胶囊网络在目标检测任务上的高效扩展，在MS COCO上取得与单阶段CNN方法媲美的结果且误检更少。
2024-07-28 cs.CV
ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method
University of Aberdeen（阿伯丁大学）；Interdisciplinary Centre for Data and AI（数据与人工智能跨学科中心）
针对胶囊网络迭代路由机制计算效率低、难以扩展的问题，提出受原型聚类启发的非迭代路由方法ProtoCaps，结合共享胶囊子空间降低内存需求，在Imagewoof数据集上性能优于现有最优非迭代胶囊网络。
2024-03-08 cs.CV
Segmentation of Bleeding Regions in Wireless Capsule Endoscopy for Detection of Informative Frames
Isfahan University of Technology（伊斯法罕理工大学）；Seattle University（西雅图大学）；University of Michigan（密歇根大学）
无线胶囊式内窥镜（WCE）是诊断胃肠道疾病的有效手段。检测WCE视频中的信息场景可以减少传输视频的长度，并帮助诊断过程。在本文中，我们研究的问题简化的神经网络自动出血区域检测胶囊内窥镜设备。选择合适的颜色通道作为神经网络的输入，并分别使用多层感知器（MLP）和卷积神经网络（CNN）进行图像分类。CNN和MLP结构都被简化以减少计算操作的数量。使用DICE评分在WCE出血图像数据集上评估两个简化网络的性能。仿真结果表明，在MLP和CNN结构上应用简化方法显著减少了计算操作的数量，AUC大于0.97。尽管与简化的MLP相比，CNN表现更好，但简化的MLP以显著更少的计算操作来分割出血区域。考虑到具有简单的结构或更精确的模型的重要性，可以选择每个设计的结构用于胶囊内实施。
2018-08-23 cs.CV
FlowCaps: Optical Flow Estimation with Capsule Networks For Action Recognition
IHPC, A*STAR（新加坡科技研究局高性能计算研究所）
胶囊网络（CapsNets）最近显示出在大多数计算机视觉任务中表现出色的前景，特别是与场景理解有关的任务。在本文中，我们探讨了CapsNet在光流估计方面的能力，卷积神经网络（CNN）已经优于其他方法。我们提出了一种基于CapsNet的架构，称为FlowCaps，它试图a）通过对光流估计至关重要的更细粒度、运动特定和更可解释的编码来实现更好的对应匹配，b）执行更好的可推广的光流估计，c）利用更少的地面实况数据，以及d）与CNN对应物相比，在实现良好性能方面显着降低计算复杂性。
2020-11-08 cs.CV
Capsule Networks Do Not Need to Model Everything
University of Turin, Computer Science Department（都灵大学计算机科学系）
本文提出REM（路由熵最小化）技术，通过剪枝机制使胶囊网络仅关注感兴趣对象，减少解析树数量，从而以更少参数和可忽略性能损失学习更稳定简洁的表示。
2025-07-12 cs.AI cs.CV
An Improvement for Capsule Networks using Depthwise Separable Convolution
CISUC（科英布拉大学信息与系统中心）；University of Coimbra（科英布拉大学）
本文提出用深度可分离卷积替换胶囊网络中的标准卷积，以减少参数量并提升稳定性，实验表明其在64×64图像上优于标准模型，并能与迁移学习模型取得相当性能。
2023-09-19 cs.CV
ME-CapsNet: A Multi-Enhanced Capsule Networks with Routing Mechanism
Vellore Institute of Technology（韦洛尔理工学院）
卷积神经网络需要构造信息特征，这些信息特征由网络层的通道和空间信息确定。在这项研究中，我们专注于引入一种新的解决方案，该解决方案使用复杂的优化来增强每层感受野内的空间和通道组件。胶囊网络用于理解特征图中特征之间的空间关联。独立胶囊网络在相对简单的数据集上比在复杂的数据集上显示出良好的结果，这是由于特征信息量过大。因此，为了解决这个问题，我们提出了ME-CapsNet，通过引入更深的卷积层来提取重要的特征，然后再通过胶囊层的模块，从而显着提高网络的性能。更深的卷积层包括挤压激励网络的块，其使用随机采样方法来逐渐减小空间大小，从而通过重建通道的相互依赖性来动态地重新校准通道，而不会丢失太多重要的特征信息。使用常用的数据集进行了大量的实验，证明了所提出的ME-CapsNet的效率，它通过在复杂数据集中以最小的模型复杂性实现更高的准确性，明显优于各种研究工作。
2022-03-31 cs.AI cs.CV cs.LG
A Context-aware Capsule Network for Multi-label Classification
ConscientAI Labs（ConscientAI实验室）；Australian National University（澳大利亚国立大学）
最近提出的Capsule Network是一种受大脑启发的架构，通过基于矢量的表示对输入域变化进行建模，为深度学习带来了新的范例。尽管CapsNet是一个开创性的贡献，但它并没有明确地对检测到的实体之间以及相关输入的胶囊特征之间的结构化关系进行建模。受人类视觉系统中皮层网络工作的启发，我们试图通过对CapsNet架构提出几个直观的修改来解决CapsNet的局限性。我们介绍，（1）一种新的路由权重初始化技术，（2）一种改进的CapsNet设计，利用语义之间的关系，使用密集连接的条件随机场和（3）Cholesky变换为基础的相关模块，学习一般的优先级方案。我们提出的设计允许CapsNet更好地扩展到更复杂的问题，例如多标签分类任务，其中语义相关的类别与各种相互依赖性共存。我们提出了我们的扩展的理论基础，并展示了显着的改进ADE20K场景数据集。
2018-10-16 cs.CV
Fast Inference in Capsule Networks Using Accumulated Routing Coefficients
Ford Motor Company（福特汽车公司）
我们提出了一种快速推断胶囊网络（CapsNets）的方法，通过利用一个关键的洞察力，关于相邻网络层之间的链接胶囊的路由系数。由于路由系数负责将对象部分分配给整体，并且对象整体通常包含相似的类内部分和不相似的类间部分，因此路由系数倾向于为每个对象类形成唯一的签名。为了快速推理，首先使用训练数据集中的示例以通常的方式训练网络。之后，与训练样本相关联的路由系数被离线累积并用于创建一组“主”路由系数。在推断期间，使用这些主路由系数代替动态计算的路由系数。我们的方法有效地取代了循环迭代的动态路由过程与一个单一的矩阵乘法运算，提供了一个显着的提高推理速度。与动态路由过程相比，快速推理将MNIST、背景MNIST、时尚MNIST和旋转MNIST数据集的测试精度降低了不到0.5%，CIFAR10降低了约5%。
2019-04-15 cs.CV
PrunedCaps: A Case For Primary Capsules Discrimination
Department of Electrical and Computer Engineering, University of Victoria（电气与计算机工程系，维多利亚大学）
PrunedCaps通过移除95%的初级胶囊，使CapsNet在MNIST等数据集上提速9.9倍，同时保持准确率，显著降低计算资源消耗。
2025-12-02 cs.CV
MIXCAPS: A Capsule Network-based Mixture of Experts for Lung Nodule Malignancy Prediction
Concordia Institute for Information Systems Engineering, Concordia University（康考迪亚大学信息系统工程研究所）；Sunnybrook Health Sciences Centre, University of Toronto（多伦多大学桑尼布鲁克健康科学中心）；McGill University Health Center- Research Institute（麦吉尔大学健康中心研究所）；Babak Imaging Center（巴布克影像中心）；Department of Electrical and Computer Engineering, University of Toronto（多伦多大学电气与计算机工程系）
包括肺炎、结核病和新型冠状病毒（COVID-19）等感染在内的肺部疾病以及肺癌非常普遍，通常被认为是威胁生命的疾病。特别是，肺癌是最常见和最致命的癌症之一，5年生存率低。因此，及时诊断肺癌至关重要，因为它可以挽救无数生命。在这方面，深度学习放射组学解决方案有望以端到端的方式自己提取最有用的特征，而无需访问注释的边界。在不同的深度学习模型中，胶囊网络被提出来克服卷积神经网络（CNN）的缺点，例如它们无法识别详细的空间关系。到目前为止，胶囊网络在医学成像问题中表现出令人满意的性能。利用他们的成功，在这项研究中，我们提出了一种新的基于胶囊网络的专家混合，称为MIXCAPS。所提出的MIXCAPS架构不仅利用了胶囊网络处理小数据集的能力，而且还通过卷积门控网络自动分割数据集。MIXCAPS使胶囊网络专家能够专注于不同的数据子集。我们的研究结果表明，MIXCAPS优于单个胶囊网络和CNN的混合物，准确率为92.88%，灵敏度为93.2%，特异性为92.3%，曲线下面积为0.963。我们的实验还表明，有门输出和一对夫妇的手工制作的功能之间的关系，说明所提出的MIXCAPS的可解释的性质。为了进一步评估所提出的MIXCAPS架构的泛化能力，对脑肿瘤数据集进行了额外的实验，显示了MIXCAPS用于检测与其他器官相关的肿瘤的潜力。
2020-08-13 cs.CV cs.LG eess.IV
GeoCapsNet: Aerial to Ground view Image Geo-localization using Capsule Network
Shenzhen University（深圳大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
跨视图图像地理定位的任务旨在通过将查询地面视图图像与参考数据集中的GPS标记的航空（卫星）图像进行匹配来确定其地理位置（GPS坐标）。由于视点的剧烈变化，交叉视点图像的匹配具有挑战性。在本文中，我们提出了GeoCapsNet的基础上的胶囊网络的地对空图像地理定位。该网络首先通过标准卷积层从地面视图和航空图像中提取特征，胶囊层进一步编码特征以建模空间特征层次结构并增强表示能力。此外，我们引入了一个简单有效的加权软边缘三重损失与在线批量硬样本挖掘，它可以大大提高图像检索的准确性。实验结果表明，我们的GeoCapsNet显着优于国家的最先进的方法在两个基准数据集。
2019-04-12 cs.CV
A Novel Capsule Neural Network Based Model for Drowsiness Detection Using Electroencephalography Signals
University of Chile（智利大学）；Hochschule Darmstadt（达姆施塔特应用技术大学）
睡意的早期检测对于确保几个行业任务的正确和安全发展至关重要。由于人类主体在警觉和困倦之间的短暂精神状态，自动困倦检测是要解决的复杂问题。脑电图信号使我们能够记录个体大脑电位的变化，其中每一个都给出了关于受试者精神状态的特定信息。然而，由于这种类型的信号的性质，其采集通常是复杂的，因此很难有大量的数据来应用深度学习技术进行最佳处理和分类。尽管如此，胶囊神经网络是一种全新的深度学习算法，用于减少数据量。它是一个强大的算法来处理数据的层次关系，这是一个基本特征的工作与生物医学信号。因此，本文提出了一种基于深度学习的方法，通过使用脑电信号通道的频谱图图像的级联，使用CapsNet进行困倦检测。将所提出的CapsNet模型与卷积神经网络进行比较，所提出的模型优于卷积神经网络，其平均准确度为86，44%和87，57%，而CNN的平均准确度为75，86%和79，47%，表明CapsNet更适合此类数据集和任务。
2022-04-04 cs.CV
IBCapsNet: Information Bottleneck Capsule Network for Noise-Robust Representation Learning
Shenzhen Polytechnic University（深圳职业技术大学）
本文提出IBCapsNet，通过信息瓶颈原理设计了一种高效胶囊网络，解决传统胶囊网络计算成本高和抗噪声能力差的问题，在多个数据集上展现出更高的鲁棒性和效率。
2026-03-21 cs.CV
Improved Explainability of Capsule Networks: Relevance Path by Agreement
Concordia Institute for Information Systems Engineering, Concordia University（康考迪亚大学康考迪亚信息系统工程研究所）；University of Toronto（多伦多大学）
信号处理和机器学习领域的最新进展导致了对深度学习模型的广泛兴趣激增，这是由于它们对于具有重大工程重要性的不同和具有挑战性的问题具有前所未有的性能和高精度。然而，当这样的深度学习架构被用于做出关键决策时，诸如涉及人类生命的决策（例如，在医学应用中），理解、信任并用一句话“解释”深层模型决策背后的理性是至关重要的。目前，深度学习模型通常被认为是黑箱系统，不提供任何关于其内部处理动作的线索。尽管最近已经开始了一些努力来解释深层网络的行为和决策，但可解释的人工智能（XAI）领域仍处于起步阶段。在这方面，我们考虑胶囊网络（称为CapsNets），这是一种新型的深度结构;最近被提出作为卷积神经网络（CNN）的替代方案，并提出改变机器智能的未来。在本文中，我们调查和分析CapsNets的结构和行为，并说明这种网络的潜在可解释性。此外，我们展示了通过在不同层中合并胶囊而不是CNN的卷积层来将深度学习架构转换为透明网络的可能性。
2018-02-27 cs.CV
Enhanced Anomaly Detection for Capsule Endoscopy Using Ensemble Learning Strategies
Department of Computer Science, University of Tübingen（图宾根大学计算机科学系）；Seminar of Applied Mathematics, ETH Zürich（苏黎世联邦理工学院应用数学研讨班）；Else Kröner Fresenius Center for Digital Health, TU Dresden（德累斯顿技术大学数字健康研究中心）；Department of Medicine I, University Hospital Dresden, TU Dresden（德累斯顿大学医院第一医学部，德累斯顿技术大学）
本文提出一种集成学习策略，通过使用不同损失函数训练多个神经网络，提高胶囊内镜异常检测的准确性和效率，同时减少参数量。
2025-08-20 cs.CV
SAR Image Change Detection Based on Multiscale Capsule Network
Ocean University of China（中国海洋大学）；Southwest Jiaotong University（西南交通大学）
传统的基于卷积神经网络的合成孔径雷达图像变化检测方法面临着斑点噪声和变形敏感性的挑战。为了缓解这些问题，我们提出了一个多尺度胶囊网络（Ms-CapsNet）来提取变化和不变像素之间的区别信息。一方面，多尺度胶囊模块被用来利用特征的空间关系。因此，可以通过聚合来自不同位置的特征来实现等变特性。另一方面，一个自适应融合卷积（AFC）模块的建议Ms-CapsNet的设计。可以为初级胶囊捕获更高的语义特征。AFC模块提取的特征显著提高了对斑点噪声的鲁棒性。建议Ms-CapsNet的有效性进行了验证，在三个真实的SAR数据集。与四种最新方法的对比实验证明了该方法的有效性。我们的代码可在https://github.com/summitgao/SAR_CD_MS_CapsNet上获得。
2022-01-22 cs.CV eess.IV
MSPCaps: A Multi-Scale Patchify Capsule Network with Cross-Agreement Routing for Visual Recognition
CUHK-Shenzhen（香港中文大学（深圳））
MSPCaps通过多尺度特征学习和跨共识路由提升视觉识别性能，实现高效且鲁棒的特征表示学习。
2026-01-28 cs.CV
Self-Attention Capsule Networks for Object Classification
Stanford University（斯坦福大学）；The Weizmann Institute of Science（魏茨曼科学研究所）
我们提出了一种新的架构，对象分类，称为自我注意胶囊网络（SACN）。SACN是第一个将自我注意力机制作为胶囊网络（CapsNet）内的一个整体层的模型。虽然自注意力机制提供了一个长期的依赖关系，导致选择更占主导地位的图像区域集中，CapsNet分析相关的功能和它们的空间相关性，这些区域内。在卷积层中提取特征。然后，Self-Attention层根据特征分析学习抑制不相关区域，并突出显示对特定任务有用的显著特征。然后，注意力地图被馈送到CapsNet主层，然后是分类层。提出的SACN模型旨在解决基线CapsNet的两个主要限制-复杂数据分析和显著的计算负载。在这项工作中，我们使用了一个浅层CapsNet架构，并通过使用Self-Attention模块来补偿缺乏更深层网络的情况，以显着改善结果。在六个不同的数据集上对所提出的Self-Attention CapsNet架构进行了广泛的评估，主要是三个不同的医疗集，以及自然的MNIST，SVHN和CIFAR 10。该模型能够比基线CapsNet更好地对具有不同和复杂背景的图像及其补丁进行分类。因此，提出的Self-Attention CapsNet显著提高了不同数据集内和跨数据集的分类性能，不仅在分类准确性方面，而且在鲁棒性方面都优于基线CapsNet，ResNet-18和DenseNet-40。
2019-11-19 cs.CV
Radiologist-Level COVID-19 Detection Using CT Scans with Detail-Oriented Capsule Networks
University of Houston（休斯顿大学）；University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心）
放射影像为快速筛查和监测2019冠状病毒病（COVID-19）患者提供了另一种方法。这种方法受到放射学专家短缺的限制，他们可以及时解释这些图像。基于这一挑战，我们的论文提出了一种新的学习架构，称为面向细节的胶囊网络（DECAPS），用于从计算机断层扫描（CT）扫描中自动诊断COVID-19。我们的网络结合了Capsule Networks的优势和几项旨在提高分类准确性的架构改进。首先，DECAPS使用反向动态路由机制，通过防止来自非描述性区域的信息通过来增加模型稳定性。其次，DECAPS采用了一个躲猫猫训练程序，该程序使用两阶段补丁裁剪和丢弃策略来鼓励网络为每个目标概念生成激活图。然后，网络使用激活图来关注感兴趣的区域，并结合数据的粗粒度和细粒度表示。最后，我们使用一种基于条件生成对抗网络的数据增强方法来处理数据稀缺问题。我们的模型实现了84.3%的准确率，91.5%的召回率和96.1%的ROC曲线下面积，显著优于最先进的方法。我们比较了DECAPS模型的性能与三个经验丰富，训练有素的胸部放射科医生，并表明该架构显着优于他们。虽然需要对更大数据集进行进一步研究以证实这一发现，但我们的结果表明，DECAPS等架构可用于协助放射科医生进行CT扫描介导的COVID-19诊断。
2020-04-16 cs.CV cs.LG eess.IV
Capsule and convolutional neural network-based SAR ship classification in Sentinel-1 data
University of Rome Tor Vergata（罗马第二大学）
合成孔径雷达（SAR）是满足高分辨率要求的广域监测的基本资产。第一批合成孔径雷达传感器已产生了粗略的沿海和海洋监测应用，包括石油泄漏、船舶和浮冰探测。近年来，随着分辨率非常高的传感器的升级，以及相对较新的合成孔径雷达飞行任务，如哨兵-1号，发布了大量数据，提供了更强的信息内容，从而能够对一般目标特征进行更精确的研究，从而能够进行复杂的分类，如船舶分类，由于商业和军事部门对沿海监测的需求日益增长，船舶分类变得越来越重要。在过去的十年中，已经提出了几项专注于这一主题的工作，通常基于辐射特征处理;此外，在最近几年，大量的研究工作集中在新兴的深度学习技术上，特别是卷积神经网络（CNN）。最近提出了胶囊神经网络（CapsNets），在捕获给定实体的属性方面有了显着的改进，提高了空间信息的使用，特别是特征之间的空间依赖性，这是CNN中严重缺乏的特征。事实上，CNN池化操作因失去空间关系而受到批评，因此提出了特殊的胶囊以及新的迭代协议路由机制。在这项工作中，通过利用OpenSARShip（SAR Sentinel-1船舶芯片数据集），比较了Capsule和CNN在船舶分类应用领域的潜力;特别是，建立了Capsule和各种卷积架构之间的性能比较，证明了CapsNet在小型数据集中对船舶进行分类时的更好性能。
2019-10-11 cs.CV cs.LG eess.IV
CapsFake: A Multimodal Capsule Network for Detecting Instruction-Guided Deepfakes
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·卡尔法大学）
提出多模态胶囊网络CapsFake，通过整合视觉、文本和频域模态特征检测指令引导型深度伪造图像，在多数据集上准确率提升达20%，并展现出强鲁棒性与泛化能力。
2025-04-27 cs.AI cs.CV
Capsules as viewpoint learners for human pose estimation
University of Trento（特伦托大学）；CNIT（意大利国家电信研究中心）
人体姿态估计（HPE）的任务是处理直接从图像和视频中估计人体关节的3D位置的不适定问题。在最近的文献中，大多数作品主要通过使用卷积神经网络（CNN）来解决这个问题，CNN能够在大多数数据集中实现最先进的结果。我们展示了大多数神经网络是如何在摄像机受到显著视点变化的影响时不能很好地泛化的。这种行为的出现是因为CNN缺乏对视点等变性建模的能力，而它们更依赖于视点不变性，从而导致高数据依赖性。最近，胶囊网络（CapsNets）已经在多类分类领域中被提出来作为视点等方差问题的解决方案，从而降低了训练数据集和网络本身的大小和复杂性。在这项工作中，我们展示了如何胶囊网络可以采用，以实现人体姿态估计的观点等方差。我们提出了一种新的端到端的视点等变胶囊自动编码器，采用快速变分贝叶斯路由和矩阵胶囊。我们为多个任务和数据集实现了最先进的结果，同时保留了其他理想的属性，例如在改变视点时更强的泛化能力，更低的数据依赖性和快速推理。此外，通过将每个关节建模为胶囊，整体姿态的分层和几何结构被保留在特征空间中，与视点无关。我们进一步在多个数据集上测试我们的网络，包括RGB和深度域，从可见和不可见的视点以及视点转移任务。
2023-02-13 cs.CV cs.GR
CapsuleNet: A Deep Learning Model To Classify GI Diseases Using EfficientNet-b7
Indian Institute of Information Technology, Ranchi（印度信息技术学院兰契分校）
面向胶囊内镜胃肠道异常分类任务，本文提出基于预训练 EfficientNet-b7 并结合数据增强与 PReLU 的 CapsuleNet，在10类任务上取得84.5%微平均准确率并优于 VGG16。
2024-10-24 cs.CV eess.IV
Action Capsules: Human Skeleton Action Recognition
K. N. Toosi University of Technology（K.N.托西理工大学）
本文提出动作胶囊模型，通过捕捉骨架序列中关节的潜在相关性识别动作关键关节，并以多阶段聚合时空特征，在降低计算需求的同时取得领先的动作识别性能。
2023-01-30 cs.CV
Use of a Capsule Network to Detect Fake Images and Videos
SOKENDAI (The Graduate University for Advanced Studies)（総合研究大学院大学（高等研究科大学院））；National Institute of Informatics（情报学研究所）；The University of Tokyo（东京大学）；The University of Edinburgh（爱丁堡大学）
计算机硬件的革命，特别是图形处理单元和张量处理单元的革命，使得计算机图形学和人工智能算法取得了重大进展。除了在日常生活和商业中的许多有益应用外，计算机生成/操纵的图像和视频还可用于违反安全系统、隐私和社会信任的恶意目的。deepfake现象及其变体使普通用户能够使用他或她的个人电脑轻松地从一个简短的真实在线视频中创建任何人的虚假视频。已经引入了几种对策来应对使用此类视频的攻击。然而，它们中的大多数针对某些域，并且当应用于其他域或新攻击时是无效的。在本文中，我们介绍了一种胶囊网络，它可以检测各种攻击，从使用打印图像和重放视频的演示攻击到使用深度学习创建的假视频的攻击。它使用的参数比传统的卷积神经网络少得多，但性能相似。此外，我们解释，有史以来第一次在文献中，背后的理论应用胶囊网络的取证问题，通过详细的分析和可视化。
2019-10-29 cs.CV
Evaluating Generalization Ability of Convolutional Neural Networks and Capsule Networks for Image Classification via Top-2 Classification
Fudan University（复旦大学）；Sun Yat-sen University（中山大学）
图像分类是一个具有挑战性的问题，其目的是确定图像中的对象的类别。近年来，深度卷积神经网络（CNN）已被应用于处理这一任务，并取得了令人印象深刻的改进。然而，一些研究表明，CNN的输出可以通过向输入图像添加相对较小的扰动来轻松改变，例如修改少量像素。最近，胶囊网络（CapsNets）被提出，这可以帮助消除这种限制。MNIST数据集上的实验表明，胶囊可以更好地表征对象的特征比CNN。但是很难找到一种合适的定量方法来比较CNN和CapsNets的泛化能力。在本文中，我们提出了一个新的图像分类任务，称为Top-2分类，以评估CNN和CapsNets的泛化能力。与传统的图像分类任务相同，在单标签图像样本上训练模型。但在测试阶段，我们随机连接两个包含不同标签的测试图像样本，然后使用训练好的模型来预测新创建的两个标签图像样本上的前2个标签。这项任务可以为我们提供精确的定量结果，以比较CNN和CapsNets的泛化能力。回到CapsNet，因为它在所有胶囊之间使用完全连接（FC）机制，所以它需要许多参数。为了减少参数的数量，我们在胶囊之间引入参数共享（PS）机制。在五个广泛使用的基准图像数据集上的实验表明，该方法在不损失特征提取有效性的情况下，显著减少了参数的数量。此外，在Top-2分类任务中，与传统的CNN和FC CapsNets相比，所提出的PS CapsNets获得了令人印象深刻的更高精度。
2022-11-27 cs.CV
CapsNet comparative performance evaluation for image classification
University of Waterloo（滑铁卢大学）
图像分类已成为计算机视觉技术领域的主要任务之一。在此上下文中，实现基于活动向量和胶囊之间的动态路由的方法的称为CapsNet的最近算法可以克服诸如卷积神经网络（CNN）的现有技术人工神经网络（ANN）分类器的一些限制。在本文中，我们评估了CapsNet算法与三种知名分类器（Fisher-faces，LeNet和ResNet）的性能比较。我们在四个数据集上测试了分类准确性，这些数据集具有不同数量的实例和类，包括人脸图像，交通标志和日常物品。评估结果表明，即使对于简单的架构，训练CapsNet算法也需要大量的计算资源，其分类性能低于其他三个分类器的平均准确度值。然而，我们认为，CapsNet似乎是一个有前途的新技术，图像分类，进一步的实验，使用更强大的计算资源和细化CapsNet架构可能会产生更好的结果。
2018-05-28 cs.CV cs.LG stat.ML
Time-based Self-supervised Learning for Wireless Capsule Endoscopy
Universitat de Barcelona（巴塞罗那大学）；CorporateHealth International ApS（CorporateHealth国际有限公司）
最先进的机器学习模型，特别是深度学习模型，非常需要数据;它们需要大量手动标记的样本才能正常工作。然而，在大多数医学成像领域，获得所述数据可能是具有挑战性的。不仅数据量是一个问题，而且其类别内的不平衡也是一个问题;健康患者的图像比病理患者的图像多得多是很常见的。计算机辅助诊断系统遭受这些问题，通常过度设计其模型以准确执行。这项工作提出了使用自监督学习无线内窥镜视频通过引入一个定制的方法，最初不需要标签或适当的平衡。我们证明，使用我们的方法学习的推断的固有结构，从时间轴提取，提高了检测率在几个特定领域的应用程序，即使在严重的不平衡。
2022-04-20 cs.CV
Exploiting latent representation of sparse semantic layers for improved short-term motion prediction with Capsule Networks
The University of Hull（赫尔大学）
随着城市环境的高度复杂性，嵌入自动驾驶汽车（AV）的安全系统能够准确预测附近代理的短期未来运动至关重要。这个问题可以进一步理解为生成描述被跟踪代理的未来运动的坐标序列。所提出的各种方法证明了使用道路的光栅化自上而下图像与卷积神经网络（CNN）的组合来提取定义道路结构的相关特征（例如，可行驶区域、车道、人行道）。相比之下，本文探讨了胶囊网络（CapsNets）在学习与高清（HD）地图的小区域相对应的稀疏语义层的分层表示的背景下的使用。地图的每个区域被分解成相对于代理的当前位置提取的单独的几何层。通过使用基于CapsNets的架构，该模型能够保留图像内检测到的特征之间的层次关系，同时还可以防止通常由池化操作引起的空间数据丢失。我们训练和评估我们的模型公开可用的数据集nuTonomy场景，并将其与最近发表的方法进行比较。我们表明，我们的模型实现了显着的改进，最近发表的作品确定性预测，同时大大减少了网络的整体规模。
2021-03-25 cs.AI cs.CV
Associated Spatio-Temporal Capsule Network for Gait Recognition
College of Computer Science and Technology, Qingdao University（青岛大学计算机科学技术学院）；College of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学院）；School of Informatics, University of Leicester（莱斯特大学信息学院）
基于她/他的步态模式来识别人是一项具有挑战性的任务。最先进的方法依赖于对步态的时间或空间特征的分析，并且步态识别通常在单一模态数据（诸如图像、骨骼关节坐标或力信号）上执行。有证据表明，使用多模态数据更有利于步态研究。因此，我们在这里建立了一个自动学习系统，与相关的时空胶囊网络（ASTCapsNet）在多传感器数据集上训练，分析多模态信息的步态识别。具体而言，我们首先设计了一个低层次的特征提取器和一个高层次的时空特征提取的步态与一个新的递归记忆单元和关系层的特征提取器。随后，贝叶斯模型用于类标签的决策。在几个公共数据集（正常和异常步态）上的广泛实验验证了所提出的ASTCapsNet的有效性，与几种最先进的方法相比。
2021-01-07 cs.AI cs.CV
Brain Tumor Type Classification via Capsule Networks
Concordia Institute for Information Systems Engineering, Concordia University（康考迪亚大学康考迪亚信息系统工程研究所）；University of Toronto（多伦多大学）
脑肿瘤被认为是儿童和成人中最致命和最常见的癌症之一。因此，在早期阶段确定脑肿瘤的正确类型对于制定精确的治疗计划和预测患者对所采用治疗的反应具有重要意义。在这方面，最近对设计用于脑肿瘤类型分类问题的卷积神经网络（CNN）的兴趣激增。然而，CNN通常需要大量的训练数据，并且不能正确地处理输入变换。胶囊网络（CapsNets）是最近提出的全新的机器学习架构，旨在克服CNN的这些缺点，并提出革命性的深度学习解决方案。这项工作特别令人感兴趣的是，胶囊网络对旋转和仿射变换具有鲁棒性，并且需要少得多的训练数据，这是处理包括脑磁共振成像（MRI）图像在内的医学图像数据集的情况。在本文中，我们致力于实现以下四个目标：（i）采用并结合CapsNets用于脑肿瘤分类问题，以设计一种改进的架构，最大限度地提高分类问题的准确性;（ii）基于一组真实的MRI图像研究CapsNets的过拟合问题;（iii）探索CapsNet是否能够为整个大脑图像或仅分割的肿瘤提供更好的拟合，以及;（iv）为CapsNet的输出开发可视化范例，以更好地解释学习到的特征。我们的研究结果表明，所提出的方法可以成功地克服神经网络的脑肿瘤分类问题。
2018-03-01 cs.CV
Development of an Improved Capsule-Yolo Network for Automatic Tomato Plant Disease Early Detection and Diagnosis
Salem University（塞勒姆大学）；Federal University Lokoja（洛科贾联邦大学）；Federal Polytechnic Idah（伊达联邦理工学院）
本文提出改进的Capsule-YOLO网络，用于复杂背景下重叠遮挡番茄叶片图像的自动分割与病害早期检测，准确率达99.31%，并开发了面向农户的检测与诊断推荐界面，以提升产量和粮食安全。
2025-07-03 cs.CV
Leveraging Spatial and Semantic Feature Extraction for Skin Cancer Diagnosis with Capsule Networks and Graph Neural Networks
Sepuluh Nopember Institute of Technology（泗水十一月理工学院）
针对皮肤病变图像分类中空间语义特征复杂及数据不平衡问题，提出将图神经网络与胶囊网络结合的混合模型，在MNIST:HAM10000数据集上准确率达95.52%，显著超越多种主流基准模型。
2024-03-19 cs.AI cs.CV
CapST: Leveraging Capsule Networks and Temporal Attention for Accurate Model Attribution in Deep-fake Videos
Institute of Information Science, Academia Sinica（资讯研究所）；Social Networks and Human-Centred Computing, Taiwan International Graduate Program（人本计算与社交网络，台湾国际研究生计划）；Department of Computer Science, National Chengchi University（计算机科学系，国立成功大学）；Member IEEE, National Chengchi University（IEEE会员，国立成功大学）；Fellow IEEE, Institute of Information Science, Academia Sinica（IEEE会士，资讯研究所）；Dire Dawa University（迪雷达瓦大学）；Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）
针对深度伪造视频的模型归因需求，提出融合截断VGG19、胶囊网络与时空注意力的CapST模型，在两个数据集上实现了优于基线的归因准确率，且计算成本更低。
2025-06-12 cs.CV
Using deep learning for predicting cleansing quality of colon capsule endoscopy images
本研究利用深度学习和剪枝技术提升胶囊内镜图像清洁度预测的效率与可解释性，实现88%的准确率和79%的稀疏性。
2026-01-19 cs.AI cs.CV
COVID-CAPS: A Capsule Network-based Framework for Identification of COVID-19 cases from X-ray Images
Concordia University（康考迪亚大学）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）；University of Toronto（多伦多大学）
新型冠状病毒疾病（COVID-19）在21世纪第二个十年结束时突然且毫无疑问地改变了我们所知的世界。COVID-19具有极强的传染性，并在全球范围内迅速传播，因此早期诊断至关重要。COVID-19的早期诊断使医疗保健专业人员和政府当局能够打破过渡链并使流行曲线变平。然而，常见类型的COVID-19诊断测试需要特定的设备，并且灵敏度相对较低。另一方面，计算机断层扫描（CT）和X射线图像揭示了与这种疾病相关的具体表现。与其他肺部感染的重叠使得以人为中心的COVID-19诊断具有挑战性。因此，开发基于深度神经网络（DNN）的诊断解决方案（主要基于卷积神经网络（CNN））的兴趣激增，以促进COVID-19阳性病例的识别。然而，CNN容易丢失图像实例之间的空间信息，并且需要大型数据集。本文提出了一种基于胶囊网络的替代建模框架，称为COVID-CAPS，能够处理小型数据集，由于COVID-19的突然和快速出现，这一点非常重要。我们基于X射线图像数据集的结果表明，COVID-CAPS比以前基于CNN的模型具有优势。COVID-CAPS实现了95.7%的准确性、90%的灵敏度、95.8%的特异性和0.97的曲线下面积（AUC），同时与其对应物相比具有少得多的可训练参数。为了进一步提高COVID-CAPS的诊断能力，基于从X射线图像的外部数据集构建的新数据集进行预训练。使用类似性质的数据集进行预训练…
2020-04-16 cs.CV cs.LG eess.IV
Capsule Networks for Brain Tumor Classification based on MRI Images and Course Tumor Boundaries
Concordia Institute for Information Systems Engineering, Concordia University（康考迪亚大学康考迪亚信息系统工程研究所）；University of Toronto（多伦多大学）
据官方统计，癌症被认为是人类死亡的第二大原因。在不同类型的癌症中，脑肿瘤由于其侵袭性、异质性和相对存活率低而被视为最致命的形式之一。确定脑肿瘤的类型对治疗选择和患者的生存有重要影响。以人为中心的诊断通常是容易出错和不可靠的，导致最近的兴趣激增，使用卷积神经网络（CNN）自动化这个过程。然而，CNN未能充分利用空间关系，这对肿瘤分类特别有害，因为肿瘤与其周围组织之间的关系是肿瘤类型的关键指标。在我们最近的工作中，我们结合了新开发的CapsNet来克服这个缺点。然而，CapsNet对各种图像背景高度敏感。本文件解决了这一差距。其主要贡献是使CapsNet能够进入肿瘤周围组织，而不会使其从主要目标上分心。因此，提出了一种改进的CapsNet架构用于脑肿瘤分类，该架构将肿瘤粗边界作为其管道内的额外输入，以增加CapsNet的焦点。所提出的方法明显优于其同行。
2018-11-01 cs.CV
