Graphics Capsule: Learning Hierarchical 3D Face Representations from 2D Images
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
构建物体层次结构的功能对人脑的视觉加工非常重要。以往的研究已经成功地采用胶囊网络，以无监督的方式分解数字和人脸的部分，以探讨神经网络的相似感知机制。然而，它们的描述仅限于2D空间，限制了它们模仿人类固有的3D感知能力的能力。在本文中，我们提出了一个逆图形胶囊网络（IGC-Net）学习的分层三维人脸表示从大规模的未标记的图像。IGC-Net的核心是一种新型的胶囊，称为图形胶囊，它表示具有计算机图形（CG）中可解释参数的3D图元，包括深度，距离和3D姿态。具体来说，IGC-Net首先将对象分解为一组语义一致的部分级描述，然后将它们组装成对象级描述以构建层次结构。学习的图形胶囊揭示了面向视觉感知的神经网络如何将面部理解为3D模型的层次结构。此外，发现的部分可以部署到无监督的人脸分割任务，以评估我们的方法的语义一致性。此外，具有明确物理意义的部分级描述提供了对最初在黑盒子中运行的人脸分析的洞察，例如形状和纹理对人脸识别的重要性。在CelebA、BP 4D和Multi-PIE上的实验证明了IGC-Net的特性。
2023-03-20 cs.CV
PointCaps: Raw Point Cloud Processing using Capsule Networks with Euclidean Distance Routing
University of Moratuwa（莫拉图瓦大学）；Florida International University（佛罗里达国际大学）；University of Maryland, College Park（马里兰大学帕克分校）
利用胶囊网络处理原始点云由于其能够保持输入数据的空间一致性而被广泛用于分类、重建和分割。然而，大多数现有的基于胶囊的网络方法计算量大，并且无法将整个点云表示为单个胶囊。我们通过提出PointCaps来解决现有基于胶囊网络的方法中的这些限制，PointCaps是一种具有参数共享的新型卷积胶囊架构。随着PointCaps，我们提出了一种新的欧几里德距离路由算法和类独立的潜在表示。潜在表示捕获点云的物理可解释的几何参数，通过动态欧几里得路由，PointCaps很好地表示了点的空间（点到零件）关系。与最先进的胶囊网络相比，PointCaps的参数数量明显减少，需要的FLOP数量也明显减少，同时实现了更好的重建，原始点云的分类和分割精度相当。
2022-08-21 cs.CV
Deformable Capsules for Object Detection
Palantir Technologies（帕兰蒂尔科技公司）；Zillow Group Inc.（齐洛集团公司）；Northwestern University（西北大学）
本文提出用于目标检测的可变形胶囊网络（DeformCaps），包含SplitCaps结构和SE-Routing算法，首次实现胶囊网络在目标检测任务上的高效扩展，在MS COCO上取得与单阶段CNN方法媲美的结果且误检更少。
2024-07-28 cs.CV
Capsule Network based Contrastive Learning of Unsupervised Visual Representations
Queen Mary, University of London（伦敦大学玛丽女王学院）
胶囊网络在过去的十年中取得了巨大的进步，由于其等变特性，在各种任务中表现优于传统的CNN。通过使用向量I/O提供对象或其部分的大小和方向的信息，在无监督学习环境中使用胶囊网络进行视觉表示任务（如多类图像分类）具有巨大的可能性。在本文中，我们提出了对比胶囊（CoCa）模型，这是一个暹罗风格的胶囊网络使用对比损失与我们的新架构，训练和测试算法。我们在无监督图像分类CIFAR-10数据集上对该模型进行了评估，并达到了70.50%的前1测试准确率和98.10%的前5测试准确率。由于我们的高效架构，我们的模型在监督和无监督学习中的参数和FLOP都比当前的SOTA少31倍。
2022-09-22 cs.AI cs.CV
CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis
School of Computer Science, AI and Electronics Faculty of Engineering and Digital Technologies（计算机科学与电子工程学院，工程与数字技术学院）；School of Management Faculty of Mgmt, Law & Social Sciences（管理学院，管理、法律与社会科学学院）；Centre for Visual Computing and Intelligent Systems（视觉计算与智能系统中心）
CapCLIP通过将内镜图像与临床标准术语生成的文本描述对齐，提升无线胶囊内镜分析的泛化能力和语义解释性，优于现有方法。
2026-05-08 cs.CV
MSPCaps: A Multi-Scale Patchify Capsule Network with Cross-Agreement Routing for Visual Recognition
CUHK-Shenzhen（香港中文大学（深圳））
MSPCaps通过多尺度特征学习和跨共识路由提升视觉识别性能，实现高效且鲁棒的特征表示学习。
2026-01-28 cs.CV
Routing with Self-Attention for Multimodal Capsule Networks
University of Central Florida（中佛罗里达大学）；Columbia University（哥伦比亚大学）；Goethe University Frankfurt（法兰克福歌德大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；IBM Research AI（IBM人工智能研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
多模态学习的任务最近引起了越来越多的兴趣，因为它允许基于不同的模态（如视觉，文本和音频）训练神经架构。训练这种模型的一个挑战是，它们需要联合学习语义概念及其在不同输入表示中的关系。胶囊网络已经被证明在捕获低级别输入特征和高级别概念之间的关系方面表现良好。然而，胶囊到目前为止，主要是用于小规模的完全监督设置由于传统的路由算法的资源需求。我们提出了一种新的多模态胶囊网络，使我们能够在大量视频数据的多模态学习框架的背景下利用胶囊的优势。为了使胶囊适应大规模的输入数据，我们提出了一种新的路由通过自我注意力机制，选择相关的胶囊，然后用于生成一个最终的联合多模态特征表示。这不仅允许使用有噪声的视频数据进行鲁棒训练，而且与传统路由方法相比，还可以扩大胶囊网络的大小，同时仍然具有计算效率。我们通过在大规模多模态视频数据集上对其进行预训练并将其应用于两个具有挑战性的下游任务中的四个数据集来评估所提出的架构。结果表明，所提出的多模态胶囊网络不仅能够改善结果相比，其他路由技术，但也取得了竞争力的多模态学习任务的性能。
2021-12-01 cs.CV
E2-Capsule Neural Networks for Facial Expression Recognition Using AU-Aware Attention
胶囊神经网络是深度学习中的一种新的流行技术。然而，传统的胶囊神经网络没有充分提取特征之前，胶囊之间的动态路由。本文提出了一种双增强型胶囊神经网络（E2-Capsnet），它利用AU感知的注意力进行人脸表情识别。E2-Capsnet利用了胶囊之间的动态路由，并具有两个增强模块，这对FER是有益的。第一个增强模块是具有AU感知注意力的卷积神经网络，它可以帮助关注表情的活跃区域。第二个增强模块是具有多个卷积层的胶囊神经网络，增强了特征表示的能力。最后利用压缩函数对人脸表情进行分类。我们证明了E2-Capsnet在两个公共基准数据集RAF-DB和CAP 2 tioNet上的有效性。实验结果表明，我们的E2-Capsnet是优于国家的最先进的方法。我们的实施将在网上公开。
2019-12-05 cs.CV
Improving the Robustness of Capsule Networks to Image Affine Transformations
University of Munich（慕尼黑大学）；Siemens AG, Corporate Technology（西门子股份公司企业技术部）
卷积神经网络（CNN）通过使用池化操作来实现平移不变性。然而，这些操作并不保留所学习的表示中的空间关系。因此，CNN不能外推到输入的各种几何变换。最近，有人提出了胶囊网络（CapsNets）来解决这个问题。在CapsNets中，每个实体都由向量表示，并通过动态路由算法路由到高级实体表示。CapsNets已经被证明比CNN对输入的仿射变换更鲁棒。然而，与未转换的版本相比，它们在转换输入上的性能仍然存在巨大差距。在这项工作中，我们首先重新审视路由过程（联合国）滚动其向前和向后通过。我们的调查表明，路由过程既不有助于泛化能力，也不仿射鲁棒性的CapsNets。此外，我们探索了胶囊变换的局限性，并提出了仿射CapsNets（Aff-CapsNets），这是更强大的仿射变换。在我们的基准测试任务中，模型在MNIST数据集上进行训练，并在AffNIST数据集上进行测试，我们的Aff-CapsNets在不使用任何路由机制的情况下，大幅提高了基准测试的性能（从79%提高到93.21%）。
2020-03-31 cs.CV
Unsupervised part representation by Flow Capsules
University of Toronto（多伦多大学）；Google Research（谷歌研究院）
胶囊网络旨在将图像解析为对象，部分和关系的层次结构。虽然很有前途，但它们仍然受到无法学习有效的低级别部件描述的限制。为了解决这个问题，我们提出了一种方法来学习从单个图像中检测原子部分的主胶囊编码器。在训练过程中，我们利用运动作为一个强大的感知线索的部分定义，与一个富有表现力的解码器的部分生成内的分层图像模型与闭塞。实验表明，在存在多个对象，杂乱的背景，和闭塞的强大的部分发现。部分解码器推断底层形状掩模，有效地填充检测到的形状的遮挡区域。我们评估了FlowCapsules的无监督部分分割和无监督图像分类。
2021-02-19 cs.CV cs.LG
Quaternion Capsule Networks
Özyeğin University（奥耶金大学）
胶囊是一组神经元，可以表示视觉实体的复杂信息，如姿势和特征。鉴于这一特性，胶囊网络在挑战性任务（如在看不见的视点中进行对象识别）方面优于CNN，这是通过在姿态信息的高维表示的帮助下学习对象及其部分之间的变换来实现的。本文提出了四元数胶囊（QCN），其中胶囊的姿态信息及其变换由四元数表示。四元数不受万向节锁的影响，具有胶囊旋转表示的直接正则化，并且需要比矩阵更少的参数。实验结果表明，QCN更好地推广到具有更少参数的新视点，并且在知名基准测试数据集上与最先进的Capsule架构实现了同等或更好的性能。
2020-07-08 cs.CV cs.LG
Time-based Self-supervised Learning for Wireless Capsule Endoscopy
Universitat de Barcelona（巴塞罗那大学）；CorporateHealth International ApS（CorporateHealth国际有限公司）
最先进的机器学习模型，特别是深度学习模型，非常需要数据;它们需要大量手动标记的样本才能正常工作。然而，在大多数医学成像领域，获得所述数据可能是具有挑战性的。不仅数据量是一个问题，而且其类别内的不平衡也是一个问题;健康患者的图像比病理患者的图像多得多是很常见的。计算机辅助诊断系统遭受这些问题，通常过度设计其模型以准确执行。这项工作提出了使用自监督学习无线内窥镜视频通过引入一个定制的方法，最初不需要标签或适当的平衡。我们证明，使用我们的方法学习的推断的固有结构，从时间轴提取，提高了检测率在几个特定领域的应用程序，即使在严重的不平衡。
2022-04-20 cs.CV
EquiCaps: Predictor-Free Pose-Aware Pre-Trained Capsule Networks
School of Natural and Computing Sciences, University of Aberdeen, UK（自然与计算科学学院，阿伯丁大学）；Interdisciplinary Institute, University of Aberdeen, UK（跨学科研究院，阿伯丁大学）；School of Computer Science, University of Lincoln, UK（计算机科学学院，林肯大学）
本研究提出无预测器的姿态感知自监督胶囊网络EquiCaps，利用胶囊固有姿态感知能力实现等变性，结合扩展基准3DIEBench-T验证，其在旋转预测等任务上性能优于现有等变方法，泛化性更强。
2025-06-11 cs.CV
Group Equivariant Capsule Networks
TU Dortmund University（多特蒙德工业大学）
我们提出了组等变胶囊网络，一个框架，引入保证等变和不变性质的胶囊网络的想法。我们的工作可以分为两个贡献。首先，我们提出了一个通用的路由协议算法定义在一组元素，并证明了输出姿态向量的等变性，以及输出激活的不变性，在一定条件下举行。其次，我们将得到的等变胶囊网络与组卷积网络领域的工作联系起来。通过这种连接，我们提供了两种方法如何关联的直观信息，并能够在一个深度神经网络架构中结合两种方法的优势。由此产生的框架允许稀疏评估组卷积运算符，提供对特定等方差和不变性属性的控制，并且可以使用协议路由而不是池化操作。此外，它能够提供可解释的和等变的表示向量作为输出胶囊，从其姿态中分离出物体存在的证据。
2018-10-24 cs.CV
Capsule network with shortcut routing
Chonnam National University（全南国立大学）
本研究提出胶囊网络的新型shortcut routing机制及带模糊系数的注意力路由方法，省去中间层提升计算效率，在多个数据集上取得可比分类精度，计算量较EM路由最高降低2.5倍，推动高效层级模式表示模型发展。
2023-07-14 cs.CV
Point2SpatialCapsule: Aggregating Features and Spatial Relationships of Local Regions on Point Clouds using Spatial-aware Capsules
School of Software, Tsinghua University（清华大学软件学院）；Department of Computer Science, University of Maryland at College Park（马里兰大学帕克分校计算机科学系）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）
直接在点云上学习有区别的形状表示在3D形状分析和理解中仍然具有挑战性。目前的研究通常包括三个步骤：首先将点云划分为若干局部区域，然后提取每个局部区域的相应特征，最后使用简单的最大池将所有局部区域特征聚合成一个全局特征作为形状表示。然而，这种基于池化的特征聚合方法没有充分考虑局部区域之间的空间关系，这极大地限制了学习有区别的形状表示的能力。为了解决这个问题，我们提出了一种新的深度学习网络，名为Point2SpatialCapsule，用于聚合点云上局部区域的特征和空间关系，旨在学习更多有区别的形状表示。与传统的基于最大池的特征聚合网络相比，Point2SpatialCapsule不仅可以显式地学习局部区域的几何特征，还可以学习它们之间的空间关系。它由两个模块组成。为了解决局部区域的无序问题，第一个模块，命名为几何特征聚合，被设计为聚合的局部区域的特征到可学习的聚类中心，显式编码的空间位置从原始的3D空间。第二个模块，命名为空间关系聚合，提出了进一步聚合聚类功能和它们之间的空间关系，在特征空间中使用本文开发的空间感知胶囊。与以前的基于胶囊网络的方法相比，空间感知胶囊上的特征路由可以学习点云的局部区域之间更具区分性的空间关系，这通过特征聚类在日志先验和空间位置之间建立了直接映射。
2019-08-29 cs.CV
Capsule Attention for Multimodal EEG-EOG Representation Learning with Application to Driver Vigilance Estimation
Queen’s University（女王大学）
驾驶员警觉性估计是交通安全的重要任务。可穿戴和便携式脑机接口设备提供了一种强大的手段，用于实时监测驾驶员的警惕水平，以帮助避免分心或受损的驾驶。在本文中，我们提出了一种新的多模态架构，用于从脑电图和眼电图进行车内警惕性估计。为了使系统能够专注于学习到的多模态表示的最突出部分，我们提出了一种由胶囊注意力机制组成的架构，该机制遵循深度长短期记忆（LSTM）网络。我们的模型通过LSTM和胶囊特征表示层学习数据中的层次依赖关系。为了更好地探索学习表示的辨别能力，我们研究了所提出的胶囊注意力机制的效果，包括动态路由迭代次数以及其他参数。实验表明，我们的方法的鲁棒性优于其他解决方案和基线技术，设置一个新的国家的最先进的。然后，我们提供了不同的频带和大脑区域的分析，以评估其适用于驾驶员警惕估计。最后，对胶囊注意力、多模态和对噪声的鲁棒性的作用进行了分析，突出了我们的方法的优点。
2021-06-13 cs.CV cs.LG eess.SP
ASPCNet: A Deep Adaptive Spatial Pattern Capsule Network for Hyperspectral Image Classification
Sun Yat-sen University（中山大学）；Southern Marine Science and Engineering Guangdong Laboratory (Zhuhai)（南方海洋科学与工程广东省实验室（珠海））；Shenzhen University（深圳大学）
以往的研究表明，胶囊网络的空间上下文特征提取{高光谱图像（HSI）}的巨大潜力。然而，胶囊的卷积核的采样位置是固定的，并且不能根据HSI的不一致语义信息自适应地改变。基于这一观察，本文提出了一种自适应空间模式胶囊网络（ASPCNet）架构，通过开发一个自适应空间模式（ASP）单元，它可以在扩大的感受野的基础上旋转卷积核的采样位置。注意，该单元可以用更少的参数学习更多的判别式表示。具体而言，两个级联的基于ASP的卷积运算（ASPConvs）应用于输入图像，以学习相对高级的语义特征，比使用最基本的特征更准确地在胶囊之间传输层次结构。此外，语义特征被馈送到基于ASP的conv-capsule操作（ASPCaps）中，以自适应的方式探索胶囊中对象的形状，进一步探索胶囊网络的潜力。最后，以测试样本为中心的图像块的类标签可以根据完全连接的胶囊层来确定。在三个公共数据集上的实验表明，ASPCNet可以产生具有竞争力的性能，比最先进的方法具有更高的精度。
2021-04-25 cs.CV
Capsule Routing via Variational Bayes
University of Lincoln（林肯大学）
胶囊网络是最近提出的一种神经网络，在具有挑战性的形状识别任务中表现出优于替代方案。在胶囊网络中，标量神经元被胶囊向量或矩阵取代，其条目代表对象的不同属性。通过可训练的视点不变变换矩阵来学习对象及其部分之间的关系，并且给定对象的存在由来自其部分的投票之间的一致性水平决定。这种交互发生在胶囊层之间，是一个称为协议路由的过程。在本文中，我们提出了一个新的胶囊路由算法，从变分贝叶斯拟合混合变换高斯，并表明它是可能的转换我们的胶囊网络到一个胶囊VAE。我们的贝叶斯方法解决了一些固有的弱点MLE为基础的模型，如方差崩溃胶囊姿态参数的建模不确定性。我们在smallNORB上的表现优于最先进的技术，使用的胶囊比以前报道的少50%，在CIFAR-10，Fashion-MNIST，SVHN上实现了有竞争力的性能，并证明了MNIST对affNIST概括的显着改进。
2019-12-03 cs.CV cs.LG stat.ML
Unsupervised Motion Representation Learning with Capsule Autoencoders
School of Computing（计算机学院）；NUS Graduate School（新加坡国立大学研究生院）；National University of Singapore（新加坡国立大学）
我们提出了运动胶囊自动编码器（MCAE），它解决了运动表示的无监督学习中的一个关键挑战：变换不变性。MCAE在两级层次结构中对运动进行建模。在较低的水平，时空运动信号被划分为短，本地和语义不可知的片段。在更高的级别中，片段被聚合以形成完整长度的语义感知片段。对于这两个级别，我们表示运动与一组学习的变换不变的模板和相应的几何变换，通过使用胶囊自动编码器的一种新颖的设计。这导致视点变化的鲁棒且高效的编码。MCAE是在一个新的Trajectory20运动数据集和各种真实世界的基于机器人的人类动作数据集上进行评估的。值得注意的是，它在Trajectory20上实现了比基线更好的结果，在无监督的基于动作识别任务上具有更少的参数和最先进的性能。
2021-10-01 cs.CV cs.LG
Learning with Capsules: A Survey
Imperial College London（帝国理工学院）；University of Central Florida（中佛罗里达大学）；University of Aberdeen（阿伯丁大学）
胶囊网络被提出作为卷积神经网络（CNN）的替代方法，用于学习以对象为中心的表示，可以利用它来改善泛化和样本复杂性。与CNN不同，胶囊网络被设计为通过使用神经元组来编码视觉实体并学习这些实体之间的关系来显式地建模部分-整体层次关系。胶囊网络取得的有希望的早期成果激励了深度学习社区继续努力提高其在多个应用领域的性能和可扩展性。然而，胶囊网络研究的一个主要障碍是缺乏可靠的参考点来理解其基本思想和动机。这项调查的目的是提供胶囊网络研究前景的全面概述，这将成为社区未来的宝贵资源。为此，我们首先介绍胶囊网络背后的基本概念和动机，例如计算机视觉中的等变推理。然后，我们将介绍胶囊路由机制的技术进步以及胶囊网络的各种公式，例如生成和几何。此外，我们还详细解释了胶囊网络与Transformers中流行的注意力机制的关系，并在表示学习的背景下强调了它们之间的重要概念相似性。随后，我们探讨了胶囊网络在计算机视觉，视频和运动，图形表示学习，自然语言处理，医学成像和许多其他领域的广泛应用。最后，我们对胶囊网络研究中的主要障碍进行了深入的讨论，并强调了未来工作的有前途的研究方向。
2022-06-06 cs.CV cs.LG
3DConvCaps: 3DUnet with Convolutional Capsule Encoder for Medical Image Segmentation
University of Arkansas（阿肯色大学）
卷积神经网络（CNN）在医学图像分割中取得了很好的效果。然而，CNN需要大量的训练数据，并且无法处理对象的姿态和变形。此外，它们的池化层倾向于丢弃重要信息，例如位置，并且CNN对旋转和仿射变换敏感。胶囊网络是最近的一种新架构，通过用动态路由和卷积步幅取代池化层，在部分-整体表示学习中实现了更好的鲁棒性，这在数字分类和对象分割等流行任务上显示出了潜在的结果。在本文中，我们提出了一种带有卷积胶囊编码器（称为3DConvCaps）的3D编码器-解码器网络，用于使用卷积层学习较低级别的特征（短程注意力），同时使用胶囊层对较高级别的特征（长程依赖性）进行建模。我们在iSeg-2017、Hippocampus和Cardiac等多个数据集上的实验表明，我们的3D 3DConvCaps网络的性能大大优于以前的胶囊网络和3D-UNets。我们进一步在收缩和扩展路径下的卷积层和胶囊层的各种配置下对网络效率和分割性能进行了消融研究。
2022-06-26 cs.CV
Capsule Lens: Locating and Tracking Concept Geometry in Model Representations
National University of Singapore（新加坡国立大学）；Indian Institute of Technology (ISM) Dhanbad（印度理工学院（ISM）丹巴德分校）；The University of Sydney（悉尼大学）；The Chinese University of Hong Kong（香港中文大学）
胶囊透镜通过将概念区域拟合为可解释的胶囊几何体，在静态和动态表示中定位并追踪概念几何，揭示不同训练设置下的表示漂移模式。
2026-09-09 cs.CV cs.LG
Capsule Network Projectors are Equivariant and Invariant Learners
Department of Computing Science University of Aberdeen, UK（计算机科学系阿伯丁大学）
本研究提出基于胶囊网络的不变-等变自监督架构CapsIE，搭配熵最小化目标函数，在3DIEBench等变旋转任务上取得SOTA性能，且参数更少、效率更高，证明胶囊网络可学习更泛化的表示。
2025-10-04 cs.CV
A Context-aware Capsule Network for Multi-label Classification
ConscientAI Labs（ConscientAI实验室）；Australian National University（澳大利亚国立大学）
最近提出的Capsule Network是一种受大脑启发的架构，通过基于矢量的表示对输入域变化进行建模，为深度学习带来了新的范例。尽管CapsNet是一个开创性的贡献，但它并没有明确地对检测到的实体之间以及相关输入的胶囊特征之间的结构化关系进行建模。受人类视觉系统中皮层网络工作的启发，我们试图通过对CapsNet架构提出几个直观的修改来解决CapsNet的局限性。我们介绍，（1）一种新的路由权重初始化技术，（2）一种改进的CapsNet设计，利用语义之间的关系，使用密集连接的条件随机场和（3）Cholesky变换为基础的相关模块，学习一般的优先级方案。我们提出的设计允许CapsNet更好地扩展到更复杂的问题，例如多标签分类任务，其中语义相关的类别与各种相互依赖性共存。我们提出了我们的扩展的理论基础，并展示了显着的改进ADE20K场景数据集。
2018-10-16 cs.CV
Semantic-aware Modular Capsule Routing for Visual Question Answering
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
可视化问答（VQA）本质上是组合的，许多问题只需通过将其分解为模块化的子问题来回答。最近提出的神经模块网络（NMN）采用这种策略的问答，而大量的休息与现成的布局解析器或额外的专家政策有关的网络架构设计，而不是从数据中学习。这些策略导致对输入的语义复杂变化的适应性不令人满意，从而阻碍了模型的表示能力和泛化能力。为了解决这个问题，我们提出了一个语义感知的modUlar capsulE路由框架，称为SUPER，以更好地捕捉特定于实例的视觉语义特征，并细化预测的判别表示。特别是，五个功能强大的专门模块，以及动态路由器在SUPER网络的每一层都是量身定制的，紧凑的路由空间的构造，使得各种可定制的路由可以充分利用和视觉语义表示可以明确地校准。我们比较证明了我们提出的SUPER方案在五个基准数据集上的有效性和泛化能力，以及参数有效的优势。值得强调的是，这项工作不是为了追求VQA中的最新结果。相反，我们希望我们的模型是负责提供一个新的角度对架构学习和表示校准VQA。
2022-07-21 cs.CV
Multi-modal Capsule Routing for Actor and Action Video Segmentation Conditioned on Natural Language Queries
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
在本文中，我们提出了一个端到端的胶囊网络的像素级定位的演员和行动存在于视频中。基于自然语言查询来执行本地化，通过该查询来指定行动者和动作。我们建议以胶囊的形式对视频和文本输入进行编码，与标准的基于卷积的特征相比，这提供了更有效的表示。我们引入了一种新的胶囊基于注意力机制的视频和文本胶囊的融合文本选择视频分割。注意力机制通过视频和文本胶囊上的联合EM路由来执行，用于文本选择的演员和动作定位。现有的演员-动作定位工作主要集中在单帧而不是整段视频的定位。与现有的作品不同，我们建议对视频的所有帧进行定位。为了验证所提出的网络在视频的所有帧上进行演员和动作定位的潜力，我们扩展了现有的演员动作数据集（A2 D），并为所有帧添加了注释。实验结果表明，所提出的胶囊网络的文本选择演员和动作定位的视频的有效性，它也提高了现有的基于单帧的本地化的最先进的作品的性能。
2018-12-02 cs.CV
GeoCapsNet: Aerial to Ground view Image Geo-localization using Capsule Network
Shenzhen University（深圳大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
跨视图图像地理定位的任务旨在通过将查询地面视图图像与参考数据集中的GPS标记的航空（卫星）图像进行匹配来确定其地理位置（GPS坐标）。由于视点的剧烈变化，交叉视点图像的匹配具有挑战性。在本文中，我们提出了GeoCapsNet的基础上的胶囊网络的地对空图像地理定位。该网络首先通过标准卷积层从地面视图和航空图像中提取特征，胶囊层进一步编码特征以建模空间特征层次结构并增强表示能力。此外，我们引入了一个简单有效的加权软边缘三重损失与在线批量硬样本挖掘，它可以大大提高图像检索的准确性。实验结果表明，我们的GeoCapsNet显着优于国家的最先进的方法在两个基准数据集。
2019-04-12 cs.CV
WideCaps: A Wide Attention based Capsule Network for Image Classification
National Institute of Technology Karnataka（卡纳塔克邦国家理工学院）
胶囊网络是神经网络家族中一个独特而有前途的部分，由于其独特的能力，即通过保持特征之间的空间关系来保持等变性，因此引起了人们的注意。通过将特征编码到胶囊中并构建解析树结构，胶囊网络在使用MNIST和affNIST等数据集的图像分类任务上取得了前所未有的成功。然而，在涉及复杂前景和背景区域的数据集（如CIFAR-10）上，由于其幼稚的数据路由策略和对提取复杂特征的无能，胶囊网络的性能是次优的。本文提出了一种新的设计策略，胶囊网络架构，有效地处理复杂的图像。该方法采用了广泛的瓶颈残留模块和挤压和激励注意力块支持的修改FM路由算法，以解决所定义的问题。宽瓶颈残差模块便于提取复杂特征，然后是挤压和激励注意力块，以通过抑制平凡特征来实现通道注意力。这种设置允许几乎没有计算成本的通道相互依赖性，从而增强了胶囊在复杂图像上的表示能力。我们广泛评估了三个公开数据集，即CIFAR-10，Fashion MNIST和SVHN，所提出的模型的性能优于CIFAR-10和Fashion MNIST的前5名性能，在SVHN数据集上具有高度竞争力的性能。
2021-08-14 cs.CV
$β$-CapsNet: Learning Disentangled Representation for CapsNet by Information Bottleneck
China University of Petroleum（中国石油大学）
我们提出了一个框架，通过信息瓶颈约束，将信息提取成一个紧凑的形式，并激励学习一个可解释的因式分解胶囊的CapsNet学习解纠缠表示。在我们的$β$ -CapsNet框架中，超参数$β$被用来权衡解纠缠和其他任务，变分推理被用来将信息瓶颈项转换为KL散度，该KL散度被近似为对胶囊均值的约束。在监督学习中，使用类无关掩码向量来综合理解图像的变化类型，通过调整参数$β$，进行了大量的定量和定性实验，研究了去纠缠、重构和分类性能之间的关系。此外，无监督的$β$ -CapsNet和相应的动态路由算法，提出了学习解开胶囊在无监督的方式，广泛的实证评估表明，我们的$β$ -CapsNet实现了最先进的解开性能相比，CapsNet和各种基线的几个复杂的数据集，无论是在监督和无监督的场景。
2022-09-12 cs.CV
VideoCapsuleNet: A Simplified Network for Action Detection
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
深度卷积神经网络（DCNN）的最新进展在视频人体动作分类方面取得了非常好的效果，然而，动作检测仍然是一个具有挑战性的问题。当前的动作检测方法遵循复杂的流水线，该流水线涉及多个任务，诸如管提议、光流和管分类。在这项工作中，我们提出了一个更优雅的解决方案，基于最近开发的胶囊网络的动作检测。我们提出了一个用于视频的3D胶囊网络，称为VideoCapsuleNet：一个用于动作检测的统一网络，可以联合执行像素级动作分割和动作分类。该网络是胶囊网络从2D到3D的推广，它以视频帧序列作为输入。3D泛化大大增加了网络中胶囊的数量，使得胶囊路由的计算成本很高。我们在卷积胶囊层中引入胶囊池来解决这个问题，这使得投票算法易于处理。网络中的协议路由固有地对动作表示进行建模，并且各种动作特征被预测的胶囊捕获。这启发了我们利用胶囊进行动作定位，并使用网络预测的类特定胶囊来确定动作的像素定位。通过与卷积胶囊层的参数化跳过连接进一步改进了定位，并且网络通过分类以及定位损失进行端到端训练。该网络在包括UCF-Sports、J-HMDB和UCF-101（24类）在内的多个动作检测数据集上实现了最先进的性能，在v-mAP分数方面，UCF-101和J-HMDB分别提高了约20%和约15%。
2018-05-21 cs.CV
Exploring Self-Supervised Learning with U-Net Masked Autoencoders and EfficientNet-B7 for Improved Gastrointestinal Abnormality Classification in Video Capsule Endoscopy
International Institute of Information Technology, Bangalore（国际信息技术学院，班加罗尔）；Indian Institute of Technology, Hyderabad（印度理工学院，海得拉巴）
本文提出结合U-Net掩码自编码器与EfficientNet-B7的自监督学习框架，用于改进视频胶囊内镜中胃肠异常分类，通过特征融合解决数据不平衡问题，验证了方法在准确率上的优势。
2026-04-01 cs.CV
Gait Recognition using Multi-Scale Partial Representation Transformation with Capsules
Queen’s University（女王大学）；York University（约克大学）
步态识别是指基于个人行走的方式来识别个人，由于相机的视角和个人的外观的变化，步态识别可能非常具有挑战性。目前的步态识别方法主要是由深度学习模型，特别是那些基于部分特征表示的方法。在这种背景下，我们提出了一种新型的深度网络，学习使用胶囊传输多尺度部分步态表示，以获得更具鉴别力的步态特征。我们的网络首先使用最先进的深度部分特征提取器获得多尺度部分表示。然后使用双向门控递归单元（BGRU）在前向和后向方向上递归地学习部分特征之间的模式的相关性和共现性。最后，采用胶囊网络来学习更深层次的部分-整体关系，并为更相关的特征分配更多的权重，同时忽略虚假维度。通过这种方式，我们获得了对观看和外观变化都更鲁棒的最终特征。我们的方法的性能已经在两个步态识别数据集，CASIA-B和OU-MVLP，使用四个具有挑战性的测试协议进行了广泛的测试。我们的方法的结果已经与最先进的步态识别解决方案进行了比较，显示了我们的模型的优越性，特别是在面对具有挑战性的观看和携带条件时。
2020-10-18 cs.CV cs.LG
CapsField: Light Field-based Face and Expression Recognition in the Wild using Capsule Routing
光场（LF）相机通过从多个视角感知视觉场景来提供丰富的空间-角度视觉表示，并且最近已经成为一种有前途的技术，以提高人机系统的性能，例如生物识别和情感计算。尽管LF表示在约束面部图像分析方面取得了重大成功，但该技术从未用于野外的面部和表情识别。在这种情况下，本文提出了一种新的深度人脸和表情识别解决方案，称为CapsField，基于卷积神经网络和一个额外的胶囊网络，利用动态路由来学习胶囊之间的层次关系。CapsField从面部图像中提取空间特征，并学习从每个LF图像渲染的一组选定的2D子孔径图像的角度部分-整体关系。为了分析所提出的解决方案在野外的性能，野外LF人脸数据集中的第一个数据集以及从先前记录的相同受试者捕获的新的互补约束人脸数据集已经被捕获并可用。野生数据集中的一个子集包含具有不同表情的面部图像，这些图像被注释用于面部表情识别测试。使用新的数据集进行了广泛的性能评估研究，提出的解决方案和相关的先前的解决方案，显示CapsField提出的解决方案实现了卓越的性能，为人脸和表情识别任务相比，国家的最先进的。
2021-01-10 cs.CV
Brain Tumor Type Classification via Capsule Networks
Concordia Institute for Information Systems Engineering, Concordia University（康考迪亚大学康考迪亚信息系统工程研究所）；University of Toronto（多伦多大学）
脑肿瘤被认为是儿童和成人中最致命和最常见的癌症之一。因此，在早期阶段确定脑肿瘤的正确类型对于制定精确的治疗计划和预测患者对所采用治疗的反应具有重要意义。在这方面，最近对设计用于脑肿瘤类型分类问题的卷积神经网络（CNN）的兴趣激增。然而，CNN通常需要大量的训练数据，并且不能正确地处理输入变换。胶囊网络（CapsNets）是最近提出的全新的机器学习架构，旨在克服CNN的这些缺点，并提出革命性的深度学习解决方案。这项工作特别令人感兴趣的是，胶囊网络对旋转和仿射变换具有鲁棒性，并且需要少得多的训练数据，这是处理包括脑磁共振成像（MRI）图像在内的医学图像数据集的情况。在本文中，我们致力于实现以下四个目标：（i）采用并结合CapsNets用于脑肿瘤分类问题，以设计一种改进的架构，最大限度地提高分类问题的准确性;（ii）基于一组真实的MRI图像研究CapsNets的过拟合问题;（iii）探索CapsNet是否能够为整个大脑图像或仅分割的肿瘤提供更好的拟合，以及;（iv）为CapsNet的输出开发可视化范例，以更好地解释学习到的特征。我们的研究结果表明，所提出的方法可以成功地克服神经网络的脑肿瘤分类问题。
2018-03-01 cs.CV
Geometric Capsule Autoencoders for 3D Point Clouds
Apple Inc.（苹果公司）
我们提出了一种方法来学习对象表示从3D点云使用束几何可解释的隐藏单元，我们称之为几何胶囊。每个几何胶囊代表一个可视实体，如对象或零件，并由两个组件组成：姿势和特征。姿态编码实体所在的位置，而特征编码实体是什么。我们使用这些胶囊来构建一个几何胶囊自动编码器，它可以学习将3D点分组为部分（小的局部表面），并以无监督的方式将这些部分分组为整个对象。我们的新的多视图协议投票机制被用来发现一个对象的规范构成和其姿态不变的特征向量。使用ShapeNet和ModelNet 40数据集，我们分析了学习表示的属性，并展示了多个投票一致的好处。我们执行任意旋转对象的对齐和检索-评估我们模型的对象识别和规范姿态恢复能力的任务-并获得了有见地的结果。
2019-12-06 cs.CV cs.GR cs.LG
Pushing the Limits of Capsule Networks
Princeton University（普林斯顿大学）
卷积神经网络使用池化和其他降尺度操作来维持特征检测的平移不变性，但是在它们的架构中，它们不显式地维持特征相对于彼此的位置的表示。这意味着它们不像人类那样以相同的方式表示同一对象在不同方向上的两个实例，因此训练它们通常需要广泛的数据增强和非常深入的网络。Google Brain的一个团队最近发布了一条新闻，试图解决这个问题：胶囊网络。虽然普通的CNN使用表示特征存在的标量输出，但CapsNet使用表示实体存在的矢量输出。我们希望以各种增量方式对CapsNet进行压力测试，以更好地了解它们的性能和表现力。从广义上讲，我们研究的目标是：（1）在类似于MNIST的数据集上测试CapsNets，但在特定的方式上更难，以及（2）探索CapsNets的内部嵌入空间和错误来源。
2021-03-15 cs.CV
Recurrent Attention Models with Object-centric Capsule Representation for Multi-object Recognition
Department of Psychology（心理学系）；Department of Computer Science（计算机科学系）；Stony Brook University（石溪大学）
视觉系统使用一系列选择性的一瞥来处理场景，每个一瞥都由空间和基于对象的注意力驱动。这些瞥见反映了与正在进行的任务相关的内容，并通过对场景中物体的反复处理和识别来选择。相比之下，大多数模型将注意力选择和识别视为前馈过程中的独立阶段。在这里，我们展示了使用胶囊网络在具有迭代瞥见注意力的编码器-解码器模型中创建以对象为中心的隐藏表示，从而有效地整合了注意力和识别。我们在三个多对象识别任务上评估了我们的模型;高度重叠的数字，分散注意力的混乱和门牌号之间的数字，并表明它学会了有效地移动它的一瞥窗口，识别和重建对象，所有这些都只有分类作为监督。我们的工作采取了一个通用的架构，如何整合经常性的对象为中心的表示到规划的注意一瞥。
2021-10-11 cs.CV cs.LG q-bio.NC
Capsule networks with non-iterative cluster routing
Department of Electrical and Computer Engineering, University of Oklahoma（俄克拉荷马大学电气与计算机工程系）；University of Oklahoma（俄克拉荷马大学）
胶囊网络使用路由算法在连续层之间传输信息。在现有的路由过程中，胶囊产生下一层胶囊的预测（称为投票）。简而言之，下一层胶囊的输入是它收到的所有投票的加权和。在本文中，我们提出了胶囊网络的非迭代簇路由。在建议的簇路由，胶囊产生投票簇，而不是下一层胶囊的个人投票，每个投票簇发送其质心到下一层胶囊。一般来说，下一层capsule的输入是它接收到的每个投票聚类的质心的加权和。来自具有较小方差的聚类的质心在加权求和过程中被分配较大的权重。与最先进的胶囊网络相比，所提出的胶囊网络在Fashion-MNIST和SVHN数据集上以较少的参数实现了最佳精度，并且在smallNORB和CIFAR-10数据集上以中等数量的参数实现了最佳精度。所提出的胶囊网络还产生具有解纠缠表示的胶囊，并且很好地推广到在新视点处捕获的图像。所提出的胶囊网络还保留了胶囊通道中输入图像的2D空间信息：如果胶囊通道旋转，则从这些通道重建的对象将通过相同的变换旋转。代码可在https://github.com/ZHAOZHIHAO/ClusterRouting上获得。
2021-09-19 cs.AI cs.CV
An Effective Hit-or-Miss Layer Favoring Feature Interpretation as Learned Prototypes Deformations
University of Liège（列日大学）；Institut Montefiore（蒙特菲奥雷研究所）
近年来，为分类任务设计的神经网络已经成为一种商品。许多工作的目标是开发更有效的网络，这导致其架构复杂化，具有更多的层，多个子网络，甚至多个分类器的组合，但这往往是以产生不可解释的黑盒为代价的。在本文中，我们重新设计了一个简单的胶囊网络，使其能够合成类代表性的样本，称为原型，通过用一个新的命中或失误层取代最后一层。这一层包含被激活的向量，称为胶囊，我们通过定制特定的向心损失函数来训练这些向量以击中或错过固定的目标胶囊。这种可能性允许开发组合来自数据空间和特征空间的信息的数据增强步骤，导致混合数据增强过程。我们表明，我们的网络，名为HitNet，能够达到比在几个数据集上使用初始CapsNet复制的性能更好的性能，同时允许将提取的特征的性质可视化为原型的变形，这提供了对网络学习的特征表示的直接洞察。
2019-02-23 cs.AI cs.CV cs.LG
Capsule Vision Challenge 2024: Multi-Class Abnormality Classification for Video Capsule Endoscopy
National Institute of Technology, Karnataka（卡纳塔克邦国家理工学院）
本研究针对视频胶囊内窥镜帧的异常分类，采用分层增强和渐进式训练策略，结合ResNet50与ViT-CNN混合模型，在Kaggle上实现可扩展的多类分类方法。
2024-11-03 cs.AI cs.CV
Vanishing Activations: A Symptom of Deep Capsule Networks
University of Aberdeen（阿伯丁大学）
本文发现包括原始设计在内的多种领先Capsule Network架构在深层网络中均存在无法构建解析树和梯度消失等问题，指出多数研究架构结构根本相似阻碍了其可扩展性，为提升鲁棒性与可扩展性提供了参考。
2023-05-13 cs.CV cs.LG
Action Capsules: Human Skeleton Action Recognition
K. N. Toosi University of Technology（K.N.托西理工大学）
本文提出动作胶囊模型，通过捕捉骨架序列中关节的潜在相关性识别动作关键关节，并以多阶段聚合时空特征，在降低计算需求的同时取得领先的动作识别性能。
2023-01-30 cs.CV
Exploiting latent representation of sparse semantic layers for improved short-term motion prediction with Capsule Networks
The University of Hull（赫尔大学）
随着城市环境的高度复杂性，嵌入自动驾驶汽车（AV）的安全系统能够准确预测附近代理的短期未来运动至关重要。这个问题可以进一步理解为生成描述被跟踪代理的未来运动的坐标序列。所提出的各种方法证明了使用道路的光栅化自上而下图像与卷积神经网络（CNN）的组合来提取定义道路结构的相关特征（例如，可行驶区域、车道、人行道）。相比之下，本文探讨了胶囊网络（CapsNets）在学习与高清（HD）地图的小区域相对应的稀疏语义层的分层表示的背景下的使用。地图的每个区域被分解成相对于代理的当前位置提取的单独的几何层。通过使用基于CapsNets的架构，该模型能够保留图像内检测到的特征之间的层次关系，同时还可以防止通常由池化操作引起的空间数据丢失。我们训练和评估我们的模型公开可用的数据集nuTonomy场景，并将其与最近发表的方法进行比较。我们表明，我们的模型实现了显着的改进，最近发表的作品确定性预测，同时大大减少了网络的整体规模。
2021-03-25 cs.AI cs.CV
Interpretable Graph Capsule Networks for Object Recognition
University of Munich（慕尼黑大学）；Siemens AG, Corporate Technology（西门子股份公司，企业技术部）
胶囊网络作为卷积神经网络的替代方案，已经被提出用于从图像中识别目标。目前的文献证明了CapsNets相对于CNN的许多优势。然而，如何为CapsNet的各个分类创建解释尚未得到很好的探索。广泛使用的显着性方法主要用于解释基于CNN的分类;它们通过组合激活值和相应的梯度来创建显着性图解释，例如，Grad-CAM.这些显着性方法需要底层分类器的特定架构，并且由于其中的迭代路由机制而不能简单地应用于CapsNet。为了克服可解释性的缺乏，我们可以为CapsNet提出新的事后解释方法，或者修改模型以具有内置解释。在这项工作中，我们探索后者。具体来说，我们提出了可解释的图胶囊网络（GraCapsNets），其中我们用基于多头注意力的图池方法代替路由部分。在所提出的模型中，个人的分类解释，可以有效地和高效地创建。我们的模型还展示了一些意想不到的好处，尽管它取代了CapsNets的基本部分。与CapsNets相比，我们的GraCapsNets以更少的参数实现了更好的分类性能和更好的对抗鲁棒性。此外，GraCapsNets还保留了CapsNets的其他优点，即解纠缠表示和仿射变换鲁棒性。
2021-03-07 cs.CV
Capsule Network is Not More Robust than Convolutional Network
University of Munich（慕尼黑大学）；Microsoft Research Asia（微软亚洲研究院）
胶囊网络被广泛认为比卷积网络更强大。然而，这两个网络之间没有全面的比较，也不知道CapsNet中的哪些组件会影响其鲁棒性。在本文中，我们首先仔细研究了CapsNet中与通常用于图像分类的ConvNet不同的特殊设计。该研究揭示了CapsNet中五个主要的新的/不同的组件：转换过程，动态路由层，挤压函数，除了交叉熵损失之外的边际损失，以及用于正则化的额外类条件重建损失。除了这些主要的差异，我们对三种鲁棒性进行了全面的消融研究，包括仿射变换，重叠数字和语义表示。该研究表明，一些被认为对CapsNet至关重要的设计实际上会损害其鲁棒性，即，动态路由层和转换过程，而其他则有利于鲁棒性。基于这些发现，我们提出了增强的ConvNets，只需引入CapsNet成功背后的基本组件。所提出的简单ConvNets可以实现比CapsNet更好的鲁棒性。
2021-03-29 cs.CV
Capsule Networks Do Not Need to Model Everything
University of Turin, Computer Science Department（都灵大学计算机科学系）
本文提出REM（路由熵最小化）技术，通过剪枝机制使胶囊网络仅关注感兴趣对象，减少解析树数量，从而以更少参数和可忽略性能损失学习更稳定简洁的表示。
2025-07-12 cs.AI cs.CV
Efficient-CapsNet: Capsule Network with Self-Attention Routing
Politecnico di Torino（都灵理工大学）
在架构设计策略的辅助下，深度卷积神经网络广泛使用数据增强技术和具有大量特征图的层来嵌入对象变换。这是非常低效的，并且对于大型数据集意味着特征检测器的大量冗余。尽管胶囊网络仍处于起步阶段，但它们构成了扩展当前卷积网络的一个有前途的解决方案，并赋予人工视觉感知一个更有效地编码所有特征仿射变换的过程。事实上，一个正常工作的胶囊网络理论上应该以相当少的参数计数实现更高的结果，因为它具有推广到新观点的内在能力。然而，很少有人注意到这一相关方面。在本文中，我们研究了Capsule网络的效率，并通过一个仅具有16万参数的极端架构将其容量推向极限，我们证明了所提出的架构仍然能够在三个不同的数据集上实现最先进的结果，只有原始CapsNet参数的2%。此外，我们用一种新的非迭代，高度并行化的路由算法，可以很容易地应付减少胶囊数量的动态路由。与其他胶囊实现的广泛实验已经证明了我们的方法的有效性和胶囊网络的能力，以有效地嵌入更容易泛化的视觉表示。
2021-07-06 cs.AI cs.CV
Affordance detection with Dynamic-Tree Capsule Networks
University of Innsbruck（因斯布鲁克大学）；University of Trento（特伦托大学）
视觉输入的示能表示检测是机器人自主操作的基本步骤。对示能表示检测问题的现有解决方案依赖于卷积神经网络。然而，这些网络没有考虑输入数据的空间排列，并且错过了部分到整体的关系。因此，当面对新的、以前看不见的对象实例或新的观点时，它们就显得不足了。克服这种限制的一种解决方案可以是诉诸胶囊网络。在本文中，我们介绍了第一个启示检测网络的基础上动态树结构胶囊稀疏三维点云。我们通过一个我们仅用于评估的新数据集证明了我们基于胶囊的网络在视点不变性和新对象实例的部分分割方面优于当前最先进的模型，该数据集可从github.com/gipfelen/DTCG-Net公开获得。在实验评估中，我们将证明，由于我们的胶囊网络强制执行部分到整体的表示，我们的算法在面对抓住以前看不见的对象时优于当前的启示检测方法。
2022-11-09 cs.CV cs.RO
Image Colorization By Capsule Networks
Istanbul Technical University（伊斯坦布尔理工大学）；The Scientific And Technological Research Council Of Turkey（土耳其科学技术研究委员会）
针对图像彩色化问题，研究了一种简单的Capsule网络拓扑结构（CapsNet）。原始CapsNet拓扑的生成和分割功能是针对图像分类问题提出的，通过如下修改网络，可以用于图像的彩色化：1）原始CapsNet模型适于将灰度输入映射到CIE Lab颜色空间中的输出，2）通过使用从具有权重的VGG-19预训练模型继承的更深特征层来更新模型的特征检测器部分，以便将低级图像表示能力转移到该模型，3）将边缘损失函数修改为均方误差（MSE）损失，以最小化图像到图像映射。将所得的CapsNet模型命名为Colorizer CapsNet（ColorCapsNet）。在DIV 2K数据集上对ColorCapsNet的性能进行了评估，并获得了有希望的结果，以进一步研究Capsule Networks用于图像着色问题。
2019-08-22 cs.CV eess.IV
UW-CVGAN: UnderWater Image Enhancement with Capsules Vectors Quantization
University of Udine（乌迪内大学）
水下图像的退化是由于波长相关的光衰减、散射以及捕获它们的水类型的多样性。深度神经网络在这一领域迈出了一步，提供了能够实现水下图像增强的自主模型。我们引入水下胶囊矢量GAN UWCV GAN的基础上，从矢量GAN的离散特征量化范式为这项任务。拟议的UWCVGAN结合了编码网络，它将图像压缩到其潜在的表示，与解码网络，能够重建的增强图像从唯一的潜在表示。与VQGAN相比，UWCVGAN通过利用胶囊层的聚类能力实现特征量化，使模型完全可训练，更易于管理。该模型得到的增强水下图像质量高，细节细腻。此外，训练的编码器独立于解码器，从而有可能作为压缩算法嵌入到收集器上，以减少因子$3\times$的图像所需的存储空间。\myUWCVGAN{ }的验证与基准数据集上的定量和定性分析，我们提出的度量结果与最先进的。
2023-02-02 cs.CV cs.LG eess.IV
3D-UCaps: 3D Capsules Unet for Volumetric Image Segmentation
VinAI Research（VinAI研究院）；University of Arkansas（阿肯色大学）
迄今为止，卷积神经网络（CNN）在医学图像分割方面取得了可喜的成果。然而，在传统的CNN中，它的池化层倾向于丢弃位置等重要信息。此外，CNN对旋转和仿射变换敏感。胶囊网络是一种数据高效的网络设计，旨在通过用动态路由和卷积步幅取代池化层来克服这些限制，其目的是保留部分-整体关系。胶囊网络在图像识别和自然语言处理方面表现出了很好的性能，但在医学图像分割，特别是体积图像分割方面的应用却很有限。在这项工作中，我们提出了3D-UCaps，一个基于三维体素的胶囊网络的医学体积图像分割。我们通过设计一个具有两条路径的网络将胶囊的概念构建到CNN中：第一条路径由3D胶囊块编码，而第二条路径由3D CNN块解码。因此，3D-UCaps继承了Capsule网络保持空间关系和CNN学习视觉表示的优点。我们在各种数据集上进行了实验，以证明3D-UCaps的鲁棒性，包括iSeg-2017，LUNA 16，Hippocampus和Cardiac，其中我们的方法优于以前的Capsule网络和3D-Unets。
2022-03-16 cs.CV cs.LG eess.IV
Building Deep, Equivariant Capsule Networks
Sri Sathya Sai Institute of Higher Learning（斯里萨提亚赛高等教育学院）
胶囊网络受到其层的参数昂贵性质的限制，并且通常缺乏可证明的等方差保证。我们提出了一种胶囊网络的变体，旨在解决这个问题。我们发现，学习所有的连续层的胶囊之间的成对的部分-整体关系是低效的。此外，我们还认识到，预测网络的选择和路由机制都是等方差的关键。在此基础上，我们提出了一种胶囊网络的替代框架，该框架学习对每层的每种胶囊类型的姿态变化流形进行投影编码，称为变化空间（SOV）。这是使用一个可训练的，定义在群变换网格上的等变函数来完成的。因此，路由的预测阶段涉及使用相应的函数将更深的胶囊投影到SOV中。作为这一思想的一个具体实例，也为了获得增加参数共享的好处，我们在这个阶段使用较浅胶囊的类型齐次群等变卷积。我们还介绍了一种基于度中心的等变路由机制。我们证明了我们的一般模型的这个特定实例是等变的，因此保留了变换下输入的组成表示。我们在标准对象分类数据集上进行了几次实验，展示了我们的模型对几个胶囊基线的增强的转换鲁棒性和一般性能。
2019-09-26 cs.CV cs.LG stat.ML
Capsule-ConvKAN: A Hybrid Neural Approach to Medical Image Classification
Department of Cybernetics and Artificial Intelligence, Technical University of Košice（控制论与人工智能系，科希斯技术大学）；Institute of Information Science, University of Miskolc（信息科学研究所，米什科尔特大学）；Department of Computer Science and Engineering, University of Connecticut（计算机科学与工程系，康涅狄格大学）
本文提出Capsule-ConvKAN混合架构，结合胶囊网络与卷积KAN，在组织病理学图像分类中达到91.21%准确率，优于传统模型。
2025-08-07 cs.CV cs.LG eess.IV
