ParseCaps: An Interpretable Parsing Capsule Network for Medical Image Diagnosis
ParseCaps通过稀疏轴向注意力路由和解析卷积胶囊层构建解析树结构，在医学图像分类中提升准确性与鲁棒性，同时提供可解释的决策依据。
2024-11-03 cs.CV
VideoCapsuleNet: A Simplified Network for Action Detection
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
深度卷积神经网络（DCNN）的最新进展在视频人体动作分类方面取得了非常好的效果，然而，动作检测仍然是一个具有挑战性的问题。当前的动作检测方法遵循复杂的流水线，该流水线涉及多个任务，诸如管提议、光流和管分类。在这项工作中，我们提出了一个更优雅的解决方案，基于最近开发的胶囊网络的动作检测。我们提出了一个用于视频的3D胶囊网络，称为VideoCapsuleNet：一个用于动作检测的统一网络，可以联合执行像素级动作分割和动作分类。该网络是胶囊网络从2D到3D的推广，它以视频帧序列作为输入。3D泛化大大增加了网络中胶囊的数量，使得胶囊路由的计算成本很高。我们在卷积胶囊层中引入胶囊池来解决这个问题，这使得投票算法易于处理。网络中的协议路由固有地对动作表示进行建模，并且各种动作特征被预测的胶囊捕获。这启发了我们利用胶囊进行动作定位，并使用网络预测的类特定胶囊来确定动作的像素定位。通过与卷积胶囊层的参数化跳过连接进一步改进了定位，并且网络通过分类以及定位损失进行端到端训练。该网络在包括UCF-Sports、J-HMDB和UCF-101（24类）在内的多个动作检测数据集上实现了最先进的性能，在v-mAP分数方面，UCF-101和J-HMDB分别提高了约20%和约15%。
2018-05-21 cs.CV
Dense and Diverse Capsule Networks: Making the Capsules Learn Better
Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）
在过去的几年里，人们对深度学习方法的兴趣呈指数级增长，这些方法快速提高了准确性并降低了计算复杂性。特别地，使用卷积神经网络（CNN）的架构已经为图像分类和对象识别任务产生了最先进的性能。最近，胶囊网络（CapsNet）通过解决CNN在编码姿态和变形方面的固有限制，实现了性能的显著提高。在这种进步的鼓舞下，我们问自己，我们能做得更好吗？我们提出了密集胶囊网络（DCNet）和多样胶囊网络（DCNet++）。这两个框架通过用密集连接的卷积替换标准卷积层来定制CapsNet。这有助于将不同层学习的特征图合并到形成主胶囊中。DCNet本质上增加了一个更深的卷积网络，这导致了对区分特征图的学习。此外，DCNet++使用分层架构来学习以从细到粗的方式表示空间信息的胶囊，这使得它在学习复杂数据时更有效。使用基准数据集的图像分类任务的实验证明了所提出的架构的有效性。DCNet在MNIST数据集上实现了最先进的性能（99.75%），与传统的CapsNet相比，总训练迭代次数减少了20倍。此外，DCNet++在SVHN数据集上的表现优于CapsNet（96.90%），在CIFAR-10上的表现优于7个CapsNet模型的集合0.31%，参数数量减少了7倍。
2018-05-10 cs.CV
ASPCNet: A Deep Adaptive Spatial Pattern Capsule Network for Hyperspectral Image Classification
Sun Yat-sen University（中山大学）；Southern Marine Science and Engineering Guangdong Laboratory (Zhuhai)（南方海洋科学与工程广东省实验室（珠海））；Shenzhen University（深圳大学）
以往的研究表明，胶囊网络的空间上下文特征提取{高光谱图像（HSI）}的巨大潜力。然而，胶囊的卷积核的采样位置是固定的，并且不能根据HSI的不一致语义信息自适应地改变。基于这一观察，本文提出了一种自适应空间模式胶囊网络（ASPCNet）架构，通过开发一个自适应空间模式（ASP）单元，它可以在扩大的感受野的基础上旋转卷积核的采样位置。注意，该单元可以用更少的参数学习更多的判别式表示。具体而言，两个级联的基于ASP的卷积运算（ASPConvs）应用于输入图像，以学习相对高级的语义特征，比使用最基本的特征更准确地在胶囊之间传输层次结构。此外，语义特征被馈送到基于ASP的conv-capsule操作（ASPCaps）中，以自适应的方式探索胶囊中对象的形状，进一步探索胶囊网络的潜力。最后，以测试样本为中心的图像块的类标签可以根据完全连接的胶囊层来确定。在三个公共数据集上的实验表明，ASPCNet可以产生具有竞争力的性能，比最先进的方法具有更高的精度。
2021-04-25 cs.CV
Generalized Capsule Networks with Trainable Routing Procedure
Indiana University（印第安纳大学）
CapsNet（Capsule Network）最初由~ \citet{capsule}提出，后来由~ \citet{emrouting}提出了CapsNet的另一个版本。CapsNet已被证明是有效的空间特征建模与少得多的参数。然而，这两篇论文中的路由程序并没有很好地融入整个培训过程。最优的路由过程数是痛苦的，必须手动找到。为了克服CapsNet现有路由过程的这一缺点，我们将路由过程嵌入到神经网络的优化过程中，使路由过程中的耦合系数完全可训练。我们称之为广义CapsNet（G-CapsNet）。我们实现了G-CapsNet的“全连接”版本和G-CapsNet的“卷积”版本。G-CapsNet在数据集MNIST中实现了与原始论文相似的性能。我们还测试了来自先前卷积层的两种胶囊包装方法（交叉特征图或特征图），没有看到明显的差异。此外，我们还探索了多层胶囊堆叠的可能性。代码在\hyperlink{https://github.com/chenzhenhua986/CAFFE-CapsNet}{CAFFE-CapsNet}上共享。
2018-08-27 cs.CV
Graph Capsule Convolutional Neural Networks
Department of Computer Science, Univeristy of Minnesota Twin Cities USA
图卷积神经网络（Graph Convolutional Neural Networks，GCNNs）是深度学习领域的最新进展，其应用正在生物信息学、化学信息学、社交网络、自然语言处理和计算机视觉等多个交叉领域迅速扩展。在本文中，我们利用\cite{hinton2011transforming}中提出的胶囊思想暴露并解决了GCNN模型的一些基本弱点，并提出了我们的图形胶囊网络（GCAPS-CNN）模型。此外，我们设计了我们的GCAPS-CNN模型来解决当前GCNN模型面临的挑战，特别是图分类问题。通过大量的实验，我们证明了我们提出的Graph Capsule Network在图分类基准数据集上的性能明显优于现有的最先进的深度学习方法和图内核。
2018-08-26 cs.CV cs.LG stat.ML
Iterative collaborative routing among equivariant capsules for transformation-robust capsule networks
SSSIHL（斯里萨提亚赛高等研究院（SSSIHL））
变换鲁棒性是执行图像分类的机器学习模型的重要特征。许多方法旨在通过使用数据增强策略来赋予模型此属性，而通过使用等变模型来获得更正式的保证。我们认识到，组成或部分整体结构也是图像的一个重要方面，必须考虑建立变换鲁棒模型。因此，我们提出了一个胶囊网络模型，这是，在一次，等变和成分感知。我们的胶囊网络模型的等变来自于在精心选择的新颖架构中使用等变卷积。意识的组合性来自于使用我们提出的新的，迭代的，基于图的路由算法，称为迭代协作路由（ICR）。ICR是我们贡献的核心，它根据最近邻居的度中心性的迭代平均得分来加权胶囊的预测。在FashionMNIST、CIFAR-10和CIFAR-100上对变换后的图像分类进行的实验表明，我们使用ICR的模型优于卷积和胶囊基线，实现了最先进的性能。
2022-10-20 cs.CV
Capsule-ConvKAN: A Hybrid Neural Approach to Medical Image Classification
Department of Cybernetics and Artificial Intelligence, Technical University of Košice（控制论与人工智能系，科希斯技术大学）；Institute of Information Science, University of Miskolc（信息科学研究所，米什科尔特大学）；Department of Computer Science and Engineering, University of Connecticut（计算机科学与工程系，康涅狄格大学）
本文提出Capsule-ConvKAN混合架构，结合胶囊网络与卷积KAN，在组织病理学图像分类中达到91.21%准确率，优于传统模型。
2025-08-07 cs.CV cs.LG eess.IV
A Hybrid Convolutional Neural Network with Meta Feature Learning for Abnormality Detection in Wireless Capsule Endoscopy Images
PDPM Indian Institute of Information Technology, Design and Manufacturing（PDPM印度信息技术设计与制造学院）
无线胶囊式内窥镜是一种先进的非侵入性胃肠道检查方法。在无线胶囊内窥镜图像分析中，用于检测胃肠道异常（如息肉、出血、炎症等）的智能计算机辅助诊断系统是非常迫切的。abboundary在形状、大小、颜色和纹理上有很大的不同，有些看起来与正常区域相似。由于类内变化，这对设计二元分类器提出了挑战。在这项研究中，提出了一种混合卷积神经网络的异常检测，提取丰富的池有意义的功能，从无线胶囊内窥镜图像使用各种卷积运算。它由三个并行的卷积神经网络组成，每个网络都具有独特的特征学习能力。第一个网络采用深度可分离卷积，而第二个网络采用余弦归一化卷积运算。在第三网络中引入新颖的Meta特征提取机制，以从在从第一和第二网络及其自身的先前层生成的特征上提取的统计信息中提取模式。网络三人组有效地处理类内方差，并有效地检测胃肠道异常。提出的混合卷积神经网络模型在两个广泛使用的公开数据集上进行训练和测试。测试结果表明，该模型在KID和Kvasir-Capsule数据集上的分类准确率分别为97%和98%，优于6种最先进的方法。跨数据集评估结果也证明了所提出的模型的泛化性能。
2022-07-20 cs.AI cs.CV
Capsule networks for low-data transfer learning
MIT Media Lab（麻省理工学院媒体实验室）
我们提出了一种基于胶囊网络的架构，用于用很少的例子将学习推广到新数据。使用具有中间路由的生成式和非生成式胶囊网络，我们能够比类似的卷积神经网络快25倍以上地概括新信息。我们训练网络上的多MNIST数据集缺乏一个数字。在网络达到最大精度后，我们将1-100个缺失数字的示例注入训练集中，并测量返回到可比精度水平所需的批次数量。然后，我们讨论了胶囊网络带来的低数据迁移学习的改进，并提出了胶囊研究的未来方向。
2018-04-26 cs.CV
Deformable Capsules for Object Detection
Palantir Technologies（帕兰蒂尔科技公司）；Zillow Group Inc.（齐洛集团公司）；Northwestern University（西北大学）
本文提出用于目标检测的可变形胶囊网络（DeformCaps），包含SplitCaps结构和SE-Routing算法，首次实现胶囊网络在目标检测任务上的高效扩展，在MS COCO上取得与单阶段CNN方法媲美的结果且误检更少。
2024-07-28 cs.CV
Robustcaps: a transformation-robust capsule network for image classification
SSSIHL（斯里·萨提亚·赛高等研究院）
训练数据以及测试数据的几何变换对使用深度神经网络进行基于视觉的学习任务提出了挑战。为了解决这个问题，我们提出了一个深度神经网络模型，表现出理想的属性的转换鲁棒性。我们的模型称为RobustCaps，在改进的胶囊网络模型中使用组等变卷积。RobustCaps在其路由算法中使用全局上下文规范化过程来学习图像数据中的变换不变部分-整体关系。这种关系的学习使我们的模型在转换鲁棒分类任务上优于胶囊和卷积神经网络基线。具体来说，当这些数据集中的图像经过训练和测试时旋转和平移时，RobustCaps在CIFAR-10、FashionMNIST和CIFAR-100上实现了最先进的精度。
2022-10-20 cs.CV
Convolutional capsule network for classification of breast cancer histology images
Kaunas University of Technology（考纳斯理工大学）
任何一种疾病的诊断自动化都非常重要，随着越来越多的深度学习解决方案被应用于不同的问题，它的速度越来越快。这样的计算机辅助系统之一可以是决策支持，也能够准确区分不同类型的乳腺癌组织学图像-正常组织或癌。本文作者提出了一种基于卷积胶囊网络的深度学习解决方案，用于在应用苏木精和真核蛋白染色时对四种类型的乳腺组织活检图像进行分类。交叉验证的准确度达到0.87，具有同样高的灵敏度。
2018-04-23 cs.CV cs.CY cs.LG
Effectiveness of the Recent Advances in Capsule Networks
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
卷积神经网络（CNN）彻底改变了深度神经网络领域。然而，最近的研究表明，CNN无法在各种条件下推广，因此胶囊的想法在2011年被引入，尽管真正的研究热潮始于2017年。在本文中，我们提出了一个概述的最新进展，胶囊架构和路由机制。此外，我们发现，在最近的文献中，相对的重点是修改路由过程或架构作为一个整体，但其他更精细的组件，具体来说，挤压功能的研究是不够的。因此，我们也提出了一些新的见解，挤压功能的胶囊网络的性能的影响。最后，我们讨论并提出胶囊网络领域可能的机会。
2022-10-11 cs.CV
Video Capsule Endoscopy Classification using Focal Modulation Guided Convolutional Neural Network
Indian Statistical Institute（印度统计研究所）；Indira Gandhi National Open University（英迪拉·甘地国立开放大学）；Feinberg School of Medicine, Northwestern University（西北大学范伯格医学院）
视频胶囊内窥镜是计算机视觉和医学领域的研究热点。深度学习可以对视频胶囊内窥镜技术的未来产生积极影响。它可以提高异常检测率，减少医生的筛选时间，并有助于真实世界的临床分析。CADx视频胶囊内镜分类系统已经显示出进一步改进的巨大潜力。例如，发现癌性息肉和出血可以导致迅速的医疗反应，提高病人的生存率。为此，自动化CADx系统必须具有高吞吐量和良好的精度。在本文中，我们提出了FocalConvNet，这是一种集成了轻量级卷积层的焦点调制网络，用于小肠解剖标志和管腔发现的分类。FocalConvNet利用焦点调制来获得全局上下文，并允许在整个前向传递过程中进行全局-局部空间交互。此外，卷积块具有内在的归纳/学习偏差和提取分层特征的能力，使我们的FocalConvNet能够以高吞吐量实现有利的结果。我们将我们的FocalConvNet与Kvasir-Capsule上的其他SOTA进行了比较，Kvasir-Capsule是一个大型VCE数据集，包含44，228帧，具有13类不同的异常。我们提出的方法实现了加权F1得分，召回率和MCC分别为0.6734，0.6373和0.2974，优于其他SOTA方法。此外，我们报告了148.02图像/秒的最高吞吐量，以确定FocalConvNet在实时临床环境中的潜力。拟议的FocalConvNet的代码可在https://github.com/NoviceMA…
2022-06-16 cs.CV eess.IV
Training Deep Capsule Networks with Residual Connections
University of Innsbruck（因斯布鲁克大学）
胶囊网络是一种最近越来越流行的神经网络。它们由称为胶囊的神经元组组成，这些神经元对对象或对象部分的属性进行编码。胶囊之间的连接通过路由算法加密对象之间的部分-整体关系，该路由算法将胶囊的输出从较低级别层路由到较高级别层。胶囊网络可以在许多具有挑战性的计算机视觉任务中获得最先进的结果，例如MNIST，Fashion-MNIST和Small-NORB。然而，大多数胶囊网络实现使用两到三个胶囊层，这限制了它们的适用性，因为表现力随着深度呈指数级增长。克服这种限制的一种方法是训练更深的网络架构，就像对卷积神经网络所做的那样，取得了更大的成功。在本文中，我们提出了一种方法来训练更深的胶囊网络使用剩余连接，这是四个数据集和三种不同的路由算法进行评估。我们的实验结果表明，事实上，当训练更深的胶囊网络时，性能会提高。源代码可在https://github.com/moejoe95/res-capsnet上获得。
2021-04-15 cs.CV
Homogeneous Vector Capsules Enable Adaptive Gradient Descent in Convolutional Neural Networks
Brunel University London（伦敦布鲁内尔大学）；Bradley University（布拉德利大学）
胶囊是Geoffrey Hinton给向量值神经元起的名字。传统上，神经网络为激活的神经元产生标量值。另一方面，胶囊产生一个值的向量，Hinton认为这对应于一个单一的复合特征，其中向量分量的值表示特征的属性，如变换或对比度。我们提出了一种参数化和训练胶囊的新方法，我们称之为同质向量胶囊（HVC）。我们通过实验证明，与使用单个最终完全连接层的CNN相比，改变卷积神经网络（CNN）以使用HVC可以实现更高的分类准确性，而不会增加其架构中的参数或操作数量。此外，HVC的引入使得能够使用自适应梯度下降，减少了模型的可实现精度对非自适应优化器的微调超参数的依赖性。我们证明了我们的方法和结果，使用两个神经网络架构。首先，一个非常简单的单片CNN，当使用HVC时，与基线架构相比，前1分类准确度提高了63%，前5分类准确度提高了35%。其次，使用称为Inception v3的CNN架构，在有和没有HVC的情况下都实现了类似的准确性。此外，当使用HVC时，简单的单片CNN在超过300个时期后没有显示过拟合，而基线在30个时期后显示过拟合。我们使用ImageNet ILSVRC 2012分类挑战数据集与两个网络。
2021-01-27 cs.CV cs.LG
DL-CapsNet: A Deep and Light Capsule Network
Department of Electrical and Computer Engineering, University of Victoria（电气与计算机工程系，维多利亚大学）
DL-CapsNet通过引入胶囊摘要层，实现了轻量且高效的胶囊网络，适用于处理高类别数量的复杂数据集。
2025-11-23 cs.CV
FlowCaps: Optical Flow Estimation with Capsule Networks For Action Recognition
IHPC, A*STAR（新加坡科技研究局高性能计算研究所）
胶囊网络（CapsNets）最近显示出在大多数计算机视觉任务中表现出色的前景，特别是与场景理解有关的任务。在本文中，我们探讨了CapsNet在光流估计方面的能力，卷积神经网络（CNN）已经优于其他方法。我们提出了一种基于CapsNet的架构，称为FlowCaps，它试图a）通过对光流估计至关重要的更细粒度、运动特定和更可解释的编码来实现更好的对应匹配，b）执行更好的可推广的光流估计，c）利用更少的地面实况数据，以及d）与CNN对应物相比，在实现良好性能方面显着降低计算复杂性。
2020-11-08 cs.CV
Group Equivariant Capsule Networks
TU Dortmund University（多特蒙德工业大学）
我们提出了组等变胶囊网络，一个框架，引入保证等变和不变性质的胶囊网络的想法。我们的工作可以分为两个贡献。首先，我们提出了一个通用的路由协议算法定义在一组元素，并证明了输出姿态向量的等变性，以及输出激活的不变性，在一定条件下举行。其次，我们将得到的等变胶囊网络与组卷积网络领域的工作联系起来。通过这种连接，我们提供了两种方法如何关联的直观信息，并能够在一个深度神经网络架构中结合两种方法的优势。由此产生的框架允许稀疏评估组卷积运算符，提供对特定等方差和不变性属性的控制，并且可以使用协议路由而不是池化操作。此外，它能够提供可解释的和等变的表示向量作为输出胶囊，从其姿态中分离出物体存在的证据。
2018-10-24 cs.CV
Capsules for Object Segmentation
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
卷积神经网络（CNN）在过去几年中已经在广泛的计算机视觉任务中显示出显着的成果。Sabour等人最近引入的一种新架构，被称为具有动态路由的胶囊网络，对于数字识别和小图像分类已经显示出很好的初步结果。胶囊网络的成功在于它们能够通过用卷积步长和动态路由替换最大池化层来保留更多关于输入的信息，从而允许保留数据中的部分-整体关系。通过从输出胶囊向量重构输入来证明输入的这种保留。我们的工作在文献中首次将胶囊网络的使用扩展到对象分割任务。我们将卷积胶囊的思想扩展到局部连接路由，并提出了去卷积胶囊的概念。此外，我们扩展了掩码重建，以重建正输入类。所提出的卷积-去卷积胶囊网络（称为SegCaps）在参数空间大幅减少的情况下，在对象分割任务方面显示出了强劲的结果。作为一个示例应用，我们将所提出的SegCaps应用于从低剂量CT扫描中分割病理肺，并将其准确性和效率与其他基于U-Net的架构进行了比较。SegCaps能够处理大图像尺寸（512 x 512），而不是基线胶囊（通常小于32 x 32）。所提出的SegCaps将U-Net架构的参数数量减少了95.4%，同时仍然提供了更好的分割精度。
2018-04-11 cs.AI cs.CV cs.LG
On Learning and Learned Data Representation by Capsule Networks
Guangdong Polytechnic Normal University（广东技术师范大学）；University of Technology Sydney（悉尼科技大学）
在这项工作中，我们研究了以下内容：1）路由如何影响CapsNet模型拟合; 2）使用胶囊的表示如何帮助发现数据分布中的全局结构; 3）学习的数据表示如何适应和推广新任务。我们的研究得到了CapsNet的原始论文中提到的一些结果，它们是：1）路由操作决定了一层胶囊向上一层传递信息的确定性，而适当的确定性水平与模型适应度有关; 2）在使用具有已知2D结构的数据的设计实验中，胶囊表示实现了比标准卷积神经网络（CNN）中的神经元更有意义的2D流形嵌入，以及; 3）与标准CNN的神经元相比，连续层的胶囊耦合更少，并且更适应新的数据分布。
2020-06-22 cs.CV
Subspace Capsule Network
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
卷积神经网络（CNN）已经成为人工智能领域的重要资产。尽管它们的成功表现，CNN遭受一个主要的缺点。它们无法捕捉实体不同部分之间的空间关系层次。为了解决这个问题，Hinton提出了胶囊的想法。在本文中，我们提出了子空间胶囊网络（SCN），它利用胶囊网络的思想，通过一组胶囊子空间来模拟实体的外观或隐式定义的属性的可能变化，而不是简单地将神经元分组以创建胶囊。通过使用可学习变换将输入特征向量从较低层投影到胶囊子空间上来创建胶囊。该变换找到输入与由胶囊子空间建模的属性的对准程度。我们证明了SCN是一个通用的胶囊网络，可以成功地应用于判别和生成模型，而不会产生计算开销相比，CNN在测试时间。SCN的有效性进行了评估，通过一系列全面的实验监督图像分类，半监督图像分类和高分辨率图像生成任务，使用生成对抗网络（GAN）框架。SCN显著提高了基线模型在所有3个任务中的性能。
2020-02-07 cs.CV
DeepCaps: Going Deeper with Capsule Networks
University of Moratuwa（莫拉图瓦大学）；University of Sydney（悉尼大学）
胶囊网络是深度学习中一个很有前途的概念，但到目前为止，它的真正潜力还没有完全实现，在几个具有复杂数据的关键基准数据集上提供了低于标准的性能。从卷积神经网络（CNN）通过深入研究所取得的成功中汲取灵感，我们介绍了DeepCaps1，这是一种使用新型3D卷积动态路由算法的深度胶囊网络架构。使用DeepCaps，我们超越了CIFAR10，SVHN和Fashion MNIST上胶囊网络域的最先进结果，同时实现了参数数量减少68%。此外，我们提出了一个类独立的解码器网络，它加强了重建损失作为正则化项的使用。这导致了解码器的一个有趣的属性，它允许我们识别和控制由实例化参数表示的图像的物理属性。
2019-04-21 cs.CV
PointCaps: Raw Point Cloud Processing using Capsule Networks with Euclidean Distance Routing
University of Moratuwa（莫拉图瓦大学）；Florida International University（佛罗里达国际大学）；University of Maryland, College Park（马里兰大学帕克分校）
利用胶囊网络处理原始点云由于其能够保持输入数据的空间一致性而被广泛用于分类、重建和分割。然而，大多数现有的基于胶囊的网络方法计算量大，并且无法将整个点云表示为单个胶囊。我们通过提出PointCaps来解决现有基于胶囊网络的方法中的这些限制，PointCaps是一种具有参数共享的新型卷积胶囊架构。随着PointCaps，我们提出了一种新的欧几里德距离路由算法和类独立的潜在表示。潜在表示捕获点云的物理可解释的几何参数，通过动态欧几里得路由，PointCaps很好地表示了点的空间（点到零件）关系。与最先进的胶囊网络相比，PointCaps的参数数量明显减少，需要的FLOP数量也明显减少，同时实现了更好的重建，原始点云的分类和分割精度相当。
2022-08-21 cs.CV
TCDCaps: Visual Tracking via Cascaded Dense Capsules
在在线学习过程中，各种外观变化的鲁棒特征难以学习，并且难以设置合理的定义真/假阳性的交集（IoU）阈值，如何避免漂移问题是检测跟踪框架的关键挑战。本文提出了TCDCaps方法来解决上述问题，通过级联密集胶囊架构。为了获得强大的功能，我们使用密集连接路由（称为DCaps）扩展原始胶囊。依赖于胶囊网络中部分-整体关系的保留，我们的密集连接胶囊可以捕获各种外观变化。此外，为了解决IoU阈值问题，提出了一种级联DCaps模型（CDCaps）来提高候选质量，该模型通过不断增加IoU阈值来训练顺序DCaps，从而依次提高候选质量。在3个流行的基准上进行的大量实验证明了所提出的TCDCaps的鲁棒性。
2019-11-23 cs.CV
Examining the Benefits of Capsule Neural Networks
Northwestern University（西北大学）；HSR University of Applied Science Rapperswil（瑞士东部应用科技大学拉珀斯维尔分校）
胶囊网络是最近开发的一类神经网络，其潜在地解决了传统卷积神经网络的一些缺陷。通过用向量代替标准的标量激活，并以新的方式连接人工神经元，胶囊网络的目标是成为计算机视觉应用的下一个重大发展。然而，为了确定这些网络是否真的与传统网络不同，必须查看胶囊特征的差异。为此，我们进行了几项分析，目的是阐明胶囊的功能，并确定它们是否如最初出版物中所述那样发挥作用。首先，我们执行深度可视化分析，以直观地比较胶囊特征和卷积神经网络特征。然后，我们研究胶囊特征在向量分量中编码信息的能力，并解决胶囊架构中的哪些变化提供了最大的好处。最后，我们看看胶囊功能如何能够通过视觉转换编码类对象的实例化参数。
2020-01-29 cs.CV cs.LG stat.ML
IBCapsNet: Information Bottleneck Capsule Network for Noise-Robust Representation Learning
Shenzhen Polytechnic University（深圳职业技术大学）
本文提出IBCapsNet，通过信息瓶颈原理设计了一种高效胶囊网络，解决传统胶囊网络计算成本高和抗噪声能力差的问题，在多个数据集上展现出更高的鲁棒性和效率。
2026-03-21 cs.CV
Explainable Deepfake Video Detection using Convolutional Neural Network and CapsuleNet
BRAC University（BRAC大学）
本研究利用CNN、CapsuleNet和LSTM检测深度伪造视频帧，并通过可解释AI阐明模型决策，以提升透明度和安全性。
2024-04-19 cs.CV cs.LG eess.IV
Masked Capsule Autoencoders
University of Aberdeen（阿伯丁大学）；Interdisciplinary Institute（跨学科研究院）
针对胶囊网络难以处理复杂数据、无法扩展到现代任务的问题，提出首个采用自监督预训练范式的掩码胶囊自编码器（MCAE），通过掩码图像建模预训练提升性能，在Imagenette数据集上较基线模型提升9%，为胶囊网络发展铺路。
2025-04-18 cs.CV
Handwritten Indic Character Recognition using Capsule Networks
Jadavpur University（贾达普大学）；Ohio State University（俄亥俄州立大学）
卷积神经网络（CNN）已成为各种计算机视觉任务的主要算法之一。手写体字符识别是此类任务的一个典型例子，也引起了人们的关注。CNN架构，如LeNet和AlexNet在过去二十年中已经变得非常突出，但是不同内核的空间不变性到目前为止一直是一个突出的问题。随着胶囊网络的引入，内核可以在动态路由的帮助下相互一致地工作，动态路由结合了称为胶囊的多组内核的个人意见，以在内核之间采用等方差。在目前的工作中，我们已经在手写的印度数字和字符数据集上实现了胶囊网络，以显示其优于LeNet等网络的优势。此外，还表明它们可以提高LeNet和AlexNet等其他网络的性能。
2019-01-01 cs.CV
Improving the Robustness of Capsule Networks to Image Affine Transformations
University of Munich（慕尼黑大学）；Siemens AG, Corporate Technology（西门子股份公司企业技术部）
卷积神经网络（CNN）通过使用池化操作来实现平移不变性。然而，这些操作并不保留所学习的表示中的空间关系。因此，CNN不能外推到输入的各种几何变换。最近，有人提出了胶囊网络（CapsNets）来解决这个问题。在CapsNets中，每个实体都由向量表示，并通过动态路由算法路由到高级实体表示。CapsNets已经被证明比CNN对输入的仿射变换更鲁棒。然而，与未转换的版本相比，它们在转换输入上的性能仍然存在巨大差距。在这项工作中，我们首先重新审视路由过程（联合国）滚动其向前和向后通过。我们的调查表明，路由过程既不有助于泛化能力，也不仿射鲁棒性的CapsNets。此外，我们探索了胶囊变换的局限性，并提出了仿射CapsNets（Aff-CapsNets），这是更强大的仿射变换。在我们的基准测试任务中，模型在MNIST数据集上进行训练，并在AffNIST数据集上进行测试，我们的Aff-CapsNets在不使用任何路由机制的情况下，大幅提高了基准测试的性能（从79%提高到93.21%）。
2020-03-31 cs.CV
Assessing Capsule Networks With Biased Data
University of Essex（埃塞克斯大学）；Faculté de Médecine（医学院）；University of Birmingham（伯明翰大学）
基于机器学习的方法在对象分类和检测方面取得了令人印象深刻的结果。在训练阶段利用视觉世界的代表性数据对于使用这种数据驱动方法实现良好性能至关重要。然而，并不总是能够访问无偏置数据集，因此，对有偏置数据的鲁棒性是学习系统的理想属性。胶囊网络最近才被引入，它们对有偏数据的容忍度很少受到关注。本文旨在填补这一空白，并提出了两个实验方案，以评估不平衡的训练数据的容忍度，并确定一个模型的泛化性能与不熟悉的仿射变换的图像。本文评估了基于动态路由和EM路由的胶囊网络，并在两种测试场景中与卷积神经网络进行了比较。这些结果为胶囊网络的行为提供了新的见解。
2019-04-09 cs.CV
Capsule and convolutional neural network-based SAR ship classification in Sentinel-1 data
University of Rome Tor Vergata（罗马第二大学）
合成孔径雷达（SAR）是满足高分辨率要求的广域监测的基本资产。第一批合成孔径雷达传感器已产生了粗略的沿海和海洋监测应用，包括石油泄漏、船舶和浮冰探测。近年来，随着分辨率非常高的传感器的升级，以及相对较新的合成孔径雷达飞行任务，如哨兵-1号，发布了大量数据，提供了更强的信息内容，从而能够对一般目标特征进行更精确的研究，从而能够进行复杂的分类，如船舶分类，由于商业和军事部门对沿海监测的需求日益增长，船舶分类变得越来越重要。在过去的十年中，已经提出了几项专注于这一主题的工作，通常基于辐射特征处理;此外，在最近几年，大量的研究工作集中在新兴的深度学习技术上，特别是卷积神经网络（CNN）。最近提出了胶囊神经网络（CapsNets），在捕获给定实体的属性方面有了显着的改进，提高了空间信息的使用，特别是特征之间的空间依赖性，这是CNN中严重缺乏的特征。事实上，CNN池化操作因失去空间关系而受到批评，因此提出了特殊的胶囊以及新的迭代协议路由机制。在这项工作中，通过利用OpenSARShip（SAR Sentinel-1船舶芯片数据集），比较了Capsule和CNN在船舶分类应用领域的潜力;特别是，建立了Capsule和各种卷积架构之间的性能比较，证明了CapsNet在小型数据集中对船舶进行分类时的更好性能。
2019-10-11 cs.CV cs.LG eess.IV
Capsule Networks against Medical Imaging Data Challenges
Universitat Pompeu Fabra（庞培法布拉大学）；Technische Universität München（慕尼黑工业大学）；Centrale Nantes（南特中央理工学院）
深度学习成功的一个关键组成部分是大量训练数据的可用性。构建和注释用于解决医学图像分类问题的大型数据集是当今许多应用的瓶颈。最近，胶囊网络被提出来处理卷积神经网络（ConvNets）的缺点。在这项工作中，我们比较了胶囊网络与ConvNets在医学图像分析的典型数据集约束下的行为，即少量注释数据和类不平衡。我们评估我们的实验MNIST，时尚MNIST和医疗（组织学和视网膜图像）公开可用的数据集。我们的研究结果表明，胶囊网络可以用更少的数据量进行训练，以获得相同或更好的性能，并且对不平衡的类分布更具鲁棒性，这使得我们的方法在医学成像领域非常有前途。
2018-07-19 cs.CV
Efficient-CapsNet: Capsule Network with Self-Attention Routing
Politecnico di Torino（都灵理工大学）
在架构设计策略的辅助下，深度卷积神经网络广泛使用数据增强技术和具有大量特征图的层来嵌入对象变换。这是非常低效的，并且对于大型数据集意味着特征检测器的大量冗余。尽管胶囊网络仍处于起步阶段，但它们构成了扩展当前卷积网络的一个有前途的解决方案，并赋予人工视觉感知一个更有效地编码所有特征仿射变换的过程。事实上，一个正常工作的胶囊网络理论上应该以相当少的参数计数实现更高的结果，因为它具有推广到新观点的内在能力。然而，很少有人注意到这一相关方面。在本文中，我们研究了Capsule网络的效率，并通过一个仅具有16万参数的极端架构将其容量推向极限，我们证明了所提出的架构仍然能够在三个不同的数据集上实现最先进的结果，只有原始CapsNet参数的2%。此外，我们用一种新的非迭代，高度并行化的路由算法，可以很容易地应付减少胶囊数量的动态路由。与其他胶囊实现的广泛实验已经证明了我们的方法的有效性和胶囊网络的能力，以有效地嵌入更容易泛化的视觉表示。
2021-07-06 cs.AI cs.CV
PrunedCaps: A Case For Primary Capsules Discrimination
Department of Electrical and Computer Engineering, University of Victoria（电气与计算机工程系，维多利亚大学）
PrunedCaps通过移除95%的初级胶囊，使CapsNet在MNIST等数据集上提速9.9倍，同时保持准确率，显著降低计算资源消耗。
2025-12-02 cs.CV
ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method
University of Aberdeen（阿伯丁大学）；Interdisciplinary Centre for Data and AI（数据与人工智能跨学科中心）
针对胶囊网络迭代路由机制计算效率低、难以扩展的问题，提出受原型聚类启发的非迭代路由方法ProtoCaps，结合共享胶囊子空间降低内存需求，在Imagewoof数据集上性能优于现有最优非迭代胶囊网络。
2024-03-08 cs.CV
DECAPS: Detail-Oriented Capsule Networks
University of Houston（休斯顿大学）
胶囊网络（CapsNets）已被证明是卷积神经网络（CNN）的一种有前途的替代方案。然而，它们在大规模高维数据集上往往达不到最先进的精度。我们提出了一个面向细节的胶囊网络（DECAPS），它结合了CapsNets的优势和几种新技术，以提高其分类精度。首先，DECAPS使用反向动态路由（IDR）机制将较低级别的胶囊分组到头中，然后将它们发送到较高级别的胶囊。这种策略使胶囊能够选择性地关注数据中的小但信息丰富的细节，这些细节可能在CNN的池化操作期间丢失。第二，DECAPS采用了一个躲猫猫训练程序，它鼓励网络通过第二级注意力计划关注细粒度的信息。最后，蒸馏过程通过对原始和参与的图像区域预测进行平均来提高DECAPS的鲁棒性。我们在CheXpert和RSNA Pneumonia数据集上进行了大量实验，以验证DECAPS的有效性。我们的网络不仅在分类方面实现了最先进的准确性（在CheXpert数据集上将ROC曲线下的平均面积从87.24%提高到92.82%），而且在疾病区域的弱监督定位方面也实现了最先进的准确性（将RSNA Pneumonia检测数据集的平均精度从41.7%提高到80%）。
2020-07-09 cs.CV
Multi-Scale Fruit Capsules: Dilated Convolutions and Dynamic Routing for In-the-Wild Explainable Fruit Recognition
University of Maryland Baltimore County（马里兰大学巴尔的摩分校）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Indian Institute of Science Education and Research Bhopal（印度科学教育与研究学院博帕尔分校）；UJM-Saint-Etienne（圣埃蒂安大学）；CNRS（法国国家科学研究中心）；Laboratoire Hubert Curien（于贝尔·居里安实验室）
针对野外自动水果分类的类内宽变异与类间窄变异问题，提出FruitCapsNet胶囊网络，用空洞卷积结合动态路由，在四个数据集上性能优于10个迁移学习骨干网络，且决策归因更合理。
2026-09-22 cs.CV
P-CapsNets: a General Form of Convolutional Neural Networks
Indiana University Bloomington（印第安纳大学伯明顿分校）；Washington University in St. Louis（圣路易斯华盛顿大学）
我们提出了纯CapsNets（P-CapsNets），它是结构上正常CNN的一代。具体来说，我们对当前的CapsNet进行了三项修改。首先，我们从CapsNets中删除了路由过程，这是基于耦合系数可以隐式学习的观察。其次，我们替换了CapsNets中的卷积层以提高效率。第三，我们将胶囊包装成秩3张量，以进一步提高效率。实验结果表明，P-CapsNets实现了更好的性能比CapsNets与不同的路由过程，通过使用显着较少的参数在MNIST\和CIFAR 10。P-CapsNets的高效率甚至可以与一些深度压缩模型相媲美。例如，我们在MNIST上仅使用3888个参数就达到了99%以上的准确率。我们将胶囊以及相应的相关矩阵可视化，以显示未来初始化CapsNet的可能方法。我们还探索了P-CapsNets与CNN相比的对抗鲁棒性。
2019-12-18 cs.CV
CapStARE: Capsule-based Sequential Architecture for Robust and Efficient Gaze Estimation
University of the Basque Country（巴斯克大学）
提出CapStARE，结合冻结ConvNeXt骨干、注意力路由胶囊和双GRU解码器，在ETH-XGaze等数据集上实现实时高精度目光估计，兼顾空间鲁棒性与计算效率。
2026-06-09 cs.CV
3D-UCaps: 3D Capsules Unet for Volumetric Image Segmentation
VinAI Research（VinAI研究院）；University of Arkansas（阿肯色大学）
迄今为止，卷积神经网络（CNN）在医学图像分割方面取得了可喜的成果。然而，在传统的CNN中，它的池化层倾向于丢弃位置等重要信息。此外，CNN对旋转和仿射变换敏感。胶囊网络是一种数据高效的网络设计，旨在通过用动态路由和卷积步幅取代池化层来克服这些限制，其目的是保留部分-整体关系。胶囊网络在图像识别和自然语言处理方面表现出了很好的性能，但在医学图像分割，特别是体积图像分割方面的应用却很有限。在这项工作中，我们提出了3D-UCaps，一个基于三维体素的胶囊网络的医学体积图像分割。我们通过设计一个具有两条路径的网络将胶囊的概念构建到CNN中：第一条路径由3D胶囊块编码，而第二条路径由3D CNN块解码。因此，3D-UCaps继承了Capsule网络保持空间关系和CNN学习视觉表示的优点。我们在各种数据集上进行了实验，以证明3D-UCaps的鲁棒性，包括iSeg-2017，LUNA 16，Hippocampus和Cardiac，其中我们的方法优于以前的Capsule网络和3D-Unets。
2022-03-16 cs.CV cs.LG eess.IV
ME-CapsNet: A Multi-Enhanced Capsule Networks with Routing Mechanism
Vellore Institute of Technology（韦洛尔理工学院）
卷积神经网络需要构造信息特征，这些信息特征由网络层的通道和空间信息确定。在这项研究中，我们专注于引入一种新的解决方案，该解决方案使用复杂的优化来增强每层感受野内的空间和通道组件。胶囊网络用于理解特征图中特征之间的空间关联。独立胶囊网络在相对简单的数据集上比在复杂的数据集上显示出良好的结果，这是由于特征信息量过大。因此，为了解决这个问题，我们提出了ME-CapsNet，通过引入更深的卷积层来提取重要的特征，然后再通过胶囊层的模块，从而显着提高网络的性能。更深的卷积层包括挤压激励网络的块，其使用随机采样方法来逐渐减小空间大小，从而通过重建通道的相互依赖性来动态地重新校准通道，而不会丢失太多重要的特征信息。使用常用的数据集进行了大量的实验，证明了所提出的ME-CapsNet的效率，它通过在复杂数据集中以最小的模型复杂性实现更高的准确性，明显优于各种研究工作。
2022-03-31 cs.AI cs.CV cs.LG
Capsule-Forensics: Using Capsule Networks to Detect Forged Images and Videos
SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）；The University of Edinburgh（爱丁堡大学）
媒体生成技术的最新进展使攻击者更容易创建伪造的图像和视频。最先进的方法使得能够实时创建从社交网络获得的单个视频的伪造版本。尽管已经开发了许多方法来检测伪造的图像和视频，但它们通常针对某些领域，并且随着新类型的攻击的出现而迅速过时。本文介绍的方法使用胶囊网络来检测各种欺骗，从使用打印图像或录制视频的重放攻击到使用深度卷积神经网络的计算机生成视频。它扩展了胶囊网络的应用超出了他们的初衷，以解决逆图形问题。
2018-10-26 cs.CV eess.IV
Pushing the Limits of Capsule Networks
Princeton University（普林斯顿大学）
卷积神经网络使用池化和其他降尺度操作来维持特征检测的平移不变性，但是在它们的架构中，它们不显式地维持特征相对于彼此的位置的表示。这意味着它们不像人类那样以相同的方式表示同一对象在不同方向上的两个实例，因此训练它们通常需要广泛的数据增强和非常深入的网络。Google Brain的一个团队最近发布了一条新闻，试图解决这个问题：胶囊网络。虽然普通的CNN使用表示特征存在的标量输出，但CapsNet使用表示实体存在的矢量输出。我们希望以各种增量方式对CapsNet进行压力测试，以更好地了解它们的性能和表现力。从广义上讲，我们研究的目标是：（1）在类似于MNIST的数据集上测试CapsNets，但在特定的方式上更难，以及（2）探索CapsNets的内部嵌入空间和错误来源。
2021-03-15 cs.CV
Grouping Capsules Based Different Types
Tongji University（同济大学）
胶囊网络是一种新的神经网络结构，它将特征编码为胶囊，以克服卷积神经网络缺乏等变性的缺点。它采用动态路由算法对不同封装层的参数进行训练，但动态路由算法有待改进。本文提出了一种新的胶囊网络结构，并讨论了耦合系数$c_{ij}$的初始化方法对模型的影响。首先分析了动态路由算法迭代时$c_{ij}$初始值的变化率。$c_{ij}$的初始值越大，模型的效果越好。然后，我们提出了改进，训练不同类型的胶囊分组基于不同类型的胶囊。并且这种改进可以调整$c_{ij}$的初始值，使其更合适。我们在一些计算机视觉数据集上试验了我们的改进，并取得了比原始胶囊网络更好的结果
2019-11-12 cs.CV cs.LG
Segmentation of Bleeding Regions in Wireless Capsule Endoscopy for Detection of Informative Frames
Isfahan University of Technology（伊斯法罕理工大学）；Seattle University（西雅图大学）；University of Michigan（密歇根大学）
无线胶囊式内窥镜（WCE）是诊断胃肠道疾病的有效手段。检测WCE视频中的信息场景可以减少传输视频的长度，并帮助诊断过程。在本文中，我们研究的问题简化的神经网络自动出血区域检测胶囊内窥镜设备。选择合适的颜色通道作为神经网络的输入，并分别使用多层感知器（MLP）和卷积神经网络（CNN）进行图像分类。CNN和MLP结构都被简化以减少计算操作的数量。使用DICE评分在WCE出血图像数据集上评估两个简化网络的性能。仿真结果表明，在MLP和CNN结构上应用简化方法显著减少了计算操作的数量，AUC大于0.97。尽管与简化的MLP相比，CNN表现更好，但简化的MLP以显著更少的计算操作来分割出血区域。考虑到具有简单的结构或更精确的模型的重要性，可以选择每个设计的结构用于胶囊内实施。
2018-08-23 cs.CV
Fast Dynamic Routing Based on Weighted Kernel Density Estimation
Nanjing University of Post and Telecommunication（南京邮电大学）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
胶囊以及它们之间的动态路由是最近提出的用于深度神经网络的结构。胶囊将数据分组为向量或矩阵作为姿态，而不是传统的标量，以表示目标实例的特定属性。除了姿势之外，胶囊还应该附加其存在的概率（通常表示为激活）。动态路由有助于胶囊实现更大的泛化能力与更少的模型参数。然而，阻碍胶囊广泛应用的瓶颈是路由过程中的计算开销。为了解决这个问题，我们推广现有的路由方法的框架内加权核密度估计，并提出了两种快速路由方法与不同的优化策略。我们的方法提示路由的时间效率近40%，可以忽略不计的性能下降。通过堆叠卷积层和胶囊层的混合，我们构建了一个网络架构，以$64\times{64}$像素的分辨率处理输入。所提出的模型在多个基准测试中实现了与其他领先方法的并行性能。
2018-09-01 cs.CV
Effective and Efficient Vote Attack on Capsule Networks
University of Munich（慕尼黑大学）；the Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））
标准的卷积神经网络（CNN）很容易被带有微小的准不可感知的人工扰动的图像所欺骗。作为CNN的替代方案，最近提出的胶囊网络（CapsNets）被证明比流行的攻击协议下的CNN更强大的白盒攻击。此外，CapsNets的类条件重建部分也用于检测对抗性示例。在这项工作中，我们研究了CapsNets的对抗鲁棒性，特别是当输出胶囊受到攻击时，CapsNets的内部工作如何改变。第一个观察结果是，对抗性示例通过操纵来自主胶囊的投票来误导CapsNets。另一个观察结果是，当我们直接应用为CNN设计的多步攻击方法来攻击CapsNet时，由于计算昂贵的路由机制，计算成本很高。受这两个观察的启发，我们提出了一种新的投票攻击，我们直接攻击CapsNet的投票。我们的投票攻击不仅是有效的，而且绕过路由过程的效率。此外，我们将我们的投票攻击检测感知攻击范式，它可以成功地绕过类条件重建的检测方法。大量的实验表明，我们的投票攻击CapsNets的优越的攻击性能。
2021-02-19 cs.CV
A Deep Learning Based 6 Degree-of-Freedom Localization Method for Endoscopic Capsule Robots
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
我们提出了一个强大的基于深度学习的6自由度（DoF）定位系统的内窥镜胶囊机器人。我们的系统主要集中在本地化的内窥镜胶囊机器人内的胃肠道，只使用视觉信息捕捉到的单摄像头集成到机器人。所提出的系统是一个23层深度卷积神经网络（CNN），能够使用标准CPU实时的估计机器人的姿态。用于系统评估的数据集记录在具有逼真表面纹理、柔软度和表面液体性质的外科手术人体胃模型内，使得预训练的CNN架构可以自信地转移到真实的内窥镜场景中。平移和旋转的平均误差分别为7：1%和3：4%。从实验中完成的结果表明，用原始2D内窥镜图像预训练的CNN在胃肠道内准确地执行，并且对于由反射失真、透镜缺陷、渐晕、噪声、运动模糊、低分辨率和缺乏要跟踪的独特地标构成的各种挑战是鲁棒的。
2017-05-15 cs.CV
Quick-CapsNet (QCN): A fast alternative to Capsule Networks
Department of Electrical and Computer Engineering, University of Victoria（电气与计算机工程系，维多利亚大学）
针对CapsNet训练和推理速度慢的问题，提出Quick-CapsNet（QCN），通过减少胶囊数量实现5倍推理加速，仅以轻微准确率损失为代价，并可用更强解码器进一步提升性能。
2025-10-08 cs.CV
Mitigating Vanishing Activations in Deep CapsNets Using Channel Pruning
University of Leeds（利兹大学）
本文针对深度胶囊网络中深层胶囊激活消失导致的可扩展性不足问题，提出利用通道剪枝减少非活跃胶囊，并通过不同剪枝比例实验验证该方法能提升模型准确率。
2024-10-22 cs.AI cs.CV
Dual Directed Capsule Network for Very Low Resolution Image Recognition
IIIT-Delhi（德里英迪拉·甘地信息技术学院）
甚低分辨率（VLR）图像识别对应于对分辨率为16 x16或更小的图像进行分类。虽然它在距离很远（例如监视场景）或从广角移动摄像机捕获目标时具有广泛的适用性，但它受到的关注有限。本研究提出一种新的双向胶囊网络模型，称为DirectCapsNet，用于解决VLR数字和人脸识别。所提出的架构利用胶囊和卷积层的组合来学习有效的VLR识别模型。该架构还结合了两个新的损失函数：（i）提出的HR锚损失和（ii）提出的有针对性的重建损失，以克服VLR图像中有限的信息内容的挑战。所提出的损失使用高分辨率图像作为训练过程中的辅助数据，以“指导”判别特征学习。针对VLR数字分类和VLR人脸识别进行了多个实验，并与最先进的算法进行了比较。所提出的DirectCapsNet始终展示了最先进的结果;例如，在UCCS人脸数据库上，当16 x16图像与80 x80图像匹配时，它显示出超过95%的人脸识别准确率。
2019-08-27 cs.CV
