iCaps: An Interpretable Classifier via Disentangled Capsule Networks
Seoul National University（首尔大学）
我们提出了一个可解释的胶囊网络，iCaps，用于图像分类。胶囊是嵌套在每一层中的一组神经元，最后一层中的一个被称为类胶囊，它是一个向量，其范数表示该类的预测概率。使用类胶囊，现有的胶囊网络已经提供了一定程度的可解释性。然而，有两个限制降低了它的可解释性：1）类胶囊也包括分类无关的信息，和2）由类胶囊重叠表示的实体。在这项工作中，我们使用一种新的类监督解纠缠算法和一个额外的正则化，分别解决这两个限制。通过对三个数据集的定量和定性评估，我们证明了所得到的分类器iCaps提供了一个预测，并在其背后提供了明确的理由，而没有性能下降。
2020-08-20 cs.CV cs.LG
A Context-aware Capsule Network for Multi-label Classification
ConscientAI Labs（ConscientAI实验室）；Australian National University（澳大利亚国立大学）
最近提出的Capsule Network是一种受大脑启发的架构，通过基于矢量的表示对输入域变化进行建模，为深度学习带来了新的范例。尽管CapsNet是一个开创性的贡献，但它并没有明确地对检测到的实体之间以及相关输入的胶囊特征之间的结构化关系进行建模。受人类视觉系统中皮层网络工作的启发，我们试图通过对CapsNet架构提出几个直观的修改来解决CapsNet的局限性。我们介绍，（1）一种新的路由权重初始化技术，（2）一种改进的CapsNet设计，利用语义之间的关系，使用密集连接的条件随机场和（3）Cholesky变换为基础的相关模块，学习一般的优先级方案。我们提出的设计允许CapsNet更好地扩展到更复杂的问题，例如多标签分类任务，其中语义相关的类别与各种相互依赖性共存。我们提出了我们的扩展的理论基础，并展示了显着的改进ADE20K场景数据集。
2018-10-16 cs.CV
Dual Directed Capsule Network for Very Low Resolution Image Recognition
IIIT-Delhi（德里英迪拉·甘地信息技术学院）
甚低分辨率（VLR）图像识别对应于对分辨率为16 x16或更小的图像进行分类。虽然它在距离很远（例如监视场景）或从广角移动摄像机捕获目标时具有广泛的适用性，但它受到的关注有限。本研究提出一种新的双向胶囊网络模型，称为DirectCapsNet，用于解决VLR数字和人脸识别。所提出的架构利用胶囊和卷积层的组合来学习有效的VLR识别模型。该架构还结合了两个新的损失函数：（i）提出的HR锚损失和（ii）提出的有针对性的重建损失，以克服VLR图像中有限的信息内容的挑战。所提出的损失使用高分辨率图像作为训练过程中的辅助数据，以“指导”判别特征学习。针对VLR数字分类和VLR人脸识别进行了多个实验，并与最先进的算法进行了比较。所提出的DirectCapsNet始终展示了最先进的结果;例如，在UCCS人脸数据库上，当16 x16图像与80 x80图像匹配时，它显示出超过95%的人脸识别准确率。
2019-08-27 cs.CV
Capsule Neural Network based Height Classification using Low-Cost Automotive Ultrasonic Sensors
Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Kronach, Germany（（注：根据要求，地址信息不应提取，此处仅作说明，实际机构为Valeo Schalter und Sensoren GmbH））
高性能超声波传感器硬件主要用于医疗应用。虽然汽车场景的发展正朝着自动驾驶方向发展，但超声波传感器硬件仍然分别保持低成本和低性能。为了克服严格的硬件限制，我们建议使用胶囊神经网络。通过这种网络架构的高分类能力，我们可以实现对检测到的物体进行详细高度分析的出色结果。我们采用了一种新的排序和整形方法来喂养的神经网络与超声数据。这提高了分类性能和计算速度。我们在不同的环境条件下测试了该方法，以验证所提出的方法独立于自动驾驶所需的外部参数而工作。
2019-02-26 cs.CV
Hybrid Gromov-Wasserstein Embedding for Capsule Learning
Shanghai Jiao Tong University（上海交通大学）；Indian Statistical Institute（印度统计研究所）；École de technologie supérieure, Université du Québec（魁北克大学高等技术学院）；University of Granada（格拉纳达大学）
提出一种高效的混合Gromov-Wasserstein框架用于胶囊学习，通过子胶囊投影和最优传输量化输入与组件的对齐程度，在保持可解释性的同时提升了高维数据学习性能，轻量级特性使其在目标检测等复杂视觉任务中优于基线方法。
2023-10-24 cs.CV
Graphics Capsule: Learning Hierarchical 3D Face Representations from 2D Images
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
构建物体层次结构的功能对人脑的视觉加工非常重要。以往的研究已经成功地采用胶囊网络，以无监督的方式分解数字和人脸的部分，以探讨神经网络的相似感知机制。然而，它们的描述仅限于2D空间，限制了它们模仿人类固有的3D感知能力的能力。在本文中，我们提出了一个逆图形胶囊网络（IGC-Net）学习的分层三维人脸表示从大规模的未标记的图像。IGC-Net的核心是一种新型的胶囊，称为图形胶囊，它表示具有计算机图形（CG）中可解释参数的3D图元，包括深度，距离和3D姿态。具体来说，IGC-Net首先将对象分解为一组语义一致的部分级描述，然后将它们组装成对象级描述以构建层次结构。学习的图形胶囊揭示了面向视觉感知的神经网络如何将面部理解为3D模型的层次结构。此外，发现的部分可以部署到无监督的人脸分割任务，以评估我们的方法的语义一致性。此外，具有明确物理意义的部分级描述提供了对最初在黑盒子中运行的人脸分析的洞察，例如形状和纹理对人脸识别的重要性。在CelebA、BP 4D和Multi-PIE上的实验证明了IGC-Net的特性。
2023-03-20 cs.CV
IBCapsNet: Information Bottleneck Capsule Network for Noise-Robust Representation Learning
Shenzhen Polytechnic University（深圳职业技术大学）
本文提出IBCapsNet，通过信息瓶颈原理设计了一种高效胶囊网络，解决传统胶囊网络计算成本高和抗噪声能力差的问题，在多个数据集上展现出更高的鲁棒性和效率。
2026-03-21 cs.CV
CapsFlow: Optical Flow Estimation with Capsule Networks
Indian Institute of Science（印度科学学院）
本文提出CapsFlow，利用胶囊网络建模物体姿态并通过简单线性运算估计光流，在小规模数据集上超越FlowNetC和PWC-Net。
2023-12-02 cs.CV
Linguistically Driven Graph Capsule Network for Visual Question Reasoning
Sun Yat-sen University（中山大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
最近，视觉问答的研究已经探索了端到端网络的各种架构，并在自然和合成数据集上取得了可喜的成果，这需要显式的组合推理。然而，有人认为，这些黑盒方法缺乏结果的可解释性，因此不能很好地执行泛化任务，由于过拟合的数据集偏差。在这项工作中，我们的目标是结合双方的优势，克服他们的局限性，实现一个端到端的一般图像的可解释的结构推理，而不需要布局注释。受胶囊网络可以在常规卷积神经网络（CNN）中雕刻树结构的特性的启发，我们提出了一种称为“语言驱动的图胶囊网络”的分层组合推理模型，其中组合过程由语言解析树指导。具体来说，我们在最低层绑定每个胶囊，以桥接原始问题中单个单词的语言嵌入与视觉证据，然后将它们路由到相同的胶囊，如果它们在解析树中是兄弟姐妹。该合成过程通过对语言驱动的条件随机场（CRF）执行推理来实现，并且跨多个图形胶囊层执行，这导致CNN内部的合成推理过程。在CLEVR数据集、CLEVR合成生成测试和FigureQA数据集上的实验证明了我们的端到端模型的有效性和合成泛化能力。
2020-03-23 cs.CV
Enhanced Anomaly Detection for Capsule Endoscopy Using Ensemble Learning Strategies
Department of Computer Science, University of Tübingen（图宾根大学计算机科学系）；Seminar of Applied Mathematics, ETH Zürich（苏黎世联邦理工学院应用数学研讨班）；Else Kröner Fresenius Center for Digital Health, TU Dresden（德累斯顿技术大学数字健康研究中心）；Department of Medicine I, University Hospital Dresden, TU Dresden（德累斯顿大学医院第一医学部，德累斯顿技术大学）
本文提出一种集成学习策略，通过使用不同损失函数训练多个神经网络，提高胶囊内镜异常检测的准确性和效率，同时减少参数量。
2025-08-20 cs.CV
MSPCaps: A Multi-Scale Patchify Capsule Network with Cross-Agreement Routing for Visual Recognition
CUHK-Shenzhen（香港中文大学（深圳））
MSPCaps通过多尺度特征学习和跨共识路由提升视觉识别性能，实现高效且鲁棒的特征表示学习。
2026-01-28 cs.CV
Improving the Robustness of Capsule Networks to Image Affine Transformations
University of Munich（慕尼黑大学）；Siemens AG, Corporate Technology（西门子股份公司企业技术部）
卷积神经网络（CNN）通过使用池化操作来实现平移不变性。然而，这些操作并不保留所学习的表示中的空间关系。因此，CNN不能外推到输入的各种几何变换。最近，有人提出了胶囊网络（CapsNets）来解决这个问题。在CapsNets中，每个实体都由向量表示，并通过动态路由算法路由到高级实体表示。CapsNets已经被证明比CNN对输入的仿射变换更鲁棒。然而，与未转换的版本相比，它们在转换输入上的性能仍然存在巨大差距。在这项工作中，我们首先重新审视路由过程（联合国）滚动其向前和向后通过。我们的调查表明，路由过程既不有助于泛化能力，也不仿射鲁棒性的CapsNets。此外，我们探索了胶囊变换的局限性，并提出了仿射CapsNets（Aff-CapsNets），这是更强大的仿射变换。在我们的基准测试任务中，模型在MNIST数据集上进行训练，并在AffNIST数据集上进行测试，我们的Aff-CapsNets在不使用任何路由机制的情况下，大幅提高了基准测试的性能（从79%提高到93.21%）。
2020-03-31 cs.CV
3D-UCaps: 3D Capsules Unet for Volumetric Image Segmentation
VinAI Research（VinAI研究院）；University of Arkansas（阿肯色大学）
迄今为止，卷积神经网络（CNN）在医学图像分割方面取得了可喜的成果。然而，在传统的CNN中，它的池化层倾向于丢弃位置等重要信息。此外，CNN对旋转和仿射变换敏感。胶囊网络是一种数据高效的网络设计，旨在通过用动态路由和卷积步幅取代池化层来克服这些限制，其目的是保留部分-整体关系。胶囊网络在图像识别和自然语言处理方面表现出了很好的性能，但在医学图像分割，特别是体积图像分割方面的应用却很有限。在这项工作中，我们提出了3D-UCaps，一个基于三维体素的胶囊网络的医学体积图像分割。我们通过设计一个具有两条路径的网络将胶囊的概念构建到CNN中：第一条路径由3D胶囊块编码，而第二条路径由3D CNN块解码。因此，3D-UCaps继承了Capsule网络保持空间关系和CNN学习视觉表示的优点。我们在各种数据集上进行了实验，以证明3D-UCaps的鲁棒性，包括iSeg-2017，LUNA 16，Hippocampus和Cardiac，其中我们的方法优于以前的Capsule网络和3D-Unets。
2022-03-16 cs.CV cs.LG eess.IV
Evaluating Generalization Ability of Convolutional Neural Networks and Capsule Networks for Image Classification via Top-2 Classification
Fudan University（复旦大学）；Sun Yat-sen University（中山大学）
图像分类是一个具有挑战性的问题，其目的是确定图像中的对象的类别。近年来，深度卷积神经网络（CNN）已被应用于处理这一任务，并取得了令人印象深刻的改进。然而，一些研究表明，CNN的输出可以通过向输入图像添加相对较小的扰动来轻松改变，例如修改少量像素。最近，胶囊网络（CapsNets）被提出，这可以帮助消除这种限制。MNIST数据集上的实验表明，胶囊可以更好地表征对象的特征比CNN。但是很难找到一种合适的定量方法来比较CNN和CapsNets的泛化能力。在本文中，我们提出了一个新的图像分类任务，称为Top-2分类，以评估CNN和CapsNets的泛化能力。与传统的图像分类任务相同，在单标签图像样本上训练模型。但在测试阶段，我们随机连接两个包含不同标签的测试图像样本，然后使用训练好的模型来预测新创建的两个标签图像样本上的前2个标签。这项任务可以为我们提供精确的定量结果，以比较CNN和CapsNets的泛化能力。回到CapsNet，因为它在所有胶囊之间使用完全连接（FC）机制，所以它需要许多参数。为了减少参数的数量，我们在胶囊之间引入参数共享（PS）机制。在五个广泛使用的基准图像数据集上的实验表明，该方法在不损失特征提取有效性的情况下，显著减少了参数的数量。此外，在Top-2分类任务中，与传统的CNN和FC CapsNets相比，所提出的PS CapsNets获得了令人印象深刻的更高精度。
2022-11-27 cs.CV
An optimized Capsule-LSTM model for facial expression recognition with video sequences
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Southwestern University of Finance and Economics（西南财经大学）
针对卷积神经网络在人脸表情识别过程中的局限性，提出了一种基于视频帧序列的人脸表情识别模型Capsule-LSTM。该模型由三个网络组成，包括胶囊编码器，胶囊解码器和LSTM网络。胶囊编码器提取视频帧中面部表情的空间信息。Capsule解码器重建图像以优化网络。LSTM提取视频帧之间的时间信息，并分析帧之间表情变化的差异。在MMI数据集上的实验结果表明，本文提出的Capsule-LSTM模型能够有效提高视频表情识别的准确率。
2021-05-27 cs.CV cs.LG eess.IV
Point2SpatialCapsule: Aggregating Features and Spatial Relationships of Local Regions on Point Clouds using Spatial-aware Capsules
School of Software, Tsinghua University（清华大学软件学院）；Department of Computer Science, University of Maryland at College Park（马里兰大学帕克分校计算机科学系）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）
直接在点云上学习有区别的形状表示在3D形状分析和理解中仍然具有挑战性。目前的研究通常包括三个步骤：首先将点云划分为若干局部区域，然后提取每个局部区域的相应特征，最后使用简单的最大池将所有局部区域特征聚合成一个全局特征作为形状表示。然而，这种基于池化的特征聚合方法没有充分考虑局部区域之间的空间关系，这极大地限制了学习有区别的形状表示的能力。为了解决这个问题，我们提出了一种新的深度学习网络，名为Point2SpatialCapsule，用于聚合点云上局部区域的特征和空间关系，旨在学习更多有区别的形状表示。与传统的基于最大池的特征聚合网络相比，Point2SpatialCapsule不仅可以显式地学习局部区域的几何特征，还可以学习它们之间的空间关系。它由两个模块组成。为了解决局部区域的无序问题，第一个模块，命名为几何特征聚合，被设计为聚合的局部区域的特征到可学习的聚类中心，显式编码的空间位置从原始的3D空间。第二个模块，命名为空间关系聚合，提出了进一步聚合聚类功能和它们之间的空间关系，在特征空间中使用本文开发的空间感知胶囊。与以前的基于胶囊网络的方法相比，空间感知胶囊上的特征路由可以学习点云的局部区域之间更具区分性的空间关系，这通过特征聚类在日志先验和空间位置之间建立了直接映射。
2019-08-29 cs.CV
Self-Attention Capsule Networks for Object Classification
Stanford University（斯坦福大学）；The Weizmann Institute of Science（魏茨曼科学研究所）
我们提出了一种新的架构，对象分类，称为自我注意胶囊网络（SACN）。SACN是第一个将自我注意力机制作为胶囊网络（CapsNet）内的一个整体层的模型。虽然自注意力机制提供了一个长期的依赖关系，导致选择更占主导地位的图像区域集中，CapsNet分析相关的功能和它们的空间相关性，这些区域内。在卷积层中提取特征。然后，Self-Attention层根据特征分析学习抑制不相关区域，并突出显示对特定任务有用的显著特征。然后，注意力地图被馈送到CapsNet主层，然后是分类层。提出的SACN模型旨在解决基线CapsNet的两个主要限制-复杂数据分析和显著的计算负载。在这项工作中，我们使用了一个浅层CapsNet架构，并通过使用Self-Attention模块来补偿缺乏更深层网络的情况，以显着改善结果。在六个不同的数据集上对所提出的Self-Attention CapsNet架构进行了广泛的评估，主要是三个不同的医疗集，以及自然的MNIST，SVHN和CIFAR 10。该模型能够比基线CapsNet更好地对具有不同和复杂背景的图像及其补丁进行分类。因此，提出的Self-Attention CapsNet显著提高了不同数据集内和跨数据集的分类性能，不仅在分类准确性方面，而且在鲁棒性方面都优于基线CapsNet，ResNet-18和DenseNet-40。
2019-11-19 cs.CV
Affordance detection with Dynamic-Tree Capsule Networks
University of Innsbruck（因斯布鲁克大学）；University of Trento（特伦托大学）
视觉输入的示能表示检测是机器人自主操作的基本步骤。对示能表示检测问题的现有解决方案依赖于卷积神经网络。然而，这些网络没有考虑输入数据的空间排列，并且错过了部分到整体的关系。因此，当面对新的、以前看不见的对象实例或新的观点时，它们就显得不足了。克服这种限制的一种解决方案可以是诉诸胶囊网络。在本文中，我们介绍了第一个启示检测网络的基础上动态树结构胶囊稀疏三维点云。我们通过一个我们仅用于评估的新数据集证明了我们基于胶囊的网络在视点不变性和新对象实例的部分分割方面优于当前最先进的模型，该数据集可从github.com/gipfelen/DTCG-Net公开获得。在实验评估中，我们将证明，由于我们的胶囊网络强制执行部分到整体的表示，我们的算法在面对抓住以前看不见的对象时优于当前的启示检测方法。
2022-11-09 cs.CV cs.RO
Hierarchical Object-Centric Learning with Capsule Networks
University of Turin（都灵大学）
本论文研究胶囊网络，提出退火路由迭代、剪枝骨干提取主胶囊及低熵胶囊学习等方法，提升其性能与效率，并应用于无人机定位、旋转预测和肺结节分割等实际场景。
2024-05-30 cs.AI cs.CV
Capsule-ConvKAN: A Hybrid Neural Approach to Medical Image Classification
Department of Cybernetics and Artificial Intelligence, Technical University of Košice（控制论与人工智能系，科希斯技术大学）；Institute of Information Science, University of Miskolc（信息科学研究所，米什科尔特大学）；Department of Computer Science and Engineering, University of Connecticut（计算机科学与工程系，康涅狄格大学）
本文提出Capsule-ConvKAN混合架构，结合胶囊网络与卷积KAN，在组织病理学图像分类中达到91.21%准确率，优于传统模型。
2025-08-07 cs.CV cs.LG eess.IV
Exploring Self-Supervised Learning with U-Net Masked Autoencoders and EfficientNet-B7 for Improved Gastrointestinal Abnormality Classification in Video Capsule Endoscopy
International Institute of Information Technology, Bangalore（国际信息技术学院，班加罗尔）；Indian Institute of Technology, Hyderabad（印度理工学院，海得拉巴）
本文提出结合U-Net掩码自编码器与EfficientNet-B7的自监督学习框架，用于改进视频胶囊内镜中胃肠异常分类，通过特征融合解决数据不平衡问题，验证了方法在准确率上的优势。
2026-04-01 cs.CV
Self-Supervised Learning for Pre-training Capsule Networks: Overcoming Medical Imaging Dataset Challenges
Heriot-Watt University（赫瑞瓦特大学）
针对医学影像数据集规模小、类别不平衡等问题，本文研究用着色和对比学习等自监督任务预训练胶囊网络，在PICCOLO息肉分类任务上准确率提升5.26%。
2025-02-07 cs.CV cs.LG
Improving Medical Waste Classification with Hybrid Capsule Networks
Tilburg University（蒂尔堡大学）
本文提出将胶囊网络与预训练 DenseNet 结合用于医疗废物分类，并在更大规模、多样化图像数据集上验证，解冻层混合模型将 F1 从 0.89 提升至 0.92。
2025-03-13 cs.CV cs.LG
CapsFake: A Multimodal Capsule Network for Detecting Instruction-Guided Deepfakes
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·卡尔法大学）
提出多模态胶囊网络CapsFake，通过整合视觉、文本和频域模态特征检测指令引导型深度伪造图像，在多数据集上准确率提升达20%，并展现出强鲁棒性与泛化能力。
2025-04-27 cs.AI cs.CV
Pushing the Efficiency Limit Using Structured Sparse Convolutions
Duke University（杜克大学）；Shanghai International Studies University（上海外国语大学）；KAUST（阿卜杜拉国王科技大学）
权重修剪是压缩深度卷积神经网络的最流行方法之一。最近的研究表明，在随机初始化的深度神经网络中，存在稀疏的子网络，其性能与原始网络相当。不幸的是，找到这些子网络涉及训练和修剪的迭代阶段，这可能是计算上昂贵的。我们提出了结构化稀疏卷积（SSC），它利用图像中的固有结构来减少卷积滤波器中的参数。与在初始化时执行修剪的现有方法相比，这导致卷积架构的效率提高。我们表明，SSC是一个泛化的常用层（dependency，groupwise和逐点卷积）在``高效的架构。在著名的CNN模型和数据集上的大量实验表明了所提出方法的有效性。与CIFAR-10、CIFAR-100、Tiny-ImageNet和ImageNet分类基准的基线相比，基于SSC的架构实现了最先进的性能。
2022-10-23 cs.CV
Neural Network Encapsulation
The Chinese University of Hong Kong（香港中文大学）；The University of Sydney（悉尼大学）
胶囊是一组神经元，代表网络中模式的不同变体。路由方案确保仅应激活类似于较高层中的较低对应物的某些胶囊。然而，计算复杂性成为扩大到更大网络的瓶颈，因为较低的胶囊需要对应于每个较高的胶囊。为了解决这一限制，我们近似路由过程中有两个分支：一个主分支，它收集主要信息，从其直接接触在较低的层和助手分支的基础上编码在其他较低的胶囊模式变量的基础上，使主。与以往的迭代和无监督路由方案相比，这两个分支是在一个快速，监督和一次通过的方式进行通信。因此，模型的复杂性和运行时间大大降低。出于使高层胶囊与下层胶囊具有一致性的路由的动机，我们扩展了该机制，作为对附近层中信息快速丢失的补偿。我们设计了一个反馈协议单元，将更高的胶囊作为反馈发送回来。它可以被视为网络的额外正则化。反馈协议是通过比较两种分布（较低和较高的胶囊）之间的最佳运输分歧。这样的附加组件见证了胶囊和香草网络的一致收益。我们提出的EncapNet在CIFAR 10/100，SVHN和ImageNet子集上的表现优于以前的最先进技术。
2018-08-11 cs.CV cs.LG stat.ML
VGGT-Long: Chunk it, Loop it, Align it -- Pushing VGGT's Limits on Kilometer-scale Long RGB Sequences
本文提出VGGT-Long，通过分块处理、重叠对齐和轻量循环闭合优化，解决现有模型的可扩展性瓶颈，实现千米级户外环境的单目3D重建。
2026-03-16 cs.CV
HybVIO: Pushing the Limits of Real-time Visual-inertial Odometry
Spectacular AI；Aalto University（阿尔托大学）；Tampere University（坦佩雷大学）
本文提出HybVIO，一种结合滤波VIO与优化SLAM的混合方法，通过改进IMU偏差建模和松耦合SLAM模块提升鲁棒性与长期一致性，在实时用例中超越现有最先进水平，并开源了实现。
2021-11-25 cs.CV
Pushing the Limits of Deep CNNs for Pedestrian Detection
University of Adelaide（阿德莱德大学）；NICTA（国家信息与通信技术研究院）
与计算机视觉中的其他应用相比，卷积神经网络在行人检测方面表现不佳。最近通过使用复杂的深度CNN模型取得了突破，该模型具有许多手工制作的功能或显式遮挡处理机制。在这项工作中，我们表明，通过重新使用深度卷积神经网络（DCNN）模型的卷积特征映射（CFM）作为图像特征来训练增强决策模型的集合，我们能够在不使用专门设计的学习算法的情况下实现最佳报告准确度。我们根据经验确定并披露重要的实施细节。我们还表明，像素标记可以简单地与检测器相结合，以提高检测性能。通过添加互补的手工制作的特征，例如光流，可以进一步改进基于DCNN的检测器。我们在加州理工学院的行人数据集上创造了一个新的记录，将对数平均错过率从$11.7\%$降低到$8.9\%$，相对于$24\%$来说是一个改进。我们还实现了与KITTI数据集上的最先进方法相当的结果。
2016-06-06 cs.CV
CascadeCNN: Pushing the Performance Limits of Quantisation in Convolutional Neural Networks
Imperial College London（帝国理工学院）
这项工作提出了Cascade CNN，这是一种自动化工具流，可以推动任何给定CNN模型的量化限制，旨在执行高吞吐量推理。生成针对任何给定CNN-FPGA对定制的两级架构，由级联的低精度和高精度单元组成。采用置信度评估单元从过低精度单元识别误分类的情况，并将它们转发到高精度单元进行重新处理。实验表明，所提出的工具流可以实现性能提升高达55%的VGG-16和48%的AlexNet在基线设计相同的资源预算和准确性，而不需要重新训练模型或访问训练数据。
2018-07-13 cs.CV cs.LG
This Intestine Does Not Exist: Multiscale Residual Variational Autoencoder for Realistic Wireless Capsule Endoscopy Image Generation
University of Thessaly（塞萨利大学）；Svendborg Hospital（斯文堡医院）；University of Southern Denmark（南丹麦大学）
针对无线胶囊内窥镜带标注数据稀缺导致GAN训练不稳的问题，提出多尺度残差变分自编码器TIDE，可生成逼真且多样的图像并完全替代真实数据用于分类。
2023-02-07 cs.CV cs.LG eess.IV
CascadeCNN: Pushing the performance limits of quantisation
Imperial College London（帝国理工学院）
这项工作提出了Cascade CNN，一个自动化的工具流，推动任何给定的CNN模型的量化限制，通过利用计算时间-精度权衡来执行高吞吐量推理。无需重新训练，即可生成针对任何给定FPGA器件量身定制的两级架构，由低精度和高精度单元组成。在它们之间采用置信度评估单元，以在运行时间识别误分类情况，并将其转发到高精度单元或终止计算。实验表明，CascadeCNN在相同的资源预算和准确性下，VGG-16和AlexNet的性能分别比基线设计提高了55%和48%。
2018-05-22 cs.AI cs.CV cs.LG
FingerNet: Pushing The Limits of Fingerprint Recognition Using Convolutional Neural Network
New York University（纽约大学）；University of California, Riverside（加州大学河滨分校）
指纹识别已被用于手机认证、机场安全等。已经提出了许多不同的特征和算法来改进指纹识别。在本文中，我们提出了一个端到端的深度学习框架，用于使用卷积神经网络（CNN）进行指纹识别，它可以联合学习特征表示并执行识别。我们在大规模指纹识别数据集上训练我们的模型，并在准确性方面改进了以前的方法。我们提出的模型是能够实现一个非常高的识别精度上一个著名的指纹数据集。我们相信这个框架可以广泛用于生物识别任务，使更可扩展和准确的系统成为可能。我们还使用了可视化技术来突出显示输入指纹图像中的重要区域，这些区域主要影响识别结果。
2019-07-28 cs.CV cs.LG
CAD-Unet: A Capsule Network-Enhanced Unet Architecture for Accurate Segmentation of COVID-19 Lung Infections from CT Images
School of Information Engineering, Ningxia University（宁夏大学信息工程学院）；Ningxia Key Laboratory of Artificial Intelligence and Information Security for Channeling Computing Resources from the East to the West, Ningxia University（宁夏人工智能与信息安全重点实验室）；School of Mathematics and Computer Science, Ningxia Normal University（宁夏师范学院数学与计算机科学学院）；School of Advanced Interdisciplinary Studies, Ningxia University（宁夏大学先进交叉学科学院）
本文提出CAD-Unet深度网络架构，通过将胶囊网络融入Unet框架并设计耦合路径，高效融合两者优势以提取复杂病灶空间信息，在四个公开数据集上实现了对COVID-19肺部感染优越的分割性能。
2025-04-30 cs.AI cs.CV eess.IV
Learn to See Faster: Pushing the Limits of High-Speed Camera with Deep Underexposed Image Denoising
Kobe University（神户大学）
以高采集速率记录高保真视频的能力是研究快速运动现象的核心。快速移动场景成像的困难在于运动模糊和曝光不足噪声之间的权衡：一方面，长曝光时间的记录会受到记录场景中移动引起的运动模糊效果的影响。另一方面，到达相机光电传感器的光量随着曝光时间而减少，使得短曝光记录遭受曝光不足噪声。在本文中，我们建议通过将高速成像的问题视为曝光不足的图像去噪问题来解决这种权衡。我们使用深度学习结合曝光不足图像去噪的最新进展，并使这些方法适应高速成像问题的特殊性。利用具有传感器特定噪声模型的大型外部数据集，我们的方法能够将高速相机的采集速率加快一个数量级，同时保持相似的图像质量。
2022-11-29 cs.CV eess.IV
Radiologist-Level COVID-19 Detection Using CT Scans with Detail-Oriented Capsule Networks
University of Houston（休斯顿大学）；University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心）
放射影像为快速筛查和监测2019冠状病毒病（COVID-19）患者提供了另一种方法。这种方法受到放射学专家短缺的限制，他们可以及时解释这些图像。基于这一挑战，我们的论文提出了一种新的学习架构，称为面向细节的胶囊网络（DECAPS），用于从计算机断层扫描（CT）扫描中自动诊断COVID-19。我们的网络结合了Capsule Networks的优势和几项旨在提高分类准确性的架构改进。首先，DECAPS使用反向动态路由机制，通过防止来自非描述性区域的信息通过来增加模型稳定性。其次，DECAPS采用了一个躲猫猫训练程序，该程序使用两阶段补丁裁剪和丢弃策略来鼓励网络为每个目标概念生成激活图。然后，网络使用激活图来关注感兴趣的区域，并结合数据的粗粒度和细粒度表示。最后，我们使用一种基于条件生成对抗网络的数据增强方法来处理数据稀缺问题。我们的模型实现了84.3%的准确率，91.5%的召回率和96.1%的ROC曲线下面积，显著优于最先进的方法。我们比较了DECAPS模型的性能与三个经验丰富，训练有素的胸部放射科医生，并表明该架构显着优于他们。虽然需要对更大数据集进行进一步研究以证实这一发现，但我们的结果表明，DECAPS等架构可用于协助放射科医生进行CT扫描介导的COVID-19诊断。
2020-04-16 cs.CV cs.LG eess.IV
Pushing the Limit of Unsupervised Learning for Ultrasound Image Artifact Removal
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
超声（US）成像是一种快速和非侵入性的成像方式，广泛用于实时临床成像应用，而无需考虑辐射危害。不幸的是，它往往遭受从各种来源，如斑点噪声，模糊，多线采集（MLA），有限的RF通道，小数目的平面波成像的情况下的视角，等经典的方法来处理这些问题，包括图像域信号处理方法，使用各种自适应滤波和基于模型的方法的视觉质量差。最近，深度学习方法已经成功地用于超声成像领域。然而，这些方法的局限性之一是在许多实际应用中难以获得用于监督训练的成对高质量图像。在本文中，受最近使用最优传输驱动循环GAN（OT-cycleGAN）的无监督学习理论的启发，我们研究了无监督深度学习在没有匹配参考数据的情况下对US伪影去除问题的适用性。各种任务，如反卷积，斑点去除，有限的数据伪影去除等的实验结果证实，我们的无监督学习方法提供了相当的结果，监督学习的许多实际应用。
2020-06-26 cs.CV cs.LG eess.IV
