首页/论文/1802.06167

arXiv 1802.061672018-02stat.MLcs.LG

CapsuleGAN：生成对抗胶囊网络

CapsuleGAN: Generative Adversarial Capsule Network

USC Information Sciences Institute（南加州大学信息科学研究所）

Ayush Jaiswal, Wael AbdAlmageed, Yue Wu, Premkumar Natarajan

备注：: To appear in Proceedings of ECCV Workshop on Brain Driven Computer Vision (BDCV) 2018

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们提出了生成对抗胶囊网络（Capsule GAN），这是一个框架，它使用胶囊网络（CapsNets）而不是标准卷积神经网络（CNN）作为生成对抗网络（GAN）设置中的鉴别器，同时对图像数据进行建模。我们提供了设计CapsNet鉴别器和更新的GAN目标函数的指南，该目标函数包含CapsNet边际损失，用于训练Capsule GAN模型。我们表明，CapsuleGAN在MNIST和CIFAR-10数据集上建模图像数据分布方面优于卷积GAN，在生成对抗度量和半监督图像分类方面进行了评估。

英文摘要：

We present Generative Adversarial Capsule Network (CapsuleGAN), a framework that uses capsule networks (CapsNets) instead of the standard convolutional neural networks (CNNs) as discriminators within the generative adversarial network (GAN) setting, while modeling image data. We provide guidelines for designing CapsNet discriminators and the updated GAN objective function, which incorporates the CapsNet margin loss, for training CapsuleGAN models. We show that CapsuleGAN outperforms convolutional-GAN at modeling image data distribution on MNIST and CIFAR-10 datasets, evaluated on the generative adversarial metric and at semi-supervised image classification.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

核化胶囊网络

Kernelized Capsule Networks

MIT Lincoln Laboratory（麻省理工学院林肯实验室）

Capsule Networks试图以保留层次空间关系的方式来表示图像中的模式。此外，研究表明，这些技术可能对对抗性扰动具有鲁棒性。我们提出了一种改进的训练胶囊网络，通过非参数核方法增加鲁棒性。通过胶囊网络学习的表示用于构建高斯过程（GP）的协方差核。我们证明，这种方法实现了与胶囊网络相当的预测性能，同时提高了对抗性扰动的鲁棒性，并提供了一个有意义的不确定性度量，可以帮助检测对抗性输入。

2019-06-07cs.LGstat.ML

利用胶囊对抗网络进行少数类增强的不平衡数据学习

Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks

Shanghai Jiao Tong University（上海交通大学）；Shenzhen University（深圳大学）；Brunel University（布鲁内尔大学）

图像数据集通常是不平衡的，这一事实对深度学习技术提出了严峻的挑战。在本文中，我们提出了一种方法来恢复不平衡图像的平衡，通过合并两个并发的方法，生成对抗网络（GANs）和胶囊网络。在我们的模型中，生成和判别网络玩一种新的竞争游戏，其中生成器从多变量概率分布中生成针对特定类别的样本。该模型的分类器在识别真假样本的同时，还需要对输入进行分类。由于GAN方法在训练过程中需要完全观测的数据，当训练样本不平衡时，该方法可能会产生相似的样本，导致数据过拟合。通过在对抗训练中联合提供来自两个类组件的所有可用信息来解决这个问题。它通过在生成新的少数样本时引入多数分布结构来改进对不平衡数据的学习。此外，为了提高训练的收敛性，采用特征匹配损失函数对生成器进行训练。此外，防止产生离群值，并且不影响多数类空间。评估表明了我们提出的方法的有效性;特别是，与卷积GAN相比，胶囊GAN的合并在识别高度重叠的类别时具有更少的参数。

2020-04-08cs.LGstat.ML

基于胶囊网络的生成对抗网络图像合成

Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks

University of Minnesota, Twin Cities（明尼苏达大学双城分校）

在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。

2018-11-20cs.CVcs.LGcs.NE

基于胶囊网络的发生器结构的胶囊GAN

Capsule GAN Using Capsule Network for Generator Architecture

Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究院）

本文提出了胶囊GAN，这是一个生成对抗网络，它不仅在生成器中使用胶囊网络，而且在生成器中使用胶囊网络。近年来，生成对抗网络（GANs）得到了广泛的研究。然而，通过GANs生成图像是困难的。因此，GANs有时会生成质量较差的图像。这些GANs使用卷积神经网络（CNN）。然而，CNN具有图像的特征之间的关系信息可能丢失的缺陷。Hinton在2017年提出的胶囊网络克服了CNN的缺陷。Capsule GAN以前报道过在网络中使用Capsule Network。然而，在以前的研究中报道的胶囊GAN没有使用胶囊网络，而是在生成器架构中使用CNN，如DCGAN。本文介绍了在生成器中使用胶囊网络的两种方法。一种是使用DigitCaps层作为生成器的输入。DigitCaps层是Capsule Network的输出层。它具有的特征的输入图像的图像处理器。另一种是在生成器中使用胶囊网络中识别过程的逆操作。我们将本文提出的胶囊GAN与使用CNN的传统GAN和仅使用胶囊网络的胶囊GAN进行了比较。数据集是MNIST，Fashion-MNIST和彩色图像。我们表明，胶囊GAN优于使用CNN的GAN和使用胶囊网络的GAN。本文提出的Capsule GAN体系结构是一种基于Capsule网络的基本体系结构。因此，我们可以将现有的GANs改进技术应用于Capsule GAN。

2020-03-18cs.CVcs.LGeess.IV

CapsGAN：在生成对抗网络中使用动态路由

CapsGAN: Using Dynamic Routing for Generative Adversarial Networks

University of Toronto（多伦多大学）

在本文中，我们提出了一种新的技术，用于在3D域中生成图像的图像具有高度的几何变换。通过合并近年来迅速提升到机器学习时代精神的两种流行的并发方法：GANs（Goodfellow et.（见上文）和胶囊网络（Sabour，Hinton et.（见上文）- 我们提出：\textbf{CapsGAN}。我们表明，CapsGAN在使用旋转MNIST生成具有高几何变换的图像方面优于或等于传统的基于CNN的GANs。在这个过程中，我们还展示了在GANs域中使用胶囊架构的有效性。此外，我们通过使用Wasserstein距离（梯度裁剪，惩罚）和谱归一化进行实验，解决了训练GANs中的Gordian Knot-性能控制和训练稳定性。本文的实验结果应该推动胶囊和GANs在3D图像生成和视频（帧）生成这一仍然令人兴奋和新生的领域中的应用。

2018-06-07cs.CVcs.LG

比较用于图像创建和修改的生成对抗网络技术

Comparing Generative Adversarial Network Techniques for Image Creation and Modification

Institute of Artificial Intelligence（人工智能研究所）；University of Groningen（格罗宁根大学）

生成对抗网络（GANs）已被证明在生成逼真的真实世界图像方面是成功的。在本文中，我们比较各种GAN技术，监督和无监督。比较了不同目标函数对训练稳定性的影响。我们在网络中添加了一个编码器，使得将图像编码到GAN的潜在空间成为可能。生成器、解码器和编码器由深度卷积神经网络参数化。对于神经网络，我们尝试使用新颖的胶囊网络，这是一种用于检测图像中全局特征的最先进技术。使用数字和面部数据集进行实验，并以各种可视化方式说明结果。结果表明，使用编码器网络，它是可能的重建图像。使用条件GAN，我们可以改变生成或编码图像的视觉属性。与标准的卷积神经网络相比，使用胶囊网络的实验导致生成的图像质量较低。

2018-03-24cs.CVcs.LGstat.ML

更多相关论文收起更多论文

用$γ$ -capsules提高胶囊网络的对抗鲁棒性和可解释性

Increasing the adversarial robustness and explainability of capsule networks with $γ$-capsules

University of Innsbruck（因斯布鲁克大学）

在本文中，我们介绍了一个新的归纳偏见胶囊网络和呼叫网络，使用这种事先$γ$胶囊网络。我们的归纳偏差受到下颞叶皮层TE神经元的启发，增加了胶囊网络的对抗鲁棒性和可解释性。一个理论框架与正式定义的$γ$胶囊网络和评价指标。在我们的框架下，我们表明，常见的胶囊网络不一定利用这种归纳偏差。为此，我们引入了一种新的路由算法，并使用不同的训练算法，能够实现$γ$胶囊网络。然后，我们通过实验证明，$γ$胶囊网络确实比普通胶囊网络更透明，对对抗攻击更鲁棒。

2019-12-05cs.AIcs.LGstat.ML

胶囊网络对对抗攻击的脆弱性研究

On the Vulnerability of Capsule Networks to Adversarial Attacks

Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）

本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明，这些架构比其他神经网络更强大的对抗攻击。然而，我们的实验表明，胶囊网络可以像卷积神经网络一样容易被愚弄。

2019-06-09cs.CRcs.LGstat.ML

使用卷积神经网络和胶囊网络的可解释深度伪造视频检测

Explainable Deepfake Video Detection using Convolutional Neural Network and CapsuleNet

BRAC University（BRAC大学）

本研究利用CNN、CapsuleNet和LSTM检测深度伪造视频帧，并通过可解释AI阐明模型决策，以提升透明度和安全性。

2024-04-19cs.CVcs.LGeess.IV

CapsAttacks：胶囊网络上鲁棒且不可感知的对抗攻击

CapsAttacks: Robust and Imperceptible Adversarial Attacks on Capsule Networks

Technische Universität Wien (TU Wien)（维也纳工业大学）；Politecnico di Torino (PoliTo)（都灵理工大学）

胶囊网络保留了对象之间的层次空间关系，因此在执行图像分类等任务时，有可能超越传统卷积神经网络（CNN）的性能。大量的工作已经探索了CNN的对抗性例子，但它们在胶囊网络上的有效性还没有得到很好的研究。在我们的工作中，我们进行了分析，研究胶囊网络的弱点，对抗攻击。这些扰动被添加到测试输入中，对人类来说很小且难以察觉，但可以欺骗网络进行错误预测。我们提出了一个贪心算法，在黑盒攻击场景中自动生成有针对性的不可感知的对抗性示例。我们证明，这种攻击，当应用于德国交通标志识别基准（GTSRB），误导胶囊网络。此外，我们将相同类型的对抗攻击应用于5层CNN和9层CNN，并分析结果，与胶囊网络相比，研究它们行为的差异。

2019-05-24cs.CRcs.CVcs.LG

使用具有面向细节的胶囊网络的CT扫描的放射科医师级COVID-19检测

Radiologist-Level COVID-19 Detection Using CT Scans with Detail-Oriented Capsule Networks

University of Houston（休斯顿大学）；University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心）

放射影像为快速筛查和监测2019冠状病毒病（COVID-19）患者提供了另一种方法。这种方法受到放射学专家短缺的限制，他们可以及时解释这些图像。基于这一挑战，我们的论文提出了一种新的学习架构，称为面向细节的胶囊网络（DECAPS），用于从计算机断层扫描（CT）扫描中自动诊断COVID-19。我们的网络结合了Capsule Networks的优势和几项旨在提高分类准确性的架构改进。首先，DECAPS使用反向动态路由机制，通过防止来自非描述性区域的信息通过来增加模型稳定性。其次，DECAPS采用了一个躲猫猫训练程序，该程序使用两阶段补丁裁剪和丢弃策略来鼓励网络为每个目标概念生成激活图。然后，网络使用激活图来关注感兴趣的区域，并结合数据的粗粒度和细粒度表示。最后，我们使用一种基于条件生成对抗网络的数据增强方法来处理数据稀缺问题。我们的模型实现了84.3%的准确率，91.5%的召回率和96.1%的ROC曲线下面积，显著优于最先进的方法。我们比较了DECAPS模型的性能与三个经验丰富，训练有素的胸部放射科医生，并表明该架构显着优于他们。虽然需要对更大数据集进行进一步研究以证实这一发现，但我们的结果表明，DECAPS等架构可用于协助放射科医生进行CT扫描介导的COVID-19诊断。

2020-04-16cs.CVcs.LGeess.IV

这条肠道并不存在：用于生成逼真无线胶囊内窥镜图像的多尺度残差变分自编码器

This Intestine Does Not Exist: Multiscale Residual Variational Autoencoder for Realistic Wireless Capsule Endoscopy Image Generation

University of Thessaly（塞萨利大学）；Svendborg Hospital（斯文堡医院）；University of Southern Denmark（南丹麦大学）

针对无线胶囊内窥镜带标注数据稀缺导致GAN训练不稳的问题，提出多尺度残差变分自编码器TIDE，可生成逼真且多样的图像并完全替代真实数据用于分类。

2023-02-07cs.CVcs.LGeess.IV

局部病灶生成在有限数据设置下对胶囊内镜图像数据增强有效

Local Lesion Generation is Effective for Capsule Endoscopy Image Data Augmentation in a Limited Data Setting

Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）；BioCam LLC（BioCam有限责任公司）

针对胶囊内镜小样本病灶分类，本文提出基于泊松图像编辑与微调 Image Inpainting GAN 的局部病灶生成增强方法，在 Kvasir Capsule Dataset 上将宏 F1 提升至 33.07%。

2024-12-04cs.AIcs.CVcs.LG

DARCCC：通过从类条件胶囊重构来检测对手

DARCCC: Detecting Adversaries by Reconstruction from Class Conditional Capsules

Google Brain（谷歌大脑）

我们提出了一种简单的技术，允许胶囊模型检测对抗图像。除了被训练来对图像进行分类之外，胶囊模型还被训练来根据正确的顶级胶囊的姿态参数和身份来重建图像。对抗图像看起来不像预测类的典型成员，并且当从该类的顶层胶囊生成重建时，它们具有更大的重建误差。我们表明，在输入图像与其从获胜胶囊重建的图像之间的$l2$距离上设置阈值对于检测三个不同数据集的对抗图像非常有效。同样的技术对于CNN来说效果很好，CNN已经被训练成从softmax之前的最后一个隐藏层的全部或部分重建图像。然后，我们探索一个更强大的，白盒攻击，考虑到重建错误。这种攻击能够欺骗我们的检测技术，但为了使模型将其预测更改为另一个类别，攻击通常必须使“对抗”图像类似于其他类别的图像。

2018-11-16cs.CRcs.CVcs.LG

基于类条件Capsule重构的敌对图像检测与诊断

Detecting and Diagnosing Adversarial Images with Class-Conditional Capsule Reconstructions

UC San Diego（加州大学圣地亚哥分校）；Google Brain（谷歌大脑）

对抗性的例子提出了关于神经网络模型是否对与人类相同的视觉特征敏感的问题。在本文中，我们首先基于输入的类条件重建来检测对抗性示例或其他损坏的图像。为了专门攻击我们的检测机制，我们提出了重建攻击，旨在造成错误分类和低重建错误。这种重构攻击产生未检测到的对抗性示例，但成功率要小得多。在所有这些攻击中，我们发现CapsNets总是比卷积网络表现得更好。然后，我们对CapsNets的对抗性示例进行了诊断，发现重构攻击的成功与源和目标类之间的视觉相似性高度相关。此外，所产生的扰动可能导致输入图像在视觉上看起来更像目标类，因此变得非对抗性。这表明CapsNet使用的功能更符合人类的感知，并且有可能解决对抗性示例提出的核心问题。

2020-02-18cs.CRcs.CVcs.LG

基于卷积递归生成对抗网络的时间序列再生剩余寿命估计

Time-Series Regeneration with Convolutional Recurrent Generative Adversarial Network for Remaining Useful Life Estimation

Peking University（北京大学）；Singapore University of Technology and Design（新加坡科技设计大学）

对于健康预测任务，越来越多的努力集中在基于机器学习的方法上，这些方法能够在不探索退化机制的情况下为工业设备或部件产生准确的剩余使用寿命（RUL）估计。确保这些方法成功的先决条件取决于大量的运行至故障数据，然而，运行至故障数据在实践中可能是不够的。也就是说，进行大量的破坏性实验不仅成本高昂，而且可能造成灾难性的后果。基于这种考虑，本文首次提出了一种针对非循环和循环退化模式的数据自生成的增强型RUL框架。它旨在以数据驱动的方式丰富数据，生成逼真的时间序列以增强当前的RUL方法。首先，通过所提出的卷积递归生成对抗网络（CR-GAN）确保高质量的数据生成，该网络采用双通道融合卷积递归神经网络。接下来，提出了一个分层框架，将生成的数据结合到当前的RUL估计方法中。最后，通过非循环和循环退化系统验证了所提出的方法的有效性。利用改进的RUL框架，采用三种典型的RUL模型对航空发动机系统进行了非循环退化试验。最先进的RUL估计结果是通过用生成的时间序列增强胶囊网络来实现的。具体而言，估计误差的指标评分函数已分别减少了21.77%，和32.67%的两个工作条件，分别。此外，估计误差降低到零的锂离子电池系统，这是周期性退化。

2021-01-11cs.AIcs.LG