Improved Inception-Residual Convolutional Neural Network for Object Recognition
University of Dayton（代顿大学）；Comcast Labs（康卡斯特实验室）
机器学习和计算机视觉推动了深度卷积神经网络（DCNN）建模方面的许多重大进展。目前，大多数研究都集中在使用更好的DCNN模型和学习方法来提高识别准确率。除了在少数DCNN架构中之外，递归卷积方法应用得不多。另一方面，Inception-v4和Residual网络在计算机视觉社区中迅速流行起来。在本文中，我们介绍了一种新的DCNN模型，称为Inception递归残差卷积神经网络（IRRCNN），它利用了递归卷积神经网络（RCNN），Inception网络和残差网络的功能。该方法在网络参数个数相同的情况下，提高了初始残差网络的识别精度。此外，该架构概括了Inception网络、RCNN和残差网络，显著提高了训练精度。我们已经在不同的基准测试中对IRRCNN模型的性能进行了经验评估，包括CIFAR-10，CIFAR-100，TinyImageNet-200和CU 3D-100。实验结果表明，与大多数流行的DCNN模型（包括RCNN）相比，识别准确率更高。我们还研究了IRRCNN方法在CIFAR-100数据集上对等效初始网络（EIN）和等效初始残差网络（EIRN）的性能。与CIFAR-100数据集上的RCNN、EIN和EIRN相比，我们报告了分类准确率分别提高了4.53%、4.49%和3.56%。此外，该实验已在TinyImageNet-200和CU 3D-100数据集上进行，其中与Inc…
2017-12-28 cs.CV
Wide-Residual-Inception Networks for Real-time Object Detection
Inha University（仁荷大学）
自从卷积神经网络（CNN）模型出现以来，计算机视觉中的一些任务已经积极地部署了用于特征提取的CNN模型。然而，传统的CNN模型具有高计算成本并且需要高存储容量，这对于诸如嵌入式板或移动平台上的实时的【形】道路上目标检测的商业应用是不切实际的并且是负担不起的。为了解决CNN模型的这一局限性，本文提出了一种宽残差初始（WR-Inception）网络，该网络基于残差初始单元构建架构，该单元捕获同一特征图上各种大小的对象，以及与ResNet等最先进的网络相比更浅和更宽的层。为了验证所提出的网络，本文进行了两个实验，一个是CIFAR-10/100上的分类任务，另一个是在KITTI数据集上使用单次多盒检测器（SSD）的道路上的目标检测任务。
2017-07-17 cs.CV
Inception-Residual Block based Neural Network for Thermal Image Denoising
Chonnam National University（全南国立大学）
由于热分辨率有限，热成像仪显示出嘈杂的图像，特别是对于低温差的场景。为了解决噪声问题，提出了一种新的基于可重复去噪起始-残差块（DnIRB）的神经网络结构。每个DnIRB具有两个具有不同感受野的子块和一个快捷连接以防止消失梯度问题。所提出的方法进行测试的热图像。实验结果表明，该方法显示出最好的SQNR性能和合理的处理时间相比，国家的最先进的去噪方法。
2018-11-19 cs.CV
Breast Cancer Classification from Histopathological Images with Inception Recurrent Residual Convolutional Neural Network
University of Dayton（代顿大学）
深度卷积神经网络（DCNN）是最强大和最成功的深度学习方法之一。DCNN已经在不同的医学成像模式中提供了卓越的性能，包括乳腺癌分类，分割和检测。乳腺癌是影响全世界妇女的最常见和最危险的癌症之一。在本文中，我们提出了一种方法，乳腺癌分类的初始复发残差卷积神经网络（IRRCNN）模型。IRRCNN是一个强大的DCNN模型，它结合了Inception Network（Inception-v4）、Residual Network（ResNet）和Recurrent卷积神经网络（RCNN）的优势。IRRCNN在对象识别任务中表现出优于等效的Inception Networks，Residual Networks和RCNN的性能。在本文中，IRRCNN方法应用于两个公开可用的数据集，包括BreakHis和乳腺癌分类挑战2015的乳腺癌分类。实验结果与现有的机器学习和基于深度学习的方法进行比较，基于图像，基于块，图像级和患者级分类。IRRCNN模型在灵敏度、曲线下面积（AUC）、ROC曲线和全局准确性方面提供了优于现有方法的分类性能。
2018-11-10 cs.CV
Deep Inception-Residual Laplacian Pyramid Networks for Accurate Single Image Super-Resolution
通过以有效的方式利用大图像区域上的上下文信息，深度卷积神经网络在单图像超分辨率（SR）方面表现出令人印象深刻的性能。在本文中，我们提出了一种深度卷积网络，通过在深度拉普拉斯金字塔框架内级联设计良好的接收-残差块来逐步恢复高分辨率（HR）图像中丢失的高频细节。通过优化我们的网络结构，所提出的网络的可训练深度获得了显着的改善，这反过来又提高了超分辨精度。然而，随着我们的网络深度的增加，训练精度的饱和和下降仍然是一个关键问题。对此，我们提出了一种有效的两阶段训练策略，其中我们首先使用从地面真实HR图像下采样的图像作为最佳目标，以梯度裁剪实现的极高学习率训练每个金字塔级别中的接收残差块，然后使用地面真实HR图像对所有预训练的接收残差块进行微调，以获得最终的SR模型。此外，我们提出了一个新的损失函数在图像空间和局部秩空间操作，以优化我们的网络，利用不同的输出组件之间的上下文信息。在基准数据集上的大量实验验证了该方法在客观评价和视觉质量方面优于现有的最先进的SR方法。
2017-11-15 cs.CV
Acute Lymphoblastic Leukemia Diagnosis Employing YOLOv11, YOLOv8, ResNet50, and Inception-ResNet-v2 Deep Learning Models
E-Japan University of Science and Tech.（E-Japan科技大学）；Badya University（巴迪亚大学）；Fayoum University（法尤姆大学）
本研究使用 YOLOv8、YOLOv11、ResNet50 和 Inception-ResNet-v2 对急性淋巴细胞白血病进行图像诊断，可判别白细胞良恶性、分期及造血细胞，最高准确率达 99.7%。
2025-02-13 cs.AI cs.CV cs.LG
Classifying galaxies in the Galaxy10 DECals dataset using Inception and Residual CNNs
University of the Philippines - Diliman（菲律宾大学迪利曼分校）；Department of Computer Science, College of Engineering, University of the Philippines - Diliman（菲律宾大学迪利曼分校工程学院计算机科学系）；National Institute of Physics, College of Science, University of the Philippines - Diliman（菲律宾大学迪利曼分校理学院国家物理研究所）
本研究比较了ResNet101和InceptionV4在星系形态分类任务上的性能，两者均达到约90%的准确率，其中ResNet101表现更优，表明这两种CNN架构可作为未来巡天星系图像分类的稳健基础。
2026-06-07 astro-ph.GA cs.CV
Multi-class Skin Cancer Classification Architecture Based on Deep Convolutional Neural Network
Kennesaw State University（肯尼索州立大学）；University of Calabria（卡拉布里亚大学）
皮肤癌检测具有挑战性，因为不同类型的皮肤病变具有高度相似性。本文提出了一种基于计算机的深度学习方法，可以准确识别不同类型的皮肤病变。深度学习方法可以非常准确地检测皮肤癌，因为模型可以学习图像的每个像素。有时人类会被皮肤病变的相似性所迷惑，我们可以通过机器来最大限度地减少这种相似性。然而，并非所有的深度学习方法都能给出更好的预测。一些深度学习模型存在局限性，导致模型产生假阳性结果。我们引入了几种深度学习模型来对皮肤病变进行分类，以区分皮肤癌和不同类型的皮肤病变。在皮肤病变分类之前，使用数据预处理和数据增强方法。最后，将卷积神经网络（CNN）模型和六个迁移学习模型（如Resnet-50，VGG-16，Densenet，Mobilenet，Inceptionv 3和Xception）应用于可公开获得的基准HAM 10000数据集，对七类皮肤病变进行分类并进行比较分析。这些模型将通过区分癌细胞和非癌细胞来检测皮肤癌。模型的性能是使用性能指标来衡量的，如精确度，召回率，f1得分和准确度。对于inceptionv 3、Xception、Densenet、Mobilenet、Resnet、CNN和VGG 16，我们分别获得了90%、88%、88%、87%、82%和77%的准确率。此外，我们开发了五种不同的堆叠模型，如inceptionv 3-inceptionv 3，Densenet-mobil…
2023-03-13 cs.CV
Inception Recurrent Convolutional Neural Network for Object Recognition
University of Dayton（代顿大学）；Comcast Labs（康卡斯特实验室）
深度卷积神经网络（DCNN）是用于解决机器学习和计算机视觉领域中的各种问题的有影响力的工具。在本文中，我们介绍了一种新的深度学习模型，称为Inception- Recurrent卷积神经网络（IRCNN），它利用了DCNN架构中结合递归层的Inception网络的功能。我们使用不同的基准数据集（如MNIST，CIFAR-10，CIFAR- 100和SVHN）对所提出的IRCNN模型的识别性能进行了经验评估。实验结果表明，与大多数流行的DCNN（包括RCNN）相比，识别精度相似或更高。此外，我们还使用CIFAR-100数据集研究了IRCNN与等效的Inception Networks和Inception-Residual Networks的性能。我们报告了与RCNN，等效的Inception Networks和Inception- Residual Networks相比，在增强的CIFAR- 100数据集上分别提高了约3.5%，3.47%和2.54%的分类精度。
2017-04-25 cs.CV
A Comparison of Deep Learning Models for the Prediction of Hand Hygiene Videos
TU Dublin（都柏林理工大学）
本文比较了各种深度学习模型，如Exception、Resnet-50和Inception V3，用于手部卫生手势的分类和预测，这些手势是根据世界卫生组织（WHO）指南记录的。该数据集包括六个手部卫生运动的视频格式，收集了30名参与者。该网络由具有图像净权重的预训练模型和模型的修改头部组成。经过25个epoch的模型训练后，分类报告的准确率分别为37%（Xception模型）、33%（Inception V3）和72%（ResNet-50）。ResNet-50模型明显优于正确的类预测。主要的速度限制可以克服与使用快速处理GPU为未来的工作。一个完整的手部卫生数据集以及其他通用手势，如单手运动（线性手部运动;圆形手部旋转）将使用ResNet-50架构和医疗保健工作者的变体进行测试。
2021-11-03 cs.CV
A Cross-Residual Learning for Image Recognition
ResNets及其变体在图像识别的各个领域中发挥着重要作用。本文给出了ResNets的另一种变体，一种称为C-ResNets的交叉残差学习网络，它比ResNets具有更少的计算量和参数。C-ResNets通过密集跳线增加模块之间的信息交互，丰富跳线的作用。此外，对跳线和通道数的一些精心设计可以进一步减少C-ResNets的资源消耗，提高其分类性能。为了测试C-ResNets的有效性，我们在实验中使用与微调ResNets相同的超参数设置。我们在数据集MNIST，FashionMnist，CIFAR-10，CIFAR-100，CALTECH-101和SVHN上测试了我们的C-ResNets。与微调后的ResNets相比，C-ResNets不仅保持了分类性能，而且大大减少了计算量和参数，大大节省了GPU和GPU内存资源的利用率。因此，我们的C-ResNets在各种情况下都是ResNets的竞争力和可行的替代品。代码可在https://github.com/liangjunhello/C-ResNet上获得
2022-11-22 cs.CV
Residual Connections Encourage Iterative Inference
Jagiellonian University（雅盖隆大学）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Facebook（脸书）；Aalto University（阿尔托大学）；University of Bonn（波恩大学）
残差网络（Resnets）已经成为深度学习中的一个重要架构。然而，全面了解Resnets仍然是一个正在进行的研究课题。最近的观点认为Resnets执行特征的迭代细化。我们试图进一步揭示这方面的性质。为此，我们研究Resnets分析和经验。我们形式化的概念，在Resnets的迭代细化显示，残留连接自然鼓励功能的残留块沿着负梯度的损失，因为我们从一个块到下一个。此外，我们的实证分析表明，Resnets能够执行表示学习和迭代细化。一般来说，Resnet块倾向于将表示学习行为集中在前几层，而更高层执行特征的迭代细化。最后，我们观察到，天真地共享剩余层会导致表示爆炸和反直觉，过拟合，我们表明，简单的现有策略可以帮助缓解这个问题。
2018-03-08 cs.CV
Skeletal Movement to Color Map: A Novel Representation for 3D Action Recognition with Inception Residual Networks
Carlos III University of Madrid（马德里卡洛斯三世大学）；Cerema Research Center（Cerema研究中心）；Institut de Recherche en Informatique de Toulouse（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）
我们提出了一种新的基于神经元的表示方法，用于使用深度卷积神经网络（D-CNN）进行视频中的3D动作识别。两个关键问题已经得到解决：第一，如何构建一个强大的表示，很容易捕捉时空演变的运动从骨架序列。其次，如何设计能够以有效的方式从新表示中学习区分特征的D-CNN。为了解决这些问题，提出了一种基于骨架的表示，即SPMF（骨架姿态运动特征）。SPMF是由人类行为的两个最重要的属性构建的：姿势和运动。因此，它们能够有效地表示复杂的动作。对于学习和识别任务，我们基于Inception Residual网络的思想设计和优化新的D-CNN，以预测SPMF的动作。我们的方法在两个具有挑战性的数据集上进行了评估，包括MSR 3D和NTU-RGB+D。实验结果表明，该方法优于国家的最先进的方法，同时需要更少的计算。
2018-07-18 cs.CV
GoogLe2Net: Going Transverse with Convolutions
Peking University（北京大学）
有效地获取特征信息在视觉任务中具有重要意义。随着卷积神经网络（CNN）的发展，残差连接和多尺度等概念促进了各种深度学习视觉任务的持续性能提升。然而，现有的方法并没有有机地结合这些有效的思想的优点。在本文中，我们提出了一种新的CNN架构，称为GoogLe 2Net，它由残余特征再利用（ResFRI）或分裂残余特征再利用（Split-ResFRI）组成，它们在相邻的卷积层组之间创建横向通道，使特征流向后面的处理分支，并拥有残余连接以更好地处理信息。我们的GoogLe 2Net能够重新利用上述卷积层组捕获的信息，并在细粒度级别上表达多尺度特征，从而提高图像分类的性能。我们提出的inception可以直接嵌入到类似inception的网络中，而无需任何迁移成本。此外，在基于流行的视觉数据集，如CIFAR 10（97.94%），CIFAR 100（85.91%）和Tiny Imagenet（70.54%）的实验中，我们获得了更好的结果图像分类任务相比，其他现代模型。
2023-01-01 cs.CV
ResnetCrowd: A Residual Deep Learning Architecture for Crowd Counting, Violent Behaviour Detection and Crowd Density Level Classification
Insight Centre for Data Analytics（数据洞察中心）；Dublin City University（都柏林城市大学）
在本文中，我们提出了ResnetCrowd，这是一种用于同时进行人群计数、暴力行为检测和人群密度水平分类的深度残差架构。为了训练和评估所提出的多目标技术，构建了一个新的100个图像数据集，称为多任务群。这个新的数据集是第一个完全注释了人群计数、暴力行为检测和密度水平分类的计算机视觉数据集。我们的实验表明，多任务方法提高了所有任务的个人任务性能，最明显的是暴力行为检测，其ROC曲线AUC（曲线下面积）提高了9%。经过训练的ResnetCrowd模型还在几个额外的基准上进行了评估，突出了针对多个目标训练的人群分析模型的卓越概括性。
2017-05-30 cs.CV
SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection
School of Software, Liaoning Technical University（辽宁工程技术大学软件学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Electronic Science and Technology of China（电子科技大学）
针对深度残差SNN存在非事件驱动操作的问题，本文提出结合OR残差连接与协同注意力模块的SynA-ResNet，实现自然剪枝，并以极低脉冲数取得更高精度和最高28倍能耗降低。
2024-07-08 cs.CV
Inception Architecture and Residual Connections in Classification of Breast Cancer Histology Images
Chonbuk National University（韩国全北国立大学）
本文介绍了将Inception v4深度卷积神经网络应用于ICIAR-2018乳腺癌分类大挑战a部分的结果。挑战任务是对以苏木精和伊红染色图像形式呈现的乳腺癌活检结果进行分类。乳腺癌分类是医学从业者的主要兴趣，因此乳腺癌图像的二进制分类已经受到许多研究人员的研究，但由于类别之间的细微差异，组织学乳腺图像的多类分类一直具有挑战性。在这项工作中，进行了广泛的数据增强，以减少过拟合和有效性委员会的几个Inception v4网络进行了研究。我们报告了89%的准确率4类分类任务和93.7%的癌/非癌两类分类任务，使用我们的测试集的80幅图像。
2019-12-10 cs.CV eess.IV
RCA-IUnet: A residual cross-spatial attention guided inception U-Net model for tumor segmentation in breast ultrasound imaging
IIIT Allahabad（阿拉哈巴德印度理工学院）
深度学习技术的进步为生物医学图像分析应用做出了巨大贡献。由于乳腺癌是妇女中最常见的致命疾病，早期发现是提高生存率的关键手段。像超声这样的医学成像提供了器官功能的极好的视觉表示;然而，对于任何放射科医生来说，分析这种扫描是具有挑战性的，并且耗时，这会延迟诊断过程。虽然提出了各种基于深度学习的方法，取得了可喜的成果，本文介绍了一种有效的残余跨空间注意力引导的初始U-Net（RCA-IUnet）模型，具有最小的训练参数，用于使用乳腺超声成像进行肿瘤分割，以进一步提高不同肿瘤大小的分割性能。RCA-IUnet模型遵循U-Net拓扑结构，具有残差初始深度可分离卷积和混合池化（最大池化和频谱池化）层。此外，还加入了跨空间注意力过滤器，以抑制无关特征并聚焦于目标结构。该模型的分割性能验证两个公开可用的数据集使用标准的分割评估指标，它优于其他国家的最先进的分割模型。
2022-01-02 cs.CV eess.IV
Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition
National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）
具有时空3D核的卷积神经网络（3D CNN）具有直接从视频中提取时空特征以用于动作识别的能力。虽然3D核函数由于其参数的数量太多而趋于过拟合，但通过使用最近的大型视频数据库，3D CNN得到了极大的改进。然而，3D CNN的架构相对于基于2D的CNN中非常深的神经网络的成功相对较浅，例如残差网络（ResNets）。在本文中，我们提出了一种基于ResNets的3D CNN，以实现更好的动作表示。我们详细描述了我们的3D ResNets的训练过程。我们在ActivityNet和Kinetics数据集上对3D ResNets进行了实验评估。在Kinetics上训练的3D ResNets尽管有大量的模型参数，但没有出现过拟合，并且比相对较浅的网络（如C3D）获得了更好的性能。我们的代码和预训练模型（例如Kinetics和ActivityNet）可在https://github.com/kenshohara/3D-ResNets上公开获取。
2017-08-25 cs.CV
Norm-Preservation: Why Residual Networks Can Become Extremely Deep?
University of Central Florida（中佛罗里达大学）
在所谓的ResNet架构中引入了使用跳跃连接来增强神经网络，这让社区感到惊讶，因为它可以训练超过1,000层的网络，并获得显着的性能提升。本文通过分析跳跃连接的作用来破译ResNet，并对神经网络中恒等跳跃连接的优点提出了新的理论结果。我们证明了在残差块中的跳跃连接有利于保持梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。我们还表明，也许令人惊讶的是，随着更多的剩余块被堆叠，网络的范数保持性得到增强。我们的理论论点得到了广泛的经验证据的支持。我们能推动额外的正常保护吗？我们通过提出一种有效的方法来正则化卷积算子的奇异值并使ResNet的过渡层额外保持范数来回答这个问题。我们的数值研究表明，ResNet的学习动态和分类性能可以通过使其更具范数保持性来提高。我们的研究结果和对ResNet的修改（称为Procrustes ResNets）可以用作训练更深层次网络的指南，也可以激发新的更深层次的架构。
2020-04-22 cs.CV
Study of Residual Networks for Image Recognition
Stanford University（斯坦福大学）
深度神经网络在图像分类任务上表现出很高的性能，但更难以训练。由于复杂性和消失梯度问题，通常需要大量的时间和更多的计算能力来训练更深的神经网络。深度残差网络（ResNets）可以使训练过程更快，与等效的神经网络相比，可以获得更高的精度。ResNet通过在卷积神经网络的层中添加一个简单的跳过连接来实现这种改进。在这个项目中，我们首先设计了一个ResNet模型，它可以在Tiny ImageNet数据集上以高精度执行图像分类任务，然后我们将这个ResNet模型的性能与其等价的卷积网络（ConvNet）进行了比较。我们的研究结果表明，ResNets更容易过度拟合，尽管它们的准确性更高。研究了几种防止过拟合的方法，如增加dropout层和随机增强训练数据集。
2018-04-21 cs.CV
Scaling Wide Residual Networks for Panoptic Segmentation
Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
宽残差网络（Wide-ResNets）是残差网络（ResNets）的一种浅而宽的模型变体，通过堆叠少量具有大通道大小的残差块，在多个密集预测任务中表现出出色的性能。然而，自提出以来，Wide-ResNet架构多年来几乎没有发展。在这项工作中，我们重新审视其架构设计最近具有挑战性的全景分割任务，其目的是统一语义分割和实例分割。通过将简单有效的压缩激励和可切换的Atrous卷积结合到Wide-ResNets中来获得基线模型。其网络容量通过调整宽度（即，通道尺寸）和深度（即，层的数量），从而产生SWideRNets（Scaling Wide Residual Networks的缩写）家族。我们证明了这样一个简单的缩放方案，加上网格搜索，确定几个SWideRNet显着推进国家的最先进的性能在快速模型制度和强模型制度的全景分割数据集。
2021-02-08 cs.CV
Spatiotemporal Residual Networks for Video Action Recognition
Graz University of Technology（格拉茨技术大学）；York University（约克大学）
双流卷积网络（ConvNets）在视频中的人类动作识别方面表现出了强大的性能。最近，残差网络（ResNets）作为一种新技术出现，用于训练极深的体系结构。在本文中，我们将时空ResNets作为这两种方法的组合。我们的新架构通过两种方式引入残差连接，将ResNets推广到时空域。首先，我们注入残余连接的外观和运动路径的双流架构，使两个流之间的时空交互。其次，我们将预训练的图像ConvNets转换为时空网络，方法是为这些网络配备可学习的卷积滤波器，这些卷积滤波器被初始化为时间残差连接，并在时间上对相邻的特征图进行操作。这种方法随着模型深度的增加而缓慢增加时空感受野，并自然地集成了图像ConvNet设计原则。整个模型是端到端训练的，允许对复杂的时空特征进行分层学习。我们使用两个广泛使用的动作识别基准来评估我们的新时空ResNet，它超过了以前的最先进水平。
2016-11-07 cs.CV
MP-ResNet: Multi-path Residual Network for the Semantic segmentation of High-Resolution PolSAR Images
University of Trento（特伦托大学）；Information Engineering University（信息工程大学）；Space Engineering University NCO School（航天工程大学士官学校）
由于训练数据的缺乏和相干斑噪声的干扰，高分辨率极化合成孔径雷达（PolSAR）图像的语义分割研究较少。Gaofen竞赛提供了高质量PolSAR语义分割数据集的开放获取。借此机会，我们提出了一个多路径ResNet（MP-ResNet）架构的语义分割的高分辨率PolSAR图像。与传统的U形编码器-解码器卷积神经网络（CNN）架构相比，MP-ResNet通过其并行多尺度分支学习语义上下文，极大地扩大了其有效感受野，提高了局部判别特征的嵌入。此外，MP-ResNet在其解码器中采用了多层次特征融合设计，以充分利用从其不同分支中学习到的特征。消融研究表明，MPResNet比其基线方法（使用ResNet 34的FCN）具有显著优势。它在总体精度（OA），平均F1和fwIoU方面也超过了几个经典的最先进的方法，而其计算成本并没有增加太多。这种CNN架构可以作为一个基线方法，为未来的研究PolSAR图像的语义分割。该代码可从以下网址获得：https://github.com/ggsDing/SARSeg。
2020-11-16 cs.CV
Resnet in Resnet: Generalizing Residual Architectures
Enlitic（Enlitic公司）
残差网络（ResNets）最近在具有挑战性的计算机视觉任务上取得了最先进的成就。我们在Resnet（RiR）中引入Resnet：一种深度双流架构，它概括了ResNet和标准CNN，并且很容易实现，没有计算开销。RiR不断提高ResNets的性能，优于CIFAR-10上具有类似增强量的架构，并在CIFAR-100上建立了新的最先进技术。
2016-03-25 cs.CV cs.LG cs.NE
Residual Networks of Residual Networks: Multilevel Residual Networks
North China Electric Power University（华北电力大学）；University of Missouri（密苏里大学）
具有数百甚至数千层的残差网络家族主导着主要的图像识别任务，但是通过简单地堆叠残差块来构建网络不可避免地限制了其优化能力。提出了一种新的剩余网络结构--剩余网络的剩余网络（RoR），以挖掘剩余网络的优化能力。RoR用优化残差映射的残差映射代替优化原始残差映射。特别地，RoR在原始剩余网络上增加了层次上的捷径连接，以提高剩余网络的学习能力。更重要的是，RoR可以应用于各种剩余网络（ResNets，Pre-ResNets和WRN），并显着提高其性能。我们的实验证明了RoR的有效性和多功能性，它在所有剩余网络结构中实现了最佳性能。我们的RoR-3-WRN 58 -4+SD模型在CIFAR-10、CIFAR-100和SVHN上获得了最新的结果，测试误差分别为3.77%、19.73%和1.59%。与ImageNet数据集上的ResNets相比，RoR-3模型也实现了最先进的结果。
2017-03-05 cs.CV
Naturally Computed Scale Invariance in the Residual Stream of ResNet18
Independent（独立研究者）
本研究探讨了ResNet18残差流如何通过尺度等变表示的逐元素求和自然计算尺度不变性，并通过消融实验将其与尺度鲁棒的物体识别行为建立因果联系。
2025-04-29 cs.CV cs.LG
Residual Feature-Reutilization Inception Network for Image Classification
Key Laboratory of High Confidence Software Technologies (Peking University)（高可信软件技术重点实验室（北京大学））；School of Computer Science, Peking University（北京大学计算机学院）；Nanhu Laboratory（南湖实验室）；University of Macau（澳门大学）；School of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
本文提出残差特征复用Inception网络ResFRI及Split-ResFRI，通过多结构卷积组合与信息交互通道提取多尺度特征并扩大感受野，在CIFAR10、CIFAR100和Tiny Imagenet上以相近模型规模取得领先结果。
2024-12-27 cs.AI cs.CV
Skin Cancer Segmentation and Classification with NABLA-N and Inception Recurrent Residual Convolutional Networks
University of Dayton（代顿大学）
在过去的几年中，深度学习（DL）在不同形式的生物医学图像分析中表现出卓越的性能。已经提出了几种DL架构用于医学成像和计算病理学中的分类、分割和检测任务。在本文中，我们提出了一种新的DL架构，NABLA-N网络，具有更好的特征融合技术，在解码单元皮肤镜图像分割任务。NABLA-N网络在分割任务方面有一些进步。首先，该模型确保了更好的特征表示语义分割与低到高级别的特征图的组合。其次，与其他方法相比，该网络在相同或更少的网络参数下显示出更好的定量和定性结果。此外，初始递归残差卷积神经网络（IRRCNN）模型用于皮肤癌分类。建议的NABLA-N网络和IRRCNN模型在国际皮肤成像合作组织2018（ISIC-2018）的基准数据集上进行皮肤癌分割和分类评估。实验结果表明，与递归残差U-网（R2 U-网）相比，该算法在分割任务上具有更好的性能。分类模型在ISIC 2018数据集上显示皮肤镜皮肤癌分类的测试准确率约为87%。
2019-04-25 cs.CV eess.IV
Learning Strict Identity Mappings in Deep Residual Networks
University of Utah（犹他大学）；NVIDIA（英伟达）
一系列超级深度网络，被称为残差网络或ResNet，在各种视觉任务中实现了创纪录的性能，如图像识别，目标检测和语义分割。训练深度网络的能力自然促使研究人员使用大量资源来实现最佳性能。因此，在许多应用中，超深残差网络只是为了性能的边际改进而使用。在本文中，我们提出了ε-ResNet，它允许我们自动丢弃冗余层，这会产生小于阈值的响应，性能略有损失或没有损失。ε-ResNet架构可以在原始ResNet中使用一些额外的整流线性单元来实现。我们的方法不使用任何额外的变量，也不像其他超参数优化技术那样使用大量的试验。使用单个训练过程实现层选择，并在CIFAR-10，CIFAR-100，SVHN和ImageNet数据集上执行评估。在某些情况下，我们实现了参数数量减少约80%。
2019-06-16 cs.CV
ShakeDrop Regularization for Deep Residual Learning
Osaka Prefecture University（大阪府立大学）；Preferred Networks, Inc.（Preferred Networks公司）
过拟合是深度神经网络中的一个关键问题，即使在最新的网络架构中也是如此。为了缓解ResNet的过拟合效应及其改进（即，Wide ResNet，PyramidNet和ResNeXt），我们提出了一种新的正则化方法，称为ShakeDrop正则化。ShakeDrop受到Shake-Shake的启发，Shake-Shake是一种有效的正则化方法，但只能应用于ResNeXt。ShakeDrop比Shake-Shake更有效，不仅适用于ResNeXt，还适用于ResNet，Wide ResNet和PyramidNet。一个重要的关键是实现训练的稳定性。由于有效的正则化经常会导致不稳定的训练，我们引入了一个训练稳定器，这是一个不寻常的使用现有的正则化。通过各种条件下的实验，我们证明了ShakeDrop工作良好的条件。
2020-01-06 cs.CV
Effective, Fast, and Memory-Efficient Compressed Multi-function Convolutional Neural Networks for More Accurate Medical Image Classification
Convolutional Neural Networks (CNNs) usually use the same activation function , such as RELU, for all convolutional layers. There are performance limitations of just using RELU. In order to achieve better classification performance, reduce training and testing times, and reduce power consumption and memory usage, a new "Compressed Multi-function CNN" is developed. Google's Inception-V4, for example, is a very deep CNN that consists of 4 Inception-A blocks, 7 Inception-B blocks, and 3 Inception-C blocks. RELU is used for all convolutional layers. A new "Compressed Multi-function Inception-V4" (…
2018-11-29 cs.CV
2D and 3D Segmentation of uncertain local collagen fiber orientations in SHG microscopy
Kiel University（基尔大学）
骨中的胶原纤维取向，用二次谐波发生（SHG）显微镜可见，代表了内部结构及其因癌症等影响而发生的变化。虽然这些方向的分析对于医学研究是有价值的，但是手动分析所需的大量局部方向是不可行的。由于这些局部方向的边界不确定，因此只能分割粗糙区域，而不是逐像素分割。我们通过用户研究分析了这些不确定的边界对人类表现的影响。此外，我们比较了各种2D和3D方法，如经典的方法，如傅立叶分析与最先进的深度神经网络的局部纤维取向的分类。我们提出了一种在3D神经网络中使用预训练的2D权重的通用方法，例如Inception-ResNet-3D，这是Inception-ResNet-v2的3D扩展。在10倍交叉验证中，我们基于Inception-ResNet-3D和转移的2D ImageNet权重的两阶段分割实现了与人类相当的准确性。
2019-07-30 cs.AI cs.CV cs.LG
Residual Networks as Flows of Velocity Fields for Diffeomorphic Time Series Alignment
New York University Abu Dhabi（纽约大学阿布扎比分校）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；New York University（纽约大学）
非线性（大）时间扭曲是时间序列分析中一个具有挑战性的麻烦来源。在本文中，我们提出了一种新的双纯时间Transformer网络的成对和联合时间序列对齐。我们的ResNet-TW（Deep Residual Network for Time Warping）通过合成一个增量的非纯映射流来解决对齐问题。在流方程的控制下，我们的残差网络（ResNet）构建了速度场的平滑、流畅和规则的流，从而生成平滑和可逆的变换（即双态扭曲函数）。受优雅的大变形超纯度量映射（LDDMM）框架的启发，最终的变换是由时间相关的向量场流构建的，这些向量场正是我们残差网络的构建块。后者自然地被视为流方程的欧拉离散模式（常微分方程）。一旦经过训练，我们的ResNet-TW就可以通过一次廉价的前向传递来对齐看不见的数据。正如我们在单变量（来自UCR存档的84个数据集）和多变量时间序列（MSR Action-3D，Florence-3D和MSR Daily Activity）的实验中所示，ResNet-TW在联合对齐和分类方面具有竞争力的性能。
2021-06-22 cs.CV
Recurrent Residual Learning for Action Recognition
University of Bonn（波恩大学）
动作识别是计算机视觉中的一个基本问题，在视频监控、人机交互、机器人学习等领域有着广泛的应用前景。给定预先分段的视频，任务是识别视频中发生的动作。从历史上看，手工制作的视频功能被用来解决动作识别的任务。随着Deep ConvNets作为图像分析方法的成功，许多标准ConvNets的扩展旨在处理可变长度的视频数据。在这项工作中，我们提出了一种新的递归ConvNet架构，称为递归残差网络，以解决动作识别的任务。该方法扩展了ResNet，一种用于图像分类的最新模型。虽然ResNet的原始公式旨在学习其层中的空间残差，但我们通过引入允许学习时空残差的递归连接来扩展该方法。与完全递归的网络相比，我们的时间连接只允许有限范围的前一帧对当前帧的输出做出贡献，从而实现有效的训练和推理，并将时间上下文限制在每个帧周围的合理局部范围内。在一个大规模的动作识别数据集上，我们证明了我们的模型比标准ResNet架构和由完全递归层扩展的ResNet都有所改进。
2017-06-27 cs.CV
Efficient ResNets: Residual Network Design
New York University（纽约大学）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
本文设计了一种参数少于500万的残差网络，在CIFAR-10上达到96.04%的测试准确率，远超ResNet18，适用于存储受限设备。
2023-06-21 cs.CV cs.LG
High Efficient Reconstruction of Single-shot T2 Mapping from OverLapping-Echo Detachment Planar Imaging Based on Deep Residual Network
Xiamen University（厦门大学）；University of Rochester（罗切斯特大学）；Zhejiang University（浙江大学）
目的：提出了一种基于深度残差网络（ResNet）的端到端深度卷积神经网络（CNN），用于从单次激发重叠回波分离（OLED）平面成像中高效重建可靠的T2标测。方法：在本课题组开发的SPROM软件上进行模拟，获得训练数据集。通过ResNet训练学习包含两个回波信号的原始OLED图像与对应的T2映射之间的关系。在训练ResNet之后，它被应用于从仿真和在体人脑数据重建T2映射。结果：虽然ResNet完全是在模拟数据上训练的，但训练好的网络可以很好地推广到真实的人脑数据。仿真和在体人脑实验结果表明，该方法显着优于回声分离的方法。可靠的T2映射在网络训练后的几十毫秒内实现，而基于回波分离的OLED重建方法需要几分钟。结论：所提出的方法将极大地促进通过OLED序列的实时动态和定量MR成像，并且ResNet具有有效地从复杂MRI序列重建图像的潜力。
2017-08-17 cs.CV
4-Connected Shift Residual Networks
University of Amsterdam（阿姆斯特丹大学）
移位操作最近被引入作为空间卷积的替代方案。该操作水平和/或垂直地移动激活的子集。然后，空间卷积被移位操作取代，然后进行逐点卷积，从而显着降低计算成本。在这项工作中，我们研究了如何将移位最好地应用于高精度CNN。我们在ImageNet上将两个不同邻域组的移位应用于ResNet：最初引入的8-连通（8 C）邻域移位和研究较少的4-连通（4C）邻域移位。我们发现，当用移位替换ResNet的空间卷积时，两个移位邻域都提供了相同的ImageNet准确性，这表明小邻域对于大图像是足够的。有趣的是，当将移位合并到残差网络中的所有逐点卷积时，4连接移位的性能优于8连接移位。这样的4连接移位设置提供了与全残差网络相同的精度，同时将参数和FLOP的数量减少了40%以上。然后，我们强调，如果没有空间卷积，就不再需要ResNet的下采样/上采样瓶颈通道结构。我们展示了一个新的基于4C移位的残差网络，比原来的ResNet短得多，但在相同的计算成本下具有更高的精度。该网络是迄今为止最高精度的基于移位的网络，展示了深度神经网络中移位的潜力。
2019-10-22 cs.CV
ResNet: Enabling Deep Convolutional Neural Networks through Residual Learning
School of Computing（计算学院）；Singapore Polytechnic（新加坡理工学院）；Singapore（新加坡）
针对深度卷积神经网络训练中的梯度消失问题，研究了采用跳跃连接的ResNet，实验证明其在CIFAR-10数据集上比同深度传统CNN准确率更高、收敛更快更稳定。
2025-10-28 cs.AI cs.CV
Deep Pyramidal Residual Networks with Separated Stochastic Depth
Osaka Prefecture University（大阪府立大学）
在一般物体识别上，深度卷积神经网络（DCNN）实现了高精度。特别是ResNet及其改进打破了最低出错率记录。在本文中，我们提出了一种成功结合两种ResNet改进的方法，ResDrop和PyramidNet。我们证实，所提出的网络优于传统方法;在CIFAR-100上，所提出的网络实现了16.18%的出错率，而PiramidNet实现了18.29%和ResNeXt实现了17.31%。
2016-12-05 cs.CV
Towards Real-Time Head Pose Estimation: Exploring Parameter-Reduced Residual Networks on In-the-wild Datasets
Fraunhofer-Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
头部姿态是人体通信的关键组成部分，因此是人机交互的决定性元素。实时的【形】头部姿态估计在人机交互或驾驶员辅助系统中至关重要。最有前途的头部姿态估计方法是基于卷积神经网络（CNN）。然而，CNN模型通常过于复杂，无法实现实时的【形】性能。为了应对这一挑战，我们探索了CNN的一个流行子组，即残差网络（ResNets），并对其进行了修改，以减少其参数数量。ResNet针对不同的图像大小进行修改，包括低分辨率图像，并与不同数量的图层组合。他们在野外数据集上进行训练，以确保现实世界的适用性。因此，我们证明了ResNets的性能可以保持，同时减少参数的数量。修改后的ResNets达到了最先进的精度，并提供了实时的【形】适用性的快速推理。
2019-08-01 cs.CV
Deep neural network ensemble by data augmentation and bagging for skin lesion classification
Indian Institute of Technology, Varanasi（瓦拉纳西印度理工学院）；Nanyang Technological University（南洋理工大学）
这项工作总结了我们提交的任务3：ISIC 2018年皮肤病变分析对黑色素瘤检测的疾病分类挑战。我们使用了一种新的深度神经网络（DNN）集成架构，该架构可以通过使用数据增强和装袋来有效地对皮肤病变进行分类，以解决数据不足的问题并防止过度拟合。集成由两个DNN架构组成：Inception-v4和Inception-Resnet-v2。DNN架构通过使用$1\times1$卷积在元学习层中进行融合而组合成系综。
2018-07-24 cs.CV
Multi-level Residual Networks from Dynamical Systems View
University of British Columbia（英属哥伦比亚大学）；Xtract Technologies Inc.（Xtract Technologies公司）；Simon Fraser University（西蒙菲莎大学）；Vancouver, Canada（加拿大温哥华（注：此为地址信息，非机构，按要求不应提取，但原文中“Vancouver, Canada”未被明确作为机构，此处按原文提取范围修正，实际应为仅保留机构名））
深度残差网络（ResNets）及其变体广泛用于许多计算机视觉应用和自然语言处理任务。然而，设计和训练ResNet的理论原则仍然没有完全理解。近年来，出现了几种试图从理论上解释ResNet的观点，如解开观点，展开迭代估计和动力系统观点。本文采用动力系统的观点，从理论和实验两方面分析了ResNet的损伤特性。基于这些分析，我们还提出了一种加速ResNet训练的新方法。我们将所提出的方法应用于训练ResNets和Wide ResNets的三个图像分类基准，减少了40%以上的训练时间，具有优异或同等的准确性。
2018-02-01 cs.CV stat.ML
Improved Residual Networks for Image and Video Recognition
Inception Institute of Artificial Intelligence (IIAI)（起源人工智能研究院）
残差网络（ResNets）代表了一种功能强大的卷积神经网络（CNN）架构，广泛应用于各种任务中。在这项工作中，我们提出了一个改进版本的ResNets。我们提出的改进解决了ResNet的所有三个主要组成部分：通过网络层的信息流，剩余构建块和投影快捷方式。我们能够在准确性和学习收敛方面表现出一致的改进。例如，在ImageNet数据集上，使用具有50层的ResNet，对于top-1精度，我们可以报告在一个设置中比基线提高1.19%，在另一个设置中提高约2%。重要的是，这些改进是在不增加模型复杂性的情况下获得的。我们提出的方法允许我们训练非常深的网络，而基线显示出严重的优化问题。我们报告了六个数据集上三个任务的结果：图像分类（ImageNet，CIFAR-10和CIFAR-100），目标检测（COCO）和视频动作识别（Kinetics-400和Something-Something-v2）。在深度学习时代，我们为CNN的深度建立了一个新的里程碑。我们成功地在ImageNet数据集上训练了一个404层的深度CNN，并在CIFAR-10和CIFAR-100上训练了一个3002层的网络，而基线无法在如此极端的深度下收敛。代码可在：https://github.com/iduta/iresnet
2020-04-10 cs.CV
Hardware-efficient Residual Networks for FPGAs
UC San Diego（加州大学圣迭戈分校）
残差网络（ResNets）在其网络中使用跳过连接-重用先前层的激活-以提高训练收敛性，但这些跳过连接为ResNets的硬件实现带来了挑战。硬件必须在处理更多的传入数据之前等待跳过连接被处理，或者将它们缓冲在其他地方。如果没有跳过连接，ResNets将更加高效。因此，我们提出了师生学习方法，逐渐修剪掉ResNet的所有跳过连接，构建一个我们称之为NonResNet的网络。我们发现，在FPGA上实现时，NonResNet将ResNet的BRAM利用率降低了9%，LUT利用率降低了3%，吞吐量提高了5%。
2021-02-02 cs.AR cs.CV
DN-ResNet: Efficient Deep Residual Network for Image Denoising
Samsung Semiconductor Inc.（三星半导体公司）
考虑了一种在不完全了解噪声统计的情况下对图像进行盲去噪的深度学习方法。我们提出了DN-ResNet，这是一种由多个残差块（ResBlocks）组成的深度卷积神经网络（CNN）。通过级联训练，DN-ResNet比最先进的去噪网络更准确，计算效率更高。在训练DN-ResNet时，进一步使用边缘感知损失函数，使去噪结果与传统损失函数相比具有更好的感知质量。接下来，我们介绍了依赖可分离的DN-ResNet（DS-DN-ResNet），它使用了建议的依赖可分离的ResBlock（DS-ResBlock）而不是标准的ResBlock，它具有更少的计算成本。DS-DN-ResNet是通过逐步用DS-ResBlocks替换DN-ResNet中的ResBlocks来逐步演进的。其结果是，高精度和良好的计算效率同时实现。虽然以前最先进的深度学习方法专注于对高斯或泊松损坏的图像进行去噪，但我们也考虑对具有加性高斯噪声的更实用的泊松图像进行去噪。结果表明，DN-ResNets更有效，更强大，并且在对受泊松，高斯或泊松-高斯噪声污染的图像进行盲和非盲去噪的情况下，比当前最先进的深度学习方法以及BM 3D算法的流行变体具有更好的去噪效果。我们的网络也适用于其他图像增强任务，如压缩图像恢复。
2018-10-16 cs.CV eess.IV
Hidden-Fold Networks: Random Recurrent Residuals Using Sparse Supermasks
Tokyo Institute of Technology（东京工业大学）；Kyoto University（京都大学）
深度神经网络（DNN）是如此的过度参数化，以至于最近的研究发现它们已经包含了一个在随机初始化状态下具有高精度的子网络。找到这些子网络是加权学习的一种可行的替代训练方法。与此同时，另一项工作假设深层残差网络（ResNets）试图近似浅层递归神经网络（RNNs）的行为，并提出了一种将其压缩为递归模型的方法。本文提出将这些研究路线融合到一个高度压缩但准确的模型中：隐藏折叠网络（HFN）。通过首先将ResNet折叠成一个递归结构，然后搜索隐藏在随机初始化模型中的精确子网络，可以在不更新权重的情况下获得高性能但很小的HFN。因此，HFN在CIFAR100上实现了与ResNet50相当的性能，同时占用的内存少38.5倍，在ImageNet上实现了与ResNet34相似的性能，内存大小小26.8倍。HFN将通过最大限度地减少数据传输而变得更具吸引力，同时在高度量化和随机加权的DNN推理加速器上运行时保持准确性。代码可在https://github.com/Lopez-Angel/hidden-fold-networks获得
2021-11-24 cs.CV
Comparative Evaluation of CNN Architectures for Neural Style Transfer in Indonesian Batik Motif Generation: A Comprehensive Study
Department of Data Science, Telkom University, Purwokerto Campus, Indonesia（数据科学系，电信大学，普尔沃克尔托校区，印度尼西亚）；Department of Informatics Engineering, Telkom University, Purwokerto Campus, Indonesia（信息技术工程系，电信大学，普尔沃克尔托校区，印度尼西亚）；Center of Excellece Human Centric Engineering, Telkom University, Indonesia（以人为本工程研究中心，电信大学，印度尼西亚）
本研究比较了多种CNN架构在神经风格迁移中的性能，发现ResNet架构在效率和结构保持方面表现更优，适合资源受限环境下的蜡染图案生成。
2025-12-31 cs.CV
Skip Connections Matter: On the Transferability of Adversarial Examples Generated with ResNets
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信PCL研究中心）；The University of Melbourne（墨尔本大学）
跳跃连接是当前最先进的深度神经网络（DNN）的重要组成部分，如ResNet，WideResNet，DenseNet和ResNeXt。尽管他们在构建更深入，更强大的DNN方面取得了巨大的成功，但我们在本文中发现了跳过连接的一个令人惊讶的安全弱点。使用跳过连接可以更容易地生成高度可转移的对抗性示例。具体来说，在类ResNet（具有跳过连接）神经网络中，梯度可以通过跳过连接或剩余模块反向传播。我们发现，根据衰减因子，使用更多来自跳过连接的梯度，而不是剩余模块，可以制作具有高可移植性的对抗性示例。我们的方法被称为跳过梯度法（SGM）。我们对最先进的DNN进行全面的转移攻击，包括ResNets，DenseNets，Inceptions，Inception-ResNet，挤压和激励网络（SENet）和经过鲁棒训练的DNN。我们表明，在梯度流上使用SGM可以大大提高几乎所有情况下精心制作的攻击的可转移性。此外，SGM可以很容易地与现有的黑盒攻击技术相结合，并获得比最先进的可移植性方法的高度改善。我们的研究结果不仅激发了对DNN架构脆弱性的新研究，也为安全DNN架构的设计带来了进一步的挑战。
2020-02-14 cs.CR cs.CV cs.LG
Residual networks classify inputs based on their neural transient dynamics
University of Freiburg（弗莱堡大学）；Department of Computer Science（计算机科学系）
我们从动力系统的角度分析了剩余网络的输入-输出行为，通过在分类阶段之前将剩余动力学与输出活动分离开来。对于一个网络，每个连续层之间的简单跳跃连接，和逻辑激活函数，和层之间共享的权重，我们分析表明，有一个合作和竞争的动力学残差对应的每个输入维。将这些类型的网络解释为非线性滤波器，在吸引子网络的情况下，残差的稳态值表示网络在训练期间观察到的不同输入维度之间的共同特征，并已编码在这些组件中。在残差不收敛到吸引子状态的情况下，它们的内部动态对于每个输入类是可分离的，并且网络可以可靠地近似输出。我们带来了分析和经验证据，残差网络分类输入的基础上集成的瞬态动态的残差，并将显示网络如何响应输入扰动。我们比较了ResNet和多层感知器的网络动力学，并表明这些网络的内部动力学和噪声演化是根本不同的，ResNet对噪声输入更鲁棒。基于这些发现，我们还开发了一种新的方法来调整残差网络在训练过程中的深度。事实证明，在使用该算法修剪ResNet的深度之后，网络仍然能够以高精度对输入进行分类。
2021-05-10 cs.CV
Wider or Deeper: Revisiting the ResNet Model for Visual Recognition
The University of Adelaide（阿德莱德大学）
越来越深的神经网络的趋势是由一个普遍的观察所驱动的，即增加深度会提高网络的性能。然而，最近越来越多的证据表明，简单地增加深度可能不是提高性能的最佳方法，特别是考虑到其他限制。对深度剩余网络的研究也表明，它们实际上可能不是作为一个单一的深度网络运行，而是作为许多相对较浅的网络的集合体运行。我们研究这些问题，并在这样做，在一个新的解释解开深残差网络的观点，解释了一些已经观察到的实验行为。因此，我们能够推导出一种新的、更浅的残差网络架构，它在ImageNet分类数据集上的性能明显优于更深的模型，如ResNet-200。我们还表明，这种性能是可转移到其他问题领域，通过开发一个语义分割的方法，它优于国家的最先进的数据集，包括PASCAL VOC，PASCAL上下文，城市景观的显着利润率。因此，我们提出的架构优于其比较器，包括非常深的ResNets，但在内存使用方面更有效，有时在训练时间方面也更有效。代码和模型可在https://github.com/itijyou/ademxapp上获得
2016-11-30 cs.CV
Residual Networks as Geodesic Flows of Diffeomorphisms
Institut Mines Télécom Atlantique（大西洋矿电信研究所）；LaTIM U1101 INSERM, UBL（法国国家健康与医学研究院LaTIM U1101，UBL）；LabSTIC UMR CNRS 6285, UBL（法国国家科学研究中心LabSTIC UMR 6285，UBL）
本文讨论了残差网络（ResNet）的理解和表征，这是针对各种监督学习问题的最先进的深度学习架构之一。我们专注于ResNets的映射组件，它将嵌入空间映射到一个新的未知空间，在这个未知空间中，预测或分类可以根据线性标准进行陈述。我们表明，这个映射组件可以被视为由常微分方程所支配的连续流的数值实现。特别地，具有共享权重的ResNets被充分地表征为指数纯算子的数值逼近。我们强调在理论上和数值上的相关性的强制执行的nomorphic属性和数值问题的重要性，使一致的连续制定和离散化ResNet实现。我们进一步讨论了ResNet架构的理论和计算见解。
2018-06-22 cs.CV cs.LG
Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
卷积神经网络（CNN）已被视为一类强大的模型，用于图像识别问题。然而，当利用CNN来学习时空视频表示时，这并非微不足道。一些研究表明，执行3D卷积是捕获视频中空间和时间维度的有益方法。然而，从头开始开发非常深的3D CNN导致昂贵的计算成本和存储器需求。一个有效的问题是为什么不将现成的2D网络回收用于3D CNN。在本文中，我们通过在空间域（相当于2D CNN）上使用$1\times3\times3$卷积滤波器模拟$3\times3\times3$卷积加上$3\times1\times1$卷积来构建时间上相邻特征映射的时间连接，从而在残差学习框架中设计了瓶颈构建块的多种变体。此外，我们提出了一种新的架构，称为伪三维残差网络（P3 D ResNet），它利用了块的所有变体，但将每个变体组合在ResNet的不同位置，遵循的理念是，通过深入增强结构多样性可以提高神经网络的能力。我们的P3 D ResNet在Sports-1 M视频分类数据集上对3D CNN和基于帧的2D CNN分别实现了5.3%和1.8%的明显改进。我们进一步研究了预训练的P3 D ResNet在五个不同的基准测试和三个不同的任务上产生的视频表示的泛化性能，证明了优于几种最先进技术的性能。
2017-11-28 cs.CV
Sharing Residual Units Through Collective Tensor Factorization in Deep Neural Networks
National University of Singapore（新加坡国立大学）；AI Institute（360人工智能研究院）
在构建深度神经网络时，残差单元被广泛用于减轻优化困难。然而，性能增益并不能很好地补偿模型大小的增加，这表明这些剩余单元的参数效率较低。在这项工作中，我们首先重新审视残差函数在几个变化的残差单位，并证明这些残差函数实际上可以解释一个统一的框架的基础上广义块项分解。然后，基于新的解释，我们提出了一种新的架构，集体剩余单元（CRU），它通过集体张量因子分解来增强深度神经网络的参数效率。CRU使用共享因素实现不同剩余单元之间的知识共享。实验结果表明，我们提出的CRU网络表现出出色的参数效率，在模型大小为ResNet-50的情况下，实现了与ResNet-200相当的分类性能。通过使用CRU构建更深层次的网络，我们可以在ImageNet-1 k和Places 365-Standard基准数据集上实现最先进的单模型分类精度。(Code和训练模型在GitHub上提供）
2017-03-15 cs.CV
