Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification
Google Research（谷歌研究院）；University of California San Diego（加州大学圣地亚哥分校）
尽管卷积神经网络（CNN）的采用导致了视频分析的稳步进展，但相对改善不如2D静态图像分类中的改善那么剧烈。存在三个主要的挑战，包括空间（图像）特征表示，时间信息表示和模型/计算复杂性。Carreira和Zisserman最近表明，从2D网络膨胀并在ImageNet上预训练的3D CNN可能是空间和时间表示学习的一种有前途的方法。然而，就模型/计算复杂度而言，3D CNN比2D CNN昂贵得多，并且容易过拟合。我们通过系统地探索关键的网络设计选择，建立一个有效和高效的视频分类系统，寻求速度和准确性之间的平衡。特别是，我们表明可以用低成本的2D卷积来取代许多3D卷积。令人惊讶的是，当替换网络底部的3D卷积时，实现了最佳结果（速度和准确性），这表明对高级语义特征的时间表示学习更有用。我们的结论推广到具有非常不同属性的数据集。当与其他几个具有成本效益的设计，包括可分离的空间/时间卷积和功能门控相结合时，我们的系统会产生一个有效的视频分类系统，该系统在几个动作分类基准（Kinetics，Something-something，UCF 101和HMDB）以及两个动作检测（本地化）基准（JHMDB和UCF 101 -24）上产生非常有竞争力的结果。
2018-07-27 cs.CV
Learning to ignore: rethinking attention in CNNs
Tampere University（坦佩雷大学）；Finnish Environment Institute（芬兰环境研究所）；Aarhus University（奥胡斯大学）
最近，人们越来越关注在卷积神经网络（CNN）中应用注意力机制来解决计算机视觉任务。这些方法中的大多数学习显式地识别和突出显示场景的相关部分，并将参与的图像传递到网络的其他层。在本文中，我们认为这种方法可能不是最佳的。可以说，明确地学习图像的哪些部分是相关的通常比学习图像的哪些部分不太相关更难，因此应该被忽略。事实上，在视觉领域中，存在许多容易识别的无关特征模式。例如，靠近边界的图像区域不太可能包含用于分类任务的有用信息。基于这个想法，我们建议重新制定CNN中的注意力机制，以学习忽略而不是学习注意。具体来说，我们建议明确学习场景中的不相关信息，并在生成的表示中抑制它，只保留重要的属性。这种内隐注意机制可以被结合到任何现有的注意力机制中。在这项工作中，我们使用两个最近的注意力方法挤压和激励（SE）块和卷积块注意力模块（CBAM）来验证这个想法。在不同数据集和模型架构上的实验结果表明，学习忽略，即，与标准方法相比，内隐注意产生更好的性能。
2021-11-10 cs.CV cs.LG
Sparta: Spatially Attentive and Adversarially Robust Activation
Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）；New York University（纽约大学）；Nanyang Technological University（南洋理工大学）；Tianjin University（天津大学）；University of South Carolina（南卡罗来纳大学）
对抗性训练（AT）是提高深度卷积神经网络（CNN）鲁棒性的最有效方法之一。就像普通的网络训练一样，AT的有效性依赖于基本网络组件的设计。在本文中，我们深入研究了AT中基本ReLU激活组件在鲁棒CNN中的作用。我们发现，ReLU激活的空间共享和输入无关特性使得CNN对标准或对抗训练的白盒对抗攻击的鲁棒性较低。为了解决这个问题，我们将ReLU扩展到一个新的Sparta激活函数（空间注意和对抗鲁棒激活），它使CNN能够实现更高的鲁棒性，即，对抗性示例的较低出错率，以及较高的准确性，即，与现有的最先进的（SOTA）激活函数相比，在干净的示例上具有更低的出错率。我们进一步研究了Sparta和SOTA激活函数之间的关系，为我们的方法的优势提供了更多见解。通过全面的实验，我们还发现所提出的方法具有优越的跨CNN和跨数据集的可移植性。对于前者，针对一个CNN的经对抗训练的斯巴达函数（例如，ResNet-18）可以被固定并直接用于训练另一个对抗鲁棒的CNN（例如，ResNet-34）。对于后者，Sparta函数在一个数据集上训练（例如，CIFAR-10）可以用于在另一个数据集（例如，SVHN）。在这两种情况下，Sparta导致CNN比vanilla ReLU具有更高的鲁棒性，验证了所提出方法的灵活性和多功能性。
2022-12-03 cs.CV cs.LG
Multi-function Convolutional Neural Networks for Improving Image Classification Performance
传统的卷积神经网络（CNN）通常对所有具有非线性映射操作的神经元使用相同的激活函数（通常为ReLU）。例如，深度卷积架构Inception-v4使用ReLU。为了提高传统卷积神经网络的分类性能，通过对不同的神经元使用不同的激活函数，构造了一种新的"多函数卷积神经网络"（MCNN）。对于$n$神经元和$m$不同的激活功能，共有$m^n-m$ MCNN和只有$m$的传统CNN。因此，最好的模型很可能是从MCNN中选择的，因为MCNN比传统的CNN有更多的$m^n-2m$。对于性能分析，使用了两个应用程序的两个不同数据集（对MNIST数据库中的手写数字进行分类，并将大脑MRI图像分类为阿尔茨海默病（AD）的四个阶段之一）。对于这两种应用，为MCNN的每一层随机选择激活函数。对于AD诊断应用，使用新创建的多功能Inception-v4架构构建MCNN。总体而言，模拟表明，MCNN在两种应用的多类分类准确性方面都优于传统CNN。一个重要的未来的研究工作将是有效地选择最好的MCNN从$m^n-m$候选MCNN。当前的CNN软件仅向用户提供MCNN的部分功能，因为不同的层可以使用不同的激活函数，但不能使用同一层中的单个神经元。因此，通过使用多个激活函数来修改当前的CNN软件系统（例如ResNets、DenseNets和双路径网络）并开发更有效和更快的MCNN软件系统和工具将非常有助于解决困难的实…
2018-05-30 cs.CV
EraseReLU: A Simple Way to Ease the Training of Deep Convolution Neural Networks
University of Technology Sydney（悉尼科技大学）；Lanzhou University（兰州大学）
对于大多数最先进的架构，整流线性单元（ReLU）成为伴随每一层的标准组件。虽然ReLU可以在一定程度上简化网络训练，但阻塞负值的特性可能会抑制有用信息的传播，并导致难以优化非常深的卷积神经网络（CNN）。此外，堆叠层与非线性激活是很难近似的特征表示之间的内在线性变换。在本文中，我们研究了擦除某些层的ReLU的效果，并将其应用于遵循确定性规则的各种代表性架构。它可以简化优化并提高非常深的CNN模型的泛化性能。我们发现两个关键因素对性能提升至关重要：1）ReLU在基本模块中应该被擦除的位置; 2）基本模块中擦除ReLU的比例;我们表明，擦除网络中所有基本模块的最后一个ReLU层通常会提高性能。在实验中，我们的方法成功地提高了各种代表性架构的性能，我们报告了SVHN，CIFAR-10/100和ImageNet的改进结果。此外，我们实现了竞争力的单模型性能CIFAR-100与16.53%的出错率相比，国家的最先进的。
2017-11-17 cs.CV
MNet: Rethinking 2D/3D Networks for Anisotropic Medical Image Segmentation
Southeast University（东南大学）；Jiangsu Provincial Joint International Research Laboratory of Medical Information Processing（江苏省医学信息处理联合国际研究实验室）；Centre de Recherche en Information Biomédicale Sino-Français (CRIBs)（中法生物医学信息研究中心（CRIBs））
厚切片扫描的性质导致3D医学图像的严重切片间不连续性，并且vanilla 2D/3D卷积神经网络（CNN）无法以平衡的方式表示稀疏的切片间信息和密集的切片内信息，导致严重的切片间特征欠拟合（对于vanilla 2D CNN）和过度拟合来自远程切片的噪声（对于vanilla 3D CNN）。在这项工作中，提出了一种新的网状网（MNet），通过学习来平衡轴间的空间表示。1)我们的MNet通过将多维卷积深度嵌入基本模块，潜在地融合了大量的表示过程，使得表示过程的选择灵活，从而自适应地平衡稀疏切片间信息和密集切片内信息的表示。2)我们的MNet潜在地融合了每个基本模块内部的多维特征，同时利用2D（2D视图中易于识别的区域的高分割精度）和3D（3D器官轮廓的高平滑度）表示的优势，从而获得更准确的目标区域建模。在四个公共数据集（CT\&MR）上进行了综合实验，实验结果一致表明所提出的MNet方法优于其他方法.代码和数据集可在以下网址获得：https://github.com/zfdong-code/MNet
2022-05-10 cs.CV eess.IV
Effective, Fast, and Memory-Efficient Compressed Multi-function Convolutional Neural Networks for More Accurate Medical Image Classification
Convolutional Neural Networks (CNNs) usually use the same activation function , such as RELU, for all convolutional layers. There are performance limitations of just using RELU. In order to achieve better classification performance, reduce training and testing times, and reduce power consumption and memory usage, a new "Compressed Multi-function CNN" is developed. Google's Inception-V4, for example, is a very deep CNN that consists of 4 Inception-A blocks, 7 Inception-B blocks, and 3 Inception-C blocks. RELU is used for all convolutional layers. A new "Compressed Multi-function Inception-V4" (…
2018-11-29 cs.CV
SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Extremadura（埃斯特雷马杜拉大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
高光谱（HS）图像的特点是近似连续的光谱信息，使精细识别材料通过捕捉细微的光谱差异。卷积神经网络（CNN）由于其出色的局部上下文建模能力，已被证明是HS图像分类中一种强大的特征提取器。然而，由于其固有的网络骨干的限制，CNN未能很好地挖掘和表示光谱特征的序列属性。为了解决这个问题，我们重新思考HS图像分类从顺序的角度与Transformers，并提出了一种新的骨干网络称为\ul{SpectralFormer}。除了经典Transformers中的波段表示之外，SpectralFormer能够从HS图像的相邻波段学习光谱局部序列信息，从而产生分组光谱嵌入。更重要的是，为了减少在逐层传播过程中丢失有价值信息的可能性，我们设计了一种跨层跳过连接，通过自适应学习跨层融合“软”残差来将类似记忆的组件从浅层传递到深层。值得注意的是，所提出的SpectralFormer是一个高度灵活的骨干网络，它可以适用于像素和分块输入。我们通过进行广泛的实验，在三个HS数据集上评估了拟议的SpectralFormer的分类性能，显示了相对于经典Transformers的优越性，并与最先进的骨干网络相比取得了显着的改进。为了便于再现，本工作的代码将在https://github.com/danfenghong/IEEE_TGRS_SpectralFormer上提供。
2021-11-20 cs.AI cs.CV
Comparison of different convolutional neural network activation functions and methods for building ensembles
University of Padua（帕多瓦大学）；Missouri State University（密苏里州立大学）；Tampere University（坦佩雷大学）
最近，人们一直致力于寻找高效和强大的激活函数的CNN层。由于激活函数在影响性能的层之间注入不同的非线性，因此改变它们是构建CNN的鲁棒集成的一种方法。本研究的目的是检查使用不同激活函数制作的CNN集合的性能，包括这里提出的六个新函数：2D Mexican ReLU，TanELU，MeLU+GaLU，对称MeLU，对称GaLU和灵活MeLU。性能最高的集成是用具有不同激活层的CNN构建的，这些激活层随机取代了标准ReLU。在15个生物医学数据集代表各种分类任务的建议的方法进行了全面的评估。该方法在两种基本的CNN架构上进行了测试：Vgg 16和ResNet 50。结果表明，这种方法的性能优越。本研究的MATLAB源代码将在https://github.com/LorisNanni上提供。
2021-04-02 cs.AI cs.CV
Perceptron Synthesis Network: Rethinking the Action Scale Variances in Videos
Shanghai Jiao Tong University（上海交通大学）
视频动作识别已经通过固定大小的3D内核的CNN堆栈部分解决。然而，这些方法可能表现不佳，只捕捉刚性的时空模式在单尺度空间，而忽略了跨不同的动作基元的尺度变化。为了克服这一限制，我们建议从数据中学习最佳尺度的内核。更具体地说，提出了一个\textit{action perceptron synthesizer}从一袋固定大小的内核，密集路由路径相互作用的内核。为了保证路径的交互丰富性和信息容量，我们设计了新的\textit{optimized feature fusion layer}。这一层建立了一个原则性的通用范例，足以覆盖大多数当前的特征融合技术（例如，信道重排和信道丢失）。通过插入\textit{synthesizer}，我们的方法可以很容易地适应传统的2D CNN的视频理解任务，如动作识别与边际额外的计算成本。所提出的方法在几个具有挑战性的数据集（即，物对物、动力学和潜水48），高度需要时间推理或外观辨别，实现新的最先进的结果。特别是，我们的低分辨率模型优于最近的强基线方法，即，TSM和GST的计算量不到其计算量的30%。
2022-04-19 cs.CV cs.LG eess.IV
Rethinking Generalization Performance of Surgical Phase Recognition with Expert-Generated Annotations
hutom；Yonsei University College of Medicine（延世大学医学院）
随着深度神经网络的应用领域扩展到需要专业知识的领域，例如，在医学和法律方面，需要更精细的注释过程来进行专家知识训练。特别是，在专家知识训练的情况下，难以保证临床领域中的泛化性能，在专家知识训练中，即使在专家之间，关于注释的意见也可能不同。为了提出CNN专业培训的注释生成过程的问题，我们验证了腹腔镜胆囊切除术和胃癌胃大部切除术的手术阶段识别的注释。我们通过分析先前注释标签的差异和讨论手术阶段的标准，为胆囊切除术的七个阶段制作校准的注释。由于胃癌的胃切除术有较复杂的二十一个手术阶段，我们与五位专家通过修订过程产生共识注释。通过用修改后的注释训练基于CNN的手术阶段识别网络，我们在相同的交叉验证设置下，与用原始注释训练的模型相比，实现了更好的泛化性能。我们表明，深度神经网络的专业知识数据注释管道应该根据问题类型更加严格，以应用于临床领域。
2021-10-22 cs.CV
Joint Point Cloud Upsampling and Cleaning with Octree-based CNNs
Peking University（北京大学）
本文提出一种基于八叉树3D U-Net的简单高效方法，在单个网络中联合完成点云上采样与清理，整体处理点云使推理速度提升至少47倍，并在多个基准上取得最先进性能。
2024-10-22 cs.CV
Learn to Enhance the Negative Information in Convolutional Neural Network
Nanjing University（南京大学）
提出可学习激活机制LENI，增强CNN负信息，重建死亡神经元，提升表示能力，在ImageNet-1k上最高提升1.24%准确率，且参数开销极小。
2023-06-18 cs.CV
CNNs are Globally Optimal Given Multi-Layer Support
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
随机梯度下降（SGD）是训练现代CNN的核心工具。虽然给出了令人印象深刻的经验表现，但收敛速度可能很慢。在本文中，我们探索了一种新的策略，用于使用交替策略训练CNN，该策略在训练过程中提供了大量的加速。我们做出了以下贡献：（i）用正硬阈值替换CNN中的ReLU非线性，（ii）将这种非线性重新解释为二进制状态向量，如果多层支持已知，则使整个CNN线性，以及（iii）证明在某些条件下，可以通过局部下降找到CNN的全局最优解。然后，我们采用了一种新的交替策略（在权重和支持度之间）进行CNN训练，这导致了更快的收敛速度，良好的理论属性，并在大规模数据集（例如ImageNet）以及其他标准基准上实现了最先进的结果。
2017-12-14 cs.CV cs.LG cs.NE
Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm
Hong Kong University of Science and Technology（香港科技大学）；Tencent AI lab（腾讯人工智能实验室）；Huazhong University of Science and Technology（华中科技大学）
在这项工作中，我们研究了1位卷积神经网络（CNN），其中的权重和激活都是二进制的。虽然有效，但与大规模数据集上的对应实值CNN模型（如ImageNet）相比，当前1位CNN的分类准确性要差得多。为了最小化1位和实值CNN模型之间的性能差距，我们提出了一种新的模型，称为Bi-Real net，它通过身份捷径将真实激活（在1位卷积和/或BatchNorm层之后，在符号函数之前）连接到连续块的激活。因此，与标准的1位CNN相比，双实数网络的表示能力显著增强，并且计算上的额外成本可以忽略不计。此外，我们还开发了一种特定的训练算法，包括1位CNN的三种技术创新。首先，我们推导出一个紧逼近的不可微的符号函数的导数关于激活。其次，我们提出了一个幅度感知梯度的权重更新的权重参数。第三，我们使用clip函数而不是ReLU函数来预训练实值CNN模型，以更好地初始化Bi-Real网络。在ImageNet上的实验表明，采用该算法训练的18层和34层Bi-Real网络分别达到了56.4%和62.2%的top-1准确率。与现有技术相比（例如，XNOR Net），Bi-Real网络实现了高达10%的top-1精度，节省了更多的内存和更低的计算成本。关键词：二进制神经网络，1-bit CNN，1-layer-per-block
2018-09-29 cs.CV
DeepFlorist: Rethinking Deep Neural Networks and Ensemble Learning as A Meta-Classifier For Object Classification
University of Melbourne（墨尔本大学）
本文提出DeepFlorist花卉分类范式，以集成学习作为元分类器，结合DCNN与CNN提取特征，在基准数据集上取得优于现有方法的准确率与鲁棒性，推动了植物分类与生态研究应用。
2023-07-04 cs.AI cs.CV cs.DC
Efficient Sparse-Winograd Convolutional Neural Networks
Stanford University（斯坦福大学）；NVIDIA（英伟达）；Massachusetts Institute of Technology（麻省理工学院）；Google Brain（谷歌大脑）
卷积神经网络（CNN）是计算密集型的，这限制了其在移动设备上的应用。它们的能量主要取决于执行卷积所需的乘法次数。Winograd的最小过滤算法（Lavin，2015）和网络修剪（Han et al.，2015）可以减少操作计数，但是这两种方法不能直接组合$-$，应用Winograd变换填充权重和激活两者中的稀疏性。我们对基于Winograd的CNN提出了两个修改，以使这些方法能够利用稀疏性。首先，我们将ReLU操作移动到Winograd域中，以增加转换激活的稀疏性。其次，我们修剪Winograd域中的权重，以利用静态权重稀疏性。对于CIFAR-10，CIFAR-100和ImageNet数据集上的模型，我们的方法分别将乘法次数减少了$10.4\times$，$6.8\times$和$10.8\times$，准确性损失小于$0.1\%$，优于之前的基线$2.0\times$ - $3.0\times$。我们还表明，将ReLU移动到Winograd域可以进行更积极的修剪。
2018-02-18 cs.CV cs.LG cs.NE
A Theoretical Explanation for Perplexing Behaviors of Backpropagation-based Visualizations
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
已经提出了基于反向传播的可视化来解释卷积神经网络（CNN），但是缺少一个理论来证明它们的行为：引导反向传播（GBP）和去卷积网络（DeconvNet）生成比显着图更易于人类解释但对类别不敏感的可视化。受此启发，我们开发了一个理论解释，揭示了GBP和DeconvNet本质上是在进行与网络决策无关的（部分）图像恢复。具体来说，我们的分析表明，GBP和DeconvNet引入的反向ReLU以及CNN中的本地连接是引人注目的可视化的两个主要原因。提供了大量的实验来支持理论分析。
2020-02-13 cs.AI cs.CV
Lattice theory and algebraic models for deep convolutional learning based on mathematical morphology
Mines Paris, PSL University, CMA-Center for Applied Mathematics, Sophia-Antipolis, France（巴黎 Mines 学院，PSL 大学，应用数学中心，法国索菲亚-安蒂波利斯）
本文基于格论和数学形态学，为深度卷积架构（CNN、ResNet、UNet）建立了严格的代数框架，揭示了标准CNN流水线是交叉格算子，并识别出三种真正的幂等开运算层设计。
2026-05-23 cs.AI cs.CV cs.LG
Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning
SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）；Sun Yat-Sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
通道修剪是一种用于压缩卷积神经网络（CNN）的流行技术，其中已经提出了各种修剪标准来去除冗余滤波器。通过综合实验，我们发现了剪枝准则研究中的两个盲点：（1）相似性：被广泛引用和比较的几种主要剪枝准则之间存在着很强的相似性。根据这些标准，过滤器的重要性分数的排名几乎是相同的，导致类似的修剪结构。(2)适用性：某些剪枝标准所测量的过滤器的重要性得分太接近，无法很好地区分网络冗余。在本文中，我们分析了这两个盲点上不同类型的修剪标准与分层修剪或全局修剪。分析基于经验实验和我们的假设（卷积权重分布假设），即每层经过良好训练的卷积滤波器近似遵循高斯分布。这一假设已通过系统和广泛的统计测试得到验证。
2021-10-25 cs.CV cs.LG stat.ML
Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units
Oculus VR；NEC Laboratories America（NEC美国实验室）；Enlitic；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
近年来，卷积神经网络（CNN）已被用作解决机器学习和计算机视觉的许多问题的有力工具。在本文中，我们的目标是提供对卷积神经网络特性的深入了解，以及提高许多CNN架构性能的通用方法。具体来说，我们首先检查现有的CNN模型，并观察到一个有趣的特性，即较低层中的滤波器形成对（即，反相滤波器）。受我们观察的启发，我们提出了一种新的，简单而有效的激活方案，称为级联ReLU（CRelu），并从理论上分析了它在CNN中的重建特性。我们将CRelu集成到几种最先进的CNN架构中，并在CIFAR-10/100和ImageNet数据集上证明了其识别性能的改进，并且具有更少的可训练参数。我们的研究结果表明，更好地理解CNN的属性可以通过简单的修改来显着提高性能。
2016-07-19 cs.CV cs.LG
DBP: Discrimination Based Block-Level Pruning for Deep Model Acceleration
Zhejiang University（浙江大学）；Fabu Inc.（Fabu公司）
神经网络修剪是加速深度卷积神经网络（CNN）推理的最流行方法之一。主要的剪枝方法，过滤器级剪枝方法，通过计算的减少率来评估它们的性能，并认为更高的计算减少率相当于在推理时间方面更高的加速率。然而，我们认为，如果并行计算被认为是不等价的。考虑到过滤器级修剪仅修剪层中的过滤器，并且层中的计算通常并行运行，因此通过过滤器级修剪减少的大多数计算通常与未减少的计算并行运行。因此，过滤器级修剪的加速比是有限的。为了获得更高的加速比，最好修剪冗余层，因为不同层的计算不能并行运行。在本文中，我们提出了我们的歧视基于块级剪枝方法（DBP）。具体地，DBP采用连续层的序列（例如，Conv-BN-ReLu）作为块，并根据其输出特征的区分度去除冗余块。因此，DBP通过减少CNN的深度来实现相当大的加速比。大量的实验表明，DBP已经超过了国家的最先进的过滤器级修剪方法的准确性和加速比。我们的代码将很快提供。
2019-12-21 cs.CV
PDE-based Group Equivariant Convolutional Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个基于偏微分方程的框架，推广组等变卷积神经网络（G-CNN）。在这个框架中，网络层被视为一组PDE求解器，其中几何上有意义的PDE系数成为层的可训练权重。在齐次空间上制定我们的偏微分方程允许这些网络设计有内置的对称性，例如除了CNN的标准平移等方差之外的旋转。在设计中包含所有所需的对称性消除了通过诸如数据增强之类的昂贵技术来包含它们的需要。我们将在一般的齐次空间设置中讨论我们基于PDE的G-CNN（PDE-G-CNN），同时还将讨论我们感兴趣的主要情况的细节：旋转平移等方差。我们解决了PDE的利益相结合的线性群卷积和非线性形态群卷积与分析核近似，我们支持正式定理。我们的内核近似允许快速通过GPU实现偏微分方程求解器，我们以PyTorch的LieTorch扩展的形式在本文中发布了我们的实现，可在https://gitlab.com/bsmetsjr/lietorch上获取。就像线性卷积一样，形态卷积由我们在PDE-G-CNN中训练的内核指定。在PDE-G-CNN中，我们不使用非线性，如最大/最小池和ReLU，因为它们已经被形态卷积所包含。我们提出了一组实验来证明所提出的PDE-G-CNN在提高基于深度学习的成像应用的性能方面的优势，其参数远少于传统CNN。
2022-05-30 cs.CV cs.LG math.DG
On Random Weights for Texture Generation in One Layer Neural Networks
IIT Kanpur（印度理工学院坎普尔分校）
最近的文献工作已经通过实验表明，可以使用训练的卷积神经网络（CNN）的下层来对自然纹理进行建模。更有趣的是，实验还表明，只有一层随机过滤器也可以建模纹理，尽管变化较小。在本文中，我们提出了一个问题，为什么带有随机过滤器的单层CNN在生成纹理方面如此有效？我们从理论上证明，与以前文献中使用的能量函数配对的一层卷积架构（没有非线性）实际上可以以某种方式保留和调制频率系数，以便随机权重和预训练权重将生成相同类型的图像。基于此分析的结果，我们质疑在使用具有非线性的一个卷积层的情况下是否存在类似的属性。我们表明，在ReLu非线性的情况下，只有一个输入将给出最小可能的能量，而在没有非线性的情况下，总是有无限的解决方案，将给出最小可能的能量的情况。因此，我们可以证明，在某些情况下，添加ReLu非线性会生成变化较小的图像。
2016-12-19 cs.CV cs.LG
Best Practices for Convolutional Neural Networks Applied to Object Recognition in Images
University of Toronto（多伦多大学）
本研究项目研究卷积神经网络（CNN）在图像分类任务中的影响。我们使用ReLU、Nesterov的加速梯度、dropout和maxout网络探索不同的架构和训练配置。我们使用CIFAR-10数据集作为Kaggle竞赛的一部分来识别图像中的对象。初步结果表明，CNN作为不变特征检测器的性能优于我们的基线。不同的预处理程序之间的比较显示更好的结果，全局对比度归一化和ZCA白化。ReLU比tanh单位快得多，并且优于sigmoids。我们提供了有关训练超参数的详细信息，为它们的选择提供了直觉，这有助于在类似情况下增强学习。我们设计了4个卷积神经网络模型，探索了深度、特征图数量、内核大小和重叠、池化区域和不同的子采样技术等特征。结果有利于在卷积层和密集层中使用大量参数的中等深度的模型。Maxout网络在某些模型上的性能优于整流器，但随着全连接层复杂性的增加，会引入太多的噪声。最后的讨论解释了我们的结果，并提供了其他技术，可以提高性能。
2019-10-29 cs.CV cs.LG eess.IV
Channel Equilibrium Networks for Learning Deep Representation
The Chinese University of Hong Kong（香港中文大学）；Simon Fraser University（西蒙菲莎大学）；The University of Hong Kong（香港大学）
卷积神经网络（CNN）通常通过堆叠多个构建块来构建，每个构建块包含一个归一化层，例如批量归一化（BN）和一个整流线性函数，例如ReLU。然而，这项工作表明，归一化和整流线性函数的组合导致抑制通道，其幅度较小，对学习的特征表示贡献不大，阻碍了CNN的泛化能力。与简单地删除抑制通道的现有技术不同，我们建议通过设计一种新的神经构建块（称为通道平衡（CE）块）来在训练过程中“唤醒它们”，该块使同一层的通道能够对学习的表示做出同等贡献。我们表明，CE是能够防止抑制通道的经验和理论。CE有几个吸引人的好处。(1)它可以集成到许多先进的CNN架构中，如ResNet和MobileNet，性能优于其原始网络。(2)CE与纳什均衡有着有趣的联系，纳什均衡是一个著名的非合作博弈解。(3)大量的实验表明，CE在ImageNet和COCO等各种具有挑战性的基准测试中达到了最先进的性能。
2020-02-29 cs.CV cs.LG
Robust Convolutional Neural Networks under Adversarial Noise
Purdue University（普渡大学）
最近的研究表明，卷积神经网络（CNN）容易受到被称为“对抗样本”的输入的小扰动。在这项工作中，我们提出了一种新的前馈CNN，提高了在对抗性噪声存在下的鲁棒性。我们的模型使用添加到输入图像和CNN模型的随机加性噪声。所提出的模型与用标准或对抗目标函数训练的CNN结合操作。特别是，卷积，最大池化和ReLU层被修改以受益于噪声模型。我们的前馈模型仅通过每个像素的均值和方差进行参数化，这简化了计算，并使我们的方法可扩展到深层架构。从CIFAR-10和ImageNet测试来看，该模型优于其他方法，对于困难的分类任务或更强的对抗性噪声，改进更为明显。
2016-02-25 cs.CV cs.LG
SparseTrain: Exploiting Dataflow Sparsity for Efficient Convolutional Neural Networks Training
School of Microelectronics, BDBC, Beihang University（北京航空航天大学微电子学院，大数据科学与脑机智能高精尖创新中心）；School of Computer Science and Engineering, BDBC, Beihang University（北京航空航天大学计算机科学与工程学院，大数据科学与脑机智能高精尖创新中心）；Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）
训练卷积神经网络（CNN）通常需要大量的计算资源。在本文中，\textit{SparseTrain}提出了加速CNN训练充分利用稀疏性。主要涉及三个层次的创新：激活梯度剪枝算法、稀疏训练算法和加速器架构。通过在每一层上应用随机修剪算法，可以在不降低训练精度和收敛速度的情况下显着增加反向传播梯度的稀疏性。此外，为了同时利用\textit{natural sparsity}（由ReLU或Pooling层产生）和\textit{artificial sparsity}（由剪枝算法产生），提出了一种稀疏感知的架构用于训练加速。该架构通过采用一维卷积来支持CNN的前向和反向传播。我们已经建立了一个简单的编译器来映射CNN拓扑到\textit{SparseTrain}，和一个周期精确的架构模拟器来评估性能和效率的基础上综合设计与$14nm$ FinFET技术。AlexNet/ResNet上的评测结果表明，与原始训练过程相比，\textit{SparseTrain}平均可以实现约$2.7 \times$的加速比和$2.2 \times$的能效提升。
2020-07-21 cs.AR cs.CV
An Efficient End-to-End Deep Neural Network for Interstitial Lung Disease Recognition and Classification
Bahcesehir University（巴伊塞希希尔大学）；Daffodil International University（达福德国际大学）；American University of Malta（马耳他美国大学）；TU Dortmund University（多特蒙德工业大学）；Yildiz Technical University（耶尔德兹技术大学）
自动间质性肺疾病（ILD）分类技术对于在诊断过程中协助临床医生至关重要。ILD模式的检测和分类是一个具有挑战性的问题。本文介绍了一种用于ILD模式分类的端到端深度卷积神经网络（CNN）。该模型包括四个具有不同内核大小的卷积层和整流线性单元（ReLU）激活函数，然后是批量归一化和大小等于最终特征图大小的最大池化以及四个密集层。我们使用ADAM优化器来最小化分类交叉熵。一个数据集，包括21328图像块的128 CT扫描与五类被采取训练和评估所提出的模型。一项比较研究表明，所提出的模型在相同数据集上的性能优于预训练的CNN和五倍交叉验证。对于ILD模式分类，所提出的方法实现了99.09%的准确率和97.9%的平均F分数，优于三个预先训练的CNN。这些结果表明，所提出的模型是相对国家的最先进的精度，召回率，f值和准确性。
2022-04-21 cs.CV eess.IV
A New Compensatory Genetic Algorithm-Based Method for Effective Compressed Multi-function Convolutional Neural Network Model Selection with Multi-Objective Optimization
近年来，出现了许多流行的卷积神经网络（CNN），例如Google的Inception-V4，它们在各种图像分类问题上表现得非常好。这些常用的CNN模型通常对卷积层中的所有神经元使用相同的激活函数，例如CCN U;它们是“单函数CNN”。“然而，SCNN可能并不总是最佳的。因此，对于不同的神经元使用不同的激活函数的“多功能CNN”（MCNN）已经被证明优于SCNN。此外，CNN通常具有非常大的架构，使用大量内存，需要大量数据才能进行良好的训练。因此，它们往往也有很高的训练和预测时间。一个重要的研究问题是如何自动和有效地找到最好的CNN与高的分类性能和紧凑的架构，高的训练和预测速度，低功耗，和小内存大小的任何图像分类问题。从大量的候选MCNN中智能地找到有效、快速、节能和节省内存的“压缩多功能CNN”（CMCNN）是非常有用的。一种新的补偿算法，使用一种新的遗传算法（GA）的创建，以找到最好的CMCNN与性能和架构大小之间的理想补偿。最优的CMCNN具有最好的性能和最小的架构尺寸。使用CIFAR 10数据集进行的模拟表明，新的补偿算法可以找到在分类性能（F1分数），速度，功耗和内存使用方面优于非压缩MCNN的CMCNN。基于流行的CNN架构的其他有效、快速、节能和内存高效的CMCNN将被开发用于重要的现实世界应用中的图像分类问题，例如脑信息学和生物医学成像。
2019-06-08 cs.CV cs.NE
CAPM: Fast and Robust Verification on Maxpool-based CNN via Dual Network
Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所）；Department of Electrical Engineering, National Taiwan University（国立台湾大学电子工程系）；MediaTek Research（联发科技研究）
本研究提出CAPM方法，通过将maxpool函数分解为ReLU序列并利用双网络计算，在低计算成本下显著提升了基于Maxpool的CNN在对抗扰动下的验证精度与速度。
2025-06-27 cs.AI cs.CV cs.LG
Universal Adder Neural Networks
Peking University（北京大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；The University of Sydney（悉尼大学）；Hong Kong University of Science and Technology（香港科技大学）
与廉价的加法运算相比，乘法运算的计算复杂度要高得多。深度神经网络中广泛使用的卷积是互相关的，以衡量输入特征和卷积滤波器之间的相似性，这涉及浮点值之间的大量乘法。在本文中，我们提出了加法器网络（AdderNets），以在深度神经网络，特别是卷积神经网络（CNN）中交换这些大量乘法，以获得更便宜的加法来降低计算成本。在AdderNets中，我们将过滤器和输入特征之间的$\ell_1$范数距离作为输出响应。我们首先为AdderNet开发了一个理论基础，通过证明单个隐藏层AdderNet和具有ReLU激活函数的宽度有界深度AdderNet都是通用函数逼近器。一个近似边界的AdderNets与一个单一的隐藏层。我们进一步分析了这种新的相似性度量对神经网络优化的影响，并为AdderNets开发了一种特殊的训练方案。基于梯度的大小，自适应学习率的策略，提出了加强AdderNets的训练过程。AdderNets可以在ImageNet数据集上使用ResNet-50实现75.7%的Top-1准确率和92.3%的Top-5准确率，而无需在卷积层中进行任何乘法。
2021-06-29 cs.CV
ZynqNet: An FPGA-Accelerated Embedded Convolutional Neural Network
ETH Zürich（苏黎世联邦理工学院）
图像理解正在成为从医疗诊断到自动驾驶汽车等越来越多应用的重要功能。许多应用需要嵌入式解决方案，这些解决方案可以集成到具有严格实时性和功耗限制的现有系统中。卷积神经网络（CNN）目前在所有图像理解基准中都达到了破纪录的精度，但具有非常高的计算复杂性。因此，嵌入式CNN需要小而高效，但功能非常强大的计算平台。本硕士论文探讨了基于FPGA的CNN加速的潜力，并演示了Zynq片上系统上的全功能概念验证CNN实现。ZynqNet嵌入式CNN专为ImageNet上的图像分类而设计，由ZynqNet CNN（一种优化和定制的CNN拓扑）和ZynqNet FPGA加速器（一种用于评估的基于FPGA的架构）组成。ZynqNet CNN是一种高效的CNN拓扑。使用定制设计的Netscope CNN分析器对现有拓扑结构进行详细分析和优化，使CNN具有84.5%的前5名准确度，计算复杂性仅为5.3亿次乘法累加运算。该拓扑高度规则，仅由卷积层、ReLU非线性和一个全局池化层组成。CNN非常适合FPGA加速器。ZynqNet FPGA加速器允许对ZynqNet CNN进行高效评估。它基于嵌套循环算法加速整个网络，最大限度地减少算术运算和内存访问的数量。FPGA加速器已使用Xilinx Zynq XC-7Z 045的高级综合进行综合，并达到200 MHz的时钟频率，器件利用率为80%至90%。
2020-05-14 cs.CV cs.LG
Enhancing Generalization in Convolutional Neural Networks through Regularization with Edge and Line Features
Institute for Neuro- and Bioinformatics（神经与生物信息学研究所）；University of Lübeck（吕贝克大学）
本文提出用固定的3x3边缘与线条预定义滤波器模块替代传统卷积层，对CNN施加正则化偏置，在四个细粒度小数据集上以相同参数量将测试准确率提升5-11个百分点。
2024-10-22 cs.CV
SoftReMish: A Novel Activation Function for Enhanced Convolutional Neural Networks for Visual Recognition Performance
Yildiz Technical University（伊尔迪兹技术大学）
本研究提出新型激活函数SoftReMish，在MNIST数据集上的标准CNN中，以最小训练损失3.14e-8和99.41%验证准确率超越ReLU、Tanh和Mish，展现出更优收敛与泛化能力。
2025-07-08 cs.AI cs.CV cs.NE
Implicit Filter Sparsification In Convolutional Neural Networks
Max Planck Institute For Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
我们展示了卷积神经网络（CNN）中的隐式滤波器级稀疏性，CNN采用批量归一化和ReLU激活，并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。通过广泛的实证研究（Mehta等人，2019）我们假设了稀疏化过程背后的机制，并发现了与文献中提出的某些滤波器稀疏化算法的惊人联系。出现，并随后修剪的选择性功能被观察到的贡献机制之一，导致功能稀疏在平价或优于某些明确的稀疏/修剪方法。在这篇研讨会文章中，我们总结了我们的发现，并指出了选择性特征惩罚的推论，这些推论也可以用作过滤器修剪的算法
2019-05-13 cs.CV cs.LG stat.ML
On Implicit Filter Level Sparsity in Convolutional Neural Networks
MPI For Informatics（马克斯·普朗克信息学研究所）；UNIST（蔚山科学技术院）；Saarland Informatics Campus（萨尔兰信息学园区）
我们研究了卷积神经网络（CNN）中出现的滤波器级稀疏性，CNN采用批量归一化和ReLU激活，并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。我们进行了广泛的实验研究铸造我们的初步研究结果的假设和结论的机制，潜在的紧急过滤器水平稀疏。这项研究允许新的洞察性能之间的差距obeserved自适应和非自适应梯度下降方法在实践中。此外，分析训练策略和超参数对稀疏性的影响，为设计CNN训练策略提供了实用建议，使我们能够探索特征选择性、网络容量和泛化性能之间的权衡。最后，我们表明，隐式稀疏性可以利用神经网络加速在平价或更好地比显式稀疏/修剪方法，而不需要修改典型的训练管道。
2019-04-05 cs.CV cs.LG eess.SP
Non-linear Neurons with Human-like Apical Dendrite Activations
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；University of Trento（特伦托大学）
本文提出顶端树突激活（ADA）及锥体神经元模型PyNADA，使单神经元能学习非线性决策边界，并在多个基准数据集上超越ReLU等激活函数。
2023-08-10 cs.CV cs.LG cs.NE
Learning Convolutional Neural Networks in the Frequency Domain
National University of Defense Technology（国防科技大学）
卷积神经网络（CNN）在过去的几十年里在计算机视觉领域取得了令人瞩目的成功。图像卷积运算有助于CNN在图像相关任务上获得良好的性能。然而，图像卷积运算复杂度高，难以实现。本文提出了CEMNet，它可以在频域中训练。本研究的最重要的动机是，我们可以使用简单的元素乘运算来代替图像卷积在频域的基础上互相关定理，这明显降低了计算复杂度。我们进一步引入了权重固定机制来缓解过度拟合的问题，并在频域中分析了批量归一化，Leaky ReLU和Dropout的工作行为，以设计CEMNet的对应物。同时，为了处理离散傅立叶变换带来的复杂输入，我们为CEMNet设计了一种双分支网络结构。实验结果表明，CEMNet取得了良好的性能MNIST和CIFAR-10数据库。
2022-07-20 cs.AI cs.CV cs.LG
Differential Coding for Training-Free ANN-to-SNN Conversion
School of Computer Science, Peking University, Beijing, China（北京大学计算机科学学院）；Institute for Artificial Intelligence, Peking University, Beijing, China（北京大学人工智能研究院）；School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University, Shenzhen, China（北京大学深圳研究生院电子与计算机工程学院）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China（中国科学院深圳先进技术研究所）
本文提出差分编码与阈值迭代方法，用于免训练ANN到SNN转换，减少脉冲和能耗，提升准确率，在CNN和Transformer上达到最先进性能。
2025-07-08 cs.CV
NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks
Department of Electronics, Information and Bioengineering（电子、信息与生物工程系）
NITRO-D提出了一种整数-only训练框架，用于训练深度卷积神经网络，显著提升了模型性能并降低了资源消耗
2025-12-03 cs.AI cs.CV cs.LG
Automated Multi-Class Crop Pathology Classification via Convolutional Neural Networks: A Deep Learning Approach for Real-Time Precision Agriculture
University of California, San Diego（加州大学圣地亚哥分校）；University of Pennsylvania（宾夕法尼亚大学）
本研究提出一种基于CNN的图像分类系统，利用TensorFlow和Keras构建深度学习流程自动检测八种作物病害，集成治疗推荐模块并部署于移动平台，为精准农业提供可扩展的实时诊断工具。
2025-07-12 cs.CV
