Neural Network Structure Design based on N-Gauss Activation Function
Beijing Institute of Technology（北京理工大学）
最近的工作表明，卷积神经网络的激活函数满足Lipschitz条件，那么可以根据数据集的规模构造相应的卷积神经网络结构，对数据集进行更深入、更准确、更有效的训练。在本文中，我们接受了实验结果，并介绍了核心块N-Gauss，N-Gauss和Swish（Conv 1，Conv 2，FC 1）神经网络结构设计训练MNIST，CIFAR 10和CIFAR 100分别。实验表明，N-Gauss充分发挥了激活函数非线性建模的主要作用，使深度卷积神经网络具有层次化的非线性映射学习能力。同时，N-Gauss在简单一维通道小数据集上的训练能力与ReLU和Swish的性能相当。
2021-06-01 cs.AI cs.CV cs.LG
Parsimonious Inference on Convolutional Neural Networks: Learning and applying on-line kernel activation rules
Irida Labs S.A（Irida Labs 股份有限公司）
本文提出了一种新的，激进的CNN设计方法，考虑减少总的计算负荷在推理过程中。这是通过对CNN架构和训练过程进行新的整体干预来实现的，该训练过程通过学习利用或去除CNN架构的冗余容量来针对简约推理。这是通过引入一种新的结构元素来实现的，该结构元素可以作为附加元件插入到任何当代CNN架构中，同时保持甚至提高其识别精度。我们的方法制定了一种系统的和数据驱动的方法，用于开发CNN，这些CNN经过训练，最终在推理过程中实时改变大小和形式，目标是尽可能小的计算足迹。结果提供了一些现代化的，高端的移动计算平台上的最佳实施，表明一个显着的速度提高到x3倍。
2017-01-31 cs.AI cs.CV cs.LG
Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification
University of Florida（佛罗里达大学）
我们开发了三种有效的方法，用于从3D卷积神经网络（3D-CNN）中生成用于阿尔茨海默病分类的视觉解释。一种方法对分层3D图像分割进行敏感性分析，另两种方法在空间图上可视化网络激活。视觉检查和定量定位基准表明，所有方法都可以识别阿尔茨海默病诊断的重要大脑部位。对比分析表明，基于敏感性分析的方法难以处理松散分布的大脑皮层，基于激活可视化的方法受到卷积层分辨率的限制。这些方法的互补性从不同角度提高了对3D-CNN在阿尔茨海默病分类中的理解。
2018-07-06 cs.AI cs.CV cs.LG
VS-CAM: Vertex Semantic Class Activation Mapping to Interpret Vision Graph Neural Network
Xidian University（西安电子科技大学）；University of Montenegro（黑山大学）
图卷积神经网络（GCN）在各种计算机视觉任务中得到了越来越多的关注并取得了良好的性能，但对GCN的内在机理缺乏清晰的解释。对于标准卷积神经网络（CNN），类激活映射（CAM）方法通常用于通过生成热图来可视化CNN的决策与图像区域之间的连接。然而，当这些CAM直接应用于GCN时，这样的热图通常表现出语义混乱。在本文中，我们提出了一种新的可视化方法，特别适用于GCN，顶点语义类激活映射（VS-CAM）。VS-CAM包括两个独立的流水线，分别产生一组语义探测图和一个语义基础图。语义探测图用于从语义基础图中检测语义信息，以聚合语义感知热图。定性结果表明，VS-CAM可以获得热图，其中突出显示的区域比基于CNN的CAM更精确地匹配对象。定量评价进一步证明了VS-CAM的优越性。
2022-09-15 cs.AI cs.CV cs.LG
Entropy-Based Non-Invasive Reliability Monitoring of Convolutional Neural Networks
Semarx Research Ltd.（Semarx 研究有限公司）
本文提出无需修改模型的 VGG-16 激活熵并行监控方法，利用早期卷积层 7% 的熵偏移检测对抗输入，达到 90% 准确率且误报、漏报均低于 20%。
2025-08-29 cs.AI cs.CR cs.CV
Impact of Tuning Parameters in Deep Convolutional Neural Network Using a Crack Image Dataset
Korea Advanced Institute of Science & Technology, KAIST（韩国科学技术院）；Uttara University（乌塔拉大学）；Woosong University（又松大学）
本文通过裂纹图像数据集实验研究了池化、激活函数和优化器等调参参数对DCNN分类性能的影响，发现最大池化配合adam优化器和tanh激活函数可获得更优性能。
2025-05-30 cs.AI cs.CV cs.LG
Deep Unitary Convolutional Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度神经网络可能会遇到爆炸和消失的激活问题，其中网络无法正确训练，因为神经信号在层间放大或衰减并变得饱和。虽然其他标准化方法旨在解决所述问题，但在需要神经激活的运行平均值的应用中，它们中的大多数都具有推理速度损失。在这里，我们将基于李代数的酉框架扩展到任何维度的神经网络，克服了现有技术中将突触权重限制为方阵的主要约束。我们提出的酉卷积神经网络提供了高达32%的推理速度和高达50%的永久硬盘空间减少，同时保持竞争力的预测精度。
2021-08-20 cs.AI cs.LG
Online Disease Self-diagnosis with Inductive Heterogeneous Graph Convolutional Networks
Tsinghua University（清华大学）；Tencent Jarvis Lab（腾讯贾维斯实验室）；Xi’an Jiaotong University（西安交通大学）
我们提出了一个医疗保健图卷积网络（HealGCN）提供疾病自我诊断服务的在线用户的基础上的电子病历（EHR）。在线疾病诊断的两个主要挑战是：（1）通过图卷积网络为冷启动用户提供服务;（2）通过症状检索系统处理稀缺的临床描述。为此，我们首先将EHR数据组织成能够对用户、症状和疾病之间的复杂交互进行建模的异构图，并使用归纳学习范式对疾病诊断进行图表示学习。然后，我们建立了一个疾病自我诊断系统与相应的EHR基于图的症状检索系统（GraphRet），可以搜索和提供相关的替代症状通过跟踪预定义的元路径的列表。GraphRet有助于丰富种子症状集通过EHR图时，面对用户与稀缺的描述，从而产生更好的诊断准确性。最后，我们在一个大规模的电子病历数据集上验证了我们的模型的优越性。
2021-02-13 cs.AI cs.IR cs.LG
Statistical Analysis of the Impact of Quaternion Components in Convolutional Neural Networks
Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Binghamton University（宾汉姆顿大学）
本文通过统计分析研究四元数卷积神经网络中各组件选择及其交互对图像分类性能的影响，并提出一种新的全四元数ReLU激活函数以提升模型表现。
2024-08-29 cs.AI cs.CV cs.LG
Abs-CAM: A Gradient Optimization Interpretable Approach for Explanation of Convolutional Neural Networks
Hubei University of Technology（湖北工业大学）；Central China Normal University（华中师范大学）
深度神经网络（DNN）的黑箱性质严重阻碍了其性能的提高和在特定场景中的应用。近年来，基于类激活映射的方法被广泛用于解释计算机视觉任务中模型的内部决策。然而，当这种方法使用反向传播来获得梯度时，它会在显着图中产生噪声，甚至定位与决策无关的特征。本文提出了一种基于绝对值类激活映射（Abs-CAM）的方法，该方法对反向传播得到的梯度进行优化，将其全部转化为正梯度，以增强输出神经元激活的视觉特征，提高显着图的定位能力。Abs-CAM的框架分为两个阶段：生成初始显著图和生成最终显著图。第一阶段通过优化梯度提高显著图的定位能力，第二阶段将初始显著图与原始图像线性结合，增强显著图的语义信息。我们对所提出的方法进行了定性和定量的评估，包括删除，插入和指向游戏。实验结果表明，Abs-CAM能明显消除显著图中的噪声，能更好地定位与决策相关的特征，在识别和定位任务中优于以往的方法。
2022-07-08 cs.AI cs.CV cs.LG
Image space formalism of convolutional neural networks for k-space interpolation
University of Würzburg（维尔茨堡大学）；University Hospital Erlangen（埃尔朗根大学医院）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；University Hospital Würzburg（维尔茨堡大学医院）
本文提出 RAKI 的图像空间形式化方法，通过激活掩码与雅可比矩阵解析分析 k 空间非线性激活对噪声传播和重建伪影的影响，实现 g 因子图的解析量化与噪声鲁棒性调控。
2025-05-09 cs.AI cs.CV cs.LG
FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions
Simon Fraser University（西蒙弗雷泽大学）
深度神经网络（DNN）越来越多地被部署在个人医疗设备和自动驾驶汽车等安全关键系统中。在这种基于DNN的系统中，错误恢复是重中之重，因为DNN推理中的错误可能导致错误预测和安全隐患。对于资源受限边缘设备上的延迟关键DNN推理，应用传统的基于冗余的容错技术是不平凡的。在本文中，我们提出了FitAct，这是一种低成本的方法，通过部署细粒度的后可训练激活函数来增强DNN的错误恢复能力。其主要思想是通过神经元有界激活函数精确地约束每个神经元的激活值，从而防止故障在网络中传播。为了避免复杂的DNN模型重新训练，我们建议将准确性训练和弹性训练解耦，并开发一个轻量级的后训练阶段来学习这些具有精确边界值的激活函数。在广泛使用的DNN模型（如AlexNet，VGG 16和ResNet 50）上的实验结果表明，FitAct在增强DNN错误恢复能力方面优于Clip-Act和Ranger等最先进的研究，同时增加了可管理的运行时间和内存空间开销。
2021-12-27 cs.AI cs.LG
Structured Convolution Matrices for Energy-efficient Deep learning
IBM Research–Almaden（IBM阿尔马登研究中心）
我们推导出了节能神经形态架构中的网络表示与块Toplitz卷积矩阵之间的关系。受这种联系的启发，我们使用一系列结构化卷积矩阵开发了深度卷积网络，并在众所周知的图像识别任务中实现了能源效率和分类准确性之间的最新权衡。我们还提出了一种新的方法来训练二进制卷积网络，利用现有的连接噪声校正线性单元和二进制激活。
2016-06-08 cs.AI cs.CV cs.LG
Understanding Forward Process of Convolutional Neural Network
本文通过将激活函数解释为统一并量化输入数据旋转特性的辨别机制，揭示了CNN前向过程中的选择性旋转，并发现人工神经网络与人脑在数据处理模式上具有一致性。
2023-12-01 cs.AI cs.LG
Exploring specialization and sensitivity of convolutional neural networks in the context of simultaneous image augmentations
Marchuk Institute of Numerical Mathematics（马尔库克数值数学研究所）；Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所）；Faculty of Computational Mathematics and Cybernetics, Lomonosov Moscow State University（洛蒙诺索夫莫斯科国立大学计算数学与 cybernetics 学院）；Artificial Intelligence Research Institute (AIRI)（人工智能研究 institute (AIRI)）
本文提出了一种框架，用于研究图像增强对卷积神经网络内部推理的影响，通过分析激活变化的敏感性来指导激活遮蔽。
2026-01-14 cs.AI cs.LG cs.NA
An Effective Training Method For Deep Convolutional Neural Network
School of Optoelectronic, Beijing Institute of Technology（北京理工大学光电学院）；Graduate School at Shenzhen, Tsinghua University（清华大学深圳研究生院）；BGI Research（华大研究院）
在本文中，我们提出了非线性生成方法来加速和稳定深度卷积神经网络的训练。所提出的方法修改了一个家庭的激活函数的非线性发生器（NG）。NG使激活函数对于它们的输入线性对称以降低模型容量，并且在训练期间自动引入非线性以增强模型的容量。所提出的方法可以被认为是一种不寻常的正则化形式：模型参数是通过训练一个相对低容量的模型来获得的，该模型在开始时相对容易优化，只需几次迭代，并且这些参数被重用于较高容量模型的初始化。我们推导出的权重变化的方差的上限和下限，并表明，NG的初始对称结构有助于稳定训练。我们评估所提出的方法在不同的框架卷积神经网络在两个目标识别基准任务（CIFAR-10和CIFAR-100）。实验结果表明，所提出的方法允许我们（1）加快训练的收敛，（2）允许不太仔细的权重初始化，（3）提高或至少保持模型的性能，在可忽略不计的额外计算成本，和（4）容易训练一个非常深的模型。
2017-10-17 cs.AI cs.LG stat.ML
Ensemble of Convolutional Neural Networks Trained with Different Activation Functions
University of Padua（帕多瓦大学）
激活函数在卷积神经网络的训练中起着至关重要的作用。因此，开发高效的和执行功能是深度学习社区的一个关键问题。这些方法的关键是允许可靠的参数学习，避免消失梯度问题。这项工作的目标是提出一个集成的卷积神经网络训练使用几个不同的激活函数。此外，本文首次提出了一种新的激活函数。我们的目标是提高卷积神经网络在中小规模生物医学数据集上的性能。我们的结果清楚地表明，所提出的集成优于使用标准ReLU作为激活函数训练的卷积神经网络。所提出的集成优于每个测试的独立激活函数，p值为0.01;为了进行可靠的性能比较，我们使用两个著名的卷积神经网络：Vgg 16和ResNet 50，在10多个数据集上测试了我们的方法。此处使用的MATLAB代码可在www.example.com上获得。
2020-09-21 cs.CV
Thanks for Nothing: Predicting Zero-Valued Activations with Lightweight Convolutional Neural Networks
Technion（以色列理工学院）；Habana Labs — An Intel Company（Habana Labs — 英特尔公司）
卷积神经网络（CNN）为各种任务引入了最先进的结果，但代价是高计算需求。受CNN输出特征图（ofms）中存在空间相关性的观察的启发，我们提出了一种根据其相邻激活值动态预测ofm激活是否为零值的方法，从而避免零值激活并减少卷积运算的数量。我们用一个轻量级的CNN实现了零激活预测器（ZAP），它的开销可以忽略不计，并且很容易在现有模型上部署。通过模仿隐藏层输出来训练ZAP;从而实现并行和无标签训练。此外，无需再训练，每个ZAP可以被调谐到不同的操作点交易精度，以降低MAC。
2020-07-13 cs.CV
Multi-scale Orderless Pooling of Deep Convolutional Activation Features
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度卷积神经网络（CNN）已经显示出其作为通用识别表示的前景。然而，全局CNN激活缺乏几何不变性，这限制了它们对高度可变场景的分类和匹配的鲁棒性。为了提高CNN激活的不变性而不降低其鉴别能力，本文提出了一种简单但有效的方案，称为多尺度无序池（MOP-CNN）。该方案在多个尺度级别上提取局部补丁的CNN激活，在每个级别上分别执行这些激活的无序VLAD池化，并连接结果。由此产生的MOP-CNN表示可用作监督或无监督识别任务的通用特征，从图像分类到实例级检索;它始终优于全局CNN激活，而无需对特定目标数据集的预测层进行任何联合训练。就绝对值而言，它在具有挑战性的SUN 397和MIT Indoor Scenes分类数据集上取得了最先进的结果，并在ILSVRC 2012/2013分类和INRIA Holidays检索数据集上取得了有竞争力的结果。
2014-09-08 cs.CV
Deep Self-Convolutional Activations Descriptor for Dense Cross-Modal Correspondence
Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了一种新型描述符，称为深度自卷积激活（DeSCA），旨在在不同成像方式（例如不同光谱范围或照明条件）下拍摄的图像之间建立密集的对应关系。受基于局部自相似性（LSS）的描述符的启发，我们通过在深层架构中利用LSS来制定一种新的描述符，从而比最先进的跨模态描述符具有更好的区分能力和对非刚性图像变形的更强鲁棒性。DeSCA首先在随机采样补丁的局部支持窗口上计算自卷积，然后通过在深度卷积架构内的分层公式执行平均池化来构建自卷积激活。最后，通过圆形配置中的空间金字塔池化对自卷积激活的特征响应进行编码。与现有的基于卷积神经网络（CNN）的描述符相比，DeSCA是无训练的（即，随机采样的片被用作卷积核），对于交叉模态成像是鲁棒的，并且可以以显著减少计算冗余的有效方式密集地计算。通过大量的实验证明了DeSCA在交叉模态图像对的挑战性情况下的最先进性能。
2016-03-21 cs.CV
DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
我们评估了从深度卷积网络的激活中提取的特征是否可以重新用于新的通用任务，该深度卷积网络以完全监督的方式在大型固定的对象识别任务集上训练。我们的通用任务可能与最初训练的任务显著不同，并且可能没有足够的标记或未标记数据来常规地训练或使深度架构适应新任务。我们研究并可视化了深度卷积特征的语义聚类与各种此类任务的关系，包括场景识别、领域自适应和细粒度识别挑战。我们比较了依赖于各种网络级别来定义固定功能的功效，并报告了在几个重要的视觉挑战上显着优于最先进技术的新结果。我们正在发布DeCAF，这是这些深度卷积激活功能的开源实现，以及所有相关的网络参数，使视觉研究人员能够在一系列视觉概念学习范式中进行深度表征的实验。
2013-10-06 cs.CV
Reduced Deep Convolutional Activation Features (R-DeCAF) in Histopathology Images to Improve the Classification Performance for Breast Cancer Diagnosis
Institute of Medical Science and Technology, Shahid Beheshti University（沙希德·贝赫什提大学医学科学与技术研究所）
针对乳腺癌组织病理图像分类，本文提出R-DeCAF框架，结合预训练CNN特征提取、PCA降维和SVM二分类，在BreakHis上以更少计算时间将准确率最高提升4.3%。
2023-01-05 cs.AI cs.CV
Enhancing Radiology Diagnosis through Convolutional Neural Networks for Computer Vision in Healthcare
G. Narayanamma Institute of Technology and Science (for Women)（G. Narayanamma 理工学院（女子））
本文研究基于改进DenseNet的CNN在放射诊断中的应用，验证其在准确性、敏感性和特异性上优于传统方法，并强调需同时解决可解释性、集成与伦理问题以推动负责任部署。
2023-11-19 cs.CV eess.IV
Natural-Logarithm-Rectified Activation Function in Convolutional Neural Networks
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）
激活函数在深度神经网络中提供卓越性能方面发挥着关键作用，而整流线性单元（ReLU）是使用最广泛的激活函数之一。已经提出了各种新的激活函数和对ReLU的改进，但每种都有性能缺陷。在本文中，我们提出了一种改进的激活函数，我们称之为自然对数校正线性单元（NLReLU）。这个激活函数使用参数化自然对数变换来改进ReLU，并简单地定义为。NLReLU不仅保留了ReLU的稀疏激活特性，而且在一定程度上解决了“垂死ReLU”和梯度消失问题。它还减少了偏置移位效应和神经元数据分布在网络层之间的异方差，以加快学习过程。该方法在两个基本数据集的10个不同深度的卷积神经网络上进行了验证。实验表明，使用NLReLU的卷积神经网络比使用ReLU的卷积神经网络具有更高的准确性，并且NLReLU与其他众所周知的激活函数相当。与ReLU相比，NLReLU分别在MNIST和CIFAR-10数据集的浅卷积神经网络中使用时，平均分类准确率高出0.16%和2.04%。使用NLReLU的深度卷积神经网络的平均准确率比使用CIFAR-10数据集的平均准确率高1.35%。
2019-08-25 cs.CV cs.LG stat.ML
The Treasure beneath Convolutional Layers: Cross-convolutional-layer Pooling for Image Classification
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最近的一些研究表明，在大型数据集上预训练的深度卷积神经网络（DCNN）可以用作通用图像描述，这在许多视觉分类任务中具有惊人的性能。这些研究中的大多数（如果不是全部的话）采用DCNN的全连接层的激活作为图像或区域表示，并且认为卷积层激活的区分性较低。然而，本文主张，如果使用得当，卷积层激活可以变成一个强大的图像表示，它比全连接层激活具有许多优势。这是通过采用本文提出的称为交叉卷积层池化的新技术来实现的。更具体地说，它提取一个卷积层的特征图的子阵列作为局部特征，并在连续卷积层的特征图的指导下将提取的特征合并。与在局部特征设置中应用DCNN的方法相比，所提出的方法明显更快，因为它需要更少的DCNN前向计算次数。此外，它避免了域不匹配的问题，通常会遇到时，应用全连接层激活来描述局部区域。通过将我们的方法应用到四个流行的视觉分类任务中，证明了所提出的方法可以实现与现有的基于全连接层的图像表示相当或在某些情况下显着更好的性能，同时产生更低的计算成本。
2014-11-27 cs.CV
Deep Quantization: Encoding Convolutional Activations with Deep Generative Model
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
深度卷积神经网络（CNN）已被证明对视觉识别非常有效，其中从卷积层的激活中学习通用表示是一个基本问题。在本文中，我们提出了Fisher Vector encoding with Variational Auto-Encoder（FV-VAE），这是一种新型的深度架构，通过以端到端的方式训练卷积层，在深度生成模型中量化卷积层的局部激活。为了将FV编码策略整合到深度生成模型中，我们引入了变分自动编码器模型，该模型在神经网络中引导变分推理和学习，可以使用标准随机梯度方法直接优化。与传统生成模型（例如，与高斯混合模型（Gaussian Mixture Model）对数据分布的稀疏拟合相比，FV-VAE更能灵活地反映数据的自然属性，具有更好的泛化能力。在三个公共数据集上进行了广泛的实验，即，UCF 101、ActivityNet和CUB-200-2011分别在视频动作识别和细粒度图像分类的上下文中进行。优越的结果相比，国家的最先进的表示。最值得注意的是，我们提出的FV-VAE在UCF 101上达到了迄今为止最好的94.2%的准确率。
2016-11-29 cs.CV
Empirical Evaluation of Rectified Activations in Convolutional Network
University of Alberta（阿尔伯塔大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了卷积神经网络中不同类型的校正激活函数的性能：标准校正线性单元（ReLU）、漏校正线性单元（Leaky ReLU）、参数校正线性单元（PReLU）和一种新的随机漏校正线性单元（RReLU）。我们评估这些激活函数的标准图像分类任务。我们的实验表明，在整流激活单元中为负部分引入非零斜率可以始终如一地改善结果。因此，我们的研究结果对普遍认为稀疏性是ReLU良好性能的关键是负面的。此外，在小规模数据集上，使用确定性负斜率或学习它都容易出现过拟合。它们不像使用随机对应物那样有效。通过使用RReLU，我们在CIFAR-100测试集上获得了75.68%的准确率，无需多次测试或集成。
2015-11-27 cs.CV cs.LG stat.ML
Reusing Convolutional Activations from Frame to Frame to Speed up Training and Inference
当连续处理类似的帧时，我们可以利用卷积运算的局部性，只重新评估图像中与前一帧不同的部分。通过保存卷积层的输出并计算帧与帧之间的变化，我们可以重用以前的激活并节省计算资源，否则将浪费在重新计算我们已经观察到的输出的卷积上。这种技术可以应用于许多领域，例如处理来自固定摄像机的视频，研究图像的遮挡或扭曲部分的效果，将卷积应用于多帧音频或时间序列数据，或者玩Atari游戏。此外，这种技术可以用于加快训练和推理。
2019-09-15 cs.CV cs.LG
Offline Writer Identification Using Convolutional Neural Network Activation Features
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）
本文提出利用 CNN 激活特征结合 GMM 超向量编码和 KL-Kernel 归一化进行离线笔迹识别，在 ICDAR 2013 双语数据集上 mAP 提升约 0.21。
2024-02-26 cs.CV
Neural Activation Constellations: Unsupervised Part Model Discovery with Convolutional Networks
University of Jena（耶拿大学）
对象类别的部分模型对于具有挑战性的识别任务是必不可少的，其中类别的差异是微妙的，并且仅反映在对象的小部分的外观上。我们提出了一种能够以完全无监督的方式学习零件模型的方法，没有零件注释，甚至在学习过程中没有给定的边界框。其关键思想是找到使用卷积神经网络计算的神经激活模式的星座。在我们的实验中，我们优于现有的细粒度识别方法的CUB 200 -2011，NA鸟，牛津PETS和牛津花数据集的情况下，没有部分或限界框注释是可用的，并达到最先进的性能斯坦福狗数据集。我们还展示了神经星座模型作为一种用于微调的数据增强技术的好处。此外，我们的论文统一了通用和细粒度分类的领域，因为我们的方法适用于这两种情况。我们的方法的源代码可以在http://www.inf-cv.uni-jena.de/part_discovery上在线获得
2015-12-05 cs.CV
Deep Convolutional Neural Network Inference with Floating-point Weights and Fixed-point Activations
ARM Research（ARM研究院）
深度卷积神经网络（CNN）推理需要大量的内存和计算，这限制了其在嵌入式设备上的部署。为了在一定程度上缓解这些问题，先前的研究利用低精度定点数来表示CNN权重和激活。然而，固定点权重的最小所需数据精度在不同网络之间以及在同一网络的不同层之间变化。在这项工作中，我们建议使用浮点数表示的权重和定点数表示的激活。我们表明，对于相同的位宽，使用浮点表示的权重比定点表示更有效，并在流行的大规模CNN（如AlexNet，SqueezeNet，GoogLeNet和VGG-16）上进行了演示。我们还表明，这样的表示方案，使紧凑的硬件乘法和累加（MAC）单元设计。实验结果表明，该方案减少了高达36%的重量存储和功耗的硬件乘法器高达50%。
2017-03-08 cs.CV cs.LG
CageViT: Convolutional Activation Guided Efficient Vision Transformer
Southern University of Science and Technology（南方科技大学）；United Imaging Intelligence (UII)（联影智能）；Huazhong Agricultural University（华中农业大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出CageViT，一种卷积激活引导的高效视觉Transformer，通过卷积激活预处理token、设计加权类激活及Gated Linear SRA机制，在保持准确率的同时大幅降低计算成本。
2023-05-17 cs.CV
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University（国立台湾大学）
卷积神经网络（CNN）在广泛的领域中取得了卓越的性能。然而，激活的密集存储器访问引入了相当大的能量消耗，阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性，从而实现降维。然而，在激进的降维的情况下，这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡，我们提出了一个压缩感知投影系统，它采用了可学习的投影来补偿重建损失。此外，贪婪的选择度量被引入到优化逐层压缩比分配，同时考虑精度和#比特减少。测试结果表明，在MobileNetV 2/ResNet 18/VGG 16上，本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问，而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Multi-function Convolutional Neural Networks for Improving Image Classification Performance
传统的卷积神经网络（CNN）通常对所有具有非线性映射操作的神经元使用相同的激活函数（通常为ReLU）。例如，深度卷积架构Inception-v4使用ReLU。为了提高传统卷积神经网络的分类性能，通过对不同的神经元使用不同的激活函数，构造了一种新的"多函数卷积神经网络"（MCNN）。对于$n$神经元和$m$不同的激活功能，共有$m^n-m$ MCNN和只有$m$的传统CNN。因此，最好的模型很可能是从MCNN中选择的，因为MCNN比传统的CNN有更多的$m^n-2m$。对于性能分析，使用了两个应用程序的两个不同数据集（对MNIST数据库中的手写数字进行分类，并将大脑MRI图像分类为阿尔茨海默病（AD）的四个阶段之一）。对于这两种应用，为MCNN的每一层随机选择激活函数。对于AD诊断应用，使用新创建的多功能Inception-v4架构构建MCNN。总体而言，模拟表明，MCNN在两种应用的多类分类准确性方面都优于传统CNN。一个重要的未来的研究工作将是有效地选择最好的MCNN从$m^n-m$候选MCNN。当前的CNN软件仅向用户提供MCNN的部分功能，因为不同的层可以使用不同的激活函数，但不能使用同一层中的单个神经元。因此，通过使用多个激活函数来修改当前的CNN软件系统（例如ResNets、DenseNets和双路径网络）并开发更有效和更快的MCNN软件系统和工具将非常有助于解决困难的实…
2018-05-30 cs.CV
A combined full-reference image quality assessment approach based on convolutional activation maps
全参考图像质量评估（FR-IQA）的目标是使用原始的参考图像来预测人类观察者所感知的图像质量。在这项研究中，我们探索了一种新的组合方法，该方法通过从卷积激活图中编译特征向量来预测失真图像的感知质量。更具体地，通过预训练的卷积神经网络运行参考失真图像对，并且将激活图与传统图像相似性度量进行比较。随后，得到的特征向量映射到感知质量分数的帮助下，训练的支持向量回归。一个详细的参数研究，其中所提出的方法的设计选择的理由。此外，我们研究了训练图像的数量和预测性能之间的关系。具体而言，它表明，所提出的方法可以用少量的数据进行训练，以达到高的预测性能。我们最好的建议- ActMapFeat -比较国家的最先进的六个公开可用的基准IQA数据库，如KADID-10 k，TID 2013，TID 2008，MDID，CSIQ，和VCL-FER。具体来说，我们的方法能够显着优于这些基准数据库的最先进的。
2020-12-03 cs.CV eess.IV
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks
Vellore Institute of Technology（韦洛尔理工学院）；Red Hat Inc.（红帽公司）
本文提出新型振荡激活函数增长余弦单元（GCU，$C(z)=z\boldsymbol{\text{cos}}z$），证明其可改善梯度流动、减小网络规模，在多种架构和基准测试中性能优于现有激活函数。
2023-01-12 cs.CV cs.LG cs.NE
A Convolutional Layer Activation Dimensionality Reduction for Out-of-Distribution and Adversarial Attack Detection Methods
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）；Advanced Research Center on Electronic Systems “Ercole De Castro” (ARCES) - Alma Mater Studiorum Università di Bologna（博洛尼亚大学“埃尔科莱·德·卡斯特罗”电子系统高级研究中心）
本文针对卷积层激活降维的不足，提出一种可控高压缩率的新型降维方法，扩展两种最先进的检测方法并在OOD与对抗攻击检测任务上验证，其性能更优且计算内存占用更低。
2026-08-12 cs.CV
Deep Aggregation of Regional Convolutional Activations for Content Based Image Retrieval
HTW Berlin（柏林应用科学大学（HTW柏林））
基于深度学习的图像检索的关键挑战之一仍然是将卷积激活聚合成一个高度代表性的特征向量。理想情况下，这个描述符应该编码语义，空间和低级别的信息。尽管现成的预训练神经网络已经可以结合聚合方法产生良好的表示，但对图像检索任务进行适当的微调已显示出显着提高检索性能。在本文中，我们提出了一个简单而有效的监督聚合方法建立在现有的区域池的方法。除了给定区域的最大激活之外，我们还计算提取的特征图的区域平均激活。随后，学习每个池化特征向量的权重以执行对单个特征向量的加权聚合。此外，我们将新提出的NRA损失函数应用于深度度量学习，以微调骨干神经网络并学习聚合权重。我们的方法在INRIA假日数据集上取得了最先进的结果，在牛津建筑和巴黎数据集上取得了有竞争力的结果，同时显著减少了训练时间。
2019-09-24 cs.CV cs.IR cs.LG
Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Texas A&M University（得克萨斯农工大学）；Wuhan University（武汉大学）
最近，人们越来越关注卷积神经网络的内部机制，以及网络做出特定决策的原因。在本文中，我们开发了一种新的事后视觉解释方法称为分数CAM类激活映射的基础上。与以往基于类激活映射的方法不同，Score-CAM通过激活映射在目标类上的前向传递得分来获得激活映射的权重，从而摆脱了对梯度的依赖，最终结果由权重和激活映射的线性组合获得。我们证明了分数CAM实现了更好的视觉性能和公平性解释的决策过程。我们的方法在识别和本地化任务上都优于以前的方法，它还通过了健全性检查。我们还指出它的应用程序作为调试工具。官方代码已经发布。
2020-04-13 cs.CV
Paying Attention to Activation Maps in Camera Pose Regression
Bar-Ilan University（巴伊兰大学）
相机姿态回归方法将单个前向传递应用于查询图像以估计相机姿态。因此，他们提供了一个快速和轻量级的替代传统的定位方案的基础上图像检索。姿势回归方法同时学习两个回归任务，旨在使用卷积骨干计算的单个嵌入向量联合估计相机位置和方向。我们提出了一种基于注意力的姿态回归方法，其中卷积激活图被用作顺序输入。应用Transformers将顺序激活图编码为潜在向量，用于相机姿态回归。这使我们能够关注空间变化的深度特征。使用两个Transformer头，我们分别专注于相机位置和方向的功能，根据它们对每个任务的信息量。我们提出的方法被证明是比较有利的当代姿态回归计划，并实现了国家的最先进的精度在多个室外和室内基准。特别是，据我们所知，我们的方法是在户外场景中获得亚米级平均精度的唯一方法。我们让我们的代码从这里公开。
2021-04-11 cs.AI cs.CV
Hardware-Driven Nonlinear Activation for Stochastic Computing Based Deep Convolutional Neural Networks
University of Southern California（南加州大学）；Syracuse University（雪城大学）；Information Sciences Institute（信息科学研究所）
近年来，深度卷积神经网络（DCNN）取得了前所未有的进展，在各种任务中实现了接近甚至优于人类水平感知的准确性。及时需要将最新的软件DCNN映射到特定于应用的硬件，以实现性能，能效和紧凑性的数量级改进。随机计算（SC）作为传统二进制计算范式的低成本替代方案，具有实现DCNN的大规模并行和高度可扩展的硬件实现的潜力。基于SC的DCNN的一个主要挑战是设计精确的非线性激活函数，其对网络级精度具有显著影响，但不能通过现有的SC计算块精确地实现。在本文中，我们设计和优化SC的神经元，我们提出了高精度的激活设计的三个最常用的激活函数在软件DCNN，即双曲正切，逻辑和整流线性单元。在LeNet-5上使用MNIST数据集的实验结果表明，与二进制ASIC硬件DCNN相比，采用SC神经元的DCNN在面积、功耗和能量方面分别提高了61倍、151倍和2倍，而精度下降幅度较小。此外，SC方法的面积分别提高了21倍和41倍，功耗分别提高了41倍和72倍，与CPU和GPU方法相比，分别节省了198200倍和96443倍的能量，而误差增加不到3.07%。考虑到其在小比特流长度下的优越性能，建议将ReLU激活用于未来基于SC的DCNN。
2017-03-12 cs.CV
Wider Vision: Enriching Convolutional Neural Networks via Alignment to External Knowledge Bases
Technological University Dublin（都柏林理工大学）
深度学习模型存在不透明性。对于卷积神经网络（CNN），目前解释模型的研究策略集中在相关训练数据集中的目标类。因此，对隐藏特征图激活的理解受到训练期间收集的判别知识的限制。我们工作的目的是通过将CNN镜像或对齐到外部知识库来解释和扩展CNN模型。这将使我们能够为每个视觉特征提供语义上下文或标签。我们可以将CNN特征激活与外部知识库中的节点相匹配。这支持与模型决策相关的特征的基于知识的解释。为了演示我们的方法，我们构建了两个单独的图。我们使用实体对齐方法将CNN中的特征节点与基于ConceptNet的知识图谱中的节点对齐。然后，我们测量CNN图节点到语义上有意义的知识库节点的接近度。我们的研究结果表明，在对齐的嵌入空间中，来自知识图谱的节点接近具有相似含义的CNN特征节点，这表明来自外部知识库的节点可以作为模型中特征的解释性语义参考。我们分析了各种图形构建方法，以改善我们的嵌入空间的结果。我们进一步证明，通过使用来自外部知识库的层次关系，我们可以基于视觉特征激活在嵌入空间中的CNN训练集之外定位新的看不见的类。这表明我们可以调整我们的方法，以基于CNN特征激活来识别看不见的类。我们展示的将CNN与外部知识库对齐的方法为推理和超越训练模型铺平了道路，并在未来适应可解释的模型和零样本学习。
2021-02-22 cs.AI cs.CV
Effective Training of Convolutional Neural Networks with Low-bitwidth Weights and Activations
Monash University（莫纳什大学）；The University of Adelaide（阿德莱德大学）；South China University of Technology（华南理工大学）
本文解决了训练低位宽权重和激活的深度卷积神经网络的问题。由于量化器的不可微性，优化低精度网络是非常具有挑战性的，这可能导致大量的精度损失。为了解决这个问题，我们提出了三种实用的方法，包括（i）渐进量化;（ii）随机精度;和（iii）联合知识蒸馏，以改善网络训练。首先，对于渐进量化，我们提出了两个方案，逐步找到良好的局部极小值。具体来说，我们建议首先用量化权重优化一个网络，然后再进行重新激活。这与同时优化它们的传统方法相反。此外，我们还提出了第二种渐进量化方案，该方案在训练过程中从高精度到低精度逐渐减小位宽。其次，为了减轻由于多轮训练阶段而造成的过度训练负担，我们进一步提出了一个一阶段随机精度策略，以随机采样和训练子网络，同时保持其他部分的全精度。最后，我们采用了一种新的学习方案，联合训练一个全精度模型和低精度模型。通过这样做，全精度模型提供了指导低精度模型训练的提示，并显着提高了低精度网络的性能。在各种数据集上进行了广泛的实验（例如，CIFAR-100，ImageNet）显示了所提出的方法的有效性。
2021-06-04 cs.CV
Image classification in frequency domain with 2SReLU: a second harmonics superposition activation function
University of Sao Paulo（圣保罗大学）
深度卷积神经网络能够识别复杂的模式，并以超人的能力执行任务。然而，除了异常的结果，他们还没有完全理解，它仍然是不切实际的手工设计类似的解决方案。在这项工作中，一个图像分类卷积神经网络和它的构建模块从频域的角度进行了描述。一些网络层已经在频域中建立了对应层，如卷积层和池化层。我们提出了2SReLU层，这是一种新型的非线性激活函数，可以保留深度网络中的高频成分。它表明，在频域中，它是可能的，以实现竞争力的结果，而不使用计算昂贵的卷积运算。PyTorch中的源代码实现可在https://gitlab.com/thomio/2srelu上找到
2020-06-18 cs.CV eess.IV
Reborn Mechanism: Rethinking the Negative Phase Information Flow in Convolutional Neural Network
Nanjing University（南京大学）；Xi’an Jiaotong-liverpool University（西交利物浦大学）
针对卷积神经网络（CNN）提出了一种新的非线性激活机制-再生机制。与切断负相位值的ReLU形成鲜明对比的是，再生机制具有再生和重建死亡神经元的能力。与其他改进的ReLU函数相比，重生机制引入了一种更合适的方式来利用负相位信息。大量实验表明，该激活机制能够在保持原有ReLU函数优点的同时，更显著地增强模型表示能力，更好地利用输入数据信息。此外，再生机制实现了传统CNN难以实现的非对称性，可以作为信道补偿方法，提供有竞争力甚至更好的性能，但比传统方法学习的参数更少。再生机制在各种基准数据集上进行了测试，都获得了比以前的非线性激活函数更好的性能。
2021-07-07 cs.CV
A new approach to descriptors generation for image retrieval by analyzing activations of deep neural network layers
Czestochowa University of Technology（琴斯托霍瓦理工大学）；Southeast University（东南大学）；University of Social Sciences（社会科学大学）
在本文中，我们考虑使用深度神经网络的基于内容的图像检索任务的描述符构建问题。基于全连接层激活的神经代码的思想通过合并卷积层中包含的信息来扩展。众所周知，网络卷积部分的神经元总数很大，其中大多数对最终分类决策的影响很小。因此，在本文中，我们提出了一种新的算法，使我们能够提取最重要的神经元激活，并利用这些信息来构建有效的描述符。由从全连接层和卷积层获取的值组成的描述符完美地表示了整个图像内容。使用这些描述符检索的图像在语义上与查询图像非常匹配，并且它们在其他次要图像特征（如背景、纹理或颜色分布）上也相似。基于IMAGENET1M数据集，使用VGG 16神经网络对所提出的描述符的这些特征进行了实验验证。
2020-07-13 cs.CV
Cross-convolutional-layer Pooling for Image Recognition
The University of Adelaide（阿德莱德大学）
最近的研究表明，在大型图像数据集上预训练的深度卷积神经网络（DCNN）可以用作通用图像描述符，并且这样做可以为各种图像分类任务带来令人印象深刻的性能。这些研究中的大多数采用来自单个DCNN层（通常是全连接层）的激活作为图像表示。在本文中，我们提出了一种新的方法来提取图像表示从两个连续的卷积层：一层是用于本地特征提取和其他作为指导池提取的特征。通过采用卷积层的不同观点，我们进一步开发了两种方案来实现这一想法。第一个直接使用来自DCNN的卷积层。第二种方法将预训练的CNN应用于密集采样的图像区域，并将每个图像区域的全连接激活视为卷积特征激活。然后，我们在其上训练另一个卷积层作为池化指导卷积层。通过将我们的方法应用于三个流行的视觉分类任务，我们发现我们的第一个方案往往表现得更好的应用程序，需要在小区域内的微妙的对象模式，而后者擅长的情况下，需要区分类别级别的模式。总的来说，所提出的方法实现了优于现有的从DCNN提取图像表示的方法的性能。
2016-12-22 cs.CV
Group-CAM: Group Score-Weighted Visual Explanations for Deep Convolutional Networks
Nanjing University（南京大学）
在本文中，我们提出了一种有效的显着图生成方法，称为组得分加权类激活映射（Group-CAM），它采用了“分裂-转换-合并”的策略来生成显着图。具体地，对于输入图像，类激活首先被分成组。在每个组中，子激活被求和并去噪作为初始掩码。之后，初始掩模用有意义的扰动进行变换，然后应用于保留输入的子像素（即，屏蔽输入），然后将其馈送到网络中以计算置信度分数。最后，对初始掩码进行加权求和以形成最终显著性图，其中权重是由掩码输入产生的置信度分数。Group-CAM是高效而有效的，它只需要对网络进行数十次查询，同时生成与目标相关的显着性图。因此，Group-CAM可以作为一种有效的数据增强技巧，用于微调网络。我们全面评估了Group-CAM在常用基准上的性能，包括ImageNet-1 k上的删除和插入测试，以及COCO 2017上的指向游戏测试。大量的实验结果表明，Group-CAM实现了更好的视觉性能比目前国家的最先进的解释方法。该代码可在https://github.com/wofmanaf/Group-CAM上获得。
2021-06-19 cs.AI cs.CV
FReLU: Flexible Rectified Linear Units for Improving Convolutional Neural Networks
South China University of Technology（华南理工大学）
整流线性单元（ReLU）是深度卷积神经网络广泛使用的激活函数。然而，由于零硬校正，ReLU网络错过了负值的好处。在本文中，我们提出了一个新的激活函数称为\emph{flexible rectified linear unit (FReLU)}，以进一步探讨负值的影响。通过将ReLU的校正点重新设计为可学习参数，FReLU扩展了激活输出的状态。当网络成功训练时，FReLU倾向于收敛到负值，这提高了表现力，从而提高了性能。此外，FReLU被设计为简单而有效，没有指数函数，以保持低成本计算。FReLU不依赖于严格的假设条件，可以自适应地应用于各种网络架构。我们在三个标准的图像分类数据集上评估FReLU，包括CIFAR-10，CIFAR-100和ImageNet。实验结果表明，该方法在普通网络和残差网络上都具有较快的收敛速度和较高的性能。
2018-01-29 cs.CV
Effective, Fast, and Memory-Efficient Compressed Multi-function Convolutional Neural Networks for More Accurate Medical Image Classification
Convolutional Neural Networks (CNNs) usually use the same activation function , such as RELU, for all convolutional layers. There are performance limitations of just using RELU. In order to achieve better classification performance, reduce training and testing times, and reduce power consumption and memory usage, a new "Compressed Multi-function CNN" is developed. Google's Inception-V4, for example, is a very deep CNN that consists of 4 Inception-A blocks, 7 Inception-B blocks, and 3 Inception-C blocks. RELU is used for all convolutional layers. A new "Compressed Multi-function Inception-V4" (…
2018-11-29 cs.CV
Deep ensembles based on Stochastic Activation Selection for Polyp Segmentation
Università di Bologna（博洛尼亚大学）；University of Padua（帕多瓦大学）
语义分割具有广泛的应用，从医学图像分析，场景理解，自动驾驶和机器人导航。这项工作涉及医学图像分割，特别是准确的息肉检测和分割在结肠镜检查。已经提出了几种卷积神经网络架构来有效地处理该任务以及在不同尺度输入下分割对象的问题。图像分割的基本架构由编码器和解码器组成：第一个使用卷积滤波器从图像中提取特征，第二个负责生成最终输出。在这项工作中，我们比较了通过改变解码器骨干获得的DeepLab架构的一些变体。我们比较了几种解码器架构，包括ResNet，Xception，EfficentNet，MobileNet，并通过用其他函数替换ReLU激活层来扰动它们的层。由此产生的方法被用来创建深合奏被证明是非常有效的。我们的实验评估表明，我们最好的集成产生良好的分割结果，实现了高评价分数与骰子系数为0.884，平均交集超过联盟（mIoU）为0.818的Kvasir-SEG数据集。为了提高可重复性和研究效率，用于本研究的MATLAB源代码可在GitHub上获得：https://github.com/LorisNanni。
2021-04-07 cs.AI cs.CV
An Empirical Study on Position of the Batch Normalization Layer in Convolutional Neural Networks
在本文中，我们研究了如何通过改变批量归一化（BN）层的位置来影响卷积神经网络（CNN）的训练。我们选择了三种不同的卷积神经网络进行实验。这些网络是AlexNet、VGG-16和ResNet- 20。我们表明，BN算法提供的训练速度可以通过使用BN层的其他位置而不是其原始论文所建议的位置来提高。此外，我们还讨论了BN层在某个位置如何帮助训练一个网络，而不是另一个网络。在本研究中，BN层的三个不同的位置进行了研究。这些职位是：卷积层和非线性激活函数之间的BN层，非线性激活函数之后的BN层，以及最后，每个卷积层之前的BN层。
2020-04-23 cs.CV
Socioeconomic correlations of urban patterns inferred from aerial images: interpreting activation maps of Convolutional Neural Networks
Univ Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；Université Claude Bernard Lyon 1（里昂第一大学克洛德·贝尔纳大学）；Central European University（中欧大学）
城市化是现代社会面临的一个巨大挑战，在扩大社会经济不平等的同时，也有望提供更好的经济机会。准确跟踪这一过程如何展开对传统的数据收集方法来说是一个挑战，而遥感信息提供了一种替代方法，可以更全面地了解这些社会变化。通过向神经网络提供卫星图像，可以恢复与该地区相关的社会经济信息，但是这些模型缺乏解释样本中包含的视觉特征如何触发给定的预测。在这里，我们通过从航拍图像预测法国各地的社会经济地位，并根据城市拓扑结构解释类激活映射来缩小这一差距。我们发现，该模型忽略了城市阶层和社会经济地位之间存在的空间相关性，以获得其预测。这些结果为建立可解释的模型铺平了道路，这可能有助于更好地跟踪和理解城市化及其后果。
2020-04-10 cs.CV cs.CY cs.LG
Maxmin convolutional neural networks for image classification
UPMC Univ Paris 06（巴黎第六大学（皮埃尔和玛丽·居里大学））；CNRS（法国国家科学研究中心）
卷积神经网络（CNN）广泛应用于计算机视觉，特别是图像分类。然而，在深度CNN架构中编码信息和不变性的方式仍然是一个悬而未决的问题。在本文中，我们建议修改CNN的标准卷积块，以便在保持网络内的一些不变性的同时，逐层传输更多的信息。我们的主要思想是利用卷积映射中获得的正和负高分。通过在合并之前修改传统的激活函数步骤来获得该参数。我们使用特定的激活函数（称为MaxMin策略）将地图加倍，以实现我们的管道。在两个经典数据集MNIST和CIFAR-10上进行的大量实验表明，我们的深度MaxMin卷积网络优于标准CNN。
2016-10-25 cs.CV
