A Tutorial on Explainable Image Classification for Dementia Stages Using Convolutional Neural Network and Gradient-weighted Class Activation Mapping
The Hong Kong Polytechnic University（香港理工大学）
本文通过CNN和Grad-CAM对痴呆阶段进行可解释图像分类，展示高准确率的同时探讨可视化解释对医学应用的意义。
2024-08-20 cs.AI cs.CV eess.IV
Transfer-Ensemble Learning based Deep Convolutional Neural Networks for Diabetic Retinopathy Classification
Jadavpur University（jadavpur大学）
本文提出一种基于VGG16和Inception V3的迁移集成学习模型，通过冻结部分层并拼接全局平均池化特征，在APTOS数据集上将糖尿病视网膜病变五分类准确率提升至96.4%。
2023-08-01 cs.AI cs.CV
Neural Network Structure Design based on N-Gauss Activation Function
Beijing Institute of Technology（北京理工大学）
最近的工作表明，卷积神经网络的激活函数满足Lipschitz条件，那么可以根据数据集的规模构造相应的卷积神经网络结构，对数据集进行更深入、更准确、更有效的训练。在本文中，我们接受了实验结果，并介绍了核心块N-Gauss，N-Gauss和Swish（Conv 1，Conv 2，FC 1）神经网络结构设计训练MNIST，CIFAR 10和CIFAR 100分别。实验表明，N-Gauss充分发挥了激活函数非线性建模的主要作用，使深度卷积神经网络具有层次化的非线性映射学习能力。同时，N-Gauss在简单一维通道小数据集上的训练能力与ReLU和Swish的性能相当。
2021-06-01 cs.AI cs.CV cs.LG
Cooperative Starting Movement Detection of Cyclists Using Convolutional Neural Networks and a Boosted Stacking Ensemble
University of Kassel（卡塞尔大学）；University of Applied Sciences Aschaffenburg（阿沙芬堡应用科学大学）
未来，车辆和其他交通参与者将相互连接，并配备各种类型的传感器，允许在不同层面上进行合作，例如情况预测或意图检测。在这篇文章中，我们提出了一个合作的方法开始运动检测骑自行车的人使用提升堆叠集成方法实现功能和决策级的合作。提出了一种基于3D卷积神经网络（CNN）的新方法，通过学习时空特征来检测图像序列上的起始运动。CNN由源自骑车人携带的智能设备的基于智能设备的开始移动检测补充。这两个模型的输出结合在一个堆叠集成的方法，使用极端的梯度提升分类器，导致在一个快速而又强大的合作开始运动检测器。我们评估我们的合作方法对来自实验的真实世界的数据与49个测试对象组成的84个起始动作。
2018-10-09 cs.AI cs.CV
Empirical Ablation and Ensemble Optimization of a Convolutional Neural Network for CIFAR-10 Classification
Department of Electrical and Computer Engineering, The University of Tulsa（电气与计算机工程系，塔尔萨大学）
本文通过经验消融研究评估了CNN在CIFAR-10分类中的优化方法，探讨了训练时长、学习率调度等对泛化能力的影响，并通过集成学习提升分类性能。
2026-04-26 cs.AI cs.CV
Ensemble of Convolutional Neural Networks for StrokePrediction: Towards Improved Diagnostic Accuracy
本研究提出基于11项特征的智能卒中预测系统，对比7种监督机器学习算法，发现Random Forest等集成方法准确率达99.52%，凸显其在卒中分类中的有效性。
2026-08-26 cs.AI cs.CV
Parsimonious Inference on Convolutional Neural Networks: Learning and applying on-line kernel activation rules
Irida Labs S.A（Irida Labs 股份有限公司）
本文提出了一种新的，激进的CNN设计方法，考虑减少总的计算负荷在推理过程中。这是通过对CNN架构和训练过程进行新的整体干预来实现的，该训练过程通过学习利用或去除CNN架构的冗余容量来针对简约推理。这是通过引入一种新的结构元素来实现的，该结构元素可以作为附加元件插入到任何当代CNN架构中，同时保持甚至提高其识别精度。我们的方法制定了一种系统的和数据驱动的方法，用于开发CNN，这些CNN经过训练，最终在推理过程中实时改变大小和形式，目标是尽可能小的计算足迹。结果提供了一些现代化的，高端的移动计算平台上的最佳实施，表明一个显着的速度提高到x3倍。
2017-01-31 cs.AI cs.CV cs.LG
Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification
University of Florida（佛罗里达大学）
我们开发了三种有效的方法，用于从3D卷积神经网络（3D-CNN）中生成用于阿尔茨海默病分类的视觉解释。一种方法对分层3D图像分割进行敏感性分析，另两种方法在空间图上可视化网络激活。视觉检查和定量定位基准表明，所有方法都可以识别阿尔茨海默病诊断的重要大脑部位。对比分析表明，基于敏感性分析的方法难以处理松散分布的大脑皮层，基于激活可视化的方法受到卷积层分辨率的限制。这些方法的互补性从不同角度提高了对3D-CNN在阿尔茨海默病分类中的理解。
2018-07-06 cs.AI cs.CV cs.LG
An Ensemble of Convolutional Neural Networks to Detect Foliar Diseases in Apple Plants
K.J. Somaiya College of Engineering（K.J. 索马亚工程学院）
苹果病害如果不及早诊断，可能导致大量资源损失，并对食用受感染苹果的人类和动物构成严重威胁。因此，必须及早诊断这些疾病，以管理植物健康并最大限度地减少与之相关的风险。然而，监测植物病害的传统方法需要人工侦察和分析植物叶片的特征、纹理、颜色和形状，导致诊断延迟和误判。我们的工作提出了一个集成系统的Xception，InceptionResNet和MobileNet架构，以检测5种不同类型的苹果植物疾病。该模型已经在公开的Plant Pathology 2021数据集上进行了训练，可以对给定植物叶片中的多种疾病进行分类。该系统在多类、多标签分类方面取得了突出的效果，可用于大型苹果种植园的实时监测，帮助农民有效地管理产量。
2022-10-01 cs.AI cs.CV cs.LG
VS-CAM: Vertex Semantic Class Activation Mapping to Interpret Vision Graph Neural Network
Xidian University（西安电子科技大学）；University of Montenegro（黑山大学）
图卷积神经网络（GCN）在各种计算机视觉任务中得到了越来越多的关注并取得了良好的性能，但对GCN的内在机理缺乏清晰的解释。对于标准卷积神经网络（CNN），类激活映射（CAM）方法通常用于通过生成热图来可视化CNN的决策与图像区域之间的连接。然而，当这些CAM直接应用于GCN时，这样的热图通常表现出语义混乱。在本文中，我们提出了一种新的可视化方法，特别适用于GCN，顶点语义类激活映射（VS-CAM）。VS-CAM包括两个独立的流水线，分别产生一组语义探测图和一个语义基础图。语义探测图用于从语义基础图中检测语义信息，以聚合语义感知热图。定性结果表明，VS-CAM可以获得热图，其中突出显示的区域比基于CNN的CAM更精确地匹配对象。定量评价进一步证明了VS-CAM的优越性。
2022-09-15 cs.AI cs.CV cs.LG
Entropy-Based Non-Invasive Reliability Monitoring of Convolutional Neural Networks
Semarx Research Ltd.（Semarx 研究有限公司）
本文提出无需修改模型的 VGG-16 激活熵并行监控方法，利用早期卷积层 7% 的熵偏移检测对抗输入，达到 90% 准确率且误报、漏报均低于 20%。
2025-08-29 cs.AI cs.CR cs.CV
Recognition of Handwritten Japanese Characters Using Ensemble of Convolutional Neural Networks
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本文提出三模型 CNN 集成方法识别手写日文汉字，并在四个数据集上验证，最高准确率达 99.4%。
2023-06-06 cs.AI cs.CL cs.CV
Deep Unitary Convolutional Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度神经网络可能会遇到爆炸和消失的激活问题，其中网络无法正确训练，因为神经信号在层间放大或衰减并变得饱和。虽然其他标准化方法旨在解决所述问题，但在需要神经激活的运行平均值的应用中，它们中的大多数都具有推理速度损失。在这里，我们将基于李代数的酉框架扩展到任何维度的神经网络，克服了现有技术中将突触权重限制为方阵的主要约束。我们提出的酉卷积神经网络提供了高达32%的推理速度和高达50%的永久硬盘空间减少，同时保持竞争力的预测精度。
2021-08-20 cs.AI cs.LG
Decoding Event-related Potential from Ear-EEG Signals based on Ensemble Convolutional Neural Networks in Ambulatory Environment
Korea University（高丽大学）
近年来，实用的脑机接口被积极地实施，特别是在移动环境中。然而，当用户运动时，脑电信号会受到运动伪影和肌电信号的影响而发生畸变，这给用户的意图识别带来了困难。此外，由于硬件问题也是一个挑战，耳-脑电已被开发为实用的脑机接口，并已被广泛使用。本文提出了基于集成的卷积神经网络，并从统计分析和脑机接口性能两个方面分析了动态环境下头皮和耳脑电的视觉事件相关电位反应。当以1.6 m/s的速度快速行走时，脑机接口性能下降3-14%。所提出的方法显示，在0.728的平均曲线下面积。该方法对动态环境和不平衡数据具有很好的鲁棒性。
2021-03-03 cs.AI cs.HC
Enhancing material property prediction with ensemble deep graph convolutional networks
West Virginia University（西弗吉尼亚大学）
本研究深入评估了深度图神经网络中集成策略在材料性质预测中的应用，发现预测平均等集成技术能显著提升CGCNN和MT-CGCNN在预测33,990种无机材料关键性质时的精度。
2024-07-26 cs.AI cs.LG
E-QUARTIC: Energy Efficient Edge Ensemble of Convolutional Neural Networks for Resource-Optimized Learning
University of California San Diego（加利福尼亚大学圣迭戈分校）
本研究提出能效边缘集成框架E-QUARTIC，面向嵌入式AI系统构建CNN集成模型，可适配动态能量条件，降低系统故障率达40%，支持边端训练与推理，开销低于0.04%。
2024-09-12 cs.AI cs.DC cs.ET
Ensemble of Convolutional Neural Networks Trained with Different Activation Functions
University of Padua（帕多瓦大学）
激活函数在卷积神经网络的训练中起着至关重要的作用。因此，开发高效的和执行功能是深度学习社区的一个关键问题。这些方法的关键是允许可靠的参数学习，避免消失梯度问题。这项工作的目标是提出一个集成的卷积神经网络训练使用几个不同的激活函数。此外，本文首次提出了一种新的激活函数。我们的目标是提高卷积神经网络在中小规模生物医学数据集上的性能。我们的结果清楚地表明，所提出的集成优于使用标准ReLU作为激活函数训练的卷积神经网络。所提出的集成优于每个测试的独立激活函数，p值为0.01;为了进行可靠的性能比较，我们使用两个著名的卷积神经网络：Vgg 16和ResNet 50，在10多个数据集上测试了我们的方法。此处使用的MATLAB代码可在www.example.com上获得。
2020-09-21 cs.CV
Thanks for Nothing: Predicting Zero-Valued Activations with Lightweight Convolutional Neural Networks
Technion（以色列理工学院）；Habana Labs — An Intel Company（Habana Labs — 英特尔公司）
卷积神经网络（CNN）为各种任务引入了最先进的结果，但代价是高计算需求。受CNN输出特征图（ofms）中存在空间相关性的观察的启发，我们提出了一种根据其相邻激活值动态预测ofm激活是否为零值的方法，从而避免零值激活并减少卷积运算的数量。我们用一个轻量级的CNN实现了零激活预测器（ZAP），它的开销可以忽略不计，并且很容易在现有模型上部署。通过模仿隐藏层输出来训练ZAP;从而实现并行和无标签训练。此外，无需再训练，每个ZAP可以被调谐到不同的操作点交易精度，以降低MAC。
2020-07-13 cs.CV
Deep ensembles based on Stochastic Activation Selection for Polyp Segmentation
Università di Bologna（博洛尼亚大学）；University of Padua（帕多瓦大学）
语义分割具有广泛的应用，从医学图像分析，场景理解，自动驾驶和机器人导航。这项工作涉及医学图像分割，特别是准确的息肉检测和分割在结肠镜检查。已经提出了几种卷积神经网络架构来有效地处理该任务以及在不同尺度输入下分割对象的问题。图像分割的基本架构由编码器和解码器组成：第一个使用卷积滤波器从图像中提取特征，第二个负责生成最终输出。在这项工作中，我们比较了通过改变解码器骨干获得的DeepLab架构的一些变体。我们比较了几种解码器架构，包括ResNet，Xception，EfficentNet，MobileNet，并通过用其他函数替换ReLU激活层来扰动它们的层。由此产生的方法被用来创建深合奏被证明是非常有效的。我们的实验评估表明，我们最好的集成产生良好的分割结果，实现了高评价分数与骰子系数为0.884，平均交集超过联盟（mIoU）为0.818的Kvasir-SEG数据集。为了提高可重复性和研究效率，用于本研究的MATLAB源代码可在GitHub上获得：https://github.com/LorisNanni。
2021-04-07 cs.AI cs.CV
Multi-scale Orderless Pooling of Deep Convolutional Activation Features
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度卷积神经网络（CNN）已经显示出其作为通用识别表示的前景。然而，全局CNN激活缺乏几何不变性，这限制了它们对高度可变场景的分类和匹配的鲁棒性。为了提高CNN激活的不变性而不降低其鉴别能力，本文提出了一种简单但有效的方案，称为多尺度无序池（MOP-CNN）。该方案在多个尺度级别上提取局部补丁的CNN激活，在每个级别上分别执行这些激活的无序VLAD池化，并连接结果。由此产生的MOP-CNN表示可用作监督或无监督识别任务的通用特征，从图像分类到实例级检索;它始终优于全局CNN激活，而无需对特定目标数据集的预测层进行任何联合训练。就绝对值而言，它在具有挑战性的SUN 397和MIT Indoor Scenes分类数据集上取得了最先进的结果，并在ILSVRC 2012/2013分类和INRIA Holidays检索数据集上取得了有竞争力的结果。
2014-09-08 cs.CV
Deep Self-Convolutional Activations Descriptor for Dense Cross-Modal Correspondence
Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了一种新型描述符，称为深度自卷积激活（DeSCA），旨在在不同成像方式（例如不同光谱范围或照明条件）下拍摄的图像之间建立密集的对应关系。受基于局部自相似性（LSS）的描述符的启发，我们通过在深层架构中利用LSS来制定一种新的描述符，从而比最先进的跨模态描述符具有更好的区分能力和对非刚性图像变形的更强鲁棒性。DeSCA首先在随机采样补丁的局部支持窗口上计算自卷积，然后通过在深度卷积架构内的分层公式执行平均池化来构建自卷积激活。最后，通过圆形配置中的空间金字塔池化对自卷积激活的特征响应进行编码。与现有的基于卷积神经网络（CNN）的描述符相比，DeSCA是无训练的（即，随机采样的片被用作卷积核），对于交叉模态成像是鲁棒的，并且可以以显著减少计算冗余的有效方式密集地计算。通过大量的实验证明了DeSCA在交叉模态图像对的挑战性情况下的最先进性能。
2016-03-21 cs.CV
DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
我们评估了从深度卷积网络的激活中提取的特征是否可以重新用于新的通用任务，该深度卷积网络以完全监督的方式在大型固定的对象识别任务集上训练。我们的通用任务可能与最初训练的任务显著不同，并且可能没有足够的标记或未标记数据来常规地训练或使深度架构适应新任务。我们研究并可视化了深度卷积特征的语义聚类与各种此类任务的关系，包括场景识别、领域自适应和细粒度识别挑战。我们比较了依赖于各种网络级别来定义固定功能的功效，并报告了在几个重要的视觉挑战上显着优于最先进技术的新结果。我们正在发布DeCAF，这是这些深度卷积激活功能的开源实现，以及所有相关的网络参数，使视觉研究人员能够在一系列视觉概念学习范式中进行深度表征的实验。
2013-10-06 cs.CV
Reduced Deep Convolutional Activation Features (R-DeCAF) in Histopathology Images to Improve the Classification Performance for Breast Cancer Diagnosis
Institute of Medical Science and Technology, Shahid Beheshti University（沙希德·贝赫什提大学医学科学与技术研究所）
针对乳腺癌组织病理图像分类，本文提出R-DeCAF框架，结合预训练CNN特征提取、PCA降维和SVM二分类，在BreakHis上以更少计算时间将准确率最高提升4.3%。
2023-01-05 cs.AI cs.CV
Natural-Logarithm-Rectified Activation Function in Convolutional Neural Networks
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）
激活函数在深度神经网络中提供卓越性能方面发挥着关键作用，而整流线性单元（ReLU）是使用最广泛的激活函数之一。已经提出了各种新的激活函数和对ReLU的改进，但每种都有性能缺陷。在本文中，我们提出了一种改进的激活函数，我们称之为自然对数校正线性单元（NLReLU）。这个激活函数使用参数化自然对数变换来改进ReLU，并简单地定义为。NLReLU不仅保留了ReLU的稀疏激活特性，而且在一定程度上解决了“垂死ReLU”和梯度消失问题。它还减少了偏置移位效应和神经元数据分布在网络层之间的异方差，以加快学习过程。该方法在两个基本数据集的10个不同深度的卷积神经网络上进行了验证。实验表明，使用NLReLU的卷积神经网络比使用ReLU的卷积神经网络具有更高的准确性，并且NLReLU与其他众所周知的激活函数相当。与ReLU相比，NLReLU分别在MNIST和CIFAR-10数据集的浅卷积神经网络中使用时，平均分类准确率高出0.16%和2.04%。使用NLReLU的深度卷积神经网络的平均准确率比使用CIFAR-10数据集的平均准确率高1.35%。
2019-08-25 cs.CV cs.LG stat.ML
PEA: Improving the Performance of ReLU Networks for Free by Using Progressive Ensemble Activations
Continental AI Development Center（大陆集团人工智能开发中心）
近年来，人们提出了新的激活函数来提高神经网络的性能，与ReLU相比，它们表现出更好的性能。然而，在某些环境中，复杂激活的可用性是有限的，通常只支持ReLU。在本文中，我们提出了一些方法，可以通过在模型训练期间使用这些有效的新激活来提高ReLU网络的性能。更具体地说，我们提出了由ReLU和这些新激活之一组成的集成激活。此外，集合的系数既不是固定的，也不是学习的，而是在训练过程中逐步更新的，在训练结束时，只有ReLU激活在网络中保持活跃，其他激活可以被删除。这意味着在推理时间内，网络只包含ReLU激活。我们使用各种紧凑的网络架构和各种新颖的激活函数对ImageNet分类任务进行了广泛的评估。结果表明，0.2-0.8%的前1精度增益，这证实了所提出的方法的适用性。此外，我们还展示了所提出的语义分割方法，并在Cityscapes数据集上将紧凑分割网络的性能提高了0.34% mIOU。
2022-07-28 cs.CV cs.LG
The Treasure beneath Convolutional Layers: Cross-convolutional-layer Pooling for Image Classification
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最近的一些研究表明，在大型数据集上预训练的深度卷积神经网络（DCNN）可以用作通用图像描述，这在许多视觉分类任务中具有惊人的性能。这些研究中的大多数（如果不是全部的话）采用DCNN的全连接层的激活作为图像或区域表示，并且认为卷积层激活的区分性较低。然而，本文主张，如果使用得当，卷积层激活可以变成一个强大的图像表示，它比全连接层激活具有许多优势。这是通过采用本文提出的称为交叉卷积层池化的新技术来实现的。更具体地说，它提取一个卷积层的特征图的子阵列作为局部特征，并在连续卷积层的特征图的指导下将提取的特征合并。与在局部特征设置中应用DCNN的方法相比，所提出的方法明显更快，因为它需要更少的DCNN前向计算次数。此外，它避免了域不匹配的问题，通常会遇到时，应用全连接层激活来描述局部区域。通过将我们的方法应用到四个流行的视觉分类任务中，证明了所提出的方法可以实现与现有的基于全连接层的图像表示相当或在某些情况下显着更好的性能，同时产生更低的计算成本。
2014-11-27 cs.CV
Deep Quantization: Encoding Convolutional Activations with Deep Generative Model
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
深度卷积神经网络（CNN）已被证明对视觉识别非常有效，其中从卷积层的激活中学习通用表示是一个基本问题。在本文中，我们提出了Fisher Vector encoding with Variational Auto-Encoder（FV-VAE），这是一种新型的深度架构，通过以端到端的方式训练卷积层，在深度生成模型中量化卷积层的局部激活。为了将FV编码策略整合到深度生成模型中，我们引入了变分自动编码器模型，该模型在神经网络中引导变分推理和学习，可以使用标准随机梯度方法直接优化。与传统生成模型（例如，与高斯混合模型（Gaussian Mixture Model）对数据分布的稀疏拟合相比，FV-VAE更能灵活地反映数据的自然属性，具有更好的泛化能力。在三个公共数据集上进行了广泛的实验，即，UCF 101、ActivityNet和CUB-200-2011分别在视频动作识别和细粒度图像分类的上下文中进行。优越的结果相比，国家的最先进的表示。最值得注意的是，我们提出的FV-VAE在UCF 101上达到了迄今为止最好的94.2%的准确率。
2016-11-29 cs.CV
Sparsely ensembled convolutional neural network classifiers via reinforcement learning
Pavlov Institute of Physiology RAS（俄罗斯科学院巴甫洛夫生理学研究所）；State University of Aerospace Instrumentation（国立航空航天仪器大学）
我们考虑卷积神经网络（CNN）集成学习的目标函数的启发，最小行动原则，它包括资源消耗组件。我们教一个代理通过一组预先训练的分类器来感知图像，并希望得到的动态配置的系统以最小的操作次数和最大的预期精度展开计算图。建议代理的架构隐式近似所需的分类器选择功能的帮助下，强化学习。我们的实验结果证明，如果代理利用动态（和上下文相关）的计算结构，它优于传统的集成学习。
2021-02-07 cs.AI cs.CV cs.LG
Empirical Evaluation of Rectified Activations in Convolutional Network
University of Alberta（阿尔伯塔大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了卷积神经网络中不同类型的校正激活函数的性能：标准校正线性单元（ReLU）、漏校正线性单元（Leaky ReLU）、参数校正线性单元（PReLU）和一种新的随机漏校正线性单元（RReLU）。我们评估这些激活函数的标准图像分类任务。我们的实验表明，在整流激活单元中为负部分引入非零斜率可以始终如一地改善结果。因此，我们的研究结果对普遍认为稀疏性是ReLU良好性能的关键是负面的。此外，在小规模数据集上，使用确定性负斜率或学习它都容易出现过拟合。它们不像使用随机对应物那样有效。通过使用RReLU，我们在CIFAR-100测试集上获得了75.68%的准确率，无需多次测试或集成。
2015-11-27 cs.CV cs.LG stat.ML
Reusing Convolutional Activations from Frame to Frame to Speed up Training and Inference
当连续处理类似的帧时，我们可以利用卷积运算的局部性，只重新评估图像中与前一帧不同的部分。通过保存卷积层的输出并计算帧与帧之间的变化，我们可以重用以前的激活并节省计算资源，否则将浪费在重新计算我们已经观察到的输出的卷积上。这种技术可以应用于许多领域，例如处理来自固定摄像机的视频，研究图像的遮挡或扭曲部分的效果，将卷积应用于多帧音频或时间序列数据，或者玩Atari游戏。此外，这种技术可以用于加快训练和推理。
2019-09-15 cs.CV cs.LG
An Ensemble with Shared Representations Based on Convolutional Networks for Continually Learning Facial Expressions
University of Hamburg（汉堡大学）；Knowledge Technology（知识技术学院）
能够不断学习面部表情的社交机器人可以逐步提高他们对与他们互动的人的情感识别能力。通过集成预测的半监督学习是一种有效的策略，可以在人机交互期间利用未标记的面部表情的高曝光率。然而，传统的基于集成的系统由多个独立的分类器组成，导致高度冗余和不必要的计算资源分配。在本文中，我们提出了一种基于卷积网络的集成，其中早期层是强大的低级特征提取器，它们的表示与卷积分支的集成共享。这导致低级特征处理的冗余度显著下降。在半监督设置中进行训练，我们表明，我们的方法能够通过使用来自不同数据分布的未标记样本进行集成预测来不断学习面部表情。
2021-03-05 cs.CV
Offline Writer Identification Using Convolutional Neural Network Activation Features
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）
本文提出利用 CNN 激活特征结合 GMM 超向量编码和 KL-Kernel 归一化进行离线笔迹识别，在 ICDAR 2013 双语数据集上 mAP 提升约 0.21。
2024-02-26 cs.CV
Neural Activation Constellations: Unsupervised Part Model Discovery with Convolutional Networks
University of Jena（耶拿大学）
对象类别的部分模型对于具有挑战性的识别任务是必不可少的，其中类别的差异是微妙的，并且仅反映在对象的小部分的外观上。我们提出了一种能够以完全无监督的方式学习零件模型的方法，没有零件注释，甚至在学习过程中没有给定的边界框。其关键思想是找到使用卷积神经网络计算的神经激活模式的星座。在我们的实验中，我们优于现有的细粒度识别方法的CUB 200 -2011，NA鸟，牛津PETS和牛津花数据集的情况下，没有部分或限界框注释是可用的，并达到最先进的性能斯坦福狗数据集。我们还展示了神经星座模型作为一种用于微调的数据增强技术的好处。此外，我们的论文统一了通用和细粒度分类的领域，因为我们的方法适用于这两种情况。我们的方法的源代码可以在http://www.inf-cv.uni-jena.de/part_discovery上在线获得
2015-12-05 cs.CV
Deep Convolutional Neural Network Inference with Floating-point Weights and Fixed-point Activations
ARM Research（ARM研究院）
深度卷积神经网络（CNN）推理需要大量的内存和计算，这限制了其在嵌入式设备上的部署。为了在一定程度上缓解这些问题，先前的研究利用低精度定点数来表示CNN权重和激活。然而，固定点权重的最小所需数据精度在不同网络之间以及在同一网络的不同层之间变化。在这项工作中，我们建议使用浮点数表示的权重和定点数表示的激活。我们表明，对于相同的位宽，使用浮点表示的权重比定点表示更有效，并在流行的大规模CNN（如AlexNet，SqueezeNet，GoogLeNet和VGG-16）上进行了演示。我们还表明，这样的表示方案，使紧凑的硬件乘法和累加（MAC）单元设计。实验结果表明，该方案减少了高达36%的重量存储和功耗的硬件乘法器高达50%。
2017-03-08 cs.CV cs.LG
CageViT: Convolutional Activation Guided Efficient Vision Transformer
Southern University of Science and Technology（南方科技大学）；United Imaging Intelligence (UII)（联影智能）；Huazhong Agricultural University（华中农业大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出CageViT，一种卷积激活引导的高效视觉Transformer，通过卷积激活预处理token、设计加权类激活及Gated Linear SRA机制，在保持准确率的同时大幅降低计算成本。
2023-05-17 cs.CV
Ensembles of feedforward-designed convolutional neural networks
University of Southern California（南加州大学）
提出了一种融合多个前馈设计的卷积神经网络（FF-CNN）输出决策向量的集成方法来解决图像分类问题。为了提高集成系统的性能，增加FF-CNN模型的多样性至关重要。为了实现这一目标，我们通过采用三种策略来引入diform：1）卷积层中的不同参数设置，2）馈送到全连接（FC）层中的灵活特征子集，以及3）同一输入源的多个图像嵌入。此外，我们将输入样本划分为容易和困难的决策信心分数的基础上。因此，我们可以开发一个新的集成系统，为硬样本量身定制，以进一步提高分类精度。在MNIST和CIFAR-10数据集上进行了实验，以证明集成方法的有效性。
2019-01-08 cs.CV
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University（国立台湾大学）
卷积神经网络（CNN）在广泛的领域中取得了卓越的性能。然而，激活的密集存储器访问引入了相当大的能量消耗，阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性，从而实现降维。然而，在激进的降维的情况下，这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡，我们提出了一个压缩感知投影系统，它采用了可学习的投影来补偿重建损失。此外，贪婪的选择度量被引入到优化逐层压缩比分配，同时考虑精度和#比特减少。测试结果表明，在MobileNetV 2/ResNet 18/VGG 16上，本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问，而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Multi-function Convolutional Neural Networks for Improving Image Classification Performance
传统的卷积神经网络（CNN）通常对所有具有非线性映射操作的神经元使用相同的激活函数（通常为ReLU）。例如，深度卷积架构Inception-v4使用ReLU。为了提高传统卷积神经网络的分类性能，通过对不同的神经元使用不同的激活函数，构造了一种新的"多函数卷积神经网络"（MCNN）。对于$n$神经元和$m$不同的激活功能，共有$m^n-m$ MCNN和只有$m$的传统CNN。因此，最好的模型很可能是从MCNN中选择的，因为MCNN比传统的CNN有更多的$m^n-2m$。对于性能分析，使用了两个应用程序的两个不同数据集（对MNIST数据库中的手写数字进行分类，并将大脑MRI图像分类为阿尔茨海默病（AD）的四个阶段之一）。对于这两种应用，为MCNN的每一层随机选择激活函数。对于AD诊断应用，使用新创建的多功能Inception-v4架构构建MCNN。总体而言，模拟表明，MCNN在两种应用的多类分类准确性方面都优于传统CNN。一个重要的未来的研究工作将是有效地选择最好的MCNN从$m^n-m$候选MCNN。当前的CNN软件仅向用户提供MCNN的部分功能，因为不同的层可以使用不同的激活函数，但不能使用同一层中的单个神经元。因此，通过使用多个激活函数来修改当前的CNN软件系统（例如ResNets、DenseNets和双路径网络）并开发更有效和更快的MCNN软件系统和工具将非常有助于解决困难的实…
2018-05-30 cs.CV
A combined full-reference image quality assessment approach based on convolutional activation maps
全参考图像质量评估（FR-IQA）的目标是使用原始的参考图像来预测人类观察者所感知的图像质量。在这项研究中，我们探索了一种新的组合方法，该方法通过从卷积激活图中编译特征向量来预测失真图像的感知质量。更具体地，通过预训练的卷积神经网络运行参考失真图像对，并且将激活图与传统图像相似性度量进行比较。随后，得到的特征向量映射到感知质量分数的帮助下，训练的支持向量回归。一个详细的参数研究，其中所提出的方法的设计选择的理由。此外，我们研究了训练图像的数量和预测性能之间的关系。具体而言，它表明，所提出的方法可以用少量的数据进行训练，以达到高的预测性能。我们最好的建议- ActMapFeat -比较国家的最先进的六个公开可用的基准IQA数据库，如KADID-10 k，TID 2013，TID 2008，MDID，CSIQ，和VCL-FER。具体来说，我们的方法能够显着优于这些基准数据库的最先进的。
2020-12-03 cs.CV eess.IV
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks
Vellore Institute of Technology（韦洛尔理工学院）；Red Hat Inc.（红帽公司）
本文提出新型振荡激活函数增长余弦单元（GCU，$C(z)=z\boldsymbol{\text{cos}}z$），证明其可改善梯度流动、减小网络规模，在多种架构和基准测试中性能优于现有激活函数。
2023-01-12 cs.CV cs.LG cs.NE
A Convolutional Layer Activation Dimensionality Reduction for Out-of-Distribution and Adversarial Attack Detection Methods
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）；Advanced Research Center on Electronic Systems “Ercole De Castro” (ARCES) - Alma Mater Studiorum Università di Bologna（博洛尼亚大学“埃尔科莱·德·卡斯特罗”电子系统高级研究中心）
本文针对卷积层激活降维的不足，提出一种可控高压缩率的新型降维方法，扩展两种最先进的检测方法并在OOD与对抗攻击检测任务上验证，其性能更优且计算内存占用更低。
2026-08-12 cs.CV
Deep Aggregation of Regional Convolutional Activations for Content Based Image Retrieval
HTW Berlin（柏林应用科学大学（HTW柏林））
基于深度学习的图像检索的关键挑战之一仍然是将卷积激活聚合成一个高度代表性的特征向量。理想情况下，这个描述符应该编码语义，空间和低级别的信息。尽管现成的预训练神经网络已经可以结合聚合方法产生良好的表示，但对图像检索任务进行适当的微调已显示出显着提高检索性能。在本文中，我们提出了一个简单而有效的监督聚合方法建立在现有的区域池的方法。除了给定区域的最大激活之外，我们还计算提取的特征图的区域平均激活。随后，学习每个池化特征向量的权重以执行对单个特征向量的加权聚合。此外，我们将新提出的NRA损失函数应用于深度度量学习，以微调骨干神经网络并学习聚合权重。我们的方法在INRIA假日数据集上取得了最先进的结果，在牛津建筑和巴黎数据集上取得了有竞争力的结果，同时显著减少了训练时间。
2019-09-24 cs.CV cs.IR cs.LG
Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Texas A&M University（得克萨斯农工大学）；Wuhan University（武汉大学）
最近，人们越来越关注卷积神经网络的内部机制，以及网络做出特定决策的原因。在本文中，我们开发了一种新的事后视觉解释方法称为分数CAM类激活映射的基础上。与以往基于类激活映射的方法不同，Score-CAM通过激活映射在目标类上的前向传递得分来获得激活映射的权重，从而摆脱了对梯度的依赖，最终结果由权重和激活映射的线性组合获得。我们证明了分数CAM实现了更好的视觉性能和公平性解释的决策过程。我们的方法在识别和本地化任务上都优于以前的方法，它还通过了健全性检查。我们还指出它的应用程序作为调试工具。官方代码已经发布。
2020-04-13 cs.CV
Ensemble of Convolutional Neural Networks for Automatic Grading of Diabetic Retinopathy and Macular Edema
在这篇手稿中，我们自动化的过程中，糖尿病视网膜病变和黄斑水肿的眼底图像使用的合奏卷积神经网络。通过使用迁移学习方法，避免了有限数量的标记数据来执行监督学习的可用性。集合中的模型在包含自然图像的大型数据集上进行了预训练，然后使用有限的数据进行了微调。对于一幅图像，分类器的集合产生多个预测，并利用基于最大投票的方法来获得图像中的异常的最终等级。对于DR分级任务，在测试数据（n=56）上，集合达到83.9%的准确度，而对于黄斑水肿分级任务，网络达到95.45%的准确度（n=44）。
2018-09-12 cs.CV
Region Ensemble Network: Improving Convolutional Network for Hand Pose Estimation
Tsinghua University（清华大学）
基于单目深度图像的手势估计是人机交互中一个重要而又具有挑战性的问题。最近，具有复杂设计的深度卷积网络（ConvNet）已被用来解决这个问题，但相对于传统方法的改进并不明显。为了提高直接三维坐标回归的性能，我们提出了一种树结构的区域包围网络（REN），它将卷积输出划分为区域，并将每个区域上的多个回归器的结果集成在一起。与多模型集成相比，我们的模型是完全端到端的训练。实验结果表明，我们的方法在两个公共数据集上取得了最好的性能。
2017-05-09 cs.CV
Skin lesion detection based on an ensemble of deep convolutional neural network
Faculty of Informatics, University of Debrecen（德布勒森大学信息学院）
皮肤癌是一个主要的公共卫生问题，在美国每年有超过500万的新诊断病例。黑色素瘤是最致命的皮肤癌，每年造成9,000多人死亡。在本文中，我们提出了一个集成的深度卷积神经网络分类皮肤镜图像分为三类。为了达到最高的分类精度，我们融合了四种不同神经架构的softmax层的输出。对于聚合，我们考虑网络的各个准确度，这些准确度由其最终softmax层提供的置信度值加权。这种基于融合的方法在分类精度方面优于所有单独的神经网络。
2017-05-09 cs.CV
Hardware-Driven Nonlinear Activation for Stochastic Computing Based Deep Convolutional Neural Networks
University of Southern California（南加州大学）；Syracuse University（雪城大学）；Information Sciences Institute（信息科学研究所）
近年来，深度卷积神经网络（DCNN）取得了前所未有的进展，在各种任务中实现了接近甚至优于人类水平感知的准确性。及时需要将最新的软件DCNN映射到特定于应用的硬件，以实现性能，能效和紧凑性的数量级改进。随机计算（SC）作为传统二进制计算范式的低成本替代方案，具有实现DCNN的大规模并行和高度可扩展的硬件实现的潜力。基于SC的DCNN的一个主要挑战是设计精确的非线性激活函数，其对网络级精度具有显著影响，但不能通过现有的SC计算块精确地实现。在本文中，我们设计和优化SC的神经元，我们提出了高精度的激活设计的三个最常用的激活函数在软件DCNN，即双曲正切，逻辑和整流线性单元。在LeNet-5上使用MNIST数据集的实验结果表明，与二进制ASIC硬件DCNN相比，采用SC神经元的DCNN在面积、功耗和能量方面分别提高了61倍、151倍和2倍，而精度下降幅度较小。此外，SC方法的面积分别提高了21倍和41倍，功耗分别提高了41倍和72倍，与CPU和GPU方法相比，分别节省了198200倍和96443倍的能量，而误差增加不到3.07%。考虑到其在小比特流长度下的优越性能，建议将ReLU激活用于未来基于SC的DCNN。
2017-03-12 cs.CV
Convolutional Tables Ensemble: classification in microseconds
Microsoft Research（微软研究院）
我们研究分类器在严重的分类时间限制下运行，对应于1-1000 CPU微秒，使用卷积表枚举（CTE），一个固有的快速架构的对象类别识别。该架构是基于卷积应用稀疏特征提取，使用树或蕨类植物，和线性投票层。几个结构和优化变量被认为是，包括新的决策函数，树学习算法，和蒸馏从CNN CTE架构。在标准对象识别基准上证明了比具有类似速度的相关技术提高24-45%的准确度。使用帕累托速度-精度曲线，我们表明CTE可以提供比卷积神经网络（CNN）更好的精度为一定范围的分类时间约束，或者提供类似的出错率与5- 200倍的加速。
2016-02-14 cs.CV cs.LG
ECOVNet: An Ensemble of Deep Convolutional Neural Networks Based on EfficientNet to Detect COVID-19 From Chest X-rays
University of Chittagong（吉大港大学）；Charles Sturt University（查尔斯特大学）
本文提出了一种基于EfficientNet的深度卷积神经网络（CNN）集成，称为ECOVNet，用于使用大型胸部X射线数据集检测COVID-19。首先，对开放访问的大型胸部X射线集合进行增强，然后将ImageNet预先训练的EfficientNet权重与一些经过训练的自定义微调顶层一起传输，然后是模型快照的集合，以分类对应于COVID-19，正常和肺炎的胸部X射线。在单个训练期间创建的模型快照的预测通过两种集成策略组合，即，硬集成和软集成，以改善分类性能和在分类胸部X射线的相关任务中的泛化。
2020-10-16 cs.CV eess.IV
Effective Training of Convolutional Neural Networks with Low-bitwidth Weights and Activations
Monash University（莫纳什大学）；The University of Adelaide（阿德莱德大学）；South China University of Technology（华南理工大学）
本文解决了训练低位宽权重和激活的深度卷积神经网络的问题。由于量化器的不可微性，优化低精度网络是非常具有挑战性的，这可能导致大量的精度损失。为了解决这个问题，我们提出了三种实用的方法，包括（i）渐进量化;（ii）随机精度;和（iii）联合知识蒸馏，以改善网络训练。首先，对于渐进量化，我们提出了两个方案，逐步找到良好的局部极小值。具体来说，我们建议首先用量化权重优化一个网络，然后再进行重新激活。这与同时优化它们的传统方法相反。此外，我们还提出了第二种渐进量化方案，该方案在训练过程中从高精度到低精度逐渐减小位宽。其次，为了减轻由于多轮训练阶段而造成的过度训练负担，我们进一步提出了一个一阶段随机精度策略，以随机采样和训练子网络，同时保持其他部分的全精度。最后，我们采用了一种新的学习方案，联合训练一个全精度模型和低精度模型。通过这样做，全精度模型提供了指导低精度模型训练的提示，并显着提高了低精度网络的性能。在各种数据集上进行了广泛的实验（例如，CIFAR-100，ImageNet）显示了所提出的方法的有效性。
2021-06-04 cs.CV
Image classification in frequency domain with 2SReLU: a second harmonics superposition activation function
University of Sao Paulo（圣保罗大学）
深度卷积神经网络能够识别复杂的模式，并以超人的能力执行任务。然而，除了异常的结果，他们还没有完全理解，它仍然是不切实际的手工设计类似的解决方案。在这项工作中，一个图像分类卷积神经网络和它的构建模块从频域的角度进行了描述。一些网络层已经在频域中建立了对应层，如卷积层和池化层。我们提出了2SReLU层，这是一种新型的非线性激活函数，可以保留深度网络中的高频成分。它表明，在频域中，它是可能的，以实现竞争力的结果，而不使用计算昂贵的卷积运算。PyTorch中的源代码实现可在https://gitlab.com/thomio/2srelu上找到
2020-06-18 cs.CV eess.IV
Reborn Mechanism: Rethinking the Negative Phase Information Flow in Convolutional Neural Network
Nanjing University（南京大学）；Xi’an Jiaotong-liverpool University（西交利物浦大学）
针对卷积神经网络（CNN）提出了一种新的非线性激活机制-再生机制。与切断负相位值的ReLU形成鲜明对比的是，再生机制具有再生和重建死亡神经元的能力。与其他改进的ReLU函数相比，重生机制引入了一种更合适的方式来利用负相位信息。大量实验表明，该激活机制能够在保持原有ReLU函数优点的同时，更显著地增强模型表示能力，更好地利用输入数据信息。此外，再生机制实现了传统CNN难以实现的非对称性，可以作为信道补偿方法，提供有竞争力甚至更好的性能，但比传统方法学习的参数更少。再生机制在各种基准数据集上进行了测试，都获得了比以前的非线性激活函数更好的性能。
2021-07-07 cs.CV
Driver Drowsiness Detection Using Ensemble Convolutional Neural Networks on YawDD
International Islamic University Malaysia（马来西亚国际伊斯兰大学）；University of Oklahoma（俄克拉荷马大学）；University of Memphis（孟菲斯大学）
使用视频/图像的驾驶员困倦检测是当今驾驶员安全的最重要领域之一。深度学习技术的发展，特别是卷积神经网络（CNN），应用于计算机视觉应用，如困倦检测，由于近几十年来技术的巨大增长，已经显示出有希望的结果。眼睛闭上或过度眨眼，打哈欠，点头和遮挡都是困倦的关键方面。在这项工作中，我们在YawDD数据集上应用了四种不同的卷积神经网络（CNN）技术来检测和检查困倦的程度，这取决于特定姿势和遮挡变化的打哈欠频率。初步的计算结果表明，我们提出的嵌入卷积神经网络（ECNN）通过实现0.935的F1分数优于传统的基于CNN的方法，而其他三个CNN，如CNN 1，CNN 2和CNN 3方法分别获得0.92，0.90和0.912 F1分数。
2021-12-20 cs.CV
A new approach to descriptors generation for image retrieval by analyzing activations of deep neural network layers
Czestochowa University of Technology（琴斯托霍瓦理工大学）；Southeast University（东南大学）；University of Social Sciences（社会科学大学）
在本文中，我们考虑使用深度神经网络的基于内容的图像检索任务的描述符构建问题。基于全连接层激活的神经代码的思想通过合并卷积层中包含的信息来扩展。众所周知，网络卷积部分的神经元总数很大，其中大多数对最终分类决策的影响很小。因此，在本文中，我们提出了一种新的算法，使我们能够提取最重要的神经元激活，并利用这些信息来构建有效的描述符。由从全连接层和卷积层获取的值组成的描述符完美地表示了整个图像内容。使用这些描述符检索的图像在语义上与查询图像非常匹配，并且它们在其他次要图像特征（如背景、纹理或颜色分布）上也相似。基于IMAGENET1M数据集，使用VGG 16神经网络对所提出的描述符的这些特征进行了实验验证。
2020-07-13 cs.CV
