Max-Pooling Dropout for Regularization of Convolutional Neural Networks
Fudan University（复旦大学）
最近，dropout在深度学习中的使用越来越多。对于深度卷积神经网络，已知dropout在全连接层中工作良好。然而，其在池化层中的效果仍然不清楚。本文证明了最大池化dropout等价于在训练时基于多项分布随机选择激活。鉴于这一见解，我们主张采用我们提出的概率加权池，而不是常用的最大池，在测试时作为模型平均。经验证据验证了概率加权池的优越性。我们还比较了最大池辍学和随机池，这两个引入随机性的基础上，多项分布在汇集阶段。
2015-12-04 cs.CV cs.LG cs.NE
Universal Pooling -- A New Pooling Method for Convolutional Neural Networks
Yonsei University（延世大学）
池化是卷积神经网络中的主要元素之一。池化减少了特征图的大小，从而能够以有限的计算量进行训练和测试。本文提出了一种新的池化方法-泛池化。与现有的池化方法（如平均池化，最大池化和具有固定池化函数的步幅池化）不同，通用池化根据给定的问题和数据集生成任何池化函数。通用池的灵感来自注意力方法，可以被认为是局部空间注意力的通道形式。通用池与主网络联合训练，并表明它包括现有的池化方法。最后，当应用到两个基准问题，所提出的方法优于现有的池化方法，并与预期的多样性，适应给定的问题。
2019-07-26 cs.CV
MgNet: A Unified Framework of Multigrid and Convolutional Neural Network
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出统一模型 MgNet，揭示了卷积神经网络与多重网格方法的内在联系，并据此开发了权重和超参数更少且在 CIFAR-10 和 CIFAR-100 上性能优越的改进 CNN 模型。
2019-05-01 cs.CV cs.LG cs.NA
Towards Dropout Training for Convolutional Neural Networks
Fudan University（复旦大学）
最近，dropout在深度学习中的使用越来越多。对于深度卷积神经网络，已知dropout在全连接层中工作良好。然而，它在卷积层和池化层中的效果仍然不清楚。本文证明了最大池化dropout等价于在训练时基于多项分布随机选择激活。鉴于这一见解，我们主张采用我们提出的概率加权池，而不是常用的最大池，在测试时作为模型平均。经验证据验证了概率加权池的优越性。我们还根据经验表明，卷积丢弃的影响并不是微不足道的，尽管由于卷积架构而大大降低了过度拟合的可能性。在最大池化和全连接层中同时精心设计辍学训练，我们在MNIST上实现了最先进的性能，并且相对于没有数据增强的其他方法，在CIFAR-10和CIFAR-100上获得了非常有竞争力的结果。最后，我们比较了最大池脱落和随机池，这两个引入基于多项分布的随机性在池阶段。
2015-12-01 cs.CV cs.LG cs.NE
Learnable Discrete Wavelet Pooling (LDW-Pooling) For Convolutional Networks
National Yang Ming Chiao Tung University（阳明交通大学）；University at Albany - SUNY（奥尔巴尼大学 - 纽约州立大学）；University at Buffalo（布法罗大学）
池化是现代深度CNN架构中用于特征聚合和提取的简单但必不可少的层。典型的CNN设计集中在卷积层和激活函数上，而池化层的选项较少。我们介绍了学习离散小波池（LDW-Pooling），它可以普遍应用于取代标准池操作，以更好地提取特征，提高准确性和效率。受小波理论的启发，我们在二维特征图上采用水平和垂直的低通（L）和高通（H）滤波器进行池化。特征信号被分解为四个（LL，LH，HL，HH）子带，以更好地保留特征，避免信息丢失。小波变换确保池化后的特征可以完全保留和恢复。接下来，我们采用基于能量的注意力学习来精挑细选关键和代表性的特征。LDW-Pooling与其他最先进的池化技术（如WaveletPooling和LiftPooling）相比是有效和高效的。广泛的实验验证表明，LDW-Pooling可以应用于广泛的标准CNN架构，并始终优于标准（最大值，平均值，混合和随机）池化操作。
2021-10-20 cs.CV cs.LG eess.IV
Hybrid Pooling and Convolutional Network for Improving Accuracy and Training Convergence Speed in Object Detection
City University of Hong Kong（香港城市大学）；Xiamen University（厦门大学）
本文提出HPC-Net，通过混合池化与卷积网络提升目标检测的准确率和训练收敛速度。
2024-01-02 cs.CV
Auto-pooling: Learning to Improve Invariance of Image Features from Image Sequences
The University of Tokyo（东京大学）
从图像中学习不变表示是计算机视觉面临的最大挑战之一。空间池被广泛用于创建对空间移位的不变性，但它仅限于卷积模型。在本文中，我们提出了一种新的池化方法，可以从图像序列中学习软聚类的功能。它被训练以提高特征的时间一致性，同时保持信息损失最小。我们的方法不使用空间信息，因此它也可以用于非卷积模型。对自然视频中提取的图像进行的实验表明，该方法可以将相似的特征聚类在一起。当通过卷积特征进行训练时，自动池化在图像分类任务上优于传统的空间池化，即使它不使用特征的空间拓扑。
2013-03-18 cs.CV cs.LG
A Deep Convolutional Auto-Encoder with Pooling - Unpooling Layers in Caffe
本文介绍了Caffe深度学习框架中深度卷积自动编码器的几种模型的开发及其在MNIST数据集示例上的实验评估。我们已经创建了卷积自动编码器的五个模型，它们在架构上的不同之处在于自动编码器的编码器和解码器部分中是否存在池化和非池化层。我们的研究结果表明，开发的模型提供了很好的结果，在降维和无监督聚类任务，和小的分类错误时，我们使用学习的内部代码作为一个有监督的线性分类器和多层感知器的输入。最好的结果是由一个模型提供的，其中编码器部分包含卷积层和池化层，然后是一个类似的解码器部分，具有去卷积层和去池化层，而无需在解码器部分中使用开关变量。本文还讨论了在非常流行的Caffe深度学习框架中创建深度卷积自动编码器的实际细节。我们相信，本文中提出的方法和结果可以帮助其他研究人员在未来构建高效的深度神经网络架构。
2017-01-18 cs.CV cs.LG cs.NE
Multi-pooling 3D Convolutional Neural Network for fMRI Classification of Visual Brain States
School of Informatics（信息学院）；Kochi University of Technology（高知工科大学）
本文提出多池化3D卷积神经网络（MP3DCNN），通过在3DCNN前两层加入池化连接分支，提升了视觉脑状态fMRI在类别及子类别分类任务中的准确率。
2023-03-25 cs.CV cs.LG eess.IV
TI-POOLING: transformation-invariant pooling for feature learning in Convolutional Neural Networks
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一个深度神经网络拓扑结构，它包含一个简单的实现变换不变池操作（TI-POOLING）。该算子能够有效地处理关于数据中的干扰变化（例如旋转或缩放变化）的先验知识。大多数当前的方法通常利用数据集增强来解决这个问题，但这需要更多的模型参数和更多的训练数据，并导致显著增加的训练时间和更大的欠拟合或过拟合的机会。这些缺点的主要原因是学习模型需要为输入的所有可能转换捕获足够的特征。另一方面，我们将卷积神经网络中的特征公式化为变换不变的。我们实现了使用并行连体架构所考虑的转换集，并应用TI-POOLING操作符在其输出之前的全连接层。我们表明，这种拓扑结构内部找到最佳的“规范”的输入图像的训练实例，因此限制了学习功能的冗余。当与具有数据集增强的标准卷积神经网络和其他基线相比时，这种更有效地使用训练数据的方法在具有较少参数的流行基准数据集上具有更好的性能。
2016-09-22 cs.CV
Multigrid Neural Memory
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们介绍了一种新的方法，赋予神经网络紧急，长期，大规模的记忆。与通过复杂的控制器和手工设计的注意力机制将神经网络连接到外部存储体的策略不同，我们的记忆是内部的、分布式的、与计算共存的、隐式寻址的，同时比以前的努力要简单得多。架构网络与多重网格结构和连接，而分布存储单元旁边的计算在整个拓扑结构中，我们观察到一致的内存子系统的出现。我们的分层空间组织，卷积参数化，允许大容量存储器的有效实例化，而多重网格拓扑提供了短的内部路由路径，允许卷积网络有效地近似完全连接网络的行为。这种网络具有内在注意力的内隐能力;随着记忆的增强，它们学会以动态的数据依赖方式读取和写入特定的记忆位置。我们在探索和绘图任务中展示了这些能力，其中我们的网络能够自组织并保留数千个时间步的轨迹的长期记忆。在与任何空间几何概念分离的任务中：排序，联想回忆和问答，我们的设计作为一个真正的通用记忆功能，并产生出色的结果。
2020-08-15 cs.CV cs.LG cs.NE
Exploring Novel Pooling Strategies for Edge Preserved Feature Maps in Convolutional Neural Networks
National Institute of Technology Trichy（特里奇国家理工学院）；Indian Institute of Technology Palakkad（帕拉卡德印度理工学院）
随着抗锯齿卷积神经网络（CNN）的引入，重新审视CNN中池化的方式已经有了一些复苏。抗混叠CNN的基本构建块是在池化操作之前应用高斯平滑，以减少由于混叠引起的失真，从而使CNN平移不变。基于小波的方法也被提出作为额外的噪声去除能力的可能性，并给出了有趣的结果，甚至分割任务。然而，所有提出的方法都是在假设高频成分是噪声的情况下完全去除高频成分。然而，通过去除高频分量，特征图中的边缘也被平滑。在这项工作中，一个详尽的分析的边缘保留池的分类，分割和自动编码器的选项。提出了两种新的池化方法，如拉普拉斯-高斯注意力级联（LGCA）池化和基于小波的近似细节系数注意力级联（WADCA）池化。结果表明，所提出的池化方法优于传统的池化以及模糊池化的分类，分割和自动编码器。
2021-10-17 cs.CV eess.IV
AdaScan: Adaptive Scan Pooling in Deep Convolutional Neural Networks for Human Action Recognition in Videos
IIT Kanpur（印度理工学院坎普尔分校）；SRI International（SRI国际）；UCSD（加州大学圣地亚哥分校）
我们提出了一种新的方法，用于在视频中的人类动作识别任务的时间池帧。该方法的动机是观察到，只有少量的帧，它们一起包含足够的信息来区分存在于视频中的动作类，从其余的。所提出的方法学习池这样的歧视性和信息帧，而丢弃在一个单一的时间扫描的视频中的非信息帧的大部分。我们的算法通过连续预测每个视频帧的区分重要性并随后将其汇集在深度学习框架中来实现。我们在标准基准上展示了我们提出的池化方法的有效性，它始终改进了基线池化方法，并基于RGB和光流的卷积网络。此外，结合互补的视频表示，我们显示的结果是有竞争力的两个具有挑战性的和公开可用的基准数据集上的最先进的结果。
2017-06-25 cs.CV
A Fast Learning Algorithm for Image Segmentation with Max-Pooling Convolutional Networks
IDSIA -- USI -- SUPSI（IDSIA人工智能研究所——瑞士意大利语区大学——瑞士意大利语区应用科学大学）；ArcelorMittal（安赛乐米塔尔）
我们提出了一个快速的算法训练MaxPooling卷积网络分割图像。这种类型的网络在各种任务中产生破纪录的性能，但通常是在计算昂贵的逐补丁基础上训练的。我们的新方法在单次通过中处理每个训练图像，这是非常有效的。我们在不同的场景中验证了该方法，并报告了1500倍的速度。在一个钢铁缺陷自动检测和分割的应用中，我们以较短的训练时间获得了优异的性能。
2013-02-07 cs.CV
Learning Bag-of-Features Pooling for Deep Convolutional Neural Networks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
卷积神经网络（CNN）是一种成熟的模型，能够为各种计算机视觉任务实现最先进的分类精度。然而，它们变得越来越大，使用数百万个参数，而它们仅限于处理固定大小的图像。在本文中，基于量化的方法，灵感来自著名的袋的功能模型，提出了克服这些限制。所提出的方法称为卷积BoF（CBoF），使用RBF神经元对从卷积层中提取的信息进行分类，并且能够对各种大小的图像进行本机分类，并显着减少网络中的参数数量。与其他全局池化算子和CNN压缩技术相比，所提出的方法利用端到端可微分的可训练池化层，允许使用常规反向传播来训练网络，并实现比竞争方法更大的分布偏移不变性。使用三个图像数据集证明了所提出的方法，以减少网络的参数，并增加了其他国家的最先进的技术的分类精度的能力。
2017-07-26 cs.CV
Dense Pooling layers in Fully Convolutional Network for Skin Lesion Segmentation
Isfahan University of Technology（伊斯法罕理工大学）；University of British Columbia（不列颠哥伦比亚大学）；University of Michigan（密歇根大学）；McMaster University（麦克马斯特大学）
医学图像分析的一个基本任务是图像的分割和准确的边界检测。皮肤图像中的病变分割是计算机检测皮肤癌的重要步骤。然而，许多国家的最先进的分割方法在其边界检测阶段的不足之处。本文提出了一种新的全卷积网络，具有新的密集池层，用于皮肤图像中病变区域的分割。该网络导致皮肤病变数据集上的病变的高度准确的分割，其在皮肤病变分割中优于最先进的算法。
2019-08-31 cs.CV
Order-aware Convolutional Pooling for Video Based Action Recognition
University of Queensland（昆士兰大学）；University of Adelaide（阿德莱德大学）
大多数基于视频的动作识别方法通过在时间上池化在每帧处提取的特征来创建视频级表示。然而，它们采用的池化方法通常完全或部分地忽略了时域中包含的动态信息，这可能会破坏所得到的视频表示的辨别能力，因为视频序列顺序可以揭示特定事件或动作的演变。为了克服这个缺点，并探讨将时序信息的重要性，在本文中，我们提出了一种新的时间池方法来聚合帧级功能。受卷积神经网络（CNN）利用图像内部结构进行信息提取的能力的启发，我们提出将时间卷积运算应用于帧级表示来提取动态信息。然而，直接在原始高维特征上实现这一思想将不可避免地导致参数爆炸。为了解决这个问题，我们将每个特征维度上的特征值的时间演变视为1D信号，并为这些1D信号中的每个信号学习唯一的卷积滤波器组。我们在两个具有挑战性的基于视频的动作识别数据集HMDB 51和UCF 101上进行了实验，并证明了所提出的方法优于传统的池化方法。
2016-01-31 cs.CV
Image Classification using Fuzzy Pooling in Convolutional Kolmogorov-Arnold Networks
School of Information Technology and Engineering（信息技术与工程学院）；Kazakh-British Technical University（哈萨克斯坦-英国技术大学）
本文提出将KAN分类头与Fuzzy Pooling集成至CNN中，利用KAN的可解释性与模糊逻辑处理不确定性的能力，在图像分类任务中实现了较传统模型相当或更高的准确率，提升了模型的可解释性与效率。
2024-07-23 cs.CV
Exploiting Vulnerability of Pooling in Convolutional Neural Networks by Strict Layer-Output Manipulation for Adversarial Attacks
卷积神经网络（CNN）在智能车辆等移动机器人领域得到了越来越多的应用。CNN在机器人应用中的安全性是一个重要的问题，对CNN的潜在对抗攻击值得研究。池化是CNN降维和信息丢弃的一个典型步骤。这种信息丢弃可能导致数据特征的误删除和误保存，这在很大程度上影响了网络的输出。这可能会加剧CNN对对抗攻击的脆弱性。在本文中，我们进行对抗攻击CNN从网络结构的角度，通过调查和利用池的脆弱性。首先，提出了一种新的对抗攻击方法--严格层输出操纵（SLOM）。然后设计了一种基于严格池操作（SPM）的攻击方法，该方法是SLOM思想的一种实例化，有效地实现了对目标CNN的I类和II类对抗攻击。研究和比较了不同深度下基于SPM的攻击性能。此外，通过实例化的SLOM精神与不同的操作层的CNN设计的攻击方法的性能进行了比较。实验结果表明，池化比CNN中的其他操作更容易受到对抗攻击。
2020-12-21 cs.CV
Advanced Super-Resolution using Lossless Pooling Convolutional Networks
Queen Mary University of London（伦敦玛丽女王大学）
在本文中，我们提出了一种用于静态图像超分辨率的基于深度学习的新方法，与主流模型不同，该方法不仅依赖于输入的低分辨率图像来进行高质量上采样，而且利用了一组人工创建的输入图像的辅助自副本，这些副本被并入神经网络中以创建增强且准确的上尺度方案。包含所提出的无损池化层和输入自副本的融合使模型能够利用相同内容的多个实例之间的高相关性，并最终导致超分辨率的质量的显著改善，这是通过广泛的评估确认的。
2018-12-14 cs.CV
Fast Image Scanning with Deep Max-Pooling Convolutional Neural Networks
IDSIA（达勒·莫勒人工智能研究所）；USI-SUPSI（卢加诺大学-瑞士南部应用科学大学）；Dalle Molle Institute for Artificial Intelligence（达勒·莫勒人工智能研究所）；University of Lugano (USI)（卢加诺大学（USI））；University of Applied Sciences of Southern Switzerland (SUPSI)（瑞士南部应用科学大学（SUPSI））
深度神经网络现在擅长图像分类、检测和分割。然而，当用于通过滑动窗口扫描图像时，它们的高计算复杂性甚至可以使最强大的硬件屈服。我们展示了如何动态规划可以加速这个过程的数量级，即使最大池层。
2013-02-07 cs.AI cs.CV
Multi-scale Orderless Pooling of Deep Convolutional Activation Features
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度卷积神经网络（CNN）已经显示出其作为通用识别表示的前景。然而，全局CNN激活缺乏几何不变性，这限制了它们对高度可变场景的分类和匹配的鲁棒性。为了提高CNN激活的不变性而不降低其鉴别能力，本文提出了一种简单但有效的方案，称为多尺度无序池（MOP-CNN）。该方案在多个尺度级别上提取局部补丁的CNN激活，在每个级别上分别执行这些激活的无序VLAD池化，并连接结果。由此产生的MOP-CNN表示可用作监督或无监督识别任务的通用特征，从图像分类到实例级检索;它始终优于全局CNN激活，而无需对特定目标数据集的预测层进行任何联合训练。就绝对值而言，它在具有挑战性的SUN 397和MIT Indoor Scenes分类数据集上取得了最先进的结果，并在ILSVRC 2012/2013分类和INRIA Holidays检索数据集上取得了有竞争力的结果。
2014-09-08 cs.CV
The Treasure beneath Convolutional Layers: Cross-convolutional-layer Pooling for Image Classification
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最近的一些研究表明，在大型数据集上预训练的深度卷积神经网络（DCNN）可以用作通用图像描述，这在许多视觉分类任务中具有惊人的性能。这些研究中的大多数（如果不是全部的话）采用DCNN的全连接层的激活作为图像或区域表示，并且认为卷积层激活的区分性较低。然而，本文主张，如果使用得当，卷积层激活可以变成一个强大的图像表示，它比全连接层激活具有许多优势。这是通过采用本文提出的称为交叉卷积层池化的新技术来实现的。更具体地说，它提取一个卷积层的特征图的子阵列作为局部特征，并在连续卷积层的特征图的指导下将提取的特征合并。与在局部特征设置中应用DCNN的方法相比，所提出的方法明显更快，因为它需要更少的DCNN前向计算次数。此外，它避免了域不匹配的问题，通常会遇到时，应用全连接层激活来描述局部区域。通过将我们的方法应用到四个流行的视觉分类任务中，证明了所提出的方法可以实现与现有的基于全连接层的图像表示相当或在某些情况下显着更好的性能，同时产生更低的计算成本。
2014-11-27 cs.CV
Convolutional Social Pooling for Vehicle Trajectory Prediction
University of California, San Diego（加州大学圣地亚哥分校）
预测周围车辆的运动是部署在复杂交通中的自主车辆的关键能力。场景中所有车辆的运动由交通环境支配，即，相邻车辆的运动和相对空间配置。在本文中，我们提出了一种LSTM编码器-解码器模型，该模型使用卷积社会池作为对社会池层的改进，以鲁棒地学习车辆运动中的相互依赖性。此外，我们的模型输出基于机动类别的未来轨迹的多模态预测分布。我们使用公开的NGSIM US-101和I-80数据集来评估我们的模型。我们的研究结果表明，在预测误差的RMS值和模型预测分布下真实未来轨迹的负对数似然性方面，比现有技术有所改进。我们还提出了一个定性分析模型的预测分布为各种交通情况。
2018-05-15 cs.CV
Pooling the Convolutional Layers in Deep ConvNets for Action Recognition
Tianjin University（天津大学）；Hefei University of Technology（合肥工业大学）
深度ConvNets在图像分类任务中表现出了良好的性能。然而，它仍然是用于动作识别的深度视频表示中的一个问题。问题主要来自于两个方面：一方面，目前的视频ConvNets相对于图像ConvNets来说比较浅，限制了其捕捉复杂视频动作信息的能力;另一方面，视频的时间信息没有被正确地利用来对视频序列进行池化和编码。针对这些问题，在本文中，我们利用两个最先进的ConvNets，即，非常深的空间网络（VGGNet）和来自Two-Stream ConvNets的时间网络，用于动作表示。卷积层和所提出的新层（称为帧差异层）被提取并使用两种时间池化策略进行池化：轨迹池化和线池化。然后用VLAD对池化的局部描述符进行编码以形成视频表示。为了验证该框架的有效性，我们在UCF 101和HMDB 51数据集上进行了实验。在UCF 101上达到了93.78%的准确度，这是最先进的;在HMDB 51上达到了65.62%的准确度，这与最先进的水平相当。
2015-11-06 cs.CV
A Convolutional Neural Network with Parallel Multi-Scale Spatial Pooling to Detect Temporal Changes in SAR Images
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
在合成孔径雷达（SAR）图像变化检测中，如何从受相干斑噪声影响的差分图像中提取变化信息是一个很有挑战性的问题。在本文中，我们提出了一个多尺度空间池（MSSP）网络，利用变化的信息，从嘈杂的差异图像。与传统的卷积网络仅具有单尺度池化核不同，在所提出的方法中，在卷积网络中配备多尺度池化核，以利用来自差分图像的变化区域的空间上下文信息。此外，为了验证所提出的方法的泛化能力，我们将我们提出的方法应用到跨数据集的双时SAR图像变化检测中，其中MSSP网络（MSSP-Net）在数据集上进行训练，然后应用到未知的测试数据集。我们比较了所提出的方法与其他国家的艺术和比较具有挑战性的双时SAR图像数据集上进行。实验结果表明，我们提出的方法在YR-A和YR-B数据集上获得了与S-PCA-Net相当的结果，并且优于其他最先进的方法，特别是在场景更复杂的仙台A和仙台B数据集上。更重要的是，MSSP-Net比S-PCA-Net和卷积神经网络（CNN）更有效，在训练和测试阶段的执行时间更少。
2020-05-22 cs.CV eess.IV
Cross-convolutional-layer Pooling for Image Recognition
The University of Adelaide（阿德莱德大学）
最近的研究表明，在大型图像数据集上预训练的深度卷积神经网络（DCNN）可以用作通用图像描述符，并且这样做可以为各种图像分类任务带来令人印象深刻的性能。这些研究中的大多数采用来自单个DCNN层（通常是全连接层）的激活作为图像表示。在本文中，我们提出了一种新的方法来提取图像表示从两个连续的卷积层：一层是用于本地特征提取和其他作为指导池提取的特征。通过采用卷积层的不同观点，我们进一步开发了两种方案来实现这一想法。第一个直接使用来自DCNN的卷积层。第二种方法将预训练的CNN应用于密集采样的图像区域，并将每个图像区域的全连接激活视为卷积特征激活。然后，我们在其上训练另一个卷积层作为池化指导卷积层。通过将我们的方法应用于三个流行的视觉分类任务，我们发现我们的第一个方案往往表现得更好的应用程序，需要在小区域内的微妙的对象模式，而后者擅长的情况下，需要区分类别级别的模式。总的来说，所提出的方法实现了优于现有的从DCNN提取图像表示的方法的性能。
2016-12-22 cs.CV
Temporal Pyramid Pooling Based Convolutional Neural Networks for Action Recognition
The University of Queensland（昆士兰大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
受卷积神经网络（CNN）在图像分类中的成功的鼓舞，最近很多努力都花在将CNN应用于基于视频的动作识别问题上。一个挑战是视频包含不同数量的帧，这与CNN的标准输入格式不兼容。现有的方法通过直接采样固定数量的帧来处理这个问题，或者通过引入在时空域中进行卷积的3D卷积层来绕过这个问题。为了解决这个问题，在这里，我们提出了一种新的网络结构，允许任意数量的帧作为网络输入。我们的解决方案的关键是引入一个由编码层和时间金字塔池化层组成的模块。编码层将来自先前层的激活映射到适合于池化的特征向量，而时间金字塔池化层将多个帧级激活转换为固定长度的视频级表示。此外，我们采用了一个特征拼接层，它结合了外观信息和运动信息。与帧采样策略相比，该方法避免了丢失任何重要帧的风险。与需要巨大视频数据集进行网络训练的3D卷积方法相比，我们的模型可以在小目标数据集上学习，因为我们可以利用现成的图像级CNN进行模型参数初始化。在两个具有挑战性的数据集Hollywood2和HMDB51上的实验表明，我们的方法在需要更少的训练数据的情况下，实现了优于最先进方法的性能。
2015-04-16 cs.CV
Making Convolutional Networks Shift-Invariant Again
Adobe Research（奥多比研究院）
现代卷积网络不是平移不变的，因为小的输入移位或平移会导致输出的剧烈变化。常用的下采样方法，如max-pooling，strided-convolution和average-pooling，忽略了采样定理。众所周知的信号处理解决方案是在下采样之前通过低通滤波进行抗混叠。然而，简单地将此模块插入深度网络会降低性能;因此，它现在很少使用。我们表明，当正确集成时，它与现有的架构组件，如最大池和跨越卷积兼容。我们在ImageNet分类中观察到\textit{increased accuracy}，在几个常用的架构中，如ResNet，DenseNet和MobileNet，表明有效的正则化。此外，我们观察到\textit{better generalization}，在稳定性和鲁棒性输入损坏。我们的研究结果表明，这种经典的信号处理技术在现代深度网络中被不应有地忽视了。流行网络的代码和反锯齿版本可在https://richzhang.github.io/antialiased-cnns/上获得。
2019-06-09 cs.CV cs.LG
CNN-LTE: a Class of 1-X Pooling Convolutional Neural Networks on Label Tree Embeddings for Audio Scene Recognition
我们在本报告中描述了我们提交给DCASE 2016挑战赛的音频场景识别系统。首先，给定场景的标签集，自动构造标签树。然后，在特征提取步骤中使用该类别分类法，在该步骤中，音频场景实例由标签树嵌入图像表示。不同的卷积神经网络，这些网络是为手头的任务量身定制的，最终在图像特征的基础上学习，用于场景识别。我们的系统达到了81.2%和83.3%的整体识别准确率，并优于DCASE 2016基线，开发和测试数据的绝对改进分别为8.7%和6.1%。
2016-08-15 cs.CV cs.LG cs.MM
Fractional Max-Pooling
University of Warwick（华威大学）
卷积网络几乎总是包含某种形式的空间池，并且通常是alpha乘以alpha=2的alpha max-pooling。最大池作用于网络的隐藏层，通过整数乘法因子alpha减少其大小。丢弃75%数据的惊人副产品是，你在网络中建立了一定程度的平移和弹性扭曲不变性。但是，如果您只是将卷积层与最大池化层交替使用，则由于空间大小的快速减小以及池化区域的不相交性，性能受到限制。我们已经制定了一个分数版本的最大池，其中alpha允许采取非整数值。我们的最大池化版本是随机的，因为有很多不同的方法来构建合适的池化区域。我们发现，我们的分数最大池形式减少了各种数据集上的过拟合：例如，我们改进了CIFAR-100的最新技术，甚至没有使用dropout。
2015-05-12 cs.CV
Densely Dilated Spatial Pooling Convolutional Network using benign loss functions for imbalanced volumetric prostate segmentation
前列腺疾病的高发病率提出了早期检测诊断的要求。磁共振成像（MRI）作为前列腺癌检测的主要成像方法之一，具有广泛的外观和不平衡问题，使自动前列腺分割成为基本但具有挑战性的问题。本文提出了一种新的密集扩展空间池卷积网络（DDSP ConNet）的编解码器结构。该算法采用稠密结构将扩张卷积和全局池化相结合，从而提供了编码器和解码器子网的粗分割结果，并保留了更多的上下文信息。为了获得更丰富的层次特征图，进一步采用残差长连接融合纹理特征。同时，采用DSC损失函数和Jaccard损失函数对DDSP ConNet进行训练。我们惊奇地发现并证明了，与加权交叉熵相比，DSC损失和Jaccard损失在理论上具有许多良好的性质，包括网络参数的对称性、连续性和可微性。在MICCAI PROMISE12挑战数据集上进行了广泛的实验，以证实我们的DDSP ConNet与DSC损失和Jaccard损失的有效性。总的来说，我们的方法在测试数据集中获得了85.78的分数，优于大多数其他竞争对手。
2018-02-01 cs.CV
Pooling is neither necessary nor sufficient for appropriate deformation stability in CNNs
DeepMind（深度思维）
我们关于神经网络如何运行的许多核心假设仍然没有经过经验检验。一个常见的假设是，卷积神经网络需要对小的平移和变形保持稳定，以解决图像识别任务。多年来，这种稳定性通过合并交错池化层而融入CNN架构中。然而，最近，交错池在很大程度上被放弃了。这就提出了一些问题：我们关于变形稳定性的直觉是否正确？很重要吗？变形不变性需要池化吗？如果不是，那么在没有变形不变性的情况下如何实现变形不变性？在这项工作中，我们严格测试了这些问题，并发现卷积网络中的变形稳定性比它最初出现的更微妙：（1）变形不变性不是一个二元属性，而是不同的任务需要不同程度的变形稳定性。(2)变形稳定性不是网络的固定属性，并且在训练过程中进行了大量调整，主要是通过卷积滤波器的平滑度。(3)交错池化层对于实现自然图像分类的变形稳定性的最佳形式既不是必要的，也不是充分的。(4)池化在初始化时为图像分类赋予了太多的变形稳定性，并且在训练期间，网络必须学习抵消这种归纳偏差。总之，这些发现为CNN中交织池化和变形不变性的作用提供了新的见解，并证明了对我们关于神经网络工作的最基本假设进行严格经验测试的重要性。
2018-05-25 cs.CV cs.LG stat.ML
Comparison of Methods Generalizing Max- and Average-Pooling
University of Basel（巴塞尔大学）
最大池化和平均池化是卷积神经网络中用于下采样的最流行的池化方法。在本文中，我们比较了不同的池化方法，概括了最大池化和平均池化。此外，我们提出了另一种方法的基础上的最大值函数的平滑逼近，并把它与相关的方法。为了进行比较，我们使用VGG 16图像分类网络，并在一个大型的自然高分辨率图像数据集（Google Open Images v5）上对其进行训练。结果表明，没有一个更复杂的方法在这个分类任务中比标准的最大或平均池更好。
2021-03-02 cs.CV cs.LG
A Fully Trainable Network with RNN-based Pooling
University of Wollongong（卧龙岗大学）；University of Electronic Science and Technology of China（电子科技大学）
池化是卷积神经网络（CNN）中用于聚集特征和减少计算负担的重要组成部分。与其他组件（如卷积层和完全从数据中学习的全连接层）相比，池化组件仍然是手工制作的，如最大池化和平均池化。本文提出了一种使用递归神经网络（RNN）的可学习池化函数，以便池化可以完全适应网络的数据和其他组件，从而提高性能。这种具有可学习池化功能的网络被称为完全可训练网络（FTN）。实验结果表明，所提出的基于RNN的池可以很好地逼近现有的池函数，提高网络的性能。特别是对于小型网络，与传统的CNN相比，所提出的FTN可以在CIFAR-10数据集上的出错率方面提高7个百分点的性能。
2017-06-16 cs.CV
MGiaD: Multigrid in all dimensions. Efficiency and robustness by coarsening in resolution and channel dimensions
University of Wuppertal（伍珀塔尔大学）；EPFL Lausanne（洛桑联邦理工学院）
目前用于图像分类的最先进的深度神经网络由1000万到1亿个可学习的权重组成，因此本质上容易过拟合。权重计数的复杂度可以被看作是通道数量、输入的空间范围和网络层数的函数。由于卷积层的使用，权重复杂度的缩放通常与分辨率维度呈线性关系，但与通道数量保持二次关系。近年来在深度神经网络中使用多重网格启发思想方面的积极研究表明，一方面可以通过适当的权重共享来节省大量的权重，另一方面，信道维度中的分层结构可以将权重复杂度提高到线性。在这项工作中，我们结合这些多重网格的想法，引入一个联合框架的多重网格启发架构，利用多重网格结构在所有相关的维度，以实现线性权重复杂度缩放和大幅减少的权重计数。我们的实验表明，这种结构化的权重减少能够减少过拟合，从而在较低的网络复杂度下，在典型的图像分类基准测试中显示出优于最先进的ResNet架构的性能。
2022-11-10 cs.AI cs.CV cs.LG
Beyond Part Models: Person Retrieval with Refined Part Pooling (and a Strong Convolutional Baseline)
Tsinghua University（清华大学）；University of Technology Sydney（悉尼科技大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
采用部分级特征的行人图像描述提供了细粒度的信息，并已被验证为有益的人检索在最近的文献。零件发现的先决条件是每个零件都应该被很好地定位。而不是使用外部线索，例如，姿态估计，直接定位零件，本文强调的内容一致性的各个部分。具体来说，我们的目标是学习歧视性的部分知情特征的人检索，并作出两个贡献。(i)一个名为基于部分的卷积基线（PCB）的网络。给定一个图像输入，它输出一个由几个部分级特征组成的卷积描述符。通过统一的分区策略，PCB实现了与最先进的方法相竞争的结果，证明了自己是人员检索的强大卷积基线。(ii)一种改进的部分合并（RPP）方法。均匀划分不可避免地会在每个部分中产生离群值，这些离群值实际上与其他部分更相似。RPP将这些离群值重新分配给它们最接近的部件，从而产生具有增强的部件内一致性的细化部件。实验证明，RPP可以使PCB获得新一轮的性能提升。例如，在Market-1501数据集上，我们实现了（77.4+4.2）% mAP和（92.3+1.5）% rank-1准确率，大大超过了最先进的水平。
2018-01-09 cs.CV
Deep Convolutional Pooling Transformer for Deepfake Detection
The University of Hong Kong（香港大学）；Shandong University（山东大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
最近，由于社交媒体数字取证中的安全和隐私问题，Deepfake引起了公众的广泛关注。随着互联网上广泛传播的Deepfake视频变得越来越真实，传统的检测技术已经无法区分真假。大多数现有的深度学习方法主要集中在使用卷积神经网络作为骨干的人脸图像内的局部特征和关系。然而，局部特征和关系不足以让模型训练学习足够的一般信息来进行Deepfake检测。因此，现有的Deepfake检测方法已经达到了进一步提高检测性能的瓶颈。为了解决这个问题，我们提出了一个深度卷积Transformer，以在局部和全局上结合决定性的图像特征。具体来说，我们应用卷积池和重新关注来丰富提取的特征并提高功效。此外，我们采用几乎没有讨论的图像关键帧在模型训练的性能提高和可视化的关键和正常的图像帧之间的特征量差距所造成的视频压缩。最后，我们通过在几个Deepfake基准数据集上进行的大量实验来说明可转移性。所提出的解决方案在数据集内和跨数据集实验中始终优于几个最先进的基线。
2023-03-29 cs.AI cs.CV
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
Microsoft Research（微软研究院）；Xi’an Jiaotong University（西安交通大学）；University of Science and Technology of China（中国科学技术大学）
现有的深度卷积神经网络（CNN）需要固定大小（例如，224x224）输入图像。该要求是"人为的"，并且可能降低任意尺寸/尺度的图像或子图像的识别准确度。在这项工作中，我们配备了另一种池化策略，“空间金字塔池化”，以消除上述要求的网络。新的网络结构，称为SPP网络，可以生成一个固定长度的表示，而不管图像的大小/规模。金字塔池对对象变形也很鲁棒。有了这些优点，SPP网络应该在总体上改进所有基于CNN的图像分类方法。在ImageNet 2012数据集上，我们证明SPP-net可以提高各种CNN架构的准确性，尽管它们的设计不同。在Pascal VOC 2007和Caltech 101数据集上，SPP-net使用单个全图像表示实现了最先进的分类结果，无需微调。SPP网络在目标检测中也具有重要的作用。使用SPP网络，我们只计算一次整个图像的特征图，然后将任意区域（子图像）中的特征集中起来，以生成固定长度的表示来训练检测器。该方法避免了重复计算卷积特征。在处理测试图像时，我们的方法比R-CNN方法快24 - 102倍，同时在Pascal VOC 2007上实现了更好或相当的准确性。在2014年ImageNet大规模视觉识别挑战赛（ILSVRC）中，我们的方法在所有38个团队中的对象检测中排名第2，在图像分类中排名第3。本文还介绍了为本次比赛所做的改进。
2015-04-23 cs.CV
Global Second-order Pooling Convolutional Networks
Dalian University of Technology（大连理工大学）；Tianjin University（天津大学）
深度卷积网络（ConvNets）除了大规模视觉识别之外，还对许多视觉任务至关重要。由于ConvNets的主要目标是表征高维空间中数千个类的复杂边界，因此学习高阶表示以增强非线性建模能力至关重要。近年来，连接在网络末端的全局二阶池（Global Second-order Pooling，GSoP）算法引起了越来越多的关注，在各种视觉任务中取得了比经典一阶网络更好的性能。然而，如何有效地在早期层中引入高阶表示以提高ConvNets的非线性能力仍然是一个悬而未决的问题。在本文中，我们提出了一种新的网络模型，引入GSoP从低到高的层，利用整个网络的整体图像信息。给定由某个先前卷积层输出的输入3D张量，我们执行GSoP以获得协方差矩阵，该协方差矩阵在非线性变换后用于沿通道维度的张量缩放。类似地，我们也可以沿着空间维度执行GSoP以进行张量缩放。通过这种方式，我们可以充分利用整个网络中整体图像的二阶统计量。在大规模ImageNet-1 K上对所提出的网络进行了全面评估，实验表明，它们在实现最先进结果的同时，表现出了非平凡的表现。
2018-11-30 cs.CV
On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks
Université Caen Normandie（卡昂诺曼底大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）；Normandie Univ（诺曼底大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）
针对CNN第一层类Gabor滤波器子采样卷积的平移敏感问题，确立最大池化近似平移不变复模的条件，推导平移不变性度量并验证，揭示滤波器频率和方向的关键作用，提升CNN数学可解释性。
2025-04-18 cs.AI cs.CV eess.SP
Depth Pooling Based Large-scale 3D Action Recognition with Convolutional Neural Networks
University of Wollongong（卧龙岗大学）；China University of Geosciences（中国地质大学）
本文提出了三种简单，紧凑而有效的深度序列表示，分别称为动态深度图像（DDI），动态深度正常图像（DDNI）和动态深度运动正常图像（DDMNI），用于孤立和连续动作识别。这些动态图像是使用分层双向秩池从深度图的分段序列构造的，以有效地捕获时空信息。具体来说，DDI利用姿势随时间的动态变化，DDNI和DDMNI利用深度图捕获的3D结构信息。在此基础上，提出了一种基于ConvNet的动作识别方法。基于图像的表示使我们能够微调现有的卷积神经网络（ConvNet）模型，而无需从头开始训练大量参数。所提出的方法在三个大数据集上取得了最先进的结果，即大规模连续手势识别数据集（平均Jaccard指数0.4109），大规模孤立手势识别数据集（59.21%）和NTU RGB+D数据集（87.08%跨学科和84.22%跨视图），即使只使用深度模态。
2018-04-17 cs.CV
Learning ordered pooling weights in image classification
Das-nano；Veridas；Universidad Pública de Navarra（纳瓦拉公立大学）
空间池化是计算机视觉系统（如卷积神经网络或词袋方法）中的重要步骤。空间池化的目的是将相邻描述符组合以获得给定区域（局部或全局）的单个描述符。合成的组合向量必须尽可能具有判别性，换句话说，必须包含相关信息，同时删除不相关和令人困惑的细节。最大值和平均值是池化步骤中最常用的聚合函数。为了在不降低图像分类的鉴别能力的前提下提高相关信息的聚集能力，提出了一种基于有序加权平均（OWA）聚集算子的简单有效的方法。我们提出了一种方法来学习的OWA聚合运算符的权重在一个袋的话的框架和卷积神经网络，并提供了广泛的评估表明，基于OWA池优于经典的聚合运算符。
2021-06-10 cs.CV
Body Joint guided 3D Deep Convolutional Descriptors for Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
三维卷积神经网络（3D CNN）是一种能够同时从空间和时间两个维度学习特征的有力工具，适合应用于基于视频的动作识别。在这项工作中，我们建议不直接使用3D CNN的全连接层的激活作为视频特征，而是使用选择性卷积层激活来形成视频的区分描述符。它在身体关节位置的指导下将卷积层上的特征池化。讨论了将身体关节映射到卷积特征映射以用于池化的两种方案。身体关节位置可以从任何现成的骨架估计算法获得。系统地评估了具有不准确骨架估计的身体关节引导特征池的有用性。为了使其端到端并且不依赖于任何复杂的身体关节检测算法，我们进一步提出了一种双流双线性模型，该模型可以同时从身体关节学习指导并捕获时空特征。在该模型中，身体关节引导的特征池被方便地公式化为双线性乘积运算。在三个真实世界数据集上的实验结果证明了身体关节引导池的有效性，取得了良好的性能。
2017-04-25 cs.CV
How deep convolutional neural networks lose spatial information with training
Institute of Physics（物理研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
机器学习的一个核心问题是深度网络如何管理学习高维任务。一个吸引人的假设是，他们通过构建一个数据表示来实现这一壮举，其中与任务无关的信息丢失了。对于图像数据集，这一观点得到了以下观察结果的支持：在训练之后（而不是之前），随着信号在网络中传播，神经表示对作用于图像的同构变得越来越不敏感。这种灵敏度的丧失与表现相关，并且令人惊讶地与训练期间获得的对白噪声的灵敏度的增益相关。这些事实是无法解释的，正如我们所证明的那样，当白噪声被添加到训练集的图像中时仍然成立。在这里，我们（i）经验表明，各种架构的稳定性，以图像同构是通过空间和通道池实现的，（ii）引入一个模型尺度检测任务，再现我们的经验观察空间池和（iii）计算分析如何灵敏度同构和噪声尺度与深度由于空间池。的缩放被发现依赖于网络架构中的步幅的存在。我们发现，对噪声的敏感性增加是由于在ReLU单元进行纠正后，在池化期间堆积的扰动噪声。
2022-11-23 cs.CV cs.LG
EasyConvPooling: Random Pooling with Easy Convolution for Accelerating Training and Testing
Huazhong University of Science and Technology（华中科技大学）；City University of Hong Kong（香港城市大学）
卷积运算支配着卷积神经网络（CNN）的总执行时间。本文提出了一种简单而有效的卷积神经网络训练和测试技术。传统的卷积和池化操作被简单卷积和随机池化（ECP）所取代。在ECP中，我们从四个像素中随机选择一个像素，只对所选像素进行卷积运算。因此，只需要传统卷积计算的四分之一。实验结果表明，所提出的EasyConvPooling可以实现1.45倍的训练时间和1.64倍的测试时间的加速比。更重要的是，与传统的卷积运算相比，纯简单卷积运算的加速比为5.09倍。
2018-06-05 cs.CV
S3Pool: Pooling with Stochastic Spatial Sampling
Binghamton University（宾汉姆顿大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；University of California, San Diego（加州大学圣地亚哥分校）
特征池化层（例如，卷积神经网络（CNN）中的最大池化（maxpooling）服务于提供越来越抽象的表示以及在后续卷积层中产生计算节省的双重目的。我们将CNN中的池化操作视为两步过程：首先，池化窗口（例如，$2\times 2$）以步幅一在特征图上滑动，这使得空间分辨率保持不变，并且第二，通过以通常均匀和确定性（例如，左上角）的方式。我们在这项工作中的出发点是观察到这种由非重叠窗口引起的规则间隔的下采样，尽管从信号处理的角度来看是直观的（其具有信号重构的目标），但对于\emph{learning}（其中目标是泛化）不一定是最佳的。我们研究了这方面，并提出了一种新的池化策略与随机空间采样（S3Pool），其中常规的下采样被替换为一个更一般的随机版本。我们观察到，这种一般的随机性作为一个强大的正则化，也可以被看作是做隐式数据增强通过引入扭曲的特征图。我们还引入了一种机制来控制失真量，以适应不同的数据集和架构。为了证明所提出的方法的有效性，我们在几个流行的图像分类基准上进行了大量的实验，观察到基线模型的出色改进。实验代码可在https://github.com/Shuangfei/s3pool上获得。
2016-11-16 cs.CV cs.LG
Hybrid of DiffStride and Spectral Pooling in Convolutional Neural Networks
University of Brawijaya（布拉维贾亚大学）
本文提出将可学习步长的 DiffStride 与频域谱池化相结合的 CNN 下采样混合方法，并在 ResNet 18 上验证其准确率比单独使用 DiffStride 提高 0.0094。
2024-01-17 cs.AI cs.CV
Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling?
University of Trento（特伦托大学）
全局协方差池（GCP）旨在利用卷积特征的二阶统计量。它的有效性已被证明在提高卷积神经网络（CNN）的分类性能。奇异值分解（SVD）在GCP中用于计算矩阵平方根。然而，使用Newton-Schulz迭代\cite{li2018towards}计算的近似矩阵平方根优于通过SVD \cite{li2017second}计算的精确矩阵平方根。我们从数据精度和梯度平滑度的角度实证分析了性能差距背后的原因。研究了计算光滑SVD梯度的各种补救措施。基于我们的观察和分析，提出了一种混合训练协议的SVD为基础的GCP元层，使竞争性能可以实现对牛顿-舒尔茨迭代。此外，我们提出了一个新的GCP元层，它在前向传递中使用SVD，在后向传播中使用Padé近似来计算梯度。所提出的元层已被集成到不同的CNN模型中，并在大规模和细粒度数据集上实现了最先进的性能。
2021-07-23 cs.CV cs.LG
Exploiting SIFT Descriptor for Rotation Invariant Convolutional Neural Network
Samsung R&D Institute（三星研发所）
本文提出了一种新的方法来开发卷积神经网络中的独特不变特征。所提出的CNN模型使用尺度不变特征变换（SIFT）描述符而不是最大池化层。最大池化层丢弃姿势，即，低级别特征之间的平移和旋转关系，因此无法捕获低级别特征和高级别特征之间的空间层次。SIFT描述符层捕获卷积层提取的特征的方向和空间关系。因此，所提出的SIFT描述符CNN结合了CNN模型的特征提取能力和SIFT描述符的旋转不变性。MNIST和fashionMNIST数据集上的实验结果表明，在文献中可用的传统方法的合理改进。
2019-03-30 cs.CV cs.LG stat.ML
Deep Epitomic Convolutional Neural Networks
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
深度卷积神经网络最近被证明在具有挑战性的图像识别任务中极具竞争力。本文提出了epitomic卷积作为深度神经网络的新构建块。epitomic卷积层取代了标准深度卷积神经网络中的一对连续卷积层和最大池层。所提出的模型的主要版本使用迷你缩影代替过滤器，并计算响应不变的小翻译缩影搜索，而不是最大池的图像位置。所提出的模型的地形版本使用大的缩影学习过滤器地图组织在翻译地形。我们表明，错误反向传播可以成功地学习多个epitomic层在监督的方式。所提出的方法的有效性进行评估，在图像分类任务的标准基准。我们在Imagenet上的实验表明，与类似架构的标准卷积神经网络相比，识别性能有所提高。我们在Imagenet上预训练的模型在Caltech-101上表现出色。我们还获得了竞争力的小图像MNIST和CIFAR-10数据集的图像分类结果。
2014-06-10 cs.CV cs.LG
Pooling Methods in Deep Neural Networks, a Review
Shahrood University of Technology（沙赫鲁德工业大学）；Faculty of Electrical & Robotics Engineering（电气与机器人工程学院）
如今，深度神经网络是各种科学中使用的主要工具之一。卷积神经网络是一种特殊类型的DNN，由几个卷积层组成，每个卷积层后面都有一个激活函数和一个池化层。池化层是一个重要的层，它对来自前一层的特征图执行下采样，并产生具有压缩分辨率的新特征图。这一层大大减少了输入的空间维度。它有两个主要目的。首先是减少参数或权重的数量，从而减少计算成本。二是控制网络的过拟合。一个理想的池化方法应该只提取有用的信息，丢弃不相关的细节。在深度神经网络中实现池化操作的方法有很多。在本文中，我们回顾了一些著名的和有用的池化方法。
2020-09-16 cs.CV cs.LG
Detection of Premature Ventricular Contractions Using Densely Connected Deep Convolutional Neural Network with Spatial Pyramid Pooling Layer
室性早搏是起源于心室的一种异位早搏。目前，大多数方法都是在同一个数据库中开发和测试的，这些数据库分为训练集和测试集，它们在不同数据库中的泛化性能尚未得到充分验证。本文提出了一种基于密集连接卷积神经网络和空间金字塔池的PVC检测方法，可以将任意大小的QRS波群作为训练和测试的输入。通过使用MIT-BIH心律失常数据库作为基准进行训练和测试，所提出的网络具有更简单和更直接的架构，在准确性、灵敏度和特异性方面实现了与当前最先进的基于深度学习的方法相当的结果。除了基准数据库，QRS波群是从四个更开放的数据库中提取的，即圣彼得堡心脏病技术研究所12导联心律失常数据库，MIT-BIH正常窦性心律数据库、MIT-BIH长期数据库和欧洲ST-T数据库。在不同的数据库中提取的QRS波群长度和采样率不同，并进行了跨数据库的训练和测试，结果表明，该网络的性能优于基准数据库，证明了使用多个数据库进行训练比使用单个数据库的优势，该网络在其他四个数据库上也取得了令人满意的成绩，表现出良好的泛化能力。
2019-10-10 cs.CV
Convolutional Neural Networks Applied to House Numbers Digit Classification
The Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）
我们使用卷积神经网络（ConvNets）对真实世界的门牌号码进行分类。ConvNets是分层特征学习神经网络，其结构受到生物学的启发。与许多手工设计的流行视觉方法不同，ConvNets可以自动学习针对给定任务优化的一组独特功能。我们通过学习多阶段特征和使用Lp池来增强传统的ConvNet架构，并在SVHN数据集上建立了94.85%的准确率（45.2%的错误改进）。此外，我们还分析了ConvNets中不同池化方法和多阶段特性的好处。源代码和教程可以在eblearn.sf.net上找到。
2012-04-18 cs.CV cs.LG cs.NE
