Attribute Aware Pooling for Pedestrian Attribute Recognition
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Sydney（悉尼大学）
本文通过设计一种新的属性感知池化算法，将深度卷积神经网络（CNN）的优势扩展到行人属性识别问题。现有的普通CNN不能直接应用于处理多属性数据，因为较大的标签空间以及属性的纠缠和相关性。我们通过充分利用不同属性之间的相关性来解决这些阻碍CNN多属性分类发展的挑战。采用多分支结构对不同区域的属性进行融合。除了基于每个分支本身的预测之外，每个分支的上下文信息也用于决策。属性感知池的开发，以集成这两种信息。因此，模糊的或与其他属性纠缠在一起的属性可以通过利用上下文信息来准确地识别。基准数据集上的实验表明，所提出的池化方法适当地探索和利用行人属性识别的属性之间的相关性。
2019-07-27 cs.CV cs.LG eess.IV
Hierarchical Spherical CNNs with Lifting-based Adaptive Wavelets for Pooling and Unpooling
Shanghai Jiao Tong University（上海交通大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
池化和反池化是构造分层球形卷积神经网络（HS-CNN）进行球形域综合特征学习的两个基本操作。现有的模型大多采用基于下采样的池化，这将不可避免地导致信息丢失，并且不能适应不同的球形信号和任务。此外，池化后保留的信息不能很好地恢复由随后的unpooling来表征一个任务所需的功能。在本文中，我们提出了一种新的HS-CNN框架，该框架具有提升结构，可以学习自适应球面小波以进行池化和解池化，称为LiftHS-CNN，它确保了图像和像素级任务的更有效的分层特征学习。具体地，自适应球面小波是用由可训练提升算子组成的提升结构来学习的（即，更新和预测算子）。利用这种可学习的提升结构，我们可以自适应地将信号划分为分别包含低频和高频分量的两个子带，从而通过在低频子带中保留更多信息来生成更好的缩减表示以用于池化。更新和预测运算符通过基于图形的注意力进行参数化，以共同考虑信号的特征和底层几何结构。我们进一步表明，特定的属性承诺学习小波，确保空间频率本地化，更好地利用信号的相关性在空间和频率域。然后，我们提出了一个unpooling操作，这是可逆的提升为基础的池，其中逆小波变换是通过使用学习提升算子恢复一个放大的表示。对各种球形域任务的广泛经验评估验证了所提出的LiftHS-CNN的优越性。
2022-05-31 cs.AI cs.CV
Flip-Rotate-Pooling Convolution and Split Dropout on Convolution Neural Networks for Image Classification
Zhejiang University（浙江大学）
本文提出了一种新版本的Dropout，称为Split Dropout（sDropout）和旋转卷积技术，以提高CNN在图像分类上的性能。广泛使用的标准Dropout具有通过在训练期间随机丢弃单元来防止深度神经网络过拟合的优点。我们的sDropout将数据随机分为两个子集，并保留两个子集，而不是丢弃一个子集。我们还介绍了两种旋转卷积技术，即旋转池卷积（RPC）和翻转旋转池卷积（FRPC），以提高CNN在旋转变换鲁棒性方面的性能。这两种技术将旋转不变性编码到网络中，而无需添加额外的参数。在ImageNet 2012分类任务上的实验结果表明，sDropout不仅提高了性能，而且收敛速度更快。此外，RPC和FRPC使CNN在旋转变换方面更加健壮。总的来说，与原始网络相比，FRPC与sDropout一起在ImageNet 2012分类任务中带来了$1.18\%$（Zeiler和Fergus的模型~ \cite{zeiler2013visualizing}，10-view，top-1）的准确性提高。
2015-07-31 cs.CV
Global Pooling, More than Meets the Eye: Position Information is Encoded Channel-Wise in CNNs
Ryerson University（瑞尔森大学）；Vector Institute for AI（向量人工智能研究所）；York University（约克大学）；Toronto AI Lab, LG Electronics（LG电子多伦多人工智能实验室）；Samsung AI Centre Toronto（三星多伦多人工智能中心）；University of Guelph（圭尔夫大学）
在本文中，我们挑战了一个常见的假设，即通过全局池化将卷积神经网络（CNN）中的3D（空间通道）张量的空间维度折叠成向量，从而删除了所有空间信息。具体来说，我们证明了位置信息的编码基于通道尺寸的顺序，而语义信息在很大程度上不是。在此演示之后，我们通过将其应用于两个应用程序来展示这些发现的现实影响。首先，我们提出了一个简单而有效的数据增强策略和损失函数，它提高了CNN输出的平移不变性。其次，我们提出了一种方法来有效地确定潜在表示中的哪些通道负责（i）编码整体位置信息或（ii）区域特定位置。我们首先表明，语义分割有一个显着的依赖于整体的位置通道进行预测。然后，我们第一次表明，有可能执行“特定区域”的攻击，并降低网络在输入的特定部分的性能。我们相信我们的发现和示范应用将有利于与理解CNN特性有关的研究领域。
2021-08-17 cs.CV
Training CNNs faster with Dynamic Input and Kernel Downsampling
University of Toronto（多伦多大学）
我们使用一种方法来减少卷积网络（CNN）的训练时间，对于一些小批量：a）通过下采样降低输入图像的分辨率，b）通过卷积滤波器上的池化减少前向通操作。训练以交错的方式进行;一些批次使用原始网络参数进行常规的前向和反向传播，而其他批次则使用池化滤波器和下采样输入进行前向传递。由于池化是可微的，因此池化滤波器的梯度传播到原始网络参数以进行标准参数更新。后一阶段需要更少的浮点运算和更少的存储，因为减少了特征图和过滤器的空间维度。其关键思想是，这个阶段会导致更小和近似的更新，因此学习速度更慢，但成本大大降低，然后是使用原始网络参数作为细化阶段的通道。决定下采样发生的频率和批次可以随机或确定性地完成，并且可以定义为训练超参数本身。在残差架构上的实验表明，我们可以在验证准确性损失最小的情况下，实现高达23%的训练时间减少。
2019-10-15 cs.CV cs.LG stat.ML
Fuzzy Pooling
University of Thessaly（色萨利大学）
卷积神经网络（CNN）是典型地基于两个操作的人工学习系统：卷积，其通过滤波实现特征提取，以及池化，其实现降维。池化对CNN分类性能的影响已经在以前的几项工作中得到了强调，并且已经提出了各种替代池化算子。然而，只有少数几个处理通过卷积从输入层自然传播到隐藏层的特征图的不确定性。在本文中，我们提出了一种新的池化操作的基础上（1型）模糊集，以应付局部不精确的特征映射，我们研究其性能的背景下，图像分类。模糊池是通过特征图邻域的模糊化、聚集和去模糊化来执行的。它用于构建模糊池化层，该模糊池化层可用作CNN架构的当前清晰池化层的直接替代。使用公开数据集的几个实验表明，所提出的方法可以提高CNN的分类性能。比较评估表明，它优于国家的最先进的汇集方法。
2022-02-12 cs.AI cs.CV cs.LG
Classifying and Segmenting Microscopy Images Using Convolutional Multiple Instance Learning
University of Toronto（多伦多大学）
卷积神经网络（CNN）在分类和分割任务上都达到了最先进的性能。将CNN应用于显微图像是具有挑战性的，因为缺乏在单细胞水平上标记的数据集。我们使用多实例学习（MIL）将CNN的应用扩展到显微镜图像分类和分割。我们提出了自适应噪声和MIL池功能，一个新的MIL运营商，是强大的离群值。将CNN与MIL相结合，可以使用具有全局标签的全分辨率显微图像来训练CNN。我们的方法基于MIL中使用的聚合函数和CNN中使用的池化层之间的相似性。我们表明，在哺乳动物和酵母显微镜图像上，训练MIL CNN端到端的性能优于以前的几种方法，而不需要任何分割步骤。
2015-11-17 cs.CV q-bio.SC stat.ML
Vehicle classification using ResNets, localisation and spatially-weighted pooling
University of York（约克大学）
我们研究ResNet架构是否可以在细粒度车辆分类任务上优于更传统的卷积神经网络。我们在Comprehensive Cars数据集上对ResNet-18、ResNet-34和ResNet-50进行了训练和测试，而没有在其他数据集上进行预训练。然后，我们修改网络以使用空间加权池。最后，我们使用基于ResNet-50的网络在分类过程之前添加了一个本地化步骤。我们发现，使用空间加权池和本地化都提高了ResNet 50的分类精度。空间加权池化将准确度提高1.5%，本地化将准确度提高3.4%。使用这两种方法将准确率提高了3.7%，在Comprehensive Cars数据集上的前1准确率为96.351%。我们的方法比一系列方法（包括使用传统CNN的方法）实现了更高的准确性。然而，我们的方法并不像使用空间加权池的预训练网络那样好。
2018-10-15 cs.CV cs.LG stat.ML
S3Pool: Pooling with Stochastic Spatial Sampling
Binghamton University（宾汉姆顿大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；University of California, San Diego（加州大学圣地亚哥分校）
特征池化层（例如，卷积神经网络（CNN）中的最大池化（maxpooling）服务于提供越来越抽象的表示以及在后续卷积层中产生计算节省的双重目的。我们将CNN中的池化操作视为两步过程：首先，池化窗口（例如，$2\times 2$）以步幅一在特征图上滑动，这使得空间分辨率保持不变，并且第二，通过以通常均匀和确定性（例如，左上角）的方式。我们在这项工作中的出发点是观察到这种由非重叠窗口引起的规则间隔的下采样，尽管从信号处理的角度来看是直观的（其具有信号重构的目标），但对于\emph{learning}（其中目标是泛化）不一定是最佳的。我们研究了这方面，并提出了一种新的池化策略与随机空间采样（S3Pool），其中常规的下采样被替换为一个更一般的随机版本。我们观察到，这种一般的随机性作为一个强大的正则化，也可以被看作是做隐式数据增强通过引入扭曲的特征图。我们还引入了一种机制来控制失真量，以适应不同的数据集和架构。为了证明所提出的方法的有效性，我们在几个流行的图像分类基准上进行了大量的实验，观察到基线模型的出色改进。实验代码可在https://github.com/Shuangfei/s3pool上获得。
2016-11-16 cs.CV cs.LG
Regularized Pooling
Kyushu University（九州大学）
在卷积神经网络（CNN）中，池化操作起着重要的作用，如降维和变形补偿。一般来说，最大池化是最广泛使用的局部池化操作，它是为每个内核独立执行的。然而，变形在相邻核上可以是空间平滑的。这意味着最大池化过于灵活，无法补偿实际变形。换句话说，它的过度灵活性有可能取消阶级之间的基本空间差异。在本文中，我们提出了正则化池化，它使池化操作中的值选择方向在相邻核之间在空间上是平滑的，以便仅补偿实际变形。对手写字符图像和纹理图像的实验结果表明，正则化池化不仅提高了识别精度，而且与传统池化操作相比，加快了学习的收敛速度。
2020-08-06 cs.CV cs.LG
Exploring Novel Pooling Strategies for Edge Preserved Feature Maps in Convolutional Neural Networks
National Institute of Technology Trichy（特里奇国家理工学院）；Indian Institute of Technology Palakkad（帕拉卡德印度理工学院）
随着抗锯齿卷积神经网络（CNN）的引入，重新审视CNN中池化的方式已经有了一些复苏。抗混叠CNN的基本构建块是在池化操作之前应用高斯平滑，以减少由于混叠引起的失真，从而使CNN平移不变。基于小波的方法也被提出作为额外的噪声去除能力的可能性，并给出了有趣的结果，甚至分割任务。然而，所有提出的方法都是在假设高频成分是噪声的情况下完全去除高频成分。然而，通过去除高频分量，特征图中的边缘也被平滑。在这项工作中，一个详尽的分析的边缘保留池的分类，分割和自动编码器的选项。提出了两种新的池化方法，如拉普拉斯-高斯注意力级联（LGCA）池化和基于小波的近似细节系数注意力级联（WADCA）池化。结果表明，所提出的池化方法优于传统的池化以及模糊池化的分类，分割和自动编码器。
2021-10-17 cs.CV eess.IV
Improved Bilinear Pooling with CNNs
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
卷积神经网络（CNN）特征的双线性池化[22，23]及其紧凑变体[10]已被证明在细粒度识别，场景分类，纹理识别和视觉问答任务等方面有效。所得到的表示以几何不变的方式捕获卷积特征的二阶统计。在本文中，我们研究了各种方法规范化这些统计数据，以提高其代表性的权力。特别是我们发现，矩阵平方根规范化提供了显着的改善和优于替代方案，如矩阵对数规范化时，结合elementwise平方根和L2规范化。这在一系列细粒度识别数据集上将准确率提高了2-3%，从而达到了新的技术水平。我们还研究了矩阵函数计算的准确性如何影响网络训练和评估。特别是，我们比较通过求解李雅普诺夫方程，比通过奇异值分解（SVD）计算梯度更精确的估计矩阵平方根梯度的技术。我们发现，虽然奇异值分解梯度是数值不准确的最终精度的整体效果是可以忽略不计的边界情况下，仔细处理。我们提出了一种计算梯度的替代方案，该方案速度更快，但它提供了对基线模型的改进。最后，我们表明，矩阵平方根计算近似使用几个牛顿迭代是一样准确的分类任务，但允许一个数量级更快的GPU实现相比，SVD分解。
2017-07-21 cs.CV
GIFT: Learning Transformation-Invariant Dense Visual Descriptors via Group CNNs
Zhejiang University（浙江大学）
寻找具有不同视点的图像之间的局部对应关系需要对几何变换具有鲁棒性的局部描述符。变换不变性的一种方法是通过汇集从图像的变换版本中提取的特征来整合变换。然而，特征池化可能会牺牲所得描述符的独特性。在本文中，我们介绍了一种新的视觉描述符命名为组不变特征变换（GIFT），这是歧视性和几何变换的鲁棒性。关键思想是从图像的变换版本中提取的特征可以被视为在变换组上定义的函数。而不是特征池，我们使用组卷积来利用组上提取的特征的底层结构，从而产生对变换组具有区分性和可证明不变性的描述符。大量的实验表明，GIFT优于国家的最先进的方法在几个基准数据集，实际上提高了相对姿态估计的性能。
2019-11-14 cs.CV
FrequencyLowCut Pooling -- Plug & Play against Catastrophic Overfitting
Siegen University（锡根大学）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Offenburg University（奥芬堡大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
在过去的几年里，卷积神经网络（CNN）已经成为广泛的计算机视觉任务中的主要神经架构。从图像和信号处理的角度来看，这一成功可能有点令人惊讶，因为大多数CNN的固有空间金字塔设计显然违反了基本的信号处理定律，即下采样操作中的采样定理。然而，由于不良的采样似乎不会影响模型的准确性，这个问题一直被广泛忽视，直到模型的鲁棒性开始受到更多的关注。在对抗攻击和分布偏移的背景下，最近的工作[17]表明，CNN的脆弱性与不良下采样操作引起的混叠伪影之间存在很强的相关性。本文建立在这些发现的基础上，并介绍了一种无混叠的下采样操作，它可以很容易地插入到任何CNN架构中：FrequencyLowCut池。我们的实验表明，结合简单快速的FGSM对抗训练，我们的超参数自由算子显着提高了模型的鲁棒性，避免了灾难性的过拟合。
2022-09-20 cs.CV eess.IV
Emotion Recognition with Spatial Attention and Temporal Softmax Pooling
École de technologie supérieure（高等技术学院）
基于视频的情感识别是一项具有挑战性的任务，因为它需要区分表示情感的人脸的小变形，同时对由于不同身份而引起的更强的视觉差异保持不变。最先进的方法通常使用复杂的深度学习模型，如递归神经网络（RNN，LSTM，GRU），卷积神经网络（CNN，C3D，残差网络）及其组合。在本文中，我们提出了一种更简单的方法，该方法将在面部图像的公共数据集上预训练的CNN与（1）空间注意力机制相结合，以针对给定的情感定位面部的最重要区域，以及（2）时间softmax池化，以选择给定视频的最重要帧。在具有挑战性的MITTIW数据集上的结果表明，这种方法可以实现比更复杂的方法更高的准确性。
2019-10-04 cs.CV cs.LG stat.ML
Fix your downsampling ASAP! Be natively more robust via Aliasing and Spectral Artifact free Pooling
Department of Machine Learning（机器学习系）；University of Mannheim（曼海姆大学）；Department of High Performance Computing（高性能计算系）；Fraunhofer Institute for Industrial Mathematics（工业数学弗劳恩霍夫研究所）；Institute for Machine Learning and Analytics（机器学习与分析研究所）；Offenburg University（奥芬堡大学）；Department of Computer Vision and Machine Learning（计算机视觉与机器学习系）；Max Planck Institute for Informatics（信息学马克斯·普朗克研究所）
本文针对CNN下采样违反采样定理导致混叠伪影并降低鲁棒性的问题，提出频域无混叠的FLC Pooling及其扩展ASAP，在多个数据集上验证其在不损失干净准确率的同时显著提升对损坏和对抗攻击的鲁棒性。
2025-09-23 cs.CV eess.IV
Temporal Pyramid Pooling Based Convolutional Neural Networks for Action Recognition
The University of Queensland（昆士兰大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
受卷积神经网络（CNN）在图像分类中的成功的鼓舞，最近很多努力都花在将CNN应用于基于视频的动作识别问题上。一个挑战是视频包含不同数量的帧，这与CNN的标准输入格式不兼容。现有的方法通过直接采样固定数量的帧来处理这个问题，或者通过引入在时空域中进行卷积的3D卷积层来绕过这个问题。为了解决这个问题，在这里，我们提出了一种新的网络结构，允许任意数量的帧作为网络输入。我们的解决方案的关键是引入一个由编码层和时间金字塔池化层组成的模块。编码层将来自先前层的激活映射到适合于池化的特征向量，而时间金字塔池化层将多个帧级激活转换为固定长度的视频级表示。此外，我们采用了一个特征拼接层，它结合了外观信息和运动信息。与帧采样策略相比，该方法避免了丢失任何重要帧的风险。与需要巨大视频数据集进行网络训练的3D卷积方法相比，我们的模型可以在小目标数据集上学习，因为我们可以利用现成的图像级CNN进行模型参数初始化。在两个具有挑战性的数据集Hollywood2和HMDB51上的实验表明，我们的方法在需要更少的训练数据的情况下，实现了优于最先进方法的性能。
2015-04-16 cs.CV
MeshConv3D: Efficient convolution and pooling operators for triangular 3D meshes
Keyrus（凯鲁斯公司）；Telecom SudParis（巴黎高等电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
针对3D网格的不规则连接问题，本文提出MeshConv3D，通过专用卷积与基于面坍缩的池化直接处理任意拓扑网格，并在三个基准上以更低内存和计算量取得相当或更优分类性能。
2025-01-07 cs.CV cs.GR
Long Range Pooling for 3D Large-Scale Scene Understanding
Tsinghua University（清华大学）；Cardiff University（卡迪夫大学）
受最近视觉Transformer和卷积神经网络（CNN）中大核设计的成功启发，本文分析和探讨了它们成功的根本原因。我们要求两个因素，是至关重要的三维大规模场景理解：一个更大的感受野和操作具有更大的非线性。前者负责提供远程上下文，后者可以增强网络的容量。为了实现上述属性，我们提出了一个简单而有效的长距离池（LRP）模块，使用扩张最大池，它提供了一个网络与一个大的自适应感受野。LRP的参数很少，可以很容易地添加到当前的CNN中。此外，基于LRP，我们提出了一个完整的网络架构，LRPNet，三维理解。消融研究支持我们的主张，并表明，LRP模块实现了更好的结果比大内核卷积，但减少了计算，由于其非线性。我们还在各种基准测试中证明了LRPNet的优越性：LRPNet在ScanNet上表现最好，在S3DIS和Matterport3D上超过了其他基于CNN的方法。代码将公开提供。
2023-01-17 cs.CV
HexagDLy - Processing hexagonally sampled data with CNNs in PyTorch
University of Potsdam（波茨坦大学）；Humboldt University of Berlin（柏林洪堡大学）
Hertz DLy是一个Python库，它扩展了PyTorch深度学习框架，在六边形网格上进行卷积和池化操作。它的目的是简化卷积神经网络的应用程序，依赖于六边形采样数据，例如，常见于地面天体粒子物理实验。
2019-03-05 astro-ph.IM cs.CV
3D-UCaps: 3D Capsules Unet for Volumetric Image Segmentation
VinAI Research（VinAI研究院）；University of Arkansas（阿肯色大学）
迄今为止，卷积神经网络（CNN）在医学图像分割方面取得了可喜的成果。然而，在传统的CNN中，它的池化层倾向于丢弃位置等重要信息。此外，CNN对旋转和仿射变换敏感。胶囊网络是一种数据高效的网络设计，旨在通过用动态路由和卷积步幅取代池化层来克服这些限制，其目的是保留部分-整体关系。胶囊网络在图像识别和自然语言处理方面表现出了很好的性能，但在医学图像分割，特别是体积图像分割方面的应用却很有限。在这项工作中，我们提出了3D-UCaps，一个基于三维体素的胶囊网络的医学体积图像分割。我们通过设计一个具有两条路径的网络将胶囊的概念构建到CNN中：第一条路径由3D胶囊块编码，而第二条路径由3D CNN块解码。因此，3D-UCaps继承了Capsule网络保持空间关系和CNN学习视觉表示的优点。我们在各种数据集上进行了实验，以证明3D-UCaps的鲁棒性，包括iSeg-2017，LUNA 16，Hippocampus和Cardiac，其中我们的方法优于以前的Capsule网络和3D-Unets。
2022-03-16 cs.CV cs.LG eess.IV
Maximal Independent Sets for Pooling in Graph Neural Networks
Normandie Univ（诺曼底大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）；UNICAEN（卡昂大学）；INSA Rouen Normandie（鲁昂诺曼底国立应用科学学院）；Univ Rouen Normandie（鲁昂诺曼底大学）；Université Le Havre Normandie（勒阿弗尔诺曼底大学）
本文针对传统图池化方法的断开、过度连接、低抽取率等问题，提出三种基于最大独立集的池化方法，实验验证其有效性。
2023-07-24 cs.AI cs.CV cs.LG
A Fully Trainable Network with RNN-based Pooling
University of Wollongong（卧龙岗大学）；University of Electronic Science and Technology of China（电子科技大学）
池化是卷积神经网络（CNN）中用于聚集特征和减少计算负担的重要组成部分。与其他组件（如卷积层和完全从数据中学习的全连接层）相比，池化组件仍然是手工制作的，如最大池化和平均池化。本文提出了一种使用递归神经网络（RNN）的可学习池化函数，以便池化可以完全适应网络的数据和其他组件，从而提高性能。这种具有可学习池化功能的网络被称为完全可训练网络（FTN）。实验结果表明，所提出的基于RNN的池可以很好地逼近现有的池函数，提高网络的性能。特别是对于小型网络，与传统的CNN相比，所提出的FTN可以在CIFAR-10数据集上的出错率方面提高7个百分点的性能。
2017-06-16 cs.CV
Rethinking pooling in graph neural networks
Aalto University（阿尔托大学）；Federal Institute of Ceará（塞阿拉联邦研究所）；University of Manchester（曼彻斯特大学）
图池是无数图神经网络（GNN）架构的核心组件。作为传统CNN的继承，大多数方法将图池化作为聚类分配问题，将规则网格中的局部补丁的思想扩展到图。尽管这种设计选择得到了广泛的遵守，但没有任何工作严格评估其对GNN成功的影响。在本文中，我们建立在代表性GNN的基础上，并引入了挑战局部保持表示需求的变体，无论是在补图上使用随机化还是聚类。引人注目的是，我们的实验表明，使用这些变体不会导致性能的任何下降。为了理解这种现象，我们研究了卷积层和后续池化层之间的相互作用。我们表明，卷积发挥主导作用的学习表示。与普遍的看法相反，本地池并不负责GNN在相关和广泛使用的基准上的成功。
2020-10-22 cs.AI cs.CV cs.LG
Stacked Pooling: Improving Crowd Counting by Boosting Scale Invariance
Zhejiang University（浙江大学）；Southwest Jiaotong University（西南交通大学）；Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们探讨了跨尺度的相似性人群计数的情况下，不同尺度的区域往往表现出较高的视觉相似性。该特征在同一图像内和不同图像间具有普遍性，表明了人群计数模型尺度不变性的重要性。受此启发，在本文中，我们提出了简单但有效的池化模块变体，即，多核池化和堆栈池化，提高了卷积神经网络（CNN）的尺度不变性，有利于人群密度的估计和计数。具体地，多核池化包括池化具有多个感受野的核以捕获多尺度局部范围处的响应。堆栈池是多核池的一种等价形式，同时，它大大降低了计算成本。我们提出的池化模块没有引入额外的参数到模型中，可以很容易地取代香草池化层的实现。在两个基准人群计数数据集的实证研究中，堆叠池在大多数情况下击败了香草池层。
2018-08-22 cs.CV
EasyConvPooling: Random Pooling with Easy Convolution for Accelerating Training and Testing
Huazhong University of Science and Technology（华中科技大学）；City University of Hong Kong（香港城市大学）
卷积运算支配着卷积神经网络（CNN）的总执行时间。本文提出了一种简单而有效的卷积神经网络训练和测试技术。传统的卷积和池化操作被简单卷积和随机池化（ECP）所取代。在ECP中，我们从四个像素中随机选择一个像素，只对所选像素进行卷积运算。因此，只需要传统卷积计算的四分之一。实验结果表明，所提出的EasyConvPooling可以实现1.45倍的训练时间和1.64倍的测试时间的加速比。更重要的是，与传统的卷积运算相比，纯简单卷积运算的加速比为5.09倍。
2018-06-05 cs.CV
Optimization Landscape and Expressivity of Deep CNNs
Saarland University（萨尔大学）；University of Tübingen（图宾根大学）
我们分析了具有共享权重和最大池化层的实用深度卷积神经网络（CNN）的损失情况和表现力。我们表明，这样的CNN在“宽”层产生线性独立的特征，该层具有比训练样本数量更多的神经元。该条件例如对于VGG网络成立。此外，我们为这种宽CNN提供了零训练误差的全局最小值的充分必要条件。对于宽层之后是全连接层的情况，我们证明了经验损失的几乎每个临界点都是具有零训练误差的全局最小值。我们的分析表明，深度和宽度在深度学习中都非常重要。虽然深度带来了更强的代表性，并允许网络学习高级特征，但宽度平滑了损失函数的优化前景，因为足够宽的网络具有表现良好的损失表面，几乎没有不良的局部最小值。
2018-06-06 cs.AI cs.CV cs.LG
CapsNet for Medical Image Segmentation
University of Arkansas（阿肯色大学）
卷积神经网络（CNN）已经成功地解决了计算机视觉中的任务，包括医学图像分割，因为它们能够从非结构化数据中自动提取特征。然而，CNN对旋转和仿射变换敏感，它们的成功依赖于捕获各种输入变化的大规模标记数据集。这种网络范式在规模上提出了挑战，因为获取用于医疗分割的注释数据是昂贵的，并且有严格的隐私法规。此外，使用CNN的视觉表示学习有其自身的缺陷，例如，可以理解的是，传统CNN中的池化层倾向于丢弃位置信息，并且CNN倾向于在方向和大小不同的输入图像上失败。Capsule网络（CapsNet）是最近的一种新架构，通过用动态路由和卷积步长取代池化层，在表示学习中实现了更好的鲁棒性，在分类、识别、分割和自然语言处理等流行任务上显示出潜在的结果。与导致标量输出的CNN不同，CapsNet返回向量输出，旨在保留部分-整体关系。在这项工作中，我们首先介绍了CNN的局限性和CapsNet的基本原理。然后，我们提供了CapsNet的最新进展，用于医学图像分割的任务。最后，我们讨论了各种有效的网络架构，以实现2D图像和3D体积医学图像分割的CapsNet。
2022-03-16 cs.CV eess.IV
Learning Convolutional Neural Networks using Hybrid Orthogonal Projection and Estimation
York University（约克大学）
卷积神经网络（CNN）在各种计算机视觉任务中具有优异的性能，其中CNN通常采用由卷积层、池化层和全连接层组成的类似结构。在本文中，我们提出了一种新的方法，即混合正交投影和估计（HOPE），CNN，以引入正交性到CNN结构。HOPE模型可以被看作是一种混合模型，将使用正交线性投影的特征提取与混合模型相结合。该模型能有效地从原始高维特征向量中提取有用信息，同时滤除无关噪声。在这项工作中，我们提出了三种不同的方法来将HOPE模型应用于CNN，即，{ \em HOPE-Input}、{ \em single-HOPE-Block}和{ \em multi-HOPE-Block}。对于{ \em HOPE-Input} CNN，HOPE层直接在输入之后使用，以使高维输入特征向量去相关。或者，在{ \em single-HOPE-Block}和{ \em multi-HOPE-Blocks} CNN中，我们考虑使用HOPE层来替换CNN中的一个或多个块，其中一个块可以包括若干卷积层和一个池化层。在Cifar-10和Cifar-100数据集上的实验结果表明，HOPE层施加的正交约束可以显着提高CNN在这些图像分类任务中的性能（我们在未应用图像增强时实现了最佳性能之一，在图像增强时实现了前5名性能）。
2016-09-11 cs.CV cs.NE
RNNPool: Efficient Non-linear Pooling for RAM Constrained Inference
Microsoft Research India（微软印度研究院）；University of Washington（华盛顿大学）
为计算机视觉任务设计的标准卷积神经网络（CNN）往往具有较大的中间激活图。这些需要大量的工作内存，因此不适合部署在通常用于边缘推理的资源受限设备上。通过池化或步幅卷积对图像进行积极的下采样可以解决这个问题，但由于标准池化算子对特征图的总体聚合，导致准确性显著降低。在本文中，我们介绍了RNNPool，这是一种基于递归神经网络（RNN）的新型池化算子，它可以有效地聚合图像的大片特征，并快速对激活图进行下采样。经验评估表明，当应用于标准视觉任务（如图像分类和人脸检测）时，RNNPool层可以有效地取代各种架构（如MobileNets，DenseNet）中的多个块。也就是说，RNNPool可以显着降低计算复杂性，并在保持相当的准确性的同时减少用于推理的峰值内存使用。我们使用标准S3 FD架构的RNNPool来构建一种人脸检测方法，该方法可以为RAM小于256 KB的微型ARM Cortex-M4类微控制器实现最先进的MAP。代码发布于https://github.com/Microsoft/EdgeML。
2020-10-22 cs.CV cs.LG
Image Classification using Fuzzy Pooling in Convolutional Kolmogorov-Arnold Networks
School of Information Technology and Engineering（信息技术与工程学院）；Kazakh-British Technical University（哈萨克斯坦-英国技术大学）
本文提出将KAN分类头与Fuzzy Pooling集成至CNN中，利用KAN的可解释性与模糊逻辑处理不确定性的能力，在图像分类任务中实现了较传统模型相当或更高的准确率，提升了模型的可解释性与效率。
2024-07-23 cs.CV
Wavelet Convolutional Neural Networks for Texture Classification
The University of Tokyo（东京大学）；Digital Frontier Inc.（数字前沿公司）
纹理分类是图像处理应用中的一个重要且具有挑战性的问题。虽然卷积神经网络（CNN）在图像分类方面取得了显著的成功，但纹理分类仍然是一个困难的问题，因为纹理通常不包含关于对象形状的足够信息。在图像处理中，纹理分类传统上是通过利用许多纹理中的重复结构的谱分析来研究的。由于CNN在空间域中处理图像，而频谱分析在频域中处理图像，因此这些模型在性能方面具有不同的特征。我们提出了一种新的CNN架构，小波CNN，它集成了频谱分析到CNN。我们的见解是，池化层和卷积层可以被视为频谱分析的有限形式。基于这一认识，我们推广这两个层进行小波变换的频谱分析。小波CNN允许我们利用在传统CNN中丢失但在纹理分类中有用的光谱信息。实验表明，我们的模型取得了更好的准确性，在纹理分类比现有的模型。我们还表明，我们的模型具有比CNN少得多的参数，使我们的模型更容易用更少的内存进行训练。
2017-07-24 cs.CV cs.LG
ReDistill: Residual Encoded Distillation for Peak Memory Reduction of CNNs
University of California Merced（加州大学默塞德分校）；Case Western Reserve University（凯斯西储大学）
提出ReDistill残差编码蒸馏方法，通过激进池化构建低内存学生网络，在图像分类和扩散生成任务中实现4倍至5倍峰值内存降低且保持良好性能。
2025-04-25 cs.CV cs.LG
Multi-level Wavelet Convolutional Neural Networks
Harbin Institute of Technology（哈尔滨工业大学）；Changzhi University（长治学院）
在计算机视觉中，卷积网络（CNN）通常采用池化的方法来扩大感受野，具有低计算复杂性的优点。然而，池化会导致信息丢失，因此不利于进一步的操作，例如特征提取和分析。最近，扩张滤波器已被提出来权衡感受野大小和效率。但是伴随的网格效应可能导致具有棋盘图案的输入图像的稀疏采样。为了解决这个问题，在本文中，我们提出了一种新的多级小波CNN（MWCNN）模型，以实现更好的感受野大小和计算效率之间的权衡。核心思想是将小波变换嵌入到CNN架构中，以降低特征图的分辨率，同时增加感受野。具体地说，用于图像复原的MWCNN是基于U-Net架构，并部署逆小波变换（IWT）来重建高分辨率（HR）特征图。所提出的MWCNN也可以被看作是扩张滤波器的改进和平均池化的推广，并且不仅可以应用于图像复原任务，而且可以应用于任何需要池化操作的CNN。实验结果表明，所提出的MWCNN的有效性，如图像去噪，单图像超分辨率，JPEG图像伪影去除和对象分类的任务。
2019-07-06 cs.CV eess.IV
Stochastic Region Pooling: Make Attention More Expressive
South China University of Technology（华南理工大学）
全局平均池（Global Average Pooling，GAP）默认用于通道式注意力机制以提取通道描述符。但GAP的简单全局聚合方法容易使通道描述符具有同质性，削弱了特征图之间的细节区分，从而影响了注意力机制的性能。在这项工作中，我们提出了一种新的方法，称为随机区域池（SRP），这使得通道描述符更具代表性和多样性，通过鼓励特征映射有更多或更广泛的重要特征响应。同时，SRP是注意力机制的通用方法，不需要任何额外的参数和计算。它可以广泛应用于注意力网络，而无需修改网络结构。在CIAFR-10/100、ImageNet和三个细粒度数据集（CUB-200-2011、Stanford Cars和Stanford Dogs）上的实验结果表明，SRP算法在性能上比高效CNN有显著提高，达到了最先进的效果。
2019-04-22 cs.CV
Consumer Image Quality Prediction using Recurrent Neural Networks for Spatial Pooling
Shenzhen University（深圳大学）；Norwegian Research Center（挪威研究中心）
在过去的几年里，通过使用卷积神经网络（CNN），主观图像质量预测已经取得了有希望的结果。然而，将CNN用于高分辨率图像质量评估仍然是一个挑战，因为典型的CNN架构是针对小分辨率输入图像设计的。在这项研究中，我们提出了一个图像质量模型，试图模仿人类视觉系统（HVS）的注意力机制，通过使用递归神经网络（RNN）的空间池的特征提取从不同的空间区域（补丁）的深度基于CNN的特征提取器。实验研究，使用不同分辨率的图像从两个最近公布的图像质量数据集进行，表明所提出的方法的质量预测精度是有竞争力的基准模型代表的最先进的，所提出的方法也执行一致的同一数据集的不同分辨率版本。
2021-06-02 cs.CV
3DConvCaps: 3DUnet with Convolutional Capsule Encoder for Medical Image Segmentation
University of Arkansas（阿肯色大学）
卷积神经网络（CNN）在医学图像分割中取得了很好的效果。然而，CNN需要大量的训练数据，并且无法处理对象的姿态和变形。此外，它们的池化层倾向于丢弃重要信息，例如位置，并且CNN对旋转和仿射变换敏感。胶囊网络是最近的一种新架构，通过用动态路由和卷积步幅取代池化层，在部分-整体表示学习中实现了更好的鲁棒性，这在数字分类和对象分割等流行任务上显示出了潜在的结果。在本文中，我们提出了一种带有卷积胶囊编码器（称为3DConvCaps）的3D编码器-解码器网络，用于使用卷积层学习较低级别的特征（短程注意力），同时使用胶囊层对较高级别的特征（长程依赖性）进行建模。我们在iSeg-2017、Hippocampus和Cardiac等多个数据集上的实验表明，我们的3D 3DConvCaps网络的性能大大优于以前的胶囊网络和3D-UNets。我们进一步在收缩和扩展路径下的卷积层和胶囊层的各种配置下对网络效率和分割性能进行了消融研究。
2022-06-26 cs.CV
MatConvNet - Convolutional Neural Networks for MATLAB
MatConvNet是卷积神经网络（CNN）的MATLAB实现。工具箱的设计强调简单性和灵活性。它将CNN的构建块作为易于使用的MATLAB函数公开，提供了使用滤波器组、特征池等计算线性卷积的例程。通过这种方式，MatConvNet允许快速原型化新的CNN架构;同时，它支持CPU和GPU上的高效计算，允许在ImageNet ILSVRC等大型数据集上训练复杂模型。本文档概述了CNN以及它们如何在MatConvNet中实现，并给出了工具箱中每个计算块的技术细节。
2016-05-05 cs.CV cs.LG cs.MS
MeshCNN: A Network with an Edge
Tel Aviv University（特拉维夫大学）；Amazon（亚马逊）
多边形网格为3D形状提供了有效的表示。它们明确地捕获形状表面和拓扑结构，并利用非均匀性来表示大的平坦区域以及尖锐，复杂的特征。然而，这种不均匀性和不规则性抑制了使用结合卷积和池化操作的神经网络的网格分析工作。在本文中，我们利用网格的独特属性，使用MeshCNN直接分析3D形状，MeshCNN是一种专门为三角形网格设计的卷积神经网络。类似于经典的CNN，MeshCNN通过利用其内在的测地线连接，结合了在网格边缘上操作的专用卷积和池化层。卷积应用于边和它们的入射三角形的四个边，并且池化通过保留表面拓扑的边折叠操作来应用，从而为后续卷积生成新的网格连接。MeshCNN学习哪些边要折叠，从而形成一个任务驱动的过程，在这个过程中，网络暴露和扩展重要的特征，同时丢弃冗余的特征。我们证明了我们的任务驱动的池应用于3D网格的各种学习任务的有效性。
2019-02-13 cs.CV cs.GR cs.LG
A Synergistic CNN-Transformer Network with Pooling Attention Fusion for Hyperspectral Image Classification
College of Engineering（工程学院）；School of Electronic Information and Communications（电子信息与通信学院）；Changchun Institute of Optics, Fine Mechanics and Physics（长春光学精密机械与物理研究所）；School of Computer Science and Technology（计算机科学与技术学院）；School of Intelligent Manufacturing and Electrical Engineering（智能制造与电气工程学院）
本文提出一种协同CNN-Transformer网络，通过双分支特征提取模块和混合池化注意力模块，有效融合空间和光谱信息，提升超光谱图像分类性能。
2026-04-26 cs.CV
Striving for Simplicity: The All Convolutional Net
University of Freiburg（弗莱堡大学）
大多数用于对象识别的现代卷积神经网络（CNN）都是使用相同的原理构建的：交替卷积和最大池化层，然后是少量的全连接层。我们重新评估了使用卷积网络从小图像中识别对象的最新技术水平，质疑管道中不同组件的必要性。我们发现，最大池化可以简单地被卷积层取代，增加步幅，而不会在几个图像识别基准测试中损失准确性。根据这一发现-并建立在最近其他寻找简单网络结构的工作基础上-我们提出了一种新的架构，该架构仅由卷积层组成，并在几个对象识别数据集（CIFAR-10，CIFAR-100，ImageNet）上产生具有竞争力或最先进的性能。为了分析网络，我们引入了一种新的“去卷积方法”，用于可视化CNN学习的特征，它可以应用于比现有方法更广泛的网络结构。
2015-04-13 cs.CV cs.LG cs.NE
Making Convolutional Networks Shift-Invariant Again
Adobe Research（奥多比研究院）
现代卷积网络不是平移不变的，因为小的输入移位或平移会导致输出的剧烈变化。常用的下采样方法，如max-pooling，strided-convolution和average-pooling，忽略了采样定理。众所周知的信号处理解决方案是在下采样之前通过低通滤波进行抗混叠。然而，简单地将此模块插入深度网络会降低性能;因此，它现在很少使用。我们表明，当正确集成时，它与现有的架构组件，如最大池和跨越卷积兼容。我们在ImageNet分类中观察到\textit{increased accuracy}，在几个常用的架构中，如ResNet，DenseNet和MobileNet，表明有效的正则化。此外，我们观察到\textit{better generalization}，在稳定性和鲁棒性输入损坏。我们的研究结果表明，这种经典的信号处理技术在现代深度网络中被不应有地忽视了。流行网络的代码和反锯齿版本可在https://richzhang.github.io/antialiased-cnns/上获得。
2019-06-09 cs.CV cs.LG
On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks
Université Caen Normandie（卡昂诺曼底大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）；Normandie Univ（诺曼底大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）
针对CNN第一层类Gabor滤波器子采样卷积的平移敏感问题，确立最大池化近似平移不变复模的条件，推导平移不变性度量并验证，揭示滤波器频率和方向的关键作用，提升CNN数学可解释性。
2025-04-18 cs.AI cs.CV eess.SP
An accurate flatness measure to estimate the generalization performance of CNN models
本文提出了一种准确的CNN模型泛化性能评估方法，通过推导闭式表达式和参数感知度量，改进了传统平坦度度量的不足。
2026-03-09 cs.CV cs.LG cs.NE
Color Constancy Using CNNs
University of Milan-Bicocca（米兰比可卡大学）；University of Pavia（帕维亚大学）
在这项工作中，我们描述了一个卷积神经网络（CNN），以准确地预测场景照明。以图像块作为输入，CNN在空间域中工作，而不使用大多数先前方法所采用的手工制作的特征。该网络由一个具有最大池化的卷积层，一个全连接层和三个输出节点组成。在网络结构中，特征学习和回归被集成到一个优化过程中，这导致了一个更有效的模型估计场景照明。这种方法在RAW图像的标准数据集上实现了最先进的性能。对具有空间变化光照的图像的初步实验证明了我们的CNN的局部光源估计能力的稳定性。
2015-04-17 cs.CV
Fine-tuning CNN Image Retrieval with No Human Annotation
Czech Technical University in Prague（布拉格捷克理工大学）
基于卷积神经网络（CNN）的图像描述符由于其区分能力、表示的紧凑性和搜索效率而在图像检索中占据主导地位。CNN的训练，无论是从头开始还是微调，都需要大量的注释数据，其中高质量的注释通常至关重要。在这项工作中，我们建议以完全自动化的方式对大量无序图像进行图像检索。通过最先进的检索和运动恢复结构方法获得的重建3D模型指导训练数据的选择。我们表明，硬正面和硬负面的例子，通过利用几何形状和摄像机的位置从3D模型中选择，提高特定对象检索的性能。从相同的训练数据区别性地学习的CNN描述符白化优于常用的PCA白化。我们提出了一种新的可训练的广义均值（GeM）池化层，它概括了最大和平均池化，并表明它提高了检索性能。将所提出的方法应用于VGG网络，在标准基准测试（牛津建筑，巴黎和假日数据集）上实现了最先进的性能。
2018-07-10 cs.CV
Learning Bag-of-Features Pooling for Deep Convolutional Neural Networks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
卷积神经网络（CNN）是一种成熟的模型，能够为各种计算机视觉任务实现最先进的分类精度。然而，它们变得越来越大，使用数百万个参数，而它们仅限于处理固定大小的图像。在本文中，基于量化的方法，灵感来自著名的袋的功能模型，提出了克服这些限制。所提出的方法称为卷积BoF（CBoF），使用RBF神经元对从卷积层中提取的信息进行分类，并且能够对各种大小的图像进行本机分类，并显着减少网络中的参数数量。与其他全局池化算子和CNN压缩技术相比，所提出的方法利用端到端可微分的可训练池化层，允许使用常规反向传播来训练网络，并实现比竞争方法更大的分布偏移不变性。使用三个图像数据集证明了所提出的方法，以减少网络的参数，并增加了其他国家的最先进的技术的分类精度的能力。
2017-07-26 cs.CV
FlexPooling with Simple Auxiliary Classifiers in Deep Networks
Department of Computer Vision, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), Abu Dhabi, UAE（阿联酋阿布扎比穆罕默德·本·扎耶德人工智能大学计算机视觉系）
提出FlexPooling自适应池化方法，通过学习加权平均替代标准池化，并附加简单辅助分类器，在多个图像分类数据集上提升准确率1-3%。
2026-06-16 cs.CV
Learning SO(3) Equivariant Representations with Spherical CNNs
University of Pennsylvania（宾夕法尼亚大学）；Google（谷歌）
我们解决了卷积神经网络中的三维旋转等方差问题。3D旋转一直是一个具有挑战性的麻烦，在3D分类任务，需要更高的容量和扩展的数据增强，以解决它。我们建模的3D数据与多值球面函数，我们提出了一种新的球形卷积网络，实现精确的卷积的球体上实现他们在球谐域。由此产生的过滤器具有局部对称性，并通过强制平滑频谱进行本地化。我们在谱域上应用了一种新的池化，我们的操作独立于整个网络的底层球面分辨率。我们表明，网络具有低得多的容量，而不需要数据增强可以表现出的性能与最先进的标准检索和分类基准。
2018-09-28 cs.CV
Context-aware Attentional Pooling (CAP) for Fine-grained Visual Classification
Edge Hill University（边山大学）
深度卷积神经网络（CNN）在挖掘用于图像识别的有区别的对象姿态和部分信息方面显示出强大的能力。对于细粒度识别，上下文感知的丰富特征表示的对象/场景起着关键作用，因为它表现出显着的差异，在同一子类和微妙的差异之间的不同子类。找到充分表征对象/场景的细微变化并不简单。为了解决这个问题，我们提出了一种新的上下文感知的注意力池（CAP），有效地捕捉微妙的变化，通过亚像素梯度，并学会参加信息的整体区域及其重要性，在区分不同的子类别，而不需要边界框和/或可区分的部分注释。我们还引入了一种新的特征编码，通过考虑整体区域的信息量与其空间结构之间的内在一致性来捕获它们之间的语义相关性。我们的方法简单但非常有效，可以很容易地应用于标准分类骨干网络。我们使用六个最先进的（SotA）骨干网络和八个基准数据集来评估我们的方法。我们的方法在六个数据集上的性能显着优于SotA方法，并且与其余两个数据集非常具有竞争力。
2021-01-17 cs.AI cs.CV cs.LG
Deformable Convolutional Networks
Microsoft Research Asia（微软亚洲研究院）
卷积神经网络（CNN）由于其构建模块中的固定几何结构而固有地局限于模型几何变换。在这项工作中，我们引入了两个新的模块来增强CNN的变换建模能力，即可变形卷积和可变形RoI池化。两者都是基于这样的想法，即在模块中增加额外的偏移量并从目标任务中学习偏移量，而无需额外的监督。新的模块可以很容易地取代现有CNN中的普通模块，并且可以通过标准的反向传播很容易地进行端到端的训练，从而产生可变形的卷积网络。大量的实验验证了我们的方法在复杂的视觉任务的目标检测和语义分割的有效性。代码将被释放。
2017-06-05 cs.CV
Learning Translation Invariance in CNNs
University of Bristol（布里斯托大学）
当看到一个新的物体时，人类可以立即在不同的视网膜位置识别它：我们说内部物体表征是平移不变的。人们普遍认为，卷积神经网络（CNN）由于其被赋予的卷积和/或池化操作，在结构上对平移是不变的。事实上，一些研究发现，这些网络系统性地无法识别未经训练的位置上的新对象。在这项工作中，我们展示了如何，即使CNN不是“结构不变”的翻译，他们确实可以“学习”是不变的翻译。我们验证了这可以通过在ImageNet上进行预训练来实现，并且我们发现，对于更简单的数据集也是可能的，在这些数据集中，项目在输入画布上完全转换。我们研究了这种预训练如何影响内部网络表征，发现几乎总是获得不变性，即使有时由于灾难性遗忘/干扰而被进一步训练所破坏。这些实验表明，在具有正确的“潜在”特征的环境（更自然的环境）上预训练网络可以导致网络学习深度感知规则，这将大大提高后续的泛化能力。
2020-11-06 cs.CV
ConformalLayers: A non-linear sequential neural network with associative layers
Universidade Federal Fluminense（弗卢米嫩塞联邦大学）
卷积神经网络（CNN）已经得到了广泛的应用。但随着CNN的增长，算术运算和内存占用的数量也会增加。此外，典型的非线性激活函数不允许由连续层编码的操作的关联性，从而防止通过组合它们来简化中间步骤。我们提出了一个新的激活函数，允许连续层的CNN之间的关联性。即使我们的激活函数是非线性的，它也可以用欧几里得几何的共形模型中的一系列线性运算来表示。在这个域中，像但不限于卷积、平均池化和dropout这样的操作保持线性。我们利用结合性来组合所有的“保形层”，并使推理的成本恒定，而不管网络的深度。
2021-11-09 cs.AI cs.CV cs.LG
PDE-based Group Equivariant Convolutional Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个基于偏微分方程的框架，推广组等变卷积神经网络（G-CNN）。在这个框架中，网络层被视为一组PDE求解器，其中几何上有意义的PDE系数成为层的可训练权重。在齐次空间上制定我们的偏微分方程允许这些网络设计有内置的对称性，例如除了CNN的标准平移等方差之外的旋转。在设计中包含所有所需的对称性消除了通过诸如数据增强之类的昂贵技术来包含它们的需要。我们将在一般的齐次空间设置中讨论我们基于PDE的G-CNN（PDE-G-CNN），同时还将讨论我们感兴趣的主要情况的细节：旋转平移等方差。我们解决了PDE的利益相结合的线性群卷积和非线性形态群卷积与分析核近似，我们支持正式定理。我们的内核近似允许快速通过GPU实现偏微分方程求解器，我们以PyTorch的LieTorch扩展的形式在本文中发布了我们的实现，可在https://gitlab.com/bsmetsjr/lietorch上获取。就像线性卷积一样，形态卷积由我们在PDE-G-CNN中训练的内核指定。在PDE-G-CNN中，我们不使用非线性，如最大/最小池和ReLU，因为它们已经被形态卷积所包含。我们提出了一组实验来证明所提出的PDE-G-CNN在提高基于深度学习的成像应用的性能方面的优势，其参数远少于传统CNN。
2022-05-30 cs.CV cs.LG math.DG
