LeanResNet: A Low-cost Yet Effective Convolutional Residual Networks
Ben Gurion University（本·古里安大学）；Emory University（埃默里大学）；University of British Columbia（不列颠哥伦比亚大学）；Xtract AI
卷积神经网络（CNN）使用具有紧凑扩展的空间卷积算子对输入数据进行滤波。通常，卷积运算符耦合来自所有通道的特征，这导致CNN的训练和预测的巨大计算成本。为了提高CNN的效率，我们引入了精益卷积算子，减少了参数的数量和计算复杂性，并可用于广泛的现有CNN。在这里，我们讨论了它们在残差网络（ResNets）中的使用，这些网络几年来一直非常可靠，并进行了深入的分析。在我们对三个图像分类问题的实验中，所提出的LeanResNet产生的结果与最近提出的使用类似数量的参数的简化架构相当。
2019-05-16 cs.LG stat.ML
Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；University of Amsterdam（阿姆斯特丹大学）
在网格上定义卷积的常用方法是将它们解释为图并应用图卷积网络（GCN）。这种GCN利用各向同性核，因此对顶点的相对取向不敏感，从而对网格的几何形状不敏感。我们提出了规范等变网格CNN，它将GCN推广到应用各向异性规范等变核。由于产生的功能进行方向信息，我们引入了一个几何消息传递计划定义的并行传输功能网格边缘。我们的实验验证了显着改善的表现力，所提出的模型比传统的GCN和其他方法。
2021-11-19 cs.CV cs.LG stat.ML
Group Equivariant Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；University of California Irvine（加州大学欧文分校）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了群等变卷积神经网络（G-CNN），它是卷积神经网络的自然推广，通过利用对称性降低了样本复杂度。G-CNN使用G-convolutions，这是一种新型的层，比常规卷积层享有更高的权重共享程度。G-卷积在不增加参数数量的情况下增加了网络的表达能力。组卷积层易于使用，并且对于由平移、反射和旋转生成的离散组，其计算开销可以忽略不计。G-CNN在CIFAR 10和旋转MNIST上实现了最先进的结果。
2016-06-03 cs.LG stat.ML
Optimization on Product Submanifolds of Convolution Kernels
Tohoku University（东北大学）
用于训练具有内核的卷积神经网络（CNN）的优化方法的最新进展已经显示出显著的成功，所述内核根据特定的约束被归一化。这项工作介绍了一种使用不同约束构造的核的联合空间的集合来训练CNN的方法。为此，我们解决了卷积核子流形（PEM）的产品的集合的优化问题。为此，我们首先提出了三种策略来构建CNN中的PEM集合。接下来，我们阐述了它们在CNN中的几何性质（度量和曲率性质）。我们利用我们的理论成果，通过开发一个几何感知的SGD算法（G-SGD）优化的合奏PEM训练CNN。此外，我们分析了G-SGD的收敛性考虑的几何性质的PEM。在实验分析中，我们使用G-SGD在Cifar-10，Cifar-100和Imagenet数据集上训练CNN。结果表明，几何自适应步长计算方法的G-SGD可以改善CNN的训练损失和收敛性能。此外，我们观察到，在由多个约束确定的PEM集合上使用G-SGD可以提高基线CNN的分类性能。
2017-11-27 cs.CV cs.LG cs.NE
HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs
IIT Kanpur（印度理工学院坎普尔分校）
我们提出了一种新的深度学习架构，其中卷积操作利用异构内核。所提出的HetConv（Heterogeneous Kernel-Based Convolution）与标准卷积操作相比减少了计算（FLOPs）和参数的数量，同时仍然保持表示效率。为了证明我们提出的卷积的有效性，我们在标准卷积神经网络（CNN）架构（如VGG \cite{vgg2014very}和ResNet \cite{resnet}）上提供了大量的实验结果。我们发现，在用我们提出的HetConv滤波器替换这些架构中的标准卷积滤波器后，我们实现了基于3倍到8倍FLOP的速度改进，同时仍然保持（有时提高）准确性。我们还将我们提出的卷积与组/深度卷积进行了比较，并表明它以更高的精度实现了更多的FLOP减少。
2019-03-25 cs.AI cs.CV cs.LG
Stochastic Filter Groups for Multi-Task CNNs: Learning Specialist and Generalist Convolution Kernels
University College London（伦敦大学学院）；Kings College London（伦敦国王学院）
卷积神经网络（CNN）中多任务学习的性能取决于架构内任务之间特征共享的设计。可能的共享模式的数量在网络的深度和任务的数量上是组合的，因此纯粹基于人类对任务关系的直觉来手工制作架构可能是耗时且次优的。在本文中，我们提出了一种概率方法来学习CNN中用于多任务学习的任务特定和共享表示。具体来说，我们提出了“随机滤波器组”（SFG），这是一种将每层中的卷积内核分配给“专家”或“一般”组的机制，这些组分别特定于不同的任务或在不同的任务之间共享。SFG模块确定层之间的连接以及网络中特定于任务和共享表示的结构。我们采用变分推理来学习核和网络参数的可能分组的后验分布。实验表明，该方法概括了多个任务，并显示出改进的性能基线方法。
2019-08-26 cs.CV cs.LG
3D Steerable CNNs: Learning Rotationally Equivariant Features in Volumetric Data
University of Amsterdam（阿姆斯特丹大学）；EPFL（洛桑联邦理工学院）；CIFAR（加拿大高等研究院）；Qualcomm AI Research（高通人工智能研究院）；University of Copenhagen（哥本哈根大学）
我们提出了一个与刚体运动等变的卷积网络。该模型使用3D欧几里得空间上的标量场、向量场和张量场来表示数据，并使用等变卷积来在这些表示之间进行映射。这些SE（3）-等变卷积利用的核被参数化为一个完整的可操纵核基的线性组合，这是本文解析推导的。我们证明了等变卷积是R^3上域之间最一般的等变线性映射。我们的实验结果证实了3D Steerable CNN对于氨基酸倾向预测和蛋白质结构分类问题的有效性，这两者都具有固有的SE（3）对称性。
2018-10-27 cs.LG stat.ML
Scaling Spherical CNNs
Google Research（谷歌研究院）；MIT（麻省理工学院）
针对球面CNN计算成本高、仅能用于小型问题的局限，研究通过改进模型组件、优化硬件适配的核心运算及输入表示，实现其规模化，在QM9基准和天气预报任务上取得优异表现。
2023-06-08 cs.CV cs.LG
Field Convolutions for Surface CNNs
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（Adobe研究（Adobe Research））
我们提出了一种新的表面卷积算子作用于向量场，这是基于一个简单的观察：而不是结合相邻的功能相对于一个单一的坐标参数化定义在一个给定的点，我们有每个邻居描述的位置点在自己的坐标框架。该公式将固有空间卷积与散射操作中的并行传输相结合，同时对滤波器本身没有任何约束，提供了与等距动作互换的卷积的定义，具有增加的描述潜力，并且对噪声和其他干扰因素具有鲁棒性。其结果是一个丰富的卷积概念，我们称之为场卷积，非常适合表面上的CNN。场卷积是灵活的，直接纳入表面学习框架，其高度区分的性质在整个学习管道中具有级联效应。使用由残差场卷积块构建的简单网络，我们在基本几何处理任务（如形状分类、分割、对应和稀疏匹配）的标准基准上实现了最先进的结果。
2021-09-15 cs.CV cs.GR cs.LG
DSXplore: Optimizing Convolutional Neural Networks via Sliding-Channel Convolutions
University of California, Santa Barbara（加州大学圣巴巴拉分校）
作为卷积神经网络（CNN）的重要进展，深度可分离卷积（DSC）技术在保持模型精度的同时，减少了CNN的计算量和参数大小，成为最流行的技术之一。它还带来了深远的影响，以提高计算和内存密集型CNN的适用性，以广泛的应用，如移动设备，这是通常缺乏计算能力和内存。然而，以前的DSC研究主要集中在合成有限的现有DSC设计，因此，错过了探索更多潜在设计的机会，可以实现更好的精度和更高的计算/参数减少。此外，现成的卷积实现提供有限的计算方案，因此，缺乏对具有不同卷积模式的DSC的支持。为此，我们介绍了DSXplore，这是第一个用于在CNN上探索DSC的优化设计。具体而言，在算法层面，DSXplore采用了一种新的因子分解内核-滑动通道卷积（SCC），其特征在于输入通道重叠，以平衡精度性能和计算和内存成本的降低。SCC还通过引入可调节的内核参数为设计探索提供了巨大的空间。此外，在实现层面上，我们进行了优化的GPU实现定制SCC利用几个关键技术，如输入为中心的向后设计和通道循环优化。在主流CNN的不同数据集上进行的密集实验表明，DSXplore在平衡准确性和计算/参数减少方面优于标准卷积和现有DSC。
2021-01-04 cs.CV cs.LG
Predicting Food Security Outcomes Using Convolutional Neural Networks (CNNs) for Satellite Tasking
获得可靠的数据，描述当地的粮食安全（FSM）的粒度，是信息决策者需要昂贵的和后勤困难的调查，特别是在发展中国家。我们训练一个CNN公开可用的卫星数据描述土地覆盖分类，并使用迁移学习和直接训练建立一个模型，FSM预测纯粹从卫星图像数据。然后，我们提出了有效的任务分配算法，高分辨率卫星资产通过迁移学习，马尔可夫搜索算法，贝叶斯网络。
2019-04-25 cs.CV cs.LG
Low-Energy Convolutional Neural Networks (CNNs) using Hadamard Method
University of Notre Dame（圣母大学）
物联网（IoT）需求的不断增长使得有必要在低功耗设备中实现对象识别等计算机视觉任务。卷积神经网络（CNN）是一种潜在的目标识别和检测方法。然而，与完全连接的层相比，CNN中的卷积层消耗大量能量。为了缓解这个问题，一种新的方法，阿达玛变换作为替代的卷积运算的基础上，使用两个基本的数据集，MNIST和CIFAR10。Hadamard方法的数学表达式显示了与卷积层相比节省能耗的明显潜力，这对大数据应用很有帮助。此外，对于MNIST数据集的测试精度，Hadamard方法的性能与卷积方法相似。相比之下，与卷积方法相比，CIFAR10数据集的测试数据准确性下降（由于复杂的数据和多个通道）。最后，当核尺寸小于输入图像尺寸时，所演示的方法对于其他计算机视觉任务是有帮助的。
2022-09-06 cs.AI cs.CV cs.LG
Convolutional Neural Nets in Chemical Engineering: Foundations, Computations, and Applications
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们回顾了卷积神经网络（CNN）的数学基础，目标是：i）突出与统计，信号处理，线性代数，微分方程和优化技术的联系，ii）揭开底层计算的神秘面纱，iii）识别新类型的应用。CNN是功能强大的机器学习模型，可以突出网格数据的特征以进行预测（回归和分类）。网格数据对象可以表示为矢量（1D）、矩阵（2D）或张量（3D或更高维度），并且可以包含多个通道（从而在输入数据表示中提供高度灵活性）。CNN通过使用不同类型的运算符执行卷积运算来突出网格数据中的特征。操作员突出显示不同类型的特征（例如，图案、梯度、几何特征），并且通过使用优化技术来学习。换句话说，CNN寻求识别最佳算子，将输入数据最佳地映射到输出数据。一个常见的误解是，CNN只能处理图像或视频数据，但它们的应用范围要广泛得多;具体来说，在各种应用中遇到的数据集可以表示为网格数据。在这里，我们展示了如何将CNN应用于新型应用，如最优控制、流式细胞术、多变量过程监控和分子模拟。
2021-07-07 cs.AI cs.LG
Generalised Structural CNNs (SCNNs) for time series data with arbitrary graph topology
Imperial College London（帝国理工学院）
深度学习方法，特别是卷积神经网络（CNN），在基于图像的数据领域取得了很大成功，其中数据在规则像素网格中提供了结构清晰的拓扑结构。这种4邻域拓扑简单性使得卷积掩码的应用对于诸如视频应用的时间序列数据是直接的，但是许多高维时间序列数据不是以规则的网格组织的，而是值可以具有与诸如小世界网络或树的非平凡拓扑的相邻关系。在我们的应用案例中，人类运动学，目前还不清楚如何以原则性的方式推广卷积核。因此，我们在这里定义并实现了一个用于时间序列分析的通用图结构CNN的框架。我们的算法使用指定的数据维度邻接矩阵和随跳距缩放的卷积掩码自动构建卷积层。在格子拓扑的限制下，我们的方法产生了众所周知的图像卷积掩码。我们首先在任意连接的图形和人手运动捕获数据的合成数据上测试我们的方法，其中手由捕获关节的机械依赖关系的树表示。我们能够证明，除其他事项外，包括数据维度的图形结构显着提高模型预测，当与基准CNN模型相比，只有时间卷积层。
2018-05-30 cs.LG stat.ML
Möbius Convolutions for Spherical CNNs
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
莫比乌斯变换在几何和球面图像处理中扮演着重要的角色-它们是二维曲面的共形自同构群和单应性的球面等价。在这里，我们提出了一种新的，莫比乌斯等变球面卷积算子，我们称之为莫比乌斯卷积，并与它，发展莫比乌斯等变球面CNN的基础。我们的方法是基于一个简单的观察：为了实现等方差，我们只需要考虑低维子组，它转换点的位置，如在他们的邻居的框架。为了有效地计算莫比乌斯卷积的规模，我们推导出一个近似的球面滤波器上的变换的行动，使我们能够计算我们的卷积在频谱域与快速球面谐波变换。由此产生的框架是灵活的和描述性的，我们证明了它的实用性，在形状分类和图像分割任务取得了可喜的成果。
2022-05-12 cs.CV cs.GR cs.LG
Deep Convolutional Neural Networks: A survey of the foundations, selected improvements, and some current applications
在机器学习的世界中，存在各种不同的方法，具有各自的优点和应用。本文试图提出和讨论这样一种方法，即卷积神经网络（CNN）。CNN是深度神经网络，它使用一种称为卷积的特殊线性运算。这种操作代表了CNN的一个关键和独特的元素，因此将成为本方法论文的重点。讨论从卷积和CNN的理论基础开始。然后，讨论继续讨论可以进行的一些改进和增强，以使该方法适应于估计更广泛的函数类。本文主要研究了改进该方法的两种方法：使用局部连接层，这可以使网络对平移不太恒定，以及平铺卷积，它允许学习比标准卷积更复杂的不变性。此外，使用快速傅立叶变换可以提高卷积的计算效率。随后，本文讨论了卷积的两个应用，这些应用在实践中被证明是非常有效的。首先，YOLO架构是用于图像对象分类的最先进的神经网络，它可以准确预测图像中对象周围的边界框。其次，乳腺X射线摄影中的肿瘤检测可以使用CNN进行，比实际医生的特异性高7.2%，灵敏度仅低0.3%。最后，在不同领域超越人类的技术的发明也提出了一些伦理和监管问题，简要讨论。
2020-11-25 cs.CV cs.LG
Propagating Confidences through CNNs for Sparse Data Regression
在大多数计算机视觉应用中，卷积神经网络（CNN）对由普通相机生成的密集图像数据进行操作。为稀疏和不规则间隔的输入数据设计CNN仍然是一个开放的问题，在自动驾驶，机器人和监控中有许多应用。为了解决这个具有挑战性的问题，我们为具有稀疏输入的CNN引入了一个代数约束卷积层，并展示了其场景深度完成任务的能力。我们提出了新的策略来确定卷积运算的置信度，并将其传播到连续的层。此外，我们提出了一个目标函数，同时最大限度地减少数据误差，同时最大限度地提高输出的信心。在KITTI深度基准上进行了全面的实验，结果清楚地表明，所提出的方法实现了卓越的性能，同时需要比最先进的方法少三倍的参数。此外，我们的方法产生了一个连续的像素级置信度图，使信息融合，状态推断和决策支持。
2018-08-03 cs.CV cs.LG
Matching Convolutional Neural Networks without Priors about Data
IMT Atlantique（法国大西洋高等矿业电信学校）；Cityzen Data（城市数据公司）
我们提出了一种将卷积神经网络（CNN）扩展到图结构数据的方法，包括图上的跨卷积和数据增强。当应用于图像时，我们的方法与最先进的CNN的准确性相匹配，而没有任何关于其2D规则结构的先验知识。在fMRI数据上，与现有的基于图形的替代方法相比，我们获得了显着的准确性增益。
2018-02-27 cs.LG stat.ML
Cyclic orthogonal convolutions for long-range integration of features
MediaTek Research（联发科研究）
在卷积神经网络（CNN）中，信息在图像每个像素的一个小邻域中流动，防止在到达网络深层之前进行长距离的特征整合。我们提出了一种新的架构，允许灵活的信息流之间的功能$z$和位置$(x,y)$在整个图像与少量的层。该架构使用三个正交卷积的循环，不仅在$(x,y)$坐标中，而且在$(x,z)$和$(y,z)$坐标中。我们堆叠一系列这样的循环来获得我们的深度网络，名为CycleNet。由于这只需要对标准卷积的轴进行排列，因此其性能可以直接与CNN进行比较。与类似大小的CNN相比，我们的模型在CIFAR-10和ImageNet数据集上的图像分类中获得了有竞争力的结果。我们假设长距离整合有利于通过形状而不是纹理识别对象，并且我们证明CycleNet比CNN更好地传输到风格化图像。在Pathfinder挑战中，远距离特征的整合至关重要，CycleNet的表现远远优于CNN。我们还表明，即使采用小卷积核，CycleNet的感受野大小在一个周期后达到最大值，而传统的CNN需要大量的层。
2020-12-11 cs.CV cs.LG
Recursive Least Squares for Training and Pruning Convolutional Neural Networks
Hainan University（海南大学）
卷积神经网络（CNN）在许多实际应用中取得了成功。然而，它们的高计算和存储要求通常使它们难以部署在资源受限的设备上。为了解决这个问题，已经提出了许多针对CNN的剪枝算法，但大多数都不能将CNN修剪到合理的水平。在本文中，我们提出了一种新的算法训练和修剪CNN的基础上递归最小二乘（RLS）优化。在训练CNN一些时期后，我们的算法结合逆输入自相关矩阵和权重矩阵来逐层评估和修剪不重要的输入通道或节点。然后，我们的算法将继续训练修剪后的网络，并不会做下一个修剪，直到修剪后的网络恢复旧网络的全部性能。除了CNN，该算法可以用于前馈神经网络（FNN）。在MNIST、CIFAR-10和SVHN数据集上的实验结果表明，该算法能够实现更合理的剪枝，并且具有更高的学习效率。
2022-01-13 cs.CV cs.LG
B-Spline CNNs on Lie Groups
Centre for Analysis and Scientific Computing（分析与科学计算中心）；Department of Applied Mathematics and Computer Science（应用数学与计算机科学系）；Eindhoven University of Technology（埃因霍温理工大学）
组卷积神经网络（G-CNN）可以通过为它们配备组的几何结构来改进经典CNN。G-CNN成功的核心是将特征映射提升到更高维的解纠缠表示，其中数据特征被有效地学习，几何数据扩充被淘汰，并且通过群论保证了几何变换（等方差）下的可预测行为。然而，目前，G-CNN的实际实现仅限于离散群（保持网格完整）或连续紧凑群，如旋转（允许使用傅立叶理论）。在本文中，我们解除了这些限制，并提出了一个模块化的框架，用于设计和实现任意李群的G-CNN。在我们的方法中，李群的微分结构被用来扩展卷积核的一般基础上的B-样条，这是定义在李代数。这导致了一个灵活的框架，通过分别局部化，稀疏和非均匀的B样条扩展，在G-CNN中实现局部化，atrous和可变形卷积。我们的方法的影响和潜力进行了研究，在两个基准数据集：癌症检测的组织病理学幻灯片中，旋转等方差起着关键作用，面部标志定位，其中规模等方差是重要的。在这两种情况下，G-CNN架构都优于经典的2D架构，并且详细研究了atrous和localized group convolutions的附加值。
2021-03-22 cs.LG stat.ML
Spherical Convolutional Neural Networks: Stability to Perturbations in SO(3)
University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）
球形卷积神经网络（球形CNN）通过利用数据结构从3D数据中学习非线性表示，并在形状分析、对象分类和规划等方面表现出良好的性能。本文研究球形CNN表现出的特性，因为它们属于球形信号中固有的旋转结构。我们建立在球形卷积的旋转等方差的基础上，以表明球形CNN对一般结构扰动是稳定的。特别是，我们任意结构的扰动建模为仿射扰动，并定义了旋转距离，测量这些扰动距离旋转有多远。我们证明了球面CNN的输出变化引起的同胚扰动是有界的扰动大小成比例的旋转距离。这种稳定性与旋转等方差相结合提供了理论保证，支持了球形CNN利用旋转结构的实际观察，在接近旋转的结构扰动下保持性能，并提供良好的泛化和更快的学习。
2021-04-03 cs.LG eess.SP
General $E(2)$-Equivariant Steerable CNNs
University of Amsterdam（阿姆斯特丹大学）
近年来，群等变网络的巨大经验成功导致了各种各样的等变网络架构的萌芽。因此，一个特别的焦点是平面图像的旋转和反射等变CNN。在这里，我们给出了一个一般性的描述$E(2)$ -等变卷积的可操纵CNN的框架。因此，可操纵CNN的理论对卷积核产生了约束，卷积核依赖于描述特征空间变换规律的群表示。我们表明，这些限制任意群表示可以减少到限制下的不可约表示。给出了欧氏群$E(2)$及其子群的任意表示的核空间约束的一般解。我们实现了广泛的先前提出的和全新的等变网络架构，并广泛比较其性能。当用作非等变卷积的直接替代时，$E(2)$ -可操纵卷积进一步被示出在CIFAR-10、CIFAR-100和STL-10上产生显著的增益。
2021-04-06 cs.CV cs.LG eess.IV
PDE-based Group Equivariant Convolutional Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个基于偏微分方程的框架，推广组等变卷积神经网络（G-CNN）。在这个框架中，网络层被视为一组PDE求解器，其中几何上有意义的PDE系数成为层的可训练权重。在齐次空间上制定我们的偏微分方程允许这些网络设计有内置的对称性，例如除了CNN的标准平移等方差之外的旋转。在设计中包含所有所需的对称性消除了通过诸如数据增强之类的昂贵技术来包含它们的需要。我们将在一般的齐次空间设置中讨论我们基于PDE的G-CNN（PDE-G-CNN），同时还将讨论我们感兴趣的主要情况的细节：旋转平移等方差。我们解决了PDE的利益相结合的线性群卷积和非线性形态群卷积与分析核近似，我们支持正式定理。我们的内核近似允许快速通过GPU实现偏微分方程求解器，我们以PyTorch的LieTorch扩展的形式在本文中发布了我们的实现，可在https://gitlab.com/bsmetsjr/lietorch上获取。就像线性卷积一样，形态卷积由我们在PDE-G-CNN中训练的内核指定。在PDE-G-CNN中，我们不使用非线性，如最大/最小池和ReLU，因为它们已经被形态卷积所包含。我们提出了一组实验来证明所提出的PDE-G-CNN在提高基于深度学习的成像应用的性能方面的优势，其参数远少于传统CNN。
2022-05-30 cs.CV cs.LG math.DG
Using Human-like Mechanism to Weaken Effect of Pre-training Weight Bias in Face-Recognition Convolutional Neural Network
Soochow university（苏州大学）
本研究通过迁移学习训练AlexNet、VGG等CNN执行情绪效价分类任务，并基于神经科学数据引入自注意力机制更新出FE-AlexNet，以减弱预训练权重偏差，使其更接近人类感知并提升性能。
2023-10-20 cs.CV cs.LG q-bio.NC
DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks
HUAWEI（华为）
卷积算子是卷积神经网络（CNN）的核心，也是计算量最大的算子。为了使CNN更有效，已经提出了许多方法来设计轻量级网络或压缩模型。虽然已经提出了一些有效的网络结构，如MobileNet或ShuffleNet，但我们发现卷积核之间仍然存在冗余信息。为了解决这个问题，我们提出了一种新的动态卷积方法来自适应地生成卷积核的基础上的图像内容。为了证明其有效性，我们在多个最先进的CNN上应用动态卷积。一方面，我们可以显着降低计算成本，同时保持性能。对于ShuffleNetV 2/MobileNetV 2/ResNet 18/ResNet 50，DyNet可以在不损失准确性的情况下减少37.0/54.7/67.2/71.3%的FLOP。另一方面，如果保持计算成本，则可以大大提高性能。基于MobileNetV 3-Small/Large架构，DyNet在ImageNet上实现了70.3/77.1%的Top-1准确率，提高了2.9/1.9%。为了验证可扩展性，我们还将DyNet应用于分割任务，结果表明，DyNet可以减少69.3%的FLOPs，同时保持平均IoU分割任务。
2020-04-22 cs.CV cs.LG
Adaptive Graph Convolutional Neural Networks
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Tencent AI Lab（腾讯人工智能实验室）
图卷积神经网络（Graph CNN）是经典CNN的推广，用于处理分子数据，点云和社交网络等图形数据。图CNN中的当前过滤器是针对固定和共享图结构构建的。然而，对于大多数真实数据，图结构在大小和连通性方面都有所不同。本文提出了一种广义的、灵活的图CNN，它可以以任意图结构的数据作为输入。通过这种方式，在训练时为每个图数据学习任务驱动的自适应图。为了有效地学习图，提出了距离度量学习。在九个图结构数据集上的实验表明，该算法在收敛速度和预测精度上都有很好的性能改善。
2018-01-10 cs.LG stat.ML
Hardware Efficient Approximate Convolution with Tunable Error Tolerance for CNNs
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
本文提出一种硬件高效的近似卷积方法，通过使用MSB代理实现软稀疏性，减少ReLU和Tanh运算量，同时保持精度，提升边缘部署效率。
2026-04-09 cs.AI cs.AR cs.LG
Flexible Coded Distributed Convolution Computing for Enhanced Straggler Resilience and Numerical Stability in Distributed CNNs
College of Computer Science, Chongqing University（重庆大学计算机学院）；School of Electrical Engineering, Korea University（韩国大学电气工程学院）；School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；City University of Hong Kong（香港城市大学）
本文提出FCDCC框架，通过CRME扩展和两种编码分区策略实现张量卷积的线性分解与编码冗余，增强分布式CNN的掉队者韧性和数值稳定性，并验证了其高效性与可扩展性。
2025-09-07 cs.AI cs.CV cs.DC
Convolutional neural networks for mineral prospecting through alteration mapping with remote sensing data
The University of Sydney（悉尼大学）；Indian Institute of Technology Jammu（贾木纳印度理工学院）；University of New South Wales（新南威尔士大学）
本研究利用CNN结合Landsat 8、Landsat 9和ASTER遥感数据，对澳大利亚布罗肯希尔北部蚀变带进行填图，通过地面真值训练和选择性PCA方法，证明CNN在捕捉空间模式上优于传统机器学习模型，并能有效识别细微矿化相关蚀变。
2025-02-25 cs.CV cs.LG eess.IV
Wavelet Feature Maps Compression for Image-to-Image CNNs
Ben-Gurion University（本-古里安大学）
众所周知，卷积神经网络（CNN）需要大量的计算资源，量化是压缩它们的最好和最常用的方法之一。虽然积极的量化（即，小于4比特）对于分类表现良好，但它可能在诸如语义分割和深度估计的图像到图像任务中导致严重的性能降级。在本文中，我们提出了小波压缩卷积（WCC）-一种新的方法，用于高分辨率激活映射压缩集成逐点卷积，这是现代架构的主要计算成本。为此，我们使用一个高效的和硬件友好的Haar小波变换，其有效性在图像压缩，并定义压缩激活映射的卷积。我们尝试了从高分辨率输入中受益的各种任务。通过将WCC与轻量化相结合，我们实现了相当于1- 4位激活量化的压缩率，同时性能下降相对较小且更加优雅。我们的代码可在https://github.com/BGUCompSci/WaveletCompressedConvolution上获得。
2022-10-16 cs.CV cs.LG eess.IV
Optimizing Memory Efficiency for Deep Convolutional Neural Networks on GPUs
North Carolina State University（北卡罗来纳州立大学）；NEC Labs America（NEC美国实验室）
利用大型数据集，深度卷积神经网络（CNN）实现了最先进的识别精度。然而，由于大量的计算和存储器操作，它们需要大量的执行时间。GPU的大规模并行计算能力使其成为加速CNN的理想平台之一，并且已经开发了许多基于GPU的CNN库。虽然现有的工作主要集中在CNN的计算效率，CNN的内存效率在很大程度上被忽视。然而，CNN具有复杂的数据结构，并且它们的存储器行为可以对性能产生重大影响。在这项工作中，我们研究了各种CNN层的内存效率，并揭示了数据布局和内存访问模式的性能影响。实验表明，我们提出的优化对单层和各种网络的普遍效果，单层高达27.9倍，整个网络高达5.6倍。
2016-10-12 cs.DC cs.LG cs.NE
MIMO Graph Filters for Convolutional Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）；King Juan Carlos Univ.（胡安·卡洛斯国王大学）；Delft Univ. of Technology（代尔夫特理工大学）
卓越的性能和易于实现的特性促使人们采用卷积神经网络（CNN）来执行各种推理和重建任务。CNN实现了三个基本模块：卷积、池化和逐点非线性。由于前两个操作仅在音频或图像等规则结构数据上定义良好，因此将CNN应用于信息定义在不规则域中的当代数据集是具有挑战性的。本文研究了CNN架构，以操作信号，其支持可以使用图来建模。最近已经提出了用所谓的线性移位不变图滤波器代替常规卷积的架构。本文更进一步，在多输入多输出（MIMO）图滤波器的框架下，对所采用的图滤波器施加额外的结构，以获得三个新的（更简约的）架构。所提出的架构导致更少数量的模型参数，降低了计算复杂性，便于训练，并减轻了过拟合的风险。仿真结果表明，所提出的更简单的架构实现了类似的性能更复杂的模型。
2018-03-06 cs.LG eess.SP stat.ML
Improving Network Robustness against Adversarial Attacks with Compact Convolution
University of Maryland（马里兰大学）
虽然卷积神经网络（CNN）在对象分类和人脸验证等任务上的性能已经超过了人类水平，但它们很容易被对抗攻击所欺骗。这些攻击向输入图像添加了一个小扰动，导致网络对样本进行错误分类。在本文中，我们专注于中和对抗攻击紧凑的特征学习。特别是，我们证明了在封闭和有界空间中学习特征可以提高网络的鲁棒性。我们探索了L2-Softmax Loss的影响，它在学习的特征中强制执行紧凑性，从而增强了对对抗性扰动的鲁棒性。此外，我们还提出了紧凑卷积，这是一种新的卷积方法，当将其纳入传统CNN时，可以提高其鲁棒性。紧凑卷积确保每一层的特征紧凑性，使它们彼此有界且接近。大量的实验表明，紧凑卷积网络（CCN）可以中和多种类型的攻击，并且在防御对抗攻击方面比现有方法表现更好，与CNN相比不会产生任何额外的训练开销。
2018-03-22 cs.CR cs.LG stat.ML
Scalable and Equivariant Spherical CNNs by Discrete-Continuous (DISCO) Convolutions
Kagenova Limited（Kagenova有限公司）；University College London (UCL)（伦敦大学学院）
没有现有的球形卷积神经网络（CNN）框架是计算可扩展的和旋转等变的。连续的方法捕获旋转等方差，但往往是令人望而却步的计算要求。离散方法提供了更有利的计算性能，但以等方差为代价。我们开发了一种混合离散连续（DISCO）组卷积，同时是等变的和计算可扩展到高分辨率。虽然我们的框架可以应用于任何紧凑的组，我们专门的领域。我们的DISCO球卷积表现出$\text{SO}(3)$旋转等方差性，其中$\text{SO}(n)$是表示$n$维中旋转的特殊正交群。当限制旋转的卷积的商空间$\text{SO}(3)/\text{SO}(2)$进一步的计算增强，我们恢复一种形式的渐近$\text{SO}(3)$旋转等方差。通过一个稀疏张量实现，我们实现了线性缩放的计算成本和内存使用的球体上的像素数量。对于4k球面图像，我们实现了节省$10^9$的计算成本和$10^4$的内存使用相比，最有效的替代等变球面卷积。我们将DISCO球面CNN框架应用于球面上的一些基准密集预测问题，例如语义分割和深度估计，在所有这些问题上，我们都达到了最先进的性能。
2023-01-28 astro-ph.IM cs.CV cs.LG
On the rates of convergence for learning with convolutional neural networks
School of Mathematics (Zhuhai) and Guangdong Province Key Laboratory of Computational Science（数学系（珠海）和广东省计算科学重点实验室）；Sun Yat-sen University（中山大学）；Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；University of Sydney（悉尼大学）
本文分析单侧零填充多通道CNN的逼近界与覆盖数，并据此推导非参数回归和二分类中CNN估计量的极小极大最优收敛速率。
2025-07-26 cs.LG math.ST stat.ML
A Hybrid Differential Evolution Approach to Designing Deep Convolutional Neural Networks for Image Classification
Victoria University of Wellington（惠灵顿维多利亚大学）
卷积神经网络（CNN）在图像分类中显示出了其优越性，而演化计算（EC）方法近年来兴起，可以自动设计CNN的结构，以节省人工设计CNN的繁琐工作。本文提出了一种新的混合差分进化（DE）算法，该算法通过增加交叉算子来进化任意长度的CNN结构，称为DECNN。在所提出的DECNN方法中有三个新的想法。首先，改进现有的有效编码方案以适应变长CNN结构;其次，为变长DE开发新的变异和交叉算子以优化CNN的超参数;最后，引入新的第二次交叉以进化CNN结构的深度。该算法在6个广泛使用的基准数据集上进行了测试，并将结果与12种最先进的方法进行了比较，结果表明该方法与最先进的算法相比具有很强的竞争力。此外，所提出的方法也比较了一种方法，使用粒子群优化与类似的编码策略命名为IPPSO，和建议的DECNN优于IPPSO的准确性。
2018-08-22 cs.AI cs.CV cs.LG
