LargeKernel3D: Scaling up Kernels in 3D Sparse CNNs
The Chinese University of Hong Kong（香港中文大学）；MEGVII Technology（旷视科技）；The University of Hong Kong（香港大学）
2D CNN的最新进展表明，大内核很重要。然而，当在3D CNN中直接应用大型卷积核时，会遇到严重的困难，其中2D中那些成功的模块设计在3D网络上变得令人惊讶地无效，包括流行的深度卷积。为了解决这个重要的挑战，我们提出了空间分区卷积及其大内核模块。因此，它避免了朴素3D大内核的优化和效率问题。我们的大内核3D CNN网络LargeKernel3D在语义分割和目标检测的3D任务中产生了显着的改进。它在ScanNetv2语义分割和NDS nuScenes目标检测基准测试中实现了73.9%的mIoU，在nuScenes LIDAR排行榜上排名第一。通过简单的多模态融合，性能进一步提升至74.2% NDS。此外，在Waymo 3D目标检测上，LargeKernel3D可以扩展到17x17x17的内核大小。这是第一次，我们表明，大内核是可行的，并为3D视觉任务所必需的。
2023-03-22 cs.CV cs.LG
Optimization on Product Submanifolds of Convolution Kernels
Tohoku University（东北大学）
用于训练具有内核的卷积神经网络（CNN）的优化方法的最新进展已经显示出显著的成功，所述内核根据特定的约束被归一化。这项工作介绍了一种使用不同约束构造的核的联合空间的集合来训练CNN的方法。为此，我们解决了卷积核子流形（PEM）的产品的集合的优化问题。为此，我们首先提出了三种策略来构建CNN中的PEM集合。接下来，我们阐述了它们在CNN中的几何性质（度量和曲率性质）。我们利用我们的理论成果，通过开发一个几何感知的SGD算法（G-SGD）优化的合奏PEM训练CNN。此外，我们分析了G-SGD的收敛性考虑的几何性质的PEM。在实验分析中，我们使用G-SGD在Cifar-10，Cifar-100和Imagenet数据集上训练CNN。结果表明，几何自适应步长计算方法的G-SGD可以改善CNN的训练损失和收敛性能。此外，我们观察到，在由多个约束确定的PEM集合上使用G-SGD可以提高基线CNN的分类性能。
2017-11-27 cs.CV cs.LG cs.NE
Analysis of (sub-)Riemannian PDE-G-CNNs
Eindhoven University of Technology（埃因霍温理工大学）
本文分析了PDE-G-CNNs中近似形态学核的精度问题，提出了一种适用于任意空间各向异性的新次黎曼近似核，并证明其在降低网络复杂度的同时提升了性能与几何可解释性。
2023-04-03 cs.CV cs.LG math.DG
Omni-Dimensional Dynamic Convolution
Intel Labs China（英特尔中国研究院）；The Chinese University of Hong Kong（香港中文大学）
在每个卷积层中学习单个静态卷积核是现代卷积神经网络（CNN）的常见训练范例。相反，最近在动态卷积方面的研究表明，学习$n$卷积核的线性组合，用它们的输入相关注意力加权，可以显着提高轻量级CNN的准确性，同时保持有效的推理。然而，我们观察到，现有的工作通过内核空间的一个维度（关于卷积核数）赋予卷积核动态特性，但忽略了其他三个维度（关于空间大小，每个卷积核的输入通道数和输出通道数）。受此启发，我们提出了全维动态卷积（ODConv），这是一种更通用但更优雅的动态卷积设计，以推进这一研究。ODConv利用一种新颖的多维注意力机制和并行策略，在任何卷积层沿着内核空间的所有四维学习卷积内核的互补注意力。作为常规卷积的直接替代，ODConv可以插入许多CNN架构中。在ImageNet和MS-COCO数据集上进行的大量实验表明，ODConv为各种流行的CNN主干带来了可靠的准确性提升，包括轻量级和大型主干，例如，3.77%~5.71%|对MobivleNetV 2的1.86%~3.72%绝对前1名改进|ImageNet数据集上的ResNet家族。有趣的是，由于其改进的特征学习能力，即使只有一个内核的ODConv也可以与具有多个内核的现有动态卷积对手竞争或超越，从而大大减少了额外的参数。此外，ODConv在调制输出特征或卷积权重方面也优于其他注意力模块。
2022-09-16 cs.AI cs.CV cs.LG
An FPGA-Based Accelerator Enabling Efficient Support for CNNs with Arbitrary Kernel Sizes
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）；School of Integrated Circuits, Sun Yat-sen University（中山大学集成电路学院）
本文提出一种基于FPGA的CNN推理加速器，通过Z-flow数据流、核分割及垂直/水平融合方法高效支持任意卷积核大小，并在Intel Arria 10 FPGA上实现最高3.91倍DSP效率提升，首次在硬件上部署RepLKNet-31和PyConvResNet-50。
2024-02-22 cs.AR cs.LG
Implicit Convolutional Kernels for Steerable CNNs
University of Amsterdam（阿姆斯特丹大学）；Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；Qualcomm AI Research（高通人工智能研究院）
本文提出用隐式神经表示（MLP）参数化G-可操控核，使可操控CNN能灵活推广到任意可构建等变MLP的群，并在N体模拟、点云分类和分子性质预测等任务上验证了有效性。
2023-10-27 cs.AI cs.CV cs.LG
Stochastic Filter Groups for Multi-Task CNNs: Learning Specialist and Generalist Convolution Kernels
University College London（伦敦大学学院）；Kings College London（伦敦国王学院）
卷积神经网络（CNN）中多任务学习的性能取决于架构内任务之间特征共享的设计。可能的共享模式的数量在网络的深度和任务的数量上是组合的，因此纯粹基于人类对任务关系的直觉来手工制作架构可能是耗时且次优的。在本文中，我们提出了一种概率方法来学习CNN中用于多任务学习的任务特定和共享表示。具体来说，我们提出了“随机滤波器组”（SFG），这是一种将每层中的卷积内核分配给“专家”或“一般”组的机制，这些组分别特定于不同的任务或在不同的任务之间共享。SFG模块确定层之间的连接以及网络中特定于任务和共享表示的结构。我们采用变分推理来学习核和网络参数的可能分组的后验分布。实验表明，该方法概括了多个任务，并显示出改进的性能基线方法。
2019-08-26 cs.CV cs.LG
Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；University of Amsterdam（阿姆斯特丹大学）
在网格上定义卷积的常用方法是将它们解释为图并应用图卷积网络（GCN）。这种GCN利用各向同性核，因此对顶点的相对取向不敏感，从而对网格的几何形状不敏感。我们提出了规范等变网格CNN，它将GCN推广到应用各向异性规范等变核。由于产生的功能进行方向信息，我们引入了一个几何消息传递计划定义的并行传输功能网格边缘。我们的实验验证了显着改善的表现力，所提出的模型比传统的GCN和其他方法。
2021-11-19 cs.CV cs.LG stat.ML
Training CNNs faster with Dynamic Input and Kernel Downsampling
University of Toronto（多伦多大学）
我们使用一种方法来减少卷积网络（CNN）的训练时间，对于一些小批量：a）通过下采样降低输入图像的分辨率，b）通过卷积滤波器上的池化减少前向通操作。训练以交错的方式进行;一些批次使用原始网络参数进行常规的前向和反向传播，而其他批次则使用池化滤波器和下采样输入进行前向传递。由于池化是可微的，因此池化滤波器的梯度传播到原始网络参数以进行标准参数更新。后一阶段需要更少的浮点运算和更少的存储，因为减少了特征图和过滤器的空间维度。其关键思想是，这个阶段会导致更小和近似的更新，因此学习速度更慢，但成本大大降低，然后是使用原始网络参数作为细化阶段的通道。决定下采样发生的频率和批次可以随机或确定性地完成，并且可以定义为训练超参数本身。在残差架构上的实验表明，我们可以在验证准确性损失最小的情况下，实现高达23%的训练时间减少。
2019-10-15 cs.CV cs.LG stat.ML
Learning Non-overlapping Convolutional Neural Networks with Multiple Kernels
UT-Austin（德克萨斯大学奥斯汀分校）
在本文中，我们考虑非重叠卷积神经网络（CNN）与多个内核的参数恢复。我们表明，当输入遵循高斯分布并且样本量足够大时，对于大多数流行的激活函数（如ReLU，Leaky ReLU，Squared ReLU，Sigmoid和Tanh），这种CNN的平方损失是在全局最优值附近的吸引盆中的$\mathit{~locally~strongly~convex}$。所需的样本复杂度与输入的维数和多项式的核数和参数的条件数成比例。我们还表明，张量方法是能够初始化的局部强凸区域的参数。因此，对于大多数平滑激活，保证张量初始化之后的梯度下降随时间收敛到全局最优，该全局最优在输入维度上是线性的，在精度上是对数的，并且在其他因素上是多项式的。据我们所知，这是第一个为多项式样本和计算复杂性下的多核CNN提供恢复保证的工作。
2017-11-08 cs.DS cs.LG stat.ML
HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs
IIT Kanpur（印度理工学院坎普尔分校）
我们提出了一种新的深度学习架构，其中卷积操作利用异构内核。所提出的HetConv（Heterogeneous Kernel-Based Convolution）与标准卷积操作相比减少了计算（FLOPs）和参数的数量，同时仍然保持表示效率。为了证明我们提出的卷积的有效性，我们在标准卷积神经网络（CNN）架构（如VGG \cite{vgg2014very}和ResNet \cite{resnet}）上提供了大量的实验结果。我们发现，在用我们提出的HetConv滤波器替换这些架构中的标准卷积滤波器后，我们实现了基于3倍到8倍FLOP的速度改进，同时仍然保持（有时提高）准确性。我们还将我们提出的卷积与组/深度卷积进行了比较，并表明它以更高的精度实现了更多的FLOP减少。
2019-03-25 cs.AI cs.CV cs.LG
Drastically Reducing the Number of Trainable Parameters in Deep CNNs by Inter-layer Kernel-sharing
Shahid Beheshti University（沙希德·贝赫什提大学）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）；CNRS（法国国家科学研究中心）；Université Toulouse 3（图卢兹第三大学）
深度卷积神经网络（DCNN）已成为许多计算机视觉任务的最先进（SOTA）方法：图像分类，目标检测，语义分割等。在这里，我们提出了一种简单的方法来减少可训练参数的数量，从而减少内存占用：在多个卷积层之间共享内核。内核共享仅在"同构”层之间是可能的，即具有相同内核大小、输入和输出通道的层。这通常是DCNN的每个阶段内部的情况。我们使用ConvMixer和SE-ResNet架构在CIFAR-10和CIFAR-100上进行的实验表明，这些模型的参数数量可以大大减少，同时精度成本最小。由此产生的网络对于某些受到严重内存限制的边缘计算应用程序很有吸引力，如果利用“冻结权重”硬件加速器，则更有趣。核共享也是一种有效的正则化方法，可以减少过拟合。这些守则可在https://github.com/AlirezaAzadbakht/kernel-sharing上公开查阅。
2022-10-23 cs.AI cs.CV cs.LG
Conditional Clifford-Steerable CNNs for PDE Modeling
University of Amsterdam（阿姆斯特丹大学）；AMLab（AML实验室）
介绍条件克利福德可控卷积神经网络框架，指出标准形式内核基础不完整，通过输入特征场等变表示增强内核，推导等变约束并有效求解，在多个偏微分方程预测任务中表现出色。
2026-07-07 cs.AI cs.LG
Bases of Steerable Kernels for Equivariant CNNs: From 2D Rotations to the Lorentz Group
Alan Garbarz
本文提出了一种解决可旋转核约束的新方法，提供不同对称群和任意张量类型的特征图基础。该方法通过直接使用输入和输出特征图的表示，避免计算克莱布施-戈尔丹系数，简化了等变卷积神经网络的设计。
2026-03-12 cs.CV cs.LG
Linking convolutional kernel size to generalization bias in face analysis CNNs
Rice University（莱斯大学）；Yale University（耶鲁大学）；Houston University（休斯顿大学）
本文提出一个因果框架，通过干预卷积核大小这一架构超参数，研究其对人脸分析CNN在不同子群体上分布外泛化偏置的影响，发现即使数据集平衡，修改核大小也会显著改变特征频率内容并导致有偏泛化。
2023-12-03 cs.CV cs.LG stat.ME
Stability Analysis of Equivariant Convolutional Representations Through The Lens of Equivariant Multi-layered CKNs
Arenberg Doctoral School, KU Leuven（阿雷堡博士学院，鲁汶大学）
本文构建并理论分析了群等变卷积核网络，通过再生核希尔伯特空间视角研究等变CNN的几何结构，并分析其在微分同胚下的稳定性，为设计鲁棒的等变表示学习模型提供理论依据。
2024-08-08 cs.LG
Group-Shared Low-Rank Approximation for Mobile-Efficient Pointwise Convolutions in Large-Kernel CNNs
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）；China Mobile Chengdu Institute of Research and Development（中国移动成都研究院）；Hong Kong University of Science and Technology（香港科技大学）；Institute of AI for Industries, Chinese Academy of Sciences（中国科学院人工智能产业研究院）；University of Electronic Science and Technology of China（电子科技大学）
针对大核CNN中逐点卷积占比过高导致边缘部署瓶颈的问题，提出通道组共享低秩近似方法，在保持性能的同时降低存储成本，实现大核CNN的边缘高效部署。
2026-08-28 cs.LG
Towards Better Orthogonality Regularization with Disentangled Norm in Training Deep CNNs
Shanghai University（上海大学）
该研究提出解耦范数的核正交性新度量提升浅模型性能，又基于严格正交性与深模型容量的冲突提出松弛正则化理论，在CIFAR数据集的ResNet、WideResNet上实现SOTA性能并揭示正交性对深模型的影响。
2023-06-16 cs.CV cs.LG
Stride and Translation Invariance in CNNs
North-West University（西北大学）；CAIR（南非先进计算研究所）
卷积神经网络已经成为图像分类任务的标准，然而，这些架构对于输入图像的平移不是不变的。这种不变性的缺乏归因于忽略采样定理的步幅的使用，以及缺乏空间推理的全连接层。我们表明，步幅可以大大有利于平移不变性，因为它是与相邻像素之间的足够的相似性相结合，我们称之为局部均匀性的特性。我们还观察到，这个特性是特定于集群的，并规定了池化内核大小和平移不变性所需的步幅之间的关系。此外，我们发现在池化核大小的情况下，泛化和平移不变性之间存在权衡，因为较大的核大小导致更好的不变性，但泛化较差。最后，我们探讨了其他解决方案，即全球平均池，抗锯齿，和数据增强，无论是经验和通过局部同质性的镜头的功效。
2021-03-18 cs.LG
Enhancing Small Dataset Classification Using Projected Quantum Kernels with Convolutional Neural Networks
University of Moratuwa（莫勒图沃大学）；University of Colombo（科伦坡大学）
本研究通过投影量子核增强卷积神经网络，有效提升了小数据集分类的准确率，展示了量子计算在克服数据稀缺问题中的潜力。
2026-01-06 cs.LG quant-ph
Multi-objective Evolutionary Approach for Efficient Kernel Size and Shape for CNN
University of York（约克大学）
虽然CNN拓扑的最新发展，如VGGNet和ResNet，已经变得越来越准确，但这些网络在计算上是昂贵的，涉及数十亿的算术运算和参数。为了提高分类精度，最先进的CNN通常涉及大型复杂的卷积层。然而，对于某些应用，例如物联网（IoT），其中这样的CNN要在资源受限的平台上实现，CNN架构必须是小的和高效的。为了解决这个问题，减少卷积层的资源消耗已经成为最重要的解决方案之一。在这项工作中，提出了一种多目标优化方法，通过使用多目标进化算法（MOEAs）的计算量和网络精度之间的权衡。卷积核的数量和这些核的大小与CNN的计算资源消耗成比例。因此，本文考虑通过减少卷积层中内核的大小和数量来优化计算资源消耗。此外，研究了非常规核形状的使用，结果表明这些核明显优于常用的平方卷积核。因此，本文的主要贡献是一种基于非常规内核形状显着降低CNN计算成本的方法，并为特定用例提供不同的权衡。实验结果进一步表明，该方法实现了大幅度的资源消耗的改善，而没有显着降低网络性能。与基准CNN相比，最佳折衷架构显示出高达6倍的乘法减少，并且在CIFAR-10数据集上的分类准确性略有提高。
2021-06-28 cs.LG cs.NE cs.PF
PDE-based Group Equivariant Convolutional Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个基于偏微分方程的框架，推广组等变卷积神经网络（G-CNN）。在这个框架中，网络层被视为一组PDE求解器，其中几何上有意义的PDE系数成为层的可训练权重。在齐次空间上制定我们的偏微分方程允许这些网络设计有内置的对称性，例如除了CNN的标准平移等方差之外的旋转。在设计中包含所有所需的对称性消除了通过诸如数据增强之类的昂贵技术来包含它们的需要。我们将在一般的齐次空间设置中讨论我们基于PDE的G-CNN（PDE-G-CNN），同时还将讨论我们感兴趣的主要情况的细节：旋转平移等方差。我们解决了PDE的利益相结合的线性群卷积和非线性形态群卷积与分析核近似，我们支持正式定理。我们的内核近似允许快速通过GPU实现偏微分方程求解器，我们以PyTorch的LieTorch扩展的形式在本文中发布了我们的实现，可在https://gitlab.com/bsmetsjr/lietorch上获取。就像线性卷积一样，形态卷积由我们在PDE-G-CNN中训练的内核指定。在PDE-G-CNN中，我们不使用非线性，如最大/最小池和ReLU，因为它们已经被形态卷积所包含。我们提出了一组实验来证明所提出的PDE-G-CNN在提高基于深度学习的成像应用的性能方面的优势，其参数远少于传统CNN。
2022-05-30 cs.CV cs.LG math.DG
Grassmannian Packings in Neural Networks: Learning with Maximal Subspace Packings for Diversity and Anti-Sparsity
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；UnifyID AI Labs（UnifyID人工智能实验室）
在CNN内核中通常观察到内核稀疏性（“垂死的ReLU”）和缺乏多样性，这降低了模型容量。从信息论和无线通信中汲取灵感，我们通过CNN中的格拉斯曼子空间填充问题展示了编码理论和深度学习的交叉。我们提出了Grassmannian包装的初始内核层被初始化最大程度地远离弦或Fubini学习距离的基础上。用格拉斯曼填充初始化的卷积核表现出不同的特征，并得到不同的表示。我们发现，格拉斯曼包装，特别是在初始层中，解决了内核稀疏性并鼓励多样性，同时提高了浅层和深层CNN的分类精度，具有更好的收敛速度。
2019-11-18 cs.IT cs.LG math.IT
Measuring the Data Efficiency of Deep Learning Methods
Ruhr University Bochum（波鸿鲁尔大学）
在本文中，我们提出了一个新的实验协议，并使用它来基准测试两种深度学习算法，卷积神经网络（CNN）和分层信息保持基于图的慢特征分析（HiGSFA）的数据效率-性能作为训练集大小的函数，用于分类和迁移学习场景中的任务。这些算法在MNIST和Omniglot数据集的不同大小的子集上进行训练。HiGSFA优于标准的CNN网络，当模型在每个类别50和200个样本上进行MNIST分类训练时。在其他情况下，CNN表现更好。结果表明，在某些情况下，贪婪的局部最优自下而上学习与全局基于梯度的学习一样或更强大。
2019-07-03 cs.CV cs.LG stat.ML
OmniTide: Co-Designing Algorithms and Systems for Efficient On-Device Omni-LLM Streaming
Key Lab of High Confidence Software Technologies (Peking University)（高可信软件技术教育部重点实验室（北京大学））；State Key Laboratory of Networking and Switching Technology (BUPT)（网络与交换技术国家重点实验室（北京邮电大学））
OmniTide通过算法与系统协同设计，利用模态感知稀疏性，实现端侧全模态流式推理的高效与实时无限上下文处理。
2026-09-30 cs.AI cs.LG
Reduced storage direct tensor ring decomposition for convolutional neural networks compression
Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
本文提出基于降存储直接张量环分解（RSDTR）的低秩CNN压缩方法，通过更灵活的循环模式置换实现高参数与FLOPS压缩率，并在CIFAR-10和ImageNet上验证其优于现有方法。
2024-08-05 cs.CV cs.LG
EcoScaleNet: A Lightweight Multi Kernel Network for Long Sequence 12 lead ECG Classification
Department of Electrical and Computer Engineering, Inha University, Republic of Korea（电气与计算机工程系，釜山大学，大韩民国）；DeepCardio, Republic of Korea（DeepCardio，大韩民国）
针对长序列12导联心电图分类中现有CNN感受野适配难、OS CNN计算成本高的问题，提出分层轻量型EcoScaleNet，在大幅降低参数量与运算量的同时提升了分类精度，支持普通硬件实时部署。
2025-10-16 cs.AI cs.LG eess.SP
Spherical CNNs on Unstructured Grids
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Lawrence Berkeley Nat’l Lab（劳伦斯伯克利国家实验室）；Technical University of Munich（慕尼黑工业大学）
我们提出了一个有效的卷积核卷积神经网络（CNN）的非结构化网格使用参数化的微分算子，同时专注于球形信号，如全景图像或行星信号。为此，我们用可学习参数加权的微分算子的线性组合取代传统的卷积核。微分算子可以有效地估计非结构化网格使用一个环的邻居，和学习参数可以通过标准的反向传播进行优化。因此，我们获得了非常高效的神经网络，在性能方面与最先进的网络架构相匹配或优于最先进的网络架构，但网络参数的数量明显减少。我们评估我们的算法在各种计算机视觉和气候科学的任务，包括形状分类，气候模式分割，全方位图像语义分割广泛的一系列实验。总的来说，我们提出了（1）一种新的CNN方法在非结构化网格上使用参数化的微分算子的球形信号，（2）我们表明，我们独特的内核参数化允许我们的模型实现相同或更高的精度与显着更少的网络参数。
2019-01-07 cs.AI cs.CV cs.LG
Tracking translation invariance in CNNs
North-West University（西北大学）；CAIR（南非人工智能研究中心）
虽然卷积神经网络（CNN）被广泛使用，但其翻译不变性（处理翻译输入的能力）仍然受到一些争议。我们使用解释敏感度图来量化标准CNN对翻译输入的敏感度。我们建议使用余弦相似性作为欧几里得距离的灵敏度度量，并讨论在比较架构时限制这些度量中任何一个的维度的重要性。我们的主要重点是研究标准CNN的不同架构组件对该网络对翻译的敏感性的影响。通过改变卷积核的大小和零填充的数量，我们可以控制生成的特征图的大小，从而量化这些元素对平移不变性的影响程度。我们还测量了CNN内不同位置的平移不变性，以确定卷积层和全连接层分别对CNN整体平移不变性的贡献程度。我们的分析表明，卷积核大小和特征图大小都对平移不变性有系统的影响。我们还看到，卷积层对平移不变性的贡献低于预期，如果没有特别强制这样做的话。
2021-04-19 cs.LG
Regular SE(3) Group Convolutions for Volumetric Medical Image Analysis
University of Amsterdam（阿姆斯特丹大学）
针对体医学图像的SE(3)等变性问题，提出可分离为连续SO(3)核与空间核的SE(3)群卷积方法，在医学分类任务上准确率较常规CNN最高提升16.5%，泛化能力更优。
2023-07-20 cs.AI cs.CV cs.LG
FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Delft University of Technology（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）
在设计卷积神经网络（CNN）时，必须在训练之前选择卷积核的大小\break。最近的工作表明，CNN受益于不同层的不同内核大小，但探索所有可能的组合在实践中是不可行的。一种更有效的方法是在训练过程中学习内核大小。然而，现有的工程，学习内核大小有一个有限的带宽。这些方法通过膨胀来缩放内核，因此它们可以描述的细节是有限的。在这项工作中，我们提出了FlexConv，这是一种新的卷积操作，可以以固定的参数成本学习具有可学习内核大小的高带宽卷积内核。FlexNets在不使用池的情况下对长期依赖关系进行建模，在多个连续数据集上实现最先进的性能，在学习内核大小的情况下优于最近的工作，并且在图像基准数据集上与更深入的ResNets竞争。此外，FlexNet可以以比培训期间看到的更高的分辨率进行部署。为了避免混叠，我们提出了一种新的内核参数化的内核的频率可以分析控制。我们的新的内核参数化表现出更高的描述能力和更快的收敛速度比现有的参数化。这导致分类精度的重要改进。
2022-03-17 cs.CV cs.LG
Very Efficient Training of Convolutional Neural Networks using Fast Fourier Transform and Overlap-and-Add
Wright State University（莱特州立大学）；Air Force Research Laboratory（空军研究实验室）
卷积神经网络（CNN）目前是各种分类任务的最新技术，但计算昂贵。通过卷积层的迭代是非常慢的，因为每层中的每个核必须顺序地计算用于单个前向和后向传播的许多点积，这等于每层每核$\mathcal{O}(N^{2}n^{2})$，其中输入是$N \times N$阵列，并且核是$n \times n$阵列。卷积可以作为频域中的Hadamard乘积有效地执行。瓶颈是使用快速傅立叶变换（FFT）的具有$\mathcal{O}(N^{2}\log_2 N)$的成本的变换。然而，当使用$N\gg n$时，效率的提高不太显著，CNN就是这种情况。我们通过使用“累加”技术将计算复杂性降低到每个内核的$\mathcal{O}(N^2\log_2 n)$来减轻这一点。这种方法提高了算法在前向和后向传播中的效率，减少了CNN的训练和测试时间。我们的经验结果表明，我们的方法减少了计算时间的一个因素，高达16.3倍的传统卷积实现8 $\times$ 8内核和224 $\times$ 224图像。
2016-01-25 cs.LG cs.NE
Learning Semantically Coherent and Reusable Kernels in Convolution Neural Nets for Sentence Classification
Microsoft Research（微软研究院）；Indian Institute of Science（印度科学院）；Microsoft（微软）
最先进的CNN模型在句子分类任务上表现良好。这项工作的目的是实证研究所需的属性，如语义连贯性，注意力机制和可重用性的CNN在这些任务。语义一致的内核是优选的，因为它们对于解释学习的CNN模型的决定更可解释。我们观察到，学习的内核不具有语义连贯性。出于这种观察，我们建议使用聚类方案结合Word2Vec表示和领域知识（如SentiWordNet）来学习具有语义一致性的内核。我们提出了一种技术来可视化的注意力机制的CNN决策解释的目的。可重用属性使在一个问题上学习的内核能够用于另一个问题。这有助于有效的学习，因为可能只需要学习一些额外的特定于域的过滤器。我们证明了我们的核心思想的学习语义一致的内核和利用可重用的内核在几个基准数据集上进行有效学习的有效性。实验结果表明，我们的方法的实用性，通过实现性能接近国家的最先进的方法，但具有语义和可重用的属性。
2016-10-10 cs.CL cs.LG cs.NE
CNNs on Surfaces using Rotation-Equivariant Features
Delft University of Technology（代尔夫特理工大学）
本文关注的是几何深度学习中的一个基本问题，该问题出现在表面上的卷积神经网络的构造中。由于曲率，滤波器核在表面上的传输导致旋转模糊，这阻止了这些核在表面上的均匀对准。我们提出了一个网络架构的表面，由矢量值，旋转等变功能。当在卷积层中聚合特征时，等方差属性使得可以局部对齐在任意坐标系中计算的特征。生成的网络与曲面上切线空间的坐标系选择无关。我们实现我们的方法为三角形网格。基于圆调和函数，我们引入卷积滤波器的网格是旋转等变的离散水平。我们评估所产生的网络形状对应和形状分类任务，并比较其性能与其他方法。
2020-06-02 cs.CG cs.CV cs.LG
Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels
TU Vienna（维也纳工业大学）；MIT（麻省理工学院）
本研究发现训练后的深度可分离卷积神经网络各层深度卷积核存在可解释模式，经自编码器无监督聚类可归为类似高斯差分函数及其导数的少数簇，可分类九成以上主流模型滤波器，为理解人工视觉与生物视觉的关联及可解释网络设计提供支撑。
2024-01-25 cs.AI cs.CV cs.LG
Tensor network compressibility of convolutional models
Multiverse Computing（多元宇宙计算公司）；Donostia International Physics Center（多诺斯蒂亚国际物理中心）；Institute for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）；Ikerbasque Foundation for Science（伊克尔巴斯克科学基金会）
该研究通过截断稠密CNN卷积核的实验，探究张量化不影响准确率的原因，发现卷积核关联压缩是CNN的固有特征，且截断后模型易恢复准确率，可用于更高效的CNN张量化压缩。
2024-08-19 cs.CV cs.LG quant-ph
Bayesian 3D Steerable CNNs: Enabling Equivariance and Uncertainty Quantification Simultaneously
Michigan Technological University（密歇根理工大学）；Johns Hopkins University（约翰霍普金斯大学）；The Center for Artificial Intelligence at the Institute of Computing and Cybersystems, Michigan Technological University（密歇根理工大学计算与网络系统研究所人工智能中心）
提出贝叶斯可转向CNN，通过后验分布赋予核随机性同时保持SE(3)-等变性，实现不确定性分解，在分类精度和分布偏移下鲁棒性优于确定性模型。
2026-06-16 cs.AI cs.LG math.PR
DWM: A Decomposable Winograd Method for Convolution Acceleration
SKL of Computer Architecture, Institute of Computing Technology, CAS（中国科学院计算技术研究所计算机体系结构国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Tech. Ltd（寒武纪科技有限公司）；Institute of Brain-Intelligence Technology, Zhangjiang Laboratory（张江实验室脑智科技研究所）；Shanghai Research Center for Brian Science and Brain-Inspired Instelligence（上海脑科学与脑启发智能研究中心）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
Winograd的最小滤波算法已被广泛用于卷积神经网络（CNN），以减少乘法的数量，加快处理速度。然而，它仅对内核大小为3x3且步长为1的卷积有效，因为它遭受内核大小大于3x3的显着增加的FLOP和数值精度问题，并且在步长大于1的卷积上失败。本文提出了一种新的可分解Winograd方法（DWM），它突破了原Winograd最小滤波算法对广义卷积的限制。DWM将大尺寸或大步长的核分解为步长为1的小核，以便进一步应用Winograd方法，从而在保持数值精度的同时减少乘法次数。它可以快速探索CNN中更大的内核大小和更大的步幅值，以实现高性能和准确性，甚至是新CNN的潜力。与原Winograd相比，该DWM能够支持各种卷积，加速比约为2，而不影响数值精度。
2020-02-03 cs.CV cs.LG eess.IV
Alignment Based Matching Networks for One-Shot Classification and Open-Set Recognition
CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT（麻省理工学院）
用于对象分类的深度学习严重依赖于卷积模型。虽然有效，但CNN很少在事后解释。注意力机制可以用来突出模型关注的图像区域，从而提供对分类机制的狭窄视角。我们扩展了这个想法，迫使该方法显式对齐图像进行分类，以参考图像代表的类。对齐的机制是习得的，因此不需要参考对象与被分类的对象类似。除了解释，我们基于样本的交叉比对方法使分类与每个类别只有一个例子（一杆）。我们的模型将Omniglot中的5向1次出错率从2.1%降低到1.4%，MiniImageNet从53.5%降低到46.5%，同时提供逐点对齐信息，从而了解网络正在捕获的内容。这种对齐方法还能够在单次设置中识别不受支持的类（开集），同时即使有19个其他分散类，Omniglot的F1分数也保持在0.5以上，而基线完全无法在单次设置中分离开集类。
2019-03-11 cs.CV cs.LG stat.ML
Theory for groupoid equivariant neural networks: an approach for steerable CNNs on bounded domains
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Ciencias Matemáticas ICMAT (CSIC-UAM-UC3M-UCM)（数学科学研究所（ICMAT））
本文提出群胚等变神经网络理论，用于有界域上的可转向CNN，通过二分等变核定理和输运约束实现局部对称性，实验表明精度提升至少一个数量级。
2026-09-23 cs.LG math.DG
Lookup subnet based Spatial Graph Convolutional neural Network
Northwest University（西北大学）
卷积神经网络（Convolutional Neural Networks，CNN）在欧氏结构数据上取得了显著的性能突破。近年来，基于聚集-变换的图神经网络（GNNs）在非欧数据上逐渐显示出强大的性能。在本文中，我们提出了一种基于互相关的图卷积方法，可以自然地将CNN推广到非欧几里德域，并继承CNN的优良特性，如局部滤波器，参数共享，灵活的感受野等，同时，它利用动态生成的卷积核和互相关算子来解决基于聚合变换或其近似的现有方法的缺点。我们的方法已经在三个已建立的图形基准中实现或匹配了流行的最先进的结果：Cora，Citeseer和Pubmed引文网络数据集。
2021-02-04 cs.LG
Learning Class Regularized Features for Action Recognition
Utrecht University（乌得勒支大学）
训练深度卷积神经网络（CNN）基于在其后续激活中使用多个内核和非线性来提取有用特征的概念。内核被用作一般的特征提取器，而没有与目标类的具体对应关系。因此，所提取的特征不对应于特定类别。相似类之间的细微差异与不同类之间的巨大差异以相同的方式建模。为了克服CNN中内核的类不可知使用，我们引入了一种名为类正则化的新方法，该方法对层激活进行基于类的正则化。我们证明，这不仅提高了训练过程中的特征搜索，而且还允许在特征提取过程的每个阶段明确分配每个类的特征。我们表明，在最先进的CNN架构中使用类正则化块进行动作识别，在Kinetics，UCF-101和HMDB-51数据集上分别获得了1.8%，1.2%和1.4%的系统改进增益。
2020-02-07 cs.CV cs.LG
Naive Gabor Networks for Hyperspectral Image Classification
Sun Yat-sen University（中山大学）；South China University of Technology（华南理工大学）；Hunan University（湖南大学）；University of Extremadura（埃斯特雷马杜拉大学）；Beihang University（北京航空航天大学）
最近，许多卷积神经网络（CNN）方法已被设计用于高光谱图像（HSI）分类，因为CNN能够产生良好的数据表示，这极大地受益于大量的参数。然而，解决这样的高维优化问题往往需要大量的训练样本，以避免过度拟合。此外，它是一个典型的非凸问题，受许多局部极小和平坦区域的影响。为了解决这些问题，在本文中，我们引入了朴素的Gabor网络或Gabor-Nets，在文献中首次严格以Gabor滤波器的形式设计和学习CNN内核，旨在减少所涉及的参数数量并限制解空间，从而提高CNN的性能。具体来说，我们开发了一种创新的相位诱导的Gabor内核，它巧妙地设计为通过由内核相位控制的数据的局部低频和高频分量的线性组合来执行Gabor特征学习。通过引入相位诱导的Gabor核函数，提出的Gabor-Nets能够自动适应HSI数据的局部谐波特征，从而产生更具代表性的谐波特征。此外，该内核可以以实值方式实现传统的复值Gabor滤波，从而使Gabor-Nets易于在通常的CNN线程中执行。我们在三个著名的HSI上评估了我们新开发的Gabor-Nets，表明我们提出的Gabor-Nets可以显着提高CNN的性能，特别是在小训练集的情况下。
2020-02-24 cs.CV cs.LG eess.IV
Interpretable breast cancer classification using CNNs on mammographic images
University of Cambridge（剑桥大学）；Tilburg University（蒂尔堡大学）
本研究针对CNN在乳腺癌分类中的黑盒问题，在MIAS数据集上比较了LIME、Grad-CAM和Kernel SHAP等事后可解释性技术，发现Grad-CAM能最全面揭示模型行为并区分不同乳腺组织，为临床实践提供见解。
2024-08-23 cs.CV cs.LG
Compressing CNN Kernels for Videos Using Tucker Decompositions: Towards Lightweight CNN Applications
Technical University of Denmark（丹麦技术大学）
卷积神经网络（CNN）是视觉计算领域的前沿技术。然而，CNN的一个主要问题是需要大量的浮点运算（FLOP）来执行大输入的卷积。当考虑将CNN应用于视频数据时，由于额外的时间维度，卷积滤波器变得更加复杂。这导致当相应的应用要被部署在移动设备（诸如智能电话、平板电脑、微控制器或类似物）上时的问题，指示较少的计算能力。Kim等人（2016）提出使用Tucker分解来压缩图像预训练网络的卷积核，以降低网络的复杂性，即FLOP的数量。在本文中，我们将上述方法推广到视频（和其他3D信号），并在THETIS数据集的修改版本上评估所提出的方法，该数据集包含个人进行网球拍摄的视频。我们表明，压缩的网络达到相当的精度，同时表明内存压缩的一个因素51。然而，实际的计算加速（因子1.4）并不符合我们理论上的预期（因子6）。
2022-03-10 cs.AI cs.CV cs.LG
Recurrent Convolutions for Causal 3D CNNs
Visual Artificial Intelligence Laboratory (VAIL), Oxford Brookes University（视觉人工智能实验室（VAIL），牛津布鲁克斯大学）
最近，三维（3D）卷积神经网络（CNN）已经成为通过向预先存在的2D CNN添加第三时间维度来捕获视频中的时空表示的主导方法。然而，这种3D CNN是反因果的（即，它们利用来自过去和未来帧的信息来产生特征表示，从而防止它们在在线设置中的使用），将时间推理范围约束到时间卷积核的大小，并且对于视频序列到序列建模（例如在动作检测中）不是时间分辨率保持的。为了解决这些严重的限制，在这里，我们提出了一个新的3D CNN架构的因果/在线处理的视频。也就是说，我们提出了一种新的递归卷积网络（RCN），它依赖于递归来捕获跨帧的时间上下文在每个网络级别。我们的网络将3D卷积分解为（1）2D空间卷积分量，以及（2）跨时间应用的附加隐藏状态$1\times 1$卷积。假设在任何时间$t$的隐藏状态取决于在$t-1$的隐藏状态和空间卷积分量的当前输出。因此，所提出的网络：（i）产生因果输出，（ii）提供灵活的时间推理，（iii）保持时间分辨率。我们在大规模大型Kinetics和MultiThumos数据集上的实验表明，所提出的方法可以执行反因果3D CNN，同时具有因果性并使用较少的参数。
2019-08-31 cs.CV cs.LG
Low-Energy Convolutional Neural Networks (CNNs) using Hadamard Method
University of Notre Dame（圣母大学）
物联网（IoT）需求的不断增长使得有必要在低功耗设备中实现对象识别等计算机视觉任务。卷积神经网络（CNN）是一种潜在的目标识别和检测方法。然而，与完全连接的层相比，CNN中的卷积层消耗大量能量。为了缓解这个问题，一种新的方法，阿达玛变换作为替代的卷积运算的基础上，使用两个基本的数据集，MNIST和CIFAR10。Hadamard方法的数学表达式显示了与卷积层相比节省能耗的明显潜力，这对大数据应用很有帮助。此外，对于MNIST数据集的测试精度，Hadamard方法的性能与卷积方法相似。相比之下，与卷积方法相比，CIFAR10数据集的测试数据准确性下降（由于复杂的数据和多个通道）。最后，当核尺寸小于输入图像尺寸时，所演示的方法对于其他计算机视觉任务是有帮助的。
2022-09-06 cs.AI cs.CV cs.LG
Perceptron Synthesis Network: Rethinking the Action Scale Variances in Videos
Shanghai Jiao Tong University（上海交通大学）
视频动作识别已经通过固定大小的3D内核的CNN堆栈部分解决。然而，这些方法可能表现不佳，只捕捉刚性的时空模式在单尺度空间，而忽略了跨不同的动作基元的尺度变化。为了克服这一限制，我们建议从数据中学习最佳尺度的内核。更具体地说，提出了一个\textit{action perceptron synthesizer}从一袋固定大小的内核，密集路由路径相互作用的内核。为了保证路径的交互丰富性和信息容量，我们设计了新的\textit{optimized feature fusion layer}。这一层建立了一个原则性的通用范例，足以覆盖大多数当前的特征融合技术（例如，信道重排和信道丢失）。通过插入\textit{synthesizer}，我们的方法可以很容易地适应传统的2D CNN的视频理解任务，如动作识别与边际额外的计算成本。所提出的方法在几个具有挑战性的数据集（即，物对物、动力学和潜水48），高度需要时间推理或外观辨别，实现新的最先进的结果。特别是，我们的低分辨率模型优于最近的强基线方法，即，TSM和GST的计算量不到其计算量的30%。
2022-04-19 cs.CV cs.LG eess.IV
RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices
William & Mary（威廉玛丽学院）；Northeastern University（东北大学）；North Carolina State University（北卡罗来纳州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
移动设备正在成为深度学习任务的重要载体，因为它们配备了强大的高端移动CPU和GPU。然而，除了高推理精度之外，执行以实时的【形】性能为目标的3D卷积神经网络（CNN）仍然是一项具有挑战性的任务。原因是更复杂的模型结构和更高的模型维度压倒了移动设备上可用的计算/存储资源。一种自然的方法可能是转向深度学习权重修剪技术。然而，将现有的2D CNN权重修剪方法直接推广到3D CNN对于充分利用移动并行性同时实现高推理精度来说并不理想。本文提出了RT 3D，一个3D CNN的模型压缩和移动加速框架，无缝集成了神经网络权重修剪和编译器代码生成技术。我们提出并研究了两种结构化稀疏方案，即，vanilla结构稀疏性和内核组结构（KGS）稀疏性是移动加速友好的。vanilla sparsity删除了整个内核组，而KGS sparsity是一种更细粒度的结构化稀疏，具有更高的灵活性，同时充分利用设备上的并行性。我们提出了一个重新加权的正则化修剪算法来实现所提出的稀疏计划。由于稀疏性的推理时间加速接近整个模型FLOP（浮点运算）的修剪率。与当前支持3D CNN的移动框架相比，RT 3D在端到端推理时间上的加速高达29.1 $\times$，准确率损失为1%-1.5%。当在手机上执行代表性的C3 D和R（2+1）D模型时，16个视频帧的端到端推断时间可以在150 ms内。这是第一次在现成的移动设备上实现3…
2021-01-03 cs.CV cs.LG cs.NE
