FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York（约克大学）
我们提出了一种新的技术，将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示，与U-Net及其残差变体相比，具有很强的竞争力。
2019-02-08 cs.CV
Convolutional Neural Network with Convolutional Block Attention Module for Finger Vein Recognition
Southwest Jiaotong University（西南交通大学）
卷积神经网络以其强大的图像特征表示能力成为手指静脉识别领域的研究热点。然而，大多数研究人员专注于通过增加CNN的深度和宽度来提高网络的性能，这通常需要很高的计算工作量。而且，我们可以注意到，不仅不同通道中像素的重要性不同，而且同一通道中不同位置的像素的重要性也不同。为了减少计算量并考虑到像素的不同重要性，提出了一种轻量级的带有卷积块注意模块（CBAM）的卷积神经网络用于手指静脉识别，通过注意力机制可以实现对视觉结构更准确的捕捉。首先，将图像序列输入到我们设计的轻量级卷积神经网络中，以改善视觉特征。然后，它在卷积块注意模块的帮助下学习以自适应的方式分配特征权重。在两个公开数据库上进行的实验表明，该方法在多模态手指识别中具有稳定、高精度和鲁棒性的特点。
2022-02-14 cs.CV
Comb Convolution for Efficient Convolutional Architecture
Tianjin University（天津大学）；Princeton University（普林斯顿大学）
卷积神经网络（CNN）由于特征映射和卷积核之间的密集连接模式而固有地遭受大量冗余计算（FLOP）。近年来的研究主要关注通道间的稀疏关系，但忽略了通道内部的空间关系。在本文中，我们提出了一种新的卷积算子，即梳状卷积，利用神经元之间的通道内稀疏关系。所提出的卷积算子通过将均匀映射插入标准卷积中并在卷积层中移除约一半的空间连接来消除近50%的连接。值得注意的是，我们的工作是正交的，并补充现有的方法，减少通道的冗余。因此，通过将梳状卷积集成到现有架构中，具有进一步提高效率的巨大潜力。实验结果表明，通过在现有技术的CNN架构（例如，VGGNets，Xception和SE-Net），我们可以实现50%的FLOPs减少，同时仍然保持准确性。
2019-11-01 cs.CV
Convolutional Neural Networks learn compact local image descriptors
Technische Universität München（慕尼黑工业大学）
与合适的损失函数配对的标准深度卷积神经网络学习紧凑的局部图像描述符，该描述符执行最先进的方法。
2013-06-02 cs.CV
Accelerating Large Kernel Convolutions with Nested Winograd Transformation.pdf
Hong Kong University of Science and Technology（香港科技大学）；Huazhong Agricultural University（华中农业大学）
提出嵌套Winograd算法，通过迭代分解大核卷积为小核卷积，减少乘法次数，在4x4至31x31卷积上比线性分解方法快1.4至10.5倍。
2023-12-31 cs.AI cs.CV
Interpreting video features: a comparison of 3D convolutional networks and convolutional LSTM networks
KTH Royal Institute of Technology（瑞典皇家理工学院）
在计算机视觉的深度学习中，已经提出了许多可解释性技术，其目标通常是理解网络的分类基础。然而，深度视频架构的可解释性仍处于起步阶段，我们还没有一个清晰的概念如何解码时空特征。在本文中，我们提出了一项研究，比较了3D卷积网络和卷积LSTM网络如何在时间依赖帧中学习特征。这是两个视频模型的第一次比较，这两个模型都是卷积来学习空间特征，但建模时间的方法主要不同。此外，我们将\cite{MeaningFulPert}引入的有意义扰动的概念扩展到时间维度，以识别对网络分类决策最有意义的序列的时间部分。我们的研究结果表明，3D卷积模型集中在输入序列中较短的事件上，并将其空间焦点放在较少的连续区域上。
2020-07-10 cs.CV
Accelerating Deep Neural Networks with Spatial Bottleneck Modules
Chinese Academy of Sciences（中国科学院）；The Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
本文提出了一个高效的空间瓶颈模块，用于加速深度神经网络中的卷积层。核心思想是将卷积分解为两个阶段，首先降低特征图的空间分辨率，然后将其恢复到所需的大小。该操作降低了空间域中的采样密度，这与信道域中的网络加速方法是独立的但互补的。使用不同的采样率，我们可以在识别精度和模型复杂度之间进行权衡。作为一个基本的构建块，空间瓶颈可以用来替换任何单个卷积层，或者两个卷积层的组合。我们通过将空间瓶颈应用于深度残差网络，实证验证了空间瓶颈的有效性。空间瓶颈算法对常规残差块和通道校验残差块分别实现了2倍和1.4倍的加速比，在识别低分辨率图像时保持了精度，在识别高分辨率图像时甚至有所提高。
2018-09-07 cs.CV
Analysis of Convolutional Decoder for Image Caption Generation
National Institute of Technology, Silchar（锡尔卡尔国家理工学院）
最近，卷积神经网络已被提出用于序列建模任务，如图像标题生成。然而，与递归神经网络不同，卷积神经网络作为图像字幕生成的解码器的性能还没有被广泛研究。在这项工作中，我们分析了基于卷积神经网络的解码器的各个方面，如网络复杂性和深度，数据增强的使用，注意力机制，训练过程中使用的句子长度等对模型性能的影响。我们使用Flickr8k和Flickr30k图像描述数据集进行实验，并观察到与基于递归神经网络的解码器不同，用于图像描述的卷积解码器通常不会受益于网络深度的增加，以堆叠卷积层的形式，以及数据增强技术的使用。此外，使用注意力机制也为卷积解码器提供了有限的性能增益。此外，我们观察到卷积解码器仅在使用包含多达15个单词的较小长度的句子进行训练时才显示出与递归解码器相当的性能，但在使用更长的句子长度进行训练时，它们具有局限性，这表明卷积解码器可能无法有效地对长期依赖性进行建模。此外，与递归解码器相比，卷积解码器通常在CIDEr评估度量上表现不佳。
2021-03-08 cs.CV
Convolutional Low-Resolution Fine-Grained Classification
成功的细粒度图像分类方法学习视觉相似（子）类之间的细微细节，但如果由于低分辨率而丢失细节，则问题变得更具挑战性。受最近卷积神经网络（CNN）架构在图像分类中的成功鼓舞，我们提出了一种新的分辨率感知深度模型，该模型以端到端的方式将卷积图像超分辨率和卷积细粒度分类结合到单个模型中。在Stanford Cars和Caltech-UCSD Birds 200 - 2011基准上进行的大量实验表明，该模型在对低分辨率图像中的细粒度对象类进行分类方面始终优于传统的卷积网络。
2017-10-16 cs.CV
The Treasure beneath Convolutional Layers: Cross-convolutional-layer Pooling for Image Classification
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最近的一些研究表明，在大型数据集上预训练的深度卷积神经网络（DCNN）可以用作通用图像描述，这在许多视觉分类任务中具有惊人的性能。这些研究中的大多数（如果不是全部的话）采用DCNN的全连接层的激活作为图像或区域表示，并且认为卷积层激活的区分性较低。然而，本文主张，如果使用得当，卷积层激活可以变成一个强大的图像表示，它比全连接层激活具有许多优势。这是通过采用本文提出的称为交叉卷积层池化的新技术来实现的。更具体地说，它提取一个卷积层的特征图的子阵列作为局部特征，并在连续卷积层的特征图的指导下将提取的特征合并。与在局部特征设置中应用DCNN的方法相比，所提出的方法明显更快，因为它需要更少的DCNN前向计算次数。此外，它避免了域不匹配的问题，通常会遇到时，应用全连接层激活来描述局部区域。通过将我们的方法应用到四个流行的视觉分类任务中，证明了所提出的方法可以实现与现有的基于全连接层的图像表示相当或在某些情况下显着更好的性能，同时产生更低的计算成本。
2014-11-27 cs.CV
Orthogonal Convolutional Neural Networks
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
深度卷积神经网络受到训练不稳定性和特征冗余的阻碍，无法进一步提高性能。一个有前途的解决方案是在卷积滤波器上施加正交性。我们开发了一种有效的方法，基于卷积核的双块Toeplitz矩阵表示，而不是使用公共核正交方法，在卷积层上施加滤波器正交性，我们证明这只是必要的，但不足以确保正交卷积。我们提出的正交卷积不需要额外的参数和很少的计算开销。该方法在监督、半监督和无监督设置下的广泛任务（例如图像分类和修复）上始终优于核正交性替代方案。此外，它学习更多样化和更具表现力的特征，具有更好的训练稳定性，鲁棒性和泛化能力。我们的代码可在https://github.com/samaonline/Orthogonal-Convolutional-Neural-Networks上公开获取。
2020-04-08 cs.CV
Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks
Southern University of Science and Technology（南方科技大学）；University of Technology Sydney（悉尼科技大学）；Fudan University（复旦大学）
提出了一种软滤波器剪枝（SFP）方法来加速深度卷积神经网络（CNN）的推理过程。具体来说，所提出的SFP使修剪后的过滤器进行更新时，训练模型修剪后。SFP具有两个优点：（1）较大的模型容量。更新先前修剪的过滤器为我们的方法提供了更大的优化空间，而不是将过滤器固定为零。因此，我们的方法训练的网络具有更大的模型容量，从训练数据学习。(2)减少对预训练模型的依赖。大容量使SFP能够从头开始训练并同时修剪模型。相比之下，以前的过滤器修剪方法应该在预训练模型的基础上进行，以保证其性能。经验上，SFP从头开始优于以前的过滤器修剪方法。此外，我们的方法已被证明是有效的许多先进的CNN架构。值得注意的是，在ILSCRC-2012上，SFP在ResNet-101上减少了42%以上的FLOP，甚至前5名的准确性提高了0.2%，这推进了最先进的技术。代码在GitHub上公开：https://github.com/he-y/soft-filter-pruning
2018-08-21 cs.CV
Design of Efficient Convolutional Layers using Single Intra-channel Convolution, Topological Subdivisioning and Spatial "Bottleneck" Structure
University of Central Florida（中佛罗里达大学）
深度卷积神经网络以高计算复杂性为代价实现了卓越的视觉识别性能。在本文中，我们基于三种方案设计了一种新的高效卷积层。卷积层中的3D卷积操作可以被认为是同时在每个通道中执行空间卷积和跨通道的线性投影。通过解开它们并顺序排列空间卷积，所提出的层由单个通道内卷积和线性通道投影组成，其中计算可以忽略不计。采用拓扑细分的方法减少了输入输出通道之间的连接。此外，我们还引入了一个空间“瓶颈”结构，利用卷积-投影-反卷积流水线来利用输入中相邻像素之间的相关性。我们的实验表明，所提出的层在准确度/复杂度比方面明显优于标准卷积层。我们的模型实现了与VGG，ResNet-50，ResNet-101相似的精度，同时分别需要42，4.5，6.5倍的计算量。
2017-01-24 cs.CV
Optimization Methods for Convolutional Sparse Coding
The Queensland University of Technology（昆士兰科技大学）；Carnegie Mellon University（卡内基梅隆大学）
稀疏和卷积约束形成了物理过程中产生的许多优化问题的自然先验。检测语音和音乐段落中的主题，超分辨率图像，压缩视频和重建谐波运动都可以利用卷积引入的冗余。然而，解决涉及稀疏和卷积约束的问题仍然是一个困难的计算问题。在本文中，我们提出了一个一致的框架中的卷积稀疏编码的概述。该目标涉及迭代优化基函数的卷积最小二乘项，然后是稀疏系数的L1正则化最小二乘项。我们讨论了一系列用于解决卷积稀疏编码目标的优化方法，以及使每种方法适用于不同应用的属性。特别是，我们集中在计算复杂性，速度ε收敛，内存使用，和隐含的边界条件的影响。我们提出了一系列涵盖不同信号和应用领域的示例，以说明卷积稀疏编码的普遍适用性以及可用优化方法的有效性。
2014-06-10 cs.CV
An Alternative Practice of Tropical Convolution to Traditional Convolutional Neural Networks
Xiamen University（厦门大学）
卷积神经网络（CNN）已被用于许多机器学习领域。在实际应用中，卷积神经网络的计算成本往往随着网络的深入和数据量的增长而居高不下，这大多是由于卷积运算中大量的浮点数乘法运算。为了减少乘法的数量，我们提出了一种新型的CNN，称为热带卷积神经网络（TCNN），它建立在热带卷积的基础上，其中传统卷积层中的乘法和加法分别被加法和最小/最大运算所取代。此外，由于热带卷积算子本质上是非线性算子，我们期望TCNN比传统CNN具有更高的非线性拟合能力。在实验中，我们测试和分析了几种不同架构的TCNN的图像分类任务相比，类似大小的传统CNN。结果表明，TCNN在MNIST和CIFAR 10图像数据集上可以获得比普通卷积层更高的表达能力。在不同的噪声环境下，TCNN和普通CNN的鲁棒性有得有失。
2021-07-07 cs.CV
Training convolutional neural networks with megapixel images
Radboud University Medical Center（拉德堡德大学医学中心）；Computational Pathology Group（计算病理学小组）
为了训练深度卷积神经网络，需要将输入数据和中间激活保存在存储器中以计算梯度下降步骤。鉴于当前一代加速卡中可用的存储器有限，这限制了输入数据的最大维度。我们展示了一种方法来训练卷积神经网络只持有部分的图像在内存中，同时给出等效的结果。我们定量地比较了这种训练卷积神经网络的新方法与传统的训练方法。此外，作为概念验证，我们用6400万像素的图像训练了一个卷积神经网络，它需要的内存比传统方法少97%。
2018-04-16 cs.CV
Analysis of Dutch Master Paintings with Convolutional Neural Networks
通过对正在研究的艺术家的作品和其他艺术家的视觉上可比较的作品进行训练，卷积神经网络可以识别作品并提供属性。他们还可以在一幅画中分配分类概率，揭示混合作者身份，并识别不同手画的区域。
2020-08-16 cs.CV
Convolutional Nonlinear Dictionary with Cascaded Structure Filter Banks
Niigata Univ.（新潟大学）
本研究提出一种卷积非线性字典（CNLD）的图像复原使用级联滤波器组。通常，卷积神经网络（CNN）在图像复原应用中展示了它们的实用性;然而，现有的CNN在构造时没有考虑原子图像（卷积核）之间的关系。因此，仍然有讨论设计空间的作用的空间。为了提供一个构建有效的结构化卷积网络的框架，本研究提出了CNLD。通过一定的图像复原实验，推导出了反向传播学习过程，从而验证了CNLD的重要性。它表明，参数的数量减少，同时保持恢复性能。
2020-09-02 cs.CV
Use of symmetric kernels for convolutional neural networks
Taras Shevchenko National University of Kyiv（基辅塔拉斯·舍甫琴科国立大学）
在这项工作中，我们为CNN引入了水平对称卷积核，使网络输出对图像的水平翻转保持不变。我们还研究了其他类型的对称核，导致垂直翻转不变性，近似旋转不变性。我们表明，使用这样的内核作为正则化，并提高了泛化的卷积神经网络的代价是更复杂的训练过程。
2018-05-23 cs.CV
Node Specificity in Convolutional Deep Nets Depends on Receptive Field Position and Size
U.C. Berkeley（加州大学伯克利分校）；Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）
在卷积深度神经网络中，感受野（RF）大小随着分层深度而增加。当RF大小接近输入图像的完全覆盖时，不同的RF位置导致具有不同特异性的RF，因为RF的部分落在输入空间之外。这导致了位置不变性的卷积概念的偏离，并为复杂形式的上下文特异性打开了可能性。
2015-11-23 cs.CV
Accelerating Vision Foundation Models with Drop-in Depthwise Convolution
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；INSAIT, Sofia University ``St. Kliment Ohridski'', Sofia, Bulgaria（INSAIT，索菲亚大学『圣克莱门特·欧赫里迪斯』，索菲亚，保加利亚）
本文提出了一种通过可插拔深度卷积层替代部分注意力头来加速大规模预训练视觉Transformer，同时保持特征提取能力，在图像分类和分割任务中实现了17-20%的推理加速且性能损失极小。
2026-05-21 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley（加州大学伯克利分校）
卷积网络是一种强大的视觉模型，可以产生层次结构的特征。我们证明了卷积网络本身，经过端到端，像素到像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络，该网络接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先验模型的连接。我们将当代分类网络（AlexNet，VGG网络和GoogLeNet）适应于完全卷积网络，并通过微调将其学习的表示转移到分割任务中。然后，我们定义了一种新的架构，结合语义信息从一个深，粗层与外观信息从一个浅，细层，以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC（2012年平均IU为62.2%，相对提高了20%），NYUDv2和SIFT Flow的最先进分割，而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
3D Semantic Segmentation with Submanifold Sparse Convolutional Networks
Facebook AI Research（Facebook人工智能研究院）；University of Oxford（牛津大学）
卷积网络是分析图像、视频和3D形状等时空数据的事实标准。虽然其中一些数据自然很密集（例如，照片），许多其他数据源本质上是稀疏的。示例包括使用LiDAR扫描仪或RGB-D相机获得的3D点云。卷积网络的标准“密集”实现在应用于这种稀疏数据时非常低效。我们引入了新的稀疏卷积运算，旨在更有效地处理空间稀疏数据，并使用它们来开发空间稀疏卷积网络。我们展示了强大的性能所产生的模型，称为子流形稀疏卷积网络（SSCN），在两个任务，涉及语义分割的三维点云。特别是，我们的模型在最近的语义分割竞赛的测试集上优于所有现有的最先进的模型。
2017-11-28 cs.CV
DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks
HUAWEI（华为）
卷积算子是卷积神经网络（CNN）的核心，也是计算量最大的算子。为了使CNN更有效，已经提出了许多方法来设计轻量级网络或压缩模型。虽然已经提出了一些有效的网络结构，如MobileNet或ShuffleNet，但我们发现卷积核之间仍然存在冗余信息。为了解决这个问题，我们提出了一种新的动态卷积方法来自适应地生成卷积核的基础上的图像内容。为了证明其有效性，我们在多个最先进的CNN上应用动态卷积。一方面，我们可以显着降低计算成本，同时保持性能。对于ShuffleNetV 2/MobileNetV 2/ResNet 18/ResNet 50，DyNet可以在不损失准确性的情况下减少37.0/54.7/67.2/71.3%的FLOP。另一方面，如果保持计算成本，则可以大大提高性能。基于MobileNetV 3-Small/Large架构，DyNet在ImageNet上实现了70.3/77.1%的Top-1准确率，提高了2.9/1.9%。为了验证可扩展性，我们还将DyNet应用于分割任务，结果表明，DyNet可以减少69.3%的FLOPs，同时保持平均IoU分割任务。
2020-04-22 cs.CV cs.LG
Accelerating Large-Kernel Convolution Using Summed-Area Tables
Princeton University（普林斯顿大学）
扩展感受野以捕获大规模上下文是在密集预测任务（例如人体姿势估计）中获得良好性能的关键。虽然许多最先进的全卷积架构通过使用步幅卷积或池化层降低分辨率来扩大感受野，但最直接的策略是采用大型滤波器。然而，这是昂贵的，因为参数和乘加运算的数量的二次增加。在这项工作中，我们探索使用可学习的框过滤器来允许具有任意大内核大小的卷积，同时保持每个过滤器的参数数量恒定。此外，我们使用预先计算的求和面积表，使卷积的计算成本与滤波器的大小无关。我们适应并将箱式滤波器作为一个可微模块，在一个完全卷积神经网络，并证明其竞争力的性能流行的基准任务的人体姿态估计。
2019-06-26 cs.CV cs.LG stat.ML
Accelerating Convolutional Neural Network Pruning via Spatial Aura Entropy
Transilvania University of Braşov（布拉索夫特兰西瓦尼亚大学）；Central Washington University（中央华盛顿大学）
针对 CNN 滤波器剪枝中互信息计算昂贵且易受噪声影响的问题，提出基于空间 aura 熵的改进方法，在 CIFAR-10 上提升了剪枝性能与计算效率。
2023-12-08 cs.CV cs.LG
On the Robustness of Convolutional Neural Networks to Internal Architecture and Weight Perturbations
Cornell University（康奈尔大学）；Augsburg University（奥格斯堡大学）；Technische Universität München（慕尼黑工业大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
深度卷积神经网络通常被认为是鲁棒的函数逼近器。到目前为止，这种直觉是基于对外部刺激的扰动，例如要分类的图像。在这里，我们探讨了卷积神经网络对网络本身的内部权重和结构扰动的鲁棒性。我们发现，卷积网络对较高卷积层中的一些内部扰动具有惊人的鲁棒性，但底层卷积层要脆弱得多。例如，Alexnet在随机删除顶部卷积层或密集层中超过70%的权重连接时，分类性能下降不到30%，但在第一个卷积层中使用相同的扰动时，性能几乎是偶然的。最后，我们建议进一步的研究，可以继续为卷积网络对内部扰动的鲁棒性提供信息。
2017-03-23 cs.CV cs.LG
Initialization Strategies of Spatio-Temporal Convolutional Neural Networks
University of Toronto（多伦多大学）
我们提出了一种新的方法，将视频中的时间信息合并到在图像上训练的空间卷积神经网络（ConvNets）中，避免从头开始训练时空ConvNets。我们使用从ImageNet学习的2D卷积权重描述了时空ConvNet的3D卷积层中的几个权重初始化。我们表明，为了学习视频的时间表示，明智地初始化3D卷积权重是很重要的。我们在UCF-101数据集上评估了我们的方法，并证明了对Spatial ConvNets的改进。
2015-03-25 cs.CV cs.LG
Local Binary Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
我们提出了局部二进制卷积（LBC），这是标准卷积神经网络（CNN）中卷积层的有效替代方案。LBC的设计原则是由局部二进制模式（LBP）激发的。LBC层包括在训练过程期间不更新的一组固定稀疏预定义二进制卷积滤波器、非线性激活函数和一组可学习线性权重。线性权重组合激活的滤波器响应以近似标准卷积层的对应激活的滤波器响应。LBC层提供了显着的参数节省，与标准卷积层相比，可学习参数的数量为9倍至169倍。此外，与标准卷积层相比，权重的稀疏和二进制性质还导致模型大小节省高达9倍至169倍。我们从理论和实验上证明，我们的局部二进制卷积层是标准卷积层的一个很好的近似。从经验上讲，具有LBC层的CNN，称为局部二进制卷积神经网络（LBCNN），在一系列视觉数据集（MNIST，SVHN，CIFAR-10和ImageNet）上实现了与常规CNN的性能等同，同时节省了大量计算。
2017-07-01 cs.CV cs.LG
Accelerating Very Deep Convolutional Networks for Classification and Detection
Microsoft Research（微软研究院）
本文旨在加速卷积神经网络（CNN）的测试时计算，特别是对计算机视觉社区产生重大影响的深度CNN。与以前的方法，设计近似线性滤波器或线性响应，我们的方法考虑到非线性单元。我们开发了一个有效的解决方案，从而产生的非线性优化问题，而不需要随机梯度下降（SGD）。更重要的是，虽然以前的方法主要集中在优化一个或两个层，但我们的非线性方法能够实现非对称重建，当多个（例如，>=10）层近似。对于广泛使用的非常深的VGG-16模型，我们的方法实现了4倍的整体模型加速，而ImageNet分类中的前5个错误仅增加了0.3%。当插入Fast R-CNN检测器时，我们的4倍加速VGG-16模型也显示出目标检测的准确性下降。
2015-11-18 cs.CV cs.LG cs.NE
Image Denoising with Graph-Convolutional Neural Networks
Politecnico di Torino（都灵理工大学）
从噪声观测中恢复图像是信号处理中的一个关键问题。最近，研究表明，采用卷积神经网络的数据驱动方法可以优于经典的基于模型的技术，因为它们可以捕获更强大和更有区别的特征。然而，由于这些方法基于卷积运算，它们只能利用局部相似性，而不考虑非局部自相似性。在本文中，我们提出了一种卷积神经网络，它采用图形卷积层，以利用局部和非局部相似性。图卷积层在特征空间中动态构建邻域，以检测隐藏层产生的特征图中的潜在相关性。实验结果表明，该架构优于经典的卷积神经网络的去噪任务。
2019-05-29 cs.CV eess.IV
Learning Deep Analysis Dictionaries -- Part II: Convolutional Dictionaries
在本文中，我们通过学习卷积字典而不是非结构化字典来引入深度卷积分析字典模型（DeepCAM），就像在同伴论文中介绍的深度分析字典模型一样。卷积字典更适合处理高维信号，例如图像，并且只有少量的自由参数。通过利用卷积字典的特性，我们提出了一种有效的卷积分析字典学习方法。L层DeepCAM由L层卷积分析字典和逐元素软阈值对以及单层卷积合成字典组成。与DeepAM类似，每个卷积分析字典由卷积信息保持分析字典（iPad）和卷积聚类分析字典（CAD）组成。iPad和CAD的学习使用所提出的学习算法的变化。我们证明了DeepCAM是一种有效的多层卷积模型，并且在单图像超分辨率上，实现了与其他方法相当的性能，同时还显示出良好的泛化能力。
2020-01-31 cs.CV cs.LG stat.ML
DO-Conv: Depthwise Over-parameterized Convolutional Layer
Alibaba Group（阿里巴巴集团）；Shandong University（山东大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）；Peking University（北京大学）
卷积层是卷积神经网络（CNN）的核心构建块。在本文中，我们建议使用额外的深度卷积来增强卷积层，其中每个输入通道都与不同的2D内核进行卷积。两个卷积的组合构成了一个过参数化，因为它添加了可学习的参数，而所得的线性运算可以由单个卷积层表示。我们将这种依赖于参数化的卷积层称为DO-Conv。我们通过大量的实验表明，仅仅用DO-Conv层替换传统的卷积层就可以提高CNN在许多经典视觉任务上的性能，例如图像分类、检测和分割。此外，在推理阶段，深度卷积被折叠到传统卷积中，减少了计算，使其完全等同于没有过度参数化的卷积层的计算。由于DO-Conv引入了性能增益，而不会导致任何计算复杂性增加，因此我们提倡将其作为传统卷积层的替代方案。我们在https://github.com/yangyanli/DO-Conv上开源了Tensorflow、PyTorch和GluonCV中的DO-Conv参考实现。
2020-06-22 cs.CV eess.IV
Copy-move Forgery Detection based on Convolutional Kernel Network
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出了一种基于卷积核网络的复制-移动伪造检测方法。与传统的基于手工特征的方法不同，卷积核网络是一种数据驱动的具有深度卷积结构的局部描述符。由于深度学习理论的发展和广泛可用的数据集，数据驱动的方法可以在不同的条件下获得具有竞争力的性能，其出色的区分能力。此外，我们的卷积核网络被重新定义为一系列矩阵计算和卷积运算，易于并行化和GPU加速，从而提高效率。然后，对卷积核网络进行适当的预处理和后处理，实现复制-移动伪造检测。特别地，提出了一种基于分割的关键点分配策略，并采用了一种基于GPU的自适应过分割方法。大量的实验证明了卷积核网络的GPU版本的有效性和鲁棒性，以及所提出的基于卷积核网络的复制-移动伪造检测方法的最新性能。
2017-07-05 cs.CV cs.MM
Optimization of XNOR Convolution for Binary Convolutional Neural Networks on GPU
Middle East Technical University（中东技术大学）
与全精度网络相比，二进制卷积网络具有更低的计算负载和更低的内存占用。因此，它们是在有限容量的嵌入式设备上部署计算机视觉应用的可行替代方案。一旦在资源受限较少的计算环境中进行训练，它们就可以部署在这些设备上进行实时推理。在这项研究中，我们提出了一种在GPU上实现二进制卷积网络推理的方法，重点是优化XNOR卷积。实验结果表明，在核大小为$3\times3$的情况下，使用GPU可以提供高达$42.61\times$的加速。该实现可在https://github.com/metcan/Binary-Convolutional-Neural-Network-Inference-on-GPU上公开获取
2020-07-28 cs.CV cs.DC
Enhancement of land-use change modeling using convolutional neural networks and convolutional denoising autoencoders
Kyushu University（九州大学）
邻里效应是土地利用变化过程的重要驱动因子。本研究应用卷积神经网络（CNN）从卫星影像中撷取邻近区域的特徴，以提升LUC模型的效能。我们开发了一个混合的CNN模型（conv-net），通过结合卫星图像和地理特征来预测LU转移概率。设计了一个空间权值层，将邻域效应的距离衰减特性引入到conv-net中。作为一种替代模型，我们还开发了一种混合卷积去噪自动编码器和多层感知器模型（CDAE-net），它专门从卫星图像中学习潜在表示并对图像数据进行去噪。最后，基于DINAMICA的元胞自动机（CA）模型模拟LU模式。结果表明，基于卷积的模型提高了建模性能相比，只接受地理特征的模型。总体而言，conv-net在LUC预测性能方面优于CDAE-net。尽管如此，CDAE-net在数据有噪声时表现更好。
2018-03-03 cs.CV stat.AP
Video Classification with Channel-Separated Convolutional Networks
Facebook AI（脸书人工智能研究院）
已证明，组卷积可以在用于图像分类的各种2D卷积架构中提供巨大的计算节省。人们自然会问：1）组卷积是否有助于减轻视频分类网络的高计算成本; 2）3D组卷积网络中哪些因素最重要;以及3）3D组卷积网络的良好计算/准确性权衡是什么。本文研究了用于视频分类的3D组卷积网络中不同设计选择的效果。我们经验性地证明了通道交互的数量在3D组卷积网络的准确性中起着重要作用。我们的实验提出了两个主要发现。首先，通过分离通道交互和时空交互来分解3D卷积是一个很好的做法，因为这会提高精度并降低计算成本。其次，3D通道分离卷积提供了一种正则化形式，与3D卷积相比，训练精度较低，但测试精度较高。这两个经验发现引导我们设计一个架构-在Sports 1 M，Kinetics和Something-Something上，我们的CSN与最先进的产品相当或更好，同时效率提高2-3倍。
2019-11-18 cs.AI cs.CV
Convolutional Kolmogorov-Arnold Networks
Universidad de San Andrés（圣安德烈斯大学）
本文提出 Convolutional Kolmogorov-Arnold Networks，将可学习的样条激活函数引入卷积层，在 Fashion-MNIST 上以减少高达 50% 的参数实现具竞争力的准确率，为参数高效深度学习提供了新方案。
2025-03-31 cs.AI cs.CV
Submanifold Sparse Convolutional Networks
Facebook AI Research（Facebook人工智能研究院）
卷积网络是分析时空数据（如图像、视频、3D形状等）的事实标准。虽然其中一些数据是自然密集的（例如照片），但许多其他数据源本质上是稀疏的。示例包括在一张纸上形成的笔画，或使用LiDAR扫描仪或RGB-D相机获得的（彩色）3D点云。卷积网络的标准“密集”实现在应用于这种稀疏数据时非常低效。我们引入了一种专门用于处理稀疏数据的稀疏卷积运算，它与稀疏卷积网络的先前工作不同，因为它严格地在子流形上操作，而不是在网络中的每一层“扩大”观察。我们对由此产生的子流形稀疏卷积网络的经验分析表明，它们的性能与最先进的方法相当，同时需要更少的计算。
2017-06-05 cs.CV cs.NE
3D Fully Convolutional Network for Vehicle Detection in Point Cloud
Baidu Inc.（百度公司）
2D全卷积网络最近已成功地应用于图像中的目标检测。在本文中，我们将基于完全卷积网络的检测技术扩展到3D，并将其应用于点云数据。该方法在自动驾驶激光雷达点云车辆检测任务中得到了验证。在KITTI数据集上的实验表明，与以前的基于点云的检测方法相比，性能有了显着的提高。
2017-01-16 cs.CV cs.RO
Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks
Shanghai Jiao Tong University（上海交通大学）
为了解决现有基于幅度的修剪算法在模型权重或激活量较大且幅度相似的情况下的局限性，我们提出了一种新的视角来发现通道之间的参数冗余，并通过通道修剪来加速深度CNN。确切地说，我们认为，渠道揭示类似的功能信息有功能重叠，每个这样的相似性组内的大多数渠道可以被删除，而不损害模型的代表性的权力。在通过概率建模推导出一个有效的度量来评估信道相似性之后，我们引入了一个通过信道层次聚类的剪枝算法。特别是，该算法不依赖于稀疏训练技术或复杂的数据驱动优化，可以直接应用于预先训练的模型。在基准数据集上进行的大量实验有力地证明了我们的方法优于现有技术的加速性能。在ImageNet上，我们修剪的ResNet-50减少了30%的FLOP，优于基线模型。
2019-08-06 cs.CV cs.LG stat.ML
4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks
在许多机器人和VR/AR应用中，3D视频是现成的输入源（连续的深度图像序列或LIDAR扫描）。然而，这些3D视频通过2D convnets或3D感知算法逐帧处理。在这项工作中，我们提出了4维卷积神经网络的时空感知，可以直接处理这样的三维视频使用高维卷积。为此，我们采用稀疏张量，并提出了广义稀疏卷积，包括所有离散卷积。为了实现广义稀疏卷积，我们为稀疏张量创建了一个开源的自动微分库，为高维卷积神经网络提供了广泛的功能。我们使用该库创建了4D时空卷积神经网络，并在各种3D语义分割基准上对其进行了验证，并提出了用于3D视频感知的4D数据集。为了克服4D空间中的挑战，我们提出了混合内核，广义稀疏卷积的特殊情况，以及在7 D时空色度空间中执行时空一致性的三边固定条件随机场。在实验上，我们表明，只有广义三维稀疏卷积的卷积神经网络可以大大优于2D或2D-3D混合方法。此外，我们还表明，在3D视频上，4D时空卷积神经网络对噪声具有鲁棒性，优于3D卷积神经网络，并且在某些情况下比3D对应物更快。
2019-06-13 cs.AI cs.CV
Improving correlation method with convolutional neural networks
National Research Nuclear University "MEPhI"（国立核研究大学“MEPhI”）
我们提出了一个卷积神经网络的相关滤波器获得的相关响应的分类。该方法可以提高分类的准确率，以及实现不变性的图像类别和参数。
2020-04-20 cs.CV eess.IV
Coarse and fine-grained automatic cropping deep convolutional neural network
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
现有的卷积神经网络剪枝算法可以分为粗粒度剪枝和细粒度剪枝两大类。提出了一种粗粒度和细粒度的自动剪枝算法，可以实现对卷积神经网络更高效、更准确的压缩加速。首先对卷积神经网络的中间特征图进行聚类，得到粗粒度裁剪后的网络结构，然后使用粒子群优化算法对结构进行迭代搜索和优化。最后得到了最优的网络裁剪子结构。
2020-10-14 cs.CV cs.NE
Pointwise Convolutional Neural Networks
The University of Tokyo（东京大学）；Singapore University of Technology and Design（新加坡科技设计大学）
利用诸如重建的点云和CAD模型的3D数据的深度学习最近受到了极大的研究兴趣。然而，使用点云与卷积神经网络的能力迄今尚未得到充分探索。本文提出了一种用于三维点云语义分割和目标识别的卷积神经网络。我们网络的核心是逐点卷积，这是一种新的卷积运算符，可以应用于点云的每个点。我们的全卷积网络设计，虽然实现起来非常简单，但在语义分割和对象识别任务中都可以产生有竞争力的准确性。
2018-03-29 cs.CV cs.LG
COLORA: Efficient Fine-Tuning for Convolutional Models with a Study Case on Optical Coherence Tomography Image Classification
Centro de Investigación en Matemáticas, A.C. (CIMAT)（数学研究所（CIMAT））
该研究提出参数高效微调方法CoLoRA，可减少卷积模型80%以上可训练参数，在医学及非医学图像分类任务中实现性能与效率的良好平衡，为卷积模型全量微调提供替代方案。
2026-10-02 cs.AI cs.CV
Accelerating Convolutional Neural Networks via Activation Map Compression
Samsung Semiconductor, Inc.（三星半导体公司）
深度学习革命为我们带来了广泛的神经网络架构，这些架构在各种计算机视觉任务中实现了最先进的性能，包括分类、检测和分割。与此同时，我们也一直在观察计算和内存需求的前所未有的需求，使神经网络在低功耗设备中的有效使用几乎无法实现。为此，我们提出了一个三阶段的压缩和加速管道，稀疏化，量化和熵编码的卷积神经网络的激活地图。稀疏化增加了激活图的表示能力，从而加快了推理速度和更高的模型准确性。Inception-V3和MobileNet-V1可以加速多达$1.6\times$，分别在ImageNet和CIFAR-10数据集上提高$0.38\%$和$0.54\%$的准确性。量化和熵编码较稀疏的激活图导致比基线更高的压缩，降低了网络执行的内存成本。量化为$16$位的Inception-V3和MobileNet-V1激活映射被压缩了$6\times$，分别增加了$0.36\%$和$0.55\%$的准确度。
2019-03-27 cs.AI cs.CV cs.LG
Land Cover Classification from Remote Sensing Images Based on Multi-Scale Fully Convolutional Network
Wuhan University（武汉大学）；Lancaster University（兰卡斯特大学）
提出了一种基于多尺度卷积核的多尺度全卷积网络（MSFCN），用于从二维（2D）卫星图像中提取鉴别表示。
2020-10-21 cs.AI cs.CV eess.IV
A Modified Convolutional Network for Auto-encoding based on Pattern Theory Growth Function
Nanyang Technological University（南洋理工大学）
这篇简短的论文报告了卷积神经网络的一个变体的缺点，其组件是基于模式理论框架开发的。
2021-04-04 cs.CV cs.LG eess.IV
Research Progress of Convolutional Neural Network and its Application in Object Detection
East China University of Science and Technology（华东理工大学）
随着计算机性能的提高和数据量的增加，基于卷积神经网络（CNN）的目标检测已成为目标检测的主要算法。综述了卷积神经网络及其在目标检测中的应用研究进展，重点分析和讨论了将卷积神经网络应用于目标检测的具体思路和方法，指出了目前存在的不足和未来的发展方向。
2020-07-27 cs.CV cs.LG eess.IV
Graph Convolutional Gaussian Processes
Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯非参数方法来学习非欧域上的不变性关系。所得到的图卷积高斯过程可以应用于机器学习中的问题，其中输入观测是具有一般图上的域的函数。这些模型的结构允许高维输入，同时保持可表达性，如卷积神经网络的情况。我们目前的应用程序的图形卷积高斯过程的图像和三角形网格，证明其通用性和有效性，相比现有的方法，尽管相对简单的模型。
2019-05-14 cs.CV cs.LG stat.ML
2D and 3D Deep Learning Models for MRI-based Parkinson's Disease Classification: A Comparative Analysis of Convolutional Kolmogorov-Arnold Networks, Convolutional Neural Networks, and Graph Convolutional Networks
University of Oxford（牛津大学）；King’s College London（伦敦国王学院）；Guy’s and St Thomas’ NHS Foundation Trust（盖伊和圣托马斯国民保健服务基金会信托）
本研究首次将3D ConvKANs应用于基于结构MRI的帕金森病分类，对比CNNs和GCNs，发现ConvKANs在准确率和跨数据集泛化能力上表现优异，突显了3D分析的重要性。
2024-09-26 cs.CV eess.IV q-bio.QM
Temporally Folded Convolutional Neural Networks for Sequence Forecasting
Kavli IPMU (WPI), University of Tokyo（东京大学卡弗里数物连携宇宙研究机构（世界顶级国际研究中心））
在这项工作中，我们提出了一种新的方法，利用卷积神经网络的时间序列预测。具有空间维度的序列数据的时间方向$D=1,2$被民主地认为是时空$(D+1)$维卷积神经网络的输入。然后，后者从$D +1 \to D$维度减少数据流，然后是使用此信息预测后续时间步长的定罪单元。我们根据经验将这种策略与卷积LSTM和LSTM分别在顺序MNIST和JSB chorals数据集上的性能进行了比较。我们的结论是，时间折叠卷积神经网络（TFC的）可能优于传统的递归策略。
2020-01-10 cs.CV cs.LG stat.ML
Seeing Convolution Through the Eyes of Finite Transformation Semigroup Theory: An Abstract Algebraic Interpretation of Convolutional Neural Networks
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
研究人员正在积极尝试更好地了解卷积神经网络的代表性属性，以指导更好的网络设计和解释网络的计算性质。由于网络中参数的数量和网络架构的复杂性，获得这种见解可能是一项艰巨的任务。目前的神经网络解释方法包括贝叶斯概率解释和信息论解释。在这项研究中，我们采取了不同的方法来研究卷积神经网络，提出了一个抽象的代数解释，使用有限变换半群理论。具体来说，卷积层被分解并映射到有限空间。然后将所提出的有限变换半群的状态空间定义为卷积层内的单个元素，其中由周围的状态元素与卷积核元素组合定义的作用元素。定义了有限变换半群的生成元来完成这一解释。我们利用这种方法来分析所得到的有限变换半群的基本属性，以获得对卷积神经网络的表示属性的见解，包括对量化网络表示的见解。这样的有限变换半群解释还可以使得能够更好地理解固定格数据结构的界限之外，因此对于处理位于不规则格上的数据是有用的。此外，所提出的抽象代数解释被证明是可行的解释各种卷积神经网络架构内的卷积运算。
2019-05-26 cs.CV cs.LG cs.NE
