The Master Key Filters Hypothesis: Deep Filters Are General
Massachusetts Institute of Technology(麻省理工学院)
本文提出“主密钥滤波器假设”,通过跨领域迁移学习实验证明DS-CNN的深层滤波器保持通用性而非专门化,揭示了空间特征在所有层和架构中的泛化本质,为迁移学习和模型设计提供了新见解。
2025-02-03 cs.AI cs.CV
Efficient CNNs via Passive Filter Pruning
Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心)
针对现有被动滤波器剪枝方法在高剪枝率下性能下降的问题,提出基于算子范数的被动剪枝方法,在VGGish等多种CNN架构上泛化性更优,计算速度比主动方法快至少4.5倍且性能相当。
2023-04-05 cs.AI cs.CV cs.LG
Transfer Learning in CNNs Using Filter-Trees
Indian Institute of Science(印度科学理工学院)
卷积神经网络(CNN)对于许多模式识别任务是非常有效的。然而,训练深度CNN需要大量的计算和大量的训练数据。在本文中,我们提出了过滤树银行(Bank of Filter-Trees,BFT)作为提高学习CNN效率的转移学习机制。对应于CNN的第k^{th}卷积层中的滤波器的滤波器树是由滤波器连同其到所有先前层中的滤波器的所有连接组成的子网络。从在不同但相关的任务中学习的许多CNN的第k层创建的这种过滤树的集合形成了BFT。为了学习新的CNN,我们从BFT中采样以选择一组过滤器树。这将目标网络固定到第k层,并且只有剩余的网络将使用新任务的训练数据来学习。通过仿真,我们证明了这种想法的BFT的有效性。该方法构成了一种新的迁移学习技术,其中迁移处于子网络级别;可以从多个源网络实现迁移;并且,在没有对所迁移的权重进行微调的情况下,所实现的性能与从头开始训练的网络相当。
2017-11-27 cs.CV
Batch Normalization Tells You Which Filter is Important
Seoul National University(首尔国立大学)
过滤器修剪的目标是搜索不重要的过滤器以去除,从而使卷积神经网络(CNN)高效而不牺牲过程中的性能。挑战在于找到可以帮助确定每个过滤器对于神经网络的最终输出有多重要或相关的信息。在这项工作中,我们分享了我们的观察结果,即预训练CNN的批量归一化(BN)参数可用于估计激活输出的特征分布,而无需处理训练数据。根据观察,我们提出了一种简单而有效的过滤器修剪方法,通过基于预训练CNN的BN参数评估每个过滤器的重要性。在CIFAR-10和ImageNet上的实验结果表明,该方法在精确度下降与减少计算复杂性和剪枝网络参数数量之间取得了良好的平衡,无论是否进行微调。
2022-04-23 cs.AI cs.CV
Dense Steerable Filter CNNs for Exploiting Rotational Symmetry in Histology Images
University of Warwick(华威大学)
组织学图像在旋转下是固有对称的,其中每个方向出现的可能性相等。然而,这种旋转对称性在现代卷积神经网络(CNN)中并没有被广泛用作先验知识,导致数据饥渴的模型在每个方向上学习独立的特征。允许CNN是旋转等变的,消除了从数据中学习这组变换的必要性,而是释放了模型容量,允许学习更多的判别特征。所需参数数量的减少也降低了过拟合的风险。在本文中,我们提出了密集可控滤波器CNN(DSF-CNN),它使用群卷积,每个滤波器在密集连接的框架中有多个旋转副本。每个滤波器被定义为可操纵基滤波器的线性组合,与标准滤波器相比,能够实现精确旋转并减少可训练参数的数量。我们还提供了用于组织学图像分析的不同旋转等变CNN的第一次深入比较,并展示了将旋转对称编码到现代架构中的优势。我们表明,DSF-CNN在应用于计算病理学领域的三个不同任务时,具有最先进的性能,参数明显较少:乳腺肿瘤分类,结肠腺分割和多组织核分割。
2020-07-20 cs.CV eess.IV
Efficient Similarity-based Passive Filter Pruning for Compressing CNNs
Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音与信号处理中心(CVSSP));University of Surrey(萨里大学)
卷积神经网络(CNN)在各种应用中取得了巨大的成功。然而,CNN的计算复杂性和内存存储是其在资源受限设备上部署的瓶颈。最近减少CNN的计算成本和内存开销的努力涉及基于相似性的无源滤波器修剪方法。基于相似性的被动滤波器修剪方法计算滤波器的成对相似性矩阵,并消除一些相似的滤波器以获得小的修剪的CNN。然而,计算成对相似性矩阵的计算复杂性很高,特别是当卷积层具有许多滤波器时。为了减少在获得成对相似性矩阵的计算复杂性,我们建议使用一种有效的方法,其中完整的成对相似性矩阵是近似从只有几个列,通过使用Nyström近似方法。与计算完整的成对相似性矩阵的基于相似性的修剪方法相比,所提出的有效的基于相似性的被动过滤器修剪方法的速度快3倍,并且在CNN计算的相同减少量下具有相同的准确性。除此之外,所提出的有效的基于相似性的修剪方法执行类似或优于现有的基于范数的修剪方法。提出的修剪方法的有效性进行评估CNN,如DCASE 2021任务1A基线网络和VGGish网络设计的声学场景分类。
2022-10-27 cs.AI cs.CV cs.LG
Demystifying CNNs for Images by Matched Filters
Beihang University(北京航空航天大学);Imperial College London(帝国理工学院);University of Montenegro(黑山大学)
卷积神经网络(CNN)的成功彻底改变了我们在大数据时代接近和使用智能机器的方式。尽管取得了成功,CNN一直受到审查,由于其\textit{black-box}性质,\textit{ad hoc}的建设方式,以及缺乏理论支持和物理意义的运作。这对CNN的定量和定性理解以及它们在更敏感领域(如AI健康)的应用都是禁止的。我们着手解决这些问题,并以这种方式通过采用匹配滤波的观点来揭开CNN操作的神秘面纱。我们首先说明卷积运算,CNN的核心,代表一个匹配滤波器,其目的是识别输入数据中特征的存在。然后,在匹配滤波的理论保护伞下,这可以作为解释CNN中卷积-激活-池化链的工具,这是信号处理中的一种常见操作。我们还提供了大量的示例和实验来说明这种联系,由此显示CNN中的学习也可以执行匹配滤波,这进一步揭示了学习参数和层的物理意义。我们希望这些材料将为CNN的理解,构建和分析提供新的见解,并为开发CNN的新方法和架构铺平道路。
2022-10-16 cs.CV eess.SP
Harnessing spatial MRI normalization: patch individual filter layers for CNNs
Humboldt Universität Berlin(柏林洪堡大学);Freie Universität Berlin(柏林自由大学);Charité - Universitätsmedizin Berlin(柏林夏里特医学院)
基于磁共振成像(MRI)的神经影像学研究通常采用严格的预处理形式。使用线性和非线性变换将图像空间归一化到标准模板。因此,可以假设位置(x,y,height,width)处的块在整个数据集中包含相同的大脑区域。大多数使用卷积神经网络(CNN)对大脑MRI进行的分析都忽略了与自然图像的这种区别。在这里,我们提出了一种新的层类型,称为补丁个体过滤器(PIF)层,它在本地训练更高级别的过滤器,因为我们假设更抽象的特征在空间归一化后是局部特定的。我们评估PIF层的三个不同的任务,即性别分类以及阿尔茨海默病(AD)或多发性硬化症(MS)检测。我们证明了使用PIF层的CNN在几个,特别是低样本量设置中优于其同行。
2019-11-14 cs.CV
Stability Based Filter Pruning for Accelerating Deep CNNs
IIT Kanpur(印度理工学院坎普尔分校);Samsung R&D Institute(三星研发院)
卷积神经网络(CNN)在各种任务(分类,检测等)上取得了令人印象深刻的性能。以高计算和存储器要求为代价跨越多个域。因此,将CNN用于实时应用需要模型压缩方法,不仅减少参数的总数,而且还减少整体计算。在这项工作中,我们提出了一种基于稳定性的CNN过滤器级修剪方法。我们在不同的架构(LeNet,VGG-16,ResNet和Faster RCNN)和数据集上评估了我们提出的方法,并通过广泛的实验证明了其通用性。此外,我们的压缩模型可以在运行时使用,而不需要任何特殊的库或硬件。我们的模型压缩方法将FLOPS的数量减少了6.03倍,GPU内存占用量减少了17倍以上,显著优于其他最先进的过滤器修剪方法。
2018-11-20 cs.CV
Learning to Prune Filters in Convolutional Neural Networks
University of Southern California(南加利福尼亚大学);Siemens Healthineers(西门子医疗);US Army Research Laboratory(美国陆军研究实验室)
许多最先进的计算机视觉算法使用大规模卷积神经网络(CNN)作为基本构建块。这些CNN以其庞大的参数数量、高权重冗余和巨大的计算资源消耗而闻名。本文提出了一种学习算法来简化和加速这些CNN。具体来说,我们引入了一个“尝试和学习”算法来训练修剪代理,以数据驱动的方式删除不必要的CNN过滤器。在一种新的奖励函数的帮助下,我们的代理删除了CNN中大量的过滤器,同时将性能保持在所需的水平。此外,这种方法提供了一个简单的控制网络性能和其规模之间的权衡。我们的算法的性能进行了全面的修剪实验验证几个流行的CNN视觉识别和语义分割任务。
2018-01-23 cs.CV
Learning Steerable Filters for Rotation Equivariant CNNs
University of Amsterdam(阿姆斯特丹大学);University of Heidelberg(海德堡大学)
在许多机器学习任务中,期望模型的预测在其输入的变换下以等变方式变换。卷积神经网络(CNN)通过构造实现平移等变;然而,对于其他变换,它们被迫学习正确的映射。在这项工作中,我们开发了可控滤波CNN(SFCNN),通过设计实现平移和旋转下的联合等方差。所提出的架构采用可操纵滤波器来有效地计算许多方向的依赖于方向的响应,而不会遭受来自滤波器旋转的插值伪影。我们利用群卷积,保证一个等变映射。此外,我们推广他的权重初始化计划的过滤器被定义为一个系统的原子过滤器的线性组合。数值实验表明,随着采样滤波器方向数量的增加,样本复杂度大幅提高,并确认网络在方向上概括了学习模式。所提出的方法在旋转MNIST基准和ISBI 2012 2D EM分割挑战上达到了最先进的水平。
2018-03-19 cs.CV cs.LG
Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH(罗伯特·博世有限公司);University of Lübeck(吕贝克大学)
非结构化修剪非常适合在训练和推理时减少卷积神经网络(CNN)的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪(SP)通过将过滤器元素设置为零来减少CNN的内存占用,从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪,这会导致强烈的偏差。为了克服这一点,我们引入空间修剪(IP),一个通用的工具,以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础(FB)的线性组合。对于IP,FB系数被设置为零,而未修剪的系数和FB被联合训练。在这项工作中,我们提供了数学证据IP的优越性能,并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下,例如ImageNet的修剪或修剪到高稀疏性,IP大大超过SP,具有相同的运行时间和参数成本。最后,我们表明,IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Effects of Gabor Filters on Classification Performance of CNNs Trained on a Limited Number of Conditions
Graduate School of Information Science(信息科学研究生学校);Osaka Institute of Technology(大阪技术学院);Faculty of Information Science(信息科学学部)
本文提出使用Gabor滤波器预处理,以提升在有限条件下训练的CNNs的分类性能和模型大小。
2026-01-17 cs.CV cs.LG
Explaining Model Overfitting in CNNs via GMM Clustering
Nanjing University(南京大学)
本研究利用GMM聚类分析CNN滤波器特征图,识别异常滤波器并提出三个假设解释模型过拟合,该方法适用于多种CNN架构,为评估模型性能提供新视角。
2024-12-12 cs.AI cs.CV cs.LG
The Quest for Universal Master Key Filters in DS-CNNs
Technische Universität Wien(维也纳技术大学);Massachusetts Institute of Technology(麻省理工学院)
本研究扩展了“主密钥滤波器假说”,发现DS-CNN固有收敛于仅8个通用滤波器,且传统滤波器多为其线性变换。用这些冻结滤波器初始化的网络在ImageNet上达80%准确率,揭示了深度卷积趋向基本空间算子的本质。
2025-09-15 cs.CV
Structural Compression of Convolutional Neural Networks
University of California, San Francisco(加利福尼亚大学旧金山分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
深度卷积神经网络(CNN)在机器视觉的许多任务中已经取得了成功,然而,CNN中数以千计的卷积滤波器形式的数百万个权重使得它们难以为人类解释或理解科学。在这篇文章中,我们介绍了CAR,一种贪婪的结构压缩方案,以获得更小,更可解释的CNN,同时达到接近原始的准确性。压缩基于对分类精度贡献最小的修剪过滤器。我们通过展示我们的算法修剪具有视觉冗余功能的过滤器(如颜色过滤器)来证明CAR压缩CNN的可解释性。这些压缩网络更容易解释,因为它们保留了未压缩网络的滤波器多样性,滤波器数量级更少。最后,引入CAR的变体来量化每个图像类别对每个CNN滤波器的重要性。具体来说,最重要和最不重要的类标签被证明是每个过滤器的有意义的解释。
2020-03-25 cs.CV
Tied Block Convolution: Leaner and Better CNNs with Shared Thinner Filters
University of California, Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所)
卷积是卷积神经网络(CNN)的主要构建块。我们观察到,优化的CNN通常具有高度相关的过滤器,因为通道的数量随着深度的增加而增加,从而降低了特征表示的表达能力。我们提出了捆绑块卷积(TBC),它在相等的通道块上共享相同的较薄的滤波器,并使用单个滤波器产生多个响应。TBC的概念还可以扩展到组卷积和全连接层,并可以应用于各种骨干网络和注意力模块。我们在分类、检测、实例分割和注意力方面的大量实验证明了TBC在标准卷积和组卷积上的显著全面增益。所提出的TiedSE注意力模块甚至可以使用比SE模块少64倍的参数来实现相当的性能。特别是,标准CNN在存在遮挡的情况下通常无法准确地聚合信息,并导致多个冗余的部分对象提案。通过跨通道共享过滤器,TBC减少了相关性,并可以有效地处理高度重叠的实例。当遮挡率为80%时,TBC将MS-COCO上的目标检测的平均精度提高了6%。我们的代码将被释放。
2020-09-25 cs.CV
Full-Stack Filters to Build Minimum Viable CNNs
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Sydney(悉尼大学)
深度卷积神经网络(CNN)通常是过参数化的,无法轻松部署在手机、智能相机等边缘设备上。现有工作用于减少边缘设备上最小可行CNN的所请求卷积滤波器的数量或大小。相比之下,本文介绍的过滤器是全栈的,可以用来生成更多的子过滤器。这些子过滤器的权重是在不同二进制掩码的帮助下从全栈过滤器继承的。正交约束应用于二进制掩码,以减少它们的相关性,并促进生成的子滤波器的多样性。为了保持相同的输出特征映射量,我们可以自然地减少已建立的过滤器的数量,只保留几个全栈过滤器和一组二进制掩码。我们还进行了理论分析的内存成本和一个有效的实现所提出的滤波器的卷积。在多个基准数据集和CNN模型上的实验表明,该方法能够构造性能相当的最小可行卷积网络。
2019-08-06 cs.CV cs.LG
Snapshot HDR Video Construction Using Coded Mask
National Center for Data Analytics and Artificial Intelligence(国家数据分析与人工智能中心);KACST(阿卜杜勒-阿齐兹国王科技城);Visual Computing Center(视觉计算中心);KAUST(阿卜杜拉国王科技大学)
本文研究了从快照编码的低动态范围(LDR)视频重建高动态范围(HDR)视频。构建HDR视频需要恢复每个帧的HDR值并保持连续帧之间的一致性。来自单个图像捕获的HDR图像获取(也称为快照HDR成像)可以以若干方式实现。例如,通过将光学元件引入到相机的光学堆叠中;通过将编码掩模放置在传感器前面的小间隔距离处,来实现可重新配置的快照HDR相机。使用深度学习方法可以从捕获的编码图像中恢复高质量的HDR图像。该研究利用3D-CNN从编码的LDR视频中执行联合去马赛克,去噪和HDR视频重建。我们通过引入一个考虑短期和长期一致性的时间损失函数来实现时间上更一致的HDR视频重建。所获得的结果是有希望的,并可能导致负担得起的HDR视频捕获使用传统的相机。
2021-12-05 cs.CV eess.IV
PICNN: A Pathway towards Interpretable Convolutional Neural Networks
Tongji University(同济大学)
针对CNN中滤波器与类别纠缠导致可解释性不足的问题,提出PICNN路径,通过伯努利采样和重参数化技巧实现深层卷积滤波器按类别聚类,在多架构多数据集上验证其兼具更强可解释性与相当或更优判别能力。
2023-12-19 cs.AI cs.CV cs.LG
Compressing Deep CNNs using Basis Representation and Spectral Fine-tuning
Center for Research in Computer Vision(计算机视觉研究中心);Department of Computer Science(计算机科学系);University of Central Florida(中佛罗里达大学)
我们提出了一种有效而直接的方法来压缩深度卷积神经网络(CNN),该方法使用基础滤波器来表示卷积层,并直接在基础空间中优化压缩网络的性能。具体来说,CNN的任何空间卷积层都可以被两个连续的卷积层取代:第一个是一组三维正交基滤波器,后面是一层一维滤波器,它表示基空间中的原始空间滤波器。我们联合微调基础和滤波器表示,以直接减轻由于截断而导致的任何性能损失。通过将其应用于几个众所周知的深度CNN架构和用于图像分类和目标检测的数据集,证明了所提出的方法的通用性。我们还提出了Xavier Jetson AGX处理器在不同压缩级别下的执行时间和功耗。
2021-05-21 cs.CV
Filter Pruning by Switching to Neighboring CNNs with Good Attributes
University of Technology Sydney(悉尼科技大学);A*STAR Centre for Frontier AI Research (CFAR)(新加坡科技研究局前沿人工智能研究中心);Zhejiang University(浙江大学)
滤波器剪枝是降低神经网络计算量的有效方法。现有的方法表明,更新以前的修剪过滤器将使大的模型容量和实现更好的性能。然而,在迭代修剪过程中,即使网络权重被更新为新值,修剪准则也保持不变。此外,在评估滤波器重要性时,仅考虑滤波器的幅度信息。然而,在神经网络中,滤波器不能单独工作,但它们会影响其他滤波器。结果,仅反映单个滤波器本身的信息的每个滤波器的幅度信息不足以判断滤波器重要性。为了解决上述问题,我们提出了基于元属性的过滤修剪(MFP)。首先,为了扩展现有的基于幅度信息的剪枝准则,我们引入了一组新的准则来考虑滤波器的几何距离。此外,为了明确评估网络的当前状态,我们通过元属性(神经网络在当前状态下的属性)自适应地选择最合适的标准进行修剪。在两个图像分类基准上的实验验证了该方法的有效性。对于ILSVRC-2012上的ResNet-50,我们可以减少超过50%的FLOP,而前5名的准确性损失仅为0.44%。
2022-02-11 cs.CV
Volumetric and Multi-View CNNs for Object Classification on 3D Data
Stanford University(斯坦福大学)
3D形状模型变得越来越广泛,并且更容易捕获,使得可用的3D信息对于对象分类的进展至关重要。目前最先进的方法依赖于CNN来解决这个问题。最近,我们看到两种类型的CNN正在开发:基于体积表示的CNN与基于多视图表示的CNN。这两种类型CNN的经验结果显示出很大的差距,表明现有的体积CNN架构和方法无法充分利用3D表示的能力。在本文中,我们的目标是根据对现有方法的广泛分析来改进体积CNN和多视图CNN。为此,我们介绍了两种不同的体积CNN网络架构。此外,我们还研究了多视图CNN,其中我们在3D中引入了多分辨率滤波。总的来说,我们能够在体积CNN和多视图CNN方面胜过当前最先进的方法。我们提供了广泛的实验,旨在评估潜在的设计选择,从而提供了一个更好的理解空间的方法可用于对象分类的3D数据。
2016-04-29 cs.AI cs.CV
You Look Twice: GaterNet for Dynamic Filter Selection in CNNs
Google Research, Mountain View(谷歌研究,山景城);The Hong Kong University of Science and Technology, Hong Kong(香港科技大学,香港)
深度网络的条件计算的概念以前已经提出,通过选择性地只使用模型的一部分来提高模型性能,该模型是以它正在处理的样本为条件的。在本文中,我们研究了深度卷积神经网络(CNN)中依赖于输入的动态滤波器选择。这个问题很有趣,因为强制模型的不同部分从不同类型的样本中学习的想法可以帮助我们在CNN中获得更好的过滤器,提高模型的泛化性能,并潜在地提高模型行为的可解释性。我们提出了一个新颖而简单的框架称为GaterNet,它涉及到一个骨干网和一个网关网络。骨干网络是常规的CNN,其执行进行预测所需的主要计算,而引入全局门控网络以生成二进制门,用于基于每个输入选择性地激活骨干网络中的滤波器。在CIFAR和ImageNet数据集上进行的大量实验表明,我们的模型始终优于原始模型,并且具有很大的优势。在CIFAR-10上,我们的模型也改进了最先进的结果。
2019-04-01 cs.CV cs.LG
Learning on the Edge: Explicit Boundary Handling in CNNs
University College London(伦敦大学学院)
卷积神经网络(CNN)处理滤波器使用几种算法(如零、重复或均值填充)扩展到图像边界之外的情况。这些方案以ad-hoc方式应用,并且与图像内容弱相关并且不注意目标任务,导致边界处的低输出质量。在本文中,我们提出了一个简单而有效的改进,学习边界处理本身。在训练时,网络提供有一组单独的显式边界滤波器。在测试时,我们使用这些过滤器,这些过滤器已经学会了以特定任务的最佳方式外推边界处的特征。我们广泛的评估,在广泛的架构变化(层,功能通道,或两者的变化),显示了显式过滤器如何改善边界处理。因此,我们证明了典型的CNN应用(彩色化,去Bayering,光流和视差估计)的5%到20%的改善。
2018-05-08 cs.CV
Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler
East China Normal University(华东师范大学);Xiamen University(厦门大学);Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Tencent(腾讯);University of Sheffield(谢菲尔德大学);University at Buffalo(布法罗大学)
提出知识驱动差分滤波器采样器(KDFS)与掩码滤波器建模框架,基于预训练模型先验知识端到端全局剪枝冗余滤波器,在ImageNet上ResNet-50计算量减55.36%、参数减42.86%,准确率仅降0.35%。
2023-07-01 cs.CV
Learning Filter Scale and Orientation In CNNs
Isik University(伊希克大学)
卷积神经网络有许多超参数,如过滤器大小、过滤器数量和池大小,这些都需要手动调整。尽管深度堆叠结构能够创建多尺度和分层表示,但手动固定的过滤器大小限制了可以在单个卷积层中学习的表示的尺度。本文介绍了一种新的自适应滤波器模型,允许可变尺度和方向。滤波器的尺度和方向参数可以使用反向传播来学习。因此,在单个卷积层中,我们可以创建不同尺度和方向的滤波器,以适应小或大的特征和对象。所提出的模型使用一个相对较大的基础大小(网格)的过滤器。在网格中,可微函数充当滤波器的包络。包络函数通过在卷积之前掩蔽滤波器权重来指导有效的滤波器尺度和形状/方向。因此,在训练期间仅更新包络中的权重。在这项工作中,我们采用多变量(2D)高斯作为包络函数,并表明它可以通过在反向传播训练期间更新其协方差矩阵来增长,收缩或旋转。我们在MNIST、MNIST-cluttered和CIFAR-10上测试了新的滤波器模型,并将结果与使用传统卷积层的网络进行了比较。结果表明,新模型可以有效地学习和产生不同尺度和方向的过滤器在一个单一的层。此外,实验表明,自适应卷积层的性能相当,甚至更好,特别是当数据包括不同规模的对象和嘈杂的背景。
2018-02-13 cs.CV
Blind Image Inpainting with Sparse Directional Filter Dictionaries for Lightweight CNNs
University of Stuttgart(斯图加特大学);University of Houston(休斯顿大学)
近年来,基于深度学习架构的盲修复算法表现出了显着的性能,通常在图像质量和运行时间方面都优于基于模型的方法。然而,神经网络策略通常缺乏理论解释,这与基于模型的方法的基础理论形成对比。在这项工作中,我们充分利用这两种方法的优点,将理论上建立的概念,从变换域方法和稀疏近似到基于CNN的方法,用于盲图像修补。为此,我们提出了一种学习卷积核的新策略,该策略应用了一个专门设计的滤波器字典,其元素与可训练权重线性组合。数值实验证明了这种方法的竞争力。我们的研究结果表明,与传统的CNN相比,修复质量不仅有所提高,而且在轻量级网络设计中的网络收敛速度也明显加快。
2022-05-13 cs.CV math.RT
Interpretable CNNs for Object Classification
Shanghai Jiao Tong University(上海交通大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种在深度卷积神经网络(CNN)中学习可解释卷积滤波器进行对象分类的通用方法,其中每个可解释滤波器对特定对象部分的特征进行编码。我们的方法不需要额外的注释对象的部分或纹理的监督。相反,我们使用与传统CNN相同的训练数据。我们的方法在学习过程中自动为高conv层中的每个可解释过滤器分配特定类别的对象部分。在CNN的conv层中的这种显式知识表示帮助人们澄清在CNN中编码的逻辑,即,回答CNN从输入图像中提取什么模式并用于预测。我们已经使用具有各种结构的不同基准CNN测试了我们的方法,以证明我们方法的广泛适用性。实验表明,我们的可解释的过滤器是更有意义的语义比传统的过滤器。
2020-03-12 cs.CV cs.LG stat.ML
Semantic Image Segmentation with Task-Specific Edge Detection Using CNNs and a Discriminatively Trained Domain Transform
Google Inc.(谷歌公司)
深度卷积神经网络(CNN)是最先进的语义图像分割系统的支柱。最近的工作表明,用全连接条件随机场(CRF)补充CNN可以显着提高其对象定位精度,但密集的CRF推理在计算上是昂贵的。我们建议用域变换(DT)代替完全连接的CRF,域变换是一种现代的边缘保持滤波方法,其平滑量由基准边图控制。域变换过滤比密集CRF推理快几倍,我们表明,它产生可比的语义分割结果,准确地捕捉对象边界。重要的是,我们的公式允许从中间CNN特征学习基准边图,而不是像标准DT滤波那样使用图像梯度幅度。这在优化目标语义分割质量的端到端可训练系统中产生任务特定的边缘。
2016-06-02 cs.CV
Bootstrapping ViTs: Towards Liberating Vision Transformers from Pre-training
Zhejiang University(浙江大学);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院)
近年来,视觉Transformer(ViTs)发展迅速,并开始挑战计算机视觉(CV)领域中卷积神经网络(CNN)的统治地位。随着通用Transformer架构取代卷积的硬编码感应偏置,ViT已经超过了CNN,特别是在数据充足的情况下。然而,ViT容易在小数据集上过度拟合,因此依赖于大规模的预训练,这需要花费大量的时间。在本文中,我们努力将ViTs从预训练中解放出来,将CNN的归纳偏差引入ViTs,同时保留它们的网络架构以获得更高的上限并设置更合适的优化目标。首先,基于具有归纳偏差的给定ViT设计了代理CNN。然后提出了一种自举训练算法,通过权重共享共同优化Agent和ViT,ViT从Agent的中间特征中学习归纳偏差。在有限训练数据的CIFAR-10/100和ImageNet-1 k上进行的大量实验显示了令人鼓舞的结果,即归纳偏差有助于ViT更快地收敛,并在更少的参数下优于传统的CNN。我们的代码可在https://github.com/zhfeing/Bootstrapping-ViTs-pytorch上公开获取。
2022-03-26 cs.AI cs.CV
Robust Spatial Filtering with Graph Convolutional Neural Networks
卷积神经网络(CNN)最近在各种模式识别问题上取得了令人难以置信的突破。有限脉冲响应滤波器的银行学习的层次结构的层,每一个贡献更多的抽象信息比前一层。卷积滤波过程的简单性和优雅性使其非常适合图像,视频或语音等结构化问题,其中顶点在数量,位置和邻居强度方面是同质的。绝大多数分类问题,例如在制药、国土安全和金融领域,都是非结构化的。由于这些问题被公式化为非结构化图,因此这些问题的异质性,例如顶点数、每个顶点的连接数和边强度,不能用标准卷积技术来解决。我们提出了一种新型神经学习框架,能够处理同质和异构数据,同时保留传统CNN成功的好处。最近,研究人员提出了可以处理图形数据的CNN变体。为了创建可学习的过滤器组,这些方法要么对数据进行约束,要么需要预处理。与谱方法相反,我们的框架,我们称之为Graph-CNN,将过滤器定义为图邻接矩阵的函数的多项式。Graph-CNN可以处理异构和同构图数据,包括具有完全不同的顶点或边集的图。我们进行了实验,以验证Graph-CNN对各种结构化和非结构化分类问题的适用性,并展示了文档和分子分类问题的最新结果。
2017-07-14 cs.CV
Stochastic Filter Groups for Multi-Task CNNs: Learning Specialist and Generalist Convolution Kernels
University College London(伦敦大学学院);Kings College London(伦敦国王学院)
卷积神经网络(CNN)中多任务学习的性能取决于架构内任务之间特征共享的设计。可能的共享模式的数量在网络的深度和任务的数量上是组合的,因此纯粹基于人类对任务关系的直觉来手工制作架构可能是耗时且次优的。在本文中,我们提出了一种概率方法来学习CNN中用于多任务学习的任务特定和共享表示。具体来说,我们提出了“随机滤波器组”(SFG),这是一种将每层中的卷积内核分配给“专家”或“一般”组的机制,这些组分别特定于不同的任务或在不同的任务之间共享。SFG模块确定层之间的连接以及网络中特定于任务和共享表示的结构。我们采用变分推理来学习核和网络参数的可能分组的后验分布。实验表明,该方法概括了多个任务,并显示出改进的性能基线方法。
2019-08-26 cs.CV cs.LG
Decomposing the Deep: Finding Class Specific Filters in Deep CNNs
department= School of Computer
深度神经网络的可解释性已经成为一个主要的探索领域。虽然这些网络在许多任务中达到了最先进的精度,但解释和解释它们的决定是非常困难的。在这项工作中,我们分析了深度卷积网络的最后一层和倒数第二层,并提供了一种有效的方法来识别对网络决策贡献最大的特征子集。我们证明,与最终层的维度相比,每个类的此类特征的数量要低得多,因此Deep CNN的决策表面位于低维流形上,并且与网络深度成比例。我们的方法允许将最后一层分解为单独的子空间,与完整网络的最后一层相比,这些子空间更具可解释性,并且计算成本更低。
2022-04-04 cs.CV
Spectral Leakage and Rethinking the Kernel Size in CNNs
Delft University of Technology(代尔夫特理工大学)
CNN中的卷积层实现了线性滤波器,将输入分解为不同的频带。然而,大多数现代架构在优化关于卷积核的大小和形状的模型选择时忽略了滤波器设计的标准原则。在这项工作中,我们考虑了在CNN的背景下,滤波操作中的窗口化伪影引起的频谱泄漏的众所周知的问题。我们表明,小尺寸的CNN内核使他们容易受到频谱泄漏,这可能会导致性能下降的文物。为了解决这个问题,我们建议使用更大的内核大小以及汉明窗口函数来减轻CNN架构中的泄漏。我们在包括Fashion-MNIST、CIFAR-10、CIFAR-100和ImageNet在内的多个基准数据集上展示了改进的分类准确性,并在卷积层中简单使用了标准窗口函数。最后,我们表明,CNN采用汉明窗口显示增加了对各种对抗攻击的鲁棒性。
2021-07-29 cs.CV cs.LG
Harmonic Networks: Integrating Spectral Information into CNNs
ADAPT Centre(ADAPT中心);Trinity College Dublin(都柏林圣三一学院)
卷积神经网络(CNN)学习滤波器,以捕获特征空间中的局部相关模式。相比之下,在本文中,我们提出了谐波块,通过学习离散余弦变换定义的光谱滤波器的最佳组合来产生功能。谐波块用于取代传统的卷积层,以构建部分或完全谐波CNN。我们广泛地验证了我们的方法,并表明将谐波块引入最先进的CNN基线架构中,可以在小型NORB,CIFAR10和CIFAR100数据集的分类任务中获得相当或更好的性能。
2018-12-07 cs.CV cs.LG
Harnessing spatial homogeneity of neuroimaging data: patch individual filter layers for CNNs
Charité – Universitätsmedizin Berlin(柏林夏里特医学院)
例如从磁共振成像(MRI)获得的神经成像数据由于(1)大脑的均匀结构和(2)使用线性和非线性变换将数据空间标准化为标准模板的额外努力而非均匀的。相反,卷积神经网络(CNN)是专门为高度异构的数据(如自然图像)设计的,通过在图像中的不同位置上滑动卷积滤波器。在这里,我们提出了一种新的CNN架构,该架构将神经网络中的分层抽象思想与神经成像数据的空间均匀性相结合:虽然早期层使用标准卷积层进行全局训练,但我们为更高,更抽象的层引入补丁个体过滤器(PIF)。通过在不共享权重的情况下学习单个图像区域(补丁)中的过滤器,PIF层可以更快地学习抽象特征,并且使用更少的样本。我们彻底评估了三个不同任务和数据集的PIF层,即UK Biobank数据的性别分类,ADNI数据的阿尔茨海默病检测和私立医院数据的多发性硬化症检测。我们证明了使用PIF层的CNN具有更高的准确性,特别是在低样本量设置中,并且需要更少的训练时间来收敛。据我们所知,这是第一项为CNN学习引入大脑MRI先验的研究。
2020-07-23 cs.CV cs.LG q-bio.QM
A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology, Kharagpur, India(印度理工学院,Khargpur,印度)
提出一种基于线性近似的两层层次化贪婪剪枝算法,通过低层滤波器选择和全局剪枝准则高效剪枝,在多个网络上优于现有方法。
2026-05-23 cs.CV cs.LG
Harmonic Networks with Limited Training Samples
ADAPT Centre(ADAPT中心);School of Computer Science & Statistics, Trinity College Dublin(都柏林圣三一学院计算机科学与统计学院)
卷积神经网络(CNN)是当今图像处理中非常流行的一种网络。CNN允许人们在(大部分)监督机器学习上下文中学习最佳滤波器。然而,这通常需要大量标记的训练数据来估计滤波器参数。已经部署了替代策略来减少要学习的参数和/或滤波器的数量,从而减少过拟合。在恢复到预设滤波器的上下文中,我们在这里提出了一个计算效率高的谐波块,它在CNN中使用离散余弦变换(DCT)滤波器。在这项工作中,我们研究了谐波网络在有限的训练数据的情况下的性能。我们通过实验验证,它的性能比较以及对散射网络,使用小波作为预设的过滤器。
2019-04-30 cs.CV cs.LG
Structured Receptive Fields in CNNs
University of Amsterdam(阿姆斯特丹大学);TU Delft(代尔夫特理工大学)
当训练数据有限时,使用CNN学习强大的特征表示是困难的。预训练是克服这一问题的一种方法,但它需要与目标领域足够相似的大型数据集。另一种选择是将先验设计到模型中,其范围可以从调整的超参数到完全工程化的表示,如散射网络。我们将这些想法结合到结构化的感受野网络中,这种模型具有固定的过滤器基础,但保留了CNN的灵活性。这种灵活性是通过将CNN中的感受野表示为固定基础上的加权和来实现的,这与散射网络的精神相似。关键的区别在于,我们从基础中学习任意有效的滤波器集,而不是对滤波器进行建模。这种方法明确地将经典的多尺度图像分析与一般的CNN连接起来。通过结构化感受野网络,我们大大改善了中小型数据集场景的非结构化CNN以及大型数据集的散射。我们验证了ILSVRC 2012,Cifar-10,Cifar-100和MNIST的研究结果。作为一个现实的小数据集的例子,我们展示了流行的3D MRI脑疾病数据集的最先进的分类结果,由于缺乏类似领域的大型公共数据集,预训练是困难的。
2016-05-13 cs.CV
Interpreting Convolutional Neural Networks Through Compression
University of California, Berkeley(加州大学伯克利分校)
卷积神经网络(CNN)在计算机视觉中的各种任务中实现了最先进的性能。然而,解释CNN仍然是一个挑战。这主要是由于这些网络中有大量的参数。在这里,我们研究了压缩,特别是修剪过滤器在CNN解释中的作用。我们利用我们最近提出的贪婪结构压缩方案,该方案在经过训练的CNN中修剪过滤器。在我们的压缩中,过滤器重要性指数被定义为修剪该过滤器后网络的分类精度降低(CAR)。然后基于CAR索引迭代地修剪滤波器。我们通过展示我们的算法修剪具有视觉冗余模式选择性的过滤器来证明CAR压缩CNN的可解释性。具体来说,我们展示了形状选择性过滤器对对象识别的重要性,而不是颜色选择性过滤器。在AlexNet中的前20个CAR修剪过滤器中,第一层中的17个和第二层中的14个是颜色选择过滤器。最后,我们引入了CAR重要性指数的一个变体,它量化了每个图像类对每个CNN过滤器的重要性。我们发现,最重要和最不重要的类标签提出了一个有意义的解释,每个过滤器是一致的可视化模式选择性的过滤器。
2017-11-07 cs.CV cs.LG stat.ML
Cascaded Subpatch Networks for Effective CNNs
Tianjin University(天津大学);Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences(中国科学院西安光学精密机械研究所)
常规卷积神经网络(CNN)使用线性或非线性滤波器来从空间大小为$ H\times W $(通常,$ H $较小且等于$ W$,例如,$ H $是5或7)。通常,滤波器的大小等于输入补丁的大小$ H\times W $。我们认为,等规模策略的代表能力不够强。为了克服这个缺点,我们建议使用子补丁滤波器的空间尺寸$ h\times w $小于$ H\times W $。建议的子补丁滤波器由两个后续的过滤器。第一个是空间大小为$ h\times w $的线性滤波器,其目的是从空间域提取特征。第二个是空间大小为$ 1\times 1 $的,用于加强不同输入特征通道之间的连接,并用于减少参数的数量。子面片滤波器与输入面片卷积,得到的网络称为子面片网络。以一个子网络的输出作为输入,我们进一步重复构造子网络,直到输出在空间域中只包含一个神经元。这些子补丁网络形成一个新的网络称为级联子补丁网络(CSNet)。CSNet生成的要素图层称为csconv图层。对于整个输入图像,我们通过堆叠一系列csconv层来构建深度神经网络。在四个基准数据集上的实验结果证明了所提出的CSNet的有效性和紧凑性。例如,我们的CSNet在CIFAR10数据集上达到了$ 5.68\% $的测试误差,而没有模型平均。据我们所知,这是CIFAR10数据集上获得的最佳结果。
2016-03-01 cs.CV
Layer-wise training convolutional neural networks with smaller filters for human activity recognition using wearable sensors
Nanjing Normal University(南京师范大学);Nanjing University of Information Science and Technology(南京信息工程大学)
最近,卷积神经网络(CNN)已经在各种人类活动识别(HAR)数据集上设置了最新的最新技术水平。然而,深度CNN通常需要更多的计算资源,这限制了其在嵌入式HAR中的应用。虽然已经提出了许多成功的方法来减少CNN的内存和FLOPs,但它们通常涉及为视觉任务设计的特殊网络架构,由于显着的差异,这些网络架构不适用于具有时间序列传感器信号的深度HAR任务。因此,有必要开发轻量级的深度模型来执行HAR。由于滤波器是构建CNN的基本单元,因此重新设计较小的滤波器是否适用于深度HAR值得进一步研究。在本文中,受此想法的启发,我们提出了一个轻量级的CNN使用乐高过滤器的HAR。一组低维滤波器被用作乐高积木来堆叠常规滤波器,它不依赖于任何特殊的网络结构。采用局部损失函数对模型进行训练。据我们所知,这是第一篇论文,提出了轻量级的CNN的HAR在无处不在和可穿戴计算领域。在五个公共HAR数据集,UCI-HAR数据集,OPPORTUNITY数据集,UNIMIB-SHAR数据集,PAMAP 2数据集和WISDM数据集上的实验结果表明,我们的新型Lego CNN具有局部损失,可以大大降低存储和计算成本比CNN,同时实现更高的精度。也就是说,所提出的模型更小,更快,更准确。最后,我们评估了Android智能手机上的实际性能。
2021-08-05 cs.CV
Learning Interpretable Concept Groups in CNNs
Technical University of Kaiserslautern(凯泽斯劳滕工业大学);Technical University of Berlin(柏林工业大学);University of Birmingham(伯明翰大学);NPZ Innovation GmbH(NPZ创新有限公司);University of St.Gallen(圣加仑大学)
我们提出了一种新的训练方法-概念组学习(CGL)-通过将每层中的过滤器划分为概念组,每个概念组都被训练来学习单个视觉概念,从而鼓励训练可解释的CNN过滤器。我们通过一种新的正则化策略来实现这一点,该策略迫使同一组中的过滤器在给定层的相似图像区域中处于活动状态。我们还使用正则化器来鼓励每一层中概念组的稀疏加权,以便少数概念组可以比其他概念组具有更大的重要性。我们定量评估CGL的模型的可解释性,使用标准的可解释性评估技术,发现我们的方法在大多数情况下增加了可解释性分数。我们比较了使用CGL学习的过滤器与没有CGL学习的过滤器下最活跃的图像区域,发现CGL激活区域更强烈地集中在语义相关的特征周围。
2021-09-21 cs.CV cs.LG
Performance-aware Approximation of Global Channel Pruning for Multitask CNNs
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室)
全局通道修剪(GCP)旨在从深度模型中删除跨不同层的通道(过滤器)子集,而不会影响性能。以往的工作主要集中在单任务模型的剪枝或简单地将其应用于多任务场景,但在处理多任务剪枝时仍然面临以下问题:1)由于任务不匹配,一个良好的分类任务剪枝主干集中在保留能够提取类别敏感信息的过滤器上,导致可能对其他任务有用的过滤器在主干剪枝阶段被剪枝; 2)对于多任务预测,层内或层间的不同过滤器比单任务预测更紧密相关和相互作用,使得多任务修剪更困难。因此,针对多任务模型压缩,我们提出了一个性能感知的全局通道修剪(PAGCP)框架。我们首先从理论上提出了实现卓越GCP的目标,通过考虑层内和层间滤波器的联合显着性。然后提出了一种顺序贪婪剪枝策略来优化目标,其中开发了性能感知的预言标准来评估过滤器对每个任务的敏感性,并保留全局最多的任务相关的过滤器。在多个多任务数据集上的实验表明,提出的PAGCP在性能下降较小的情况下,可以将FLOP和参数减少60%以上,并在云和移动平台上实现1.2倍$\sim$ 3.3倍的加速。
2023-03-21 cs.CV
Dynamic Structure Pruning for Compressing CNNs
Korea University(高丽大学)
结构剪枝是压缩和加速神经网络的一种有效方法。虽然滤波器和信道修剪在实际加速和硬件兼容性方面优于其他结构修剪方法,但是具有更细粒度的修剪方法(诸如信道内修剪)被期望能够产生更紧凑和计算效率更高的网络。由于大的搜索空间,典型的通道内修剪方法利用静态和手工修剪粒度,这为其修剪性能留下了改进的空间。在这项工作中,我们引入了一种新的结构修剪方法,称为动态结构修剪,以确定最佳的修剪粒度内通道修剪。与现有的通道内剪枝方法相比,所提出的方法在训练深度神经网络的同时自动优化每层的动态剪枝粒度。为了实现这一目标,我们提出了一种可微组学习方法,旨在有效地学习基于过滤器组的梯度学习的修剪粒度。实验结果表明,动态结构修剪实现了最先进的修剪性能和更好的真实感加速在GPU上相比,通道修剪。特别是,它将ResNet50的FLOP降低了71.85%,而不会降低ImageNet数据集的准确性。我们的代码可在www.example.com上获得。
2023-03-17 cs.AI cs.CV
BasisConv: A method for compressed representation and learning in CNNs
University of Central Florida(中佛罗里达大学)
众所周知,卷积神经网络(CNN)在其滤波器权重中具有显著的冗余。在文献中已经提出了各种方法来压缩训练的CNN。这些技术包括修剪权重、滤波器量化和用基函数表示滤波器。我们的方法属于后一类策略,但不同之处在于,我们表明压缩学习和表示可以在不对流行的CNN架构进行重大修改的情况下实现。具体来说,CNN的任何卷积层都可以很容易地被两个连续的卷积层取代:第一个是一组固定的滤波器(表示整个层的知识空间并且不会改变),然后是一个一维滤波器层(表示在这个空间中学习的知识)。对于预训练的网络,固定层只是原始滤波器的截断特征分解。1D滤波器被初始化为线性组合的权重,但是被微调以恢复由于截断而导致的任何性能损失。对于从头开始训练网络,我们使用一组随机正交固定滤波器(永远不会改变),并直接从标记数据中学习1D权重向量。我们的方法大大减少了i)训练过程中可学习参数的数量,以及ii)实现过程中乘法运算和滤波器存储要求的数量。它这样做不需要卷积层中的任何特殊运算符,并扩展到所有已知的流行CNN架构。我们将我们的方法应用于四个众所周知的网络架构,使用三个不同的数据集进行训练。结果显示,i)操作数量减少了5倍,ii)可学习参数的数量减少了18倍,CIFAR100数据集的性能下降不到3%。
2019-06-11 cs.CV cs.LG stat.ML
Learning to generate filters for convolutional neural networks
Fujitsu Research & Development Center(富士通研发中心)
传统上,卷积神经网络(CNN)用同一组滤波器处理不同的图像。然而,图像的变化对这种时尚提出了挑战。在本文中,我们建议在前向传递中为卷积层生成样本特定的滤波器。由于滤波器是实时生成的,因此与传统CNN相比,该模型变得更加灵活,可以更好地拟合训练数据。为了获得特定于样本的特征,我们从自动编码器中提取中间特征图。由于滤波器通常是高维的,我们建议学习一组系数,而不是一组滤波器。这些系数用于线性组合来自滤波器库的基础滤波器,以生成用于CNN的最终滤波器。在MNIST、MTFL和CIFAR10数据集上对该方法进行了评估。实验结果表明,该方法可以提高基线模型的分类精度。
2018-12-05 cs.CV
An accuracy-aware extension to LRP-based pruning for CNNs to prevent cascading accuracy degradation in data-scarce transfer learning
Mathematics and Computer Science National Defense Academy of Japan(日本防卫大学校数学与计算机科学系)
针对数据稀缺迁移学习中预训练CNN剪枝导致的级联精度下降问题,提出一种精度感知的剪枝控制机制,通过动态调整剪枝率和顺序来抑制精度下降,提升模型压缩后的分类性能。
2026-05-28 cs.AI cs.CV cs.LG
Interpretable Convolutional Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出了一种将传统的卷积神经网络(CNN)改造为可解释的CNN的方法,以明确CNN高层的知识表示。在可解释的CNN中,高conv层中的每个滤波器表示特定的对象部分。我们不需要任何对象部分或纹理的注释来监督学习过程。相反,可解释的CNN在学习过程中自动为高conv层中的每个滤波器分配对象部分。我们的方法可以应用于具有不同结构的不同类型的CNN。可解释的CNN中清晰的知识表示可以帮助人们理解CNN内部的逻辑,即,基于CNN做出决定的模式。实验表明,可解释的CNN中的过滤器比传统CNN中的过滤器在语义上更有意义。
2018-02-14 cs.CV
Pruning for Feature-Preserving Circuits in CNNs
Harvard University(哈佛大学)
本文提出利用基于显著性的剪枝方法从深度CNN中提取仅保留目标特征相关卷积核的“特征保持电路”,比较了三种显著性准则,并开发了电路图可视化工具,以提升CNN图像滤波过程的可解释性。
2023-04-17 cs.CV cs.LG
On Translation Invariance in CNNs: Convolutional Layers can Exploit Absolute Spatial Location
Delft University of Technology(代尔夫特理工大学)
在本文中,我们挑战了现代CNN中卷积层是平移不变的常见假设。我们表明,CNN可以并且将会通过学习过滤器来利用绝对空间位置,这些过滤器通过利用图像边界效应专门响应特定的绝对位置。由于现代CNN滤波器具有巨大的感受野,这些边界效应甚至在远离图像边界的地方起作用,使网络能够利用整个图像的绝对空间位置。我们给出了一个简单的解决方案,以消除空间位置编码,提高了平移不变性,从而提供了一个更强的视觉归纳偏见,特别是有利于小数据集。我们广泛地展示了这些好处的几个架构和各种应用程序,如图像分类,补丁匹配,和两个视频分类数据集。
2020-05-30 cs.CV cs.LG eess.IV
Towards Learning Affine-Invariant Representations via Data-Efficient CNNs
The University of Kansas(堪萨斯大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
在本文中,我们提出将先验知识集成到卷积神经网络(CNN)的设计和训练中,以学习对仿射变换不变的对象表示(即,平移、缩放、旋转)。因此,我们提出了一种新的多尺度最大输出CNN和训练它端到端的一个新的旋转不变的正则化。该正则化器旨在强制每个2D空间滤波器中的权重以近似圆形模式。通过这种方式,我们可以使用卷积,多尺度maxout和循环滤波器来处理训练中的仿射变换。经验上,我们证明,这样的知识可以显着提高数据的效率,以及学习模型的泛化和鲁棒性。例如,在交通标志数据集上,每个类只使用10张图像进行训练,我们的方法可以达到84.15%,在测试准确率方面比最先进的方法高出29.80%。
2019-08-31 cs.CV
HyperNetworks with statistical filtering for defending adversarial examples
众所周知,深度学习算法在诸如图像分类等各种任务中容易受到对抗性扰动的影响。这个问题是通过采用几种防御方法来检测和拒绝特定类型的攻击来解决的。然而,根据特定防御方案训练和操纵网络增加了学习算法的计算复杂性。在这项工作中,我们提出了一个简单而有效的方法来提高卷积神经网络(CNN)的鲁棒性对抗攻击通过使用数据相关的自适应卷积核。为此,我们提出了一种新型的超网络,以采用统计特性的输入数据和统计自适应地图的计算功能。然后,我们用学习到的统计映射来过滤CNN的卷积权重,以计算动态内核。因此,权重和核被共同优化,用于学习对对抗攻击鲁棒的图像分类模型,而不采用附加的目标检测和拒绝算法。我们凭经验证明,所提出的方法使CNN能够自发地防御不同类型的攻击,例如由高斯噪声、快速梯度符号方法(Goodfellow et al.,2014)和黑箱攻击(Narodytska & Kasiviswanathan,2016)。
2017-11-06 cs.CV