DCFNet: Deep Neural Network with Decomposed Convolutional Filters
Duke University（杜克大学）
卷积神经网络（CNN）中的滤波器包含从大量数据中学习的模型参数。在本文中，我们建议将CNN中的卷积滤波器分解为具有预定基的截断扩展，即分解卷积滤波器网络（DCFNet），其中扩展系数仍然是从数据中学习的。这种结构不仅减少了可训练参数的数量和计算量，而且通过基截断来施加滤波器规则性。通过大量的实验，我们始终观察到DCFNet在显著减少模型参数的情况下保持了图像分类任务的准确性，特别是在傅里叶-贝塞尔（FB）基，甚至是随机基的情况下。在理论上，我们分析了DCFNet的表示稳定性相对于输入的变化，并证明表示稳定性的一般假设下的扩展系数。分析结果与实证观察结果一致。
2018-07-27 cs.CV cs.LG stat.ML
Understanding the Covariance Structure of Convolutional Filters
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
神经网络权重通常从单变量分布随机初始化，即使在卷积等高度结构化的操作中，也仅控制单个权重的方差。最近的受ViT启发的卷积网络，如ConvMixer和ConvNeXt，使用大内核dependency卷积，其学习的滤波器具有显着的结构;这为研究其经验协方差提供了机会。在这项工作中，我们首先观察到这种学习滤波器具有高度结构化的协方差矩阵，此外，我们发现从小型网络计算的协方差可以用于有效地初始化各种不同深度，宽度，补丁大小和内核大小的较大网络，表明协方差结构的模型独立性程度。受这些发现的启发，我们提出了一种用于卷积滤波器的免学习多变量初始化方案，该方案使用其协方差的简单闭合形式构造。使用我们的初始化的模型优于使用传统单变量初始化的模型，并且通常达到或超过从学习的滤波器的协方差初始化的模型的性能;在某些情况下，这种改进可以在根本不训练dependency卷积滤波器的情况下实现。
2022-10-07 cs.AI cs.CV cs.LG
RotDCF: Decomposition of Convolutional Filters for Rotation-Equivariant Deep Networks
Duke University（杜克大学）
在深度特征中显式编码组动作使得卷积神经网络（CNN）能够处理图像的全局变形，这对于许多视觉任务的成功至关重要。本文提出了同时在空间和组几何结构上的联合可操纵基上分解卷积滤波器，即具有分解卷积滤波器的旋转等变CNN（RotDCF）。这种分解便于计算联合卷积，这被证明是必要的组等方差。它显着降低了模型的大小和计算复杂性，同时保持性能，和截断的基础扩展隐式正则化的过滤器。在涉及面内和面外对象旋转的数据集上，RotDCF深度特征比常规CNN表现出更强的鲁棒性和可解释性。的稳定性的等变表示输入变化的理论上也证明了一般假设下的过滤器的分解形式。RotDCF框架可以扩展到旋转以外的组，提供了一种通用的方法，可以在减小的模型大小下实现组等方差和表示稳定性。
2018-05-17 cs.CV cs.LG stat.ML
FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary
Arizona State University（亚利桑那州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；StylingAI Inc.（StylingAI公司）
我们提出了一种通过卷积滤波器的新表示进行权重共享来压缩深度卷积神经网络（CNN）的新方法。所提出的方法通过学习称为滤波器摘要（FS）的1D向量来减少每个卷积层的参数数量。卷积滤波器位于FS中作为重叠的1D段，FS中的邻近滤波器以自然的方式在其重叠区域中共享权重。基于这种权重共享方案的所得神经网络（称为滤波器摘要CNN或FSNet）在每个卷积层中具有FS，而不是常规卷积层中的一组独立滤波器。FSNet具有与待压缩的基线CNN相同的架构，并且FSNet的每个卷积层在前向过程中具有与基线CNN相同数量的来自FS的滤波器。FSNet的参数空间远小于基线CNN的参数空间，具有令人信服的计算加速比。此外，FSNet是量化友好的。具有权重量化的FSNet导致甚至更高的压缩比，而没有明显的性能损失。我们进一步提出了可微分FSNet，其中过滤器共享权重的方式是以可微分和端到端的方式学习的。实验证明了FSNet在压缩CNN用于计算机视觉任务（包括图像分类和目标检测）中的有效性，并且DFSNet的有效性通过神经结构搜索任务得到了证明。
2020-04-10 cs.AI cs.LG stat.ML
TV-Rec: Time-Variant Convolutional Filter for Sequential Recommendation
KAIST（韩国科学技术院）
TV-Rec通过引入时间变换单元卷积滤波器，提升了序列推荐中对复杂用户行为交互模式的捕捉能力，同时减少了计算量并加速了推理过程。
2025-10-29 cs.AI cs.IR cs.LG
On Filter Size in Graph Convolutional Networks
University of Padova（帕多瓦大学）；University of Freiburg（弗赖堡大学）；University of Nottingham（诺丁汉大学）
近年来，关于图的神经网络的定义一直是众多研究者关注的焦点。这些方法中的许多方法的基本组成部分仍然是近十年前提出的图卷积思想。在本文中，我们扩展了这个基本组成部分，从多维张量上著名的卷积滤波器中得到的直觉。特别是，我们推导出一个简单，高效和有效的方法来引入一个超参数的图卷积，影响过滤器的大小，即它的感受野在所考虑的图。我们在真实世界图数据集上的实验结果表明，所提出的图卷积滤波器提高了深度图卷积网络的预测性能。
2018-11-23 cs.LG stat.ML
GaborNet: Gabor filters with learnable parameters in deep convolutional neural networks
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文描述了一种使用深度卷积神经网络进行图像识别的系统。提出了改进的网络结构，重点是提高收敛性和降低训练复杂度。网络第一层中的滤波器被约束以拟合Gabor函数。Gabor函数的参数是可学习的，并通过标准的反向传播技术进行更新。该系统在Python上实现，在几个数据集上进行了测试，性能优于常见的卷积网络。
2019-04-30 cs.CV cs.LG eess.IV
Interpreting Convolutional Neural Networks Through Compression
University of California, Berkeley（加州大学伯克利分校）
卷积神经网络（CNN）在计算机视觉中的各种任务中实现了最先进的性能。然而，解释CNN仍然是一个挑战。这主要是由于这些网络中有大量的参数。在这里，我们研究了压缩，特别是修剪过滤器在CNN解释中的作用。我们利用我们最近提出的贪婪结构压缩方案，该方案在经过训练的CNN中修剪过滤器。在我们的压缩中，过滤器重要性指数被定义为修剪该过滤器后网络的分类精度降低（CAR）。然后基于CAR索引迭代地修剪滤波器。我们通过展示我们的算法修剪具有视觉冗余模式选择性的过滤器来证明CAR压缩CNN的可解释性。具体来说，我们展示了形状选择性过滤器对对象识别的重要性，而不是颜色选择性过滤器。在AlexNet中的前20个CAR修剪过滤器中，第一层中的17个和第二层中的14个是颜色选择过滤器。最后，我们引入了CAR重要性指数的一个变体，它量化了每个图像类对每个CNN过滤器的重要性。我们发现，最重要和最不重要的类标签提出了一个有意义的解释，每个过滤器是一致的可视化模式选择性的过滤器。
2017-11-07 cs.CV cs.LG stat.ML
Graph Neural Networks with convolutional ARMA filters
Università della Svizzera Italiana（瑞士意大利语区大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）；Politecnico di Milano（米兰理工大学）
流行的图神经网络基于多项式谱滤波器在图上实现卷积运算。在本文中，我们提出了一种受自回归移动平均（ARMA）滤波器启发的新型图卷积层，与多项式滤波器相比，它提供了更灵活的频率响应，对噪声更具鲁棒性，并且更好地捕获全局图结构。我们提出了一个图神经网络实现的ARMA滤波器的递归和分布式配方，获得一个卷积层，是有效的训练，本地化的节点空间，并可以转移到新的图形在测试时。我们进行了频谱分析，研究建议的ARMA层的过滤效果和报告实验的四个下游任务：半监督节点分类，图形信号分类，图形分类，图形回归。结果表明，所提出的ARMA层带来了显着的改善，图神经网络的基础上多项式滤波器。
2021-01-24 cs.LG stat.ML
Pruning Convolutional Filters using Batch Bridgeout
University of Saskatchewan（萨斯喀彻温大学）
最先进的计算机视觉模型的容量正在迅速增加，其中参数的数量远远超过拟合训练集所需的数量。这将导致更好的优化和泛化性能。然而，当代模型的巨大规模导致了巨大的推理成本，并限制了它们在资源有限的设备上的使用。为了降低推理成本，可以修剪训练的神经网络中的卷积滤波器，以减少推理期间的运行时存储器和计算需求。然而，如果训练算法导致密集的权重向量，则严重的训练后修剪会导致性能下降。我们提出了使用批量桥接，稀疏诱导随机正则化计划，训练神经网络，使他们可以有效地修剪性能下降最小。我们在CIFAR图像分类任务上对常见的计算机视觉模型VGGNet，ResNet和Wide-ResNet进行了评估。对于所有网络，实验结果表明，与Dropout和权重衰减正则化相比，Batch Bridgeout训练的网络在广泛的修剪强度范围内实现了更高的准确性。
2020-09-23 cs.AI cs.CV cs.LG
Explaining Convolutional Neural Networks by Tagging Filters
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Mannheim（曼海姆大学）
卷积神经网络（CNN）在各种图像分类任务上取得了惊人的性能，但人类很难理解分类是如何产生的。最近的文献提出了向人类解释分类过程的方法。这些主要集中在可视化特征图和过滤器权重上，这对于非专家来说在分析CNN分类时不是很直观。在本文中，我们提出了FilTag，这是一种即使对非专家也能有效解释CNN的方法。这个想法是，当一个类别的图像经常激活卷积滤波器时，该滤波器就会被标记为该类别。这些标记提供了对过滤器检测到的类特定特征的引用的解释。基于标记，然后可以根据输入图像激活的滤波器的标记直观地解释各个图像分类。最后，我们表明，标签是有帮助的，在分析分类错误所造成的噪声输入图像，标签可以进一步处理的机器。
2021-09-20 cs.CV cs.LG
Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University（广岛大学）
由于卷积神经网络经常用冗余参数训练，因此可以减少冗余核或滤波器以获得紧凑的网络而不降低分类精度。在本文中，我们提出了一种过滤器修剪方法使用层次组稀疏正则化。在我们以前的工作中，层次组稀疏正则化是有效的，在获得稀疏网络中，连接到不必要的通道的过滤器自动接近零。在对卷积神经网络进行层次群稀疏正则化训练后，根据随机选取的训练样本分类损失的增加情况选取不必要的滤波器，得到一个紧凑的网络。结果表明，该方法可以减少CIFAR-10的ResNet参数的50%以上，而测试样本的准确性仅下降0.3%。此外，TinyImageNet-200的ResNet参数减少了34%，精度高于基线网络。
2020-11-04 cs.CV cs.LG
RePr: Improved Training of Convolutional Filters
Brandeis University（布兰迪斯大学）；Microsoft Research（微软研究院）
一个训练良好的卷积神经网络可以很容易地被修剪，而不会有明显的性能损失。这是因为网络过滤器捕获的特征存在不必要的重叠。网络架构的创新，如跳跃/密集连接和Inception单元，在一定程度上缓解了这个问题，但这些改进带来了运行时计算和内存需求的增加。我们试图从另一个角度解决这个问题-不是通过改变网络结构，而是通过改变训练方法。我们表明，通过暂时修剪，然后恢复模型的过滤器的子集，并循环重复这个过程，重叠的学习功能减少，产生改进的泛化。我们发现，现有的模型修剪标准是不是最佳的选择过滤器修剪在这种情况下，并引入过滤器间的正交性作为排名标准，以确定表达不足的过滤器。我们的方法适用于普通卷积网络和更复杂的现代架构，并提高了各种任务的性能，特别是在应用于较小的网络时。
2019-02-25 cs.CV cs.LG
Learning Context-Sensitive Convolutional Filters for Text Processing
Duke University（杜克大学）；NEC Laboratories America（美国NEC实验室）
卷积神经网络（CNN）最近已经成为自然语言处理（NLP）的流行构建块。尽管它们取得了成功，但NLP中使用的大多数现有CNN模型对所有输入句子共享相同的学习（和静态）过滤器集。在本文中，我们考虑使用一个小的Meta网络学习上下文敏感的卷积过滤器的文本处理的方法。Meta网络的作用是将句子或文档的上下文信息抽象成一组输入感知过滤器。我们进一步推广这个框架模型的句子对，其中一个双向过滤器生成机制被引入到封装相互依赖的句子表示。在我们对四个不同任务的基准测试中，包括本体分类，情感分析，答案句子选择和释义识别，我们提出的模型，一个带有上下文敏感过滤器的修改后的CNN，始终优于标准的CNN和基于注意力的CNN基线。通过可视化学习的上下文敏感的过滤器，我们进一步验证和合理化建议的框架的有效性。
2018-08-30 cs.CL cs.LG stat.ML
CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters
Offenburg University（奥芬堡大学）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Fraunhofer Research Center ML（弗劳恩霍夫机器学习研究中心）
目前，关于卷积神经网络（CNN）的可移植性和鲁棒性的许多理论和实践相关问题仍未得到解决。虽然正在进行的研究工作正在从事这些问题从不同的角度，在大多数计算机视觉相关的情况下，这些方法可以推广到图像数据中的分布偏移的影响的调查。在这种情况下，我们建议研究训练的CNN模型的学习权重的变化。在这里，我们专注于主要使用的3x3卷积滤波器内核的分布特性。我们收集并公开提供了一个数据集，其中包含来自数百个经过训练的CNN的超过14亿个过滤器，使用了广泛的数据集，架构和视觉任务。在所提出的数据集的第一个用例中，我们可以展示许多公开可用的预训练模型的高度相关属性以用于实际应用：I）我们分析训练的过滤器之间沿着元参数的不同轴的分布偏移（或其缺乏），如数据集的视觉类别，任务，架构或层深度。基于这些结果，我们得出结论，如果满足大小和方差条件，模型预训练可以在任意数据集上成功。我们发现，许多预训练的模型包含退化的过滤器，这使得它们不太鲁棒，不太适合对目标应用进行微调。数据和项目网站：https://github.com/paulgavrikov/cnn-filter-db
2022-04-09 cs.AI cs.CV cs.LG
Framework for Designing Filters of Spectral Graph Convolutional Neural Networks in the Context of Regularization Theory
Indian Institute of Space Science and Technology（印度空间科学与技术研究所）
图卷积神经网络（GCNN）在图学习中得到了广泛的应用。已经观察到，图上的光滑度泛函可以根据图拉普拉斯算子来定义。这一事实指出了在图上使用拉普拉斯算子推导正则化算子的方向，以及随后在谱GCNN滤波器设计中的使用。在这项工作中，我们探索了图拉普拉斯算子的正则化性质，并提出了一个广义框架，用于谱GCNN中的正则化滤波器设计。我们发现，在许多最先进的GCNN中使用的滤波器可以作为我们开发的框架的特殊情况导出。我们设计了与定义良好的正则化行为相关联的新过滤器，并在半监督节点分类任务上测试了它们的性能。他们的表现被认为是优于其他国家的最先进的技术。
2020-09-29 cs.LG stat.ML
Scaling-Translation-Equivariant Networks with Decomposed Convolutional Filters
Department of Mathematics and Statistics, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校数学与统计系）；Department of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程系）；Department of Mathematics, Duke University（杜克大学数学系）；Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）
将尺度信息显式编码到卷积神经网络（CNN）学习的表示中对于许多计算机视觉任务是有益的，特别是在处理多尺度输入时。在本文中，我们研究了一个缩放-平移-等变（ST-等变）CNN，它具有跨空间和缩放群的联合卷积，这对于缩放-平移群ST的正则表示实现等变是充分和必要的。为了降低模型复杂度和计算负担，我们将卷积滤波器分解在两个预先固定的可分离基下，并将扩展截断到低频分量。截断滤波器扩展的另一个好处是改进的等变表示的变形鲁棒性，这是一个经过理论分析和经验验证的属性。数值实验表明，所提出的缩放-平移-等变网络与分解卷积滤波器（ScDCFNet）实现了显着改善的性能，在多尺度图像分类和更好的可解释性比常规CNN在减少模型大小。
2022-02-06 cs.LG stat.ML
Filter Bank Regularization of Convolutional Neural Networks
McMaster University（麦克马斯特大学）
正则化技术被广泛用于提高深度卷积神经网络（DCNN）的通用性、鲁棒性和效率。在本文中，我们提出了一种通过结构化滤波器组调节DCNN卷积核的新方法。与忽略核内的样本相关性的现有正则化方法（诸如DCNN核权重和核正交性的$\ell_1$或$\ell_2$最小化）相比，在DCNN的正则化中使用滤波器组可以将DCNN核塑造成常见的空间结构和特征（例如，各种方向和频率的边缘或纹理）。另一方面，与直接使DCNN内核固定滤波器不同，滤波器组正则化仍然允许通过深度学习优化DCNN权重的自由度。这种新的DCNN设计策略旨在结合两个世界的优点：包括传统滤波器组的结构图像先验，以提高DCNN解决方案的鲁棒性和通用性，以及现代深度学习对隐藏在训练数据中的复杂非线性函数进行建模的能力。在目标识别任务上的实验结果表明，与现有的权重衰减和核正交的正则化方法相比，该正则化方法能更快地收敛，更好地泛化。
2019-11-26 cs.LG stat.ML
Learning Front-end Filter-bank Parameters using Convolutional Neural Networks for Abnormal Heart Sound Detection
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Robert Bosch Research and Technology Center（罗伯特·博世研究与技术中心）
自动心音异常检测可以在心脏病的早期诊断中发挥至关重要的作用，特别是在低资源环境中。该任务的最先进算法利用一组有限脉冲响应（FIR）带通滤波器作为前端，随后是卷积神经网络（CNN）模型。在这项工作中，我们提出了一种新的CNN架构，该架构使用时间卷积（tConv）层将前端带通滤波器集成在网络中，从而使FIR滤波器组参数变得可学习。不同的初始化策略的可学习的过滤器，包括随机参数和一组预定义的FIR滤波器组系数，检查。使用所提出的tConv层，我们添加约束的可学习FIR滤波器，以确保线性和零相位响应。对使用PhysioNet/CinC 2016数据集准备的平衡4重交叉验证任务进行实验评价。结果表明，所提出的模型产生优越的性能相比，国家的最先进的系统，而线性相位FIR滤波器组的方法提供了一个绝对的改善9.54%的基线方面的整体精度指标。
2018-06-15 cs.CV cs.LG eess.SP
Learning $3$D-FilterMap for Deep Convolutional Neural Networks
Snap Research（Snap 研究院）
本文提出了一种新的、紧凑的深度卷积神经网络（CNN）架构，称为$3$ D-FilterMap卷积神经网络（$3$ D-FM-CNN）。$3$ D-FM-CNN的卷积层学习滤波器的紧凑表示，称为$3$ D-FilterMap，而不是传统卷积层中的一组独立滤波器。从$3$ D-FilterMap中提取滤波器作为在附近滤波器之间具有权重共享的重叠$3$ D子矩阵，并且将这些滤波器与输入卷积以生成用于$3$ D-FM-CNN的卷积层的输出。由于权重共享方案，当$3$ D-FilterMap生成相同数量的滤波器时，$3$ D-FilterMap的参数大小比在传统卷积层中要学习的滤波器的参数大小小得多。我们的工作与网络压缩文献有着根本的不同，后者在某种意义上减少了学习的大型网络的大小，而小型网络则是直接从头开始学习的。实验结果表明，$3$ D-FM-CNN通过学习紧凑的$3$ D-FilterMap而享有小的参数空间，同时与学习与相应的$3$ D-FilterMap生成的相同数量的滤波器的基线CNN相比，实现了性能。
2018-01-05 cs.LG
Adversarial Robustness through the Lens of Convolutional Filters
Offenburg University（奥芬堡大学）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Fraunhofer Research Center ML（弗劳恩霍夫机器学习研究中心）
深度学习模型本质上对输入数据中的分布偏移敏感。特别是，对输入数据的小的、几乎不可感知的扰动可以迫使模型做出具有高置信度的错误预测。一种常见的防御机制是通过对抗训练进行正则化，将最坏情况的扰动注入训练中，以加强决策边界并减少过拟合。在这种情况下，我们对在逆向训练模型中形成的3x 3卷积滤波器进行了研究。过滤器是从linf-RobustBench CIFAR-10/100和ImageNet 1 k排行榜的71个公共模型中提取的，并与从构建在相同架构上但未经鲁棒正则化训练的模型中提取的过滤器进行比较。我们观察到，对抗性强的模型似乎形成更多样化，稀疏性更低，更正交的卷积滤波器比他们的正常同行。鲁棒模型和正常模型之间的最大差异存在于最深层和第一个卷积层中，该卷积层始终主要形成可以部分消除扰动的滤波器，而与架构无关。数据和项目网站：https://github.com/paulgavrikov/cvpr22w_RobustnessThroughTheLens
2022-04-05 cs.AI cs.CV cs.LG
A few filters are enough: Convolutional Neural Network for P300 Detection
Universidad Autónoma Metropolitana（墨西哥自治都会大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）
在过去的十年中，卷积神经网络（CNN）已经成为不断增加的应用的驱动力，实现了最先进的性能。大多数现代CNN架构由许多卷积层和全连接层组成，通常需要数千或数百万个参数来学习。CNN在从脑电图（EEG）信号中检测事件相关电位（Event-Related Potential）中也是有效的，特别是在脑机接口（BCI）中经常使用的P300分量。然而，对于这项任务，与基于人类工程特征的方法相比，检测率的提高并不像其他领域那样令人印象深刻，并且可能无法证明如此大量的参数是合理的。在本文中，我们研究了现有的CNN架构的性能，具有不同的复杂性，在四个不同的数据集上进行单次试验的受试者内和跨受试者P300检测。我们还提出了SepConv1D，这是一种非常简单的CNN架构，由一个单独的可分离的1D卷积层和一个完全连接的Sigmoid分类神经元组成。我们发现，在其卷积层中只有四个滤波器和少量的参数，SepConv1D在四个数据集中获得了竞争性的性能。我们相信，这可能是朝着构建更简单、更便宜、更快、更便携的BCI迈出的重要一步。
2020-09-13 cs.CV cs.LG stat.ML
An Empirical Investigation of Model-to-Model Distribution Shifts in Trained Convolutional Filters
Institute for Machine Learning and Analytics (IMLA), Offenburg University（奥芬堡大学机器学习与分析研究所）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）
我们目前的第一个实证结果，从我们正在进行的调查分布偏移的图像数据用于各种计算机视觉任务。我们建议研究训练模型的学习权重的变化，而不是分析原始训练和测试数据。在这项工作中，我们专注于主要使用的3x3卷积滤波器内核的分布特性。我们收集并公开提供了一个数据集，其中包含来自数百个经过训练的CNN的超过5亿个过滤器，使用了广泛的数据集、架构和视觉任务。我们的分析显示了沿着元参数的不同轴（如数据类型、任务、架构或层深度）的训练过滤器之间有趣的分布偏移（或缺乏）。我们认为，观察到的属性是一个有价值的来源，进一步研究更好地理解输入数据的变化对CNN模型泛化能力的影响，以及在该领域实现更强大的迁移学习的新方法。数据见：https://github.com/paulgavrikov/CNN-Filter-DB/。
2022-01-20 cs.AI cs.CV cs.LG
Learning with Multigraph Convolutional Filters
University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们介绍了一种卷积架构，当信息支持多重图时，可以执行学习。利用代数信号处理（ASP）理论，提出了一种基于多重图的卷积信号处理模型（MSP）。然后，我们介绍多重图卷积神经网络（MGNNs）作为堆叠和分层结构，其中根据MSP模型处理信息。我们还开发了一个易于处理的计算MGNN中的滤波器系数的程序和一个低成本的方法来减少层之间传输的信息的维数。最后，我们通过比较MGNNs对其他学习架构的多信道通信系统的最优资源分配任务的性能。
2022-10-28 cs.LG eess.SP
SSCNets: Robustifying DNNs using Secure Selective Convolutional Filters
National University of Sciences and Technology (NUST)（国立科技大学（NUST））；Technische Universität Wien (TU Wien)（维也纳工业大学（TU Wien））
在本文中，我们在训练循环中引入了一种基于安全选择性卷积（SSC）技术的新技术，该技术通过允许DNN基于输入图像中的重要边缘学习数据分布来提高给定DNN的鲁棒性。我们使用MNIST、CIFAR-10和CIFAR-100数据集验证了我们的卷积DNN技术，以对抗来自开源Cleverhans库的最新攻击。我们的实验结果表明，通过添加有效的预处理函数，攻击成功率以及对抗图像的不可感知性可以显着降低，即，Sobel滤波
2020-05-15 cs.CR cs.LG stat.ML
Deep Convolutional Likelihood Particle Filter for Visual Tracking
Marquette University（马凯特大学）
我们提出了一种新的卷积相关视觉跟踪器的粒子滤波器。我们的方法使用相关响应图来估计似然分布，并将这些似然作为建议密度来采样粒子。似然分布比基于目标转换分布的建议密度更可靠，因为相关响应图提供了关于目标位置的额外信息。此外，我们的粒子滤波器在似然分布中搜索多个模式，这提高了目标遮挡场景的性能，同时通过更有效地采样粒子来降低计算成本。在其他具有挑战性的场景中，例如涉及运动模糊的场景，其中仅存在一种模式，但可能需要更大的搜索区域，我们的粒子滤波器允许似然分布的方差增加。我们在Visual Tracker Benchmark v1.1（OTB100）上测试了我们的算法，我们的实验结果表明，我们的框架优于最先进的方法。
2020-06-11 cs.CV cs.LG eess.IV
Scale Steerable Filters for Locally Scale-Invariant Convolutional Neural Networks
National University of Singapore（新加坡国立大学）
将变换知识增强到卷积神经网络的权重上通常会显著提高性能。对于旋转变换增强，最近方法的一个重要元素是使用可操纵基，即圆谐波。在这里，我们提出了一个局部尺度不变的CNN，表示为对数径向谐波的尺度可控滤波器的基础。通过将局部尺度不变的CNN \cite{lsi_cnn}中的内核替换为尺度导向的内核，可以在MNIST-Scale和FMNIST-Scale数据集上观察到性能的显著改善。使用尺度可调的基础进行训练会产生显示有意义结构的滤波器，并且特征图显示出输入的明显更高的空间结构保留。此外，所提出的尺度可操纵的CNN显示出对全局仿射变换估计方法（例如空间Transformers）的同等推广，以响应测试时间数据失真。
2019-06-10 cs.CV cs.LG
ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks
BMW Group（宝马集团）；Technical University of Munich（慕尼黑工业大学）
缩小最先进的卷积神经网络的硬件要求与限制嵌入式应用的有限资源之间的差距是深度学习研究的下一个重大挑战。这种神经网络的计算复杂性和存储器占用对于在资源受限环境中的部署来说通常是令人生畏的。模型压缩技术，如修剪，强调在其他优化方法来解决这个问题。大多数现有技术需要领域专业知识或导致不规则的稀疏表示，这增加了在嵌入式硬件加速器上部署深度学习应用程序的负担。在本文中，我们提出了基于自动编码器的低秩滤波器共享技术（ALF）。当应用于各种网络，ALF相比，国家的最先进的修剪方法，证明其有效的压缩能力的理论指标，以及一个准确的，确定性的硬件模型。在我们的实验中，ALF显示减少了70%的网络参数，61%的操作和41%的执行时间，在准确性的损失最小。
2020-07-27 cs.CV cs.LG stat.ML
Explaining Deep Convolutional Neural Networks via Latent Visual-Semantic Filter Attention
University of California, Los Angeles（加州大学洛杉矶分校）
可解释性是可视化模型的一个重要属性，因为它有助于研究人员和用户理解复杂模型的内部机制。然而，在没有直接监督的情况下，生成关于所学习的表示的语义解释是具有挑战性的。我们提出了一个通用的框架，潜在的视觉语义解释器（LaViSE），教任何现有的卷积神经网络生成文本描述自己的潜在表示在过滤器级别。我们的方法使用通用图像数据集，使用图像和类别名称构建视觉和语义空间之间的映射。然后将映射转移到没有语义标签的目标域。所提出的框架采用模块化结构，并能够分析任何训练的网络，无论其原始训练数据是否可用。我们表明，我们的方法可以为训练数据集中定义的类别集之外的学习过滤器生成新的描述，并对多个数据集进行广泛的评估。我们还展示了我们的方法用于无监督数据集偏差分析的新应用，该方法允许我们自动发现数据集中隐藏的偏差或比较不同的子集，而无需使用额外的标签。数据集和代码被公开，以方便进一步的研究。
2022-04-10 cs.AI cs.CV cs.LG
Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters
Tsinghua University（清华大学）；Tsinghua SIGS（清华大学深圳国际研究生院）；Peng Cheng Lab（鹏城实验室）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Southern California（南加州大学）
卷积神经网络（CNN）已成功地用于一系列任务。然而，CNN通常被视为“黑箱”，缺乏可解释性。一个主要原因是由于过滤器类纠缠-过滤器和类之间复杂的多对多对应关系。大多数现有的作品尝试在预先训练的模型上进行事后解释，而忽略了减少模型背后的纠缠。相比之下，我们专注于在训练过程中减轻过滤器类纠缠。受细胞分化的启发，我们提出了一种新的策略，通过鼓励类特定的过滤器来训练可解释的CNN，其中每个过滤器只响应一个（或几个）类。具体来说，我们设计了一个可学习的稀疏类特定门（CSG）结构，以灵活的方式为每个过滤器分配一个（或几个）类。该门只允许在输入样本来自特定类时通过过滤器的激活。大量的实验证明了我们的方法在生成稀疏和高度类相关的输入表示方面的出色性能，这导致了更强的可解释性。此外，与标准训练策略相比，我们的模型在对象定位和对抗性样本检测等应用中显示出优势。代码链接：https://github.com/hyliang96/CSGCNN.
2021-07-01 cs.CV cs.LG
Pre-Warm: Initializing Convolutional Filters from First-Batch Patch Dictionaries
提出Pre-Warm方法，通过聚类训练批次中的局部图像块并利用质心初始化第一层卷积核的一半，在无额外训练成本下显著提升分类精度。
2026-09-09 cs.CV cs.LG
Musical Tempo and Key Estimation using Convolutional Neural Networks with Directional Filters
tagtraum industries incorporated（tagtraum工业公司）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）
在这篇文章中，我们将探讨如何利用谱图的时间和频率轴的不同语义，使用卷积神经网络（CNN）进行音乐节奏和基调估计。通过使用相同的网络架构解决这两个任务，从浅的，特定于域的方法到带有方向滤波器的深度变体，我们表明轴对齐架构与为计算机视觉开发的常见VGG风格网络表现相似，同时不容易受到混淆因素的影响，并且需要较少的模型参数。
2019-03-26 cs.LG cs.SD eess.AS
Performance Evaluation of Selective Fixed-filter Active Noise Control based on Different Convolutional Neural Networks
Nanyang Technological University（南洋理工大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Huawei International Pte. Ltd.（华为国际私人有限公司）
由于其快速的响应时间和高度的鲁棒性，选择性固定滤波器有源噪声控制（SFANC）方法似乎是一个可行的候选人，广泛用于各种实际的有源噪声控制（ANC）系统。与传统的固定滤波器ANC方法相比，SFANC可以为不同类型的噪声选择预训练的控制滤波器。因此，深度学习技术可以用于SFANC方法中，以使得能够更灵活地选择用于衰减各种噪声的最合适的控制滤波器。此外，在深度神经网络的辅助下，选择策略可以从噪声数据中自动学习，而不是通过尝试和错误，这显著简化和提高ANC设计的实用性。因此，本文研究了基于不同的一维和二维卷积神经网络的SFANC的性能。此外，我们对几种网络训练策略进行了比较分析，发现微调可以提高选择性能。
2022-08-17 cs.AI cs.LG eess.SP
A Continuous Convolutional Trainable Filter for Modelling Unstructured Data
SISSA（国际高等研究院）；University of Urbino Carlo Bo（卡洛·博乌尔比诺大学）
本文提出一种连续版本的可训练卷积滤波器，使 CNN 能处理非结构化数据，实验表明其精度可与离散滤波器相媲美，并可作为构建模块用于非结构化域问题。
2023-05-25 cs.LG cs.NA math.NA
Pseudoinverse Graph Convolutional Networks: Fast Filters Tailored for Large Eigengaps of Dense Graphs and Hypergraphs
Chemnitz University of Technologies（开姆尼茨工业大学）
图卷积网络（GCN）已被证明是基于图的数据集上的半监督分类的成功工具。我们提出了一个新的GCN变体，其三部分过滤器空间是针对稠密图。示例包括用于3D点云的高斯图，其增加了对非局部信息的关注，以及基于分类数据的超图。这些图不同于常见的稀疏基准图，因为它们的图拉普拉斯算子的谱性质。最值得注意的是，我们观察到大的本征间隙，这是不利的流行现有的GCN架构。我们的方法通过利用拉普拉斯算子的伪逆来克服这些问题。另一个关键因素是卷积矩阵的低秩近似，确保计算效率并同时提高精度。我们概述了如何在每个应用程序中有效地计算必要的本征信息，并讨论了适当的选择的唯一元参数，近似秩。最后，我们展示了我们的方法的性能，在各种实验与真实世界的数据集的运行时间和准确性。
2021-01-28 cs.LG stat.ML
Convolutional Filtering in Simplicial Complexes
Delft University of Technology（代尔夫特理工大学）
本文提出了卷积滤波的数据，其结构可以由单纯复形（SC）建模。SC是一种数学工具，它不仅可以将成对关系捕捉为图形，还可以解释高阶网络结构。这些滤波器是通过遵循卷积运算的移位和求和原理来构建的，并依赖于Hodge-Laplacian在单纯形内移位信号。但是，由于在SC中，我们也有单形间耦合，我们使用的关联矩阵转移信号在相邻的单形，并建立一个滤波器组，联合过滤来自不同级别的信号。我们证明了一些有趣的性质，建议的滤波器组，包括置换和方向等方差，计算复杂性是线性的SC尺寸，和频谱解释使用的简单傅里叶变换。我们说明了所提出的方法与数值实验。
2022-12-16 cs.LG eess.SP
Large Convolutional Model Tuning via Filter Subspace
Purdue University（普渡大学）
本文提出通过仅调整滤波器子空间中的滤波器原子来微调大型卷积模型，实现参数高效调优，并在判别与生成任务上超越现有基线。
2025-02-25 cs.CV cs.LG
ICD Coding from Clinical Text Using Multi-Filter Residual Convolutional Neural Network
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Bedford Veterans Affairs Medical Center（贝德福德退伍军人事务医疗中心）；University of Massachusetts Medical School（马萨诸塞大学医学院）
自动化ICD编码将国际疾病分类代码分配给患者访问，由于它可以节省计费的时间和劳动力，因此吸引了许多研究关注。以前的最先进的模型利用一个卷积层来构建用于预测ICD代码的文档表示。然而，与ICD编码密切相关的文本片段的长度和语法在不同的文档中有很大的差异。因此，平坦且固定长度的卷积架构可能无法学习良好的文档表示。本文提出了一种用于ICD编码的多滤波残差卷积神经网络（MultiResCNN）。我们的模型的创新是双重的：它利用多过滤器卷积层来捕获不同长度的各种文本模式，并利用剩余卷积层来扩大感受野。我们在广泛使用的MIMIC数据集上评估了我们的模型的有效性。在MIMIC-III的完整代码集上，我们的模型在6个评估指标中的4个方面优于最先进的模型。在MIMIC-III的前50个代码集和MIMIC-II的完整代码集上，我们的模型在所有评估指标上都优于所有现有的和最先进的模型。该代码可在https://github.com/foxlf823/Multi-Filter-Residual-Convolutional-Neural-Network上获得。
2019-11-25 cs.CL cs.LG
Convolutional Bayesian Filtering
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与出行学院）；Department of Advanced Manufacturing and Robotics, Peking University（北京大学先进制造与机器人系）；Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学与应用研究院）
本文提出卷积贝叶斯滤波框架，通过引入不等式条件将条件概率转化为卷积形式，统一并推广标准贝叶斯滤波，并展示了其在Kalman滤波等经典算法中的鲁棒改进。
2024-03-30 cs.LG cs.SY eess.SY
Building Efficient CNNs Using Depthwise Convolutional Eigen-Filters (DeCEF)
深度卷积神经网络（CNN）由于其令人印象深刻的能力而被广泛应用于各个领域。这些模型通常由大量具有许多可训练参数的2D卷积（Conv 2D）层组成。为了降低网络的复杂性，可以应用压缩技术。这些方法通常依赖于对训练好的深度学习模型的分析。然而，在一些应用中，由于诸如特定数据或系统规范以及许可限制之类的原因，预先训练的网络可能不可用。这将需要用户从头开始训练CNN。在本文中，我们的目标是找到Conv 2D滤波器的替代参数化，而不依赖于预先训练的卷积网络。在分析过程中，我们观察到矢量化Conv 2D滤波器的有效秩随着网络深度的增加而降低，这导致了依赖卷积特征滤波器（DeCEF）层的实现。本质上，DeCEF层是Conv 2D层的低秩版本，具有显著更少的可训练参数和浮点运算（FLOP）。我们定义有效秩的方式与以前的工作不同，它很容易在任何深度学习框架中实现。为了评估DeCEF的有效性，使用各种网络架构在基准数据集CIFAR-10和ImageNet上进行了实验。结果表明，使用约2/3的原始参数，并将FLOP的数量减少到基础网络的2/3，然后将其与最先进的技术进行比较，具有相似或更高的精度和鲁棒性。
2022-01-31 cs.LG stat.ML
From Interpretable Filters to Predictions of Convolutional Neural Networks with Explainable Artificial Intelligence
Atlantic Technological University（大西洋理工大学）
卷积神经网络（CNN）以其出色的特征提取能力而闻名，可以从数据中学习模型，但却被用作黑箱。对卷积滤波器和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们专注于用于Covid-19和非Covid-19分类的称为cnnexplain的CNN模型的可解释性，重点关注卷积滤波器对特征的可解释性，以及这些特征如何有助于分类。具体来说，我们使用了各种可解释的人工智能（XAI）方法，如可视化，SmoothGrad，Grad-CAM和LIME，以提供卷积滤波器和相关特征的解释，以及它们在分类中的作用。我们已经分析了使用干咳频谱图检测Covid-19的这些方法的解释。从LIME、SmoothGrad和Grad-CAM获得的解释结果突出了不同谱图的重要特征及其与分类的相关性。
2022-07-26 cs.LG
Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters
Hong Kong Baptist University（香港浸会大学）
深度卷积神经网络（CNN）已成功应用于许多现实问题。然而，深度CNN模型的巨大存储器成本对将它们部署在存储器受限的设备（例如，移动电话）。降低深度CNN模型的内存成本的一种流行方法是训练二进制CNN，其中卷积滤波器中的权重为1或-1，因此每个权重可以使用单个位有效地存储。然而，现有的二进制CNN模型的压缩比上限为32左右。为了解决这个问题，我们提出了一种新的方法，通过堆叠低维二进制卷积滤波器来压缩深度CNN模型。我们提出的方法近似一个标准的卷积滤波器，从一组低维二进制卷积滤波器选择和堆叠滤波器。这组低维二进制卷积滤波器在给定卷积层的所有滤波器之间共享。因此，我们的方法将实现比二进制CNN模型更大的压缩比。为了训练我们提出的模型，我们已经从理论上表明，我们提出的模型是等效的选择和堆栈的中间特征图产生的低维二进制过滤器。因此，我们提出的模型可以有效地使用分裂-变换-合并策略进行训练。我们还提供了详细的分析，我们的模型在模型推理的内存和计算成本。我们在两个基准数据集上将该方法与其他五种流行的模型压缩技术进行了比较。我们的实验结果表明，我们提出的方法实现了更高的压缩比现有的方法，同时保持相当的精度。
2020-10-06 cs.CV cs.LG
Fast Algorithms for Convolutional Neural Networks
Nervana Systems（Nervana系统公司）
深度卷积神经网络需要GPU数天的计算时间来对大型数据集进行训练。自动驾驶汽车的行人检测需要非常低的延迟。移动电话的图像识别受到有限处理资源的限制。卷积神经网络在这些情况下的成功受到我们计算它们的速度的限制。传统的基于FFT的卷积对于大型滤波器来说是快速的，但是现有技术的卷积神经网络使用小型的3 × 3滤波器。本文利用Winograd的最小滤波算法，提出了一类新的卷积神经网络快速算法。这些算法在小块上计算最小复杂度的卷积，这使得它们在小过滤器和小批量的情况下速度更快。我们用VGG网络对我们算法的GPU实现进行基准测试，并在1到64的批量大小下显示最先进的吞吐量。
2015-11-10 cs.LG cs.NE
Revisiting convolutional neural network on graphs with polynomial approximations of Laplace-Beltrami spectral filtering
National University of Singapore（新加坡国立大学）；University of Wisconsin（威斯康星大学）；N.1 Institute for Health（N.1健康研究所）
本文回顾了Defferrard（2016）中给出的谱图卷积神经网络（graph-CNN），并通过用LB算子替换图拉普拉斯算子来开发Laplace-Beltrami CNN（LB-CNN）。然后，我们定义光谱过滤器通过LB运营商的图。我们探索了Chebyshev，Laguerre和Hermite多项式近似基于LB的光谱滤波器的可行性，并定义了LB算子的更新，用于LBCNN中的池化。我们采用来自阿尔茨海默病神经成像倡议（ADNI）的大脑图像数据，并演示了所提出的LB-CNN的使用。基于ADNI数据集的皮质厚度，我们表明，与谱图CNN相比，LB-CNN并没有提高分类精度。这三个多项式具有相似的计算成本，并且在LB-CNN或谱图-CNN中显示出相当的分类精度。我们的研究结果表明，即使三个多项式的形状不同，深度学习架构也允许我们学习光谱滤波器，使得分类性能不依赖于多项式或算子（图拉普拉斯算子和LB算子）的类型。
2020-10-26 cs.LG stat.ML
Exploring spectro-temporal features in end-to-end convolutional neural networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
三角形重叠梅尔缩放滤波器（“f组”）是用于利用其输入的时间-频率几何形状的声学模型的当前标准输入，因为它们为语音信号提供心理声学激励的时间-频率几何形状。F-银行的系数是可证明的规模小变形的鲁棒性。在本文中，我们探讨了两种方法，其中滤波器组可以调整为目的的语音识别。首先，三角形滤波器可以用Gabor滤波器（一种更好地定位时间事件的compatible支持的滤波器）或Gammatone滤波器（一种心理声学驱动的滤波器）来代替。其次，通过重新安排计算滤波器组特征的操作顺序，可以在较小的时间尺度上对特征进行积分，同时提供更好的频率分辨率。我们通过开源存储库在线提供所有功能实现。使用现代端到端CNN电话识别器的初始实验由于任何一种修改都没有产生电话出错率的显著改善。结果，其后果与学习滤波器组，进行了讨论。
2019-01-01 cs.CL cs.LG cs.SD
CayleyNets: Graph Convolutional Neural Networks with Complex Rational Spectral Filters
Technische Universität Berlin（柏林工业大学）；Universitá della Svizzera italiana（瑞士意大利语区大学）；Nanyang Technological University（南洋理工大学）；Imperial College London（帝国理工学院）；Intel Perceptual Computing（英特尔感知计算部门）
图结构数据（如社交网络、监管网络、引用图和功能脑网络）的兴起，以及深度学习在各种应用中的巨大成功，使人们对将深度学习模型推广到非欧几里德领域产生了兴趣。在本文中，我们介绍了一种新的谱域卷积架构，用于图上的深度学习。我们模型的核心成分是一类新的参数有理复函数（Cayley多项式），可以有效地计算专门针对感兴趣频带的图上的频谱滤波器。我们的模型生成丰富的频谱滤波器，这些滤波器在空间中本地化，与稀疏连接图的输入数据的大小线性缩放，并且可以处理拉普拉斯算子的不同构造。大量的实验结果表明，我们的方法的优越性能，相比其他谱域卷积架构，光谱图像分类，社区发现，顶点分类和矩阵完成任务。
2018-10-31 cs.LG
Basic Filters for Convolutional Neural Networks Applied to Music: Training or Design?
当使用卷积神经网络来处理基于音乐或更一般地基于时间序列数据的学习问题时，通常对原始一维数据进行预处理以获得频谱图或梅尔频谱图系数，然后将其用作实际神经网络的输入。在这篇文章中，我们从理论和实验两方面研究了这个预处理步骤对网络性能的影响，并提出了一个问题，即通过直接对原始数据应用自适应或学习滤波器来取代它，是否可以提高学习成功率。理论结果表明，通过应用自适应滤波器和随后的时间平均来近似地再现梅尔谱图系数在原则上是可能的。我们还进行了广泛的实验工作的任务，在音乐中的歌声检测。这些实验的结果表明，对于基于卷积神经网络的分类，从自适应滤波器组然后进行时间平均获得的特征比基于标准傅立叶变换的梅尔谱图系数执行得更好。具有从训练数据学习的中心频率或时间平均长度的替代自适应方法同样表现良好。
2018-09-19 cs.IR cs.LG
MIMO Graph Filters for Convolutional Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）；King Juan Carlos Univ.（胡安·卡洛斯国王大学）；Delft Univ. of Technology（代尔夫特理工大学）
卓越的性能和易于实现的特性促使人们采用卷积神经网络（CNN）来执行各种推理和重建任务。CNN实现了三个基本模块：卷积、池化和逐点非线性。由于前两个操作仅在音频或图像等规则结构数据上定义良好，因此将CNN应用于信息定义在不规则域中的当代数据集是具有挑战性的。本文研究了CNN架构，以操作信号，其支持可以使用图来建模。最近已经提出了用所谓的线性移位不变图滤波器代替常规卷积的架构。本文更进一步，在多输入多输出（MIMO）图滤波器的框架下，对所采用的图滤波器施加额外的结构，以获得三个新的（更简约的）架构。所提出的架构导致更少数量的模型参数，降低了计算复杂性，便于训练，并减轻了过拟合的风险。仿真结果表明，所提出的更简单的架构实现了类似的性能更复杂的模型。
2018-03-06 cs.LG eess.SP stat.ML
Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks
Peking University（北京大学）；Momenta
滤波器修剪是加速和压缩卷积神经网络（CNN）的最有效方法之一。在这项工作中，我们提出了一种称为Gate Decorator的全局过滤器修剪算法，该算法通过将其输出乘以通道缩放因子（即门）来转换香草CNN模块。当比例因子设置为零时，相当于删除相应的滤波器。我们使用泰勒展开来估计由将比例因子设置为零引起的损失函数的变化，并将该估计用于全局滤波器重要性排名。然后我们通过删除那些不重要的过滤器来修剪网络。修剪后，我们将所有的缩放因子合并到其原始模块中，因此没有引入特殊的操作或结构。此外，我们提出了一个迭代修剪框架称为滴答，以提高修剪精度。大量的实验证明了我们的方法的有效性。例如，我们在ResNet-56上实现了最先进的剪枝率，减少了70%的FLOP，而没有明显的准确性损失。对于ImageNet上的ResNet-50，我们的修剪模型具有40%的FLOP减少，在top-1准确度方面优于基线模型0.31%。使用各种数据集，包括CIFAR-10，CIFAR-100，CUB-200，ImageNet ILSVRC-12和PASCAL VOC 2011。代码可在github.com/youzhonghui/gate-decorator-pruning上获得
2019-09-18 cs.CV cs.LG eess.IV
Almost for Free: Crafting Adversarial Examples with Convolutional Image Filters
BIFOLD & TU Berlin（BIFOLD与柏林技术大学）
本文提出了一种简单方法，通过设计基于经典边缘检测算法的对抗图像滤波器，实现高效的对抗样本生成，实验显示3x3滤波器在不同神经网络上成功率达30%-80%。
2026-05-01 cs.CV cs.LG
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Networks
McGill University（麦吉尔大学）；Mila（米拉研究所）；DeepMind（深度思维）
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合，其过滤邻域节点信息。虽然对各种任务有效，但在本文中，我们表明它们可能是所有GNN方法在某些数据集上学习的潜在问题因素，因为它们迫使节点表示相似，使节点逐渐失去身份并变得不可区分。因此，我们增加了聚合操作与他们的对偶，即多样化运营商，使节点更加独特，并保持身份。这种增强用双通道过滤过程代替聚合，理论上，这有利于丰富节点表示。在实践中，所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略，包括频谱和空间（消息传递）方法。在实验中，我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-11-02 cs.LG stat.ML
Dynamic Edge-Conditioned Filters in Convolutional Neural Networks on Graphs
Université Paris Est, École des Ponts ParisTech（巴黎东大学，巴黎高科路桥学院）
许多问题可以公式化为对图结构数据的预测。在这项工作中，我们将卷积算子从规则网格推广到任意图形，同时避免了谱域，这使我们能够处理不同大小和连通性的图形。为了超越简单的扩散，过滤器权重以顶点邻域中的特定边标签为条件。结合图粗化的适当选择，我们探索构建用于图分类的深度神经网络。特别是，我们展示了我们在点云分类中的公式的一般性，在点云分类中，我们设置了最新的技术水平，在图分类数据集上，我们优于其他深度学习方法。源代码可在https://github.com/mys007/ecc上获得
2017-08-08 cs.CV cs.LG cs.NE
Flattened Convolutional Neural Networks for Feedforward Acceleration
Purdue University（普渡大学）
我们提出了扁平的卷积神经网络，设计用于快速前馈执行。卷积神经网络中卷积滤波器的参数，特别是权值的冗余性已被广泛研究，并提出了不同的算法来构造训练后的滤波器的低秩基。在这项工作中，我们训练扁平化网络，该网络由3D空间中所有方向的一维滤波器的连续序列组成，以获得与传统卷积网络相当的性能。我们在不同的数据集上测试了平坦化模型，发现平坦化层可以有效地替代3D过滤器而不会损失精度。由于学习参数的显著减少，与基线模型相比，平坦化的卷积流水线在前馈过程中提供了大约两倍的加速。此外，所提出的方法不需要手动调整或后处理的努力，一旦模型被训练。
2015-11-20 cs.LG cs.NE
Local Binary Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
我们提出了局部二进制卷积（LBC），这是标准卷积神经网络（CNN）中卷积层的有效替代方案。LBC的设计原则是由局部二进制模式（LBP）激发的。LBC层包括在训练过程期间不更新的一组固定稀疏预定义二进制卷积滤波器、非线性激活函数和一组可学习线性权重。线性权重组合激活的滤波器响应以近似标准卷积层的对应激活的滤波器响应。LBC层提供了显着的参数节省，与标准卷积层相比，可学习参数的数量为9倍至169倍。此外，与标准卷积层相比，权重的稀疏和二进制性质还导致模型大小节省高达9倍至169倍。我们从理论和实验上证明，我们的局部二进制卷积层是标准卷积层的一个很好的近似。从经验上讲，具有LBC层的CNN，称为局部二进制卷积神经网络（LBCNN），在一系列视觉数据集（MNIST，SVHN，CIFAR-10和ImageNet）上实现了与常规CNN的性能等同，同时节省了大量计算。
2017-07-01 cs.CV cs.LG
