Learning Context-Sensitive Convolutional Filters for Text Processing
Duke University(杜克大学);NEC Laboratories America(美国NEC实验室)
卷积神经网络(CNN)最近已经成为自然语言处理(NLP)的流行构建块。尽管它们取得了成功,但NLP中使用的大多数现有CNN模型对所有输入句子共享相同的学习(和静态)过滤器集。在本文中,我们考虑使用一个小的Meta网络学习上下文敏感的卷积过滤器的文本处理的方法。Meta网络的作用是将句子或文档的上下文信息抽象成一组输入感知过滤器。我们进一步推广这个框架模型的句子对,其中一个双向过滤器生成机制被引入到封装相互依赖的句子表示。在我们对四个不同任务的基准测试中,包括本体分类,情感分析,答案句子选择和释义识别,我们提出的模型,一个带有上下文敏感过滤器的修改后的CNN,始终优于标准的CNN和基于注意力的CNN基线。通过可视化学习的上下文敏感的过滤器,我们进一步验证和合理化建议的框架的有效性。
2018-08-30 cs.CL cs.LG stat.ML
Framework for Designing Filters of Spectral Graph Convolutional Neural Networks in the Context of Regularization Theory
Indian Institute of Space Science and Technology(印度空间科学与技术研究所)
图卷积神经网络(GCNN)在图学习中得到了广泛的应用。已经观察到,图上的光滑度泛函可以根据图拉普拉斯算子来定义。这一事实指出了在图上使用拉普拉斯算子推导正则化算子的方向,以及随后在谱GCNN滤波器设计中的使用。在这项工作中,我们探索了图拉普拉斯算子的正则化性质,并提出了一个广义框架,用于谱GCNN中的正则化滤波器设计。我们发现,在许多最先进的GCNN中使用的滤波器可以作为我们开发的框架的特殊情况导出。我们设计了与定义良好的正则化行为相关联的新过滤器,并在半监督节点分类任务上测试了它们的性能。他们的表现被认为是优于其他国家的最先进的技术。
2020-09-29 cs.LG stat.ML
RotDCF: Decomposition of Convolutional Filters for Rotation-Equivariant Deep Networks
Duke University(杜克大学)
在深度特征中显式编码组动作使得卷积神经网络(CNN)能够处理图像的全局变形,这对于许多视觉任务的成功至关重要。本文提出了同时在空间和组几何结构上的联合可操纵基上分解卷积滤波器,即具有分解卷积滤波器的旋转等变CNN(RotDCF)。这种分解便于计算联合卷积,这被证明是必要的组等方差。它显着降低了模型的大小和计算复杂性,同时保持性能,和截断的基础扩展隐式正则化的过滤器。在涉及面内和面外对象旋转的数据集上,RotDCF深度特征比常规CNN表现出更强的鲁棒性和可解释性。的稳定性的等变表示输入变化的理论上也证明了一般假设下的过滤器的分解形式。RotDCF框架可以扩展到旋转以外的组,提供了一种通用的方法,可以在减小的模型大小下实现组等方差和表示稳定性。
2018-05-17 cs.CV cs.LG stat.ML
Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
EPFL(洛桑联邦理工学院)
在这项工作中,我们有兴趣将卷积神经网络(CNN)从低维规则网格(其中表示图像,视频和语音)推广到高维不规则域,如社交网络,大脑连接组或单词嵌入,由图形表示。我们在谱图论的背景下提出了一种CNN的公式,它提供了必要的数学背景和有效的数值方案来设计图上的快速局部卷积滤波器。重要的是,所提出的技术提供了与经典CNN相同的线性计算复杂性和恒定学习复杂性,同时对任何图形结构都是通用的。在MNIST和20NEWS上的实验证明了这种新颖的深度学习系统学习图上的局部、静态和组合特征的能力。
2017-02-05 cs.LG stat.ML
Minimal Filtering Algorithms for Convolutional Neural Networks
West Pomeranian University of Technology Szczecin(西波美拉尼亚工业大学什切青分校)
在本文中,我们提出了几个资源高效的算法解决方案,关于在卷积神经网络的卷积层中执行的基本滤波操作的完全并行硬件实现。实际上,这些基本操作计算由滑动时间窗从当前数据流形成的相邻向量与M抽头有限脉冲响应滤波器的脉冲响应的两个内积。我们使用Winograd最小滤波技巧,并将其应用于开发完全并行的面向硬件的算法,用于实现M= 3,5,7,9和11的基本滤波操作。在每种情况下,所提出的算法的完全并行硬件实现给出了大约30%的节省嵌入式乘法器的数量相比,一个完全并行的硬件实现的天真的计算方法。
2020-04-12 cs.LG eess.SP stat.ML
Scaling-Translation-Equivariant Networks with Decomposed Convolutional Filters
Department of Mathematics and Statistics, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校数学与统计系);Department of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程系);Department of Mathematics, Duke University(杜克大学数学系);Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系)
将尺度信息显式编码到卷积神经网络(CNN)学习的表示中对于许多计算机视觉任务是有益的,特别是在处理多尺度输入时。在本文中,我们研究了一个缩放-平移-等变(ST-等变)CNN,它具有跨空间和缩放群的联合卷积,这对于缩放-平移群ST的正则表示实现等变是充分和必要的。为了降低模型复杂度和计算负担,我们将卷积滤波器分解在两个预先固定的可分离基下,并将扩展截断到低频分量。截断滤波器扩展的另一个好处是改进的等变表示的变形鲁棒性,这是一个经过理论分析和经验验证的属性。数值实验表明,所提出的缩放-平移-等变网络与分解卷积滤波器(ScDCFNet)实现了显着改善的性能,在多尺度图像分类和更好的可解释性比常规CNN在减少模型大小。
2022-02-06 cs.LG stat.ML
FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary
Arizona State University(亚利桑那州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);StylingAI Inc.(StylingAI公司)
我们提出了一种通过卷积滤波器的新表示进行权重共享来压缩深度卷积神经网络(CNN)的新方法。所提出的方法通过学习称为滤波器摘要(FS)的1D向量来减少每个卷积层的参数数量。卷积滤波器位于FS中作为重叠的1D段,FS中的邻近滤波器以自然的方式在其重叠区域中共享权重。基于这种权重共享方案的所得神经网络(称为滤波器摘要CNN或FSNet)在每个卷积层中具有FS,而不是常规卷积层中的一组独立滤波器。FSNet具有与待压缩的基线CNN相同的架构,并且FSNet的每个卷积层在前向过程中具有与基线CNN相同数量的来自FS的滤波器。FSNet的参数空间远小于基线CNN的参数空间,具有令人信服的计算加速比。此外,FSNet是量化友好的。具有权重量化的FSNet导致甚至更高的压缩比,而没有明显的性能损失。我们进一步提出了可微分FSNet,其中过滤器共享权重的方式是以可微分和端到端的方式学习的。实验证明了FSNet在压缩CNN用于计算机视觉任务(包括图像分类和目标检测)中的有效性,并且DFSNet的有效性通过神经结构搜索任务得到了证明。
2020-04-10 cs.AI cs.LG stat.ML
Filter Bank Regularization of Convolutional Neural Networks
McMaster University(麦克马斯特大学)
正则化技术被广泛用于提高深度卷积神经网络(DCNN)的通用性、鲁棒性和效率。在本文中,我们提出了一种通过结构化滤波器组调节DCNN卷积核的新方法。与忽略核内的样本相关性的现有正则化方法(诸如DCNN核权重和核正交性的$\ell_1$或$\ell_2$最小化)相比,在DCNN的正则化中使用滤波器组可以将DCNN核塑造成常见的空间结构和特征(例如,各种方向和频率的边缘或纹理)。另一方面,与直接使DCNN内核固定滤波器不同,滤波器组正则化仍然允许通过深度学习优化DCNN权重的自由度。这种新的DCNN设计策略旨在结合两个世界的优点:包括传统滤波器组的结构图像先验,以提高DCNN解决方案的鲁棒性和通用性,以及现代深度学习对隐藏在训练数据中的复杂非线性函数进行建模的能力。在目标识别任务上的实验结果表明,与现有的权重衰减和核正交的正则化方法相比,该正则化方法能更快地收敛,更好地泛化。
2019-11-26 cs.LG stat.ML
When is a Convolutional Filter Easy To Learn?
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Facebook AI Research(Facebook人工智能研究)
我们分析了用于学习具有整流线性单元(ReLU)激活函数的卷积滤波器的(随机)梯度下降算法的收敛性。我们的分析不依赖于任何特定形式的输入分布,我们的证明仅使用ReLU的定义,与之前的作品相比,这些作品仅限于标准高斯输入。我们证明了随机初始化的(随机)梯度下降可以在多项式时间内学习卷积滤波器,并且收敛速度取决于输入分布的平滑度和补丁的紧密程度。据我们所知,这是基于梯度的卷积滤波器算法在非高斯输入分布上的第一个恢复保证。我们的理论还证明了深度神经网络中的两阶段学习率策略的合理性。虽然我们的重点是理论,我们也提出了实验,说明我们的理论研究结果。
2018-02-28 cs.AI cs.CV cs.LG
SSCNets: Robustifying DNNs using Secure Selective Convolutional Filters
National University of Sciences and Technology (NUST)(国立科技大学(NUST));Technische Universität Wien (TU Wien)(维也纳工业大学(TU Wien))
在本文中,我们在训练循环中引入了一种基于安全选择性卷积(SSC)技术的新技术,该技术通过允许DNN基于输入图像中的重要边缘学习数据分布来提高给定DNN的鲁棒性。我们使用MNIST、CIFAR-10和CIFAR-100数据集验证了我们的卷积DNN技术,以对抗来自开源Cleverhans库的最新攻击。我们的实验结果表明,通过添加有效的预处理函数,攻击成功率以及对抗图像的不可感知性可以显着降低,即,Sobel滤波
2020-05-15 cs.CR cs.LG stat.ML
Implicit Filter Sparsification In Convolutional Neural Networks
Max Planck Institute For Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);Ulsan National Institute of Science and Technology(蔚山科学技术院)
我们展示了卷积神经网络(CNN)中的隐式滤波器级稀疏性,CNN采用批量归一化和ReLU激活,并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。通过广泛的实证研究(Mehta等人,2019)我们假设了稀疏化过程背后的机制,并发现了与文献中提出的某些滤波器稀疏化算法的惊人联系。出现,并随后修剪的选择性功能被观察到的贡献机制之一,导致功能稀疏在平价或优于某些明确的稀疏/修剪方法。在这篇研讨会文章中,我们总结了我们的发现,并指出了选择性特征惩罚的推论,这些推论也可以用作过滤器修剪的算法
2019-05-13 cs.CV cs.LG stat.ML
Interpreting Convolutional Neural Networks Through Compression
University of California, Berkeley(加州大学伯克利分校)
卷积神经网络(CNN)在计算机视觉中的各种任务中实现了最先进的性能。然而,解释CNN仍然是一个挑战。这主要是由于这些网络中有大量的参数。在这里,我们研究了压缩,特别是修剪过滤器在CNN解释中的作用。我们利用我们最近提出的贪婪结构压缩方案,该方案在经过训练的CNN中修剪过滤器。在我们的压缩中,过滤器重要性指数被定义为修剪该过滤器后网络的分类精度降低(CAR)。然后基于CAR索引迭代地修剪滤波器。我们通过展示我们的算法修剪具有视觉冗余模式选择性的过滤器来证明CAR压缩CNN的可解释性。具体来说,我们展示了形状选择性过滤器对对象识别的重要性,而不是颜色选择性过滤器。在AlexNet中的前20个CAR修剪过滤器中,第一层中的17个和第二层中的14个是颜色选择过滤器。最后,我们引入了CAR重要性指数的一个变体,它量化了每个图像类对每个CNN过滤器的重要性。我们发现,最重要和最不重要的类标签提出了一个有意义的解释,每个过滤器是一致的可视化模式选择性的过滤器。
2017-11-07 cs.CV cs.LG stat.ML
Pseudoinverse Graph Convolutional Networks: Fast Filters Tailored for Large Eigengaps of Dense Graphs and Hypergraphs
Chemnitz University of Technologies(开姆尼茨工业大学)
图卷积网络(GCN)已被证明是基于图的数据集上的半监督分类的成功工具。我们提出了一个新的GCN变体,其三部分过滤器空间是针对稠密图。示例包括用于3D点云的高斯图,其增加了对非局部信息的关注,以及基于分类数据的超图。这些图不同于常见的稀疏基准图,因为它们的图拉普拉斯算子的谱性质。最值得注意的是,我们观察到大的本征间隙,这是不利的流行现有的GCN架构。我们的方法通过利用拉普拉斯算子的伪逆来克服这些问题。另一个关键因素是卷积矩阵的低秩近似,确保计算效率并同时提高精度。我们概述了如何在每个应用程序中有效地计算必要的本征信息,并讨论了适当的选择的唯一元参数,近似秩。最后,我们展示了我们的方法的性能,在各种实验与真实世界的数据集的运行时间和准确性。
2021-01-28 cs.LG stat.ML
Building Efficient CNNs Using Depthwise Convolutional Eigen-Filters (DeCEF)
深度卷积神经网络(CNN)由于其令人印象深刻的能力而被广泛应用于各个领域。这些模型通常由大量具有许多可训练参数的2D卷积(Conv 2D)层组成。为了降低网络的复杂性,可以应用压缩技术。这些方法通常依赖于对训练好的深度学习模型的分析。然而,在一些应用中,由于诸如特定数据或系统规范以及许可限制之类的原因,预先训练的网络可能不可用。这将需要用户从头开始训练CNN。在本文中,我们的目标是找到Conv 2D滤波器的替代参数化,而不依赖于预先训练的卷积网络。在分析过程中,我们观察到矢量化Conv 2D滤波器的有效秩随着网络深度的增加而降低,这导致了依赖卷积特征滤波器(DeCEF)层的实现。本质上,DeCEF层是Conv 2D层的低秩版本,具有显著更少的可训练参数和浮点运算(FLOP)。我们定义有效秩的方式与以前的工作不同,它很容易在任何深度学习框架中实现。为了评估DeCEF的有效性,使用各种网络架构在基准数据集CIFAR-10和ImageNet上进行了实验。结果表明,使用约2/3的原始参数,并将FLOP的数量减少到基础网络的2/3,然后将其与最先进的技术进行比较,具有相似或更高的精度和鲁棒性。
2022-01-31 cs.LG stat.ML
Convolutional Bayesian Filtering
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与出行学院);Department of Advanced Manufacturing and Robotics, Peking University(北京大学先进制造与机器人系);Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院)
本文提出卷积贝叶斯滤波框架,通过引入不等式条件将条件概率转化为卷积形式,统一并推广标准贝叶斯滤波,并展示了其在Kalman滤波等经典算法中的鲁棒改进。
2024-03-30 cs.LG cs.SY eess.SY
Learning Front-end Filter-bank Parameters using Convolutional Neural Networks for Abnormal Heart Sound Detection
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Robert Bosch Research and Technology Center(罗伯特·博世研究与技术中心)
自动心音异常检测可以在心脏病的早期诊断中发挥至关重要的作用,特别是在低资源环境中。该任务的最先进算法利用一组有限脉冲响应(FIR)带通滤波器作为前端,随后是卷积神经网络(CNN)模型。在这项工作中,我们提出了一种新的CNN架构,该架构使用时间卷积(tConv)层将前端带通滤波器集成在网络中,从而使FIR滤波器组参数变得可学习。不同的初始化策略的可学习的过滤器,包括随机参数和一组预定义的FIR滤波器组系数,检查。使用所提出的tConv层,我们添加约束的可学习FIR滤波器,以确保线性和零相位响应。对使用PhysioNet/CinC 2016数据集准备的平衡4重交叉验证任务进行实验评价。结果表明,所提出的模型产生优越的性能相比,国家的最先进的系统,而线性相位FIR滤波器组的方法提供了一个绝对的改善9.54%的基线方面的整体精度指标。
2018-06-15 cs.CV cs.LG eess.SP
On Implicit Filter Level Sparsity in Convolutional Neural Networks
MPI For Informatics(马克斯·普朗克信息学研究所);UNIST(蔚山科学技术院);Saarland Informatics Campus(萨尔兰信息学园区)
我们研究了卷积神经网络(CNN)中出现的滤波器级稀疏性,CNN采用批量归一化和ReLU激活,并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。我们进行了广泛的实验研究铸造我们的初步研究结果的假设和结论的机制,潜在的紧急过滤器水平稀疏。这项研究允许新的洞察性能之间的差距obeserved自适应和非自适应梯度下降方法在实践中。此外,分析训练策略和超参数对稀疏性的影响,为设计CNN训练策略提供了实用建议,使我们能够探索特征选择性、网络容量和泛化性能之间的权衡。最后,我们表明,隐式稀疏性可以利用神经网络加速在平价或更好地比显式稀疏/修剪方法,而不需要修改典型的训练管道。
2019-04-05 cs.CV cs.LG eess.SP
Revisiting convolutional neural network on graphs with polynomial approximations of Laplace-Beltrami spectral filtering
National University of Singapore(新加坡国立大学);University of Wisconsin(威斯康星大学);N.1 Institute for Health(N.1健康研究所)
本文回顾了Defferrard(2016)中给出的谱图卷积神经网络(graph-CNN),并通过用LB算子替换图拉普拉斯算子来开发Laplace-Beltrami CNN(LB-CNN)。然后,我们定义光谱过滤器通过LB运营商的图。我们探索了Chebyshev,Laguerre和Hermite多项式近似基于LB的光谱滤波器的可行性,并定义了LB算子的更新,用于LBCNN中的池化。我们采用来自阿尔茨海默病神经成像倡议(ADNI)的大脑图像数据,并演示了所提出的LB-CNN的使用。基于ADNI数据集的皮质厚度,我们表明,与谱图CNN相比,LB-CNN并没有提高分类精度。这三个多项式具有相似的计算成本,并且在LB-CNN或谱图-CNN中显示出相当的分类精度。我们的研究结果表明,即使三个多项式的形状不同,深度学习架构也允许我们学习光谱滤波器,使得分类性能不依赖于多项式或算子(图拉普拉斯算子和LB算子)的类型。
2020-10-26 cs.LG stat.ML
Centripetal SGD for Pruning Very Deep Convolutional Networks with Complicated Structure
Tsinghua University(清华大学);Lancaster University(兰卡斯特大学)
冗余在卷积神经网络(CNN)中被广泛认可,其使得能够从卷积层中移除不重要的滤波器,以便在可接受的性能下降的情况下精简网络。受卷积的线性和组合性质的启发,我们试图使一些滤波器越来越接近,最终相同的网络瘦身。为此,我们提出了向心SGD(C-SGD),一种新的优化方法,它可以训练多个过滤器崩溃到一个点的参数超空间。当训练完成时,删除相同的滤波器可以在没有性能损失的情况下修剪网络,因此不需要微调。通过这样做,我们已经部分解决了一个开放的问题,约束过滤器修剪CNN具有复杂的结构,其中一些层必须修剪后,其他。我们在CIFAR-10和ImageNet上的实验结果证明了基于C-SGD的过滤器修剪的有效性。此外,我们还为深度神经网络中的冗余有助于训练收敛的假设提供了经验证据,表明使用C-SGD训练的冗余CNN优于具有相同宽度的正常训练的对应物。
2019-04-08 cs.CV cs.LG stat.ML
Exploring spectro-temporal features in end-to-end convolutional neural networks
University of Toronto(多伦多大学);Vector Institute(向量研究所)
三角形重叠梅尔缩放滤波器(“f组”)是用于利用其输入的时间-频率几何形状的声学模型的当前标准输入,因为它们为语音信号提供心理声学激励的时间-频率几何形状。F-银行的系数是可证明的规模小变形的鲁棒性。在本文中,我们探讨了两种方法,其中滤波器组可以调整为目的的语音识别。首先,三角形滤波器可以用Gabor滤波器(一种更好地定位时间事件的compatible支持的滤波器)或Gammatone滤波器(一种心理声学驱动的滤波器)来代替。其次,通过重新安排计算滤波器组特征的操作顺序,可以在较小的时间尺度上对特征进行积分,同时提供更好的频率分辨率。我们通过开源存储库在线提供所有功能实现。使用现代端到端CNN电话识别器的初始实验由于任何一种修改都没有产生电话出错率的显著改善。结果,其后果与学习滤波器组,进行了讨论。
2019-01-01 cs.CL cs.LG cs.SD
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Networks
McGill University(麦吉尔大学);Mila(米拉研究所);DeepMind(深度思维)
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合,其过滤邻域节点信息。虽然对各种任务有效,但在本文中,我们表明它们可能是所有GNN方法在某些数据集上学习的潜在问题因素,因为它们迫使节点表示相似,使节点逐渐失去身份并变得不可区分。因此,我们增加了聚合操作与他们的对偶,即多样化运营商,使节点更加独特,并保持身份。这种增强用双通道过滤过程代替聚合,理论上,这有利于丰富节点表示。在实践中,所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略,包括频谱和空间(消息传递)方法。在实验中,我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-11-02 cs.LG stat.ML
MIMO Graph Filters for Convolutional Neural Networks
Univ. of Pennsylvania(宾夕法尼亚大学);King Juan Carlos Univ.(胡安·卡洛斯国王大学);Delft Univ. of Technology(代尔夫特理工大学)
卓越的性能和易于实现的特性促使人们采用卷积神经网络(CNN)来执行各种推理和重建任务。CNN实现了三个基本模块:卷积、池化和逐点非线性。由于前两个操作仅在音频或图像等规则结构数据上定义良好,因此将CNN应用于信息定义在不规则域中的当代数据集是具有挑战性的。本文研究了CNN架构,以操作信号,其支持可以使用图来建模。最近已经提出了用所谓的线性移位不变图滤波器代替常规卷积的架构。本文更进一步,在多输入多输出(MIMO)图滤波器的框架下,对所采用的图滤波器施加额外的结构,以获得三个新的(更简约的)架构。所提出的架构导致更少数量的模型参数,降低了计算复杂性,便于训练,并减轻了过拟合的风险。仿真结果表明,所提出的更简单的架构实现了类似的性能更复杂的模型。
2018-03-06 cs.LG eess.SP stat.ML
A few filters are enough: Convolutional Neural Network for P300 Detection
Universidad Autónoma Metropolitana(墨西哥自治都会大学);Universidad Nacional Autónoma de México(墨西哥国立自治大学)
在过去的十年中,卷积神经网络(CNN)已经成为不断增加的应用的驱动力,实现了最先进的性能。大多数现代CNN架构由许多卷积层和全连接层组成,通常需要数千或数百万个参数来学习。CNN在从脑电图(EEG)信号中检测事件相关电位(Event-Related Potential)中也是有效的,特别是在脑机接口(BCI)中经常使用的P300分量。然而,对于这项任务,与基于人类工程特征的方法相比,检测率的提高并不像其他领域那样令人印象深刻,并且可能无法证明如此大量的参数是合理的。在本文中,我们研究了现有的CNN架构的性能,具有不同的复杂性,在四个不同的数据集上进行单次试验的受试者内和跨受试者P300检测。我们还提出了SepConv1D,这是一种非常简单的CNN架构,由一个单独的可分离的1D卷积层和一个完全连接的Sigmoid分类神经元组成。我们发现,在其卷积层中只有四个滤波器和少量的参数,SepConv1D在四个数据集中获得了竞争性的性能。我们相信,这可能是朝着构建更简单、更便宜、更快、更便携的BCI迈出的重要一步。
2020-09-13 cs.CV cs.LG stat.ML
Neuron ranking -- an informed way to condense convolutional neural networks architecture
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
卷积神经网络(CNN)近年来在科学、技术和工业领域产生了巨大的影响,但CNN结构设计的理论机制仍然令人惊讶地模糊。CNN神经元,包括其独特的元素卷积滤波器,已知是可学习的特征,但它们在产生输出中的单独作用还不清楚。这项工作的论点是,并非所有的神经元都同样重要,其中一些包含更多有用的信息来执行给定的任务。因此,我们量化每个滤波器的重要性,并对其在描述输入以产生所需输出方面的重要性进行排名。这项工作提出了两种不同的方法:(1)基于Shapley值的博弈论方法,计算每个过滤器的边际贡献;(2)基于我们所说的概率方法,使用变分推理的重要性开关。引人注目的是,这两种截然不同的方法产生了相似的实验结果,证实了一般理论,即某些过滤器天生比其他过滤器更重要。学习的秩可以容易地用于网络压缩和可解释性。
2019-07-13 cs.LG stat.ML
Phase Harmonic Correlations and Convolutional Neural Networks
Collège de France(法兰西公学院);École Normale Supérieure(巴黎高等师范学院);Flatiron Institute(熨斗研究所);Peking University(北京大学)
谐波分析中的一个主要问题是捕获频率表示的相位依赖性,这携带着重要的信号特性。卷积神经网络似乎找到了一种方法。在时间序列和图像中,卷积网络通常学习第一层滤波器,这些滤波器在频域中具有不同的相位。我们表明,整流器,然后作为一个过滤器的相位所产生的系数。它计算在空间、频率和相位上局部的信号描述符。非线性相位滤波器变成沿着相位用傅里叶变换计算的相位谐波上的乘法算子。我们证明了它定义了一个双Lipschitz可逆表示。相位谐波系数的相关性从它们在不同频率上的相位依赖性来描述相干结构。对于小波滤波器,我们数值表明,具有稀疏小波系数的信号可以从很少的相位谐波相关中恢复,这提供了一种压缩表示
2019-06-29 cs.LG eess.SP stat.ML
Multi-Band Multi-Resolution Fully Convolutional Neural Networks for Singing Voice Separation
Helwan University(赫勒万大学)
具有卷积层的深度神经网络通常以相同的时频分辨率、滤波器数量和降维尺度来处理音频信号的整个频谱图。根据恒Q变换,如果低频带用高频率分辨率滤波器处理,高频带用高时间分辨率滤波器处理,则可以从音频信号中提取良好的特征。在歌声和音乐信号的混合的频谱图中,通常在低频带中比在高频带中有更多关于声音的信息。这就需要对声谱图的每个部分进行不同的处理。本文提出了一种多带多分辨率全卷积神经网络(MBR-FCN)的歌唱声分离方法。MBR-FCN利用比具有较少信息的频带更多的滤波器和更小的维数减少尺度来处理具有关于目标信号的更多信息的频带。此外,MBR-FCN用高频率分辨率滤波器处理低频带,用高时间分辨率滤波器处理高频带。我们的实验结果表明,所提出的MBR-FCN具有非常少的参数实现更好的歌声分离性能比其他深度神经网络。
2019-10-21 cs.LG cs.SD eess.AS
Convolutional Dictionary Learning in Hierarchical Networks
Harvard University(哈佛大学)
滤波器组是分析分段平滑信号(如自然图像)的常用工具。基于小波域图像尺度系数和细节系数的经验观测特性,提出了一种分段平滑信号的分层深度生成模型,该模型是一种跨尺度递归:通过对下一层的尺度系数进行滤波得到一层的低通尺度系数,并添加通过对稀疏向量进行滤波得到的高通细节新息.这种递归描述了一个线性动态系统,它是一个跨尺度的非高斯马尔可夫过程,与深度网络的多层卷积稀疏编码(ML-CSC)生成模型密切相关,除了我们的模型允许更深的架构,并结合了稀疏和非稀疏信号表示。我们提出了一种交替最小化算法,用于在给定零层观测的情况下学习该分层模型中的滤波器,例如,自然图像。该算法在系数估计步骤和滤波器更新步骤之间交替。系数更新步骤执行稀疏(细节)和平滑(尺度)编码,并且当展开时,导致深度神经网络。我们使用MNIST来展示模型的表示能力,以及其派生的分类特征(系数)。
2019-07-23 cs.LG stat.ML
ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks
BMW Group(宝马集团);Technical University of Munich(慕尼黑工业大学)
缩小最先进的卷积神经网络的硬件要求与限制嵌入式应用的有限资源之间的差距是深度学习研究的下一个重大挑战。这种神经网络的计算复杂性和存储器占用对于在资源受限环境中的部署来说通常是令人生畏的。模型压缩技术,如修剪,强调在其他优化方法来解决这个问题。大多数现有技术需要领域专业知识或导致不规则的稀疏表示,这增加了在嵌入式硬件加速器上部署深度学习应用程序的负担。在本文中,我们提出了基于自动编码器的低秩滤波器共享技术(ALF)。当应用于各种网络,ALF相比,国家的最先进的修剪方法,证明其有效的压缩能力的理论指标,以及一个准确的,确定性的硬件模型。在我们的实验中,ALF显示减少了70%的网络参数,61%的操作和41%的执行时间,在准确性的损失最小。
2020-07-27 cs.CV cs.LG stat.ML
Pruning Convolutional Filters using Batch Bridgeout
University of Saskatchewan(萨斯喀彻温大学)
最先进的计算机视觉模型的容量正在迅速增加,其中参数的数量远远超过拟合训练集所需的数量。这将导致更好的优化和泛化性能。然而,当代模型的巨大规模导致了巨大的推理成本,并限制了它们在资源有限的设备上的使用。为了降低推理成本,可以修剪训练的神经网络中的卷积滤波器,以减少推理期间的运行时存储器和计算需求。然而,如果训练算法导致密集的权重向量,则严重的训练后修剪会导致性能下降。我们提出了使用批量桥接,稀疏诱导随机正则化计划,训练神经网络,使他们可以有效地修剪性能下降最小。我们在CIFAR图像分类任务上对常见的计算机视觉模型VGGNet,ResNet和Wide-ResNet进行了评估。对于所有网络,实验结果表明,与Dropout和权重衰减正则化相比,Batch Bridgeout训练的网络在广泛的修剪强度范围内实现了更高的准确性。
2020-09-23 cs.AI cs.CV cs.LG
Generalization bounds for graph convolutional neural networks via Rademacher complexity
Nanjing Audit University(南京审计大学)
研究了图卷积网络(GCN)的样本复杂度,给出了单隐层GCN模型的拉德马赫复杂度的严格上界.在正则条件下,这些复杂性界显式地依赖于图卷积滤波器的最大特征值和图的度分布。再次,我们提供了一个下界的拉德马赫复杂度的GCN显示我们推导的上限的最优性。以两个常用的例子为代表,讨论了我们的结果在设计图卷积滤波器和图分布中的意义。
2021-02-20 cs.LG stat.ML
Multi-Component Graph Convolutional Collaborative Filtering
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学);Beijing Jiaotong University(北京交通大学)
推荐系统中用户与项目的交互可以自然地建模为一个用户-项目二部图。近年来,我们看到了一个新兴的研究努力,探索用户项目图的协同过滤方法。然而,用户-物品交互的形成通常源于高度复杂的潜在购买动机,例如高性价比或引人注目的外观,这些都不可否认地由边缘表示。现有的方法仍然保持不同的购买动机之间的差异未被探索,从而无法捕捉细粒度的用户偏好。因此,在本文中,我们提出了一种新的多组件图卷积协同过滤(MCCF)的方法来区分潜在的购买动机下观察到的显式用户项目的交互。具体来说,MCCF内部有两个精心设计的模块:分解器和合并器。前者首先对用户-物品图中的边进行分解,识别出可能引起购买关系的潜在成分;后者则自动对这些潜在成分进行重组,得到统一的嵌入进行预测。此外,稀疏正则化和加权随机抽样策略,以减轻过拟合问题,加快优化。在三个真实数据集和一个合成数据集上的实验结果不仅显示了MCCF的显著性能增益,而且很好地证明了考虑多个分量的必要性。
2019-11-25 cs.IR cs.LG stat.ML
Graph Convolutional Network for Recommendation with Low-pass Collaborative Filters
Tsinghua University(清华大学)
\textbf{G}卷积\textbf{N}网络(\textbf{GCN})被广泛用于图数据学习任务,例如推荐。然而,当面对一个大的图,图卷积是非常昂贵的计算,因此被简化在所有现有的GCN,但严重受损,由于过度简化。为了解决这个问题,我们利用GCN中的\textit{original graph convolution},并提出了一个\textbf{L}低通\textbf{C}协同\textbf{F}过滤器(\textbf{LCF}),使其适用于大型图。LCF的设计目的是去除观测数据中由曝光和量化引起的噪声,并且以无损的方式降低图卷积的复杂度。实验表明,LCF提高了图卷积的有效性和效率,我们的GCN显着优于现有的GCN。代码可在\url{https://github.com/Wenhui-Yu/LCFN}上获得。
2021-01-18 cs.IR cs.LG stat.ML
Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学)
图卷积网络(Graph Convolutional Network,GCN)是一种基于图的表示学习模型,它通过迭代地堆叠多层卷积聚合操作和非线性激活操作来实现。近年来,在基于协同过滤的推荐系统中,一些研究者将用户与项目的交互行为视为二分图,用GCN对更高层的协同信号进行建模。这些基于GCN的推荐模型表现出优越的性能相比,传统的作品。然而,这些模型遭受训练困难与非线性激活大型用户项图。此外,大多数基于GCN的模型由于图卷积操作的过度平滑效应而不能对更深的层进行建模。在本文中,我们重新GCN基于CF模型从两个方面。首先,我们经验性地表明,去除非线性将提高推荐性能,这与简单图卷积网络中的理论是一致的。其次,我们提出了一个残差网络结构,是专门为CF与用户项交互建模,它体现了在图卷积聚合操作与稀疏用户项交互数据的过平滑问题。该模型是一个线性模型,易于训练,规模大的数据集,并产生更好的效率和有效性在两个真实的数据集。我们在https://github.com/newlei/LRGCCF上发布源代码。
2020-01-28 cs.IR cs.LG stat.ML