Collaborative Filtering with Recurrent Neural Networks
IRIDIA(IRIDIA实验室);Université Libre de Bruxelles(布鲁塞尔自由大学)
我们表明,协同过滤可以被看作是一个序列预测问题,并给予这种解释,循环神经网络提供了非常有竞争力的方法。特别是,我们研究了如何将长短期记忆(LSTM)应用于协同过滤,以及如何将其与电影推荐的标准最近邻和矩阵分解方法进行比较。我们证明了LSTM在各个方面都具有竞争力,并且在项目覆盖率和短期预测方面大大优于其他方法。
2017-01-03 cs.IR cs.LG
Recurrent Neural Filters: Learning Independent Bayesian Filtering Steps for Time Series Prediction
Oxford-Man Institute of Quantitative Finance(牛津-曼氏定量金融学研究所)
尽管深度生成状态空间模型最近很受欢迎,但网络架构与贝叶斯过滤框架的推理步骤之间的比较很少-大多数模型同时用单个递归神经网络(RNN)近似状态转换和更新步骤。在本文中,我们介绍了递归神经滤波器(RNF),一种新的递归自动编码器架构,它学习由一系列编码器和解码器捕获的每个贝叶斯过滤步骤的不同表示。在三个真实世界的时间序列数据集上进行测试,我们证明了解耦表示学习不仅提高了一步预测的准确性,同时提供了现实的不确定性估计,而且还通过分离编码器阶段促进了多步预测。
2020-09-27 cs.LG eess.SP stat.ML
Unified Source-Filter GAN: Unified Source-filter Network Based On Factorization of Quasi-Periodic Parallel WaveGAN
Nagoya University(名古屋大学)
我们提出了一个统一的方法,数据驱动的源滤波器建模使用一个单一的神经网络开发的神经声码器能够生成高质量的合成语音波形,同时保留灵活性的源滤波器模型,以控制他们的语音特性。我们提出的网络称为统一的源滤波器生成对抗网络(uSFGAN)的开发,通过分解准周期并行WaveGAN(QPPWG),神经声码器的基础上一个单一的神经网络,到一个源激励生成网络和声道共振滤波网络通过额外实现正则化损失。此外,受神经源滤波器(NSF)的启发,仅正弦波形被另外用作最简单的线索以生成周期性源激励波形,同时最小化源滤波器模型中的近似的影响。实验结果表明,uSFGAN优于传统的神经声码器,如QPPWG和NSF在语音质量和音高可控性。
2021-06-27 cs.LG cs.SD eess.AS
Graph Neural Networks with convolutional ARMA filters
Università della Svizzera Italiana(瑞士意大利语区大学);University of Manitoba(曼尼托巴大学);University of Exeter(埃克塞特大学);Politecnico di Milano(米兰理工大学)
流行的图神经网络基于多项式谱滤波器在图上实现卷积运算。在本文中,我们提出了一种受自回归移动平均(ARMA)滤波器启发的新型图卷积层,与多项式滤波器相比,它提供了更灵活的频率响应,对噪声更具鲁棒性,并且更好地捕获全局图结构。我们提出了一个图神经网络实现的ARMA滤波器的递归和分布式配方,获得一个卷积层,是有效的训练,本地化的节点空间,并可以转移到新的图形在测试时。我们进行了频谱分析,研究建议的ARMA层的过滤效果和报告实验的四个下游任务:半监督节点分类,图形信号分类,图形分类,图形回归。结果表明,所提出的ARMA层带来了显着的改善,图神经网络的基础上多项式滤波器。
2021-01-24 cs.LG stat.ML
Online Non-Destructive Moisture Content Estimation of Filter Media During Drying Using Artificial Neural Networks
Aarhus University(奥胡斯大学)
含水量(MC)估计在干燥散装过滤介质产品的制造过程中非常重要,因为它是干燥优化的先决条件。在这项研究中,通过执行161干燥工业实验收集的数据集进行描述和MC估计在工业干燥过程中的非破坏性和在线的方式的方法。一个人工神经网络(ANN)为基础的方法相比,国家的最先进的MC估计方法在文献中报道。模型拟合和训练的结果表明,三层感知器实现了最低的误差。实验结果表明,人工神经网络结合烘箱设置数据,干燥时间和产品温度可以用来可靠地估计大体积过滤介质产品的MC。
2023-03-27 cs.LG
A neural network based post-filter for speech-driven head motion synthesis
University of Edinburgh(爱丁堡大学)
尽管神经网络被广泛用于语音驱动的头部运动合成,但众所周知,由于深度神经网络在预测人体运动方面的能力有限,神经网络的输出是有噪声的或不连续的。因此,需要后处理来获得用于动画的平滑头部运动轨迹。通常应用线性滤波器或将关键帧视为后处理。然而,这两种方法都不是最佳的,因为在平滑度和准确度之间总是存在权衡。我们建议采用一种能够重建头部运动的神经网络来克服这一限制。在客观评价中,该滤波器被证明是良好的去噪数据涉及的噪声类型(辍学或高斯噪声)。客观指标也证明了我们提出的滤波器处理后,加入头部运动的平滑度的改善。详细的分析表明,我们提出的过滤器学习的头部运动的特点。主观评价表明,参与者无法区分合成的头部运动与我们提出的过滤器从地面真相,这是优于高斯滤波器和移动平均。
2019-07-25 cs.LG eess.AS eess.SP
Automated Polynomial Filter Learning for Graph Neural Networks
Tongji University(同济大学);North Carolina State University(北卡罗来纳州立大学)
针对多项式图滤波器自适应学习中的严重过拟合问题,提出通用自动化框架 Auto-Polynomial,在不同标签比例下同配与异配图上均获得稳定显著提升。
2023-07-16 cs.AI cs.LG
Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments
Advanced Bionics(先进仿生公司)
本文提出了一种基于加权预测误差(WPE)的卡尔曼滤波算法的神经网络增强抗噪在线去混响算法。滤波器随机变化由深度神经网络(DNN)使用滤波器残差和信号特征进行端到端训练来预测。所提出的框架允许在类似于WHAMR!的单通道噪声混响数据集上进行鲁棒的去混响。如果目标语音功率谱密度不是完全已知的并且观测是有噪声的,则卡尔曼滤波WPE在仅从残余误差预测滤波器变化时在增强信号中引入失真。所提出的方法通过以数据驱动的方式校正滤波器变化估计来避免这些失真,从而增加该方法对噪声场景的鲁棒性。此外,与WPE的DNN支持的递归最小二乘变体相比,它产生了强大的去混响和去噪性能,特别是对于高噪声输入。
2022-06-23 cs.LG cs.SD eess.AS
Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University(广岛大学)
由于卷积神经网络经常用冗余参数训练,因此可以减少冗余核或滤波器以获得紧凑的网络而不降低分类精度。在本文中,我们提出了一种过滤器修剪方法使用层次组稀疏正则化。在我们以前的工作中,层次组稀疏正则化是有效的,在获得稀疏网络中,连接到不必要的通道的过滤器自动接近零。在对卷积神经网络进行层次群稀疏正则化训练后,根据随机选取的训练样本分类损失的增加情况选取不必要的滤波器,得到一个紧凑的网络。结果表明,该方法可以减少CIFAR-10的ResNet参数的50%以上,而测试样本的准确性仅下降0.3%。此外,TinyImageNet-200的ResNet参数减少了34%,精度高于基线网络。
2020-11-04 cs.CV cs.LG
Provable Filter Pruning for Efficient Neural Networks
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);University of Haifa(海法大学)
我们提出了一种可证明的,基于采样的方法,通过识别和删除冗余滤波器从过参数化网络生成紧凑的卷积神经网络(CNN)。我们的算法使用一小批输入数据点分配一个显着性得分到每个过滤器,并构造一个重要性采样分布,高度影响输出的过滤器,相应的高概率采样。与现有的过滤器修剪方法相比,我们的方法是同时数据通知,表现出可证明的保证修剪网络的大小和性能,并广泛适用于不同的网络架构和数据集。我们的分析界限桥接了网络结构的可压缩性和重要性的概念,这产生了一个全自动的过程,用于识别和保留对网络性能至关重要的层中的过滤器。我们流行的架构和数据集上的实验评估表明,我们的算法始终生成稀疏和更有效的模型比现有的过滤器修剪方法。
2020-03-23 cs.LG stat.ML
Particle Filter Recurrent Neural Networks
National University of Singapore(新加坡国立大学)
循环神经网络(RNN)在序列数据的预测方面取得了巨大的成功。为了处理高度可变和嘈杂的现实世界数据,我们引入了粒子滤波循环神经网络(PF-RNN),这是一种新的RNN家族,它明确地模拟其内部结构中的不确定性:虽然RNN依赖于一个长的,确定性的潜在状态向量,但PF-RNN保持了一个潜在的状态分布,近似为一组粒子。为了有效学习,我们提供了一个完全可微的粒子滤波算法,该算法根据贝叶斯规则更新PF-RNN潜在状态分布。实验表明,所提出的PF-RNN在合成机器人定位数据集和10个真实世界序列预测数据集上的文本分类,股票价格预测等方面优于相应的标准门控RNN。
2019-12-01 cs.LG stat.ML
Filter Grafting for Deep Neural Networks
Tencent Youtu Lab(腾讯优图实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
本文提出了一种新的学习范式,称为过滤器嫁接,旨在提高深度神经网络(DNN)的表示能力。其动机是DNN具有不重要(无效)的过滤器(例如,l1范数接近0)。这些过滤器限制了DNN的潜力,因为它们被认为对网络的影响很小。虽然过滤器修剪出于效率考虑移除这些无效过滤器,但过滤器移植从提高准确性的角度重新激活它们。通过将外部信息(权重)移植到无效过滤器中来处理激活。为了更好地执行嫁接过程,我们开发了一个基于熵的标准来衡量过滤器的信息和自适应加权策略,用于平衡网络之间的嫁接信息。嫁接操作后,网络与其未接触状态相比具有很少的无效过滤器,从而赋予模型更大的表示能力。我们还进行了广泛的实验上的分类和识别任务,以显示我们的方法的优越性。例如,在CIFAR-100数据集上,移植的MobileNetV 2比未移植的MobileNetV 2的性能高出约7%。代码可在https://github.com/fxmeng/filter-grafting.git上获得。
2020-02-26 cs.CV cs.LG
AdaGNN: Graph Neural Networks with Adaptive Frequency Response Filter
University of Virginia(弗吉尼亚大学);Arizona State University(亚利桑那州立大学);Army Research Laboratory(陆军研究实验室)
图神经网络最近已经成为各种高影响力图分析问题的流行范例。现有的努力主要可分为基于光谱和基于空间的方法。前者的主要挑战是找到一个合适的图滤波器,从输入信号中提取判别信息进行学习。最近,为了实现更好的图过滤器,进行了无数的探索,例如,图卷积网络(GCN),它利用切比雪夫多项式截断来寻求图滤波器的近似,并桥接这两类方法。然而,最近的研究表明,GCN及其变体基本上采用固定的低通滤波器来执行信息去噪。因此,它们的学习能力相当有限,并且可能在更深层过度平滑节点表示。为了解决这些问题,我们开发了一个新的图神经网络框架AdaGNN与一个精心设计的自适应频率响应滤波器。AdaGNN的核心是利用一个简单但优雅的可训练滤波器,该滤波器跨越多个层,以捕获不同频率分量对节点表示学习的不同重要性。不同特征通道之间的固有差异也被滤波器很好地捕获。因此,它使AdaGNN具有更强的表现力,并自然消除了过度平滑的问题。我们在各种基准数据集上实证验证了所提出的框架的有效性。理论分析也提供了所提出的AdaGNN的优越性。AdaGNN的开源实现可以在这里找到:https://github.com/yushundong/AdaGNN。
2022-02-19 cs.LG
Binary Stochastic Filtering: a Method for Neural Network Size Minimization and Supervised Feature Selection
University of Chemistry and Technology(化学技术大学)
提出了二进制随机滤波(BSF)算法,用于特征选择和神经元修剪。该方法定义了过滤层,该过滤层对训练过程中涉及的信息量进行惩罚。该信息可以是前一层的输入数据或输出,其分别直接导致特征选择或神经元修剪,从而产生特征的\textit{ad hoc}子集或选择每层中神经元的最佳数目。过滤层随机传递或丢弃基于单个权重的特征,这些权重在训练过程中使用标准的反向传播算法进行调整。实验中实现了神经网络规模的成倍减小。此外,该方法能够选择最少数量的特征,超过文献参考的准确性/维数比。
2019-08-20 cs.LG stat.ML
Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs
University of Pennsylvania(宾夕法尼亚大学);MIT(麻省理工学院)
本文研究了从流形采样构建的图神经网络与流形神经网络间的关系,证明了图滤波器与神经网络向连续流形的非渐近收敛,揭示了滤波器可判别性与近似能力的权衡,并指出非线性可缓解该权衡。
2023-06-28 cs.LG eess.SP
Meta-Learning Neural Bloom Filters
DeepMind(深度思维);University College London(伦敦大学学院)
最近有一种趋势是训练神经网络来取代手工制作的数据结构,目的是更快的执行,更好的准确性或更大的压缩。在这种设置中,通过在其输入的许多时期上训练网络直到收敛来实例化神经数据结构。在输入达到高吞吐量或短暂的应用中,从头开始训练网络是不切实际的。这激发了对Few-Shot神经数据结构的需求。在本文中,我们探讨了通过元学习在一个单一的一组数据的近似集成员的学习。我们提出了一种新的内存架构,神经布隆过滤器,这是能够实现显着的压缩增益超过经典的布隆过滤器和现有的内存增强神经网络。
2019-06-10 cs.DB cs.DS cs.LG
Framework for Designing Filters of Spectral Graph Convolutional Neural Networks in the Context of Regularization Theory
Indian Institute of Space Science and Technology(印度空间科学与技术研究所)
图卷积神经网络(GCNN)在图学习中得到了广泛的应用。已经观察到,图上的光滑度泛函可以根据图拉普拉斯算子来定义。这一事实指出了在图上使用拉普拉斯算子推导正则化算子的方向,以及随后在谱GCNN滤波器设计中的使用。在这项工作中,我们探索了图拉普拉斯算子的正则化性质,并提出了一个广义框架,用于谱GCNN中的正则化滤波器设计。我们发现,在许多最先进的GCNN中使用的滤波器可以作为我们开发的框架的特殊情况导出。我们设计了与定义良好的正则化行为相关联的新过滤器,并在半监督节点分类任务上测试了它们的性能。他们的表现被认为是优于其他国家的最先进的技术。
2020-09-29 cs.LG stat.ML
GaborNet: Gabor filters with learnable parameters in deep convolutional neural networks
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文描述了一种使用深度卷积神经网络进行图像识别的系统。提出了改进的网络结构,重点是提高收敛性和降低训练复杂度。网络第一层中的滤波器被约束以拟合Gabor函数。Gabor函数的参数是可学习的,并通过标准的反向传播技术进行更新。该系统在Python上实现,在几个数据集上进行了测试,性能优于常见的卷积网络。
2019-04-30 cs.CV cs.LG eess.IV
Knowledge Based Wind Turbine Gearbox Fault Detection Using Sparse Filtering and Graph Neural Networks
Case Western Reserve University(凯斯西储大学)
本研究提出结合稀疏滤波与图神经网络的两阶段框架,用于风力涡轮机齿轮箱故障检测,在基准测试中取得优于人工特征方法的分类准确率,验证了结构化传感器图中学习振动表示的有效性。
2026-11-03 cs.LG cs.SY eess.SY
Visual Context-aware Convolution Filters for Transformation-invariant Neural Network
Samsung R&D Institute, Bangalore(三星班加罗尔研发中心)
我们提出了一种新的视觉上下文感知过滤器生成模块,它将图像中的上下文信息纳入卷积神经网络(CNN)。与传统的CNN相比,我们不会对所有输入图像实例使用相同的学习卷积滤波器集。我们提出的输入条件卷积滤波器与多实例学习和最大池技术相结合,产生了一个变换不变的神经网络。我们研究了我们提出的框架在三种MNIST变体上的性能,其中包括旋转和缩放方差,并在MNIST-rot-12 k上实现了1.13%的误差,在半旋转MNIST上实现了1.12%的误差,在缩放MNIST上实现了0.68%的误差,这明显优于最先进的结果。我们利用可视化来进一步证明我们的视觉上下文感知卷积过滤器的有效性。我们提出的可视化上下文感知卷积滤波器生成框架也可以作为任何基于CNN的架构的插件,并增强其建模能力。
2019-06-15 cs.CV cs.LG stat.ML
Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation
Tencent Youtu Lab(腾讯优图实验室);Harbin Institute of Technology(哈尔滨工业大学);XiaMen University(厦门大学)
滤波器是现代卷积神经网络(CNN)的关键部件。然而,由于CNN通常是过度参数化的,因此预训练的网络总是包含一些无效(不重要)的过滤器。这些滤波器具有相对小的$l_{1}$范数并且对输出(\textbf{Reason})贡献很小。虽然过滤器修剪出于效率考虑删除了这些无效过滤器,但我们倾向于重新激活它们以提高CNN的表示能力。在本文中,我们介绍了过滤器嫁接(\textbf{Method}),以实现这一目标。通过将外部信息(权重)移植到无效过滤器中来处理激活。为了更好地进行嫁接,我们开发了一种新的标准来衡量过滤器的信息和自适应加权策略,以平衡网络之间的嫁接信息。嫁接操作后,网络与初始状态相比具有更少的无效过滤器,从而赋予模型更大的表示能力。同时,由于嫁接是在所有网络上进行的,我们发现嫁接在改进无效过滤器时可能会丢失有效过滤器的信息。为了对有效和无效过滤器进行普遍改进,我们采用蒸馏补偿接枝(\textbf{Cultivation})来克服接枝的缺点。大量的实验进行分类和识别任务,以显示我们的方法的优越性。代码可在\textcolor{black}{\emph{https://github.com/fxmeng/filter-grafting}}上获得。
2021-01-15 cs.AI cs.LG
Minimal Filtering Algorithms for Convolutional Neural Networks
West Pomeranian University of Technology Szczecin(西波美拉尼亚工业大学什切青分校)
在本文中,我们提出了几个资源高效的算法解决方案,关于在卷积神经网络的卷积层中执行的基本滤波操作的完全并行硬件实现。实际上,这些基本操作计算由滑动时间窗从当前数据流形成的相邻向量与M抽头有限脉冲响应滤波器的脉冲响应的两个内积。我们使用Winograd最小滤波技巧,并将其应用于开发完全并行的面向硬件的算法,用于实现M= 3,5,7,9和11的基本滤波操作。在每种情况下,所提出的算法的完全并行硬件实现给出了大约30%的节省嵌入式乘法器的数量相比,一个完全并行的硬件实现的天真的计算方法。
2020-04-12 cs.LG eess.SP stat.ML
Explaining Convolutional Neural Networks by Tagging Filters
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Mannheim(曼海姆大学)
卷积神经网络(CNN)在各种图像分类任务上取得了惊人的性能,但人类很难理解分类是如何产生的。最近的文献提出了向人类解释分类过程的方法。这些主要集中在可视化特征图和过滤器权重上,这对于非专家来说在分析CNN分类时不是很直观。在本文中,我们提出了FilTag,这是一种即使对非专家也能有效解释CNN的方法。这个想法是,当一个类别的图像经常激活卷积滤波器时,该滤波器就会被标记为该类别。这些标记提供了对过滤器检测到的类特定特征的引用的解释。基于标记,然后可以根据输入图像激活的滤波器的标记直观地解释各个图像分类。最后,我们表明,标签是有帮助的,在分析分类错误所造成的噪声输入图像,标签可以进一步处理的机器。
2021-09-20 cs.CV cs.LG
Kalman Filter Modifier for Neural Networks in Non-stationary Environments
University of Surrey(萨里大学);Adobe Systems Inc(奥多比系统公司)
非平稳环境下的学习是将机器学习算法应用于现实世界中不可避免的问题。学习新的任务而不忘记以前的知识是机器学习中的一个挑战性问题。我们提出了一个基于卡尔曼滤波器的修正器,以保持神经网络模型在非平稳环境下的性能。实验结果表明,该模型能够较好地保留关键信息,并能较好地适应变化。实验结果表明,在漂移环境下,该模型的精度下降了0.4%,而传统模型的精度下降了90%。
2018-11-06 cs.LG stat.ML
DCFNet: Deep Neural Network with Decomposed Convolutional Filters
Duke University(杜克大学)
卷积神经网络(CNN)中的滤波器包含从大量数据中学习的模型参数。在本文中,我们建议将CNN中的卷积滤波器分解为具有预定基的截断扩展,即分解卷积滤波器网络(DCFNet),其中扩展系数仍然是从数据中学习的。这种结构不仅减少了可训练参数的数量和计算量,而且通过基截断来施加滤波器规则性。通过大量的实验,我们始终观察到DCFNet在显著减少模型参数的情况下保持了图像分类任务的准确性,特别是在傅里叶-贝塞尔(FB)基,甚至是随机基的情况下。在理论上,我们分析了DCFNet的表示稳定性相对于输入的变化,并证明表示稳定性的一般假设下的扩展系数。分析结果与实证观察结果一致。
2018-07-27 cs.CV cs.LG stat.ML
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol(布里斯托大学)
我们将神经网络优化问题表述为贝叶斯滤波,其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究,但他们无法使用均方根梯度归一化器恢复标准优化器,如Adam和RMSprop,而是得到均方归一化器。为了恢复均方根归一化,我们发现有必要考虑所有其他参数的时间动态,因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换,自动恢复AdamW,这是Adam的最新变体,具有解耦的权重衰减,并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Basic Filters for Convolutional Neural Networks Applied to Music: Training or Design?
当使用卷积神经网络来处理基于音乐或更一般地基于时间序列数据的学习问题时,通常对原始一维数据进行预处理以获得频谱图或梅尔频谱图系数,然后将其用作实际神经网络的输入。在这篇文章中,我们从理论和实验两方面研究了这个预处理步骤对网络性能的影响,并提出了一个问题,即通过直接对原始数据应用自适应或学习滤波器来取代它,是否可以提高学习成功率。理论结果表明,通过应用自适应滤波器和随后的时间平均来近似地再现梅尔谱图系数在原则上是可能的。我们还进行了广泛的实验工作的任务,在音乐中的歌声检测。这些实验的结果表明,对于基于卷积神经网络的分类,从自适应滤波器组然后进行时间平均获得的特征比基于标准傅立叶变换的梅尔谱图系数执行得更好。具有从训练数据学习的中心频率或时间平均长度的替代自适应方法同样表现良好。
2018-09-19 cs.IR cs.LG
A Survey on Deep Neural Networks in Collaborative Filtering Recommendation Systems
Center for Artificial Intelligence and Technology(人工智能与技术中心);Faculty of Information Science and Technology(信息科学与技术学院);The National University of Malaysia(马来西亚国立大学)
本文综述DNN在协同过滤推荐中的应用,梳理基础原理、模型类别、评估协议、辅助信息及未来挑战。
2024-12-02 cs.AI cs.LG
Node-Variant Graph Filters in Graph Neural Networks
Rice University(莱斯大学);University of California, Berkeley(加州大学伯克利分校)
图神经网络(GNN)已经成功地用于涉及图信号的无数应用中。理论研究结果表明,GNN使用非线性激活函数来创建低特征值频率内容,这些内容可以由后续的图形卷积滤波器以稳定的方式处理。然而,由非线性函数产生的频率成分的确切形状是未知的,并且不能学习。在这项工作中,我们使用节点变体图滤波器(NVGF)-这是能够创建频率的线性滤波器-作为研究频率创建在GNN中扮演的角色的一种手段。我们表明,通过用NVGF替换非线性激活函数,可以设计或学习频率创建机制。通过这样做,频率创建的作用与传统GNN的非线性性质分离。对图形信号处理问题进行了仿真,以查明频率创建的作用。
2022-03-04 cs.LG eess.SP
Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks
网络数据可以方便地建模为图形信号,其中数据值被分配给描述底层网络拓扑的图形的节点。从网络数据中成功学习是建立在有效利用这种图结构的方法之上的。在这项工作中,我们利用图信号处理来表征图神经网络(GNNs)的表示空间。我们讨论了图卷积滤波器在GNN中的作用,并表明使用此类滤波器构建的任何架构都具有置换等变性和拓扑变化稳定性的基本属性。这两个属性提供了关于GNN工作原理的见解,并有助于解释其可扩展性和可转移性,再加上其本地和分布式性质,使GNN成为在物理网络中学习的强大工具。我们还介绍了GNN扩展使用边变化和自回归移动平均图滤波器,并讨论其属性。最后,我们研究了GNNs在推荐系统和机器人群学习分散控制器中的使用。
2021-05-19 cs.LG cs.SY eess.SY
Musical Tempo and Key Estimation using Convolutional Neural Networks with Directional Filters
tagtraum industries incorporated(tagtraum工业公司);International Audio Laboratories Erlangen(埃尔朗根国际音频实验室)
在这篇文章中,我们将探讨如何利用谱图的时间和频率轴的不同语义,使用卷积神经网络(CNN)进行音乐节奏和基调估计。通过使用相同的网络架构解决这两个任务,从浅的,特定于域的方法到带有方向滤波器的深度变体,我们表明轴对齐架构与为计算机视觉开发的常见VGG风格网络表现相似,同时不容易受到混淆因素的影响,并且需要较少的模型参数。
2019-03-26 cs.LG cs.SD eess.AS
Tangent Bundle Filters and Neural Networks: from Manifolds to Cellular Sheaves and Back
University of Pennsylvania(宾夕法尼亚大学);Sapienza University of Rome(罗马第一大学);Duke University(杜克大学)
在这项工作中,我们介绍了利用连接拉普拉斯算子的黎曼流形的切丛上的卷积运算。我们使用卷积来定义切束滤波器和切束神经网络(TNNs),这是一种在切束信号上操作的新型连续架构,即流形上的向量场。我们在空间和时间域中离散TNN,表明它们的离散对应物是最近引入的Sheaf神经网络的原则变体。我们正式证明,这种离散的架构收敛到底层的连续TNN。我们数值评估所提出的架构上的单位2球的切向量场的去噪任务的有效性。
2022-11-18 cs.LG eess.SP
Neural Network-Based Collaborative Filtering for Question Sequencing
电子学习系统(ELS)和智能教学系统(ITS)在当今的教育计划中发挥着重要作用。排序问题是为目标学习者生成个性化测验的艺术。个性化的测试将丰富学习者的经验,并将有助于更有效和更高效的学习过程。在本文中,我们使用神经协同过滤(NCF)模型来生成问题排序,并将其与基于成对记忆的问题排序算法EduRank进行比较。NCF模型显示出比EduRank模型更好的排名结果,平均精度相关性得分为0.85,而EduRank模型为0.8。
2020-04-25 cs.AI cs.IR cs.LG
FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary
Arizona State University(亚利桑那州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);StylingAI Inc.(StylingAI公司)
我们提出了一种通过卷积滤波器的新表示进行权重共享来压缩深度卷积神经网络(CNN)的新方法。所提出的方法通过学习称为滤波器摘要(FS)的1D向量来减少每个卷积层的参数数量。卷积滤波器位于FS中作为重叠的1D段,FS中的邻近滤波器以自然的方式在其重叠区域中共享权重。基于这种权重共享方案的所得神经网络(称为滤波器摘要CNN或FSNet)在每个卷积层中具有FS,而不是常规卷积层中的一组独立滤波器。FSNet具有与待压缩的基线CNN相同的架构,并且FSNet的每个卷积层在前向过程中具有与基线CNN相同数量的来自FS的滤波器。FSNet的参数空间远小于基线CNN的参数空间,具有令人信服的计算加速比。此外,FSNet是量化友好的。具有权重量化的FSNet导致甚至更高的压缩比,而没有明显的性能损失。我们进一步提出了可微分FSNet,其中过滤器共享权重的方式是以可微分和端到端的方式学习的。实验证明了FSNet在压缩CNN用于计算机视觉任务(包括图像分类和目标检测)中的有效性,并且DFSNet的有效性通过神经结构搜索任务得到了证明。
2020-04-10 cs.AI cs.LG stat.ML
Node-oriented Spectral Filtering for Graph Neural Networks
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Beijing Key Laboratory of Advanced Information Science and Network Technology(北京先进信息科学与网络技术重点实验室)
针对GNN低通滤波难以适应非亲同图中局部模式变化的问题,本文提出面向节点的谱滤波网络NFGNN,通过逐节点估计滤波器和重参数化实现局部自适应与全局一致性的平衡,并在实验中验证了其优越性能。
2023-10-26 cs.LG cs.SI
Generalized Approach to Matched Filtering using Neural Networks
Columbia University in the City of New York(纽约市哥伦比亚大学);University of Florida(佛罗里达大学)
引力波科学是一个开拓性的领域,其快速发展的数据分析方法目前正在吸收和发明深度学习技术。该领域大部分复杂的旗舰搜索都依赖于其核心中久经考验的匹配过滤原理。在本文中,我们对新兴的深度学习和传统技术之间的关系进行了关键观察:匹配滤波在形式上等价于特定的神经网络。这意味着神经网络可以通过分析来构建,以精确地实现匹配滤波,并且可以在数据上进一步训练或以额外的复杂性来提高性能。此外,我们表明,所提出的神经网络架构可以优于匹配滤波,无论有或没有先验知识的参数分布。当先验知识给定时,所提出的神经网络可以逼近统计最优性能。我们还提出并研究了两种不同的神经网络架构MNet-Shallow和MNet-Deep,它们都在初始化时实现匹配滤波,并且可以在数据上进行训练。MNet-Shallow的结构更简单,而MNet-Deep更灵活,可以处理更广泛的分布。使用真实LIGO数据和合成注入的实验证实了我们的理论研究结果,其中我们提出的方法在高于$5\times 10^{-3}\%$的假阳性率下显著优于匹配滤波。匹配滤波和神经网络之间的基本等效性允许我们定义一个“复杂性标准蜡烛”来表征在一个共同的框架中搜索引力波信号的不同方法的相对复杂性。最后,我们的研究结果为深度学习在引力波探测中的作用提供了新的视角。
2022-02-02 astro-ph.HE astro-ph.IM cs.LG
Visualizing Deep Neural Networks for Speech Recognition with Learned Topographic Filter Maps
University of Potsdam(波茨坦大学);Research Focus Cognitive Science(认知科学研究中心);Otto von Guericke University Magdeburg(奥托·冯·格里克马格德堡大学);Artificial Intelligence Lab(人工智能实验室)
深度神经网络中人工神经元的无信息排序使更深层的可视化激活变得复杂。这就是为什么这些模型的内部结构非常不直观的原因之一。在神经科学中,真实大脑的活动可以通过突出活动区域来可视化。受这些技术的启发,我们训练了一个卷积语音识别模型,其中滤波器排列在2D网格中,相邻的滤波器彼此相似。我们展示了这些地形滤波图如何更直观地显示人工神经元激活。此外,我们调查,这是否会导致音素反应神经元被分组在某些地区的地形图。
2019-12-06 cs.LG cs.SD eess.AS
DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel
针对DNN生成SIMP密度场时NTK滤波器缺乏平移不变性的问题,本文提出两种坐标嵌入以实现近似空间不变,并通过实验验证其效果与架构影响。
2021-11-28 cs.LG stat.ML
Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering
IMT School for Advanced Studies(IMT高等研究院)
本文研究了使用扩展卡尔曼滤波来训练具有相当一般的凸损失函数和正则化项的递归神经网络的网络参数,包括$\ell_1$ -正则化。我们表明,学习方法是有竞争力的随机梯度下降在非线性系统辨识基准和训练线性系统的二进制输出。我们还探讨了该算法在数据驱动的非线性模型预测控制中的应用及其与无偏置闭环跟踪干扰模型的关系。
2022-11-02 cs.LG cs.SY eess.SY
Performance Evaluation of Selective Fixed-filter Active Noise Control based on Different Convolutional Neural Networks
Nanyang Technological University(南洋理工大学);Huawei Technologies Co., Ltd.(华为技术有限公司);Huawei International Pte. Ltd.(华为国际私人有限公司)
由于其快速的响应时间和高度的鲁棒性,选择性固定滤波器有源噪声控制(SFANC)方法似乎是一个可行的候选人,广泛用于各种实际的有源噪声控制(ANC)系统。与传统的固定滤波器ANC方法相比,SFANC可以为不同类型的噪声选择预训练的控制滤波器。因此,深度学习技术可以用于SFANC方法中,以使得能够更灵活地选择用于衰减各种噪声的最合适的控制滤波器。此外,在深度神经网络的辅助下,选择策略可以从噪声数据中自动学习,而不是通过尝试和错误,这显著简化和提高ANC设计的实用性。因此,本文研究了基于不同的一维和二维卷积神经网络的SFANC的性能。此外,我们对几种网络训练策略进行了比较分析,发现微调可以提高选择性能。
2022-08-17 cs.AI cs.LG eess.SP
Deep Neural Network-Driven Adaptive Filtering
University of Electronic Science and Technology of China(电子科技大学)
本文提出一种深度神经网络驱动的自适应滤波框架,通过直接梯度获取和最大似然隐式代价函数,解决传统方法泛化难题,并在非高斯场景下验证了其卓越性能与稳定性。
2025-08-06 cs.LG stat.ML
A collaborative filtering model with heterogeneous neural networks for recommender systems
近年来,深度神经网络被引入到推荐系统中来解决协同过滤问题,在计算机视觉、语音识别和自然语言处理等领域取得了巨大的成功。一方面,深度神经网络可以用来对推荐系统中的辅助信息进行建模。另一方面,它也能够建模用户和项目之间的非线性关系。深度神经网络的一个优点是可以通过增加神经网络的深度来容易地增强算法的性能。然而,当利用深度神经工作来建模用户和项目之间的关系时,可能会出现两个潜在的问题。基本问题是,算法的复杂性随着神经网络深度的增加而显著增长。第二个是更深的神经网络可能会破坏算法的准确性。为了缓解这些问题,我们提出了一种混合神经网络,结合异构神经网络与不同的结构。在真实数据集上的实验结果表明,该方法在项目排序方面优于现有的方法。
2020-10-13 cs.IR cs.LG
Implementing a Bayes Filter in a Neural Circuit: The Case of Unknown Stimulus Dynamics
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与科学研究所)
针对刺激动力学未知下的神经群体响应贝叶斯滤波估计问题,提出结合概率群体编码与最大似然训练神经网络的近似方法,经三类滤波问题验证且隐藏层调谐曲线符合神经科学发现。
2017-06-07 cs.LG stat.ML
Uncertainty Propagation in Deep Neural Networks Using Extended Kalman Filtering
Massachusetts Institute of Technology(麻省理工学院);Department of Mathematics(数学系);Lincoln Laboratory Supercomputing Center(林肯实验室超级计算机中心)
本文提出利用扩展卡尔曼滤波在深度神经网络中传播和量化输入不确定性,方法在计算效率上优于现有技术,同时自然地将模型误差纳入输出不确定性。
2018-09-17 cs.LG cs.NA math.NA
Filter Bank Regularization of Convolutional Neural Networks
McMaster University(麦克马斯特大学)
正则化技术被广泛用于提高深度卷积神经网络(DCNN)的通用性、鲁棒性和效率。在本文中,我们提出了一种通过结构化滤波器组调节DCNN卷积核的新方法。与忽略核内的样本相关性的现有正则化方法(诸如DCNN核权重和核正交性的$\ell_1$或$\ell_2$最小化)相比,在DCNN的正则化中使用滤波器组可以将DCNN核塑造成常见的空间结构和特征(例如,各种方向和频率的边缘或纹理)。另一方面,与直接使DCNN内核固定滤波器不同,滤波器组正则化仍然允许通过深度学习优化DCNN权重的自由度。这种新的DCNN设计策略旨在结合两个世界的优点:包括传统滤波器组的结构图像先验,以提高DCNN解决方案的鲁棒性和通用性,以及现代深度学习对隐藏在训练数据中的复杂非线性函数进行建模的能力。在目标识别任务上的实验结果表明,与现有的权重衰减和核正交的正则化方法相比,该正则化方法能更快地收敛,更好地泛化。
2019-11-26 cs.LG stat.ML
Interpreting Convolutional Neural Networks Through Compression
University of California, Berkeley(加州大学伯克利分校)
卷积神经网络(CNN)在计算机视觉中的各种任务中实现了最先进的性能。然而,解释CNN仍然是一个挑战。这主要是由于这些网络中有大量的参数。在这里,我们研究了压缩,特别是修剪过滤器在CNN解释中的作用。我们利用我们最近提出的贪婪结构压缩方案,该方案在经过训练的CNN中修剪过滤器。在我们的压缩中,过滤器重要性指数被定义为修剪该过滤器后网络的分类精度降低(CAR)。然后基于CAR索引迭代地修剪滤波器。我们通过展示我们的算法修剪具有视觉冗余模式选择性的过滤器来证明CAR压缩CNN的可解释性。具体来说,我们展示了形状选择性过滤器对对象识别的重要性,而不是颜色选择性过滤器。在AlexNet中的前20个CAR修剪过滤器中,第一层中的17个和第二层中的14个是颜色选择过滤器。最后,我们引入了CAR重要性指数的一个变体,它量化了每个图像类对每个CNN过滤器的重要性。我们发现,最重要和最不重要的类标签提出了一个有意义的解释,每个过滤器是一致的可视化模式选择性的过滤器。
2017-11-07 cs.CV cs.LG stat.ML
Fast Algorithms for Convolutional Neural Networks
Nervana Systems(Nervana系统公司)
深度卷积神经网络需要GPU数天的计算时间来对大型数据集进行训练。自动驾驶汽车的行人检测需要非常低的延迟。移动电话的图像识别受到有限处理资源的限制。卷积神经网络在这些情况下的成功受到我们计算它们的速度的限制。传统的基于FFT的卷积对于大型滤波器来说是快速的,但是现有技术的卷积神经网络使用小型的3 × 3滤波器。本文利用Winograd的最小滤波算法,提出了一类新的卷积神经网络快速算法。这些算法在小块上计算最小复杂度的卷积,这使得它们在小过滤器和小批量的情况下速度更快。我们用VGG网络对我们算法的GPU实现进行基准测试,并在1到64的批量大小下显示最先进的吞吐量。
2015-11-10 cs.LG cs.NE
Source-Filter HiFi-GAN: Fast and Pitch Controllable High-Fidelity Neural Vocoder
Nagoya University(名古屋大学);Meta Reality Labs Research(Meta现实实验室)
我们之前的工作,统一的源滤波器GAN(uSF GAN)声码器,引入了一种新的架构,基于源滤波器理论的并行波形生成对抗网络,以实现高的语音质量和音高可控性。然而,高时间分辨率输入导致高计算成本。虽然HiFi-GAN声码器由于高效的基于上采样的生成器架构而实现了快速高保真语音生成,但音高可控性受到严重限制。为了实现一个快速和音高可控的高保真神经声码器,我们引入了源滤波器理论HiFi-GAN的分层条件下的谐振滤波网络的源激励信息估计。根据实验结果,我们所提出的方法优于HiFi-GAN和uSFGAN在单个CPU上的声音质量和合成速度的歌唱声音生成。此外,与uSFGAN声码器不同,所提出的方法可以容易地在实时应用和端到端系统中采用/集成。
2023-02-27 cs.LG cs.SD eess.AS
Boundary between noise and information applied to filtering neural network weight matrices
Institut für Theoretische Physik, Universität Leipzig(莱比锡大学理论物理研究所)
本文利用权重矩阵奇异值谱中噪声与信息的边界,提出同时移除小奇异值并压缩大奇异值的滤波算法,显著提升标签噪声下网络的泛化性能。
2022-06-08 cond-mat.dis-nn cs.LG
Graph Neural Network Surrogates of Fair Graph Filtering
Information Technologies Institute(信息技术研究所);Centre for Research and Technology—Hellas(希腊研究与技术中心)
通过边传播将先前节点值转换为后验分数的图过滤器通常支持影响人类的图挖掘任务,例如推荐和排名。因此,重要的是使它们在满足节点组之间的统计奇偶性约束(例如,在性别之间按比例分配评分质量)。为了实现这一点,同时最小限度地扰动原始后验,我们引入了一个过滤器感知的通用近似框架后验目标。这定义了在运行时训练的适当的图神经网络,类似于过滤器,但也局部优化了一大类目标,包括公平性感知的目标。在8个过滤器和5个图的集合上的实验表明,我们的方法在满足奇偶性约束的同时,保持基于分数的社区成员推荐的AUC,并在先前的扩散中产生最小的效用损失。
2023-03-16 cs.CY cs.IR cs.LG
Simultaneous Learning of the Inputs and Parameters in Neural Collaborative Filtering
Rakuten Group, Inc.(乐天集团)
基于神经网络的协同过滤系统的重点是设计网络架构,以学习更好的表示,同时固定的输入到用户/项目交互向量和/或ID。在本文中,我们首先表明,非零元素的输入是可学习的参数,确定在结合用户/项目嵌入的权重,并固定它们限制了在学习表示的模型的力量。然后,我们建议学习的非零元素的输入值与神经网络参数。我们分析了模型的复杂性和我们的方法的经验风险,并证明了学习输入导致更好的泛化界。我们在几个真实世界数据集上的实验表明,我们的方法优于最先进的方法,即使使用具有较少层数和参数的浅层网络结构。
2022-03-14 cs.IR cs.LG
Neural Networks Versus Conventional Filters for Inertial-Sensor-based Attitude Estimation
Technische Universität Berlin(柏林工业大学)
惯性测量单元通常用于估计运动物体的姿态。许多非线性滤波方法已经被提出来解决固有的传感器融合问题。然而,当考虑大范围的不同的动态和静态旋转和平移运动时,可达到的精度受限于对加速度计和陀螺仪融合权重的情况相关调整的需要。我们调查到何种程度上可以克服这些限制,通过人工神经网络和有多少特定领域的优化的神经网络模型需要优于传统的过滤器解决方案。一组不同的运动记录与标记为基础的光学地面实况用于性能评估和比较。建议的神经网络被发现优于传统的过滤器在所有的运动,只有当特定领域的优化被引入。我们的结论是,他们是一个很有前途的工具,基于惯性传感器的实时姿态估计,但需要专家知识和丰富的数据集,以实现最佳性能。
2020-06-03 cs.LG cs.SY eess.SY
Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters
Tsinghua University(清华大学);Tsinghua SIGS(清华大学深圳国际研究生院);Peng Cheng Lab(鹏城实验室);ByteDance AI Lab(字节跳动人工智能实验室);University of Southern California(南加州大学)
卷积神经网络(CNN)已成功地用于一系列任务。然而,CNN通常被视为“黑箱”,缺乏可解释性。一个主要原因是由于过滤器类纠缠-过滤器和类之间复杂的多对多对应关系。大多数现有的作品尝试在预先训练的模型上进行事后解释,而忽略了减少模型背后的纠缠。相比之下,我们专注于在训练过程中减轻过滤器类纠缠。受细胞分化的启发,我们提出了一种新的策略,通过鼓励类特定的过滤器来训练可解释的CNN,其中每个过滤器只响应一个(或几个)类。具体来说,我们设计了一个可学习的稀疏类特定门(CSG)结构,以灵活的方式为每个过滤器分配一个(或几个)类。该门只允许在输入样本来自特定类时通过过滤器的激活。大量的实验证明了我们的方法在生成稀疏和高度类相关的输入表示方面的出色性能,这导致了更强的可解释性。此外,与标准训练策略相比,我们的模型在对象定位和对抗性样本检测等应用中显示出优势。代码链接:https://github.com/hyliang96/CSGCNN.
2021-07-01 cs.CV cs.LG
Predicting Filter Medium Performances in Chamber Filter Presses with Digital Twins Using Neural Network Technologies
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对传统厢式压滤机依赖人工监控、过滤介质退化致效率低的问题,提出机器学习驱动的数字孪生框架,采用循环神经网络预测运行参数和介质寿命,精度优于前馈网络,可优化流程、助力维护。
2025-02-20 cs.CE cs.LG