Graph Wavelet Neural Network
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
我们提出了图小波神经网络(GWNN),一种新的图卷积神经网络(CNN),利用图小波变换来解决以前的谱图CNN方法依赖于图傅立叶变换的缺点。与图傅立叶变换不同,图小波变换不需要进行矩阵特征分解,计算量大,可以通过快速算法得到。此外,图小波是稀疏的,并在顶点域的局部化,提供了高效率和良好的解释图卷积。在三个基准数据集Cora,Citeseer和Pubmed上,所提出的GWNN在基于图的半监督分类任务中显着优于以前的谱图CNN。
2019-04-12 cs.LG stat.ML
Real-Time Stress Detection via Photoplethysmogram Signals: Implementation of a Combined Continuous Wavelet Transform and Convolutional Neural Network on Resource-Constrained Microcontrollers
University of Tehran(德黑兰大学);Kettering University(凯特林大学)
本文提出将CWT与CNN结合用于腕部PPG信号压力检测,并通过剪枝和训练后量化在仅有2 MB Flash、512 KB RAM的微控制器上实现实时部署。
2024-10-14 cs.LG eess.SP
Beyond Neural Networks: Symbolic Reasoning over Wavelet Logic Graph Signals
UC Berkeley, School of Information(伯克利大学信息学院)
本研究提出基于图拉普拉斯小波变换的非神经学习框架,通过谱域多尺度滤波、非线性收缩与符号DSL实现图任务,性能媲美轻量级GNN且更透明高效,为图学习提供可解释的深度架构替代方案。
2025-07-27 cs.LG
WaveletNet: Logarithmic Scale Efficient Convolutional Neural Networks for Edge Devices
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种用于边缘设备的微尺度高效卷积神经网络架构,称为WaveletNet。我们的模型是基于著名的depressive卷积,并在两个新的层,我们在这项工作中介绍:小波卷积和depressive快速小波变换。通过打破通道维度的对称性并应用快速算法,WaveletNet将卷积块的复杂性缩小了O(logD/D)因子,其中D是通道数。在CIFAR-10和ImageNet分类上的实验显示,与MobileNetV 2等最先进的模型相比,WaveletNet具有更优越的性能。
2018-11-28 cs.CV cs.LG stat.ML
Generative flow induced neural architecture search: Towards discovering optimal architecture in wavelet neural operator
Indian Institute of Technology Delhi(印度德里理工学院);Yardi School of Artificial Intelligence (ScAI)(亚迪人工智能学院)
本研究提出一种生成流诱导的神经架构搜索算法,通过前馈网络学习策略生成WNO超参数序列,以终态奖励引导搜索,在流体力学问题上提升了原始小波神经算子的性能。
2024-05-11 cs.LG
A Deep Graph Wavelet Convolutional Neural Network for Semi-supervised Node Classification
Institute for Artificial Intelligence at Tsinghua University(清华大学人工智能研究院);State Key Laboratory of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Center for Intelligent Connected Vehicles and Transportation(智能网联汽车与运输中心);Department of Computer Science, Tsinghua University(清华大学计算机系)
图卷积神经网络为非欧数据的节点分类和其他任务提供了很好的解决方案。有几种图卷积模型试图开发深度网络,但同时不会导致严重的过度平滑。考虑到小波变换通常比傅立叶变换具有更强的提取有用信息的能力,我们提出了一种新的用于半监督节点分类任务的深度图小波卷积网络(DeepGWC)。在优化香草图小波神经网络静态滤波矩阵参数的基础上,结合傅立叶基和小波基,构造了DeepGWC,并在网络结构中重用了残差连接和单位映射。在Cora、Citeseer和Pubmed三个基准数据集上进行了广泛的实验。实验结果表明,我们的DeepGWC在额外小波基的帮助下优于现有的图深度模型,并最终实现了新的最先进的性能。
2021-02-19 cs.LG
Learning optimal wavelet bases using a neural network approach
University of Edinburgh(爱丁堡大学)
基于小波变换和全连接人工神经网络之间的相似性,提出了一种新的学习最优正交小波基的方法。这两个概念之间的结构相似性进行审查,并结合到一个“wavenet”,允许通过随机梯度下降的最佳小波滤波器系数的直接学习与反向传播的训练输入的合奏,其中构成正交小波基的滤波器系数的条件被铸造为二次regulationations条款。我们描述了这种方法的实际实现,并研究了它在QCD $2 \to 2$过程高能物理碰撞事件中的性能。结果表明,即使在高维搜索空间中,也能找到最优解,并讨论了结果的意义。
2018-08-31 cs.LG cs.NE
ASWT-SGNN: Adaptive Spectral Wavelet Transform-based Self-Supervised Graph Neural Network
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Renmin University of China(中国人民大学)
针对GCL中Fourier固定图表示受不确定性原理限制且特征分解计算昂贵的问题,本文提出ASWT-SGNN,用谱自适应多项式逼近滤波器并以对比损失优化小波,在8个基准上实现低复杂度节点分类。
2023-12-10 cs.LG eess.SP
Randomized prior wavelet neural operator for uncertainty quantification
Indian Institute of Technology Delhi(印度理工学院德里分校)
在本文中,我们提出了一种新的数据驱动的算子学习框架称为\textit{Randomized Prior Wavelet Neural Operator}(RP-WNO)。建议的RP-WNO是最近提出的小波神经算子的扩展,该算子具有良好的泛化能力,但不能估计与其预测相关的不确定性。RP-WNO与vanilla WNO不同,具有固有的不确定性量化模块,因此预计对科学家和工程师都非常有用。RP-WNO利用随机先验网络,它可以解释先验信息,并且比贝叶斯网络更容易实现大型复杂的深度学习架构。已经解决了四个例子来测试所提出的框架,产生的结果主张有利的有效性所提出的框架。
2023-02-02 cs.LG stat.ML
Rational Gaussian wavelets and corresponding model driven neural networks
Eötvös Loránd University(埃斯特哈兹·洛朗大学);HUN-REN Institute for Computer Science and Control(HUN-REN计算机科学与控制研究所);University of Győr(盖尔堡大学)
本文提出有理Gaussian小波及模型驱动神经网络,用于高效信号处理与可解释特征学习,应用于心室逸搏检测。
2025-02-03 cs.AI cs.LG stat.ML
Weather-Adaptive Multi-Step Forecasting of State of Polarization Changes in Aerial Fibers Using Wavelet Neural Networks
Nokia Bell Labs(诺基亚贝尔实验室);Nokia(诺基亚)
本文提出一种天气自适应方法,结合离散小波变换与天气数据,对架空光纤中的多尺度偏振态变化进行多步预测,在RMSE和MAPE上分别比基线提升65%和63%。
2024-09-05 cs.LG cs.NI
Significant Wave Height Prediction based on Wavelet Graph Neural Network
Hohai University(河海大学);California State University, Fullerton(加州州立大学富勒顿分校)
基于计算智能的海洋特征预测应用,如有效波高(SWH)预测,对于避免沿海城市的社会和经济损失至关重要。与传统的基于数据或基于数值的预测模型相比,“软计算”方法,包括机器学习和深度学习模型,近年来已经取得了许多成功。在本文中,我们专注于使深度学习模型能够学习SWH预测的短期和长期时空依赖性。结合小波变换和图神经网络的优点,提出了一种小波图神经网络(WGNN)方法。多个并行的图神经网络分别对小波分解后的数据进行训练,并对每个模型的预测进行重构,形成最终的SWH预测。实验结果表明,WGNN方法优于其他模型,包括数值模型、机器学习模型和几种深度学习模型。
2021-07-20 cs.AI cs.LG
Wavelet Logic Machines: Learning and Reasoning in the Spectral Domain Without Neural Networks
本文提出完全在小波域运行的无神经网络谱学习框架,通过可微小波基选择与系数非线性变换,在 3D 去噪和 GLUE 任务上以更少参数与内存接近 Transformer 性能。
2025-07-18 cs.LG
Adaptive wavelet distillation from neural networks through interpretations
UC Berkeley(加州大学伯克利分校);CEA(法国原子能委员会);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);Université Paris Diderot(巴黎狄德罗大学);Sorbonne Paris Cité(索邦巴黎西岱大学)
最近的深度学习模型已经取得了令人印象深刻的预测性能,但往往牺牲了可解释性和计算效率。可解释性在许多学科中至关重要,例如科学和医学,在这些学科中,模型必须仔细审查,或者解释本身就是目标。此外,可解释的模型是简洁的,往往产生计算效率。在这里,我们提出了自适应小波蒸馏(AWD),一种方法,其目的是从一个训练有素的神经网络提取到小波变换的信息。具体而言,AWD惩罚小波域中的神经网络的特征属性,以学习有效的多分辨率小波变换。由此产生的模型具有高度的预测性,简洁,计算效率高,并且具有易于解释的属性(例如多尺度结构)。在与领域专家的密切合作中,我们展示了AWD如何在两个现实世界中解决挑战:宇宙学参数推断和分子伴侣预测。在这两种情况下,AWD都产生了一个科学可解释的简洁模型,其预测性能优于最先进的神经网络。此外,AWD识别在各自领域的背景下具有科学意义的预测特征。所有的代码和模型都在Github上以完整的包发布(https://github.com/Yu-Group/adaptive-wavelets)。
2021-08-26 cs.LG stat.ML
Graph Neural Networks With Lifting-based Adaptive Graph Wavelets
Shanghai Jiao Tong University(上海交通大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
基于谱的图神经网络(SGNNs)在图表示学习中受到越来越多的关注。然而,现有的SGNN在实现具有刚性变换的图滤波器(例如,图傅立叶或预定义的图小波变换),并且不能适应驻留在图上的信号和手头的任务。在本文中,我们提出了一类新的图神经网络,实现了自适应图小波图滤波器。具体地,自适应图小波是用神经网络参数化提升结构来学习的,其中结构感知的基于注意力的提升操作(即,预测和更新操作)被开发以联合考虑图结构和节点特征。我们提出了基于扩散小波的提升,以减轻划分非二部图引起的结构信息损失。通过设计,保证了所得到的小波变换的局部性和稀疏性以及提升结构的可扩展性。我们进一步推导出一个软阈值滤波操作,通过学习稀疏图表示的学习小波,产生一个本地化的,高效的,可扩展的基于小波的图形滤波器。为了确保学习的图表示对于节点排列是不变的,在网络的输入处采用层来根据节点的局部拓扑信息对节点进行重新排序。我们在基准引用和生物信息学图数据集上评估了节点级和图级表示学习任务中提出的网络。大量的实验证明了所提出的网络在准确性,效率和可扩展性方面优于现有的SGNN。
2022-01-04 cs.AI cs.LG
Multi-Path Learnable Wavelet Neural Network for Image Classification
尽管深度学习在模式识别方面取得了显著的成功,但深度网络模型面临着训练大量参数的问题。在本文中,我们提出并评估了一种新的多路径小波神经网络结构的图像分类与少得多的可训练参数。该模型架构包括一个多路径布局与几个层次的小波分解并行执行,其次是完全连接的层。这些分解操作包括具有可学习参数的小波神经元,这些参数在训练阶段使用反向传播算法进行更新。我们使用除了SVHN之外没有数据增强的常见图像数据集来评估引入的网络的性能,并将结果与有影响力的深度学习模型进行比较。我们的研究结果支持在不影响其准确性的情况下显着减少深度神经网络中参数数量的可能性。
2019-08-26 cs.CV cs.LG eess.IV
Wavelet neural operator: a neural operator for parametric partial differential equations
Indian Institute of Technology Delhi(德里印度理工学院);Yardi School of Artificial Intelligence (ScAI)(亚迪人工智能学院(ScAI))
随着传感器技术和物联网的巨大进步,我们现在可以访问TB级的历史数据;然而,如何最好地利用这些数据来预测未来事件缺乏明确性。在这种情况下,一种可能的替代方案是利用算子学习算法,直接学习两个函数空间之间的非线性映射;这有助于实时预测自然产生的复杂进化动力学。在这项工作中,我们介绍了一种新的算子学习算法称为小波神经算子(WNO),融合积分核与小波变换。WNO利用小波在函数的时频局部化方面的优势,并能够在空间域中精确跟踪模式和有效学习函数映射。由于小波在时间/空间和频率上都是局部化的,WNO可以提供高的空间和频率分辨率。这提供了在复杂问题的解决方案中学习参数依赖关系的更精细细节。所提出的WNO的有效性和鲁棒性在涉及Burger方程、Darcy流、纳维-斯托克斯方程、Allen-Cahn方程和波浪平流方程的一系列问题上得到了说明。与现有的运营商学习框架的比较研究。最后,所提出的方法被用来建立一个数字孪生模型,能够根据现有的历史数据预测地球的空气温度。
2022-05-04 cs.LG physics.comp-ph
Privacy-Preserving Wavelet Neural Network with Fully Homomorphic Encryption
Institute for Development and Research in Banking Technology(银行业技术发展与研究所);University of Hyderabad(海得拉巴大学)
隐私保护机器学习(PPML)的主要目的是保护隐私并为构建机器学习模型所使用的数据提供安全性。PPML中有各种技术,如安全多方计算、差分隐私和同态加密(HE)。这些技术与各种机器学习模型甚至深度学习网络相结合,以保护数据隐私和用户身份。在本文中,我们提出了一个全同态加密小波神经网络,以保护隐私,同时不妥协的效率模型。我们在来自金融和医疗保健领域的七个数据集上测试了所提出的方法的有效性。结果表明,我们提出的模型的性能与未加密的模型相似。
2022-05-31 cs.LG
Multilevel Graph Wavelet Compressed Sensing with Scale-Aware Neural Recovery
Simplicial Technologies Inc.(单纯技术公司);New Jersey Institute of Technology(新泽西理工学院);Brown University(布朗大学);Siemens Foundational Technology(西门子基础技术公司)
针对科学机器学习方法训练需大量数据的问题,提出图小波压缩感知框架GWCS,结合非参数多级重要性采样器和尺度感知图神经网络,在多个数据集上评估,相比现有基准,实现高重建保真度和数据压缩。
2026-08-11 cs.AI cs.LG
Decoding Imagined Speech using Wavelet Features and Deep Neural Networks
Indian Institute of Science(印度科学研究所);Voice and Speech Systems(语音与言语系统公司)
本文提出了一种新的方法,使用深度神经网络分类想象的语音,显着提高分类精度。所提出的方法只采用脑的特定区域的EEG通道进行分类,并从这些通道中的每一个得到不同的特征向量。这为我们提供了更多的数据来训练分类器,使我们能够使用深度学习方法。从每个通道提取小波和时域特征。每个测试试验的最终类别标签是通过对试验中考虑的各个通道的分类结果应用多数投票来获得的。该方法用于对KaraOne想象语音数据集中的所有11个提示进行分类。所提出的架构和处理数据的方法导致了57.15%的平均分类准确率,这比最先进的结果提高了约35%。
2020-03-19 cs.LG eess.SP q-bio.NC
Fast Temporal Wavelet Graph Neural Networks
FPT Software AI Center(FPT软件人工智能中心);Indiana State University(印第安纳州立大学);University of Chicago(芝加哥大学)
本文提出快速时序小波图神经网络FTWGNN,利用多分辨率矩阵分解构建稀疏小波基和快速小波卷积,在交通和脑电数据集上以低计算开销取得与最先进方法相当的预测性能。
2023-10-28 cs.LG
Learning Sparse Wavelet Representations
University of Waterloo(滑铁卢大学);David R. Cheriton School of Computer Science(大卫·R·谢里顿计算机科学学院)
在这项工作中,我们提出了一种直接从数据学习小波滤波器的方法。我们通过将离散小波变换框定为修改的卷积神经网络来实现这一点。我们介绍了一个自动编码器小波变换网络,使用梯度下降训练。我们表明,该模型是能够学习结构化小波滤波器从合成和真实的数据。所示的学习小波是类似于传统的小波,使用傅立叶方法。我们的方法是简单的实现和容易纳入神经网络架构。我们模型的一个主要优势是我们可以从原始音频数据中学习。
2018-02-08 cs.LG stat.ML
Wavelet Convolutional Neural Networks
The University of Tokyo(东京大学);Digital Frontier Inc.(数字前沿株式会社)
空间方法和谱方法是图像分类和目标识别等图像处理任务的两种主要方法。在许多这样的算法中,卷积神经网络(CNN)最近在许多具有挑战性的任务中实现了显著的性能改进。由于CNN直接在空间域中处理图像,因此它们本质上是空间方法。鉴于空间和频谱方法具有不同的特性,将频谱方法纳入CNN将是有趣的。我们提出了一种新的CNN架构,小波CNN,它结合了多分辨率分析和CNN到一个模型。我们的见解是,CNN可以被视为多分辨率分析的有限形式。基于这一见解,我们通过小波变换来补充多分辨率分析中缺失的部分,并将它们作为额外的组件集成到整个架构中。小波CNN允许我们利用传统CNN中丢失的光谱信息,但在大多数图像处理任务中很有用。我们评估了小波CNN在纹理分类和图像注释方面的实际性能。实验表明,小波CNN在这两个任务中都可以达到比现有模型更好的精度,同时比传统CNN具有更少的参数。
2018-05-20 cs.CV cs.LG
Gradient-based Filter Design for the Dual-tree Wavelet Transform
University of Waterloo(滑铁卢大学)
当将小波变换结合到神经网络架构中时,例如在小波散射网络中,已经看到了成功。最近,已经表明双树复小波变换可以提供比标准变换更好的表示。考虑到这一点,我们扩展我们以前的方法学习过滤器的1D和2D小波变换到双树域。我们表明,我们的原始模型的修改很少,我们可以学习方向滤波器,利用双树小波变换的属性。
2018-06-04 cs.LG eess.SP stat.ML
Express Wavenet -- a low parameter optical neural network with random shift wavelet pattern
Institute of Electromagnetics and Acoustics, and Department of Electronic Science, Xiamen University(厦门大学电磁声学研究所与电子科学系)
Express Wavenet是一种改进的光学衍射神经网络。在每一层,它使用类似小波的图案来调制光波的相位。对于n2个像素的输入图像,表示波网减少参数的数量从O(n2)到O(n)。只需要百分之一的参数,而且精度还是很高的。在MNIST数据集中,它只需要1229个参数就可以获得92%的准确率,而标准光网络需要125440个参数。随机移位小波更形象地体现了光网络的特性。特别是训练过程中的梯度消失现象。针对这一问题,提出了一种改进的高速公路结构。实验验证了随机移位小波和高速公路结构的效果。我们的工作表明,光学衍射网络将使用更少的参数比其他神经网络。源代码可在https://github.com/closest-git/ONNet上获得。
2020-01-06 cs.CV cs.LG eess.IV
A Hybrid Traffic Speed Forecasting Approach Integrating Wavelet Transform and Motif-based Graph Convolutional Recurrent Neural Network
State Key Laboratory of Information Engineering in Survey, Mapping and Remote Sensing(测绘遥感信息工程国家重点实验室)
交通预测是城市交通管理和疏导的关键。然而,现有的方法很少利用交通速度观测的时频特性,往往忽略了交通流从上游到下游路段的传播。在本文中,我们提出了一种混合的方法,学习交通流的时空依赖性,并预测道路网络上的短期交通速度。具体来说,我们采用小波变换分解原始交通数据到几个不同的频率子带的分量。基于模体的图卷积循环神经网络(Motif-GCRNN)和自回归移动平均(ARMA)分别用于训练和预测低频分量和高频分量。在Motif-GCRNN框架中,我们将图卷积网络(GCN)与局部子图结构(Motifs)相结合,以捕获路段之间的空间相关性,并应用长短期记忆(LSTM)来提取交通速度的短期和周期性模式。在中国成都采集的交通数据集上的实验表明,所提出的混合方法优于六种最先进的预测方法。
2019-04-14 cs.CV cs.LG eess.SP
Neural networks approach for mammography diagnosis using wavelets features
Suez Canal Univ.(苏伊士运河大学)
研制了一个数字化乳腺X线监视诊断系统。诊断过程是通过将图像的数据转换成一个特征向量,利用小波多层次分解。该向量用作针对分离不同乳房X线照片类别而定制的特征。建议的模型由人工神经网络组成,用于根据肿瘤类型和风险水平对乳房X线照片进行分类。从我们以前的研究中提取的特征向量,使用多级分解,而不是一个层次的分解,增强了结果。放射科医生标记的图像用于评估诊断系统。结果是非常有希望的,并显示未来的工作可能的指导。
2020-03-06 cs.CV cs.LG eess.IV
Neuroscience inspired scientific machine learning (Part-2): Variable spiking wavelet neural operator
Indian Institute of Technology Delhi(印度理工学院德里分校)
本文提出可变脉冲小波神经算子(VS-WNO),基于脉冲神经网络原理降低能耗,通过可变脉冲神经元促进稀疏通信,在处理力学偏微分方程回归任务中实现了向真实值的收敛。
2023-11-15 cs.LG cs.NE
WLNO: Wavelet-Laplace Neural Operator for Solving Partial Differential Equations
Department of Mechanical and Aerospace Engineering, University of Tennessee, Knoxville(田纳西大学机械与航空航天工程系)
提出WLNO,通过融合Haar小波多尺度空间分解与拉普拉斯神经算子的极点-留数公式,在五个基准PDE问题上优于LNO,尤其擅长处理具有强空间多尺度结构的问题。
2026-05-23 cs.LG
Multi-wavelet residual dense convolutional neural network for image denoising
Beijing Institute of Technology(北京理工大学)
近年来,具有大感受野(RF)的网络显示出先进的拟合能力。在这项工作中,我们利用短期残差学习方法来提高图像去噪任务的网络的性能和鲁棒性。在这里,我们选择了一个多小波卷积神经网络(MWCNN),一个具有大RF的最先进的网络,作为骨干,并在其每一层插入剩余密集块(RDB)。我们称之为多小波残差密集卷积神经网络(MWRDCNN)。与其他基于关系数据库的网络相比,它可以从相邻层中提取更多的目标特征,保留较大的RF,提高计算效率。同时,这种方法也提供了一种可能性,吸收多种架构的优点,在一个单一的网络没有冲突。所提出的方法的性能已被证明在广泛的实验与现有技术的比较。
2020-02-19 cs.LG eess.IV stat.ML
Provable wavelet-based neural approximation
Department of Mathematics, Yonsei University(延世大学数学系);Johann Radon Institute for Computational and Applied Mathematics (RICAM)(约翰·拉恩研究所);Department of Mathematical Sciences, Korea Advanced Institute of Science and Technology(韩国科学技术院数学科学系)
本文提出基于小波框架的理论,为广泛激活函数(含振荡与非光滑)的神经网络给出可证明的万能逼近条件及误差界,提升架构设计灵活性。
2025-04-23 cs.LG math.CA stat.ML
An autoencoder wavelet based deep neural network with attention mechanism for multistep prediction of plant growth
University of Lincoln(林肯大学)
多步预测被认为是时间序列分析在许多现实生活中的问题的重要意义。现有的方法主要集中在一步预测,因为多步预测通常会由于预测误差的积累而失败。本文提出了一种新的方法来预测植物生长在农业中,重点是预测植物茎直径变化(SDV)。所提出的方法包括三个主要步骤。首先对原始数据进行小波分解,以便于模型拟合和去除噪声。然后,使用长短期记忆(LSTM)开发编码器-解码器框架,并用于从数据中进行适当的特征提取。最后,提出了一种包括LSTM和注意力机制的递归神经网络,用于对时间序列数据中的长期依赖关系进行建模。实验结果表明,所提出的方法的良好性能,它显着优于现有的模型,在误差标准,如均方根误差,MAE和MAPE。
2020-12-07 cs.LG
Wavelet-Accelerated Physics-Informed Quantum Neural Network for Multiscale Partial Differential Equations
Department of Computational and Data Sciences, Indian Institute of Science(计算与数据科学系,印度科学研究所)
本文提出一种小波加速的量子神经网络,用于高效求解多尺度偏微分方程,通过减少计算复杂度和提升收敛速度,实现更高的准确性与效率。
2025-12-09 cs.LG math.AP math.QA
An efficient wavelet-based physics-informed neural network for multiscale problems
Department of Computational and Data Sciences, Indian Institute of Science, Bangalore, 560012, India(计算与数据科学系,印度科学研究院,班加罗尔,560012,印度);Department of Mathematics, University of Manchester, Oxford Road, Manchester M13 9PL, UK(数学系,曼彻斯特大学,牛津路,曼彻斯特 M13 9PL,英国)
本文提出一种基于小波的物理信息神经网络(W-PINN),通过在小波域中学习解来解决多尺度问题,减少自由度同时保留复杂物理现象的动力学,提升训练效率和精度。
2026-03-25 cs.LG
Multilevel Wavelet Decomposition Network for Interpretable Time Series Analysis
Beihang University(北京航空航天大学)
近年来,时间序列研究在学术界和工业界都得到了空前的发展。各种类型的深度神经网络模型被引入到时间序列分析中,但对重要的频率信息还缺乏有效的建模。鉴于此,本文提出了一种基于小波的神经网络结构,称为多级小波分解网络(mWDN),用于构建频率感知的深度学习模型,用于时间序列分析。mWDN保留了多级离散小波分解在频率学习方面的优势,同时能够在深度神经网络框架下对所有参数进行微调。基于mWDN,我们进一步提出了两个深度学习模型,称为残差分类流(RCF)和多频长短期记忆(mLSTM),分别用于时间序列分类和预测。这两个模型将不同频率下的全部或部分mWDN分解子序列作为输入,并采用反向传播算法全局学习所有参数,从而实现了基于小波的频率分析无缝嵌入到深度学习框架中。在40个UCR数据集和一个真实的用户量数据集上进行的大量实验证明了我们基于mWDN的时间序列模型的优异性能。特别是,我们提出了一个重要性分析方法,mWDN为基础的模型,它成功地识别那些时间序列元素和mWDN层是至关重要的时间序列分析。这确实表明了mWDN的可解释性优势,可以被视为对可解释的深度学习的深入探索。
2018-06-23 cs.LG eess.SP stat.ML
BCR-Net: a neural network based on the nonstandard wavelet form
Department of Mathematics, Stanford University(斯坦福大学数学系);Institute for Computational and Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Department of Mathematics and ICME, Stanford University(斯坦福大学数学系和计算与数学工程研究所);Facebook AI Research, Menlo Park, CA(脸书人工智能研究(Menlo Park, CA))
本文提出了一种基于非标准小波形式的神经网络架构,该架构通过将非标准形式的矩阵向量乘法算法表示为线性神经网络,其中每个多分辨率计算的尺度都由局部连接的线性子网络完成,并通过用更深层次和强大的非线性子网络替换线性子网络来扩展以解决非线性问题。
2018-10-20 cs.LG cs.NA eess.SP
Wavelet Convolutional Neural Networks for Texture Classification
The University of Tokyo(东京大学);Digital Frontier Inc.(数字前沿公司)
纹理分类是图像处理应用中的一个重要且具有挑战性的问题。虽然卷积神经网络(CNN)在图像分类方面取得了显著的成功,但纹理分类仍然是一个困难的问题,因为纹理通常不包含关于对象形状的足够信息。在图像处理中,纹理分类传统上是通过利用许多纹理中的重复结构的谱分析来研究的。由于CNN在空间域中处理图像,而频谱分析在频域中处理图像,因此这些模型在性能方面具有不同的特征。我们提出了一种新的CNN架构,小波CNN,它集成了频谱分析到CNN。我们的见解是,池化层和卷积层可以被视为频谱分析的有限形式。基于这一认识,我们推广这两个层进行小波变换的频谱分析。小波CNN允许我们利用在传统CNN中丢失但在纹理分类中有用的光谱信息。实验表明,我们的模型取得了更好的准确性,在纹理分类比现有的模型。我们还表明,我们的模型具有比CNN少得多的参数,使我们的模型更容易用更少的内存进行训练。
2017-07-24 cs.CV cs.LG
WaveletKernelNet: An Interpretable Deep Neural Network for Industrial Intelligent Diagnosis
Case Western Reserve University(凯斯西储大学)
卷积神经网络(CNN)具有特征学习和非线性映射的能力,在健康管理(PHM)中表现出了良好的效果。然而,对CNN架构的物理意义的解释很少被研究。本文提出了一种新的小波驱动的深度神经网络WaveletKernelNet(WKN),其中设计了连续小波卷积(CWConv)层来取代标准CNN的第一卷积层。这使得第一个CWConv层能够发现更有意义的过滤器。此外,只有缩放参数和平移参数是直接从该CWConv层的原始数据中学习的。这提供了一种非常有效的方式来获得定制的滤波器组,该滤波器组被特别地调谐用于提取嵌入在振动信号中的与缺陷相关的冲击分量。最后,利用实验室环境下的数据进行了三次实验验证,验证了该方法在机械故障诊断中的有效性。实验结果表明了所设计的CWConv层的重要性,CWConv层的输出具有可解释性。与标准CNN相比,WKN具有参数少、故障分类精度高、收敛速度快等优点。
2020-05-06 cs.CV cs.LG cs.NE
Continuous Wavelet Transformation and VGG16 Deep Neural Network for Stress Classification in PPG Signals
University of Tehran(德黑兰大学);Kettering University(凯特林大学)
本文提出将连续小波变换与VGG16深度神经网络相结合,并引入卡尔曼滤波预处理,用于PPG信号压力分类,实验取得最高98%的训练准确率,验证了该方法在压力监测与报警系统中的实用价值。
2024-10-17 cs.LG eess.IV
Optimizing Basis Function Selection in Constructive Wavelet Neural Networks and Its Applications
School of Mathematics and Research Center for Applied Mathematics, Renmin University of China(数学系和应用数学研究中心,中国人民大学);School of Life Course & Population Sciences, King’s College London(生命课程与人口科学系,伦敦国王学院);Department of Engineering Science, University of Oxford(工程科学系,牛津大学);Department of Mechanical Engineering, The University of Melbourne(机械工程系,墨尔本大学)
提出一种构造性小波神经网络框架,通过频率估计器和小波基增加机制优先选择高能量基,在保证精度的同时显著降低计算成本,适用于离线数据与时间序列等多种非线性映射估计场景。
2025-07-12 cs.LG stat.ML
Wavelet-Enhanced Neural ODE and Graph Attention for Interpretable Energy Forecasting
organization= School of Science, Engineering \& Technology, East Delta University , addressline = Abdullah Al Noman Road, Noman Society , city= Chattagram , postcode= 4209 , country= Bangladesh
本文提出一种集成神经ODE、图注意力、多分辨率小波变换和自适应频率学习的神经框架,在七个能源数据集上优于基线,并通过SHAP分析增强可解释性,适用于可持续能源预测。
2025-07-14 cs.AI cs.LG stat.ML
ImplicitTerrainV2: Wavelet-Guided Spatially Adaptive Neural Terrain Representation
University of Maryland, College Park(马里兰大学学院市分校)
本文提出ImplicitTerrainV2,通过结合频谱控制机制、小波引导的空间自适应性、导数感知监督和训练后模型压缩,实现了紧凑高效的神经地形数据格式,提升了地形分析的精度和效率。
2026-08-31 cs.LG
Generalized Rectifier Wavelet Covariance Models For Texture Synthesis
ENS, PSL University(巴黎高等师范学院,巴黎文理研究大学);Université de Toulouse, INP, IRIT(图卢兹大学,图卢兹国立综合理工学院,图卢兹信息学研究所);Collège de France(法兰西公学院);Flatiron Institute(弗莱提荣研究所)
用于纹理合成的最大熵模型是根据依赖于卷积神经网络(CNN)定义的图像表示的统计来构建的。这种表示捕捉纹理图像中丰富的结构,在这方面优于基于小波的表示。然而,与神经网络相反,小波提供了有意义的表示,因为已知它们可以检测图像中多个尺度的结构(例如边缘)。在这项工作中,我们提出了一个家庭的统计数据建立在非线性小波表示,可以被视为一个特定的实例,一层CNN,使用广义整流器非线性。这些统计数据显着提高了以前的经典小波模型的视觉质量,并允许一个国家的最先进的模型,灰度和彩色纹理产生类似的质量合成。
2022-03-14 cs.CV cs.LG eess.IV
HyboWaveNet: Hyperbolic Graph Neural Networks with Multi-Scale Wavelet Transform for Protein-Protein Interaction Prediction
Jingdezhen Ceramics University(景德镇陶瓷大学)
针对PPI预测缺乏因果解释及难以捕捉层次几何与多尺度动态模式的问题,提出结合双曲图神经网络与多尺度图小波变换的深度学习框架HyboWaveNet,在公开数据集上优于现有最先进方法。
2025-04-27 cs.AI cs.LG q-bio.QM
Deep Adaptive Wavelet Network
Universidad Nacional de Colombia(哥伦比亚国立大学);The University of Tokyo(东京大学);McGill University(麦吉尔大学);Target Corporation(塔吉特公司);Digital Frontier Inc.(数字前沿公司)
尽管卷积神经网络已经成为计算机视觉许多领域的首选方法,但它们仍然缺乏可解释性,并且通常在繁琐的试错过程中手动设计。本文旨在通过将多分辨率分析集成到深度神经网络设计的核心,提出一种以系统方式设计且可解释的深度神经网络来克服这些局限性。通过使用提升方案,可以生成小波表示并设计能够以端到端形式学习小波系数的网络。与最先进的结构相比,该模型需要更少的超参数调整,并在图像分类任务中达到有竞争力的准确性
2019-12-10 cs.CV cs.LG eess.IV
Wavelet Probabilistic Recurrent Convolutional Network for Multivariate Time Series Classification
Imperial College London(帝国理工学院)
本文提出小波概率循环卷积网络(WPRCN),通过自适应小波概率特征生成器与通道注意力概率时间卷积网络,结合LSTM和C-FCN,在30个多变量时间序列数据集上平均准确率与排名优于基准,尤其擅长处理数据稀缺、非平稳和噪声扰动。
2025-05-22 cs.LG
Wavelet Networks: Scale-Translation Equivariant Learning From Raw Time-Series
NVIDIA Research(英伟达研究院);Universiteit van Amsterdam(阿姆斯特丹大学);Technische Universiteit Eindhoven(埃因霍温理工大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文提出小波网络,利用时间序列的尺度与平移对称性构建等变神经网络,其映射与小波变换相似,在原始波形上优于传统CNN,并在多种时间序列任务中达到与精心设计的频谱图方法相当的性能。
2024-01-21 cs.LG stat.ML
Continuous Generative Neural Networks: A Wavelet-Based Architecture in Function Spaces
MaLGa Center, Department of Mathematics, University of Genoa(马尔加中心,数学系,热那亚大学)
本文提出连续生成神经网络(CGNNs),利用紧支撑小波的多分辨率分析尺度替代层维度,构建输出在无限维函数空间的生成模型,并推导了保证单射性的条件及其在无限维反问题中的Lipschitz稳定性应用。
2024-11-22 cs.LG stat.ML
WATS: Calibrating Graph Neural Networks with Wavelet-Aware Temperature Scaling
School of Computer Science(计算机科学学院);University of Sydney(悉尼大学);City University of Hong Kong(香港城市大学)
针对图神经网络置信度校准不足的问题,本文提出基于小波感知温度缩放的后处理框架WATS,利用热核图小波特征为节点分配温度,在多个基准上显著降低期望校准误差并提升效率。
2025-07-08 cs.AI cs.LG
Learning Metamaterial Eigenmodes with Wavelet-Encoded Fourier Neural Operators
Duke University(杜克大学);California Institute of Technology(加州理工学院)
本研究提出将小波编码与傅里叶神经算子结合,用于同时预测弹性波方程多个本征模式,在超材料设计中实现比有限元分析快三个数量级的仿真加速,并保持高精度。
2026-09-09 cond-mat.mtrl-sci cs.CE cs.LG
Learnable wavelet neural networks for cosmological inference
New York University(纽约大学);Flatiron Institute(熨斗研究所);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
研究将可学习散射变换应用于宇宙学推断与天体物理效应边缘化,提出性能与可解释性两种模型,发现其在小样本下优于CNN且具高可解释性。
2023-07-24 astro-ph.CO astro-ph.IM cs.LG
A Sub-band Approach to Deep Denoising Wavelet Networks and a Frequency-adaptive Loss for Perceptual Quality
AAC Technologies(AAC科技)
在本文中,我们提出了两个贡献的神经网络为基础的去噪。首先,我们建议将单独的卷积层应用于离散小波变换(DWT)的每个子带,而不是将所有子带连接起来并应用单个卷积层的DWT的常见用法。我们表明,我们的方法使用离散小波变换在神经网络显着提高了准确性,由于保持子带顺序未损坏之前逆离散小波变换。我们的第二个贡献是基于频域中前k %错误的去噪损失。用这种损失训练的神经网络自适应地关注在每次迭代中最不能恢复的频率。我们表明,这种损失的结果到更好的感知质量,提供一个图像,更平衡的频率分量的误差。
2021-02-16 cs.CV cs.LG
Multiscale Attention via Wavelet Neural Operators for Vision Transformers
Isfahan University of Technology(伊斯法罕理工大学);LNEC(国家土木工程实验室)
针对高分辨率 ViT 中自注意力二次复杂度及 AFNO 难以表示中小尺度结构的问题,本文提出线性复杂度的多尺度小波注意力 MWA,并在 CIFAR 与 Tiny-ImageNet 上显著优于 AFNO 和 GFN。
2023-08-15 cs.CV cs.LG
Multi-fidelity wavelet neural operator with application to uncertainty quantification
Indian Institute of Technology Delhi(德里印度理工学院)
针对算子学习框架训练数据成本高的问题,提出基于小波神经算子的多保真度学习框架,通过结合大量低保真度与少量高保真度数据构建代理模型,并验证了其在不确定性量化中的出色性能。
2023-07-28 cs.LG physics.comp-ph