DeepLABNet: End-to-end Learning of Deep Radial Basis Networks with Fully Learnable Basis Functions
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(达尔文人工智能公司)
从完全连接的神经网络到卷积神经网络,神经网络内的学习参数主要被归为线性参数(例如,卷积滤波器)。非线性函数(例如,激活函数)在整个训练过程中基本上保持无参数、静态,并且在设计中看到有限的变化,近年来很少有例外。径向基函数(RBF)网络虽然被深度学习社区忽视,但它提供了一种有趣的机制,除了学习网络中的线性参数外,还可以学习更复杂的非线性激活函数。然而,随着时间的推移,对RBF网络的兴趣已经减弱,这是由于难以以易处理和稳定的方式将RBF集成到更复杂的深度神经网络架构中。在这项工作中,我们提出了一种新的方法,可以自动和易于处理的方式对具有完全可学习的激活基函数的深度RBF网络进行端到端学习。我们证明了我们在深度神经网络中使用可学习激活基函数的方法,我们将其称为DeepLABNet,是复杂网络架构中自动激活函数学习的有效工具。
2019-11-21 cs.CV cs.LG cs.NE
Robust Training and Initialization of Deep Neural Networks: An Adaptive Basis Viewpoint
Sandia National Laboratories(桑迪亚国家实验室)
由于深度神经网络(DNN)的理论最佳逼近率与实际实现的准确性之间存在差距,我们寻求改进DNN的训练。DNN的自适应基础观点的采用导致新的初始化和混合最小二乘/梯度下降优化器。我们提供了这些技术的分析,并通过数值示例说明了DNN目前使用的科学应用的基准特性的准确性和收敛速度的显着增加,包括回归问题和物理信息神经网络的偏微分方程的解决方案。
2019-12-10 cs.LG cs.NA math.NA
Neural Basis Models for Interpretability
Meta AI
由于复杂的机器学习模型在实际应用中的广泛使用,解释模型预测变得至关重要。然而,这些模型通常是黑盒深度神经网络,通过具有已知忠实性限制的方法事后解释。广义加性模型(GAM)是一类固有的可解释模型,通过分别为每个特征学习非线性形状函数,然后在顶部学习线性模型来解决这一限制。然而,这些模型通常难以训练,需要许多参数,并且难以缩放。我们提出了一个全新的子家庭的GAM,利用形状函数的基础分解。少量的基函数在所有特征之间共享,并且针对给定的任务联合学习,从而使我们的模型更好地扩展到具有高维特征的大规模数据,特别是当特征稀疏时。我们提出了一个架构表示为神经基础模型(NBM),它使用一个单一的神经网络来学习这些基地。在各种表格和图像数据集上,我们证明了对于可解释的机器学习,NBM在准确性、模型大小和吞吐量方面是最先进的,并且可以轻松地对所有高阶特征交互进行建模。源代码可在https://github.com/facebookresearch/nbm-spam上获得。
2022-10-18 cs.CV cs.LG
General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks
这个项目的目的是开发一个代码来发现最大化F1得分的最佳sigma值和最大化准确性的最佳sigma值,并找出它们是否相同。可以用来解决这个问题的四种算法是:遗传回归神经网络(GRNNs),径向基函数(RBF)神经网络(RBFNNs),支持向量机(SVMs)和前馈神经网络(FFNNs)。
2019-11-16 cs.LG cs.NE cs.SY
Deep Learning for Functional Data Analysis with Adaptive Basis Layers
UC Davis(加州大学戴维斯分校);Amazon(亚马逊)
尽管深度神经网络取得了广泛的成功,但今天将其应用于功能数据的应用仍然很少。函数数据的无限维度意味着标准学习算法只能在适当的降维之后才能应用,通常通过基扩展来实现。目前,这些基础是在没有手头任务信息的情况下先验选择的,因此对于指定任务可能无效。相反,我们建议以端到端的方式自适应地学习这些基础。我们介绍神经网络,采用一个新的基础层,其隐藏单元是每个基本功能本身实现为一个微型神经网络。我们的架构学会了将简约的降维应用于功能输入,只关注与目标相关的信息,而不是输入函数中不相关的变化。在众多的分类/回归任务的功能数据,我们的方法经验优于其他类型的神经网络,我们证明了我们的方法是统计上一致的低泛化误差。代码可从以下网址获得:\url{https://github.com/jwyyy/AdaFNN}。
2021-06-19 cs.LG stat.ML
Neural Approximation and Its Applications
本文提出神经近似方法,通过神经基函数分解多变量函数,提升近似能力和数据适应性,并理论证明其可任意逼近连续函数。
2026-03-04 cs.LG
Canonical dual solutions to nonconvex radial basis neural network optimization problem
University of Ballarat(巴拉瑞特大学);Australian National University(澳大利亚国立大学)
径向基函数神经网络(RBFNN)是在回归问题中广泛使用的工具。它们的主要缺点之一是,与中心和权重都有监督的训练相对应的公式是一个高度非凸的优化问题,这导致传统优化理论和方法的一些根本困难。本文提出了一个广义正则对偶理论来解决这个具有挑战性的问题。我们证明了,通过连续的正则对偶变换,RBFNN的非凸优化问题可以重新表述为一个正则对偶问题(没有对偶间隙)。全局最优解和局部极值都可以分类。最常用的径向基函数之一,高斯函数的几个应用程序,说明。结果表明,即使在一维情况下,非凸问题的全局极小值也不一定是RBFNN的最优解,而正则对偶理论是解决一般神经网络训练问题的有效工具.
2013-02-18 cs.LG cs.NE stat.ML
NBMLSS: probabilistic forecasting of electricity prices via Neural Basis Models for Location Scale and Shape
CNR(意大利国家研究委员会);Institute of Intelligent Industrial Technologies and Systems for Advanced Manufacturing(智能工业技术与先进制造系统研究所)
提出位置尺度和形状的神经基模型(NBMLSS),结合GAMLSS的可解释性与可扩展共享基分解,在多市场电价预测中实现与分布神经网络相当的性能,同时提供更深入的模型行为见解。
2024-12-20 cs.LG
From Distributional to Quantile Neural Basis Models: the case of Electricity Price Forecasting
CNR, Institute of Intelligent Industrial Technologies and Systems for Advanced Manufacturing(CNR,智能工业技术与系统研究所)
该研究提出Quantile Neural Basis Model,将分位数广义可加模型的可解释性融入端到端神经网络,无需参数化分布假设,在电力价格预测中实现了与现有神经网络相当的性能并提供了模型行为见解。
2025-09-17 cs.LG
Growing axons: greedy learning of neural networks with application to function approximation
Fraunhofer ITWM(弗劳恩霍夫信息技术与数学研究所);Technical University Kaiserslautern(凯泽斯劳滕工业大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一种基于贪婪学习方法的学习深度神经网络模型的新方法:我们一次添加一个基函数,并生成一个新的基函数作为应用于先前基函数的线性组合的非线性激活函数。这种方法(一次生长一个神经元的深度神经网络)允许我们为函数逼近中的几个模型问题计算更精确的逼近。
2020-02-16 cs.LG cs.NA math.NA
NeX: Real-time View Synthesis with Neural Basis Expansion
VISTEC
我们提出了NeX,一种基于多平面图像(MPI)增强的新视图合成新方法,可以实时的再现下一级视图相关效果。与使用一组简单RGB $α$平面的传统MPI不同,我们的技术通过将每个像素参数化为从神经网络学习的基函数的线性组合来建模视图相关效果。此外,我们提出了一种混合隐式-显式建模策略,改进了细节,并产生了最先进的结果。我们的方法在基准前向数据集以及我们新引入的数据集上进行了评估,这些数据集旨在测试视图相关建模的极限,具有更具挑战性的效果,例如CD上的彩虹反射。我们的方法在这些数据集上的所有主要指标上都取得了最佳的总体分数,渲染时间比最先进的方法快1000多个$\times$。有关实时的演示,请访问https://nex-mpi.github.io/
2021-04-12 cs.CV cs.GR cs.LG
Generative Neural Fields by Mixtures of Neural Implicit Functions
POSTECH(浦项科技大学);University of Pittsburgh(匹兹堡大学);Seoul National University(首尔大学)
本文提出用隐式基网络线性组合表示生成式神经场,通过元学习或自动解码学习基网络与潜在系数,并结合定制化去噪扩散概率模型采样混合系数,在保持推理高效的同时提升生成容量,在图像、体素和NeRF场景上取得竞争性生成性能。
2023-10-30 cs.CV cs.LG
Neural basis expansion analysis with exogenous variables: Forecasting electricity prices with NBEATSx
Carnegie Mellon University(卡内基梅隆大学);Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
我们扩展了神经基础扩展分析(NBEATS),将外源性因素。由此产生的方法称为NBEATSx,改进了性能良好的深度学习模型,通过包括外生变量并允许其集成多个有用信息源来扩展其功能。为了展示NBEATSx模型的实用性,我们对其在广泛的年份和市场中的电价预测(EPF)任务的应用进行了全面的研究。我们观察到了最先进的性能,与原始NBEATS模型相比,预测准确性显著提高了近20%,与其他专门用于这些任务的成熟统计和机器学习方法相比,预测准确性提高了5%。此外,所提出的神经网络具有可解释的配置,可以从结构上分解时间序列,可视化趋势和季节分量的相对影响,并揭示建模过程与外生因素的相互作用。为了帮助相关工作,我们在https://github.com/cchallu/nbeatsx上提供了代码。
2022-04-04 cs.AI cs.LG stat.ML
Adaptively trained Physics-informed Radial Basis Function Neural Networks for Solving Multi-asset Option Pricing Problems
College of Mathematics and Statistics, Northwest Normal University(西北师范大学数学与统计学院);Department of Mathematics, City University of Hong Kong(香港城市大学数学系);Department of Information Technology, Uppsala University(乌普萨拉大学信息科技系)
提出基于径向基函数神经网络的物理信息机器学习算法,通过自适应调整隐藏神经元分布,高效求解多资产期权定价中的Black-Scholes偏微分方程,实验验证了单资产、双资产和四资产期权定价的有效性。
2026-07-03 cs.LG
Fast Haar Transforms for Graph Neural Networks
Zhejiang Normal University(浙江师范大学);The University of New South Wales(新南威尔士大学);Princeton University(普林斯顿大学);City University of Hong Kong(香港城市大学)
图神经网络(Graph Neural Network,GNNs)由于其在高维图结构数据的分类和回归任务中的强大能力,近年来成为研究热点。然而,由于GNN通常通过图拉普拉斯算子的标准正交基来定义图卷积,因此当图大小很大时,它们会遭受高计算成本。本文引入了图上粗粒度链的稀疏局部化标准正交系Haar基。Haar基下的图卷积,称为Haar卷积,可以相应地为GNN定义。利用Haar基的稀疏性和局部性,可以在图上进行快速Haar变换,从而实现图数据与滤波器之间Haar卷积的快速计算。我们在配备Haar卷积的GNN上进行实验,这展示了基于图的回归和节点分类任务的最新结果。
2019-10-30 cs.LG stat.ML
On Privileged and Convergent Bases in Neural Network Representations
Pacific Northwest National Laboratory(太平洋西北国家实验室);Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind)
本研究探究神经网络表征是否存在特权且收敛的基,通过实验证实宽网络也不会收敛到唯一基,且线性模式连通性随宽度提升并非因基相关性增加。
2023-07-24 cs.AI cs.CV cs.LG
Adaptive Extreme Learning Machine for Recurrent Beta-basis Function Neural Network Training
University of Sfax(斯法克斯大学)
Beta基函数神经网络(BBFNN)是一类特殊的核基神经网络。它是一种前馈网络,典型的是使用beta函数作为隐藏的激活函数。Beta是一个灵活的传递函数,比现有的常见函数形式更丰富。在每个网络中,结构设置以及学习方法是BBFNN面临的两个主要挑战。本文提出了一种新的BBFNN结构和训练算法。极端学习机(ELM)被用作BBFNN的训练方法,目的是加快训练过程。ELM的特点是允许一定的计算时间和复杂度的递减对于已经使用的BBFNN学习算法,如反向传播,OLS等的架构设计,递归结构添加到共同的BBFNN架构,以使它更能够处理复杂的,非线性和时变的问题。在本文中,构思的循环ELM训练的BBFNN进行了测试,在一些与时间序列预测,分类和回归相关的任务。实验结果表明,与采用ELM和双曲正切作为激活函数训练的普通前馈和递归网络相比,该网络具有显著的性能。这些成就是在准确性和对数据故障(如噪声信号)的鲁棒性方面。
2018-10-31 cs.AI cs.LG stat.ML
Positively Scale-Invariant Flatness of ReLU Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research(微软研究院)
Keskar等人(\cite{SharpMinima})根据经验证实,平坦的最小值更好地推广。然而,对于流行的ReLU网络,sharp minimum也可以很好地推广\cite{SharpMinimacan}。结论表明,现有的平坦性定义无法解释ReLU神经网络的复杂几何结构,因为它们不能覆盖ReLU网络的正尺度不变(PSI)属性。本文对现有平坦性定义中的PSI原因问题进行了形式化,提出了一种新的平坦性描述-- \emph{PSI-flatness}。PSI平坦度是根据基路径\cite{GSGD}的值而不是权重来定义的。基路径的值已被证明是PSI变量,并且可以充分表示ReLU神经网络,其确保PSI平坦性的PSI性质。然后从理论和实证两方面研究了PSI平坦性与推广的关系。首先,我们制定了一个推广界的基础上的PSI平坦性,表明泛化误差的最大的基础路径值和最小的基础路径值之间的比率减少。也就是说,具有平衡的基路径值的最小值将更有可能更平坦并且更好地推广。终于来了我们可视化了两个学习模型周围损失表面的PSI平坦度,这表明具有较小PSI平坦度的最小值确实可以更好地推广。
2019-03-06 cs.LG stat.ML
NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions
University at Buffalo(纽约州立大学布法罗分校);OPPO US Research Center(OPPO美国研究中心);ShanghaiTech University(上海科技大学)
本文提出 NeuRBF 神经场表示,利用位置和形状灵活的自适应径向基、多频正弦扩展及与网格基的混合加权,在图像、SDF 与 NeRF 任务中提升精度、紧凑性和渲染质量。
2023-09-27 cs.CV cs.GR cs.LG
On Multi-Layer Basis Pursuit, Efficient Algorithms and Convolutional Neural Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Technion – Israel Institute of Technology(以色列理工学院);Tel Aviv University(特拉维夫大学)
简约表示在信息建模和处理中无处不在。受最近的多层卷积稀疏编码(ML-CSC)模型的启发,本文将传统的基追踪问题推广到多层环境,在合成和分析稀疏先验之间的共生关系中,在不同的表示层引入类似的稀疏执行惩罚。我们在实践中探索了不同的迭代法来解决这个新问题,并提出了一种新的多层迭代软存储算法(ML-ISTA),以及一个快速版本(ML-FISTA)。我们表明,这些嵌套的一阶算法收敛,在这个意义上,近不动点的函数值可以得到任意接近原问题的解决方案。我们进一步展示了这些算法如何有效地实现特定的递归卷积神经网络(CNN),概括前馈网络,而不引入任何参数。我们提出并分析了不同的架构,从而展开了所提出的追求算法的迭代,包括一个新的学习ML-ISTA,提供了一种构建深度递归CNN的原则性方法。与其他类似的结构不同,这些架构为整个网络整体地展开了全球性的追求。我们在监督学习环境中展示了新兴的结构,在保持参数数量不变的同时,不断提高经典CNN的性能。
2018-11-21 cs.LG stat.ML
Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations
Johns Hopkins Applied Physics Laboratory(约翰斯·霍普金斯应用物理实验室)
我们提出了一种方法来解决偏微分方程(PDE)使用一组神经网络,我们称之为神经基函数(NBF)。该NBF框架是POD DeepONet算子学习方法的一种新变体,其中我们将一组神经网络回归到降阶本征正交分解(POD)基础上。然后,这些网络与分支网络结合使用,该分支网络摄取规定的PDE的参数以计算PDE的降阶近似。这种方法适用于高速流动条件下(马赫数10-30)的稳态欧拉方程,其中我们考虑了圆柱体周围的二维流动,该流动产生了激波条件。然后,我们使用NBF预测作为高保真计算流体动力学(CFD)求解器(CFD++)的初始条件,以显示更快的收敛。培训和实施该算法的经验教训也将提出。
2022-08-02 cs.LG cs.NA math.NA
N-BEATS: Neural basis expansion analysis for interpretable time series forecasting
Element AI(元素人工智能公司);Mila(米拉人工智能研究所)
我们专注于使用深度学习解决单变量时间序列点预测问题。我们提出了一种基于向后和向前残差链接的深度神经架构,以及一个非常深的全连接层堆栈。该体系结构具有许多理想的属性,是可解释的,适用于广泛的目标域,无需修改,快速训练。我们测试了几个著名的数据集,包括M3,M4和TOURISM竞争数据集包含来自不同领域的时间序列的建议架构。我们为所有数据集展示了N-BEATS两种配置的最新性能,将预测准确性提高了11%,比去年的M4竞赛冠军提高了3%,M4竞赛是神经网络和统计时间序列模型之间的领域调整手工制作的混合体。我们模型的第一种配置不使用任何时间序列特定的组件,其在异构数据集上的性能强烈表明,与公认的智慧相反,深度学习原语(如残差块)本身足以解决广泛的预测问题。最后,我们演示了如何增强所提出的体系结构,以提供可解释的输出,而不会在准确性上造成相当大的损失。
2020-02-20 cs.LG stat.ML
On the Generalization of Equivariance and Convolution in Neural Networks to the Action of Compact Groups
The University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
卷积神经网络在图像识别领域非常成功,因为它们确保了平移的等方差。最近有许多尝试将这个框架推广到其他领域,包括图形和数据躺在流形上。在本文中,我们给出了一个严格的,在神经网络中的卷积和等方差的理论处理,不只是平移,但任何紧凑组的行动。我们的主要结果是证明(给定一些自然约束)卷积结构不仅是一个充分的,而且是一个必要条件,一个紧凑的群的作用等变性。我们的论述利用表示论和非交换调和分析的概念,推导出新的广义卷积公式。
2018-11-10 cs.LG stat.ML
Compacting Neural Network Classifiers via Dropout Training
Alexa Machine Learning, Amazon(亚马逊Alexa机器学习)
我们介绍了dropout压缩,一种用于训练前馈神经网络的新方法,该方法实现了用dropout正则化训练大型模型的性能增益,但提取了一个紧凑的神经网络以提高运行时效率。在所提出的方法中,我们引入了一个稀疏诱导先验的每单位的辍学保留概率,使优化器可以有效地修剪隐藏的单元在训练过程中。通过改变先验超参数,我们可以控制最终网络的大小。我们对几个真实世界的语音识别任务进行了dropout压缩和竞争方法的系统比较,发现dropout压缩在隐藏单元少于50%的情况下实现了相当的准确性,在运行时加速了2.5倍。
2017-05-24 cs.LG cs.NE stat.ML
ReLU Deep Neural Networks from the Hierarchical Basis Perspective
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Peking University(北京大学);The Pennsylvania State University(宾夕法尼亚州立大学)
我们通过研究ReLU深度神经网络(DNN)与有限元法中的分层基方法的联系来研究它们。首先,我们证明了$x^2$和$xy$的ReLU DNN的近似方案是这两个函数的分层基近似的组合版本。基于这一事实,我们获得了ReLU DNN对多项式的近似结果的几何解释和系统证明,这在最近的一系列ReLU DNN的指数逼近结果中起着重要作用。通过我们对ReLU DNN与$x^2$和$xy$的分层基近似之间的联系的研究,我们表明具有这种特殊结构的ReLU DNN只能应用于近似二次函数。此外,我们通过使用只有两个隐藏层的ReLU DNN,获得了一个简洁的表示,可以在二维均匀网格上显式再现任何线性有限元函数。
2022-07-01 cs.LG cs.NA math.NA
Solving and learning advective multiscale Darcian dynamics with the Neural Basis Method
Asia Pacific Technology, Inc.(亚太科技公司);Institute for Scientific Computation, Texas A&M University(德克萨斯农工大学科学计算研究所);Department of Mathematics, University of Houston(休斯顿大学数学系)
本文提出神经基底方法,通过结合物理一致的神经基底空间和操作符诱导残差度量,解决对流多尺度达西动力学问题,实现稳定可靠的求解与参数推断。
2026-04-10 cs.LG cs.NA math.NA
Building Compact and Robust Deep Neural Networks with Toeplitz Matrices
Université Paris-Dauphine -- PSL Research University(巴黎第九大学(多菲纳大学)-- PSL研究大学)
深度神经网络在各种各样的任务中是最先进的,然而,它们表现出重要的限制,这阻碍了它们在现实世界应用中的使用和部署。在开发和训练神经网络时,精度不应该是唯一的关注点,神经网络还必须具有成本效益和可靠性。虽然精确,但大型神经网络通常缺乏这些特性。本文研究的问题是如何训练神经网络,使其不仅精度高,而且结构紧凑,易于训练,可靠性高,对对抗性样本具有较强的鲁棒性。为了解决这些问题,我们利用Toeplitz家族的结构化矩阵的属性来构建紧凑且安全的神经网络。
2021-09-02 cs.LG
A Resolution Independent Neural Operator
Hopkins Extreme Materials Institute(霍普金斯极端材料研究所);Dept. of Civil and Systems Engineering(土木与系统工程系);Johns Hopkins University(约翰·霍普金斯大学);Dept. of Chemical and Biomolecular Engineering(化学与生物分子工程系);Dept. of Applied Mathematics and Statistics(应用数学与统计学系)
本文提出了一种独立于分辨率的神经算子架构RINO,通过自适应学习连续基函数,实现对任意采样输入输出函数的高效处理。
2024-12-10 cs.CE cs.LG physics.comp-ph
State of Compact Architecture Search For Deep Neural Networks
University of Waterloo(滑铁卢大学);DarwinAI Corp.(DarwinAI公司)
紧凑型深度神经网络的设计是使深度神经网络能够在现实世界中广泛采用的关键任务,特别是对于边缘和移动场景。由于手动设计紧凑型深度神经网络的耗时性和挑战性,最近对自动搜索紧凑型网络架构的算法有很大的研究兴趣。一类特别有趣的紧凑架构搜索算法是那些由基线网络架构指导的算法。这样的算法已被证明是显着更有效的计算比无指导的方法。在这项研究中,我们通过对四种不同的最先进的紧凑架构搜索算法进行理论和实证分析来探索深度神经网络的紧凑架构搜索的现状:i)组套索正则化,ii)变分丢弃,iii)MorphNet和iv)生成合成。我们基于许多不同的因素,如效率,有效性和可扩展性,详细研究这些方法。此外,经验评估进行比较这些紧凑的架构搜索算法在三个著名的基准数据集的功效。虽然绝不是一个详尽的探索,我们希望这项研究有助于提供洞察这个相对较新的研究领域的多样性和真正的,有形的收益已经在建筑设计改进方面取得的有趣状态。此外,我们希望这项研究将有助于推动对话向前发展,以更深入的理论和实证理解研究界目前站在紧凑的架构搜索深度神经网络的景观,以及利用这种方法进行操作使用的实际挑战和考虑。
2019-10-15 cs.CV cs.LG cs.NE
AMS-Net: Adaptive Multiscale Sparse Neural Network with Interpretable Basis Expansion for Multiphase Flow Problems
Purdue University(普渡大学);University of California, Irvine(加州大学欧文分校)
在这项工作中,我们提出了一种自适应稀疏学习算法,可以应用于学习的物理过程,并获得一个稀疏表示的解决方案,给定一个大的快照空间。假设存在丰富的预先计算的基函数类,其可用于近似感兴趣的量。然后,我们设计了一个神经网络架构来学习这些基函数所跨越的空间中的解的系数。在损失函数中引入基函数的信息,使降阶解与参考解在多个时间步长上的差异最小化。该网络包含多个子模块,可以同时学习不同时间步的解。我们在学习框架中提出了一些策略来识别重要的自由度。为了找到一个稀疏的解决方案表示,一个软阈值算子施加到执行的神经网络的输出系数向量的稀疏性。为了避免过度简化并丰富近似空间,可以通过贪心算法将一些自由度添加回系统。在这两种情况下,即,去除和添加自由度,相应的网络连接被修剪或重新激活的指导下,从网络输出获得的解决方案系数的大小。提出的自适应学习过程应用于一些玩具案例的例子,以证明它可以实现良好的基选择和准确的逼近。两相多尺度流问题的数值试验表明,该方法在复杂问题上具有较好的计算能力和可解释性。
2022-07-24 cs.LG
Prescribed-Basis Coefficient-to-Coefficient Neural Operator for Partial Differential Equations
Department of Mathematics(数学系);University of Michigan(密歇根大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Algorithms of Machine Learning and Autonomous Driving Research Lab(机器学习与自动驾驶算法研究实验室);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深圳-香港协同创新研究机构)
FB-C2CNet通过固定基空间中的系数映射学习算子,有效降低计算复杂度并提升训练效率。
2026-08-05 cs.LG cs.NA math.NA
An Algorithm for Approximating Continuous Functions on Compact Subsets with a Neural Network with one Hidden Layer
George Cybenko在1989年的里程碑式论文中指出,存在一个前馈神经网络,它只有一个隐藏层(和有限数量的神经元),可以任意逼近单位超立方体上给定的连续函数$f$。这篇论文没有讨论如何找到这样一个网络的权重/参数,或者找到它们在计算上是否可行。本文给出了一个具有一个隐层的神经网络重构任意连续标量或向量值连续函数的算法。
2019-02-10 cs.LG math.FA stat.ML
The phase unwrapping of under-sampled interferograms using radial basis function neural networks
University of Rochester(罗切斯特大学)
干涉测量法可以通过记录信号的相位变化和参考相位之间的差异来测量系统的形状或材料密度,而这些是不能以其他方式测量的。该差值始终在$-π$和$π$之间,而获得真实测量值所需的是绝对相位。从“包裹”在$]-π,π]$内的相位中精确恢复该相位的方法由来已久。然而,噪声和欠采样限制了大多数技术的有效性,并且需要能够处理不完美测量的高度复杂的算法。最终,成功分析干涉图相当于模式识别,这是径向基函数神经网络真正擅长的任务。所提出的神经网络的目的是展开的相位从二维干涉图,其中混叠,源于欠分辨率的区域,和噪声水平是显着的。神经网络可以使用基于梯度的监督学习进行并行训练,分为三个阶段。并行化允许处理相对较大的数据集,但需要一个补充步骤来跨不同网络同步完全展开的阶段。
2022-10-19 cs.LG eess.SP physics.plasm-ph
The Local Interaction Basis: Identifying Computationally-Relevant and Sparsely Interacting Features in Neural Networks
Apollo Research(阿波罗研究院);Cadenza Labs(卡丹萨实验室)
本文提出局部交互基(LIB),通过剔除无关激活并对齐相邻层 Jacobian 奇异向量来识别计算特征;实验表明其在模加法和 CIFAR-10 上优于 PCA,但尚不适用于大型语言模型。
2024-05-20 cs.LG
Stress representations for tensor basis neural networks: alternative formulations to Finger-Rivlin-Ericksen
Cornell University(康奈尔大学);Sandia National Laboratories(桑迪亚国家实验室)
该研究调研了有限变形超弹性材料建模的多种张量基神经网络模型,提出采用与Finger-Rivlin-Ericksen理论等价的不变量和生成元的未探索公式,对比不同方法与校准技术,经9种变体在三类材料的含噪/无噪数据集测试,给出各公式性能的理论与实践见解。
2023-08-21 cond-mat.soft cs.LG
Estimating smooth and sparse neural receptive fields with a flexible spline basis
Institute for Ophthalmic Research, University of Tübingen(图宾根大学眼科研究所);Centre for Integrative Neuroscience, University of Tübingen(图宾根大学综合神经科学中心);Tübingen AI Center, University of Tübingen(图宾根大学图宾根人工智能中心)
时空感受野(STRF)模型经常被用来近似由感觉神经元执行的计算。通常,这样的STRF被假定为平滑和稀疏的。目前的国家的最先进的方法来估计基于经验贝叶斯的STRF通常是不计算效率在高维设置中,如在感觉神经科学中遇到的。在这里,我们追求一种替代方法,并通过选择一组具有所需属性的基函数(自然三次样条)来编码用于估计STRF的先验知识。我们的方法是计算效率高,可以很容易地应用到广泛的现有模型。我们比较了基于样条的方法,非样条的模拟和实验数据的性能,表明基于样条的方法始终优于非样条版本。
2021-08-17 cs.LG
ReBaNO: Reduced Basis Neural Operator Mitigating Generalization Gaps and Achieving Discretization Invariance
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);Flatiron Institute(熨斗研究院);Lehigh University(理海大学)
提出少数据算子学习算法 ReBaNO,通过贪心算法离线自适应构建网络并结合知识蒸馏嵌入物理,显著缩小泛化间隙并实现严格离散不变性。
2025-09-11 cs.LG cs.NA math.NA
Learning Compact Neural Networks Using Ordinary Differential Equations as Activation Functions
Amazon Inc.(亚马逊公司);University of Oregon(俄勒冈大学);Microsoft Inc.(微软公司);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
大多数深度神经网络使用简单的固定激活函数,如S形或整流线性单元,而不管域或网络结构如何。我们引入微分方程单元(DEU),现代神经网络的改进,使每个神经元学习一个特定的非线性激活函数从一个家庭的解决方案,一个常微分方程。具体地,每个神经元可以在训练期间基于网络的其他部分的行为来改变其功能形式。我们表明,使用神经元与DEU激活函数的结果在一个更紧凑的网络能够实现可比的,如果不是优越的,性能相比,更大的网络。
2019-05-19 cs.LG cs.NE stat.ML
Learning Compact Neural Networks with Deep Overparameterised Multitask Learning
Continental Automotive Singapore(大陆汽车新加坡公司);Continental-NTU Corporate Lab, Nanyang Technological University(大陆-南洋理工大学联合企业实验室、南洋理工大学)
针对紧凑型神经网络训练难、多任务场景下任务资源竞争的问题,提出训练阶段过参数化并跨任务高效共享参数的多任务学习方案,经NYUv2、COCO数据集验证,在多种卷积网络及参数规模下均有效。
2023-08-25 cs.AI cs.CV cs.LG
Data driven approximation of parametrized PDEs by Reduced Basis and Neural Networks
SCI-SB-SD, École Polytechnique Fédérale de Lausanne (EPFL), Station 8, 1015 Lausanne, Switzerland(SCI-SB-SD,瑞士联邦理工学院(洛桑联邦理工学院),8号站,1015洛桑,瑞士)
本文提出一种结合降阶基方法和神经网络的数据驱动方法,用于近似参数化偏微分方程,通过减少物理参数的计算成本来估计感兴趣的场,如材料样本的温度或流体的速度。
2019-06-29 cs.LG cs.NA math.NA
An Effective Universal Polynomial Basis for Spectral Graph Neural Networks
National University of Singapore(新加坡国立大学);University of Cambridge(剑桥大学)
针对固定多项式基难以适应不同异配程度的问题,本文提出融合自适应异配基与同配基的通用多项式基 UniBasis,并构建 UniFilter,在真实与合成数据上验证其优势。
2024-03-05 cs.LG cs.SI eess.SP
Compact Matrix Quantum Group Equivariant Neural Networks
Department of Computing, Imperial College London, United Kingdom(计算机系,伦敦帝国学院,英国)
本文提出紧矩阵量子群等变神经网络,以处理非交换几何数据,并刻画简单紧矩阵量子群的权重矩阵,获得新的等变权重矩阵表征。
2025-05-23 cs.LG math.CO math.CT
Physics-informed radial basis network (PIRBN): A local approximating neural network for solving nonlinear PDEs
Queensland University of Technology(昆士兰科技大学);University of Cincinnati(辛辛那提大学);Greenslopes Private Hospital(格林洛普斯私立医院);Tsinghua University(清华大学)
该研究提出单层径向基结构的 PIRBN,利用 NTK 分析其训练动态并证明可收敛至高斯过程,在高频和病态 PDE 上优于 PINN。
2023-04-20 cs.LG
Graph Neural Networks with Learnable and Optimal Polynomial Bases
Renmin University of China(中国人民大学);Peng Cheng Laboratory(鹏城实验室)
针对多项式滤波器图神经网络中多项式基的选择问题,提出FavardGNN和OptBasisGNN两个谱GNN模型,分别从数据中学习正交多项式基并为给定图计算最优基,实验证明其有效性。
2023-07-01 cs.AI cs.LG
Predicting the cardinality and maximum degree of a reduced Gröbner basis
本文构建神经网络回归模型预测二项式理想约化Gröbner基的基数与最大次数,并通过生成大型数据集验证其性能优于朴素猜测和多元回归模型。
2025-08-27 cs.LG math.AC
Finite Basis Physics-Informed Neural Networks (FBPINNs): a scalable domain decomposition approach for solving differential equations
University of Oxford(牛津大学)
针对PINNs难以高效求解大定义域多尺度微分方程问题,提出受有限元启发的FBPINNs方法,通过子域分治与单独归一化提升精度与效率,优于标准PINNs。
2021-07-16 cs.LG physics.comp-ph
Univariate Radial Basis Function Layers: Brain-inspired Deep Neural Layers for Low-Dimensional Inputs
INRIA Grenoble(法国国家信息与自动化研究所格勒诺布尔分部);LJK(格勒诺布尔计算机科学实验室);UGA(格勒诺布尔阿尔卑斯大学)
本文提出单变量径向基函数层(U-RBF),一种脑启发式深度神经网络层,用于低维输入,在函数回归和强化学习中优于MLPs,尤其适合复杂目标函数。
2024-02-02 cs.LG cs.NE
BasisN: Reprogramming-Free RRAM-Based In-Memory-Computing by Basis Combination for Deep Neural Networks
Technical University of Munich(慕尼黑工业大学);Technical University of Darmstadt(达姆施塔特工业大学);Zhejiang University(浙江大学);National Cheng Kung University(成功大学);University of Siegen(锡根大学)
BasisN框架通过将DNN卷积核表示为全局共享基向量与量化系数的组合,实现无需重编程的RRAM存内计算加速,在大规模DNN上使推理周期和能量延迟积降至重编程方案的1%以下。
2024-07-04 cs.LG cs.SY eess.SY
Variationally correct operator learning: Reduced basis neural operator with a posteriori error estimation
School of Computational Science and Engineering(计算科学与工程学院);Georgia Institute of Technology(佐治亚理工学院);Department of Mathematics(数学系);University of South Carolina(南卡罗来纳大学)
本文提出一种变分正确的降阶神经算子,通过FOSLS目标函数和后验误差估计提升PDE兼容性,实现高效准确的算子学习。
2025-12-24 cs.LG cs.NA math.NA
AB-PINNs: Adaptive-Basis Physics-Informed Neural Networks for Residual-Driven Domain Decomposition
Center for Applied Mathematics(应用数学中心);Cornell University(康奈尔大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Amazon Robotics(亚马逊机器人)
提出自适应基物理信息神经网络(AB-PINNs),通过在训练中动态调整域分解并在高残差区域引入新子域,有效解决了多尺度偏微分方程并避免了局部最优。
2025-10-10 cs.LG
Time Series Imputation with Multivariate Radial Basis Function Neural Network
Sejong University(世宗大学)
针对时间序列缺失值问题,提出基于RBFNN的MIM-RBFNN插补模型,并扩展出MIRNN-CF以更好地利用时间信息,在真实数据集上验证了有效性。
2024-07-31 cs.AI cs.LG
Homomorphism Counts for Graph Neural Networks: All About That Basis
University of Oxford(牛津大学);TU Wien(维也纳技术大学)
本文提出将目标模式基中所有结构的同态计数纳入图神经网络,在不增加计算开销的前提下提升表达能力,并通过理论和实验验证其优于现有子图或同态计数方法。
2024-06-10 cs.LG
Physics-Informed Neural Networks and Radial Basis Functions for PDEs with Dirac Delta Sources
Department of Civil and Environmental Engineering, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校土木与环境工程系)
针对含狄拉克δ项的偏微分方程,通过将物理信息神经网络解释为残差最小二乘法,利用弱形式直接处理δ项,并对比径向基函数展开方法,发现径向基函数-残差最小二乘法在输运问题中更稳定。
2026-06-12 cs.LG
Learning High-Dimensional Parametric Maps via Reduced Basis Adaptive Residual Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Michigan(密歇根大学)
我们提出了一个可扩展的框架,通过自适应构造的残差网络(ResNet)的输入和输出的减少基地之间的映射的高维参数映射的学习。当只有很少的训练数据可用时,具有紧凑的参数化以改善神经网络训练问题的不适定性是有益的。通过将高维映射线性地限制到输入的已知缩减基,可以以建设性的方式压缩高维映射,该方式可以用于检测适当的基秩,配备有严格的误差估计。因此,可扩展的神经网络学习框架是学习非线性压缩缩减基映射。然而,与缩减基构造不同,神经网络构造不能保证通过增加表示能力来减少误差,使得难以实现良好的实际性能。受最近将ResNet连接到序列最小化流的近似理论的启发,我们提出了一种自适应ResNet构造算法。该算法允许神经网络近似的深度方面的丰富,其方式是可以通过首先训练浅网络然后进行适应来实现良好的实际性能。我们证明了紧集上的$L^2_ν$函数的相关神经网络类的通用逼近。我们的整体框架允许建设性的手段来检测适当的广度和深度,以及相关的神经网络的紧凑参数化,显着减少了对架构超参数调整的需要。对参数偏微分方程问题和三维CFD机翼设计优化参数图的数值实验表明,该方法在训练数据有限的情况下可以达到非常高的精度,并且优于其他神经网络策略。
2022-11-15 cs.CE cs.LG cs.NA