Kolmogorov-Arnold Networks are Radial Basis Function Networks
Center for Data Science, Peking University（北京大学数据科学中心）
该研究通过概念验证表明KAN的3阶B样条可用高斯径向基函数近似，据此提出兼具RBF网络属性的更快KAN实现FastKAN。
2024-05-10 cs.AI cs.LG
An Exact Reformulation of Feature-Vector-based Radial-Basis-Function Networks for Graph-based Observations
US Naval Surface Warfare Center（美国海军水面作战中心）；University of Florida（佛罗里达大学）
传统上，径向基函数网络是针对基于矢量的观测集定义的。在这篇简短的论文中，我们重新制定了这样的网络，使它们可以应用于加权，有向图表示对象对之间的关系的邻接矩阵表示。我们重新声明平方和目标函数，使其完全依赖于邻接矩阵的元素。从这个目标函数中，我们推导出网络权重的梯度下降更新。我们还推导出一个梯度更新，模拟径向基原型的重新定位和径向基原型参数的变化。我们的径向基函数网络的一个重要特性是，它们保证产生与传统径向基网络相同的响应，传统径向基网络是在邻接矩阵编码的关系的相应矢量实现上训练的。这样的向量实现只需要可证明地存在以保持该属性，每当关系对应于应用于潜在向量集的某个任意度量的距离时，就会发生这种情况。因此，我们完全避免了需要通过多维缩放来实际构建向量实现，这确保了底层关系完全保留。
2019-08-02 cs.LG stat.ML
Parametric Shape Modeling and Skeleton Extraction with Radial Basis Functions using Similarity Domains Network
我们演示了使用相似域（SD）的形状建模和骨架提取。最近提出的SD，他们可以利用在神经网络框架，以帮助我们分析形状。在相似域网络（SDNs）中，采用具有不同形状参数的径向基函数对SDs进行建模。在本文中，我们演示了如何使用SDN首先帮助我们根据SD对基于像素的图像进行建模，然后演示如何使用这些学习的SD来提取形状的骨架。
2019-06-01 cs.CV cs.LG
Towards Expressive Priors for Bayesian Neural Networks: Poisson Process Radial Basis Function Networks
Harvard University（哈佛大学）
虽然贝叶斯神经网络有许多吸引人的特点，目前的先验不容易让用户指定的基本属性，如预期的长度尺度或幅度方差。在这项工作中，我们引入泊松过程径向基函数网络，一种新的先验，能够编码幅度平稳性和输入相关的lengthscale。我们证明了我们的新配方允许这些属性的解耦规范，估计的回归函数是一致的，因为观测的数量趋于无穷大。我们证明了它的行为合成和真实的例子。
2019-12-12 cs.LG stat.ML
Multi-layer Radial Basis Function Networks for Out-of-distribution Detection
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；Air Force Research Laboratory（空军研究实验室）
提出一种易于训练的多层径向基函数网络MLRBFN，并引入抑制机制，将分类与OOD检测合并为单一步骤，在独立分类器和预训练特征提取器两种设置下均取得有竞争力的检测效果。
2025-01-05 cs.CV cs.LG
Deep Radial-Basis Value Functions for Continuous Control
Amazon Web Services（亚马逊云服务）；Brown University（布朗大学）；Duke University（杜克大学）
强化学习（RL）的核心操作是找到相对于学习到的价值函数最优的动作。当学习的价值函数将连续动作作为输入时，该操作通常具有挑战性。我们引入了深度径向基价值函数（RBVF）：使用具有径向基函数（RBF）输出层的深度网络学习的价值函数。我们表明，最大的动作值相对于一个深RBVF可以很容易和准确地近似。此外，深度RBVF可以表示任何真正的价值函数，因为它们支持通用函数近似。我们扩展了标准的DQN算法连续控制赋予代理深RBVF。我们表明，由此产生的代理，称为RBF-DQN，显着优于价值函数的基线，并与最先进的演员评论家算法的竞争力。
2021-03-14 cs.AI cs.LG stat.ML
General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks
这个项目的目的是开发一个代码来发现最大化F1得分的最佳sigma值和最大化准确性的最佳sigma值，并找出它们是否相同。可以用来解决这个问题的四种算法是：遗传回归神经网络（GRNNs），径向基函数（RBF）神经网络（RBFNNs），支持向量机（SVMs）和前馈神经网络（FFNNs）。
2019-11-16 cs.LG cs.NE cs.SY
Fast expansion into harmonics on the disk: a steerable basis with fast radial convolutions
我们提出了一种快速和数值上准确的方法，用于扩展数字化$L \times L$图像上的$[-1,1]^2$支持的磁盘$\{x \in \mathbb{R}^2 : |x|<1\}$上的谐波（狄利克雷拉普拉斯本征函数）的磁盘上的功能。我们的方法，我们称之为快速磁盘谐波变换（FDHT），运行在$O(L^2 \log L)$操作。这种基也被称为傅里叶-贝塞尔基，它有几个计算上的优点：它是正交的，按频率排序，并且在这个意义上是可操纵的，在基中扩展的图像可以通过对系数应用对角变换来旋转。此外，我们表明，卷积与径向函数也可以有效地计算通过应用对角变换的系数。
2022-12-21 cs.LG cs.NA math.CA
Radial Basis Function Approximation with Distributively Stored Data on Spheres
City University of Hong Kong（香港城市大学）；Xi’an Jiaotong University（西安交通大学）；University of Sydney（悉尼大学）
提出了一种基于球面径向基函数和球面求积规则的分布式加权正则化最小二乘算法（DWRLS），以解决存储在多个本地服务器上且无法共享的球面数据。通过开发一种新的积分算子方法，我们成功地推导出DWRLS的最佳逼近率，并从理论上证明DWRLS的性能类似于在足够大的机器上运行加权正则化最小二乘算法。这一有趣的发现意味着分布式学习能够充分利用分布式存储的球形数据的潜在价值，即使每个本地服务器无法访问所有数据。
2022-11-13 cs.LG cs.NA math.NA
Radial basis function kernel optimization for Support Vector Machine classifiers
University of Málaga（马拉加大学）；Biomedic Research Institute of Málaga (IBIMA)（马拉加生物医学研究所 (IBIMA)）；University of Michigan（密歇根大学）
支持向量机（SVM）仍然是最流行和最精确的分类器之一。径向基函数（RBF）核已被用于支持向量机中，以在类之间进行分离，并取得了相当大的成功。然而，存在对核超参数的初始值的内在依赖性。在这项工作中，我们提出了OKSVM，一种自动学习RBF核超参数，同时调整SVM权重的算法。所提出的优化技术是基于一个梯度下降方法。我们分析了我们的方法相对于经典的SVM分类合成和真实数据的性能。实验结果表明，OKSVM的性能更好，而不受初始值的RBF超参数。
2020-07-16 cs.LG stat.ML
Online Learning with Radial Basis Function Networks
University College London（伦敦大学学院）
金融时间序列具有非平稳性和自相关性。即使这些时间序列是差分的，从技术上保证了它们的平稳性，它们也会经历规则的协变量偏移和概念漂移。在此背景下，我们将特征表示转移与顺序优化相结合，以提供多水平回报预测。我们的在线学习rbfnet优于随机游走基线和几个强大的批量学习器。我们制定的rbfnets自然是为了测量测试样本和不断更新的原型之间的相似性，这些原型捕获了特征空间的特征。
2022-10-27 cs.CE cs.LG q-fin.TR
Canonical dual solutions to nonconvex radial basis neural network optimization problem
University of Ballarat（巴拉瑞特大学）；Australian National University（澳大利亚国立大学）
径向基函数神经网络（RBFNN）是在回归问题中广泛使用的工具。它们的主要缺点之一是，与中心和权重都有监督的训练相对应的公式是一个高度非凸的优化问题，这导致传统优化理论和方法的一些根本困难。本文提出了一个广义正则对偶理论来解决这个具有挑战性的问题。我们证明了，通过连续的正则对偶变换，RBFNN的非凸优化问题可以重新表述为一个正则对偶问题（没有对偶间隙）。全局最优解和局部极值都可以分类。最常用的径向基函数之一，高斯函数的几个应用程序，说明。结果表明，即使在一维情况下，非凸问题的全局极小值也不一定是RBFNN的最优解，而正则对偶理论是解决一般神经网络训练问题的有效工具.
2013-02-18 cs.LG cs.NE stat.ML
Data Interpolation Accuracy Comparison: Gravity Model Versus Radial Basis Function
University of Tennessee at Chattanooga（田纳西大学查塔努加分校）
本文比较了重力模型和径向基函数两种无网格近似方法的精度。两种格式的收敛性证明了RBF比重力模型更快、更精确。作为一个案例研究，在田纳西州，美国不同地点的温度插值进行了比较。Delaunay网格生成用于在边界内部和边界上创建随机点，这些数据可以合并到这些位置。49个MERRA气象站作为数据源，提供特定日期和时间的温度。结果部分中提供的插值温度等值线表明RBF是一种比重力模型更准确的方法，因为它显示了更平滑和更广泛的插值数据范围。
2021-03-19 cs.LG cs.NA math.NA
Global optimization via inverse distance weighting and radial basis functions
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
全局优化问题的目标函数是昂贵的评估，可以有效地解决递归拟合代理函数的函数样本和最小化的采集函数，以产生新的样本。获取步骤在寻找新的优化向量（其中代理是最小的）（利用代理）和寻找可行空间的尚未被访问并且可能包含目标函数的更好值的区域（探索可行空间）之间进行权衡。本文提出了一种新的全局优化算法，使用反距离加权（IDW）和径向基函数（RBF）的组合来构建捕获函数。可以很容易地考虑到容易评估的任意约束。与贝叶斯优化相比，所提出的算法，我们称之为GLIS（使用逆距离加权和替代径向基函数的GLObal最小值），具有竞争力和计算量更轻，正如我们在一组基准全局优化和超参数调整问题中所示。GLIS的MATLAB和Python实现可在\url{http://cse.lab.imtlucca.it/~bemporad/glis}上获得。
2020-01-09 cs.LG math.OC stat.ML
Univariate Radial Basis Function Layers: Brain-inspired Deep Neural Layers for Low-Dimensional Inputs
INRIA Grenoble（法国国家信息与自动化研究所格勒诺布尔分部）；LJK（格勒诺布尔计算机科学实验室）；UGA（格勒诺布尔阿尔卑斯大学）
本文提出单变量径向基函数层（U-RBF），一种脑启发式深度神经网络层，用于低维输入，在函数回归和强化学习中优于MLPs，尤其适合复杂目标函数。
2024-02-02 cs.LG cs.NE
Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction
Department of Computer Science, University of Reading, United Kingdom（计算机科学系，阅读大学，英国）
本文提出结构化径向基函数网络s-RBFN，通过质心Voronoi镶嵌、结构化数据集构建与参数化多样性控制实现多假设回归预测，在两类多变量预测任务上验证了其更优的泛化性与计算效率。
2024-09-20 cs.LG stat.ML
NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions
University at Buffalo（纽约州立大学布法罗分校）；OPPO US Research Center（OPPO美国研究中心）；ShanghaiTech University（上海科技大学）
本文提出 NeuRBF 神经场表示，利用位置和形状灵活的自适应径向基、多频正弦扩展及与网格基的混合加权，在图像、SDF 与 NeRF 任务中提升精度、紧凑性和渲染质量。
2023-09-27 cs.CV cs.GR cs.LG
Visual Radial Basis Q-Network
Université Clermont Auvergne（克莱蒙奥弗涅大学）；Clermont Auvergne INP（克莱蒙奥弗涅国立理工学院）；CNRS（法国国家科学研究中心）；Institut Pascal（帕斯卡研究所）；Laboratoire de Mathématiques Blaise Pascal（布莱士·帕斯卡数学实验室）
虽然在过去十年中，对原始图像的强化学习（RL）进行了大量研究，但现有方法仍然受到许多限制。高输入维度通常使用专家知识来提取手工特征或通过卷积网络进行环境编码。这两种解决方案都需要优化许多参数。相比之下，我们提出了一个通用的方法来提取稀疏的原始图像的参数很少。我们直接在原始图像上使用径向基函数网络（RBFN）实现了这一点。我们评估所提出的方法在Vizdoom环境中的Q-学习任务中的视觉提取的性能。然后，我们将我们的结果与两个深度Q网络进行比较，一个直接在图像上训练，另一个在预训练的自动编码器提取的特征上训练。我们表明，所提出的方法提供了类似的，或者在某些情况下，甚至更好的性能，更少的可训练参数，同时在概念上更简单。
2022-06-14 cs.CV cs.LG
Optimal radial basis for density-based atomic representations
Laboratory of Computational Science and Modeling, Institute of Materials, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院材料研究所计算科学与建模实验室）
几乎每一个以原子尺度上的物质属性为目标的机器学习算法的输入都涉及将笛卡尔原子坐标列表转换为更对称的表示。许多最流行的表示可以被看作是原子密度的对称化关联的扩展，并且主要通过基的选择而不同。相当大的努力一直致力于优化的基础设置，通常是由启发式的考虑回归目标的行为。在这里，我们采取了一种不同的、无监督的观点，旨在确定以最紧凑的方式编码与手头数据集相关的结构信息的基础。对于每个训练数据集和基函数的数量，可以确定在这个意义上最优的唯一基，并且可以通过用样条近似原始基来计算，而无需额外的成本。我们证明，这种结构产生的表示是准确的和计算效率高，特别是当构建表示，对应于高体序相关性。我们提出了涉及分子和凝聚相机器学习模型的例子。
2022-01-10 cs.LG physics.chem-ph stat.ML
Gradient-Based Training and Pruning of Radial Basis Function Networks with an Application in Materials Physics
University of Helsinki（赫尔辛基大学）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Helsinki Institute of Physics（赫尔辛基物理研究所）
许多应用，特别是在物理学和其他科学中，需要易于解释和强大的机器学习技术。我们提出了一种完全基于梯度的技术，用于训练径向基函数网络，具有高效和可扩展的开源实现。我们推导出新的封闭形式的优化标准修剪模型的连续以及二进制数据出现在一个具有挑战性的现实世界的材料物理问题。修剪后的模型经过优化，可以根据对数据分布的知情假设，提供更大模型的紧凑和可解释版本。修剪模型的可视化提供了对确定固体物质中原子级迁移过程的原子配置的深入了解;这些结果可以为未来设计更合适的描述符用于机器学习算法的研究提供信息。
2020-04-06 cond-mat.mtrl-sci cs.LG physics.comp-ph
A Deep Q-Network Based on Radial Basis Functions for Multi-Echelon Inventory Management
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）；Alibaba Group（阿里巴巴集团）
针对复杂拓扑下多级库存管理的最优决策难题，提出一种Q网络基于径向基函数的深度强化学习模型，可降低超参数调优负担，在多类库存系统中表现优于base-stock策略及现有DRL方法。
2024-01-29 cs.AI cs.LG math.OC
The phase unwrapping of under-sampled interferograms using radial basis function neural networks
University of Rochester（罗切斯特大学）
干涉测量法可以通过记录信号的相位变化和参考相位之间的差异来测量系统的形状或材料密度，而这些是不能以其他方式测量的。该差值始终在$-π$和$π$之间，而获得真实测量值所需的是绝对相位。从“包裹”在$]-π,π]$内的相位中精确恢复该相位的方法由来已久。然而，噪声和欠采样限制了大多数技术的有效性，并且需要能够处理不完美测量的高度复杂的算法。最终，成功分析干涉图相当于模式识别，这是径向基函数神经网络真正擅长的任务。所提出的神经网络的目的是展开的相位从二维干涉图，其中混叠，源于欠分辨率的区域，和噪声水平是显着的。神经网络可以使用基于梯度的监督学习进行并行训练，分为三个阶段。并行化允许处理相对较大的数据集，但需要一个补充步骤来跨不同网络同步完全展开的阶段。
2022-10-19 cs.LG eess.SP physics.plasm-ph
A tree-based radial basis function method for noisy parallel surrogate optimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
并行代理优化算法已被证明是解决昂贵的噪声最优化问题的有效方法。在这项工作中，我们开发了一个新的并行代理优化算法（ProSRS），使用一种新的基于树的“缩放策略”，以提高算法的效率。我们证明，如果ProSRS运行足够长的时间，概率收敛到一个将有至少一个点之间的所有评估，将任意接近全局极小值。我们将我们的算法与几种最先进的贝叶斯优化算法在一套标准基准函数和两个真正的机器学习超参数调整问题上进行了比较。我们发现，我们的算法不仅实现了显着更快的优化收敛，但也是1-4个数量级的计算成本便宜。
2019-08-21 cs.LG math.OC stat.ML
A Comparative Study of Gaussian Mixture Model and Radial Basis Function for Voice Recognition
对高斯混合模型（GMM）和径向基函数（RBF）在语音生物特征识别中的应用进行了比较研究。机器学习技术在生物认证和识别问题中的应用已经得到了广泛的认可。在这项研究中，使用期望最大化（EM）算法，在包含10类元音的数据集上训练GMM模型，并使用验证数据集使用该模型来预测适当的类。为了实验的有效性，使用相同的学习和验证数据集，将该模型与两个不同版本的RBF模型的性能进行了比较。结果表明，GMM和标准RBF模型之间的识别精度非常接近，但GMM的性能优于标准RBF不到1%，这两个模型优于文献报道的类似模型。DTREG版本的RBF优于其他两个模型，识别准确率为94.8%。就识别时间而言，标准RBF被发现是三种模型中最快的。
2012-11-12 cs.CV cs.LG stat.ML
Hybrid Machine Learning Model of Extreme Learning Machine Radial basis function for Breast Cancer Detection and Diagnosis; a Multilayer Fuzzy Expert System
Obuda University（欧布达大学）
乳房X线摄影术通常被用作检测乳腺癌的最常见的实验室方法，但与高成本和许多副作用相关。机器学习预测作为一种替代方法已经显示出有希望的结果。本文提出了一种基于多层模糊专家系统的乳腺癌检测方法，采用极端学习机（ELM）分类模型集成径向基函数（RBF）内核称为ELM-RBF，考虑威斯康星数据集。所提出的模型的性能进一步比较与线性SVM模型。该模型的RMSE、R2和MAPE分别为0.1719、0.9374和0.0539，优于线性支持向量机模型。此外，这两个模型的准确性，精密度，灵敏度，特异性，验证，真阳性率（TPR）和假阴性率（FNR）的标准进行了研究。与SVM模型相比，ELM-RBF模型对这些标准具有更好的性能。
2019-10-29 cs.CV cs.LG eess.IV
Orbit Classification of asteroids using implementation of radial Basis Function on Support Vector Machines
NPS International School（NPS国际学校）；SVKM’s NMIMS Mukesh Patel School of Technology Management & Engineering（SVKM的NMIMS穆克什·帕特尔技术管理与工程学院）
本文提出利用径向基函数（RBF）支持向量机（SVM）对小行星轨道进行分类，基于国际天文学联合会数据集验证了该算法的高效性与准确性，并给出了最优参数设置。
2023-06-29 astro-ph.EP astro-ph.IM cs.LG
