arXiv 2406.020752024-08-12cs.LGcs.NE

ReLU-KAN：仅需矩阵加法、逐点乘法和 ReLU 的新型 Kolmogorov-Arnold 网络

ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU

University of South China（南华大学）；Paris Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；University of Science and Technology Beijing（北京科技大学）；Dalian University of Technology（大连理工大学）

Qi Qiu, Tao Zhu, Helin Gong, Liming Chen, Huansheng Ning

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对 KAN 因 B 样条基函数导致 GPU 并行效率低的问题，本文提出仅用 ReLU 与逐点乘法的 ReLU-KAN，在 4 层网络上较传统 KAN 提速 20 倍，并保持更稳定训练、更强拟合及抗遗忘特性。

摘要：

受限于基函数（B 样条）计算的复杂性，Kolmogorov-Arnold Networks（KAN）在 GPU 上的并行计算能力受到限制。本文提出一种新颖的 ReLU-KAN 实现，它继承了 KAN 的核心思想。通过采用 ReLU（Rectified Linear Unit，修正线性单元）和逐点乘法，我们简化了 KAN 基函数的设计，并优化了计算流程，以实现高效的 CUDA 计算。所提出的 ReLU-KAN 架构可以在现有深度学习框架（例如 PyTorch）中方便地实现，用于推理和训练。实验结果表明，在 4 层网络上，ReLU-KAN 相比传统 KAN 实现了 20 倍加速。此外，ReLU-KAN 表现出更稳定的训练过程和更强的拟合能力，同时保留了 KAN 的“避免灾难性遗忘”特性。代码可在 https://github.com/quiqi/relu_kan 获取。

英文摘要：

Limited by the complexity of basis function (B-spline) calculations, Kolmogorov-Arnold Networks (KAN) suffer from restricted parallel computing capability on GPUs. This paper proposes a novel ReLU-KAN implementation that inherits the core idea of KAN. By adopting ReLU (Rectified Linear Unit) and point-wise multiplication, we simplify the design of KAN's basis function and optimize the computation process for efficient CUDA computing. The proposed ReLU-KAN architecture can be readily implemented on existing deep learning frameworks (e.g., PyTorch) for both inference and training. Experimental results demonstrate that ReLU-KAN achieves a 20x speedup compared to traditional KAN with 4-layer networks. Furthermore, ReLU-KAN exhibits a more stable training process with superior fitting ability while preserving the "catastrophic forgetting avoidance" property of KAN. You can get the code in https://github.com/quiqi/relu_kan

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。