Kolmogorov-Arnold 网络中快速激活函数与三角函数的组合
Combinations of Fast Activation and Trigonometric Functions in Kolmogorov-Arnold Networks
AI总结：
本文提出在 Kolmogorov-Arnold 网络中使用 ReLU 与三角函数等快速计算函数组合作为基函数，以提升 GPU 计算效率，实验表明其能在保持性能的同时改善训练时间和泛化能力。
摘要：
多年来，许多神经网络基于 Kolmogorov-Arnold 表示定理（KART）被开发出来，该定理最初是为解决 Hilbert 第 13 问题而提出的。近年来，依靠 KART，Kolmogorov-Arnold Networks（KANs）引起了研究界的关注，推动了对 B-splines 和 RBFs 等多项式函数的使用。然而，这些函数并未得到 GPU 设备的完全支持，且仍被认为不够流行。在本文中，我们提出在 Kolmogorov-Arnold Networks（KANs）中使用快速计算函数作为基组成部分，例如 ReLU 和三角函数（如 ReLU、sin、cos、arctan）。通过将这些函数组合集成到网络结构中，我们旨在提高计算效率。实验结果表明，这些组合在保持有竞争力的性能的同时，还在训练时间和泛化能力方面提供了潜在的改进。
英文摘要：
For years, many neural networks have been developed based on the Kolmogorov-Arnold Representation Theorem (KART), which was created to address Hilbert's 13th problem. Recently, relying on KART, Kolmogorov-Arnold Networks (KANs) have attracted attention from the research community, stimulating the use of polynomial functions such as B-splines and RBFs. However, these functions are not fully supported by GPU devices and are still considered less popular. In this paper, we propose the use of fast computational functions, such as ReLU and trigonometric functions (e.g., ReLU, sin, cos, arctan), as basis components in Kolmogorov-Arnold Networks (KANs). By integrating these function combinations into the network structure, we aim to enhance computational efficiency. Experimental results show that these combinations maintain competitive performance while offering potential improvements in training time and generalization.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
