基于Kolmogorov-Arnold定理与核函数的函数拟合
Function Fitting Based on Kolmogorov-Arnold Theorem and Kernel Functions
AI总结：
本文基于Kolmogorov-Arnold定理与核方法提出统一框架，将KAN与自注意力统一为核函数线性组合，并设计低秩Pseudo-MHSA（参数减少近50%）及Gaussian-MHSA，在CIFAR-10上取得与ViT相当的性能。
摘要：
本文提出一个基于Kolmogorov-Arnold表示定理与核方法的统一理论框架。通过分析核函数、Kolmogorov-Arnold网络（KANs）中的B样条基函数以及自注意力机制中内积运算之间的数学关系，我们建立了一个基于核的特征拟合框架，将这两种模型统一为核函数的线性组合。在该框架下，我们提出一个低秩伪多头自注意力模块（Pseudo-MHSA），将传统MHSA的参数数量减少了近50%。此外，我们设计了一个高斯核多头自注意力变体（Gaussian-MHSA），以验证非线性核函数在特征提取中的有效性。在CIFAR-10数据集上的实验表明，在MAE框架下，Pseudo-MHSA模型取得了与同维度ViT模型相当的性能，且可视化分析揭示了它们多头分布模式的相似性。我们的代码已公开。
英文摘要：
This paper proposes a unified theoretical framework based on the Kolmogorov-Arnold representation theorem and kernel methods. By analyzing the mathematical relationship among kernels, B-spline basis functions in Kolmogorov-Arnold Networks (KANs) and the inner product operation in self-attention mechanisms, we establish a kernel-based feature fitting framework that unifies the two models as linear combinations of kernel functions. Under this framework, we propose a low-rank Pseudo-Multi-Head Self-Attention module (Pseudo-MHSA), which reduces the parameter count of traditional MHSA by nearly 50\%. Furthermore, we design a Gaussian kernel multi-head self-attention variant (Gaussian-MHSA) to validate the effectiveness of nonlinear kernel functions in feature extraction. Experiments on the CIFAR-10 dataset demonstrate that Pseudo-MHSA model achieves performance comparable to the ViT model of the same dimensionality under the MAE framework and visualization analysis reveals their similarity of multi-head distribution patterns. Our code is publicly available.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
