Kolmogorov–Arnold 网络的低张量秩适配
Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks
AI总结：
针对 KAN 迁移学习研究不足，本文提出基于 Tucker 分解的 LoTRA 微调框架及分量自适应学习率选择，并设计 Slim KAN，在 PDE、函数表示和图像分类任务中验证其有效性与参数压缩潜力。
摘要：
Kolmogorov–Arnold 网络（KAN）已在多个领域，尤其是科学相关任务中，展现出作为多层感知机（MLP）替代方案的潜力。然而，KAN 的迁移学习仍是一个相对未被充分探索的方向。本文受张量 Tucker 分解以及 KAN 参数更新中存在低张量秩结构这一证据启发，提出了用于微调 KAN 的低张量秩适配（LoTRA）方法。我们基于 Tucker 分解近似研究了 LoTRA 的表达能力。此外，我们给出了一项理论分析，用于为 LoTRA 的各个组成部分选择学习率，以实现高效训练。分析还表明，在所有组成部分上使用相同学习率会导致训练低效，这凸显了自适应学习率策略的必要性。除理论洞见外，我们还探索了 LoTRA 在通过微调 KAN 高效求解各类偏微分方程（PDE）方面的应用。另外，我们提出 Slim KAN，其结合 KAN 参数张量固有的低张量秩特性，在保持优异性能的同时减小模型规模。实验结果验证了所提学习率选择策略的功效，并证明 LoTRA 在求解 PDE 的 KAN 迁移学习中的有效性。对 Slim KAN 在函数表示和图像分类任务上的进一步评估，凸显了 LoTRA 的表达能力以及通过低张量秩分解减少参数的潜力。
英文摘要：
Kolmogorov--Arnold networks (KANs) have demonstrated their potential as an alternative to multi-layer perceptions (MLPs) in various domains, especially for science-related tasks. However, transfer learning of KANs remains a relatively unexplored area. In this paper, inspired by Tucker decomposition of tensors and evidence on the low tensor-rank structure in KAN parameter updates, we develop low tensor-rank adaptation (LoTRA) for fine-tuning KANs. We study the expressiveness of LoTRA based on Tucker decomposition approximations. Furthermore, we provide a theoretical analysis to select the learning rates for each LoTRA component to enable efficient training. Our analysis also shows that using identical learning rates across all components leads to inefficient training, highlighting the need for an adaptive learning rate strategy. Beyond theoretical insights, we explore the application of LoTRA for efficiently solving various partial differential equations (PDEs) by fine-tuning KANs. Additionally, we propose Slim KANs that incorporate the inherent low-tensor-rank properties of KAN parameter tensors to reduce model size while maintaining superior performance. Experimental results validate the efficacy of the proposed learning rate selection strategy and demonstrate the effectiveness of LoTRA for transfer learning of KANs in solving PDEs. Further evaluations on Slim KANs for function representation and image classification tasks highlight the expressiveness of LoTRA and the potential for parameter reduction through low tensor-rank decomposition.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
