DropKAN：通过掩蔽激活后输出正则化KAN
DropKAN: Regularizing KANs by masking post-activations
AI总结：
提出DropKAN正则化方法，通过在KAN层内随机掩蔽激活输出，防止权重共同适应，提升泛化性能，优于标准Dropout。
摘要：
我们提出了DropKAN（Dropout Kolmogorov-Arnold Networks），一种通过防止Kolmogorov-Arnold网络（KANs）中激活函数权重的共同适应来进行正则化的方法。DropKAN通过将drop掩码直接嵌入KAN层，在KANs的计算图中随机掩蔽某些激活的输出。我们展示了这一简单且几乎无需编码努力的过程具有正则化效果，并持续提升KANs的泛化性能。我们分析了标准Dropout与KANs的适配情况，并证明将Dropout应用于KANs的神经元可能导致前馈传播中的不可预测行为。我们使用真实世界的机器学习数据集进行了实证研究以验证我们的发现。结果表明，DropKAN始终是比标准Dropout与KANs结合更好的替代方案，并提升了KANs的泛化性能。我们的DropKAN实现可在以下网址获取：https://github.com/Ghaith81/dropkan。
英文摘要：
We propose DropKAN (Dropout Kolmogorov-Arnold Networks) a regularization method that prevents co-adaptation of activation function weights in Kolmogorov-Arnold Networks (KANs). DropKAN functions by embedding the drop mask directly within the KAN layer, randomly masking the outputs of some activations within the KANs' computation graph. We show that this simple procedure that require minimal coding effort has a regularizing effect and consistently lead to better generalization of KANs. We analyze the adaptation of the standard Dropout with KANs and demonstrate that Dropout applied to KANs' neurons can lead to unpredictable behavior in the feedforward pass. We carry an empirical study with real world Machine Learning datasets to validate our findings. Our results suggest that DropKAN is consistently a better alternative to using standard Dropout with KANs, and improves the generalization performance of KANs. Our implementation of DropKAN is available at: \url{https://github.com/Ghaith81/dropkan}.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
