SpikingMamba: Towards Energy-Efficient Large Language Models via Knowledge Distillation from Mamba
SpikingMamba: 通过从Mamba知识蒸馏实现能量高效的大型语言模型
专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);pretraining(abstract)
AI总结 SpikingMamba通过知识蒸馏从Mamba模型中实现高效能的Spiking神经网络大型语言模型,结合SI-LIF神经元和SGC路径,在保持精度的同时显著降低能耗。
Journal ref Transactions on Machine Learning Research (01/2026)