The Sparsity Ceiling: Where Spiking Networks Can and Cannot Trade Activity for Energy
稀疏上限:脉冲网络可在何处及为何用活动换能量
专题命中 效率与部署 :language model(abstract);分类 cs.LG
AI总结 该研究揭示脉冲网络稀疏上限由任务类型决定,前馈感知可低至5%放电率,循环语言模型约50%,脉冲Transformer可至2%,并提出信息论边界解释该现象,明确神经形态硬件在事件驱动感知的优势。
Comments 5 pages, 6 figures. Code: https://github.com/zeyuyuyu/sparsity-ceiling