首脉冲时间神经网络的凸多面体几何
Polyhedral Geometry of Time-to-First-Spike Neural Networks
另 2 家 · 查看机构详情
- Ludwig-Maximilians-Universität München（慕尼黑大学）
- Munich Center for Machine Learning（慕尼黑机器学习中心）
- University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
- Max Planck Institute for Mathematics in the Sciences, Leipzig（马克斯·普朗克数学科学研究所）
- University of Tromsø（特罗姆瑟大学）
机构由 AI 辅助整理，请以论文原文为准。
浏览论文内容
中文总结 AI 辅助
研究首脉冲时间脉冲神经网络的表达能力，通过因果区域的多面体几何分析，证明其能生成比ReLU网络更丰富的输入空间划分。
中文摘要 AI 辅助
我们研究脉冲神经网络的表达能力，该网络为异步、事件驱动的计算提供了自然框架，是对传统前馈神经网络的补充。我们考虑首脉冲时间模型，在该设置中输入-输出映射是连续且分段线性的，其仿射片段由因果可行性约束控制，这些约束决定了哪些突触前脉冲发生在神经元放电之前。我们首先证明每个神经元的放电时间具有类maxout表示，包含指数级数量且高度受限的仿射片段。然后，我们将因果区域形式化为具有固定因果集的凸多面体区域，并推导出浅层和多层前馈脉冲网络中因果区域最大数量的上下界。我们的理论和实验结果表明，脉冲网络能够生成比传统前馈ReLU网络更丰富的输入空间划分。
英文摘要
We study the expressivity of spiking neural networks, which provide a natural framework for asynchronous, event-driven computation complementary to conventional feedforward neural networks. We consider the time-to-first-spike model in a setting for which the input-output map is continuous and piecewise linear, with affine pieces governed by causal feasibility constraints that determine which presynaptic spikes occur before a neuron fires. We first show that each neuron's firing time admits a maxout-like representation with exponentially many, highly constrained affine pieces. We then formalize causal regions as polyhedral regions with fixed causal sets and derive upper and lower bounds on the maximal number of causal regions in both shallow and multilayer feedforward spiking networks. Our theoretical and experimental results show that spiking networks can generate richer partitions of the input space than conventional feedforward ReLU networks.
