arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 1903.07378cs.LGcond-mat.dis-nnstat.ML
收藏

基于统计物理技术的ReLU神经网络在线学习动力学

On-line learning dynamics of ReLU neural networks using statistical physics techniques

Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen(格罗宁根大学伯努利数学、计算机科学与人工智能研究所)

Michiel Straat, Michael Biehl

摘要:

我们引入了精确的宏观在线学习动态的双层神经网络与ReLU单位的形式的微分方程系统,使用从统计物理学借用的技术。对于第一个实验,数值解揭示了类似的行为相比,S形激活研究在早期的工作。在这些实验中,理论结果与模拟显示出良好的对应关系。在不可实现和不可实现的学习场景中,ReLU网络的学习行为与sigmoidal网络相比表现出独特的特征。

英文摘要:

We introduce exact macroscopic on-line learning dynamics of two-layer neural networks with ReLU units in the form of a system of differential equations, using techniques borrowed from statistical physics. For the first experiments, numerical solutions reveal similar behavior compared to sigmoidal activation researched in earlier work. In these experiments the theoretical results show good correspondence with simulations. In ove-rrealizable and unrealizable learning scenarios, the learning behavior of ReLU networks shows distinctive characteristics compared to sigmoidal networks.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑