Uncovering the Computational Roles of Nonlinearity in Sequence Modeling Using Almost-Linear RNNs
揭示近线性RNN中非线性在序列建模中的计算作用
机构 * Interdisciplinary Center for Scientific Computing, Heidelberg University(海德堡大学交叉科学计算中心) ; Ernst Strüngmann Institute of the Max Planck Society, Frankfurt(马克斯·普朗克学会恩斯特·斯特鲁姆曼研究所,法兰克福) ; Dept. of Psychiatry, Goethe University Frankfurt(弗赖堡大学精神病科部门) ; Hector Institute for AI in Psychiatry and Dept. of Psychiatry and Psychotherapy, Central Institute for Mental Health Mannheim(心理健康中央研究所曼海姆精神病学与心理学部及人工智能在精神病学中的海克特研究所) ; Hertie Institute for AI in Brain Health, Tübingen(图宾根大学健康大脑人工智能研究所)
AI总结 通过近线性RNN揭示非线性在序列建模中的计算作用,证明稀疏非线性可提升可解释性和效率。
Comments Published in Transactions on Machine Learning Research (TMLR), https://openreview.net/forum?id=qI2Vt9P9rl