arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2408.14332cs.LGstat.ML
收藏

单层Transformer无法解决归纳头任务

One-layer transformers fail to solve the induction heads task

Columbia University(哥伦比亚大学);New York University(纽约大学)

Clayton Sanford, Daniel Hsu, Matus Telgarsky

AI总结:

通过通信复杂度论证证明,单层Transformer的规模需比双层Transformer呈指数级增大才能解决归纳头任务。

摘要:

简单的通信复杂度论证证明,除非单层Transformer的规模比双层Transformer所需的足够规模呈指数级增大,否则没有任何单层Transformer能够解决归纳头任务。

英文摘要:

A simple communication complexity argument proves that no one-layer transformer can solve the induction heads task unless its size is exponentially larger than the size sufficient for a two-layer transformer.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑