arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2412.20195cs.LGcs.AIstat.ML
收藏

无限精度Transformer的下界

Lower bounds on transformers with infinite precision

Centro Nacional de Inteligencia Artificial(国家人工智能中心)

Alexander Kozachinskiy

AI总结:

本文利用VC维技术首次证明了无限精度单层softmax Transformer在函数复合和SUM$_2$任务上的下界。

摘要:

在这篇笔记中,我们使用VC维技术证明了针对具有无限精度的单层softmax Transformer的第一个下界。我们针对两个任务进行了证明:由Peng、Narayanan和Papadimitriou考虑的函数复合任务,以及由Sanford、Hsu和Telgarsky考虑的SUM$_2$任务。

英文摘要:

In this note, we use the VC dimension technique to prove the first lower bound against one-layer softmax transformers with infinite precision. We do so for two tasks: function composition, considered by Peng, Narayanan, and Papadimitriou, and the SUM$_2$ task, considered by Sanford, Hsu, and Telgarsky.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑