ICML

Fundamental limits of learning in sequence multi-index models and deep attention networks: High-dimensional asymptotics and sharp thresholds

Emanuele Troiani, Hugo Cui, Yatin Dandi, Florent Krzakala, Lenka Zdeborová

机构 * Emanuele Troiani Statistical Physics Of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（埃因斯坦理工大学统计物理计算实验室） ； Hugo Cui Center of Mathematical Sciences and Applications, Harvard University（哈佛大学数学科学中心） ； Yatin Dandi Statistical Physics Of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL) Information Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（埃因斯坦理工大学统计物理计算实验室） ； Florent Krzakala Information Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（埃因斯坦理工大学信息学习与物理实验室） ； Lenka Zdeborová Statistical Physics Of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（埃因斯坦理工大学统计物理计算实验室） 纠错

Journal ref ICML 2025

Counting in Small Transformers: The Delicate Interplay between Attention and Feed-Forward Layers

Freya Behrens, Luca Biggio, Lenka Zdeborová

机构 * Statistical Physics of Computation Laboratory, Ècole polytechnique fédérale de Lausanne (EPFL), Lausanne, Switzerland（计算物理学实验室，瑞士洛桑联邦理工学院） ； Department of Computing Sciences, Università Bocconi, Milan, Italy（计算科学系，意大利博科尼大学） 纠错

Comments 9 pages main, 33 including appendix, ICML 2025

Journal ref ICML 2025