arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2610.17347cs.LGcond-mat.dis-nncond-mat.stat-mechcs.AIstat.ML
收藏

注意力的统计力学

On the Statistical Mechanics of Attention

Northwestern University(西北大学);Vanderbilt University(范德堡大学);National Taiwan University(台湾大学)

Jerry Yao-Chieh Hu, Yu-An Chen, Maojiang Su, Han Liu

AI总结:

该研究通过现代Hopfield模型提出自由能形式化方法,揭示Transformer注意力的一阶相变,构建了表征其相结构与推理可靠性的统计力学框架。

摘要:

我们通过现代Hopfield模型重新研究Transformer注意力的统计力学。我们提出一种自由能形式化方法,用于表征鲁棒注意力推理的参数区域和临界阈值。所得自由能景观包含查询状态和注意力权重中的随机性,注意力随后作为相应统计力学系统(即现代Hopfield模型)的运动方程,通过标准自由能最小化原理涌现出来。这使我们能够识别注意力在玻璃态和鲁棒推理态之间的一阶相变。我们进一步将其扩展到具有随机查询和键的注意力。总体而言,我们的结果为表征一系列Transformer注意力机制的相结构和推理可靠性提供了严格的统计力学框架。

英文摘要:

We revisit the statistical mechanics of Transformer attention via modern Hopfield models. We present a free-energy formalism to characterize parameter regimes and critical thresholds for robust attention inference. The resulting free-energy landscape incorporates randomness in query states and attention weights. Attention then emerges as the equation of motion of the corresponding statistical-mechanical system (i.e., modern Hopfield model) through the standard free-energy minimization principle. This allows us to identify first-order phase transitions in attention between glassy and robust-inference phases. We further extend to attentions with stochastic queries and keys. Together, our results provide a rigorous statistical-mechanics framework for characterizing phase structure and inference reliability across a family of Transformer attention mechanisms.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑