Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds
注意力的梯度动力学:交叉熵如何塑造贝叶斯流形
机构 * Columbia University(哥伦比亚大学) ; Columbia University School of Professional Studies(哥伦比亚大学专业研究学院) ; Department of Statistics(统计学系) ; Columbia University Department of Computer Science(哥伦比亚大学计算机科学系)
专题命中 推理与问题求解 :language model(abstract);分类 cs.AI、cs.LG
AI总结 研究通过分析交叉熵训练如何重塑Transformer注意力分数和值向量,揭示了注意力评分的优势路由定律和值的职责加权更新,展示了梯度动力学如何塑造贝叶斯流形以支持概率推理。
Comments v2: Add dual-entropy connection - advantage signal drives \r{ho} down; fix duplicate bibliography entries (synced from Paper I)