University of Michigan（密歇根大学安娜堡分校）

Informational Antilocality and the Locality Bias in LLMs

信息非局部性与大型语言模型（LLMs）的局部性偏差

Andrew McInnerney, Shane Storks, Steven Abney, Richard L. Lewis

机构 * University of Michigan（密歇根大学） ； Eastern Michigan University（东密歇根大学） 纠错

AI总结 该研究探讨LLMs学习k-非局部语言的能力，发现其在不同k值非局部语言上交叉熵损失相当，但非局部性越强收敛越慢，为非局部依赖更难学习的观点提供了学习速度层面的证据。