Princeton University（普林斯顿大学）

What Should Embeddings Embed? Autoregressive Models Represent Latent Generating Distributions

嵌入应该嵌入什么？自回归模型表示潜在生成分布

Liyi Zhang, Michael Y. Li, R. Thomas McCoy, Theodore R. Sumers, Jian-Qiao Zhu, Thomas L. Griffiths

机构 * Department of Computer Science（计算机科学系） ； Princeton University（普林斯顿大学） ； Stanford University（斯坦福大学） ； Department of Linguistics and Wu Tsai Institute（语言学系和吴泰教授研究所） ； Yale University（耶鲁大学） ； Anthropic（Anthropic公司） ； Departments of Psychology and Computer Science（心理学系和计算机科学系） 纠错

AI总结 本文探讨了自回归模型中嵌入应代表的潜在生成分布，并通过实验证明了其在不同场景下的有效性。

Comments 28 pages, 11 figures

Journal ref Transactions on Machine Learning Research. 2025. https://openreview.net/forum?id=YyMACp98Kz