Bigram Subnetworks: Mapping to Next Tokens in Transformer Language Models
双元子网络:映射到下一个标记的Transformer语言模型
机构 * Department of Cognitive Science University of California San Diego(认知科学系,加州大学圣地亚哥分校)
AI总结 研究发现Transformer语言模型中存在双元子网络,这些子网络能基于当前标记预测下一个标记,且对模型性能至关重要。
Comments NeurIPS 2025