Tracking Representation Dynamics in Large Language Models with Persistent Homology
利用持续同调追踪大型语言模型中的表示动态
机构 * Imperial College London(伦敦帝国学院)
专题命中 知识编辑与模型理解 :large language model(title,abstract);language model(title,abstract);分类 cs.LG
AI总结 通过持续同调分析激活空间拓扑,发现对齐过程中拓扑重组主要发生在训练早期,且不同对齐目标产生可区分的拓扑轨迹。
Comments 29 pages