Small Vectors, Big Effects: A Mechanistic Study of RL-Induced Reasoning via Steering Vectors
小向量,大影响:通过引导向量研究强化学习诱导的推理机制
机构 * Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家) ; School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
专题命中 其他推理 :reasoning(title,abstract);分类 cs.LG
AI总结 通过引导向量研究强化学习对大语言模型内部计算的影响,发现不同层的引导向量对生成token和注意力模式有不同作用,并能跨模型转移。
Comments Preprint