Northeastern University（东北大学）

Activation Oracles: Training and Evaluating LLMs as General-Purpose Activation Explainers

激活 oracle：训练和评估 LLM 作为通用目的激活解释器

Adam Karvonen, James Chua, Clément Dumas, Kit Fraser-Taliente, Subhash Kantamneni, Julian Minder, Euan Ong, Arnab Sen Sharma, Daniel Wen, Owain Evans, Samuel Marks

机构 * MATS ； Truthful AI ； EPFL（瑞士联邦理工学院） ； ENS Paris-Saclay（巴黎-萨克雷大学） ； Northeastern University（东北大学） ； Anthropic 纠错

AI总结 本文提出了一种通用的 LLM 激活解释器，通过多样化训练在多个下游任务中表现出色，能恢复模型内部信息。

Comments 36 pages