Meituan（美团）

SAE as a Crystal Ball: Interpretable Features Predict Cross-domain Transferability of LLMs without Training

SAE作为水晶球：可解释特征预测LLM在跨领域迁移性无需训练

Qi Zhang, Yifei Wang, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Yisen Wang

机构 * State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（通用人工智能国家重点实验室，智能科学与技术学院，北京大学） ； Meituan（美团） ； Amazon AGI SF Lab（亚马逊人工智能SF实验室） ； Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学） 纠错

AI总结 本文提出基于SAE的迁移性评分（STS），通过识别模型偏移维度预测LLM在跨领域迁移性，无需训练即可评估迁移性能。