EPFL（洛桑联邦理工学院）

Leveraging the true depth of LLMs

利用大语言模型的真实深度

Ramón Calvo González, Daniele Paliotta, Matteo Pagliardini, Martin Jaggi, François Fleuret

机构 * University of Geneva（日内瓦大学） ； EPFL（瑞士联邦理工学院） ； FAIR at META（META 的 FAIR） 纠错

AI总结 通过重构计算图并并行评估连续层对，提升大语言模型的推理效率，同时保持较高的准确率。

Activation Oracles: Training and Evaluating LLMs as General-Purpose Activation Explainers

激活 oracle：训练和评估 LLM 作为通用目的激活解释器

Adam Karvonen, James Chua, Clément Dumas, Kit Fraser-Taliente, Subhash Kantamneni, Julian Minder, Euan Ong, Arnab Sen Sharma, Daniel Wen, Owain Evans, Samuel Marks

机构 * MATS ； Truthful AI ； EPFL（瑞士联邦理工学院） ； ENS Paris-Saclay（巴黎-萨克雷大学） ； Northeastern University（东北大学） ； Anthropic 纠错

AI总结 本文提出了一种通用的 LLM 激活解释器，通过多样化训练在多个下游任务中表现出色，能恢复模型内部信息。

Comments 36 pages

Exploratory Causal Inference in SAEnce

科学探索中的因果推断

Tommaso Mencattini, Riccardo Cadei, Francesco Locatello

机构 * Institute of Science and Technology（科学与技术研究所） ； École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） 纠错

AI总结 本文提出神经效应搜索方法，通过预训练模型和稀疏自动编码器，在真实世界科学试验中实现了无监督因果效应识别。