arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2407.14008cs.LG
收藏

研究 Mamba 中的间接宾语识别电路

Investigating the Indirect Object Identification circuit in Mamba

FAR AI

Danielle Ensign, Adrià Garriga-Alonso

AI总结:

本文将现有可解释性技术适配至 Mamba 架构,部分逆向工程了间接宾语识别(IOI)任务的电路,并利用自动电路发现工具识别出该电路,初步证明基于电路的机制可解释性工具适用于 Mamba。

摘要:

当前的可解释性技术能在多大程度上泛化到未来的模型?一个相关的案例研究是 Mamba,这是一种最近的循环架构,其缩放能力可与 Transformers 相媲美。我们将 Mamba 之前的技术适配到 Mamba 上,并部分逆向工程了负责间接宾语识别(IOI)任务的电路。我们的技术提供了证据,证明:1)第 39 层是一个关键瓶颈,2)第 39 层中的卷积将名字向前移动一个位置,3)名字实体线性地存储在第 39 层的 SSM 中。最后,我们适配了一种自动电路发现工具,即位置边缘归因修补,来识别 Mamba 的 IOI 电路。我们的贡献提供了初步证据,表明基于电路的机制可解释性工具在 Mamba 架构上运行良好。

英文摘要:

How well will current interpretability techniques generalize to future models? A relevant case study is Mamba, a recent recurrent architecture with scaling comparable to Transformers. We adapt pre-Mamba techniques to Mamba and partially reverse-engineer the circuit responsible for the Indirect Object Identification (IOI) task. Our techniques provide evidence that 1) Layer 39 is a key bottleneck, 2) Convolutions in layer 39 shift names one position forward, and 3) The name entities are stored linearly in Layer 39's SSM. Finally, we adapt an automatic circuit discovery tool, positional Edge Attribution Patching, to identify a Mamba IOI circuit. Our contributions provide initial evidence that circuit-based mechanistic interpretability tools work well for the Mamba architecture.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑