以英语为中心的大语言模型中语言混淆的机制理解与缓解
Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models
AI总结：
本文首次从机制可解释性角度研究以英语为中心的大语言模型的语言混淆问题，通过定位并编辑关键神经元，在保持通用能力的同时显著缓解了多语言生成中的非预期语言切换。
摘要：
语言混淆——即大语言模型（LLMs）生成与用户需求不符的非预期语言——仍然是一个关键挑战，尤其是对于以英语为中心的模型。我们提出了首个关于语言混淆的机制可解释性（MI）研究，将行为基准测试与神经元级分析相结合。利用语言混淆基准（LCB），我们表明混淆点（CPs）——即发生语言切换的特定位置——是这一现象的核心。通过使用TunedLens的逐层分析和定向神经元归因，我们揭示了最后几层中的转换失败驱动了混淆。我们进一步证明，通过对比分析一个多语言微调对应模型所识别出的一小组关键神经元并进行编辑，可以显著缓解混淆，同时基本保持通用能力和流畅性。我们的方法在许多语言上的混淆减少效果可与多语言对齐相媲美，并产生更干净、更高质量的输出。这些发现为LLMs的内部动态提供了新的见解，并突显了神经元级干预作为实现稳健、可解释的多语言语言建模的一个有前景的方向。代码和数据可在以下地址获取：https://github.com/ercong21/lang_confusion。
英文摘要：
Language confusion -- where large language models (LLMs) generate unintended languages against the user's need -- remains a critical challenge, especially for English-centric models. We present the first mechanistic interpretability (MI) study of language confusion, combining behavioral benchmarking with neuron-level analysis. Using the Language Confusion Benchmark (LCB), we show that confusion points (CPs) -- specific positions where language switches occur -- are central to this phenomenon. Through layer-wise analysis with TunedLens and targeted neuron attribution, we reveal that transition failures in the final layers drive confusion. We further demonstrate that editing a small set of critical neurons, identified via comparative analysis with a multilingual-tuned counterpart, substantially mitigates confusion while largely preserving general competence and fluency. Our approach matches multilingual alignment in confusion reduction for many languages and yields cleaner, higher-quality outputs. These findings provide new insights into the internal dynamics of LLMs and highlight neuron-level interventions as a promising direction for robust, interpretable multilingual language modeling. Code and data are available at: https://github.com/ercong21/lang_confusion.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
