在多语言模型中对语言身份的反事实探测
Counterfactually Probing Language Identity in Multilingual Models
AI总结：
本文利用反事实探测方法 AlterRep 分析 mBERT 和 XLM-R 的内部语言结构，发现推动嵌入向目标语言方向可系统提高该语言词汇概率，但不会专门导向翻译等价词，证明多语言模型兼具语言特定与通用成分。
摘要：
语言模型因果分析技术揭示了语言信息在大语言模型中的组织方式。我们使用其中一种技术——AlterRep，一种反事实探测方法，来探索多语言模型（mBERT 和 XLM-R）的内部结构。我们在一个二分类语言身份任务上训练一个线性分类器，用于区分语言 X 和语言 Y 的 token。应用反事实探测流程，我们利用分类器权重将嵌入投影到零空间，并将得到的嵌入推向语言 X 或语言 Y 的方向。然后我们在掩码语言建模任务上进行评估。我们发现，给定一个语言 X 的模板，推向语言 Y 会系统性地提高语言 Y 词汇的概率，且这种提升超过第三方对照语言。但这并不会专门将模型推向语言 Y 中的翻译等价词。推向语言 X（与模板相同的方向）效果很小，但在一定程度上会降低这些模型的性能。总体而言，我们将这些结果视为大规模多语言语言模型具有丰富结构的进一步证据，这些模型同时包含语言特定成分和语言通用成分。并且我们表明，反事实探测可以有效地应用于多语言模型。
英文摘要：
Techniques in causal analysis of language models illuminate how linguistic information is organized in LLMs. We use one such technique, AlterRep, a method of counterfactual probing, to explore the internal structure of multilingual models (mBERT and XLM-R). We train a linear classifier on a binary language identity task, to classify tokens between Language X and Language Y. Applying a counterfactual probing procedure, we use the classifier weights to project the embeddings into the null space and push the resulting embeddings either in the direction of Language X or Language Y. Then we evaluate on a masked language modeling task. We find that, given a template in Language X, pushing towards Language Y systematically increases the probability of Language Y words, above and beyond a third-party control language. But it does not specifically push the model towards translation-equivalent words in Language Y. Pushing towards Language X (the same direction as the template) has a minimal effect, but somewhat degrades these models. Overall, we take these results as further evidence of the rich structure of massive multilingual language models, which include both a language-specific and language-general component. And we show that counterfactual probing can be fruitfully applied to multilingual models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
