探究多语言语言模型中的偏见：去偏技术的跨语言迁移
Investigating Bias in Multilingual Language Models: Cross-Lingual Transfer of Debiasing Techniques
AI总结：
本研究探究多语言模型中去偏技术的跨语言迁移，利用mBERT验证其在英法德荷四种语言上的可行性，发现SentenceDebias效果最佳，平均降低偏见13%，且无性能损失，为多语言偏见缓解提供指导。
摘要：
本文研究了多语言模型中去偏技术在不同语言间的可迁移性。我们考察了这些技术在英语、法语、德语和荷兰语中的适用性。利用多语言BERT（mBERT），我们证明了去偏技术的跨语言迁移不仅是可行的，而且产生了令人鼓舞的结果。令人惊讶的是，我们的发现表明，将这些技术应用于非英语语言时没有性能劣势。使用CrowS-Pairs数据集的翻译版本，我们的分析确定SentenceDebias是跨不同语言的最佳技术，平均将mBERT中的偏见降低了13%。我们还发现，带有额外预训练的去偏技术在分析所包含的语言中表现出增强的跨语言有效性，尤其是在资源较少的语言中。这些新颖的见解有助于更深入地理解多语言语言模型中的偏见缓解，并为不同语言环境下的去偏技术提供实用指导。
英文摘要：
This paper investigates the transferability of debiasing techniques across different languages within multilingual models. We examine the applicability of these techniques in English, French, German, and Dutch. Using multilingual BERT (mBERT), we demonstrate that cross-lingual transfer of debiasing techniques is not only feasible but also yields promising results. Surprisingly, our findings reveal no performance disadvantages when applying these techniques to non-English languages. Using translations of the CrowS-Pairs dataset, our analysis identifies SentenceDebias as the best technique across different languages, reducing bias in mBERT by an average of 13%. We also find that debiasing techniques with additional pretraining exhibit enhanced cross-lingual effectiveness for the languages included in the analyses, particularly in lower-resource languages. These novel insights contribute to a deeper understanding of bias mitigation in multilingual language models and provide practical guidance for debiasing techniques in different language contexts.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
