XITE: 用于嵌入转移的跨语言插值
XITE: Cross-lingual Interpolation for Transfer using Embeddings
AI总结：
本文提出XITE方法，通过嵌入插值提升多语言模型的跨语言迁移能力，在情感分析和自然语言推理任务中取得显著提升。
摘要：
在多语言语言模型中实现跨语言迁移仍是一个关键挑战。为此，我们提出了一种基于嵌入的数据增强技术XITE。我们从低资源目标语言的未标记文本开始，利用嵌入相似性找到任务特定训练语料中的英语对应项并采用其标签。接着，我们对源和目标嵌入进行简单插值以生成合成数据用于任务特定微调。在插值前使用线性判别分析（LDA）将目标文本投影到语言丰富的子空间，进一步提升性能。我们的基于嵌入的跨语言增强技术XITE在使用XLM-R时，对包括韩语、阿拉伯语、乌尔都语和印地语在内的多种目标语言，在情感分析任务中提升达35.91%，在自然语言推理任务中提升达81.16%。除了提升跨语言迁移能力，使用XITE的适应还防止了遗忘并保持了在高资源语言上的任务性能。
英文摘要：
Facilitating cross-lingual transfer in multilingual language models remains a critical challenge. Towards this goal, we propose an embedding-based data augmentation technique called XITE. We start with unlabeled text from a low-resource target language, identify an English counterpart in a task-specific training corpus using embedding-based similarities and adopt its label. Next, we perform a simple interpolation of the source and target embeddings to create synthetic data for task-specific fine-tuning. Projecting the target text into a language-rich subspace using linear discriminant analysis (LDA), prior to interpolation, further boosts performance. Our cross-lingual embedding-based augmentation technique XITE yields significant improvements of up to 35.91% for sentiment analysis and up to 81.16% for natural language inference, using XLM-R, for a diverse set of target languages including Korean, Arabic, Urdu and Hindi. Apart from boosting cross-lingual transfer, adaptation using XITE also safeguards against forgetting and maintains task performance on the high-resource language.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
