利用跨语言一致性正则化学习多语言句子表示
Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization
AI总结：
本研究提出支持220余种语言的通用多语言句子表示模型MuSR，结合CrossConST跨语言一致性正则化技术训练模型，在多语言相似度搜索和双语文本挖掘任务上性能优于由148个独立编码器构成的LASER3。
摘要：
多语言句子表示是基于相似度的双语文本挖掘的基础，这对将多语言神经机器翻译（NMT）系统扩展到更多语言至关重要。本文提出了MuSR：一种支持220多种语言的通用多语言句子表示模型。我们利用数十亿条以英语为中心的平行语料，采用带有CrossConST（Gao等人2023年提出的跨语言一致性正则化技术）的多语言NMT框架，训练了一个搭配辅助Transformer解码器的多语言Transformer编码器。在多语言相似度搜索和双语文本挖掘任务上的实验结果证明了该方法的有效性。具体而言，MuSR的性能优于由148个独立多语言句子编码器组成的LASER3（Heffernan等人，2022）。
英文摘要：
Multilingual sentence representations are the foundation for similarity-based bitext mining, which is crucial for scaling multilingual neural machine translation (NMT) system to more languages. In this paper, we introduce MuSR: a one-for-all Multilingual Sentence Representation model that supports more than 220 languages. Leveraging billions of English-centric parallel corpora, we train a multilingual Transformer encoder, coupled with an auxiliary Transformer decoder, by adopting a multilingual NMT framework with CrossConST, a cross-lingual consistency regularization technique proposed in Gao et al. (2023). Experimental results on multilingual similarity search and bitext mining tasks show the effectiveness of our approach. Specifically, MuSR achieves superior performance over LASER3 (Heffernan et al., 2022) which consists of 148 independent multilingual sentence encoders.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
