模块化多语言语言模型的隐蔽局限性
The Obscure Limitation of Modular Multilingual Language Models
AI总结：
本文揭示了模块化多语言语言模型在未知语言推理场景中的隐蔽局限性，指出现有评估因未包含语言识别模块而掩盖了真实性能，并探讨了添加语言识别模块的影响及弥合流水线方法性能差距的方案。
摘要：
我们揭示了模块化多语言语言模型（MLMs）在未知语言的多语言推理场景中的局限性。现有对模块化MLMs的评估排除了语言识别（LID）模块的参与，这掩盖了模块化MLMs在真实多语言场景中的性能。在本研究中，我们展示了添加LID对模块化MLMs多语言评估的影响，并讨论了如何弥合由LID与模块化MLMs的流水线方法导致的性能差距。
英文摘要：
We expose the limitation of modular multilingual language models (MLMs) in multilingual inference scenarios with unknown languages. Existing evaluations of modular MLMs exclude the involvement of language identification (LID) modules, which obscures the performance of real-case multilingual scenarios of modular MLMs. In this work, we showcase the effect of adding LID on the multilingual evaluation of modular MLMs and provide discussions for closing the performance gap of caused by the pipelined approach of LID and modular MLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
