arXiv 2303.135922023-09-12cs.CLcs.AI

提示多语言大型语言模型生成语码混合文本：以东南亚语言为例

Prompting Multilingual Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages

Brown University（布朗大学）；UC Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）；HKUST（香港科技大学）；Bloomberg（彭博）；EleutherAI；Samsung R&D Institute Philippines（三星菲律宾研发中心）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）；VietAI Research（VietAI研究院）；University of Potsdam（波茨坦大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）

Zheng-Xin Yong, Ruochen Zhang, Jessica Zosa Forde, Skyler Wang, Arjun Subramonian, Holy Lovenia, Samuel Cahyawijaya, Genta Indra Winata, Lintang Sutawika, Jan C… 展开作者

Zheng-Xin Yong, Ruochen Zhang, Jessica Zosa Forde, Skyler Wang, Arjun Subramonian, Holy Lovenia, Samuel Cahyawijaya, Genta Indra Winata, Lintang Sutawika, Jan Christian Blaise Cruz, Yin Lin Tan, Long Phan, Rowena Garcia, Thamar Solorio, Alham Fikri Aji

备注：: Updating Authors

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文探索零样本提示多语言LLMs生成东南亚七种语言的语码混合数据，发现现有模型表现不一，建议在此场景下未经大量人工检查勿用。

摘要：

尽管语码混合是世界许多地区常见的语言实践，但收集高质量且低成本的语码混合数据对自然语言处理（NLP）研究仍是一项挑战。大型语言模型（LLMs）的近期激增促使人们发问：这些系统在生成语码混合数据方面能力如何？本文探索以零样本方式提示多语言LLMs，为东南亚（SEA）的七种语言生成语码混合数据，即印尼语、马来语、中文、他加禄语、越南语、泰米尔语和新加坡英语。我们发现，公开可用的多语言指令微调模型（如BLOOMZ和Flan-T5-XXL）无法生成包含不同语言短语或从句的文本。ChatGPT在生成语码混合文本时表现出不一致的能力，其性能因提示模板和语言配对而异。例如，ChatGPT能生成流畅自然的新加坡英语文本（一种基于英语的新加坡克里奥尔语），但对于英语-泰米尔语配对，系统大多生成语法错误或语义无意义的语句。此外，它可能错误地引入提示中未指定的语言。基于我们的调查，现有的多语言LLMs在生成SEA语言语码混合数据方面表现出广泛的熟练度差异。因此，我们建议在此情境下若未经过大量人工检查，则不要使用LLMs。

英文摘要：

While code-mixing is a common linguistic practice in many parts of the world, collecting high-quality and low-cost code-mixed data remains a challenge for natural language processing (NLP) research. The recent proliferation of Large Language Models (LLMs) compels one to ask: how capable are these systems in generating code-mixed data? In this paper, we explore prompting multilingual LLMs in a zero-shot manner to generate code-mixed data for seven languages in South East Asia (SEA), namely Indonesian, Malay, Chinese, Tagalog, Vietnamese, Tamil, and Singlish. We find that publicly available multilingual instruction-tuned models such as BLOOMZ and Flan-T5-XXL are incapable of producing texts with phrases or clauses from different languages. ChatGPT exhibits inconsistent capabilities in generating code-mixed texts, wherein its performance varies depending on the prompt template and language pairing. For instance, ChatGPT generates fluent and natural Singlish texts (an English-based creole spoken in Singapore), but for English-Tamil language pair, the system mostly produces grammatically incorrect or semantically meaningless utterances. Furthermore, it may erroneously introduce languages not specified in the prompt. Based on our investigation, existing multilingual LLMs exhibit a wide range of proficiency in code-mixed data generation for SEA languages. As such, we advise against using LLMs in this context without extensive human checks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。