arXiv 2310.195672024-05-06cs.CLcs.AI

CreoleVal：面向克里奥尔语的多语言多任务基准

CreoleVal: Multilingual Multitask Benchmarks for Creoles

Aalborg University（奥尔堡大学）；KU Leuven（鲁汶大学）；National Institute of Information and Communications Technology（日本信息通信研究机构）；University of Copenhagen（哥本哈根大学）；University of Electronic Science and Technology of China（电子科技大学）；Meta；Zamboanga State College of Marine Sciences and Technology（三宝颜加国立海洋科学与技术学院）；University of Newcastle（纽卡斯尔大学）；University of Surrey（萨里大学）；Kean University（肯恩大学）；Linköping University（林雪平大学）；Université Paris Nanterre（巴黎第十大学）；Massachusetts Institute of Technology（麻省理工学院）

Heather Lent, Kushal Tatariya, Raj Dabre, Yiyi Chen, Marcell Fekete, Esther Ploeger, Li Zhou, Ruth-Ann Armstrong, Abee Eijansantos, Catriona Malau, Hans Erik He… 展开作者

Heather Lent, Kushal Tatariya, Raj Dabre, Yiyi Chen, Marcell Fekete, Esther Ploeger, Li Zhou, Ruth-Ann Armstrong, Abee Eijansantos, Catriona Malau, Hans Erik Heje, Ernests Lavrinovics, Diptesh Kanojia, Paul Belony, Marcel Bollmann, Loïc Grobol, Miryam de Lhoneux, Daniel Hershcovich, Michel DeGraff, Anders Søgaard, Johannes Bjerva

备注：: Accepted to TACL

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出 CreoleVal 基准集合，覆盖多达 28 种克里奥尔语和 8 类 NLP 任务，并通过零样本实验揭示迁移学习的能力与局限，以推动克里奥尔语研究和语言技术公平性。

摘要：

克里奥尔语是一类研究不足且被边缘化的语言，可用于自然语言处理研究的资源十分有限。尽管克里奥尔语与多种高资源语言之间的谱系联系意味着迁移学习具有巨大潜力，但由于缺乏标注数据，这一潜力受到制约。本文提出了 CreoleVal，这是一个涵盖 8 种不同自然语言处理任务的基准数据集集合，覆盖多达 28 种克里奥尔语；它汇集了面向克里奥尔语的阅读理解、关系分类和机器翻译的新型开发数据集，并为若干既有基准提供了实用的接入途径。针对每个基准，我们在零样本设置下进行了基线实验，以进一步确认迁移学习在克里奥尔语上的能力与局限。最终，我们认为 CreoleVal 为推进克里奥尔语在自然语言处理和计算语言学中的研究提供了契机，总体上是迈向全球更公平语言技术的一步。

英文摘要：

Creoles represent an under-explored and marginalized group of languages, with few available resources for NLP research.While the genealogical ties between Creoles and a number of highly-resourced languages imply a significant potential for transfer learning, this potential is hampered due to this lack of annotated data. In this work we present CreoleVal, a collection of benchmark datasets spanning 8 different NLP tasks, covering up to 28 Creole languages; it is an aggregate of novel development datasets for reading comprehension, relation classification, and machine translation for Creoles, in addition to a practical gateway to a handful of preexisting benchmarks. For each benchmark, we conduct baseline experiments in a zero-shot setting in order to further ascertain the capabilities and limitations of transfer learning for Creoles. Ultimately, we see CreoleVal as an opportunity to empower research on Creoles in NLP and computational linguistics, and in general, a step towards more equitable language technology around the globe.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。