arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2301.05948cs.CLcs.AI
收藏

tasksource:一个用于简化 NLP 多任务学习与评估的数据集协调框架

tasksource: A Dataset Harmonization Framework for Streamlined NLP Multi-Task Learning and Evaluation

Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)

Damien Sileo

AI总结:

针对NLP数据集模式不一致导致多任务学习困难的问题,提出结构化数据集标注框架tasksource,提供超500个英语任务标注,并基于此微调的多任务文本编码器在同等规模模型中取得最优外部评估表现。

摘要:

HuggingFace Datasets Hub 托管了数千个数据集,为语言模型训练和评估提供了令人兴奋的机遇。然而,针对特定任务类型的数据集通常具有不同的模式,使得协调工作充满挑战。多任务训练或评估需要人工操作,以将数据适配到任务模板中。一些倡议通过发布协调后的数据集,或提供协调代码将数据集预处理为一致格式,独立地解决这一问题。我们识别了以往预处理工作中的模式,例如列名映射以及从列中的结构化数据提取特定子字段。随后,我们提出了一个结构化标注框架,确保我们的标注完全公开,而不是隐藏在非结构化代码中。我们发布了针对超过 500 个英语任务的数据集标注框架和数据集标注。这些标注包含元数据,例如用作所有数据集输入或标签的列名,无论是否使用我们的框架,这都能为未来的数据集预处理节省时间。我们在所有 tasksource 任务上微调了一个多任务文本编码器,在外部评估中超越了同等规模的所有公开可用文本编码器。

英文摘要:

The HuggingFace Datasets Hub hosts thousands of datasets, offering exciting opportunities for language model training and evaluation. However, datasets for a specific task type often have different schemas, making harmonization challenging. Multi-task training or evaluation necessitates manual work to fit data into task templates. Several initiatives independently tackle this issue by releasing harmonized datasets or providing harmonization codes to preprocess datasets into a consistent format. We identify patterns across previous preprocessing efforts, such as column name mapping and extracting specific sub-fields from structured data in a column. We then propose a structured annotation framework that ensures our annotations are fully exposed and not hidden within unstructured code. We release a dataset annotation framework and dataset annotations for more than 500 English tasks\footnote{\url{https://github.com/sileod/tasksource}}. These annotations include metadata, such as the names of columns to be used as input or labels for all datasets, which can save time for future dataset preprocessing, regardless of whether our framework is utilized. We fine-tune a multi-task text encoder on all tasksource tasks, outperforming every publicly available text encoder of comparable size in an external evaluation.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑