arXiv 2410.200212025-03-25cs.CLcs.AI

仔细思考并再次检查！元生成解锁大语言模型在低资源跨语言摘要中的应用

Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization

University of California, San Diego（加利福尼亚大学圣迭戈分校）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）

Zhecheng Li, Yiwei Wang, Bryan Hooi, Yujun Cai, Naifan Cheung, Nanyun Peng, Kai-wei Chang

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对低资源语言跨语言摘要性能不佳的问题，提出四步零样本SITR方法（摘要、改进、翻译、精炼），在多个数据集上验证，显著提升GPT-3.5和GPT-4的跨语言摘要能力。

摘要：

跨语言摘要（CLS）旨在以不同于源文本的目标语言生成摘要。目前，经过指令微调的大语言模型（LLMs）在各种英语任务中表现出色。然而，与英语、中文或西班牙语等语言不同，对于那些使用范围或数据相对有限的低资源语言，近期研究表明，即使采用少样本设置，LLMs在跨语言摘要任务上的表现仍不尽如人意。这引发了一个问题：LLMs是否能够处理低资源语言的跨语言摘要任务？为解决这一问题，我们通过四步零样本方法：摘要（Summarization）、改进（Improvement）、翻译（Translation）和精炼（Refinement），即SITR方法，并配合相应设计的提示词，充分探索了大语言模型在低资源语言跨语言摘要任务上的潜力。我们在两个知名的跨语言摘要数据集上，使用多种LLMs，针对多种低资源目标语言测试了我们提出的方法。结果表明：（i）GPT-3.5和GPT-4在使用我们的零样本SITR方法时，显著且一致地优于其他基线模型。（ii）通过采用我们提出的方法，我们解锁了LLMs的潜力，使其能够有效处理相对低资源语言的跨语言摘要任务。

英文摘要：

Cross-lingual summarization (CLS) aims to generate a summary for the source text in a different target language. Currently, instruction-tuned large language models (LLMs) excel at various English tasks. However, unlike languages such as English, Chinese or Spanish, for those relatively low-resource languages with limited usage or data, recent studies have shown that LLMs' performance on CLS tasks remains unsatisfactory even with few-shot settings. This raises the question: Are LLMs capable of handling cross-lingual summarization tasks for low-resource languages? To resolve this question, we fully explore the potential of large language models on cross-lingual summarization task for low-resource languages through our four-step zero-shot method: Summarization, Improvement, Translation and Refinement (SITR) with correspondingly designed prompts. We test our proposed method with multiple LLMs on two well-known cross-lingual summarization datasets with various low-resource target languages. The results show that: i) GPT-3.5 and GPT-4 significantly and consistently outperform other baselines when using our zero-shot SITR methods. ii) By employing our proposed method, we unlock the potential of LLMs, enabling them to effectively handle cross-lingual summarization tasks for relatively low-resource languages.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。