arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2403.00990cs.CL
收藏

使用 LLM 进行时间线构建的任务形式比较

Formulation Comparison for Timeline Construction using LLMs

Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)

Kimihiro Hasegawa, Nikhil Kandukuri, Susan Holm, Yukari Yamakawa, Teruko Mitamura

AI总结:

本文构建文档级时间线评估数据集 TimeSET,并提出框架比较 Llama 2、Flan-T5 在不同任务形式下的表现,发现 NLI 形式表现突出但少样本 LLM 仍面临挑战。

摘要:

构建时间线需要识别文章中事件的时间顺序。在以往的时间线构建数据集中,时间顺序通常通过事件到时间的锚定或事件到事件的成对排序来标注,这两种方式都存在时间信息缺失的问题。为缓解该问题,我们开发了一个新的评估数据集 TimeSET,该数据集由带有文档级顺序标注的单文档时间线组成。TimeSET 具有基于显著性的事件选择和偏序关系特征,可实现切实可行的标注工作量。为构建更好的自动时间线构建系统,我们提出了一个新颖的评估框架,通过提示开放 LLM(即 Llama 2 和 Flan-T5),使用 TimeSET 比较多种任务形式。考虑到识别事件的时间顺序是时间线构建中的核心子任务,我们进一步在现有事件时间排序数据集上对开放 LLM 进行基准测试,以可靠理解其能力。实验表明:(1)采用 Flan-T5 的 NLI 形式在其他形式中表现出强劲性能;(2)对于少样本 LLM 而言,时间线构建和事件时间排序仍是具有挑战性的任务。我们的代码和数据可在 https://github.com/kimihiroh/timeset 获取。

英文摘要:

Constructing a timeline requires identifying the chronological order of events in an article. In prior timeline construction datasets, temporal orders are typically annotated by either event-to-time anchoring or event-to-event pairwise ordering, both of which suffer from missing temporal information. To mitigate the issue, we develop a new evaluation dataset, TimeSET, consisting of single-document timelines with document-level order annotation. TimeSET features saliency-based event selection and partial ordering, which enable a practical annotation workload. Aiming to build better automatic timeline construction systems, we propose a novel evaluation framework to compare multiple task formulations with TimeSET by prompting open LLMs, i.e., Llama 2 and Flan-T5. Considering that identifying temporal orders of events is a core subtask in timeline construction, we further benchmark open LLMs on existing event temporal ordering datasets to gain a robust understanding of their capabilities. Our experiments show that (1) NLI formulation with Flan-T5 demonstrates a strong performance among others, while (2) timeline construction and event temporal ordering are still challenging tasks for few-shot LLMs. Our code and data are available at https://github.com/kimihiroh/timeset.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑