基于大语言模型的系统性任务探索：引文文本生成研究
Systematic Task Exploration with LLMs: A Study in Citation Text Generation
AI总结：
本文提出一个由系统性输入操控、参考数据和输出测量组成的研究框架，并应用于引文文本生成任务，系统考察大语言模型提示中任务指令与输入配置的影响，揭示不同评估指标间的复杂关系，为后续研究提供指导。
摘要：
大语言模型（LLMs）在定义和执行复杂、创造性的自然语言生成（NLG）任务方面带来了前所未有的灵活性。然而，这种灵活性也带来了新的挑战，因为它在任务输入与指令的制定以及模型性能评估方面引入了新的自由度。为促进创造性自然语言生成任务的探索，我们提出了一个由三部分构成的研究框架，包括系统性输入操控、参考数据和输出测量。我们利用该框架探索引文文本生成——这是一项广受关注的学术自然语言处理任务，但目前在任务定义和评估指标上缺乏共识，且尚未在大语言模型范式下得到解决。我们的结果凸显了在提示大语言模型时系统性地研究任务指令和输入配置的重要性，并揭示了用于引文文本生成的不同评估指标之间存在非平凡的关系。额外的人工生成和人工评估实验为该任务提供了新的定性见解，以指导引文文本生成领域的未来研究。我们已将代码和数据公开发布。
英文摘要：
Large language models (LLMs) bring unprecedented flexibility in defining and executing complex, creative natural language generation (NLG) tasks. Yet, this flexibility brings new challenges, as it introduces new degrees of freedom in formulating the task inputs and instructions and in evaluating model performance. To facilitate the exploration of creative NLG tasks, we propose a three-component research framework that consists of systematic input manipulation, reference data, and output measurement. We use this framework to explore citation text generation -- a popular scholarly NLP task that lacks consensus on the task definition and evaluation metric and has not yet been tackled within the LLM paradigm. Our results highlight the importance of systematically investigating both task instruction and input configuration when prompting LLMs, and reveal non-trivial relationships between different evaluation metrics used for citation text generation. Additional human generation and human evaluation experiments provide new qualitative insights into the task to guide future research in citation text generation. We make our code and data publicly available.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
