arXiv 2504.053172025-06-16cs.IRcs.AIcs.CLcs.LG

问答中用于上下文归因的合成数据研究

On Synthesizing Data for Context Attribution in Question Answering

NEC Laboratories Europe（NEC欧洲实验室）；NEC Laboratories America（NEC美国实验室）；NEC Corporation（NEC公司）；University College London（伦敦大学学院）；KU Leuven（鲁汶大学）；Epimind；Center for Artificial Intelligence and Data Science, University of Würzburg（维尔茨堡大学人工智能与数据科学中心）；CAIR, Ss. Cyril and Methodius University of Skopje（斯科普里圣西里尔和美多迪乌斯大学CAIR）

Gorjan Radevski, Kiril Gashteovski, Shahbaz Syed, Christopher Malon, Sebastien Nicolas, Chia-Chien Hung, Timo Sztyler, Verena Heußer, Wiem Ben Rim, Masafumi Eno… 展开作者

Gorjan Radevski, Kiril Gashteovski, Shahbaz Syed, Christopher Malon, Sebastien Nicolas, Chia-Chien Hung, Timo Sztyler, Verena Heußer, Wiem Ben Rim, Masafumi Enomoto, Kunihiro Takeoka, Masafumi Oyamada, Goran Glavaš, Carolin Lawrence

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对大语言模型问答存在幻觉、需上下文归因保障可信度的问题，提出合成上下文归因数据的新策略SynQA，用其生成的数据微调小模型可有效提升归因效果，并通过用户研究验证了实用性。

摘要：

问答（QA）在大语言模型（LLM）的实际落地使用中占相当大的比例。然而，LLM有时会生成错误或具有误导性的回复，也就是所谓的“幻觉”。因此，让生成的答案基于上下文提供的信息——即为生成的文本提供证据——对于LLM的可信度至关重要，而提供这类信息正是上下文归因的任务。本文系统研究了基于LLM的上下文归因方法，具体探究了三类方案：（i）零样本推理、（ii）LLM集成、（iii）用更大的LLM生成的合成数据微调小型语言模型（LM）。本文的核心贡献是SynQA：一种用于合成上下文归因数据的新型生成策略。给定选定的上下文句子，由LLM生成这些句子支撑的问答对，这既利用了LLM在文本生成方面的天然优势，又能确保合成训练数据中存在清晰的归因路径。实验表明，通过SynQA合成的归因数据，在针对不同QA任务和领域微调小型LM以完成上下文归因任务时效果极佳。最后，本文通过用户研究验证了（在SynQA合成数据上微调的）小型LM在QA上下文归因场景中的实用价值。

英文摘要：

Question Answering (QA) accounts for a significant portion of LLM usage "in the wild". However, LLMs sometimes produce false or misleading responses, also known as "hallucinations". Therefore, grounding the generated answers in contextually provided information -- i.e., providing evidence for the generated text -- is paramount for LLMs' trustworthiness. Providing this information is the task of context attribution. In this paper, we systematically study LLM-based approaches for this task, namely we investigate (i) zero-shot inference, (ii) LLM ensembling, and (iii) fine-tuning of small LMs on synthetic data generated by larger LLMs. Our key contribution is SynQA: a novel generative strategy for synthesizing context attribution data. Given selected context sentences, an LLM generates QA pairs that are supported by these sentences. This leverages LLMs' natural strengths in text generation while ensuring clear attribution paths in the synthetic training data. We show that the attribution data synthesized via SynQA is highly effective for fine-tuning small LMs for context attribution in different QA tasks and domains. Finally, with a user study, we validate the usefulness of small LMs (fine-tuned on synthetic data from SynQA) in context attribution for QA.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。