arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2510.21034cs.CL
收藏

输入至关重要:评估输入结构对体育逐回合数据 LLM 摘要的影响

Input Matters: Evaluating Input Structure's Impact on LLM Summaries of Sports Play-by-Play

Department of Computing Science, University of Aberdeen(计算科学系,阿伯丁大学)

Barkavi Sundararajan, Somayajulu Sripada, Ehud Reiter

AI总结:

本研究通过人工标注 180 场 NBA 比赛摘要中的 3,312 个事实错误,发现输入结构显著影响 LLM 摘要准确性,JSON 格式使错误率降低 65%-69%,行结构降低 51%-54%,且方差分析证实该影响占主导。

摘要:

在体育报道等准确性至关重要的领域部署 LLM 时,一个主要担忧是生成的文本可能无法忠实反映输入数据。我们量化了输入结构如何影响 LLM 生成的 NBA 逐回合数据摘要中的幻觉和其他事实错误,涉及三种格式:行结构、JSON 和非结构化。我们手动标注了由两个模型 Llama-3.1-70B 和 Qwen2.5-72B 生成的 180 场比赛摘要中的 3,312 个事实错误。输入结构具有显著影响:与非结构化输入相比,JSON 输入使 Llama 的错误率降低 69%,使 Qwen 的错误率降低 65%,而行结构输入使 Llama 的错误率降低 54%,使 Qwen 的错误率降低 51%。双向重复测量方差分析显示,输入结构占错误率方差的 80% 以上,Tukey HSD 事后检验确认所有输入格式之间的差异具有统计学显著性。

英文摘要:

A major concern when deploying LLMs in accuracy-critical domains such as sports reporting is that the generated text may not faithfully reflect the input data. We quantify how input structure affects hallucinations and other factual errors in LLM-generated summaries of NBA play-by-play data, across three formats: row-structured, JSON and unstructured. We manually annotated 3,312 factual errors across 180 game summaries produced by two models, Llama-3.1-70B and Qwen2.5-72B. Input structure has a strong effect: JSON input reduces error rates by 69% for Llama and 65% for Qwen compared to unstructured input, while row-structured input reduces errors by 54% for Llama and 51% for Qwen. A two-way repeated measures ANOVA shows that input structure accounts for over 80% of the variance in error rates, with Tukey HSD post hoc tests confirming statistically significant differences between all input formats.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑