arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2401.10186cs.CL
收藏

超越传统基准:分析开放大语言模型在数据到文本生成上的行为

Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation

Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)

Zdeněk Kasner, Ondřej Dušek

AI总结:

本文提出Quintd工具收集新型结构化数据,分析开放LLMs在数据到文本生成中的行为,发现其零样本输出虽流畅但超过80%存在语义错误,并公开相关资源。

摘要:

我们分析了开放大语言模型(LLMs)在数据到文本(D2T)生成任务上的行为,即从结构化数据生成连贯且相关的文本。为避免标准基准对LLM训练数据造成污染的问题,我们设计了Quintd——一个用于从公共API收集新型结构化数据记录的工具。我们发现,开放LLMs(Llama 2、Mistral和Zephyr)能够在零样本设置下,根据Quintd收集的常见格式数据生成流畅且连贯的文本。然而,我们表明输出的语义准确性是一个主要问题:根据人类标注者和我们基于GPT-4的无参考指标,开放LLMs超过80%的输出至少包含一个语义错误。我们公开发布了代码、数据和模型输出。

英文摘要:

We analyze the behaviors of open large language models (LLMs) on the task of data-to-text (D2T) generation, i.e., generating coherent and relevant text from structured data. To avoid the issue of LLM training data contamination with standard benchmarks, we design Quintd - a tool for collecting novel structured data records from public APIs. We find that open LLMs (Llama 2, Mistral, and Zephyr) can generate fluent and coherent texts in zero-shot settings from data in common formats collected with Quintd. However, we show that the semantic accuracy of the outputs is a major issue: both according to human annotators and our reference-free metric based on GPT-4, more than 80% of the outputs of open LLMs contain at least one semantic error. We publicly release the code, data, and model outputs.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑