arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2407.12846cs.CLcs.LG
收藏

识别大型语言模型生成的来源

Identifying the Source of Generation for Large Language Models

KAIST(韩国科学技术院)

Bumjin Park, Jaesik Choi

AI总结:

本研究提出双词元来源识别器,在解码阶段将词元表示映射至参考文档,以追踪大型语言模型生成内容的来源,实验于Wikipedia和PG19数据集上验证了其可行性。

摘要:

大型语言模型(LLMs)会从多个文档来源中记忆文本。在预训练阶段,LLM 训练目标是最大化文本的似然概率,但既不接收文本的来源信息,也不记忆来源。因此,LLM 无法提供生成内容的文档信息,用户也无法获得任何关于可靠性(这对事实性或隐私侵犯至关重要)的提示。这项工作在解码步骤中引入了词元级别的来源识别,将词元表示映射到参考文档。我们提出了一种双词元来源识别器,它是一个多层感知器,输入为两个连续的词元表示,以实现更好的泛化。我们在 Wikipedia 和 PG19 数据集上进行了广泛的实验,涉及多种 LLM、层位置和识别器规模。总体结果表明,词元级别的来源识别器在追踪文档方面具有可能性,这是安全使用 LLM 的关键问题。

英文摘要:

Large language models (LLMs) memorize text from several sources of documents. In pretraining, LLM trains to maximize the likelihood of text but neither receives the source of the text nor memorizes the source. Accordingly, LLM can not provide document information on the generated content, and users do not obtain any hint of reliability, which is crucial for factuality or privacy infringement. This work introduces token-level source identification in the decoding step, which maps the token representation to the reference document. We propose a bi-gram source identifier, a multi-layer perceptron with two successive token representations as input for better generalization. We conduct extensive experiments on Wikipedia and PG19 datasets with several LLMs, layer locations, and identifier sizes. The overall results show a possibility of token-level source identifiers for tracing the document, a crucial problem for the safe use of LLMs.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑