全景监控：基于个人身份信息的自然主义输出令牌集合，用于研究大语言模型上下文窗口内的隐私泄露
PANOPTICON: A PII-Based Assemblage of Naturalistic Output Tokens for Investigating Privacy Leakage Within LLM Context Window
浏览论文内容
中文总结 AI 辅助
研究大语言模型上下文窗口内隐私泄露问题，引入PANOPTICON管道和数据集，由Meta模型生成含PII片段的提示，测量数据集多样性评估真实性，通过案例展示其在理解提示反转攻击中的效用及为LLM隐私研究奠基。
中文摘要 AI 辅助
大语言模型（LLMs）能够泛化人类语言以完成前所未见的任务，从而得以广泛部署。虽然这种自动化带来了明显的效用，但完成这些任务通常需要插入个人身份信息（PII），这引发了隐私担忧。然而，伦理因素阻碍了公开、真实的PII数据集的整理。没有合适的数据集，就难以量化隐私风险。因此，我们引入了全景监控（PANOPTICON）管道和数据集。该数据集由Meta的Llama-3.1-8B-Instruct模型生成，包含67718个用于模型上下文窗口的提示，其中包含从9674个公开可用的合成用户档案中提取的PII片段。我们测量了创建数据集的词汇多样性和S-BERT多样性以评估其真实性。最后，我们展示了一个案例研究，展示了PANOPTICON数据在理解提示反转攻击（PIA）方面的效用。因此，PANOPTICON成为了第一个用于研究私有语料库上的PIA的基准数据集，为未来的LLM隐私研究奠定了基础。
英文摘要
Large Language Models (LLMs) are capable of generalizing human language for the completion of never-before-seen tasks, leading to widespread deployment. While this automation provides clear utility, completing these tasks often requires the insertion of Personally Identifiable Information (PII), strings of information that uniquely identify some individual, raising privacy concerns. However, ethics has prevented the curation of a public, authentic dataset of PII. Without an appropriate dataset, it is difficult to quantify privacy risks. Thus, we introduce the PANOPTICON pipeline and dataset. The dataset, generated by Meta's Llama-3.1-8B-Instruct model, contains 67, 718 prompts, intended for the models context window, containing PII spans derived from 9,674 publicly available synthetic user profiles. We measure lexical diversity and S-BERT diversity of the created dataset to evaluate realism. Finally, we present a case study showcasing the utility of PANOPTICON data for understanding Prompt Inversion Attacks (PIAs). PANOPTICON thus emerges as the first benchmark dataset for studying PIAs over private corpora, providing a foundation for future LLM privacy research.
发表机构
- Meta
机构由 AI 辅助整理，请以论文原文为准。
