基于基础模型 API 的差分隐私合成数据 2:文本
Differentially Private Synthetic Data via Foundation Model APIs 2: Text
AI总结:
提出 Aug-PE 算法,仅通过 LLM API 访问且无需模型训练即可生成差分隐私合成文本,在三个基准数据集上表现出与 SOTA DP 微调基线相当的效用,为隐私保护的 LLM 应用提供了更易访问的途径。
摘要:
由于从文本中学习的机器学习算法的出现,文本数据变得极具价值。现实世界中产生的大量高质量文本数据是私有的,因此出于隐私担忧无法被共享或自由使用。生成带有正式隐私保证(即差分隐私,DP)的私有文本数据的合成副本,提供了一种有前景且可扩展的解决方案。然而,现有方法需要在私有数据上对大型语言模型(LLMs)进行 DP 微调以生成 DP 合成数据。这种方法对于专有 LLMs(例如 GPT-3.5)不可行,并且对于开源 LLMs 也需要大量计算资源。Lin 等人(2024)最近提出了 Private Evolution(PE)算法,仅通过扩散模型的 API 访问来生成 DP 合成图像。在本研究中,我们提出了一种增强的 PE 算法,名为 Aug-PE,适用于复杂的文本设置。我们使用对 LLM 的 API 访问,无需任何模型训练即可生成 DP 合成文本。我们在三个基准数据集上进行了全面实验。我们的结果表明,Aug-PE 生成的 DP 合成文本与 SOTA DP 微调基线相比具有竞争力的效用。这突显了仅依赖 LLMs 的 API 访问来生成高质量 DP 合成文本的可行性,从而为隐私保护的 LLM 应用提供了更易访问的途径。我们的代码和数据可在 https://github.com/AI-secure/aug-pe 获取。
英文摘要:
Text data has become extremely valuable due to the emergence of machine learning algorithms that learn from it. A lot of high-quality text data generated in the real world is private and therefore cannot be shared or used freely due to privacy concerns. Generating synthetic replicas of private text data with a formal privacy guarantee, i.e., differential privacy (DP), offers a promising and scalable solution. However, existing methods necessitate DP finetuning of large language models (LLMs) on private data to generate DP synthetic data. This approach is not viable for proprietary LLMs (e.g., GPT-3.5) and also demands considerable computational resources for open-source LLMs. Lin et al. (2024) recently introduced the Private Evolution (PE) algorithm to generate DP synthetic images with only API access to diffusion models. In this work, we propose an augmented PE algorithm, named Aug-PE, that applies to the complex setting of text. We use API access to an LLM and generate DP synthetic text without any model training. We conduct comprehensive experiments on three benchmark datasets. Our results demonstrate that Aug-PE produces DP synthetic text that yields competitive utility with the SOTA DP finetuning baselines. This underscores the feasibility of relying solely on API access of LLMs to produce high-quality DP synthetic texts, thereby facilitating more accessible routes to privacy-preserving LLM applications. Our code and data are available at https://github.com/AI-secure/aug-pe.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。