arXiv 2601.155952026-01-22cs.CRcs.AIcs.LG

无需数据的隐私保护：通过模型反向和选择性遗忘

Data-Free Privacy-Preserving for LLMs via Model Inversion and Selective Unlearning

School of Software Technology, Zhejiang University（浙江大学软件技术学院）；Zhejiang University（浙江大学）；Hefei University of Technology（合肥工业大学）；Institute of Fundamental and Transdisciplinary Research, Zhejiang University（浙江大学基础与交叉学科研究院）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江区）区块链与数据安全研究院）；The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室）；Zhejiang Key Laboratory of Big Data Intelligent Computing（浙江省大数据智能计算重点实验室）

Xinjie Zhou, Zhihui Yang, Lechao Cheng, Sai Wu, Gang Chen

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出Data-Free Selective Unlearning方法，通过模型反向和选择性遗忘技术，在不访问训练数据的情况下有效移除LLM中的敏感PII，同时保持模型性能。

摘要：

大型语言模型（LLMs）具有强大的能力，但存在风险记忆敏感的个人身份信息（PII）从训练数据，这带来了重大隐私问题。尽管机器遗忘技术旨在删除此类数据，但它们主要依赖于访问训练数据。这种要求通常不实际，因为现实世界部署中的训练数据通常是专有或无法访问的。为了解决这一限制，我们提出了Data-Free Selective Unlearning（DFSU），一种新颖的隐私保护框架，可以在不需其训练数据的情况下从LLM中移除敏感PII。我们的方法首先通过语言模型反向合成伪PII，然后为这些合成样本构建令牌级隐私掩码，最后通过在低秩适应（LoRA）子空间内的对比掩码损失进行令牌级选择性遗忘。在使用Pythia模型的AI4Privacy PII-掩码数据集上的广泛实验表明，我们的方法在移除目标PII的同时保持了模型的实用性。

英文摘要：

Large language models (LLMs) exhibit powerful capabilities but risk memorizing sensitive personally identifiable information (PII) from their training data, posing significant privacy concerns. While machine unlearning techniques aim to remove such data, they predominantly depend on access to the training data. This requirement is often impractical, as training data in real-world deployments is commonly proprietary or inaccessible. To address this limitation, we propose Data-Free Selective Unlearning (DFSU), a novel privacy-preserving framework that removes sensitive PII from an LLM without requiring its training data. Our approach first synthesizes pseudo-PII through language model inversion, then constructs token-level privacy masks for these synthetic samples, and finally performs token-level selective unlearning via a contrastive mask loss within a low-rank adaptation (LoRA) subspace. Extensive experiments on the AI4Privacy PII-Masking dataset using Pythia models demonstrate that our method effectively removes target PII while maintaining model utility.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。