随机掩码微调：一种缓解LLM中PII记忆的有效方法
Randomized Masked Finetuning: An Efficient Way to Mitigate Memorization of PIIs in LLMs
AI总结：
本文提出随机掩码微调方法，有效减少LLM中PII记忆，同时保持模型性能，通过实验验证其在隐私保护和效用之间的平衡。
摘要：
当前关于自然语言模型中记忆现象的研究，尤其是大语言模型（LLMs）中，提出了严重的安全和隐私风险，因为模型倾向于从训练数据中记忆个人身份信息（PIIs）。我们引入了随机掩码微调（RMFT），一种新颖的隐私保护微调技术，能够在减少PII记忆的同时最小化性能影响。使用恩隆电子邮件数据集，我们证明RMFT在总提取率上比基线微调减少了80.81%，在已见提取率上减少了80.17%，优于去重方法，同时仅导致困惑度增加5.73%。我们提出了MaxTER，一个用于评估隐私-效用权衡的帕累托最优评估框架，并通过响应曲线下面积（AURC）指标展示了RMFT与去重方法的性能对比。
英文摘要：
The current literature on memorization in Natural Language Models, especially Large Language Models (LLMs), poses severe security and privacy risks, as models tend to memorize personally identifying information (PIIs) from training data. We introduce Randomized Masked Fine-Tuning (RMFT), a novel privacy-preserving fine-tuning technique that reduces PII memorization while minimizing performance impact. Using the Enron Email Dataset, we demonstrate that RMFT achieves an 80.81% reduction in Total Extraction Rate and 80.17% reduction in Seen Extraction Rate compared to baseline fine-tuning, outperforming deduplication methods while maintaining only a 5.73% increase in perplexity. We present MaxTER, a Pareto-optimal evaluation framework for assessing privacy-utility tradeoffs, and show the performance of RMFT vs Deduplication by Area Under The Response Curve (AURC) metric.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
