IncogniText: Privacy-enhancing Conditional Text Anonymization via LLM-based Private Attribute Randomization
Huawei Munich Research Center(华为慕尼黑研究中心)
本文提出IncogniText文本匿名化技术,通过大语言模型私有属性随机化误导对手预测错误属性值,在8种属性上降低泄露超90%,并蒸馏为端侧LoRA参数实现现实部署。
2025-02-02 cs.AI cs.CL cs.CR
Differentially Private Synthetic Text Generation for Retrieval-Augmented Generation (RAG)
NEC Corporation(日本电报电话公司);Institute of Science Tokyo(东京科学研究院);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出DP-SynRAG框架,通过生成差分隐私合成RAG数据库提升隐私保护下的RAG性能,避免重复噪声注入并保持固定隐私预算。
2026-05-12 cs.CL cs.CR cs.LG
Private Text Generation by Seeding Large Language Model Prompts
Amazon(亚马逊公司);MIT(麻省理工学院);Tel-Aviv University(特拉维夫大学)
针对敏感文本无法直接用于训练或共享给LLM的问题,本文提出DP-KPS,用差分私有的关键短语嵌入提示LLM生成合成语料,并在文本分类任务上验证其效用。
2025-02-18 cs.CL
ER-AE: Differentially Private Text Generation for Authorship Anonymization
McGill University(麦吉尔大学);Queen’s University(女王大学);Zayed University(扎耶德大学)
大多数文本数据的隐私保护研究都集中在删除显式敏感标识符上。然而,个人写作风格作为作者身份的一个强有力的指标,却常常被忽视。最近的研究,如SynTF,在隐私保护文本挖掘方面取得了可喜的成果。然而,他们的匿名化算法只能输出数字术语向量,这对接收者来说很难解释。我们提出了一种新的文本生成模型与两组指数机制的作者匿名。通过REINFORCE训练奖励函数增加语义信息,该模型可以生成与原始文本具有紧密语义和相似语法结构的差异化私人文本,同时去除写作风格的个人特征。它不假设任何有条件的标签或文本数据用于训练。我们评估了所提出的模型在现实生活中的同行评议数据集和Yelp评论数据集上的性能。结果表明,我们的模型优于国家的最先进的语义保存,作者混淆,和文体转换。
2021-05-13 cs.CL cs.CR cs.LG
A Systematic Exploration of Text Decomposition and Budget Distribution in Differentially Private Text Obfuscation
Technical University of Munich School of Computation, Information and Technology Department of Computer Science(慕尼黑技术大学计算、信息与技术学院计算机科学系)
研究探讨了差分隐私文本模糊化中文本分解与预算分配方法的影响,发现不同分解和分配策略会导致显著不同的结果,验证了通过优化DP模糊化流程实现经验权衡的可行性。
2026-05-01 cs.CL
Private Synthetic Text Generation with Diffusion Models
Technical University of Darmstadt(达姆施塔特工业大学);University Alliance Ruhr(鲁尔大学联盟);Ruhr University Bochum(波鸿鲁尔大学)
本文针对差分隐私训练下扩散模型的合成文本生成能力开展实验,复现评估过往LLM私有文本生成研究并发现其隐私保障漏洞,证实隐私场景下开源LLM表现优于扩散模型,同时公开了相关实验资源。
2024-10-30 cs.CL
How reparametrization trick broke differentially-private text representation learning
本文形式化分析了几篇基于DPText的NLP论文,揭示了重参数化技巧导致其差分隐私声明失效,并提出经验性检查方法以判断DP机制实现是否违反隐私损失保证。
2022-03-03 cs.CL cs.CR
dpUGC: Learn Differentially Private Representation for User Generated Contents
Umeå University(于默奥大学);University of Tasmania(塔斯马尼亚大学)
本文首先提出了一种简单而有效的通用方法来将差分隐私应用于文本表示(即,词嵌入)。在此基础上,提出了一种基于用户生成内容(UGC)的个性化差异隐私词嵌入模型。据我们所知,这是第一个从文本中学习用户级差异私有词嵌入模型的工作。所提出的方法保护个人的隐私不被重新识别,特别是在用于共享的UGC数据上提供更好的隐私和数据效用的权衡。实验结果表明,训练的嵌入模型适用于经典的文本分析任务(例如,回归)。此外,所提出的学习差分私有嵌入模型的方法是框架和数据独立的,这有利于部署和共享。源代码可在https://github.com/sonvx/dpText上获得。
2019-03-25 cs.CL cs.CR
Secret-Protected Evolution for Differentially Private Synthetic Text Generation
TikTok;Department of Statistics, Rutgers University(统计学系,罗格斯大学)
提出Secret-Protected Evolution(SecPE)框架,通过秘密感知保护扩展私有演化,在满足松弛Gaussian DP的同时实现更紧密的实用性-隐私权衡并降低计算复杂度,在多个基准上优于基线方法。
2025-10-13 cs.CL cs.CR cs.NE
Learning to Diagnose Privately: DP-Powered LLMs for Radiology Report Classification
National Institute of Standards and Technology(美国国家标准与技术研究院);Colorado State University(科罗拉多州立大学);University of Arizona(亚利桑那大学);Duke University(杜克大学)
本文提出一种结合差分隐私与LoRA的隐私保护LLM微调框架,用于多异常放射报告分类,通过生成标签训练小型模型,在强隐私保障下实现高效推理。
2026-03-30 cs.AI cs.CL cs.CR
Investigating User Perspectives on Differentially Private Text Privatization
Technical University of Munich(慕尼黑工业大学)
本文通过对721名全球用户的调查,研究场景、数据敏感性、机制类型和数据收集原因对差分隐私文本脱敏偏好的影响,发现用户对输出文本的实用性和连贯性高度敏感,为后续用户视角研究奠定基础。
2025-03-12 cs.CL cs.HC
DP-MGTD: Privacy-Preserving Machine-Generated Text Detection via Adaptive Differentially Private Entity Sanitization
Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学);University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);Hengxin Tech(恒心科技)
DP-MGTD通过自适应差分隐私实体净化技术,在保障隐私的前提下实现对机器生成文本的高精度检测。
2026-07-30 cs.CL cs.CR cs.LG
Fair NLP Models with Differentially Private Text Encoders
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
编码文本表示通常捕获关于个体的敏感属性(例如,种族或性别),这会引起隐私问题,并可能使下游模型对某些群体不公平。在这项工作中,我们提出了FEDERATE,这是一种结合了差分隐私和对抗性训练的思想来学习私有文本表示的方法,它也可以引入更公平的模型。我们在四个NLP数据集上实证评估了表示的隐私性与下游模型的公平性和准确性之间的权衡。我们的研究结果表明,FEDERATE不断改进以前的方法,从而表明隐私和公平可以积极地相互加强。
2022-05-12 cs.CL cs.LG
ADePT: Auto-encoder based Differentially Private Text Transformation
Amazon Alexa(亚马逊Alexa)
在对包含个人信息的数据建立统计模型时,隐私是一个重要的问题。差分隐私提供了隐私的强定义,并且可以用于解决若干隐私问题(Dwork等人,2014年)。对于包含敏感信息的数据集的差分私有变换,已经提出了多种解决方案。然而,由于过程中添加的噪声,这种变换算法在自然语言处理(NLP)任务中提供较差的实用性。在本文中,我们解决这个问题,提供了一个实用程序保持差分私有文本转换算法,使用自动编码器。我们的算法转换文本以提供对攻击的鲁棒性,并产生具有高语义质量的转换,在下游NLP任务中表现良好。我们证明了我们算法的理论隐私保证,并评估了其在成员推断攻击(MIA)下的隐私泄露情况(Shokri等人,2017年)使用转换数据训练的模型。我们的研究结果表明,该模型对MIA攻击的表现更好,同时提供较低或没有退化的底层转换过程的效用相比,现有的基线。
2021-01-29 cs.AI cs.CL cs.CR
Towards Differentially Private Text Representations
National University of Singapore(新加坡国立大学);The University of Melbourne(墨尔本大学);Monash University(莫纳什大学);Northeastern University(东北大学)
大多数深度学习框架要求用户将其本地数据或模型更新汇集到可信服务器,以训练或维护全局模型。在许多应用程序中,可以访问用户信息的可信服务器的假设是不合适的。为了解决这个问题,我们在不可信服务器设置下开发了一个新的深度学习框架,该框架包括三个模块:(1)嵌入模块,(2)随机化模块和(3)分类器模块。对于随机化模块,我们提出了一种新的本地差分隐私(LDP)协议,以减少隐私参数$ε$的准确性的影响,并提供增强的灵活性,在选择随机化概率LDP。分析和实验表明,我们的框架提供了可比的性能,甚至更好的非私有框架和现有的LDP协议,展示了我们的LDP协议的优势。
2020-06-25 cs.CL cs.CR cs.LG
Research Challenges in Designing Differentially Private Text Generation Mechanisms
Amazon(亚马逊)
准确地从用户数据中学习,同时确保可量化的隐私保证,这为构建更好的机器学习(ML)模型提供了机会,同时保持用户的信任。最近的文献已经证明了广义形式的差分隐私的适用性,以提供对文本查询的保证。这种机制将隐私保护噪声添加到高维文本的矢量表示中,并返回噪声矢量的基于文本的投影。然而,这些机制在隐私和效用之间的权衡中是次优的。这是由于固定的全局灵敏度等因素,这导致在密集空间中添加太多噪声,同时保证对敏感离群值的保护。在这篇提案中,我们描述了一些挑战,在平衡隐私和实用性之间的权衡这些差异私人文本机制。在高层次上,我们提供了两个建议:(1)一个名为LAC的框架,它将一些噪声推迟到隐私放大步骤;(2)一套额外的三种不同技术,用于根据单词周围的局部区域校准噪声。我们在本文中的目标不是评估一个单一的解决方案,而是进一步讨论这些挑战,并为建立更好的机制绘制路径。
2020-12-10 cs.CL cs.CR cs.LG
PrE-Text: Training Language Models on Private Federated Data in the Age of LLMs
Carnegie Mellon University(卡内基梅隆大学);Meta;Coldrays(科尔德雷公司)
本文提出PrE-Text方法,通过生成差分隐私合成文本数据替代端侧训练,在降低通信和计算开销的同时提升小模型与LLM在私有数据上的性能。
2024-10-17 cs.AI cs.CL cs.CR
DP-MLM: Differentially Private Text Rewriting Using Masked Language Models
Technical University of Munich(慕尼黑工业大学);School of Computation, Information and Technology(计算、信息与技术学院);Department of Computer Science(计算机科学系)
本文提出 DP-MLM,利用仅编码器掩码语言模型逐 token 进行差分隐私文本改写,在更低 ε 下实现更好的效用保持与机制可定制性,并公开代码。
2024-06-30 cs.CL
Private prediction for large-scale synthetic text generation
Google(谷歌公司)
本研究针对现有差分隐私合成文本生成方法数据产出量极低的问题,通过改进隐私分析、优化隐私选择机制并结合稀疏向量技术复用公共预测,实现了数千个高质量差分隐私合成文本的生成,拓展了应用场景。
2024-10-09 cs.CL cs.CR cs.LG
Differentially-Private Text Rewriting reshapes Linguistic Style
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学)
研究探讨差分隐私文本重写对语言风格的影响,发现隐私保护导致文本功能特征系统性改变,削弱互动标记和复杂从属结构,使文本风格趋于非参与和非说服性。
2026-04-29 cs.CL
Spend Your Budget Wisely: Towards an Intelligent Distribution of the Privacy Budget in Differentially Private Text Rewriting
Technical University of Munich(慕尼黑工业大学)
针对差分隐私文本重写中隐私预算分配不均的问题,提出基于语言学和NLP的智能分配方法,在相同预算下提升隐私保护水平与实用性权衡。
2025-03-28 cs.CL cs.CR
DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning
New York University(纽约大学);Microsoft(微软);University of Southern California(南加州大学)
DP-RFT通过差分隐私强化微调方法,在不直接接触隐私数据的情况下生成高质量合成文本。
2026-02-20 cs.CL
Tau-Eval: A Unified Evaluation Framework for Useful and Private Text Anonymization
Hornetsecurity, Hem, France(Hornetsecurity);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL, F-59000 Lille, France(Lille大学)
本文提出开源框架Tau-Eval,通过隐私与有用性任务敏感性视角统一评估文本匿名化方法,解决缺乏通用基准的问题。
2025-09-19 cs.CL
Just Rewrite It Again: A Post-Processing Method for Enhanced Semantic Similarity and Privacy Preservation of Differentially Private Rewritten Text
Technical University of Munich(慕尼黑工业大学)
提出一种对差分隐私重写文本进行再次重写的后处理方法,使输出在语义上更接近原文,并在经验性隐私评估中平均得分更高,为抵御恶意对手提供额外保护。
2024-05-31 cs.CL
Inspecting the Representation Manifold of Differentially-Private Text
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
该研究针对文本差分隐私的表示空间几何扭曲问题,通过估算不同隐私预算下释义文本本征维度,发现句级方法流形更贴合人工释义,且掩码释义比因果释义更能保留结构复杂度,揭示了自回归生成的扭曲传播机制。
2025-03-19 cs.CL
Adapting General-Purpose Embedding Models to Private Datasets Using Keyword-based Retrieval
针对通用文本嵌入模型在含专业术语的私有数据集上效果下降的问题,提出利用BM25关键词检索排序构建监督信号的BMEmbed方法,可跨领域持续提升检索性能并已开源。
2025-05-31 cs.CL cs.IR
Recovering Private Text in Federated Learning of Language Models
Princeton University(普林斯顿大学)
联邦学习允许分布式用户协作训练模型,同时保持每个用户的数据私有。最近,越来越多的工作表明,窃听攻击者可以有效地从联邦学习期间传输的梯度中恢复图像数据。然而,在恢复文本数据方面进展甚微。在本文中,我们提出了一种新的攻击方法FILM的语言模型(LM)的联邦学习。我们首次展示了从多达128句的大批量文本中恢复文本的可行性。与优化以匹配梯度的图像恢复方法不同,我们采取了一种独特的方法,首先从梯度中识别一组单词,然后基于束搜索和基于先验的重新排序策略直接重建句子。我们对几个大规模数据集进行了FILM攻击,并表明它可以成功地重建单个句子,对于大批量甚至多个句子,如果迭代应用的话,具有很高的保真度。我们评估三种防御方法:梯度修剪,DPSGD,和一个简单的方法来冻结词嵌入,我们提出的。我们表明,梯度修剪和DPSGD导致效用显着下降。然而,如果我们在不更新词嵌入的情况下对私有文本的公共预训练LM进行微调,它可以以最小的数据效用损失有效地防御攻击。总之,我们希望我们的研究结果可以鼓励社区重新思考LM培训及其未来标准实践的隐私问题。
2022-10-18 cs.CL cs.CR cs.LG
InvisibleInk: High-Utility and Low-Cost Text Generation with Differential Privacy
CeRAI, IIT Madras(CeRAI,IIT马德拉斯);WSAI, IIT Madras(WSAI,IIT马德拉斯);Google DeepMind(谷歌DeepMind)
InvisibleInk通过差分隐私保证,在降低计算成本的同时生成高质量隐私保护的长文本。
2025-11-28 cs.CL cs.CR cs.LG
SHAPED: Shared-Private Encoder-Decoder for Text Style Adaptation
UT Austin(德克萨斯大学奥斯汀分校);Google AI(谷歌人工智能)
抽象语言生成模型的监督训练导致基于监督训练信号学习语言序列上的条件概率。当训练信号包含各种书写风格时,这样的模型可能最终学习直接受训练数据组成影响并且不能由应用的需要控制的“平均”风格。我们描述了一个家庭的模型架构,能够捕捉通用的语言特征,通过共享的模型参数,以及特定的风格特征,通过私人模型参数。这样的模型能够根据特定的学习风格生成语言,同时仍然利用它们的能力来建模通用语言现象。此外,我们描述了一个扩展,它使用所有学习到的样式的输出分布的混合物来执行仅基于文本输入的动态样式适应。实验上,我们发现,所提出的模型始终优于封装单一风格或平均风格的语言生成能力的模型。
2018-04-11 cs.CL
Planting and Mitigating Memorized Content in Predictive-Text Language Models
University of Washington(华盛顿大学);Microsoft(微软)
语言模型被广泛部署以在用户产品中提供自动文本完成服务。然而,最近的研究表明,语言模型(特别是大型的)承担着相当大的风险,记忆私人训练数据,这是脆弱的泄漏和提取的对手。在这项研究中,我们测试了一系列隐私保护技术的有效性,以减轻敏感用户文本的非故意记忆,同时改变其他因素,如模型大小和对抗性条件。我们测试了“启发式”缓解措施(没有正式隐私保证的缓解措施)和差异私有训练,后者以一些模型性能为代价提供了可证明的隐私级别。我们的实验表明,(L2正则化除外),启发式缓解在很大程度上是无效的,防止记忆在我们的测试套件,可能是因为他们做了太强的假设的特征,定义“敏感”或“私人”的文本。相比之下,差分隐私在我们的实验中可靠地防止记忆,尽管它的计算和模型性能成本。
2022-12-16 cs.CL cs.CR
Current State in Privacy-Preserving Text Preprocessing for Domain-Agnostic NLP
Paderborn University(帕德博恩大学);Vellore Institute of Technology(韦洛尔理工学院)
本文综述了领域无关自然语言处理中隐私保护的文本预处理方法,重点介绍掩蔽和假名化技术,以应对大型语言模型从数据中提取私人信息的风险。
2025-08-05 cs.CL
Differentially Private Synthetic Data via Foundation Model APIs 2: Text
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Sun Yat-sen University(中山大学);University of Chicago(芝加哥大学)
提出 Aug-PE 算法,仅通过 LLM API 访问且无需模型训练即可生成差分隐私合成文本,在三个基准数据集上表现出与 SOTA DP 微调基线相当的效用,为隐私保护的 LLM 应用提供了更易访问的途径。
2024-07-23 cs.CL
ContinuousBench: Can Differentially Private Synthetic Text Improve Capabilities?
Columbia University(哥伦比亚大学);NYU(纽约大学);Google Research(谷歌研究);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Google(谷歌)
提出ContinuousBench基准,通过持续更新的数据集评估差分隐私合成文本能否传递原始语料库中的新知识,实验表明非隐私合成能有效转移知识,而最先进的DP合成方法即使在高隐私预算下也基本失败。
2026-06-02 cs.CL cs.CR cs.LG
Differentially Private Knowledge Distillation via Synthetic Text Generation
University of Southern California(南加州大学)
DistilDP通过合成文本生成实现差分隐私的知识蒸馏,提升LLMs的实用性和隐私保护性能。
2025-12-16 cs.CL cs.CR cs.LG
MERGE: Fast Private Text Generation
针对两方隐私保护方法难以支持自回归 NLG 且训练收敛、推理效率不足的问题,本文提出 MERGE 框架,通过复用隐藏状态和重组线性运算实现高效隐私文本生成。
2023-12-11 cs.AI cs.CL
Keep It Private: Unsupervised Privatization of Online Text
University of Maryland, College Park(马里兰大学学院公园分校)
针对现有作者身份混淆技术场景窄、输出不自然的问题,提出基于强化学习微调大语言模型的无监督文本私有化框架,在大规模Reddit数据集上验证其兼具高文本质量与隐私防护能力。
2024-05-16 cs.AI cs.CL
Controlled Generation for Private Synthetic Text
Johns Hopkins University(约翰霍普金斯大学)
针对高风险领域文本隐私保护需求,提出结合去标识化与HIPS理论、带实体感知控制码的可控合成文本生成方法,经法律和临床数据集验证,在隐私与效用间实现良好平衡。
2025-09-30 cs.AI cs.CL cs.LG
On the Impact of Noise in Differentially Private Text Rewriting
Technical University of Munich(慕尼黑工业大学)
本文提出一种句子填充隐私化技术,通过实证研究揭示了噪声在差分隐私文本重写中对效用的影响,并对比了非DP方法在隐私-效用权衡上的表现与挑战。
2025-01-31 cs.CL
Struct-Bench: A Benchmark for Differentially Private Structured Text Generation
Carnegie Mellon University(卡内基梅隆大学);Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
提出Struct-Bench框架与基准,利用上下文无关文法评估含自然语言的结构化差分隐私合成数据,并提供标准化平台与案例研究以改进生成方法。
2025-09-12 cs.CL cs.LG
With Privacy, Size Matters: On the Importance of Dataset Size in Differentially Private Text Rewriting
Technical University of Munich School of Computation, Information and Technology(慕尼黑技术大学计算、信息与技术学院);Department of Computer Science(计算机科学系)
首次在差分隐私文本重写评估中引入数据集规模因素,通过在最多100万条文本的数据集上设计动态划分的效用和隐私测试,发现数据集规模对隐私-效用权衡具有重要影响,呼吁更严格的评估程序。
2025-11-01 cs.CL
Differentially Private Language Models for Secure Data Sharing
RWTH Aachen(亚琛工业大学);MPI(马克斯·普朗克研究所);ETH Zürich(苏黎世联邦理工学院);SAP Security Research(SAP安全研究院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
为了保护其数据被共享的个人的隐私,开发允许研究人员和公司发布文本数据的方法,同时向其原始人提供正式的隐私保证,这一点非常重要。在NLP领域,大量的努力已经指向在本地差分隐私的框架之后构建机制,从而在发布它们之前匿名化个体文本样本。在实践中,由于本地差分隐私所需的强噪声,这些方法在其输出语言的质量方面通常是不令人满意的。在本文中,我们使用全局差分隐私来处理手头的问题,特别是通过以差异隐私的方式训练生成语言模型并因此从中采样数据。使用自然语言提示和新的不匹配损失,我们能够创建高度准确和流畅的文本数据集,这些数据集具有特定的所需属性,如情感或主题,并类似于训练的统计属性。数据我们进行了彻底的实验,表明我们的合成数据集不会从原始数据中泄漏信息,并且具有高语言质量,非常适合用于训练模型,以便进一步分析真实世界的数据。值得注意的是,我们还证明了在私人合成数据上训练分类器的性能优于直接在真实数据上使用DP-SGD训练分类器。
2022-10-26 cs.CL cs.CR cs.LG
Differentially-private text generation degrades output language quality
本研究探讨了差分隐私微调对大语言模型生成文本质量和效用的影响,发现更强的隐私约束会导致文本变短、语法正确性和多样性下降,并降低下游分类任务的准确率。
2025-09-14 cs.AI cs.CL
How to keep text private? A systematic review of deep learning methods for privacy-preserving natural language processing
Know-Center GmbH(Know-Center有限公司);Graz University of Technology(格拉茨技术大学)
用于自然语言处理(NLP)任务的深度学习(DL)模型通常处理私人数据,需要保护以防止违规和泄露。数据保护法律,如欧盟的一般数据保护条例(GDPR),从而加强了对隐私的需求。虽然近年来提出了许多隐私保护的NLP方法,但尚未引入组织它们的类别,因此很难跟踪文献的进展。为了缩小这一差距,本文系统地回顾了2016年至2020年期间发表的60多种隐私保护NLP的DL方法,包括理论基础,隐私增强技术以及对现实场景的适用性分析。首先,我们引入了一种新的分类法,将现有的方法分为三类:数据保护方法,可信方法和验证方法。其次,我们对隐私威胁、应用程序数据集和隐私评估指标进行了广泛的总结。第三,在整个审查过程中,我们从整体上描述了NLP管道中的隐私问题。此外,我们还讨论了隐私保护NLP在数据可追溯性、计算开销、数据集大小、嵌入中人类偏见的普遍性以及隐私-效用权衡方面面临的挑战。最后,本文提出了未来的研究方向,以指导后续的研究和发展的隐私保护NLP模型。
2022-05-20 cs.CL
Synthesizing Privacy-Preserving Text Data via Finetuning without Finetuning Billion-Scale LLMs
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出CTCL框架,通过预训练轻量级条件生成器与聚类主题模型,并结合差分隐私微调和DP直方图采样,在不微调十亿级LLM的前提下高效生成隐私保护合成数据。
2025-07-17 cs.CL
Leveraging Semantic Triples for Private Document Generation with Local Differential Privacy Guarantees
Technical University of Munich School of Computation, Information and Technology Department of Computer Science(慕尼黑技术大学计算、信息与技术学院计算机科学系)
本文提出 DP-ST 方法,利用语义三元组在本地差分隐私保证下进行邻域感知的私有文档生成,通过分而治之范式并结合大语言模型后处理,在较低隐私预算下实现连贯且兼顾隐私与效用的文本生成。
2025-08-28 cs.CL
DP-GTR: Differentially Private Prompt Protection via Group Text Rewriting
University of North Texas(北卡罗来纳州立大学);Department of Computer Science and Engineering(计算机科学与工程系);Department of Data Science(数据科学系)
针对现有提示隐私保护方法忽视文本多粒度表示的问题,提出DP-GTR三阶段框架,结合局部差分隐私和组文本重写,整合文档级与词级信息,在两个数据集上实现更优隐私-实用性权衡,且可作为插件兼容现有技术。
2025-09-19 cs.CL
A Differentially Private Text Perturbation Method Using a Regularized Mahalanobis Metric
Amazon Alexa(亚马逊 Alexa)
平衡隐私-效用权衡是许多处理敏感客户数据的实用机器学习系统的关键要求。隐私保护文本分析的一种流行方法是噪声注入,其中文本数据首先映射到连续的嵌入空间,通过从适当的分布中采样球形噪声来扰动,然后投影回离散的词汇空间。虽然这允许扰动允许所需的度量差分隐私,但是通常在该扰动数据上建模的下游任务的效用是低的,因为球形噪声不考虑嵌入空间中不同单词周围的密度的可变性。特别是,即使噪声尺度很大,稀疏区域中的单词也可能不变。%使用该机制的全局敏感性可能会在嵌入空间的密集区域中向单词添加太多噪声,导致高效用损失,而使用局部敏感性可能会通过添加的噪声的规模泄漏信息。在本文中,我们提出了一个文本扰动机制的基础上精心设计的正则化变体的马氏度量来克服这个问题。对于任何给定的噪声尺度,该度量添加椭圆噪声以说明嵌入空间中的协方差结构。沿着不同方向的噪声尺度的这种异质性有助于确保稀疏区域中的单词具有足够的替换可能性,而不会牺牲整体效用。我们提供了一个文本扰动算法的基础上,这个度量和正式证明其隐私保证。此外,我们的经验表明,我们的机制提高了隐私统计,以实现相同水平的效用相比,国家的最先进的拉普拉斯机制。
2020-10-22 cs.CL cs.CR cs.LG
DP-OPD: Differentially Private On-Policy Distillation for Language Models
Santa Clara University(圣克拉拉大学);Independent Researcher(独立研究员)
本文提出DP-OPD,一种无需合成的差分隐私在线策略蒸馏框架,通过在学生模型上应用DP-SGD实现隐私保护,利用冻结的教师模型提供密集的token级目标,提升压缩效率和隐私-效用平衡。
2026-04-06 cs.AI cs.CL cs.LG