How Much User Context Do We Need? Privacy by Design in Mental Health NLP Application
University of Marburg（马尔堡大学）；Technical University of Darmstadt（达姆施塔特工业大学）；Georgia Institute of Technology（佐治亚理工学院）；Manipal Institute of Technology（马尼帕尔理工学院）
临床NLP任务，如从文本进行心理健康评估，必须考虑社会约束-性能最大化必须受到保证用户数据隐私的最重要性的约束。消费者保护法规（如GDPR）通常通过限制数据可用性来处理隐私，例如要求将用户数据限制为特定目的所需的数据。在这项工作中，我们的理由是，提供更严格的正式隐私保证，同时增加模型中的用户数据的量，在大多数情况下，增加利益的所有参与方，特别是用户。我们证明了我们的论点上的两个现有的自杀风险评估数据集的Twitter和Reddit的职位。我们提出的第一个分析并列用户历史长度和差分隐私预算和详细说明如何建模额外的用户上下文使实用程序保存，同时保持可接受的用户隐私保证。
2022-09-05 cs.CL cs.CR
When Explainability Meets Privacy: An Investigation at the Intersection of Post-hoc Explainability and Differential Privacy in the Context of Natural Language Processing
本文针对自然语言处理中可解释性与隐私的交叉点缺乏研究的问题，基于差分隐私和事后可解释性方法实证调查了隐私-可解释性权衡，揭示了两者间复杂关系，并提出了共存潜力及未来研究的实用建议。
2025-08-15 cs.CL
When differential privacy meets NLP: The devil is in the detail
Technical University of Darmstadt（达姆施塔特工业大学）
差分隐私提供了一个正式的方法来保护个人隐私。差分隐私在各种场景中的应用，例如保护用户的原始话语，必须满足某些数学性质。我们的贡献是对ADePT的正式分析，ADePT是一种用于文本重写的差分私有自动编码器（Krishna等人，2021）。ADePT在下游任务上取得了令人鼓舞的成果，同时提供了严格的隐私保证。我们的证据表明，ADePT是没有差异的私人，从而使实验结果未经证实。我们还量化了其私有机制中的错误的影响，表明在非常小的编码器维度的乐观情况下，真实的灵敏度至少高出6倍，并且未私有化的话语量可以轻松达到整个数据集的100%。我们的意图既不是批评作者，也不是批评同行评审过程，而是指出，如果NLP中的差分隐私应用依赖于正式的保证，这些应该被全面概述并进行详细审查。
2021-09-07 cs.CL cs.CR
NLP Privacy Risk Identification in Social Media (NLP-PRISM): A Survey
George Mason University（乔治·马歇尔大学）
本文提出NLP-PRISM框架，系统评估社交媒体中NLP处理的隐私风险，揭示模型隐私保护与效用之间的权衡，并呼吁加强隐私保护措施。
2026-01-26 cs.AI cs.CL cs.CR
Privacy Evaluation Benchmarks for NLP Models
Ant Group（蚂蚁集团）；East China Normal University（华东师范大学）
本文提出一个覆盖传统模型与LLM的NLP隐私攻击与防御评估基准，并基于该框架研究辅助数据与攻击强度的关联，提出基于知识蒸馏的改进攻击方法及链式攻击框架。
2024-10-01 cs.CL cs.LG
Thinking Outside of the Differential Privacy Box: A Case Study in Text Privatization with Language Model Prompting
Technical University of Munich（慕尼黑工业大学）；School of Computation, Information and Technology（计算、信息与技术学院）
本文以DP-Prompt为案例，通过多场景重写实验和效用与隐私评估，批判性审视差分隐私在NLP中的限制，呼吁重新讨论其可用性与相对优势。
2024-10-01 cs.CL
Fair NLP Models with Differentially Private Text Encoders
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
编码文本表示通常捕获关于个体的敏感属性（例如，种族或性别），这会引起隐私问题，并可能使下游模型对某些群体不公平。在这项工作中，我们提出了FEDERATE，这是一种结合了差分隐私和对抗性训练的思想来学习私有文本表示的方法，它也可以引入更公平的模型。我们在四个NLP数据集上实证评估了表示的隐私性与下游模型的公平性和准确性之间的权衡。我们的研究结果表明，FEDERATE不断改进以前的方法，从而表明隐私和公平可以积极地相互加强。
2022-05-12 cs.CL cs.LG
A Comparative Analysis of Word-Level Metric Differential Privacy: Benchmarking The Privacy-Utility Trade-off
Technical University of Munich（慕尼黑工业大学）；TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）
本文针对词级差分隐私缺乏横向比较的问题，在两个 NLP 任务和多种超参数（含隐私预算 ε）下基准测试七种算法，分析隐私-效用权衡并开源代码。
2024-04-04 cs.CL
With Privacy, Size Matters: On the Importance of Dataset Size in Differentially Private Text Rewriting
Technical University of Munich School of Computation, Information and Technology（慕尼黑技术大学计算、信息与技术学院）；Department of Computer Science（计算机科学系）
首次在差分隐私文本重写评估中引入数据集规模因素，通过在最多100万条文本的数据集上设计动态划分的效用和隐私测试，发现数据集规模对隐私-效用权衡具有重要影响，呼吁更严格的评估程序。
2025-11-01 cs.CL
Transparent NLP: Using RAG and LLM Alignment for Privacy Q&A
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）；Ruhr University Bochum（波鸿鲁尔大学）；Research Center Trustworthy Data Science and Security（可信数据科学与安全研究中心）；FIZ Karlsruhe - Leibniz Institute for Information Infrastructure（卡尔斯鲁厄FIZ - 莱布尼茨信息基础设施研究所）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）
针对GDPR透明度原则下语言模型的局限性，研究结合对齐技术的RAG系统（含RAIN及扩展MultiRAIN），通过隐私问答数据集及21个指标评估，发现其优于基线但未达人类水平，为合规框架集成先进NLP提供基础。
2025-02-10 cs.CL
1-Diffractor: Efficient and Utility-Preserving Text Obfuscation Leveraging Word-Level Metric Differential Privacy
Technical University of Munich（慕尼黑工业大学）
本文提出词级度量本地差分隐私文本混淆机制1-Diffractor，在保持竞争性效用和隐私水平的同时显著提升计算效率，并通过多任务实验验证其有效性。
2024-05-02 cs.CL
To share or not to share: What risks would laypeople accept to give sensitive data to differentially-private NLP systems?
Technical University of Darmstadt（达姆施塔特工业大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Paderborn University（帕德博恩大学）
针对差分隐私NLP系统中隐私预算$\varepsilon$选择任意的问题，通过311名参与者的行为实验，探究普通人在真实NLP场景下愿意分享敏感文本数据的$\varepsilon$阈值。
2024-03-25 cs.CL cs.CR
Privacy enabled Financial Text Classification using Differential Privacy and Federated Learning
Manipal Institute of Technology（马尼帕尔理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Yildiz Technical University（耶尔德兹理工大学）
考虑到金融领域，隐私很重要，因为这些数据是高度机密和敏感的。自然语言处理（NLP）技术可以应用于金融领域的文本分类和实体检测目的，例如客户反馈情感分析、发票实体检测、按类型对金融文档进行分类等。由于此类数据的敏感性，需要采取隐私措施来处理和训练具有此类数据的大型模型。在这项工作中，我们提出了一个上下文化的Transformer（BERT和RoBERTa）的文本分类模型集成的隐私功能，如差分隐私（DP）和联邦学习（FL）。我们介绍了如何私下训练NLP模型和理想的隐私-效用权衡，并在金融短语银行数据集上对其进行评估。
2021-10-04 cs.CL cs.CR
LLM-as-a-Judge for Privacy Evaluation? Exploring the Alignment of Human and LLM Perceptions of Privacy in Textual Data
Technical University of Munich School of Computation, Information（慕尼黑技术大学计算、信息与技术学院）
本文研究LLM-as-a-Judge范式能否用于文本隐私评估，通过10个数据集、13个LLM和677名人类参与者的实验，发现LLM能较准确建模人类隐私视角，为LLM作为隐私评估器的可行性提供了实证依据。
2025-08-16 cs.CL
Does Differential Privacy Impact Bias in Pretrained NLP Models?
University of Virginia（弗吉尼亚大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文通过实证分析考察差分隐私微调对 LLM 偏见的影响，发现其会加剧基于 AUC 指标的受保护群体偏见，且影响同时取决于隐私保护水平和数据分布。
2024-10-24 cs.AI cs.CL cs.LG
How reparametrization trick broke differentially-private text representation learning
本文形式化分析了几篇基于DPText的NLP论文，揭示了重参数化技巧导致其差分隐私声明失效，并提出经验性检查方法以判断DP机制实现是否违反隐私损失保证。
2022-03-03 cs.CL cs.CR
FewFedWeight: Few-shot Federated Learning Framework across Multiple NLP Tasks
Tianjin University（天津大学）；ByteDance（字节跳动）
大规模多任务学习与大语言模型最近取得了实质性进展的Few-Shot泛化。然而，这通常以集中式学习的方式执行，忽略了多个任务中使用的（注释）数据的隐私敏感性问题。为了缓解这个问题，我们提出了FewFedWeight，一个跨多个任务的Few-Shot联邦学习框架，以实现两全其美：隐私保护和跨任务泛化。FewFedWeight在隔离的设备中训练客户端模型，而不共享数据。它将服务器中的全局模型广播到每个客户端，并为客户端产生伪数据，以便可以探索来自全局模型的知识，以增强每个客户端模型的少样本学习。进一步提出了一种基于能量的算法来加权伪样本，以减少来自所生成的伪数据的噪声的负面影响。客户端模型的自适应模型权重也根据其性能进行调整。我们使用这些模型权重来动态聚合客户端模型以更新全局模型。在118个NLP任务上的实验表明，FewFedWeight可以显著提高客户端模型在61%任务上的性能，平均性能提高率为30.5%，并且大大优于FedAvg和其他分散式学习方法。
2022-12-16 cs.CL
Federated Learning with Layer Skipping: Efficient Training of Large Language Models for Healthcare NLP
Harvard University（哈佛大学）；Purdue University（普渡大学）
针对联邦学习训练医疗NLP大语言模型面临的通信开销和数据异质性挑战，提出层跳过联邦学习方法，通过仅微调LLM选定层降低约70%通信成本，在保持性能接近集中训练的同时优于基线，为医疗NLP隐私保护协作学习提供实用方案。
2025-04-13 cs.AI cs.CL cs.LG
PBa-LLM: Privacy- and Bias-aware NLP using Named-Entity Recognition (NER)
Biometrics and Data Pattern Analytics Lab（生物识别与数据模式分析实验室）
针对LLM的隐私与偏见问题，提出基于NER匿名化和性别偏见减少的PBa-LLM框架，在简历评分场景中验证了性能保持与隐私保护效果。
2025-07-09 cs.AI cs.CL cs.CR
Toward Secure and Compliant AI: Organizational Standards and Protocols for NLP Model Lifecycle Management
ICAART 2026
提出SC-NLP-LMF六阶段框架，通过系统综述整合NIST AI RMF等标准，结合偏差检测、差分隐私等方法，保障NLP系统从开发到退役的安全与合规，并以医疗案例验证其有效性。
2025-12-26 cs.CL cs.CR cs.CY
Beyond The Text: Analysis of Privacy Statements through Syntactic and Semantic Role Labeling
New York University（纽约大学）
本文制定了一个新的任务，从隐私政策中提取隐私参数，通过上下文完整性，一个既定的社会理论框架推理隐私规范的镜头。由律师撰写的隐私政策篇幅冗长，往往包含不完整和模糊的陈述。在本文中，我们表明，传统的NLP任务，包括最近提出的基于加密的解决方案，不足以解决隐私参数提取问题，并提供较差的精度和召回率。我们描述了4种不同类型的传统方法，可以部分地适应于解决不同程度的成功的参数提取任务：隐马尔可夫模型，BERT微调模型，依赖类型解析（DP）和语义角色标注（SRL）。基于对36个现实世界的主要企业的隐私政策的详细评估，我们证明了一个解决方案，结合语法DP加上特定类型的SRL任务提供了最高的准确性，从隐私声明中检索上下文隐私参数。我们还观察到，结合特定领域的知识对于实现高精度和召回率至关重要，从而激发了新的NLP研究来解决隐私领域的这一重要问题。
2020-10-01 cs.CL cs.CY
Crowdsourcing on Sensitive Data with Privacy-Preserving Text Rewriting
DIPF, Leibniz Institute for Research and Information in Education（莱布尼茨教育研究与信息研究所（DIPF））；summetix GmbH（Summetix有限公司）；Technical University of Darmstadt（达姆施塔特工业大学）
NLP中的大多数任务都需要标记数据。由于可扩展性的原因，数据标签通常在众包平台上完成。但是，只有在不包含隐私相关信息的情况下，才能在公共平台上发布数据。文本数据通常包含敏感信息，如人名或位置。在这项工作中，我们调查如何删除个人身份信息（PII）以及应用差分隐私（DP）重写可以使文本与隐私相关的信息被用于众包。我们发现，在众包之前进行DP重写可以保护隐私，同时仍然可以为某些任务和数据提供良好的标签质量。在所有检查的任务中，去除PII导致良好的标签质量，但是，没有给出隐私保证。
2023-03-06 cs.CL
An Efficient DP-SGD Mechanism for Large Scale NLP Models
Amazon Alexa AI（亚马逊 Alexa 人工智能）；University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
深度学习的最新进展极大地提高了许多自然语言理解（NLU）任务的性能。然而，用于训练NLU模型的数据可能包含私人信息，例如地址或电话号码，特别是当从人类受试者中提取时。期望底层模型不暴露包含在训练数据中的私有信息。差分私有随机梯度下降（DP-SGD）已被提出作为一种机制来建立隐私保护模型。然而，DP-SGD的训练速度可能非常慢。在这项工作中，我们提出了一种更有效的DP-SGD，用于使用GPU基础设施进行训练，并将其应用于基于LSTM和Transformer架构的微调模型。我们报告了更快的训练时间，以及准确性，理论上的隐私保证和成员推断攻击的成功，并观察到与DP-SGD的拟议变体进行微调可以产生有竞争力的模型，而不会显着降低训练时间和改善隐私保护。我们还观察到，如宽松的理论$ε, δ$可以转化为显着的实际隐私收益。
2022-03-02 cs.CL cs.CR cs.LG
Differentially Private Natural Language Models: Recent Advances and Future Directions
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Technical University of Darmstadt（达姆施塔特工业大学）；JD AI Research（京东人工智能研究院）
本文系统综述了差分隐私自然语言模型（DP-NLP）的最新进展，从梯度扰动、嵌入向量扰动和集成模型三方面介绍方法，并讨论了与传统差分隐私深度学习的差异、挑战及未来方向。
2023-10-23 cs.AI cs.CL cs.LG
Trade-Offs Between Fairness and Privacy in Language Modeling
Technical University of Darmstadt（达姆施塔特工业大学）；Universität Bielefeld（比勒费尔德大学）
本文研究文本生成模型中隐私保护与公平性之间的权衡，通过同时引入隐私保护和去偏技术，并借助偏见检测、隐私攻击、语言建模及下游任务实验，揭示沿单一维度优化对另一维度及模型效用的影响。
2023-05-24 cs.CL
On the Impact of Noise in Differentially Private Text Rewriting
Technical University of Munich（慕尼黑工业大学）
本文提出一种句子填充隐私化技术，通过实证研究揭示了噪声在差分隐私文本重写中对效用的影响，并对比了非DP方法在隐私-效用权衡上的表现与挑战。
2025-01-31 cs.CL
Balancing Innovation and Privacy: Data Security Strategies in Natural Language Processing Applications
University of Southern California（南加州大学）；San Francisco State University（旧金山州立大学）；Southwest Jiaotong University（西南交通大学）；Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出一种基于差分隐私的NLP隐私保护算法，在确保数据分析准确性的同时有效防止敏感信息泄露，在效率、扩展性与隐私-实用性平衡上优于传统方法。
2024-10-11 cs.AI cs.CL cs.CR
Controlling What You Share: Assessing Language Model Adherence to Privacy Preferences
ILCC, University of Edinburgh（爱丁堡大学ILCC）；ILLC, University of Amsterdam（阿姆斯特丹大学ILLC）
本文提出基于隐私配置文件的本地查询重写框架，并构建多语言数据集 PEEP，使轻量级微调 LLM 在保护敏感信息的同时达到或超过大型零样本模型性能。
2025-10-17 cs.AI cs.CL
Privacy-Preserving Models for Legal Natural Language Processing
针对法律NLP中预训练模型易受隐私攻击的问题，本文在差分隐私范式下对transformer模型进行大规模自监督预训练，在无需额外标注数据且不牺牲隐私的前提下提升了下游任务性能。
2022-11-05 cs.CL
Evaluating Differentially Private Synthetic Data Generation in High-Stakes Domains
Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊公司）
本研究探索在高风险领域使用差分隐私语言模型生成合成数据替代真实数据，并提出基于实际用途的评估方法，揭示了现有合成数据在实用性、隐私和公平性方面的问题，强调需进一步改进以实现隐私保护的数据共享。
2024-10-10 cs.CL
Towards Automatic Generation of Shareable Synthetic Clinical Notes Using Neural Language Models
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；IBM Almaden Research Center（IBM阿尔马登研究中心）
大规模的临床数据对于推动当今许多计算科学的进步是非常宝贵的。然而，对患者隐私的担忧阻碍了此类数据的公开传播，并导致了次优的孤立研究。去识别方法试图解决这些问题，但被证明是容易受到对抗攻击。在这项工作中，我们专注于存储在临床笔记中的大量非结构化自然语言数据，并提出自动生成合成临床笔记，这些笔记更适合使用在真实去识别记录上训练的生成模型进行共享。为了评估这些笔记的优点，我们测量了它们的隐私保护特性以及在训练临床NLP模型中的实用性。使用神经语言模型的实验产生的笔记，其效用接近的一些临床NLP任务的真实的，但留下足够的空间，为未来的改进。
2019-05-21 cs.CL
No Intruder, no Validity: Evaluation Criteria for Privacy-Preserving Text Anonymization
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
对于NLP研究人员和从业者之间共享的敏感文本数据，共享文档需要遵守数据保护和隐私法。因此，人们对文本匿名化的自动化方法越来越感兴趣。然而，衡量此类方法的性能具有挑战性：缺失一个识别属性就可能泄露个人的身份。在本文中，我们提请注意这个问题，并认为，研究人员和从业人员开发自动文本匿名化系统应仔细评估他们的评估方法是否真正反映了系统的能力，以保护个人被重新识别。然后，我们提出了TILD，一组评估标准，包括匿名化方法的技术性能，其匿名化造成的信息丢失，以及人类对编辑文档进行去匿名化的能力。这些标准可以促进朝着用于测量匿名化性能的标准化方式的进展。
2021-03-16 cs.CL
Training Natural Language Processing Models on Encrypted Text for Enhanced Privacy
Karabuk University（卡拉布克大学）
针对云环境下NLP模型训练的数据隐私问题，提出在加密文本上训练模型的方法，经Doc2Vec+XGBoost、Doc2Vec+LSTM两种架构在20 Newsgroups数据集上验证，可在不损失准确率的同时保障隐私，并提供复现用Colab notebook。
2023-05-03 cs.AI cs.CL cs.CR
Benchmarking Differential Privacy and Federated Learning for BERT Models
Manipal Institute of Technology（马尼帕尔理工学院）；Carnegie Mellon University（卡内基梅隆大学）；OpenMined；Yildiz Technical University（耶尔德兹技术大学）；Ford Motor Company（福特汽车公司）；University of California, San Diego（加州大学圣地亚哥分校）
自然语言处理（NLP）技术可以应用于帮助诊断医疗条件，如抑郁症，使用一个人的话语集合。抑郁症是一种严重的医学疾病，会对一个人的感觉、思想和行为产生不利影响，从而导致情绪和身体问题。由于这些数据的敏感性，需要采取隐私措施来处理和训练这些数据的模型。在这项工作中，我们研究了差分隐私（DP）的应用，在集中式和联邦学习（FL）的设置，训练上下文语言模型（BERT，ALBERT，RoBERTa和DistilBERT）的影响。我们提供了关于如何私下训练NLP模型以及什么架构和设置提供更理想的隐私实用程序权衡的见解。我们设想这项工作将用于未来的医疗保健和心理健康研究，以保持病史的私密性。因此，我们提供了这项工作的开源实现。
2022-06-16 cs.CL cs.CR cs.LG
Large Language Models: A New Approach for Privacy Policy Analysis at Scale
ETSI Telecomunicación Universidad Politécnica de Madrid Spain（马德里理工大学电信工程学院）；School of Computer Science Carnegie Mellon University（计算机科学学院卡内基梅隆大学）
本文提出利用大型语言模型进行大规模隐私政策分析，通过高效提取隐私实践，实现高准确率和低资源消耗。
2024-05-31 cs.CL cs.CY
Towards Automatic Comparison of Data Privacy Documents: A Preliminary Experiment on GDPR-like Laws
Georgetown University（乔治城大学）
《通用数据保护条例》（GDPR）已成为许多国家的数据保护标准法律。目前，有12个国家采用了该法规，并制定了类似GDPR的法规。然而，评估这些类似GDPR的法规的差异和相似之处是耗时的，需要法律专家进行大量的人工努力。此外，来自不同国家的类似GDPR的法规是用他们的语言编写的，这导致了更困难的任务，因为懂两种语言的法律专家至关重要。在本文中，我们研究了一个简单的自然语言处理（NLP）的方法来解决这个问题。我们首先从类似GDPR的文档中提取信息块，并从自然语言中形成结构化数据。接下来，我们使用NLP方法来比较文档以测量它们的相似性。最后，我们手动标记一小组数据来评估我们的方法。实证结果表明，基于余弦相似度的BERT模型优于其他基线模型。我们的数据和代码是公开的。
2021-05-21 cs.CL cs.IR
ADePT: Auto-encoder based Differentially Private Text Transformation
Amazon Alexa（亚马逊Alexa）
在对包含个人信息的数据建立统计模型时，隐私是一个重要的问题。差分隐私提供了隐私的强定义，并且可以用于解决若干隐私问题（Dwork等人，2014年）。对于包含敏感信息的数据集的差分私有变换，已经提出了多种解决方案。然而，由于过程中添加的噪声，这种变换算法在自然语言处理（NLP）任务中提供较差的实用性。在本文中，我们解决这个问题，提供了一个实用程序保持差分私有文本转换算法，使用自动编码器。我们的算法转换文本以提供对攻击的鲁棒性，并产生具有高语义质量的转换，在下游NLP任务中表现良好。我们证明了我们算法的理论隐私保证，并评估了其在成员推断攻击（MIA）下的隐私泄露情况（Shokri等人，2017年）使用转换数据训练的模型。我们的研究结果表明，该模型对MIA攻击的表现更好，同时提供较低或没有退化的底层转换过程的效用相比，现有的基线。
2021-01-29 cs.AI cs.CL cs.CR
Multi-Site Clinical Federated Learning using Recursive and Attentive Models and NVFlare
Korea University（高丽大学）；Cipherome Inc.（Cipherome公司）
本文提出结合联邦学习、NLP模型和NVFlare框架的实用医疗NLP方法，利用LSTM和BERT模型解决多站点临床数据隐私与法规遵从性问题，同时保持高准确性和性能。
2023-06-28 cs.CL cs.DC cs.LG
HealthcareNLP: where are we and what is next?
Leiden University Medical Centre（莱顿大学医学中心）；Lancaster University（兰卡斯特大学）；University of Manchester（曼彻斯特大学）；The Leiden Institute of Advanced Computer Science（莱顿先进计算机科学研究所）
本文提出一个关于HealthcareNLP的入门教程，涵盖医疗领域NLP的应用现状、挑战及未来方向，包含数据资源、NLP评估和患者层面的多层次内容。
2026-10-08 cs.CL
A Multi-Agent Framework for Mitigating Dialect Biases in Privacy Policy Question-Answering Systems
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Tecnológico de Monterrey（蒙特雷技术学院）
本文提出一种多智能体框架，通过方言智能体和隐私政策智能体协作，提升隐私政策问答系统对非标准方言的处理能力，有效缓解方言偏见问题。
2026-01-31 cs.CL
FedQAS: Privacy-aware machine reading comprehension with federated learning
Uppsala University, Sweden（瑞典乌普萨拉大学）；Scaleout Systems, Sweden（瑞典Scaleout Systems公司）；Department of Information Technology（信息技术系）；Division of Scientific Computing（科学计算部）
文本数据的机器阅读理解（MRC）是自然语言理解的一个重要任务。这是一个复杂的NLP问题，随着斯坦福问答数据集（SQuAD）和会话式问答（CoQA）的发布，许多研究正在进行中。它被认为是教计算机如何“理解”文本，然后能够使用深度学习回答有关文本的问题的努力。然而，到目前为止，关于私人文本数据和知识共享的大规模培训一直缺乏这个NLP任务。因此，我们提出了FedQAS，这是一个保护隐私的机器阅读系统，能够利用大规模的私有数据，而不需要将这些数据集集中在一个中心位置。该方法结合了Transformer模型和联邦学习技术。该系统使用FEDn框架开发，并作为概念验证联盟计划部署。FedQAS是灵活的，语言无关的，并允许直观的参与和执行本地模型训练。此外，我们提出了该系统的架构和实现，以及提供一个基于SQUAD数据集的参考评估，以展示它如何克服数据隐私问题，并在联邦学习环境中实现联盟成员之间的知识共享。
2022-02-09 cs.AI cs.CL cs.LG
A Collocation-based Method for Addressing Challenges in Word-level Metric Differential Privacy
Technical University of Munich（慕尼黑工业大学）；School of Computation, Information and Technology（计算、信息与技术学院）
本文提出在词级与句子级之间的搭配层面扰动n-gram，通过构建融合一元词与多元搭配的嵌入模型，提升词级度量差分隐私输出的语义连贯性和长度灵活性，并以效用与隐私实验证明超越词级令牌化策略的必要性。
2024-06-30 cs.CL
Granularity is crucial when applying differential privacy to text: An investigation for neural machine translation
Technical University of Darmstadt（达姆施塔特工业大学）；University Alliance Ruhr（鲁尔大学联盟）；Ruhr University Bochum（波鸿鲁尔大学）
本文研究了在神经机器翻译中应用差分隐私时，句子级与文档级粒度对隐私保护效用的不同影响，发现文档级NMT系统在抵御成员推理攻击和防止个人信息泄露方面表现更优，强调了选择正确隐私粒度的重要性。
2024-09-26 cs.CL
Accurate Medical Named Entity Recognition Through Specialized NLP Models
Tulane University（杜兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Pennsylvania（宾夕法尼亚大学）；New York University（纽约大学）；University of Houston（休斯顿大学）
本研究针对医疗命名实体识别任务，对比多款预训练模型验证了BioBERT的性能优势，分析其隐私合规挑战并提出未来优化方向，为医疗信息抽取提供了有效工具。
2024-12-11 cs.CL
The NLP Sandbox: an efficient model-to-data system to enable federated and unbiased evaluation of clinical NLP models
Sage Bionetworks（赛奇生物网络研究所）；University of Washington（华盛顿大学）；Mayo Clinic（梅奥诊所）；Medical College of Wisconsin（威斯康星医学院）；Tempus Lab（Tempus实验室）
目的临床文本去识别的自然语言处理（NLP）模型的评价依赖于临床笔记的可用性，而临床笔记的可用性通常由于隐私问题而受到限制。NLP Sandbox是一种通过采用联邦模型到数据方法来缓解NLP模型缺乏数据和评估框架的方法。这使得无偏见的联邦模型评估成为可能，而无需共享来自多个机构的敏感数据。材料和方法我们利用Synapse协作框架、容器化软件和OpenAPI生成器构建NLP Sandbox（nlpsandbox.io）。我们评估了两个最先进的NLP去识别集中的注释模型，Philter和NeuroNER，使用来自三个机构的数据。我们使用来自外部验证站点的数据进一步验证了模型性能。结果我们通过去识别临床模型评估证明了NLP沙箱的有用性。外部开发人员能够将他们的模型合并到NLP Sandbox模板中，并提供用户体验反馈。讨论我们证明了使用NLP沙箱进行临床文本去识别模型的多站点评估而无需共享数据的可行性。标准化的模型和数据模式使模型传输和实现更加顺畅。为了推广NLP沙箱，数据所有者和模型开发人员需要开发合适的标准化模式，并调整他们的数据或模型以适应模式。结论NLP Sandbox降低了利用临床数据进行NLP模型评估的障碍，并促进了NLP模型的联合，多站点，无偏评估。
2022-06-28 cs.AI cs.CL
An In-Depth Evaluation of Federated Learning on Biomedical Natural Language Processing
University of Minnesota（明尼苏达大学）；University of Pennsylvania（宾夕法尼亚大学）；Nvidia Corporation（英伟达公司）
本研究在2项生物医学NLP任务、8个语料库和6种语言模型上评估联邦学习，发现其优于单客户端训练模型，有时与集中训练相当，且比大型语言模型更快更优。
2023-11-11 cs.CL
Vocabulary Transfer for Biomedical Texts: Add Tokens if You Can Not Add Data
Higher School of Economics（高等经济学院）；CAIRO, THWS（维尔茨堡应用科学大学CAIRO研究所）
针对生物医学NLP任务中数据匮乏且对高准确率要求高的挑战，本研究提出通过词表扩展技术将领域特定术语纳入目标词表，实验证明该方法有效提升了下游模型性能和推理时间。
2024-11-16 cs.CL
Semantics-Preserved Distortion for Personal Privacy Protection in Information Management
School of Information Management, Wuhan University（武汉大学信息管理学院）；Key Laboratory of Archival Intelligent Development and Service, NAAC（国家档案局档案智能发展与服务重点实验室）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Computer Science and Engineering, University of California, San Diego（加州大学圣迭戈分校计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
针对信息管理中模型易记忆文本敏感信息的问题，本文提出基于邻域分布散度的两种语义保留失真框架，经多任务及医疗场景验证，在隐私保护上比结构改进方法更简单有效。
2024-07-08 cs.CL
Incorporating Worker Perspectives into MTurk Annotation Practices for NLP
UC Berkeley（加州大学伯克利分校）
本研究通过文献综述和工人调查，揭示MTurk工人偏好与NLP研究者认知的差异，并提出改进标注实践以尊重工人权利和提升数据质量的建议。
2023-11-16 cs.AI cs.CL
FedCoT: Federated Chain-of-Thought Distillation for Large Language Models
Hong Kong University of Science and Technology（香港科学与技术大学）；WeBank；Hong Kong Polytechnic University（香港理工大学）
FedCoT提出一种联邦思维链蒸馏框架，在保护客户端数据隐私的前提下，通过扰动提示和两种指数机制策略将大语言模型知识高效迁移至小语言模型，并在文本生成任务中验证了其有效性。
2025-11-09 cs.AI cs.CL
Cloaked Classifiers: Pseudonymization Strategies on Sensitive Classification Tasks
Inria（法国国家信息与自动化研究所）
本文探讨了在GDPR等法规下共享敏感NLP数据时平衡数据效用与隐私保护的问题，提出了一种手动对多语言激进化数据集进行假名化的方法，确保性能与原始数据相当，并分享了完整的假名化流程、指南及最终数据集。
2024-06-25 cs.CL
Multi-step Jailbreaking Privacy Attacks on ChatGPT
Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Notre Dame（圣母大学）
随着大语言模型（LLM）的快速发展，许多下游NLP任务可以在适当的提示下得到很好的解决。尽管模型开发人员和研究人员在对话安全方面努力工作，以避免从LLM生成有害内容，但为了人类的利益而引导AI生成的内容（AIGC）仍然具有挑战性。由于强大的LLM正在吞噬来自各个领域的现有文本数据（例如，GPT-3是在45 TB的文本上训练的），人们自然会怀疑训练数据中是否包含了隐私信息，以及这些LLM及其下游应用会带来哪些隐私威胁。在本文中，我们研究了OpenAI的ChatGPT和ChatGPT增强的New Bing的隐私威胁，并表明应用程序集成的LLM可能会导致新的隐私威胁。为此，我们进行了广泛的实验来支持我们的主张，并讨论了LLM的隐私影响。
2023-11-01 cs.CL cs.CR
Let's Measure the Elephant in the Room: Facilitating Personalized Automated Analysis of Privacy Policies at Scale
University of Oxford（牛津大学）
本文提出神经符号系统PoliAnalyzer，通过NLP提取隐私政策形式化表示并与用户偏好进行逻辑合规分析，在大规模网站隐私政策中实现高准确率的个性化自动分析，显著降低用户认知负担。
2025-07-15 cs.CL cs.CR cs.CY
Federated Learning Meets Natural Language Processing: A Survey
Deakin University（迪肯大学）
联邦学习旨在从多个分散的边缘设备（例如手机）或服务器学习机器学习模型，而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而，大型深度神经和语言模型都是用大量数据训练的，这些数据通常位于服务器端。由于文本数据广泛来源于最终用户，在这项工作中，我们研究了最近的NLP模型和技术，使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后，我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
