BinaryShield: Cross-Service Threat Intelligence in LLM Services using Privacy-Preserving Fingerprints
Microsoft Redmond, USA（微软红mond分校）；Microsoft New York, USA（微软纽约分校）
BinaryShield通过隐私保护技术实现跨服务威胁情报共享，提升LLM安全防护能力。
2026-02-28 cs.AI cs.CL cs.CR
Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks
WeBank AI Lab（微众银行人工智能实验室）；University of Malaya（马来亚大学）；Hong Kong Univ. of Science and Tech.（香港科技大学）
本文研究了隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。首先，我们建议定量衡量模型的准确性和隐私损失所造成的重建，跟踪和成员攻击之间的权衡。其次，我们将重建攻击表述为求解一个噪声线性方程组，并证明了如果条件（2）不满足，则保证攻击被击败。第三，在理论分析的基础上，提出了一种新的秘密极化网络（SPN）来抵御隐私攻击，这对现有的PPDL方法提出了严峻的挑战。大量的实验表明，在数据隐私得到满意保护的情况下，与基线机制相比，模型准确性平均提高了5-20%。
2020-06-23 cs.CR cs.DC cs.LG
Striking the Perfect Balance: Preserving Privacy While Boosting Utility in Collaborative Medical Prediction Platforms
Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University（智能决策与机器学习中心，管理学院，西安交通大学）
本文针对协作医疗预测平台中的隐私与预测质量问题，提出了一种集成隐私保护机制的一次性分布式学习框架，在满足特定隐私要求下实现最优预测性能，并通过模拟和真实数据实验验证了其有效性。
2025-07-15 cs.LG
FT-PrivacyScore: Personalized Privacy Scoring Service for Machine Learning Participation
UMBC（马里兰大学巴尔的摩分校）
针对受控数据访问模式下个体数据贡献者无法量化参与机器学习任务的隐私风险这一问题，研究团队开发了FT-PrivacyScore演示原型，可高效定量评估参与模型微调任务的隐私风险，源代码将开源。
2024-10-30 cs.CR cs.LG
Privacy-Preserving 3-Layer Neural Network Training
针对仅同态加密设置下的神经网络隐私保护训练问题，结合并扩展现有技术，实现了该设置下回归与分类任务的三层神经网络训练。
2025-04-15 cs.CR cs.LG
Privacy-preserving and yet Robust Collaborative Filtering Recommender as a Service
Luxembourg Institute of Science and Technology (LIST)（卢森堡科学技术研究院（LIST））
协同过滤服务器以牺牲最终用户的隐私为代价提供有效的个性化服务。随着社会对隐私保护的日益关注和隐私保护法规的日益严格，设计一种既能保护隐私又能为隐私敏感用户提供推荐服务的鲁棒的推荐器成为一个迫切的研究挑战。我们的分析表明，现有的解决方案在几个方面存在不足，包括缺乏对最终用户的精确输出的关注和忽略相关的鲁棒性问题。在本文中，我们提供了一个通用的系统结构，潜在因素为基础的协同过滤过滤器，制定他们的模型训练和预测计算阶段，还描述了一个新的安全模型。针对务实的解决方案，我们首先展示了如何构建隐私保护，但强大的模型训练阶段的基础上现有的解决方案。然后，我们提出了两个密码协议来实现隐私保护的预测计算阶段，这取决于是否涉及额外的代理。与标准的Top-k推荐不同，作为我们隐私设计策略的结果，我们让最终用户检索预测高于阈值的未评级项目。实验结果表明，我们的新协议是相当有效的。
2019-10-09 cs.CR cs.IR cs.LG
PAT: Privacy-Preserving Adversarial Transfer for Accurate, Robust and Privacy-Preserving EEG Decoding
Hubei Key Laboratory of Brain-inspired Intelligent Systems, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院脑启发智能系统湖北省重点实验室）；Shenzhen Huazhong University of Science and Technology Research Institute（深圳华中科技大学研究院）；Zhongguancun Academy（中关村学院）
本文提出PAT框架，结合数据对齐、对抗训练和隐私保护迁移，提升EEG解码的准确性、鲁棒性和隐私保护，实验表明其在多个数据集上优于现有方法。
2026-04-11 cs.HC cs.LG eess.SP
Privacy Preserving ID3 over Horizontally, Vertically and Grid Partitioned Data
Hasselt University（哈瑟尔特大学）；Transnational University Limburg（林堡跨国大学）；Eindhoven University of Technology（埃因霍温理工大学）
在训练数据水平或垂直分布的情况下，我们考虑通过ID3的隐私保护决策树归纳。此外，我们考虑同样的问题的情况下，数据是水平和垂直分布的，我们称之为网格分区数据的情况。我们给出了一个隐私保护算法ID3水平分割数据涉及两个以上的缔约方。对于网格划分的数据，我们讨论了两种不同的评估方法来保护隐私ID3，即先水平合并，然后垂直发展或先垂直合并，然后水平发展。其次，介绍了隐私保护数据采掘网格划分的数据，本文的主要贡献是，我们表明，通过复杂性分析，前评估方法是更有效的。
2008-03-11 cs.DB cs.LG
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；College of Mathematics and Computer Science, Fuzhou University（福州大学数学与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）
移动众测是一种新兴的感知数据汇集模式，具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外，现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护，而不是数据处理的隐私保护。为了解决MCS面临的问题，本文将联邦学习（FL）融入MCS，提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说，为了保护隐私，参与者通过联邦学习在本地处理传感数据，只上传加密的训练模型。特别地，提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销，设计了丢弃和重传策略。此外，设计了一种隐私保护的发布定价激励机制，试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明，所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私，是可行和有效的。
2021-02-20 cs.CR cs.LG
Privacy Preserving Machine Learning: Threats and Solutions
Iowa State University（爱荷华州立大学）；University of South Florida（南佛罗里达大学）
为了在当前的机器学习系统中充分解决隐私问题，必须弥合机器学习社区和隐私社区之间的知识差距。本文旨在介绍这两个领域的交叉点，特别强调用于保护数据的技术。
2018-03-27 cs.CR cs.LG
Privacy-Preserving Distributed Learning Framework for 6G Telecom Ecosystems
Fraunhofer HHI（弗劳恩霍夫HHI研究所）；Photonic Networks and Systems（光子网络与系统）
我们为6G时代的电信生态系统提供了一个保护隐私的分布式学习框架，该框架实现了ML模型的共享所有权和治理愿景，同时保护了数据所有者的隐私。我们通过将其应用于多域多供应商光网络中的传输质量（QoT）估计的用例来展示其优点，其中没有与网络管理系统（NMS）共享单个域的数据。
2020-08-17 cs.LG cs.NI
Bounding the Invertibility of Privacy-preserving Instance Encoding using Fisher Information
Pennsylvania State University（宾夕法尼亚州立大学）；Meta AI；Georgia Institute of Technology（佐治亚理工学院）；Cornell University（康奈尔大学）
本文提出基于Fisher信息的理论化隐私度量，用于界定隐私保护实例编码的可逆性，兼具直观性与实用性，并在理论与实证层面验证其有效性。
2023-05-06 cs.CR cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University（罗格斯大学）；Duke University（杜克大学）；University of California, Irvine（加州大学欧文分校）
本文提出融合联邦学习与差分隐私的广告个性化框架，通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术，在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
Privacy-Preserving Generative Models: A Comprehensive Survey
De Montfort University（德蒙福特大学）；University of Basel（巴塞尔大学）
本文通过分析100篇文献，系统综述了隐私保护生成模型，提出GANs和VAEs的隐私与效用指标新分类体系，并指出当前挑战与未来研究方向。
2025-02-05 cs.CR cs.LG
Can large language models be privacy preserving and fair medical coders?
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究院）
本研究探讨将差分隐私应用于大语言模型医疗编码任务的两大权衡，发现隐私保护会导致MIMIC-III数据集上前50标签微F1降超40%，且男女患者召回率差距扩大3%以上，为现实部署提供参考。
2024-12-07 cs.CR cs.LG
SoK: Privacy-Preserving Collaborative Tree-based Model Learning
Laboratory for Data Security -- EPFL（数据安全实验室 -- 洛桑联邦理工学院）
基于树的模型因其准确性、可解释性和简单性而成为当今数据采掘最有效的机器学习技术之一。最近对更多数据和隐私保护的正交需求要求协作隐私保护解决方案。在这项工作中，我们调查了文献的分布式和隐私保护训练的基于树的模型，我们系统化的知识的基础上的四个轴：学习算法，协作模型，保护机制，和威胁模型。我们用它来识别这些作品的优点和局限性，并首次提供了一个框架，分析分布式基于树的模型学习中发生的信息泄漏。
2021-06-18 cs.CR cs.LG
Privacy-preserving recommender system using the data collaboration analysis for distributed datasets
University of Tsukuba（筑波大学）；Hosei University（法政大学）
本研究针对分布式数据集共享中的隐私保护问题，建立了一个基于数据协作分析的隐私保护推荐系统框架，数值实验表明该方法能提高评分预测准确率。
2024-05-24 cs.CR cs.IR cs.LG
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University（南京大学）
联邦学习（FL）是近年来的研究热点，其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而，这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战，我们从理论上分析了通信压缩方法应满足的条件，以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发，我们提出了一种新的通信压缩方法，称为共识稀疏化（ConSpar）。据我们所知，ConSpar是第一种通信压缩方法，旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上，我们进一步提出了一个新的FL框架FedREP，它是拜占庭式的鲁棒性，通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明，FedREP可以显着优于通信效率的隐私保护基线。此外，与拜占庭强大的通信效率基线相比，FedREP可以实现相当的准确性，并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Privacy-preserving Federated Learning for Residential Short Term Load Forecasting
FINATRAX, University of Luxembourg（卢森堡大学FINATRAX）；University of Luxembourg（卢森堡大学）
由于间歇性发电和动态需求模式的高水平，对住宅负荷的准确预测变得至关重要。智能电表在进行这些预测时可以发挥重要作用，因为它们提供详细的负荷数据。然而，由于数据隐私要求，使用智能电表数据进行负荷预测具有挑战性。本文研究了如何通过结合联邦学习和隐私保护技术（如差分隐私和安全聚合）来满足这些要求。在我们的分析中，我们使用了大量的住宅负载数据，并模拟了不同的联邦学习模型和隐私保护技术如何影响性能和隐私。我们的模拟表明，结合联邦学习和隐私保护技术可以确保高预测准确性和接近完全的隐私。具体来说，我们发现，这种组合使高水平的信息共享，同时确保隐私的处理负荷数据和预测模型。此外，我们确定并讨论了应用联邦学习，差分隐私和安全聚合住宅短期负荷预测的挑战。
2022-09-19 cs.AI cs.LG cs.SY
Combined Use of Federated Learning and Image Encryption for Privacy-Preserving Image Classification with Vision Transformer
Tokyo Metropolitan University（东京都立大学）
近年来，深度学习的隐私保护方法已经成为一个迫切的问题。因此，我们提出了联邦学习（FL）和加密图像的隐私保护图像分类下使用的视觉Transformer（ViT）的组合使用。所提出的方法不仅允许我们在多个参与者之间进行训练模型而不直接共享原始数据，而且还首次保护了测试（查询）图像的隐私。此外，它还可以保持与正常训练模型相同的精度。在一个实验中，所提出的方法被证明是很好的工作，没有任何性能下降的CIFAR-10和CIFAR-100数据集。
2023-03-03 cs.CR cs.CV cs.LG
Privacy-Preserving Graph Convolutional Networks for Text Classification
图卷积网络（GCN）是用于对自然地作为图出现的文档进行表示学习的强大架构，例如，引用或社交网络。然而，敏感的个人信息，例如以人们的个人资料或关系为边缘的文档，很容易发生隐私泄露，因为经过训练的模型可能会泄露原始输入。虽然差分隐私（DP）提供了一个有充分依据的隐私保护框架，GCN提出了理论和实践的挑战，由于他们的培训细节。我们通过将基于差异私有梯度的训练适应于GCN来解决这些挑战，并使用两种优化器在两种语言的五个NLP数据集上进行实验。我们提出了一个简单而有效的方法，基于随机图分裂，不仅提高了基线隐私边界的2.7倍，同时保留竞争力的F1分数，但也提供了强大的隐私保证，？= 1.0。我们表明，在某些建模选择下，隐私保护GCN执行高达90%的非私有变体，同时正式保证强大的隐私措施。
2022-05-02 cs.CL cs.CR cs.LG
Privacy Preserving in Non-Intrusive Load Monitoring: A Differential Privacy Perspective
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
智能电表设备可以更好地了解需求，避免私人信息泄露的潜在风险。减轻这种风险的一种有希望的解决方案是将噪声注入到仪表数据中以实现一定水平的差分隐私。在本文中，我们投一次性的非侵入式负载监测（NILM）的压缩感知框架，并弥合NILM推理的理论精度和差分隐私的参数之间的差距。然后，我们推导出有效的理论界提供见解的差分隐私参数如何影响NILM的性能。此外，我们推广了我们的结论，提出了层次框架来解决多镜头NILM问题。数值实验验证了我们的分析结果，并提供更好的物理见解的差分隐私在各种实际情况下。这也说明了我们的工作对一般隐私保护机制设计的意义。
2020-11-12 cs.CR cs.LG cs.SY
Privacy-Preserving Synthetic Educational Data Generation
Inria Saclay（法国国家信息与自动化研究所萨克莱分院）
机构收集大量的学习痕迹，但出于隐私问题，它们可能不会披露。合成数据的产生为教育研究开辟了新的机会。在本文中，我们提出了一个生成模型的教育数据，可以保护参与者的隐私，并比较合成数据发电机的评估框架。我们将展示如何天真的匿名化可以导致重新识别的威胁，并建议技术，以保证隐私。我们评估我们的方法对现有的大量教育开放数据集。
2022-07-07 cs.AI cs.CR cs.CY
