Can large language models be privacy preserving and fair medical coders?
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究院）
本研究探讨将差分隐私应用于大语言模型医疗编码任务的两大权衡，发现隐私保护会导致MIMIC-III数据集上前50标签微F1降超40%，且男女患者召回率差距扩大3%以上，为现实部署提供参考。
2024-12-07 cs.CR cs.LG
SoK: Privacy-Preserving Collaborative Tree-based Model Learning
Laboratory for Data Security -- EPFL（数据安全实验室 -- 洛桑联邦理工学院）
基于树的模型因其准确性、可解释性和简单性而成为当今数据采掘最有效的机器学习技术之一。最近对更多数据和隐私保护的正交需求要求协作隐私保护解决方案。在这项工作中，我们调查了文献的分布式和隐私保护训练的基于树的模型，我们系统化的知识的基础上的四个轴：学习算法，协作模型，保护机制，和威胁模型。我们用它来识别这些作品的优点和局限性，并首次提供了一个框架，分析分布式基于树的模型学习中发生的信息泄漏。
2021-06-18 cs.CR cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich（慕尼黑工业大学）；Bytedance Inc.（字节跳动公司）；Massachusetts Institute of Technology（麻省理工学院）
联邦学习是一种分布式机器学习框架，它支持多方协作训练，同时确保数据隐私。XGBoost是最先进的树提升框架，由于传统隐私保护方法的高成本，XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题，我们提出了两种具有隐私保证的联邦XGBoost变体：FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法，以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的，它是用噪声扰动为本地差分隐私设计的，并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Heterogeneous Graph Neural Network for Privacy-Preserving Recommendation
Guangxi Normal University（广西师范大学）；Beihang University（北京航空航天大学）；Macquarie University（麦考瑞大学）
社交网络被认为是具有深度学习技术进步的异构图神经网络（HGNNs）。与同质数据相比，HGNN在训练阶段吸收了关于个人的各个方面的信息。这意味着学习结果中包含了更多的信息，特别是敏感信息。然而，同质图上的隐私保护方法仅保留相同类型的节点属性或关系，由于复杂性，不能有效地工作在异构图上。针对这一问题，提出了一种基于差分隐私机制的异构图神经网络隐私保护方法HeteDP，该方法提供了图特征和拓扑的双重保证.特别是，我们首先定义了一个新的攻击方案，以揭示隐私泄漏的异构图。具体来说，我们设计了一个两阶段的流水线框架，包括隐私保护特征编码器和基于差分隐私的梯度扰动异构链路重构器，以容忍数据多样性和抵抗攻击。为了更好地控制噪声和提高模型性能，我们利用一个双层优化模式来分配一个合适的隐私预算的上述两个模块。我们在四个公共基准测试上的实验表明，HeteDP方法具有良好的模型泛化能力，可以抵抗异构图隐私泄漏。
2022-10-09 cs.CR cs.LG
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
Privacy-Preserving Machine Learning for Collaborative Data Sharing via Auto-encoder Latent Space Embeddings
Los Andes University（洛斯安第斯大学）；Rappi（Rappi公司）；Amazon（亚马逊）
数据共享过程中的隐私保护机器学习是一项至关重要的任务，它可以在不需要共享原始数据源的情况下实现机器学习（ML）模型的协作训练。当组织必须确保敏感数据在整个ML管道中保持私有时，这一点尤其重要，即，训练和推理阶段。本文提出了一个创新的框架，使用表示学习通过自动编码器生成隐私保护的嵌入式数据。因此，组织可以共享数据表示，以提高机器学习模型在具有用于共享的预测下游任务的多个数据源的场景中的性能。
2022-11-11 cs.CR cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；University of Southern Denmark（南丹麦大学）；Imperial College London（帝国理工学院）
联邦学习（FL）使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例，其中原始数据共享是不需要的，最近的研究表明，FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中，我们提出了HyFed框架，它增强了隐私的FL，同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式，其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa（伊斯坦布尔大学-切尔拉帕萨分校）；Queen’s University（女王大学）
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架，并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Privacy-Preserving XGBoost Inference
AWS Cryptography Algorithm（AWS密码算法）；Yale University（耶鲁大学）
虽然机器学习（ML）被广泛用于预测任务，但在一些重要的场景中，ML无法使用或至少无法充分发挥其潜力。采用的一个主要障碍是预测查询的敏感性。个人用户可能缺乏足够丰富的数据集来本地训练准确的模型，但也不愿意将敏感的查询发送到出售此类模型的商业服务。隐私保护机器学习（PPML）的一个核心目标是使用户能够向远程ML服务提交加密查询，接收加密结果，并在本地对其进行解密。我们的目标是为现实世界的隐私保护ML推理问题开发实用的解决方案。在本文中，我们提出了一种隐私保护的XGBoost预测算法，我们已经在AWS SageMaker上实施并进行了经验评估。实验结果表明，我们的算法是有效的，足以用于实际的ML生产环境。
2020-11-24 cs.CR cs.LG
Privacy-preserving recommender system using the data collaboration analysis for distributed datasets
University of Tsukuba（筑波大学）；Hosei University（法政大学）
本研究针对分布式数据集共享中的隐私保护问题，建立了一个基于数据协作分析的隐私保护推荐系统框架，数值实验表明该方法能提高评分预测准确率。
2024-05-24 cs.CR cs.IR cs.LG
A generic framework for privacy preserving deep learning
Imperial College London（帝国理工学院）；DeepMind（深度思维）；University of Oxford（牛津大学）；Case Western Reserve University（凯斯西储大学）
我们详细介绍了一个用于隐私保护的新框架深度学习并讨论了其资产。该框架重视数据的所有权和安全处理，并引入了基于命令链和张量的有价值的表示。这种抽象允许实现复杂的隐私保护结构，如联邦学习，安全多方计算和差分隐私，同时仍然向最终用户公开熟悉的深度学习API。我们报告了波士顿住房和皮马印第安人糖尿病数据集的早期结果。虽然除了差分隐私之外的隐私特征不影响预测准确性，但是框架的当前实现引入了显著的性能开销，这将在开发的稍后阶段解决。我们相信这项工作是一个重要的里程碑，为隐私保护深度学习引入了第一个可靠的通用框架。
2018-11-13 cs.CR cs.LG stat.ML
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University（南京大学）
联邦学习（FL）是近年来的研究热点，其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而，这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战，我们从理论上分析了通信压缩方法应满足的条件，以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发，我们提出了一种新的通信压缩方法，称为共识稀疏化（ConSpar）。据我们所知，ConSpar是第一种通信压缩方法，旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上，我们进一步提出了一个新的FL框架FedREP，它是拜占庭式的鲁棒性，通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明，FedREP可以显着优于通信效率的隐私保护基线。此外，与拜占庭强大的通信效率基线相比，FedREP可以实现相当的准确性，并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Combined Use of Federated Learning and Image Encryption for Privacy-Preserving Image Classification with Vision Transformer
Tokyo Metropolitan University（东京都立大学）
近年来，深度学习的隐私保护方法已经成为一个迫切的问题。因此，我们提出了联邦学习（FL）和加密图像的隐私保护图像分类下使用的视觉Transformer（ViT）的组合使用。所提出的方法不仅允许我们在多个参与者之间进行训练模型而不直接共享原始数据，而且还首次保护了测试（查询）图像的隐私。此外，它还可以保持与正常训练模型相同的精度。在一个实验中，所提出的方法被证明是很好的工作，没有任何性能下降的CIFAR-10和CIFAR-100数据集。
2023-03-03 cs.CR cs.CV cs.LG
Differential Privacy Protected Preference Alignment on Survey Derived Data
ShanghaiTech University（上海科技大学）
该研究针对世界价值观调查衍生数据的偏好对齐问题，提出结合随机响应、指数机制和DP-SGD的差分隐私流程，实验表明标签级机制优于梯度级方法，为带隐私保障的语言模型对齐提供了新方向。
2026-10-14 cs.CL cs.CR cs.LG
Interpretable Machine Learning for Privacy-Preserving Pervasive Systems
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
我们与普适系统的日常交互会生成跟踪，这些跟踪捕获人类行为的各个方面，并使机器学习算法能够提取有关用户的潜在信息。在本文中，我们提出了一个机器学习可解释性框架，使用户能够理解这些生成的痕迹如何侵犯他们的隐私。
2019-06-04 cs.CR cs.LG stat.ML
Privacy-Preserving Matrix Factorization for Recommendation Systems using Gaussian Mechanism
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出基于差分隐私框架与矩阵分解的隐私保护推荐系统，利用高斯机制输出扰动和 Rényi 差分隐私，在真实数据上验证了严格隐私下仍可保持良好推荐效用。
2023-04-11 cs.CR cs.IR cs.LG
Improved Algorithms for Differentially Private Language Model Alignment
Peking University（北京大学）
针对语言模型对齐中的隐私问题，本文提出可结合DPO与RLHF的差分隐私对齐算法，DP-AdamW在中等隐私预算下最高提升15%对齐质量。
2025-05-13 cs.AI cs.CR cs.LG
Private Dataset Generation Using Privacy Preserving Collaborative Learning
Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
随着深度学习算法在许多应用中的使用越来越多，与隐私和对抗攻击相关的新研究问题正在出现。然而，深度学习算法的改进需要越来越多的数据在研究社区内共享。联邦学习、差分隐私、附加秘密共享等方法提供了一种在边缘上训练机器学习模型而不从边缘移动数据的方法。然而，它是非常计算密集型的，并且容易受到对抗攻击。因此，这项工作引入了一个隐私保护FedCollabNN框架，用于在边缘训练机器学习模型，该框架具有计算效率和对对抗攻击的鲁棒性。使用MNIST数据集的仿真结果表明了该框架的有效性。
2020-04-28 cs.CR cs.LG stat.ML
Towards Split Learning-based Privacy-Preserving Record Linkage
University of Macedonia（马其顿大学）
本文研究如何利用分割学习实现隐私保护记录链接，提出基于公开参考集的新型训练方法，在保护数据隐私的同时取得与集中式SVM方法接近的匹配效果。
2024-09-02 cs.CR cs.DB cs.LG
Privacy-preserving and yet Robust Collaborative Filtering Recommender as a Service
Luxembourg Institute of Science and Technology (LIST)（卢森堡科学技术研究院（LIST））
协同过滤服务器以牺牲最终用户的隐私为代价提供有效的个性化服务。随着社会对隐私保护的日益关注和隐私保护法规的日益严格，设计一种既能保护隐私又能为隐私敏感用户提供推荐服务的鲁棒的推荐器成为一个迫切的研究挑战。我们的分析表明，现有的解决方案在几个方面存在不足，包括缺乏对最终用户的精确输出的关注和忽略相关的鲁棒性问题。在本文中，我们提供了一个通用的系统结构，潜在因素为基础的协同过滤过滤器，制定他们的模型训练和预测计算阶段，还描述了一个新的安全模型。针对务实的解决方案，我们首先展示了如何构建隐私保护，但强大的模型训练阶段的基础上现有的解决方案。然后，我们提出了两个密码协议来实现隐私保护的预测计算阶段，这取决于是否涉及额外的代理。与标准的Top-k推荐不同，作为我们隐私设计策略的结果，我们让最终用户检索预测高于阈值的未评级项目。实验结果表明，我们的新协议是相当有效的。
2019-10-09 cs.CR cs.IR cs.LG
Privacy-preserving Decentralized Federated Learning over Time-varying Communication Graph
Lancaster University（兰卡斯特大学）
确定一组学习者如何以完全分散的（点对点，没有协调员）方式提供隐私保护的联邦学习是一个开放的问题。我们提出了第一个隐私保护的基于共识的算法，分布式学习器，以实现分散的全球模型聚合的环境中的高流动性，学习器之间的通信图可能会有所不同，连续轮的模型聚合。特别地，在每一轮全局模型聚合中，Metropolis-Hastings方法被应用于基于当前通信拓扑来更新加权邻接矩阵。此外，Shamir的秘密共享方案的整合，以促进隐私达成共识的全球模型。本文建立了该算法的正确性和隐私属性。通过建立在联邦学习框架上的仿真实验，对算法的计算效率进行了评估。
2022-10-01 cs.CR cs.LG cs.MA
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
PCAL: A Privacy-preserving Intelligent Credit Risk Modeling Framework Based on Adversarial Learning
信用风险建模已经渗透到我们的日常生活中。大多数银行和金融公司使用这种技术来模拟客户的可信度。虽然机器学习越来越多地用于这一领域，但由此产生的大规模用户私人信息收集重新激发了隐私辩论，考虑到每年由未经授权的黑客造成的数十起数据泄露事件，以及（可能更多）授权方的信息误用/滥用。为了解决这些关键问题，本文提出了一个基于对抗学习的隐私保护信用风险建模框架（PCAL）。PCAL旨在通过（迭代）权衡隐私风险损失和面向实用性的损失，掩盖原始数据集内的私人信息，同时保留目标预测任务性能的重要实用信息。在实用性和隐私保护方面，将PCAL与现成的选项进行比较。实验结果表明，PCAL可以从用户数据中学习到一种有效的、无隐私的表示方法，为信用风险分析中隐私保护的机器学习提供了坚实的基础。
2020-10-06 cs.CR cs.CV cs.LG
A Privacy-Preserving and Trustable Multi-agent Learning Framework
Bennett University（贝内特大学）；Syracuse University（雪城大学）
分布式多智能体学习使智能体能够合作训练模型，而不需要共享它们的数据集。虽然这种设置确保了一定程度的隐私，但已经表明，即使当数据不直接共享时，训练过程也容易受到隐私攻击，包括数据重建和模型反演攻击。此外，在反向标签或随机数据上进行训练的恶意代理可能会任意削弱全局模型的准确性。本文解决了这些挑战，并提出了隐私保护和可信赖的分布式学习（PT-DL），这是一个完全分散的框架，依赖于差分隐私来保证代理数据的强大隐私保护，以及以太坊智能合约来确保可信赖性。本文表明，PT-DL是弹性高达50%的共谋攻击，具有很高的概率，在恶意的信任模型和实验评估说明了所提出的模型的好处，作为一个隐私保护和可信的分布式多智能体学习系统的几个分类任务。
2021-06-02 cs.AI cs.CR cs.LG
Privacy-Preserving Distributed Parameter Estimation for Probability Distribution of Wind Power Forecast Error
Tsinghua University（清华大学）；Bytedance（字节跳动）
建立风电预测误差的条件概率分布对风电场（WF）和独立系统运营商（ISO）都有利。建立风电功率的联合概率分布和相应的空间相关WFs预测数据是推导条件概率分布的基础。传统的概率分布参数估计方法需要收集所有工作流的历史数据。然而，在多区域互联电网的背景下，出于隐私或竞争考虑，区域ISO和WF都不能收集其他区域WF的原始数据。因此，本文首先提出了一种基于高斯混合模型的隐私保护分布式期望最大化算法来估计联合概率分布的参数。该算法由两种新颖的方法组成：（1）隐私保护的分布式求和算法和（2）隐私保护的分布式内积算法。然后，我们推导出每个WF的预测误差的条件概率分布的联合之一。通过该算法，工作流只需要进行局部计算和保护隐私的邻居通信就可以实现整体参数估计。这些算法进行了验证，使用风积分数据集公布的NREL。
2020-02-29 cs.CR cs.DC cs.LG
Attacks on Image Encryption Schemes for Privacy-Preserving Deep Neural Networks
隐私保护机器学习是一个活跃的研究领域，通常依赖于同态加密或安全多方计算等技术。最近，Tanaka和Sirichotedumrong、Kinoshita和Kiya提出了使用深度神经网络对图像执行机器学习的新加密技术。我们提出了新的选择明文和密文的攻击对这两个建议的图像加密方案，并证明了攻击的有效性的几个例子。
2020-04-29 cs.CR cs.CV cs.LG
Survey and Open Problems in Privacy Preserving Knowledge Graph: Merging, Query, Representation, Completion and Applications
Ant Group（蚂蚁集团）；Macquarie University（麦考瑞大学）
知识图谱（KG）因其能够以有意义的方式连接不同类型的数据，并支持丰富的数据服务，受到越来越多企业的关注。然而，数据隔离问题限制了KG的性能，并阻碍了其进一步发展。即是说，多个机构都有自己的幼儿园，但基于规管或竞争的理由，不能共用。因此，如何进行隐私保护的幼儿园成为一个重要的研究课题。也就是说，多方在保护多个幼儿园隐私的基础上协同进行幼儿园相关任务。到目前为止，很少有解决上述KG隔离问题的工作。在本文中，为了填补这一空白，我们总结了开放的问题，隐私保护KG在数据隔离设置，并提出了可能的解决方案。具体而言，我们从四个方面总结了隐私保护KG中存在的问题，即，合并、查询、表示和完成。我们详细介绍了这些问题，并提出了可能的技术解决方案。此外，我们提出了三个隐私保护KG感知的应用程序，并简单地描述了如何将我们提出的技术应用到这些应用程序。
2020-11-20 cs.CR cs.DB cs.LG
Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation
University at Buffalo（布法罗大学）；United Imaging Intelligence（联影智能）
联邦学习（FL）是一种机器学习范例，其中本地节点协作地训练中央模型，而训练数据保持分散。现有的FL方法通常共享模型参数或采用共蒸馏来解决数据分布不平衡的问题。然而，他们受到通信瓶颈的困扰。更重要的是，他们冒着隐私泄露的风险。在这项工作中，我们开发了一个隐私保护和通信有效的方法在FL框架与一次性离线知识蒸馏使用未标记的，跨域的公共数据。我们提出了一个量化和噪声合奏的本地预测从完全训练的本地模型更强的隐私保证，而不牺牲准确性。基于对图像分类和文本分类任务的大量实验，我们表明，我们的隐私保护方法优于基线FL算法，在准确性和通信效率方面都具有优异的性能。
2022-09-10 cs.CR cs.CV cs.LG
Privacy Preserving K-Means Clustering: A Secure Multi-Party Computation Approach
GMV（GMV公司）
知识发现是人工智能的主要目标之一。这些知识通常存储在分布在不同环境中的数据库中，访问和从中提取数据是一项繁琐（或不可能）的任务。对于这个困难，我们必须补充的是，这些数据可能包含私人数据，因此信息永远不会离开源。隐私保护机器学习（PPML）有助于克服这一困难，采用加密技术，允许知识发现，同时确保数据隐私。K-means是一种数据采掘技术，用于发现知识，将包含相似特征的数据点分组在聚类中。本文重点介绍了隐私保护机器学习应用于K-means，使用最近的协议，从criptography领域。该算法适用于不同的情况下，数据可能是水平或垂直分布。
2020-09-22 cs.CR cs.LG stat.ML
Challenges of Privacy-Preserving Machine Learning in IoT
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）
物联网（IoT）将成为实现更好系统智能的主要数据生成基础设施。然而，物联网中广泛的数据汇集和处理也产生了各种隐私问题。本文提供了一个分类的现有的隐私保护机器学习方法开发的背景下，云计算，并讨论了将它们应用在物联网的背景下的挑战。此外，我们提出了一种保护隐私的推理方法，该方法在物联网对象处运行轻量级神经网络以在传输之前混淆数据，并在云中运行深层神经网络以对混淆的数据进行分类。基于MNIST数据集的评估显示出令人满意的性能。
2019-09-21 cs.CR cs.LG stat.ML
Privacy-Preserving Public Release of Datasets for Support Vector Machine Classification
University of Melbourne（墨尔本大学）
我们考虑公开发布用于支持向量机分类的数据集同时不侵犯数据主体的隐私（即，其私人信息存储在数据集中的个人）。为了隐私保护，使用加性噪声系统地混淆数据集。受Cramer-Rao界的启发，Fisher信息矩阵的迹的逆被用作隐私的度量。建立条件以确保从原始数据集提取的分类器和混淆的分类器彼此接近（捕获效用）。最佳的噪声分布是通过最大化的隐私和效用的措施的加权和确定的。证明了最优隐私保护噪声可以实现局部差分隐私。结果推广到更广泛的一类基于优化的监督机器学习算法。在多个数据集上证明了该方法的适用性。
2019-12-29 cs.CR cs.LG stat.ML
Privacy-Preserving Data Sharing in Agriculture: Enforcing Policy Rules for Secure and Confidential Data Synthesis
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Texas A&M University - Central Texas（德克萨斯农工大学中德克萨斯分校）
针对农业数据共享的隐私合规缺口，本研究提出一种可强制执行隐私政策规则的新型框架，通过提取农业行为准则中的隐私约束定义生成模型隐私边界，生成兼具实用性与安全性的农业合成数据。
2023-11-27 cs.AI cs.CR cs.LG
Quantum Privacy Aggregation of Teacher Ensembles (QPATE) for Privacy-preserving Quantum Machine Learning
Wells Fargo（富国银行）
本文首次将教师集成隐私聚合（PATE）技术应用于量子神经网络集成，提出 QPATE 方法，为量子机器学习模型提供隐私保护。
2024-01-15 cs.CR cs.LG quant-ph
Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks
WeBank AI Lab（微众银行人工智能实验室）；University of Malaya（马来亚大学）；Hong Kong Univ. of Science and Tech.（香港科技大学）
本文研究了隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。首先，我们建议定量衡量模型的准确性和隐私损失所造成的重建，跟踪和成员攻击之间的权衡。其次，我们将重建攻击表述为求解一个噪声线性方程组，并证明了如果条件（2）不满足，则保证攻击被击败。第三，在理论分析的基础上，提出了一种新的秘密极化网络（SPN）来抵御隐私攻击，这对现有的PPDL方法提出了严峻的挑战。大量的实验表明，在数据隐私得到满意保护的情况下，与基线机制相比，模型准确性平均提高了5-20%。
2020-06-23 cs.CR cs.DC cs.LG
Privacy-Preserving Graph Convolutional Networks for Text Classification
图卷积网络（GCN）是用于对自然地作为图出现的文档进行表示学习的强大架构，例如，引用或社交网络。然而，敏感的个人信息，例如以人们的个人资料或关系为边缘的文档，很容易发生隐私泄露，因为经过训练的模型可能会泄露原始输入。虽然差分隐私（DP）提供了一个有充分依据的隐私保护框架，GCN提出了理论和实践的挑战，由于他们的培训细节。我们通过将基于差异私有梯度的训练适应于GCN来解决这些挑战，并使用两种优化器在两种语言的五个NLP数据集上进行实验。我们提出了一个简单而有效的方法，基于随机图分裂，不仅提高了基线隐私边界的2.7倍，同时保留竞争力的F1分数，但也提供了强大的隐私保证，？= 1.0。我们表明，在某些建模选择下，隐私保护GCN执行高达90%的非私有变体，同时正式保证强大的隐私措施。
2022-05-02 cs.CL cs.CR cs.LG
Privacy Preserving in Non-Intrusive Load Monitoring: A Differential Privacy Perspective
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
智能电表设备可以更好地了解需求，避免私人信息泄露的潜在风险。减轻这种风险的一种有希望的解决方案是将噪声注入到仪表数据中以实现一定水平的差分隐私。在本文中，我们投一次性的非侵入式负载监测（NILM）的压缩感知框架，并弥合NILM推理的理论精度和差分隐私的参数之间的差距。然后，我们推导出有效的理论界提供见解的差分隐私参数如何影响NILM的性能。此外，我们推广了我们的结论，提出了层次框架来解决多镜头NILM问题。数值实验验证了我们的分析结果，并提供更好的物理见解的差分隐私在各种实际情况下。这也说明了我们的工作对一般隐私保护机制设计的意义。
2020-11-12 cs.CR cs.LG cs.SY
Privacy-Preserving Synthetic Educational Data Generation
Inria Saclay（法国国家信息与自动化研究所萨克莱分院）
机构收集大量的学习痕迹，但出于隐私问题，它们可能不会披露。合成数据的产生为教育研究开辟了新的机会。在本文中，我们提出了一个生成模型的教育数据，可以保护参与者的隐私，并比较合成数据发电机的评估框架。我们将展示如何天真的匿名化可以导致重新识别的威胁，并建议技术，以保证隐私。我们评估我们的方法对现有的大量教育开放数据集。
2022-07-07 cs.AI cs.CR cs.CY
PAT: Privacy-Preserving Adversarial Transfer for Accurate, Robust and Privacy-Preserving EEG Decoding
Hubei Key Laboratory of Brain-inspired Intelligent Systems, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院脑启发智能系统湖北省重点实验室）；Shenzhen Huazhong University of Science and Technology Research Institute（深圳华中科技大学研究院）；Zhongguancun Academy（中关村学院）
本文提出PAT框架，结合数据对齐、对抗训练和隐私保护迁移，提升EEG解码的准确性、鲁棒性和隐私保护，实验表明其在多个数据集上优于现有方法。
2026-04-11 cs.HC cs.LG eess.SP
Efficient Privacy-Preserving Stochastic Nonconvex Optimization
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
虽然许多解决方案的隐私保护凸经验风险最小化（ERM）已经开发，隐私保护非凸ERM仍然是一个挑战。我们研究非凸ERM，它采取的形式是最小化有限和的非凸损失函数的训练集。我们提出了一个新的差分私人随机梯度下降算法的非凸ERM，有效地实现强隐私保证，并提供了一个严密的分析其隐私和效用的保证，以及其梯度的复杂性。我们的算法降低了梯度复杂度，同时提高了Wang等人给出的最佳效用保证（NeurIPS 2017）。我们在基准非凸ERM问题上的实验表明，与以前使用相同隐私预算的差分隐私方法相比，在训练成本和效用增益方面具有优异的性能。
2023-02-02 cs.CR cs.LG math.OC
Privacy-Preserving Decentralized Inference with Graph Neural Networks in Wireless Networks
Zhejiang University（浙江大学）；North Carolina State University（北卡罗来纳州立大学）
本文针对无线网络中基于图神经网络的去中心化推理的隐私泄露问题，采用本地差分隐私设计隐私保护信号与训练算法，并结合空中计算技术提升通信和计算效率，通过理论分析与仿真验证了方法的有效性。
2023-05-30 cs.CR cs.IT cs.LG
Privacy Preserving ID3 over Horizontally, Vertically and Grid Partitioned Data
Hasselt University（哈瑟尔特大学）；Transnational University Limburg（林堡跨国大学）；Eindhoven University of Technology（埃因霍温理工大学）
在训练数据水平或垂直分布的情况下，我们考虑通过ID3的隐私保护决策树归纳。此外，我们考虑同样的问题的情况下，数据是水平和垂直分布的，我们称之为网格分区数据的情况。我们给出了一个隐私保护算法ID3水平分割数据涉及两个以上的缔约方。对于网格划分的数据，我们讨论了两种不同的评估方法来保护隐私ID3，即先水平合并，然后垂直发展或先垂直合并，然后水平发展。其次，介绍了隐私保护数据采掘网格划分的数据，本文的主要贡献是，我们表明，通过复杂性分析，前评估方法是更有效的。
2008-03-11 cs.DB cs.LG
Privacy- and Utility-Preserving Textual Analysis via Calibrated Multivariate Perturbations
Amazon（亚马逊）
准确地从用户数据中学习，同时提供可量化的隐私保证，这为在维护用户信任的同时构建更好的ML模型提供了机会。本文提出了一种形式化的方法来进行隐私保护文本扰动使用的概念dx隐私设计，以实现地理位置数据的不可否认性。我们的方法适用于仔细校准的噪音，以向量表示的话，在一个高维空间定义的词嵌入模型。我们提出了一个隐私证明，满足DX隐私的隐私参数提供保证相对于由词嵌入空间定义的距离度量。我们演示了如何通过分析GloVe和fastText嵌入的大规模分析支持的似是而非的可否认性统计数据来选择。我们对2个基线模型进行隐私审计实验，并在3个数据集上进行效用实验，以证明不同任务类型上不同值的隐私和效用之间的权衡。我们的研究结果证明了实用性（训练二进制分类器的效用损失< 2%），同时提供了比基线模型更好的隐私保证。
2019-10-20 cs.CL cs.CR cs.LG
Striking the Perfect Balance: Preserving Privacy While Boosting Utility in Collaborative Medical Prediction Platforms
Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University（智能决策与机器学习中心，管理学院，西安交通大学）
本文针对协作医疗预测平台中的隐私与预测质量问题，提出了一种集成隐私保护机制的一次性分布式学习框架，在满足特定隐私要求下实现最优预测性能，并通过模拟和真实数据实验验证了其有效性。
2025-07-15 cs.LG
Subverting Privacy-Preserving GANs: Hiding Secrets in Sanitized Images
NYU Tandon School of Engineering（纽约大学坦登工程学院）
前所未有的数据汇集和共享加剧了对隐私的担忧，并导致人们对隐私保护工具的兴趣日益增加，这些工具可以从图像中删除敏感属性，同时为其他任务保留有用的信息。目前，最先进的方法使用隐私保护生成对抗网络（PP-GAN）来实现这一目的，例如，在不泄露用户身份的情况下实现可靠的面部表情识别。然而，PP-GAN并不提供隐私的正式证明，而是依赖于使用基于深度学习（DL）的鉴别器的敏感属性上的分类准确性来实验性地测量信息泄漏。在这项工作中，我们通过颠覆现有的面部表情识别隐私保护GANs来质疑这种检查的严格性。我们表明，可以将敏感的识别数据隐藏在这种PP-GAN的经过消毒的输出图像中，以便以后提取，这甚至可以允许重建整个输入图像，同时满足隐私检查。我们通过基于PP-GAN的架构展示了我们的方法，并使用两个公共数据集提供定性和定量评估。我们的实验结果提出了关于需要对PP-GAN进行更严格的隐私检查的基本问题，并提供了对这些问题的社会影响的见解。
2020-09-19 cs.AI cs.CR cs.CV
Privacy-Preserving Distributed Learning Framework for 6G Telecom Ecosystems
Fraunhofer HHI（弗劳恩霍夫HHI研究所）；Photonic Networks and Systems（光子网络与系统）
我们为6G时代的电信生态系统提供了一个保护隐私的分布式学习框架，该框架实现了ML模型的共享所有权和治理愿景，同时保护了数据所有者的隐私。我们通过将其应用于多域多供应商光网络中的传输质量（QoT）估计的用例来展示其优点，其中没有与网络管理系统（NMS）共享单个域的数据。
2020-08-17 cs.LG cs.NI
Reliability Check via Weight Similarity in Privacy-Preserving Multi-Party Machine Learning
Sangmyung University（祥明大学）
多方机器学习是一种范例，其中多个参与者协作地训练机器学习模型以实现共同的学习目标，而无需共享他们私有的数据。该范式最近受到了研究界的广泛关注，旨在解决其相关的隐私问题。在这项工作中，我们专注于解决与隐私保护多方机器学习相关的数据隐私，模型隐私和数据质量问题，即，我们提出了一个隐私保护的合作学习，检查参与者的数据质量，同时保证数据和模型的隐私计划。特别是，我们提出了一种新的度量称为权重相似性，安全地计算和用于检查是否可以被归类为一个可靠的参与者（持有高质量的数据）或没有。通过在方案中引入同态加密和上传加密权值，分别解决了模型和数据隐私问题，防止了对服务器和恶意参与者的泄漏。我们的计划的分析和实验评估表明，它是准确的，并确保数据和模型的隐私。
2021-01-14 cs.LG
Towards a More Reliable Privacy-preserving Recommender System
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；National Cheng Kung University（国立成功大学）
本文提出了一个隐私保护的分布式推荐框架，安全分布式协同过滤（SDCF），以保护隐私的价值，模型和存在。也就是说，在我们的框架中，不仅用户对项目的评分，而且评分的存在以及学习的推荐模型都是保密的。我们的解决方案依赖于分布式客户端-服务器架构和两阶段随机响应算法，以及流行的推荐模型矩阵分解（MF）的实现。我们进一步证明SDCF满足差分隐私的保证，使客户端可以指定任意的隐私级别。数值评分预测和一类评分行为预测的实验表明，SDCF不会牺牲太多的准确性隐私。
2017-11-22 cs.LG
Privacy-preserving Federated Learning for Residential Short Term Load Forecasting
FINATRAX, University of Luxembourg（卢森堡大学FINATRAX）；University of Luxembourg（卢森堡大学）
由于间歇性发电和动态需求模式的高水平，对住宅负荷的准确预测变得至关重要。智能电表在进行这些预测时可以发挥重要作用，因为它们提供详细的负荷数据。然而，由于数据隐私要求，使用智能电表数据进行负荷预测具有挑战性。本文研究了如何通过结合联邦学习和隐私保护技术（如差分隐私和安全聚合）来满足这些要求。在我们的分析中，我们使用了大量的住宅负载数据，并模拟了不同的联邦学习模型和隐私保护技术如何影响性能和隐私。我们的模拟表明，结合联邦学习和隐私保护技术可以确保高预测准确性和接近完全的隐私。具体来说，我们发现，这种组合使高水平的信息共享，同时确保隐私的处理负荷数据和预测模型。此外，我们确定并讨论了应用联邦学习，差分隐私和安全聚合住宅短期负荷预测的挑战。
2022-09-19 cs.AI cs.LG cs.SY
A Critical Overview of Privacy-Preserving Approaches for Collaborative Forecasting
INESC TEC（葡萄牙机电工程与计算机科学研究所）；Faculty of Sciences of the University of Porto（波尔图大学理学院）；Technical University of Denmark（丹麦技术大学）
不同数据所有者之间的合作可能会提高预测质量-例如，通过利用地理上分布的时间序列中的时空依赖性。由于业务竞争因素和个人数据保护问题，所述数据所有者可能不愿意共享其数据，这增加了对协作隐私保护预测的兴趣。分析了向量自回归（VAR）模型在保证数据隐私方面的研究现状，揭示了现有方法的不足。本文还提供了数学证明和数值分析来评估现有的隐私保护方法，将它们分为三组：数据转换，安全多方计算和分解方法。分析表明，最先进的技术在保护数据隐私方面存在局限性，例如隐私和预测准确性之间的权衡，而迭代模型拟合过程中的原始数据，其中中间结果是共享的，可以在一些迭代后推断出来。
2020-10-10 cs.LG stat.ML
Privacy-Preserving Adversarial Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Boston University（波士顿大学）
我们提出了一个数据驱动的框架，优化隐私保护的数据发布机制，以达到信息理论上的最佳折衷之间的失真最小化的有用数据和隐藏特定的敏感信息。我们的方法采用对抗训练的神经网络实现随机机制，并执行变分近似的互信息隐私。我们通过对离散和连续合成数据以及MNIST手写数字数据集的概念验证实验来验证我们的隐私保护对抗网络（PPAN）框架。对于合成数据，我们的模型无关的PPAN方法实现了非常接近于从模型知识中解析得出的最佳权衡的权衡点。在MNIST数据的实验中，我们直观地展示了最小化像素级失真与隐藏写入数字之间的权衡。
2019-06-12 cs.CR cs.GT cs.IT
Privacy-preserving Active Learning on Sensitive Data for User Intent Classification
Amazon Research（亚马逊研究院）
主动学习有望在保持合理模型性能的同时显著降低数据注释成本。但是，它需要将数据发送给注释器进行标记。当训练集包括敏感的用户数据时，这存在可能的隐私泄漏。在本文中，我们描述了一种方法进行隐私保护主动学习与量化的保证。我们评估我们的方法，显示隐私，实用程序和注释预算之间的权衡二进制分类任务中的主动学习设置。
2019-03-26 cs.CL cs.LG stat.ML
Privacy-Preserving Causal Inference via Inverse Probability Weighting
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Tübingen（图宾根大学）
使用逆概率加权（IPW）方法来估计观察性研究中治疗的因果效应在计量经济学、医学和社会科学中很普遍。虽然这些研究往往涉及敏感信息，迄今为止还没有工作的隐私保护IPW的方法。我们解决这个问题，提供了一个新的框架，隐私保护IPW（PP-IPW）的方法。我们包括我们提出的私有化程序对估计的平均治疗效果的影响的理论分析，并在合成，半合成和真实数据集上评估我们的PP-IPW框架。实证结果与我们的理论研究结果是一致的。
2019-11-01 cs.LG stat.ML
Value-Action Alignment in Large Language Models under Privacy-Prosocial Conflict
Arizona State University（亚利桑那州立大学）；University of Southern California（南加州大学）
研究探讨大语言模型在隐私与亲社会冲突中的价值-行动对齐，通过多组结构方程模型分析隐私关注与亲社会性对数据共享的影响，提出价值-行动对齐率（VAAR）作为评估指标。
2026-06-28 cs.AI cs.CL cs.HC
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；NTNU（挪威科技大学）
我们提出了一个集成学习框架与泊松子采样，有效地训练一组教师模型，发出一些差分隐私（DP）的训练数据的保证。通过DP下的提升，从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制，即：（i）经由泊松子采样的隐私预算放大，以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型，以及（ii）子采样技术和总体师生学习框架的组合，该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练，以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明，我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
