Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University（罗格斯大学）；Duke University（杜克大学）；University of California, Irvine（加州大学欧文分校）
本文提出融合联邦学习与差分隐私的广告个性化框架，通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术，在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Can large language models be privacy preserving and fair medical coders?
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究院）
本研究探讨将差分隐私应用于大语言模型医疗编码任务的两大权衡，发现隐私保护会导致MIMIC-III数据集上前50标签微F1降超40%，且男女患者召回率差距扩大3%以上，为现实部署提供参考。
2024-12-07 cs.CR cs.LG
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University（南京大学）
联邦学习（FL）是近年来的研究热点，其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而，这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战，我们从理论上分析了通信压缩方法应满足的条件，以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发，我们提出了一种新的通信压缩方法，称为共识稀疏化（ConSpar）。据我们所知，ConSpar是第一种通信压缩方法，旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上，我们进一步提出了一个新的FL框架FedREP，它是拜占庭式的鲁棒性，通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明，FedREP可以显着优于通信效率的隐私保护基线。此外，与拜占庭强大的通信效率基线相比，FedREP可以实现相当的准确性，并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich（慕尼黑工业大学）；Bytedance Inc.（字节跳动公司）；Massachusetts Institute of Technology（麻省理工学院）
联邦学习是一种分布式机器学习框架，它支持多方协作训练，同时确保数据隐私。XGBoost是最先进的树提升框架，由于传统隐私保护方法的高成本，XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题，我们提出了两种具有隐私保证的联邦XGBoost变体：FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法，以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的，它是用噪声扰动为本地差分隐私设计的，并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；University of Southern Denmark（南丹麦大学）；Imperial College London（帝国理工学院）
联邦学习（FL）使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例，其中原始数据共享是不需要的，最近的研究表明，FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中，我们提出了HyFed框架，它增强了隐私的FL，同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式，其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa（伊斯坦布尔大学-切尔拉帕萨分校）；Queen’s University（女王大学）
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架，并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Privacy-preserving Decentralized Federated Learning over Time-varying Communication Graph
Lancaster University（兰卡斯特大学）
确定一组学习者如何以完全分散的（点对点，没有协调员）方式提供隐私保护的联邦学习是一个开放的问题。我们提出了第一个隐私保护的基于共识的算法，分布式学习器，以实现分散的全球模型聚合的环境中的高流动性，学习器之间的通信图可能会有所不同，连续轮的模型聚合。特别地，在每一轮全局模型聚合中，Metropolis-Hastings方法被应用于基于当前通信拓扑来更新加权邻接矩阵。此外，Shamir的秘密共享方案的整合，以促进隐私达成共识的全球模型。本文建立了该算法的正确性和隐私属性。通过建立在联邦学习框架上的仿真实验，对算法的计算效率进行了评估。
2022-10-01 cs.CR cs.LG cs.MA
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Privacy Preserving in Non-Intrusive Load Monitoring: A Differential Privacy Perspective
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
智能电表设备可以更好地了解需求，避免私人信息泄露的潜在风险。减轻这种风险的一种有希望的解决方案是将噪声注入到仪表数据中以实现一定水平的差分隐私。在本文中，我们投一次性的非侵入式负载监测（NILM）的压缩感知框架，并弥合NILM推理的理论精度和差分隐私的参数之间的差距。然后，我们推导出有效的理论界提供见解的差分隐私参数如何影响NILM的性能。此外，我们推广了我们的结论，提出了层次框架来解决多镜头NILM问题。数值实验验证了我们的分析结果，并提供更好的物理见解的差分隐私在各种实际情况下。这也说明了我们的工作对一般隐私保护机制设计的意义。
2020-11-12 cs.CR cs.LG cs.SY
A Privacy-Preserving and Trustable Multi-agent Learning Framework
Bennett University（贝内特大学）；Syracuse University（雪城大学）
分布式多智能体学习使智能体能够合作训练模型，而不需要共享它们的数据集。虽然这种设置确保了一定程度的隐私，但已经表明，即使当数据不直接共享时，训练过程也容易受到隐私攻击，包括数据重建和模型反演攻击。此外，在反向标签或随机数据上进行训练的恶意代理可能会任意削弱全局模型的准确性。本文解决了这些挑战，并提出了隐私保护和可信赖的分布式学习（PT-DL），这是一个完全分散的框架，依赖于差分隐私来保证代理数据的强大隐私保护，以及以太坊智能合约来确保可信赖性。本文表明，PT-DL是弹性高达50%的共谋攻击，具有很高的概率，在恶意的信任模型和实验评估说明了所提出的模型的好处，作为一个隐私保护和可信的分布式多智能体学习系统的几个分类任务。
2021-06-02 cs.AI cs.CR cs.LG
Quantum Privacy Aggregation of Teacher Ensembles (QPATE) for Privacy-preserving Quantum Machine Learning
Wells Fargo（富国银行）
本文首次将教师集成隐私聚合（PATE）技术应用于量子神经网络集成，提出 QPATE 方法，为量子机器学习模型提供隐私保护。
2024-01-15 cs.CR cs.LG quant-ph
Privacy-preserving Federated Learning for Residential Short Term Load Forecasting
FINATRAX, University of Luxembourg（卢森堡大学FINATRAX）；University of Luxembourg（卢森堡大学）
由于间歇性发电和动态需求模式的高水平，对住宅负荷的准确预测变得至关重要。智能电表在进行这些预测时可以发挥重要作用，因为它们提供详细的负荷数据。然而，由于数据隐私要求，使用智能电表数据进行负荷预测具有挑战性。本文研究了如何通过结合联邦学习和隐私保护技术（如差分隐私和安全聚合）来满足这些要求。在我们的分析中，我们使用了大量的住宅负载数据，并模拟了不同的联邦学习模型和隐私保护技术如何影响性能和隐私。我们的模拟表明，结合联邦学习和隐私保护技术可以确保高预测准确性和接近完全的隐私。具体来说，我们发现，这种组合使高水平的信息共享，同时确保隐私的处理负荷数据和预测模型。此外，我们确定并讨论了应用联邦学习，差分隐私和安全聚合住宅短期负荷预测的挑战。
2022-09-19 cs.AI cs.LG cs.SY
Towards Privacy-Preserving Person Re-identification via Person Identify Shift
近年来，行人身份识别（ReID）中的隐私问题越来越受到人们的关注，如何保护ReID中行人图像的隐私变得至关重要。去身份化（DeID）方法通过去除ReID数据的身份相关来减轻隐私问题。然而，大多数现有的DeID方法往往会删除所有与个人身份相关的信息，并损害ReID任务中去识别数据的可用性。在本文中，我们的目标是开发一种技术，可以实现一个很好的折衷之间的隐私保护和数据的可用性的人ReID。为了实现这一点，我们提出了一种新的去识别方法，明确设计的人ReID，命名为人识别转移（PIS）。PIS在保持图像对之间身份关系的同时，去除了行人图像中的绝对身份。通过利用变分自动编码器的插值特性，PIS将每个行人图像从当前身份转移到另一个具有新身份的身份，从而使图像仍然保持相对身份。实验结果表明，与现有的去身份方法相比，该方法在隐私保护和模型性能之间具有更好的权衡，能够抵御人类和模型对数据隐私的攻击。
2022-07-15 cs.CV
Privacy-Preserving Image Classification Using Vision Transformer
Tokyo Metropolitan University（东京都立大学）
在本文中，我们提出了一个隐私保护的图像分类方法，是基于加密图像和视觉Transformer（ViT）的组合使用。该方法不仅允许我们将没有视觉信息的图像应用于ViT模型进行训练和测试，而且还可以保持较高的分类精度。ViT利用补丁嵌入和位置嵌入图像补丁，所以这种架构被证明可以减少逐块图像变换的影响。在实验中，所提出的隐私保护图像分类的方法被证明优于国家的最先进的方法在分类精度和鲁棒性方面对各种攻击。
2022-05-24 cs.CV
Knowledge Priors for Identity-Disentangled Open-Set Privacy-Preserving Video FER
School of CSE, UNSW Sydney（UNSW悉尼大学计算机科学与工程学院）；CSIRO’s Data61（澳大利亚CSIRO数据61实验室）
本文提出一种两阶段框架，在无需身份标签的情况下，通过身份抑制网络和去噪模块实现隐私保护的视频情感识别，同时引入验证方法评估隐私鲁棒性。
2026-03-25 cs.CV
Learnable Privacy-Preserving Anonymization for Pedestrian Images
Wuhan University（武汉大学）；Zhejiang Lab（之江实验室）
研究了一种新的行人图像隐私保护匿名化问题，该问题为授权模型保留个人身份信息（PII），并防止PII被第三方识别。传统的匿名方法不可避免地会导致语义信息丢失，导致数据效用有限。此外，现有的学习匿名化技术，同时保留各种身份无关的效用，将改变行人的身份，因此不适合训练鲁棒的重新识别模型。为了探索行人图像的隐私-效用权衡，我们提出了一个联合学习可逆匿名化框架，该框架可以可逆地生成全身匿名图像，并且在人员重新识别任务上的性能下降很少。其核心思想是采用传统方法生成的脱敏图像作为初始隐私保护监督，联合训练一个匿名化编码器、一个恢复解码器和一个身份不变模型。我们进一步提出了一个渐进的训练策略来提高性能，迭代地升级初始匿名化监督。实验进一步证明了我们的匿名行人图像的隐私保护的有效性，提高了重新识别的性能，同时保护隐私。代码可在\url{https://github.com/whuzjw/privacy-reid}上获得。
2022-07-24 cs.CV cs.MM
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；NTNU（挪威科技大学）
我们提出了一个集成学习框架与泊松子采样，有效地训练一组教师模型，发出一些差分隐私（DP）的训练数据的保证。通过DP下的提升，从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制，即：（i）经由泊松子采样的隐私预算放大，以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型，以及（ii）子采样技术和总体师生学习框架的组合，该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练，以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明，我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
Subverting Privacy-Preserving GANs: Hiding Secrets in Sanitized Images
NYU Tandon School of Engineering（纽约大学坦登工程学院）
前所未有的数据汇集和共享加剧了对隐私的担忧，并导致人们对隐私保护工具的兴趣日益增加，这些工具可以从图像中删除敏感属性，同时为其他任务保留有用的信息。目前，最先进的方法使用隐私保护生成对抗网络（PP-GAN）来实现这一目的，例如，在不泄露用户身份的情况下实现可靠的面部表情识别。然而，PP-GAN并不提供隐私的正式证明，而是依赖于使用基于深度学习（DL）的鉴别器的敏感属性上的分类准确性来实验性地测量信息泄漏。在这项工作中，我们通过颠覆现有的面部表情识别隐私保护GANs来质疑这种检查的严格性。我们表明，可以将敏感的识别数据隐藏在这种PP-GAN的经过消毒的输出图像中，以便以后提取，这甚至可以允许重建整个输入图像，同时满足隐私检查。我们通过基于PP-GAN的架构展示了我们的方法，并使用两个公共数据集提供定性和定量评估。我们的实验结果提出了关于需要对PP-GAN进行更严格的隐私检查的基本问题，并提供了对这些问题的社会影响的见解。
2020-09-19 cs.AI cs.CR cs.CV
Interpretable Machine Learning for Privacy-Preserving Pervasive Systems
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
我们与普适系统的日常交互会生成跟踪，这些跟踪捕获人类行为的各个方面，并使机器学习算法能够提取有关用户的潜在信息。在本文中，我们提出了一个机器学习可解释性框架，使用户能够理解这些生成的痕迹如何侵犯他们的隐私。
2019-06-04 cs.CR cs.LG stat.ML
Privacy-Preserving Matrix Factorization for Recommendation Systems using Gaussian Mechanism
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出基于差分隐私框架与矩阵分解的隐私保护推荐系统，利用高斯机制输出扰动和 Rényi 差分隐私，在真实数据上验证了严格隐私下仍可保持良好推荐效用。
2023-04-11 cs.CR cs.IR cs.LG
PCAL: A Privacy-preserving Intelligent Credit Risk Modeling Framework Based on Adversarial Learning
信用风险建模已经渗透到我们的日常生活中。大多数银行和金融公司使用这种技术来模拟客户的可信度。虽然机器学习越来越多地用于这一领域，但由此产生的大规模用户私人信息收集重新激发了隐私辩论，考虑到每年由未经授权的黑客造成的数十起数据泄露事件，以及（可能更多）授权方的信息误用/滥用。为了解决这些关键问题，本文提出了一个基于对抗学习的隐私保护信用风险建模框架（PCAL）。PCAL旨在通过（迭代）权衡隐私风险损失和面向实用性的损失，掩盖原始数据集内的私人信息，同时保留目标预测任务性能的重要实用信息。在实用性和隐私保护方面，将PCAL与现成的选项进行比较。实验结果表明，PCAL可以从用户数据中学习到一种有效的、无隐私的表示方法，为信用风险分析中隐私保护的机器学习提供了坚实的基础。
2020-10-06 cs.CR cs.CV cs.LG
Attacks on Image Encryption Schemes for Privacy-Preserving Deep Neural Networks
隐私保护机器学习是一个活跃的研究领域，通常依赖于同态加密或安全多方计算等技术。最近，Tanaka和Sirichotedumrong、Kinoshita和Kiya提出了使用深度神经网络对图像执行机器学习的新加密技术。我们提出了新的选择明文和密文的攻击对这两个建议的图像加密方案，并证明了攻击的有效性的几个例子。
2020-04-29 cs.CR cs.CV cs.LG
Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation
University at Buffalo（布法罗大学）；United Imaging Intelligence（联影智能）
联邦学习（FL）是一种机器学习范例，其中本地节点协作地训练中央模型，而训练数据保持分散。现有的FL方法通常共享模型参数或采用共蒸馏来解决数据分布不平衡的问题。然而，他们受到通信瓶颈的困扰。更重要的是，他们冒着隐私泄露的风险。在这项工作中，我们开发了一个隐私保护和通信有效的方法在FL框架与一次性离线知识蒸馏使用未标记的，跨域的公共数据。我们提出了一个量化和噪声合奏的本地预测从完全训练的本地模型更强的隐私保证，而不牺牲准确性。基于对图像分类和文本分类任务的大量实验，我们表明，我们的隐私保护方法优于基线FL算法，在准确性和通信效率方面都具有优异的性能。
2022-09-10 cs.CR cs.CV cs.LG
Privacy Preserving K-Means Clustering: A Secure Multi-Party Computation Approach
GMV（GMV公司）
知识发现是人工智能的主要目标之一。这些知识通常存储在分布在不同环境中的数据库中，访问和从中提取数据是一项繁琐（或不可能）的任务。对于这个困难，我们必须补充的是，这些数据可能包含私人数据，因此信息永远不会离开源。隐私保护机器学习（PPML）有助于克服这一困难，采用加密技术，允许知识发现，同时确保数据隐私。K-means是一种数据采掘技术，用于发现知识，将包含相似特征的数据点分组在聚类中。本文重点介绍了隐私保护机器学习应用于K-means，使用最近的协议，从criptography领域。该算法适用于不同的情况下，数据可能是水平或垂直分布。
2020-09-22 cs.CR cs.LG stat.ML
Challenges of Privacy-Preserving Machine Learning in IoT
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）
物联网（IoT）将成为实现更好系统智能的主要数据生成基础设施。然而，物联网中广泛的数据汇集和处理也产生了各种隐私问题。本文提供了一个分类的现有的隐私保护机器学习方法开发的背景下，云计算，并讨论了将它们应用在物联网的背景下的挑战。此外，我们提出了一种保护隐私的推理方法，该方法在物联网对象处运行轻量级神经网络以在传输之前混淆数据，并在云中运行深层神经网络以对混淆的数据进行分类。基于MNIST数据集的评估显示出令人满意的性能。
2019-09-21 cs.CR cs.LG stat.ML
Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks
WeBank AI Lab（微众银行人工智能实验室）；University of Malaya（马来亚大学）；Hong Kong Univ. of Science and Tech.（香港科技大学）
本文研究了隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。首先，我们建议定量衡量模型的准确性和隐私损失所造成的重建，跟踪和成员攻击之间的权衡。其次，我们将重建攻击表述为求解一个噪声线性方程组，并证明了如果条件（2）不满足，则保证攻击被击败。第三，在理论分析的基础上，提出了一种新的秘密极化网络（SPN）来抵御隐私攻击，这对现有的PPDL方法提出了严峻的挑战。大量的实验表明，在数据隐私得到满意保护的情况下，与基线机制相比，模型准确性平均提高了5-20%。
2020-06-23 cs.CR cs.DC cs.LG
Privacy-Preserving 3-Layer Neural Network Training
针对仅同态加密设置下的神经网络隐私保护训练问题，结合并扩展现有技术，实现了该设置下回归与分类任务的三层神经网络训练。
2025-04-15 cs.CR cs.LG
Privacy Preserving Machine Learning: Threats and Solutions
Iowa State University（爱荷华州立大学）；University of South Florida（南佛罗里达大学）
为了在当前的机器学习系统中充分解决隐私问题，必须弥合机器学习社区和隐私社区之间的知识差距。本文旨在介绍这两个领域的交叉点，特别强调用于保护数据的技术。
2018-03-27 cs.CR cs.LG
Efficient Privacy-Preserving Stochastic Nonconvex Optimization
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
虽然许多解决方案的隐私保护凸经验风险最小化（ERM）已经开发，隐私保护非凸ERM仍然是一个挑战。我们研究非凸ERM，它采取的形式是最小化有限和的非凸损失函数的训练集。我们提出了一个新的差分私人随机梯度下降算法的非凸ERM，有效地实现强隐私保证，并提供了一个严密的分析其隐私和效用的保证，以及其梯度的复杂性。我们的算法降低了梯度复杂度，同时提高了Wang等人给出的最佳效用保证（NeurIPS 2017）。我们在基准非凸ERM问题上的实验表明，与以前使用相同隐私预算的差分隐私方法相比，在训练成本和效用增益方面具有优异的性能。
2023-02-02 cs.CR cs.LG math.OC
Bounding the Invertibility of Privacy-preserving Instance Encoding using Fisher Information
Pennsylvania State University（宾夕法尼亚州立大学）；Meta AI；Georgia Institute of Technology（佐治亚理工学院）；Cornell University（康奈尔大学）
本文提出基于Fisher信息的理论化隐私度量，用于界定隐私保护实例编码的可逆性，兼具直观性与实用性，并在理论与实证层面验证其有效性。
2023-05-06 cs.CR cs.LG
Privacy- and Utility-Preserving Textual Analysis via Calibrated Multivariate Perturbations
Amazon（亚马逊）
准确地从用户数据中学习，同时提供可量化的隐私保证，这为在维护用户信任的同时构建更好的ML模型提供了机会。本文提出了一种形式化的方法来进行隐私保护文本扰动使用的概念dx隐私设计，以实现地理位置数据的不可否认性。我们的方法适用于仔细校准的噪音，以向量表示的话，在一个高维空间定义的词嵌入模型。我们提出了一个隐私证明，满足DX隐私的隐私参数提供保证相对于由词嵌入空间定义的距离度量。我们演示了如何通过分析GloVe和fastText嵌入的大规模分析支持的似是而非的可否认性统计数据来选择。我们对2个基线模型进行隐私审计实验，并在3个数据集上进行效用实验，以证明不同任务类型上不同值的隐私和效用之间的权衡。我们的研究结果证明了实用性（训练二进制分类器的效用损失< 2%），同时提供了比基线模型更好的隐私保证。
2019-10-20 cs.CL cs.CR cs.LG
Privacy-Preserving Generative Models: A Comprehensive Survey
De Montfort University（德蒙福特大学）；University of Basel（巴塞尔大学）
本文通过分析100篇文献，系统综述了隐私保护生成模型，提出GANs和VAEs的隐私与效用指标新分类体系，并指出当前挑战与未来研究方向。
2025-02-05 cs.CR cs.LG
Privacy-preserving recommender system using the data collaboration analysis for distributed datasets
University of Tsukuba（筑波大学）；Hosei University（法政大学）
本研究针对分布式数据集共享中的隐私保护问题，建立了一个基于数据协作分析的隐私保护推荐系统框架，数值实验表明该方法能提高评分预测准确率。
2024-05-24 cs.CR cs.IR cs.LG
A Critical Overview of Privacy-Preserving Approaches for Collaborative Forecasting
INESC TEC（葡萄牙机电工程与计算机科学研究所）；Faculty of Sciences of the University of Porto（波尔图大学理学院）；Technical University of Denmark（丹麦技术大学）
不同数据所有者之间的合作可能会提高预测质量-例如，通过利用地理上分布的时间序列中的时空依赖性。由于业务竞争因素和个人数据保护问题，所述数据所有者可能不愿意共享其数据，这增加了对协作隐私保护预测的兴趣。分析了向量自回归（VAR）模型在保证数据隐私方面的研究现状，揭示了现有方法的不足。本文还提供了数学证明和数值分析来评估现有的隐私保护方法，将它们分为三组：数据转换，安全多方计算和分解方法。分析表明，最先进的技术在保护数据隐私方面存在局限性，例如隐私和预测准确性之间的权衡，而迭代模型拟合过程中的原始数据，其中中间结果是共享的，可以在一些迭代后推断出来。
2020-10-10 cs.LG stat.ML
SoK: Privacy-Preserving Collaborative Tree-based Model Learning
Laboratory for Data Security -- EPFL（数据安全实验室 -- 洛桑联邦理工学院）
基于树的模型因其准确性、可解释性和简单性而成为当今数据采掘最有效的机器学习技术之一。最近对更多数据和隐私保护的正交需求要求协作隐私保护解决方案。在这项工作中，我们调查了文献的分布式和隐私保护训练的基于树的模型，我们系统化的知识的基础上的四个轴：学习算法，协作模型，保护机制，和威胁模型。我们用它来识别这些作品的优点和局限性，并首次提供了一个框架，分析分布式基于树的模型学习中发生的信息泄漏。
2021-06-18 cs.CR cs.LG
Heterogeneous Graph Neural Network for Privacy-Preserving Recommendation
Guangxi Normal University（广西师范大学）；Beihang University（北京航空航天大学）；Macquarie University（麦考瑞大学）
社交网络被认为是具有深度学习技术进步的异构图神经网络（HGNNs）。与同质数据相比，HGNN在训练阶段吸收了关于个人的各个方面的信息。这意味着学习结果中包含了更多的信息，特别是敏感信息。然而，同质图上的隐私保护方法仅保留相同类型的节点属性或关系，由于复杂性，不能有效地工作在异构图上。针对这一问题，提出了一种基于差分隐私机制的异构图神经网络隐私保护方法HeteDP，该方法提供了图特征和拓扑的双重保证.特别是，我们首先定义了一个新的攻击方案，以揭示隐私泄漏的异构图。具体来说，我们设计了一个两阶段的流水线框架，包括隐私保护特征编码器和基于差分隐私的梯度扰动异构链路重构器，以容忍数据多样性和抵抗攻击。为了更好地控制噪声和提高模型性能，我们利用一个双层优化模式来分配一个合适的隐私预算的上述两个模块。我们在四个公共基准测试上的实验表明，HeteDP方法具有良好的模型泛化能力，可以抵抗异构图隐私泄漏。
2022-10-09 cs.CR cs.LG
Privacy-Preserving Machine Learning for Collaborative Data Sharing via Auto-encoder Latent Space Embeddings
Los Andes University（洛斯安第斯大学）；Rappi（Rappi公司）；Amazon（亚马逊）
数据共享过程中的隐私保护机器学习是一项至关重要的任务，它可以在不需要共享原始数据源的情况下实现机器学习（ML）模型的协作训练。当组织必须确保敏感数据在整个ML管道中保持私有时，这一点尤其重要，即，训练和推理阶段。本文提出了一个创新的框架，使用表示学习通过自动编码器生成隐私保护的嵌入式数据。因此，组织可以共享数据表示，以提高机器学习模型在具有用于共享的预测下游任务的多个数据源的场景中的性能。
2022-11-11 cs.CR cs.LG
Privacy-Preserving Causal Inference via Inverse Probability Weighting
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Tübingen（图宾根大学）
使用逆概率加权（IPW）方法来估计观察性研究中治疗的因果效应在计量经济学、医学和社会科学中很普遍。虽然这些研究往往涉及敏感信息，迄今为止还没有工作的隐私保护IPW的方法。我们解决这个问题，提供了一个新的框架，隐私保护IPW（PP-IPW）的方法。我们包括我们提出的私有化程序对估计的平均治疗效果的影响的理论分析，并在合成，半合成和真实数据集上评估我们的PP-IPW框架。实证结果与我们的理论研究结果是一致的。
2019-11-01 cs.LG stat.ML
PAT: Privacy-Preserving Adversarial Transfer for Accurate, Robust and Privacy-Preserving EEG Decoding
Hubei Key Laboratory of Brain-inspired Intelligent Systems, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院脑启发智能系统湖北省重点实验室）；Shenzhen Huazhong University of Science and Technology Research Institute（深圳华中科技大学研究院）；Zhongguancun Academy（中关村学院）
本文提出PAT框架，结合数据对齐、对抗训练和隐私保护迁移，提升EEG解码的准确性、鲁棒性和隐私保护，实验表明其在多个数据集上优于现有方法。
2026-04-11 cs.HC cs.LG eess.SP
Privacy-Preserving XGBoost Inference
AWS Cryptography Algorithm（AWS密码算法）；Yale University（耶鲁大学）
虽然机器学习（ML）被广泛用于预测任务，但在一些重要的场景中，ML无法使用或至少无法充分发挥其潜力。采用的一个主要障碍是预测查询的敏感性。个人用户可能缺乏足够丰富的数据集来本地训练准确的模型，但也不愿意将敏感的查询发送到出售此类模型的商业服务。隐私保护机器学习（PPML）的一个核心目标是使用户能够向远程ML服务提交加密查询，接收加密结果，并在本地对其进行解密。我们的目标是为现实世界的隐私保护ML推理问题开发实用的解决方案。在本文中，我们提出了一种隐私保护的XGBoost预测算法，我们已经在AWS SageMaker上实施并进行了经验评估。实验结果表明，我们的算法是有效的，足以用于实际的ML生产环境。
2020-11-24 cs.CR cs.LG
Privacy-preserving Active Learning on Sensitive Data for User Intent Classification
Amazon Research（亚马逊研究院）
主动学习有望在保持合理模型性能的同时显著降低数据注释成本。但是，它需要将数据发送给注释器进行标记。当训练集包括敏感的用户数据时，这存在可能的隐私泄漏。在本文中，我们描述了一种方法进行隐私保护主动学习与量化的保证。我们评估我们的方法，显示隐私，实用程序和注释预算之间的权衡二进制分类任务中的主动学习设置。
2019-03-26 cs.CL cs.LG stat.ML
Privacy-Preserving Adversarial Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Boston University（波士顿大学）
我们提出了一个数据驱动的框架，优化隐私保护的数据发布机制，以达到信息理论上的最佳折衷之间的失真最小化的有用数据和隐藏特定的敏感信息。我们的方法采用对抗训练的神经网络实现随机机制，并执行变分近似的互信息隐私。我们通过对离散和连续合成数据以及MNIST手写数字数据集的概念验证实验来验证我们的隐私保护对抗网络（PPAN）框架。对于合成数据，我们的模型无关的PPAN方法实现了非常接近于从模型知识中解析得出的最佳权衡的权衡点。在MNIST数据的实验中，我们直观地展示了最小化像素级失真与隐藏写入数字之间的权衡。
2019-06-12 cs.CR cs.GT cs.IT
Towards Split Learning-based Privacy-Preserving Record Linkage
University of Macedonia（马其顿大学）
本文研究如何利用分割学习实现隐私保护记录链接，提出基于公开参考集的新型训练方法，在保护数据隐私的同时取得与集中式SVM方法接近的匹配效果。
2024-09-02 cs.CR cs.DB cs.LG
Privacy-Preserving Graph Convolutional Networks for Text Classification
图卷积网络（GCN）是用于对自然地作为图出现的文档进行表示学习的强大架构，例如，引用或社交网络。然而，敏感的个人信息，例如以人们的个人资料或关系为边缘的文档，很容易发生隐私泄露，因为经过训练的模型可能会泄露原始输入。虽然差分隐私（DP）提供了一个有充分依据的隐私保护框架，GCN提出了理论和实践的挑战，由于他们的培训细节。我们通过将基于差异私有梯度的训练适应于GCN来解决这些挑战，并使用两种优化器在两种语言的五个NLP数据集上进行实验。我们提出了一个简单而有效的方法，基于随机图分裂，不仅提高了基线隐私边界的2.7倍，同时保留竞争力的F1分数，但也提供了强大的隐私保证，？= 1.0。我们表明，在某些建模选择下，隐私保护GCN执行高达90%的非私有变体，同时正式保证强大的隐私措施。
2022-05-02 cs.CL cs.CR cs.LG
Privacy-preserving and yet Robust Collaborative Filtering Recommender as a Service
Luxembourg Institute of Science and Technology (LIST)（卢森堡科学技术研究院（LIST））
协同过滤服务器以牺牲最终用户的隐私为代价提供有效的个性化服务。随着社会对隐私保护的日益关注和隐私保护法规的日益严格，设计一种既能保护隐私又能为隐私敏感用户提供推荐服务的鲁棒的推荐器成为一个迫切的研究挑战。我们的分析表明，现有的解决方案在几个方面存在不足，包括缺乏对最终用户的精确输出的关注和忽略相关的鲁棒性问题。在本文中，我们提供了一个通用的系统结构，潜在因素为基础的协同过滤过滤器，制定他们的模型训练和预测计算阶段，还描述了一个新的安全模型。针对务实的解决方案，我们首先展示了如何构建隐私保护，但强大的模型训练阶段的基础上现有的解决方案。然后，我们提出了两个密码协议来实现隐私保护的预测计算阶段，这取决于是否涉及额外的代理。与标准的Top-k推荐不同，作为我们隐私设计策略的结果，我们让最终用户检索预测高于阈值的未评级项目。实验结果表明，我们的新协议是相当有效的。
2019-10-09 cs.CR cs.IR cs.LG
Privacy-Preserving Distributed Parameter Estimation for Probability Distribution of Wind Power Forecast Error
Tsinghua University（清华大学）；Bytedance（字节跳动）
建立风电预测误差的条件概率分布对风电场（WF）和独立系统运营商（ISO）都有利。建立风电功率的联合概率分布和相应的空间相关WFs预测数据是推导条件概率分布的基础。传统的概率分布参数估计方法需要收集所有工作流的历史数据。然而，在多区域互联电网的背景下，出于隐私或竞争考虑，区域ISO和WF都不能收集其他区域WF的原始数据。因此，本文首先提出了一种基于高斯混合模型的隐私保护分布式期望最大化算法来估计联合概率分布的参数。该算法由两种新颖的方法组成：（1）隐私保护的分布式求和算法和（2）隐私保护的分布式内积算法。然后，我们推导出每个WF的预测误差的条件概率分布的联合之一。通过该算法，工作流只需要进行局部计算和保护隐私的邻居通信就可以实现整体参数估计。这些算法进行了验证，使用风积分数据集公布的NREL。
2020-02-29 cs.CR cs.DC cs.LG
Survey and Open Problems in Privacy Preserving Knowledge Graph: Merging, Query, Representation, Completion and Applications
Ant Group（蚂蚁集团）；Macquarie University（麦考瑞大学）
知识图谱（KG）因其能够以有意义的方式连接不同类型的数据，并支持丰富的数据服务，受到越来越多企业的关注。然而，数据隔离问题限制了KG的性能，并阻碍了其进一步发展。即是说，多个机构都有自己的幼儿园，但基于规管或竞争的理由，不能共用。因此，如何进行隐私保护的幼儿园成为一个重要的研究课题。也就是说，多方在保护多个幼儿园隐私的基础上协同进行幼儿园相关任务。到目前为止，很少有解决上述KG隔离问题的工作。在本文中，为了填补这一空白，我们总结了开放的问题，隐私保护KG在数据隔离设置，并提出了可能的解决方案。具体而言，我们从四个方面总结了隐私保护KG中存在的问题，即，合并、查询、表示和完成。我们详细介绍了这些问题，并提出了可能的技术解决方案。此外，我们提出了三个隐私保护KG感知的应用程序，并简单地描述了如何将我们提出的技术应用到这些应用程序。
2020-11-20 cs.CR cs.DB cs.LG
Privacy-Preserving Synthetic Educational Data Generation
Inria Saclay（法国国家信息与自动化研究所萨克莱分院）
机构收集大量的学习痕迹，但出于隐私问题，它们可能不会披露。合成数据的产生为教育研究开辟了新的机会。在本文中，我们提出了一个生成模型的教育数据，可以保护参与者的隐私，并比较合成数据发电机的评估框架。我们将展示如何天真的匿名化可以导致重新识别的威胁，并建议技术，以保证隐私。我们评估我们的方法对现有的大量教育开放数据集。
2022-07-07 cs.AI cs.CR cs.CY
Privacy-Preserving Data Sharing in Agriculture: Enforcing Policy Rules for Secure and Confidential Data Synthesis
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Texas A&M University - Central Texas（德克萨斯农工大学中德克萨斯分校）
针对农业数据共享的隐私合规缺口，本研究提出一种可强制执行隐私政策规则的新型框架，通过提取农业行为准则中的隐私约束定义生成模型隐私边界，生成兼具实用性与安全性的农业合成数据。
2023-11-27 cs.AI cs.CR cs.LG
Privacy and Integrity Preserving Training Using Trusted Hardware
University of Southern California（南加州大学）
随着机器学习进入不同的应用领域，隐私和安全相关的问题越来越多。数据持有者希望使用私有数据进行训练，同时利用托管在云中的GPU等加速器。然而，云系统容易受到攻击者的攻击，这些攻击者会损害数据的隐私性和计算的完整性。这项工作介绍了DarKnight，这是一个大型DNN训练框架，同时保护输入隐私和计算完整性。DarKnight依赖于可信执行环境（TEE）和加速器之间的合作执行，其中TEE提供隐私和完整性验证，而加速器执行计算繁重的线性代数运算。
2021-05-01 cs.AR cs.CR cs.LG
Privacy Preserving ID3 over Horizontally, Vertically and Grid Partitioned Data
Hasselt University（哈瑟尔特大学）；Transnational University Limburg（林堡跨国大学）；Eindhoven University of Technology（埃因霍温理工大学）
在训练数据水平或垂直分布的情况下，我们考虑通过ID3的隐私保护决策树归纳。此外，我们考虑同样的问题的情况下，数据是水平和垂直分布的，我们称之为网格分区数据的情况。我们给出了一个隐私保护算法ID3水平分割数据涉及两个以上的缔约方。对于网格划分的数据，我们讨论了两种不同的评估方法来保护隐私ID3，即先水平合并，然后垂直发展或先垂直合并，然后水平发展。其次，介绍了隐私保护数据采掘网格划分的数据，本文的主要贡献是，我们表明，通过复杂性分析，前评估方法是更有效的。
2008-03-11 cs.DB cs.LG
Privacy-Preserving Decentralized Inference with Graph Neural Networks in Wireless Networks
Zhejiang University（浙江大学）；North Carolina State University（北卡罗来纳州立大学）
本文针对无线网络中基于图神经网络的去中心化推理的隐私泄露问题，采用本地差分隐私设计隐私保护信号与训练算法，并结合空中计算技术提升通信和计算效率，通过理论分析与仿真验证了方法的有效性。
2023-05-30 cs.CR cs.IT cs.LG
Privacy-Preserving Distributed Learning Framework for 6G Telecom Ecosystems
Fraunhofer HHI（弗劳恩霍夫HHI研究所）；Photonic Networks and Systems（光子网络与系统）
我们为6G时代的电信生态系统提供了一个保护隐私的分布式学习框架，该框架实现了ML模型的共享所有权和治理愿景，同时保护了数据所有者的隐私。我们通过将其应用于多域多供应商光网络中的传输质量（QoT）估计的用例来展示其优点，其中没有与网络管理系统（NMS）共享单个域的数据。
2020-08-17 cs.LG cs.NI
