Locally Differentially Private Bayesian Inference
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）；University of Helsinki（赫尔辛基大学）
近年来，局部差分隐私（LDP）已成为一种选择的隐私保护数据收集在几种情况下，当聚合器是不值得信赖的技术。LDP通过在用户端添加噪声来提供客户端隐私。因此，客户端不需要依赖于聚合器的可信度。在这项工作中，我们提供了一个噪声感知的概率建模框架，它允许贝叶斯推断考虑到噪声下的LDP隐私，条件是局部扰动观测。LDP协议提供的更强的隐私保护（与中央模型相比）是在更苛刻的隐私-效用权衡下实现的。我们的框架解决了LDP在贝叶斯设置下准确量化不确定性所带来的几个计算和统计挑战。我们证明了我们的框架在参数估计单变量和多变量分布以及逻辑和线性回归的功效。
2021-10-27 cs.CR cs.LG stat.ML
Differentially-Private Logistic Regression for Detecting Multiple-SNP Association in GWAS Databases
Carnegie Mellon University（卡内基梅隆大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
在霍默等人发表了对全基因组关联研究（GWAS）数据的攻击之后，已经对开发用于以隐私保护方式发布GWAS数据的方法给予了相当大的关注。在这里，我们开发了一种端到端的差分私有方法，用于解决具有凸罚函数的回归问题，并通过交叉验证选择罚参数。特别是，我们专注于惩罚逻辑斯谛回归与弹性网络正则化，一种广泛用于GWAS分析，以确定致病基因的方法。我们展示了如何将弹性网络正则化惩罚逻辑斯谛回归的差分私有程序应用于GWAS数据的分析并评估我们的方法的性能。
2014-07-30 cs.LG stat.AP stat.ML
Stochastic Gradient Descent for Relational Logistic Regression via Partial Network Crawls
Purdue University（普渡大学）
统计关系学习的研究已经产生了许多从大规模网络数据中学习关系模型的方法。虽然这些方法已成功地应用于各个领域，但它们是在完全数据访问的不切实际的假设下开发的。然而，在实践中，由于专有访问、有限的资源和隐私问题，数据通常通过爬行网络来收集。最近，我们发现，从现有网络爬虫收集的网络样本中计算的关系贝叶斯分类器的参数估计可能非常不准确，并为此类模型开发了一种爬虫感知估计方法（Yang，Ribeiro和Neville，2017）。在这项工作中，我们扩展的方法来学习关系逻辑斯谛回归模型通过随机梯度下降从部分网络爬行，并表明，所提出的方法产生准确的参数估计和置信区间。
2017-08-21 cs.LG stat.ML
Evaluating Differentially Private Machine Learning in Practice
University of Virginia（弗吉尼亚大学）
差分隐私是一个强有力的隐私概念，可以用来证明形式上的保证，在隐私预算方面，$ε$，关于有多少信息被泄露的机制。然而，隐私保护机器学习的实现通常选择大的$ε$值，以获得可接受的模型效用，而很少了解这种选择对有意义的隐私的影响。此外，在使用迭代学习过程的情况下，使用提供更严格分析的差分隐私变体，这似乎减少了所需的隐私预算，但在隐私和效用之间存在难以理解的权衡。在本文中，我们量化的影响，这些选择的隐私实验与逻辑回归和神经网络模型。我们的主要发现是，即使使用先进的机制，也可以保证隐私损失的上限与使用当前推理攻击可以测量的有效隐私损失之间存在巨大差距。当前的差异私有机器学习机制很少提供可接受的效用-隐私权衡，并保证复杂的学习任务：提供有限准确性损失的设置提供无意义的隐私保证，提供强隐私保证的设置导致无用的模型。实验代码可以在这里找到：https://github.com/bargavj/EvaluatingDPML
2019-08-12 cs.CR cs.LG stat.ML
Privacy-Preserving Federated Learning over Vertically and Horizontally Partitioned Data for Financial Anomaly Detection
IBM Research（IBM研究院）
针对金融异常检测中数据同时纵向与横向分区且机构间缺乏信任的问题，提出PV4FAD方案，结合全同态加密、安全多方计算、差分隐私与随机化技术，在训练与推理阶段兼顾隐私保护和模型准确性，并生成随机森林集成模型以提升检测性能。
2023-10-30 cs.CR cs.LG
Achieving Differential Privacy in Vertically Partitioned Multiparty Learning
University of Arkansas（阿肯色大学）
在集中式设置下，差分隐私的保护已经得到了很好的研究。然而，在多方环境下，特别是垂直分割的情况下，保持差分隐私是非常具有挑战性的。在这项工作中，我们提出了一个新的框架，差分隐私保护多方学习的垂直分区设置。我们的核心思想是基于功能机制，通过添加噪声的目标函数，实现差分隐私的发布模型。我们表明，服务器可以简单地将目标函数分解成单方和跨党派的子功能，并分配计算和扰动的多项式系数的本地各方。我们的方法只需要一轮的噪声添加和安全的聚合。在我们的框架中发布的模型实现了与在集中式设置中应用功能机制相同的效用。在真实世界和合成数据集上的线性和逻辑回归的评估表明了我们所提出的方法的有效性。
2019-11-11 cs.CY cs.DC cs.LG
Privacy Preserving Multi-Server k-means Computation over Horizontally Partitioned Data
k-means聚类是数据采掘中最常用的聚类算法之一。近年来，大量的研究集中在当数据集被划分为多方或当数据集太大而无法由数据所有者处理时的算法上。在后一种情况下，通常会雇佣一些服务器来执行集群任务。数据集由数据所有者在服务器之间划分，这些服务器一起执行k-means并将聚类标签返回给所有者。这种方法的主要挑战是防止服务器获得有关所有者实际数据的大量信息。过去已经设计了几种算法，它们提供了加密解决方案来执行隐私保护k-means。我们提供了一个新的方法来执行k-means在一个大的集合使用多个服务器。我们的技术避免了繁重的加密计算，而是使用简单的随机化技术来保护数据的隐私。计算的k-means与在没有任何随机化的情况下对原始数据集计算的k-means具有完全相同的效率和准确性。我们认为，我们的算法是安全的诚实，但好奇和被动的对手。
2019-06-29 cs.CR
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame（圣母大学）
本文开发了开源R包DPpack，集成Laplace、Gaussian和指数机制，提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具，使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
BlockFLow: An Accountable and Privacy-Preserving Solution for Federated Learning
Massachusetts Institute of Technology（麻省理工学院）
联邦学习使得能够在协作代理之间开发机器学习模型，而不需要它们共享其底层数据。然而，在随机数据上进行训练的恶意代理，或者更糟的是，在结果类倒置的数据集上进行训练的恶意代理，可能会削弱组合模型。BlockFlow是一个负责任的联邦学习系统，完全分散和隐私保护。它的主要目标是根据代理的贡献质量来奖励代理，同时保护底层数据集的隐私并对恶意对手具有弹性。具体来说，BlockFlow结合了差分隐私，为模型贡献引入了一种新的审计机制，并使用以太坊智能合约来激励良好的行为。与现有的联邦学习系统的审计和问责方法不同，我们的系统不需要集中的测试数据集，代理之间的数据集共享，或者一个或多个可信的审计员;它是完全分散的，并且在恶意信任模型中可以抵御高达50%的共谋攻击。当在公共以太坊区块链上运行时，BlockFlow使用审计结果根据各方贡献的质量奖励加密货币。我们在两个数据集上评估了BlockFlow，这些数据集提供了通过逻辑回归模型可解决的分类任务。我们的研究结果表明，由此产生的审计分数反映了诚实的代理人的数据集的质量。此外，不诚实的代理人的得分在统计上低于诚实的代理人。这些结果以及合理的区块链成本证明了BlockFlow作为一个负责任的联邦学习系统的有效性。
2020-07-08 cs.CR cs.LG stat.ML
PrivLogit: Efficient Privacy-preserving Logistic Regression by Tailoring Numerical Optimizers
Vanderbilt University（范德堡大学）；University of Virginia（弗吉尼亚大学）
在机器学习中保护隐私是非常可取的，特别是在许多组织的协作研究中。保护隐私的分布式机器学习（基于密码学）是解决这一问题的热门方法。然而，现有的密码协议仍然会产生额外的计算开销。在这里，我们做了一个新的观察，这部分是由于天真的采用主流数值优化（例如，牛顿方法），并未能为安全计算量身定制。这项工作提出了一个对比的观点：专门为安全设置定制数值优化。我们提出了一种看似不太有利的优化方法，实际上可以显着加速隐私保护逻辑回归。利用这种新方法，我们提出了两个新的安全协议，用于以隐私保护和分布式方式进行逻辑回归。广泛的理论和实证评估证明了我们两个安全方案的竞争力，同时不影响准确性或隐私：与最先进的技术相比，速度分别高达2.3倍和8.1倍;随着数据规模的扩大，速度甚至更快。这种急剧的加速是在现有（和未来）最先进的密码学的性能改进之上的。我们的工作为现代科学中常见的大规模研究提供了一种有效和实用的隐私保护逻辑回归的新方法。
2016-11-03 cs.CR cs.LG stat.ML
High Performance Logistic Regression for Privacy-Preserving Genome Analysis
University of Washington Tacoma（华盛顿大学塔科马校区）；Ghent University（根特大学）；Bar-Ilan University（巴伊兰大学）
在本文中，我们提出了一个安全的逻辑回归训练协议及其实现，与一个新的子协议，安全地计算激活函数。据我们所知，我们提出了现有最快的安全多方计算实现，用于在分布在局域网上的高维基因组数据上训练逻辑回归模型。
2020-03-03 cs.CR cs.LG
Differential Private Stack Generalization with an Application to Diabetes Prediction
Paradigm Inc（第四范式公司）；HKUST（香港科技大学）
为了满足差分隐私标准，通常会在原始数据中加入噪声，这不可避免地会降低后续学习算法的预测性能。在本文中，由于集成学习成功地提高了预测性能，我们提出了通过堆叠来增强隐私保护逻辑回归。我们表明，这可以通过基于样本或基于特征的分区。然而，我们证明，当隐私预算相同时，基于特征的划分比基于样本的划分需要更少的样本，因此可能具有更好的经验性能。由于迁移学习很难与差分隐私保证相结合，我们进一步将所提出的方法与假设迁移学习相结合，以解决跨组织学习的问题。最后，我们不仅证明了我们的方法在两个基准数据集上的有效性，即，MNIST和NEWS20，而且还将其应用到瑞金数据集的跨组织糖尿病预测的实际应用中，其中隐私是非常重要的问题。
2019-06-02 cs.AI cs.LG stat.ML
A Privacy-Preserving Logistics Information System with Traceability
物流信息系统是为物流管理者提供信息以监控和跟踪物流业务的交互式系统。近年来，随着网上购物的兴起，LIS变得越来越重要。然而，由于个人信息缺乏有效的保护，隐私保护问题成为用户最为关注的问题。针对LIS系统中用户的隐私保护问题，提出了一种结合多重签名和假名的隐私保护LIS系统（PPLIST）。在我们的PPLIST方案中，为了保护隐私，每个用户可以在不同的物流服务中生成和使用不同的别名。一个物流的处理过程是有记录的，不可伪造的。此外，如果物流信息异常，跟踪方可以对用户进行去匿名化，并找到他们的真实身份。因此，我们的PPLIST有效地平衡了隐私和可追溯性之间的关系。
2021-09-11 cs.CR
Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations
Booz Allen Hamilton（博兹艾伦汉密尔顿公司）
本文针对稀疏输入数据上的差分隐私回归训练问题，提出一种能感知稀疏性的 Frank-Wolfe 算法，显著降低 LASSO 正则化逻辑回归的训练时间，最高可加速 2200 倍。
2023-10-30 cs.LG stat.CO stat.ML
D3p -- A Python Package for Differentially-Private Probabilistic Programming
Aalto University（阿尔托大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）；University of Manchester（曼彻斯特大学）；University of Helsinki（赫尔辛基大学）
我们提出了d3 p，一个软件包，旨在帮助现场运行时有效的广泛适用的贝叶斯推理下差分隐私的保证。d3 p通过实现差分私有变分推理算法实现了对广泛的概率建模问题的普遍适用性，允许用户用可微密度函数拟合任何参数概率模型。D3 P采用概率编程范例作为用户灵活定义这种模型的有力方式。我们演示了使用我们的软件上的分层逻辑回归的例子，表现出的建模方法，以及易于运行的参数推断。我们还对复杂模型上私有推理的运行时间进行了实证评估，发现与使用TensorFlow Privacy的实现相比，$\sim$的速度提高了$\sim$ 10倍。
2021-09-15 cs.CR cs.LG stat.ML
Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
University of Basel（巴塞尔大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
本文提出Clip21-SGD2M方法，结合剪裁、动量和误差反馈，实现非凸问题中的最优收敛率和近最优差分隐私保障。
2026-03-05 cs.LG math.OC stat.ML
Optimization, Generalization and Differential Privacy Bounds for Gradient Descent on Kolmogorov-Arnold Networks
RPTU Kaiserslautern-Landau（凯斯布鲁克-兰道大学）
本文研究了梯度下降在两层科莫戈洛夫-阿诺尔德网络中的优化、泛化及差分隐私性质，推导出泛化界限，并在逻辑损失下证明了多项对数宽度足以实现优化和泛化速率，同时揭示了差分隐私下宽度的必要性。
2026-05-12 cs.AI cs.LG stat.ML
Differentially Private Multi-Agent Planning for Logistic-like Problems
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
计划是通过预先制定计划来提高代理人工作效率的主要方法之一。然而，在规划过程中，代理商面临着私人信息泄露的风险。针对物流类问题提出了一种强隐私保护的规划方法。这种方法通过解决两个挑战而优于现有方法：1）同时实现强隐私性、完整性和效率，以及2）解决通信约束。这两个挑战在许多现实世界的应用中普遍存在，包括军事环境中的物流和网络中的分组路由。为了解决这两个问题，我们的方法采用了差分隐私技术，既可以保证强隐私和控制通信开销。据我们所知，本文是第一个应用差分隐私领域的多代理规划作为一种手段，保护隐私的代理物流类问题。我们从理论上证明了我们的方法的强大的隐私性和完整性，并实证证明了其效率。我们还从理论上分析了我们的方法的通信开销，并说明了如何差分隐私可以用来控制它。
2022-12-04 cs.AI cs.CR
Private Regression via Data-Dependent Sufficient Statistic Perturbation
Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出数据依赖的充分统计量扰动方法，用于差分隐私线性回归和逻辑回归，通过后处理私有边际数据提升效用，并建立与合成数据训练的联系。
2024-05-23 cs.LG stat.ML
Accuracy Improvement in Differentially Private Logistic Regression: A Pre-training Approach
Babol Noshirvani University of Technology（巴博尔诺希尔瓦尼理工大学）；Tarbiat Modares University（塔比亚特莫达雷斯大学）
本文针对差分隐私框架下机器学习模型精度下降的问题，提出一种通过在公开数据集上预训练再在私有数据集上微调的差分隐私逻辑回归方法，显著提升了模型精度。
2024-02-12 cs.CR cs.LG
Privacy-Preserving Multiparty Learning For Logistic Regression
近年来，机器学习技术被广泛应用于天气预报、金融数据分析、垃圾邮件过滤和医疗预测等众多应用中。与此同时，从多个来源生成的海量数据进一步提高了机器学习工具的性能。然而，来自多个源的数据共享为这些源带来隐私问题，因为在此过程中可能泄漏敏感信息。在本文中，我们提出了一个框架，使多方能够在分布式数据集上协作且准确地训练学习模型，同时保证数据源的隐私。具体地说，我们考虑逻辑回归模型的数据训练，并提出了两种方法来扰动目标函数，以保持ε-差分隐私。所提出的解决方案在真实数据集上进行了测试，包括银行营销和信用卡违约预测。实验结果表明，提出的多方学习框架是高效和准确的。
2018-10-04 cs.CR
Exploring the Unfairness of DP-SGD Across Settings
University of Copenhagen（哥本哈根大学）
最终用户和监管机构需要私有和公平的人工智能模型，但之前的研究表明，这些目标可能不一致。我们使用CivilComments来评估将{ \em de facto}标准隐私方法DP-SGD应用于多个公平性指标的影响。我们评估了DP-SGD的三种实现：降维（PCA），线性分类（逻辑回归）和鲁棒深度学习（Group-DRO）。在线性分类和鲁棒深度学习的情况下，我们在隐私和公平性之间建立了负对数相关。DP-SGD对PCA的公平性没有显著影响，但经检查，似乎也没有导致私人陈述。
2022-02-24 cs.CL cs.LG
Secure Mining of Association Rules in Horizontally Distributed Databases
提出了一种在水平分布式数据库中安全挖掘关联规则的协议。目前的主要协议是Kantarcioglu和Clifton的协议（TKDE 2004）。我们的协议，像他们的，是基于快速分布式挖掘（FDM）算法的张等人。（PDIS 1996），这是一个不安全的分布式版本的Apriori算法。在我们的协议中的主要成分是两个新的安全多方算法-一个是计算每个交互的球员持有的私有子集的联盟，另一个是测试包含一个球员持有的一个元素在另一个持有的子集。我们的协议相对于Kantarcioglu和Clifton的协议提供了增强的隐私。此外，它更简单，并且在通信轮次、通信成本和计算成本方面显著更高效。
2011-06-25 cs.CR cs.DB cs.DC
Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Sudo Technology Co.,LTD（素度科技有限公司）；UC Berkeley（加州大学伯克利分校）
我们考虑用小批量梯度下降训练的垂直逻辑回归（VLR）--这种设置引起了行业越来越多的兴趣，并被证明在包括金融和医学研究在内的广泛应用中非常有用。我们提供了一个全面和严格的隐私分析VLR在一类开源的联邦学习框架，其中的协议可能会有所不同，但获得局部梯度的过程是隐式共享。我们首先考虑诚实但好奇的威胁模型，其中协议的详细实现被忽略，只假设共享过程，我们抽象为一个预言。我们发现，即使在这种一般设置下，单维特征和标签仍然可以从另一方恢复适当的批量大小的限制下，从而证明了潜在的脆弱性，所有框架遵循相同的哲学。然后我们研究了一个流行的基于同态加密（HE）的协议实例。我们提出了一种主动攻击，通过生成和压缩辅助密文，显着削弱了在以前的分析批量大小的限制。为了解决基于HE的协议中的隐私泄漏，我们开发了一个简单而有效的对策的基础上差分隐私（DP），并提供实用性和隐私的更新算法的保证。最后，我们在基准数据集上实证验证了我们的攻击和防御的有效性。总而言之，我们的研究结果表明，所有仅依赖于HE的垂直联邦学习框架都可能包含严重的隐私风险，而DP已经在水平联邦学习中展示了其强大的功能，也可以在垂直环境中发挥关键作用，特别是当与HE或安全多方计算（MPC）技术相结合时。
2022-07-19 cs.CR cs.LG
Privacy Preserving K-Means Clustering: A Secure Multi-Party Computation Approach
GMV（GMV公司）
知识发现是人工智能的主要目标之一。这些知识通常存储在分布在不同环境中的数据库中，访问和从中提取数据是一项繁琐（或不可能）的任务。对于这个困难，我们必须补充的是，这些数据可能包含私人数据，因此信息永远不会离开源。隐私保护机器学习（PPML）有助于克服这一困难，采用加密技术，允许知识发现，同时确保数据隐私。K-means是一种数据采掘技术，用于发现知识，将包含相似特征的数据点分组在聚类中。本文重点介绍了隐私保护机器学习应用于K-means，使用最近的协议，从criptography领域。该算法适用于不同的情况下，数据可能是水平或垂直分布。
2020-09-22 cs.CR cs.LG stat.ML
Privacy-Preserving Logistic Regression Training on Large Datasets
本文提出一种基于同态加密的大型加密数据逻辑回归训练算法，利用quadratic gradient实现mini-batch和full-batch版本，在真实金融数据上验证了其在大规模加密数据集上训练的实际可行性。
2025-04-04 cs.CR
Supporting Regularized Logistic Regression Privately and Efficiently
Beijing Key Laboratory of Information Service Engineering, Beijing Union University（北京联合大学信息服务业工程北京市重点实验室）；Vanderbilt University（范德堡大学）
正则化逻辑回归模型作为最流行的统计和机器学习模型之一，在生物医学、社会科学、信息技术等领域得到了广泛的应用，这些领域往往涉及到受严格隐私保护的人类数据。对数据隐私的日益关注使得协调和开展大规模合作研究变得越来越困难，这些研究通常依赖于跨机构的数据共享和联合分析。我们在这里的工作重点是保护正则化逻辑回归，这是一种在各个学科中广泛使用的机器学习模型，同时还没有从数据安全和隐私的角度进行研究。我们认为一个常见的使用场景的多机构的合作研究，如在研究联盟或网络的形式，广泛见于遗传学，流行病学，社会科学等，使我们的隐私增强解决方案的实用，我们展示了一个非传统的和计算效率高的方法，利用分布式计算和强大的密码学提供全面的保护个人层面和汇总数据。对几项研究的广泛实证评估验证了我们的建议的隐私保障，效率和可扩展性。我们还讨论了我们的解决方案的大规模研究和应用的实际意义，从不同的学科，包括遗传和生物医学研究，智能电网，网络分析等。
2015-10-01 cs.CR cs.LG q-bio.GN
Structure and Sensitivity in Differential Privacy: Comparing K-Norm Mechanisms
该研究针对差分隐私下实值统计向量发布的噪声最小化问题，引入敏感性空间并提出含三种准则的K-范数机制比较框架，得出最优机制由敏感性空间凸包生成，扩展相关机制并应用于回归任务，实验验证其在同等风险下效用显著提升。
2024-10-31 stat.ME
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne（墨尔本大学）
我们考虑使用局部差异私有数据集的机器学习，特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的，干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此，具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布，分布鲁棒优化问题可以放松为正则化的机器学习问题，其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归，这个正则化子是模型参数的对偶范数。对于高斯数据，分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后，在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
Versatile Differentially Private Learning for General Loss Functions
本文提出基于零膨胀拉普拉斯噪声的ZIL差分隐私机制及双随机校正损失方法，支持通用损失函数与在线数据，实现隐私保护下的参数估计与统计推断。
2025-01-25 stat.ME
Dancing in the Dark: Private Multi-Party Machine Learning in an Untrusted Setting
University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
如今，分布式机器学习（ML）系统使用简单的威胁模型：数据源必须信任中央ML进程。我们提出了一个代理的学习抽象，允许数据源在不可信的环境中为全球共享模型做出贡献，并提供可证明的隐私保证。我们通过构建联邦学习（多方机器学习的最新技术）来实现这种抽象，以构建TorMentor：一种支持私有多方机器学习的匿名隐藏服务。我们通过在代理学习环境中描述、开发和评估新攻击以及针对这些攻击的新防御来定义新的威胁模型。我们表明，TorMentor有效地保护数据提供者免受已知的ML攻击，同时为他们提供模型准确性和隐私之间的可调权衡。我们通过Azure/Tor上的本地和地理分布部署评估TorMentor。在一个有200个客户端和每个客户端14 MB数据的实验中，我们的原型在65秒内使用随机梯度下降训练了一个逻辑回归模型。代码可在：https://github.com/DistributedML/TorML
2019-02-24 cs.CR cs.DC cs.LG
Privacy Preserving PCA for Multiparty Modeling
University of Science and Technology of China（中国科学技术大学）；Ant Financial Services Group（蚂蚁金融服务集团）
在本文中，我们提出了一个一般的多方建模范式与隐私保护主成分分析（PPPCA）的水平分区数据。PPPCA可以在保证明文数据本地化的前提下实现PCA的多方协同执行。我们还提出了使用两种技术的实现，即，同态加密和秘密共享。PPPCA的输出可以直接发送给数据消费者，以构建任何机器学习模型。我们在三个UCI基准数据集和一个真实世界的欺诈检测数据集上进行了实验。实验结果表明，基于PPPCA建立的模型与基于集中式明文数据建立的PCA模型具有相同的精度。
2020-03-12 cs.CR cs.LG
Online Efficient Secure Logistic Regression based on Function Secret Sharing
本文针对多方隐私保护逻辑回归训练，提出基于函数秘密共享的在线高效协议，通过MPC友好的sigmoid替代方案和FSS门封装，显著降低在线通信开销。
2023-09-18 cs.CR
Private Data Imputation
本文提出首个优化的私有数据填补协议，通过减少计算至高效协议，提升垂直和水平分割数据的填补准确性，效率高且质量提升显著。
2025-11-25 cs.CR
LFFR: Logistic Function For (single-output) Regression
本文提出LFFR算法，利用logistic函数和常数简化Hessian矩阵实现全同态加密下的隐私保护回归训练，并建议对目标预测进行归一化以替代岭回归。
2024-07-30 cs.CR cs.LG
Differentially Private Bayesian Inference for Generalized Linear Models
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；University of Manchester（曼彻斯特大学）
广义线性模型（GLM），如逻辑回归，是数据分析师最广泛使用的工具之一，通常用于敏感数据集。大量的现有工作，调查差分隐私（DP）约束下的GLM只提供私人点估计的回归系数，并不能量化参数的不确定性。在这项工作中，逻辑和泊松回归作为运行的例子，我们介绍了一个通用的噪声感知DP贝叶斯推理方法GLM在手，给出了一个嘈杂的总和的汇总统计量。量化不确定性使我们能够确定哪些回归系数在统计上与零显著不同。我们提供了一个以前未知的严密的隐私分析和实验证明，从我们的模型中获得的后验，同时坚持强隐私保证，接近非私人后验。
2021-05-12 cs.CR cs.LG stat.ML
Privacy Threats Analysis to Secure Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
联邦学习是一种机器学习技术，它可以在多个分散的参与方之间训练模型。它以保护隐私而闻名，因为数据永远不会离开计算设备，最近的方法通过隐藏加密传输的消息来进一步增强其隐私性。然而，我们发现，尽管做出了努力，联邦学习仍然存在隐私威胁，因为它具有跨各方的交互性。本文分析了工业级安全计算联邦学习框架中的隐私威胁，揭示了此类威胁广泛存在于线性回归、逻辑回归和决策树等典型机器学习模型中。对于线性和逻辑回归，我们通过理论分析表明，攻击者可以在很少的信息下反转受害者的整个私人输入。对于决策树模型，我们发动攻击来推断受害者的私有输入的范围。所有攻击都在流行的联邦学习框架和真实世界的数据集上进行评估。
2021-06-24 cs.AI cs.CR cs.LG
A Study of Secure Algorithms for Vertical Federated Learning: Take Secure Logistic Regression as an Example
National Taiwan University（台湾大学）
针对大数据下企业数据共享与隐私保护的矛盾，本文研究纵向联邦学习框架下的安全模型训练，以加密域执行的方式保障数据隐私，为合规的跨企业联合建模提供思路。
2024-10-30 cs.CR cs.LG
LFFR: Logistic Function For (multi-output) Regression
本文扩展了隐私保护回归工作，基于简化固定Hessian方法将LFFR算法适配至全同态加密下的多输出回归，通过改进常数简化Hessian方法确保计算效率，在真实数据集上实现了兼顾隐私与高预测精度的安全多输出回归。
2024-07-30 cs.CR
Privacy-Preserving CNN Training with Transfer Learning: Multiclass Logistic Regression
本文首次提出仅基于同态加密、结合迁移学习等四种技术的隐私保护CNN训练方案，以REGNET_X_400MF为预训练模型在MNIST上实验，64vCPU云环境2次迭代耗时约21分钟，精度达21.49%。
2025-04-15 cs.CR cs.CV cs.LG
Neural Network Training on Encrypted Data with TFHE
Zama
本研究提出一种基于全同态加密的神经网络外包训练方案，可在加密数据上训练量化模型，支持多方位水平/垂直数据切分的机密协作，并在多个数据集上验证了逻辑回归与多层感知机的训练可行性。
2024-01-29 cs.AI cs.CR
Towards Vertical Privacy-Preserving Symbolic Regression via Secure Multiparty Computation
针对纵向数据划分场景下符号回归的隐私保护空白，提出基于安全多方计算的联合建模方法，实现与集中式方案相当的性能同时保障数据隐私。
2023-07-22 cs.CR stat.ML
CodedPrivateML: A Fast and Privacy-Preserving Framework for Distributed Machine Learning
University of Southern California（南加州大学）；University of California, Riverside（加州大学河滨分校）
如何训练机器学习模型，同时保持数据的私密性和安全性？我们提出CodedPrivateML，一个快速和可扩展的方法来解决这个关键问题。CodedPrivateML保持数据和模型信息的私密性，同时允许跨分布式工作者进行有效的并行训练。我们描述了CodedPrivateML的隐私阈值，并证明了它对逻辑（和线性）回归的收敛性。此外，通过在Amazon EC2上进行的大量实验，我们证明了CodedPrivateML比基于多方计算（MPC）的加密方法提供了显著的加速。
2021-02-20 cs.CR cs.IT cs.LG
TimberStrike: Dataset Reconstruction Attack Revealing Privacy Leakage in Federated Tree-Based Systems
Politecnico di Milano（米兰理工大学）
本文提出 TimberStrike 攻击，针对水平联邦树模型，利用决策树的分裂值和决策路径重构其他客户端的敏感训练数据，揭示了现有系统的隐私泄露风险。
2025-07-13 cs.CR cs.DC cs.LG
EVA-S2PLoR: Decentralized Secure 2-party Logistic Regression with A Subtly Hadamard Product Protocol (Full Version)
1State Key Laboratory of Complex \& Critical Software Environment, Beihang University, Beijing, China；2Zhongguancun Laboratory, Beijing, China；3Hangzhou International Innovation Institute, Beihang University, Hangzhou, China
EVA-S2PLoR提出基于精巧Hadamard积协议的安全两方逻辑回归框架，实现精确非线性函数计算，精度提升约10个数量级，训练时间减少47.6%，准确率接近明文模型。
2025-08-08 cs.CR cs.LG
A Privacy-Preserving Federated Learning Approach for Kernel methods
Leipzig University（莱比锡大学）；University of Tuebingen（蒂宾根大学）
本文提出FLAKE联邦学习方法，通过数据掩码在保护隐私的前提下集中计算Gram矩阵，以支持核方法训练，并在半诚实模型下证明其安全性，实验表明其在准确性和效率上优于同类方法。
2023-06-05 cs.CR cs.LG
PrivFL: Practical Privacy-preserving Federated Regressions on High-dimensional Data over Mobile Networks
联邦学习（FL）使大量用户能够共同学习由集中式服务器协调的共享机器学习（ML）模型，其中数据分布在多个设备上。这种方法使服务器或用户能够使用梯度下降来训练和学习ML模型，同时将所有训练数据保持在用户的设备上。我们考虑在移动网络上训练ML模型，其中用户辍学是一种常见现象。虽然联邦学习旨在降低数据隐私风险，但ML模型隐私并没有受到太多关注。在这项工作中，我们提出了PrivFL，这是一个隐私保护系统，用于训练（预测）线性和逻辑回归模型以及联邦设置中的不经意预测，同时保证数据和模型隐私，并确保用户退出网络的鲁棒性。基于加性同态加密（HE）方案和聚合协议，设计了两种隐私保护协议用于训练线性和逻辑回归模型。利用联邦学习的训练算法，在我们的训练协议的核心是一个安全的多方全局梯度计算活用户的数据。我们分析了我们的训练协议对半诚实的对手的安全性。只要聚合协议在聚合隐私博弈下是安全的，并且加性HE方案是语义安全的，PrivFL保证了用户对服务器的数据隐私，以及服务器对用户的回归模型隐私。我们展示了PrivFL在真实数据集上的性能，并展示了它在联邦学习系统中的适用性。
2020-04-05 cs.CR
Slicing: A New Approach to Privacy Preserving Data Publishing
已经设计了几种匿名化技术，例如泛化和桶化，用于隐私保护微数据发布。最近的研究表明，泛化丢失了大量的信息，特别是对于高维数据。另一方面，桶化并不阻止成员身份泄露，也不适用于在准识别属性和敏感属性之间没有明确区分的数据。在本文中，我们提出了一种新的技术，称为切片，分区的数据水平和垂直。我们表明，切片保存更好的数据实用性比泛化，可用于成员披露保护。切片的另一个重要优点是它可以处理高维数据。我们展示了如何切片可以用于属性披露保护，并开发了一个有效的算法来计算切片数据，遵守l-多样性的要求。我们的工作负载实验证实，切片保留更好的实用性比泛化，是更有效的比桶化的工作负载涉及敏感属性。我们的实验还表明，切片可以用来防止成员披露。
2009-09-12 cs.CR cs.DB
PINFER: Privacy-Preserving Inference for Machine Learning
OneSpan
预计外包机器学习服务的作用将越来越大，这引发了人们对用户数据隐私的担忧。目前正在提出若干技术解决办法来解决这一问题。云数据中心中的硬件安全模块由于其复杂性而仅限于企业客户，而一般的多方计算技术需要大量的消息交换。本文提出了各种隐私保护回归和分类协议，这些协议（i）只需要添加同态加密算法，（ii）将交互限制为仅仅是请求和响应，以及（iii）可以直接用于重要的机器学习算法，如逻辑回归和SVM分类。然后，将基本协议扩展并应用于前馈神经网络。
2019-10-04 cs.AI cs.CR cs.LG
SPRITE: A Scalable Privacy-Preserving and Verifiable Collaborative Learning for Industrial IoT
Indian Institute of Engineering Science and Technology, Shibpur（希布尔印度工程科学与技术学院）；University of New South Wales（新南威尔士大学）
最近，协作学习被广泛应用于工业物联网（IIoT）中生成的敏感数据建模。它使大量设备能够通过与服务器协作来集体训练全局模型，同时将数据集保持在它们各自的场所。然而，现有的方法受到高开销的限制，并且还可能遭受恶意服务器返回的伪造的聚合结果。因此，我们提出了一种可扩展、隐私保护和可验证的协作学习（SPRITE）算法，用于训练IIoT的线性和逻辑回归模型。我们的目标是通过引入雾作为中间件来减轻资源受限的IIoT设备的负担和对云的信任依赖。SPRITE采用阈值秘密共享来保证隐私保护和对IIoT设备丢失的鲁棒性，而可验证的加性同态秘密共享则确保模型聚合期间的可验证性。我们在一个诚实但好奇的环境中证明了SPRITE的安全性，在这个环境中，云是不值得信任的。我们通过理论开销分析和在具有两个真实工业数据集的IIoT用例上进行的广泛测试床实验，验证了SPRITE的可扩展性和轻量级。对于大规模工业设置，SPRITE在线性和逻辑回归方面的性能分别比竞争对手提高了65%和55%，同时将IIoT设备的通信开销降低了90%。
2022-03-22 cs.CR cs.DC cs.LG
Achieving Both Valid and Secure Logistic Regression Analysis on Aggregated Data from Different Private Sources
在进行统计计算时保护个人数据库的隐私在统计学中有着悠久的历史，并且一直是机器学习中最近关注的焦点。在本文中，我们提出了一种用于计算逻辑回归的协议，当数据由单独的各方持有时，实际上没有通过利用多方安全计算文献中的结果来组合信息源。我们只提供了计算的最终结果与其他方法相比，共享中间值，从而提出了一个机会，在合并的数据库中的值妥协。我们的论文有两个主题：（1）用于计算逻辑参数的安全协议的开发，以及其在实践中的性能的演示，以及（2）加速逻辑函数的计算的修正协议。我们说明了计算的性质和准确性，使用的数据从目前的人口调查分为双方。
2011-11-30 cs.CR
Practical Privacy-Preserving Gaussian Process Regression via Secret Sharing
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出了一种基于秘密共享的隐私保护高斯过程回归方法，通过“混淆-校正”思想和Cholesky分解设计了新的指数运算与矩阵求逆算法，在保护模型输入输出隐私的同时实现了合理的准确性和效率。
2023-06-26 cs.CR cs.LG
A Scalable Approach for Privacy-Preserving Collaborative Machine Learning
University of Southern California (USC)（南加利福尼亚大学）；University of California, Riverside（加州大学河滨分校）
我们考虑一个协作学习场景，其中多个数据所有者希望联合训练逻辑回归模型，同时保持他们的个人数据集对其他各方的隐私。我们提出了COPML，一个完全分散的训练框架，同时实现了可扩展性和隐私保护。COPML的核心思想是对单个数据集进行安全编码，以便在多方之间有效地分配计算负载，并以分布式方式对安全编码的数据执行训练计算和模型更新。我们提供了COPML的隐私分析，并证明其收敛性。此外，我们的实验表明，COPML可以实现显着的加速训练的基准协议。我们的协议提供了强大的统计隐私保证，对勾结各方（对手）与无限的计算能力，同时实现了$16\times$加速的训练时间对基准协议。
2020-11-03 cs.CR cs.IT cs.LG
Differentially Private Image Classification from Features
Google Research（谷歌研究院）；Boston University（波士顿大学）
利用迁移学习最近被证明是训练具有差分隐私（DP）的大型模型的有效策略。此外，令人惊讶的是，最近的研究发现，仅对预训练模型的最后一层进行私人训练，可以提供DP的最佳效用。虽然过去的研究在很大程度上依赖于像DP-SGD这样的算法来训练大型模型，但在私下从特征中学习的特定情况下，我们观察到计算负担足够低，可以使用更复杂的优化方案，包括二阶方法。为此，我们系统地探讨了设计参数，如损失函数和优化算法的影响。我们发现，虽然常用的逻辑回归在非私人环境中的表现优于线性回归，但在私人环境中情况相反。我们发现，线性回归是更有效的比逻辑回归从隐私和计算方面，特别是在更严格的隐私值（$ε< 1$）。在优化方面，我们也探索使用牛顿的方法，并发现二阶信息是相当有帮助的，即使与隐私，虽然好处显着减少与更严格的隐私保证。虽然这两种方法都使用二阶信息，但最小二乘法在较低的ε下有效，而牛顿法在较大的ε值下有效。为了结合两者的优点，我们提出了一种名为DP-FC的新算法，该算法利用特征协方差代替逻辑回归损失的Hessian，并且在我们尝试的所有$ε$值中表现良好。有了这个，我们在ImageNet-1 k，CIFAR-100和CIFAR-10上获得了通常考虑的所有$ε$值的新SOTA结果。最值得注意的是，在ImageNet-1 K上，我们在（8，$8 * 10^{-7}$）-DP下获得了88\%的top-1准确率，在（0.…
2022-11-24 cs.CR cs.CV cs.LG
