Differentially Private Generation of Small Images
Pionic（Pionic公司）
我们探索了具有差分隐私的生成对抗网络的训练，以匿名化图像数据集。在MNIST上，我们使用来自$ε$ - $δ$差分隐私和初始分数的参数来数值地测量隐私-效用权衡。我们的实验揭示了一个饱和的训练机制，其中增加隐私预算几乎没有增加生成图像的质量。我们还解释了为什么差分私人亚当优化是独立的梯度裁剪参数。此外，我们还强调了我们在最近的文献中发现的关于差异私有深度学习的先前工作中的常见错误。在整个主题的处理过程中，我们希望防止将来对匿名性的错误估计。
2020-05-06 cs.CR cs.LG stat.ML
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
A Differentially Private Wilcoxon Signed-Rank Test
Reed College（里德学院）
假设检验是数据采掘的重要统计工具，也是许多领域科学研究的主力。在这里，我们提出了一个经典的Wilcoxon符号秩假设检验的差异私人模拟，当比较成对的（例如，前后）数据值。我们不仅提供了检验统计量的私人估计，而且提供了一种准确计算p值和评估统计显著性的方法。我们评估我们的测试模拟和真实数据。与Task和Clifton针对这种情况的唯一现有私人测试相比，我们发现我们的测试需要不到一半的数据才能实现相同的统计功效。
2018-09-05 cs.CR cs.LG stat.ML
A Knowledge Transfer Framework for Differentially Private Sparse Learning
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了在保持每个训练样本隐私的同时估计具有底层稀疏结构的高维模型的问题。我们开发了一个差分私有的高维稀疏学习框架，利用知识转移的思想。更具体地说，我们建议从一个私人数据集上训练的“教师”估计器中提取知识，通过从辅助特征创建一个新的数据集，然后使用这个新的数据集训练一个差分私人“学生”估计器。此外，我们建立了线性收敛速度以及效用保证我们提出的方法。对于稀疏线性回归和稀疏逻辑斯谛回归，与最佳已知结果相比，我们的方法实现了改进的效用保证（Kifer等人，2012; Wang和Gu，2019）。我们进一步证明了我们的框架的优越性，通过合成和真实世界的数据实验。
2019-09-13 cs.CR cs.LG stat.ML
Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了第一个可证明准确的算法，用于分布式环境中的差异私有、自上而下的决策树学习（Balcan等人，2012年）。我们提出了DP-TopDown，一个通用的隐私保护决策树学习算法，并提出了两个分布式实现。我们的第一个方法NoisyCounts自然地通过使用拉普拉斯机制扩展了单机算法。我们的第二种方法LocalRNM通过在每个数据持有者处执行局部优化来显著减少通信和增加的噪声。我们提供了第一个效用保证差分私有自上而下的决策树学习在单机和分布式设置。这些保证表明，如果数据集足够大，则私人学习的决策树的错误很快变为零。我们在真实数据集上的大量实验说明了在分布式环境中学习私有决策树时隐私，准确性和泛化的权衡。
2021-02-23 cs.CR cs.LG stat.ML
Learning Rate Adaptation for Federated and Differentially Private Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
我们提出了一种算法，用于适应随机梯度下降（SGD）的学习率，避免了使用验证集的需要。自适应的想法来自外推技术：为了获得对SGD基础的梯度流的误差估计，我们比较了一个完整步骤和两个半步骤获得的结果。该算法应用于两个独立的框架：联邦和差分私人学习。使用深度神经网络的例子，我们凭经验表明，自适应算法是有竞争力的手动调整常用的优化方法的差异私人训练。我们还表明，它在联邦学习的情况下，与常用的优化方法不同，工作得很好。
2019-05-31 cs.CR cs.LG stat.ML
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame（圣母大学）
本文开发了开源R包DPpack，集成Laplace、Gaussian和指数机制，提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具，使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
Differentially Private Estimation of Hawkes Process
Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
点过程模型在实际应用中具有重要意义。在某些关键应用中，点过程模型的估计涉及来自用户的大量敏感个人数据。隐私问题自然会出现，但在现有文献中尚未得到解决。为了弥合这一明显的差距，我们提出了第一个一般的差分私人估计程序的点过程模型。具体地说，我们以Hawkes过程为例，在Hawkes过程离散化表示的基础上，对事件流数据引入了严格的差分隐私定义.然后，我们提出了两个差分隐私优化算法，它可以有效地估计霍克斯过程模型与所需的隐私和效用保证在两个不同的设置。实验结果支持了我们的理论分析。
2022-09-15 cs.CR cs.LG stat.ML
Mitigating Statistical Bias within Differentially Private Synthetic Data
University of Oxford（牛津大学）；University of Warwick（华威大学）；Universitat Pompeu Fabra（庞培法布拉大学）；University of Kaiserslautern（凯泽斯劳滕大学）；German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心）
对隐私保护机器学习的兴趣日益增加，导致了用于从未公开的真实数据生成私有合成数据的新的和进化的方法。然而，隐私保护机制可以显著降低合成数据的效用，这反过来又会影响下游任务，如学习预测模型或推理。我们提出了几个重新加权策略，使用私有化的似然比，不仅减轻下游估计的统计偏差，但也具有普遍适用性的差分私人生成模型。通过大规模的实证评估，我们表明，私人重要性加权提供了简单而有效的隐私兼容的合成数据的一般应用程序的增强。
2022-05-19 cs.CR cs.LG stat.ML
Differentially Private Bayesian Inference for Exponential Families
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
私人推理的研究已经引发了对数据分析的日益关注，当它源于敏感的来源。我们提出了第一种方法，私人贝叶斯推断指数家庭，适当占噪声引入的隐私机制。它是有效的，因为它只适用于足够的统计数据，而不是个人数据。与其他方法不同，它在非渐近数据制度中给出了适当校准的后验信念。
2018-10-26 cs.CR cs.LG stat.ML
DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing
Tsinghua University（清华大学）；Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Huazhong University of Science and Technology（华中科技大学）；Virginia Tech（弗吉尼亚理工大学）
深度学习技术在广泛的任务中取得了卓越的性能。然而，当在隐私敏感数据集上训练时，模型参数可能暴露训练数据中的隐私信息。之前的差异化私有训练尝试，虽然提供了严格的隐私保证，但导致模型性能比非私有训练低得多。此外，同一训练算法的不同运行产生的模型具有很大的性能差异。为了解决这些问题，我们提出了DPlis--Differentially Private Learning wIth Smoothing。DPlis的核心思想是构造一个平滑的损失函数，该函数有利于位于损失景观的大平坦区域中的抗噪声模型。我们提供了理论依据的实用程序的改进DPlis。大量的实验也表明，DPlis可以有效地提高模型质量和训练稳定性在给定的隐私预算。
2021-06-20 cs.CR cs.LG stat.ML
Auditing Differentially Private Machine Learning: How Private is Private SGD?
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
我们调查差异私有SGD在实践中是否比其最先进的分析所保证的更好的隐私。我们通过新颖的数据投毒攻击来实现这一点，我们表明这与现实的隐私攻击相对应。虽然先前的工作（Ma等人，arXiv 2019）提出了差分隐私和数据投毒之间的这种联系，作为对数据投毒的防御，我们将其用作理解特定机制隐私的工具是新的。更一般地说，我们的工作采取了定量的，实证的方法来理解的隐私提供的具体实现的差异隐私算法，我们相信有可能补充和影响差分隐私的分析工作。
2020-06-13 cs.CR cs.LG
Differentially Private ADMM for Distributed Medical Machine Learning
University of Houston（休斯顿大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Science and Technology of China（中国科学技术大学）
由于大量数据分布在多个位置，分布式机器学习吸引了大量的研究兴趣。交替方向乘法（Alternating Direction Method of Multipliers，ADMM）是一种设计分布式机器学习算法的有效方法，每个Agent在本地数据集上进行计算，并通过迭代过程与相邻Agent交换计算结果。如果本地数据是敏感的，则在此迭代过程中存在显著的隐私泄漏。在本文中，我们提出了一个差分隐私ADMM算法（P-ADMM）提供动态零集中差分隐私（动态zCDP），通过插入高斯噪声线性衰减的方差。我们证明了P-ADMM与非私有对应方相比具有相同的收敛速度，即，$\mathcal{O}(1/K)$，其中$K$是一般凸和强凸问题的迭代次数和线性收敛，同时提供差分私有保证。此外，通过我们在真实世界数据集上进行的实验，我们的经验表明，P-ADMM具有最好的性能在现有的差分私有ADMM为基础的算法。
2020-12-09 cs.CR cs.LG stat.ML
Differentially Private Stochastic Coordinate Descent
IBM Research, Zurich（苏黎世IBM研究院）
在本文中，我们解决的挑战，使随机坐标下降算法差异私人。与经典的梯度下降算法相比，其中更新对单个模型向量进行操作，并且对该向量的受控噪声添加足以隐藏关于个体的关键信息，随机坐标下降关键地依赖于在训练期间将辅助信息保持在内存中。这种辅助信息提供了额外的隐私泄露，并构成了这项工作中解决的主要挑战。驱动的洞察下，独立的噪声添加，辅助信息的一致性保持在预期中，我们提出了DP-SCD，第一个差分私人随机坐标下降算法。我们从理论上分析了我们的新方法，并认为解耦和并行坐标更新是必不可少的实用程序。在实证方面，我们证明了竞争力的表现对流行的随机梯度下降替代（DP-SGD），同时需要显着较少的调整。
2021-03-14 cs.CR cs.LG stat.ML
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Differentially Private Policy Evaluation
Lancaster University（兰卡斯特大学）；McGill University（麦吉尔大学）
我们提出了第一个差分私人算法的强化学习，适用于评估一个固定的政策的任务。我们建立了两种方法来实现差分隐私，提供了一个理论分析的隐私和实用性的两种算法，并显示出有前途的结果，简单的实证例子。
2016-03-07 cs.LG stat.ML
Differentially Private Learning of Undirected Graphical Models using Collective Graphical Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Mount Holyoke College（曼荷莲学院）；Colgate University（科尔盖特大学）
我们研究的问题，学习离散的，无向的图形模型在一个不同的私人方式。我们表明，使用拉普拉斯机制释放噪声足够的统计数据的方法实现了隐私，实用性和实用性之间的良好权衡。一个朴素的学习算法，使用噪声足够的统计“是”优于通用的差分私人学习算法。然而，它有三个局限性：它忽略了关于数据生成过程的知识，依赖于不确定的理论基础，并表现出一定的病态。我们开发了一种更有原则的方法，应用集体图形模型的形式主义在期望最大化框架内对真正的充分统计数据进行推理。我们表明，这学习更好的模型比竞争的方法在合成数据和真实的人类流动性数据作为案例研究。
2017-06-14 cs.CR cs.LG stat.ML
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
Differentially Private Continual Learning
University of Oxford（牛津大学）
灾难性的遗忘对于出于隐私原因必须删除历史数据的机构来说可能是一个严重的问题。例如，医院可能无法永久保留患者数据。但是，仅用最近的数据训练的神经网络往往会忘记从旧数据中吸取的教训。我们提出了一个基于变分推断的差分私有持续学习框架。我们使用旧数据集的差分私有生成模型来估计给定当前模型的过去数据的可能性。
2019-02-18 cs.LG stat.ML
Differentially Private E-Values
FGV EMAp
针对E值可能泄露敏感数据的问题，提出基于有偏乘性噪声机制的通用框架，将非隐私E值转换为保持统计有效性的差分隐私E值，其渐近功效与非隐私版本相当，在多场景实验中验证了有效性与广泛适用性。
2025-10-21 cs.CR cs.LG stat.ME
The Differentially Private Lottery Ticket Mechanism
Simon Fraser University（西蒙弗雷泽大学）
我们提出了差分私人彩票机制（DPLTM）。基于彩票假说的端到端差异化私人培训范式。使用“高质量的赢家”，通过我们的自定义评分功能选择，DPLTM显着提高了隐私效用权衡超过国家的最先进的。我们表明，DPLTM收敛速度更快，允许提前停止与减少隐私预算消耗。我们进一步表明，从DPLTM票是跨数据集，域和架构可转移。我们对几个公共数据集的广泛评估为我们的主张提供了证据。
2020-02-16 cs.LG stat.ML
A Polynomial Time, Pure Differentially Private Estimator for Binary Product Distributions
University of Waterloo（滑铁卢大学）
该研究提出首个兼具ε-差分隐私与计算高效性的二元乘积分布均值估计算法，在总变分距离下保证估计精度，样本复杂度在多对数因子内达最优，弥补了此前研究隐私性弱或运行时间指数级的不足。
2024-01-25 cs.CR cs.DS cs.LG
Two Differentially Private Rating Collection Mechanisms for Recommender Systems
我们设计了两种机制的推荐系统来收集用户的评分。一种是改进的拉普拉斯机制，另一种是随机响应机制。我们证明了它们都是差分私有的，并且保持了数据效用。
2016-04-28 cs.CR cs.IR stat.ML
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
Representation Transfer for Differentially Private Drug Sensitivity Prediction
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
动机：人类基因组数据集通常包含限制数据使用和共享的敏感信息。特别是，简单的匿名化策略无法为基因组数据提供足够的保护，因为数据本身是可识别的。差异私有机器学习可以保证发布的结果不会泄露太多关于任何单个数据点的信息。最近的研究已经取得了可喜的成果差异私人药物敏感性预测使用基因表达数据。基于基因组数据的差分隐私学习具有挑战性，因为它更难保证高维数据的隐私性。降维可以有所帮助，但如果降维映射是从数据中学习的，那么它也需要是差异隐私的，这可能会带来显着的隐私成本。此外，任何超参数（如目标维度）的选择也需要避免泄露私人信息。结果：我们研究了一种方法，该方法使用类似类型的大型公共数据集来学习差分私有学习的紧凑表示。我们比较了三种表示学习方法：变分自编码器，PCA和随机投影。我们解决了两个关于癌细胞系基因表达的机器学习任务：癌症类型分类和药物敏感性预测。实验表明，所有表示学习方法都具有显着的优势，变分自动编码器最常提供最准确的预测。我们的研究结果显着提高了以前的国家的最先进的差异私人药物敏感性预测的准确性。
2019-01-29 cs.CR cs.LG q-bio.QM
Differentially private Riemannian optimization
University of Sydney（悉尼大学）；Microsoft India（微软印度）
本文研究了参数约束在黎曼流形上的微分私人经验风险最小化问题。我们通过在切空间上的黎曼梯度上添加噪声来引入差分私有黎曼优化的框架。噪声遵循相对于黎曼度量固有地定义的高斯分布。我们适应高斯机制从欧几里得空间的切空间兼容这样的广义高斯分布。我们表明，这种策略提出了一个简单的分析相比，直接添加噪声的歧管。我们进一步展示了隐私保证的建议差分私人黎曼（随机）梯度下降使用的时刻会计技术的扩展。此外，我们证明了实用保障下测地（强）凸，一般非凸目标，以及在黎曼Polyak-Jasojasiewicz条件。我们在几个应用程序中所提出的框架的有效性。
2022-05-19 cs.CR cs.LG math.OC
Differentially Private Random Block Coordinate Descent
KAUST（阿卜杜拉国王科技大学）
提出一种差分隐私随机分块坐标下降方法，利用草图矩阵和重要性采样提升收敛速度与效用，推广了DP-CD和DP-SGD。
2024-12-22 cs.CR cs.LG math.OC
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
DP-KAN: Differentially Private Kolmogorov-Arnold Networks
Institute of Science and Technology (ISTA)（科学技术研究院（ISTA））
本研究探讨了KAN网络在差分隐私训练中的应用，通过DP-SGD算法实现隐私保护，实验表明其性能与MLP相当，适合差分隐私模型训练。
2024-07-17 cs.CR cs.LG
Designing Differentially Private Estimators in High Dimensions
Harvard University（哈佛大学）
本文研究了高维情形下的差分均值估计问题。现有的差分隐私技术应用于大的维度导致计算上棘手的问题或估计过度的隐私损失。最近在高维鲁棒统计方面的工作已经确定了具有渐近维数无关误差保证的计算上易于处理的均值估计算法。我们将这些结果开发一个严格的约束的鲁棒均值估计的全局灵敏度。这就产生了一个计算上易于处理的算法差分私人均值估计在高维与维度无关的隐私损失。最后，我们表明，我们的算法显着优于经典的差分隐私方法，克服了高维差分隐私的障碍。
2020-07-18 cs.CR cs.DS cs.LG
Differentially Private Learning of Geometric Concepts
Tel Aviv University（特拉维夫大学）；Google（谷歌）；Ben-Gurion University（本-古里安大学）
我们提出了差分私人有效的算法学习联盟的多边形在平面上（这不一定是凸的）。我们的算法实现$(α,β)$ -PAC学习和$(ε,δ)$ -差分隐私使用大小为$\tilde{O}\left(\frac{1}{αε}k\log d\right)$的样本，其中域是$[d]\times[d]$和$k$是多边形的并集中的边的数目。
2019-02-13 cs.LG stat.ML
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University（德雷塞尔大学）
不同的私有模型试图保护模型训练数据的隐私，使其成为模型安全和隐私的重要组成部分。与此同时，数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现，模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下，包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Differentially-Private Sublinear-Time Clustering
Purdue University（普渡大学）
聚类是无监督机器学习中的一个基本要素。我们提出了一个自然的和动机良好的研究方向的次线性时间差分私有聚类的问题。我们结合$k$ Mishra等人（SODA，2001）和Czumaj和Sohler（Rand. Struct. and Algorithms，2007），以及Balcan等人（ICML 2017）、Gupta等人（SODA，2010）和Ghazi等人（NeurIPS，2020）的私有聚类的最新结果，以通过子采样获得次线性时间私有$k$ -均值和$k$ -中值算法。我们还调查了群体隐私的子采样的隐私利益。
2021-12-27 cs.CR cs.LG
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Private Learning Implies Online Learning: An Efficient Reduction
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们研究了差异化私人学习和游戏中的在线学习概念之间的关系。最近的一些研究表明，差异化的私人学习意味着在线学习，但尼尔，罗斯和吴\cite{NeelAaronRoth2018}的一个开放的问题，问这种含义是否是{ \it有效}。具体来说，一个有效的差异化私人学习者是否意味着一个有效的在线学习者？在本文中，我们解决这个开放的问题的背景下，纯差分隐私。我们得到了一个有效的黑箱减少从差异私人学习在线学习专家的意见。
2019-06-05 cs.LG stat.ML
Differentially-Private Federated Linear Bandits
Media Lab（媒体实验室）；Institute for Data, Systems and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）
分散式学习系统的迅速发展要求有区别的私人协作学习。在本文中，我们研究这一背景下的线性土匪：我们认为一个集合的代理合作，以解决一个共同的上下文土匪，同时确保他们的通信保持私密。对于这个问题，我们设计了\textsc{FedUCB}，集中式和分散式（对等）联邦学习的多代理私有算法。我们提供了一个严格的技术分析，其效用的遗憾，改善合作的强盗学习的几个结果，并提供严格的隐私保证。我们的算法提供了竞争力的性能，无论是在伪遗憾界和经验基准性能在各种多智能体设置。
2020-10-22 cs.CR cs.LG cs.MA
Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm
Iowa State University（爱荷华州立大学）；Rutgers University（罗格斯大学）；The University of Hong Kong（香港大学）
本文研究充分降维中的隐私保护问题，提出达到极小极大下界（相差对数因子）的差分隐私切片逆回归算法，并通过模拟和真实数据验证其有效性，同时将结果推广至差分隐私稀疏主成分分析。
2025-04-05 cs.CR cs.LG math.ST
An $\tilde{O}$ptimal Differentially Private Learner for Concept Classes with VC Dimension 1
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
我们提出了第一个几乎最佳的差分私人PAC学习者的任何概念类VC维1和Littlestone维$d$。我们的算法实现了$\tilde{O}_{\varepsilon,δ,α,δ}(\log^* d)$的样本复杂度，几乎匹配Alon等人证明的$Ω(\log^* d)$的下限。[STOC19]。在我们的工作之前，最知名的上限是一般VC类的$\tilde{O}(VC\cdot d^5)$，如Ghazi等人[STOC21]所示。
2025-07-29 cs.CR cs.LG
Differentially Private Empirical Risk Minimization with Input Perturbation
University of Tsukuba（筑波大学）；Secom Co., Ltd.（西科姆有限公司）；JST CREST（日本科学技术振兴机构 CREST）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
我们提出了一个新的框架，差分私人ERM，输入扰动。现有的差异化私有ERM隐含地假设数据贡献者将其私有数据提交给数据库，期望数据库调用差异化私有机制来发布所学习的模型。在输入扰动中，每个数据贡献者独立地随机化她/他的数据，并将扰动后的数据提交给数据库。我们表明，输入扰动框架理论上保证了与随机数据学习的模型最终满足规定的隐私参数的差分隐私。同时，输入扰动保证了服务器的局部差分隐私。我们还证明了在一定条件下，输入扰动学习的模型的超额风险界为$O(1/n)$，其中$n$为样本量.这与最新技术水平的超额风险界限相同。
2017-10-20 cs.LG stat.ML
Differentially private inference via noisy optimization
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）
该研究提出基于优化的差分隐私M估计计算框架与隐私置信域构建方法，结合稳健统计与噪声优化得到具收敛保证的最优隐私估计量，还构建了隐私渐近方差估计用于参数推断，经偏差校正提升了小样本性能。
2023-12-13 cs.CR cs.LG math.ST
Differentially Private Learning of Hawkes Processes
J.P. Morgan AI Research（摩根大通人工智能研究院）
Hawkes过程在事件序列数据建模中的多功能性最近得到了机器学习社区越来越多的关注。虽然它们的历史可以追溯到几十年前，但它们的一些属性，例如学习参数和发布差异隐私版本的样本复杂性，尚未得到彻底分析。本文研究了具有背景强度$μ$和激发函数$αe^{-βt}$的标准Hawkes过程.我们提供了非私人和差分私人估计的$μ$和$α$，并获得样本的复杂性结果，在这两种设置，以量化隐私的成本。我们的分析利用了Hawkes过程的强混合性质和弱相依随机变量的经典中心极限定理结果。我们在合成和真实数据集上验证了我们的理论研究结果。
2022-07-27 cs.LG stat.ML
Learning Differentially Private Mechanisms
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
差分隐私是数据隐私的一个正式的数学定义，在学术界、工业界和政府中获得了广泛的关注。正确构造差分隐私算法的任务是不平凡的，并且在基础算法中已经犯了错误。目前，没有自动支持将现有的非私有程序转换为差异私有版本。在本文中，我们提出了一种技术，用于自动学习一个准确的和不同的私人版本的一个给定的非私人程序。我们展示了如何通过一系列技术来解决这个困难的程序合成问题：仔细挑选有代表性的示例输入，将问题简化为连续优化，并将结果映射回符号表达式。我们证明，我们的方法是能够学习的基础算法从差分隐私文献和显着优于自然程序合成基线。
2021-01-04 cs.CR cs.LG cs.PL
How to Democratise and Protect AI: Fair and Differentially Private Decentralised Deep Learning
National University of Singapore（新加坡国立大学）；The University of Melbourne（墨尔本大学）；IBM Singapore Lab（IBM新加坡实验室）；Monash University（莫纳什大学）；Deakin University（迪肯大学）
本文首先考虑了协作式深度学习中在保证隐私的前提下的公平性研究问题。提出了一种新的信誉系统，通过数字令牌和本地可信度来保证公平性，并结合差分隐私来保证隐私。特别是，我们构建了一个公平和差异私有的去中心化深度学习框架FDPDDL，它使各方能够通过使用我们开发的两阶段方案以公平和私有的方式获得更准确的局部模型：在初始化阶段，由差异私有生成对抗网络（DPGAN）生成的人工样本用于相互基准测试各方的局部可信度并生成初始令牌;在更新阶段，使用差分隐私SGD（DPSGD）来促进协作隐私保护深度学习，并且根据单独发布的梯度的质量和数量来更新每一方的本地可信度和令牌。在三个真实环境下的基准数据集上的实验结果表明，FDPDDL实现了很高的公平性，产生了与集中式和分布式框架相当的准确性，并提供了比独立框架更好的准确性。
2020-07-18 cs.CR cs.DC cs.LG
Adaptive Differentially Private Empirical Risk Minimization
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个自适应（随机）梯度扰动方法差分私人经验风险最小化。在每次迭代中，添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有（ADP）学习。给定相同的隐私预算，我们证明了ADP方法大大提高了效用保证相比，标准的差分私人的方法，其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用，包括AdaGrad的变体（Duchi等人，2011年）。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
Differentially Private Survival Function Estimation
Simon Fraser University（西蒙弗雷泽大学）
生存函数估计在许多学科中使用，但在医学分析中最常见的是Kaplan-Meier估计量的形式。敏感数据（患者记录）用于估计，而对信息泄露没有任何明确的控制，这是一个重大的隐私问题。我们提出了第一个差分私人估计的生存函数，并表明它可以很容易地扩展到提供差分私人置信区间和测试统计量，而无需花费任何额外的隐私预算。我们进一步提供了扩展的差分私人估计的竞争风险的累积发病率函数，纳尔逊-Aalen的估计的危险函数等，使用11个现实生活中的临床数据集，我们提供的经验证据表明，我们提出的方法提供了良好的实用性，同时提供强大的隐私保证。
2020-01-14 cs.LG stat.ME stat.ML
Comparative Study of Differentially Private Synthetic Data Algorithms from the NIST PSCR Differential Privacy Synthetic Data Challenge
Urban Institute（城市研究所）；RAND Corporation（兰德公司）
差异化私有合成数据生成提供了一种最新的解决方案，可以发布分析上有用的数据，同时保护数据中个人的隐私。为了将这些算法用于公共政策决策，决策者需要准确了解这些算法的比较性能。相应地，数据从业者需要标准的指标来评估合成数据的分析质量。在本文中，我们使用2018-2019年国家标准与技术研究院公共安全通信研究（NIST PSCR）部门的“差分隐私合成数据挑战赛”中参赛者创建的实际差分私有合成数据集，对几种差分私有合成数据算法进行了深入评估。我们根据这些算法创建的数据的准确性以及潜在数据提供商的可用性对它们进行分析。我们在NIST PSCR数据挑战中使用的方法框架在更广泛的差异私人合成数据文献中。我们实现了额外的效用指标，包括我们自己的两个，在不同的私人合成数据和比较机制效用的三个类别。我们的差异私人数据合成方法和质量指标的比较评估显示的相对有用性，一般的优点和缺点，并提供了首选的算法和指标。最后，我们描述了我们的评估政策制定者寻求实现差异化的私人合成数据算法对未来的数据产品的影响。
2020-10-12 cs.CR cs.LG stat.AP
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模（分散）使用敏感数据，同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD，它依赖于基于范数的梯度裁剪作为限制灵敏度的方法，然后添加适当校准的高斯噪声。在这项工作中，我们提出了NeuralDP，一种用于私有化神经网络中某些层的激活的技术，该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集（MNIST和儿科肺炎数据集（PPD））上进行了实验，与DP-SGD相比，我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London（帝国理工学院）
差分隐私关注的是预测质量，同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的，但它们通常是不可微的。分析了标准的差分隐私算法，如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法，已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中，我们假设了一类特殊的凸但非光滑的正则化，诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作，分析了双重优化问题的风险最小化问题的背景下，差分隐私。
2019-05-13 cs.LG stat.ML
Relaxed Marginal Consistency for Differentially Private Query Answering
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
许多用于回答数据库查询的差分私有算法涉及从噪声测量重构离散数据分布的步骤。这提供了一致的查询答案并减少了错误，但通常需要随维度呈指数级增长的空间。Private-PGM是最近的一种方法，它使用图形模型来表示数据分布，其复杂性与图形模型中的精确边缘推断的复杂性成比例，该图形模型的结构由噪声测量中的变量的共现确定。Private-PGM对于稀疏测量是高度可扩展的，但是可能无法在具有密集测量的高维中运行。我们克服了私人PGM的主要可扩展性限制，通过一个原则性的方法，放松一致性约束的估计目标。我们的新方法适用于许多现有的私人查询回答算法，提高了可扩展性或准确性，没有隐私成本。
2021-10-25 cs.CR cs.LG
Differentially Private Bayesian Linear Regression
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
线性回归是处理敏感的人工来源数据的许多领域的重要工具。重要的先前工作集中在产生差分私人点估计，它提供了一个隐私保证个人，同时仍然允许建模者通过估计回归系数从数据中得出见解。我们研究贝叶斯线性回归问题，目标是计算后验分布，正确量化私人发布的统计数据的不确定性。我们表明，一个天真的方法，忽略了隐私机制注入的噪音在现实的数据设置做得很差。然后，我们开发了噪声感知的方法，执行推理的隐私机制，并在广泛的场景中产生正确的后验。
2019-10-29 cs.LG stat.ML
Differentially Private Algorithms for Empirical Machine Learning
Duke University（杜克大学）
私有数据的一个重要用途是构建机器学习分类器。虽然有一个蓬勃发展的文学差异私人分类算法，我们发现，他们是不实际的，在实际应用中，由于两个原因。首先，现有的差分私有分类器在真实世界数据集上的准确性很差。第二，没有已知的差分私有算法用于在私有测试数据集上凭经验评估私有分类器。在本文中，我们开发了不同的私人算法，反映现实世界的经验机器学习工作流程。我们将私有分类器训练算法视为黑盒。我们提出了私人算法，用于选择输入到分类器的功能。虽然添加预处理步骤会从实际分类过程中带走一些隐私预算（因此可能会使其噪音更大，准确性更低），但我们证明了我们的新型预处理技术在三个真实世界数据集上显着提高了分类器的准确性。我们还提出了第一个私人的算法，经验性地构建受试者工作特征（ROC）曲线上的私人测试集。
2014-11-21 cs.LG
Differentially Private Model Compression
University of California San Diego（加州大学圣迭戈分校）；Microsoft Research（微软研究院）；Microsoft（微软）
最近的论文表明，大型预训练语言模型（LLM），如BERT，GPT-2，可以在私有数据上进行微调，以实现与许多下游自然语言处理（NLP）任务的非私有模型相当的性能，同时保证差分隐私。然而，这些模型的推理成本（由数亿个参数组成）可能非常大。因此，在实践中，LLM通常在部署到特定应用程序之前进行压缩。在本文中，我们开始研究差分私有模型压缩，并提出了实现50%的稀疏水平，同时保持几乎全部性能的框架。我们使用BERT模型在标准的GLUE基准测试上证明了这些想法，为今后关于这一主题的研究设定了基准。
2022-06-03 cs.CR cs.LG
