Differentially Private Boxplots
本文提出差分隐私箱线图，解决现有差分隐私可视化研究不足问题，理论证明其位置和尺度估计具最优样本复杂度，偏度和尾部一致估计，模拟与真实数据分析显示其性能接近非私有箱线图且优于朴素方法。
2025-01-27 stat.AP stat.ME stat.OT
Two Differentially Private Rating Collection Mechanisms for Recommender Systems
我们设计了两种机制的推荐系统来收集用户的评分。一种是改进的拉普拉斯机制，另一种是随机响应机制。我们证明了它们都是差分私有的，并且保持了数据效用。
2016-04-28 cs.CR cs.IR stat.ML
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
Differentially Private Finite Population Estimation via Survey Weight Regularization
针对调查加权统计的差分隐私发布难题，提出通过私有估计超参数来正则化调查权重，在偏差、精度与隐私间取得平衡，并以收入动态面板研究验证，最优策略噪声比朴素方法少几个数量级。
2024-11-06 cs.CR stat.ME
Differentially Private E-Values
FGV EMAp
针对E值可能泄露敏感数据的问题，提出基于有偏乘性噪声机制的通用框架，将非隐私E值转换为保持统计有效性的差分隐私E值，其渐近功效与非隐私版本相当，在多场景实验中验证了有效性与广泛适用性。
2025-10-21 cs.CR cs.LG stat.ME
A Polynomial Time, Pure Differentially Private Estimator for Binary Product Distributions
University of Waterloo（滑铁卢大学）
该研究提出首个兼具ε-差分隐私与计算高效性的二元乘积分布均值估计算法，在总变分距离下保证估计精度，样本复杂度在多对数因子内达最优，弥补了此前研究隐私性弱或运行时间指数级的不足。
2024-01-25 cs.CR cs.DS cs.LG
Statistical Properties of Sanitized Results from Differentially Private Laplace Mechanism with Univariate Bounding Constraints
在发布和共享数据和信息时，保护个人隐私是一个共同关注的问题。差分隐私（DP）形式化隐私的概率条款，而不做假设的背景知识的数据入侵者，从而提供了一个强大的隐私保护的概念。DP的实际应用涉及开发差异隐私机制，以在预先指定的隐私预算中生成经过消毒的结果。对于具有诸如比例和相关系数之类的公共已知边界的统计数据的净化，边界约束将需要被并入差分私有机制中。有很少的工作检查的后果的边界约束的准确性的消毒结果和统计推断的人口参数的基础上消毒的结果。在本文中，我们形式化的差分私人截断和边界膨胀截断（BIT）的程序发布统计与公开已知的边界约束。截断和BIT拉普拉斯程序的统计精度和有效性的消毒统计的影响进行了评估，通过模拟研究的理论和经验。
2019-05-26 cs.CR stat.ME
Computationally tractable robust differentially private mean estimation
Department of Mathematics and Statistics（数学与统计学系）
提出一种名为“气球均值”的新差分隐私均值估计器，通过扩展马氏距离球上的迭代裁剪实现计算可处理性、鲁棒性及零集中差分隐私，理论保证在重尾和污染椭圆模型下的统计性能与鲁棒性。
2026-08-18 cs.LG stat.ME stat.ML
Differentially Private Identity and Closeness Testing of Discrete Distributions
MIT（麻省理工学院）；USC（南加州大学）；TAU（特拉维夫大学）
本文研究了离散总体上随机样本的同一性和紧密性检验问题。我们的目标是开发高效的测试人员，同时保证人口中的个体的差分隐私。我们描述了一种方法，产生样本有效的差异私人测试这些问题。我们的理论研究结果表明，存在私人身份和亲密度测试，几乎是他们的非私人同行的样本效率。我们进行实验评估我们的算法上的合成数据。我们的实验表明，我们的私人测试人员实现小的I型和II型错误的样本量次线性域大小的基础分布。
2017-07-18 cs.DS cs.IT cs.LG
Designing Differentially Private Estimators in High Dimensions
Harvard University（哈佛大学）
本文研究了高维情形下的差分均值估计问题。现有的差分隐私技术应用于大的维度导致计算上棘手的问题或估计过度的隐私损失。最近在高维鲁棒统计方面的工作已经确定了具有渐近维数无关误差保证的计算上易于处理的均值估计算法。我们将这些结果开发一个严格的约束的鲁棒均值估计的全局灵敏度。这就产生了一个计算上易于处理的算法差分私人均值估计在高维与维度无关的隐私损失。最后，我们表明，我们的算法显着优于经典的差分隐私方法，克服了高维差分隐私的障碍。
2020-07-18 cs.CR cs.DS cs.LG
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Differentially Private Continual Learning
University of Oxford（牛津大学）
灾难性的遗忘对于出于隐私原因必须删除历史数据的机构来说可能是一个严重的问题。例如，医院可能无法永久保留患者数据。但是，仅用最近的数据训练的神经网络往往会忘记从旧数据中吸取的教训。我们提出了一个基于变分推断的差分私有持续学习框架。我们使用旧数据集的差分私有生成模型来估计给定当前模型的过去数据的可能性。
2019-02-18 cs.LG stat.ML
Differentially Private Low-dimensional Synthetic Data from High-dimensional Datasets
University of California Irvine（加州大学欧文分校）；University of California Davis（加州大学戴维斯分校）
针对高维数据下差分隐私合成数据受维数灾难影响准确性的问题，提出一种带Wasserstein距离效用保证的高效低维合成数据生成算法，其核心是无需协方差谱间隙假设、近最优精度的私有PCA流程。
2024-12-11 cs.CR cs.DS cs.LG
The Differentially Private Lottery Ticket Mechanism
Simon Fraser University（西蒙弗雷泽大学）
我们提出了差分私人彩票机制（DPLTM）。基于彩票假说的端到端差异化私人培训范式。使用“高质量的赢家”，通过我们的自定义评分功能选择，DPLTM显着提高了隐私效用权衡超过国家的最先进的。我们表明，DPLTM收敛速度更快，允许提前停止与减少隐私预算消耗。我们进一步表明，从DPLTM票是跨数据集，域和架构可转移。我们对几个公共数据集的广泛评估为我们的主张提供了证据。
2020-02-16 cs.LG stat.ML
Differentially Private Range Queries with Correlated Input Perturbation
Rutgers University（罗格斯大学）
本文提出一种利用相关输入扰动的差分隐私范围查询机制，通过级联采样算法实现无偏、一致且统计透明的近最优效用，并有效与其他方法竞争。
2024-11-06 cs.CR cs.LG stat.ME
Differentially Private Exponential Random Graphs
我们提出的方法来释放和分析合成图，以保护个人关系的社交网络所捕获的隐私。建议的技术旨在拟合和估计的指数随机图模型（ERGMs）在一个不同的私人的方式，从而提供严格的隐私保证。更具体地说，我们使用的随机响应机制下释放网络$ε$边缘差分隐私。为了保持统计推断的实用性，将原始图视为缺失，我们提出了一种使用基于似然的推断和马尔可夫链蒙特卡罗（MCMC）技术来将ERGM拟合到所产生的合成网络的方法。我们展示了一个真实的数据例子所提出的技术的实用性。
2015-04-15 cs.CR stat.ME stat.OT
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Differentially Private Synthetic Control
Columbia University（哥伦比亚大学）
合成控制是一种因果推理工具，用于通过创建合成的反事实数据来估计干预措施的治疗效果。这种方法结合了来自其他类似观测的测量结果（即，供体库）来预测感兴趣的反事实时间序列（即，目标单位）通过分析干预前目标和供体库之间的关系。随着合成控制工具越来越多地应用于敏感或专有数据，通常需要正式的隐私保护。在这项工作中，我们提供了第一个算法差分私人合成控制显式误差界。我们的方法建立在非私人合成控制和差异私人经验风险最小化的工具。我们提供的合成控制查询的灵敏度上的上限和下限，并提供明确的误差界限，我们的私人合成控制算法的准确性。我们表明，我们的算法产生准确的预测目标单位，隐私的成本很小。最后，我们经验性地评估我们的算法的性能，并显示出良好的性能，在各种参数制度，以及提供指导，从业者的超参数调整。
2023-03-24 cs.DS cs.LG stat.ML
Analyzing the Differentially Private Theil-Sen Estimator for Simple Linear Regression
针对简单线性回归，本文对基于稳健统计的差分隐私算法 DPTheilSen 给出隐私与准确性的有限样本理论分析、超参数指导及配套置信区间构造方法。
2024-03-11 cs.CR stat.AP
Comparative Study of Differentially Private Synthetic Data Algorithms from the NIST PSCR Differential Privacy Synthetic Data Challenge
Urban Institute（城市研究所）；RAND Corporation（兰德公司）
差异化私有合成数据生成提供了一种最新的解决方案，可以发布分析上有用的数据，同时保护数据中个人的隐私。为了将这些算法用于公共政策决策，决策者需要准确了解这些算法的比较性能。相应地，数据从业者需要标准的指标来评估合成数据的分析质量。在本文中，我们使用2018-2019年国家标准与技术研究院公共安全通信研究（NIST PSCR）部门的“差分隐私合成数据挑战赛”中参赛者创建的实际差分私有合成数据集，对几种差分私有合成数据算法进行了深入评估。我们根据这些算法创建的数据的准确性以及潜在数据提供商的可用性对它们进行分析。我们在NIST PSCR数据挑战中使用的方法框架在更广泛的差异私人合成数据文献中。我们实现了额外的效用指标，包括我们自己的两个，在不同的私人合成数据和比较机制效用的三个类别。我们的差异私人数据合成方法和质量指标的比较评估显示的相对有用性，一般的优点和缺点，并提供了首选的算法和指标。最后，我们描述了我们的评估政策制定者寻求实现差异化的私人合成数据算法对未来的数据产品的影响。
2020-10-12 cs.CR cs.LG stat.AP
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
Differentially Private High Dimensional Bandits
Columbia University（哥伦比亚大学）
针对高维稀疏上下文线性赌博机在差分隐私约束下的问题，提出PrivateLASSO算法，结合稀疏硬阈值隐私机制与阶段性阈值规则，并证明其极小极大隐私下界及隐私和效用保证。
2024-02-06 cs.CR cs.LG cs.SY
Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
差分隐私是一种基于密码学的隐私定义，在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私，设计此类算法的挑战是控制添加的噪声，以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计，给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性（GES）概念之间的正式联系，通过显示任何差分隐私近似估计的收敛速度，在一个大类的分布是准确的增长与GES的估计。然后，我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明，有界范围条件是必要的，如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
Differentially Private Learning of Geometric Concepts
Tel Aviv University（特拉维夫大学）；Google（谷歌）；Ben-Gurion University（本-古里安大学）
我们提出了差分私人有效的算法学习联盟的多边形在平面上（这不一定是凸的）。我们的算法实现$(α,β)$ -PAC学习和$(ε,δ)$ -差分隐私使用大小为$\tilde{O}\left(\frac{1}{αε}k\log d\right)$的样本，其中域是$[d]\times[d]$和$k$是多边形的并集中的边的数目。
2019-02-13 cs.LG stat.ML
Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm
Iowa State University（爱荷华州立大学）；Rutgers University（罗格斯大学）；The University of Hong Kong（香港大学）
本文研究充分降维中的隐私保护问题，提出达到极小极大下界（相差对数因子）的差分隐私切片逆回归算法，并通过模拟和真实数据验证其有效性，同时将结果推广至差分隐私稀疏主成分分析。
2025-04-05 cs.CR cs.LG math.ST
Differentially private inference via noisy optimization
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）
该研究提出基于优化的差分隐私M估计计算框架与隐私置信域构建方法，结合稳健统计与噪声优化得到具收敛保证的最优隐私估计量，还构建了隐私渐近方差估计用于参数推断，经偏差校正提升了小样本性能。
2023-12-13 cs.CR cs.LG math.ST
Instance-Optimal Differentially Private Estimation
Apple, Inc.（苹果公司）；Boston University（波士顿大学）；Northeastern University（东北大学）
在这项工作中，我们研究了局部极小极大收敛估计率受$ε$ -差分隐私。与最坏情况下的利率，这可能是保守的，算法是局部极小极大最优必须适应简单的问题。本文构造了单参数指数族的局部极小极大差分私有估计，并对分布的尾率进行了估计。在这些情况下，我们证明了用于简单假设检验的最优算法，即Canonne等人（2019）最近的最优私有检验器，直接告知局部极小极大估计算法的设计。
2022-10-28 cs.CR cs.LG math.ST
Representation Transfer for Differentially Private Drug Sensitivity Prediction
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
动机：人类基因组数据集通常包含限制数据使用和共享的敏感信息。特别是，简单的匿名化策略无法为基因组数据提供足够的保护，因为数据本身是可识别的。差异私有机器学习可以保证发布的结果不会泄露太多关于任何单个数据点的信息。最近的研究已经取得了可喜的成果差异私人药物敏感性预测使用基因表达数据。基于基因组数据的差分隐私学习具有挑战性，因为它更难保证高维数据的隐私性。降维可以有所帮助，但如果降维映射是从数据中学习的，那么它也需要是差异隐私的，这可能会带来显着的隐私成本。此外，任何超参数（如目标维度）的选择也需要避免泄露私人信息。结果：我们研究了一种方法，该方法使用类似类型的大型公共数据集来学习差分私有学习的紧凑表示。我们比较了三种表示学习方法：变分自编码器，PCA和随机投影。我们解决了两个关于癌细胞系基因表达的机器学习任务：癌症类型分类和药物敏感性预测。实验表明，所有表示学习方法都具有显着的优势，变分自动编码器最常提供最准确的预测。我们的研究结果显着提高了以前的国家的最先进的差异私人药物敏感性预测的准确性。
2019-01-29 cs.CR cs.LG q-bio.QM
Differentially Private Random Block Coordinate Descent
KAUST（阿卜杜拉国王科技大学）
提出一种差分隐私随机分块坐标下降方法，利用草图矩阵和重要性采样提升收敛速度与效用，推广了DP-CD和DP-SGD。
2024-12-22 cs.CR cs.LG math.OC
Differentially Private Algorithms for Learning Mixtures of Separated Gaussians
University of Waterloo（滑铁卢大学）；Bar Ilan University（巴伊兰大学）；Northeastern University（东北大学）
高斯混合模型的参数学习是一个基本的、广泛研究的问题，具有许多应用。在这项工作中，我们给出了新的算法学习的高维，良好分离，高斯混合模型的参数受到强约束的差分隐私。特别是，我们给出了一个不同的私人模拟Achlioptas和McSherry的算法。我们的算法有两个关键的性质没有达到以前的工作：（1）算法的样本复杂度匹配相应的非私有算法的低阶项在很宽的参数范围。(2)该算法不需要对混合组分的参数有强的先验界。
2019-10-15 cs.CR cs.DS cs.IT
Private Learning Implies Online Learning: An Efficient Reduction
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们研究了差异化私人学习和游戏中的在线学习概念之间的关系。最近的一些研究表明，差异化的私人学习意味着在线学习，但尼尔，罗斯和吴\cite{NeelAaronRoth2018}的一个开放的问题，问这种含义是否是{ \it有效}。具体来说，一个有效的差异化私人学习者是否意味着一个有效的在线学习者？在本文中，我们解决这个开放的问题的背景下，纯差分隐私。我们得到了一个有效的黑箱减少从差异私人学习在线学习专家的意见。
2019-06-05 cs.LG stat.ML
Weighted directed networks with a differentially private bi-degree sequence
$p_0$模型是一个以二度序列作为唯一充分统计量的有向网络的指数随机图模型。它抓住了网络的度异质性特征。证明了私有$p_0$模型参数的差分私有估计的相合性和渐近正态性。然而，$p_0$模型仅关注二进制边缘。在许多现实网络中，边可以加权，取一组有限的离散值。本文进一步证明了加权$p_0$模型中基于差分私有二度序列的参数矩估计是相合的且渐近正态的。数值研究证实了我们的理论发现。
2020-03-21 math.ST stat.TH
Differentially Private Generation of Small Images
Pionic（Pionic公司）
我们探索了具有差分隐私的生成对抗网络的训练，以匿名化图像数据集。在MNIST上，我们使用来自$ε$ - $δ$差分隐私和初始分数的参数来数值地测量隐私-效用权衡。我们的实验揭示了一个饱和的训练机制，其中增加隐私预算几乎没有增加生成图像的质量。我们还解释了为什么差分私人亚当优化是独立的梯度裁剪参数。此外，我们还强调了我们在最近的文献中发现的关于差异私有深度学习的先前工作中的常见错误。在整个主题的处理过程中，我们希望防止将来对匿名性的错误估计。
2020-05-06 cs.CR cs.LG stat.ML
A Differentially Private Wilcoxon Signed-Rank Test
Reed College（里德学院）
假设检验是数据采掘的重要统计工具，也是许多领域科学研究的主力。在这里，我们提出了一个经典的Wilcoxon符号秩假设检验的差异私人模拟，当比较成对的（例如，前后）数据值。我们不仅提供了检验统计量的私人估计，而且提供了一种准确计算p值和评估统计显著性的方法。我们评估我们的测试模拟和真实数据。与Task和Clifton针对这种情况的唯一现有私人测试相比，我们发现我们的测试需要不到一半的数据才能实现相同的统计功效。
2018-09-05 cs.CR cs.LG stat.ML
A Knowledge Transfer Framework for Differentially Private Sparse Learning
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了在保持每个训练样本隐私的同时估计具有底层稀疏结构的高维模型的问题。我们开发了一个差分私有的高维稀疏学习框架，利用知识转移的思想。更具体地说，我们建议从一个私人数据集上训练的“教师”估计器中提取知识，通过从辅助特征创建一个新的数据集，然后使用这个新的数据集训练一个差分私人“学生”估计器。此外，我们建立了线性收敛速度以及效用保证我们提出的方法。对于稀疏线性回归和稀疏逻辑斯谛回归，与最佳已知结果相比，我们的方法实现了改进的效用保证（Kifer等人，2012; Wang和Gu，2019）。我们进一步证明了我们的框架的优越性，通过合成和真实世界的数据实验。
2019-09-13 cs.CR cs.LG stat.ML
Differentially private estimation in a class of directed network models
针对一般有向网络模型，采用拉普拉斯机制发布双度序列实现差分隐私，用矩方法估计参数，证明估计量的一致性和渐近正态性，并通过Probit模型、模拟和真实数据验证。
2024-04-19 math.ST stat.TH
Differentially private sub-Gaussian location estimators
我们解决的问题，估计一个位置参数差分隐私保证和亚高斯偏差。最近的统计工作集中在研究估计，实现亚高斯型偏差，即使是重尾数据。我们通过差分隐私的镜头重新审视了其中的一些估计，并表明拉普拉斯机制的天真应用可能会导致次优结果。我们设计了两个私人算法估计中位数，导致估计子高斯型错误。与大多数现有的差分私人中位数估计，这两种算法都定义为无界随机变量，甚至不需要有有限的时刻。然后，我们转向亚高斯均值估计的问题，并表明，在重尾自然差分私人替代品导致严格更差的偏差比他们的非私人亚高斯同行。这与最近的结果形成鲜明对比，这些结果表明，从渐近的角度来看，差分隐私的成本可以忽略不计。
2019-06-27 math.ST stat.ML stat.TH
Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了第一个可证明准确的算法，用于分布式环境中的差异私有、自上而下的决策树学习（Balcan等人，2012年）。我们提出了DP-TopDown，一个通用的隐私保护决策树学习算法，并提出了两个分布式实现。我们的第一个方法NoisyCounts自然地通过使用拉普拉斯机制扩展了单机算法。我们的第二种方法LocalRNM通过在每个数据持有者处执行局部优化来显著减少通信和增加的噪声。我们提供了第一个效用保证差分私有自上而下的决策树学习在单机和分布式设置。这些保证表明，如果数据集足够大，则私人学习的决策树的错误很快变为零。我们在真实数据集上的大量实验说明了在分布式环境中学习私有决策树时隐私，准确性和泛化的权衡。
2021-02-23 cs.CR cs.LG stat.ML
Learning Rate Adaptation for Federated and Differentially Private Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
我们提出了一种算法，用于适应随机梯度下降（SGD）的学习率，避免了使用验证集的需要。自适应的想法来自外推技术：为了获得对SGD基础的梯度流的误差估计，我们比较了一个完整步骤和两个半步骤获得的结果。该算法应用于两个独立的框架：联邦和差分私人学习。使用深度神经网络的例子，我们凭经验表明，自适应算法是有竞争力的手动调整常用的优化方法的差异私人训练。我们还表明，它在联邦学习的情况下，与常用的优化方法不同，工作得很好。
2019-05-31 cs.CR cs.LG stat.ML
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame（圣母大学）
本文开发了开源R包DPpack，集成Laplace、Gaussian和指数机制，提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具，使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
Differentially Private Synthetic High-dimensional Tabular Stream
University of California（加利福尼亚大学）
本文针对持续变化的私有数据流，提出一种满足持续差分隐私的高维表格流合成数据生成框架，结合选择-度量-拟合-迭代范式与私有计数器，并通过真实数据集实验验证其效用。
2024-08-31 cs.CR cs.IT cs.LG
Mitigating Statistical Bias within Differentially Private Synthetic Data
University of Oxford（牛津大学）；University of Warwick（华威大学）；Universitat Pompeu Fabra（庞培法布拉大学）；University of Kaiserslautern（凯泽斯劳滕大学）；German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心）
对隐私保护机器学习的兴趣日益增加，导致了用于从未公开的真实数据生成私有合成数据的新的和进化的方法。然而，隐私保护机制可以显著降低合成数据的效用，这反过来又会影响下游任务，如学习预测模型或推理。我们提出了几个重新加权策略，使用私有化的似然比，不仅减轻下游估计的统计偏差，但也具有普遍适用性的差分私人生成模型。通过大规模的实证评估，我们表明，私人重要性加权提供了简单而有效的隐私兼容的合成数据的一般应用程序的增强。
2022-05-19 cs.CR cs.LG stat.ML
DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing
Tsinghua University（清华大学）；Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Huazhong University of Science and Technology（华中科技大学）；Virginia Tech（弗吉尼亚理工大学）
深度学习技术在广泛的任务中取得了卓越的性能。然而，当在隐私敏感数据集上训练时，模型参数可能暴露训练数据中的隐私信息。之前的差异化私有训练尝试，虽然提供了严格的隐私保证，但导致模型性能比非私有训练低得多。此外，同一训练算法的不同运行产生的模型具有很大的性能差异。为了解决这些问题，我们提出了DPlis--Differentially Private Learning wIth Smoothing。DPlis的核心思想是构造一个平滑的损失函数，该函数有利于位于损失景观的大平坦区域中的抗噪声模型。我们提供了理论依据的实用程序的改进DPlis。大量的实验也表明，DPlis可以有效地提高模型质量和训练稳定性在给定的隐私预算。
2021-06-20 cs.CR cs.LG stat.ML
But Can You Use It? Design Recommendations for Differentially Private Interactive Systems
本文针对差分隐私交互系统缺乏实际可用性的问题，提出平衡隐私保证、统计效用和系统可用性三大设计考虑，并给出建议、示例架构及用户测试方案，以推动其落地应用。
2024-12-16 cs.CR cs.HC stat.AP
Differentially-Private Federated Linear Bandits
Media Lab（媒体实验室）；Institute for Data, Systems and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）
分散式学习系统的迅速发展要求有区别的私人协作学习。在本文中，我们研究这一背景下的线性土匪：我们认为一个集合的代理合作，以解决一个共同的上下文土匪，同时确保他们的通信保持私密。对于这个问题，我们设计了\textsc{FedUCB}，集中式和分散式（对等）联邦学习的多代理私有算法。我们提供了一个严格的技术分析，其效用的遗憾，改善合作的强盗学习的几个结果，并提供严格的隐私保证。我们的算法提供了竞争力的性能，无论是在伪遗憾界和经验基准性能在各种多智能体设置。
2020-10-22 cs.CR cs.LG cs.MA
Distributed Differentially-Private Algorithms for Matrix and Tensor Factorization
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
在许多信号处理和机器学习应用中，包含隐私信息的数据集被保存在不同的位置，这需要开发分布式隐私保护算法。张量和矩阵分解是许多处理管道的关键组件。在分布式环境中，差分隐私算法受到影响，因为它们引入了噪声来保证隐私。针对两种常用的矩阵和张量分解方法：主成分分析（PCA）和正交张量分解（OTD），设计了新的改进的分布式差分隐私算法。新算法采用相关噪声设计方案来减轻噪声的影响，并可以实现与集中式方案相同的噪声水平。合成和真实数据上的实验说明了相关噪声允许与集中式设置相匹配的性能的制度，优于以前的方法，并证明有意义的效用是可能的，同时保证差分隐私。
2018-04-26 cs.LG stat.ML
Differentially-Private Logistic Regression for Detecting Multiple-SNP Association in GWAS Databases
Carnegie Mellon University（卡内基梅隆大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
在霍默等人发表了对全基因组关联研究（GWAS）数据的攻击之后，已经对开发用于以隐私保护方式发布GWAS数据的方法给予了相当大的关注。在这里，我们开发了一种端到端的差分私有方法，用于解决具有凸罚函数的回归问题，并通过交叉验证选择罚参数。特别是，我们专注于惩罚逻辑斯谛回归与弹性网络正则化，一种广泛用于GWAS分析，以确定致病基因的方法。我们展示了如何将弹性网络正则化惩罚逻辑斯谛回归的差分私有程序应用于GWAS数据的分析并评估我们的方法的性能。
2014-07-30 cs.LG stat.AP stat.ML
Differentially Private ADMM for Distributed Medical Machine Learning
University of Houston（休斯顿大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Science and Technology of China（中国科学技术大学）
由于大量数据分布在多个位置，分布式机器学习吸引了大量的研究兴趣。交替方向乘法（Alternating Direction Method of Multipliers，ADMM）是一种设计分布式机器学习算法的有效方法，每个Agent在本地数据集上进行计算，并通过迭代过程与相邻Agent交换计算结果。如果本地数据是敏感的，则在此迭代过程中存在显著的隐私泄漏。在本文中，我们提出了一个差分隐私ADMM算法（P-ADMM）提供动态零集中差分隐私（动态zCDP），通过插入高斯噪声线性衰减的方差。我们证明了P-ADMM与非私有对应方相比具有相同的收敛速度，即，$\mathcal{O}(1/K)$，其中$K$是一般凸和强凸问题的迭代次数和线性收敛，同时提供差分私有保证。此外，通过我们在真实世界数据集上进行的实验，我们的经验表明，P-ADMM具有最好的性能在现有的差分私有ADMM为基础的算法。
2020-12-09 cs.CR cs.LG stat.ML
Improving Differentially Private Models with Active Learning
UC Irvine（加州大学欧文分校）；Google Brain（谷歌大脑）
机器学习技术的广泛采用增加了对敏感数据（如医疗记录）训练的模型的隐私问题。现有的训练差分隐私（DP）模型的技术提供了严格的隐私保证，但将这些技术应用于神经网络会严重降低模型的性能。这种性能降低是在现实世界中部署私有模型的一个障碍。在这项工作中，我们通过对公共数据的主动学习来微调DP模型，从而提高DP模型的性能。我们引入了两种新技术- DIVERSEPUBLIC和NEARPRIVATE -用于以隐私感知的方式进行微调。对于MNIST和SVHN数据集，这些技术提高了DP模型的最新准确性，同时保留了隐私保证。
2019-10-02 cs.LG stat.ML
Differentially Private Algorithms for 2020 Census Detailed DHC Race \& Ethnicity
本文描述了一种拟议的差异私人（DP）算法，美国人口普查局正在考虑将其作为2020年人口普查的一部分发布详细的人口和住房特征（DHC）种族和种族表格。这些表格包含美国整个人口的人口统计和住房特征的统计数据（计数），并在不同的地理水平上与详细的种族和部落交叉。我们描述了两种差分隐私算法策略，一种是基于从满足“纯”-DP的双边几何分布中添加噪声，另一种是基于从满足差分隐私的一个经过充分研究的变体（称为零集中差分隐私（zCDP））的离散高斯分布中添加噪声。我们分析估计的隐私损失参数，确保由两种算法的统计中引入的可比水平的错误。
2021-07-22 cs.CR cs.DB stat.AP
Differentially Private Stochastic Coordinate Descent
IBM Research, Zurich（苏黎世IBM研究院）
在本文中，我们解决的挑战，使随机坐标下降算法差异私人。与经典的梯度下降算法相比，其中更新对单个模型向量进行操作，并且对该向量的受控噪声添加足以隐藏关于个体的关键信息，随机坐标下降关键地依赖于在训练期间将辅助信息保持在内存中。这种辅助信息提供了额外的隐私泄露，并构成了这项工作中解决的主要挑战。驱动的洞察下，独立的噪声添加，辅助信息的一致性保持在预期中，我们提出了DP-SCD，第一个差分私人随机坐标下降算法。我们从理论上分析了我们的新方法，并认为解耦和并行坐标更新是必不可少的实用程序。在实证方面，我们证明了竞争力的表现对流行的随机梯度下降替代（DP-SGD），同时需要显着较少的调整。
2021-03-14 cs.CR cs.LG stat.ML
