Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo（滑铁卢大学）；Meta；Cornell University（康奈尔大学）
研究了在差分隐私（DP）约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反，介绍了王，肖，Devadas，徐\cite{WangXDX20}，我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上，我们推导出新的算法私人均值估计的重尾分布，在纯和集中DP。最后，我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界，显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Differentially-Private Logistic Regression for Detecting Multiple-SNP Association in GWAS Databases
Carnegie Mellon University（卡内基梅隆大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
在霍默等人发表了对全基因组关联研究（GWAS）数据的攻击之后，已经对开发用于以隐私保护方式发布GWAS数据的方法给予了相当大的关注。在这里，我们开发了一种端到端的差分私有方法，用于解决具有凸罚函数的回归问题，并通过交叉验证选择罚参数。特别是，我们专注于惩罚逻辑斯谛回归与弹性网络正则化，一种广泛用于GWAS分析，以确定致病基因的方法。我们展示了如何将弹性网络正则化惩罚逻辑斯谛回归的差分私有程序应用于GWAS数据的分析并评估我们的方法的性能。
2014-07-30 cs.LG stat.AP stat.ML
Differentially Private Algorithms for 2020 Census Detailed DHC Race \& Ethnicity
本文描述了一种拟议的差异私人（DP）算法，美国人口普查局正在考虑将其作为2020年人口普查的一部分发布详细的人口和住房特征（DHC）种族和种族表格。这些表格包含美国整个人口的人口统计和住房特征的统计数据（计数），并在不同的地理水平上与详细的种族和部落交叉。我们描述了两种差分隐私算法策略，一种是基于从满足“纯”-DP的双边几何分布中添加噪声，另一种是基于从满足差分隐私的一个经过充分研究的变体（称为零集中差分隐私（zCDP））的离散高斯分布中添加噪声。我们分析估计的隐私损失参数，确保由两种算法的统计中引入的可比水平的错误。
2021-07-22 cs.CR cs.DB stat.AP
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Differentially Private Continual Learning
University of Oxford（牛津大学）
灾难性的遗忘对于出于隐私原因必须删除历史数据的机构来说可能是一个严重的问题。例如，医院可能无法永久保留患者数据。但是，仅用最近的数据训练的神经网络往往会忘记从旧数据中吸取的教训。我们提出了一个基于变分推断的差分私有持续学习框架。我们使用旧数据集的差分私有生成模型来估计给定当前模型的过去数据的可能性。
2019-02-18 cs.LG stat.ML
Differentially private scale testing via rank transformations and percentile modifications
本文提出RPST差分隐私双样本尺度检验，证明其隐私性与第一类错误控制，并通过模拟揭示秩变换增长速率在功效与敏感性间的权衡，同时改进差分隐私符号秩检验。
2025-07-04 cs.LG stat.ME
The Differentially Private Lottery Ticket Mechanism
Simon Fraser University（西蒙弗雷泽大学）
我们提出了差分私人彩票机制（DPLTM）。基于彩票假说的端到端差异化私人培训范式。使用“高质量的赢家”，通过我们的自定义评分功能选择，DPLTM显着提高了隐私效用权衡超过国家的最先进的。我们表明，DPLTM收敛速度更快，允许提前停止与减少隐私预算消耗。我们进一步表明，从DPLTM票是跨数据集，域和架构可转移。我们对几个公共数据集的广泛评估为我们的主张提供了证据。
2020-02-16 cs.LG stat.ML
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Differentially Private Survival Function Estimation
Simon Fraser University（西蒙弗雷泽大学）
生存函数估计在许多学科中使用，但在医学分析中最常见的是Kaplan-Meier估计量的形式。敏感数据（患者记录）用于估计，而对信息泄露没有任何明确的控制，这是一个重大的隐私问题。我们提出了第一个差分私人估计的生存函数，并表明它可以很容易地扩展到提供差分私人置信区间和测试统计量，而无需花费任何额外的隐私预算。我们进一步提供了扩展的差分私人估计的竞争风险的累积发病率函数，纳尔逊-Aalen的估计的危险函数等，使用11个现实生活中的临床数据集，我们提供的经验证据表明，我们提出的方法提供了良好的实用性，同时提供强大的隐私保证。
2020-01-14 cs.LG stat.ME stat.ML
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Differentially Private High Dimensional Bandits
Columbia University（哥伦比亚大学）
针对高维稀疏上下文线性赌博机在差分隐私约束下的问题，提出PrivateLASSO算法，结合稀疏硬阈值隐私机制与阶段性阈值规则，并证明其极小极大隐私下界及隐私和效用保证。
2024-02-06 cs.CR cs.LG cs.SY
Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
差分隐私是一种基于密码学的隐私定义，在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私，设计此类算法的挑战是控制添加的噪声，以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计，给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性（GES）概念之间的正式联系，通过显示任何差分隐私近似估计的收敛速度，在一个大类的分布是准确的增长与GES的估计。然后，我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明，有界范围条件是必要的，如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
Differentially Private Algorithms for Linear Queries via Stochastic Convex Optimization
该研究将差分隐私下的线性查询回答建模为鞍点问题，提出两种差分隐私数据发布新算法，并采用更自然的真实数据生成分布基准评估算法准确性。
2024-11-01 stat.ME
Differentially Private Learning of Geometric Concepts
Tel Aviv University（特拉维夫大学）；Google（谷歌）；Ben-Gurion University（本-古里安大学）
我们提出了差分私人有效的算法学习联盟的多边形在平面上（这不一定是凸的）。我们的算法实现$(α,β)$ -PAC学习和$(ε,δ)$ -差分隐私使用大小为$\tilde{O}\left(\frac{1}{αε}k\log d\right)$的样本，其中域是$[d]\times[d]$和$k$是多边形的并集中的边的数目。
2019-02-13 cs.LG stat.ML
Differentially Private E-Values
FGV EMAp
针对E值可能泄露敏感数据的问题，提出基于有偏乘性噪声机制的通用框架，将非隐私E值转换为保持统计有效性的差分隐私E值，其渐近功效与非隐私版本相当，在多场景实验中验证了有效性与广泛适用性。
2025-10-21 cs.CR cs.LG stat.ME
Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm
Iowa State University（爱荷华州立大学）；Rutgers University（罗格斯大学）；The University of Hong Kong（香港大学）
本文研究充分降维中的隐私保护问题，提出达到极小极大下界（相差对数因子）的差分隐私切片逆回归算法，并通过模拟和真实数据验证其有效性，同时将结果推广至差分隐私稀疏主成分分析。
2025-04-05 cs.CR cs.LG math.ST
Differentially private inference via noisy optimization
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）
该研究提出基于优化的差分隐私M估计计算框架与隐私置信域构建方法，结合稳健统计与噪声优化得到具收敛保证的最优隐私估计量，还构建了隐私渐近方差估计用于参数推断，经偏差校正提升了小样本性能。
2023-12-13 cs.CR cs.LG math.ST
A Polynomial Time, Pure Differentially Private Estimator for Binary Product Distributions
University of Waterloo（滑铁卢大学）
该研究提出首个兼具ε-差分隐私与计算高效性的二元乘积分布均值估计算法，在总变分距离下保证估计精度，样本复杂度在多对数因子内达最优，弥补了此前研究隐私性弱或运行时间指数级的不足。
2024-01-25 cs.CR cs.DS cs.LG
Instance-Optimal Differentially Private Estimation
Apple, Inc.（苹果公司）；Boston University（波士顿大学）；Northeastern University（东北大学）
在这项工作中，我们研究了局部极小极大收敛估计率受$ε$ -差分隐私。与最坏情况下的利率，这可能是保守的，算法是局部极小极大最优必须适应简单的问题。本文构造了单参数指数族的局部极小极大差分私有估计，并对分布的尾率进行了估计。在这些情况下，我们证明了用于简单假设检验的最优算法，即Canonne等人（2019）最近的最优私有检验器，直接告知局部极小极大估计算法的设计。
2022-10-28 cs.CR cs.LG math.ST
Differentially Private Identity and Closeness Testing of Discrete Distributions
MIT（麻省理工学院）；USC（南加州大学）；TAU（特拉维夫大学）
本文研究了离散总体上随机样本的同一性和紧密性检验问题。我们的目标是开发高效的测试人员，同时保证人口中的个体的差分隐私。我们描述了一种方法，产生样本有效的差异私人测试这些问题。我们的理论研究结果表明，存在私人身份和亲密度测试，几乎是他们的非私人同行的样本效率。我们进行实验评估我们的算法上的合成数据。我们的实验表明，我们的私人测试人员实现小的I型和II型错误的样本量次线性域大小的基础分布。
2017-07-18 cs.DS cs.IT cs.LG
Representation Transfer for Differentially Private Drug Sensitivity Prediction
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
动机：人类基因组数据集通常包含限制数据使用和共享的敏感信息。特别是，简单的匿名化策略无法为基因组数据提供足够的保护，因为数据本身是可识别的。差异私有机器学习可以保证发布的结果不会泄露太多关于任何单个数据点的信息。最近的研究已经取得了可喜的成果差异私人药物敏感性预测使用基因表达数据。基于基因组数据的差分隐私学习具有挑战性，因为它更难保证高维数据的隐私性。降维可以有所帮助，但如果降维映射是从数据中学习的，那么它也需要是差异隐私的，这可能会带来显着的隐私成本。此外，任何超参数（如目标维度）的选择也需要避免泄露私人信息。结果：我们研究了一种方法，该方法使用类似类型的大型公共数据集来学习差分私有学习的紧凑表示。我们比较了三种表示学习方法：变分自编码器，PCA和随机投影。我们解决了两个关于癌细胞系基因表达的机器学习任务：癌症类型分类和药物敏感性预测。实验表明，所有表示学习方法都具有显着的优势，变分自动编码器最常提供最准确的预测。我们的研究结果显着提高了以前的国家的最先进的差异私人药物敏感性预测的准确性。
2019-01-29 cs.CR cs.LG q-bio.QM
Differentially Private Random Block Coordinate Descent
KAUST（阿卜杜拉国王科技大学）
提出一种差分隐私随机分块坐标下降方法，利用草图矩阵和重要性采样提升收敛速度与效用，推广了DP-CD和DP-SGD。
2024-12-22 cs.CR cs.LG math.OC
Private Learning Implies Online Learning: An Efficient Reduction
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们研究了差异化私人学习和游戏中的在线学习概念之间的关系。最近的一些研究表明，差异化的私人学习意味着在线学习，但尼尔，罗斯和吴\cite{NeelAaronRoth2018}的一个开放的问题，问这种含义是否是{ \it有效}。具体来说，一个有效的差异化私人学习者是否意味着一个有效的在线学习者？在本文中，我们解决这个开放的问题的背景下，纯差分隐私。我们得到了一个有效的黑箱减少从差异私人学习在线学习专家的意见。
2019-06-05 cs.LG stat.ML
Differentially Private Low-dimensional Synthetic Data from High-dimensional Datasets
University of California Irvine（加州大学欧文分校）；University of California Davis（加州大学戴维斯分校）
针对高维数据下差分隐私合成数据受维数灾难影响准确性的问题，提出一种带Wasserstein距离效用保证的高效低维合成数据生成算法，其核心是无需协方差谱间隙假设、近最优精度的私有PCA流程。
2024-12-11 cs.CR cs.DS cs.LG
Weighted directed networks with a differentially private bi-degree sequence
$p_0$模型是一个以二度序列作为唯一充分统计量的有向网络的指数随机图模型。它抓住了网络的度异质性特征。证明了私有$p_0$模型参数的差分私有估计的相合性和渐近正态性。然而，$p_0$模型仅关注二进制边缘。在许多现实网络中，边可以加权，取一组有限的离散值。本文进一步证明了加权$p_0$模型中基于差分私有二度序列的参数矩估计是相合的且渐近正态的。数值研究证实了我们的理论发现。
2020-03-21 math.ST stat.TH
Designing Differentially Private Estimators in High Dimensions
Harvard University（哈佛大学）
本文研究了高维情形下的差分均值估计问题。现有的差分隐私技术应用于大的维度导致计算上棘手的问题或估计过度的隐私损失。最近在高维鲁棒统计方面的工作已经确定了具有渐近维数无关误差保证的计算上易于处理的均值估计算法。我们将这些结果开发一个严格的约束的鲁棒均值估计的全局灵敏度。这就产生了一个计算上易于处理的算法差分私人均值估计在高维与维度无关的隐私损失。最后，我们表明，我们的算法显着优于经典的差分隐私方法，克服了高维差分隐私的障碍。
2020-07-18 cs.CR cs.DS cs.LG
Differentially Private Generation of Small Images
Pionic（Pionic公司）
我们探索了具有差分隐私的生成对抗网络的训练，以匿名化图像数据集。在MNIST上，我们使用来自$ε$ - $δ$差分隐私和初始分数的参数来数值地测量隐私-效用权衡。我们的实验揭示了一个饱和的训练机制，其中增加隐私预算几乎没有增加生成图像的质量。我们还解释了为什么差分私人亚当优化是独立的梯度裁剪参数。此外，我们还强调了我们在最近的文献中发现的关于差异私有深度学习的先前工作中的常见错误。在整个主题的处理过程中，我们希望防止将来对匿名性的错误估计。
2020-05-06 cs.CR cs.LG stat.ML
A Differentially Private Wilcoxon Signed-Rank Test
Reed College（里德学院）
假设检验是数据采掘的重要统计工具，也是许多领域科学研究的主力。在这里，我们提出了一个经典的Wilcoxon符号秩假设检验的差异私人模拟，当比较成对的（例如，前后）数据值。我们不仅提供了检验统计量的私人估计，而且提供了一种准确计算p值和评估统计显著性的方法。我们评估我们的测试模拟和真实数据。与Task和Clifton针对这种情况的唯一现有私人测试相比，我们发现我们的测试需要不到一半的数据才能实现相同的统计功效。
2018-09-05 cs.CR cs.LG stat.ML
Computationally tractable robust differentially private mean estimation
Department of Mathematics and Statistics（数学与统计学系）
提出一种名为“气球均值”的新差分隐私均值估计器，通过扩展马氏距离球上的迭代裁剪实现计算可处理性、鲁棒性及零集中差分隐私，理论保证在重尾和污染椭圆模型下的统计性能与鲁棒性。
2026-08-18 cs.LG stat.ME stat.ML
A Knowledge Transfer Framework for Differentially Private Sparse Learning
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了在保持每个训练样本隐私的同时估计具有底层稀疏结构的高维模型的问题。我们开发了一个差分私有的高维稀疏学习框架，利用知识转移的思想。更具体地说，我们建议从一个私人数据集上训练的“教师”估计器中提取知识，通过从辅助特征创建一个新的数据集，然后使用这个新的数据集训练一个差分私人“学生”估计器。此外，我们建立了线性收敛速度以及效用保证我们提出的方法。对于稀疏线性回归和稀疏逻辑斯谛回归，与最佳已知结果相比，我们的方法实现了改进的效用保证（Kifer等人，2012; Wang和Gu，2019）。我们进一步证明了我们的框架的优越性，通过合成和真实世界的数据实验。
2019-09-13 cs.CR cs.LG stat.ML
Differentially private estimation in a class of directed network models
针对一般有向网络模型，采用拉普拉斯机制发布双度序列实现差分隐私，用矩方法估计参数，证明估计量的一致性和渐近正态性，并通过Probit模型、模拟和真实数据验证。
2024-04-19 math.ST stat.TH
Differentially private sub-Gaussian location estimators
我们解决的问题，估计一个位置参数差分隐私保证和亚高斯偏差。最近的统计工作集中在研究估计，实现亚高斯型偏差，即使是重尾数据。我们通过差分隐私的镜头重新审视了其中的一些估计，并表明拉普拉斯机制的天真应用可能会导致次优结果。我们设计了两个私人算法估计中位数，导致估计子高斯型错误。与大多数现有的差分私人中位数估计，这两种算法都定义为无界随机变量，甚至不需要有有限的时刻。然后，我们转向亚高斯均值估计的问题，并表明，在重尾自然差分私人替代品导致严格更差的偏差比他们的非私人亚高斯同行。这与最近的结果形成鲜明对比，这些结果表明，从渐近的角度来看，差分隐私的成本可以忽略不计。
2019-06-27 math.ST stat.ML stat.TH
Differentially Private Finite Population Estimation via Survey Weight Regularization
针对调查加权统计的差分隐私发布难题，提出通过私有估计超参数来正则化调查权重，在偏差、精度与隐私间取得平衡，并以收入动态面板研究验证，最优策略噪声比朴素方法少几个数量级。
2024-11-06 cs.CR stat.ME
Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了第一个可证明准确的算法，用于分布式环境中的差异私有、自上而下的决策树学习（Balcan等人，2012年）。我们提出了DP-TopDown，一个通用的隐私保护决策树学习算法，并提出了两个分布式实现。我们的第一个方法NoisyCounts自然地通过使用拉普拉斯机制扩展了单机算法。我们的第二种方法LocalRNM通过在每个数据持有者处执行局部优化来显著减少通信和增加的噪声。我们提供了第一个效用保证差分私有自上而下的决策树学习在单机和分布式设置。这些保证表明，如果数据集足够大，则私人学习的决策树的错误很快变为零。我们在真实数据集上的大量实验说明了在分布式环境中学习私有决策树时隐私，准确性和泛化的权衡。
2021-02-23 cs.CR cs.LG stat.ML
Learning Rate Adaptation for Federated and Differentially Private Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
我们提出了一种算法，用于适应随机梯度下降（SGD）的学习率，避免了使用验证集的需要。自适应的想法来自外推技术：为了获得对SGD基础的梯度流的误差估计，我们比较了一个完整步骤和两个半步骤获得的结果。该算法应用于两个独立的框架：联邦和差分私人学习。使用深度神经网络的例子，我们凭经验表明，自适应算法是有竞争力的手动调整常用的优化方法的差异私人训练。我们还表明，它在联邦学习的情况下，与常用的优化方法不同，工作得很好。
2019-05-31 cs.CR cs.LG stat.ML
Differentially Private $\ell_1$-norm Linear Regression with Heavy-tailed Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
研究了重尾数据下的微分私有随机凸优化问题。具体而言，我们专注于$ε$ -DP模型中的$\ell_1$ -范数线性回归。虽然以前的大部分工作都集中在损失函数为Lipschitz的情况下，但在这里我们只需要假设变量具有有界矩。首先，我们研究了数据的$\ell_2$范数具有有界二阶矩的情形。我们提出了一种算法，它是基于指数机制，并表明，它是可能实现的上限$\tilde{O}(\sqrt{\frac{d}{nε}})$（具有高概率）。其次，我们放宽了假设，有界$θ$阶矩与一些$θ\in (1, 2)$，并表明它是可能实现的上限$\tilde{O}(({\frac{d}{nε}})^\frac{θ-1}θ)$。我们的算法也可以扩展到更宽松的情况下，只有每个坐标的数据有界的时刻，我们可以得到一个上界的$\tilde{O}({\frac{d}{\sqrt{nε}}})$和$\tilde{O}({\frac{d}{({nε})^\frac{θ-1}θ}})$在第二和$θ$ -th时刻的情况下，分别。
2022-01-10 cs.CR cs.LG stat.ML
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame（圣母大学）
本文开发了开源R包DPpack，集成Laplace、Gaussian和指数机制，提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具，使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
Differentially Private Synthetic High-dimensional Tabular Stream
University of California（加利福尼亚大学）
本文针对持续变化的私有数据流，提出一种满足持续差分隐私的高维表格流合成数据生成框架，结合选择-度量-拟合-迭代范式与私有计数器，并通过真实数据集实验验证其效用。
2024-08-31 cs.CR cs.IT cs.LG
Differentially private methods for managing model uncertainty in linear regression models
本研究针对正态线性模型，提出兼具贝叶斯与非贝叶斯思路的差分隐私方法以管理模型不确定性，方法渐近一致且易实现，同时解决了假设检验第一类错误率调整、隐私机制不确定性量化等实际问题。
2023-08-29 stat.ME
Mitigating Statistical Bias within Differentially Private Synthetic Data
University of Oxford（牛津大学）；University of Warwick（华威大学）；Universitat Pompeu Fabra（庞培法布拉大学）；University of Kaiserslautern（凯泽斯劳滕大学）；German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心）
对隐私保护机器学习的兴趣日益增加，导致了用于从未公开的真实数据生成私有合成数据的新的和进化的方法。然而，隐私保护机制可以显著降低合成数据的效用，这反过来又会影响下游任务，如学习预测模型或推理。我们提出了几个重新加权策略，使用私有化的似然比，不仅减轻下游估计的统计偏差，但也具有普遍适用性的差分私人生成模型。通过大规模的实证评估，我们表明，私人重要性加权提供了简单而有效的隐私兼容的合成数据的一般应用程序的增强。
2022-05-19 cs.CR cs.LG stat.ML
DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing
Tsinghua University（清华大学）；Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Huazhong University of Science and Technology（华中科技大学）；Virginia Tech（弗吉尼亚理工大学）
深度学习技术在广泛的任务中取得了卓越的性能。然而，当在隐私敏感数据集上训练时，模型参数可能暴露训练数据中的隐私信息。之前的差异化私有训练尝试，虽然提供了严格的隐私保证，但导致模型性能比非私有训练低得多。此外，同一训练算法的不同运行产生的模型具有很大的性能差异。为了解决这些问题，我们提出了DPlis--Differentially Private Learning wIth Smoothing。DPlis的核心思想是构造一个平滑的损失函数，该函数有利于位于损失景观的大平坦区域中的抗噪声模型。我们提供了理论依据的实用程序的改进DPlis。大量的实验也表明，DPlis可以有效地提高模型质量和训练稳定性在给定的隐私预算。
2021-06-20 cs.CR cs.LG stat.ML
Differentially-Private Federated Linear Bandits
Media Lab（媒体实验室）；Institute for Data, Systems and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）
分散式学习系统的迅速发展要求有区别的私人协作学习。在本文中，我们研究这一背景下的线性土匪：我们认为一个集合的代理合作，以解决一个共同的上下文土匪，同时确保他们的通信保持私密。对于这个问题，我们设计了\textsc{FedUCB}，集中式和分散式（对等）联邦学习的多代理私有算法。我们提供了一个严格的技术分析，其效用的遗憾，改善合作的强盗学习的几个结果，并提供严格的隐私保证。我们的算法提供了竞争力的性能，无论是在伪遗憾界和经验基准性能在各种多智能体设置。
2020-10-22 cs.CR cs.LG cs.MA
Statistical Properties of Sanitized Results from Differentially Private Laplace Mechanism with Univariate Bounding Constraints
在发布和共享数据和信息时，保护个人隐私是一个共同关注的问题。差分隐私（DP）形式化隐私的概率条款，而不做假设的背景知识的数据入侵者，从而提供了一个强大的隐私保护的概念。DP的实际应用涉及开发差异隐私机制，以在预先指定的隐私预算中生成经过消毒的结果。对于具有诸如比例和相关系数之类的公共已知边界的统计数据的净化，边界约束将需要被并入差分私有机制中。有很少的工作检查的后果的边界约束的准确性的消毒结果和统计推断的人口参数的基础上消毒的结果。在本文中，我们形式化的差分私人截断和边界膨胀截断（BIT）的程序发布统计与公开已知的边界约束。截断和BIT拉普拉斯程序的统计精度和有效性的消毒统计的影响进行了评估，通过模拟研究的理论和经验。
2019-05-26 cs.CR stat.ME
pMSE Mechanism: Differentially Private Synthetic Data with Maximal Distributional Similarity
我们提出了一种方法，用于释放差异私人合成数据集。在许多情况下，数据包含敏感值，不能以原始形式发布，以保护个人隐私。合成数据是一种释放替代值的保护方法，而差分隐私（DP）是量化隐私损失的形式化保证。我们提出了一种方法，最大限度地提高合成数据相对于原始数据的分布相似性，使用称为pMSE的措施，同时保证ε差分隐私。此外，我们放松共同的DP假设的原始数据的分布和有界性。我们证明了隐私保证的理论结果，并提供了典型的计算限制下的理论结果的经验失败率的模拟。我们还给出了模拟的准确性的线性回归系数的合成数据相比，非差分私人合成数据和其他差分私人方法的准确性。此外，我们的理论结果扩展了先前的基尼指数的敏感性，包括连续的预测结果。
2018-05-23 stat.ME
Distributed Differentially-Private Algorithms for Matrix and Tensor Factorization
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
在许多信号处理和机器学习应用中，包含隐私信息的数据集被保存在不同的位置，这需要开发分布式隐私保护算法。张量和矩阵分解是许多处理管道的关键组件。在分布式环境中，差分隐私算法受到影响，因为它们引入了噪声来保证隐私。针对两种常用的矩阵和张量分解方法：主成分分析（PCA）和正交张量分解（OTD），设计了新的改进的分布式差分隐私算法。新算法采用相关噪声设计方案来减轻噪声的影响，并可以实现与集中式方案相同的噪声水平。合成和真实数据上的实验说明了相关噪声允许与集中式设置相匹配的性能的制度，优于以前的方法，并证明有意义的效用是可能的，同时保证差分隐私。
2018-04-26 cs.LG stat.ML
Differentially Private ADMM for Distributed Medical Machine Learning
University of Houston（休斯顿大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Science and Technology of China（中国科学技术大学）
由于大量数据分布在多个位置，分布式机器学习吸引了大量的研究兴趣。交替方向乘法（Alternating Direction Method of Multipliers，ADMM）是一种设计分布式机器学习算法的有效方法，每个Agent在本地数据集上进行计算，并通过迭代过程与相邻Agent交换计算结果。如果本地数据是敏感的，则在此迭代过程中存在显著的隐私泄漏。在本文中，我们提出了一个差分隐私ADMM算法（P-ADMM）提供动态零集中差分隐私（动态zCDP），通过插入高斯噪声线性衰减的方差。我们证明了P-ADMM与非私有对应方相比具有相同的收敛速度，即，$\mathcal{O}(1/K)$，其中$K$是一般凸和强凸问题的迭代次数和线性收敛，同时提供差分私有保证。此外，通过我们在真实世界数据集上进行的实验，我们的经验表明，P-ADMM具有最好的性能在现有的差分私有ADMM为基础的算法。
2020-12-09 cs.CR cs.LG stat.ML
Improving Differentially Private Models with Active Learning
UC Irvine（加州大学欧文分校）；Google Brain（谷歌大脑）
机器学习技术的广泛采用增加了对敏感数据（如医疗记录）训练的模型的隐私问题。现有的训练差分隐私（DP）模型的技术提供了严格的隐私保证，但将这些技术应用于神经网络会严重降低模型的性能。这种性能降低是在现实世界中部署私有模型的一个障碍。在这项工作中，我们通过对公共数据的主动学习来微调DP模型，从而提高DP模型的性能。我们引入了两种新技术- DIVERSEPUBLIC和NEARPRIVATE -用于以隐私感知的方式进行微调。对于MNIST和SVHN数据集，这些技术提高了DP模型的最新准确性，同时保留了隐私保证。
2019-10-02 cs.LG stat.ML
Differentially Private Range Queries with Correlated Input Perturbation
Rutgers University（罗格斯大学）
本文提出一种利用相关输入扰动的差分隐私范围查询机制，通过级联采样算法实现无偏、一致且统计透明的近最优效用，并有效与其他方法竞争。
2024-11-06 cs.CR cs.LG stat.ME
Differentially Private Stochastic Coordinate Descent
IBM Research, Zurich（苏黎世IBM研究院）
在本文中，我们解决的挑战，使随机坐标下降算法差异私人。与经典的梯度下降算法相比，其中更新对单个模型向量进行操作，并且对该向量的受控噪声添加足以隐藏关于个体的关键信息，随机坐标下降关键地依赖于在训练期间将辅助信息保持在内存中。这种辅助信息提供了额外的隐私泄露，并构成了这项工作中解决的主要挑战。驱动的洞察下，独立的噪声添加，辅助信息的一致性保持在预期中，我们提出了DP-SCD，第一个差分私人随机坐标下降算法。我们从理论上分析了我们的新方法，并认为解耦和并行坐标更新是必不可少的实用程序。在实证方面，我们证明了竞争力的表现对流行的随机梯度下降替代（DP-SGD），同时需要显着较少的调整。
2021-03-14 cs.CR cs.LG stat.ML
