Differentially Private Fractional Frequency Moments Estimation with Polylogarithmic Space
我们证明了$\mathbb{F}_p$草图，一个著名的流算法的频率矩估计，是差异私人的，因为当$p\in(0, 1]$。$\mathbb{F}_p$ sketch仅使用多对数空间，比现有DP基线指数级更好，仅比最佳非私有基线差一个对数因子。评估结果表明，$\mathbb{F}_p$草图可以达到合理的准确性与强大的隐私保证。
2021-10-01 cs.CR
PE-means: Improved Differentially Private $k$-means Clustering through Private Evolution
University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
针对欧几里得空间中差分隐私 $k$-均值聚类问题，提出PE-means算法，利用私有进化方法仅计算恒定敏感度的私有直方图，在聚类损失上平均比现有最优基线提升20%。
2026-07-03 cs.CR cs.DB cs.LG
Auditing Differentially Private Machine Learning: How Private is Private SGD?
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
我们调查差异私有SGD在实践中是否比其最先进的分析所保证的更好的隐私。我们通过新颖的数据投毒攻击来实现这一点，我们表明这与现实的隐私攻击相对应。虽然先前的工作（Ma等人，arXiv 2019）提出了差分隐私和数据投毒之间的这种联系，作为对数据投毒的防御，我们将其用作理解特定机制隐私的工具是新的。更一般地说，我们的工作采取了定量的，实证的方法来理解的隐私提供的具体实现的差异隐私算法，我们相信有可能补充和影响差分隐私的分析工作。
2020-06-13 cs.CR cs.LG
Benchmarking Differentially Private Synthetic Data Generation Algorithms
这项工作提出了一个系统的基准差分私人合成数据生成算法，可以生成表格数据。通过测量合成数据是否保持个体和成对属性的分布、成对相关性以及ML分类模型的准确性来评估合成数据的效用。在一个全面的实证评估中，我们确定了表现最好的算法和那些始终未能击败基线方法的算法。
2022-02-15 cs.CR
Differentially Private Algorithms for 2020 Census Detailed DHC Race \& Ethnicity
本文描述了一种拟议的差异私人（DP）算法，美国人口普查局正在考虑将其作为2020年人口普查的一部分发布详细的人口和住房特征（DHC）种族和种族表格。这些表格包含美国整个人口的人口统计和住房特征的统计数据（计数），并在不同的地理水平上与详细的种族和部落交叉。我们描述了两种差分隐私算法策略，一种是基于从满足“纯”-DP的双边几何分布中添加噪声，另一种是基于从满足差分隐私的一个经过充分研究的变体（称为零集中差分隐私（zCDP））的离散高斯分布中添加噪声。我们分析估计的隐私损失参数，确保由两种算法的统计中引入的可比水平的错误。
2021-07-22 cs.CR cs.DB stat.AP
Two Differentially Private Rating Collection Mechanisms for Recommender Systems
我们设计了两种机制的推荐系统来收集用户的评分。一种是改进的拉普拉斯机制，另一种是随机响应机制。我们证明了它们都是差分私有的，并且保持了数据效用。
2016-04-28 cs.CR cs.IR stat.ML
Permute-and-Flip: A new mechanism for differentially private selection
我们考虑差异私人选择的问题。给定一组有限的候选项和每个项的质量分数，我们的目标是设计一个差异化的私有机制，返回一个尽可能高的分数的项。该任务最常用的机制是指数机制。在这项工作中，我们提出了一个新的机制，这项任务的基础上仔细分析的隐私限制。我们的机制的预期得分总是至少与指数机制一样大，并且可以提供高达两倍的改进。我们的机制是简单的实现和运行在线性时间。
2020-10-23 cs.CR
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Differentially Private $k$-Means Clustering
有两种广泛的方法来分析不同的私人数据。交互式方法的目的是为各种数据采掘任务开发定制的差异隐私算法。非交互式方法的目的是开发差分私有算法，可以输出输入数据集的概要，然后可以用于支持各种数据采掘任务。在本文中，我们研究的权衡互动与非互动的方法，并提出了一种混合的方法，结合互动和非互动，使用$k$均值聚类为例。在差分私有$k$ -均值聚类的混合方法中，首先使用非交互式机制来发布输入数据集的概要，然后应用标准的$k$ -均值聚类算法来学习$k$聚类中心，最后使用交互式方法来进一步改进这些聚类中心。我们分析了非交互式和交互式方法的错误行为，并使用这种分析来决定如何分配非交互式步骤和交互式步骤之间的隐私预算。大量的实验结果支持我们的分析，并证明了我们的方法的有效性。
2015-04-22 cs.CR
Differentially Private Release of Public Transport Data: The Opal Use Case
本文介绍了一种差分私有算法的应用，以发布来自澳大利亚新南威尔士州交通局（TfNSW）的公共交通使用数据。这些数据包括两个单独的星期的“自来水/自来水”数据的个人谁使用任何四种不同的公共交通方式从TfNSW：公共汽车，轻轨，训练和渡轮。这些点击是通过智能票务系统记录的，该系统被称为Opal，可在澳大利亚新南威尔士州使用。
2017-05-16 cs.CR
Colored Noise Mechanism for Differentially Private Clustering
本文的目标是提出和分析一个差异私有随机机制的$K$ -均值查询。我们的目标是确保收到的关于集群质心的信息是不同的私人。该方法包括在添加高斯噪声与最佳协方差。本文的主要结果是作为数据库的函数的最佳协方差的解析解。与现有技术的比较证明了我们的方法的有效性。
2021-11-15 cs.CR eess.SP
Exponential Randomized Response: Boosting Utility in Differentially Private Selection
差分私有选择算法从有限集合中输出近似最大化数据相关质量函数的项。最广泛采用的解决这一任务的机制是开创性的指数机制和置换和翻转，它可以提供指数机制的两倍的效用改进。本文引入了一种新的差异化私人选择机制，并与上述机制进行了理论和实证比较。对于合理常见的情况下，我们的机制可以提供效用的改善因子显着大于2的指数和置换和翻转机制。由于效用在利基场景中可能会恶化，因此我们向能够容忍某些数据集的较低效用的分析师推荐我们的机制。
2022-08-04 cs.CR
Model Conversion via Differentially Private Data-Free Distillation
本文提出差分隐私无数据蒸馏（DPDFD）方法，无需训练数据即可通过中间生成器将预训练模型转换为隐私保护模型，理论上保证差分隐私与收敛性，实验证明其显著优于其他差分隐私生成方法。
2023-08-03 cs.CR
TraVaS: Differentially Private Trace Variant Selection for Process Mining
在工业过程挖掘领域，隐私保护事件数据发布变得越来越重要。因此，高数据效用和可量化隐私之间的权衡提出了新的挑战。当前的研究主要集中在基于前缀扩展的差分私有迹变体构造方法上。然而，这些算法面临着几个实际的限制，如高计算复杂性，引入假变量，删除频繁的变量，和有限的变量长度。在本文中，我们介绍了一种直接差异化私有跟踪变体发布的新方法，该方法使用匿名\textit{partition selection}策略来克服上述限制。在真实事件数据上的实验结果表明，该算法在纯数据效用和结果效用保持方面都优于最先进的方法。
2022-10-20 cs.CR
Differentially private partition selection
许多数据分析操作可以表示为对一组无界分区的GROUP BY查询，然后是每个分区的聚合。为了使这样的查询具有差异私有性，向每个聚合添加噪声是不够的：我们还需要确保释放的分区集也是差异私有的。这个问题并不是新的，最近正式引入了差分私有集联合。在这项工作中，我们继续这一领域的研究，并专注于共同的设置，每个用户都与一个单一的分区。在这种情况下，我们提出了一个简单的，最佳的差分私有机制，最大限度地增加释放分区的数量。我们讨论了实现的考虑因素，以及这种方法的可能扩展到每个用户都有助于一个固定的，少量的分区设置。
2021-10-29 cs.CR cs.DS
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
A Joint Exponential Mechanism For Differentially Private Top-$k$
我们提出了一种差分私有算法，用于从$d$元素的数据域中释放具有最高计数的$k$元素的序列。该算法是指数机制的“联合”实例，其输出空间由所有$O(d^k)$长度- $k$序列组成。我们的主要贡献是一种方法来采样这种指数机制在时间$O(dk\log(k) + d\log(d))$和空间$O(dk)$。实验表明，该方法优于现有的纯差分隐私方法，甚至改善了近似差分隐私方法的中度$k$。
2022-08-30 cs.CR
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Hypothesis Testing for Differentially Private Linear Regression
在这项工作中，我们设计了不同的私人假设检验的一般线性模型中的以下问题：测试的线性关系和测试的存在下的混合物。我们的大多数假设检验都是基于一般线性模型框架的$F$ -统计量的差异私有版本，这些版本在非私有设置中是一致最强大的无偏的。我们还提出了针对这些问题的其他测试，其中之一是基于Couch，Kazan，Shi，Bray和Groce（CCS 2019）的差异私有非参数测试，该测试特别适用于小数据集制度。我们发现，差分私人$F$ -统计收敛到其非私人对应的渐近分布。作为推论，差分私有$F$统计量的统计功效收敛于非私有$F$统计量的统计功效。通过一套基于Monte Carlo的实验，我们表明，我们的测试达到所需的显着性水平，并有一个高功率，接近功率的非私人测试，因为我们增加样本量或隐私损失参数。我们还表明，当我们的测试优于文献中现有的方法。
2022-06-29 cs.CR math.ST stat.TH
Differentially Private Precision Matrix Estimation
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下，我们通过扰动样本协方差阵，构造了一个差分隐私岭估计器。然后，我们利用交替方向乘法（ADMM）算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明，所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
Analyzing the Differentially Private Theil-Sen Estimator for Simple Linear Regression
针对简单线性回归，本文对基于稳健统计的差分隐私算法 DPTheilSen 给出隐私与准确性的有限样本理论分析、超参数指导及配套置信区间构造方法。
2024-03-11 cs.CR stat.AP
Finite Sample Differentially Private Confidence Intervals
研究了在差分隐私约束下正态总体均值的有限样本置信区间估计问题。我们考虑已知和未知方差的情况下，构造差分隐私算法来估计置信区间。至关重要的是，我们的算法保证有限的样本覆盖率，而不是渐近覆盖率。与大多数以前的差分隐私算法不同，我们不要求样本的域是有界的。我们还证明了任何差异私人置信集的预期大小的下界，表明我们的参数是最佳的多对数因子。
2017-11-10 cs.CR math.ST stat.TH
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
Towards Verifiable Differentially-Private Polling
满足差分隐私的分析为个人提供了合理的可否认性，同时允许分析师从数据中提取见解。然而，除了通常可接受的准确性折衷之外，这些统计公开技术通常抑制所提供的信息的可验证性，因为人们不能检查参与者的真实信息的正确性、差分隐私机制或无偏随机数生成。虽然相关的工作已经讨论了这个机会，一个有效的实现与精确的界限上的错误和相应的证明的差分隐私属性是到目前为止失踪。在本文中，我们遵循的方法基于零知识证明~（ZKPs），在特定的简洁的非交互式参数的知识，作为一种可验证的计算技术，以证明一个差异私人查询输出的正确性。特别是，我们确保差分隐私的保证，尽管ZKP的有限域上操作的限制，并具有有限的分支能力。我们证明了我们的方法具有实际的性能，并讨论了从业者如何使用我们的原语，以可验证的方式查询个人的年龄从他们的数字签名的身份证在不同的私人方式。
2022-06-15 cs.CR
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
DP-KAN: Differentially Private Kolmogorov-Arnold Networks
Institute of Science and Technology (ISTA)（科学技术研究院（ISTA））
本研究探讨了KAN网络在差分隐私训练中的应用，通过DP-SGD算法实现隐私保护，实验表明其性能与MLP相当，适合差分隐私模型训练。
2024-07-17 cs.CR cs.LG
DP-SIPS: A simpler, more scalable mechanism for differentially private partition selection
本文提出DP-SIPS，一种简单且可扩展的差分隐私分区选择机制，通过多次迭代朴素算法并逐步增加隐私预算，在保持可扩展性的同时实现与复杂方法相当的效用。
2023-06-22 cs.CR
Improving Utility of Differentially Private Mechanisms through Cryptography-based Technologies: a Survey
由于数据分析技术在许多领域的成功应用，各机构积累了大量的数据来改善其服务。随着数据汇集的速度在过去几年中急剧增加，越来越多的用户越来越关心他们的个人信息。因此，隐私保护成为一个亟待解决的问题。差分隐私作为一种强有力的隐私保护工具已经引起了广泛的关注。在本调查中，我们专注于通过与密码学相关的技术来提高差异私有机制之间的效用。特别地，我们首先关注如何通过匿名通信来提高效用。然后总结了如何将差分保密机制与同态加密方案相结合来提高效用。其次，我们从密码学的角度总结了差分私有机制效用不可能实现的困难性结果。差分隐私从密码学中借用了直觉，并且仍然受益于密码学的进步。为了总结目前的研究现状，并对未来的研究有所帮助，我们提出了这一调查。
2021-05-19 cs.CR
Learning Differentially Private Mechanisms
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
差分隐私是数据隐私的一个正式的数学定义，在学术界、工业界和政府中获得了广泛的关注。正确构造差分隐私算法的任务是不平凡的，并且在基础算法中已经犯了错误。目前，没有自动支持将现有的非私有程序转换为差异私有版本。在本文中，我们提出了一种技术，用于自动学习一个准确的和不同的私人版本的一个给定的非私人程序。我们展示了如何通过一系列技术来解决这个困难的程序合成问题：仔细挑选有代表性的示例输入，将问题简化为连续优化，并将结果映射回符号表达式。我们证明，我们的方法是能够学习的基础算法从差分隐私文献和显着优于自然程序合成基线。
2021-01-04 cs.CR cs.LG cs.PL
Optimal Differentially Private Mechanisms for Randomised Response
我们研究了一个广义的随机响应（RR）技术的背景下，差分隐私，并研究这种机制的最优性。严格和宽松的差分隐私被认为是二进制输出。通过检查统计估计的误差，我们在这两种情况下的最佳机制（S）的封闭的解决方案。最优机制也给出了原始RR技术的具体情况下，华纳在1965年推出。
2016-12-16 cs.CR
PrivGraph: Differentially Private Graph Data Publication by Exploiting Community Information
针对图数据发布中的隐私风险，提出利用社区信息的差分隐私图合成算法PrivGraph，通过社区划分与信息提取重建图，在六个真实数据集和七个指标上验证有效性。
2023-10-13 cs.CR
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University（德雷塞尔大学）
不同的私有模型试图保护模型训练数据的隐私，使其成为模型安全和隐私的重要组成部分。与此同时，数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现，模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下，包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Differentially-Private Sublinear-Time Clustering
Purdue University（普渡大学）
聚类是无监督机器学习中的一个基本要素。我们提出了一个自然的和动机良好的研究方向的次线性时间差分私有聚类的问题。我们结合$k$ Mishra等人（SODA，2001）和Czumaj和Sohler（Rand. Struct. and Algorithms，2007），以及Balcan等人（ICML 2017）、Gupta等人（SODA，2010）和Ghazi等人（NeurIPS，2020）的私有聚类的最新结果，以通过子采样获得次线性时间私有$k$ -均值和$k$ -中值算法。我们还调查了群体隐私的子采样的隐私利益。
2021-12-27 cs.CR cs.LG
Efficient, Differentially Private Point Estimators
差分隐私是统计数据库的一个新的隐私概念，它提供了严格的、有意义的机密性保证，即使在攻击者可以访问任意边信息的情况下也是如此。我们证明了，对于一个大类的参数概率模型，可以构造一个差分私人估计，其分布收敛于最大似然估计。特别是，它是有效的和渐近无偏的。这一结果提供了（进一步）令人信服的证据表明，在统计数据库中，严格的隐私概念可以与统计上有效的推断相一致。
2008-09-27 cs.CR cs.DS
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Comparative Study of Differentially Private Synthetic Data Algorithms from the NIST PSCR Differential Privacy Synthetic Data Challenge
Urban Institute（城市研究所）；RAND Corporation（兰德公司）
差异化私有合成数据生成提供了一种最新的解决方案，可以发布分析上有用的数据，同时保护数据中个人的隐私。为了将这些算法用于公共政策决策，决策者需要准确了解这些算法的比较性能。相应地，数据从业者需要标准的指标来评估合成数据的分析质量。在本文中，我们使用2018-2019年国家标准与技术研究院公共安全通信研究（NIST PSCR）部门的“差分隐私合成数据挑战赛”中参赛者创建的实际差分私有合成数据集，对几种差分私有合成数据算法进行了深入评估。我们根据这些算法创建的数据的准确性以及潜在数据提供商的可用性对它们进行分析。我们在NIST PSCR数据挑战中使用的方法框架在更广泛的差异私人合成数据文献中。我们实现了额外的效用指标，包括我们自己的两个，在不同的私人合成数据和比较机制效用的三个类别。我们的差异私人数据合成方法和质量指标的比较评估显示的相对有用性，一般的优点和缺点，并提供了首选的算法和指标。最后，我们描述了我们的评估政策制定者寻求实现差异化的私人合成数据算法对未来的数据产品的影响。
2020-10-12 cs.CR cs.LG stat.AP
Differentially Private Synthetic Data: Applied Evaluations and Enhancements
Microsoft（微软公司）
在构建预测模型时，机器学习从业者经常寻求利用信息量最大的可用数据，而不侵犯数据所有者的隐私。差异隐私数据合成保护个人细节不被暴露，并允许在私人生成的数据集上训练差异隐私机器学习模型。但是，我们如何才能有效地评估差异化私有合成数据的有效性？在本文中，我们调查了四个不同的私人生成对抗网络的数据合成。我们在五个标准的表格数据集和两个应用的行业场景中对它们进行了规模评估。我们用最近的文献和其他标准机器学习工具中的新指标进行基准测试。我们的研究结果表明，一些合成器更适用于不同的隐私预算，我们进一步证明了复杂的基于域的权衡选择的方法。我们为研究人员和实践者提供基于私有内部数据的应用机器学习场景的实验学习。此外，我们提出了QUAIL，一个基于集成的建模方法来生成合成数据。我们研究QUAIL的权衡，并注意到在相同的预算约束下，它优于基线差分私人监督学习模型的情况。
2020-11-11 cs.AI cs.CR cs.CY
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
差分隐私是一种基于密码学的隐私定义，在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私，设计此类算法的挑战是控制添加的噪声，以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计，给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性（GES）概念之间的正式联系，通过显示任何差分隐私近似估计的收敛速度，在一个大类的分布是准确的增长与GES的估计。然后，我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明，有界范围条件是必要的，如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
An $\tilde{O}$ptimal Differentially Private Learner for Concept Classes with VC Dimension 1
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
我们提出了第一个几乎最佳的差分私人PAC学习者的任何概念类VC维1和Littlestone维$d$。我们的算法实现了$\tilde{O}_{\varepsilon,δ,α,δ}(\log^* d)$的样本复杂度，几乎匹配Alon等人证明的$Ω(\log^* d)$的下限。[STOC19]。在我们的工作之前，最知名的上限是一般VC类的$\tilde{O}(VC\cdot d^5)$，如Ghazi等人[STOC21]所示。
2025-07-29 cs.CR cs.LG
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响：由于数据汇集和隐私噪声，旨在防止重建的敏感信息采样噪声。在本文中，我们考虑的问题，设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间，满足差分隐私（以及最近提出的集中差分隐私），并可以与现有的差分隐私机制，训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
A Simple Differentially Private Algorithm for Global Minimum Cut
在这篇文章中，我们提出了一个简单的差分私有算法的全球最小割问题，只使用一个调用的指数机制。这个问题首先由Gupta等人研究。[2010]，他们给出了一个具有接近最优效用保证的差分私有算法。我们在许多方面改进了他们的工作：我们的算法比Gupta et al. [2010]中给出的算法更简单，更自然，更有效，而且提供了更好的隐私和实用性保证。
2022-08-22 cs.CR cs.DS
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
Differentially Private Variable Selection via the Knockoff Filter
University of Utah（犹他大学）
敲除滤波器是Barber和Candes最近提出的一种有效的变量选择方法，它具有可控的错误发现率。我们提出了一个私人版本的敲除过滤器，通过将高斯和拉普拉斯机制，并表明，变量选择与控制FDR可以实现。仿真表明，我们的设置具有合理的统计功效。
2022-01-31 cs.CR cs.DB cs.IT
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Algorithms for Differentially Private Multi-Armed Bandits
Chalmers University of Technology（查尔姆斯理工大学）
我们提出了差分隐私算法的随机多臂强盗（MAB）问题。这对于自适应临床试验、实验设计和用户定向广告等应用来说是一个问题，在这些应用中，私人信息与个人奖励相关联。我们的主要贡献是表明，存在$(ε, δ)$差异私人变种的置信上限算法，具有最佳的遗憾，$O(ε^{-1} + \log T)$。这是一个显着的改进，以前的结果，只实现多对数遗憾$O(ε^{-2} \log^{2} T)$，因为我们使用了一种新的间隔为基础的机制。我们还大大提高了以前的家庭的算法，使用一个连续的释放机制的界限。实验清楚地证实了我们的理论界限。
2015-11-27 cs.CR cs.LG stat.ML
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
dpUGC: Learn Differentially Private Representation for User Generated Contents
Umeå University（于默奥大学）；University of Tasmania（塔斯马尼亚大学）
本文首先提出了一种简单而有效的通用方法来将差分隐私应用于文本表示（即，词嵌入）。在此基础上，提出了一种基于用户生成内容（UGC）的个性化差异隐私词嵌入模型。据我们所知，这是第一个从文本中学习用户级差异私有词嵌入模型的工作。所提出的方法保护个人的隐私不被重新识别，特别是在用于共享的UGC数据上提供更好的隐私和数据效用的权衡。实验结果表明，训练的嵌入模型适用于经典的文本分析任务（例如，回归）。此外，所提出的学习差分私有嵌入模型的方法是框架和数据独立的，这有利于部署和共享。源代码可在https://github.com/sonvx/dpText上获得。
2019-03-25 cs.CL cs.CR
Differentially Private Finite Population Estimation via Survey Weight Regularization
针对调查加权统计的差分隐私发布难题，提出通过私有估计超参数来正则化调查权重，在偏差、精度与隐私间取得平衡，并以收入动态面板研究验证，最优策略噪声比朴素方法少几个数量级。
2024-11-06 cs.CR stat.ME
Differentially Private All-Pairs Shortest Distances for Low Tree-Width Graphs
该研究提出低树宽图上差分隐私全对最短距离的多项式时间算法，将树场景的相关结论推广到更大图族，且在低树宽图下的加性误差优于现有最优算法。
2023-06-09 cs.CR cs.DS
Tight Bounds for Differentially Private Anonymized Histograms
在这篇文章中，我们考虑了差分隐私（DP）计算匿名直方图的问题，匿名直方图被定义为输入数据集（没有桶标签）的计数的多集。在低隐私机制$ε\geq 1$中，我们给出了一个$ε$ -DP算法，其期望$\ell_1$ -误差界为$O(\sqrt{n} / e^ε)$。在高隐私的制度$ε< 1$，我们给了一个$Ω(\sqrt{n \log(1/ε) / ε})$下界的预期$\ell_1$错误。在这两种情况下，我们的边界渐近匹配先前已知的下限/上限[Suresh，NeurIPS 2019]。
2021-11-05 cs.CR cs.DS
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模（分散）使用敏感数据，同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD，它依赖于基于范数的梯度裁剪作为限制灵敏度的方法，然后添加适当校准的高斯噪声。在这项工作中，我们提出了NeuralDP，一种用于私有化神经网络中某些层的激活的技术，该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集（MNIST和儿科肺炎数据集（PPD））上进行了实验，与DP-SGD相比，我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
Relaxed Marginal Consistency for Differentially Private Query Answering
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
许多用于回答数据库查询的差分私有算法涉及从噪声测量重构离散数据分布的步骤。这提供了一致的查询答案并减少了错误，但通常需要随维度呈指数级增长的空间。Private-PGM是最近的一种方法，它使用图形模型来表示数据分布，其复杂性与图形模型中的精确边缘推断的复杂性成比例，该图形模型的结构由噪声测量中的变量的共现确定。Private-PGM对于稀疏测量是高度可扩展的，但是可能无法在具有密集测量的高维中运行。我们克服了私人PGM的主要可扩展性限制，通过一个原则性的方法，放松一致性约束的估计目标。我们的新方法适用于许多现有的私人查询回答算法，提高了可扩展性或准确性，没有隐私成本。
2021-10-25 cs.CR cs.LG
