Permute-and-Flip: A new mechanism for differentially private selection
我们考虑差异私人选择的问题。给定一组有限的候选项和每个项的质量分数，我们的目标是设计一个差异化的私有机制，返回一个尽可能高的分数的项。该任务最常用的机制是指数机制。在这项工作中，我们提出了一个新的机制，这项任务的基础上仔细分析的隐私限制。我们的机制的预期得分总是至少与指数机制一样大，并且可以提供高达两倍的改进。我们的机制是简单的实现和运行在线性时间。
2020-10-23 cs.CR
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Differentially Private $k$-Means Clustering
有两种广泛的方法来分析不同的私人数据。交互式方法的目的是为各种数据采掘任务开发定制的差异隐私算法。非交互式方法的目的是开发差分私有算法，可以输出输入数据集的概要，然后可以用于支持各种数据采掘任务。在本文中，我们研究的权衡互动与非互动的方法，并提出了一种混合的方法，结合互动和非互动，使用$k$均值聚类为例。在差分私有$k$ -均值聚类的混合方法中，首先使用非交互式机制来发布输入数据集的概要，然后应用标准的$k$ -均值聚类算法来学习$k$聚类中心，最后使用交互式方法来进一步改进这些聚类中心。我们分析了非交互式和交互式方法的错误行为，并使用这种分析来决定如何分配非交互式步骤和交互式步骤之间的隐私预算。大量的实验结果支持我们的分析，并证明了我们的方法的有效性。
2015-04-22 cs.CR
Differentially Private Release of Public Transport Data: The Opal Use Case
本文介绍了一种差分私有算法的应用，以发布来自澳大利亚新南威尔士州交通局（TfNSW）的公共交通使用数据。这些数据包括两个单独的星期的“自来水/自来水”数据的个人谁使用任何四种不同的公共交通方式从TfNSW：公共汽车，轻轨，训练和渡轮。这些点击是通过智能票务系统记录的，该系统被称为Opal，可在澳大利亚新南威尔士州使用。
2017-05-16 cs.CR
Colored Noise Mechanism for Differentially Private Clustering
本文的目标是提出和分析一个差异私有随机机制的$K$ -均值查询。我们的目标是确保收到的关于集群质心的信息是不同的私人。该方法包括在添加高斯噪声与最佳协方差。本文的主要结果是作为数据库的函数的最佳协方差的解析解。与现有技术的比较证明了我们的方法的有效性。
2021-11-15 cs.CR eess.SP
Exponential Randomized Response: Boosting Utility in Differentially Private Selection
差分私有选择算法从有限集合中输出近似最大化数据相关质量函数的项。最广泛采用的解决这一任务的机制是开创性的指数机制和置换和翻转，它可以提供指数机制的两倍的效用改进。本文引入了一种新的差异化私人选择机制，并与上述机制进行了理论和实证比较。对于合理常见的情况下，我们的机制可以提供效用的改善因子显着大于2的指数和置换和翻转机制。由于效用在利基场景中可能会恶化，因此我们向能够容忍某些数据集的较低效用的分析师推荐我们的机制。
2022-08-04 cs.CR
Model Conversion via Differentially Private Data-Free Distillation
本文提出差分隐私无数据蒸馏（DPDFD）方法，无需训练数据即可通过中间生成器将预训练模型转换为隐私保护模型，理论上保证差分隐私与收敛性，实验证明其显著优于其他差分隐私生成方法。
2023-08-03 cs.CR
TraVaS: Differentially Private Trace Variant Selection for Process Mining
在工业过程挖掘领域，隐私保护事件数据发布变得越来越重要。因此，高数据效用和可量化隐私之间的权衡提出了新的挑战。当前的研究主要集中在基于前缀扩展的差分私有迹变体构造方法上。然而，这些算法面临着几个实际的限制，如高计算复杂性，引入假变量，删除频繁的变量，和有限的变量长度。在本文中，我们介绍了一种直接差异化私有跟踪变体发布的新方法，该方法使用匿名\textit{partition selection}策略来克服上述限制。在真实事件数据上的实验结果表明，该算法在纯数据效用和结果效用保持方面都优于最先进的方法。
2022-10-20 cs.CR
Differentially private partition selection
许多数据分析操作可以表示为对一组无界分区的GROUP BY查询，然后是每个分区的聚合。为了使这样的查询具有差异私有性，向每个聚合添加噪声是不够的：我们还需要确保释放的分区集也是差异私有的。这个问题并不是新的，最近正式引入了差分私有集联合。在这项工作中，我们继续这一领域的研究，并专注于共同的设置，每个用户都与一个单一的分区。在这种情况下，我们提出了一个简单的，最佳的差分私有机制，最大限度地增加释放分区的数量。我们讨论了实现的考虑因素，以及这种方法的可能扩展到每个用户都有助于一个固定的，少量的分区设置。
2021-10-29 cs.CR cs.DS
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
A Joint Exponential Mechanism For Differentially Private Top-$k$
我们提出了一种差分私有算法，用于从$d$元素的数据域中释放具有最高计数的$k$元素的序列。该算法是指数机制的“联合”实例，其输出空间由所有$O(d^k)$长度- $k$序列组成。我们的主要贡献是一种方法来采样这种指数机制在时间$O(dk\log(k) + d\log(d))$和空间$O(dk)$。实验表明，该方法优于现有的纯差分隐私方法，甚至改善了近似差分隐私方法的中度$k$。
2022-08-30 cs.CR
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Hypothesis Testing for Differentially Private Linear Regression
在这项工作中，我们设计了不同的私人假设检验的一般线性模型中的以下问题：测试的线性关系和测试的存在下的混合物。我们的大多数假设检验都是基于一般线性模型框架的$F$ -统计量的差异私有版本，这些版本在非私有设置中是一致最强大的无偏的。我们还提出了针对这些问题的其他测试，其中之一是基于Couch，Kazan，Shi，Bray和Groce（CCS 2019）的差异私有非参数测试，该测试特别适用于小数据集制度。我们发现，差分私人$F$ -统计收敛到其非私人对应的渐近分布。作为推论，差分私有$F$统计量的统计功效收敛于非私有$F$统计量的统计功效。通过一套基于Monte Carlo的实验，我们表明，我们的测试达到所需的显着性水平，并有一个高功率，接近功率的非私人测试，因为我们增加样本量或隐私损失参数。我们还表明，当我们的测试优于文献中现有的方法。
2022-06-29 cs.CR math.ST stat.TH
Differentially Private Precision Matrix Estimation
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下，我们通过扰动样本协方差阵，构造了一个差分隐私岭估计器。然后，我们利用交替方向乘法（ADMM）算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明，所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
Analyzing the Differentially Private Theil-Sen Estimator for Simple Linear Regression
针对简单线性回归，本文对基于稳健统计的差分隐私算法 DPTheilSen 给出隐私与准确性的有限样本理论分析、超参数指导及配套置信区间构造方法。
2024-03-11 cs.CR stat.AP
Finite Sample Differentially Private Confidence Intervals
研究了在差分隐私约束下正态总体均值的有限样本置信区间估计问题。我们考虑已知和未知方差的情况下，构造差分隐私算法来估计置信区间。至关重要的是，我们的算法保证有限的样本覆盖率，而不是渐近覆盖率。与大多数以前的差分隐私算法不同，我们不要求样本的域是有界的。我们还证明了任何差异私人置信集的预期大小的下界，表明我们的参数是最佳的多对数因子。
2017-11-10 cs.CR math.ST stat.TH
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
Towards Verifiable Differentially-Private Polling
满足差分隐私的分析为个人提供了合理的可否认性，同时允许分析师从数据中提取见解。然而，除了通常可接受的准确性折衷之外，这些统计公开技术通常抑制所提供的信息的可验证性，因为人们不能检查参与者的真实信息的正确性、差分隐私机制或无偏随机数生成。虽然相关的工作已经讨论了这个机会，一个有效的实现与精确的界限上的错误和相应的证明的差分隐私属性是到目前为止失踪。在本文中，我们遵循的方法基于零知识证明~（ZKPs），在特定的简洁的非交互式参数的知识，作为一种可验证的计算技术，以证明一个差异私人查询输出的正确性。特别是，我们确保差分隐私的保证，尽管ZKP的有限域上操作的限制，并具有有限的分支能力。我们证明了我们的方法具有实际的性能，并讨论了从业者如何使用我们的原语，以可验证的方式查询个人的年龄从他们的数字签名的身份证在不同的私人方式。
2022-06-15 cs.CR
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
DP-KAN: Differentially Private Kolmogorov-Arnold Networks
Institute of Science and Technology (ISTA)（科学技术研究院（ISTA））
本研究探讨了KAN网络在差分隐私训练中的应用，通过DP-SGD算法实现隐私保护，实验表明其性能与MLP相当，适合差分隐私模型训练。
2024-07-17 cs.CR cs.LG
DP-SIPS: A simpler, more scalable mechanism for differentially private partition selection
本文提出DP-SIPS，一种简单且可扩展的差分隐私分区选择机制，通过多次迭代朴素算法并逐步增加隐私预算，在保持可扩展性的同时实现与复杂方法相当的效用。
2023-06-22 cs.CR
Improving Utility of Differentially Private Mechanisms through Cryptography-based Technologies: a Survey
由于数据分析技术在许多领域的成功应用，各机构积累了大量的数据来改善其服务。随着数据汇集的速度在过去几年中急剧增加，越来越多的用户越来越关心他们的个人信息。因此，隐私保护成为一个亟待解决的问题。差分隐私作为一种强有力的隐私保护工具已经引起了广泛的关注。在本调查中，我们专注于通过与密码学相关的技术来提高差异私有机制之间的效用。特别地，我们首先关注如何通过匿名通信来提高效用。然后总结了如何将差分保密机制与同态加密方案相结合来提高效用。其次，我们从密码学的角度总结了差分私有机制效用不可能实现的困难性结果。差分隐私从密码学中借用了直觉，并且仍然受益于密码学的进步。为了总结目前的研究现状，并对未来的研究有所帮助，我们提出了这一调查。
2021-05-19 cs.CR
Learning Differentially Private Mechanisms
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
差分隐私是数据隐私的一个正式的数学定义，在学术界、工业界和政府中获得了广泛的关注。正确构造差分隐私算法的任务是不平凡的，并且在基础算法中已经犯了错误。目前，没有自动支持将现有的非私有程序转换为差异私有版本。在本文中，我们提出了一种技术，用于自动学习一个准确的和不同的私人版本的一个给定的非私人程序。我们展示了如何通过一系列技术来解决这个困难的程序合成问题：仔细挑选有代表性的示例输入，将问题简化为连续优化，并将结果映射回符号表达式。我们证明，我们的方法是能够学习的基础算法从差分隐私文献和显着优于自然程序合成基线。
2021-01-04 cs.CR cs.LG cs.PL
Optimal Differentially Private Mechanisms for Randomised Response
我们研究了一个广义的随机响应（RR）技术的背景下，差分隐私，并研究这种机制的最优性。严格和宽松的差分隐私被认为是二进制输出。通过检查统计估计的误差，我们在这两种情况下的最佳机制（S）的封闭的解决方案。最优机制也给出了原始RR技术的具体情况下，华纳在1965年推出。
2016-12-16 cs.CR
PrivGraph: Differentially Private Graph Data Publication by Exploiting Community Information
针对图数据发布中的隐私风险，提出利用社区信息的差分隐私图合成算法PrivGraph，通过社区划分与信息提取重建图，在六个真实数据集和七个指标上验证有效性。
2023-10-13 cs.CR
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University（德雷塞尔大学）
不同的私有模型试图保护模型训练数据的隐私，使其成为模型安全和隐私的重要组成部分。与此同时，数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现，模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下，包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
Differentially-Private Sublinear-Time Clustering
Purdue University（普渡大学）
聚类是无监督机器学习中的一个基本要素。我们提出了一个自然的和动机良好的研究方向的次线性时间差分私有聚类的问题。我们结合$k$ Mishra等人（SODA，2001）和Czumaj和Sohler（Rand. Struct. and Algorithms，2007），以及Balcan等人（ICML 2017）、Gupta等人（SODA，2010）和Ghazi等人（NeurIPS，2020）的私有聚类的最新结果，以通过子采样获得次线性时间私有$k$ -均值和$k$ -中值算法。我们还调查了群体隐私的子采样的隐私利益。
2021-12-27 cs.CR cs.LG
DiVa: An Accelerator for Differentially Private Machine Learning
KAIST（韩国科学技术院）
机器学习（ML）的广泛部署引起了人们对保护参与收集训练数据的用户隐私的严重关注。差分隐私（DP）作为隐私保护的实用标准在业界正迅速获得发展势头。尽管DP的重要性，然而，很少有探讨在计算机系统社区关于这个新兴的ML算法对系统设计的影响。在这项工作中，我们对一种名为DP-SGD的最先进的差分私有ML训练算法进行了详细的工作负载表征。我们揭示了DP-SGD的几个独特性质（例如，与非私有ML相比，它的内存容量和计算需求更高），这是其关键瓶颈的根源。基于我们的分析，我们提出了一个名为DiVa的差分私有ML加速器，它在计算利用率方面有了显着的提高，与传统的脉动阵列相比，能效提高了2.6倍。
2022-08-26 cs.AI cs.AR cs.CR
Efficient, Differentially Private Point Estimators
差分隐私是统计数据库的一个新的隐私概念，它提供了严格的、有意义的机密性保证，即使在攻击者可以访问任意边信息的情况下也是如此。我们证明了，对于一个大类的参数概率模型，可以构造一个差分私人估计，其分布收敛于最大似然估计。特别是，它是有效的和渐近无偏的。这一结果提供了（进一步）令人信服的证据表明，在统计数据库中，严格的隐私概念可以与统计上有效的推断相一致。
2008-09-27 cs.CR cs.DS
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Comparative Study of Differentially Private Synthetic Data Algorithms from the NIST PSCR Differential Privacy Synthetic Data Challenge
Urban Institute（城市研究所）；RAND Corporation（兰德公司）
差异化私有合成数据生成提供了一种最新的解决方案，可以发布分析上有用的数据，同时保护数据中个人的隐私。为了将这些算法用于公共政策决策，决策者需要准确了解这些算法的比较性能。相应地，数据从业者需要标准的指标来评估合成数据的分析质量。在本文中，我们使用2018-2019年国家标准与技术研究院公共安全通信研究（NIST PSCR）部门的“差分隐私合成数据挑战赛”中参赛者创建的实际差分私有合成数据集，对几种差分私有合成数据算法进行了深入评估。我们根据这些算法创建的数据的准确性以及潜在数据提供商的可用性对它们进行分析。我们在NIST PSCR数据挑战中使用的方法框架在更广泛的差异私人合成数据文献中。我们实现了额外的效用指标，包括我们自己的两个，在不同的私人合成数据和比较机制效用的三个类别。我们的差异私人数据合成方法和质量指标的比较评估显示的相对有用性，一般的优点和缺点，并提供了首选的算法和指标。最后，我们描述了我们的评估政策制定者寻求实现差异化的私人合成数据算法对未来的数据产品的影响。
2020-10-12 cs.CR cs.LG stat.AP
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
差分隐私是一种基于密码学的隐私定义，在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私，设计此类算法的挑战是控制添加的噪声，以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计，给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性（GES）概念之间的正式联系，通过显示任何差分隐私近似估计的收敛速度，在一个大类的分布是准确的增长与GES的估计。然后，我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明，有界范围条件是必要的，如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
An $\tilde{O}$ptimal Differentially Private Learner for Concept Classes with VC Dimension 1
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
我们提出了第一个几乎最佳的差分私人PAC学习者的任何概念类VC维1和Littlestone维$d$。我们的算法实现了$\tilde{O}_{\varepsilon,δ,α,δ}(\log^* d)$的样本复杂度，几乎匹配Alon等人证明的$Ω(\log^* d)$的下限。[STOC19]。在我们的工作之前，最知名的上限是一般VC类的$\tilde{O}(VC\cdot d^5)$，如Ghazi等人[STOC21]所示。
2025-07-29 cs.CR cs.LG
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响：由于数据汇集和隐私噪声，旨在防止重建的敏感信息采样噪声。在本文中，我们考虑的问题，设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间，满足差分隐私（以及最近提出的集中差分隐私），并可以与现有的差分隐私机制，训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
A Simple Differentially Private Algorithm for Global Minimum Cut
在这篇文章中，我们提出了一个简单的差分私有算法的全球最小割问题，只使用一个调用的指数机制。这个问题首先由Gupta等人研究。[2010]，他们给出了一个具有接近最优效用保证的差分私有算法。我们在许多方面改进了他们的工作：我们的算法比Gupta et al. [2010]中给出的算法更简单，更自然，更有效，而且提供了更好的隐私和实用性保证。
2022-08-22 cs.CR cs.DS
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
End-to-End Differentially-Private Parameter Tuning in Spatial Histograms
差分隐私直方图已经成为位置隐私的关键工具。虽然过去的机制包括理论和实验分析，但最近观察到，现有文献中的大部分都没有完全提供差分隐私。缺少的组件，私有参数调优，是严格评估这些机制所必需的。相反，它经常调整训练数据来优化参数，而不考虑隐私;在其他情况下，选择是任意执行的，与数据无关，降低了效用。我们解决这个开放的问题，得出一个原则性的调整机制，私下优化数据相关的误差范围。理论结果建立了隐私和实用性，而广泛的实验表明，我们实际上可以实现真正的端到端隐私。
2017-02-18 cs.CR cs.DB
A Nearly Instance-optimal Differentially Private Mechanism for Conjunctive Queries
在差分隐私（DP）下释放合取查询和图模式查询的结果大小在文献中受到相当大的关注，但现有的解决方案不提供任何最优性保证。我们为这个问题提供了第一个DP机制，它具有相当强的最优性概念，可以被认为是实例最优性到常数的自然放松。
2021-12-27 cs.CR cs.DB
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Algorithms for Differentially Private Multi-Armed Bandits
Chalmers University of Technology（查尔姆斯理工大学）
我们提出了差分隐私算法的随机多臂强盗（MAB）问题。这对于自适应临床试验、实验设计和用户定向广告等应用来说是一个问题，在这些应用中，私人信息与个人奖励相关联。我们的主要贡献是表明，存在$(ε, δ)$差异私人变种的置信上限算法，具有最佳的遗憾，$O(ε^{-1} + \log T)$。这是一个显着的改进，以前的结果，只实现多对数遗憾$O(ε^{-2} \log^{2} T)$，因为我们使用了一种新的间隔为基础的机制。我们还大大提高了以前的家庭的算法，使用一个连续的释放机制的界限。实验清楚地证实了我们的理论界限。
2015-11-27 cs.CR cs.LG stat.ML
Differentially Private SQL with Bounded User Contribution
差分隐私（DP）提供了形式上的保证，即数据库查询的输出不会透露太多关于数据库中存在的任何个人的信息。虽然在科学文献中已经提出了许多差异隐私算法，但只有少数端到端实现差异隐私查询引擎。至关重要的是，现有系统假设每个人最多与一个数据库记录相关联，这在实践中是不现实的。我们提出了一个通用的和可扩展的方法来执行差异私有聚合数据库，即使个人可以与任意多行。我们将此方法表示为关系代数中的运算符，并在SQL引擎中实现。为了验证该系统，我们测试了行业基准上的典型查询的效用，并验证了我们开发的随机测试框架的正确性。我们强调了在实践中部署这样一个系统时所学到的承诺和陷阱，并将其核心组件作为开源软件发布。
2019-11-25 cs.CR cs.DB
Differentially Private Tree-Based Redescription Mining
差分隐私提供了一种强大的隐私形式，并允许保留数据集的大部分原始特征。利用这些好处需要设计特定的差异隐私数据分析算法。在这项工作中，我们提出了三个基于树的算法挖掘重描述，同时保持差分隐私。重描述挖掘是一种探索性的数据分析方法，用于发现相同实体上的两个视图之间的联系，例如医学患者的表型和基因型。它在许多领域都有应用，包括一些领域，如医疗保健信息学，其中需要保护隐私的数据访问。我们的算法是第一个差分隐私重描述挖掘算法，我们通过实验表明，尽管固有的噪音在差分隐私，它可以返回值得信赖的结果，即使在较小的数据集，噪音通常有更强的影响。
2023-02-28 cs.CR cs.DB
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
dpUGC: Learn Differentially Private Representation for User Generated Contents
Umeå University（于默奥大学）；University of Tasmania（塔斯马尼亚大学）
本文首先提出了一种简单而有效的通用方法来将差分隐私应用于文本表示（即，词嵌入）。在此基础上，提出了一种基于用户生成内容（UGC）的个性化差异隐私词嵌入模型。据我们所知，这是第一个从文本中学习用户级差异私有词嵌入模型的工作。所提出的方法保护个人的隐私不被重新识别，特别是在用于共享的UGC数据上提供更好的隐私和数据效用的权衡。实验结果表明，训练的嵌入模型适用于经典的文本分析任务（例如，回归）。此外，所提出的学习差分私有嵌入模型的方法是框架和数据独立的，这有利于部署和共享。源代码可在https://github.com/sonvx/dpText上获得。
2019-03-25 cs.CL cs.CR
Differentially Private Finite Population Estimation via Survey Weight Regularization
针对调查加权统计的差分隐私发布难题，提出通过私有估计超参数来正则化调查权重，在偏差、精度与隐私间取得平衡，并以收入动态面板研究验证，最优策略噪声比朴素方法少几个数量级。
2024-11-06 cs.CR stat.ME
Differentially Private All-Pairs Shortest Distances for Low Tree-Width Graphs
该研究提出低树宽图上差分隐私全对最短距离的多项式时间算法，将树场景的相关结论推广到更大图族，且在低树宽图下的加性误差优于现有最优算法。
2023-06-09 cs.CR cs.DS
Tight Bounds for Differentially Private Anonymized Histograms
在这篇文章中，我们考虑了差分隐私（DP）计算匿名直方图的问题，匿名直方图被定义为输入数据集（没有桶标签）的计数的多集。在低隐私机制$ε\geq 1$中，我们给出了一个$ε$ -DP算法，其期望$\ell_1$ -误差界为$O(\sqrt{n} / e^ε)$。在高隐私的制度$ε< 1$，我们给了一个$Ω(\sqrt{n \log(1/ε) / ε})$下界的预期$\ell_1$错误。在这两种情况下，我们的边界渐近匹配先前已知的下限/上限[Suresh，NeurIPS 2019]。
2021-11-05 cs.CR cs.DS
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模（分散）使用敏感数据，同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD，它依赖于基于范数的梯度裁剪作为限制灵敏度的方法，然后添加适当校准的高斯噪声。在这项工作中，我们提出了NeuralDP，一种用于私有化神经网络中某些层的激活的技术，该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集（MNIST和儿科肺炎数据集（PPD））上进行了实验，与DP-SGD相比，我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
Relaxed Marginal Consistency for Differentially Private Query Answering
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
许多用于回答数据库查询的差分私有算法涉及从噪声测量重构离散数据分布的步骤。这提供了一致的查询答案并减少了错误，但通常需要随维度呈指数级增长的空间。Private-PGM是最近的一种方法，它使用图形模型来表示数据分布，其复杂性与图形模型中的精确边缘推断的复杂性成比例，该图形模型的结构由噪声测量中的变量的共现确定。Private-PGM对于稀疏测量是高度可扩展的，但是可能无法在具有密集测量的高维中运行。我们克服了私人PGM的主要可扩展性限制，通过一个原则性的方法，放松一致性约束的估计目标。我们的新方法适用于许多现有的私人查询回答算法，提高了可扩展性或准确性，没有隐私成本。
2021-10-25 cs.CR cs.LG
Differentially Private Nonparametric Hypothesis Testing
假设检验是数据挖掘的重要统计工具，也是许多领域科学研究的主力。在这里，我们研究分类变量和连续变量之间独立性的差异私人测试。我们以传统的非参数检验为起点，它不需要分布假设（例如，正态性（normality）。我们提出了私人类似物的Kruskal-Wallis，Mann-Whitney和Wilcoxon符号秩检验，以及参数单样本t检验。这些测试使用专门为私人设置开发的新颖的检验统计量。我们将我们的测试与先前的工作进行比较，包括参数和非参数测试。我们发现，在所有情况下，我们的新的非参数检验实现了大的改进，在统计功效，即使当参数检验的假设得到满足。
2019-03-22 cs.CR stat.ME
Large-Scale Public Data Improves Differentially Private Image Generation Quality
Cornell University（康奈尔大学）；Meta AI；Meta Fundamental AI Research（Meta基础人工智能研究院）
本研究提出一种利用大规模公共数据改进差分隐私GAN图像生成的方法，在公共数据覆盖私有数据分布的假设下，实现了最先进的FID分数并生成高质量照片级图像。
2023-08-04 cs.CR cs.CV cs.LG
Differentially Private E-Values
FGV EMAp
针对E值可能泄露敏感数据的问题，提出基于有偏乘性噪声机制的通用框架，将非隐私E值转换为保持统计有效性的差分隐私E值，其渐近功效与非隐私版本相当，在多场景实验中验证了有效性与广泛适用性。
2025-10-21 cs.CR cs.LG stat.ME
