Differentially Private Conformal Prediction
School of Mathematics and Statistics（数学与统计学学院）；Beijing Jiaotong University（北京交通大学）；Department of Mathematical and Statistical Sciences（数学与统计学系）；University of Alberta（阿尔伯塔大学）
本文研究如何在统计效率下将符合预测应用于差分隐私。提出差分符合预测，结合差分隐私模型训练和隐私量化机制，提供端到端隐私保障，并在实验证明其预测集更紧。
2026-04-19 cs.LG stat.ML
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Almost linear time differentially private release of synthetic graphs
Nanjing University（南京大学）；Rutgers University（罗格斯大学）
本文提出首个近线性时间与空间复杂度的差分隐私算法，通过从指数机制采样生成合成图，近似原图的割与谱，其复杂度与非隐私设置匹配且效用不减，并支持持续观察下的隐私图分析。
2024-06-04 cs.CR cs.DS cs.LG
Dual Query: Practical Private Query Release for High Dimensional Data
我们提出了一个实用的，差分隐私算法回答了大量的高维数据集上的查询。像所有用于此任务的算法一样，我们的算法在数据维度上必然具有最坏情况的复杂度指数。然而，我们的算法将计算上困难的步骤打包成一个简洁定义的整数规划，可以使用标准求解器非私下解决。我们证明了我们的算法的准确性和隐私定理，然后通过实验证明，我们的算法在实践中表现良好。例如，我们的算法可以高效准确地回答Netflix数据集上的数百万个查询，该数据集具有超过17，000个属性;这是对现有技术的多个数量级的改进。
2015-11-19 cs.CR cs.DB cs.DS
Differentially Private Multi-Party Data Release for Linear Regression
Cornell University（康奈尔大学）；ByteDance Inc.（字节跳动公司）
差分隐私（DP）数据发布是一种很有前途的技术，可以在不损害数据主体隐私的情况下传播数据。然而，大多数先前的工作都集中在一方拥有所有数据的情况下。在本文中，我们专注于多方设置，其中不同的利益相关者拥有属于同一组数据主体的不相交的属性集。在线性回归的背景下，允许所有各方训练模型的完整数据，没有能力推断私人属性或身份的个人，我们开始直接应用高斯机制，并显示它有小特征值问题。我们进一步提出了我们的新方法，并证明它渐近收敛到最佳（非私有）的解决方案，随着数据集的大小。我们通过在人工和真实世界数据集上的实验证实了理论结果。
2022-06-18 cs.CR cs.LG
Causally Constrained Data Synthesis for Private Data Release
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
基于证据的决策需要数据。然而，对于现实世界的应用程序，数据的隐私是至关重要的。使用反映原始数据的某些统计特性的合成数据保留了原始数据的隐私。为此，先前的工作利用不同的私有数据发布机制来提供正式的隐私保证。然而，这种机制具有不可接受的隐私与实用性权衡。我们建议将因果信息纳入训练过程，以有利地修改上述权衡。我们从理论上证明，生成模型与额外的因果知识训练提供更强的差分隐私保证。从经验上讲，我们评估我们的解决方案比较不同的模型的基础上变分自动编码器（VAE），并表明因果信息提高了弹性的成员推断，下游效用的改善。
2021-05-27 cs.CR cs.LG
Private Synthetic Data with Hierarchical Structure
Carnegie Mellon University（卡内基梅隆大学）
我们研究了分层数据集的差异私有合成数据生成问题，其中各个数据点被分组在一起（例如，家里面的人）。特别地，为了测量合成数据集和底层私有数据集之间的相似性，我们在私有查询释放的问题下构建我们的目标，生成保留一些查询集合的答案的合成数据集（即，统计数据，如平均聚集计数）。然而，虽然应用程序的私人合成数据的问题，查询发布已经得到了很好的研究，这种研究仅限于非层次数据域，提出了最初的问题-什么查询是重要的，当考虑这种形式的数据？此外，还没有确定如何在收集此类统计数据的同时生成群体和个人层面的合成数据。鉴于这些挑战，我们首先形式化的分层查询发布的问题，其中的目标是发布一些分层数据集的统计数据的集合。具体来说，我们提供了一套通用的统计查询，捕捉属性之间的关系，在组和个人的水平。随后，我们引入私人合成数据算法的分层查询发布和评估他们的分层数据集来自美国社区调查和阿勒格尼家庭筛选工具的数据。最后，我们期待美国社区调查，其固有的层次结构产生了另一组特定于域的查询，我们运行的实验。
2022-06-13 cs.LG
Fast Private Data Release Algorithms for Sparse Queries
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
我们重新审视的问题，准确地回答大类的统计查询，同时保持差分隐私。以前的方法来解决这个问题已经非常普遍，但没有运行时多项式的数据库的大小，只适用于非常有限的类的查询，或放宽了最坏情况下的错误保证的概念。在本文中，我们考虑了大类的稀疏查询，它采取非零值的多项式许多宇宙元素。我们给出了高效的查询释放算法，这类，在交互式和非交互式设置。我们的算法也实现了更好的准确性界限比以前的一般技术时，适用于稀疏查询：我们的界限是独立的宇宙大小。事实上，即使是我们的交互机制的运行时是独立的宇宙的大小，因此可以在“无限宇宙”模型中实现，其中没有有限的宇宙需要指定的数据管理员。
2011-11-29 cs.CR cs.DS cs.LG
Private Data Release via Learning Thresholds
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）
这项工作认为，计算效率的隐私保护数据发布。我们研究的任务是分析一个数据库，其中包含有关个人参与者的敏感信息。给定一组关于数据的统计查询，我们希望发布查询的近似答案，同时还保证差分隐私--保护每个参与者的敏感数据。我们的重点是计算效率的数据发布算法，我们寻求算法的运行时间是多项式，或至少是次指数，在数据维度。我们的主要贡献是一个计算效率的减少，从差分私人数据发布一类计数查询，学习阈值总和的谓词从相关的类。我们用各种学习阈值的算法来实例化这种一般的减少。这些实例化产生了几个新的结果，不同的私人数据发布。作为两个示例，取{0，1}^d为（维度d的）数据域，我们获得差分私有算法：（*）释放所有k路合取。对于任何给定的k，只要数据库的大小至少为d^{O（\sqrt{k\log(k\log d)}）}，则所得到的数据释放算法具有有界误差。运行时间与数据库大小成多项式关系。（*）释放所有奇偶校验查询的（1-γ）分数。对于任何γ \geq \poly（1/d），只要数据库的大小至少为\poly（d），算法就有界误差。运行时间与数据库大小呈多项式关系。其他几个实例为隐私保护数据发布提供了进一步的结果。在上面强调的两个结果中，第一个学习算法使用将谓词的阈值和表示为低次多项式阈值函数的技术。第二种学习算法基于Jackson的谐波筛算法[Jackson 1997]。
2011-07-13 cs.CC cs.LG
Differentially Private Database Release via Kernel Mean Embeddings
我们为新的数据库发布机制奠定了理论基础，这些机制允许第三方构建人口统计的相合估计量，同时确保为数据库做出贡献的每个人的隐私受到保护。拟议的框架基于两个主要想法。首先，释放生成随机变量的数据的核均值嵌入（的估计），而不是数据库本身，仍然允许第三方构建广泛类别的人口统计的相合估计量。其次，该算法可以满足差分隐私的定义，通过基于完全合成的数据点的释放核均值嵌入，同时通过再生核希尔伯特空间中可用的度量来控制精度。我们描述了两个实例的建议框架，适合在不同的情况下，并证明理论结果保证差分隐私的算法和一致性的估计从他们的输出构建。
2018-05-31 stat.ML
Learning-Augmented Private Algorithms for Multiple Quantile Release
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
本研究将学习增强算法框架引入差分隐私领域，用于多分位数发布任务，推导了与预测质量相关的误差保证，兼具低数据假设、鲁棒性等优势，实验验证其可在保隐私的同时大幅降低误差。
2023-05-08 cs.AI cs.CR cs.DS
Locally Private Inference for Riemannian Stochastic Optimization
Nanyang Technological University（南洋理工大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出一种基于本地差分隐私的黎曼随机优化推断方法，通过条件居中的随机切线梯度与对称对回归估计方差，实现流形上总体最小值的有效推断，并在模拟和NHANES数据上验证了性能。
2026-09-24 cs.LG math.OC math.ST
Differentially private anonymized histograms
Google Research（谷歌研究院）
对于标签计数对的数据集，匿名直方图是计数的多集。匿名化直方图出现在各种潜在敏感的上下文中，例如密码频率列表，社交网络中的度分布，以及离散分布的对称属性的估计。出于这些应用程序，我们提出了第一个差分隐私机制，以释放匿名直方图，实现接近最佳的隐私效用权衡项目的数量和隐私参数。此外，如果底层直方图以紧凑格式给出，则所提出的算法在项目数量上以次线性的方式运行。对于未知的离散分布生成的匿名直方图，我们表明，发布的直方图可以直接用于估计基本分布的对称属性。
2020-01-13 cs.CR cs.DS cs.IT
Noise-Calibrated Inference from Differentially Private Sufficient Statistics in Exponential Families
Department of Biostatistics, Vanderbilt University Medical Center（生物统计学系，范德比尔特大学医学中心）
本文提出通过发布差分隐私充分统计量并进行噪声校准推断，解决DP数据发布中的校准问题，提供理论支持和实际应用验证。
2026-03-02 cs.LG stat.ML
Training a Tokenizer for Free with Private Federated Learning
Cornell Tech（康奈尔科技校区）；Apple（苹果公司）
具有差分隐私的联邦学习，即私有联邦学习（PFL），使得可以在分布在用户设备上的私有数据上训练模型而不损害隐私。PFL对于诸如神经网络之类的模型是有效的，这些模型具有固定数量的参数，因此具有固定维度的梯度向量。这样的模型包括神经网络语言模型，但不包括本文的主题--标记器。训练分词器需要来自无限词汇表的单词的频率，并且用于查找无限词汇表的现有方法需要单独的隐私预算。一种解决方法是根据公开可用的数据对标记器进行训练。然而，在本文中，我们首先表明，与访问用户数据的违反隐私的“oracle”令牌化器相比，在不匹配的数据上训练的令牌化器会导致更差的模型性能，困惑度增加了20%。我们还表明，子词tokenizers更适合联邦上下文比字级的，因为他们可以编码新的单词，虽然每个单词有更多的令牌。其次，我们提出了一种新的方法来获得一个标记器，而不使用任何额外的隐私预算。在语言模型的私有联邦学习过程中，我们从模型中采样，在采样序列上训练新的标记器，并更新模型嵌入。然后，我们继续进行私有联邦学习，并获得“oracle”标记器的1%以内的性能。由于此过程仅间接地在私有数据上训练令牌化器，因此我们可以使用差分隐私的“后处理保证”，从而不使用额外的隐私预算。
2022-03-15 cs.CL cs.CR cs.LG
Adaptive Private-K-Selection with Adaptive K and Application to Multi-label PATE
UC Santa Barbara（加州大学圣巴巴拉分校）
我们提供了一个端到端的基于Renyi DP的框架，用于差异化的私有顶级$k$选择。与以前的方法，这需要一个数据独立的选择$k$，我们建议私下发布一个数据依赖的选择$k$，$k$ -th和$(k+1)$ st“质量”之间的差距是大的。这是通过Report-Noisy-Max的新应用实现的。这不仅消除了一个超参数，$k$的自适应选择还证明了无序集合中顶部$k$索引的稳定性，因此我们可以使用提议测试释放（PTR）的变体释放它们而不添加噪声。我们表明，我们的建设提高了隐私效用的权衡比以前的顶部$k$选择算法的理论和经验。此外，我们将我们的算法应用于“教师合奏的私人聚合（PATE）”在多标签分类任务与大量的标签，并表明它会导致显着的性能增益。
2022-03-30 cs.CR cs.LG
Renyi Differential Privacy of Propose-Test-Release and Applications to Private and Robust Machine Learning
Princeton University（普林斯顿大学）；Virginia Tech（弗吉尼亚理工大学）
提议-测试-发布（PTR）是一个差分隐私框架，它使用函数的局部敏感性，而不是它们的全局敏感性。该框架通常用于以差异化的私有方式发布稳健的统计数据，例如中位数或修剪均值。虽然PTR是十多年前引入的一个通用框架，但在鲁棒SGD等需要许多自适应鲁棒查询的应用程序中使用它是具有挑战性的。这主要是由于缺乏Renyi差分隐私（RDP）分析，这是差异隐私深度学习的矩会计方法的基本成分。在这项工作中，我们推广了标准PTR，并推导出第一RDP界时，目标函数具有有界的全局灵敏度。我们表明，我们的RDP约束PTR产生更严格的DP保证比直接分析的$(\eps, δ)$ -DP。我们还推导出算法特定的隐私放大界限的PTR下采样。我们表明，我们的界是更严格的比一般的上限和接近下限。我们的RDP界限，使更严格的隐私损失计算组成的许多自适应运行的PTR。作为我们的分析的应用，我们表明，PTR和我们的理论结果可以用来设计不同的私人变量拜占庭强大的训练算法，使用强大的统计梯度聚合。我们在不同的数据集和架构上对标签，特征和梯度腐败的设置进行了实验。我们表明，基于PTR的私人和强大的训练算法显着提高了效用相比，基线。
2022-09-16 cs.CR cs.LG
Privately Estimating Black-Box Statistics
University of Canterbury（坎特伯雷大学）；Google DeepMind（谷歌DeepMind）
本文提出一种在黑盒函数上实现差分隐私的方案，平衡统计效率与 oracle 效率，并展示其近最优性。
2026-05-08 cs.CC cs.CR cs.DS
Differentially Private Data Release on Graphs: Inefficiencies and Unfairness
University of Virginia（弗吉尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）
本文研究图网络中差分隐私边权发布对最短路径推荐的影响，揭示隐私噪声导致的误差、偏差及跨群体不公平，并提供理论与实证依据。
2024-08-08 cs.AI cs.CR cs.CY
Learning Coverage Functions and Private Release of Marginals
We study the problem of approximating and learning coverage functions. A function $c: 2^{[n]} \rightarrow \mathbf{R}^{+}$ is a coverage function, if there exists a universe $U$ with non-negative weights $w(u)$ for each $u \in U$ and subsets $A_1, A_2, \ldots, A_n$ of $U$ such that $c(S) = \sum_{u \in \cup_{i \in S} A_i} w(u)$ . Alternatively, coverage functions can be described as non-negative linear combinations of monotone disjunctions. They are a natural subclass of submodular functions and arise in a number of applications. We give an algorithm that for any $γ,δ>0$ , given random and unifo…
2014-05-28 cs.CC cs.DS cs.LG
Differentially Private Query Release Through Adaptive Projection
Amazon AWS AI/ML（亚马逊云科技人工智能与机器学习部门）；Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
我们提出，实施，并评估一个新的算法，用于释放答案非常大量的统计查询，如$k$方式的边缘，受到差分隐私。我们的算法自适应地使用了投影机制的连续松弛，该机制使用简单的扰动来回答对私有数据集的查询，然后尝试找到最接近噪声答案的合成数据集。我们使用合成数据集域的连续松弛，这使得投影损失可微，并允许我们使用有效的ML优化技术和工具。我们不是预先回答所有的查询，而是通过迭代和自适应地找到我们的（放松的）合成数据具有高误差的查询，然后重复投影，来明智地使用我们的隐私预算。我们在一系列参数和数据集上进行了广泛的实验评估，发现我们的方法在许多情况下优于现有的算法，特别是当隐私预算很小或查询类很大时。
2021-06-23 cs.CR cs.LG
Continual Release of Differentially Private Synthetic Data from Longitudinal Data Collections
针对纵向数据持续发布的隐私问题，提出持续合成数据生成算法，支持固定时间窗口和累积时间查询，误差率近紧，并在美国普查数据上验证性能。
2024-05-24 cs.CR cs.CY cs.DS
P3GM: Private High-Dimensional Data Release via Privacy Preserving Phased Generative Model
Kyoto University（京都大学）；LINE Corporation（LINE公司）
我们如何在释放大量敏感数据的同时降低隐私风险？隐私保护数据合成使数据持有者能够将分析任务外包给不受信任的第三方。针对此问题的最新方法是建立一个差分隐私下的生成模型，提供严格的隐私保证。然而，现有的方法不能充分处理高维数据。特别地，当输入数据集包含大量特征时，现有技术需要注入禁止量的噪声以满足差分隐私，这导致外包数据分析毫无意义。针对上述问题，本文提出了隐私保护分阶段生成模型（P3GM），这是一种用于发布此类敏感数据的差异隐私生成模型。P3GM采用两阶段学习过程以使其对噪声具有鲁棒性，并提高学习效率（例如，易于收敛）。对P3GM的学习复杂度和隐私损失进行了理论分析。我们进一步实验评估我们提出的方法，并证明P3GM显着优于现有的解决方案。与现有的方法相比，我们生成的样本看起来噪声更少，在数据多样性方面更接近原始数据。此外，在几个数据采掘任务的合成数据，我们的模型优于竞争对手的准确性。
2022-03-07 cs.CR cs.DB cs.LG
Power Mechanism: Private Tabular Representation Release for Model Agnostic Consumption
MIT（麻省理工学院）；MBZUAI（穆斯林人工智能研究所）；EPFL（苏黎世联邦理工学院）
提出一种联合学习隐私编码网络与效用生成网络的方法，生成具有差分隐私保证的嵌入，实现模型无关的私有表格表示发布，仅需一轮通信且客户端计算量更少。
2025-10-07 cs.CR cs.LG
The Power of Sampling: Dimension-free Risk Bounds in Private ERM
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
本研究提出将正则化指数机制与现有采样器结合，仅用零阶预言机在低秩梯度假设下为非平滑凸目标实现依赖秩的风险界，解决了传统差分隐私经验风险最小化中的维度依赖、非平滑及高成本梯度问题，并构建了相关下界。
2024-06-03 cs.CR cs.LG math.OC
Differentially Private Bayesian Linear Regression
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
线性回归是处理敏感的人工来源数据的许多领域的重要工具。重要的先前工作集中在产生差分私人点估计，它提供了一个隐私保证个人，同时仍然允许建模者通过估计回归系数从数据中得出见解。我们研究贝叶斯线性回归问题，目标是计算后验分布，正确量化私人发布的统计数据的不确定性。我们表明，一个天真的方法，忽略了隐私机制注入的噪音在现实的数据设置做得很差。然后，我们开发了噪声感知的方法，执行推理的隐私机制，并在广泛的场景中产生正确的后验。
2019-10-29 cs.LG stat.ML
On the Inherent Privacy of Zeroth Order Projected Gradient Descent
Department of Computer Science University of Southern California（计算机科学系美国南加州大学）
本文证明零阶梯度下降的固有噪声不足以保证差分隐私，即使在随机初始化下，其隐私损失也可能随迭代次数超线性增长。
2025-07-09 cs.LG math.OC stat.ML
Differentially Private Distribution Release of Gaussian Mixture Models via KL-Divergence Minimization
State Key Laboratory of Internet of Things for Smart City and the Department of Electrical and Computer Engineering, University of Macau（物联网智能城市国家重点实验室和澳门大学电子与计算机工程系）；Department of Electrical and Computer Engineering, Cornell Tech, Cornell University（电气与计算机工程系，康奈尔科技，康奈尔大学）；Computing Sciences Research, Lawrence Berkeley National Laboratory（计算科学研究所，劳伦斯伯克利国家实验室）
本文提出通过KL散度度量高斯混合模型发布精度，结合差分隐私机制，在保证隐私安全的同时保持模型效用。
2026-10-16 cs.CR cs.IT cs.LG
Differentially Private Synthetic Data Release for Topics API Outputs
Google Research（谷歌研究）；USC（美国大学）；Google Chrome（谷歌Chrome）
针对隐私保护广告API缺乏公开数据的问题，提出一种生成差分隐私合成数据的新方法，构建了匹配真实Topics API重识别风险的匿名数据集并开源，以促进隐私属性的实证研究。
2025-06-30 cs.AI cs.CR cs.LG
Differentially Private Data Release via Statistical Election to Partition Sequentially
差分隐私（DP）以数学术语形式化隐私，并为隐私保护提供了一个强大的概念。DIPS（Differentially Private Data Synthesis）技术在DP框架中生成和发布合成的个人级数据。开发DIPS方法的一个关键挑战是保存合成数据的统计效用，特别是在高维环境中。我们提出了一种新的DIPS方法，统计选举分区顺序（步骤），分区数据的属性根据其重要性排名根据实际或统计的重要性措施。STEPS的目标是实现更好的原始信息保存属性的重要性排名较高，从而产生更有用的综合数据的整体。我们提出了一个算法来实现的步骤，并采用隐私预算的可组合性，以确保整体的隐私成本控制在预先指定的值。我们将STEPS程序应用于模拟数据和2000-2012年当前人口调查的青年选民数据。结果表明，STEPS可以更好地保存人口水平的信息和原始信息的一些分析相比，PrivBayes，一个修改的均匀直方图的方法，和平坦的拉普拉斯消毒。
2020-10-21 stat.AP
Differentially Private Fair Learning
Northeastern University（东北大学）；University of Pennsylvania（宾夕法尼亚大学）
出于这样的设置，其中预测模型可能需要是非歧视性的某些属性（如种族），但即使收集的敏感属性可能会被禁止或限制，我们发起的研究公平学习的约束下的差分隐私。我们设计了两个学习算法，同时承诺差分隐私和均衡的赔率，一个“公平”的条件，对应于均衡的假阳性和阴性率在受保护的群体。我们的第一个算法是[Hardt等人，2016年]。这个算法非常简单，但是必须能够在测试时显式地使用受保护的组成员资格，这可以被视为一种“不同的处理”。我们的第二个算法是[Agarwal等人，2018年]，可以用来找到最佳的公平分类器，给定的访问子程序，可以解决原来的（不一定是公平的）学习问题。该算法更复杂，但在测试时不需要访问受保护的组成员。我们确定了新的公平性，准确性和隐私之间的权衡，出现只有当需要所有三个属性，并表明，这些权衡可以是温和的，如果组成员资格可能会在测试时使用。最后，我们进行了简短的实验评估。
2019-05-31 cs.DS cs.GT cs.LG
Towards multi-purpose locally differentially-private synthetic data release via spline wavelet plug-in estimation
本文提出基于样条小波的插入式估计器，用于局部差分隐私半参数估计，使合成数据不依赖特定泛函，可预先生成并供多用途使用，以最优速率估计多种泛函，克服了隐私机制需针对具体问题定制的长期限制。
2025-10-06 math.ST stat.TH
U.S. Broadband Coverage Data Set: A Differentially Private Data Release
宽带连接是当今经济的一个关键指标。在数字经济快速扩张的时代，它直接影响GDP。此外，在COVID-19社交距离指引下，互联网连接成为日常活动（如工作、学习及与家人和朋友保持联系）的必要条件。本文介绍了一个公开的美国宽带覆盖数据集，报告在邮政编码水平的宽带覆盖率。我们还解释了我们如何使用差分隐私来保证各个家庭的隐私得到保护。我们的数据集还包含误差范围估计，提供每个邮政编码的差分隐私引入的预期误差的信息。我们描述了我们的误差范围计算方法，并表明，这种额外的数据度量不会引起任何隐私损失。
2021-04-01 cs.CR stat.AP
pMSE Mechanism: Differentially Private Synthetic Data with Maximal Distributional Similarity
我们提出了一种方法，用于释放差异私人合成数据集。在许多情况下，数据包含敏感值，不能以原始形式发布，以保护个人隐私。合成数据是一种释放替代值的保护方法，而差分隐私（DP）是量化隐私损失的形式化保证。我们提出了一种方法，最大限度地提高合成数据相对于原始数据的分布相似性，使用称为pMSE的措施，同时保证ε差分隐私。此外，我们放松共同的DP假设的原始数据的分布和有界性。我们证明了隐私保证的理论结果，并提供了典型的计算限制下的理论结果的经验失败率的模拟。我们还给出了模拟的准确性的线性回归系数的合成数据相比，非差分私人合成数据和其他差分私人方法的准确性。此外，我们的理论结果扩展了先前的基尼指数的敏感性，包括连续的预测结果。
2018-05-23 stat.ME
Differentially Private and Scalable Estimation of the Network Principal Component
ESAT-STADIUS KU Leuven（KU莱顿ESAT-STADIUS研究所）；Department of Computer Science University of Virginia（弗吉尼亚大学计算机科学系）
本文提出了一种基于Propose-Test-Release框架的差分隐私主成分估计方法，通过实例特定机制在保证隐私的同时提升计算效率和实用性，首次解决了Densest-k-subgraph问题。
2026-03-05 cs.DS cs.LG
Differentially Private Datastore Generation for Retrieval-Augmented Inference
Department of Computer and Systems Engineering, Alexandria University（计算机与系统工程系，亚历山大大学）；Microsoft（微软）
提出基于哈希的概率生成框架，利用局部敏感哈希和差分隐私噪声实现数据存储的隐私保护，在ε=5时准确率仅下降2.6%，并将成员推断攻击准确率降至53.60%。
2026-05-31 cs.CR cs.IR cs.LG
Inference using noisy degrees: Differentially private $β$-model and synthetic graphs
随机图的$β$ -模型是以度序列作为充分统计量的指数族模型。在本文中，我们贡献了三个关键结果。首先，我们的特点的条件，导致二次时间算法来检查存在的MLE的$β$模型，并表明，MLE从来没有存在的度分区$β$模型。其次，基于网络数据的隐私问题，我们推导了$β$模型参数的差分隐私估计，并证明了它是相容的和渐近正态分布的--它达到了与非隐私估计相同的收敛速度。我们提出了一个有效的算法的私人估计，可用于释放合成图。我们的技术也可以用来释放度分布和度分区准确和私人，并执行从噪声度产生的上下文而不是隐私的推断。我们评估建议的估计真实的图，并将其与目前的算法释放度分布，发现它做得更好。最后，我们的论文解决了目前的方法的一个基本问题，如何执行有效的统计推断隐私机制发布的数据的缺点，并奠定了基础，如何实现最佳和私人的统计推断的原则性方式建模的隐私机制，这些原则应适用于一类模型超出了$β$模型。
2016-01-12 cs.DS stat.ME
Efficient Propose-Test-Release for Optimal Differentially Private Estimation
提出高效提议-测试-发布(ePTR)流程，通过用户设计的安全下界测试数据集，基于局部灵敏度概率性发布估计量，实现简单且最优的差分隐私估计。
2026-07-01 stat.ME
NeuroMixGDP: A Neural Collapse-Inspired Random Mixup for Private Data Release
The Hong Kong University of Science and Technology（香港科技大学）
本文提出 NeuroMixGDP 方法，受神经坍缩现象启发，对神经网络最后一层 ETF 特征进行 Mixup 并发布带噪混合特征，结合高斯差分隐私和分层采样策略，在保护隐私的同时显著提升下游分类任务的效用。
2023-12-05 cs.CV cs.LG
Private Optimization Without Constraint Violations
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了线性约束下的差分私有优化问题，当约束的右端依赖于私有数据时。这种类型的问题出现在许多应用程序中，特别是资源分配。以前的研究提供了保留隐私但有时违反限制的解决方案。然而，在许多设置中，在任何情况下都不能违反约束。为了解决这个硬性要求，我们提出了一个算法，释放一个接近最优的解决方案，满足约束的概率为1。我们还证明了一个下界，证明了我们的算法的解决方案和最优解的目标值之间的差异是紧密的对数因子之间的所有差分隐私算法。我们的结论与实验表明，我们的算法可以达到接近最佳的性能，同时保护隐私。
2020-11-04 cs.CR cs.LG stat.ML
Differentially Private Exponential Random Graphs
我们提出的方法来释放和分析合成图，以保护个人关系的社交网络所捕获的隐私。建议的技术旨在拟合和估计的指数随机图模型（ERGMs）在一个不同的私人的方式，从而提供严格的隐私保证。更具体地说，我们使用的随机响应机制下释放网络$ε$边缘差分隐私。为了保持统计推断的实用性，将原始图视为缺失，我们提出了一种使用基于似然的推断和马尔可夫链蒙特卡罗（MCMC）技术来将ERGM拟合到所产生的合成网络的方法。我们展示了一个真实的数据例子所提出的技术的实用性。
2015-04-15 cs.CR stat.ME stat.OT
Differentially Private n-gram Extraction
Microsoft（微软）；Microsoft Research（微软研究院）
我们重新讨论了差分隐私设置中的$n$ -gram提取问题。在这个问题中，给定私有文本数据的语料库，目标是在保留用户级隐私的同时释放尽可能多的$n$ -元。提取$n$ -gram是许多NLP应用程序中的基本子程序，如句子完成，电子邮件响应生成等。该问题也出现在其他应用程序中，如序列挖掘，并且是最近研究的差分私有集并（DPSU）的推广。在本文中，我们开发了一个新的差分隐私算法，在我们的实验中，显着优于国家的最先进的。我们的改进源于结合DPSU，隐私会计的最新进展，以及Chen等人（2012）发起的基于树的方法中的剪枝新算法。
2021-08-05 cs.CR cs.DS cs.LG
ScoreShield: Differentially Private Release of Similarity Scores
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；School of Engineering, École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院工程学院）
研究生物识别等应用中相似度分数隐私保护问题，提出ScoreShield先扰动后投影机制，添加校准高斯噪声并投影到可行性集，满足（ε，δ）-DP，给出效用保证，在多任务中评估，改进了风险的n依赖性。
2026-07-29 cs.CR cs.CV cs.IR
Free Gap Information from the Differentially Private Sparse Vector and Noisy Max Mechanisms
Pennsylvania State University（宾夕法尼亚州立大学）
Noisy Max和Sparse Vector是用于差分隐私的选择算法，并且用作更复杂算法的构建块。在本文中，我们表明，这两种算法可以释放额外的信息免费（即，没有额外的隐私成本）。Noisy Max用于返回一组查询中的近似最大值。我们表明，它还可以免费释放近似最大化者和亚军之间的噪音差距。这些免费信息可以将某些后续计数查询的准确性提高高达50%。稀疏向量用于返回一组大约大于固定阈值的查询。我们表明，它可以自适应地控制其隐私预算（使用更少的预算查询，很可能是远远大于阈值），以增加它可以处理的查询量。这些结果来自仔细的隐私分析。
2019-09-15 cs.CR cs.DB cs.LG
Differentially Private E-Values
FGV EMAp
针对E值可能泄露敏感数据的问题，提出基于有偏乘性噪声机制的通用框架，将非隐私E值转换为保持统计有效性的差分隐私E值，其渐近功效与非隐私版本相当，在多场景实验中验证了有效性与广泛适用性。
2025-10-21 cs.CR cs.LG stat.ME
Locally Private Distributed Reinforcement Learning
LINE Corporation（LINE公司）；University of Tsukuba（筑波大学）
我们研究了局部差分私有算法的强化学习，以获得一个强大的政策，在分布式私有环境中表现良好。我们的算法保护本地代理的模型的信息被利用的对抗性逆向工程。由于局部策略受到个体环境的强烈影响，Agent的输出可能会无意识地释放私有信息。在我们提出的算法中，本地代理更新模型在他们的环境和报告噪声梯度设计，以满足本地差分隐私（LDP），提供了一个严格的本地隐私保证。通过利用一组报告的噪声梯度，中央聚合器更新其模型并将其传递给不同的本地代理。在我们的实证评估中，我们展示了我们的方法如何在LDP下表现良好。据我们所知，这是第一个在LDP下实现分布式强化学习的工作。这项工作使我们能够获得一个强大的代理，在分布式私有环境中表现良好。
2020-01-31 cs.CR cs.LG stat.ML
Differentially Private Semantic Plans for Aggregate Insight Generation
Harvard University（哈佛大学）
DP-SPIN是一个可信策展人框架，通过将记录映射为语义草图并发布差分隐私语义计划，实现独立于受保护数据的语义概念的聚合测量与摘要生成。
2026-09-16 cs.LG
Differentially Private Empirical Risk Minimization: Efficient Algorithms and Tight Error Bounds
The Pennsylvania State University（宾夕法尼亚州立大学）；Boston University（波士顿大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
在本文中，我们提出了一个系统的调查差分私人算法凸经验风险最小化。以前已经研究过这个问题的各种实例。我们提供了新的算法和匹配的私人ERM下界假设只有每个数据点的贡献的损失函数是Lipschitz有界的，优化的域是有界的。我们提供了一个单独的一组算法和匹配的下限的设置，其中的损失函数已知也是强凸的。我们的算法运行在多项式时间，在某些情况下，甚至匹配的最佳非私有运行时间（如Oracle复杂性）。我们给单独的算法（和下限）为$(ε,0)$ -和$(ε,δ)$ -差分隐私，也许令人惊讶的是，用于设计最佳算法的技术在这两种情况下是完全不同的。我们的下界甚至适用于非常简单的光滑函数族，如线性和二次函数。这意味着，从以前的工作中的算法可以用来获得最佳的出错率，在额外的假设下，每个数据点的损失函数的贡献是平滑的。我们表明，简单的方法来平滑任意损失函数（为了应用以前的技术）不产生最佳的出错率。特别是，最佳算法是以前不知道的问题，如训练支持向量机和高维中位数。
2014-10-17 cs.CR cs.LG stat.ML
Continual Release of Densest Subgraphs: Privacy Amplification & Sublinear Space via Subsampling
Yale University（耶鲁大学）
研究边差分隐私图算法的持续发布模型，通过精细化子采样实现隐私放大与稀疏化，提出首个匹配最佳静态DP误差与非隐私流式空间复杂度的稠密子图算法，并引入图稠密化消除额外对数因子。
2025-10-13 cs.CR cs.DS cs.LG
Locally Differentially Private Frequency Estimation with Consistency
Purdue University（普渡大学）；Eindhoven University of Technology（埃因霍温理工大学）
本地差分隐私（LDP）保护数据收集器的用户隐私。LDP协议已经越来越多地部署在工业中。一个基本的构建块是频率预言（FO）协议，它估计值的频率。虽然已经提出了几个FO协议，但其设计目标并没有导致回答许多查询的最佳结果。在本文中，我们表明，通过利用所有个体频率都应该是非负的并且它们总和为1的知识，在FO协议中添加后处理步骤可以显著提高各种任务的准确性，包括个体值的频率，最频繁值的频率和值子集的频率。我们考虑10种不同的方法，以不同的方式利用这些知识。我们建立了其中一些之间的理论关系，并进行了广泛的实验评估，以了解哪些方法应用于不同的查询任务。
2020-01-29 cs.CR cs.DB cs.DS
Efficient and Private Marginal Reconstruction with Local Non-Negativity
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Penn State University（宾夕法尼亚州立大学）
针对差分隐私下的边际查询重建问题，提出高效后处理方法ReM及其带局部非负性的高斯扩展GReM-LNN，可节省隐私预算、降低重建误差，已验证可改进现有隐私查询应答机制。
2024-12-07 cs.AI cs.LG
Formal Privacy for Partially Private Data
差分隐私（DP）通过分析注入到输出统计中的噪声来量化隐私损失。对于非平凡的统计数据，这种噪声是必要的，以确保有限的隐私损失。然而，数据管理者经常发布统计数据的集合，其中一些使用DP机制，而另一些则按原样发布，即，没有额外的随机噪声。因此，DP本身不能描述整个发布集合造成的隐私损失。在本文中，我们提出了一个隐私的形式主义，$(ε, \{ Θ_z\}_{z \in \mathcal{Z}})$ -河豚（$ε$ -TP的缩写时，$\{ Θ_z\}_{z \in \mathcal{Z}}$是隐含的），河豚机制的集合索引的实现的随机变量$Z$表示公共信息不受DP噪声。首先，我们证明了这个定义有类似的性质DP。接下来，我们介绍了释放部分私有数据（PPD）满足$ε$ -TP的机制，并证明其理想的属性。我们提供了算法从一个参数的后验PPD采样。然后，我们比较这种推理方法的替代噪声统计确定性地结合Z。我们推导出温和的条件下，使用我们的算法提供了理论和计算的改进，这种更常见的方法。最后，我们在COVID-19数据的案例研究中展示了上述所有影响。
2022-12-14 cs.CR stat.ME
Generalized PTR: User-Friendly Recipes for Data-Adaptive Algorithms with Differential Privacy
University of California, Santa Barbara（加州大学圣巴巴拉分校）
“Propose-Test-Release”（PTR）框架是设计数据自适应的差分私有（DP）算法的经典配方，即当输入数据集良好时添加较少噪声的算法。我们通过私下测试数据相关的隐私损失而不是本地敏感性，将PTR扩展到更一般的设置，从而使其适用于标准的噪声添加机制之外，例如，具有无限或未定义的敏感性的查询。我们证明了通用的PTR使用私人线性回归作为一个案例研究。此外，我们应用我们的算法来解决一个来自“教师集合的私人聚合（PATE）”的开放问题-通过精细的数据依赖分析私下发布整个模型。
2022-12-31 cs.LG
Assessing Statistical Disclosure Risk for Differentially Private, Hierarchical Count Data, with Application to the 2020 U.S. Decennial Census
我们提出了贝叶斯方法来评估零集中差分隐私下发布的数据的统计披露风险，重点是具有较强的层次结构和具有许多水平的分类变量的设置。风险评估是通过假设贝叶斯入侵者与不同数量的先验信息，并检查他们的后验和先验之间的距离。我们讨论了这些风险评估方法的应用，以区别私人数据发布从2020年十年一次的人口普查，并进行模拟研究，使用公共个人层面的数据从1940年十年一次的人口普查。在这些研究中，我们研究了数据持有人的隐私参数的选择如何影响披露风险和量化的风险增加时，一个假设的入侵者采用大量的层次信息。
2023-01-30 stat.ME
