In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）
当从敏感数据中学习时，必须注意确保训练算法解决隐私问题。规范的教师集合的私有聚合（PATE）通过投票机制聚合（可能是分布式的）教师模型集合的预测来计算输出标签。该机制添加噪声以获得关于教师的训练数据的差分隐私保证。在这项工作中，我们观察到，这种使用噪声，这使得PATE预测随机，使新形式的泄漏的敏感信息。对于给定的输入，我们的对手利用这种随机性来提取潜在教师提交的投票的高保真直方图。从这些直方图中，对手可以了解输入的敏感属性，如种族，性别或年龄。虽然这种攻击并不直接违反差分隐私保证，但它显然违反了隐私规范和期望，如果不插入噪声以获得差分隐私，则根本不可能。事实上，与直觉相反，当我们添加更多噪声以提供更强的差分隐私时，攻击变得更容易。我们希望这能鼓励未来的工作从整体上考虑隐私，而不是将差分隐私视为灵丹妙药。
2022-09-22 cs.CR cs.LG
Construction of Differentially Private Empirical Distributions from a low-order Marginals Set through Solving Linear Equations with l2 Regularization
Sandia National Laboratories（桑迪亚国家实验室）
本文介绍了一种新的算法--通过求解l2正则化线性方程组从低阶边缘集构造差分私有经验分布（CIPHER），该算法从一组低阶边缘集生成差分私有经验联合分布。CIPHER在概念上很简单，只需要通过基本概率规则分解联合概率来构造线性方程组并随后求解方程。与全维直方图（FDH）净化相比，CIPHER对计算存储和内存的要求显著降低，这在实际中是有吸引力的，特别是考虑到FDH净化所保留的高阶信号可能只是样本随机性并且很少感兴趣。我们的实验表明，CIPHER优于乘法加权指数机制在保持原始信息，并具有类似或更好的成本归一化效用FDH消毒在相同的隐私预算。
2021-01-07 cs.CR cs.LG
Random Differential Privacy
我们提出了一个宽松的隐私定义称为{ \em随机差分隐私}（RDP）。差分隐私要求向数据库中添加任何新的观察结果对数据发布过程的输出影响很小。随机差分隐私要求将{ \em随机抽取的新观察}添加到数据库将对输出产生很小的影响。我们显示了一个模拟的组成性质的差异私人程序，适用于我们的新定义。我们展示了如何释放RDP直方图，我们表明，RDP直方图比使用普通差分隐私获得的直方图更准确。最后，我们展示了一个模拟的全球敏感性框架下，我们的隐私定义的功能发布。
2011-12-12 cs.CR cs.LG stat.ME
PE-means: Improved Differentially Private $k$-means Clustering through Private Evolution
University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
针对欧几里得空间中差分隐私 $k$-均值聚类问题，提出PE-means算法，利用私有进化方法仅计算恒定敏感度的私有直方图，在聚类损失上平均比现有最优基线提升20%。
2026-07-03 cs.CR cs.DB cs.LG
Lossless Compression of Efficient Private Local Randomizers
Apple（苹果公司）
本地差异私有（LDP）报告通常用于收集统计信息和联邦设置中的机器学习。在许多情况下，最知名的LDP算法需要从客户端设备向服务器发送过大的消息（例如，当在大域上构建直方图或学习高维模型时）。这导致了在降低LDP算法的通信成本方面的显著努力。同时，由于随机化，LDP报告已知具有相对较少的关于用户数据的信息。几个方案是已知的，利用这一事实来设计低通信版本的LDP算法，但他们都这样做的代价是显着损失的效用。在这里，我们展示了一个一般的方法，在标准的密码学假设下，压缩每一个有效的LDP算法的隐私和效用保证可以忽略不计的损失。我们的结果的实际含义是，在典型的应用程序中，消息可以被压缩到服务器的伪随机生成器种子的大小。更一般地，我们将LDP随机发生器的属性与足以压缩LDP随机发生器的伪随机发生器的功率相关联。从这个一般的方法，我们得到低通信算法的频率估计和高维均值估计的问题。我们的算法比现有的低通信LDP算法更简单，更准确，这些研究的问题。
2021-02-24 cs.CR cs.DS cs.LG
dpart: Differentially Private Autoregressive Tabular, a General Framework for Synthetic Data Generation
Hazy（Hazy公司）；University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
我们提出了一个通用的，灵活的，可扩展的框架dpart，一个开源的Python库的差异私人合成数据生成。该方法的核心是自回归建模-将联合数据分布分解为一系列低维条件分布，通过各种方法捕获，例如机器学习模型（逻辑/线性回归，决策树等），简单的直方图计数或自定义技术。创建该图书馆的目的是作为一个快速和可访问的基线，并容纳广泛的用户，从那些在合成数据生成方面迈出第一步的用户，到那些具有领域专门知识的更有经验的用户，他们可以配置建模的不同方面并提出新的方法/机制。dpart的具体实例包括Independent，PrivBayes的优化版本，以及新提出的模型dp-mappop。代码：https://github.com/hazy/dpart
2022-07-12 cs.CR cs.LG
Distributed LSTM-Learning from Differentially Private Label Proportions
TU Dortmund University（多特蒙德工业大学）
近年来，数据隐私和分散的数据汇集变得越来越流行。为了解决隐私，通信带宽和时空数据学习的问题，我们将提出两种使用差分隐私和分散式LSTM学习的有效模型：一种是学习长短期记忆（LSTM）模型，用于提取局部时间节点约束并将其馈送到密集层（LabelProportionToLocal）。另一种方法通过从邻居获取直方图数据并将信息与LSTM输出（LabelProportionToDense）相结合来扩展第一种方法。为了进行评估，使用了两个流行的数据集：Pems-Bay和METR-LA。此外，我们还提供了一个基于LuST的数据集。评估将显示性能和数据隐私之间的权衡。
2023-01-15 cs.AI cs.CR cs.LG
Differentially Private Weighted Sampling
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Stanford University（斯坦福大学）；Ben-Gurion University（本-古里安大学）
常见的数据集具有带键的元素的形式（例如，交易和产品），目标是对密钥和频率对的聚合形式执行分析。按频率（的函数）加权的键样本是一种高度通用的摘要，它提供了一组稀疏的代表性键，并支持查询统计信息的近似评估。我们提出私人加权抽样（PWS）：一种方法，确保元素级别的差分隐私，同时保留，在可能的范围内，一个相应的非私人加权样本的效用。PWS最大限度地提高了键的报告概率和广泛的统计数据族的估计质量。PWS在没有执行采样时，对于私有直方图的经过充分研究的特殊情况，也优于现有技术。我们的经验表明，与以前的基线相比，显着的性能增益：20%-300%的增加，在关键报告常见的Zipfian频率分布和准确性的$\times 2$ - $ 8$较低的频率估计任务。此外，PWS作为一个简单的后处理的非私人样本，而不需要原始数据。这允许与非私有方案的现有实现的无缝集成，并保持为资源受限设置（诸如大规模分布式或流式数据）设计的方案的效率。我们相信，由于实用性和性能，PWS可能会成为一种选择的方法，在应用程序中的隐私是必要的。
2021-03-31 cs.CR cs.DS cs.LG
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame（圣母大学）
本文开发了开源R包DPpack，集成Laplace、Gaussian和指数机制，提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具，使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
Canaries in the Bank: Auditing User-Level Privacy in Private Evolution
Meta Platforms, Inc.（Meta平台公司）
本研究通过协议感知审计，在私有进化中引入金丝雀探针，评估八种攻击，发现自然文本攻击远低于理论DP界限，而随机数攻击更接近隐私上限，量化了最坏情况隐私与实际泄漏的差距。
2026-09-15 cs.AI cs.CR cs.LG
Enhancing Differentially Private Mechanisms via Empirical Bayes
Department of Statistics（统计系）；Seoul National University（首尔国立大学）；Institute for Data Innovation in Science（科学数据创新研究所）
提出利用经验贝叶斯估计对简单加性高斯机制的输出进行去噪，以提升差分隐私算法的效用，并在直方图发布、主成分分析和线性回归等任务中优于现有方法。
2026-06-23 cs.CR cs.LG stat.ME
Differentially Private Histograms under Continual Observation: Streaming Selection into the Unknown
我们通过允许流中的每个事件是某些（可能未知的）项目宇宙的子集来概括Dwork等人的连续观察隐私设置。我们在几种设置中为直方图设计了差分隐私（DP）算法，包括顶部$k$选择，隐私损失与polylog $(T)$成比例，其中$T$是输入流的最大长度。我们提出了一个元算法，可以使用现有的一杆顶- $k$ DP算法作为一个子程序，不断释放私人直方图从一个流。此外，我们提出了更实用的DP算法的两个设置：1）连续释放顶部$k$计数从直方图在一个已知的域时，一个事件可以由任意数量的项目，和2）连续释放直方图在一个未知的域时，一个事件具有有限数量的项目。
2022-01-04 cs.CR cs.DS
Tight Bounds for Differentially Private Anonymized Histograms
在这篇文章中，我们考虑了差分隐私（DP）计算匿名直方图的问题，匿名直方图被定义为输入数据集（没有桶标签）的计数的多集。在低隐私机制$ε\geq 1$中，我们给出了一个$ε$ -DP算法，其期望$\ell_1$ -误差界为$O(\sqrt{n} / e^ε)$。在高隐私的制度$ε< 1$，我们给了一个$Ω(\sqrt{n \log(1/ε) / ε})$下界的预期$\ell_1$错误。在这两种情况下，我们的边界渐近匹配先前已知的下限/上限[Suresh，NeurIPS 2019]。
2021-11-05 cs.CR cs.DS
Urania: Differentially Private Insights into AI Use
Google Research（谷歌研究）
Urania是一个基于差分隐私的框架，通过私有聚类和关键词提取方法，在保护用户隐私的同时从LLM聊天交互中提取有意义洞察，实现了数据效用与隐私的平衡。
2025-09-23 cs.AI cs.CL cs.CR
PrivCert: Certifying Statement Support under Differential Privacy
Acompany Co., Ltd.（Acompany有限公司）
PrivCert提出隐私保护报告框架，通过证书和弃权决策显式认证语句支持度，弥补差分隐私文本生成的证据缺口，实验表明其优于基线。
2026-10-01 cs.CR cs.LG
M$^2$M: A general method to perform various data analysis tasks from a differentially private sketch
The Alan Turing Institute（艾伦·图灵研究所）；UCLouvain（鲁汶大学）；Università di Genova（热那亚大学）；Imperial College London（帝国理工学院）
差分隐私是对敏感数据执行分析的标准隐私定义。然而，其隐私预算限制了分析师可以以合理的准确性执行的任务数量，这使得在实践中部署具有挑战性。这可以通过私有草图来缓解，其中数据集被压缩成单个噪声草图矢量，该矢量可以与分析师共享并用于执行任意多个分析。然而，从草图执行特定任务的算法必须根据具体情况开发，这是其使用的主要障碍。在本文中，我们介绍了通用的时刻到时刻（M $^2$ M）的方法来执行广泛的数据探索任务，从一个单一的私人草图。除此之外，该方法可用于估计属性的经验矩、协方差矩阵、计数查询（包括直方图）和回归模型。我们的方法将草图机制视为黑盒操作，因此可以应用于各种各样的草图从文献中，扩大其应用范围，而无需进一步的工程或隐私损失，并消除了一些技术障碍，更广泛地采用草图数据探索下差分隐私。我们验证了我们的方法与人工和真实世界的数据的数据探索任务，并表明，它可以用来可靠地估计统计和训练分类模型从私人草图。
2022-11-25 cs.CR cs.LG
DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
Samsung AI Centre Cambridge（三星剑桥人工智能中心）
本文提出DP-LAC，通过隐私直方图估计估计初始截断阈值，并在训练过程中自适应调整，无需额外隐私预算或新超参数，提升联邦微调语言模型的隐私保护与准确性。
2026-05-11 cs.AI cs.CR cs.DC
Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics
LinkedIn（领英）
差分隐私（DP）为个人数据提供严格的隐私保证，同时还允许对整体敏感数据集进行准确的统计。要设计一个私有系统，首先必须设计私有算法，可以量化每个结果的隐私损失。然而，将噪声注入计算的私有算法不足以确保个人数据受到保护，因为许多噪声结果最终集中于真实的非私有化结果。因此，已经有几个作品提供了精确的公式，说明隐私损失如何在与私有算法的多次交互中累积。然而，这些公式要么提供了非常一般的隐私损失的界限，在某些类型的私人算法过于悲观的代价，或者他们可以太窄的范围，适用于一般的隐私系统。在这项工作中，我们统一了现有的隐私损失组合边界的特殊类别的差分隐私（DP）算法，以及一般DP组合边界。特别是，我们提供了强大的隐私损失界限时，分析师可以选择纯DP，有界范围（例如指数机制），或集中DP机制以任何顺序。我们还提供了最佳的隐私损失界限，适用于分析师可以选择纯DP和有界范围的机制在一批，即非自适应。此外，当一个分析师在每个类自适应选择机制，我们表现出不同的，预定的纯DP和有界范围机制之间的差异，隐私损失。最后，我们比较了基于直方图数据集的拉普拉斯和高斯机制的组合边界。
2020-11-17 cs.CR cs.LG
Optimal Pure Differentially Private Sparse Histograms in Deterministic Linear Time
本文提出一种在确定性线性时间内实现最优纯差分隐私稀疏直方图的算法，解决了二次障碍问题并实现高效电路实现。
2025-12-24 cs.CR cs.DS
Differentially-Private Decision Trees and Provable Robustness to Data Poisoning
Delft University of Technology（代尔夫特理工大学）
针对现有差分隐私决策树算法隐私-效用权衡差的问题，提出基于私有直方图的PrivaTree方法，在低隐私预算下选择良好分裂，显著提升隐私-效用权衡，并提供对后门攻击的鲁棒性理论保证。
2026-09-28 cs.CR cs.LG
On the Round Complexity of the Shuffle Model
Ben-Gurion University（本-古里安大学）；Tel-Aviv University（特拉维夫大学）；Georgetown University（乔治敦大学）；Google Research（谷歌研究院）
提出了差分隐私的混洗模型，作为一种可行的分布式差异隐私计算模型。非正式地说，该模型由一个不受信任的分析器组成，该分析器通过shuffle功能接收参与方发送的消息，后者可能会将消息与他们的消息分离。以前的工作集中在一轮差分隐私洗牌模型协议，证明了功能，如添加和直方图可以在这个模型中执行的准确性水平类似于馆长模型的差分隐私，其中计算是由一个完全信任的一方。针对洗牌模型的轮复杂度，我们提出了在两轮差分隐私洗牌模型中可以计算什么。Ishai等人[FOCS 2006]展示了如何使用一轮洗牌在每两方之间建立密钥。使用该原语模拟一般的安全多方协议，使其轮复杂度增加1。我们展示了双方如何可以使用一轮的洗牌发送秘密消息，而不必首先建立一个秘密密钥，从而保留轮的复杂性。将此原语与Applebaun等人的两轮半诚实协议相结合。[TCC 2018]，我们得到每个随机功能都可以在洗牌模型中计算，其中诚实的大多数仅需两轮。这包括任何差异私有计算。然后，我们开始研究洗牌模型中的差分私有计算，（i）不需要假设诚实的多数，或者（ii）不承认单轮协议，即使是诚实的多数。为此，我们引入了两个计算任务：公共元素问题和嵌套公共元素问题，我们展示了一轮和两轮协议之间的分离。
2020-09-28 cs.CR cs.DS cs.LG
Does Differentially Private Synthetic Data Lead to Synthetic Discoveries?
University of Turku（图尔库大学）
本文评估了在差分隐私合成数据上进行统计检验的可靠性，发现低隐私预算下第一类错误显著膨胀，易导致虚假发现，并提出基于DP平滑直方图的方法可在一定条件下保证检验有效性。
2024-08-23 cs.LG stat.ML
On the Optimal Number of Grids for Differentially Private Non-Interactive $K$-Means Clustering
Center of Data for Public Good, Foundation for Science Innovation and Development, Indian Institute of Science（印度科学研究所科学与创新发展基金会公共数据中心）
本文研究了差分隐私非交互K-均值聚类中网格数目的选择问题，提出了一种基于最小化K-均值目标函数期望偏差上界的新规则，改进了非交互隐私聚类的离散化策略。
2026-03-27 cs.CR cs.LG eess.SP
Private Federated Multiclass Post-hoc Calibration
University of Warwick（沃里克大学）
针对联邦学习场景下私有校准被忽视的问题，将传统集中式事后校准方法迁移到联邦环境，提出异质性缓解策略，明确了DP场景与非DP场景下的最优校准方案。
2025-10-02 cs.LG
Constant matters: Fine-grained Complexity of Differentially Private Continual Observation
Google Research（谷歌研究院）；University of Vienna（维也纳大学）；Stanford University（斯坦福大学）；Rutgers University（罗格斯大学）
本文针对持续观测下的差分隐私计数问题，通过显式分解计数矩阵并分析其cb-范数，给出了细粒度的误差上界，并首次为多种问题提供了具体误差界，改进了已有28年的最佳界。
2024-02-05 cs.DS cs.LG
Efficient Private Statistics with Succinct Sketches
为了收集统计数据、训练机器学习模型和从数据中提取知识，大规模收集上下文信息通常是必不可少的。以{ \em隐私保护}方式这样做的能力--即，而不收集细粒度的用户数据--使得许多附加的计算场景能够在没有强隐私保证的情况下很难或完全不可能实现。在本文中，我们提出了设计和实现的实用技术，私人收集统计数据的大数据流。我们建立在有效的加密协议的私人聚集和数据结构的简洁的数据表示，即计数最小草图和计数草图。这些使我们能够减少每个数据源引起的通信和计算复杂性（例如，最终用户）的输入量从线性变为对数，同时引入一个参数化的上限误差，但不会影响统计数据的质量。然后，我们将展示如何有效地使用我们的技术来实例化真实世界的隐私友好系统，支持媒体流服务的推荐，用户位置的预测以及Tor隐藏服务的中值统计数据的计算。
2016-01-06 cs.CR
DC-SGD: Differentially Private SGD with Dynamic Clipping through Gradient Norm Distribution Estimation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Ant Group（蚂蚁集团）；School of Engineering, University of Virginia（弗吉尼亚大学工程学院）
本文提出动态裁剪差分隐私框架DC-SGD，通过差分隐私直方图估计梯度范数分布并动态调整裁剪阈值C，显著降低超参数调优负担，在多项任务中实现最高9倍加速并在CIFAR10上提升10.62%准确率。
2025-04-01 cs.AI cs.CR cs.LG
Locally Private Histograms in All Privacy Regimes
本文研究了中低隐私机制下的本地私有直方图与分布学习问题，建立了ℓ∞误差的近乎紧致界，并据此提出混洗模型下通信复杂度显著更优的直方图协议，同时通过实证比较验证了理论发现。
2024-09-04 cs.CR cs.DM cs.DS
End-to-End Differentially-Private Parameter Tuning in Spatial Histograms
差分隐私直方图已经成为位置隐私的关键工具。虽然过去的机制包括理论和实验分析，但最近观察到，现有文献中的大部分都没有完全提供差分隐私。缺少的组件，私有参数调优，是严格评估这些机制所必需的。相反，它经常调整训练数据来优化参数，而不考虑隐私;在其他情况下，选择是任意执行的，与数据无关，降低了效用。我们解决这个开放的问题，得出一个原则性的调整机制，私下优化数据相关的误差范围。理论结果建立了隐私和实用性，而广泛的实验表明，我们实际上可以实现真正的端到端隐私。
2017-02-18 cs.CR cs.DB
Boosting the Accuracy of Differentially-Private Histograms Through Consistency
我们表明，它是可以显着提高的准确性，同时满足差分隐私的直方图查询的一般类。我们的方法仔细选择了一组查询进行评估，然后利用一致性约束，应该保持在嘈杂的输出。在后处理阶段，我们计算最有可能产生噪声输出的一致输入。最终的输出是差分私有的和一致的，但除此之外，它通常更准确。我们表明，理论和实验，这些技术可以用来估计度序列的图非常精确，并计算直方图，可以支持任意范围的查询准确。
2010-07-09 cs.CR cs.DB
Differentially Private Histograms in the Shuffle Model from Fake Users
最近有很多工作在差分隐私的洗牌模型，特别是近似$d$ -bin直方图。虽然这些协议实现了低错误，但每个用户发送的消息数量（消息复杂度）到目前为止已随$d$或隐私参数而缩放。消息复杂度是混洗协议的资源消耗的信息预测器。我们提出了一个协议，其消息的复杂性是2时，有足够多的用户。该协议基本上将数据集中的每一行与一个假行配对，并对所有行执行简单的随机化。我们表明，该协议引入的错误是小的，使用严格的分析，以及对真实世界的数据进行实验。我们还证明，腐败的用户有一个相对较低的影响，我们的协议的估计。
2021-08-05 cs.CR cs.DS
Differentially Private Semantic Plans for Aggregate Insight Generation
Harvard University（哈佛大学）
DP-SPIN是一个可信策展人框架，通过将记录映射为语义草图并发布差分隐私语义计划，实现独立于受保护数据的语义概念的聚合测量与摘要生成。
2026-09-16 cs.LG
Differentially Private Non Parametric Copulas: Generating synthetic data with non parametric copulas under privacy guarantees
School of Applied Sciences and Engineering, Universidad EAFIT（应用科学与工程学院，埃法特大学）；Digital Health and Biomedical Technologies, Vicomtech Foundation, Basque Research and Technology Alliance (BRTA)（数字健康与生物医学技术，维科姆科技基金会，巴斯克研究与技术联盟（BRTA））；eHealth Group, Biogipuzkoa Health Research Institute（eHealth组，比戈普西亚健康研究 institutes）
本文提出基于非参数Copula的差分隐私合成数据生成模型DPNPC，通过增强傅里叶扰动方法在混合表格数据库中保护隐私，实验表明其在多变量依赖建模、小$ε$值隐私保护和训练时间上优于其他模型。
2024-09-27 cs.DB cs.LG
Differentially Private Projected Histograms of Multi-Attribute Data for Classification
在本文中，我们解决的问题，构建一个不同的私人概要的分类分析。几个国家的最先进的方法遵循现有的分类算法的结构，都是迭代的，这是次优的，由于局部最优的选择和过度划分的隐私预算之间的许多顺序组成的步骤。相反，我们提出了一种新的方法，PrivPfC，一种新的差分私有方法，用于发布数据进行分类。其关键思想是使用给定的隐私预算在一个步骤中私下选择底层数据集的最佳分区。给定一个数据集和隐私预算，PrivPfC构建一个候选网格池，其中每个网格的单元数量低于数据感知和隐私预算感知阈值。之后，PrivPfC选择一个最佳的网格，通过指数机制，通过使用一种新的质量函数，最大限度地减少了预期数量的误分类的记录，直方图分类器上构建使用发布的网格。最后，PrivPfC将噪声注入到所选网格的每个单元格中，并将噪声网格作为数据的私有概要发布。如果候选网格池的大小大于数据管理者设置的处理能力阈值，我们在PrivPfC的开头添加一个步骤来私下修剪属性集。我们引入了一个修改后的$χ^2$质量函数具有低灵敏度，并使用它来评估属性的相关性的分类标签变量。通过在真实数据集上的大量实验，我们证明了PrivPfC比最先进的方法的优越性。
2015-04-22 cs.CR
Nebula: Efficient, Private and Accurate Histogram Estimation
Nebula通过高效、隐私保护和准确的直方图估计技术，在保证差分隐私的前提下实现高实用性。
2025-07-03 cs.CR
SoK: Chasing Accuracy and Privacy, and Catching Both in Differentially Private Histogram Publication
直方图和合成数据在数据分析中是至关重要的。然而，研究人员已经表明，即使是直方图等聚合数据，不包含明显的敏感属性，也可能导致隐私泄露。为了实现数据分析，需要一个强有力的隐私概念，以避免意外侵犯隐私的风险。这种强烈的隐私概念是差分隐私，这是一种统计隐私概念，使隐私泄露可以量化。关于差分隐私的警告是，虽然它对隐私有很强的保证，但隐私是以准确性为代价的。尽管这种权衡是采用差分隐私的一个核心和重要问题，但在文献中关于提供对权衡的理解以及如何适当地解决它存在差距。通过系统的文献综述（SLR），我们调查的国家的最先进的准确性提高差异隐私算法的直方图和合成数据发布。我们的贡献是双重的：1）我们识别直方图和合成数据的差分隐私领域的贡献中的趋势和联系，以及2）我们通过将不同维度具体化以提高准确性来提供对隐私/准确性权衡挑战的理解。因此，我们将这些想法与彼此和外部工作相关联，并将其定位和可视化，并解构每个算法以分别检查构建块，目的是确定每个技术/方法的准确性改进目标。因此，这种知识的系统化（SoK）提供了对在哪些维度以及如何在不牺牲隐私的情况下追求准确性改进的理解。
2020-09-21 cs.CR cs.DB
Differentially Private Continual Release of Histograms and Related Queries
本文研究差分隐私下直方图及相关查询的持续发布，提出仅插入模型和十字转门模型中输出敏感机制，分别以 O(d log²(dq*)+log T) 和 O(d log²(dK)+log T) 的加性误差改进现有下界。
2025-03-10 cs.CR cs.DS
Differential privacy with dependent data
Institute of Science and Technology Austria（奥地利科学与技术研究院）；Department of Statistics, Columbia University（哥伦比亚大学统计系）
本文研究了依赖数据下的差分隐私，提出在弱依赖性条件下使用winsorized均值估计器，并扩展到随机效应模型等场景。
2025-11-25 cs.LG math.ST stat.ML
Estimating Numerical Distributions under Local Differential Privacy
Purdue University（普渡大学）；Eindhoven University of Technology（埃因霍温理工大学）
局部差分隐私（LDP）在收集信息时，从用户的角度缓解了隐私泄露的担忧，因为用户的隐私信息在发送到聚合器之前是随机的。我们研究的问题，恢复的分布在一个数值域，同时满足LDP。虽然人们可以离散化的数值域，然后应用开发的协议的分类域，我们表明，利用该域的数值性质的结果在更好的权衡隐私和效用。我们引入了一种新的报告机制，称为方波SW机制，它利用了报告中的数值性质。我们还开发了一个期望最大化与平滑（EMS）算法，这是适用于聚集直方图从SW机制，以估计原始分布。大量的实验表明，我们提出的方法，软件与EMS，一贯优于其他方法在各种实用程序的指标。
2019-12-02 cs.CR cs.DB cs.LG
Better Differentially Private Approximate Histograms and Heavy Hitters using the Misra-Gries Sketch
针对流式近似直方图与重击者的差分隐私发布，本文改进 Misra-Gries 草图机制，使噪声不随草图规模线性增长，并支持用户贡献多个不同元素。
2025-03-18 cs.CR cs.DS cs.IR
Differentially Private Histogram, Predecessor, and Set Cardinality under Continual Observation
本研究针对持续观测下的差分隐私，提出维护直方图、前驱和集合基数的算法，给出参数化误差界及匹配下界，并支持未知参数场景。
2023-06-17 cs.CR cs.DS
A Unifying Privacy Analysis Framework for Unknown Domain Algorithms in Differential Privacy
本文针对未知域直方图发布问题，提出了一个统一的差分隐私分析框架，并利用近似集中差分隐私改善隐私损失参数，尤其适用于多算法组合场景。
2024-08-01 cs.CR
Exact Privacy Analysis of the Gaussian Sparse Histogram Mechanism
稀疏直方图方法可用于返回大型或无限直方图中的项的差异私有计数、大型group-by查询，以及更一般地，释放具有足够项计数的统计信息集。我们考虑高斯版本的稀疏直方图机制和研究的确切$ε,δ$差分隐私保证满足此机制。我们将这些精确的$ε,δ$参数与先前工作中使用的简单高估参数进行比较，以量化其较宽松的隐私边界的影响。
2022-02-02 cs.CR cs.DB
REAEDP: Entropy-Calibrated Differentially Private Data Release with Formal Guarantees and Attack-Based Evaluation
本文提出REAEDP框架，结合熵校准直方图发布、合成数据发布机制和攻击评估，提供形式隐私保证并保持实用性。实验证明其在不同数据集上有效控制隐私风险，支持实用的隐私保护发布流程。
2026-03-14 cs.CR cs.CV
Shuffle Private Stochastic Convex Optimization
Georgetown University（乔治城大学）；Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）
在混洗隐私中，每个用户将随机化消息的集合发送到可信混洗器，混洗器随机地排列这些消息，并且所得到的混洗消息集合必须满足差分隐私。在此模型之前的工作主要集中在使用单轮通信来计算算法原语（如均值、直方图和计数）的协议上。我们提出了随机凸优化的交互式洗牌协议。我们的协议依赖于一个新的非交互式协议，用于求和有界$\ell_2$范数的向量。通过结合小批量随机梯度下降，加速梯度下降，和Nesterov的平滑方法，我们得到了各种凸损失函数，显着提高当地的模型，有时匹配的中央模型的损失保证。
2022-03-14 cs.CR cs.DS cs.LG
Locally Differentially Private Sparse Vector Aggregation
向量均值估计是联邦分析中的一个核心基础。在向量均值估计中，每个用户$i \in [n]$持有实值向量$v_i\in [-1, 1]^d$，并且服务器想要估计所有$n$向量的均值。不仅如此，我们还要保护每个用户的隐私。在本文中，我们考虑的$k$ -稀疏版本的向量均值估计问题，即假设每个用户的向量有至多$k$非零坐标在其$d$ -维向量，而且，$k \ll d$。在实践中，由于全域大小$d$可以非常大（例如，所有可能的URL的空间），我们希望每个用户的通信是简洁的，即，与宇宙大小无关或（多）对数。在本文中，我们是第一个显示匹配的上界和下界的$k$ -稀疏向量均值估计问题下的局部差分隐私。具体来说，我们构建了新的机制，实现渐近最优的错误，以及简洁的通信，无论是在用户级LDP或事件级LDP。我们实现了我们的算法，并在合成和真实世界的数据集上对其进行评估。我们的实验表明，我们往往可以实现一个或两个数量级的减少错误与以前的作品相比，在典型的参数选择，而产生微不足道的通信成本。
2022-02-27 cs.CR
PrivEdge: From Local to Distributed Private Training and Prediction
Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（帝国理工学院）
机器学习即服务（MLaaS）运营商在云端提供模型训练和预测。MLaaS应用程序通常依赖于用户数据的集中收集和聚合，这在处理敏感的个人数据时可能会导致严重的隐私问题。为了解决这个问题，我们提出了PrivEdge，这是一种保护隐私的MLaaS技术，可以保护提供数据进行训练的用户以及使用预测服务的用户的隐私。使用PrivEdge，每个用户独立地使用他们的私人数据在本地训练一个简单地表示他们的训练数据的一类重构对抗网络。由于以明文方式向服务提供商发送模型参数会泄露隐私信息，PrivEdge在两个非合谋的MLaaS提供商之间秘密共享参数，然后通过安全的多方计算技术提供加密的私有预测服务。我们量化PrivEdge的好处，并将其性能与最先进的集中式架构在三个隐私敏感的基于图像的任务上进行比较：个人识别，作家识别和手写信件识别。实验结果表明，PrivEdge算法在隐私保护和区分隐私图像与非隐私图像方面具有较高的查准率和查全率。此外，我们展示了PrivEdge对图像压缩和有偏训练数据的鲁棒性。源代码可在https://github.com/smartcameras/PrivEdge上获得。
2020-04-12 cs.CR cs.LG
Federated Rule Ensemble Method in Medical Data
Department of Medical Data Science（医学数据科学系）；Wakayama Medical University（福冈医疗大学）；Department of Biomedical Sciences and Informatics（生物医学科学与信息学系）；Doshisha University（多摩大学）；Department of Biostatistics（生物统计学系）
本文提出一种联邦规则Fit框架，通过隐私保护直方图预处理、梯度提升树本地规则生成和ℓ1正则化系数估计，实现可解释的全局模型，优于现有联邦方法。
2026-04-20 cs.LG stat.ME
Differentially Private Sparse Vectors with Low Error, Optimal Space, and Fast Access
表示稀疏直方图或更一般地表示稀疏向量是差分隐私中的基本任务。理想的解决方案将使用接近信息理论下限的空间，具有最佳地取决于所需隐私级别的错误分布，并允许快速随机访问向量中的条目。然而，现有的方法只实现了这三个目标中的两个。在本文中，我们介绍了近似拉普拉斯投影（ALP）机制近似k-稀疏向量。这种机制同时具有信息理论上的最优空间（常数因子），快速访问矢量条目，和错误的拉普拉斯机制适用于密集的矢量相同的幅度。一个关键的新技术是小整数的一元表示，我们证明了它对“随机响应”噪声的鲁棒性。这种表示与散列相结合，在布隆过滤器的精神，以获得空间效率，差异私人表示。我们的理论性能界限的补充模拟表明，主要性能参数的常数因子是相当小的，这表明该技术的实用性。
2021-09-27 cs.CR cs.DS
Connecting Robust Shuffle Privacy and Pan-Privacy
Harvard University（哈佛大学）；Northeastern University（东北大学）；Google New York（谷歌纽约）；University of Pennsylvania（宾夕法尼亚大学）
在差分隐私的\emph{shuffle model}中，数据持有用户向安全混洗器发送随机化消息，混洗器对消息进行置换，并且所得到的消息集合必须相对于用户数据是差异隐私的。在\emph{pan-private}模型中，算法处理数据流，同时保持相对于流数据有区别地私有的内部状态。我们提供证据连接这两个明显不同的模型。我们的结果集中在\emph{robustly}洗牌私有协议，其隐私保证不会受到恶意用户的影响很大。首先，我们给出了鲁棒洗牌私有协议和上界计数不同的元素和一致性测试。其次，我们使用泛私有下界来证明这两个问题的鲁棒洗牌私有下界。研究发现，鲁棒的近似混洗隐私和近似泛隐私算法对不同元素的计数存在加性误差$Θ(\sqrt{k})$.对于均匀性测试，我们给出了一个鲁棒的近似洗牌私有协议的样本复杂性$\tilde O(k^{2/3})$，并表明，一个$Ω(k^{2/3})$依赖是必要的任何强大的纯洗牌私有测试。最后，我们表明，这种连接是有用的，在两个方向：我们给出了一个泛私人适应最近的工作洗牌私人直方图，并用它来恢复泛隐私和交互式本地隐私之间的进一步分离。
2020-08-12 cs.CR cs.LG
Collecting Telemetry Data Privately
许多软件公司定期执行对来自用户设备的遥测数据的收集和分析。遥测数据收集改善了用户体验，但对用户隐私构成重大风险。局部差异隐私（LDP）算法最近已经成为允许数据收集器估计各种人口统计数据，同时保护隐私的主要工具。由这样的算法提供的保证通常对于单轮遥测数据收集是非常强的，但是当定期收集遥测数据时会迅速降级。特别是，现有的LDP算法不适合重复收集计数器数据，例如每日应用程序使用统计数据。在本文中，我们开发了新的LDP机制，面向计数器数据的重复收集，即使在执行了任意长的时间后，也有正式的隐私保证。对于两个基本的分析任务，平均值估计和直方图估计，我们的LDP重复数据汇集机制提供了与现有的单轮LDP收集机制相当甚至相同的准确性估计。我们在真实世界的计数器数据集上进行了实证评估，以验证我们的理论结果。我们的机制已被微软部署，用于收集数百万台设备的遥测数据。
2017-12-05 cs.CR cs.DS
Profile Reconstruction from Private Sketches
研究分布式空间受限环境下的差分隐私画像重构问题，利用离散拉普拉斯噪声反转技术加速计算，并证明其误差依赖性渐近最优。
2024-06-03 cs.CR cs.DS
A New View on Worst-Case to Average-Case Reductions for NP Problems
我们研究了Bogdanov和Trevisan（FOCS，2003）的结果，他们表明在合理的假设下，不存在非自适应的最坏情况到平均情况的约简，即NP问题的平均情况难度基于NP完全问题的最坏情况复杂性。我们通过采用Haitner，Mahmoody和Xiao（CCC，2010）的直方图验证协议来替换[BT03]中的隐藏和重样本协议，这在这种情况下被证明是非常有用的。一旦直方图得到验证，我们的隐藏协议就直接是公共货币，而原始协议背后的直觉本质上依赖于私人货币。
2014-03-24 cs.CC cs.CR
A ZK-SNARK based Proof of Assets Protocol for Bitcoin Exchanges
本文提出了一种使用零知识简洁非交互式知识论证（ZK-SNARK）的比特币交易所资产证明协议，而不会泄露交易所的比特币地址或与这些地址相关的余额。资产证明是一种证明交易所有权使用其私钥花费的比特币总价值的机制。我们构建了一个隐私保护的ZK-SNARK证明系统来证明与交易所的比特币资产相对应的私钥的知识。ZK-SNARK工具链有助于将用于证明私钥知识（交易所已知）的NP语句转换为电路可满足性问题。在这个协议中，交易所创建了一个与每个地址相关联的比特币价值的Pedersen承诺，而不会透露余额。仿真结果表明，证明生成时间，大小和验证时间是有效的，在实践中。
2022-11-11 cs.CR
