Differentially Private Online Bayesian Estimation With Adaptive Truncation
Sabancı University（萨班哲大学）；Faculty of Engineering and Natural Sciences, Sabancı University（萨班哲大学工程与自然科学学院）；Center of Excellence in Data Analytics (VERİM), Sabancı University（萨班哲大学数据分析卓越中心（VERİM））
针对顺序收集的敏感个体数据，本文提出自适应截断与序贯蒙特卡洛相结合的差分隐私在线贝叶斯估计方法，利用 Thompson sampling 依据 Fisher 信息动态缩小查询敏感度。
2023-01-19 cs.LG stat.CO stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Beyond Uniform Lipschitz Condition in Differentially Private Optimization
UT Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）；HKUST（香港科技大学）
本文将 DP-SGD 的一致 Lipschitz 假设推广到样本相关甚至重尾 Lipschitz 常数情形，给出裁剪范数选择原则与新收敛保证，并通过 8 个数据集验证。
2023-06-06 cs.LG stat.ML
Enhancing Differentially Private Linear Regression via Public Second-Moment
The School of Mathematics, Northwest University（西北大学数学学院）
该研究针对无界数据假设下的线性回归OLSE，提出基于公共二阶矩矩阵变换私有数据的差分隐私方法，通过理论推导和实验验证提升了OLSE的准确性与鲁棒性。
2026-08-18 cs.LG stat.ME stat.ML
Differentially private sub-Gaussian location estimators
我们解决的问题，估计一个位置参数差分隐私保证和亚高斯偏差。最近的统计工作集中在研究估计，实现亚高斯型偏差，即使是重尾数据。我们通过差分隐私的镜头重新审视了其中的一些估计，并表明拉普拉斯机制的天真应用可能会导致次优结果。我们设计了两个私人算法估计中位数，导致估计子高斯型错误。与大多数现有的差分私人中位数估计，这两种算法都定义为无界随机变量，甚至不需要有有限的时刻。然后，我们转向亚高斯均值估计的问题，并表明，在重尾自然差分私人替代品导致严格更差的偏差比他们的非私人亚高斯同行。这与最近的结果形成鲜明对比，这些结果表明，从渐近的角度来看，差分隐私的成本可以忽略不计。
2019-06-27 math.ST stat.ML stat.TH
On the Sample Complexity of Privately Learning Unbounded High-Dimensional Gaussians
McMaster University（麦克马斯特大学）；University of Waterloo（滑铁卢大学）
在近似差分隐私约束下，给出了不可知学习多变量高斯模型的样本复杂度上界。这是第一个有限样本上限一般高斯分布的参数不施加限制。我们的边界是近最优的情况下，协方差是已知的身份，并证明是近最优的一般情况下。从技术的角度来看，我们提供的分析工具，认为存在的全球性的“局部小”覆盖的空间。这些都是利用最近的技术修改差异私人假设选择。我们的技术可能被证明是有用的私人学习其他分布类不具有有限的覆盖。
2020-10-19 cs.CR cs.DS cs.IT
Certification-Based Differentially Private Learning
Imperial College London（帝国理工学院）
本研究将形式化方法（抽象解释）推广至差分隐私的预测与学习，提出抽象梯度采样算法，提供更严格的隐私保证并首次在无界灵敏度场景给出有限隐私界限。
2026-10-01 cs.LG
Mitigating Disparate Impact of Differentially Private Learning through Bounded Adaptive Clipping
Department of Computer Science, University of Helsinki（计算机科学系，赫尔辛基大学）；Department of Electrical and Computer Engineering, American University of Beirut（电气与计算机工程系，贝鲁特美国大学）
针对差分隐私学习中梯度裁剪对少数群体造成的不公平影响，提出有界自适应裁剪方法，通过引入可调下界防止过度梯度抑制，在Skewed和Fashion MNIST上最差类准确率提升超过10个百分点。
2026-06-11 cs.CR cs.LG stat.ML
Can Stochastic Gradient Langevin Dynamics Provide Differential Privacy for Deep Learning?
University of Bar-Ilan（巴伊兰大学）
贝叶斯学习通过随机梯度朗之万动力学（SGLD）已被建议用于差分私人学习。虽然以前的研究提供了差分隐私边界SGLD在算法的初始步骤或接近收敛时，之间的差分隐私保证的问题仍然没有答案。这个过渡区域非常重要，特别是对于贝叶斯神经网络，因为它很难保证收敛到后验。本文表明，使用SGLD可能会导致这个过渡区域的无限隐私损失，即使从后验采样是所需的差异隐私。
2023-02-05 cs.CR cs.LG
Optimal Rates for Pure {\varepsilon}-Differentially Private Stochastic Convex Optimization with Heavy Tails
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文研究在纯ε差分隐私下具有重尾梯度的随机凸优化问题，通过假设k阶矩有界而非梯度 Lipschitz 参数有界，推导出最优的过失界速率，并提出在多项式时间内以高概率达到该速率的算法。
2026-04-07 cs.CR cs.LG stat.ML
Observations on the Bias of Nonnegative Mechanisms for Differential Privacy
我们研究了两种方法，有界数据的差异私人分析，并将其扩展到非负查询。我们首先回顾拉普拉斯机制，边界膨胀截断（BIT）适用于非负查询和截断都导致严格的正偏置。然后，我们考虑使用翻译斜坡函数的BIT的泛化。我们显式地将最优函数用于最坏情况下的偏差。我们表明，应用任何平方可积的后处理函数的拉普拉斯机制导致严格的正的最大绝对偏差。相应的结果也示出了一个概括的截断，我们称之为限制。我们还简要考虑了一种基于正数据乘法机制的替代方法，并表明，在没有额外限制的情况下，这些机制可能会导致无限的偏差。
2021-01-08 cs.CR math.ST stat.TH
Differentially Private SGD with Non-Smooth Losses
Northwest University（西北大学）；University of Birmingham（伯明翰大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
在本文中，我们关注的差异私人{随机梯度下降（SGD）}算法在随机凸优化（SCO）的设置。现有的工作大多要求损失是Lipschitz连续和强光滑的，模型参数是一致有界的。然而，这些假设是限制性的，因为许多流行的损失违反这些条件，包括SVM的铰链损失，鲁棒回归中的绝对损失，甚至是无界域中的最小二乘损失。我们显着放松这些限制性的假设，并建立隐私和泛化（实用程序）保证私人SGD算法使用输出和梯度扰动与非光滑凸损失。具体地，损失函数被放松以具有$α$连续梯度（称为$α$平滑度），其实例化Lipschitz连续性（$α=0$）和强平滑性（$α=1$）。我们证明了噪声SGD与$α$ -Hölder平滑损失使用梯度扰动可以保证$(ε,δ)$ -差分隐私（DP），并达到最佳的超额人口风险$\mathcal{O}\Big(\frac{\sqrt{d\log(1/δ)}}{nε}+\frac{1}{\sqrt{n}}\Big)$，对数项，与梯度复杂度$ \mathcal{O}( n^{2-α\over 1+α}+ n).$这表明了一个重要的权衡之间的$α$ -Hölder平滑的损失和计算复杂度的私人SGD统计最优性能。特别是，我们的研究结果表明，$α$ -Hölder光滑与$α\ge {1/2}$是足以保证$(ε,δ)$ -DP的噪声SGD算法，同时实现最佳的超额风险与线性梯度复杂度$\mathcal{…
2021-06-26 cs.LG stat.ML
Optimal Private Median Estimation under Minimal Distributional Assumptions
我们研究的基本任务，估计从有限的样本个数的潜在分布的中位数，在纯差分隐私约束。我们专注于满足最小假设的分布，即它们在中位数周围的一个小邻域内具有正密度。特别地，允许分布输出无界值，并且不需要具有有限矩。我们计算精确的，高达常数项，统计估计率的中位数提供接近紧的上限和下界。此外，我们设计了一个多项式时间的差分隐私算法，可证明达到最佳的性能。在技术层面上，我们的研究结果利用Lipschitz扩展引理，使我们能够设计和分析差分私有算法，仅在适当定义的“典型”样本的情况下。
2020-11-12 cs.CR cs.DS math.PR
PRISM: Gauge-Invariant Tangent-Space Differentially Private LoRA
University of Science and Technology of China（中国科学技术大学）
针对LoRA中低秩参数化导致的非可辨识性和规范依赖噪声放大问题，提出PRISM机制，通过构造规范不变的差分隐私扰动，实现高效且稳定的隐私-效用权衡。
2026-05-31 cs.LG
A Distributed Differentially Private Algorithm for Resource Allocation in Unboundedly Large Settings
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们介绍了一个实用的和可扩展的算法（PALMA），用于解决多代理系统的基本问题之一-找到匹配和分配-在无限大的设置（例如，城市环境中的资源分配、按需移动系统等），同时提供强有力的最坏情况隐私保证。PALMA是去中心化的，在设备上运行，不需要智能体通信，并且在合理的假设下在恒定的时间内收敛。我们评估PALMA在移动按需和纸张分配的情况下，使用真实的数据，并证明它提供了一个强大的隐私级别（$\varepsilon \leq 1$和中位数低至$\varepsilon = 0.5$跨代理）和高质量的匹配（高达$86\%$的非私人最佳，甚至优于隐私保护的集中式最大权重匹配基线）。
2022-03-13 cs.AI cs.CR cs.MA
Generalized PTR: User-Friendly Recipes for Data-Adaptive Algorithms with Differential Privacy
University of California, Santa Barbara（加州大学圣巴巴拉分校）
“Propose-Test-Release”（PTR）框架是设计数据自适应的差分私有（DP）算法的经典配方，即当输入数据集良好时添加较少噪声的算法。我们通过私下测试数据相关的隐私损失而不是本地敏感性，将PTR扩展到更一般的设置，从而使其适用于标准的噪声添加机制之外，例如，具有无限或未定义的敏感性的查询。我们证明了通用的PTR使用私人线性回归作为一个案例研究。此外，我们应用我们的算法来解决一个来自“教师集合的私人聚合（PATE）”的开放问题-通过精细的数据依赖分析私下发布整个模型。
2022-12-31 cs.LG
Instance-Specific Asymmetric Sensitivity in Differential Privacy
Anonym Inc.（安诺尼姆公司）
本文提出一种新的差分隐私估计算法框架，基于逆敏感度机制并应用稀疏向量技术，通过打破无偏假设以优化偏差-方差权衡，使其能适应非对称距离并扩展至无界数据，在 $O(n)$ 时间内显著提升估计性能。
2023-11-02 cs.DS cs.LG stat.ML
Beyond Ordinary Lipschitz Constraints: Differentially Private Stochastic Optimization with Tsybakov Noise Condition
本文研究满足Tsybakov噪声条件的差分隐私随机凸优化，提出效用界与Lipschitz常数无关的DP算法，推广至非Lipschitz情形并给出私有极小极大速率下界。
2025-09-04 cs.LG
Private Statistical Estimation via Truncation
Yale University（耶鲁大学）
本文提出基于数据截断的差分隐私统计估计框架，为无界支撑下的指数族分布（如高斯均值和协方差）设计高效DP估计器，并通过最大似然与DP随机梯度下降修正截断偏差，实现接近最优的样本复杂度。
2025-11-07 cs.CR cs.DS cs.LG
Differentially private partition selection
许多数据分析操作可以表示为对一组无界分区的GROUP BY查询，然后是每个分区的聚合。为了使这样的查询具有差异私有性，向每个聚合添加噪声是不够的：我们还需要确保释放的分区集也是差异私有的。这个问题并不是新的，最近正式引入了差分私有集联合。在这项工作中，我们继续这一领域的研究，并专注于共同的设置，每个用户都与一个单一的分区。在这种情况下，我们提出了一个简单的，最佳的差分私有机制，最大限度地增加释放分区的数量。我们讨论了实现的考虑因素，以及这种方法的可能扩展到每个用户都有助于一个固定的，少量的分区设置。
2021-10-29 cs.CR cs.DS
Differential privacy and noisy confidentiality concepts for European population statistics
本文件旨在概述目前正在为官方人口统计和普查讨论的基于随机噪声的统计披露控制的各种办法。一个特别的重点是对影响讨论的不同概念之间的严格划分：我们明确区分风险措施，噪声分布和输出机制-将这些概念纳入范围并相互联系。在概括了差异隐私作为一种风险度量之后，本文还评论了一些特定输出机制和参数设置的效用和风险方面，特别关注官方人口统计中相当典型的静态输出。特别是，有人认为，无界噪声分布，如平原拉普拉斯，可能会危及关键的独特的普查功能，没有明确的需要从风险的角度来看。另一方面，有界噪声分布，如截断拉普拉斯或细胞键方法，可以设置，以保持独特的普查功能，同时控制披露风险，在类似普查的输出。最后，本文分析了一些典型的攻击场景，以限制通用噪声参数范围，这表明2021年欧盟人口普查输出场景具有良好的风险/效用折衷。分析还表明，严格差别私有机制将受到严重限制，在这种情况下。
2020-12-17 cs.CR stat.ME
Differential privacy guarantees of Markov chain Monte Carlo algorithms
University of Warwick, UK（沃里克大学）
本文为MCMC算法提供差分隐私保证，基于马尔可夫链收敛假设建立样本与估计器的隐私保证，并针对未调整Langevin算法和随机梯度Langevin动力学，利用Girsanov定理与扰动技巧在非凸无界域中推导出Rényi DP界限及链轨迹隐私界限。
2025-11-02 cs.LG stat.CO stat.ML
Sequential Change Detection for Multiple Data Streams with Differential Privacy
University of Minnesota（明尼苏达大学）；University of Georgia（佐治亚大学）
本文研究了在差分隐私约束下多数据流的顺序变化点检测问题，提出DP-SUM-CUSUM方法，通过汇总各流CUSUM统计量并注入校准的拉普拉斯噪声，实现隐私保护下的高效检测。
2026-04-14 cs.CR math.ST stat.TH
On Linear Time Decidability of Differential Privacy for Programs with Unbounded Inputs
我们介绍了一个自动机模型，用于描述有趣的类的差分隐私机制/算法，包括已知的机制，从文献。这些自动机可以建模算法，其输入可以是实值查询答案的无界序列。我们考虑的问题，检查是否存在一个常数$d$，使这些自动机所描述的算法是$dε$ -差分隐私的隐私预算参数$ε$的所有正值。我们表明，这个问题可以决定在时间上的线性自动机的大小确定的必要和充分条件的基本图形的自动机。本文的结果是已知的算法与一个无界数量的查询答案从实数集取值的第一个可判定性结果。
2021-04-29 cs.CR cs.FL cs.LO
Sensitivity estimation for differentially private query processing
针对含连接操作的复杂查询敏感度难以计算的问题，本文提出基于采样和草图的高效敏感度估计方法，在保证准确性的同时显著降低计算开销。
2023-04-19 cs.CR cs.DB
Securing Unbounded Differential Privacy Against Timing Attacks
本文研究无界差分隐私程序抵御时序攻击的问题，依据随机化 RAM 计算模型给出纯 JOT-DP 所需错误概率的充要条件，并提出保持效率的程序转换方法。
2025-06-09 cs.CR
Differentially Private Stream Processing at Scale
该研究提出首个大规模差分隐私流聚合系统DP-SQLP，在算法与系统层面实现创新，经实验误差较基准降低至少16倍，已应用于Google Shopping与Google Trends。
2024-07-12 cs.CR cs.DB
Polynomial Time and Private Learning of Unbounded Gaussian Mixture Models
McMaster University（麦克马斯特大学）；Google（谷歌）
本文提出将 GMM 隐私参数估计归约为非隐私学习的黑盒私有化框架，基于 [MV10] 给出无参数有界性假设下的首个多项式时间差分隐私 GMM 学习算法及样本复杂度上界。
2023-06-07 cs.CR cs.DS cs.IT
Necessary Conditions in Multi-Server Differential Privacy
我们考虑的协议，用户与多个服务器进行通信，对用户的数据进行计算。对手对许多参与方施加半诚实的控制，但相对于诚实的用户，它的观点是不同的隐私。先前的工作描述了需要多轮交互或提供隐私以对抗计算受限对手的协议。我们的工作提出了限制非交互式协议，提供隐私对无限的对手。我们表明，这些协议需要指数更多的样本，一些学习和估计任务比中央私人同行。这意味着要实现中心模型的性能，需要交互性或计算差分隐私，或两者兼而有之。
2022-08-17 cs.CR
Private Continual Counting of Unbounded Streams
Department of Computer Sciences University of Wisconsin — Madison（计算机科学系威斯康星大学麦迪逊分校）；Department of Electrical and Computer Engineering University of Wisconsin — Madison（电气与计算机工程系威斯康星大学麦迪逊分校）
本研究提出一种无界流的隐私连续计数算法，通过引入基于对数扰动的矩阵分解，实现平滑误差和更优的方差与空间效率。
2026-11-10 cs.CR cs.DS cs.LG
Bounded and Unbiased Composite Differential Privacy
针对传统差分隐私机制输出无界、现有有界方案存在偏差的问题，提出由激活函数与基函数构成的复合概率密度差分隐私机制，搭配无需重复实验的超参数优化算法，在三个基准数据集上效用优于传统Laplace和Gaussian机制。
2023-11-04 cs.CR
On Rényi Differential Privacy in Statistics-Based Synthetic Data Generation
本文理论评估了利用均值向量和协方差矩阵生成合成数据时的 Rényi 差分隐私，给出了满足该隐私的条件，并在千万级数据规模下验证了其隐私保障。
2023-03-31 cs.CR cs.IT math.IT
Multi-Objective Submodular Maximization with Differential Privacy
East China Normal University（华东师范大学）；The Chinese University of Hong Kong（香港中文大学）；Beijing Jiaotong University（北京交通大学）
针对差分隐私下的基数约束多目标子模最大化问题，提出了两种结合差分隐私机制的算法（扩展贪心算法和截断技术），并给出了近似保证，实验验证了有效性。
2026-06-04 cs.CR cs.DS
DP-Dueling: Learning from Preference Feedback without Compromising User Privacy
Apple（苹果公司）
本文研究了差分隐私约束下的dueling bandit问题，提出了首个适用于大型决策空间的差分隐私dueling bandit主动学习算法，在有限和无限臂空间下均实现了接近最优的regret bound，并证明了其最优性。
2024-03-22 cs.CR cs.LG
DPI: Ensuring Strict Differential Privacy for Infinite Data Streaming
本文提出DPI技术，通过限制无限数据流中每个用户的总隐私泄露，并利用增强机制提高准确性，实现严格差分隐私下的高实用性数据收集与分析。
2024-07-20 cs.CR
Scalable Private Partition Selection via Adaptive Weighting
研究差分隐私分区选择问题，提出自适应重路由权重的MAD算法及两轮版本MAD2R，在保持隐私的同时最大化输出项数，可扩展至数千亿项数据集。
2025-08-08 cs.CR cs.DS
KV-Auditor: Auditing Local Differential Privacy for Correlated Key-Value Estimation
本文提出KV-Auditor框架，通过估计经验隐私下界审计本地差分隐私键值估计机制，针对非交互式与交互式机制分别设计水平、垂直审计及分段策略，实验验证其有效性。
2025-08-15 cs.CR
Privacy and Accuracy-Aware AI/ML Model Deduplication
本文首次形式化差分隐私训练模型的去重问题，提出一种隐私与精度感知的去重机制，通过贪婪策略和稀疏向量技术最小化存储与隐私成本，在保证隐私的同时实现了最高35倍的压缩比和43倍的推理加速。
2025-03-04 cs.CR cs.DB
Pan-private Algorithms: When Memory Does Not Help
考虑在线到达的更新，其中第$t$个输入是$(i_t,d_t)$，其中$i_t$被认为是用户的ID。非正式地，随机化函数$f$相对于ID是{ \em差分隐私}，如果由$f$引起的概率分布与由它在输入上引起的概率分布没有太大不同，其中ID $j$的出现被一些其他ID $k$替换。最近，这个概念被扩展到{ \em泛隐私}，其中$f$的计算保留差分隐私，即使算法的内部存储器被暴露给对手（例如通过恶意闯入或通过政府的命令）。这是一个很强的隐私概念，令人惊讶的是，对于基本的计数任务，如不同的计数，重打击者和其他人，Dwork等人~ \cite{dwork-pan}提出了泛隐私算法具有合理的准确性。泛私有算法是不平凡的，并且依赖于采样。我们重新审视这些基本的计数任务，并显示改进的界限。特别地，我们估计不同计数$\Dt$在$(1\pm \eps)\Dt \pm O(\polylog m)$内，其中$m$是宇宙中元素的数量。这使用了流文学中已知的草图上的适当噪声统计。我们还提出了第一个已知的泛隐私的下限相对于一个单一的入侵。我们的下限表明，即使允许无限内存，泛私有算法的不同计数不能显着更准确地比我们的算法。我们的下界使用噪声解码。对于沉重的打击计数，我们提出了一个泛私人流算法，是准确的$O(k)$在最坏的情况下，以前已知的界限，这个问题是任意更糟。我们的泛私有算法的一个有趣的方面是，它们故意使用非常…
2010-09-08 cs.CR cs.DS
