Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University(西蒙弗雷泽大学)
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征(概念漂移),同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案,这个问题有两个显着的特点:它允许一个\textit{unbounded}数量的集成更新,以处理潜在的永无止境的数据流在一个固定的隐私预算,它是\textit{model agnostic},因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手,这些数据集具有不同的隐私设置,概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
"Private Prediction Strikes Back!'' Private Kernelized Nearest Neighbors with Individual Renyi Filter
University of California, Santa Barbara(加州大学圣巴巴拉分校);Facebook AI Research(脸书人工智能研究院)
针对私有训练难以适配数据集增量变化的问题,提出可随数据集更新、单用户级精确控制Rényi DP的Ind-KNN私有预测算法,在多任务上准确率优于现有方法且在部分场景优于NoisySGD私有训练。
2023-06-12 cs.CR cs.LG
Private Language Model Adaptation for Speech Recognition
Meta AI
语音模型自适应对于处理服务器端代理训练数据与用户本地设备上接收的实际数据之间的差异至关重要。通过使用联邦学习(FL),我们引入了一种在私人设备上连续适应神经网络语言模型(NNLM)的有效方法,并应用于自动语音识别(ASR)。为了解决设备上训练语料库中潜在的语音转录错误,我们进行了实证研究,比较了利用标记级置信度分数来提高FL设置中NNLM质量的各种策略。实验结果表明,与无模型自适应相比,该方法在两个语音评测数据集上分别实现了2.6%和10.8%的相对字错误率(WER)降低。我们还提供了分析,在评估我们提出的程序的隐私保证。
2022-06-15 cs.CL cs.LG cs.SD
Differentially Private Online Learning for Cloud-Based Video Recommendation with Multimedia Big Data in Social Networks
Huazhong University of Science and Technology(华中科技大学);University of Florida(佛罗里达大学)
随着多媒体服务的快速增长和在线社交网络中视频内容的大量提供,用户难以获得他们的兴趣。因此,已经提出了各种个性化推荐系统。然而,他们忽略了社交媒体数据的加速扩散导致了大数据时代的到来,这极大地阻碍了视频推荐的过程。此外,它们都没有考虑用户上下文的隐私(例如,社会地位、年龄和爱好)和视频服务供应商的存储库,这些存储库极其敏感,具有重大商业价值。针对上述问题,提出了一种基于分布式在线学习的云辅助差异化隐私视频推荐系统。在我们的框架中,服务供应商被建模为分布式合作学习者,根据用户的上下文推荐视频,同时适应视频选择策略的基础上,用户点击反馈,以最大限度地提高总用户点击(奖励)。考虑到社交媒体大数据的稀疏性和异构性,本文还提出了一种新的几何差异隐私模型,该模型可以大大降低性能(推荐准确率)损失。仿真结果表明,该算法的性能优于其他现有的方法,并保持计算精度和隐私保护水平之间的微妙平衡。
2016-02-01 cs.LG
Adaptive Diffusion Denoised Smoothing : Certified Robustness via Randomized Smoothing with Differentially Private Guided Denoising Diffusion
University of British Columbia, Vancouver, Canada(不列颠哥伦比亚大学);ServiceNow Research(ServiceNow研究)
本文提出Adaptive Diffusion Denoised Smoothing方法,将引导去噪扩散模型重解释为自适应GDP机制序列,通过GDP隐私过滤器分析端到端鲁棒性,在ImageNet上针对$\ell_2$威胁模型同时提升了认证与标准准确率。
2025-07-10 cs.CR cs.CV cs.LG
DP-PCA: Statistically Optimal and Differentially Private PCA
University of Washington(华盛顿大学);Google Research(谷歌研究院)
我们研究了从$n$ i.i.d.~计算主成分的规范统计任务。数据在$(\varepsilon,δ)$ -差分隐私下的$d$维度中。($i$)即使对于高斯数据,现有的私有算法也需要样本数量$n$与$d$超线性地缩放,即,$n=Ω(d^{3/2})$,以获得非平凡的结果,而非私有PCA仅需要$n=O(d)$,并且($ii$)现有技术即使在每个数据点中的随机性任意小时也遭受非零误差。我们提出DP-PCA,这是一个单通算法,克服了这两个限制。它是基于一个私人的小批量梯度上升方法,依赖于{ \em私人均值估计},它增加了最小的噪音,以确保通过适应一个给定的小批量梯度的方差隐私。对于亚高斯数据,我们甚至为$n=\tilde O(d)$提供了接近最优的统计错误率。此外,我们提供了一个下界,表明亚高斯风格的假设是必要的,在获得最佳的错误率。
2022-05-27 cs.CR cs.IT cs.LG
Tight Auditing of Differentially Private Machine Learning
Google DeepMind(谷歌DeepMind);ETHZ(苏黎世联邦理工学院)
差分隐私的审计机制使用概率手段来经验性地估计算法的隐私级别。对于私有机器学习,现有的审计机制是严格的:经验隐私估计(几乎)匹配算法的可证明隐私保证。但这些审计技术有两个局限性。首先,他们只在不可信的最坏情况假设下给出严格的估计(例如,一个完全对抗的数据集)。其次,它们需要数千或数百万次训练运行来产生隐私泄漏的重要统计估计。这项工作解决了这两个问题。我们设计了一个改进的审计方案,可以对自然(而不是对手精心制作的)数据集进行严格的隐私估计-如果对手可以在训练期间看到所有模型更新。以前的审计工作依赖于相同的假设,这是允许在标准的差分隐私威胁模型。该威胁模型也适用于,例如,在联邦学习环境中。此外,我们的审计方案只需运行两次训练(而不是数千次)即可通过调整差分隐私紧合成定理的最新进展来产生严格的隐私估计。我们展示了我们改进的审计方案的实用性,通过在私人机器学习代码中隐藏先前审计技术的实现错误。
2023-02-15 cs.CR cs.LG
Instance-Optimality for Private KL Distribution Estimation
National University of Singapore(新加坡国立大学);Apple(苹果公司)
研究离散分布的私有 KL 散度估计问题,提出基于 Good-Turing 估计器变体的实例最优算法,并证明其上下界,克服了极小极大最优方法在非最坏实例上性能不佳的缺陷。
2025-05-29 cs.LG stat.ML
Private Federated Learning In Real World Application -- A Case Study
Apple(苹果公司)
本文以应用选择模型为案例,提出集成注意力机制与不确定性管理的私有联邦学习(PFL)框架,通过边缘设备训练与中央聚合保障数据隐私,实验验证其真实场景可行性及提升模型准确性的潜力。
2025-02-10 cs.CR cs.LG
Delving into Differentially Private Transformer
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Hong Kong University of Science and Technology(香港科技大学);Changan Automobile(长安汽车);Changan Technology Co., Ltd(长安科技有限公司);Rutgers University(罗格斯大学)
本文探讨了差分隐私 Transformer 训练问题,通过模块化归约思想,针对注意力分散与梯度裁剪不兼容两大难点,提出 Re-Attention Mechanism 和 Phantom Clipping 两种方法,为该领域研究提供了新视角。
2024-08-26 cs.CR cs.LG
Differentially Private Equilibrium Finding in Polymatrix Games
研究在多项矩阵博弈中满足差分隐私约束的均衡查找问题,证明在玩家数量趋于无穷时,无法同时获得高精度均衡和低隐私预算,提出一种新的分布式算法以实现同时消失的纳什差距和隐私预算。
2026-03-18 cs.AI cs.CR cs.GT
Unleashing the Power of Randomization in Auditing Differentially Private ML
Google Research(谷歌研究院);Northeastern University(东北大学);University of Washington(华盛顿大学)
本文提出基于提升差分隐私(LiDP)的审计框架,通过随机化金丝雀设计和利用多重统计检验的新置信区间,显著降低了审计差分隐私机器学习算法所需的样本复杂度。
2023-05-29 cs.CR cs.IT cs.LG
Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research(微软研究院)
差分隐私(DP)是隐私保护深度学习的主要方法。因此,有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP,依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而,现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数,称为隐私预算。这阻止了训练算法的设计,即在运行中调整隐私预算,或者提前终止以减少总的隐私损失。或者,现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限,常数太大,是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题,证明了一个简单的合成定理,该定理具有较小的常数,使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用:在线调整噪声或批量大小,以在固定的总隐私损失内提高模型的准确性,以及在微调模型时提前停止,以减少总隐私损失。
2021-06-04 cs.LG stat.ML
VP-NTK: Exploring the Benefits of Visual Prompting in Differentially Private Data Synthesis
National Yang Ming Chiao Tung University(国立阳明交通大学);IBM Research(IBM研究院)
针对差分隐私生成模型合成高分辨率图像效用低的问题,本研究将视觉提示与基于神经切线核的DP-NTK生成器结合,显著提升了高分辨率图像数据集的合成准确率,并通过消融实验验证了参数影响,为提升DP合成数据效用提供了新方向。
2025-03-20 cs.CV cs.LG
Computational Hardness of Private Coreset
Google Research(谷歌研究);Pontificia Universidad Católica de Chile(智利天主教 Pontificia 大学)
该研究证明了在差分隐私下计算k-均值核心集的计算下界,指出在特定条件下无法在多项式时间内实现该任务。
2026-02-19 cs.CG cs.CR cs.DS
Differentially-Private Multi-Tier Federated Learning
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院);Department of Computer Science and Engineering, Yonsei University(延世大学计算机科学与工程系)
针对联邦学习中的隐私泄露问题,提出M^2FDP方法,通过多层差分隐私与分层噪声注入,实现隐私与性能的联合优化,并证明其收敛性及优于基线的效果。
2024-11-08 cs.CR cs.DC cs.LG
Privacy Leakage via Output Label Space and Differentially Private Continual Learning
University of Helsinki(赫尔辛基大学);CSC – IT Center for Science(CSC – 科学信息中心);Ericsson Research(爱立信研究);Aalto University(阿alto大学)
本文提出通过输出标签空间的隐私泄露问题,针对连续学习中的隐私侧信道,提出差分隐私机制和公开标签空间来消除侧信道,实验显示模型在保持隐私的同时准确率更高。
2026-08-24 cs.CR cs.LG
Can Differentially Private Fine-tuning LLMs Protect Against Privacy Attacks?
Hokkaido University(北海道大学);China University of Mining and Technology(中国矿业大学);Institute of Science Tokyo(东京科学研究院)
本文系统研究了差分隐私在不同LLM微调方法和隐私预算下对抵御数据提取和成员推理攻击的经验隐私保护效果,揭示了隐私与效用的权衡差异,为隐私感知的模型部署提供了实用指导。
2025-05-01 cs.AI cs.CR cs.LG
Instance-Specific Asymmetric Sensitivity in Differential Privacy
Anonym Inc.(安诺尼姆公司)
本文提出一种新的差分隐私估计算法框架,基于逆敏感度机制并应用稀疏向量技术,通过打破无偏假设以优化偏差-方差权衡,使其能适应非对称距离并扩展至无界数据,在 $O(n)$ 时间内显著提升估计性能。
2023-11-02 cs.DS cs.LG stat.ML
Strong Hardness of Privacy from Weak Traitor Tracing
尽管有很多研究,差分隐私的计算复杂性仍然知之甚少。在本文中,我们考虑的计算复杂性,准确地回答家庭$Q$的统计查询的数据宇宙$X$下差分隐私。对数据集$D \in X^n$的统计查询询问“$D$的元素中有多少部分满足$X$上的给定谓词$p$?“Dwork等人(STOC'09)和Boneh和Zhandry(NPTO'14)表明,如果$Q$和$X$都是多项式大小,那么就有一个有效的差分私有算法,可以准确地回答所有查询,如果$Q$和$X$都是指数大小,那么在合理的假设下,就不存在有效的算法。我们表明,在相同的假设下,如果查询或数据宇宙的数量是指数大小,另一个具有至少$\tilde{O}(n^7)$的大小,那么没有差异私人算法,回答所有的查询。在这两种情况下,结果在数量上几乎是紧密的,因为存在一种有效的差异私有算法,其在指数大小的数据域上回答$\tildeΩ(n^2)$查询,并且存在一种在大小为$\tildeΩ(n^2)$的数据域上回答指数许多查询的算法。我们的证明建立在差分隐私和叛徒追踪方案中的硬度结果之间的联系上(Dwork等人,STOC'09; Ullman,STOC'13)。我们证明了我们的硬度结果多项式大小的查询集(分别,DataUniverse)通过表明它们是由具有非常短的密文的特殊类型的叛逆者追踪方案的存在而得出的(分别地,密钥),但安全性保证非常弱,然后构造这样的方案。
2016-07-20 cs.CR cs.DS
Optimality of Matrix Mechanism on $\ell_p^p$-metric
Nanjing University(南京大学);Rutgers University(罗格斯大学)
本文在差分隐私下引入 $\ell_p^p$-误差度量,刻画了 $(ε,δ)$-差分隐私下回答线性查询的误差紧致界限,推广了前缀和与奇偶校验查询在 $p=2$ 时的已知结果。
2024-06-04 cs.CR cs.LG
SDFLoRA: Selective Decoupled Federated LoRA for Privacy-preserving Fine-tuning with Heterogeneous Clients
Zhejiang University(浙江大学);Tsinghua University(清华大学)
提出SDFLoRA,通过将LoRA更新解耦为共享和私有组件,仅聚合共享部分并注入差分隐私噪声,解决联邦微调中的秩异构和数据异构问题,提升隐私-效用权衡。
2026-06-16 cs.AI cs.LG
Private Algorithms for Stochastic Saddle Points and Variational Inequalities: Beyond Euclidean Geometry
The Ohio State University(俄亥俄州立大学);Pontificia Universidad Católica de Chile(智利天主教大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文在欧几里得和非欧几里得设置下,针对差分隐私约束的随机鞍点问题和随机变分不等式,提出了通用算法,获得近最优的强间隙界,并开发了新的泛化分析工具。
2024-11-07 cs.CR cs.LG math.OC
Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对差分隐私生成模型依赖噪声梯度导致调参与收敛困难的问题,提出向私有数据随机低维投影加噪的切片机制,并基于平滑切片$f$-散度和核估计器实现非对抗训练,提升合成数据质量且优化调整不增加隐私成本。
2024-10-25 cs.CR cs.LG
Differential privacy and Sublinear time are incompatible sometimes
该研究首次探索同时满足差分隐私与次线性时间的算法下界,证明一般情况下二者不可兼容,并以基于单向边际分布的简单问题为例验证了该结论。
2025-01-13 cs.CR cs.DS
InstaHide's Sample Complexity When Mixing Two Private Images
University of California, Berkeley(加州大学伯克利分校);Adobe Research(奥多比研究院);Columbia University(哥伦比亚大学);Boston University(波士顿大学);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);Duke University(杜克大学)
本文针对InstaHide隐私保护方案,提出统一攻击分析框架,并设计新算法在最优样本复杂度下可证明恢复所有私有图像,同时证明其计算安全性。
2024-02-06 cs.CC cs.CR cs.DS
Towards Optimal Differentially Private Regret Bounds in Linear MDPs
Department of Statistics and Data Science(统计与数据科学系)
本文研究线性MDP中隐私约束下的遗憾最小化问题,通过对LSVI-UCB++算法进行私有化并引入方差感知分析技术,设计出一种新的差分隐私算法,实现了优于以往私有方法的遗憾界且保持接近最优的效用。
2025-04-25 cs.DS cs.LG stat.ML
Quantum Worst-Case to Average-Case Reduction for Matrix-Vector Multiplication
National University of Singapore(新加坡国立大学)
本研究提出一种更高效、更简单的量子最坏情况到平均情况归约方法,用于矩阵向量乘法问题,改善了对成功概率的依赖性,为量子细粒度复杂性研究奠定基础。
2025-10-17 cs.CC cs.DS quant-ph
Keeping a Secret Requires a Good Memory: Space Lower-Bounds for Private Algorithms
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
本文通过多玩家通信游戏技术,首次建立了隐私算法的空间下界,解决了隐私计算中内存效率与误差率之间的关系问题。
2026-02-12 cs.CC cs.CR cs.DS
Differentially Private Combinatorial Optimization
请考虑以下问题:给定一个度量空间,其中一些点是"客户端",打开一组至多$k$设施,以最小化从客户端到这些设施的平均距离。这正是研究得很好的$k$-中值问题,对于该问题,已知许多近似算法和硬度结果。请注意,目标函数鼓励在有许多客户的地区开设设施,并且给定解决方案,通常可以很好地了解客户所在的位置。然而,这造成了以下困境:如果客户端的身份是我们希望保密的敏感信息,该怎么办?有没有可能为这个问题设计好的算法来保护客户的隐私?在本文中,我们发起了一个系统的研究离散优化问题的算法的框架内的差分隐私(形式化的想法,保护个人输入元素的隐私)。我们发现,许多这样的问题确实有很好的近似算法,保持差分隐私,这是即使在情况下,它是不可能保持加密的隐私定义,而计算任何非平凡的近似,甚至最佳解决方案的值,更不用说整个解决方案。除了$k$-中位数问题,我们研究的问题,顶点和集覆盖,最小割,设施的位置,Steiner树,和最近推出的子模块最大化问题,"组合公共项目"(CPP)。
2009-11-11 cs.CR cs.DS cs.GT
Fully Dynamic Graph Algorithms with Edge Differential Privacy
Boston University(波士顿大学);IMADA, University of Southern Denmark(南丹麦大学 IMADA)
研究完全动态图更新下边差分隐私的算法,针对三角形计数、连通分量数、最大匹配大小和度直方图等统计量,给出上下界,并首次实现项级隐私算法。
2026-06-24 cs.CR cs.DS
Triangle Counting with Local Edge Differential Privacy
本文研究了局部边差分隐私模型下的三角形计数问题,分别在非交互式和交互式设置中证明了加性误差下界,并匹配了现有算法误差,显著推进了差分隐私图分析的研究。
2025-08-14 cs.CR cs.DS
Counting Distinct Elements in the Turnstile Model with Differential Privacy under Continual Observation
该研究针对Turnstile流模型中差分隐私持续发布不同元素计数的问题,证明了最坏情况误差下界,提出基于最大翻转度的元素级隐私机制,实现了紧的参数化误差保证。
2024-07-10 cs.CR cs.DS
Unifying Laplace Mechanism with Instance Optimality in Differential Privacy
本文提出分段拉普拉斯机制,通过按局部敏感度分段成比例地添加拉普拉斯噪声,在保持纯差分隐私的同时实现近实例最优性,并严格优于逆敏感度机制。
2025-05-05 cs.DS