A Differential Privacy Mechanism Design Under Matrix-Valued Query
Princeton University(普林斯顿大学)
传统上,差分隐私机制设计已经针对标量值查询函数进行了定制。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声到矩阵的每个元素,这种方法往往是次优的,因为它丧失了利用通常与矩阵分析相关联的结构特性的机会。在这项工作中,我们考虑的差分隐私机制的设计,专门为矩阵值查询功能。所提出的解决方案是利用矩阵变量噪声,而不是传统的标量值噪声。特别是,我们提出了一种新的差分隐私机制称为矩阵变量高斯(MVG)机制,它增加了一个矩阵值的噪声从矩阵变量高斯分布。我们证明了MVG机制保留$(ε,δ)$ -差分隐私,并表明它允许自然地利用矩阵值查询函数的结构特征。此外,由于MVG机制和矩阵值查询的多维性质,我们引入了方向噪声的概念,可以利用它来减轻噪声对查询效用的影响。最后,我们展示了MVG机制的性能和方向噪声的优势,使用三个矩阵值查询三个隐私敏感的数据集。我们发现,MVG机制显着优于四个以前的国家的最先进的方法,并提供了可比的实用程序的非私人基线。因此,我们的工作提出了一个很好的前景,未来的研究和实现的差分隐私矩阵值查询函数。
2018-02-26 cs.CR cs.LG
Privacy-Aware Compression for Federated Learning Through Numerical Mechanism Design
Meta AI
本文提出插值MVU机制,通过在数值设计中引入插值程序提升隐私分析效率,实现更优的隐私-效用权衡与通信高效私有联邦学习。
2023-08-10 cs.CR cs.LG
Improved Matrix Gaussian Mechanism for Differential Privacy
Shanghai Jiao Tong University(上海交通大学)
近年来,机器学习的广泛应用对大规模、高维数据产生了巨大的需求,而数据的隐私问题也引起了人们的严重关注。差分隐私(DP)机制传统上是针对标量值而不是针对像矩阵这样的结构数据开发的。基于$ (\varepsilon,δ) $ -差分隐私的充要条件,提出了一种改进的矩阵高斯机制(IMGM)。IMGM只对噪声协方差矩阵的奇异值施加约束,这为设计留下了空间。在矩阵值DP的合法噪声分布中,我们发现最佳分布是i.i.d.。高斯噪声,并且DP约束成为每个元素上的噪声下限。我们进一步推导出IMGM的紧合成方法。除了理论分析外,在各种模型和数据集上的实验也验证了IMGM在相同的隐私保证下比现有的机制产生更高的效用。
2021-04-30 cs.CR cs.LG
Privacy Amplification for the Gaussian Mechanism via Bounded Support
Meta;FAIR(Facebook人工智能研究院)
针对现有隐私机制难以充分利用依赖数据的隐私核算框架优势的问题,提出有界支撑高斯机制的简单修改方案,经DP-SGD训练实验验证可将pDP的ε界降低30%且不损失模型效用。
2024-03-07 cs.CR cs.LG
Adaptive Privacy Composition for Accuracy-first Mechanisms
LinkedIn(领英);Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
针对精度优先降噪机制缺乏组合理论的问题,本文提出可在差分隐私与事后隐私机制间自适应切换的隐私过滤器,以跟踪累积隐私损失并保证总体差分隐私。
2023-12-05 cs.CR cs.DS cs.LG
Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics
LinkedIn(领英)
差分隐私(DP)为个人数据提供严格的隐私保证,同时还允许对整体敏感数据集进行准确的统计。要设计一个私有系统,首先必须设计私有算法,可以量化每个结果的隐私损失。然而,将噪声注入计算的私有算法不足以确保个人数据受到保护,因为许多噪声结果最终集中于真实的非私有化结果。因此,已经有几个作品提供了精确的公式,说明隐私损失如何在与私有算法的多次交互中累积。然而,这些公式要么提供了非常一般的隐私损失的界限,在某些类型的私人算法过于悲观的代价,或者他们可以太窄的范围,适用于一般的隐私系统。在这项工作中,我们统一了现有的隐私损失组合边界的特殊类别的差分隐私(DP)算法,以及一般DP组合边界。特别是,我们提供了强大的隐私损失界限时,分析师可以选择纯DP,有界范围(例如指数机制),或集中DP机制以任何顺序。我们还提供了最佳的隐私损失界限,适用于分析师可以选择纯DP和有界范围的机制在一批,即非自适应。此外,当一个分析师在每个类自适应选择机制,我们表现出不同的,预定的纯DP和有界范围机制之间的差异,隐私损失。最后,我们比较了基于直方图数据集的拉普拉斯和高斯机制的组合边界。
2020-11-17 cs.CR cs.LG
Rényi Differential Privacy Mechanisms for Posterior Sampling
University of California, San Diego(加利福尼亚大学圣迭戈分校)
使用最近提出的隐私Rényi差分隐私(RDP)的定义,我们重新审视固有的隐私释放一个单一的样本从后验分布。我们利用先验分布的影响来减轻单个数据点的影响。特别是,我们专注于从指数族和特定的广义线性模型,如逻辑回归的采样。我们提出了新的RDP机制,以及提供一个新的RDP分析现有的方法,以增加价值的RDP框架。每种方法都能够实现任意的RDP隐私保证,我们提供了实验结果,他们的功效。
2017-10-02 cs.AI cs.CR cs.LG
Dithered Gaussian Mechanism for Randomness-Efficient Differential Privacy
Institute of Science and Technology Austria(奥地利科学与技术研究所);BARC University of Copenhagen(哥本哈根大学BARC)
研究提出抖动高斯机制用于差分隐私,将离散化用于隐私输出,继承高斯机制隐私保证且避免浮点漏洞。该机制随机性高效,通过分离随机性来源减少随机比特数,应用于模型训练可实现安全噪声生成且开销适度。
2026-10-02 cs.CR cs.LG
Cape: Context-Aware Prompt Perturbation Mechanism with Differential Privacy
TikTok(抖音)
针对 LLM 推理中敏感提示泄露与效率、隐私、效用难以兼顾的问题,本文提出基于差分隐私的上下文感知扰动机制 Cape,通过混合效用函数和分桶采样改善隐私—效用权衡。
2025-05-15 cs.CR cs.LG
Privacy-Aware Compression for Federated Data Analysis
Meta AI
联合数据分析是分布式数据分析的框架,其中服务器编译来自一组分布式低带宽用户设备的噪声响应以估计聚合统计。该框架中的两个主要挑战是隐私和压缩,隐私是因为用户数据通常是敏感的,压缩是因为用户设备具有低网络带宽。先前的工作已经通过将标准压缩算法与已知的隐私机制相结合来单独解决这些挑战。在这项工作中,我们采取了全面的问题,并设计了一个家庭的隐私意识的压缩机制,适用于任何给定的通信预算。首先,我们提出了一种机制,用于传输一个单一的实数,在一定条件下具有最佳的方差。然后,我们将展示如何将其扩展到位置隐私用例的度量差分隐私,以及向量,以应用于联邦学习。我们的实验表明,我们的机制可以导致更好的效用与压缩权衡相同的隐私损失在一些设置。
2022-06-09 cs.CR cs.LG
Optimal Noise-Adding Mechanism in Additive Differential Privacy
Google AI(谷歌人工智能)
在一般的代价最小化框架下,我们推导出了最优的$(0, δ)$ -差分私有查询输出无关噪声添加机制。在较温和的技术条件下,我们证明了最优噪声概率分布是一个在原点具有概率质量的均匀分布。我们明确地推导出一般$\ell^p$成本函数,包括$\ell^1$(噪声幅度)和$\ell^2$(噪声功率)成本函数的最佳噪声分布,并表明发生在原点的概率集中时,$δ> \frac{p}{p+1}$。我们的研究结果表明,在现有的高斯机制的改进的两个和三个因素的$(0,δ)$ -差分隐私在高隐私制度的背景下,最大限度地减少噪声幅度和噪声功率,和增益是更明显的低隐私制度。我们的结果是一致的$(0,δ)$ -差分隐私在离散设置的现有结果,并确定在连续设置的概率集中现象。
2019-02-05 cs.CR cs.LG
MVG Mechanism: Differential Privacy under Matrix-Valued Query
Princeton University(普林斯顿大学)
传统上,差分隐私机制设计是针对纯量值查询函数量身定制的。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声的矩阵的每个元素,这种方法往往是次优的,因为它丧失了一个机会,利用结构特征,通常与矩阵分析。为了解决这个问题,我们提出了一种新的差分隐私机制称为矩阵变量高斯(MVG)机制,它增加了一个矩阵值的噪声从矩阵变量高斯分布,我们严格证明了MVG机制保持$(ε,δ)$ -差分隐私。此外,我们引入了方向噪声的概念,通过MVG机制的设计成为可能。定向噪声允许噪声对矩阵值查询函数的效用的影响被缓和。最后,我们实验证明了我们的机制使用三个矩阵值查询三个隐私敏感的数据集的性能。我们发现,MVG机制显着优于四个以前的国家的最先进的方法,并提供了可比的实用程序的非私人基线。
2018-10-16 cs.CR cs.LG stat.ML
Cactus Mechanisms: Optimal Differential Privacy Mechanisms in the Large-Composition Regime
Arizona State University(亚利桑那州立大学);Harvard University(哈佛大学);McMaster University(麦克马斯特大学)
大多数差分隐私机制被应用(即,在敏感的数据上多次。本文研究了在组合数较多的情况下最优差分隐私机制的设计问题。由于大数定律,在这种制度下,最好的隐私机制是最小化给定两个不同输入的机制的条件输出分布之间的Kullback-Leibler分歧的机制。我们制定了一个优化问题,以尽量减少这种分歧的噪声成本约束。我们首先证明了添加剂机制是最优的。由于优化问题是无限维的,它不能直接解决,然而,我们将这个问题,以获得接近最佳的添加剂机制,我们称之为“仙人掌机制”,由于它们的形状。我们表明,我们的量化方法可以任意接近最佳机制。令人惊讶的是,对于二次成本,高斯机制与仙人掌机制相比是严格次优的。最后,我们提供的数值结果表明,仙人掌机制优于高斯机制的有限数量的组合物。
2022-06-25 cs.CR cs.IT cs.LG
Privacy-preserving Decentralized Federated Learning over Time-varying Communication Graph
Lancaster University(兰卡斯特大学)
确定一组学习者如何以完全分散的(点对点,没有协调员)方式提供隐私保护的联邦学习是一个开放的问题。我们提出了第一个隐私保护的基于共识的算法,分布式学习器,以实现分散的全球模型聚合的环境中的高流动性,学习器之间的通信图可能会有所不同,连续轮的模型聚合。特别地,在每一轮全局模型聚合中,Metropolis-Hastings方法被应用于基于当前通信拓扑来更新加权邻接矩阵。此外,Shamir的秘密共享方案的整合,以促进隐私达成共识的全球模型。本文建立了该算法的正确性和隐私属性。通过建立在联邦学习框架上的仿真实验,对算法的计算效率进行了评估。
2022-10-01 cs.CR cs.LG cs.MA
Privacy Amplification by Mixing and Diffusion Mechanisms
MPI-SP(马克斯·普朗克安全与隐私研究所);IMDEA Software Institute(IMDEA软件研究所);University at Buffalo, SUNY(纽约州立大学布法罗分校);U.C. San Diego(加州大学圣迭戈分校)
差分隐私的一个基本结果表明,一个机制的隐私保证是通过对其输出的任何后处理来保持的。在本文中,我们调查在什么条件下随机后处理可以放大隐私的机制。通过解释后处理作为一个马尔可夫算子的应用,我们首先给出了一系列的放大结果的均匀混合性质的马尔可夫过程所定义的运营商。接下来,我们提供放大边界的耦合参数,可以应用在均匀混合的情况下,是不可用的。最后,我们引入了一个新的家庭的机制的基础上的扩散过程是封闭的后处理,并通过一个新的热流参数分析其隐私。在应用方面,我们推广了噪声SGD中的“隐私迭代放大”分析,并表明它在强凸情况下具有指数级改进,并研究了基于Ornstein-Uhlenbeck扩散过程的机制,其中包含高斯机制,作为特殊情况,对有界输入进行最佳后处理。
2019-10-27 cs.CR cs.LG math.PR
When Privacy Meets Partial Information: A Refined Analysis of Differentially Private Bandits
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文利用$ε$ --全局差分隐私(DP)算法研究了多武装匪徒问题。首先,我们证明了极大极小和问题相关的遗憾下界的随机和线性土匪,量化的硬度土匪$ε$ -全球DP。这些界限表明存在两个硬度制度,这取决于隐私预算$ε$。在高隐私制度(小$ε$),硬度取决于隐私和部分信息的奖励分布的耦合效应。在低隐私机制(大$ε$)中,具有$ε$ -全局DP的强盗并不比没有隐私的强盗更难。对于随机强盗,我们进一步提出了一个通用的框架来设计一个接近最佳的$ε$全球DP扩展的索引为基础的乐观强盗算法。该框架由三个组成部分:拉普拉斯机制,手臂依赖的自适应情节,并使用的唯一奖励收集的最后一集计算私人统计。具体来说,我们实例化$ε$ -全球DP扩展的UCB和KL-UCB算法,即AdaP-UCB和AdaP-KLUCB。AdaP-KLUCB是第一个既满足$ε$ -全局DP又能产生与问题相关下界匹配的遗憾上界的算法。
2022-11-04 cs.CR cs.LG math.ST
A bounded-noise mechanism for differential privacy
MIT(麻省理工学院)
我们提出了一种渐近最优的$(ε,δ)$差分私有机制,用于回答多个自适应询问的$Δ$敏感查询,解决了Steinke和Ullman的猜想[2020]。我们的算法有一个显着的优势,它增加了独立的有界噪声的每个查询,从而提供了一个绝对的错误界。此外,我们将我们的算法应用于自适应数据分析,获得了改进的保证,回答多个查询有关的一些潜在的分布使用有限的样本。数值计算表明,有界噪声机制优于高斯机制在许多标准设置。
2021-11-07 cs.CR cs.DS cs.LG
Avoiding Pitfalls for Privacy Accounting of Subsampled Mechanisms under Composition
Inria(法国国家信息与自动化研究所);University of Montpellier(蒙彼利埃大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Google DeepMind(谷歌DeepMind)
本文纠正了子采样差分隐私机制组合核算中的两个常见误区:证明最坏情况数据集自组合不能决定组合隐私保证,并揭示泊松子采样与无放回采样在隐私保证上可能差异显著,例如前者ε≈1而后者ε>10。
2025-04-08 cs.CR cs.DS cs.LG
Learning in a Large Function Space: Privacy-Preserving Mechanisms for SVM Learning
UC Berkeley(加州大学伯克利分校);Intel Labs(英特尔实验室)
最近的几项研究在隐私保护学习考虑了效用或风险之间的权衡和统计查询处理机制保证的差分隐私的水平。在本文中,我们研究这种权衡在私人支持向量机(SVM)学习。我们提出了两个有效的机制,一个用于有限维特征映射的情况下,一个用于潜在的无限维特征映射与不变核。对于不变性核的情况下,所提出的机制最大限度地减少了正则化的经验风险,在随机再生核希尔伯特空间,其内核一致逼近所需的内核具有高概率。这种从大规模学习中借鉴的技术允许该机制使用分类器的有限编码进行响应,即使函数类具有无限VC维。差分隐私建立使用算法稳定性的证明技术。效用-该机制的响应函数是逐点ε-接近非私人SVM的概率为1-delta-证明了呼吁正则化经验风险最小化的平滑度相对于小扰动的特征映射。我们得出结论的最佳差分隐私的SVM的下限。这个否定的结果表明,对于任何delta,没有机制可以同时对小delta和小beta是(delta,delta)有用的和beta差异私有的。
2009-11-30 cs.CR cs.DB cs.LG
Inference Privacy: Properties and Mechanisms
University of Arizona(亚利桑那大学)
针对推理阶段用户数据隐私缺乏系统保障的问题,提出推理隐私(IP)概念,确立其性质并与本地差分隐私对比,设计可自定义的输入/输出扰动机制,实验验证其效用与隐私权衡的实用性。
2024-11-27 cs.CR cs.IT cs.LG
Adaptive Laplace Mechanism: Differential Privacy Preservation in Deep Learning
New Jersey Institute of Technology(新泽西理工学院);University of Arkansas(阿肯色大学);University of Oregon(俄勒冈大学)
在本文中,我们专注于开发一种新的机制来保护深度神经网络中的差分隐私,使得:(1)隐私预算消耗完全独立于训练步骤的数量;(2)它能够根据每个特征对输出的贡献自适应地将噪声注入特征;(3)它可以应用于各种不同的深度神经网络。为了实现这一点,我们找到了一种方法来扰动神经元的仿射变换,以及深度神经网络中使用的损失函数。此外,我们的机制有意地将“更多的噪音”添加到与模型输出“不太相关”的特征中,反之亦然。我们的理论分析进一步推导出我们的机制的灵敏度和误差范围。在MNIST和CIFAR-10数据集上进行的严格实验表明,我们的机制非常有效,优于现有的解决方案。
2018-04-23 cs.CR cs.LG stat.ML
CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness
Knight Foundation School of Computing and Information Sciences, Florida International University(佛罗里达国际大学奈特计算与信息科学学院)
本文提出CorBin-FL,一种基于相关二元随机量化的差分隐私联邦学习机制,利用安全多方计算实现参数级本地差分隐私,并扩展至用户级和样本级中心差分隐私,在MNIST和CIFAR10上优于高斯和拉普拉斯机制。
2024-09-20 cs.CR cs.IT cs.LG
A Neighbourhood-Aware Differential Privacy Mechanism for Static Word Embeddings
University of Liverpool(利物浦大学);Amazon(亚马逊);National Institute of Informatics(国立信息学研究所);International Professional University of Technology in Tokyo(东京国际工科专门职大学)
本文提出邻域感知差分隐私机制,通过词嵌入最近邻图分解邻域并施加差异化高斯噪声,在多个下游任务中优于拉普拉斯、高斯和马氏等差分隐私机制,同时提供更高隐私保障。
2023-09-19 cs.AI cs.CL cs.CR
Differential Privacy at Risk: Bridging Randomness and Privacy Budget
École Normale Supérieure(巴黎高等师范学院);Chalmers University of Technology(查尔姆斯理工大学);National University of Singapore(新加坡国立大学)
隐私保护机制的噪声校准取决于查询的敏感性和规定的隐私级别。数据管理员必须对隐私级别做出重要的选择,以平衡用户的需求和业务实体的资金限制。我们分析角色的随机性的来源,即显式随机性引起的噪声分布和隐式随机性引起的数据生成分布,参与设计的隐私保护机制。更精细的分析使我们能够提供更强有力的隐私保证,并具有可量化的风险。因此,我们提出的隐私风险,这是一个概率校准的隐私保护机制。我们提供了一个组合定理,利用隐私的风险。我们实例化的概率校准拉普拉斯机制提供分析结果。我们还提出了一个成本模型,该模型可以弥合隐私级别与GDPR合规商业实体估计的补偿预算之间的差距。所提出的成本模型的凸性导致隐私级别的独特微调,最大限度地减少补偿预算。我们展示了它的有效性,说明了一个现实的情况下,避免高估的补偿预算使用隐私风险的拉普拉斯机制。我们定量地表明,组合使用成本最优的隐私风险提供了更强的隐私保证比经典的先进的组合。
2020-04-13 cs.CR cs.DS cs.LG
A unified interpretation of the Gaussian mechanism for differential privacy through the sensitivity index
Technical University of Munich(慕尼黑工业大学);Imperial College London(帝国理工学院)
高斯机制是实现差分隐私的一种普遍采用的工具,大量的研究工作都致力于它的分析。我们认为,三个流行的解释GM,即$(\varepsilon, δ)$ -DP,f-DP和雷尼DP可以表示通过使用一个单一的参数$ψ$,我们的术语的敏感性指数。$ψ$通过封装GM的两个基本量来唯一地表征GM及其属性:查询的灵敏度和噪声扰动的幅度。与ROC曲线和DP的假设检验解释有很强的联系,$ψ$为从业者提供了一个强大的方法来解释,比较和交流高斯机制的隐私保证。
2021-09-22 cs.CR cs.IT cs.LG
Beyond the Calibration Point: Mechanism Comparison in Differential Privacy
Technical University of Munich(慕尼黑工业大学);LMU Munich(慕尼黑大学)
本文提出机制间Δ-散度,用于严格比较共享同一(ε,δ)对的不同差分隐私机制的最坏情况超额隐私脆弱性,揭示DP-SGD现行做法中的隐私风险盲区。
2025-05-04 cs.AI cs.CR cs.LG
Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy
Zhejiang University(浙江大学);Singapore University of Technology and Design(新加坡科技设计大学);North Carolina State University(北卡罗来纳州立大学)
该研究基于$f$-差分隐私分析离散取值机制的隐私保障,提出三元随机压缩器利用压缩实现隐私放大,打破了联邦数据分析中隐私、通信与准确率的三方权衡,并探讨了其拜占庭容错性与联邦学习应用。
2024-02-01 cs.CR cs.IT cs.LG
JSAM: Privacy Straggler-Resilient Joint Client Selection and Incentive Mechanism Design in Differentially Private Federated Learning
Department of Information Engineering, The Chinese University of Hong Kong(信息工程系,香港中文大学);School of Science and Engineering, Shenzhen Institute of Artificial Intelligence and Robotics for Society(科学与工程学院,深圳人工智能与机器人研究院);The Chinese University of Hong Kong(香港中文大学)
JSAM通过联合优化客户端选择与隐私补偿,提升差分隐私联邦学习的训练效果和效率,实现隐私保护与参与激励的平衡。
2026-02-25 cs.DC cs.GT cs.LG
The Skellam Mechanism for Differentially Private Federated Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们引入了一种基于两个独立Poisson随机变量之差的离散差分隐私机制-为了量化其隐私保证,我们分析了隐私损失分布通过数值计算,并提供了一个尖锐的限制两个移位的Rényi分歧之间的分布。虽然在集中式和分布式隐私应用程序中很有用,但我们研究了如何在通信约束下安全聚合的联邦学习环境中应用它。我们的理论研究结果和广泛的实验评估表明,即使在精度较低的情况下,连续高斯机制也提供了与连续高斯机制相同的隐私准确性权衡。更重要的是,在求和和采样下,它是封闭的,只需要从泊松分布中采样-这是一个有效的例程,与所有机器学习和数据分析软件包一起使用。这些功能,以及其离散性和竞争性的隐私准确性权衡,使其成为一个有吸引力的实用替代新引入的离散高斯机制。
2021-10-29 cs.CR cs.DS cs.LG
Evaluation of Differential Privacy Mechanisms on Federated Learning
Technical University of Munich(慕尼黑工业大学)
针对联邦学习中固定差分隐私预算导致模型收敛时噪声过大的问题,本工作基于 SelecEval 模拟器实现了自适应隐私预算的 Laplace 和 Gaussian 机制,并引入自适应裁剪技术,实验证明该方法能在保护隐私的同时维持模型准确率。
2025-10-09 cs.AI cs.LG
Privacy-Accuracy Trade-offs in High-Dimensional LASSO under Perturbation Mechanisms
Department of Information Science, Ochanomizu University(御茶水大学信息科学系);RIKEN Center for AIP(日本理化学研究所人工智能中心)
本文研究了高维稀疏线性回归中的隐私保护LASSO估计器,分析了输出扰动和目标扰动两种差分隐私机制,揭示了稀疏性在隐私-精度权衡中的核心作用。
2026-04-03 cs.LG stat.ML
Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising
Amazon Research(亚马逊研究院);Amazon Web Services(亚马逊云科技)
高斯机制是众多差异隐私数据分析算法中使用的基本构建块。在本文中,我们重新审视高斯机制,并表明原来的分析有几个重要的局限性。我们的分析表明,原机制的方差公式是远离紧密的高隐私制度($\varepsilon \to 0$),它不能扩展到低隐私制度($\varepsilon \to \infty$)。我们通过开发一种最佳高斯机制来解决这些限制,该机制的方差直接使用高斯累积密度函数而不是尾界近似来校准。我们还建议配备高斯机制的后处理步骤的基础上,自适应估计技术,利用扰动的分布是已知的。我们的实验表明,分析校准消除了至少三分之一的噪声方差相比,经典的高斯机制,去噪显着提高了精度的高斯机制在高维制度。
2018-06-07 cs.LG stat.ML
Unified Mechanism-Specific Amplification by Subsampling and Group Privacy Amplification
Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所);University of Technology Nuremberg(纽伦堡工业大学)
本研究提出首个基于条件最优传输的机制特定子采样隐私放大通用框架,可更紧密刻画子采样机制隐私,统一推导多种DP相关保证,且其群体隐私界优于现有方法。
2024-10-31 cs.CR cs.LG stat.ML
Global Web, Local Privacy? An International Review of Web Tracking
Carnegie Mellon University(卡内基梅隆大学);Brown University(布朗大学);Wesleyan University(卫斯理安大学)
研究分析了十国网站的跟踪连接,发现澳大利亚和美国(加州)的跟踪水平最高,欧盟国家访问常见顶级网站时跟踪连接较少,表明GDPR和ePrivacy指令有效减少跟踪。
2026-04-18 cs.CR cs.CY
Additive Logistic Mechanism for Privacy-Preserving Self-Supervised Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究了与自监督学习算法训练神经网络权重相关的隐私风险。通过经验证据,我们表明,微调阶段,其中网络权重更新信息丰富,往往是私人的数据集,是容易受到隐私攻击。为了解决这些漏洞,我们设计了一个训练后的隐私保护算法,增加了噪声的微调权重,并提出了一种新的差分隐私机制,采样噪声的逻辑分布。与传统的加性噪声机制Laplace和Gaussian机制相比,该机制采用了与Gaussian机制相似的钟形分布,并且满足与Laplace机制相似的纯$ε$ -差分隐私.我们应用成员推断攻击对未受保护和受保护的模型,以量化模型的隐私和性能之间的权衡。我们表明,所提出的保护算法可以有效地减少攻击的准确性约为50%-相当于随机猜测-同时保持低于5%的性能损失。
2022-05-25 cs.CR cs.LG stat.ML
Summary Statistic Privacy in Data Sharing
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
本文针对数据共享中保护均值、标准差等汇总统计量不被泄露的问题,提出汇总统计隐私度量,并设计一类量化机制,在理论和真实数据上均实现了更优的隐私-失真权衡。
2023-10-27 cs.CR cs.LG
The Bounded Laplace Mechanism in Differential Privacy
拉普拉斯机制是差分隐私的主力,应用于处理数字数据的许多情况。然而,拉普拉斯机制可以返回语义上不可能的值,例如负计数,因为它的无限支持。对此有两种流行的解决方案:(i)限制/限制输出值以及(ii)限制机制支持。在本文中,我们表明,绑定的机制支持,而使用的纯拉普拉斯机制的参数,通常不保留差分隐私。我们还提出了一个强大的方法来计算最佳的机制参数,以实现差分隐私在这样的设置。
2018-08-30 cs.CR
PPT: A Privacy-Preserving Global Model Training Protocol for Federated Learning in P2P Networks
联邦学习(FL)的概念已经作为机器学习、信息和通信技术的融合而出现。它对机器学习的发展至关重要,预计机器学习将完全分散,隐私保护,安全和健壮。然而,一般的联邦学习设置与一个中央服务器不能满足分散的环境中的要求。在本文中,我们提出了一个分散的,安全的和隐私保护的全局模型训练协议,命名为PPT,联邦学习在对等(P2P)网络。PPT采用单跳通信方式聚合局部模型更新参数,并采用对称密码体制保证安全性。值得一提的是,PPT修改了Eschenauer-Gligor(E-G)方案来分发加密密钥。在隐私保护方面,PPT产生随机噪声干扰局部模型更新参数。最终消除了噪声,与FL中其他基于噪声的隐私保护方法(例如,差分隐私。PPT还采用了博弈论来抵抗合谋攻击。通过广泛的分析,我们证明了PPT的各种安全威胁和保护用户隐私.巧妙的实验证明了实用性和效率。
2021-08-09 cs.CR
Improving Utility for Privacy-Preserving Analysis of Correlated Columns using Pufferfish Privacy
调查是许多社会科学研究领域的重要工具,但隐私问题可能会使调查数据的收集和分析复杂化。对调查数据进行不同的私人分析可以解决这些问题,但代价是准确性-特别是对于高维统计数据。我们提出了一种新的隐私机制,表DDP机制,设计的高维统计不完全相关。表DDP机制满足依赖差分隐私,河豚隐私的一种变体;它的工作原理是建立敏感数据的因果模型,然后将噪声校准到统计数据之间的相关性水平。对调查数据的实证评价表明,表式DDP机制可以显着提高精度比拉普拉斯机制。
2022-09-22 cs.CR
Chorus: a Programming Framework for Building Scalable Differential Privacy Mechanisms
差分隐私正迅速成为支持数据统计分析同时保护个人隐私的黄金标准。然而,差分隐私的实际应用仍然落后于研究进展,因为研究原型不能满足生产部署的可扩展性要求。为了解决这一挑战,我们提出了合唱团,一个框架,用于建立可扩展的差分隐私机制,这是基于机制本身和高性能的生产数据库管理系统(DBMS)之间的合作。我们展示了使用合唱团建立第一个高度可扩展的复杂机制,如加权PINQ,MWEM,矩阵机制的实现。我们报告了我们在Uber部署Chorus的经验,并评估了它在现实世界查询中的可扩展性。
2021-05-04 cs.CR
A proposal to increase data utility on Global Differential Privacy data based on data use predictions
本文提出通过预测分析师对差分隐私统计数据的使用方式来优化隐私预算分配,从而在汇总统计场景下提升全局差分隐私数据的效用,并给出相应优化度量指标。
2024-01-12 cs.CR cs.DB
Differential Privacy By Sampling
在本文中,我们提出了采样隐私机制,私人发布的个人数据。采样隐私是一种基于采样的隐私机制,满足差分隐私。
2017-08-06 cs.CR
Attribute Privacy: Framework and Mechanisms
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院);The University of Melbourne(墨尔本大学);Columbia University(哥伦比亚大学)
由于许多机器学习模型都是在机密和潜在敏感数据上训练的,因此确保训练数据的隐私性越来越受到关注。在大型数据集的分析过程中,保护个人隐私的方法受到了很大的关注。然而,在许多设置中,数据集的全局属性也可能是敏感的(例如,医院的死亡率,而不是数据集中特定患者的存在)。在这项工作中,我们从个人隐私出发,开始研究属性隐私,其中数据所有者担心在分析过程中泄露整个数据集的敏感属性。我们提出了定义来捕获\emph{attribute privacy}在两个相关的情况下,全局属性可能需要保护:(1)一个特定的数据集的属性和(2)数据集采样的基础分布的参数。我们还提供了两个有效的机制和一个低效的机制,满足这些设置的属性隐私。我们的研究结果基于河豚框架的一种新的用途,以解释数据中属性之间的相关性,从而解决了\cite{kifer2014pufferfish}留下的“开发河豚实例化和一般聚合秘密算法的挑战性问题”。
2021-05-11 cs.CR cs.CY cs.DS
Optimal Differential Privacy Composition for Exponential Mechanisms and the Cost of Adaptivity
组合是差分隐私(DP)最重要的属性之一,因为它允许算法设计者从DP原语构建复杂的隐私算法。我们认为精确的组成范围的整体隐私损失指数机制,DP的基本类机制之一。我们给出了明确的配方的最佳隐私损失的自适应和非自适应设置。对于非自适应设置中,每个机制具有相同的隐私参数,我们给出了一个有效的计算公式的最佳隐私损失。此外,我们表明,有一个差异的隐私损失时,指数机制的选择自适应与非自适应。据我们所知,这是以前未知的任何DP机制与固定的隐私参数是否存在这样的差距,我们证明了一个广泛使用的一类机制在自然环境中的差距。然后,我们改进了最好的先前已知的自适应组合指数机制的上限与有效的可计算的配方,并显示改进。
2020-06-24 cs.CR cs.DS
Interactive Privacy via the Median Mechanism
我们定义了一个新的交互式差分私有机制-中位数机制-回答任意谓词查询到达网上。相对于固定的准确性和隐私约束,该机制可以回答指数更多的查询比以前最知名的交互式隐私机制(拉普拉斯机制,独立地扰动每个查询结果)。我们的保证几乎是最好的,即使是非交互式隐私机制。从概念上讲,中值机制是第一个能够识别和利用交互式设置中查询之间的相关性的隐私机制。我们还给出了一个有效的实现的中位数机制,与运行时间多项式的查询数量,数据库的大小,和域的大小。这种高效的实现保证了所有输入数据库的隐私,以及几乎所有输入数据库的准确查询结果。在这种机制中的查询的数量上的隐私的依赖性,提高了由一个超多项式因子,即使在非交互式设置的最好的先前已知的有效的机制。
2011-01-19 cs.CC cs.CR cs.DB
Optimality of the Laplace Mechanism in Differential Privacy
在高度互联的物联网领域,敏感信息的交换引起了严重的隐私问题。拉普拉斯机制--将拉普拉斯分布的人工噪声添加到敏感数据--是在差分隐私框架内提供隐私保证的广泛使用的方法之一。在这项工作中,我们提出了Lipschitz隐私,一个稍微严格的版本的差分隐私。我们证明了拉普拉斯机制是最佳的意义上,它最大限度地减少了均方误差的身份查询,提供隐私方面的$\ell_{1}$规范。除了尊重个人参与的$\ell_{1}$规范之外,我们还关注于提供高维数据隐私的$\ell_{2}$规范的使用。拉普拉斯机制的一个变化被证明具有最佳的均方误差从身份查询。最后,在个人提交高维敏感数据的情况下,最优机制的推导。
2015-04-07 cs.CR cs.DS
FLIP: A Utility Preserving Privacy Mechanism for Time Series
保证发布数据的隐私性是数据生产机构的一个重要目标。近年来,对开发合适的隐私机制进行了广泛的研究。特别值得注意的是在保证差分隐私的情况下添加噪声的想法。然而,当应用非常严格的隐私机制时,人们担心会损害数据效用。这种妥协在相关数据(如时间序列数据)中可能非常明显。将白噪声添加到随机过程中可能会显著改变相关性结构,这是该过程的一个方面,对于最佳预测至关重要。我们建议使用全通滤波作为定期采样的时间序列数据的隐私机制,表明该过程保留了效用,同时也提供了足够的隐私保证实体级的时间序列。
2022-07-15 cs.CR stat.ME
The Privacy-preserving Padding Problem: Non-negative Mechanisms for Conservative Answers with Differential Privacy
差分私有噪声机制通常使用对称噪声分布。这对于实现差分隐私定义和噪声答案中的无偏期望都是有吸引力的。然而,在某些情况下,噪声答案只有在保守的情况下才有效用,也就是说,具有已知符号的错误,我们称之为填充答案。表面上看,这是自相矛盾的,以满足DP定义的单侧误差,但我们展示了如何有可能将悖论埋到近似DP的δ参数。我们开发了一些单边填充机制,总是给保守的答案,但仍然实现近似差分隐私的机制。我们展示了这些机制如何可以应用在几个选定的领域,包括使基数集的交集和工会透露在私有集的交集协议差分私有和使多方计算协议计算稀疏数据,其确切的大小差分私有,而不是执行一个完全不经意的更昂贵的计算。
2021-10-15 cs.CR
Approximate Differential Privacy of the $\ell_2$ Mechanism
本研究针对近似差分隐私下的$d$维有界$\u2113_2$敏感度统计计算场景,探究$\u2113_2$机制的性能,发现其误差优于Laplace与Gaussian机制,且在维度变化时呈现相应的误差匹配与趋近特性。
2025-02-21 cs.CR
Optimal Geo-Indistinguishable Mechanisms for Location Privacy
我们认为地理不可侵犯性的位置隐私的方法,和权衡效用。我们表明,给定一个理想的程度的地理不可分割性,它是可以构建一个机制,最大限度地减少服务质量损失,使用线性规划技术。此外,我们表明,在一定的条件下,这种机制也提供了最佳的隐私的意义上的Shokri等人。此外,我们提出了一种方法,以减少约束的线性规划的数量从三次到二次,保持隐私的保证,而不影响显着的效用所产生的机制。这大大减少了求解线性规划所需的时间,从而大大扩大了可以计算最佳机构的位置集。
2014-08-24 cs.CR
Privacy-preserving Double Auction Mechanism Based on Homomorphic Encryption and Sorting Networks
双向拍卖作为一种有效的资源分配方式,在电子商务中得到了广泛的研究。以往的研究大多集中在如何设计防策略的DA机制,而没有太多的研究工作已经做了关于隐私和安全问题。然而,安全问题,特别是隐私问题已经成为一个公众关注的问题,欧洲各国政府最近制定了法律来加强隐私保障。本文针对电子拍卖中的隐私问题,研究了如何利用Goldwasser-Micali同态加密和排序网络设计一种双重拍卖的隐私保护机制.我们实现了可证明的隐私,这样的拍卖不透露任何出价信息,除了拍卖结果,从而在一个严格的隐私保证。此外,为了达到实际的系统性能,我们比较了不同的排序算法,并建议使用更快的。实验结果表明,不同的排序算法可能会对我们的机制的性能有很大的影响,并证明了我们的协议在电子商务中的实际应用的实用性。
2019-09-17 cs.CR
Privacy-Preserving Mechanisms for Parametric Survival Analysis with Weibull Distribution
生存分析研究了直到感兴趣的事件发生的时间的统计特性。它通常用于研究医学治疗的有效性或人口的寿命。然而,生存分析可能会泄露数据集中个体的机密信息。最先进的技术在发布结果时应用ad-hoc隐私保护机制来保护隐私。这些技术通常发布经过消毒和随机化的答案,这些答案承诺保护数据集中的个人隐私,但没有提供任何正式的隐私保护机制。在本文中,我们提出了私人机制的参数生存分析与威布尔分布。我们证明,我们提出的机制实现了差分隐私,一个强大的和严格的定义的隐私保护。我们的机制利用本地敏感性的属性,精心设计的效用函数,使我们能够发布高精度的威布尔分布的参数。我们的实验研究表明,我们的机制可以发布有用的答案,并在真实数据集上优于其他差异隐私技术。
2017-08-25 cs.CR cs.DB
Privacy Games: Optimal User-Centric Data Obfuscation
在本文中,我们设计了以用户为中心的混淆机制,施加最小的效用损失,以保证用户的隐私。我们优化效用的联合保证差分隐私(不可否认性)和失真隐私(推理错误)。这种双重保护屏蔽通过混淆机制和后验推理限制了信息泄漏。我们表明,通过联合差分失真机制对最优攻击实现的隐私是一样大的最大隐私,可以通过这些机制分别实现。它们的效用成本也不大于差分或失真机制所施加的成本。我们将优化问题建模为混淆机制的设计者与潜在对手之间的领导者-追随者博弈,并设计自适应机制来预测和保护最优推理算法。因此,混淆机制对于任何推理算法都是最佳的。
2015-05-27 cs.CR cs.GT
Privacy-Preserving Matrix Factorization for Recommendation Systems using Gaussian Mechanism
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出基于差分隐私框架与矩阵分解的隐私保护推荐系统,利用高斯机制输出扰动和 Rényi 差分隐私,在真实数据上验证了严格隐私下仍可保持良好推荐效用。
2023-04-11 cs.CR cs.IR cs.LG