Differentially Private Aggregated Mobility Data Publication Using Moving Characteristics
随着智能手机和定位应用的快速发展,位置隐私越来越受到人们的关注。直觉上,人们普遍认为,可以通过发布聚合的移动数据来保护位置隐私,例如某个时间某个区域中的用户数量。然而,最近的一次攻击表明,这些聚合的移动数据可以用来恢复个人轨迹。在本文中,我们首先提出了两个不同的私人基本方案的聚合移动数据发布,即直接扰动和阈值扰动,保护用户的位置隐私,特别是抵抗轨迹恢复攻击。然后,研究了移动用户的移动特性,根据移动用户的移动特性,将两种基本方案结合起来,设计了一种改进方案--静态混合扰动方案。由于静态混合扰动只适用于静态数据,这是完全可用的发布前,我们进一步调整静态混合扰动相结合的线性回归,并产生另一种改进方案称为动态混合扰动。动态混合扰动也适用于动态数据,动态数据在发布期间动态生成。隐私分析表明,所提出的方案实现了差分隐私。在模拟数据集和真实数据集上的大量实验表明,所有提出的方案都能很好地抵抗轨迹恢复攻击,改进方案的性能明显优于基本方案。
2019-08-10 cs.CR cs.DB
Knock Knock, Who's There? Membership Inference on Aggregate Location Data
聚合位置数据通常用于支持智能服务和应用,例如,生成实时交通地图或预测对企业的访问。在本文中,我们提出了第一个研究的可行性成员推断攻击的聚集位置时间序列。我们引入了一个基于游戏的对抗性任务的定义,并将其转换为一个分类问题,其中机器学习可用于区分目标用户是否是聚合的一部分。我们经验性地评估了这些攻击的力量,使用两个移动数据集的原始和差异化的私有聚合。我们发现,成员推断是一个严重的隐私威胁,并显示其有效性取决于对手的先验知识,底层位置数据的特性,以及用户的数量和时间框架上进行聚合。虽然差异私有机制确实可以减少攻击的程度,但它们也会造成效用的重大损失。此外,战略对手模仿防御机制的行为可以大大限制它们提供的保护。总的来说,我们的工作提出了一种新的方法,旨在评估成员推理的聚合位置数据在现实世界中的设置,并可用于提供商评估数据发布前的隐私保护的质量或监管机构检测违规行为。
2017-11-29 cs.CR
Privately Estimating Monotone Statistics in Polynomial Time
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Boston University(波士顿大学);MIT Mathematics(麻省理工学院数学系);University of Copenhagen(哥本哈根大学)
针对单调统计量的差分隐私估计,提出一种改进的子采样-聚合算法,在样本复杂度上节省因子t,运行时间增加因子e^t,并证明其最优性。
2026-05-28 cs.CR cs.DS cs.LG
DREAM: DiffeRentially privatE smArt Metering
本文提出了一种新的隐私保护智能抄表系统。我们的计划是私人的差分隐私模型下,因此提供了强大的和可证明的保证。通过我们的计划,(电力)供应商可以定期从智能电表收集数据并获得汇总统计数据,同时只了解有关单个家庭活动的有限信息。例如,供应商无法从用户的跟踪中判断他何时看电视或打开暖气。该方案简单、高效、实用。处理成本非常有限:智能电表只需向其数据中添加噪声,并使用高效的流密码对结果进行加密。
2012-01-12 cs.CR
DP-PQD: Privately Detecting Per-Query Gaps In Synthetic Data Generated By Black-Box Mechanisms
提出DP-PQD框架,在保证差分隐私的前提下,私密检测黑盒机制生成的合成数据与隐私数据集上计数、求和和中位数等聚合查询答案是否在用户指定阈值内,填补了合成数据缺乏逐查询质量保证的空白。
2023-09-15 cs.CR cs.DB
Secure Stateful Aggregation: A Practical Protocol with Applications in Differentially-Private Federated Learning
针对不可信单服务器下难以实现DP-FTRL的问题,提出安全有状态聚合协议,在保障隐私的同时提升了差分隐私联邦学习的效用,且开销极小。
2024-10-15 cs.CR
Almost-Free Queue Jumping for Prior Inputs in Private Neural Inference
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院)
本文提出PrivQJ框架,通过共享计算实现高效优先级处理,减少加密开销,显著提升批量推断效率。
2026-03-13 cs.CR
Private Rank Aggregation under Local Differential Privacy
排名聚合作为众包数据管理中的一种答案聚合方法,其目的是将不同主体对给定备选方案的答案或偏好组合成一个与偏好最一致的聚合排名。然而,由于聚合过程依赖于数据管理者,当管理者不受信任时,代理偏好数据内的隐私可能会受到损害。现有的保证等级聚合中差分隐私的工作都假设数据管理者是可信的。在本文中,我们制定和解决问题的本地差分私人排名聚合,其中代理人没有信任的数据管理员。通过利用近似秩聚集算法KwikSort、随机响应机制和拉普拉斯机制,我们提出了一个有效的和高效的协议LDP-KwikSort。理论和实验结果表明,LDP-KwikSort:RR能够在聚合排序的效用和代理人的成对偏好的隐私保护之间达到可接受的折衷.
2020-06-30 cs.CR cs.DS cs.MA
Robbing the Fed: Directly Obtaining Private Data in Federated Learning with Modified Models
University of Maryland(马里兰大学);New York University(纽约大学)
联邦学习以其提高用户隐私和效率的承诺迅速流行起来。以前的工作表明,联邦梯度更新包含的信息,可以用来近似恢复用户数据在某些情况下。这些以前对用户隐私的攻击在范围上是有限的,甚至不能扩展到在少数数据点上聚合的梯度更新,这使得一些人得出结论,数据隐私对于现实的训练制度仍然是完整的。在这项工作中,我们引入了一个新的威胁模型的基础上最小的,但恶意修改的共享模型架构,使服务器能够直接获得一个逐字副本的用户数据从梯度更新,而不解决困难的逆问题。即使是大批量聚合的用户数据--以前的方法无法提取有意义的内容--也可以通过这些最小修改的模型重建。
2022-03-18 cs.CR cs.LG
When Topology Betrays Privacy: Lattice-Based Reconstruction Attacks on Secure Aggregation in Decentralized Federated Learning
Aalborg University(奥尔堡大学);Institut Polytechnique de Paris(巴黎理工学院)
本研究揭示去中心化联邦学习中稀疏拓扑下安全聚合的结构性泄露,通过建立与隐藏子集和问题的联系,设计基于格的重构攻击,成功恢复诚实节点的私有更新与训练数据。
2026-09-09 cs.CR cs.LG
Towards Differentially Private Truth Discovery for Crowd Sensing Systems
Tencent Medical AI Lab(腾讯医疗人工智能实验室);Georgia State University(佐治亚州立大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);State University of New York at Buffalo(纽约州立大学布法罗分校);Alibaba Group(阿里巴巴集团)
如今,由于移动设备的无处不在的使用,人群感测变得越来越流行。然而,这种人类生成的感官数据的质量在不同的用户之间差异很大。为了更好地利用感知数据,真理发现问题已经成为一个热门话题,其目标是通过质量感知的数据聚合来估计用户质量并推断可靠的聚合结果。虽然现有的真相发现方法可以提供可靠的聚合结果,他们不能保护个人用户的隐私信息。此外,人群感测系统通常涉及大量参与者,使得基于加密或安全多方计算的解决方案难以部署。为了解决这些挑战,在本文中,我们提出了一个有效的隐私保护的真理发现机制,理论上的效用和隐私的保证。该机制的核心思想是对来自每个用户的数据进行独立的扰动,然后对扰动后的数据进行加权聚合。该方法能够根据信息质量分配用户权重,因此即使在加入大噪声的情况下,聚合结果也不会偏离真实结果太多。我们适应本地差分隐私的定义,这个隐私保护的任务,并证明该机制可以满足本地差分隐私,同时保持高的聚合精度。我们正式量化效用和隐私权衡,并通过合成数据和真实世界的人群感知系统的实验进一步验证了这一说法。
2018-10-10 cs.AI cs.CR
Robust and differentially private stochastic linear bandits
Cornell University(康奈尔大学);Google Research(谷歌研究院)
针对随机线性老虎机,本文在批量观测、奖励被任意污染及两种隐私模型下,提出兼具差分隐私与对抗鲁棒性的对数批量查询臂消除算法,并证明遗憾界。
2023-04-23 cs.CR cs.LG stat.ML
PSGraph: Differentially Private Streaming Graph Synthesis by Considering Temporal Dynamics
针对现有差分隐私方法忽略流图相邻时间动态关系导致性能受限的问题,提出首个集成时间动态的差分隐私流图合成框架PSGraph,通过自适应调整隐私预算分配和跨时间戳信息聚合及后处理技术,在四个真实数据集上验证了其优越性。
2025-05-30 cs.CR
Privacy Guarantees for Personal Mobility Data in Humanitarian Response
本文提出一种构建差分隐私移动矩阵的算法并推导其隐私与准确性界,利用阿富汗和卢旺达真实移动数据验证其在流行病响应和人道主义援助分配中的可用性,同时探讨隐私与准确性的平衡,以促进隐私移动数据在人道主义响应中的负责任使用。
2024-11-22 cs.CR
Private Federated Learning in Gboard
本文介绍 Gboard 结合联邦学习、DP-FTRL 算法与安全聚合技术,在保障用户打字数据本地处理与差分隐私的前提下,训练并部署高实用性的机器学习模型,并展望了可信执行环境等技术的未来应用。
2023-06-26 cs.CR
Clustering and Median Aggregation Improve Differentially Private Inference
Google Research(谷歌研究院);University of Southern California(南加州大学)
针对差分隐私文本生成中均匀采样导致质量下降的问题,本文提出先聚类再选取推理批次,并通过私下计算中位数聚合词元统计量,以更低隐私成本生成更高质量的合成数据。
2025-06-05 cs.AI cs.CL cs.CR
Differentially Private Image Classification by Learning Priors from Random Processes
Princeton University(普林斯顿大学)
本文提出三阶段方法 DP-RandP,通过从随机过程生成图像中学习先验并迁移到私有数据,显著提升 DP-SGD 的隐私-效用权衡,在多个数据集上取得新的最先进准确率。
2023-10-31 cs.CR cs.CV cs.LG
Leveraging Public Data for Practical Private Query Release
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学);Google Research(谷歌研究院);Northeastern University(东北大学)
在许多统计问题中,合并先验可以显着提高性能。然而,使用先验知识在不同的私人查询发布仍然未被充分探索,尽管这种先验知识通常以公共数据集的形式提供,如以前的美国人口普查发布。为了发布关于私有数据集的统计数据,我们提出了PMW ^Pub,与现有的基线不同,它利用了从相关分布中提取的公共数据作为先验信息。我们提供了一个理论分析和实证评估的美国社区调查(ACS)和ADESTIC数据集,这表明我们的方法优于国家的最先进的方法。此外,PMW ^Pub可以很好地扩展到高维数据域,其中运行许多现有方法在计算上是不可行的。
2021-06-11 cs.CR cs.DS cs.LG
Combining Public and Private Data
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Google Research NYC(谷歌研究院纽约分部)
差分隐私被广泛采用,以提供可证明的隐私保证在数据分析。我们考虑的问题相结合的公共和私人数据(更一般地说,数据与异构的隐私需求)估计汇总统计。我们引入了一个混合估计的均值优化,以最小化方差。我们认为,我们的机制是更可取的技术,保护个人的隐私,通过子采样数据成比例的用户的隐私需求。同样,我们提出了一个混合中位数估计指数机制的基础上。我们将我们的机制与Jorgensen et al. [2015]中提出的方法进行了比较。我们的实验提供了经验证据,表明我们的机制往往优于基线方法。
2021-10-29 cs.CR cs.LG stat.ML
DPNCT: A Differential Private Noise Cancellation Scheme for Load Monitoring and Billing for Smart Meters
通过智能电表向电网报告消费者日常能源使用的高度准确的概况,使智能电网能够有效地调节电力需求和供应。然而,消费者的能源消耗模式可以揭示关于他们的生活方式的个人和敏感信息。因此,为了确保用户隐私,差分分布的噪声被添加到原始数据中。这种技术在提供计费、需求响应方案和负载监控等服务方面,需要在消费者隐私与数据实用性之间进行权衡。在本文中,我们提出了一种技术-差分隐私与噪声消除技术(DPNCT)-最大限度地利用聚合负载监测和公平计费,同时保护用户的隐私,通过使用差分隐私数据的噪声消除机制。我们在敏感数据流离开智能电表之前将噪声引入其中,以保证个人隐私。此外,我们评估了不同的周期性噪声消除方案对隐私和效用的影响,即,计费和负载监控。我们提出的计划在保护隐私同时准确计算账单方面优于现有计划。
2021-03-31 cs.CR
AGAPECert: An Auditable, Generalized, Automated, Privacy-Enabling Certification Framework with Oblivious Smart Contracts
本文介绍了AGAPECert,一个可审计的,通用的,自动化的,隐私使能,认证框架能够执行可审计的计算上的私人数据和报告实时聚合认证状态,而不透露底层的私人数据。AGAPECert利用可信执行环境、区块链技术和基于图形的实时API标准的新颖组合,提供自动化、不经意和可审计的认证。我们的技术允许有隐私意识的数据所有者在自己的环境中对自己的私人数据运行预先批准的不经意智能合约代码,以生成私人自动认证。这些认证是可用数据的可验证的、纯功能性的转换,使第三方能够信任私有数据必须具有生成最终认证所需的属性。最近,已经提出了许多供应链中的认证和可追溯性解决方案。这些通常会遭受严重的隐私问题,因为它们倾向于采取“共享,复制数据库”的方法:网络中的每个节点都可以访问所有相关数据和合同代码的副本,以保证完整性并达成共识,即使存在恶意节点。在这些需要全球协调的认证环境中,AGAPECert可以包括一个区块链来保证事件的有序性,同时保持一个核心隐私模型,其中私人数据不会在数据所有者自己的平台之外共享。AGAPECert提供了一个开源认证框架,可以在任何受监管的环境中采用,以保持敏感数据的私密性,同时实现可信的自动化工作流程。
2022-07-25 cs.CR
Confidence-Ranked Reconstruction of Census Microdata from Published Statistics
University of Pennsylvania(宾夕法尼亚大学);Google(谷歌);Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
对私有数据集$D$的重建攻击将关于数据集的一些可公开访问的信息作为输入,并产生$D$的候选元素列表。我们介绍了一类新的数据重建攻击的基础上随机方法的非凸优化。我们的经验表明,我们的攻击不仅可以从聚合查询统计数据$Q(D)\in \mathbb{R}^m$重建$D$的整行,但可以这样做的方式,可靠地排名重建行的概率出现在私人数据,提供一个签名,可用于优先重建行的进一步行动,如识别盗窃或仇恨犯罪。我们还设计了一个基线序列,用于评估重建攻击。我们的攻击明显优于那些只基于访问公共分布或人口的私有数据集$D$被抽样,表明他们正在利用聚合统计$Q(D)$中的信息,而不仅仅是分布的整体结构。换句话说,查询$Q(D)$允许重建该数据集的元素,而不是从中提取$D$的分布。这些发现都建立在2010年美国十年一次的人口普查数据和查询以及人口普查衍生的美国社区调查数据集。综上所述,我们的方法和实验说明了在发布大型数据集的数字精确的汇总统计数据的风险,并提供了进一步的动机,谨慎应用可证明的隐私技术,如差分隐私。
2023-02-06 cs.CR cs.CY cs.LG
Prior-Aware Distribution Estimation for Differential Privacy
差分隐私下数据集的联合分布估计是许多隐私应用的基本问题,如查询应答、机器学习任务和合成数据生成。在这项工作中,我们研究了联合分布估计问题,给出了两个数据点:1)在私有数据上计算的工作量的差分私有答案和2)来自公共数据集的先验经验分布。我们的目标是找到一个新的分布,使得使用该分布估计工作量与差分私有答案一样准确,并且该分布的相对熵或KL散度相对于先验分布最小化。我们提出了一种基于迭代优化的方法来解决这个问题。我们的解决方案的应用程序在NIST 2020年差分隐私时间地图挑战赛Sprint 2中获得第二名。
2021-06-09 cs.CR cs.DS
PREAMBLE: Private and Efficient Aggregation via Block Sparse Vectors
Apple(苹果公司);Aarhus University(奥胡斯大学)
针对双服务器高维向量安全聚合中通信成本随维度扩展的问题,提出PREAMBLE机制,利用块稀疏分布式点函数结合随机采样与隐私放大,以极低通信开销实现渐近最优的隐私-效用权衡且噪声开销可忽略。
2025-07-11 cs.CR cs.DS cs.LG
Cocktail Party Attack: Breaking Aggregation-Based Privacy in Federated Learning using Independent Component Analysis
Georgia Institute of Technology(佐治亚理工学院);Meta AI;Pennsylvania State University(宾夕法尼亚州立大学);Virginia Tech(弗吉尼亚理工大学);Cornell University(康奈尔大学)
联邦学习(FL)旨在对多个数据所有者持有的分布式数据执行隐私保护机器学习。为此,FL要求数据所有者在本地进行训练,并与中央服务器共享梯度更新(而不是私有输入),然后在多个数据所有者之间进行安全聚合。虽然聚合本身并不能提供隐私保护,但先前的工作表明,如果批量足够大,它可能就足够了。在本文中,我们提出了鸡尾酒会攻击(CPA),相反,事先的信念,是能够恢复的私人输入从梯度聚集在一个非常大的批量大小。CPA利用了关键的洞察力,即来自全连接层的聚合梯度是其输入的线性组合,这将我们引导到帧梯度反演作为盲声源分离(BSS)问题(非正式地称为鸡尾酒会问题)。我们采用独立分量分析(ICA)-BSS问题的经典解决方案-来恢复完全连接和卷积网络的私有输入,并表明CPA显着优于先前的梯度反转攻击,扩展到ImageNet大小的输入,并适用于高达1024的大批量。
2022-09-12 cs.AI cs.CR cs.LG
Differentially Private Heavy Hitter Detection using Federated Analytics
Apple Inc(苹果公司);Stanford University(斯坦福大学)
本研究针对差分隐私高频项检测场景,提出自适应超参数调优等改进方法,结合联邦分析框架在Reddit数据集上验证了其在满足多约束下的性能提升效果。
2023-07-21 cs.CR cs.LG
Privately Answering Queries on Skewed Data via Per Record Differential Privacy
针对偏态数据隐私发布问题,提出每条记录零集中差分隐私(PzCDP)形式化方法及相应机制,通过使隐私损失依赖于记录值,有效克服标准DP在重尾统计发布中的困难。
2024-12-18 cs.CR cs.DB
Buying Private Data without Verification
我们考虑的问题,设计一个调查,从一个隐私敏感的人口聚集不可验证的信息:分析师希望计算一些总的统计数据从每个成员的人口持有的私人位,但不能验证参与者在他的调查报告的位的正确性。人口中的个体是具有隐私成本的策略代理人,\ie,他们不仅考虑了他们期望从机制中获得的支付,而且考虑了他们的隐私成本,这些隐私成本来自机制的结果-计算的统计数据以及支付-以确定他们的效用。当个体战略性地决定是否参与和是否如实报告他们的敏感信息时,分析师如何设计支付方案以获得对总体统计数据的准确估计?我们设计了一个差分私人同行预测机制,支持准确估计的人口统计作为贝叶斯-纳什均衡的设置,代理人有明确的偏好隐私。该机制需要关于比特$b_i$的边缘先验分布的知识,但不需要关于成本$c_i$的边缘分布的全部知识,而是仅需要近似的上限。我们的机制保证$ε$ -差分隐私每个代理$i$对任何对手谁可以观察到的统计估计输出的机制,以及支付给$n-1$其他代理$j\neq i$。最后,我们表明,通过对每个代理的隐私成本函数进行稍微更结构化的假设,随着代理数量的差异,运行调查的成本将由$0$承担。
2014-04-24 cs.CR cs.DS cs.GT
Privacy-Preserving Visual Learning Using Doubly Permuted Homomorphic Encryption
The University of Tokyo(东京大学);Michigan State University(密歇根州立大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个隐私保护框架,学习视觉分类器,利用分布式私人图像数据。该框架旨在聚合使用私有数据在本地更新的多个分类器,并确保在其学习过程期间和之后不会暴露有关数据的私有信息。我们利用一个同态密码系统,可以聚合的本地分类器,而它们被加密,从而保持秘密。为了克服高维分类器同态加密计算量大的问题,本文(1)对局部分类器的更新施加稀疏性约束,(2)提出一种新的高效加密方案--双置换同态加密(DPHE)。DPHE(i)将稀疏数据分解成其组成非零值及其对应的支持索引,(ii)仅对非零值应用同态加密,以及(iii)对支持索引采用双重排列以使它们保密。我们在几个公共数据集上的实验评估表明,该方法在保护隐私的同时实现了与最先进的视觉识别方法相当的性能,并显着优于其他隐私保护方法。
2017-07-28 cs.CR cs.CV
DP-S4S: Accurate and Scalable Select-Join-Aggregate Query Processing with User-Level Differential Privacy
Southeast University(东南大学);National University of Singapore(新加坡国立大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文提出DP-S4S,通过采样聚合单元和建立RDP数学基础,解决差分隐私下选-连接-聚合查询的可扩展性和准确性问题,实验证明其在大规模数据集上有效。
2026-03-19 cs.CR cs.DB
Public Goods From Private Data -- An Efficacy and Justification Paradox for Digital Contact Tracing
关于采用数字联系人追踪(DCT)应用程序来控制COVID-19传播的争论集中在个人隐私的风险上(Sharma & Bashir 2020,Tang 2020)。这一重点揭示了重大的挑战,道德部署的DCT,但产生的限制,破坏理由,以实施DCT。将这一结果仅仅视为道德预见分析的成功运作是错误的(Floridi & Strait 2020),防止了潜在有害技术的部署。以隐私为中心的分析将数据视为私有财产,将个人和政府之间的关系框定为敌对关系,将技术平台作为守门人,并支持紧急公共卫生机构的概念,即受个人同意和相当大的企业影响力的限制,这与通常告知公共卫生伦理的更社区主义的价值观存在一定的紧张关系。为了克服道德和有效的DCT的障碍,并制定基础设施和政策,支持实现数字技术的潜在公共利益,应该开发一个聚合数据的公共资源概念。
2020-07-14 cs.CR cs.CY
SecretGen: Privacy Recovery on Pre-Trained Models via Distribution Discrimination
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Arizona State University(亚利桑那州立大学)
通过使用预训练模型的迁移学习已经成为机器学习社区的一个增长趋势。因此,许多预先训练的模型被在线发布,以促进进一步的研究。然而,这引起了广泛的关注,这些预先训练的模型是否会泄漏其训练数据的隐私敏感信息。因此,在这项工作中,我们的目标是回答以下问题:“我们能否有效地从这些预先训练的模型中恢复私人信息?检索此类敏感信息的充分条件是什么?“我们首先探索不同的统计信息,这些信息可以将私人训练分布与其他分布区分开来。根据我们的观察,我们提出了一种新的私有数据重建框架,SecretGen,有效地恢复私人信息。与以前可以通过目标恢复实例的地面真实预测来恢复私有数据的方法相比,SecretGen不需要这样的先验知识,使其更加实用。我们在不同的场景下对不同的数据集进行了广泛的实验,以将SecretGen与其他基线进行比较,并提供一个系统的基准,以更好地了解不同辅助信息和优化操作的影响。我们表明,在没有关于真实类预测的先验知识的情况下,SecretGen能够恢复与利用这种先验知识的数据相比具有类似性能的私有数据。如果给出先验知识,SecretGen将显著优于基线方法。我们还提出了几个量化指标来进一步量化预训练模型的隐私脆弱性,这将有助于隐私敏感应用的模型选择。我们的代码可在https://github.com/AI-secure/SecretGen上获得。
2022-07-25 cs.CR cs.LG
Recycling Scraps: Improving Private Learning by Leveraging Intermediate Checkpoints
Google(谷歌)
本研究提出利用训练中间检查点聚合的通用框架,在不增加隐私成本的前提下提升差分隐私机器学习的准确率与方差表现,并探索了DP模型预测方差的估计方法。
2024-09-17 cs.CR cs.LG
A Theory of Pricing Private Data
个人数据对所有者和想要分析它的机构都有价值。隐私机制保护所有者的数据,同时向分析师发布聚合查询结果的噪声版本。但这种对个人数据的严格保护在实践中尚未得到广泛应用。相反,例如,互联网公司通常提供免费服务,以换取来自用户的有价值的敏感信息,他们利用这些信息,有时出售给第三方。随着人们对个人数据价值的认识不断提高,对最终用户的私人信息进行补偿的动力也在增加。将私人数据货币化的想法可以改善隐藏私人数据的狭隘观点,因为它使个人能够通过金融手段控制他们的数据。在本文中,我们提出了一个理论框架,分配价格嘈杂的查询答案,作为其准确性的函数,并划分价格之间的数据所有者谁应该赔偿他们的隐私损失。我们的框架采用并扩展了数据市场中的差分隐私和查询定价的关键原则。我们确定的价格函数和微支付的基本属性,并有效的解决方案的特点。
2012-12-17 cs.CR cs.DB
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame(圣母大学)
本文开发了开源R包DPpack,集成Laplace、Gaussian和指数机制,提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具,使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
TAPAS: Efficient Two-Server Asymmetric Private Aggregation Beyond Prio(+)
JPMorgan AI Research, JPMorgan AlgoCRYPT CoE(摩根大通人工智能研究, 摩根大通算法加密中心)
TAPAS通过非对称设计降低双服务器隐私聚合成本,实现与L无关的通信、后量子安全性和更强的鲁棒性,解决了传统方法的局限性。
2026-03-20 cs.CR cs.LG
A New Class of Private Chi-Square Tests
本文提出了一种新的检验统计量用于私人假设检验。这些统计量是专门设计的,以便在考虑了出于隐私考虑而添加的噪声之后,它们的渐近分布与经典(非隐私)χ 2检验的渐近性相匹配,用于检验多项式数据参数是否位于低维流形中(示例包括拟合优度和独立性检验)。从经验上讲,这些新的检验统计量优于先前的工作,后者侧重于现有统计量的噪声版本。
2016-10-24 cs.CR math.ST stat.TH
Prism: Private Verifiable Set Computation over Multi-Owner Outsourced Databases
Dongguan University of Technology(东莞理工学院);University of California, Irvine(加利福尼亚大学尔湾分校);Augusta University(奥古斯塔大学)
本文提出了Prism,一种基于秘密共享的方法来计算私有集合运算(即,交集和并集),以及属于多个所有者的外包数据库上的聚合。Prism使数据所有者能够将数据预加载到非共谋服务器上,并利用秘密份额的加法和乘法属性来计算服务器(存储秘密份额)和查询器之间(最多)两轮通信中的上述操作,从而实现非常高效的实现。此外,Prism不需要服务器之间的通信,并支持每个操作的结果验证技术,以检测恶意对手。实验结果表明,Prism在数据所有者的数量和数据库大小方面都可以扩展,而以前的方法无法扩展。
2021-04-07 cs.CR cs.DB cs.DC
Bit-efficient Numerical Aggregation and Stronger Privacy for Trust in Federated Analytics
边缘设备(从智能手机到汽车电子产品)生成的私人数据在聚合时具有高度的信息性,但在处理不当时可能会造成破坏。各种解决方案正在探索中,但尚未赢得公众的信任和移动平台的全力支持。在这项工作中,我们提出了数值聚合协议,经验上改进现有技术,同时提供可比的本地差分隐私保证。每个值共享单个私有位支持隐私计量,其实现了未被差分隐私覆盖的隐私控制和保证。我们把重点放在易于实施,与现有方法的兼容性,和令人信服的经验表现。
2021-08-03 cs.CR cs.DS
Market Value of Differentially-Private Smart Meter Data
本文提出了一个框架,以调查国内消费者和负荷服务实体之间共享隐私保护的智能电表数据的价值。该框架包括一个折扣差分隐私模型,以确保个人无法从聚合数据中识别,基于人工神经网络的短期负荷预测,以量化数据可用性和隐私保护对预测误差的影响,以及一天前的最佳采购问题和平衡市场,以评估隐私效用权衡的市场价值。该框架表明,当消费者群体的负荷分布不同于系统平均值时,这是使用Kullback-Leibler分歧量化的,在共享智能电表数据的同时保留个人消费者隐私具有重要价值。
2021-04-20 cs.CR cs.SY eess.SY
Differentially Private Nonparametric Hypothesis Testing
假设检验是数据挖掘的重要统计工具,也是许多领域科学研究的主力。在这里,我们研究分类变量和连续变量之间独立性的差异私人测试。我们以传统的非参数检验为起点,它不需要分布假设(例如,正态性(normality)。我们提出了私人类似物的Kruskal-Wallis,Mann-Whitney和Wilcoxon符号秩检验,以及参数单样本t检验。这些测试使用专门为私人设置开发的新颖的检验统计量。我们将我们的测试与先前的工作进行比较,包括参数和非参数测试。我们发现,在所有情况下,我们的新的非参数检验实现了大的改进,在统计功效,即使当参数检验的假设得到满足。
2019-03-22 cs.CR stat.ME
Combinatorial Privacy: Private Multi-Party Bitstream Grand Sum by Hiding in Birkhoff Polytopes
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Massachusetts Institute of Technology (MIT)(麻省理工学院)
PolyVeil通过将私有位编码为Birkhoff多面体中的排列矩阵,实现k个客户端的隐私布尔求和,其双层架构提供完美安全性,但完整与压缩变体在隐私保证与低维性间存在根本矛盾。
2026-03-30 cs.CR cs.LG
Visualizing Privacy-Utility Trade-Offs in Differentially Private Data Releases
各组织经常收集私人数据,并为公众的利益发布汇总统计数据。如果不采取保护隐私的措施,攻击者可能会使用发布的统计数据来推断有关私人数据集中描述的个人的未经授权的信息。不同的隐私算法通过用噪声稍微扰动底层统计数据来解决这一挑战,从而在数学上限制了可以从每个数据发布中推断出的信息量。正确校准这些算法--以及数据集中描述的人的披露风险--需要数据管理者为隐私预算参数$ε$选择一个值。然而,很少有正式的指导选择$ε$,一个任务,需要推理的概率隐私效用权衡。此外,在统计推断的上下文中选择$ε$需要在存在测量误差和差分隐私(DP)噪声两者的情况下推理关于准确性权衡。我们提出了可视化隐私(VIP),一个交互式界面,可视化之间的关系$ε$,准确性和披露风险,以支持设置和分裂$ε$查询。当用户调整$ε$时,ViP动态更新描述预期准确性和风险的可视化。ViP还具有推理设置,允许用户推理DP噪声对统计推理的影响。最后,我们提出了一项研究的结果,其中16个研究从业者很少或没有DP背景完成了一组相关的任务设置$ε$使用VIP和控制。我们发现,VIP可以帮助参与者更正确地回答与判断DP噪声释放可能下降的概率以及DP噪声和非私人置信区间之间的比较相关的问题。
2022-01-16 cs.CR cs.HC
Differentially Private Federated Learning: A Client Level Perspective
SAP SE(思爱普股份公司);ETH Zurich(苏黎世联邦理工学院)
联邦学习是隐私保护领域的一个新进展。在这种情况下,受信任的策展人聚合多个客户端以分散方式优化的参数。然后将生成的模型分发回所有客户端,最终汇聚为一个联合代表模型,而无需显式地共享数据。然而,该协议容易受到差分攻击,这可能来自联邦优化过程中的任何一方。在这种攻击中,客户端在训练期间的贡献以及有关其数据集的信息通过分析分布式模型来揭示。我们解决这个问题,并提出了一个算法,客户端侧的差分隐私保护联邦优化。其目的是在训练过程中隐藏客户的贡献,平衡隐私损失和模型性能之间的权衡。实证研究表明,如果有足够多的参与客户端,我们提出的程序可以保持客户端级别的差分隐私,只有一个较小的成本模型的性能。
2018-03-01 cs.CR cs.LG stat.ML
Samplable Anonymous Aggregation for Private Federated Data Analysis
Apple(苹果公司)
针对本地与中心化差分隐私的效用差距,提出可采样匿名聚合原语及配套系统架构,在弱信任下实现接近中心化的隐私核算与更优的隐私-效用权衡。
2024-07-19 cs.CR cs.LG
Efficiently Computing Similarities to Private Datasets
Microsoft Research(微软研究院);MIT(麻省理工学院)
本文针对差分隐私模型训练中计算查询点与私有数据相似度的核心子程序,提出利用低维结构的高效DP数据结构,改进隐私-效用权衡与查询时间,并在DP分类中验证了其速度优势。
2024-03-13 cs.CR cs.DS cs.LG
Private Aggregation in Hierarchical Wireless Federated Learning with Partial and Full Collusion
Institute for Communications Engineering, Technical University of Munich(慕尼黑工业大学通信工程研究所)
本文针对分层无线联邦学习架构,在部分与完全共谋假设下,推导信息论隐私下的通信成本基本极限,并提出通信成本接近最优的私有聚合方案。
2024-07-18 cs.CR cs.DC cs.LG
POPri: Private Federated Learning using Preference-Optimized Synthetic Data
Pittsburgh Supercomputing Center, Pittsburgh, USA(匹兹堡超级计算中心);Department of ECE, Carnegie Mellon University, Pittsburgh, PA(电子工程系,卡内基梅隆大学)
POPri 将联邦学习中的私有客户端反馈视为强化学习奖励,利用 DPO 等策略优化算法微调 LLM 生成高质量差分隐私合成数据,并发布新基准 LargeFedBench,显著缩小了私有与非私有设置下的模型性能差距。
2025-08-19 cs.AI cs.CR cs.DC
Asynchronous Federated Learning with Reduced Number of Rounds and with Differential Privacy from Less Aggregated Gaussian Noise
University of Connecticut(康涅狄格大学);CWI Amsterdam(阿姆斯特丹数学与计算机科学研究中心);IBM Research(IBM研究院);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
联邦学习的可行性在网络通信方面受到服务器-客户端基础设施的高度约束。大多数新推出的智能手机和物联网设备都配备了GPU或足够的计算硬件来运行强大的AI模型。然而,在原始同步联邦学习的情况下,客户端设备遭受等待时间,并且需要客户端和服务器之间的定期通信。这意味着对局部模型训练时间和不规则或错过的更新更敏感,因此,对大量客户端的可扩展性较小或有限,并且实时的测量的收敛速率将受到影响。我们提出了一种新的异步联邦学习算法,它消除了等待时间,减少了整体网络通信-我们为强凸目标函数提供了严格的理论分析,并提供了仿真结果。通过添加高斯噪声,我们展示了我们的算法是如何被差分私有化的--新的定理展示了聚合的高斯噪声是如何被显着减少的。
2020-07-17 cs.CR cs.LG math.OC
Optimal Locally Private Nonparametric Classification with Public Data
School of Statistics(统计学院);Renmin University of China(中国人民大学);Center for Applied Statistics(应用统计中心)
研究公开数据辅助的局部差分隐私非参数分类问题,提出局部差分隐私分类树方法,首次推导出极小极大最优收敛速率,并通过数据驱动剪枝避免参数调优,实验证明公开数据优于私有数据。
2024-06-02 cs.CR cs.LG stat.ML
Biscotti: A Ledger for Private and Secure Peer-to-Peer Machine Learning
University of British Columbia(不列颠哥伦比亚大学)
联邦学习是支持安全多方机器学习(ML)的最新技术:数据保存在所有者的设备上,模型的更新通过安全协议聚合。但是,此过程假设有一个可信的集中式基础设施来进行协调,并且客户端必须相信中心服务不会使用客户端数据的副产品。除此之外,一组恶意客户端还可以通过执行中毒攻击来损害模型的性能。作为回应,我们提出了Biscotti:一种用于多方ML的完全分散的对等(P2P)方法,它使用区块链和加密原语来协调对等客户端之间的隐私保护ML过程。我们的评估表明,Biscotti是可扩展的,容错的,并抵御已知的攻击。例如,当30%的对手试图毒害模型时,Biscotti能够保护单个客户端更新的隐私和全局模型的大规模性能。该实现可以在以下网址找到:https://github.com/DistributedML/Biscotti
2019-12-12 cs.CR cs.DC cs.LG
The Cost of Privacy in Asynchronous Differentially-Private Machine Learning
University of Melbourne(墨尔本大学);Macquarie University(麦考瑞大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织 Data61);Australian National University(澳大利亚国立大学)
我们考虑使用位于具有不同隐私设置的多个私有和地理上分散的服务器上的训练数据来训练机器学习模型。由于数据的分布式性质,同时与所有合作的私人数据所有者进行通信可能具有挑战性或完全不可能。在本文中,我们开发了差分私有异步算法,用于在多个私有数据集上协作训练机器学习模型。算法的异步性质意味着,中央学习器与私有数据所有者一对一地交互,只要它们可用于通信,而不需要聚合查询响应来构建整个适应度函数的梯度。因此,该算法有效地扩展到许多数据所有者。我们将隐私成本定义为隐私保护机器学习模型的适应度与在没有隐私问题的情况下训练的机器学习模型的适应度之间的差异。我们证明,我们可以预测所提出的隐私保护异步算法的性能。我们证明了隐私成本的上限与训练数据集平方和隐私预算平方之和的组合大小成反比。我们验证了金融和医疗数据集上的实验的理论结果。实验表明,与仅在其中一个数据集上孤立训练的模型相比,具有至少10,000条隐私预算大于或等于1的记录的10多个数据所有者之间的协作产生了更好的机器学习模型,说明了协作的价值和隐私的成本。如果隐私预算较高,则可以降低协作数据集的数量。
2020-06-29 cs.CR cs.LG eess.SP
Privately Estimating a Gaussian: Efficient, Robust and Optimal
本文针对纯差分隐私和近似差分隐私两种模型,提出了估计高斯分布的高效算法,在样本复杂度上达到对维度的最优依赖,并同时具备对抗离群点鲁棒性。
2023-06-01 cs.CR cs.DS cs.IT