Locally Differentially Private Heavy Hitter Identification
本地差分隐私(LDP)的概念使用户能够回答敏感问题,同时保护他们的隐私。基本的LDP频繁预言协议使聚合器能够估计任何值的频率。但是,当输入值的域很大时,通过估计所有可能值的频率来找到最频繁的值,也称为重命中值,在计算上是不可行的。在本文中,我们提出了一个LDP协议,用于识别重量级选手。在我们提出的协议中,我们称之为前缀扩展方法(PEM),用户被分成组,每个组报告她的值的前缀。我们分析了如何为协议选择最佳参数,并确定了两个设计原则,设计LDP协议具有较高的实用性。合成和真实世界的数据集上的实验证明了我们提出的协议的优势。
2017-08-22 cs.CR
Improving Count-Mean Sketch as the Leading Locally Differentially Private Frequency Estimator for Large Dictionaries
本文揭示多种最新 LDP 频率估计算法等价于不同参数的 CMS,通过纠正理论错误、消除偏差、引入 RR 扰动和成对独立哈希,证明优化 CMS 在大字典场景下通信更省且损失最低。
2025-07-25 cs.CR
Local Private Hypothesis Testing: Chi-Square Tests
差分隐私的局部模型正在成为收集和共享敏感信息的实际应用的参考模型,同时满足强隐私保证。在本地模型中,不存在允许每个人的原始数据的可信实体,因为在传统的馆长模型中假设差异隐私。因此,个人数据在共享之前通常会受到干扰。我们探讨了在局部模型中的私人假设检验的设计,其中每个数据条目都被扰动以确保每个参与者的隐私。具体来说,我们分析了本地私人χ 2检验的拟合优度和独立性测试,这已经在传统的,馆长模型的差异隐私研究。
2018-03-09 cs.CR math.ST stat.TH
The Test of Tests: A Framework For Differentially Private Hypothesis Testing
Duke University(杜克大学);University of Maryland(马里兰大学);Reed College(里德学院);UC Berkeley(加州大学伯克利分校)
我们提出了一个通用的框架,用于以黑盒的方式创建任何假设检验的差异私人版本。我们分析了由此产生的测试分析和实验。最重要的是,我们在小数据集上表现出了良好的实际性能,表明在λ = 1时,我们只需要完全公开设置中的5-6倍的数据。我们将我们的工作与现有的一个这种类型的框架进行比较,以及与几个单独设计的私人假设检验进行比较。我们的框架比其他通用解决方案具有更高的性能,至少与单独设计的测试相比具有竞争力(并且往往更好)。
2023-02-08 cs.CR cs.LG stat.ME
Optimal Compression of Locally Differentially Private Mechanisms
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学);Google Research(谷歌研究院)
压缩ε-局部差分私有(LDP)随机化器的输出会导致次优效用。在这项工作中,我们展示了使用共享随机性联合压缩和私有化数据的方案的好处。特别地,我们研究了基于最小随机编码(Havasi等人,2019),并证明它们提供了最佳的隐私准确性通信权衡。我们的理论和经验发现表明,我们的方法可以压缩PrivUnit(Bhowmick等人,2018)和子集选择(Ye等人,2018),用于均值和频率估计的最著名的LDP算法,达到ε比特通信的量级,同时保持其隐私和准确性保证。
2022-02-26 cs.CR cs.LG
Private and Resource-Bounded Locally Decodable Codes for Insertions and Deletions
我们构造本地可解码的代码(LDCs),以纠正插入删除错误的设置中的发送方和接收方共享一个秘密密钥或信道是资源有限的。我们的构造依赖于所谓的“Hamming-to-InsDel”编译器(Ostrovsky和Paskin-Cherniavsky,ITS '15 & Block等人,FSTTCS '20),其将任何局部可解码汉明码编译成对插入-删除(InsDel)错误有弹性的局部可解码代码。虽然编译器是为经典的编码设置,我们表明,编译器仍然工作在一个秘密密钥或资源有限的设置。将我们的结果应用于Ostrovsky,Pandey,and Sahai的私钥Hamming LDC(ICALP '07),得到了一个具有常数速率和多对数局部性的私钥InsDel LDC.将我们的结果应用于Blocki,Kulkarni和Zhou(ITC '20)的构建,我们获得了资源受限信道的类似结果;即,一种信道,其中计算受到诸如空间或时间之类的资源的约束。
2021-09-21 cs.CR cs.IT math.IT
Locally Private Distributed Reinforcement Learning
LINE Corporation(LINE公司);University of Tsukuba(筑波大学)
我们研究了局部差分私有算法的强化学习,以获得一个强大的政策,在分布式私有环境中表现良好。我们的算法保护本地代理的模型的信息被利用的对抗性逆向工程。由于局部策略受到个体环境的强烈影响,Agent的输出可能会无意识地释放私有信息。在我们提出的算法中,本地代理更新模型在他们的环境和报告噪声梯度设计,以满足本地差分隐私(LDP),提供了一个严格的本地隐私保证。通过利用一组报告的噪声梯度,中央聚合器更新其模型并将其传递给不同的本地代理。在我们的实证评估中,我们展示了我们的方法如何在LDP下表现良好。据我们所知,这是第一个在LDP下实现分布式强化学习的工作。这项工作使我们能够获得一个强大的代理,在分布式私有环境中表现良好。
2020-01-31 cs.CR cs.LG stat.ML
Locally Private Subgraph Counting via Noisy Adjacency Matrix and Differential Privacy on Randomized Data
Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Beijing Jiaotong University(北京交通大学);National Health Data Institute, Shenzhen(深圳市国家健康数据研究院)
本文针对无可信服务器/洗牌器的边局部差分隐私子图计数难题,提出NAM与DPRD框架,设计多类子图计数估计器,推导误差界并经实验验证其性能优于现有基线。
2026-08-27 cs.CR
Pan-Private Uniformity Testing
Google New York(谷歌纽约);University of Pennsylvania(宾夕法尼亚大学)
集中式差分私有算法将原始数据映射到差分私有输出。相比之下,本地差异私有算法只能通过与数据持有者的公共交互来访问数据,并且这种交互必须是数据的差异私有函数。我们研究了泛隐私的中间模型。与本地私有算法不同,泛私有算法以明文方式接收数据。与集中私有算法不同,该算法每次接收一个元素的数据,并且在处理此流时必须维护差异私有内部状态。首先,我们证明了针对内部状态多重入侵的纯泛隐私等效于顺序交互的本地隐私。接下来,我们上下文泛隐私对一个单一的入侵,通过分析域$[k]$的一致性测试的样本复杂性。集中私有一致性测试具有样本复杂度$k$,而非交互式局部私有一致性测试具有样本复杂度$Θ(k)$ .我们证明了纯泛私有一致性检验的样本复杂度为$Θ(k^{2/3})$。通过一个新的$Ω(k)$下界的顺序交互设置,我们还分开泛私有顺序交互本地私有和多入侵泛私有一致性测试。
2020-07-17 cs.CR cs.DS cs.LG
PCKV: Locally Differentially Private Correlated Key-Value Data Collection with Optimized Utility
局部差分隐私(LDP)下的数据汇集主要针对同质数据进行研究。现实世界的应用程序通常涉及不同数据类型的混合,例如键-值对,其中必须同时估计键的频率和每个键下的值的平均值。对于使用LDP的键-值数据汇集,由于数据包含两个维度并且用户可能拥有多个键-值对,因此实现良好的效用-隐私权衡是具有挑战性的。键和值之间还有一种内在的相关性,如果不加以利用,将导致效用低下。在本文中,我们提出了一个局部差分私钥-值数据汇集框架,利用相关扰动,以提高效用。我们通过两个协议PCKV-UE(基于一元编码)和PCKV-GRR(基于广义随机响应)来实例化我们的框架,其中我们设计了一个先进的填充和采样机制和改进的非交互式均值估计器。由于我们的相关的键和值的扰动机制,组成的隐私预算被证明是小于独立的键和值的扰动,这使我们能够进一步优化扰动参数通过预算分配。在合成数据集和真实数据集上的实验结果表明,我们提出的协议在相同的LDP保证下比最先进的机制实现了更好的频率和均值估计效用。
2019-11-28 cs.CR
Optimal Locally Private Nonparametric Classification with Public Data
School of Statistics(统计学院);Renmin University of China(中国人民大学);Center for Applied Statistics(应用统计中心)
研究公开数据辅助的局部差分隐私非参数分类问题,提出局部差分隐私分类树方法,首次推导出极小极大最优收敛速率,并通过数据驱动剪枝避免参数调优,实验证明公开数据优于私有数据。
2024-06-02 cs.CR cs.LG stat.ML
Learning with Locally Private Examples by Inverse Weierstrass Private Stochastic Gradient Descent
InriaLille(Inria里尔);Xparis(巴黎高等理工学院)
本研究提出IWP-SGD算法,通过逆Weierstrass变换校正LDP下的偏差,实现非线性函数的无偏估计,提升二分类任务的模型性能。
2026-02-18 cs.CR cs.LG stat.ML
Private Hypothesis Selection
Simons Institute for the Theory of Computing(西蒙斯计算理论研究所);Boston University(波士顿大学);University of Waterloo(滑铁卢大学);Microsoft Research(微软研究院);IBM Research(IBM研究院);UC Berkeley(加州大学伯克利分校);Google(谷歌);University of Minnesota, Twin Cities(明尼苏达大学双城分校);Carnegie Mellon University(卡内基梅隆大学)
我们提供了一个不同的隐私算法的假设选择。给定来自未知概率分布$P$和一组$m$概率分布$\mathcal{H}$的样本,目标是以$\varepsilon$ -差分私有方式输出来自$\mathcal{H}$的分布,该分布到$P$的总变化距离与最佳这种分布(我们用$α$表示)的总变化距离相当。我们的基本算法的样本复杂度是$O\left(\frac{\log m}{α^2} + \frac{\log m}{α\varepsilon}\right)$,表示与非私有算法相比,隐私成本最小。我们也可以通过放松到$(\varepsilon,δ)$ -差分隐私来处理无限假设类$\mathcal{H}$。我们应用我们的假设选择算法给学习算法的一些自然分布类,包括高斯分布,产品分布,独立随机变量的总和,分段多项式,和混合类。我们的假设选择过程允许我们一般转换为一个类的覆盖到一个学习算法,补充已知的学习下限,这是在类的包装数的大小方面。由于覆盖数和填充数通常密切相关,对于常数$α$,我们的算法实现了许多感兴趣的类的最佳样本复杂度。最后,我们描述了一个应用程序的私人分布免费PAC学习。
2021-01-04 cs.CR cs.DS cs.LG
Asymptotically Optimal Locally Private Heavy Hitters via Parameterized Sketches
本文提出了两种新的局部差分隐私频率估计算法。一个解决了基频预言问题,另一个解决了著名的重打击识别问题。与现有技术一致,这些是随机算法。作为失效概率~ $β$的函数,前者对于每个~ $β$都能获得最优的最坏情况估计误差,而后者当~ $β$至少是用户数~ $n$的逆多项式时是最优的.在这两种算法中,服务器运行时间为~ $\tilde{O}(n)$,而用户运行时间为~ $\tilde{O}(1)$。我们的频率预言算法实现了比Basily等人的先前工作更低的估计误差。(NeurIPS 2017)。另一方面,我们的重命中者识别方法与TreeHist(Basily等人,2017),并且具有优越的最差情况误差,系数为$Ω(\sqrt{\log n})$。
2022-02-17 cs.CR cs.DS
Locally Differentially Private Data Collection and Analysis
本地差分隐私(LDP)可以在不可信的数据管理者下为每个用户提供强隐私保证,同时确保从私有化数据中导出的准确统计数据。由于其强大的功能,LDP已被广泛采用,以保护各种任务中的隐私(例如,重量级人物发现,概率估计)和系统(例如,Google Chrome、Apple iOS)。虽然$ε$ -LDP已经提出了很多年,但更一般的概念$(ε, δ)$ -LDP仅在很少的论文中进行了研究,这些论文主要考虑数值数据的均值估计。此外,现有的解决方案通过利用高斯机制来实现$(ε, δ)$ -LDP,这导致聚合结果的准确性低。在本文中,我们提出了新的机制,实现$(ε, δ)$ -LDP在数据分析和机器学习具有很高的实用性。具体来说,我们首先设计$(ε, δ)$ -LDP算法收集多维数值数据,它可以确保更高的精度比最佳高斯机制,同时保证每个用户的强隐私。然后,我们研究不同的本地协议下的分类属性$(ε, δ)$ -LDP。此外,我们对所提出的算法的误差界和方差进行了理论分析。在真实数据集和合成数据集上的实验结果表明,我们提出的算法在简单的数据统计和复杂的机器学习模型上都具有很高的数据实用性。
2019-06-05 cs.CR
Canonical Noise Distributions and Private Hypothesis Tests
$f$ -DP最近被提出作为差分隐私的推广,允许无损分析的组成,后处理,和隐私放大通过二次采样。在$f$ -DP的设置中,我们提出了规范噪声分布(CND)的概念,这是为任意$f$ -DP保证而设计的第一种机制。CND的概念捕获附加隐私机制是否完全匹配给定$f$的隐私保证。我们证明了CND总是存在的,并给出了一个建设,产生任何$f$的CND。我们发现,私人假设检验是密切相关的CND,允许释放私人$p$ -值在没有额外的隐私成本,以及建设统一的最强大的(UMP)测试二进制数据,一般$f$ -DP框架内。我们将我们的技术的比例测试的差异的问题,并构造了一个UMP无偏(UMPU)的“半私人”的测试上限的性能的任何$f$ -DP测试。以此为基准,我们提出了一个私人测试,基于特征函数的反演,它允许两个人口参数的最佳推断,几乎是强大的半私人UMPU。当专门的$(ε,0)$ -DP的情况下,我们的经验表明,我们提出的测试是更强大的比任何$(ε/\sqrt 2)$ -DP测试,并具有更准确的I型错误比经典的正态近似测试。
2023-01-13 cs.CR math.ST stat.TH
Differentially Private Chi-Squared Hypothesis Testing: Goodness of Fit and Independence Testing
假设检验是一种有用的统计工具,用于根据总体样本确定是否应拒绝给定模型。样本数据可能包含有关个人的敏感信息,例如医疗信息。因此,重要的是要设计统计测试,以保证数据中受试者的隐私。在这项工作中,我们研究了假设检验受差异隐私,特别是卡方检验的拟合优度的多项式数据和两个分类变量之间的独立性。我们提出了新的测试适合的拟合优度和独立性测试,像经典版本可以用来确定是否一个给定的模型应该被拒绝或不,另外可以确保差分隐私。我们给出了基于蒙特卡罗的假设检验以及更严格遵循经典卡方拟合优度检验和皮尔逊卡方独立性检验的假设检验。至关重要的是,我们的测试考虑了注入的噪声的分布,以确保在确定显著性时的隐私。我们表明,这些测试可以用来实现所需的显着性水平,在鲜明的对比,直接应用经典的测试,以不同的私人列联表,这可能会导致广泛变化的显着性水平。此外,我们还研究了这些测试的统计功效。我们的经验表明,为了达到与经典非私人测试相同的功效水平,我们的新测试只需要相对适度地增加样本量。
2016-06-02 cs.CR math.ST stat.TH
Locally Private k-Means Clustering
Ben-Gurion University(本-古里安大学);Google Research(谷歌研究院)
我们设计了一个新的算法的欧几里德$k$ -手段的问题,操作在本地模型的差分隐私。与非私有文献不同,$k$的差分私有算法意味着目标会产生加法和乘法错误。我们的算法显着减少了加法误差,同时保持乘法误差与以前的最先进的结果相同。具体来说,在一个数据库的大小$n$,我们的算法保证$O(1)$乘法错误和$\approx n^{1/2+a}$添加剂错误为任意小常数$a>0$。在局部模型中,所有先前的算法都具有加性误差$\approx n^{2/3+a}$。我们的技术扩展到$k$ -中位数聚类。我们发现,我们得到的附加误差几乎是最佳的依赖于数据库大小$n$。具体来说,我们给出了一个简单的下界,表明每个局部私有算法的$k$ -手段的目标必须有附加误差至少$\approx\sqrt{n}$。
2021-06-28 cs.CR cs.DS cs.LG
Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives
KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出一种局部差分隐私联邦学习算法,通过动态分配时变噪声方差以最小化优化误差上界,在隐私预算约束下同时实现隐私保护与效用,无需调整迭代次数且性能优于现有方法。
2023-08-02 cs.CR cs.DC cs.LG
Locally Differentially Private Frequency Estimation via Joint Randomized Response
针对 LDP 频率估计中隐私与效用的权衡,本文提出基于两人组相关扰动的 JRR 机制,在保持与经典 RR 同等隐私保证的同时,将估计精度最高提升两个数量级。
2025-06-15 cs.CR
Locally Private k-Means in One Round
Google(谷歌)
我们提供了一个近似算法的k-means聚类在一轮(又名非交互式)的局部模型的差分隐私(DP)。该算法实现了任意接近最佳非私有近似算法的近似比,改进了先前已知的仅保证大(恒定)近似比的算法。此外,这是第一个常数因子近似算法的k-means,只需要一轮的通信在本地DP模型,积极解决一个悬而未决的问题Stemmer(SODA 2020)。我们的算法框架是相当灵活的,我们证明了这一点,它也产生了类似的接近最佳的近似算法(一轮)洗牌DP模型。
2021-05-15 cs.CR cs.DS cs.LG
Instance-Optimal Differentially Private Estimation
Apple, Inc.(苹果公司);Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们研究了局部极小极大收敛估计率受$ε$ -差分隐私。与最坏情况下的利率,这可能是保守的,算法是局部极小极大最优必须适应简单的问题。本文构造了单参数指数族的局部极小极大差分私有估计,并对分布的尾率进行了估计。在这些情况下,我们证明了用于简单假设检验的最优算法,即Canonne等人(2019)最近的最优私有检验器,直接告知局部极小极大估计算法的设计。
2022-10-28 cs.CR cs.LG math.ST
Parameter-Free Locally Differentially Private Stochastic Subgradient Descent
University of Arizona(亚利桑那大学);Boston University(波士顿大学)
我们考虑的问题,最小化的凸风险与随机次梯度保证$ε$ -局部差分私有($ε$ -LDP)。虽然已经表明,通过标准SGD利用$ε$ -LDP进行随机优化是可能的(Song等人,2013年),其收敛速度在很大程度上取决于学习率,这必须通过反复运行来调整。此外,调谐对隐私损失是有害的,因为它显著增加了梯度请求的数量。在这项工作中,我们提出了BANCO(噪音硬币的投注算法),第一个$ε$ -LDP SGD算法,基本上匹配的收敛速度的调整SGD没有任何学习率参数,减少隐私损失,节省隐私预算。
2019-11-21 cs.CR cs.LG math.OC
A Storage-Efficient and Robust Private Information Retrieval Scheme Allowing Few Servers
自2000年Katz和Trevisan提出局部可解码码的概念以来,利用局部可解码码可以构造理论上安全的私有信息检索方案已成为一个研究热点。本文利用Kopparty等人提出的多重性码构造了一个拜占庭鲁棒PIR方案。我们的主要贡献是一方面避免了数据库在每台服务器上的完全复制,从而显著降低了全局冗余。另一方面,在PIR背景下比在LDC背景下具有低得多的本地性。这表明存在两个不同的概念:LDC-局部性和PIR-局部性。这是可能的,通过利用几何性质的多重性代码。
2014-12-16 cs.CR
Private Hypothesis Testing for Social Sciences
该研究针对社会科学实验中隐私保护下的统计功效问题,理论分析高斯机制下差分隐私对样本量的影响,还提出用简单自助法提升隐私统计量准确性的实证方法。
2023-06-16 cs.CR stat.ME
Local Differential Privacy for Physical Sensor Data and Sparse Recovery
在这项工作中,我们探讨了本地差分私人热传感器数据的效用。我们设计了一个局部差分私有恢复算法的1维,离散热源定位问题,并分析其性能的地球移动器距离误差。我们的工作表明,有可能产生本地私有传感器测量,既保持热源的确切位置私有,并允许恢复的“一般地理附近”的源。我们还讨论了一个反问题的属性之间的关系是病态的和需要保持隐私的噪声量。
2018-03-23 cs.CR cs.DB
Exactly Minimax-Optimal Locally Differentially Private Sampling
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院);Department of Computing and Software, McMaster University(麦斯特大学计算机与软件系)
本文提出了一种在局部差分隐私下精确最优的采样机制,通过f-散度度量效用,实现了有限和连续数据空间的最优隐私-效用权衡。
2024-10-30 cs.CR cs.LG
Locally Private Estimation with Public Features
School of Statistics, Renmin University of China(中国人民大学统计学院);Center for Applied Statistics, School of Statistics, Renmin University of China(中国人民大学统计学院应用统计中心)
该研究开启含公共特征的局部差分隐私学习研究,定义半特征LDP场景,提出HistOfTree估计器,理论达极小极大最优收敛率,实证在合成与真实数据上表现更优,显著降低非参数回归的极小极大收敛率。
2025-02-11 cs.CR cs.LG stat.ML
Locally Differentially Private In-Context Learning
Renmin University of China(中国人民大学)
针对 LLM 提示中敏感标签可能遭受 MIA 与提示泄露攻击的问题,提出 LDP-ICL 框架,并分析分类任务中的隐私—效用权衡及离散分布估计应用。
2024-05-08 cs.AI cs.CR
Locally Differentially Private Sparse Vector Aggregation
向量均值估计是联邦分析中的一个核心基础。在向量均值估计中,每个用户$i \in [n]$持有实值向量$v_i\in [-1, 1]^d$,并且服务器想要估计所有$n$向量的均值。不仅如此,我们还要保护每个用户的隐私。在本文中,我们考虑的$k$ -稀疏版本的向量均值估计问题,即假设每个用户的向量有至多$k$非零坐标在其$d$ -维向量,而且,$k \ll d$。在实践中,由于全域大小$d$可以非常大(例如,所有可能的URL的空间),我们希望每个用户的通信是简洁的,即,与宇宙大小无关或(多)对数。在本文中,我们是第一个显示匹配的上界和下界的$k$ -稀疏向量均值估计问题下的局部差分隐私。具体来说,我们构建了新的机制,实现渐近最优的错误,以及简洁的通信,无论是在用户级LDP或事件级LDP。我们实现了我们的算法,并在合成和真实世界的数据集上对其进行评估。我们的实验表明,我们往往可以实现一个或两个数量级的减少错误与以前的作品相比,在典型的参数选择,而产生微不足道的通信成本。
2022-02-27 cs.CR
Fast Optimal Locally Private Mean Estimation via Random Projections
Apple Inc.(苹果公司);UC Berkeley(加州大学伯克利分校);Northeastern(东北大学)
针对高维局部隐私均值估计中现有算法误差次优或复杂度高的问题,提出 ProjUnit 框架,通过随机投影至低维子空间并运行最优算法,在保证最优误差的同时显著降低通信与计算成本。
2023-06-26 cs.CR cs.LG stat.ML
Exponential Separations in Local Differential Privacy
University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
我们证明了两个玩家游戏的通信复杂性和他们的多玩家本地私人类似物的样本复杂性之间的一般连接。我们使用这种连接来证明样本复杂性下限的本地差分私有协议作为直接的推论的结果从通信复杂性。特别地,我们1)使用隐藏层问题的通信下界来证明顺序交互式和完全交互式局部私有协议之间的指数样本复杂度分离,以及2)使用指针追逐问题的通信下界来证明对于每个$k$,$k$轮和$k+1$轮顺序交互式局部私有协议之间的指数样本复杂度分离。
2019-10-29 cs.CR cs.LG stat.ML
Data Poisoning Attacks to Locally Differentially Private Frequent Itemset Mining Protocols
本文针对本地差分隐私(LDP)频繁项集挖掘协议提出了一种新型实用的数据投毒攻击,通过引入具有可组合攻击操作的统一攻击框架,成功操纵了最先进的LDP协议,并在三个数据集上的实验中证明了其有效性与威胁严重性。
2024-06-27 cs.CR
On the Optimal Regret of Locally Private Linear Contextual Bandit
Massachusetts Institute of Technology(麻省理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对局部隐私约束下线性上下文老虎机能否达到经典$\tilde O(\sqrt{T})$遗憾上界的开放问题,提出结合平均绝对偏差误差分析与分层主成分回归的方案,首次实现该最优遗憾上界。
2024-04-15 cs.CR cs.LG stat.ML
Devil's Hand: Data Poisoning Attacks to Locally Private Graph Learning Protocols
Beijing University of Posts and Telecommunications(北京邮电大学);Shandong University(山东大学);North China Electric Power University(华北电力大学);University of Illinois Chicago(伊利诺伊大学香槟分校)
本文首次提出针对本地隐私图学习协议的数据投毒攻击,通过注入虚假用户、建立链接并伪造数据,在理论与实验上证明了该攻击能有效损害图学习实用性,并指出当前防御策略效果有限。
2025-06-26 cs.CR cs.LG
Revealing the True Cost of Locally Differentially Private Protocols: An Auditing Perspective
本研究提出LDP-Auditor框架以拓展差分隐私审计至本地场景,通过分析多种LDP协议探究隐私损失影响因素,还发现了主流LDP工具包的漏洞,为从业者选择合适隐私方案提供实证依据。
2024-07-12 cs.CR
Tight Lower Bounds for Locally Differentially Private Selection
我们证明了一个严格的下限(常数因子)的样本复杂性的任何非交互式本地差分私有协议优化的线性函数的单纯形。这个下限也意味着一个严格的下限(再次,常数因子)的样本复杂性的任何非交互式本地差分私有协议实现指数机制。这些结果表明,这些问题的任何本地协议具有指数更差的依赖于维数比相应的算法在中心模型。在此之前,Kasiviswanathan等人(FOCS 2008)证明了PAC学习奇偶函数类的局部和中心模型算法之间的指数分离。相比之下,我们的下限在数量上是紧的,适用于一个简单而自然的线性优化问题,我们的技术可以说是更简单。
2021-05-14 cs.CR cs.DS cs.LG
Test without Trust: Optimal Locally Private Distribution Testing
Cornell University(康奈尔大学);Stanford University(斯坦福大学);Indian Institute of Science(印度科学学院)
我们研究的问题,分布测试时,样本只能使用本地差分私有机制访问,并专注于两个代表性的测试问题的身份(拟合优度)和独立性测试离散分布。我们关注两个设置:第一,当我们坚持使用一个已经部署的,通用的本地差异私有机制,如流行的RAPPOR或最近引入的Hadamard响应收集数据,并且必须基于通过此机制收集的数据构建我们的测试时;第二,当没有这样的限制时,我们可以设计一个专门用于测试的定制机制。对于后一个目的,我们引入了随机聚合私有测试最优响应(RAPTOR)机制,该机制非常简单,每个样本只需要一位通信。我们提出了基于这些机制的测试,并分析其样本的复杂性。每个测试都可以有效地执行。在每一种情况下(除一个),我们补充我们的性能界限的算法与信息理论的下限,并建立样本最优性,我们提出的算法。出现的一个特殊特征是,我们基于RAPTOR的样本优化算法使用公共硬币,而任何基于RAPPOR或Hadamard Response的测试,这两种都是私人硬币机制,需要更多的样本。
2018-08-07 cs.CR cs.DM cs.DS
Profile-Based Privacy for Locally Private Computations
差分隐私已经成为隐私保护数据分析的黄金标准。一个流行的变体是本地差分隐私,其中数据持有者是受信任的管理者。然而,更广泛地采用这种模式的一个主要障碍是,它提供了一个糟糕的隐私-效用权衡。在这项工作中,我们解决这个问题,通过引入一个新的变种的本地隐私称为基于配置文件的隐私。其中心思想是,问题设置带有数据生成分布的图G,其边缘编码敏感的分布对,这些分布应该是不可区分的。这提供了更高的效用,因为与局部差分隐私不同,我们不再需要使域中的每对私有值不可区分,而是只保护底层分布的身份。我们建立隐私属性的基于配置文件的隐私定义,如后处理不变性和优美的组合。最后,我们提供的机制,在这个框架中是私人的,并通过模拟表明,他们实现了更高的效用比相应的本地差分隐私机制。
2019-06-16 cs.CR cs.LG stat.ML
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne(墨尔本大学)
我们考虑使用局部差异私有数据集的机器学习,特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的,干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此,具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布,分布鲁棒优化问题可以放松为正则化的机器学习问题,其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归,这个正则化子是模型参数的对偶范数。对于高斯数据,分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后,在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
A Differentially Private Wilcoxon Signed-Rank Test
Reed College(里德学院)
假设检验是数据采掘的重要统计工具,也是许多领域科学研究的主力。在这里,我们提出了一个经典的Wilcoxon符号秩假设检验的差异私人模拟,当比较成对的(例如,前后)数据值。我们不仅提供了检验统计量的私人估计,而且提供了一种准确计算p值和评估统计显著性的方法。我们评估我们的测试模拟和真实数据。与Task和Clifton针对这种情况的唯一现有私人测试相比,我们发现我们的测试需要不到一半的数据才能实现相同的统计功效。
2018-09-05 cs.CR cs.LG stat.ML
Locally Private Bayesian Inference for Count Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);Cornell University(康奈尔大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们提出了一种在泊松分解中进行隐私保护贝叶斯推断的一般方法,泊松分解是一种广泛的模型,包括社会科学中最广泛使用的一些模型。我们的方法满足有限精度的局部隐私,局部差分隐私的推广,我们引入制定隐私保证适合稀疏计数数据。我们开发了一种MCMC算法,该算法在给定的数据上近似局部私有后验模型参数,该数据已经通过几何机制局部私有化(Ghosh等人,2012年)。我们的解决方案是基于两个见解:1)一个新的重新解释的几何机制的条件下,阿拉姆分布(阿拉姆,1946年)和2)的一般定理,将阿拉姆贝塞尔分布(袁和Kalbfleisch,2000年)。我们在两个案例研究中展示了我们的方法,在现实世界的电子邮件数据中,我们表明,我们的方法始终优于常用的朴素方法,获得更高质量的文本主题和更准确的网络链接预测。在某些任务上,我们的隐私保护方法甚至优于非私有推理,其中的条件下的真实数据。
2019-02-21 cs.CL cs.CR cs.LG
Locally Differentially Private Bayesian Inference
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学);University of Helsinki(赫尔辛基大学)
近年来,局部差分隐私(LDP)已成为一种选择的隐私保护数据收集在几种情况下,当聚合器是不值得信赖的技术。LDP通过在用户端添加噪声来提供客户端隐私。因此,客户端不需要依赖于聚合器的可信度。在这项工作中,我们提供了一个噪声感知的概率建模框架,它允许贝叶斯推断考虑到噪声下的LDP隐私,条件是局部扰动观测。LDP协议提供的更强的隐私保护(与中央模型相比)是在更苛刻的隐私-效用权衡下实现的。我们的框架解决了LDP在贝叶斯设置下准确量化不确定性所带来的几个计算和统计挑战。我们证明了我们的框架在参数估计单变量和多变量分布以及逻辑和线性回归的功效。
2021-10-27 cs.CR cs.LG stat.ML
Adversarial Attacks on Locally Private Graph Neural Networks
Indian Institute of Technology Kharagpur(印度理工学院加尔各答分校);University of Connecticut(康涅狄格大学)
本文研究了本地差分隐私保护下图神经网络的对抗攻击问题,分析现有攻击方法有效性及挑战,并提出防御方向,探讨隐私与安全的平衡。
2026-03-21 cs.CR cs.LG
Revisiting Locally Differentially Private Protocols: Towards Better Trade-offs in Privacy, Utility, and Attack Resistance
Inria(法国国家信息与自动化研究所);ÉTS Montréal(蒙特利尔高等技术学院);Université du Québec à Montréal (UQAM)(魁北克大学蒙特利尔分校)
本文提出多目标优化框架,优化隐私和效用在对抗性设置中的平衡,通过分析八种先进协议并提出改进方案,实验表明所提机制在降低攻击成功率的同时保持效用,接近ASR-MSE帕累托前沿。
2026-03-18 cs.CR
Improved Lower Bounds for Locally Decodable Codes and Private Information Retrieval
我们证明了新的下界局部可解码的代码和私人信息检索。我们表明,一个2查询LDC编码的n位字符串在一个l位的字母表,其中解码器只使用b位的每个查询位置的码字,需要码长m = exp(Omega(n/(2 ^b Sum_{i=0} ^b {l choose i})类似地,具有n位数据库和t位查询的2服务器PIR方案,其中用户仅需要来自两个l位答案中的每一个的b位,对于服务器未知,满足t = Omega(n/(2^b Sum_{i=0} ^b {l choose i}))。这意味着几个已知的PIR方案接近最优。我们的结果推广了Goldreich等人的结果,他们证明了线性最不发达国家和PIR的大致相同的界限。像早期的工作由克伦特洛夫和德沃尔夫,我们的经典下界证明使用量子计算技术。特别是,我们给出了一个严格的分析如何以及2输入函数可以计算从两个输入的量子叠加。
2005-05-19 cs.CC cs.CR quant-ph
Randomize the Future: Asymptotically Optimal Locally Private Frequency Estimation Protocol for Longitudinal Data
局部差分隐私(LDP)下的纵向数据跟踪是一项具有挑战性的任务。重复调用为一次性计算设计的协议的基线解决方案导致隐私或实用性保证相对于计算次数的线性衰减。为了避免这种情况,Erlingsson等人(2020)的最新方法利用了用户数据的潜在稀疏性,这些数据很少发生变化。他们的协议针对纵向二进制数据的频率估计协议的基本问题,$\ell_\infty$误差为$O ( (1 / ε) \cdot (\log d)^{3 / 2} \cdot k \cdot \sqrt{ n \cdot \log ( d / β) } )$,其中$ε$是隐私预算,$d$是时间段的数量,$k$是用户数据的最大变化次数,$β$是失败概率。值得注意的是,误差界限与$d$成多项式关系,但与$k$成线性关系。本文突破了估计误差对$k$的线性依赖性。我们的新协议有错误$O ( (1 / ε) \cdot (\log d) \cdot \sqrt{ k \cdot n \cdot \log ( d / β) } )$,将下限与对数因子匹配。该协议是一个在线协议,在每个时间段输出一个估计。关键的突破是一个新的随机发生器的顺序数据,未来兰德,有两个关键功能。第一种是一种组合策略,它将噪声与序列的非零元素相关联。第二种是预计算技术,通过利用输入空间的对称性,使随机发生器能够在不知道未来输入的情况下动态输出结果。我们的协议关闭现有…
2022-04-11 cs.CR
Locally Private Histograms in All Privacy Regimes
本文研究了中低隐私机制下的本地私有直方图与分布学习问题,建立了ℓ∞误差的近乎紧致界,并据此提出混洗模型下通信复杂度显著更优的直方图协议,同时通过实证比较验证了理论发现。
2024-09-04 cs.CR cs.DM cs.DS
Locally Private $k$-Means Clustering with Constant Multiplicative Approximation and Near-Optimal Additive Error
Northeastern University(东北大学)
给定$d'$维欧几里德空间中大小为$n$的数据集,$k$均值问题要求一组$k$点(称为中心),使得大小为$n$的给定数据集的点与$k$中心集之间的$\ell_2^2$距离之和最小.最近的工作在这个问题上的本地私人设置实现了常数乘法近似与添加剂的错误$\tilde{O} (n^{1/2 + a} \cdot k \cdot \max \{\sqrt{d}, \sqrt{k} \})$,并证明了一个下界的$Ω(\sqrt{n})$的添加剂的错误的任何解决方案具有恒定的轮数。在这项工作中,我们弥合了$n$的指数之间的差距,在上界和下界的附加误差与两个新的算法。给定任何$α>0$,我们的第一个算法实现了乘法近似保证,这是最多的$(1+α)$因子大于任何非私有的$k$ -均值聚类算法与$k^{\tilde{O}(1/α^2)} \sqrt{d' n} \mbox{poly}\log n$添加剂错误。给定任何$c>\sqrt{2}$,我们的第二个算法实现$O(k^{1 + \tilde{O}(1/(2c^2-1))} \sqrt{d' n} \mbox{poly} \log n)$加法误差与常数乘法近似。这两种算法都超越了$Ω(n^{1/2 + a})$的因素,发生在任意小的参数$a$在以前的工作中的添加剂错误,第二个算法,特别是第一次表明,它是可能的解决本地私人$k$ -手段的问题,在一个恒…
2021-05-31 cs.CR cs.DS cs.LG
Contraction of Locally Differentially Private Mechanisms
本文研究局部差分隐私机制的收缩性质,推导出输出分布间χ²散度关于输入散度或全变差距离与ε的紧上界,并据此建立多种极小极大风险下界工具的局部隐私版本,在多个统计问题中改进了隐私分析。
2024-05-03 cs.CR cs.IT math.IT
LDPTrace: Locally Differentially Private Trajectory Synthesis
LDPTrace提出一种本地差分隐私轨迹合成框架,通过利用用户轨迹的三个关键模式并以低计算成本生成高相似度轨迹,同时提出隐私安全的网格粒度选择方法,实验验证其有效性与高效性。
2023-10-13 cs.CR cs.DB
Nearly-Linear Time Private Hypothesis Selection with the Optimal Approximation Factor
Department of Computer Science & Ken Kennedy Institute(计算机科学系及肯尼迪研究所);Rice University(里士满大学)
该研究针对差分隐私约束下的假设选择问题,提出了一种中心模型下的近线性时间差分隐私算法,达到最优近似因子α=3,样本复杂度仍为n的多重对数级别,解决了此前需二次时间的开放问题。
2025-10-22 cs.CR cs.DS cs.LG
AAA: an Adaptive Mechanism for Locally Differential Private Mean Estimation
本文提出AAA自适应机制,通过两步分布感知扰动求解均值估计优化问题,在本地差分隐私下显著提升平均效用并优于现有方法。
2024-04-03 cs.CR
Necessity of Block Designs for Optimal Locally Private Distribution Estimation
本文证明任何达到最优误差的本地差分隐私分布估计协议必须对应平衡不完全区组设计,从而完全刻画最优协议,并指出同时最优通信的协议仅基于对称设计。
2025-08-07 cs.CR cs.DS cs.IT