Agnostic Private Density Estimation for GMMs via List Global Stability
McMaster University(麦克马斯特大学);Vector Institute(矢量研究院);Google(谷歌公司)
针对不可知场景下高维高斯混合模型的私有密度估计问题,研究人员引入列表全局稳定性的不可知变体,构建对应学习器,首次证明了该问题的样本复杂度上界。
2024-10-06 cs.CR cs.DS cs.IT
Private Query Release Assisted by Public Data
The Ohio State University(俄亥俄州立大学);Northeastern University(东北大学);Google AI Princeton(谷歌普林斯顿人工智能实验室);University of Toronto(多伦多大学);University of Minnesota(明尼苏达大学)
我们研究的问题有区别的私人查询发布辅助访问公共数据。在这个问题中,目标是使用公共和私有样本的组合来回答一个大类$\mathcal{H}$的统计查询,其误差不超过$α$。该算法只需要满足关于私有样本的差分隐私。我们研究的限制,这项任务的私人和公共样本的复杂性。首先,我们证明了我们可以解决问题的任何查询类$\mathcal{H}$的VC维有限使用$d/α$公共样本和$\sqrt{p}d^{3/2}/α^2$私有样本,其中$d$和$p$是VC维和对偶VC维的$\mathcal{H}$,分别。相比之下,仅使用私有样本,即使对于VC维度为1的简单查询类也不能解决这个问题,并且在没有任何私有样本的情况下,需要大小为$d/α^2$的更大的公共样本。接下来,我们给出了样本复杂度下界,表现出对$p$和$α$的紧密依赖。对于决策树类,当公共样本量小于$1/α^2$时,给出了私有样本复杂度的一个下界$\sqrt{p}/α$.给定我们的上界,这表明对$\sqrt{p}$的依赖在私有样本复杂度中是必要的。我们还给出了一个下界$1/α$的公共样本复杂性的查询类,我们的上限,是紧$α$的一个广泛的家庭。
2020-04-23 cs.LG stat.ML
Private Mean Estimation of Heavy-Tailed Distributions
University of Waterloo(滑铁卢大学);Northeastern University(东北大学)
给出了具有有界$k$阶矩分布的差分私有均值估计的极小极大样本复杂度的新的上界和下界。粗略地说,在单变量的情况下,我们表明,$n = Θ\left(\frac{1}{α^2} + \frac{1}{α^{\frac{k}{k-1}}\varepsilon}\right)$样本是必要的和足够的估计平均$α$ -准确性下$\varepsilon$ -差分隐私,或其任何常见的松弛。与不存在隐私约束的估计相比,该结果表明了定性上不同的行为,其中所有$k \geq 2$的样本复杂性都是相同的。我们也给算法的多变量设置的样本复杂性是一个因素的$O(d)$大于单变量的情况下。
2021-02-16 cs.CR cs.DS cs.IT
Polynomial Time and Private Learning of Unbounded Gaussian Mixture Models
McMaster University(麦克马斯特大学);Google(谷歌)
本文提出将 GMM 隐私参数估计归约为非隐私学习的黑盒私有化框架,基于 [MV10] 给出无参数有界性假设下的首个多项式时间差分隐私 GMM 学习算法及样本复杂度上界。
2023-06-07 cs.CR cs.DS cs.IT
Contraction of Private Quantum Channels and Private Quantum Hypothesis Testing
School of Electrical and Computer Engineering, Cornell University(电气与计算机工程学院,康奈尔大学)
本文研究了隐私约束下量子信道与散度的收缩系数,刻画了QLDP框架下多种散度的收缩上界,并将其应用于界定quantum hypothesis testing的样本复杂度,证明了private quantum channels能提供公平性与Holevo信息稳定性。
2025-11-04 cs.CR cs.IT cs.LG
Algorithms for Differentially Private Multi-Armed Bandits
Chalmers University of Technology(查尔姆斯理工大学)
我们提出了差分隐私算法的随机多臂强盗(MAB)问题。这对于自适应临床试验、实验设计和用户定向广告等应用来说是一个问题,在这些应用中,私人信息与个人奖励相关联。我们的主要贡献是表明,存在$(ε, δ)$差异私人变种的置信上限算法,具有最佳的遗憾,$O(ε^{-1} + \log T)$。这是一个显着的改进,以前的结果,只实现多对数遗憾$O(ε^{-2} \log^{2} T)$,因为我们使用了一种新的间隔为基础的机制。我们还大大提高了以前的家庭的算法,使用一个连续的释放机制的界限。实验清楚地证实了我们的理论界限。
2015-11-27 cs.CR cs.LG stat.ML
Private Distribution Learning with Public Data: The View from Sample Compression
University of Waterloo(滑铁卢大学);The University of Sydney(悉尼大学);Vector Institute(矢量研究院)
本文从样本压缩与列表学习角度刻画公共-私有分布学习,给出 Gauss 混合等样本复杂度上界及封闭性质,并证明 Gauss 分布需至少 $d$ 个公共样本。
2023-08-14 cs.CR cs.LG stat.ML
On the Optimal Regret of Locally Private Linear Contextual Bandit
Massachusetts Institute of Technology(麻省理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对局部隐私约束下线性上下文老虎机能否达到经典$\tilde O(\sqrt{T})$遗憾上界的开放问题,提出结合平均绝对偏差误差分析与分层主成分回归的方案,首次实现该最优遗憾上界。
2024-04-15 cs.CR cs.LG stat.ML
Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry
Stanford University(斯坦福大学);Apple(苹果公司);Tel Aviv University(特拉维夫大学);Google(谷歌公司)
在$\ell_1$ -有界域上的随机凸优化在机器学习应用(如LASSO)中是普遍存在的,但在使用差分隐私进行学习时仍然知之甚少。我们发现,对数因子的最佳过剩人口损失的任何$(\varepsilon,δ)$ -差分私人优化是$\sqrt{\log(d)/n} + \sqrt{d}/\varepsilon n.$的上限是基于一个新的算法,结合了迭代本地化方法的~ \citet{FeldmanKoTa20}与私人正则化镜像下降的新分析。它适用于$p\in [1,2]$的$\ell_p$有界域,并且最多查询$n^{3/2}$梯度,这比需要$n^2$梯度的$\ell_2$情况下的最佳先前已知算法有所改进。此外,我们表明,当损失函数满足额外的平滑性假设,过量损失的上限(对数因子)由$\sqrt{\log(d)/n} + (\log(d)/\varepsilon n)^{2/3}.$这界是通过一个新的方差减少版本的弗兰克-沃尔夫算法,只需要一个单一的数据通过。我们还表明,在这种情况下的下限是上述两个速率的最小值。
2021-03-02 cs.CR cs.LG math.OC
Limits of Private Learning with Access to Public Data
Princeton University(普林斯顿大学);The Ohio State University(俄亥俄州立大学);Google AI(谷歌人工智能)
我们考虑训练集由两种类型的例子组成的学习问题:私人和公共。我们的目标是设计一个学习算法,满足差分隐私只有关于私人的例子。这种设置介于私人学习(所有示例都是私人的)和经典学习(所有示例都是公共的)之间。我们研究的限制,在这种情况下的私人和公共样本的复杂性。我们发现,VC维$d$的任何假设类都可以不可知地学习到$α$的过量错误,只使用(粗略)$d/α$公共示例和$d/α^2$私有标记示例。这个结果甚至在公共例子没有标记的情况下也成立。这给出了在公共样本复杂度上的标准$d/α^2$上界的二次改进(其中如果公共示例被标记,则可以完全忽略私有示例)。此外,我们给出了一个几乎匹配的下限,我们证明了通过一个通用的减少从这个设置的私人学习没有公共数据。
2019-10-25 cs.CR cs.LG stat.ML
Oracle Efficient Private Non-Convex Optimization
University of Pennsylvania(宾夕法尼亚大学);University of Minnesota(明尼苏达大学)
目标扰动是差分私有学习和优化的最有效算法之一。这种方法是在给定的优化问题(如ERM问题)上增加一个随机线性项,然后精确求解。然而,到目前为止,这种方法的分析主要依赖于目标函数的凸性和光滑性,限制了它的通用性。我们给出了两个算法,大大扩展了这种方法。第一种算法只要求损失函数有界,并在离散域上运行。它的隐私性和准确性保证甚至在不假设凸性的情况下也成立。这给出了在任意离散域上的Oracle高效优化算法,其一般性与指数机制相当。第二种算法在连续域上操作,仅要求损失函数有界且Lipschitz为其连续参数。它的隐私分析不需要凸性。它的精度分析确实需要凸性,但不需要二阶条件,如光滑性。即使没有凸性,该算法也可以作为一种通用的Oracle高效优化算法,并根据经验评估其精度。我们补充我们的理论结果与非凸的情况下,我们使用整数规划求解器作为我们的优化预言机的经验评估。我们发现,对于学习线性分类器的问题,使用我们的方法直接优化0/1损失可以优于在Adult数据集上私下优化凸代理损失函数的更标准方法。
2020-12-29 cs.CR cs.LG stat.ML
Closure Properties for Private Classification and Online Prediction
Princeton University(普林斯顿大学);Tel Aviv University(特拉维夫大学);Ben-Gurion University(本-古里安大学);Georgetown University(乔治城大学);Google AI(谷歌人工智能);Google Research(谷歌研究院)
设~ $\cH$是一类布尔函数,并考虑使用某种任意聚合规则从~ $\cH$导出的{ \it组合类} $\cH'$(例如,$\cH'$可以是$\cH$中所有函数的3次多数票的类)。我们利用~ $\cH$的Littlestone维数上界了~ $\cH'$的Littlestone维数.作为一个推论,我们得到封闭性的在线学习和私人PAC学习。Littlestone维数上的导出界表现出不期望的指数依赖性。对于私人学习,我们证明了接近最优的界限,规避这种次优的依赖。通过将原始类$\cH$的私有学习器转换为组合类$\cH'$的私有学习器,得到了私有学习样本复杂度的改进界.使用相同的思想,我们表明,任何({ \em适当或不适当})私人算法,学习一类函数$\cH$在可实现的情况下(即,当示例由类中的某个函数标记时)可以被转换为在不可知情况下学习类$\cH$的私有算法。
2020-05-13 cs.LG stat.ML
Learning Rate Scheduling with Matrix Factorization for Private Training
Institute of Science and Technology Austria(奥地利科学与技术研究所)
研究在随机梯度下降下使用学习率调度和相关噪声的差分隐私模型训练,提出学习率感知的矩阵分解方法,在MaxSE和MeanSE误差指标下提升隐私训练准确性。
2026-05-09 cs.LG stat.ML
Quantile Multi-Armed Bandits: Optimal Best-Arm Identification and a Differentially Private Scheme
Yale University(耶鲁大学);Rutgers, The State University of New Jersey(罗格斯大学(新泽西州立大学));Bar-Ilan University(巴伊兰大学)
我们研究的最佳武器识别问题的多武装土匪随机,潜在的私人奖励,当目标是确定在一个固定的,规定的水平与最高分位数的手臂。首先,我们提出了一个(非私有)连续消除算法的严格最优最佳臂识别,我们证明了我们的算法是$δ$ -PAC,我们描述了它的样本复杂度。此外,我们提供了一个下限的预期数量的拉动,表明该算法基本上是最佳的对数因子。复杂性的上限和下限取决于一个特殊的定义相关的次优差距,特别是分位数土匪问题,我们表明,当差距接近零,最佳臂识别是不可能的。其次,出于应用程序的奖励是私人的,我们提供了一个差分私人连续消除算法的样本复杂度是有限的,即使是无限的支持大小的分布,我们的样本复杂度的特点。我们的算法不需要先验知识的次优差距或其他统计信息相关的土匪问题在手。
2022-12-04 cs.LG stat.ML
Private Adaptive Gradient Methods for Convex Optimization
Stanford University(斯坦福大学);Apple(苹果公司);Massachusetts Institute of Technology(麻省理工学院)
我们研究自适应方法差分私人凸优化,提出和分析差分私人变量的自适应步长的随机梯度下降(SGD)算法,以及AdaGrad算法。我们提供了两种算法的遗憾上界,并表明边界是(最坏情况下)最优的。由于我们的发展,我们表明,我们的私人版本的AdaGrad优于自适应SGD,这反过来又优于传统的SGD的情况下,非各向同性梯度(非私人)Adagrad可证明优于SGD。主要的挑战是,通常为隐私而添加的各向同性噪声在高维问题的梯度几何中占主导地位;有效优化低维子空间的方法简单地忽略了变化的梯度几何引入的实际问题。相比之下,我们研究非各向同性剪切和噪声添加,开发一个原则性的理论方法,随之而来的程序也享有显着更强的经验性能比以前的方法。
2021-06-25 cs.CR cs.LG math.OC
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo(滑铁卢大学);Meta;Cornell University(康奈尔大学)
研究了在差分隐私(DP)约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反,介绍了王,肖,Devadas,徐\cite{WangXDX20},我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上,我们推导出新的算法私人均值估计的重尾分布,在纯和集中DP。最后,我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界,显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent
Google(谷歌公司)
我们重新研究了差异私人经验风险最小化(ERM)的问题。我们证明了对于无约束凸广义线性模型(GLM),可以得到$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的超额经验风险,其中${\texttt{rank}}$是GLM问题中特征矩阵的秩,$n$是数据样本数,$ε$是隐私参数.这个界限是通过差分私有梯度下降(DP-GD)来实现的。此外,通过第一个无约束的私人ERM的下限,我们表明,我们的上限是紧的。与受约束的ERM设置形成鲜明对比的是,不依赖于环境模型空间($p$)的维数。(请注意,${\texttt{rank}}\leq \min\{n, p\}$。)此外,我们还得到了一个类似的超额人口风险界,它依赖于${\texttt{rank}}$而不是$p$。对于平滑非凸GLM设置(即,其中的目标函数是非凸的,但保持GLM结构),我们进一步表明,DP-GD达到了一个维数无关的收敛$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的一阶平稳点的基本目标。最后,我们表明,对于凸GLM,在实践中常用的DP-GD的一个变体(涉及裁剪个别梯度)也表现出相同的维数独立收敛到一个明确定义的目标的最小值。为此,我们提供了一个结构引理,其特征在于DP-GD的优化配置文件上的裁剪的效果。
2021-03-02 cs.CR cs.LG math.OC
Differentially Private Identity and Closeness Testing of Discrete Distributions
MIT(麻省理工学院);USC(南加州大学);TAU(特拉维夫大学)
本文研究了离散总体上随机样本的同一性和紧密性检验问题。我们的目标是开发高效的测试人员,同时保证人口中的个体的差分隐私。我们描述了一种方法,产生样本有效的差异私人测试这些问题。我们的理论研究结果表明,存在私人身份和亲密度测试,几乎是他们的非私人同行的样本效率。我们进行实验评估我们的算法上的合成数据。我们的实验表明,我们的私人测试人员实现小的I型和II型错误的样本量次线性域大小的基础分布。
2017-07-18 cs.DS cs.IT cs.LG
Tight and Robust Private Mean Estimation with Few Users
Google Research(谷歌研究院);MIT(麻省理工学院)
在这项工作中,我们研究了用户级差分隐私下的高维均值估计,并设计了一个$(\varepsilon,δ)$差分隐私机制,使用尽可能少的用户。特别是,我们提供了一个接近最佳的权衡用户的数量和每个用户的私人均值估计所需的样本数,即使当用户的数量低至$O(\frac{1}{\varepsilon}\log\frac{1}δ)$。有趣的是,\emph{users}的数量上的这个界限与维度无关(尽管\emph{samples per user}的数量可以多项式地依赖于维度),这与以前的工作不同,以前的工作需要用户的数量多项式地依赖于维度。这解决了一个问题,首先提出了阿明等人。此外,我们的机制是强大的腐败高达$49\%$的用户。最后,我们的结果也适用于最佳算法,私人学习离散分布与少数用户,回答了刘等人的问题,以及更广泛的问题,例如随机凸优化和经由对差分私有均值估计的简化的随机梯度下降的变体。
2022-06-12 cs.CR cs.DS cs.LG
Mutual Information Optimally Local Private Discrete Distribution Estimation
考虑具有局部$ε$ -差分隐私的统计学习(例如离散分布估计),其在局部保护每个数据提供者的隐私,我们的目标是在隐私约束下优化统计数据效用。具体来说,我们研究了最大化提供者的数据和它的私有视图之间的互信息,并给出了确切的互信息界以及一个可实现的机制:$k$ -子集机制的结果。该互信息优化机制随机输出具有精细概率分配的原始数据域的大小$k$子集,其中$k$随隐私级别$ε$和数据域大小$d$而变化。从互信息的角度分析了现有局部私有机制的局限性,提出了一种有效的离散分布估计的$k$ -子集机制的实现,并证明了其优于现有方法的最优性保证.
2016-07-27 cs.IT math.IT
Optimal Private Discrete Distribution Estimation with One-bit Communication
本文研究单比特通信下私有离散分布估计的隐私-效用权衡,通过局部渐近正态性和区组设计机制,完全刻画了本地差分隐私和最大泄漏两种约束下的一阶渐近最优性。
2023-10-17 cs.CR cs.IT math.IT
Differentially Private Testing of Identity and Closeness of Discrete Distributions
Cornell University(康奈尔大学)
研究了差分隐私下$k$元素上分布的一致性检验(拟合优度)和接近性检验(两样本检验)的基本问题。虽然这些问题在统计学上有很长的历史,但这些问题的有限样本范围最近才建立起来。在这项工作中,我们推导出样本上的上限和下限的复杂性的问题下$(\varepsilon, δ)$ -差分隐私。我们提供了最佳的样本复杂度算法的身份测试问题的所有参数范围内,和第一个结果的紧密性测试。我们的紧密度测试的界限是最佳的稀疏制度的样本数量是最多$k$。我们的上界是通过私有化这些问题的非私有估计得到的。非私有估计量被选择为具有小的灵敏度。我们提出了一个一般性的框架,建立下限的样本复杂性的统计任务下差分隐私。我们展示了一个绑定的差异私人算法在两个假设类之间的耦合,我们的目标是测试。通过构建精心选择的先验的假设类,并使用Le Cam的两点定理,我们提供了一个一般的机制证明下界。我们相信,该框架可以用来获得强有力的下限下的隐私下的其他统计任务。
2017-10-31 cs.DS cs.IT cs.LG
Two-Level Private Information Retrieval
在传统的鲁棒$T$ -勾结私有信息检索(PIR)系统中,用户需要检索可能的消息之一,同时保持所请求消息的身份对于任何$T$勾结服务器是私有的。出于对不同消息可能的异构隐私需求的考虑,我们考虑了$(N, T_1:K_1, T_2:K_2)$两级PIR系统,系统中共有$K_2$消息,其中$T_1\geq T_2$和$K_1\leq K_2$ .任何一条$K_1$消息都需要通过$T_1$串通服务器进行私有检索,而所有$K_2$消息都需要通过$T_2$串通服务器进行私有检索。通过提出两种新的编码方案,即非均匀连续抵消方案和非均匀块抵消方案,我们得到了容量的下界。容量上限也来自。上界和下界之间的差距进行了分析,并显示消失时,$T_1=T_2$。最后,我们表明,上界一般不紧,提供了一个更强的限制一个特殊的设置。
2021-12-10 cs.IT math.IT
Locally Differentially-Private Randomized Response for Discrete Distribution Learning
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)(加泰罗尼亚电信技术中心(CTTC/CERCA));Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们考虑这样一种安排。来自未知有限支持分布$\boldsymbol{p}$的样本$X_1,\dotsc,X_n$通过离散私有化信道(也称为$n$)的$n$拷贝。机制)产生输出$Y_1,\dotsc,Y_n$。信道法则保证了$ε$的局部差分隐私。根据规定的隐私级别$ε$,最佳信道应该被设计为使得基于信道输出$Y_1,\dotsc,Y_n$的源分布的估计尽可能快地收敛到精确值$\boldsymbol{p}$。为此,我们研究了三个分布距离度量:$f$ -发散,均方误差和总变差的收敛到零。我们推导出相应的归一化一阶收敛项(作为$n\to\infty$),其对于给定的目标隐私$ε$表示经验法则因子,通过该经验法则因子,样本大小必须被增大,以便实现与非随机化信道相同的估计精度。我们制定的隐私保真度权衡问题是最小化隐私约束下的一阶项$ε$。我们进一步确定了一个标量,捕捉这种权衡的本质,并证明了这个数量的界限和数据处理不等式。对于隐私-保真度权衡问题的一些特定实例,我们推导出最佳权衡曲线的内外界。
2018-11-29 cs.IT cs.LG math.IT
Differentially private anonymized histograms
Google Research(谷歌研究院)
对于标签计数对的数据集,匿名直方图是计数的多集。匿名化直方图出现在各种潜在敏感的上下文中,例如密码频率列表,社交网络中的度分布,以及离散分布的对称属性的估计。出于这些应用程序,我们提出了第一个差分隐私机制,以释放匿名直方图,实现接近最佳的隐私效用权衡项目的数量和隐私参数。此外,如果底层直方图以紧凑格式给出,则所提出的算法在项目数量上以次线性的方式运行。对于未知的离散分布生成的匿名直方图,我们表明,发布的直方图可以直接用于估计基本分布的对称属性。
2020-01-13 cs.CR cs.DS cs.IT
On the Privacy-Utility Trade-off With and Without Direct Access to the Private Data
我们研究了信息理论隐私机制设计问题的两种情况下,私人数据是可观察的或隐藏的。在每种情况下,我们首先考虑有界的互信息作为隐私泄漏的标准,然后我们使用两个不同的每个字母的隐私约束。在第一种情况下,代理观察到与私有数据$X$相关的有用数据$Y$,并且希望向用户公开有用信息。设计了一种隐私机制以生成公开数据$U$,其在满足有界隐私泄露约束的同时最大化关于$Y$的公开信息。在第二种情况下,代理还可以访问私有数据。为此,我们首先通过放松独立性条件来扩展函数表示引理和强函数表示引理,从而允许一定的泄漏找到具有不同隐私泄漏约束的第二种情况的下界。此外,在第一种情况下,考虑到不同的隐私约束的上限和下限。特别是,对于不允许泄漏的情况下,我们的上限和下限改进了以前的边界。此外,考虑有界互信息隐私约束,我们表明,如果$X$和$Y$之间的公共信息和互信息是相等的,那么在第二种情况下,所获得的上界是紧的。最后,研究了具有优先级的私有数据的隐私-效用权衡,其中部分$X$,即,$X_1$比其余部分更私密,即,$X_2$,我们提供了下限和上限。
2022-12-23 cs.IT math.IT
Reveal-or-Obscure: A Differentially Private Sampling Algorithm for Discrete Distributions
Department of Statistics and Data Science(统计与数据科学系);Yale University(耶鲁大学);Technion---Institute of Technology(技术学院---技术研究所)
本文提出了一种差分隐私采样算法ROO,通过随机揭示或掩盖经验分布实现隐私保护,并改进为DS-ROO以提升隐私与效用的平衡。
2026-02-17 cs.CR cs.DS cs.IT
Sparse Kernel Mechanisms for Locally Differentially Private Discrete Channels
KTH Royal Institute of Technology(皇家理工学院);UNSW Canberra(新南威尔士大学堪培拉校区)
本文针对局部差分隐私离散信道,提出稀疏核机制的统一框架,精确刻画纯与近似隐私,并分解隐私缺陷为支撑泄露与重叠损失,为多种机制提供闭式公式。
2026-10-07 cs.IT math.IT
On the Generalization Error of Differentially Private Algorithms via Typicality
Imperial College London(帝国理工学院);University of British Columbia(不列颠哥伦比亚大学)
本文从信息论角度研究随机学习算法的泛化误差,改进互信息和最大泄露的界,为差分隐私算法提供更精确的泛化误差保证。
2026-04-17 cs.IT math.IT
The Poisson binomial mechanism for secure and private federated learning
Stanford University(斯坦福大学);Google Research(谷歌研究院)
我们介绍了Poisson Binomial机制(PBM),这是一种用于分布式均值估计(DME)的离散差分隐私机制,可应用于联邦学习和分析。我们对其隐私保证进行了严格的分析,表明它实现了与连续高斯机制相同的隐私准确性权衡。我们的分析是基于一个新的约束上的两个泊松二项分布,可能是独立的利益的雷尼分歧。与以前的离散DP计划的基础上加性噪声,我们的机制编码到一个参数的二项分布的本地信息,因此输出分布是离散的有界支持。此外,支持度不像在需要添加更多噪声以实现更高隐私的加法方案的情况下那样随着隐私预算$\varepsilon \rightarrow 0$而增加;相反,支持度随着$\varepsilon \rightarrow 0$而变小。有界支持使我们能够将我们的机制与安全聚合(SecAgg),一个多方密码协议,而不需要执行模块化裁剪,从而导致在一个无偏估计的本地向量的总和。这反过来又允许我们在私有FL设置中应用它,并提供SGD算法收敛速度的上限。此外,由于输出分布的支持度随着$\varepsilon \rightarrow 0$的增大而减小,因此该方案的通信代价随着隐私约束$\varepsilon$的增大而减小,在高隐私或低通信条件下优于所有基于加性噪声的分布式DP方案.
2022-07-09 cs.CR cs.IT cs.LG
Contraction of Locally Differentially Private Mechanisms
本文研究局部差分隐私机制的收缩性质,推导出输出分布间χ²散度关于输入散度或全变差距离与ε的紧上界,并据此建立多种极小极大风险下界工具的局部隐私版本,在多个统计问题中改进了隐私分析。
2024-05-03 cs.CR cs.IT math.IT
Bounding the energy-constrained quantum and private capacities of phase-insensitive bosonic Gaussian channels
我们建立了几个上界的能量约束的量子和私人容量的所有单模相位不敏感玻色高斯信道。第一个上界,我们称之为“数据处理界”,是最简单的,是通过分解一个相位不敏感的通道作为一个纯损耗通道,其次是一个量子限制放大器通道。我们证明,数据处理的界限可以是最多1.45位大于已知的下限,这些能力的相位不敏感的高斯信道。我们还讨论了另一个数据处理上界。另外两个上界,我们称之为“$\varepsilon$ -可降解的约束”和“$\varepsilon$ -紧密可降解的约束”,建立使用的概念,以及能量约束的近似降解性。我们发现一个强大的限制任何潜在的超加性的相干信息的任何相位不敏感的高斯信道在低噪声制度,因为数据处理界是非常接近一个已知的下限在这种情况下。我们还发现,通过玻色子热通道的私人通信,通过采用编码方案,利用位移的热状态,提高可实现的速率。最后,我们证明了一个最佳的高斯输入状态的能量约束,广义信道发散的两个特定的高斯信道是双模压缩真空状态,饱和的能量约束。对于几个有趣的通道发散,例如钻石范数或Renyi通道发散,仍然开放的是确定在所有输入状态中,高斯状态是否是最佳的。
2018-06-15 cs.IT math.IT quant-ph
Differentially Private Synthetic Data with Private Density Estimation
University of Cambridge(剑桥大学)
本文针对敏感数据发布问题,改进 Boedihardjo 等人的优化型差分隐私合成数据算法,以私有分布估计器替代均匀采样,增强离散分布计算保证并扩展至连续分布。
2024-05-06 cs.CR cs.IT cs.LG
Private DNA Sequencing: Hiding Information in Discrete Noise
针对DNA测序中的隐私泄露问题,提出以混合DNA样本为加性噪声、互信息为隐私度量的遗传标记隐藏方案,推导了离散优化问题的闭式下界与贪心算法上界,且二者经验上十分接近。
2024-11-04 cs.CR cs.IT math.IT
Private Information Retrieval on Multigraph-Based Replicated Storage
研究基于多重图的复制存储私有信息检索问题,利用图对称性提出容量下界构造方法,并用线性规划建立通用上界,证明在偶数顶点多路径系统中界限紧致。
2025-05-02 cs.CR cs.IT cs.NI
Dobrushin Coefficients of Private Mechanisms Beyond Local Differential Privacy
KTH Royal Institute of Technology(皇家理工学院);Inria Saclay(法国国家信息与自动化研究所萨克雷中心)
研究具有有界逐点最大泄漏的离散马尔可夫核的Dobrushin系数,推导可实现的收缩界并构造机制,扩展至一般f-散度。
2026-07-03 cs.CR cs.IT math.IT
Differentially Private Assouad, Fano, and Le Cam
Cornell University(康奈尔大学)
Le Cam方法、Fano不等式和Assouad引理是证明统计估计任务下界的三种广泛使用的技术。在中心差分隐私下,我们提出了它们的类似物。我们的结果是简单的,易于应用,我们用它们来建立样本的复杂性界限在几个估计任务。在全变差距离和$\ell_2$距离下,建立了离散分布估计的最优样本复杂度.我们还提供了其他几个分布类的下限,包括产品分布和高斯混合是紧密的对数因子。我们论文的技术部分将分布之间的耦合与差分隐私下估计的样本复杂性联系起来。
2020-11-02 cs.CR cs.DS cs.IT
Extendibility limits quantum-secured communication and key distillation
该研究利用不可扩展纠缠资源理论,得到单向LOCC下两体态密钥提取及前向辅助量子信道私密容量的可高效计算上界,为量子网络私密通信极限提供了半定规划求解的可行方法。
2024-10-28 cs.IT math.IT quant-ph
Private Contiguous-Block Retrieval
Santa Clara University(圣克拉拉大学)
研究提出私有连续块检索问题,通过连续索引块从多个非协作服务器中检索信息,同时隐藏请求块身份。针对平衡{0,1}-线性方案,建立检索率上限,推导子包化水平下界,并构造最优方案匹配下界。
2026-05-07 cs.IT math.IT
Bounds for Privacy-Utility Trade-off with Non-zero Leakage
研究了隐私数据隐藏和可观察两种情况下的隐私机制设计。在第一种情况下,代理观察到与私有数据$X$相关的有用数据$Y$,并且想要向用户公开有用信息。采用隐私机制来生成数据$U$,该数据$U$在满足隐私准则的同时最大化关于$Y$的所揭示的信息。在第二种情况下,代理还可以访问私有数据。为此,函数表示引理和强函数表示引理被扩展,放松了独立性条件,从而允许一定的泄漏。第二种情况下,以及这两种情况下的上限,得出的隐私效用权衡的下限。特别是,对于不允许泄漏的情况下,我们的上限和下限改进了以前的边界。
2023-01-13 cs.IT math.IT
Bounds for Privacy-Utility Trade-off with Per-letter Privacy Constraints and Non-zero Leakage
研究了两种情形下的信息论隐私机制设计问题,其中隐私数据是隐藏的或可观察的。在每种情况下,隐私泄漏的限制被认为是使用两种不同的措施。在这些场景中,私有数据是隐藏的或可观察的。在第一种情况下,代理观察到与私有数据$X$相关的有用数据$Y$,并且希望向用户公开有用信息。设计了一种隐私机制以生成公开数据$U$,其在满足每个字母的隐私约束的同时最大化关于$Y$的公开信息。在第二种情况下,代理还可以访问私有数据。首先,函数表示引理和强函数表示引理通过放松独立性条件得到一个考虑第二种情况的下界。接下来,下界以及上界的隐私效用权衡推导出这两种情况。特别是,对于$X$是$Y$的确定性函数的情况下,我们表明,我们的上限和下限是渐近最优的考虑第一种情况。
2022-05-10 cs.IT math.IT
Private Variable-Length Coding with Zero Leakage
本文研究不安全信道下零泄漏的私有变长编码问题,通过求解线性规划获取优化器熵的上界并设计编码,在两种特定情况下强化了现有界限,利用两部分构造编码达到上界并提升了现有结果。
2023-10-29 cs.IT math.IT
Upper Bound on the Capacity of Discrete-Time Wiener Phase Noise Channels
研究了积分转储多采样接收机在离散时间维纳相位噪声信道中的应用。推导出平均输入功率约束下的容量上限,并进行了高信噪比(SNR)分析。如果对于$0\le α\le 1$,过采样因子随着$\text{SNR}^α$增长,则容量预日志在高SNR下至多为$(1+α)/2$。
2015-03-02 cs.IT math.IT
Non-Asymptotic Capacity Upper Bounds for the Discrete-Time Poisson Channel with Positive Dark Current
在平均功率约束和任意恒定暗电流项下,我们推导出离散时间泊松信道容量的改进且易于计算的上界。这是通过将一般凸对偶框架与作者先前工作中考虑的双伽玛分布的修改版本相结合来实现的(Cheraghchi,J. ACM 2019; Cheraghchi,Ribeiro,IEEE Trans. Inf. Theory 2019)。对于大多数参数的选择,我们的上界改善以前的结果,即使在输入端施加一个额外的峰值功率约束。
2020-10-31 cs.IT math.IT
A Tight Upper Bound for the Third-Order Asymptotics for Most Discrete Memoryless Channels
本文证明了当信道的ε色散为正时,n次使用的离散无记忆信道的ε误差容量(平均误差概率)的对数的上界为正态近似加上一个不超过1/2logn + O(1)的三阶项.这与Y的下限相匹配。Polyanskiy(2010),用于具有正反向色散的离散无记忆信道。如果ε-色散为零,ε-误差容量的对数的上界是容量的n倍加上一个常数项,除了一小类DMC和ε>= 1/2。
2013-10-24 cs.IT math.IT
Pursuing the fundamental limits for quantum communication
噪声量子信道的量子容量决定了我们可以在信道的渐近多次使用中可靠编码的最大速率,并且它表征了信道相干传输量子信息的最终能力。本文给出了量子信道的量子容量和私有容量的单字母上界。量子信道的量子容量总是不大于其扩展信道的量子容量,因为信道的扩展可以被认为是来自环境的帮助。通过优化具有特定结构的参数化扩展信道,如标志结构,我们得到了新的上界的原始量子信道的量子容量。此外,我们将我们的方法扩展到估计私人通信和单向纠缠蒸馏的基本限制。作为显着的应用,我们建立了改进的上界的量子和私有容量的基本量子信道的兴趣在量子信息,其中一些也是噪声的来源,在超导量子计算。特别是,我们的上界的量子容量的去极化通道和广义振幅阻尼通道严格优于以前最知名的某些制度的界限。
2021-10-25 cs.IT math-ph math.IT
The Private Key Capacity of a Cooperative Pairwise-Independent Network
研究了具有M+2个终端(Alice,Bob和M个中继)的协作成对独立网络(PIN)的私钥生成问题,其中M ≥ 2.在该PIN中,每对终端观测到的相关源与其他任何一对终端观测到的源无关。所有的终端都可以通过公共信道相互通信,Eve也可以无噪声地观察到公共信道。目标是在M个中继的帮助下在Alice和Bob之间生成私钥;这样的私钥不仅需要受到Eve的保护,而且还需要同时受到各个中继的保护。建立了该PIN模型的私钥容量,通过提出一种新的基于随机分组(RB)的密钥生成算法得到了该PIN模型的私钥容量的下界,通过构造M个增强源模型得到了该PIN模型的私钥容量的上界.这两个边界被证明是完全相同的。然后,我们考虑一个合作的无线网络,并使用衰落信道的估计来产生私钥。已经表明,所提出的基于RB的算法可以实现复用增益M-1,与现有的基于XOR的算法相比是一种改进,现有的基于XOR的算法的可实现的复用增益约为[M]/2。
2015-04-14 cs.IT math.IT
On the Capacity Region of the Deterministic Y-Channel with Common and Private Messages
在多用户高斯中继网络中,希望向每个用户传输私有信息,同时向所有用户传输公共信息。然而,这两种信息的网络的容量区域是不容易表征。现有技术使用简单的线性确定性模型来近似这些高斯网络的容量。本文讨论了具有公共消息和私有消息的确定性Y-信道的容量域。在该信道中,每个用户的目标是除了针对其他两个用户的公共消息之外,还向他们发送两个私人消息。由于用户之间没有直接联系,所有消息都必须通过中间中继。我们提出了外边界的率区域使用精灵辅助和割集界。然后,我们开发了一个贪婪的计划来定义一个可实现的区域,并表明,在一定数量的水平在中继,我们的可实现的区域与上界相一致。最后,我们认为,这种设置的这些界限是不足以表征的容量区域。
2018-01-13 cs.IT math.IT
A New Upperbound for the Oblivious Transfer Capacity of Discrete Memoryless Channels
我们得到了一个新的上界的离散无记忆信道的字符串不经意传输容量。我们使用的主要工具是Prabhakaran和Prabhakaran(2014)中引入的一对随机变量的张力区域,它用于推导源模型中安全采样率的上限。本文研究了信道模型下字符串不经意传输的安全计算问题。我们的界限是基于在通道模型的张力区域的单调性。我们证明了我们的界严格改进了Ahlswede和Csiszár(2013)的上界。
2014-05-08 cs.CR cs.IT math.IT
Quantum Advantage in Locally Differentially Private Hypothesis Testing
Information & Electronics Research Institute, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院信息与电子研究所);School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
研究基于经典数据样本的私有假设检验,通过提出一种量子隐私机制(SIC态加退极化信道),在严格隐私约束和小字母表(3-9)下,在对称和非对称检验中均实现了优于经典机制的隐私-效用权衡。
2026-07-01 cs.IT math.IT quant-ph
Asymmetric Leaky Private Information Retrieval
私人信息检索(PIR)问题的信息理论公式进行了研究,在各种情况下。对称私有信息检索(SPIR)是一种变体,其中用户能够从$N$非共谋复制数据库中私有地检索$K$消息中的一个消息,而无需了解关于其余$K-1$消息的任何信息。然而,完美隐私的目标对于某些应用程序来说可能过于繁重。在本文中,我们调查,如果信息理论容量的SPIR(相当于最小下载成本的倒数)可以通过放宽用户和DB隐私的定义。这种放松在可以用隐私换取通信效率的应用中是相关的。我们介绍并研究了非对称泄漏PIR(AL-PIR)模型,在每个方向上具有不同的隐私泄漏预算。对于用户隐私泄漏,我们绑定的概率比之间的所有可能实现的DB查询的一个非负常数$ε$的函数。对于DB隐私,我们通过非负常数$δ$的函数来绑定不期望的消息、查询和答案之间的互信息。我们提出了一个通用的AL-PIR方案,实现了上限的最佳下载成本为任意$ε$和$δ$。我们证明了AL-PIR的最优下载成本是上界为$D^{*}(ε,δ)\leq 1+\frac{1}{N-1}-\frac{δe^ε}{N^{K-1}-1}$。其次,我们得到了一个信息理论的下载成本的下限为$D^{*}(ε,δ)\geq 1+\frac{1}{Ne^ε-1}-\fracδ{(Ne^ε)^{K-1}-1}$。两个边界之间的差距分析表明,我们的AL-PIR方案是最佳的,当$ε=0$,即,并且对于任何$(ε…
2020-06-04 cs.DB cs.IR cs.IT
Asymmetry Hurts: Private Information Retrieval Under Asymmetric Traffic Constraints
我们考虑的传统设置的私人信息检索(PIR)的一个单一的消息(文件)的$M$消息从$N$分布式数据库下的新的约束\emph{asymmetric traffic}从数据库。在这个问题中,来自数据库的\emph{ratios between the traffic}是受约束的,即,用户(检索者)从$n$第数据库接收的回答串的长度与来自所有数据库的所有回答串的总长度的比率被约束为$τ_n$。如果用户对数据库的访问由于数据库可用性、数据库的信道质量和其他因素而受到限制,则可能发生这种情况。对于这个问题,对于固定的$M$,$N$,我们开发了一个通用的上限$\bar{C}(\boldsymbolτ)$,它推广了孙贾法尔的逆证明,其中数据库对称性是固有的。我们的逆界是一个分段仿射函数的流量比矢量$\boldsymbolτ=(τ_1, \cdots, τ_N)$。对于下界,我们明确显示了$\binom{M+N-1}{M}$角点的可扩展性。对于剩余的流量比率向量,我们在这些角点之间执行分时。通过差分方程系统捕获我们的可扩展性计划的递归结构。对于任何$N$和任何$\boldsymbolτ$,$M=2$和$M=3$的上界和下界完全匹配。结果表明,严格的损失PIR容量由于不对称的流量限制相比,对称的情况下,太阳Jafar隐式地使用$τ_n=\frac{1}{N}$的所有$n$。
2018-01-09 cs.CR cs.IT math.IT
Minimax Optimal Procedures for Locally Private Estimation
在一个隐私模型下工作,即使从统计学家那里,数据仍然是私有的,我们研究了隐私保证和由此产生的统计估计的风险之间的权衡。我们开发私人版本的经典信息理论的界限,特别是那些由于乐卡姆,法诺,和Assouad。这些不平等允许一个精确的表征统计率在当地的隐私限制和可证明(极大极小)的最优估计程序的发展。我们提供了几个典型的家庭的问题:均值估计和中位数估计,广义线性模型,和非参数密度估计的治疗。对于所有这些家庭,我们提供的下限和上界,匹配常数因子,并展示新的(最佳)隐私保护机制和计算效率的估计,实现界限。此外,我们提出了各种实验结果的估计问题,涉及敏感数据,包括工资,审查博客文章和文章,药物滥用,这些实验证明了最佳程序的重要性。
2017-11-14 cs.IT math.IT math.ST