Revisiting Differentially Private Hypothesis Tests for Categorical Data
在本文中,我们考虑的方法进行假设检验的数据保护的统计披露控制技术被称为差分隐私。以前的差异私有假设检验方法要么用具有大方差的随机噪声干扰检验统计量(并导致显著的功效损失),要么直接向数据添加少量噪声,但未能响应于添加的噪声调整检验(导致有偏差的、不可靠的$p$值)。在本文中,我们开发了各种实用的假设检验来解决这些问题。使用不同的渐近制度,更适合于假设检验与隐私,我们显示了修改后的卡方检验和似然比检验之间的等价性。然后,我们为表格数据的各种应用开发了差分私有似然比和卡方检验(即,独立性、样本比例和拟合优度检验)。使用各种各样的隐私设置的小型和大型数据集的实验评估证明了我们的方法的实用性和可靠性。
2017-03-18 cs.CR stat.ME
The Test of Tests: A Framework For Differentially Private Hypothesis Testing
Duke University(杜克大学);University of Maryland(马里兰大学);Reed College(里德学院);UC Berkeley(加州大学伯克利分校)
我们提出了一个通用的框架,用于以黑盒的方式创建任何假设检验的差异私人版本。我们分析了由此产生的测试分析和实验。最重要的是,我们在小数据集上表现出了良好的实际性能,表明在λ = 1时,我们只需要完全公开设置中的5-6倍的数据。我们将我们的工作与现有的一个这种类型的框架进行比较,以及与几个单独设计的私人假设检验进行比较。我们的框架比其他通用解决方案具有更高的性能,至少与单独设计的测试相比具有竞争力(并且往往更好)。
2023-02-08 cs.CR cs.LG stat.ME
Private Sequential Hypothesis Testing for Statisticians: Privacy, Error Rates, and Sample Size
Harvard John A. Paulson School Of Engineering And Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Georgia Institute of Technology(佐治亚理工学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H·米尔顿·斯图尔特工业与系统工程学院);Department of Industrial Engineering and Operations Research, Columbia University(哥伦比亚大学工业工程与运筹学系)
序贯假设检验问题是一类样本量事先不确定的统计分析问题。相反,决策过程顺序地接受新的观察结果,以做出实时决策,用于针对原假设测试备择假设,直到满足某个停止标准。在序贯假设检验的许多常见应用中,数据可能具有高度敏感性,可能需要隐私保护;例如,序贯假设检验用于临床试验,医生按顺序收集患者的数据,必须确定何时停止招募患者以及治疗是否有效。差分隐私领域已经发展为提供具有强隐私保证的数据分析工具,并且已经普遍应用于机器学习和统计任务。在这项工作中,我们研究了顺序假设检验问题下的一个轻微的变化的差分隐私,被称为Renyi差分隐私。我们提出了一个新的私有算法的基础上沃尔德的序贯概率比测试(SPRT),也给出了强有力的理论隐私保证。我们提供了理论分析的统计性能衡量的I型和第二类错误,以及预期的样本量。我们还在几个合成数据库上实证验证了我们的理论结果,表明我们的算法在实践中也表现良好。与以往的工作,私人假设检验,只集中在经典的固定样本设置,我们的结果在顺序设置允许的结论,以达到更早,从而节省了收集额外的样本的成本。
2022-04-10 cs.LG math.ST stat.ML
Differentially Private Hypothesis Testing with the Subsampled and Aggregated Randomized Response Mechanism
随机应答是分析机密数据的最古老和最知名的方法之一。然而,它的效用差异私人假设检验是有限的,因为它不能同时实现高隐私级别和低第一类错误率。在本文中,我们将展示如何使用子样本和聚合技术来克服这个问题。其结果是一个通用的方法,可用于频率和贝叶斯测试。{{We举例说明我们的建议在三种情况下的性能:线性回归模型的拟合优度检验,Wilcoxon检验的位置参数的非参数检验,以及非参数Kruskal-Wallis检验。
2023-03-03 stat.ME
Optimal Rates for Differentially Private Hypothesis Testing with E-values
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学)
研究在ε-差分隐私约束下,使用e值进行假设检验时所能达到的最大e-power,并给出最优速率及匹配算法。
2026-05-29 cs.CR cs.DS cs.IT
PAPRIKA: Private Online False Discovery Rate Control
Georgia Institute of Technology(佐治亚理工学院);University of Waterloo(滑铁卢大学)
在假设检验中,当由于样本中的噪声而错误地拒绝假设时,会发生错误发现。当自适应地测试多个假设时,错误发现的概率随着执行更多的测试而增加。因此,错误发现率(FDR)控制的问题是找到一个程序,用于测试多个假设,考虑这种影响,在确定一组假设拒绝。目标是最小化错误发现的数量(或分数),同时保持高的真阳性率(即,正确的发现)。本文研究了样本差异隐私约束下多假设检验中的错误发现率控制问题。与以前在这个方向上的工作不同,我们专注于在线设置,这意味着必须在执行测试后立即做出关于每个假设的决定,而不是像离线设置那样等待所有测试的输出。我们提供了新的私人算法的基础上,国家的最先进的非私人在线FDR控制的结果。我们的算法对隐私和统计性能具有强有力的可证明保证,这些性能由FDR和功率来衡量。我们还提供了实验结果来证明我们的算法在各种数据环境中的有效性。
2020-10-21 cs.CR cs.DS cs.LG
Private High-Dimensional Hypothesis Testing
Massachusetts Institute of Technology(麻省理工学院)
我们提供了改进的差分隐私算法的高维分布的身份测试。具体地,对于具有已知协方差$Σ$的$d$维高斯分布,如果允许算法在计算上低效,则可以仅使用\[\tilde{O}\left(\frac{d^{1/2}}{α^2} + \frac{d^{1/3}}{α^{4/3} \cdot \varepsilon^{2/3}} + \frac{1}{α\cdot \varepsilon}\right)\]样本来测试该分布是来自某个固定$μ^*$的$\mathcal{N}(μ^*, Σ)$还是来自某个$\mathcal{N}(μ, Σ)$,其中总变化距离至少为$α$,来自具有$(\varepsilon, 0)$ -差分隐私的$\mathcal{N}(μ^*, Σ)$。并且对于计算上有效的算法仅采样\[\tilde{O}\left(\frac{d^{1/2}}{α^2} + \frac{d^{1/4}}{α\cdot \varepsilon}\right)\]。我们还提供了一个匹配的下限表明,我们的计算效率低下的算法具有最佳的样本复杂度。我们还将我们的算法扩展到各种相关的问题,包括均值检验的高斯有界,但未知的协方差,均匀性测试的产品分布在$\{-1, 1\}^d$,和宽容的测试。我们的结果比Canonne等人以前的最佳工作有所改进。\cite{CanonneKMUZ20}的计算效率和效率低下的算法,甚…
2022-07-24 cs.CR cs.DS cs.IT
Chi-squared test for hypothesis testing of homogeneity
给出了齐性假设检验卡方检验的非参数备择集一致相合的充要条件。卡方检验的单元数随着样本量的增加而增加。非参数方案集可以用密度和分布函数来定义。
2021-08-26 math.ST stat.TH
Private Hypothesis Testing for Social Sciences
该研究针对社会科学实验中隐私保护下的统计功效问题,理论分析高斯机制下差分隐私对样本量的影响,还提出用简单自助法提升隐私统计量准确性的实证方法。
2023-06-16 cs.CR stat.ME
Priv'IT: Private and Sample Efficient Identity Testing
MIT(麻省理工学院)
我们开发了小样本制度的差异私人假设检验方法。给定一个样本$\cal D$,该样本来自某个域$Σ$上的分类分布$p$、$Σ$上的明确描述的分布$q$、某个隐私参数$\varepsilon$、准确性参数$α$以及我们测试的I型和II型错误的要求$β_{\rm I}$和$β_{\rm II}$,目标是区分$p=q$和$d_{\rm{TV}}(p,q) \geq α$。我们提供的样本大小$|{\cal D}|$的理论界限,使我们的方法既满足$(\varepsilon,0)$ -差分隐私,并保证$β_{\rm I}$和$β_{\rm II}$ I型和II型错误。我们表明,差分隐私可能会免费在某些制度的参数,我们总是击败样本的复杂性运行的$χ^2$测试与噪声计数,或标准的方法,如重复赋予非私人$χ^2$风格的统计与差分隐私保证。我们实验比较我们的方法的样本复杂性,最近提出的私人假设检验的方法。
2017-06-07 cs.CR cs.DS cs.IT
Private independence testing across two parties
Massachusetts Institute of Technology(麻省理工学院);The University of Sydney(悉尼大学)
本文提出隐私保护算法 π-test,通过多方私密估计距离相关来检验分布式数据的统计独立性,并证明其差分隐私效用的加性与乘性误差界。
2023-09-26 cs.CR cs.LG math.ST
Contraction of Private Quantum Channels and Private Quantum Hypothesis Testing
School of Electrical and Computer Engineering, Cornell University(电气与计算机工程学院,康奈尔大学)
本文研究了隐私约束下量子信道与散度的收缩系数,刻画了QLDP框架下多种散度的收缩上界,并将其应用于界定quantum hypothesis testing的样本复杂度,证明了private quantum channels能提供公平性与Holevo信息稳定性。
2025-11-04 cs.CR cs.IT cs.LG
The Structure of Optimal Private Tests for Simple Hypotheses
Stanford University(斯坦福大学);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);Boston University(波士顿大学);Northeastern University(东北大学)
假设检验在统计推断中起着核心作用,并且在隐私问题至关重要的许多环境中使用。这项工作回答了一个基本问题,私人测试简单的假设:给定两个分布$P$和$Q$,和一个隐私级别$\varepsilon$,有多少i.i.d.需要样本来区分$P$和$Q$,它们受到$\varepsilon$ -差分隐私的影响,什么样的测试具有最佳的样本复杂度?具体而言,我们的特点是这个样本的复杂性,$P$和$Q$和隐私级别$\varepsilon$的结构方面的恒定因素,并表明,这个样本的复杂性是通过一定的随机化和钳位的对数似然比检验的变体。我们的结果是一个类似的经典的内曼-皮尔逊引理在设置私人假设检验。我们也给出了我们的结果的私人变点检测的应用。我们的表征更普遍地适用于假设检验,满足基本上任何概念的算法稳定性,这是已知的,意味着强泛化范围的自适应数据分析,因此,我们的结果有应用程序,即使隐私不是一个主要问题。
2019-04-02 cs.CR cs.DS cs.IT
Quantum hypothesis testing for quantum Gaussian states: Quantum analogues of chi-square, t and F tests
我们对待量子对应的测试问题,其最佳测试卡方,t和F测试。这些量子对应物被表述为关于量子高斯态族的量子假设检验问题,并且包含具有群对称性的扰动参数。量子Hunt-Stein定理去除了一部分扰动参数,但其他类型的困难仍然存在。为了消除它们,结合量子Hunt-Stein定理和其他归约方法,建立了一个通用的归约定理,将一个复杂的量子假设检验问题归约为一个基本的量子假设检验问题.使用这些方法,我们推导出卡方,t和F检验的量子对应物作为各自设置中的最佳测试。
2011-10-28 math.ST quant-ph stat.TH
A Statistical Viewpoint on Differential Privacy: Hypothesis Testing, Representation and Blackwell's Theorem
University of Pennsylvania(宾夕法尼亚大学)
本文从统计视角重新解读差分隐私,基于Blackwell定理证明其所有定义可从假设检验视角推导,提出f-差分隐私统一框架并分析其在多领域应用中的优势,论证假设检验是推理差分隐私的恰当语言。
2024-10-29 cs.CR cs.LG math.ST
Instance-Adaptive Hypothesis Tests with Heterogeneous Agents
Massachusetts Institute of Technology(麻省理工学院)
本研究针对异构策略性智能体群体,提出通过分离式统计契约菜单实现实例自适应假设检验,使委托人无需知晓类型即可匹配预言机性能,并揭示信息 elicitation 近乎零成本,连接统计决策理论与机制设计。
2025-10-24 cs.GT cs.LG econ.EM
Locally Private Hypothesis Selection
Microsoft Research(微软研究院);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);University of Minnesota(明尼苏达大学);Cornell University(康奈尔大学)
本文首先研究了局部差分隐私下的假设选择问题。给定来自未知概率分布$p$和一组$k$概率分布$\mathcal{Q}$的样本,我们的目标是在$\varepsilon$ -局部差分隐私的约束下,输出来自$\mathcal{Q}$的分布,其到$p$的总变化距离与最佳分布相当。这是$k$ -明智的简单假设检验的经典问题的推广,它对应于当$p \in \mathcal{Q}$,我们希望识别$p$ .在没有隐私约束的情况下,这个问题需要来自$p$的$O(\log k)$样本,并且最近表明,在(中央)差分隐私下可以实现相同的复杂性。然而,在局部差分隐私下解决这个问题的简单方法将需要$\tilde O(k^2)$样本。我们首先表明,局部差分隐私的约束会导致成本呈指数级增加:这个问题的任何算法至少需要$Ω(k)$样本。其次,对于$k$ -明智的简单假设检验的特殊情况下,我们提供了一个非交互式的算法,几乎匹配这个界限,需要$\tilde O(k)$样本。最后,我们提供了一般情况下,需要$\tilde O(k)$样本,只有$O(\log \log k)$轮的互动顺序交互式算法。我们的算法是通过减少到最大的选择与对抗比较器,一个独立的兴趣,我们开始研究的并行设置的问题。对于这个问题,我们提供了一个家庭的算法,每个允许的互动$t$轮数,以及下限显示,他们是接近最佳的每一个$t$。值得注意的是,我们的算法导致…
2020-06-20 cs.CR cs.DS cs.IT
Statistical Inference in the Differential Privacy Model
在现代数据分析环境中,我们可能会在本质上敏感的数据集上运行算法。然而,经典的机器学习和统计算法在设计时并没有考虑到这些风险,并且已经证明它们可能会泄露个人信息。这些担忧会抑制个人提供数据的积极性,甚至更糟的是,鼓励故意提供虚假数据。为了缓解这些担忧,我们将差分隐私的约束引入到统计推断中,许多人认为这是数据隐私的黄金标准。本文旨在量化保证差分隐私的成本,即,了解在差分隐私的约束下执行数据分析需要多少附加数据。尽管差分隐私的文献已经成熟,但在一些最基本的设置中仍然存在不足的理解。特别是,我们在以下问题上取得了进展:$\bullet$ DP假设检验的样本复杂度是多少?$\bullet$我们能否以可忽略不计的代价私下估计分布特性?$\bullet$私人分布估计的基本极限是什么?$\bullet$我们如何设计算法来私下估计随机图?$\bullet$私人假设选择中样本复杂性和交互性之间的权衡是什么?
2021-08-11 cs.CR cs.DS cs.IT
Private False Discovery Rate Control
我们提供了第一个差分隐私算法,用于控制多个假设检验中的错误发现率(FDR),在某些条件下基本上没有功率损失。我们的一般方法是采用Benjamini-Hochberg过程(BHq)的一个众所周知的变体,使每个步骤都具有差异性。这破坏了FDR控制的经典证明。为了证明FDR控制我们的方法,(a)我们开发了一个新的证明原来的(非私人)BHq算法和它的强大的变种-证明只需要假设真空检验统计量是独立的,允许任意的真空值和假空值之间的相关性。这个假设是相当弱的,以前在大量的文献中所示的这一主题相比,并解释了部分经验的鲁棒性BHq。然后(b)我们将差分私有版本的FDR控制属性与非私有版本的控制属性相关联。\end{enumerate}我们还提出了一个低失真的“一次”差分私有原语的“顶部$k$“的问题,例如,“$k$最受欢迎的爱好是什么?(我们将其应用于:“哪些假设具有最显著的$p$ -值?“),并使用它来获得我们的通用方法的更快的隐私保护实例化,而在准确性方面的成本很小。one-shot top~ $k$算法的隐私性证明引入了一种新的独立兴趣技术。
2015-11-12 cs.DS math.ST stat.ML
Hypothesis Testing Interpretations and Renyi Differential Privacy
Google(谷歌);Apple(苹果);Uber(优步);U.S. Census Bureau(美国人口普查局)
本文研究基于Rényi散度的差分隐私松弛形式的假设检验解释,提出了满足该类解释的散度条件,推导了改进的隐私定义转换规则。
2019-10-08 cs.LG stat.ML
Hypothesis Testing in Nonlinear Function on Scalar Regression with Application to Child Growth Study
提出了一种基于核机器的非线性标量函数回归模型的假设检验方法。我们的研究是由新生儿表观遗传学研究(NEST)的动机,其中感兴趣的问题是是否在9个差异甲基化区域(DMR)的任何一个预先指定的有毒金属或甲基化组与儿童生长相关。我们把儿童的生长轨迹作为功能反应,并使用非线性函数联合建模有毒金属测量。我们使用一个核机器的方法来模拟未知的功能和转换的假设没有影响到一个适当的方差分量测试。我们证明了我们提出的方法,使用模拟研究,并将其应用于分析NEST数据。
2021-06-30 stat.AP stat.ME
Improving Pearson's chi-squared test: hypothesis testing of distributions -- optimally
针对皮尔逊卡方检验数据效率不高的问题,提出一种基于非凸优化的新检验器,达到$1+o(1)$最优样本复杂度,有望替代卡方检验。
2023-10-13 math.ST stat.TH
Privacy Aware Experimentation over Sensitive Groups: A General Chi Square Approach
我们研究了一个新的隐私模型,其中用户属于某些敏感群体,我们想进行统计推断是否有显着差异的结果之间的各个群体。特别是,我们不认为用户的结果是敏感的,而只是某些组的成员资格。这与以前的工作不同,以前的工作考虑了当地私营的统计测试,其中结果和组被联合私有化,以及私营的A/B测试,其中组被认为是公共的(对照组和治疗组),而结果被私有化。我们涵盖了几个不同的设置的假设检验后,组成员已被私有化的样本,包括二进制和真正的价值的结果。我们采用了在其他关于不同隐私模型的假设检验的工作中使用的广义$χ^2$检验框架,这使我们能够用一个统一的方法来覆盖$Z$检验、独立性的$χ^2$检验、t检验和ANOVA检验。当考虑两个群体,我们得出置信区间的真实差异的手段,并显示传统的方法计算置信区间错过了真正的差异时,隐私被引入。对于两个以上的群体,我们考虑了几种机制,私有化的组成员资格,表明我们可以提高统计能力的传统测试,忽略了由于隐私的噪音。我们还考虑应用于私人A/B测试,以确定对照组和治疗组之间敏感组的平均值差异是否有显著变化。
2022-08-17 math.ST stat.TH
Analysis of Deviance for Hypothesis Testing in Generalized Partially Linear Models
在本研究中,我们发展了基于局部多项式拟合的广义部分线性模型的非参数偏差分析工具。假设一个规范的链接,我们提出了表达式的本地和全球的偏差分析,承认一个加性属性,减少到方差分析分解的高斯情况下。提出了基于集成似然函数的χ 2检验来形式化地检验非参数项是否显著。仿真结果表明,所提出的χ 2检验,并比较它们与现有的程序的基础上惩罚样条。该方法适用于德国联邦储备银行的数据。
2020-09-09 math.ST stat.TH
High-Dimensional Differentially Private Quantile Regression: Distributed Estimation and Statistical Inference
School of Statistics and Data Science, Shanghai University of Finance and Economics(上海金融学院统计与数据科学学院);School of Statistics and Data Science, Southeast University(东南大学统计与数据科学学院);School of Statistics and Data Science, Shanghai University of International Business and Economics(上海国际商务学院统计与数据科学学院)
针对分布式高维数据隐私保护问题,提出基于牛顿变换的差分隐私分位数回归方法,实现近最优统计精度与形式化隐私保障,并构建去偏估计器与高效自助法进行推断。
2026-06-23 cs.LG stat.ML
Social Learning and Distributed Hypothesis Testing
研究了分布式假设检验和社会学习问题。网络中的各个节点接收噪声局部(私有)观测,其分布由离散参数(假设)参数化。条件分布在节点处是局部已知的,但是真实的参数/假设是未知的。更新规则进行了分析,其中节点首先执行贝叶斯更新他们的信念(分布估计)的参数的基础上,他们的本地观察,这些更新,他们的邻居,然后执行“非贝叶斯”的线性共识使用他们的邻居的对数信念。在本文中,我们表明,在温和的假设下,任何节点在任何不正确的假设的信念收敛到零指数快速,我们的特点是指数的学习速度,这是给定的网络结构和观测值的分布之间的分歧。我们的主要结果是建立在收敛速率上的集中性质。
2016-05-16 cs.IT math.IT math.OC
Simulated Power of Some Discrete Goodness-of-Fit Test Statistics For Testing the Null Hypothesis of a Zig-Zag Distribution
在本文中,我们比较了几个离散的拟合优度检验统计量考虑斯蒂尔和Chaseling [10]的权力下的原假设的“之字形”分布。结果表明,离散Kolmogorov-Smirnov检验统计量通常更强大的下降趋势的替代。Pearson卡方统计量通常对增加的单峰、尖峰、平峰和浴缸形替代品更强大。最后,名义柯尔莫哥洛夫-斯米尔诺夫和皮尔逊χ 2检验统计量通常对于双峰替代方案更有效。我们还解决了问题的敏感性的检验统计量的替代品下的“之字形”空。与Steele和Chaseling [10]的一致零值相比,我们的研究表明,离散KS检验统计量对下降趋势选择最敏感; Pearson卡方统计量对尖峰和平峰趋势选择最敏感。特别是,在“zig-zag”空值下,我们能够清楚地识别平峰和尖峰替代方案的最大功效检验统计量,而Steele和Chaseling [10]的一致空值无法进行此类识别。
2010-07-30 math.ST stat.TH
Robust Kernel Hypothesis Testing under Data Corruption
Centre for Artificial Intelligence(人工智能中心);Gatsby Computational Neuroscience Unit(加布特计算神经科学单位);University College London(伦敦大学学院);Inria London(伦敦研究所);Department of Statistics and Data Science(统计与数据科学系);Department of Applied Statistics(应用统计学系);Yonsei University(延世大学)
我们提出一种数据损坏下稳健的核置换检验方法,控制非渐近第一类错误并证明功效一致性,在两样本和独立性设置中达到极小极大最优,实验表明其功效远高于差分隐私检验。
2025-04-25 cs.LG stat.ML
Balancing the privacy-utility trade-off: How to draw reliable conclusions from private data
Federal Statistical Office(联邦统计局)
本文提出基于假设检验的新视角,量化相对披露风险,分析DP对统计显著性检验的影响,为非技术利益相关者提供隐私效用权衡的实用指导。
2026-08-31 cs.CR stat.ME
Simulation-based, Finite-sample Inference for Privatized Data
本文提出基于模拟的再抽样方法,用于私有化数据的有限样本推断,生成有效置信区间和假设检验,改进覆盖率和第一类错误,并扩展至一般模型。
2024-11-06 cs.CR math.ST stat.ME
Asymptotic Intermediate Efficiency of the Chi-square and Likelihood Ratio Goodness of Fit Tests
考虑了一个绝对连续分布对一组分组为等概率区间的观测值的拟合优度的检验问题,以及对一组逼近假设的备选方案序列的检验问题。我们的研究重点是由于Inglot(1999)的卡方和对数似然比检验的渐近中间效率(AIE)。假设组的数量随着观测的数量而增加。
2019-02-21 math.ST stat.TH
Linear hypothesis testing in high-dimensional heteroscedastics via random integration
针对高维异方差一般线性假设检验问题,提出基于参考L2范数的随机积分方法,推导其原假设下的渐近性质,采用卡方型混合分布近似原分布,经模拟与真实数据验证该检验效能较强。
2024-09-18 math.ST stat.TH
Finite-Sample Binary Hypothesis Testing via Rényi Divergences: Strong Converse and Local Privacy
University of Salerno(萨莱诺大学);EPFL(洛桑联邦理工学院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本文通过Rényi散度的变分表示,为二元假设检验建立有限样本强逆命题,统一恢复已知逆界,并刻画隐私下的相变与样本复杂度。
2026-09-24 cs.IT math.IT math.ST
Sample Complexity of Composite Quantum Hypothesis Testing
School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院)
本文研究对称复合二元量子假设检验,旨在确定两个不确定性集中的未知量子态。通过推导样本复杂性下界和上界,提供紧致刻画,并扩展至差分隐私场景。
2026-04-09 cs.IT cs.LG math.IT
Exponential increase of the power of the independence and homogeneity chi-square tests with auxiliary information
本文是两种非参数检验($ Z $ -检验和卡方拟合优度检验)的幂指数增长的工作的推广。在有辅助信息的情况下,相对于样本的大小,可以指数地提高著名的独立性和同质性的χ 2检验的功效。通过使用辅助信息来提高这些统计检验的功效,可以降低在备择假设下接受原假设的概率,或者减少达到预定功效所需的样本大小。建议的方法是计算和一些简单的统计应用程序来说明这些结果。这项工作的框架是非参数的,因此它可以应用于任何类型的数据和任何使用统计的领域。
2021-09-01 math.ST stat.AP stat.CO
Adaptive False Discovery Rate Control with Privacy Guarantee
Iowa State University(爱荷华州立大学)
本文提出差分隐私自适应FDR控制方法DP-AdaPT,通过新颖的p值变换和镜像剥离算法,在精确控制FDR的同时保护隐私,相比现有方法性能更优且计算成本更低。
2023-05-31 cs.LG stat.ME stat.ML
The Cost of a Reductions Approach to Private Fair Optimization
Harvard University(哈佛大学);School of Engineering and Applied Sciences(工程与应用科学学院)
通过信息理论约简的镜头,我们研究了一种用于公平优化和学习的约简方法,其中使用黑盒优化器来学习用于分类或回归的公平模型。我们的最终目标是从统计和计算两方面量化这种模型满足差分隐私严格定义的复杂性。我们解决了一些开放的问题,并显示适用于公平的机器学习,假设检验,并优化分类损失的非标准措施。此外,我们的样本的复杂性界限是紧之间的所有战略,共同最大限度地减少组合的功能。公平优化的约简方法可以抽象为约束组目标优化问题,其中我们的目标是优化一个目标,该目标是各个组的损失的函数,受到一些约束。我们给出了第一个多项式时间算法来解决这个问题时,定义在凸决策集(例如,$\ell_P$单位球)与凸约束和损失的$(ε, 0)$或$(ε, δ)$差分隐私保证。伴随信息理论的问题的下限。此外,以前的方法相比,用于确保差分隐私受到放松形式的均衡赔率公平约束,$(ε, δ)$差分隐私算法,我们目前提供了渐近更好的样本复杂度的保证,导致在某些参数制度的指数改善。我们引入了一类有界发散线性优化器,它可以是独立的兴趣,并专门用于纯和近似差分隐私。
2021-05-23 cs.CR cs.LG stat.ML
Active Privacy-utility Trade-off Against a Hypothesis Testing Adversary
Imperial College London(帝国理工学院)
我们认为用户释放她的数据包含一些个人信息,以换取服务。我们将用户的个人信息建模为两个相关的随机变量,其中一个被称为秘密变量,是要保持私有,而另一个被称为有用变量,是要公开的效用。我们考虑主动顺序数据发布,其中在每个时间步,用户从有限的一组发布机制中进行选择,每个机制都揭示了关于用户个人信息的一些信息,即,真实的假设,尽管有不同的统计数据。用户以在线方式管理数据发布,使得关于潜在有用变量的最大量的信息被揭示,同时敏感变量的置信度被保持在预定义水平以下。对于效用,我们考虑了有用变量的正确检测概率和有用变量与发布数据之间的互信息(MI)。我们将这两个问题表示为马尔可夫决策过程(MDP),并通过优势行动者-批评者(A2 C)深度强化学习(RL)进行数值求解。
2021-02-18 cs.CR cs.IT cs.LG
The general linear hypothesis testing problem for multivariate functional data with applications
针对多元函数型数据,提出一种广义线性假设检验的新全局检验方法,推导了渐近零分布并采用三阶累积量匹配卡方近似,引入调整系数使其在小样本下表现优异且具根号n一致性。
2025-04-21 stat.AP stat.ME
Differentially Private Multivariate Statistics with an Application to Contingency Table Analysis
本文提出秩亏James-Stein高斯机制,在GDP框架下发布多元统计量,提升列联表分析的差分隐私效用,并证明其优于拉普拉斯机制。
2023-05-15 stat.ME
Differentially private testing for relevant dependencies in high dimensions
Aarhus University(奥胡斯大学);Ruhr-University Bochum(波鸿鲁尔大学)
本文提出在隐私约束下检测高维向量组件间依赖关系的新方法,通过复合假设构建测试并开发理论保障,适用于稀疏场景和高隐私环境,应用于医疗数据展示方法有效性。
2026-03-23 cs.CR math.ST stat.ME
Differentially Private Uniformly Most Powerful Tests for Binomial Data
我们得出统一的最强大的(UMP)测试的人口比例的框架内的差分隐私(DP),优化有限样本性能的简单和片面的假设。我们表明,在一般情况下,DP假设检验可交换的数据总是可以表示为经验分布的函数。使用这种结构,我们证明了一个'奈曼皮尔逊引理'的二项式数据下DP,DP-UMP只取决于样本和。我们的测试也可以被描述为一个随机变量的后处理,我们将其分布称为“截断均匀拉普拉斯”(Tulap),这是阶梯分布和离散拉普拉斯分布的推广。此外,我们得到精确的p值,这是很容易计算的Tulap随机变量。我们表明,我们的研究结果也适用于分布自由假设检验的连续数据。我们的仿真结果表明,我们的测试有确切的I型错误,比目前的技术更强大。
2018-05-23 math.ST stat.TH
Differentially Private Inference for Binomial Data
我们得出统一的最强大的(UMP)测试的人口比例的框架内的差分隐私(DP),优化有限样本性能的简单和片面的假设。我们表明,在一般情况下,DP假设检验可以写在线性约束,并为可交换的数据总是可以表示为经验分布的函数。利用这种结构,我们证明了一个'Neyman-Pearson引理'下的二项数据DP,其中DP-UMP只取决于样本和。我们的测试也可以被描述为一个随机变量的后处理,我们将其分布称为“截断均匀拉普拉斯”(Tulap),这是阶梯分布和离散拉普拉斯分布的推广。此外,我们还获得了精确的$p$值,这些值可以根据Tulap随机变量轻松计算。使用上述技术,我们表明,我们的测试可以应用到均匀最准确的单侧置信区间和最佳置信分布。我们还得到了一致最有力的无偏(UMPU)的双侧检验,从而导致一致最准确的无偏(UMAU)的双边置信区间。我们表明,我们的结果可以适用于分布自由假设检验的连续数据。我们的仿真结果表明,我们所有的测试有确切的I型错误,比目前的技术更强大。
2019-03-31 cs.CR math.ST stat.TH
Differentially Private False Discovery Rate Control
Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
差分隐私为隐私保护数据分析提供了一个严格的框架。本文提出了第一个差分隐私过程中控制的错误发现率(FDR)的多假设检验。受Benjamini-Hochberg过程(BHq)的启发,我们的方法是首先重复地将噪声添加到$p$ -值的序列中以确保差分隐私,并在每次迭代中选择近似最小的$p$ -值作为有希望的候选;所选择的$p$ -值进一步提供给BHq,并且我们的私有过程仅释放被拒绝的值。此外,我们开发了一种新的技术,这是基于一个后向下鞅证明FDR控制的广泛的一类多个测试程序,包括我们的私人程序,和BHq步升和步降程序。作为一个新的方面,证明工程的任意依赖之间的真空和假空检验统计量,而FDR控制保持到一个小的乘法因子。
2021-07-03 cs.LG math.ST stat.TH
Differentially Private Permutation Tests
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Cambridge(剑桥大学)
本文提出差分隐私置换检验框架,将经典置换检验扩展至隐私场景,引入dpMMD、dpHSIC等差分隐私核检验,兼具有限样本有效性与差分隐私,在多场景下功效具竞争力且代码公开。
2026-07-30 cs.CR cs.LG math.ST
Seven proofs of the Pearson Chi-squared independence test and its graphical interpretation
本文重新审视了Pearson卡方独立性检验。在用现代符号呈现基本理论并展示新的推导证明方法后,我们描述了这个测试的创新和直观的图形演示。这不仅可以直观地解释测试,还可以测量我们接受或拒绝非独立性的原假设的程度
2018-09-03 math.ST stat.TH
Inference under Information Constraints I: Lower Bounds from Chi-Square Contraction
Cornell University(康奈尔大学);IBM Research(IBM研究);Indian Institute of Science(印度科学研究所)
多个玩家每个人都有一个独立的样本,他们只能向中央裁判提供有限的信息。每个玩家被允许使用来自通道族$\mathcal{W}$的通道向裁判描述其观察到的样本,该通道族可以被实例化以捕获通信和隐私约束设置以及更高。裁判使用来自玩家的消息来解决生成样本的未知分布的推理问题。我们推导出样本的学习和测试在这个信息约束的设置离散分布的复杂性的下限。我们的边界的基础是一个特征的收缩在卡方距离之间的样本的观测分布时,信息的约束。这种收缩被捕获在一个局部邻域中的卡方和解耦卡方波动的一个给定的通道,两个量,我们介绍。前者捕获输入上的两个产品分布的通道输出分布之间的平均距离,后者捕获输入上的产品分布和产品分布的混合。我们的边界对于公共和私人硬币协议都是严格的。有趣的是,当仅限于私有币协议时,测试的样本复杂度更高。
2020-10-01 cs.DM cs.DS cs.IT
High-Dimensional Asymptotics of Differentially Private PCA
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文研究了高维情况下差分隐私主成分分析的隐私损失特征化,通过结合假设检验和连续性论证,揭示了隐私化主成分检测个体存在的难度与高斯分布均值差的关系。
2026-10-05 cs.IT cs.LG math.IT