Sequential Analysis in High Dimensional Multiple Testing and Sparse Recovery
本文从序贯分析的角度研究了高维多重检验和稀疏恢复问题。在这种情况下，错误的概率是问题维度的函数。提出了一种简单的序贯测试方法。我们推导出在非序贯设置的可靠恢复的必要条件，并将它们与可靠恢复的充分条件使用建议的序贯测试程序。几个常见的模型的主要结果的应用程序表明，序贯测试可以指数更敏感的零和替代分布之间的差异（在尺寸的依赖），这意味着微妙的情况下，可以更可靠地确定使用序贯方法。
2011-06-03 cs.IT math.IT math.ST
Empirical Bayes cumulative $\ell$-value multiple testing procedure for sparse sequences
在稀疏序列模型中，我们考虑一个流行的贝叶斯多重检验程序，并首次从频率论的角度研究其行为。给定在高维稀疏未知参数上的尖峰和厚片先验，可以容易地计算来自尖峰的后验概率，其对应于众所周知的局部fdr值，也称为$\ell$值。钉和板的重量参数校准的经验贝叶斯的方式，使用边际最大似然。所研究的多重检验程序（此处称为累积$\ell$值程序）根据经验$\ell$值和阈值对坐标进行排序，以使累积排序和不超过用户指定的水平$t$。我们验证了使用这种方法从多个测试的角度来看：适当的大信号强度的替代品，假发现率（FDR）的程序收敛到目标水平$t$，而其假阴性率（FNR）去$0$。我们补充这项研究，提供收敛速度的方法。此外，我们证明了$q$值多重检验程序在该模型中具有相似的收敛速度。
2022-03-28 math.ST stat.TH
Robust mean change point testing in high-dimensional data with heavy tails
研究重尾高维数据的均值变点检验问题，针对不同尾部条件与稠密/稀疏情形提出达到最优或接近最优速率的检验方法，并揭示极小极大检验速率在特定重尾条件下的新现象。
2025-10-12 math.ST stat.ME stat.TH
Significance testing in non-sparse high-dimensional linear models
在高维线性模型中，通常会进行稀疏性假设，即大多数参数等于零。在稀疏性假设下，估计和最近的推断已经得到了很好的研究。然而，在实践中，稀疏性假设是不可检查的，更重要的是经常被违反;大量的协变量可能被期望与响应相关联，这表明可能所有的，而不仅仅是几个，参数是非零的。一个自然的例子是全基因组基因表达谱，其中所有基因都被认为会影响一个共同的疾病标志物。我们发现，现有的推理方法是敏感的稀疏性假设，并可能反过来，导致严重缺乏控制的第一类错误。在这篇文章中，我们提出了一个新的推理方法，命名为CorrT，这是强大的模型误指定，如异方差和缺乏稀疏性。CorrT被证明有第一类错误接近标称水平的\textit{any}模型和第二类错误接近零的稀疏和许多密集的模型。事实上，CorrT在各种框架中也被证明是最佳的：稀疏，非稀疏和混合模型，其中稀疏和密集信号混合。数值实验表明，一个良好的性能的CorrT测试相比，国家的最先进的方法。
2018-05-28 math.SP math.ST stat.ME
Hypothesis testing for high-dimensional sparse binary regression
本文研究了高维稀疏二元回归模型中极大极小假设检验的检测边界。出于对罕见变异效应的基因测序关联研究的动机，我们研究了当设计矩阵稀疏时假设检验问题的复杂性。我们观察到一个新的现象，在检测边界的行为，不发生在高斯线性回归的情况下。我们推导出的检测边界作为两个组件的函数：一个设计矩阵稀疏指数和信号强度，其中每一个是一个函数的稀疏性的替代品。对于任何替代方案，如果设计矩阵稀疏性指数过高，则无论信号强度的大小如何，任何测试都是渐近无效的。对于稀疏性指数不太高的二进制设计矩阵，我们的结果与高斯情况下的结果是平行的。在这种情况下，我们推导出密集和稀疏制度的检测边界。对于密集制度，我们证明了广义似然比是率最优的，稀疏制度，我们提出了一个扩展的更高的批评测试，并表明它是率最优和尖锐的。我们用模拟研究说明了理论结果的有限样本性质。
2015-03-05 math.ST stat.CO stat.ME
Global testing against sparse alternatives in time-frequency analysis
本文提出了一种过采样周期图高临界（OPHC）检验方法，用于复值时间序列中稀疏周期效应的全局检测。一个显式的极小极大检测边界之间的稀有性和弱点的复杂的正弦波隐藏在系列。OPHC测试被证明是渐近强大的可检测区域。数值模拟说明并验证了所提出的测试的有效性。此外，周期图过采样的$O(\log N)$被证明是普遍最佳的周期性的全球测试下，一个温和的最小分离条件。
2016-09-27 math.ST stat.TH
Testing for sparse idiosyncratic components in factor-augmented regression models
本研究提出一种bootstrap检验方法，用于检验因子回归模型中是否存在稀疏异质成分，推导了其渐近性质，提出数据驱动调参规则，模拟和实证实验验证了方法的有效性，并通过R包FAS实现。
2024-07-10 econ.EM math.ST stat.TH
Robust Testing in High-Dimensional Sparse Models
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Sydney（悉尼大学）
我们考虑了在两种不同的观测模型下对高维稀疏信号向量的范数进行鲁棒检验的问题。在第一个模型中，我们给出$n$ i.i.d.。来自分布$\mathcal{N}\left(θ,I_d\right)$（具有未知的$θ$）的样本，其中一小部分已被任意损坏。在$\|θ\|_0\le s$的承诺下，我们希望对于某些输入参数$γ>0$，正确区分是$\|θ\|_2=0$还是$\|θ\|_2>γ$。我们表明，这项任务的任何算法都需要$n=Ω\left(s\log\frac{ed}{s}\right)$样本，这是紧对数因子。我们还将我们的结果扩展到其他常见的稀疏性概念，即任何$0 < q < 2$的$\|θ\|_q\le s$。在我们考虑的第二个观察模型中，数据是根据稀疏线性回归模型生成的，其中协变量是i.i.d.。高斯，并且已知回归系数（信号）是$s$ -稀疏的。在这里，我们也假设$ε$ -数据的一部分被任意损坏。我们表明，任何算法，可靠地测试回归系数的范数至少需要$n=Ω\left(\min(s\log d,{1}/{γ^4})\right)$样本。我们的研究结果表明，在这两种设置下的测试的复杂性显着增加鲁棒性约束。这与最近在稳健均值检验和稳健协方差检验中观察到的结果一致。
2022-11-04 cs.IT cs.LG math.IT
Sparse Uniformity Testing
本文考虑高维离散分布（多项式）在稀疏选择下的一致性检验问题。更确切地说，我们得到尖锐的检测阈值测试，$n$样本的基础上，是否支持$d$元素的离散分布不同于均匀分布，只有在$s$（出的$d$）坐标，是$\varepsilon$ -远（在全变差距离）从均匀性。我们的结果揭示了各种有趣的相变，这些相变取决于样本量$n$和信号强度$\varepsilon$与维度$d$和稀疏水平$s$的相互作用。例如，如果样本量小于阈值（取决于$d$和$s$），则所有测试都是渐近无效的，而不管信号强度的大小。另一方面，如果样本量高于阈值，则检测边界根据信号强度经历进一步的相变。在这里，一个$χ^2$型测试达到检测边界的密集制度，而在稀疏制度的Bonferroni校正的两个最大型测试和一个版本的更高的批评测试是最佳的尖锐常数。这些结果结合起来提供了一个完整的描述的相位图的稀疏均匀性测试问题的所有制度的参数$n$，$d$，和$s$。处理多项式的一个挑战是参数总是被限制在单纯形中。这导致了前面提到的两层相变，这是一种在经典的高维稀疏测试问题中不会出现的新现象。
2022-02-16 cs.IT math.IT math.ST
Power and sample size calculation of two-sample projection-based testing for sparsely observed functional data
本研究针对稀疏观测函数数据的两样本投影检验，推导功效函数并推出R包fPASS以实现功效与样本量计算，验证其缺失免疫的稳健性并展示临床试验应用价值。
2023-10-10 math.ST stat.AP stat.ME
Sharp Asymptotic Minimaxity of the Gavrilov-Benjamini-Sarkar Step-Down Testing Procedure in Sparse Gaussian Sequence Models
Department of Statistics, Texas A&M University（德克萨斯农工大学统计学系）
研究稀疏高斯序列模型中GBS逐步多重检验程序的尖锐渐近极小极大性，通过移位顺序统计不等式等方法，证明其在特定损失下是渐近极小极大的，还建立了相关风险上界，扩展了渐近极小极大性理论。
2026-10-27 math.ST stat.TH
Fast Non-Asymptotic Testing And Support Recovery For Large Sparse Toeplitz Covariance Matrices
我们考虑$n$独立的$p$维高斯向量，其协方差阵具有Toeplitz结构。我们测试了这些向量对具有稀疏Toeplitz协方差阵的平稳分布具有独立分量，并且还选择了非零项的支持。我们假设非零值可以出现在最近的过去（时滞小于$p/2$）。我们建立的测试程序，结合了总和和扫描型程序，但计算速度快，并显示其非渐近行为在单侧（仅正相关）和双侧的替代品，分别。我们还展示了一个选择器的显着滞后和绑定的汉明损失风险的估计支持。这些结果可以推广到近似Toeplitz协方差结构和亚高斯向量的情况。数值结果说明了测试程序和支持选择器的优异性能-维数越大$p$，速率越快。
2021-02-12 math.ST stat.TH
Minimax rates in sparse, high-dimensional changepoint detection
我们研究了一个稀疏变化的检测在一个高维均值向量作为一个极大极小测试问题。我们的第一个主要贡献是得到确切的极小极大检验率在所有参数制度的$n$独立，$p$变量高斯观测。当稀疏度为$\sqrt{p \log \log (8n)}$阶时，该速率呈现相变，并且对样本量具有非常微妙的依赖性：在一定的稀疏度范围内，它涉及到~ $n$中的三重迭代对数因子。此外，在一个密集的渐近制度，我们确定了尖锐的领先常数，而在相应的稀疏渐近制度，这个常数被确定为在一个因素的$\sqrt{2}$。扩展，覆盖空间和时间的依赖性，主要是在密集的情况下，也提供。
2020-11-17 math.ST stat.ME stat.TH
Optimality of the max test for detecting sparse signals with Gaussian or heavier tail
高维检验中的一个基本问题是全局零检验：检验零是否在所有$n$假设中同时成立。最大检验使用最小的$n$边缘p值作为其检验统计量，因其简单性和稳健性而广受欢迎。然而，其相对于其他测试的理论性能受到质疑。在高斯序列版本的全局测试问题中，Donoho和Jin（2004）发现了一个所谓的“弱，稀疏”渐近机制，其中当所有非零信号强度都相同时，更高的批评和Berk-Jones测试比最大测试实现了更好的检测边界。我们研究了一个更一般的模型，其中的非零的手段是从一个通用的分布，并表明，检测边界的最大测试是最佳的“弱，稀疏”制度，只要分布的尾巴是不轻于高斯。此外，我们从理论上和模拟表明，修改后的更高的批评Donoho和Jin（2004）可以有非常低的权力时，非零的平均值的分布有一个多项式的尾巴。
2020-06-19 math.ST stat.TH
Hypothesis Testing for High-Dimensional Matrix-Valued Data
针对高维矩阵值数据均值假设检验中传统最小偏差检验的维度局限，提出适配高维的新型检验统计量与稀疏SVD估计器，经理论分析、模拟及视频数据案例验证了实用性。
2024-12-10 math.ST stat.ME stat.ML
De-biased sparse PCA: Inference and testing for eigenstructure of large covariance matrices
稀疏主成分分析（sparse principal component analysis，sPCA）已成为高维数据降维中应用最广泛的技术之一。sPCA的主要挑战是估计总体协方差矩阵的第一个负载向量，前提是只有一定数量的负载是非零的。在本文中，我们提出了置信区间的个人负荷和人口的协方差矩阵的最大特征值。给定一个独立的样本$X^i \in\mathbb R^p, i = 1,...,n,$从一个未知的分布与一个未知的协方差矩阵$Σ_0$，我们的目的是估计的第一个向量的负载和最大的特征值的$Σ_0$在设置$p\gg n$。除了高维性之外，另一个挑战在于问题固有的非凸性。我们基于我们的方法上的拉索惩罚M-估计，尽管非凸性，可以解决一个多项式时间的算法，如坐标或梯度下降。我们证明了我们的估计量在$\ell_1$和$\ell_2$ -范数下达到了极大极小最优速率。我们确定在拉索为基础的估计偏差，并提出了一个去偏稀疏PCA估计的负载向量和协方差矩阵$Σ_0$的最大特征值。我们的主要结果为去偏估计量的渐近正态性提供了理论保证。我们施加的主要条件是稀疏的第一个特征向量的小阶$\sqrt{n}/\log p$和稀疏的同阶的逆Hessian矩阵的列的人口风险。
2018-01-31 math.ST stat.ME stat.TH
Global testing under sparse alternatives: ANOVA, multiple comparisons and the higher criticism
检验线性模型中回归系数子集的显著性，是统计分析的一个主要内容，至少可以追溯到Fisher的工作，他引入了方差分析（ANOVA）。我们研究这个问题的假设下，系数向量是稀疏的，在现代高维设置中的常见情况。假设我们有$p$协变量，并且在替代方案下，响应仅取决于$p^{1-α}$的顺序，即$0\leα\le1$。在中等稀疏水平下，即$0\leα\le1/2$，我们证明了方差分析在某些条件下是最优的。在强稀疏约束下，即$α>1/2$下，情况不再如此。在这种情况下，通常首选多重比较程序，我们在$α\geq3/4$时确定其最优性。然而，这两个非常流行的方法是次优的，有时无能为力，在中等强度的稀疏性下，$1/2<α<3/4$。我们提出了一种基于更高的批评，是强大的在整个范围$α>1/2$的方法。这种最优性属性适用于各种设计，包括经典的（平衡的）多路设计和更现代的“$p>n$“设计中出现的遗传学和信号处理。除了标准的固定效应模型，我们建立了一个随机效应模型的回归向量的非零系数呈正态分布的类似结果。
2012-02-23 math.ST stat.ME stat.TH
Minimax risks for sparse regressions: Ultra-high-dimensional phenomenons
考虑标准高斯线性回归模型$Y=Xθ+ε$，其中$Y\in R^n$是响应向量，$ X\in R^{n*p}$是设计矩阵。当$p$比$n$大得多时，大量的工作致力于建立有效的$θ$估计。在这种情况下，经典的方法相当于假设$θ_0$是近似稀疏的。本文研究了$k$ -稀疏向量类$θ$的极小极大风险估计和检验问题.这些界限揭示了由于高维的限制。结果包括预测问题（$Xθ$的估计）、逆问题（$θ_0$的估计）和线性检验（$Xθ=0$的检验）。有趣的是，当变量$k\log(p/k)$的数量与$n$相比变大时，会发生肘效应。事实上，极大极小风险和假设间隔距离在这个超高维度的环境中爆炸了。我们还证明，即使是降维技术不能提供令人满意的结果在超高的维度设置。此外，当噪声方差未知时，我们计算了极大极小风险。该方差的知识被证明在估计和测试的最佳速率中起着重要的作用。所有这些极大极小的界限提供了一个统计问题，是如此困难，以至于没有程序可以提供令人满意的结果的表征。
2012-01-24 math.ST stat.TH
Directional FDR Control for Sub-Gaussian Sparse GLMs
高维稀疏广义线性模型（GLM）是在样本个数和变量维数都很大，甚至变量维数增长速度快于样本个数的情况下产生的。错误发现率（FDR）控制的目的是在得到GLM的稀疏惩罚估计后，识别出少量统计上显著非零的结果。利用精确矩阵估计的CLIME方法，构造了稀疏GLM的无偏Lasso估计，并利用极小极大率预言不等式证明了其渐近正态性。在实际应用中，往往需要准确判断各回归系数的正负性，这决定了预测变量与响应变量在其余变量的条件下是正相关还是负相关。使用去偏估计，我们建立了多重检验程序。在温和的条件下，我们表明，建议的去偏统计量可以渐近控制方向（符号）FDR和方向错误发现变量在一个预先指定的显着性水平。此外，可以表明，我们的多重检验程序可以近似达到1的统计功效。我们还将方法推广到两样本问题，提出了两样本检验统计量。在适当的条件下，对于两样本问题，我们可以在指定的显着性水平上渐近地实现方向FDR控制和方向FDV控制。一些数值模拟成功地验证了我们提出的测试程序的FDR控制效果，有时优于经典的敲除方法。
2021-05-02 math.ST stat.ML stat.TH
Optimal estimation and goodness-of-fit testing of the mean for sparse longitudinal functional data
Univ. Rennes, Ensai, CREST-UMR 9194（雷恩大学，ENSAI，CREST）；Ensai
本文针对稀疏纵向函数型数据，提出均值函数的最优估计方法及拟合优度检验，并证明其收敛速率在系数衰减类上达到极小极大最优。
2026-10-14 math.ST stat.TH
Linear Functional Testing with General Loadings in Sparse Regression: Separation Rates and Computational Barriers
Department of Statistics and Data Science, National University of Singapore（新加坡国立大学统计与数据科学系）
本文研究了在高维稀疏线性回归中，针对高斯随机设计和未知设计协方差的H0:ξ^Tβ=t0检验问题。构造了一个计算高效的混合检验方法，给出了适应性分离距离的上界，并建立了信息论下界。在超稀疏情况下，这些界限在任意ξ下描述了适应性分离率，而在中等稀疏情况下，这些界限在某些加载向量类别中匹配，但可能在一般情况下不同。此外，本文证明了一个低次下界，与上界在对数因子内匹配，表明改进混合检验的速率可能在统计上难以实现。对于平坦稀疏加载，本文通过稀疏CCA的多项式时间归约提供了进一步证据。最后，本文探讨了设计协方差信息如何影响适应性分离率，在稀疏符号尖峰协方差模型下，信息论下界可通过非高效的算法达到，而低次下界和稀疏CCA归约仍适用，提供了统计-计算差距的证据。当设计协方差已知且对角时，适应性分离率形式与超稀疏情况相同。
2026-05-20 cs.CC math.ST stat.TH
Global testing under the sparse alternatives for single index models
对于具有高斯设计的单指标模型$y=f(β^τx,ε)$，%满足秩$var(\mathbb{E}[x\mid y])=1$，其中$f$未知，$β$是稀疏$p$维单位向量，最多具有$s$非零项，我们感兴趣的是检验零假设，即当将$β$视为整个向量时，它为零，而不是$β$的某些项为非零.假设$var(\mathbb{E}[x \mid y])$是非零的，我们定义的广义信噪比（gSNR）$λ$模型的唯一非零特征值的$var(\mathbb{E}[x \mid y])$。我们表明，如果$s^{2}\log^2(p)\wedge p$是一个较小的顺序$n$，表示为$s^{2}\log^2(p)\wedge p\prec n$，其中$n$是样本大小，可以检测到信号的存在，当且仅当gSNR $\succ\frac{p^{1/2}}{n}\wedge \frac{s\log(p)}{n}$。此外，如果噪声是加性的（即，$y=f(β^τx)+ε$），当且仅当gSNR为$\succ\frac{p^{1/2}}{n}\wedge \frac{s\log(p)}{n} \wedge \frac{1}{\sqrt{n}}$时，才能检测到信号的存在。令人惊讶的是，具有加性噪声的单指数模型的检测边界与线性回归模型的检测边界相匹配。这些结果为高维单/多指标模型的深入理论分析铺平了道路。
2018-05-04 math.ST stat.TH
Limits on Testing Structural Changes in Ising Models
我们提出了新的信息理论的限制检测稀疏变化伊辛模型，在许多应用中出现的问题，网络的变化可能会发生由于一些外部刺激。我们发现，样本的复杂性检测稀疏的变化，在极大极小的意义上，是没有比学习整个模型，即使在设置与本地稀疏。这是一个令人惊讶的事实，鉴于先前的工作植根于稀疏恢复方法，这表明在这种情况下，样本的复杂性只与网络变化的数量。为了阐明变化检测何时比结构化学习更容易，我们考虑在森林结构图中测试边缘删除，并将高温铁磁体作为案例研究。我们表明，这些测试的小变化是同样困难的，但测试的\emph{large}的变化是很好的分离结构学习。这些结果意味着，图形模型的测试可能不服从的概念，如限制性强凸性利用稀疏模式恢复，而不是算法的开发应针对检测大的变化。
2020-11-07 cs.IT math.IT math.ST
Inference for High-dimensional Differential Correlation Matrices
受基因组学中差异共表达分析的启发，本文考虑高维差异相关矩阵的估计和检验。一个自适应阈值的过程中引入和理论保证。极小极大收敛速度的建立和建议的估计是自适应率最优的集合的成对相关矩阵与近似稀疏的差异。仿真结果表明，该过程显着优于其他两个自然的方法，是基于单独的相关矩阵的估计。该程序还说明了通过分析的乳腺癌数据集，它提供了证据，在基因共表达水平的几个基因，其中的一个子集已被事先验证，与乳腺癌。还考虑了对差分相关矩阵的假设检验。一个测试，这是特别适合于测试对稀疏的替代品，介绍。此外，还讨论了其它相关问题，包括单个稀疏相关矩阵的估计、差分协方差阵的估计和差分互相关矩阵的估计。
2015-10-21 math.ST stat.ME stat.TH
Testing the Equality of Covariance Operators in Functional Samples
我们提出了一个稳健检验的平等的协方差结构在两个功能样本。检验统计量具有卡方渐近分布，自由度已知，取决于表示数据所需的降维水平。详细分析的渐近性质。有限样本的性能进行了研究，通过模拟研究和应用到产卵曲线的果蝇。
2011-04-21 math.ST stat.ME stat.TH
On Testing for Parameters in Ising Models
我们考虑测试铁磁伊辛模型的参数。虽然测试可能稀疏磁化的存在下，我们提供了一个一般的最小最大分离率的下界，从而产生尖锐的结果，在高温制度。我们的匹配上界是自适应的依赖图和温度参数。此外，我们的结果包括最近邻模型的格子，稀疏Erdös-Rényi随机图，和定期有根树-直到在高温制度的临界参数。我们还提供了平行的结果，为整个低温制度在最近邻模型的晶格-然而，在加边界纯相。我们的结果的最近邻模型至关重要地依赖于有限体积模拟的相关衰减性质的高，低温度制度-推导借用关键的想法从FK-渗流理论，可能是独立的兴趣。最后，我们还推导出两个参数伊辛模型的估计率和检验率的下界-根据这一领域的一些最新结果，这是最优的。
2019-06-02 math.ST stat.TH
Minimax estimation of functionals in sparse vector model with correlated observations
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海人工智能实验室）；Department of Statistics and Data Science, Tsinghua University（清华大学统计与数据科学系）
本文研究了在部分关于协方差矩阵信息的情况下，稀疏向量的l2范数估计和零假设检验的极小极大最优方法，发现Frobenius范数决定了估计和检验的极小极大速率。
2026-08-21 math.ST stat.TH
Information-Theoretic Bounds for Adaptive Sparse Recovery
Boston University（波士顿大学）
我们推导出一个信息理论的样本复杂性在稀疏恢复问题，输入可以选择顺序和自适应的下界。这个下界是一个简单的互信息表达式，并统一了许多不同的线性和非线性观测模型。使用这个公式，我们得出自适应压缩感知（CS），组测试和1位CS问题的界限。我们发现，自适应不能降低样本复杂性组测试，1位CS和CS与线性稀疏。相比之下，我们表明，CS在次线性制度可能有温和的性能增益。我们的统一分析还允许表征的增益，由于从更广泛的角度对稀疏问题的自适应性。
2014-04-29 cs.IT cs.LG math.IT
Optimal Adaptivity of Signed-Polygon Statistics for Network Testing
给定一个对称的社交网络，我们有兴趣测试它是只有一个社区还是多个社区。所需的测试应该（a）适应严重的程度异质性，（b）适应混合成员，（c）有一个易处理的空分布，（d）自动适应不同水平的稀疏性，并实现最佳相图。如何找到这样的测试是一个具有挑战性的问题。我们提出了一个新的测试类的签署多边形。固定$m \geq 3$，对于网络中的每个$m$边形，使用中心邻接矩阵定义分数。这些分数的总和就是$m$阶有符号多边形统计量。符号三角形（SgnT）和符号四边形（SgnQ）是符号多边形的特殊例子。我们证明了SgnT和SgnQ测试都满足（a）-（d），特别是，它们对于非常稀疏和不太稀疏的网络都很有效。我们提出的测试与现有的测试相比，毫不逊色。例如，EZ和GC测试在稀疏度较低的情况下表现得不令人满意，并且没有实现最佳相图。此外，许多现有的测试不允许严重的异质性或混合成员，它们在我们的设置中表现得不令人满意。对SgnT和SgnQ测试的分析是微妙的，并且非常繁琐，主要原因是我们需要一个统一的证明，该证明涵盖了广泛的稀疏性水平和广泛的度异质性。对于下界理论，我们使用一个相变框架，其中包括标准的极大极小参数，但更翔实。证明使用了关于矩阵缩放的经典定理。
2019-05-21 math.ST stat.ME stat.TH
Optimal Sparsity Testing in Linear regression Model
研究了高维线性回归模型的稀疏性检验问题。问题是测试回归参数$θ^*$的非零分量（也称为稀疏度）的数量是否小于或等于$k_0$。我们查明了这个问题的最小最大分离距离，这相当于量化$k_1$稀疏向量$θ^*$有多远必须从一组$k_0$稀疏向量，以便测试能够拒绝原假设具有高概率。考虑了两种情况。在独立情景中，协变量为i.i.d.。正态分布，噪声水平已知。在一般情况下，协变量的协方差阵和噪声水平都是未知的。虽然在这两种情况下的极大极小分离距离不同，但它们实际上都取决于$k_0$和$k_1$，说明对于这种复合测试问题，空值和备择假设的大小都起着关键作用。
2020-04-23 math.ST stat.TH
Detecting Sparse Heterogeneous Mixtures in a Two-Sample Problem
我们认为，从非参数的角度来看，在两个样本设置中检测稀疏异质混合物的问题，其中的效果表现为一个积极的转变。我们提出了一个两样本的高批评测试，并表明它是一阶可比的似然比检验的广义高斯混合模型在所有的稀疏性制度。
2020-11-26 math.ST stat.TH
Sparse Group Lasso: Optimal Sample Complexity, Convergence Rate, and Statistical Inference
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了高维双稀疏线性回归的稀疏群Lasso，其中感兴趣的参数同时是元素和群稀疏的。这个问题是同时结构化模型的一个重要实例，同时结构化模型是统计学和机器学习中一个积极研究的课题。在无噪声的情况下，匹配的上界和下界的样本复杂度分别建立了稀疏向量的精确恢复和近似稀疏向量的稳定估计。在有噪声的情况下，估计误差的上限和匹配的极大极小下界。我们还考虑了去偏稀疏群Lasso，并研究了它的渐近性质，以便进行统计推断。最后，数值研究提供了支持的理论结果。
2022-05-07 cs.LG math.ST stat.ML
Higher criticism for detecting sparse heterogeneous mixtures
更高的批评，或第二级显著性检验，是Tukey顺便提到的一个多重比较概念。它涉及的情况下，有许多独立的检验的显着性和一个有兴趣拒绝联合原假设。Tukey建议将给定α水平下观察到的显著性分数与联合零值下的预期分数进行比较。事实上，他建议将两个数量的差异标准化，并形成一个z分数;由此产生的z分数测试了显着性检验的显著性。我们考虑一个推广，其中我们在显着性水平0<α \leq α_0的范围内最大化该z分数。我们能够证明，由此产生的更高的批评统计量是有效的，在解决一个非常微妙的测试问题：测试是否n正常的手段都是零与替代，一小部分是非零的。这个"稀疏正态均值“测试问题的微妙之处可以从Ingster和Jin的工作中看出，他们非常详细地研究了这些问题。在他们的研究中，他们发现了一系列有趣的情况，其中非零均值的小部分非常小，以至于备择假设对大部分检验或少数最高显著性检验的p值分布几乎没有明显影响。在这个范围内，当非零均值的幅度用非零均值的分数来校准时，对精确指定的备选方案的似然比检验仍然可以成功地分离两个假设。
2004-10-05 math.ST stat.TH
Consistency of Sparse PCA in High Dimension, Low Sample Size Contexts
稀疏主成分分析（PCA）方法是对复杂数据进行降维（或变量数目）的有效工具。稀疏主成分（PC）比传统的PC更容易解释，因为大多数载荷为零。我们研究了这些稀疏PC方向的渐近性质的情况下，固定样本量和增加的维度（即高维，低样本量（HDLSS））。在先前研究的尖峰协方差假设下，我们表明稀疏PCA在先前为传统PCA建立的相同大尖峰条件下保持一致。在广泛的小尖峰条件下，我们发现了一个大的稀疏性假设，稀疏PCA是一致的，但PCA是强烈不一致的。一致性区域的边界使用一个oracle结果来澄清。
2011-04-21 math.ST stat.TH
The Sample Complexity of Robust Covariance Testing
UW Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣迭戈分校）
本文研究了在Huber污染模型中输入分布被破坏的情况下，高维高斯分布协方差矩阵在鲁棒环境中的检验问题。具体来说，我们被赋予了身份证。来自$Z = (1-ε) X + εB$形式的分布的样本，其中$X$是零均值和未知协方差高斯$\mathcal{N}(0, Σ)$，$B$是固定但未知的噪声分布，并且$ε>0$是表示污染比例的任意小常数。我们想区分$Σ$是单位矩阵与$γ$的情况--远不是Frobenius范数中的单位矩阵。在没有污染的情况下，先前的工作为使用$O(d)$样品的假设检验任务提供了一个简单的测试仪。此外，该样本上限被证明是最好的可能性，在恒定的因素。我们的主要结果是，样本的复杂性的协方差检验显着增加污染的设置。特别是，我们证明了一个样本的复杂性下限的$Ω(d^2)$ $ε$一个任意小的常数和$γ= 1/2$。该下限是最可能的，因为$O(d^2)$样本足以稳健地{ \em学习}协方差。我们的研究结果的概念含义是，对于我们考虑的自然环境，稳健的假设检验至少和稳健的估计一样难。
2020-12-31 cs.LG math.ST stat.ML
MALA-within-Gibbs samplers for high-dimensional distributions with sparse conditional structure
马尔可夫链蒙特卡罗（MCMC）采样器是用于从给定目标概率分布中抽取样本的数值方法。我们讨论了一个特殊的MCMC采样器，MALA内吉布斯采样器，从理论和实践的角度。我们首先表明，这个采样器的接受率和步长是独立的整体问题的尺寸时，（i）的目标分布具有稀疏的条件结构，和（ii）这种结构是反映在部分更新策略的MALA-within-Gibbs。此外，如果目标密度是分块对数凹的，则采样器的收敛速度与维数无关。从实际的角度来看，我们希望MALA-within-Gibbs是有用的解决高维贝叶斯推断问题，后验显示稀疏条件结构至少近似。在这种情况下，必须找到一个分区的状态，正确地反映了稀疏的条件结构，我们说明了这个过程中的两个数值例子。我们还讨论了用于部分更新的块大小和可能随着块数量增加而增加的计算要求之间的权衡。
2020-03-18 math.ST stat.CO stat.ME
The Sample Complexity of Distributed Simple Binary Hypothesis Testing under Information Constraints
该研究解决了信息约束下分布式简单二元假设检验样本复杂度的两个公开问题，证明序贯交互不降低样本复杂度，推导了通信约束下的最优紧界，并提出三项关键技术贡献。
2025-06-16 cs.IT math.IT math.ST
Testing Degree Corrections in Stochastic Block Models
研究了随机区组模型中度校正的检测阈值，并探讨了未知社区分配（一个高维冗余参数）和图密度对度校正检测的影响.当度校正相对密集时，基于边缘总数的简单测试是渐近最优的。对于稀疏度校正，结果根据底层随机块模型的密度而经历若干行为变化。对于不是非常稀疏的图，最佳测试基于更高的批评或最大程度类型测试，该测试基于（估计的）社区程度内和跨社区程度的线性组合。在平衡社区的特殊情况下，在图不完全稠密的情况下，基于简单程度的高级批评测试（Mukherjee，Mukherjee，Sen 2016）是最佳的，而在完全稠密的情况下，需要更复杂的基于线性组合的过程。两步过程的“必要性”的情况下，平衡社区的失败，普通的最大程度测试在实现尖锐的常数证明。最后，对于非常稀疏的图形的最佳速率的变化，和一个版本的最大程度的测试与不同的拒绝区域被证明是最佳的。
2019-07-15 math.PR math.ST stat.TH
Testing independence with high-dimensional correlated samples
多个（超）高维随机样本之间的独立性检验是一个基本而具有挑战性的问题。通过将$n$同分布的$p$维随机向量排列成一个$p \times n$数据矩阵，研究了数据的矩阵变量正态建模下列间独立性的检验问题。提出了一种计算简单、无需调谐的检验统计量，刻画了它的极限零分布，分析了它的统计功效，证明了它的极大极小最优性。作为检验统计量的一个重要副产品，给出了相关样本下协方差阵的二次泛函的比率相合估计。进一步研究了样本间相关性对一个重要的高维推断问题--皮尔逊相关系数的大规模多重检验的影响。事实上，盲目地使用基于假设样本独立性的经典推理结果会导致许多错误的发现，这表明在应用现有方法之前需要进行独立性测试。为了解决样本之间的相关性所带来的挑战，我们提出了一个“三明治估计”的皮尔逊的相关系数通过去相关的样本。基于这种方法，由此产生的多重检验过程渐近控制在标称水平的总体错误发现率，同时保持良好的统计能力。仿真和实际数据实验表明了所提出方法的优越性。
2017-03-26 math.ST stat.TH
An analysis of the SPARSEVA estimate for the finite sample data case
在本文中，我们开发了一般方案中SPARSEVA（基于验证准则的SPARSe估计）估计误差的上界，即，当费用函数是强凸的并且正则化范数对于一对子空间是可分解的。我们展示了如何将这个一般的界可以应用到稀疏回归问题，以获得传统的SPARSEVA问题的上界。数值结果表明了所提界的有效性。
2018-07-20 math.ST stat.TH
Detection of a sparse submatrix of a high-dimensional noisy matrix
我们观察到$N\times M$矩阵$Y_{ij}=s_{ij}+ξ_{ij}$与$ξ_{ij}\sim {\mathcal {N}}(0,1)$ i.i.d.在$i,j$和$s_{ij}\in \mathbb {R}$中。我们测试的零假设$s_{ij}=0$对所有$i,j$的替代方案，存在一些子矩阵的大小$n\times m$的意义上，$s_{ij}\ge a>0$的重要元素。我们提出了一个测试过程，并计算渐近检测边界$a$，使最大测试风险趋于0为$M\to\infty$，$N\to\infty$，$p=n/N\to0$，$q=m/M\to0$。我们证明了这个边界是渐近尖锐的minimax在一些额外的约束。与其他测试问题的关系进行了讨论。我们提出了一个测试程序，适应未知的$(n,m)$在一些给定的集合，并计算自适应锐率。我们的测试程序在合成数据上的实现显示了稀疏矩阵（不一定是平方矩阵）的出色性能。我们扩展我们的尖锐的极大极小结果在不同的方向：首先，高斯矩阵与未知的方差，其次，随机变量的矩阵具有分布从一个指数家庭（非高斯），最后，一个双边替代矩阵与高斯元素。
2013-12-19 math.ST stat.TH
Testing equality between two-sample dependence structure using Bernstein polynomials
该研究针对两样本copula相等性检验问题，基于经验伯恩斯坦copula过程提出三个统计量并确立渐近性质，提出二次抽样伯恩斯坦方法，实验证明其优于基于经验copula的检验方法。
2023-12-18 math.ST stat.TH
Testing correlation of unlabeled random graphs
研究了具有$n$未标记节点的两个随机图之间的边相关性检测问题。这被形式化为一个假设检验问题，其中在原假设下，两个图是独立生成的;在另一种情况下，两个图在一些潜在节点对应下是边缘相关的，但具有与零相同的边缘分布。对于高斯加权完全图和稠密Erdens-Rényi图（边概率为$n^{-o(1)}$），我们确定了最佳测试误差概率从0到1的相变的锐阈值为$n\to \infty$ .对于边概率为$n^{-Ω(1)}$的稀疏Erdens-Rényi图，我们在一个常数因子内确定阈值.不可能性结果的证明是条件二阶矩方法的应用，其中我们通过仔细调节交图（由两个观察到的图中的边组成）的典型行为并考虑边上的诱导随机置换的循环结构来约束似然比的截断二阶矩。值得注意的是，在稀疏状态下，这是通过利用次临界Erdens-Rényi图的伪森林结构和仔细枚举可以从边置换的短轨道组装的子伪森林来实现的。
2021-02-08 math.CO math.PR math.ST
Detection of sparse additive functions
研究了高斯白噪声模型中高维信号函数的检测问题。以及平滑的信号函数的假设，我们假设一个附加的稀疏条件，后者。检测问题表示为一个非参数假设检验问题，并根据渐近极小极大方法解决。对于高稀疏性的情况，极大极小检验程序在稀疏性参数中是自适应的。我们扩展到功能的情况下，已知的结果在检测稀疏的高维向量。特别是，我们的渐近检测边界来自相同的渐近关系，在向量的情况下。
2012-07-20 math.ST stat.TH
Optimal Testing of Discrete Distributions with High Probability
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；MPI（马克斯·普朗克研究所）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Yale University（耶鲁大学）；UT Austin（德克萨斯大学奥斯汀分校）
我们研究的问题测试离散分布的高概率制度的重点。具体地，给定来自一个或多个离散分布的样本、属性$\mathcal{P}$和参数$0< ε, δ<1$，我们想要区分{概率至少为$1-δ$的\em}这些分布是否满足$\mathcal{P}$或者是$ε$ -在总变化距离上远离$\mathcal{P}$。分布测试中的大多数先前工作研究了恒定置信度情况（对应于$δ= Ω(1)$），并为一系列属性提供了样本最佳测试器。虽然人们总是可以通过黑盒放大来提高任何这样的测试者的置信概率，但是这种通用的提高方法通常会导致次优的样本界限。在这里，我们研究了以下广泛的问题：对于一个给定的属性$\mathcal{P}$，我们可以{ \em表征}的样本复杂性测试$\mathcal{P}$作为所有相关的问题参数的函数，包括错误概率$δ$？在这项工作之前，均匀性测试是唯一的统计任务，其样本的复杂性已在此设置的特点。作为我们的主要成果，我们提供了第一个算法的封闭性和独立性测试是样本最优的，在恒定的因素，作为所有相关参数的函数。我们还显示了匹配的信息理论的样本复杂性，这些问题的下限。我们的技术自然会扩展到为相关问题提供最佳测试人员。为了说明我们的方法的一般性，我们给出了最佳算法，用于测试分布的集合和测试不等大小的样本的接近度。
2020-09-14 cs.DS cs.LG math.ST
Sparse Multivariate ARCH Models: Finite Sample Properties
我们提供了稀疏多变量随机过程的有限样本性质，其中随机模型的线性表示允许普通的最小二乘估计。在非惩罚损失函数的强凸性、罚函数的正则性条件、严格平稳过程和β-混合过程的约束下，证明了正则化估计的非渐近误差界.基于Loh和Wainwright（2017）的原始-对偶见证方法，我们建立了变量选择一致性，包括罚函数非凸的情况。这些理论结果得到了实证研究的支持。
2019-02-21 math.ST stat.TH
On the Power of Conditional Samples in Distribution Testing
在本文中，我们定义和检查的权力的{ \em条件采样}甲骨文的分布属性测试的背景下。用于离散分布$μ$的条件采样预言机将域的子集$S \subset [n]$作为输入，并输出根据$S$（并独立于所有先前样本）条件的$μ$绘制的随机样本$i \in S$。条件采样预言机是普通采样预言机的自然推广，其中$S$始终等于$[n]$。我们表明，与条件抽样预言，测试均匀性，测试身份的一个已知的分布，并测试任何标签不变的属性的分布是比普通的抽样预言更容易。另一方面，我们还表明，对于某些分布特性的样本复杂性仍然接近最大，即使有条件采样。
2014-04-08 cs.CC cs.DS math.PR
Wasserstein Identity Testing
均匀性检验和更一般的同一性检验是分布性质检验中研究得很好的问题。大多数以前的工作集中在$L_1$距离下的测试。然而，当支撑非常大或甚至连续时，在$L_1$距离下的测试可能需要大量（甚至无限）样本。出于这些问题的动机，我们考虑Wasserstein距离（a.k.a.运输距离和推土机距离）在度量空间（离散的或连续的）上。在本文中，我们提出了Wasserstein身份测试问题（Wasserstein距离中的身份测试）。我们获得了几乎最优的最坏情况下的样本复杂性的问题。此外，对于一个大类的概率分布满足所谓的“加倍条件”，我们提供了近实例最优的样本复杂度。
2017-10-28 cs.DS cs.IT cs.LG
Independence Testing for Bounded Degree Bayesian Network
我们研究了以下独立性检验问题：给定$P$在$\{0,1\}^n$上的分布样本，决定$P$是否是一个产品分布，或者它是否是$\varepsilon$ -远离任何产品分布的总变异距离。对于任意分布，此问题需要$\exp(n)$样本。在这项工作中，我们表明，如果$P$有一个稀疏的结构，那么实际上只需要线性许多样本。具体地说，如果$P$是马尔可夫相对于贝叶斯网络，其基础DAG的度有界的$d$，那么$\tildeΘ(2^{d/2}\cdot n/\varepsilon^2)$样本是必要的和足够的独立性测试。
2023-01-03 cs.DM cs.DS cs.IT
