Estimating Sparse Precision Matrix: Optimal Rates of Convergence and Adaptive Estimation
精度矩阵在多元分析中有着广泛的应用。本文研究了高维情形下稀疏精度矩阵的自适应Minimax估计。最佳的收敛速度,建立了一系列的矩阵范数损失。提出了一种基于自适应约束$\ell_1$最小化的全数据驱动估计器,并在一组参数空间上得到了它的收敛速率。该估计器称为ACLIME,易于实现,并且在数值上表现良好。在建立极小极大收敛速率的一个主要步骤是推导出一个速率尖锐的下界。一个“双向”的下界技术,以获得极大极小下界。上界和下界一起产生稀疏精度矩阵估计的最优收敛速度,并表明ACLIME估计是自适应的最小最大率最优的参数空间的集合和矩阵范数损失的范围内同时。
2012-12-12 math.ST stat.ME stat.TH
Estimating linear functionals of a sparse family of Poisson means
假设我们观察到由p维信号组成的大小为n的样本,每个信号具有从具有未知强度的缩放泊松分布中提取的独立条目。我们感兴趣的是估计的n个未知的强度矢量的总和,假设它们中的大多数与给定的“背景”信号相吻合。与背景信号不同的p维信号的数量s起稀疏性的作用,并且目标是利用该稀疏性假设,以便与计算观察到的信号的总和的朴素估计器相比提高估计的质量。我们首先介绍了群体硬阈值估计,并分析了其均方误差的平方欧几里德范数测量。我们建立了一个非渐近的上界,表明风险至多为σ^2(sp + s^2 sqrt(p))log^3/2(np)的数量级。然后,我们建立了一个适当定义的类集合的s-稀疏信号的极大极小风险的下界。当维数p是固定的或者比s^2更高阶时,这些下界与上界匹配,直到对数项。在维数p增加但仍保持比s^2小的阶数的情况下,我们的结果表明,在下界和上界之间存在一个间隙,该间隙可以达到sqrt(p)阶。
2018-01-17 math.ST stat.TH
Minimax Rate for Diffusion-Guided Local Intrinsic Dimension Estimation based on Fokker-Planck Equation
Seoul National University(首尔大学)
本文针对基于扩散的局部固有维数估计问题,在正则流形模型下建立了极小极大下界,明确了有限尺度场与流形维数的偏差,为该领域的统计难度研究提供了关键理论依据。
2026-11-03 cs.LG math.ST stat.ML
Minimax bounds for sparse PCA with noisy high-dimensional data
研究了基于独立高斯观测的高维总体协方差阵的首特征向量的估计问题。我们建立了一个下界估计的极小极大风险下的$l_2$损失,在联合限制的维数和样本量增加到无穷大,在各种模型的稀疏人口特征向量。风险的下界表明存在不同的特征向量稀疏性状态。我们还提出了一种新的方法估计的特征向量的两阶段坐标选择计划。
2012-03-05 math.ST stat.TH
Minimax Risk in Estimating Kink Threshold and Testing Continuity
在不知道门限回归模型是否连续的情况下,给出了估计门限参数的风险下界。当样本大小$ n $仅以立方根速率增长时,界限变为零。出于这一发现,我们开发了一个连续性测试的阈值回归模型和自举计算其\textit{p}值。通过蒙特卡罗模拟验证了该方法的有效性,并探讨了其有限样本性质.
2022-03-01 econ.EM math.ST stat.TH
Minimax Rates for Estimating the Dimension of a Manifold
机器学习和计算几何中的许多算法都需要支持数据概率分布的流形的固有维数作为输入。这个参数很少知道,因此必须估计。我们的特点是这个问题的统计困难,推导出上界和下界的极大极小率估计的尺寸。首先,我们考虑的问题,测试的假设,支持的数据生成概率分布是一个行为良好的流形的内在尺寸$d_1$与替代,它是尺寸$d_2$,与$d_{1}<d_{2}$。带着身份证。样本的大小$n$,我们提供了一个上限的概率选择错误的尺寸$O\left( n^{-\left(d_{2}/d_{1}-1-ε\right)n} \right)$,其中$ε$是一个任意小的正数。证明是基于边界的旅行推销员路径的长度通过数据点。我们还证明了一个下界的$Ω\left( n^{-(2d_{2}-2d_{1}+ε)n} \right)$,通过应用Le Cam的引理与一组特定的$d_{1}$维概率分布。然后,我们扩展这些结果得到极小极大率估计的维数良好的表现流形。得到了嵌入维数为$O \left( n^{-(\frac{1}{m-1}-ε)n} \right)$阶的上界和嵌入维数为$Ω\left( n^{-(2+ε)n} \right)$阶的下界.
2019-12-31 cs.CG math.ST stat.TH
Minimax bounds for estimating multivariate Gaussian location mixtures
我们证明了极小极大界估计高斯位置混合$\mathbb{R}^d$下的平方$L^2$和平方Hellinger损失函数。在平方$L^2$损失下,证明了极大极小化率的上下界为$n^{-1}(\log n)^{d/2}$的常数倍.在平方Hellinger损失下,我们考虑基于混合测度尾部行为的两个子类。当混合测度具有亚高斯尾部时,平方Hellinger损失下的极大极小化率由$(\log n)^{d}/n$从下到上有界。另一方面,当仅假设混合测度对于固定的$p > 0$具有有界$p^{\text{th}}$矩时,平方Hellinger损失下的极大极小化率由$n^{-p/(p+d)}(\log n)^{-3d/2}$自下而上有界。这些利率是最小最大最优的对数因子。
2021-05-19 math.ST stat.TH
A constrained risk inequality for general losses
我们提供了一个一般的约束风险不等式,适用于任意的非减损失,布朗和低[Ann. Stat。1996年]。给定两个分布$P_0$和$P_1$,我们发现一个下界的风险估计参数$θ(P_1)$下$P_1$给定一个上界的风险估计参数$θ(P_0)$下$P_0$。该不等式是一个有用的教学工具,因为它的证明仅依赖于柯西-施瓦茨不等式,它适用于一般损失,并且它透明地给出了超有效和自适应估计的风险下界。
2020-04-16 math.ST stat.TH
Dualizing Le Cam's method for functional estimation, with applications to estimating the unseens
Le Cam方法(或两点方法)是一种常用的工具,用于获得统计下界,特别是在函数估计问题中。本文从凸对偶的角度解释函数估计中Le Cam下界的紧性,并给出其紧性条件。在各种设置下,它示出的最大化问题,寻找最好的两点下界,对偶化后,成为一个最小化问题,优化的偏差方差权衡之间的一个家庭的估计。为了估计线性泛函的分布,我们的工作加强了以前的结果Donoho-Liu \cite{DL91}(二次损失),通过放弃的连续模的Hölderian假设。对于指数族,我们的结果扩展了Juditsky-Nemirovski \cite{JN09}的二次损失在较弱的假设下的指数族的极小极大风险的特征。我们还提供了一个扩展的高维设置估计可分离的泛函。值得注意的是,再加上复分析的工具,这种方法对于表征“肘效应”--从参数到非参数速率的相变--特别有效。作为主要应用,我们在离散元问题中得到了尖锐的极小极大率(给定来自包含$d$球的瓮的有色球的分数$p$,估计不同颜色的数量的最佳误差是$\tilde Θ(d^{-\frac{1}{2}\min\{\frac{p}{1-p},1\}})$)和Fisher物种问题(给定来自未知分布的$n$ iid观测,在下一个(未观测到的)$r \cdot n$观测中未看见的符号的数目的最佳预测误差是$\tilde Θ(n^{-\min\{\frac{1}{r+1},\frac{1}{…
2021-01-04 cs.IT math.IT math.ST
Testing composite hypotheses, Hermite polynomials and optimal estimation of a nonsmooth functional
在估计任意泛函时,给出了极大极小风险的一般下界.的界限是基于测试两个复合假设,并证明是有效的,估计非光滑功能${\frac{1}{n}}\sum|θ_i|$从观察$Y\sim N(θ,I_n)$。这个问题表现出一些功能,是显着不同的,发生在估计传统的光滑泛函。这是一个标准技术无法产生清晰结果的环境。利用一般的下界技术,通过检验两个复合假设,建立了一个尖锐的minimax下界。关键的一步是构造两个特殊的先验和界定两个正常混合之间的卡方距离。利用逼近论和Hermite多项式构造了一个估计量,并证明了当均值由给定值$M$约束时,该估计量是渐近尖锐的极小极大。证明了极小极大风险渐近等于$β_*^2M^2({\frac{\log\log n}{\log n}})^2$,其中$β_*$是Bernstein常数.本文的一般技术和结果也可用于解决其他相关问题。
2011-05-16 math.ST stat.TH
Estimating the Reach of a Manifold
流形估计中的各种问题都使用了一个称为到达的量,用$τ\_M$表示,它是流形正则性的度量。本文是首次探讨如何估计可达性的问题。首先,我们通过近似的角度来研究到达的几何形状。我们得到了关于无边界子流形可达性的新的几何结果。在已知切空间的框架下,提出了$τ\_{M}$的估计量$\hatτ$,并给出了估计其有效性的界.在i.i.d.的情况下。随机点云$\mathbb{X}\_{n}$,$\hatτ(\mathbb{X}\_{n})$显示,实现均匀的预期损失界超过$\mathcal{C}^3$ -类模型。最后,我们得到的上界和下界的极小极大率估计的范围。
2019-04-08 math.DG math.ST stat.TH
Lower Bounds for Locally Private Estimation via Communication Complexity
我们开发的下界估计下的本地隐私约束-包括差分隐私和放松近似或雷尼差分隐私-通过显示私人估计和通信限制估计问题之间的等价性。我们的研究结果适用于任意交互的隐私机制,他们也给尖锐的下界的所有级别的差分隐私保护,即隐私级别$\varepsilon \in [0, \infty)$的隐私机制。作为一个特殊的后果,我们的研究结果,我们表明,估计的平均值的有界或高斯随机向量在$d$尺寸尺度为$\frac{d}{n} \cdot \frac{d}{ \min\{\varepsilon, \varepsilon^2\}}$的最小极大均方误差。
2019-05-05 math.ST stat.TH
Estimating covariance and precision matrices along subspaces
研究了利用有限样本协方差估计$D$ -变量亚高斯分布沿指定子空间或方向的协方差和精度矩阵的精度。我们的研究结果表明,估计精度几乎完全取决于所需的子空间或方向对应的分布的组件。这对于数据在低维空间中的行为是特别感兴趣的问题是相关的和重要的,例如降维或结构化回归问题。我们还证明了精度矩阵的估计几乎与协方差阵的条件数无关。所提出的应用包括方向敏感的特征空间扰动界,最小特征值的相对界,和单指标模型的估计。对于后者,一个新的估计,来自分析,提出了强有力的理论保证和优越的数值性能。
2020-12-06 math.ST stat.ML stat.TH
Minimax Rates for Estimating Powered Sliced Wasserstein Functionals
Université Gustave Eiffel(格勒诺布尔艾菲尔大学)
该研究在投影r阶矩假设下,针对幂切片沃尔什斯坦因泛函的两样本估计问题,建立了非临界区域的极小极大速率,分析了端点与临界阶的特殊情况,明确了插入估计量的最优性及待解决的临界情形精确速率问题。
2026-10-12 cs.LG math.ST stat.ML
Estimating the Number of Components in Finite Mixture Models via Variational Approximation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Maryland, College Park(马里兰大学帕克分校)
本文提出一种基于变分贝叶斯的方法,通过ELBO的渐近性质选择有限混合模型的组件数量,证明了最大化ELBO的模型选择一致性,并展示了变分近似在模型误设下的稳定性及参数估计的收敛性。
2026-04-22 math.ST stat.ME stat.ML
Better and Simpler Lower Bounds for Differentially Private Statistical Estimation
Massachusetts Institute of Technology(麻省理工学院)
本文针对近似差分隐私下的高维参数估计任务,利用指纹方法和贝叶斯方法,证明了高斯协方差估计和重尾分布均值估计的最优样本下界,改进并简化了先前工作。
2024-01-04 cs.CR cs.DS cs.IT
Sample Complexities of Estimating Gumbel--Max Watermark Proportions with and without Reduction to Pivotal Statistics
研究在Gumbel-max水印机制下,估计文档中水印文本比例的问题,比较了完整观测和降为枢轴统计量两种情形,提出了相应估计器并建立了匹配的样本复杂度下界。
2026-07-03 cs.IT cs.LG math.IT
Communication Complexity of Estimating Correlations
Tel Aviv University(特拉维夫大学);Massachusetts Institute of Technology(麻省理工学院)
我们描述了以下分布式估计问题的通信复杂性。Alice和Bob观察到$ρ$相关单位方差(高斯或$\pm1$二进制)随机变量的无限多个iid副本,其中$ρ\in[-1,1]$未知。通过交互式地交换$k$位,Bob希望产生$ρ$的估计值$\hatρ$。我们表明,最好的可能的性能(优化的交互协议$Π$和估计$\hat ρ$)满足$\inf_{Π\hatρ}\sup_ρ\mathbb{E} [|ρ-\hatρ|^2] = \tfrac{1}{k} (\frac{1}{2 \ln 2} + o(1))$。奇怪的是,在我们的可交换性方案中,$k$中的样本数量是指数的;相比之下,交换$k$样本的朴素方案实现了相同的$Ω(1/k)$速率,但使用了次优的前因子。我们的协议实现最佳性能是单向的(非交互式)。我们还证明了$Ω(1/k)$界,即使$ρ$被限制到任何小的开放子区间的$[-1,1]$(即一个本地极小极大下界)。我们的证明技术依赖于对称的强数据处理不等式和各种张量化技术,从信息理论的交互式共同随机性提取。我们的结果也意味着一个$Ω(n)$下界的信息复杂性的间隙汉明问题,我们显示了一个直接的信息理论证明。
2019-04-18 cs.IT cs.LG math.IT
Estimating Undirected Graphs Under Weak Assumptions
Carnegie Mellon University(卡内基梅隆大学);The University of Chicago(芝加哥大学)
我们考虑在弱假设下为无向图提供非参数置信保证的问题。特别是,我们不假设稀疏性,不相干性或正态性。我们允许尺寸$D$随样本量$n$增加。首先,我们证明了下界表明,如果我们想要准确的推断与低假设,那么有限制的尺寸作为一个函数的样本量。当维度随着样本量的增加而缓慢增加时,我们表明基于正态近似和自举的方法导致有效的推断,并且我们提供了关于正态近似的准确性的Berry-Esseen界。当维数相对于样本量较大时,不可能在低假设下对图形进行准确推断。相反,我们建议估计的东西要求低于整个偏相关图。特别地,我们考虑:聚类图,限制偏相关图和相关图。
2013-09-26 cs.LG math.ST stat.ML
Estimating the reach of a manifold via its convexity defect function
子流形的可达性是从点云进行流形学习和几何推断的关键正则性参数。本文将子流形的可达性与它的凸亏函数联系起来。利用凸性亏损函数的稳定性,以及一些新的界限和最近的子流形估计Aamari和Levrard [安。47 177-204(2019)],给出了可达性的估计。在C^k模型上得到了一致的期望损失界,并给出了估计到达率的极大极小率的下界.在C^3和C^4的情况下,估计量几乎达到了这些比率,差距由对数因子给出。
2021-03-26 cs.CG math.DG math.ST
Beyond the Best: Estimating Distribution Functionals in Infinite-Armed Bandits
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
在无限臂强盗问题中,每个臂的平均奖励从未知分布中采样,并且每个臂可以进一步采样以获得该臂的平均奖励的噪声估计。估计平均奖励分布的最大值。我们认为一般类的分布泛函超出了最大值,并提出了统一的Meta算法离线和在线设置,实现最佳的样本复杂性。我们表明,在线估计,学习者可以顺序选择是否采样一个新的或现有的手臂,提供了没有优势的离线设置估计的平均功能,但显着降低了其他功能,如中位数,最大值和修剪的平均样本的复杂性。匹配下界利用几个不同的Wasserstein距离。对于中值估计的特殊情况下,我们确定了一个奇怪的阈值的现象,高斯卷积之间的不变性相对于噪声水平,这可能是独立的利益。
2022-11-01 cs.IT cs.LG math.IT