Wavelet block thresholding for samples with random design: a minimax approach under the $L^p$ risk
本文考虑了具有(已知)随机设计的回归模型.我们研究了Besov球上$p\ge 2$的自适应小波块阈值估计器在$\mathbb{L}^p$风险下的极小极大性能。我们证明,它是接近最优的,它实现了更好的收敛速度比传统的长期长期估计(硬,软,.)。
2007-08-30 math.ST stat.TH
On the Equivalence of f-Divergence Balls and Density Bands in Robust Detection
本文讨论了两个复合假设的极小极大最优统计检验问题,其中每个假设由一个非参数不确定性的可行分布集定义。证明了对于每一对f-发散球型的不确定性集,都可以构造一对密度带型的不确定性集,这一对密度带型的不确定性集是等价的,因为它允许同一对最不利分布.这一结果意味着稳健性测试下的$f$发散球的不确定性,这通常是唯一的最小最大的单样本情况下,也是固定的样本量最小最大最优相对于等效密度带的不确定性集。
2018-04-16 math.ST stat.TH
Statistical minimax theorems via nonstandard analysis
对于具有有限参数空间的统计判定问题,上界值(minimax值)与下界值(maximin值)一致是众所周知的。只有在先验的广义概念下,这种等价性才能推广到无限参数空间的情况,前提是自然界可以采用先验分布,统计学家可以采用随机策略。这个经典结果的各种扩展已经建立,但它们受到技术条件,如紧的参数空间或连续的风险函数。利用非标准分析,证明了任意统计判定问题的一个极小极大定理。非正式地,我们表明,对于每一个统计判定问题,标准的上限值等于下限值时,$\sup$被接管的所有内部先验的集合,这可能会分配无穷小的概率(内部)事件。应用我们的非标准极大极小定理,我们得到了几个标准的极小极大定理:具有连续风险函数的紧参数空间上的极小极大定理,具有有界风险函数的可加极小极大定理和具有Lipschitz风险函数的完全有界度量参数空间上的极小极大定理.
2022-12-26 math.ST stat.TH
On adaptive minimax density estimation on $R^d$
我们解决的问题,自适应极小极大密度估计的$\bR^d$与$\bL_p$ -各向异性的Nikol'skii类的损失。在函数类和风险的定义中,我们充分刻画了极大极小风险在正则性参数和范数指标之间的不同关系下的行为。特别是,我们表明,有四个不同的制度方面的行为的极大极小风险。我们开发了一个单一的估计,这是(近)最佳的orderover的各向异性Nikol'skii类的完整规模。我们的估计过程是基于数据驱动的选择一个估计从一个固定的家庭的核估计。
2013-06-18 math.ST stat.TH
Minimax risks for sparse regressions: Ultra-high-dimensional phenomenons
考虑标准高斯线性回归模型$Y=Xθ+ε$,其中$Y\in R^n$是响应向量,$ X\in R^{n*p}$是设计矩阵。当$p$比$n$大得多时,大量的工作致力于建立有效的$θ$估计。在这种情况下,经典的方法相当于假设$θ_0$是近似稀疏的。本文研究了$k$ -稀疏向量类$θ$的极小极大风险估计和检验问题.这些界限揭示了由于高维的限制。结果包括预测问题($Xθ$的估计)、逆问题($θ_0$的估计)和线性检验($Xθ=0$的检验)。有趣的是,当变量$k\log(p/k)$的数量与$n$相比变大时,会发生肘效应。事实上,极大极小风险和假设间隔距离在这个超高维度的环境中爆炸了。我们还证明,即使是降维技术不能提供令人满意的结果在超高的维度设置。此外,当噪声方差未知时,我们计算了极大极小风险。该方差的知识被证明在估计和测试的最佳速率中起着重要的作用。所有这些极大极小的界限提供了一个统计问题,是如此困难,以至于没有程序可以提供令人满意的结果的表征。
2012-01-24 math.ST stat.TH
A note on the minimax risk of sparse linear regression
Columbia University(哥伦比亚大学);Michigan State University(密歇根州立大学)
本文推导了稀疏线性回归在各项同性高斯随机设计下极小风险的渐近精确表达式,即$2\sigma^2 k/n \log(p/k)$,并总结了现有结果和未解决问题。
2026-06-18 math.ST stat.TH
A minimax framework for quantifying risk-fairness trade-off in regression
我们提出了一个理论框架的学习问题的实值函数,满足公平性的要求。这个框架是建立在$α$的概念-相对(公平性)的回归函数,我们介绍了使用理论的最优输运的改进。设置$α= 0$对应于人口统计奇偶性约束下的回归问题,而设置$α= 1$对应于没有任何约束的经典回归问题。对于$α\in (0, 1)$,建议的框架允许在这两种极端情况之间不断插值,并研究部分公平的预测。在这个框架内,我们精确地量化了引入公平约束所引起的风险成本。我们提出了一个统计极小极大设置,并推导出一个一般的问题依赖的下界的风险,任何估计满足$α$ -相对改善约束。我们说明了我们的框架上的一个模型的线性回归与高斯设计和系统的组依赖性偏差,推导出匹配(绝对常数)上限和下界的最小极大风险下引入的约束。我们提供了一个通用的后处理策略,享有公平性,风险保证,并可以应用于任何黑盒算法。最后,我们对线性模型进行了模拟研究,并对基准数据进行了数值实验,验证了我们的理论贡献。
2022-01-10 math.ST stat.TH
General empirical Bayes wavelet methods and exactly adaptive minimax estimation
在许多统计问题中,随机信号可以表示为一个序列的噪声小波系数。本文发展了用于真信号估计的一般经验贝叶斯方法。我们的估计近似某些甲骨文可分离的规则,并实现适应理想的风险和确切的极大极小风险的广泛收集类的信号。特别地,我们的估计在Besov球上同时对可分离估计的最小风险和精确Minimax风险是一致自适应的,并且在Besov空间中具有有限次形状参数的紧集上,我们的估计在收敛速度上是一致超有效的.此外,在类之间嵌套的Besov球相同的平滑指数,我们的估计占主导地位的阈值和詹姆斯-斯坦估计在极小极大风险的无穷小部分。更一般的块经验贝叶斯估计。考虑了漂移白噪声和非参数回归。
2005-04-25 math.ST stat.TH
Empirical entropy, minimax regret and minimax risk
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学);CREST-ENSAE(法国国家统计与经济管理学院(CREST-ENSAE))
考虑了平方损失的随机设计回归模型。我们提出了一种方法,聚集经验极小(ERM)在适当选择的随机子集,并减少到ERM在极端情况下,我们建立尖锐的预言不等式的风险。我们表明,在经验$\varepsilon$ -熵的$\varepsilon^{-p}$增长下,所提出的方法的超额风险对于$p\in(0,2)$达到率$n^{-2/(2+p)}$,对于$p>2$达到率$n^{-1/p}$,其中$n$是样本量。此外,对于$p\in(0,2)$,超额风险率匹配函数估计的极小极大风险在良好指定的模型下的回归问题中的行为。由此得出结论,在$p\in(0,2)$方案中,在明确指定的模型(极大极小风险)和错误指定的模型(极大极小后悔)中的统计估计率是相等的。换句话说,对于$p\in(0,2)$,统计学习问题与统计估计问题享有相同的极大极小化率。相反,对于$p>2$,我们表明,在一般情况下,最小最大后悔率比最小最大风险慢。我们的预言不等式还意味着$v\log(n/v)/n$率Vapnik-Chervonenkis型类的尺寸$v$没有通常的凸性假设的类,我们表明,这些利率是最优的。最后,对于一个稍微修改的方法,我们推导出一个界限上的超额风险的$s$ -稀疏凸聚集改进,Lounici [数学。16(2007)246-259]并提供最佳速率。
2017-07-03 cs.LG math.ST stat.TH
Minimax Optimal Estimators for Additive Scalar Functionals of Discrete Distributions
本文考虑$ϕ$的一个可加泛函的估计,定义为$θ(P;ϕ)=\sum_{i=1}^kϕ(p_i)$,由$n$ i.i.d.从离散分布$P=(p_1,...,p_k)$中抽取的随机样本,字母大小为$k$。对于可加泛函的估计问题,我们提出了一个极大极小最优估计。我们发现,极小极大最优率的特点是四阶导数的$ϕ$的发散速度,如果发散速度高。结果表明,如果$ϕ$的四阶导数的发散速度大于$p^{-4}$,则不存在相容估计。此外,如果$ϕ$的四阶导数的发散速度是$p^{4-α}$ for $α\in (0,1)$,则在通用乘法常数$\frac{k^2}{(n\ln n)^{2α}} + \frac{k^{2-2α}}{n}$内获得极小极大最优速率。
2017-12-07 cs.IT math.IT math.ST
Minimax quantum tomography: the ultimate bounds on accuracy
极小极大估计量在最坏情况下具有最小可能误差(“风险”)。我们构造了具有相对熵风险的量子态层析成像的第一个极小极大估计。非自适应断层扫描的极大极小风险标度为$O(1/\sqrt{N})$,而经典概率估计的极大极小风险标度为$O(1/N)$。我们将这一缺陷追溯到采样不匹配:确定风险的未来观测可能来自于与确定估计的过去数据不同的样本空间。这使得极大极小估计非常有偏见,我们提出了一个计算上易于处理的替代方案,在最坏的情况下具有类似的行为,但在大多数状态下具有更高的精度。
2015-03-10 math.ST quant-ph stat.TH
Minimax Analysis for Inverse Risk in Nonparametric Planer Invertible Regression
本文研究二维平面上可逆双Lipschitz函数逆估计的最小极大风险,提出水平集表示法并构造渐近可逆估计器,证明其速率与非可逆情形一致,表明可逆约束不增加估计复杂度。
2023-12-25 math.ST stat.ML stat.TH
Minimax rates for statistical inverse problems under general source conditions
当光滑性由一般源集给出时,我们描述了希尔伯特空间中线性不适定方程组的极小极大重构率。基本结果,椭球上的极大极小率,类似于D。L.多诺霍河~ C. Liu和B. MacGiant,{ \it Minimax risk over hyperrectanges,and implications},Ann.~中央集权主义者1990年18日这些作者强调了截断序列估计量的特殊作用,对于这种估计量,可以明确地给出风险。我们提供了几个例子,表明结果统计估计不适定的问题在希尔伯特空间。
2017-11-15 math.ST stat.TH
Local asymptotic minimax risk bounds in a locally asymptotically mixture of normal experiments under asymmetric loss
在非对称损失函数下,研究了局部渐近混合正态分布族的局部渐近Minimax风险界,得到了达到该界的最优估计的渐近分布.
2006-11-07 math.ST q-fin.RM stat.TH
Optimal Estimation and Prediction for Dense Signals in High-Dimensional Linear Models
密集信号的估计和预测问题常常被归结为高度对称参数空间上的极大极小问题。本文研究了具有高斯预测的高维线性模型在l2-球上的极大极小问题。我们得到尖锐的渐近极小极大风险,适用于任何渐近设置的预测变量的数量发散,并证明岭回归是渐近极小极大。自适应渐近极小极大岭估计也确定。正交不变性是大量利用整个文件,除了作为一个技术工具,提供了额外的洞察这里考虑的问题。我们的大部分结果来自一个明显新颖的分析,一个等效的非高斯序列模型与正交不变误差。与许多密集估计和预测问题一样,这里研究的极大极小风险率为d/n,其中d是预测因子的数量,n是观测值的数量;然而,当d与n大致成比例时,极大极小风险受预测因子的谱分布的影响,并且与高斯序列模型的线性极大极小风险显著不同(Pinsker,1980),经常出现在其他密集估计和预测问题。
2012-03-20 math.ST stat.TH
Minimax Linear Regression under the Quantile Risk
本文研究分位数风险下的线性回归 minimax 估计,给出高斯可实现情形的精确风险与 OLS 最优性,并证明 min-max regression 变体在更广分布类上近似 minimax。
2024-06-17 math.ST stat.ML stat.TH
Improved minimax estimation of a multivariate normal mean under heteroscedasticity
考虑用已知的方差矩阵估计多元正态均值的问题,该方差矩阵不一定与单位矩阵成比例。在Efron和Morris的(J. Amer. Statist. Assoc.68(1973)117-130)经验贝叶斯方法,而成反比,他们的方差在伯杰的(Ann. Statist。4(1976)223-226)极大极小估计。本文提出了一种新的Minimax估计,通过在一类Minimax估计中近似最小化具有正态先验的贝叶斯风险,其中收缩方向是开放的,收缩量是确定的,以实现Minimax.建议的估计有一个有趣的简单的形式,使一组坐标收缩的方向伯杰的估计和其余的坐标收缩的方向的贝叶斯规则。此外,所提出的估计是规模自适应的:它可以实现接近最小的贝叶斯风险同时在一个规模类的正常先验(包括指定的先验),并实现接近极小极大线性风险在相应的规模类的超矩形。在我们的数值研究的各种情况下,建议的估计与极端先验产生更大的风险降低比现有的极大极小估计。
2015-05-28 math.ST stat.TH
Existence and Minimax Theorems for Adversarial Surrogate Risks in Binary Classification
Courant Institute New York University(纽约大学Courant学院);Courant Institute and Center for Data Science New York University(纽约大学Courant学院和数据科学中心)
本文针对二分类中的对抗替代风险,证明了其存在性、正则性与极小极大定理,解释了经验观察并提出了算法开发新方向,同时将已知的对抗分类风险定理推广至替代风险。
2023-12-10 cs.LG math.ST stat.TH
Metric Entropy and Minimax Risk of Ellipsoids with an Application to Pinsker's Theorem
本文通过类型τ积分刻画椭球度量熵与最小最大风险,改进Sobolev椭球熵刻画,并将Pinsker定理推广至任意有限维有界开域且给出二阶渐近项。
2025-10-25 math.FA math.ST stat.TH
Gaussian One-Armed Bandit and Optimization of Batch Data Processing
考虑Gaussian单臂强盗问题的Minimax设置,即收入服从Gaussian分布且第一臂的分布已知的双臂强盗问题,当考虑批量数据处理的优化时,这种设置自然出现,并且有两种可供选择的处理方法,第一种方法的效率先验已知.应该估计第二种方法的效率,并提供两者中最有效的方法的主要用途。根据博弈论的主要定理,寻找最小极大策略和最小极大风险作为最坏先验分布下的贝叶斯策略。结果得到了当批数趋于无穷大时的极限情形下的递归积分-差分方程和二阶偏微分方程。这使得用数值方法确定极小极大风险和极小极大策略成为可能。如果批次的数量是足够大的,我们表明,批量数据处理几乎不影响控制性能,即极小极大风险的值。此外,在伯努利收益和大量批次的情况下,批次数据处理提供了几乎相同的最佳逐个数据处理的极大极小风险。
2019-01-25 math.ST stat.TH
Exact minimax estimation of the predictive density in sparse Gaussian models
考虑了$\ell_0$稀疏高斯序列模型中Kullback-Leibler损失下的预测密度估计问题。一阶极大极小风险及其精确常数,渐近最不利的先验和最优预测密度估计的显式表达式。与正态均值点估计的稀疏恢复结果相比,发现了新的判决理论现象。插件密度估计类的次优性能反映了问题的预测性质,并且最优策略需要分散未来风险。我们发现,极小极大最优策略位于高斯家族之外,但可以构建阈值预测密度估计。新的极小极大技术,涉及同时校准的稀疏性调整和风险分散化机制被用来设计最佳的预测密度估计。
2015-06-03 math.ST stat.TH
Minimax Risk in Estimating Kink Threshold and Testing Continuity
在不知道门限回归模型是否连续的情况下,给出了估计门限参数的风险下界。当样本大小$ n $仅以立方根速率增长时,界限变为零。出于这一发现,我们开发了一个连续性测试的阈值回归模型和自举计算其\textit{p}值。通过蒙特卡罗模拟验证了该方法的有效性,并探讨了其有限样本性质.
2022-03-01 econ.EM math.ST stat.TH
Minimax bounds for sparse PCA with noisy high-dimensional data
研究了基于独立高斯观测的高维总体协方差阵的首特征向量的估计问题。我们建立了一个下界估计的极小极大风险下的$l_2$损失,在联合限制的维数和样本量增加到无穷大,在各种模型的稀疏人口特征向量。风险的下界表明存在不同的特征向量稀疏性状态。我们还提出了一种新的方法估计的特征向量的两阶段坐标选择计划。
2012-03-05 math.ST stat.TH
Adaptive estimation over anisotropic functional classes via oracle approach
研究了高斯白噪声模型中各向异性Nikolskii类在$L_p$ --损失下的自适应极小极大估计问题,即$1\leq p\leq\infty,$.我们提出了一个新的数据驱动的选择方案的基础上的估计过程,从家庭的核估计具有不同的带宽。对于建议的估计,我们建立了所谓的Lp-范数预言不等式,并使用它来推导极大极小自适应结果。我们证明了率自适应估计的存在性和充分刻画行为的极大极小风险的正则性参数和规范指标之间的不同关系的定义的功能类和风险。特别地,我们发现了极大极小风险的一些新的渐近性质,包括存在一致相合估计的充要条件。我们还提供了详细的概述现有的方法和结果,并制定开放的问题,自适应极大极小估计。
2014-05-18 math.ST stat.TH
Minimax estimation of norms of a probability density: I. Lower bounds
本文讨论了独立观测值的概率密度$d\geq 1$的$L_p$-范数$p\in (1,\infty)$的非参数估计问题。假设待估计的未知密度%属于各向异性Nikolskii空间中的球。我们采用极大极小方法,并推导出极大极小风险的下界。特别是,我们证明了估计程序的准确性基本上取决于$p$是否是整数或没有。此外,我们开发了一个通用的技术推导的下界的极小极大风险估计的非线性泛函的问题。所提出的方法适用于广泛的一类非线性泛函,并用于推导~ $L_p$ -范数估计的下界。
2020-08-25 math.ST stat.TH
On continuous distribution functions, minimax and best invariant estimators, and integrated balanced loss functions
我们考虑的问题估计一个连续分布函数$F$,以及有意义的功能$τ(F)$下的一大类损失函数。我们得到了最好的不变估计,并建立了他们的极小极大的Hölder连续$τ$的和严格的碗形损失与有界的衍生物。我们还介绍和激励使用综合平衡的损失函数,它结合了一个决策$d$和$F$之间的综合距离的标准,与接近的$d$与目标估计$d_0$。此外,我们展示了如何在这样一个综合平衡损失下的程序的风险分析涉及到一个“不平衡”损失下的双重风险分析,我们得到最好的不变估计,极大极小估计,风险比较,优势和不容许的结果。最后,我们扩大了各种插图和应用程序相对于最大提名采样,中位数提名采样,并与胆红素水平的婴儿患有黄疸的血液中的案例研究。
2013-08-08 math.ST stat.TH
Exact minimax risk for linear least squares, and the lower tail of sample covariance matrices
我们考虑随机设计线性预测及随机矩阵下尾的相关问题。已知在有界性约束下,极小极大风险在$n$样本的维度$d$上是$d/n$阶的。在这里,我们研究了全线性类上的极大极小期望超额风险,这取决于协变量的分布。首先,对于协变量的每个分布,最小二乘估计量在良好指定的情况下都是极小极大最优的。我们用单个样本的统计杠杆得分的分布来表示极大极小风险,并推导出对于任何协变量分布的$d/(n-d+1)$的极大下界,几乎与高斯设计的风险相匹配。然后,我们得到尖锐的非渐近上界协变量,满足“小球”型正则性条件,在指定和错误的情况下。我们的主要技术贡献是研究经验协方差阵在小值时的最小奇异值的下尾。我们建立了一个下界在这个较低的尾部,有效的任何分布在尺寸$d \geq 2$,连同一个匹配的上界在一个必要的正则性条件。我们的证明依赖于PAC贝叶斯技术控制经验过程,并扩展了奥利维拉致力于下尾的不同部分的分析。
2022-02-24 math.PR math.ST stat.ML
Optimal Grouping for Group Minimax Hypothesis Testing
贝叶斯假设检验和极大极小假设检验代表了检测的极端情况,其中假设的先验概率要么完全精确已知,要么完全未知。组极大极小,也被称为伽玛极大极小,是贝叶斯和极大极小假设检验之间的一个强大的中介,它允许通过使用先验集合的信息来粗略或部分预先了解假设先验。现有的工作组极大极小,但是,不考虑如何定义的集合或组的先验的问题;它是假设,组给定的。在这项工作中,我们提出了一种新的中间检测方案,制定通过量化的先验概率,最佳地确定组和组内的代表先验的空间。我们表明,从量化的角度来看,组极大极小值相当于确定质心与极大极小贝叶斯风险误差发散失真标准:适当的布雷格曼分歧这项任务。此外,先验概率空间的最优划分是Bregman沃罗诺伊图。总之,最佳的分组和代表点是一个ε-网相对于贝叶斯风险误差发散,并允许率失真型渐近分析的检测性能与组的数量。检测被加性高斯白噪声破坏的信号和区分指数分布信号的例子。
2013-07-24 cs.IT math.IT math.ST
Privacy and Statistical Risk: Formalisms and Minimax Bounds
我们探讨和比较各种定义的隐私和披露限制的统计估计和数据分析,包括(近似)差分隐私,测试为基础的定义的隐私,和事后保证披露风险。我们给出等价的定义之间的结果,揭示不同的形式主义之间的关系的隐私。我们还采取了推理的角度来看,在那里-建立这些定义-我们提供了几个估计问题,包括均值估计,估计的支持分布,和非参数密度估计的极大极小风险界限。这些界限突出了不同的隐私定义的统计后果,并提供了第二个镜头,用于评估披露限制的不同技术的优点和缺点。
2014-12-15 cs.IT math.IT math.ST
On Semi-supervised Estimation of Discrete Distributions under f-divergences
该研究针对双变量联合概率质量函数的半监督估计问题,验证了单变量极小极大估计器组合在1≤p≤2的l^p_p损失及KL、χ²等多种f散度下的极小极大最优性,填补了相关研究空白。
2024-05-15 cs.IT math.IT math.ST
Sharp minimax risks and phase transitions in sparse submatrix detection
Tata Institute of Fundamental Research(塔塔基础研究所);Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院)
研究在含噪矩阵中检测稀疏高均值高斯子矩阵的极小极大风险,确定了风险趋于0或1的精确渐近速率及相变边界。
2026-10-27 math.PR math.ST stat.TH
Equivariant minimax dominators of the MLE in the array normal model
多路数据阵列中的相关性可以使用阵列正态模型进行推断,阵列正态模型对应于具有可分离协方差阵的多元正态分布类。最大似然法和贝叶斯方法在阵列正态模型中的推断已经出现在文献中,但还没有任何结果,这些估计的最优性。在这篇文章中,我们得到的结果是类似于一些经典的结果,关于多元正态模型的协方差估计的阵列正态模型。我们证明了在下三角乘积群下,通过广义贝叶斯过程可以得到一致最小风险同变估计(UMREE)。虽然这个UMREE是极大极小的,并主导了极大似然估计,但它可以通过正交等变修改来改进。这些估计的风险的数值比较表明,同变估计可以有显着低于最大似然估计的风险。
2014-08-02 math.ST stat.TH
Distributional regression and its evaluation with the CRPS: Bounds and convergence of the minimax risk
在过去的几十年中,评分规则的性质的理论进展,扩大了评分规则在概率预测中的使用。在气象预报中,统计后处理技术对于改进确定性物理模式的预报至关重要。许多最先进的统计后处理技术都是基于用连续排序概率得分(CRPS)评估的分布回归。然而,使用CRPS进行此类评价的理论性质仅考虑了无条件框架(即无协变量)和无限样本量。我们推广了这些结果,并研究了分布回归方法的CRPS的收敛速率。我们找到了最佳的极小极大收敛速率为一类给定的分布,并表明,k-近邻方法和核方法达到这个最佳的极小极大率。
2022-12-12 math.ST stat.ML stat.TH
Sharp Minimax Theory for Randomized Experiments
该研究针对有限总体随机实验,将样本平均处理效应估计的极小极大风险归约为含2个未知参数的估计问题的风险,建立二阶风险展开式,证明标准程序仅一阶最优,给出达到极小极大风险的方法并讨论实际意义。
2026-08-17 econ.EM math.ST stat.ME
Sparse Minimax Optimality of Bayes Predictive Density Estimates from Clustered Discrete Priors
研究了高维高斯模型中位置参数具有精确稀疏约束的Kullback-Leibler损失下的预测密度估计问题。研究了基于乘积离散先验的Bayes预测密度估计的一阶渐近极小极大风险,其中非零坐标的比例随着维数的增加而收敛到零。离散先验的产品,聚集的单变量先验提供了一个易于处理的配置,分散未来的风险,并用于构建有效的预测密度估计。我们建立了贝叶斯预测密度估计从一个适当设计的聚类离散先验是渐近极小极大最优的。我们提出的先验的边缘有无限个大小相同的簇。簇内支持点是等概率的,并且簇随着它们远离原点而以几何衰减概率周期性地间隔开。簇的周期性取决于簇概率的衰减速率。在不同的稀疏性制度下,通过数值实验,我们比较了来自聚类先验的贝叶斯预测密度估计与各种竞争估计的最大风险,包括基于Johnstone(1994)和Mukherjee & Johnstone(2017)的几何衰减非聚类先验的估计,并获得了令人鼓舞的结果。
2019-05-23 math.ST stat.TH
High-Confidence Minimax Testing with Prescribed Errors
KAIST(韩国科学技术院)
针对检验中水平和目标第二类错误可能很小且不同阶的情况,提出基于二元约化的下界技术,保留两种错误的不同角色,导出两个方向KL信息需求,结合为二元Jeffreys散度,得到对水平和目标第二类错误的对数依赖,并在多个检验问题中建立最优极小极大速率。
2026-07-14 math.ST stat.TH
Nonparametric Regression on Fixed-Cardinality Subsets:Minimax Risk and Random-Design Effects
Sorbonne Université(索邦大学);Institut universitaire de France(法国高等研究院)
本文研究固定基数子集作为协变量的非参数回归,利用Johnson图调和分解定义Johnson-Sobolev尺度,推导调和投影风险界并建立极小极大最优性,同时分析随机设计下的秩亏效应,提出中心化补全估计器以实现常数最优。
2026-09-15 math.ST stat.TH
Variable selection, monotone likelihood ratio and group sparsity
在关键变量选择问题中,我们得到了所有$s$ -稀疏向量类上的精确非渐近极小极大选择器,它也是关于一致先验的贝叶斯选择器。虽然这个最佳选择器是,在一般情况下,在多项式时间内,不能实现,我们表明,它的听话的对手(扫描选择器)达到极大极小预期汉明风险的因素2内,也是确切的极大极小错误恢复的概率。因此,我们建立明确的下界下的单调似然比的属性,我们得到一个严格的最佳可分离的选择风险的极小极大风险的特征。我们应用这些一般性的结果推导出充要条件的精确和几乎完全恢复的位置模型与光尾分布和高斯噪声下的组变量选择的问题。
2021-12-30 math.ST stat.TH
Asymptotically minimax Bayes predictive densities
给定一个随机样本的分布密度函数取决于一个未知的参数$θ$,我们感兴趣的是准确地估计真正的参数密度函数在未来的观察,从同一分布。贝叶斯预测密度估计与Kullback-Leibler损失函数$D(f_θ||{\hat{f}})=\int{f_θ \log{(f_θ/ hat{f})}}$的渐近风险是用来检查各种方式选择先验分布的主要类型的选择研究是极大极小。我们寻求渐近最不利的预测密度,相应的渐近风险是极大极小。一个类似于斯坦因悖论的结果,估计正常的平均值的最大似然持有的多元位置家庭的情况下,一致的前:当模型的维数至少是3,Jeffreys先验是极大极小,但不可接受的。Jeffreys先验对一维和二维定位问题都是可容许的和极大极小的。
2007-08-01 math.ST stat.TH
Adaptive sequential estimation for ergodic diffusion processes in quadratic metric. Part 2: Asymptotic efficiency
证明了第一部分中构造的方法的渐近有效性,即Pinsker常数在极小极大二次风险的渐近下界内。结果表明,所构造的过程的渐近极小极大二次风险与这个常数相吻合。
2008-04-10 math.ST stat.TH
The minimax risk of truncated series estimators for symmetric convex polytopes
研究对称凸多胞体截断序列估计的极小极大风险的最优性。我们表明,最佳的截断序列估计是在$O(\log m)$的最佳因素,如果多面体是由$m$超平面定义。这代表了第一个这样的边界一般凸体。为了证明我们的结果,我们首先定义了一个几何量,称为\emph{approximation radius},下界的极小极大风险。然后,我们通过建立近似半径和Kolmogorov宽度之间的联系来推导出我们的边界,Kolmogorov宽度是为截断序列估计提供上界的量。此外,我们的证明包含几个成分,这可能是独立的利益:1。近似半径的概念取决于物体的体积。这是一个直观的概念,是灵活的,以产生强极大极小下界; 2。近似半径和Kolmogorov宽度之间的联系是Kolmogorov宽度上的一种新的对偶关系的结果,该关系是利用凸几何的一些深入结果开发的。
2012-01-12 cs.IT math.IT math.PR
Sharp Lower Bound on the Minimax Risk for Multinomial Uniformity Testing via a Conditional Central Limit Theorem
School of Computer Science, Reichman University(雷希曼大学计算机学院)
研究多项均匀性检验的极小极大拟合优度检验,针对\(\ell_p\)偏差,在\(N = o(n^2)\)且信噪比\(u_n\to u^*\in(0,\infty)\)的中间区域,利用条件中心极限定理证明极小极大风险的匹配下界。
2026-07-07 cs.IT math.IT math.ST
On Bayes Risk Lower Bounds
本文给出了统计估计的贝叶斯风险下界的一般方法,适用于任意损失函数和任意先验分布。贝叶斯风险的下界不仅作为极大极小风险的下界,而且还表征了给定先验知识的任何估计量的基本极限。我们的界限是基于$f$的概念-信息,这是一个功能的基础类的概率测度和先验。应用我们的边界需要上界的$f$ -信息,因此,我们得到新的上界的$f$ -信息,这往往会导致紧贝叶斯风险下界。我们的技术导致了各种经典的极大极小界的推广(例如,Fano不等式)。我们的贝叶斯风险下界可以直接应用到几个具体的估计问题,包括高斯位置模型,广义线性模型,和主成分分析的尖峰协方差模型。为了进一步证明我们的贝叶斯风险下界在机器学习问题中的应用,我们提出了两个新的理论结果:(1)在光滑分析框架下精确刻画了球面高斯混合模型学习的极大极小风险,和(2)贝叶斯风险的下界下的自然先验的预测和估计误差的高-维稀疏线性回归在不适当的学习设置。
2016-12-23 math.ST stat.TH
On estimation of analytic density in L_p
研究了解析密度函数的L_p极小极大风险估计问题。提出了一种未知密度函数的核型估计,并建立了其极限局部极小极大风险的上界。我们的结果与Guerre和Tsybakov(1998)的一个猜想是一致的,并扩充了这方面的工作.
2011-10-10 math.ST stat.TH
Minimax fast rates for discriminant analysis with errors in variables
研究了测量误差对判别分析的影响。给定观测值$Z=X+ε$,其中$ε$表示随机噪声,目标是在两个可能的候选$f$和$g$中预测$X$的密度。我们假设我们有两个学习样本。我们的目标是接近最好的决策规则$G^\star$定义为贝叶斯风险的最小化。在无噪声情况下$(ε=0)$,极小极大快速收敛率在判别分析(参见\cite{mammen})或更一般的分类框架(参见\cite{tsybakov2004,AT})中的边际假设下是众所周知的。在本文中,我们打算建立类似的结果在嘈杂的情况下,即处理变量的错误时。我们证明了这个问题的极大极小下界,并解释如何才能达到这些利率,特别是使用经验风险最小化(ERM)方法的基础上反卷积核估计。
2015-05-12 math.ST stat.TH
A Design-Based Minimax Theory for Network Experiments
Columbia University(哥伦比亚大学);Uppsala University(乌普萨拉大学)
本文针对网络实验的干扰场景,提出基于设计的极小极大风险理论,推导了极小极大率的上下界,并将其应用于直接处理效应和全局平均处理效应的分析。
2026-08-06 math.ST stat.ME stat.TH
Estimation in the convolution structure density model. Part II: adaptation over the scale of anisotropic classes
本文继续了\cite{LW16}中开始的研究。在$\bR^d$上的卷积结构密度模型的框架下,我们讨论了基于$\bL_p$的自适应极小极大估计问题--各向异性Nikol'skii类尺度上的损失.我们充分刻画了极大极小风险的行为,在函数类和风险的定义中,正则性参数和范数指标之间存在不同的关系。特别是,我们证明了估计的函数的有界性导致极大极小风险的渐近性的本质改进。我们证明了在第一部分中提出的选择规则导致建设的最佳或接近最佳(对数因子)的自适应估计。
2017-04-14 math.ST stat.TH
Minimax Optimal Additive Functional Estimation with Discrete Distribution
本文讨论了在给定$n$独立同分布的情况下,估计一个可加泛函的问题.从具有字母大小$k$的离散分布$P=(p_1,...,p_k)$中抽取的样本。对于函数$ϕ$,加性泛函被定义为$θ(P;ϕ)=\sum_{i=1}^kϕ(p_i)$,它覆盖了大多数类熵准则。对于某些特定的$ϕ$,如$ϕ(p)=p^α$和$ϕ(p)=-p\ln p$,该问题的极小极大最优风险已经是已知的。然而,没有通用的方法来获得最小最大最优风险的可加性函数估计问题。本文揭示了$ϕ$的性质,它表征了可加函数估计问题的极小极大最优风险,这种分析适用于一般的$ϕ$ .更准确地说,我们揭示了这个问题的最小最大最优风险的特点是由发散速度的功能$ϕ$。
2018-11-28 cs.IT math.IT math.ST
Estimation of discrete distributions with high probability under $χ^2$-divergence
研究χ²散度下离散分布的高概率估计问题,给出Laplace估计器的精确界及任意估计器的极小极大高概率风险刻画,揭示渐近与非渐近保证的内在分离,完善相关理论。
2025-10-29 math.ST stat.ML stat.TH
Minimax Rates for Estimating Powered Sliced Wasserstein Functionals
Université Gustave Eiffel(格勒诺布尔艾菲尔大学)
该研究在投影r阶矩假设下,针对幂切片沃尔什斯坦因泛函的两样本估计问题,建立了非临界区域的极小极大速率,分析了端点与临界阶的特殊情况,明确了插入估计量的最优性及待解决的临界情形精确速率问题。
2026-10-12 cs.LG math.ST stat.ML
Minimax estimation of linear functionals over nonconvex parameter spaces
将估计线性泛函的极小极大理论推广到凸参数空间的有限并的情形。极大极小风险的上界和下界仍然可以用连续模来描述。然而,与凸参数空间的理论相反,速率优化过程通常需要是非线性的。这种非线性过程的建设。本文的结果对适应理论有重要的应用。
2004-06-22 math.ST stat.TH
Ridge regression and asymptotic minimax estimation over spheres of growing dimension
本文研究了增长维球面上$d$维回归参数估计的渐近极小极大问题($d\to \infty$).假设数据遵循一个线性模型与高斯预测和错误,我们证明了岭回归是渐近minimax,并推导出新的封闭形式下的渐近风险平方误差损失的表达式。岭回归的渐近风险与Marčenko-Pastur分布的斯蒂尔切斯变换和来自线性模型的预测因子的谱分布密切相关。自适应岭估计也提出了(适应未知半径的球体)和连接等变估计突出。我们的结果大多是相关的渐近设置的观察,$n$,是成比例的预测,即$d/n\toρ\in(0,\infty)$的数量。
2016-01-15 math.ST stat.TH
Asymptotically Minimax Robust Likelihood Ratio Test
University Medical Center of the Johannes Gutenberg University Mainz(约翰内斯·古腾堡大学美因茨大学医学中心);Center for Thrombosis and Hemostasis, University Medical Center Johannes Gutenberg University Mainz(约翰内斯·古腾堡大学美因茨大学医学中心血栓与止血中心);German Center for Cardiovascular Research (DZHK), Partner Site Rhine Main, University Medical Center of the Johannes Gutenberg University Mainz(德国心血管研究联盟(DZHK)莱茵美因合作点,约翰内斯·古腾堡大学美因茨大学医学中心)
本文提出了一种统一框架,用于在分布不确定性下进行渐近最小最大稳健假设检验,通过非线性方程组计算,并验证了理论结果。
2026-02-09 cs.IT math.IT math.ST
Asymptotic expansion of the risk of maximum likelihood estimator with respect to $α$-divergence as a measure of the difficulty of specifying a parametric model -- with detailed proof
对于一个给定的参数概率模型,我们考虑了极大似然估计关于$α$ -发散的风险,其中包括Kullback-Leibler发散,Hellinger距离和$χ^2$发散的特殊情况.渐近展开的风险是相对于样本量的顺序$n^{-2}$。展开式中的每一项都用参数概率模型所形成的黎曼流形的几何性质来表示。我们试图通过这种扩展来衡量指定模型的难度。
2018-10-11 math.ST stat.TH