Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说，在实践中最快的程序之一是迭代硬控制（IHT）。然而，IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计，支持恢复和优化之间的相互作用，我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是，它是完全自适应的，使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比，例如，经典算法的套索。此外，我们建立了尖锐的最优结果的估计和支持恢复。因此，我们提出了一种新的迭代硬阈值算法的高维线性回归，是规模的最小最大最优（实现的预言，知道稀疏模式的估计误差，如果可能的话），快速和自适应。
2020-08-27 math.ST stat.TH
Asymptotic bayes optimality under sparsity for equicorrelated multivariate normal test statistics
在这里，我们解决之间的依赖性的检验统计量与渐近贝叶斯的最佳测试稀疏的替代品的存在。扩展Bogdan et.al.（2011）中的设置，我们考虑检验统计量的联合分布上的等相关（具有等相关$ρ$）多元正态假设，同时以均值向量$\boldsymbolμ$为条件。其余的设置与Bogdan et.al.（2011）相同，在渐近框架中略有修改。利用等相关边际方差多元正态变量的一个著名结果，将检验统计量分解为独立的随机变量。然后，我们确定了一组独立但不可观测的高斯随机变量足以满足多重检验问题，并根据Bogdan et.al.（2011）的虚拟变量，列出了单个截断检验是ABOS的充分必要条件。此外，我们用统计数据与算术平均值的偏差替换了虚拟变量，由于前面使用的分解，这些统计数据很容易从观察值中计算出来。然后推导出附加的假设，使得使用独立虚拟变量的单一截断检验为ABOS的充分必要条件也与替换变量起相同的作用（具有$o(1)$阶偏差）。然后在同样的附加假设下，导出了单截断检验控制贝叶斯FDR的充要条件，并由此在各种稀疏性假设下证明了经典的多重检验的Bonferroni和Benjamini-Hochberg方法在满足相同条件时是ABOS的.
2022-08-26 math.ST stat.ME stat.TH
Asymptotic Optimality in Bayesian Change-Point Detection Problems Under Global False Alarm Probability Constraint
20世纪60年代，Shiryaev发展了独立同分布（i.i.d.）中的贝叶斯变化检测理论。序列的在Shiryaev的经典设置的目标是最小化的平均检测延迟的约束下施加的平均虚警概率。最近，Tartakovsky和Veeravalli（2005）开发了一个通用的贝叶斯渐近变点检测理论（在经典环境中），不限于限制性的i.i.d.。假设证明了在传统的平均虚警概率约束下，Shiryaev的检测过程是渐近最优的，假设该概率很小。在本文中，我们考虑了一个不太传统的方法，约束施加在全球，上确界虚警概率。一个渐近最优贝叶斯变化检测程序，提出并彻底评估两个i.i.d.和非I.I.D.当全局虚警概率接近于零时进行建模。
2006-09-16 math.PR math.ST stat.TH
Adaptive estimation of the sparsity in the Gaussian vector model
考虑均值为θ的高斯向量模型。我们研究了估计数量的孪生问题|θ|_0的非零分量，并检验|θ|_0小于某个值。为了检验，我们建立了该模型的极大极小分离距离，并引入了极大极小自适应检验。未知方差的情况下的扩展进行了讨论。重写对|θ|_0作为所有假设的多重检验问题{|θ|_0 <= q}，我们都得到了一个新的方法来评估稀疏估计的最优性，我们展示了这样一个最优的过程。这种通用方法为估计各种统计模型中信号的复杂性提供了路线图。
2017-03-01 math.ST stat.TH
Asymptotic Bayes Optimality for Sparse Count Data
本文提出了一类全局-局部先验，用于稀疏计数数据的渐进贝叶斯最优性分析。
2025-11-26 math.ST stat.TH
Asymptotic optimality of the Westfall--Young permutation procedure for multiple testing under dependence
检验统计量在大规模的多重检验应用中往往具有很强的相关性。大多数多重性校正对于相关检验统计量过于保守，导致检测真阳性的把握度降低。我们表明，Westfall-Young置换方法具有渐近最优的功率为广泛的一类测试问题的块依赖性和稀疏结构之间的测试，当测试的数量趋于无穷大。
2012-03-19 math.ST stat.TH
A proof of consistency and model-selection optimality on the empirical Bayes method
研究了大自由度模型超参数推断中极大边际似然估计的相合性和最优性。我们在指数族中进行主要分析，其中自然参数是超参数。首先，我们证明了一般线性模型的MMLE在估计似然和先验方差尺度时的相合性。证明是独立的数据模型参数的数量比，并排除了相关的正则化最小二乘模型参数估计，渐近无偏的不适定性。其次，我们将证明推广到具有有限数量超参数的其他模型。我们发现，指数族中费用函数的广泛性质通常产生似然超参数的MMLE的一致性。此外，我们还证明了在适用于非指数模型族的预测分布的假设渐近正态性下，即使真实数据分布在模型空间之外，MMLE也几乎必然渐近地最小化先验和真实预测分布之间的Kullback-Leibler散度.我们的证明验证了经验贝叶斯方法使用超参数MMLE在许多模型参数的渐近性，确保了相同的资格，为交叉熵交叉验证。
2022-05-26 math.ST physics.geo-ph stat.TH
On spike and slab empirical Bayes multiple testing
本文探讨了经验贝叶斯后验分布和错误发现率（FDR）控制之间的联系。在高斯序列模型中，这项工作表明，经验贝叶斯校准的尖峰和板后验分布允许一个正确的FDR控制下稀疏。这样做，它提供了一个频率论的理论验证的经验贝叶斯方法的背景下，多重测试。我们的理论结果与数值实验说明。
2019-06-15 math.ST stat.TH
Minimax Semiparametric Learning With Approximate Sparsity
该研究针对高维下精确稀疏假设适用范围有限的问题，形式化近似稀疏性概念，推导其下回归斜率与平均导数的极小极大速率，提出达最优速率的估计器，还发现有序与无序非参数回归的最优性边界存在差异。
2025-07-31 econ.EM math.ST stat.ML
Frequentist optimality of Bayesian wavelet shrinkage rules for Gaussian and non-Gaussian noise
本文研究了独立同分布非参数回归模型中各种贝叶斯小波收缩规则的理论性能。误差不一定是正态分布的。主要目的是比较各种贝叶斯模型在Sobolev和Besov空间中的频率论渐近最优性。我们建立了超参数之间的关系，验证了迄今为止研究的大多数贝叶斯模型都达到了理论最优，说明了哪些贝叶斯模型不能达到最优收敛速度，并解释了为什么会发生这种情况。
2006-07-01 math.ST stat.TH
Aggregation by exponential weighting, sharp PAC-Bayesian bounds and sparsity
研究了确定性设计回归模型中平方损失下的聚集问题。我们得到尖锐的PAC贝叶斯风险界定义通过指数权重的聚集，在一般假设下的分布误差和聚集的功能。然后，我们应用这些结果来推导稀疏预言不等式。
2013-03-22 math.ST stat.TH
Sharp minimax optimality of LASSO and SLOPE under double sparsity assumption
本文在双重稀疏结构下不依赖 RIP，提出基于稀疏组归一化与新型 RE 条件的严格框架，证明 LASSO 和 SLOPE 的尖锐极小极大最优性、随机矩阵高概率成立性及随机设计最优样本复杂度。
2023-08-18 math.ST stat.TH
Nonparametric Empirical Bayes Estimation and Testing for Sparse and Heteroscedastic Signals
University of Pennsylvania（宾夕法尼亚大学）；Temple University（天普大学）；University of Michigan（密歇根大学）
现代大规模数据往往涉及高维未知参数的估计和检验。希望以准确性和错误发现控制来识别稀疏信号，“大海捞针”。然而，现代数据结构中前所未有的复杂性和异构性需要新的机器学习工具来有效地利用共性，并针对稀疏性和异构性进行鲁棒调整。此外，高维参数的估计往往缺乏不确定性量化。在本文中，我们提出了一种新的尖峰和非参数混合先验（SNP）-尖峰，以促进稀疏性和非参数结构捕获信号。与现有的方法相比，本文提出的方法同时解决了估计和检验问题，具有以下优点：1）稀疏性估计准确; 2）具有收缩/软阈值特性的点估计; 3）不确定性量化的可信区间; 4）控制错误发现率的最优多重检验过程。我们的方法在模拟数据和基因表达案例研究上都表现出很好的经验性能。
2021-11-05 cs.LG stat.ME
Asymptotic Minimaxity, Optimal Posterior Concentration and Asymptotic Bayes Optimality of Horseshoe-type Priors Under Sparsity
在这篇文章中，我们研究了一个非常广泛的一类一类连续收缩先验的同时估计和测试的稀疏正常均值向量向量的某些渐近最优性。本文研究了一般一类单组先验数据的贝叶斯估计的渐近最优性和后验集中性，其中数据假定为多元正态分布，具有一个固定的未知均值向量.在非零均值的数目已知的假设下，我们证明了贝叶斯估计所产生的这一一般类收缩先验研究中，达到极大极小风险，一些乘法常数，下$l_2$规范。特别地，对于马蹄型先验，如带参数$a=0.5, b>0$的三参数β正态混合和带形状参数$α=1$的广义双Pareto先验，相应的贝叶斯估计成为渐近极小极大.此外，后验分布所产生的这一一般类的一组先验的合同周围的真正的平均向量在极小极大$l_2$率为一个广泛的值域的值的全球收缩参数的基础均值向量的非零组件的比例。作为证明上述极大极小性结果所必需的一个关键结果的结果而出现的一个重要且显著的事实是，在Bogdan等人（2011）的渐近框架内，由于Carvalho等人（2010）基于马蹄型先验的自然阈值规则渐近地达到最优贝叶斯风险w.r.t.一个$0-1$损失，直到正确的乘法常数，并因此，渐近贝叶斯稀疏（ABOS）下的最优。
2015-11-10 math.ST stat.TH
On Statistical Optimality of Variational Bayes
本文解决了一个长期存在的开放问题的理由使用变分贝叶斯方法的参数估计。我们提供了一般的条件，获得最佳的风险界的点估计获得平均场变分贝叶斯推断。这些条件涉及参数空间上距离度量的某些检验函数的存在性和先验的最小假设。概述了一个通用的配方验证的条件，这是广泛适用于现有的贝叶斯模型有或没有潜变量。作为示例，讨论了潜在狄利克雷分配和高斯混合模型的具体应用。
2017-12-25 math.ST stat.ML stat.TH
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
On optimality of Bayesian testimation in the normal means problem
我们考虑一个问题，恢复一个高维向量$μ$观察白噪声，其中未知向量$μ$被假定为稀疏。本文的目的是发展贝叶斯形式主义，从而产生一个家庭的$l_0$型的处罚。罚分与$μ$的非零条目数上的先验分布$π_n(\cdot)$的各种选择相关联，因此易于解释。由此产生的贝叶斯估计导致一个一般的阈值规则，它容纳了许多已知的阈值和模型选择程序作为特定的情况下，对应于特定的选择$π_n(\cdot)$。此外，他们实现了最优性，在一个相当一般的设置在非常温和的条件下的先验。我们还指定类的先验$π_n(\cdot)$，由此产生的估计是自适应最佳的（在极大极小意义上）的稀疏序列的范围很广，并考虑这样的先验的几个例子。
2007-12-06 math.ST stat.TH
Admissibility is Bayes optimality with infinitesimals
我们给出了一个确切的特征，在统计判定问题中的贝叶斯最优性在一个所谓的非标准扩展的原始判定问题，介绍了由Jesus和罗伊的可接受性。与考虑不适当的先验或贝叶斯最优性的其他广义概念不同，非标准扩展的部分区别在于具有可以分配“无穷小”质量的先验，在某种意义上，可以使用非标准分析的结果进行严格。有了这些额外的先验，我们发现，非正式地说，一个决策过程$δ_0$是可接受的在原来的统计判定问题，当且仅当，在非标准扩展的问题，非标准扩展的$δ_0$是贝叶斯最优的标准决策过程的扩展之间的非标准前，分配至少无穷小质量的每个标准参数值。我们使用上述定理给予进一步的特征的容许性，一个有关的布莱斯的方法，一个条件，由于斯坦的特征下的一些规律性假设的容许性，最后，一个特征使用的附加先验判定问题满足一定的规律性要求。我们的结果意味着Blyth的方法是一个健全的和完整的方法来建立容许性。在此结果的鼓舞下，我们重新审视了单变量两样本共同均值问题，并证明了Graybill-Deal估计在某类无偏决策过程中是可容许的。
2021-12-28 math.ST stat.TH
Asymptotic optimality of myopic information-based strategies for Bayesian adaptive estimation
本文给出了序列贝叶斯估计的一般渐近理论，给出了序列贝叶斯估计的最强、几乎必然收敛的结果。我们证明了在概率模型的一定光滑条件下，自适应贝叶斯估计的贪婪信息增益最大化算法是渐近最优的，即在真参数值的某个邻域内后验协方差的行列式是渐近最小的.使用这个结果，我们还获得了一个渐近表达式的后验熵的基础上的一个新的定义几乎必然收敛的“大多数试验”（这意味着收敛举行的一小部分的试验，收敛到一个）。然后，我们将结果扩展到最近发布的框架，该框架通过允许不同的试验放置与不同的随机观察成本相关联来概括通常的自适应估计设置。对于这种设置，作者提出了启发式的最大化预期信息增益除以预期成本的位置。在本文中，我们表明，这种短视的战略满足类似的渐近最优性结果时，收敛的后验分布被认为是一个函数的总成本（而不是观察的数量）。
2016-01-08 math.ST stat.TH
Adaptive Bayesian Estimation of Mixed Discrete-Continuous Distributions under Smoothness and Sparsity
我们考虑非参数估计的混合离散-连续分布各向异性光滑条件下的离散部分的分布和可能增加的支持点的数量。对于这些设置，我们推导出在全变差距离的估计率的下界。接下来，我们考虑一个非参数混合正态模型，该模型使用连续潜变量作为观测的离散部分。我们发现，在这个模型中的后验合同率等于派生的下界的对数因子。因此，贝叶斯混合正态模型可以用于混合离散-连续分布的最优自适应估计。
2018-06-19 econ.EM math.ST stat.TH
Bayesian Linear Regression for Multivariate Responses Under Group Sparsity
我们研究了具有相关响应的贝叶斯高维多元线性回归模型的频率论性质。预测因子被分成许多组，并且组结构是预先确定的。该模型的两个特点是独特的：（i）组稀疏性施加在预测。(ii)协方差阵是未知的，并且其维数也可以很高。我们选择一个产品的独立尖峰和板条先验的回归系数和一个新的先验的协方差阵的基础上，其特征分解。每个钉板先验是零处的点质量和涉及$\ell_{2,1}$ -范数的多元密度的混合。我们首先得到后验收缩率，即具有高后验概率的模型的有效维数的界。然后，我们表明，多元回归系数可以在一定的兼容性条件下恢复。最后，我们量化的不确定性的回归系数与频率论的有效性，通过Bernstein-von Mises型定理。结果导致贝叶斯方法的选择一致性。我们推导出后验收缩率使用的一般理论，通过构建一个合适的测试，从第一原则使用矩界的某些似然比。这导致了关于1/2阶平均雷尼发散的真理的后验集中。这种获得后收缩率所需测试的技术在许多其他问题中可能是有用的。
2019-06-11 math.ST stat.TH
Uncertainty quantification for the horseshoe
研究了稀疏多元正态均值模型中马蹄先验的可信集和边际可信区间。我们这样做，在自适应设置，而不假设知识的稀疏水平（信号的数量）。我们考虑的分层贝叶斯方法，把一个先验的未知的稀疏水平和经验贝叶斯方法的最大边际似然估计的稀疏水平。我们表明，可信球和边际可信区间有良好的频率覆盖和最佳的大小，如果稀疏水平的先验知识是正确的。根据一般理论，诚实置信集的大小不能适应未知的稀疏水平。因此，基于马蹄先验的层次和经验贝叶斯可信集在整个参数空间上是不诚实的。我们表明，这是由于过度收缩某些参数和可靠的球和边际可信区间确实给正确的不确定性量化的参数集。特别是，我们证明了边缘贝叶斯过程的错误发现的分数是由一个正确的选择截止控制。
2017-02-13 math.ST stat.TH
Posterior Contraction rate and Asymptotic Bayes Optimality for one-group shrinkage priors in sparse normal means problem
针对高维稀疏正态均值模型，本文研究单组全局-局部收缩先验的后验分布渐近性质，证明经验贝叶斯与分层贝叶斯方法下后验以接近极小化极大速率收缩，并推导全局参数先验条件以实现渐近贝叶斯最优性。
2024-07-09 math.ST stat.TH
Adaptive variational Bayes: Optimality, computation and applications
针对缺乏通用可计算自适应变分贝叶斯方法的问题，提出可组合多模型变分后验的框架，证明其最优收缩率，给出海量模型下的可行方案，还揭示了变分贝叶斯的隐式正则化效应。
2024-03-11 math.ST stat.ML stat.TH
Adaptive posterior contraction rates for the horseshoe
本文研究了稀疏多元正态均值模型中基于马蹄先验的贝叶斯估计过程的频率论性质。以前的理论结果假设稀疏水平，即信号的数量，是已知的。我们放弃这一假设，并描述了马蹄铁先验的一个关键参数的最大边际似然估计（MMLE）的行为。我们证明了MMLE是一个有效的估计的稀疏水平，在这个意义上说，它导致（近）极小极大最优估计的基本均值向量生成的数据。除了这个经验贝叶斯过程中，我们考虑分层贝叶斯方法，把先验的未知稀疏水平以及。我们表明，这两种贝叶斯技术导致率自适应最优后验收缩，这意味着马蹄后验是一个很好的候选人生成率自适应可信集。
2017-02-13 math.ST stat.TH
Classification with Minimax Fast Rates for Classes of Bayes Rules with Sparse Representation
我们构建了一个分类器，达到收敛速率$\log n/n$稀疏和利润的假设下。本文用一种近似于函数估计的逼近论中的方法得到了这一结果。我们的想法是开发贝叶斯规则的基本系统的$L^2([0,1]^d)$的指标并元集，并假设系数，等于$-1,0 {or} 1$，属于一种$L^1-$球。这个假设可以被看作是一个稀疏性假设，在这个意义上，系数不等于零的比例随着“频率”的增长而减少。最后，收敛速度得到通过使用一个通常的权衡之间的偏差项和方差项。
2006-07-18 math.ST stat.TH
Optimality of the Half-Order Exponent in the Turing-Good Identities for Bayes Factors
Graduate School of Education The University of Tokyo（东京大学大学院教育学研究科）
本文提出半序指数在Turing-Good恒等式中计算贝叶斯因子的最优性，通过非渐近方差理论证明其在模型方向上的稳定性与高效性。
2026-02-23 math.ST stat.ME stat.TH
Optimality of Graphlet Screening in High Dimensional Variable Selection
考虑一个线性回归模型，其中设计矩阵X具有n行和p列。我们假设（a）p比n大得多，（b）系数向量beta在只有一小部分坐标为非零的意义上是稀疏的，以及（c）格拉姆矩阵G = X ′ X在每行具有相对较少的大坐标（G的对角线被归一化为1）的意义上是稀疏的。G的稀疏性自然地导致了所谓的强依赖图（GOSD）的稀疏性。我们发现一个有趣的信号稀疏性和图形稀疏性之间的相互作用，这确保了在一个广泛的背景下，一组真正的信号分解成许多不同的小尺寸组件的GOSD，不同的组件是断开的。我们提出了Graphlet筛选（GS）作为一种新的变量选择方法，这是一个两阶段的筛选和清洁方法。GS的关键方法创新是使用GOSD来指导筛选和清洗。与计算成本为p^m的m变量蛮力筛选相比，GS在筛选中仅具有p的计算成本（高达一些多log（p）因子）。我们通过极大极小汉明距离来衡量任何变量选择过程的性能。我们表明，在一个非常广泛的类的情况下，GS实现了最佳的收敛速率的汉明距离。有些令人惊讶的是，众所周知的程序子集选择和套索是速率非最佳的，即使在非常简单的设置，甚至当他们的调谐参数是理想的设置。
2014-06-13 math.ST stat.ME stat.ML
On Bayesian Estimation of Densities and Sampling Distributions: the Posterior Predictive Distribution as the Bayes Estimator
本文给出了两个突出的贝叶斯估计问题的最优性结果：平方全变差函数的抽样分布估计和$L^1$ -平方损失函数的密度估计.后验预测分布为这些问题提供了解决方案。文中给出了一些例子，并讨论了分布函数的贝叶斯估计问题。证明了密度估计的相合性。
2021-08-21 math.ST stat.TH
Sub-optimality of some continuous shrinkage priors
双组分混合先验提供了一种传统的方法来诱导高维贝叶斯模型的稀疏性。然而，这样的先验的几个方面，包括在高维度的计算复杂性，在标准损失函数下的精确零和非稀疏后验摘要的解释，已经激发了惊人的各种连续收缩先验，可以表示为高斯的全局-局部尺度混合。有趣的是，我们证明了许多常用的收缩先验，包括贝叶斯套索，在高维环境中没有足够的后验浓度。
2016-05-18 math.ST stat.CO stat.TH
Minimax Predictive Density for Sparse Count Data
本文讨论了稀疏约束下高维Poisson序列模型在Kullback-Leibler损失下的预测密度。计数数据的稀疏性意味着零通货膨胀。给出了一类稀疏泊松序列模型中渐近极小极大的贝叶斯预测密度。我们还表明，我们的类与未知的稀疏水平估计插件是自适应的渐近极大极小意义。对于应用，我们将我们的结果扩展到具有准稀疏性和缺失完全随机观测的设置。模拟研究以及实际数据的应用说明了所提出的贝叶斯预测密度的效率。
2020-09-05 math.ST stat.ME stat.TH
Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits
Abstract Math Institute（抽象数学研究所）
研究高维高斯线性老虎机，推导汤普森采样与贪心选择的精确贝叶斯遗憾，证明贪心策略渐近最优而汤普森采样遗憾更大。
2026-09-25 cs.LG math.ST stat.ML
Conciliation of Bayes and Pointwise Quantum State Estimation: Asymptotic information bounds in quantum statistics
该研究推导了量子系统参数估计中贝叶斯风险的渐近下界，其为Holevo量子Cramér-Rao界的积分形式，可调和贝叶斯与逐点量子态估计框架，且在多场景下紧，还得到了新的对偶Holevo界。
2023-05-01 math.ST quant-ph stat.TH
