Statistics of extremes by oracle estimation
我们使用拟合的帕累托定律来构造伴随的过剩分布函数的近似。提出了一种基于分段失拟检验方法的超额分布函数位置的选择准则。我们的主要结果是一个预言型不等式的Kullback-Leibler损失。
2008-08-07 math.ST stat.TH
Adaptive estimation over anisotropic functional classes via oracle approach
研究了高斯白噪声模型中各向异性Nikolskii类在$L_p$ --损失下的自适应极小极大估计问题，即$1\leq p\leq\infty,$.我们提出了一个新的数据驱动的选择方案的基础上的估计过程，从家庭的核估计具有不同的带宽。对于建议的估计，我们建立了所谓的Lp-范数预言不等式，并使用它来推导极大极小自适应结果。我们证明了率自适应估计的存在性和充分刻画行为的极大极小风险的正则性参数和规范指标之间的不同关系的定义的功能类和风险。特别地，我们发现了极大极小风险的一些新的渐近性质，包括存在一致相合估计的充要条件。我们还提供了详细的概述现有的方法和结果，并制定开放的问题，自适应极大极小估计。
2014-05-18 math.ST stat.TH
Adaptive estimation of and oracle inequalities for probability densities and characteristic functions
近年来，高斯移位有限区间试验的自适应估计理论和预言不等式理论取得了重大进展。特别是，尖锐的极大极小自适应估计和精确的指数型预言不等式已被建议为一个庞大的功能，包括分析和Sobolev与任何积极的指标，以及Efromovich-Pinsker和斯坦blockwise收缩估计。对于密度估计的一个更有趣的应用问题和/或特征函数估计的对偶问题，是否可能得到类似的结果？答案是“是的。特别是，所得到的结果包括精确的指数型预言不等式，允许考虑，在文献中第一次，同时尖锐的极小估计Sobolev密度与任何积极的指数（不一定大于1/2），无限可微密度（包括分析，整个和稳定），以及不是绝对可积的特征函数。同样的自适应估计也是速率minimax在一个熟悉的类分布与有界谱的密度和特征函数可以估计的参数率。
2008-06-18 math.ST stat.TH
Bandwidth selection in kernel density estimation: Oracle inequalities and adaptive minimax optimality
通过核估计量的选择，解决了具有$\mathbb{L}_s$ -损失的密度估计问题.我们开发了一个选择过程，并推导出相应的$\mathbb{L}_s$ -风险预言不等式。结果表明，建议的选择规则导致的估计是极小极大自适应的各向异性的Nikol'skii类的规模。在我们的推导中使用的主要技术工具是最近由Goldenshluger和Lepski开发的经验过程的$\mathbb{L}_s$ -范数的统一界限[Ann. Probab.（2011年）。
2012-11-22 math.ST stat.TH
Estimation in the convolution structure density model. Part I: oracle inequalities
在$\bR^d$上的卷积结构密度模型的框架下，研究了$\bL_p$ -损失下的非参数估计问题，即$p\in [1,\infty)$.该观测方案是直接观测和间接观测下的密度估计两种经典统计模型的推广。在第一部分中，原始逐点选择规则从家庭的“核型”估计提出。对于所选的估计量，我们证明了一个$\bL_p$ -范数预言不等式及其几个结果。在第二部分中，自适应极小极大估计下的问题$\bL_p$ -损失的各向异性Nikol'skii类的规模解决。我们充分刻画了极大极小风险的行为，在函数类和风险的定义中，正则性参数和范数指标之间存在不同的关系。我们证明了在第一部分中提出的选择规则导致建设的最佳或接近最佳（对数因子）的自适应估计。
2017-04-14 math.ST stat.TH
Oracle inequalities for network models and sparse graphon estimation
非齐次随机图模型包括随机块模型、潜在位置模型等多种网络模型。我们考虑的问题的统计估计的连接概率矩阵的观测值的基础上的邻接矩阵的网络。以随机块模型为近似，我们构造了网络连接概率的估计--普通块常数最小二乘估计及其限制形式。我们证明了它们满足关于块常数oracle的oracle不等式。因此，我们得到的概率矩阵的估计的最佳速率。我们的结果涵盖了稀疏网络的重要设置。另一个后果是建立上界的极小极大风险的graphon估计的$L\_2$规范时，概率矩阵的采样根据graphon模型。这些界限包括一个额外的术语占的“不可知”的错误引起的潜在的不可观测变量的graphon模型的变化。在这种情况下，最优速率不仅像通常的非参数问题那样受到偏差和方差分量的影响，而且还包括第三个分量，即不可知误差。结果揭示了经验损失下的估计（概率矩阵估计）和综合损失下的估计（graphon估计）之间的差异。
2017-09-13 math.ST stat.TH
Sharp oracle inequalities for stationary points of nonconvex penalized M-estimators
许多统计估计过程导致非凸最优化问题。解决这些问题的算法通常保证输出最优化问题的稳定点。Oracle不等式是评价估计量统计性能的重要理论工具。Oracle的结果集中在不可计算的（全局）最小值或最大值的理论属性上。在目前的工作中，一个一般的框架用于凸优化问题导出Oracle不等式的驻点扩展。这些预言不等式的一个主要的新成分是，它们是尖锐的：它们显示接近模型内的最佳逼近加上一个余项。我们将此框架应用于不同的估计问题。
2018-02-27 math.ST stat.TH
Sharp non asymptotic oracle inequalities for non parametric computerized tomography model
本文研究随机层析回归模型的非参数估计问题，即考虑通过Radon变换得到的多变量函数（图像）的估计问题，其中Radon变换的计算包含随机误差。针对这一问题，我们提出了一种新的自适应模型选择方法。通过使用Galtchouk和Pergamenshchikov方法，我们构造了模型选择过程，对于通常的和鲁棒的二次风险，我们证明了一个尖锐的非渐近预言不等式，即我们证明了所提出的过程在预言不等式意义下是最优的。
2018-11-21 math.ST stat.TH
Consistent estimation of the basic neighborhood of Markov random fields
对于有限状态空间的$\mathbb{Z}^d$上的马尔可夫随机场，我们讨论了基本邻域的统计估计，即在所有其它点的值都已给定的条件下，确定某一点的条件分布的最小区域.一个修改的贝叶斯信息准则，取代似然伪似然，证明提供强一致的估计，从观察实现的字段上增加有限区域：估计的基本邻域等于真正的最终几乎肯定，不假设任何先验界的大小，后者。马尔可夫场的平稳性是不需要的，相变不会影响结果。
2006-05-15 math.ST stat.TH
Unbiased risk estimation method for covariance estimation
考虑随机过程协方差的模型选择估计。使用无偏风险估计（URE）方法，我们建立了一个估计的风险，允许选择一个估计的模型集合。然后，我们提出了一个预言不等式，确保所选择的估计的风险接近的预言的风险。仿真结果表明了该方法的有效性。
2011-12-20 math.ST stat.TH
Sharp oracle inequalities and slope heuristic for specification probabilities estimation in discrete random fields
研究了非必要有限离散随机场中部分可观测独立样本的单点规格概率估计问题。我们的程序是基于模型选择的惩罚经验标准的最小化。所选择的估计满足$L_2$ -风险中的尖锐预言不等式。我们还得到了理论结果的斜率启发式为这个问题，证明斜率算法校准的领先常数的惩罚。我们的方法的实际性能进行了研究，在两个模拟研究。我们说明了我们的方法的有用性，通过应用该方法从大鼠海马的多单元神经元数据。
2016-01-15 math.ST stat.TH
Data-driven neighborhood selection of a Gaussian field
研究了格点上观测到的平稳高斯场X的非参数协方差估计。为了解决这个问题，最近引入了一个社区选择程序。该过程相当于通过惩罚方法选择邻域m，并估计具有邻域m的高斯马尔可夫随机场（GMRF）空间中X的协方差。这样的策略，以满足甲骨文不等式以及极大极小自适应性能。然而，它有几个缺点，这使得该方法难以在实践中应用。一方面，惩罚取决于一些未知量。另一方面，该过程仅针对环形晶格定义。目前的贡献是三方面的。提出了一种数据驱动的罚函数整定算法。此外，该程序被扩展到非环形晶格。最后通过数值算例验证了该方法的有效性。这些模拟表明，高斯马尔可夫随机场选择往往是一个很好的替代变差函数估计。
2009-09-02 math.ST stat.TH
Oracle inequalities for the stochastic differential equations
本文综述了带跳半鞅噪声的连续时间回归模型的自适应鲁棒非参数方法的最新结果。噪声分别用Lévy过程、Ornstein-Uhlenbeck过程和半Markov过程建模。给出了一般的模型选择方法和尖锐的预言不等式方法，它们在自适应环境下提供了稳健有效的估计。此外，我们还介绍了非参数估计问题的改进模型选择方法的最新结果。
2017-12-15 math.ST stat.TH
Adaptive estimation in the single-index model via oracle approach
在非参数多元函数估计的框架中，我们感兴趣的是结构自适应。我们假设要估计的函数具有“单指标”结构，其中既不知道链接函数也不知道指标向量。我们提出了一种新的程序，同时适应未知的索引和光滑的链接函数。对于所提出的程序，我们证明了一个“本地”的预言不等式（描述的逐点式），然后使用它来获得上界的最大风险的自适应估计假设下，链接函数属于Hölder类的规模。极大极小风险的下界表明，在给定点估计的情况下，构造的估计量在所考虑的类范围内是最优速率自适应的。对于同样的过程，我们还建立了一个“全球”的甲骨文不等式（下的$ L_r $规范，$r< \infty $），并检查其性能的Nikol'skii类。研究表明，该方法可以应用于非齐次光滑函数的估计，即其光滑度可能随点而变化。
2013-04-29 math.ST stat.TH
Sharp non-asymptotic oracle inequalities for nonparametric heteroscedastic regression models
当噪声方差依赖于未知回归时，构造了异方差回归的自适应非参数估计方法。得到了二次风险的一个非渐近上界（Oracle不等式
2010-02-08 math.ST stat.TH
Neighborhood radius estimation in Variable-neighborhood Random Fields
我们考虑由有限区域条件概率定义的随机场，该概率取决于随边界条件变化的区域的邻域。为了预测任何有限区域内的符号，有必要检查随机数的邻域符号，这些邻域符号可能根据它们的值而改变。类似于一维设置，我们称这些邻域符号为区域的上下文。这个框架是变长马尔可夫链概念的自然扩张，是由Rissanen（1983）在他的经典论文中引入的d维域。我们定义了一个算法来估计最小的球的半径包含上下文的基础上实现的字段。我们证明了这个估计的一致性。我们的证明是建设性的，并产生明确的上界的概率错误估计的范围内。
2011-02-24 math.PR math.ST stat.TH
Structural adaptation via $L_p$-norm oracle inequalities
本文研究满足一定结构假设的多元函数的自适应估计问题。我们提出了一种新的估计过程，同时适应未知的结构和光滑的底层功能。结构自适应问题被描述为从给定的估计量集合中进行选择的问题。我们开发了一个一般的选择规则，并建立了它的全球预言不等式任意$\rL_p$ -损失。这些结果适用于加性多指标模型的自适应估计。
2007-04-19 math.PR math.ST stat.TH
Strong oracle optimality of folded concave penalized estimation
折叠凹惩罚方法在高维稀疏估计中具有很强的预言性质。然而，折叠凹惩罚问题通常有多个局部解，并且仅对其中一个未知的局部解建立预言性质。一个具有挑战性的基本问题仍然是，它是不清楚的局部最优值计算由一个给定的优化算法具有良好的理论性质。为了弥补这一重要的理论差距，在十多年中，我们提供了一个统一的理论来明确地表明如何通过本地线性逼近算法获得的甲骨文解决方案。对于一个折叠凹惩罚估计问题，证明了只要问题是局部化的，并且oracle估计是良好的，我们就可以利用一步局部线性逼近得到oracle估计.此外，一旦获得预言估计量，局部线性逼近算法收敛，即它在下一次迭代中产生相同的估计量。本文以稀疏线性回归、稀疏逻辑斯谛回归、稀疏精度矩阵估计和稀疏分位数回归四个经典稀疏估计问题为例，阐述了稀疏估计的一般理论。
2015-04-02 math.ST stat.CO stat.ML
Nonparametric estimation over shrinking neighborhoods: Superefficiency and adaptation
超效率和适应性的理论下，灵活的性能指标，提供了一个多分辨率的风险和桥梁之间的差距逐点和全球估计。这个理论提供了一个有用的基准空间自适应估计的评估，并表明，可能的超效率的程度极大极小率最优估计严重依赖于大小的邻居的风险进行测量。小波程序给出了适应率最佳给定的收缩邻域，包括在一个点的均方误差和平均积分平方误差在整个区间的极端情况下。这些自适应程序是基于一个新的小波块阈值方案，该方案结合了常用的水平分块的小波系数（在相同的分辨率水平）和垂直分块的系数（在不同的分辨率水平）。
2005-04-25 math.ST stat.TH
Adaptive Nonparametric Estimation via Kernel Transport on Group Orbits: Oracle Inequalities and Minimax Rates
本文提出基于群轨道核传输的非参数估计框架，通过双空间方法建立oracle不等式并实现最小最大最优速率，同时在目标函数具有轨道结构时提升估计效率。
2025-12-10 math.ST stat.TH
Adaptive estimation of stationary Gaussian fields
研究了正则格点上的平稳高斯场X的非参数协方差估计。在时间序列的背景下，证明了AIC等方法可以在自回归模型中实现最优模型选择。然而，在空间设置中不存在这样的适应性的等价结果。通过考虑高斯马尔可夫随机场（GMRF）的集合作为X分布的近似集，我们引入了一种新的空间场模型选择过程。对于给定集合M中的所有邻域m，该过程首先相当于在邻域m的GMRF内计算X的协方差估计量。然后，它通过应用惩罚策略来选择邻域。所定义的方法满足一个非渐近的预言型不等式。如果X是一个GMRF，该过程也是极小极大自适应其邻域的稀疏性。更一般地说，该过程是自适应的真实分布的GMRF与增长的邻域的近似率。
2009-09-02 math.ST stat.TH
Estimation adaptative dans le modèle single-index par l'approche d'oracle
在非参数多元函数估计的框架中，我们感兴趣的是结构自适应。我们假设待估计的函数具有单指标结构，其中既不知道链接函数也不知道指标向量。我们提出了一种新的程序，同时适应未知的索引和光滑的链接函数。对于所提出的方法，我们提出了一个“局部”的预言不等式（描述的逐点预言），然后使用它来获得的上界的最大风险的正则性假设下的链接函数。极大极小风险的下界表明，所构造的估计量在所考虑的类的范围内是最优速率自适应的。对于同样的过程，我们还建立了一个“全球”的甲骨文不等式（下$ L_r $规范，$r< \infty $），并研究其性能的Nikol'skii类。研究表明，该方法可用于非齐次光滑函数的估计。
2013-04-25 math.PR math.ST stat.TH
Estimation bounds and sharp oracle inequalities of regularized procedures with Lipschitz loss functions
当$\|\cdot\|$是任意范数，$F$是凸函数类，$\ell$是满足$F$上Bernstein条件的Lipschitz损失函数时，我们得到了形式为\begin{equation*} \hat f \in argmin_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\ell(f(X_i), Y_i)+λ\|f\|\right) \end{equation*}的正则化过程的估计差错率和尖锐的预言不等式.我们探讨了$f(X_i)$的分布的有界和亚高斯随机框架，没有对$Y_i$的分布的假设。一般的结果依赖于两个主要对象：一个复杂性函数，和一个稀疏性方程，这取决于具体的设置在手（损失$\ell$和规范$\|\cdot\|$）。作为概念的证明，我们在以下问题中获得了极大极小收敛速度：1）具有任何Lipschitz损失函数的矩阵完备化，包括问题的所谓1位矩阵完备化实例的铰链和逻辑损失，以及一般情况下的分位数损失，这使得能够估计矩阵条目上的任何分位数; 2）逻辑LASSO和变体，如逻辑SLOPE; 3）核方法，其中损失是铰链损失，并且正则化函数是RKHS范数。
2017-02-07 math.ST stat.TH
Optimal oracle inequalities for model selection
模型选择通常是通过经验风险最小化来进行的。在给定的情况下，选择的质量可以通过风险界限来评估，这需要对所使用的损失的边际和尾部进行假设。从回归、分类和密度估计这3个基本估计问题的实例出发，在连续弱化条件下，给出了经验风险最小化的风险界，并在一般水平上证明了它们，即超额损失的一般裕度和幂尾行为。
2008-06-25 math.ST stat.TH
Efficient functional estimation and the super-oracle phenomenon
我们考虑估计的两个样本的积分泛函，自然发生的类型，例如，当感兴趣的对象是未知的概率密度之间的分歧。我们的第一个主要结果是，在广泛的一般性，加权最近邻估计是有效的，在这个意义上实现局部渐近极大极小下界。此外，我们还证明了一个相应的中心极限定理，这有利于建设渐近有效的置信区间的功能，具有渐近最小的宽度。我们的结果的一个有趣的后果是发现，对于某些泛函，我们的估计的最坏情况下的性能可能会改善自然的“神谕”估计，这是获得的值的未知密度的观察。
2023-01-30 math.ST stat.ME stat.ML
Oracle Inequalities and Optimal Inference under Group Sparsity
我们考虑在高斯噪声模型下估计稀疏线性回归向量$β^*$的问题，用于预测和模型选择。我们假设先验知识是可用的稀疏模式，即一组变量被划分成规定的组，其中只有少数是相关的估计过程中。这个组稀疏性假设建议我们考虑将组Lasso方法作为估计$β^*$的方法。我们建立预言不等式和$\ell_2$估计误差的估计。在设计矩阵上的限制特征值条件下，这些界限成立。在更强的相干条件下，我们得到了混合$(2,p)$ -范数与$1\le p\leq \infty$的估计误差的界.当$p=\infty$时，该结果意味着Group Lasso估计器的阈值版本以高概率选择$β^*$的稀疏模式。接下来，我们证明了我们的上界的收敛速率是最优的，在极大极小意义下，对数因子，对一类组稀疏向量的所有估计。此外，我们建立下界的预测和$\ell_2$估计误差的通常Lasso估计。使用这个结果，我们证明了组Lasso可以实现的预测和估计性能的改进相比，Lasso。
2010-07-22 math.ST stat.TH
Von Neumann Entropy Penalization and Low Rank Matrix Estimation
研究了单位迹的厄米特非负定矩阵（如量子态层析成像中的密度矩阵）的统计估计问题。该方法是基于惩罚最小二乘法与冯诺依曼熵定义的复杂性惩罚。一些预言不等式已被证明，显示如何估计的误差取决于排名和其他特性的预言。证明方法基于经验过程理论和随机矩阵的概率不等式，特别是Bernstein不等式的非交换形式。
2010-09-13 math.ST stat.TH
Adaptive estimation of the $\mathbb{L}_2$-norm of a probability density and related topics II. Upper bounds via the oracle approach
本文针对概率密度 $\mathbb{L}_2$ 范数的自适应估计问题，证明先前下界是紧的，并基于核估计族的数据驱动选择提出自适应估计量，其风险计算依赖新的解耦 $U$-统计量集中不等式，结果源于一个通用 oracle 不等式。
2024-05-26 math.ST stat.TH
Exact oracle inequality for a sharp adaptive kernel density estimator
在i.i.d.上的一维密度估计中。观察，我们建议一个自适应的交叉验证技术的内核估计的选择。该估计在光滑指数大于1/2的索伯列夫空间的整个尺度上都是渐近MISE有效的.中心浓度不等式的证明避免了“链接”，并依赖于所涉及的经验过程的加法分解。
2005-04-19 math.ST stat.TH
Composite quantile regression and the oracle Model Selection Theory
多元线性回归中的系数估计和变量选择通常在（惩罚）最小二乘（LS）框架中进行。本文介绍了范和李提出的模型选择预言的概念[J. Amer. Statistist. Assoc.96（2001）1348- 1360]描述了模型选择过程的最优行为。然而，如果误差方差是无限的，最小二乘预言理论就失效了。在本文中，我们提出了一种新的回归方法称为复合分位数回归（CQR）。我们表明，使用CQR预言机的预言机模型选择理论工作得很好，即使当误差方差是无限的。我们开发了一个新的预言程序，以实现最佳性能的CQR预言。当误差方差有限时，CQR在估计效率方面仍具有很大的优势。我们表明，CQR的相对效率相比，最小二乘法是大于70%，无论误差分布。此外，CQR可能比最小二乘更有效，有时甚至更有效。当比较CQR-预言估计量和LS-预言估计量时，同样的结论也成立。
2008-06-18 math.ST stat.TH
On oracle efficiency of the ROAD classification rule
对于高维分类，由于来自协方差阵估计的噪声，Fisher规则表现不佳。Fan、Feng和Tong（2012）介绍了ROAD分类器，该分类器对分类向量施加了$L_1$约束。Fan、Feng和Tong（2012）在他们的定理1中表明，ROAD分类器渐进地具有与相应的基于Oracle的分类器相同的误分类率。不幸的是，证明包含一个错误。在这里，我们重申定理，并提供一个新的证明。
2014-05-23 math.ST stat.TH
Quasi-Oracle Estimation of Heterogeneous Treatment Effects
对异质性处理效应的灵活估计是许多统计挑战的核心，例如个性化医疗和最佳资源分配。在本文中，我们开发了一个一般类的两步算法的异质性处理效应估计的观察性研究。我们首先估计边际效应和治疗倾向，以形成一个目标函数，隔离信号的因果分量。然后，我们优化这个数据自适应的目标函数。我们的方法比现有的方法有几个优点。从实用的角度来看，我们的方法灵活且易于用途：在这两个步骤中，我们可以使用任何损失最小化方法，例如，惩罚回归、深度神经网络或提升;此外，这些方法可以通过交叉验证进行微调。同时，在惩罚核回归的情况下，我们证明了我们的方法具有准预言属性：即使边缘效应和治疗倾向的试点估计不是特别准确，我们也可以实现与具有这两个滋扰组件的先验知识的预言者相同的误差界。我们实现了我们的方法的基础上惩罚回归，内核岭回归，并在各种模拟设置提升的变种，并找到有前途的性能相对于现有的基线。
2020-08-06 econ.EM math.ST stat.ML
Near-Oracle Performance of Greedy Block-Sparse Estimation Techniques from Noisy Measurements
本文研究了贪心算法从噪声测量中估计块稀疏参数向量的能力。特别是，块稀疏版本的正交匹配的追求和阈值化算法进行了分析下的对抗和高斯噪声模型。在对抗设置中，它表明，估计精度在噪声功率的恒定因子内。在高斯噪声下，Cramer-Rao界的推导，并表明，贪婪的技术来接近这个界在高信噪比。保证数值比较块和非块算法的实际性能，突出块稀疏技术的优势。
2010-09-05 cs.IT math.IT math.ST
Statistical inference in sparse high-dimensional additive models
本文讨论了非参数可加模型$Y=f_1(X_1) + ...+ f_q(X_q) + ε$的非参数分量$f_1$的估计。我们允许添加剂成分的数量$q$增长到无穷大，我们对非零添加剂成分的数量进行稀疏性假设。我们比较了这个估计问题的估计$f_1$在Oracle模型$Z= f_1(X_1) + ε$，其中添加剂成分$f_2,\dots,f_q$是已知的。我们构造了$f_1$的两步预光滑和再光滑估计，并给出了我们的估计与Oracle模型中的一些光滑估计$\hat f_1^{\text{(oracle)}}$之间的差异的有限样本界。在渐近设置这些界限可以用来显示渐近等价的估计和Oracle估计，从而表明，渐近，在足够强的稀疏性条件下，知识$f_2,\dots,f_q$估计精度没有影响。我们的第一步是估计$f_1$与欠平滑估计的基础上，近正交投影组拉索偏差校正。然后，我们构建伪响应$\hat Y$通过评估我们的欠平滑估计$f_1$在设计点的去偏修改。在第二步中，将Oracle估计量$\hat f_1^{\text{(oracle)}}$的平滑方法应用于具有响应$\hat Y$和协变量$X_1$的非参数回归问题。我们的数学阐述主要集中在建立premoothing估计的属性。我们目前的模拟结果表明，我们的估计在实际应用中接近预言机的性能。
2019-10-18 math.ST stat.TH
Flexible and Efficient Contextual Bandits with Heterogeneous Treatment Effect Oracles
Stanford University（斯坦福大学）
上下文强盗算法通常估计奖励模型以通知决策。然而，真正的奖励可能包含与决策无关的独立于行动的冗余。我们发现，估计任何解释行动之间奖励差异的函数，即治疗效果，都是更有效的数据。出于这一观察，最近的工作基于甲骨文的土匪算法的基础上，我们提供了第一个减少上下文土匪通用异构治疗效果估计，我们设计了一个简单的和计算效率高的算法，基于此减少。我们的理论和实验结果表明，异质性的治疗效果估计在上下文土匪提供了实际的优势，奖励估计，包括更有效的模型估计和更大的灵活性，以模型误指定。
2023-02-24 cs.LG math.ST stat.ME
Asymptotic oracle properties of SCAD-penalized least squares estimators
研究了稀疏、高维、线性回归模型中协变量个数随样本量增加时SCAD惩罚最小二乘估计的渐近性质。我们特别感兴趣的是使用这个估计同时变量的选择和估计。我们表明，在适当的条件下，SCAD惩罚的最小二乘估计是一致的变量选择和非零系数的估计有相同的渐近分布，如果零系数是已知的。仿真研究表明，该估计器在变量选择和估计方面表现良好。
2007-09-06 math.ST stat.TH
Model selection for the robust efficient signal processing observed with small Lévy noise
本文提出了一种新的模型选择方法，用于脉冲噪声下的自适应鲁棒有效非参数信号估值估计。在此基础上，我们构造了估计程序，并在两种情况下进行了分析：非渐近和渐近的。对于这样的模型，我们第一次证明了二次和鲁棒风险的非渐近尖锐预言不等式，即我们证明了所构造的程序在尖锐预言不等式意义下是最优的。其次，利用所得的预言不等式，证明了当信噪比趋于无穷大时，自适应估计方法的渐近有效性.我们将所发展的模型选择方法应用于多径信息传输中的信号数目检测问题。
2018-11-24 math.ST stat.TH
Factor-Assisted Density Estimation: When Ambient Dimension Enables Oracle Rates
Duke University（杜克大学）
该研究针对高维因子模型的密度估计问题，提出因子辅助密度估计（FADE）方法，证明其在足够高的环境维度下可达到神谕速率，确立了其速率最优性，证实了环境维度的优势。
2026-10-16 math.ST stat.TH
Optimal kernel selection for density estimation
我们提供了新的一般内核选择规则感谢惩罚最小二乘标准。我们得到最优预言不等式使用适当的浓度工具。我们还研究了[BM 07]中所描述的最小惩罚问题。
2015-11-06 math.ST stat.TH
Oracle high-dimensional $M$-estimation using smooth reparameterization for sparsity
Waseda University（早稻田大学）
本文提出一种基于平滑重参数化映射的统一正则化框架，将稀疏性嵌入参数变换，实现高维M-估计的oracle渐近正态性，并在线性与Cox模型中优于或媲美SCAD和MCP。
2026-10-21 math.ST stat.ME stat.TH
Sparsity oracle inequalities for the Lasso
本文研究了随机设计下非参数回归中$\ell_1$ -惩罚最小二乘的预言性质。我们证明了惩罚最小二乘估计满足稀疏预言不等式，即，根据oracle vector的非零分量的数量来确定边界。即使当模型的维数（远）大于样本量且回归矩阵不正定时，结果也是有效的。它们可用于高维线性回归、非参数自适应回归估计和任意估计量的集结问题。
2007-05-23 math.ST stat.TH
Slope meets Lasso: improved oracle bounds and optimality
我们表明，两个多项式时间的方法，拉索估计自适应选择的调整参数和斜率估计，自适应实现精确的极小极大预测和$\ell_2$估计率$(s/n)\log (p/s)$在高维线性回归类的$s$ -稀疏目标向量$\mathbb R^p$。这是在Lasso的限制特征值（RE）条件下以及在对Slope的设计的稍微更多约束的假设下完成的。主要结果具有尖锐的预言不等式的形式，考虑到模型的误设定误差。当模型被很好地指定时，还得到了用$1\le q\le 2$的$\ell_q$估计误差的极小极大最优界。结果是非渐近的，并保持在概率和期望。我们对设计施加的假设是满足高概率的一个大类的随机矩阵与独立的，可能各向异性分布的行。我们给出了一个比较分析的条件下，可以得到的拉索和斜率估计的预言界。特别地，我们证明了几个已知的条件，如RE条件和稀疏特征值条件是等价的，如果回归的$\ell_2$ -范数一致有界。
2017-05-24 math.ST stat.TH
Optimal Kullback-Leibler Aggregation in Mixture Density Estimation by Maximum Likelihood
本文研究了$n$独立观测密度的极大似然估计，假设它可以很好地近似为一个含有大量分量的混合估计。主要关注的是Kullback-Leibler损失的统计特性。我们建立风险界的形式都在偏差和期望的尖锐预言不等式。这些界限的一个简单的后果是，最大似然估计达到最佳速率$((\log K)/n)^{1/2}$，直到一个可能的对数校正，在凸聚集的问题时，组件的数量$K$大于$n^{1/2}$。更重要的是，在额外的假设下，Gram矩阵的组件满足兼容性条件，所获得的预言不等式产生的最佳速率在稀疏的情况下。也就是说，如果权向量（几乎）是$D$ -稀疏的，则我们得到速率$(D\log K)/n$。作为一个自然的补充，我们的甲骨文不等式，我们介绍了近- $D$ -稀疏聚合的概念，并建立匹配的下界这种类型的聚合。
2017-01-18 math.ST stat.TH
Optimal model selection in density estimation
我们建立惩罚最小二乘估计，使用斜率启发式和reservation处罚。证明了首项常数渐近等于1的选择估计量的预言不等式。我们比较这些方法的实际性能在一个简短的模拟研究。
2010-07-26 math.ST stat.TH
On Hodges' Superefficiency and Merits of Oracle Property in Model Selection
模型选择过程的预言属性在文献中吸引了大量有利的出版物，但也面临着在应用中无效和误导的批评。本文引入了一类估计量，该估计量可以很容易地产生具有预言性质的模型选择过程，并通过理论上分析这类估计量在有限样本量下的性能，讨论了预言性质的优点。具体地说，我们提出了一种新的类型的Hodges'估计能够减少任何给定的估计的渐近方差在多维子空间的参数空间，它可以很容易地产生模型选择程序的预言和一些其他所需的性质。然而，这种新类型的预言估计，在某些值的参数估计，并没有令人信服的理由，宣布预言估计优于传统的估计，如极大似然估计和最小二乘估计。因此，在文献中声称的模型选择的预言属性的优点可能是严重夸大，和预言属性的批评是合理的。
2018-05-17 math.ST stat.TH
Tail index estimation, concentration and adaptivity
本文提出了一种基于Lespki模型选择方法的自适应Hill估计。这个简单的数据驱动的索引选择方法，以满足预言不等式，并检查，以实现最近由Carpentier和Kim推导出的下界。为了建立预言不等式，我们得到了Hill估计的非渐近方差界和浓度不等式。这些浓度不等式来自Talagrand的浓度不等式的光滑函数的独立指数分布的随机变量结合极值理论的三个工具：分位数变换，Karamata的表示缓慢变化的功能，和Rényi的表征的顺序统计量的指数样本。这种计算和概念上简单的方法的性能说明使用蒙特卡罗模拟。
2015-12-15 math.ST stat.TH
LASSO, Iterative Feature Selection and the Correlation Selector: Oracle Inequalities and Numerical Performances
本文提出了一类二次损失回归估计的一般算法。我们的算法能够选择相关的功能到一个大的字典。我们证明了很多已经研究过的算法（LASSO和组LASSO，Dantzig选择器，迭代特征选择等）属于我们的家族，并展示了这个家族的另一个特殊成员，我们称之为相关性。使用我们的家庭的算法的一般属性，我们证明了预言不等式IFS，LASSO和相关性，并比较这些估计的数值性能的玩具的例子。
2008-11-25 math.ST stat.TH
Adaptive Density Estimation Using Projection Kernels and Penalized Comparison to Overfitting
Faculty of Mathematics and Computer Science, Vietnam National University - Ho Chi Minh City（越南国家大学胡志明市分校数学与计算机科学学院）
本文利用投影核构造小波密度估计器，通过过拟合惩罚比较方法实现分辨率水平的数据驱动选择，并证明其达到最优收敛速率。
2026-10-01 math.ST stat.TH
High-dimensional graphs and variable selection with the Lasso
多元正态分布的逆协方差阵中的零元模式对应于变量之间的条件独立约束。协方差选择的目的是从数据中估计这些结构零点。我们表明，邻域选择与Lasso是一个计算上有吸引力的替代标准的协方差选择稀疏高维图。邻域选择分别估计图中每个节点的条件独立性限制，因此等价于高斯线性模型的变量选择。我们表明，建议的邻域选择方案是一致的稀疏高维图。一致性取决于罚参数的选择。最优预测的预言值不会导致一致的邻域估计。相反，控制错误地加入图的一些不同的连通性组件的概率，稀疏图的一致性估计实现（指数率），即使当变量的数量增长的观察的数量上升到一个任意的权力。
2006-08-01 math.ST stat.TH
Oracle posterior contraction rates under hierarchical priors
我们提供了一个一般的贝叶斯理论框架，以获得后验收缩率下的分层先验设计：第一步先验用于评估模型选择的不确定性，第二步先验量化的先验信念的强度的信号内选择的模型从第一步。特别是，我们建立了非渐近预言后验收缩率下（i）的对数似然比的统计实验的局部高斯条件，（ii）的局部熵条件的维数的模型，和（iii）的第二步附近的最佳逼近信号的充分质量条件。第一步先验可以一般地设计。后验分布具有高斯尾行为，因此所得后验均值也满足预言不等式，自动充当频率论意义上的自适应点估计器。在这些预言率中允许模型错误指定。局部高斯性条件作为实验的非渐近高斯量化的统一尝试，并且可以在[GvdV 07 a]及以后考虑的各种实验中容易地验证。一般的结果被应用在各种问题，包括：（i）跟踪回归，（ii）形状限制保序/凸回归，（iii）高维部分线性回归，（iv）协方差阵估计的稀疏因子模型，（v）非光滑多面体图像边界的检测，和（vi）强度估计的泊松点过程模型。这些新的结果既可以作为理论上的理由，在文献中的实际先前的建议，或作为一个复杂的实验的（近）极大极小自适应估计的一般建设计划的说明。
2021-02-10 math.ST stat.TH
Adaptive and minimax optimal estimation of the tail coefficient
研究了满足$(α, β)$二阶Pareto型条件的分布的尾指数$α$的估计问题，其中β为二阶系数.当$β$可用时，先前证明了可以用预言率$n^{-β/(2β+1)}$估计$α$。相反，当$β$不可用时，用预言率估计$α$是具有挑战性的;因此通常会做出暗示$β$可估计性的额外假设。在本文中，我们提出了一个自适应估计的$α$，并表明，该估计达到率$(n/\log\log n)^{-β/(2β+1)}$没有先验知识的$β$和任何额外的假设。此外，我们证明了这个$(\log\log n)^{β/(2β+1)}$因素是不可避免的，通过获得同伴下界。
2014-07-04 math.ST stat.TH
Towards optimal doubly robust estimation of heterogeneous causal effects
本文研究异质性 CATE 估计的最优性，提出两阶段双重稳健估计量、通用误差界与局部多项式双残差回归，给出 oracle 效率条件及非 oracle 情形误差界。
2023-08-21 math.ST stat.TH
Adaptive optimal kernel density estimation for directional data
本文主要研究方向数据的非参数密度估计问题。提出了一种新的核密度估计带宽选择规则。我们的过程是自动的，完全数据驱动的，并适应密度的平滑程度。我们得到了一个预言不等式和L2误差下的最优收敛速度。我们的理论结果与模拟说明。
2018-08-07 math.ST stat.TH
Estimation of Covariance Matrices under Sparsity Constraints
证明了Frobenius范数下协方差阵估计的最优稀疏预言不等式。特别是，我们探索各种稀疏结构的基础矩阵。
2012-05-06 math.ST stat.TH
