Constraints and Conditions: the Lasso Oracle-inequalities
研究了高维稀疏回归模型中Lasso估计的真系数向量和设计矩阵的各种约束条件，建立了关于Lasso估计的预测误差、估计精度和变量选择的非渐近预言不等式.我们回顾了文献中的结果，我们提供了更简单和详细的推导几个有界性定理。此外，我们补充的理论与说明的例子。
2018-06-14 math.ST stat.TH
Discussion of ``2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization'' by V. Koltchinskii
讨论“2004 IMS奖章讲座：风险最小化中的局部Rademacher复杂性和Oracle不等式”，作者V. Koltchinskii [arXiv：0708.0083]
2007-08-01 math.ST stat.TH
Sharp non asymptotic oracle inequalities for non parametric computerized tomography model
本文研究随机层析回归模型的非参数估计问题，即考虑通过Radon变换得到的多变量函数（图像）的估计问题，其中Radon变换的计算包含随机误差。针对这一问题，我们提出了一种新的自适应模型选择方法。通过使用Galtchouk和Pergamenshchikov方法，我们构造了模型选择过程，对于通常的和鲁棒的二次风险，我们证明了一个尖锐的非渐近预言不等式，即我们证明了所提出的过程在预言不等式意义下是最优的。
2018-11-21 math.ST stat.TH
Sharp oracle bounds for monotone and convex regression through aggregation
结合$Q$ -聚集过程和稀疏模式聚集方法，我们得到了保序和凸回归问题的预言不等式。这改进了以前的结果，包括预言不等式的约束最小二乘估计。改进之一是我们的预言不等式是尖锐的，即，前导常量为1。它使我们能够获得边界的极大极小遗憾，从而占模型的误指定，这是不可能的基础上，以前的结果。另一个改进是，我们得到了预言不等式的高概率和期望。
2015-09-30 math.ST stat.TH
Sharp Oracle Inequalities in Low Rank Estimation
研究了埃尔米特矩阵空间上具有凸损失和核范数惩罚的线性泛函凸集上的惩罚经验风险最小化问题.这种惩罚通常用于低秩矩阵恢复的情况下，当目标函数可以很好地近似由相对小秩（与矩阵的大小相比）的埃尔米特矩阵生成的线性泛函。我们的目标是证明尖锐的低秩预言不等式，涉及超额风险（近似误差）与常数等于1和随机误差项与正确的依赖关系的秩的预言。
2012-10-10 math.ST stat.TH
Oracle inequalities for the stochastic differential equations
本文综述了带跳半鞅噪声的连续时间回归模型的自适应鲁棒非参数方法的最新结果。噪声分别用Lévy过程、Ornstein-Uhlenbeck过程和半Markov过程建模。给出了一般的模型选择方法和尖锐的预言不等式方法，它们在自适应环境下提供了稳健有效的估计。此外，我们还介绍了非参数估计问题的改进模型选择方法的最新结果。
2017-12-15 math.ST stat.TH
Sharp Oracle Inequalities for Low-complexity Priors
本文考虑了一类参数个数与样本量相当或大于样本量的高维统计估计问题。我们提出了一个统一的分析指数加权聚合和惩罚估计的性能保证与一般类的数据丢失和先验，鼓励对象符合一些简单/复杂的概念。更准确地说，我们证明了这两个估计满足尖锐的预言不等式的预测，确保其良好的理论性能。我们还强调了它们之间的差异。当噪声为随机噪声时，利用浓度不等式给出了概率不等式。然后将这些结果应用到几个实例中，包括Lasso，Lasso组，它们的分析型对应物，$\ell_\infty$和核范数惩罚。我们所有的估计可以有效地实现使用邻近分裂算法。
2017-10-03 math.ST stat.TH
Sparsity oracle inequalities for the Lasso
本文研究了随机设计下非参数回归中$\ell_1$ -惩罚最小二乘的预言性质。我们证明了惩罚最小二乘估计满足稀疏预言不等式，即，根据oracle vector的非零分量的数量来确定边界。即使当模型的维数（远）大于样本量且回归矩阵不正定时，结果也是有效的。它们可用于高维线性回归、非参数自适应回归估计和任意估计量的集结问题。
2007-05-23 math.ST stat.TH
General nonexact oracle inequalities for classes with a subexponential envelope
我们表明，经验风险最小化程序和正规化的经验风险最小化程序满足非精确的预言不等式在一个无界的框架下，假设类有一个次指数包络函数。主要的新颖之处，除了有界性假设自由设置，是这些不平等可以产生快速的速度，即使在确切的预言不平等的情况下，只持有较慢的速度。我们应用这些结果表明，程序的基础上$\ell_1$和核范数正则化函数满足甲骨文不等式的剩余项，减少像$1/n$为每个$L_q$损失函数（$q\geq2$），而只假设的尾部行为的输入和输出变量表现良好。特别是，不需要RIP类型的假设或“不相干条件”来获得这些设置中的快速残差项。我们也将这些结果应用到凸聚集和模型选择的问题。
2012-06-05 math.ST stat.TH
LASSO, Iterative Feature Selection and the Correlation Selector: Oracle Inequalities and Numerical Performances
本文提出了一类二次损失回归估计的一般算法。我们的算法能够选择相关的功能到一个大的字典。我们证明了很多已经研究过的算法（LASSO和组LASSO，Dantzig选择器，迭代特征选择等）属于我们的家族，并展示了这个家族的另一个特殊成员，我们称之为相关性。使用我们的家庭的算法的一般属性，我们证明了预言不等式IFS，LASSO和相关性，并比较这些估计的数值性能的玩具的例子。
2008-11-25 math.ST stat.TH
General oracle inequalities for a penalized log-likelihood criterion based on non-stationary data
本研究基于鞅方法推导了适用于非独立非平稳数据的惩罚对数似然准则Oracle不等式，在多类场景验证后发现其在强依赖数据场景下的结果与现有研究相当或更具通用性。
2024-05-17 math.ST stat.TH
Bandwidth selection in kernel density estimation: Oracle inequalities and adaptive minimax optimality
通过核估计量的选择，解决了具有$\mathbb{L}_s$ -损失的密度估计问题.我们开发了一个选择过程，并推导出相应的$\mathbb{L}_s$ -风险预言不等式。结果表明，建议的选择规则导致的估计是极小极大自适应的各向异性的Nikol'skii类的规模。在我们的推导中使用的主要技术工具是最近由Goldenshluger和Lepski开发的经验过程的$\mathbb{L}_s$ -范数的统一界限[Ann. Probab.（2011年）。
2012-11-22 math.ST stat.TH
Adaptive estimation of and oracle inequalities for probability densities and characteristic functions
近年来，高斯移位有限区间试验的自适应估计理论和预言不等式理论取得了重大进展。特别是，尖锐的极大极小自适应估计和精确的指数型预言不等式已被建议为一个庞大的功能，包括分析和Sobolev与任何积极的指标，以及Efromovich-Pinsker和斯坦blockwise收缩估计。对于密度估计的一个更有趣的应用问题和/或特征函数估计的对偶问题，是否可能得到类似的结果？答案是“是的。特别是，所得到的结果包括精确的指数型预言不等式，允许考虑，在文献中第一次，同时尖锐的极小估计Sobolev密度与任何积极的指数（不一定大于1/2），无限可微密度（包括分析，整个和稳定），以及不是绝对可积的特征函数。同样的自适应估计也是速率minimax在一个熟悉的类分布与有界谱的密度和特征函数可以估计的参数率。
2008-06-18 math.ST stat.TH
Discussion of ``2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization'' by V. Koltchinskii
讨论“2004 IMS奖章讲座：风险最小化中的局部Rademacher复杂性和Oracle不等式”，作者V. Koltchinskii [arXiv：0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Sharp Oracle Inequalities for Aggregation of Affine Estimators
本文研究了带异方差高斯噪声的非参数回归模型中仿射估计的组合问题。重点指数加权聚合，我们证明了PAC-Bayesian型不等式，导致尖锐的甲骨文不等式在离散，但也在连续设置。该框架是一般性的，足以涵盖各种程序的组合，如最小二乘回归，核岭回归，收缩估计和许多其他估计在文献中使用的统计逆问题。因此，我们表明，建议的聚合提供了一个自适应估计在确切的极大极小意义上既不离散的范围内的调整参数，也不分裂的一组观察。我们还数值说明了指数加权聚合所取得的良好性能。
2013-02-01 math.ST stat.TH
Discussion of ``2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization'' by V. Koltchinskii
讨论“2004 IMS奖章讲座：风险最小化中的局部Rademacher复杂性和Oracle不等式”，作者V. Koltchinskii [arXiv：0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Discussion of ``2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization'' by V. Koltchinskii
讨论“2004 IMS奖章讲座：风险最小化中的局部Rademacher复杂性和Oracle不等式”，作者V. Koltchinskii [arXiv：0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Oracle inequalities for the Lasso in the high-dimensional Aalen multiplicative intensity model
在一般的计数过程设置中，我们考虑的问题，获得一个预测的生存时间调整协变量在高维。为此，我们构造了整个条件强度的估计。我们估计它的最佳Cox比例风险模型给出两个字典的功能。第一个字典用于构建基线风险函数的对数的近似值，第二个字典用于近似相对风险。我们引入了一个新的数据驱动的加权Lasso过程来估计最佳Cox模型的未知参数近似强度。我们提供了一个适当的经验Kullback分歧的非渐近预言不等式我们的程序。我们的结果依赖于经验伯恩斯坦不等式的跳跃和修改的自协调函数的性质的鞅。
2013-10-14 math.ST stat.TH
Discussion of "2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization" by V. Koltchinskii
V. Koltchinskii讨论“2004 IMS Medallion Lecture：Local Rademacher Complexities and oracle inequalities in risk minimization”[arXiv：0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Sharp oracle inequalities for the prediction of a high-dimensional matrix
我们观察到$(X_i,Y_i)_{i=1}^n$，其中$Y_i$是实值输出，$X_i$是$m\times T$矩阵。我们观察到一个新的条目$X$，我们希望预测与之相关的输出$Y$。我们专注于高维设置，其中$m T \gg n$。这包括有噪声的矩阵完备问题，以及其他问题。我们考虑线性预测程序的基础上不同的惩罚，涉及几个规范的混合物：核规范，Frobenius规范和$\ell_1$规范。对于这些程序，我们证明了尖锐的甲骨文不等式，使用统计学习理论的观点。在我们的结果中，一个令人惊讶的事实是，收敛速度不直接依赖于$m$和$T$。该方法不需要通常考虑的未知矩阵的不相干条件和采样算子的等距约束条件。此外，我们的结果是第一个给这个问题的惩罚（如核范数惩罚）作为一个正则化算法的分析：我们的预言不等式证明，这些程序有一个预测精度接近确定性的预言之一，给定的正则化参数是精心选择的。
2010-08-28 math.ST stat.TH
Discussion of ``2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization'' by V. Koltchinskii
讨论“2004 IMS奖章讲座：风险最小化中的局部Rademacher复杂性和Oracle不等式”，作者V. Koltchinskii [arXiv：0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Weak transport inequalities and applications to exponential inequalities and oracle inequalities
我们推广了无量纲Talagrand不等式的凸距离\cite{talagrand:1995}使用扩展的Marton的弱输运\cite{marton:1996a}的其他度量比汉明距离。研究了这类弱迁移不等式在欧氏范数下的对偶形式，证明了它蕴含次高斯性和凸Poincaré不等式\cite{bobkov:gotze:1999a} .我们得到了非乘积测度的弱迁移不等式，推广了Samson在\cite{samson:2000}中的结果.许多例子表明，欧几里德范数是一个适当的度量经典时间序列。我们的方法，基于轨迹耦合，是更有效地获得无量纲浓度比现有的收缩假设\cite{djellout:guillin:wu:2004,marton:2004}。将普通最小二乘估计的浓度性质表示为一个条件弱迁移问题，得到了新的具有快速收敛速度的Oracle不等式。
2014-03-05 math.PR math.ST stat.TH
Non-asymptotic Oracle Inequalities for the Lasso and Group Lasso in high dimensional logistic model
研究了逻辑斯谛回归模型中函数$f\_{0}$的估计问题。我们建议估计这个函数$f\_{0}$的稀疏近似建立作为一个给定的字典的$p$功能的元素的线性组合。该稀疏近似由Lasso或Group Lasso过程选择。在此背景下，我们在\cite{BRT}中引入的限制特征值假设下，给出了Lasso和群Lasso的非渐近预言不等式。
2015-05-20 math.ST stat.AP stat.TH
Sparse Oracle Inequalities for Variable Selection via Regularized Quantization
我们给出了关于通过加权Lasso $k$ -均值算法结合量化和变量选择的过程的预言不等式。结果是来自一般家庭的权重，它可以调整到大小的变量以不同的方式的影响。此外，这些理论的保证证明，以适应相应的稀疏性的最佳码本，如果合适的。即使没有稀疏性假设的最佳码本，我们的程序被证明是接近稀疏近似的最佳码本，已经做了回归的广义线性模型。如果最佳码本有一个稀疏的支持，我们还表明，这种支持可以渐近恢复，给误分类概率的渐近上界。这些结果与高斯混合模型在任意维度的稀疏性假设的手段，这是基于模型的聚类的标准分布。
2016-07-06 math.ST stat.TH
Oracle inequalities for the lasso in the Cox model
本文研究了稀疏高维Cox比例风险回归模型中的绝对惩罚最大偏似然估计，其中时间相关协变量的数量可以大于样本量。基于黑塞矩阵在真回归系数下的相容性和锥可逆因子的自然扩张，建立了Oracle不等式。我们的方法也可以证明类似的结果的基础上的限制本征值的扩展。由于相容因子和锥可逆因子总是大于相应的限制特征值，因此所得的预言不等式更加尖锐。在Cox回归模型中，黑塞矩阵是基于删失风险集中的时间相关协变量，因此即使在真实回归系数下对Hessian进行评估，相容性和锥可逆因子以及限制特征值也是随机变量。在温和的条件下，我们证明了这些数量是有界的，从下面的正常数随时间变化的协变量，包括协变量的数量是大于样本量的情况下。因此，在我们的预言不等式中，相容因子和锥可逆因子可以作为正常数来处理。
2013-06-20 math.ST stat.TH
Optimal oracle inequalities for model selection
模型选择通常是通过经验风险最小化来进行的。在给定的情况下，选择的质量可以通过风险界限来评估，这需要对所使用的损失的边际和尾部进行假设。从回归、分类和密度估计这3个基本估计问题的实例出发，在连续弱化条件下，给出了经验风险最小化的风险界，并在一般水平上证明了它们，即超额损失的一般裕度和幂尾行为。
2008-06-25 math.ST stat.TH
Sharp oracle inequalities and slope heuristic for specification probabilities estimation in discrete random fields
研究了非必要有限离散随机场中部分可观测独立样本的单点规格概率估计问题。我们的程序是基于模型选择的惩罚经验标准的最小化。所选择的估计满足$L_2$ -风险中的尖锐预言不等式。我们还得到了理论结果的斜率启发式为这个问题，证明斜率算法校准的领先常数的惩罚。我们的方法的实际性能进行了研究，在两个模拟研究。我们说明了我们的方法的有用性，通过应用该方法从大鼠海马的多单元神经元数据。
2016-01-15 math.ST stat.TH
Structural adaptation via $L_p$-norm oracle inequalities
本文研究满足一定结构假设的多元函数的自适应估计问题。我们提出了一种新的估计过程，同时适应未知的结构和光滑的底层功能。结构自适应问题被描述为从给定的估计量集合中进行选择的问题。我们开发了一个一般的选择规则，并建立了它的全球预言不等式任意$\rL_p$ -损失。这些结果适用于加性多指标模型的自适应估计。
2007-04-19 math.PR math.ST stat.TH
Oracle inequalities for square root analysis estimators with application to total variation penalties
通过对分析估计量的直接研究，我们通过调整Dalalyan，Hebiri和Lederer（2017）涉及投影的参数，推导出具有快速和慢速的预言不等式。然后，我们将理论推广到平方根分析估计。最后，我们专注于（平方根）的全变差正则化估计图，并获得常数友好的速率，其中，对数项，匹配熵计算得到的结果。我们还得到了循环图上的（平方根）全变差正则化估计的一个预言不等式。
2019-12-14 math.ST stat.ML stat.TH
Non-asymptotic Oracle Inequalities for the High-Dimensional Cox Regression via Lasso
我们考虑了正则化高维Cox回归的有限样本性质。现有的文献主要集中在线性模型或具有Lipschitz损失函数的广义线性模型，其中经验风险函数是独立同分布（iid）损失的总和。然而，截尾生存数据的负对数偏似然函数中的被加数既不是iid也不是Lipschitz。首先用iid非Lipschitz项之和逼近负对数偏似然函数，然后利用逐点变元推导了lasso惩罚Cox回归的非渐近预言不等式，解决了由于缺乏iid和Lipschitz性质而带来的困难.
2012-04-09 math.ST stat.ML stat.TH
Estimation in the convolution structure density model. Part I: oracle inequalities
在$\bR^d$上的卷积结构密度模型的框架下，研究了$\bL_p$ -损失下的非参数估计问题，即$p\in [1,\infty)$.该观测方案是直接观测和间接观测下的密度估计两种经典统计模型的推广。在第一部分中，原始逐点选择规则从家庭的“核型”估计提出。对于所选的估计量，我们证明了一个$\bL_p$ -范数预言不等式及其几个结果。在第二部分中，自适应极小极大估计下的问题$\bL_p$ -损失的各向异性Nikol'skii类的规模解决。我们充分刻画了极大极小风险的行为，在函数类和风险的定义中，正则性参数和范数指标之间存在不同的关系。我们证明了在第一部分中提出的选择规则导致建设的最佳或接近最佳（对数因子）的自适应估计。
2017-04-14 math.ST stat.TH
Compound Poisson Point Processes, Concentration and Oracle Inequalities
本文是继Zhang \emph{et al.} [Insurance~Math.~经济学~ 59（2014），325-336]。第一部分给出了离散复合Poisson点过程（由{Acz{é}l} [Acta~Math.~ Hungar.~ 3（3）（1952），219-224]），推广了Copeland和Regan [Ann.~数学~（1936）：357-362]。其次，我们得到了离散复合Poisson点过程（负二项随机变量的离差是一个重要例子）的一些集中不等式。这些浓度不等式在计数数据回归中是潜在有用的。给出了加权Lasso惩罚负二项回归中惩罚似然的KKT条件以高概率成立的一个应用，并给出了加权Lasso估计的非渐近预言不等式.
2019-12-08 math.PR math.ST stat.TH
Oracle Inequalities for High Dimensional Vector Autoregressions
本文建立了平稳向量自回归模型中LASSO的预测误差和估计精度的非渐近预言不等式。这些不等式用于建立LASSO的一致性，即使当参数的数量比样本量大得多的数量级。我们也给出了条件下，没有相关的变量被排除在外。接下来，给出了自适应LASSO选择正确稀疏模式的非渐近概率。然后，我们给出的条件下，自适应LASSO揭示了正确的稀疏模式渐近。我们建立了非零系数的估计渐近等价于Oracle辅助最小二乘估计。这用于表明非零系数估计值的收敛速率与仅包括相关协变量的最小二乘法的收敛速度相同。
2014-05-15 math.ST stat.ML stat.TH
Oracle inequalities for network models and sparse graphon estimation
非齐次随机图模型包括随机块模型、潜在位置模型等多种网络模型。我们考虑的问题的统计估计的连接概率矩阵的观测值的基础上的邻接矩阵的网络。以随机块模型为近似，我们构造了网络连接概率的估计--普通块常数最小二乘估计及其限制形式。我们证明了它们满足关于块常数oracle的oracle不等式。因此，我们得到的概率矩阵的估计的最佳速率。我们的结果涵盖了稀疏网络的重要设置。另一个后果是建立上界的极小极大风险的graphon估计的$L\_2$规范时，概率矩阵的采样根据graphon模型。这些界限包括一个额外的术语占的“不可知”的错误引起的潜在的不可观测变量的graphon模型的变化。在这种情况下，最优速率不仅像通常的非参数问题那样受到偏差和方差分量的影响，而且还包括第三个分量，即不可知误差。结果揭示了经验损失下的估计（概率矩阵估计）和综合损失下的估计（graphon估计）之间的差异。
2017-09-13 math.ST stat.TH
Sharp Oracle Inequalities for Square Root Regularization
研究了高维线性回归模型的一组正则化方法。这些惩罚估计以残差平方和的平方根作为损失函数，以任何弱可分解范数作为罚函数。选择该拟合度量是因为其估计量不依赖于噪声的未知标准差的特性。另一方面，广义弱可分解范数罚函数在处理不同的稀疏结构时非常有用。我们可以根据我们想要如何解释未知参数向量$β$来选择不同的稀疏性诱导范数。Micchelli等人[18]中定义的结构稀疏范数是弱可分解范数的特殊情况，因此我们还包括平方根LASSO（Belloni等人[3]），群平方根LASSO（Bunea等人[10]）和一种称为平方根SLOPE的新方法（与Bogdan等人[6]的SLOPE类似）。对于这个集合的估计，我们的结果提供了尖锐的甲骨文不等式与Karush-Kuhn-Tucker条件。我们讨论一些估计的例子。基于仿真，我们说明了平方根斜率的一些优点。
2016-06-27 math.ST stat.TH
Anisotropic oracle inequalities in noisy quantization
量化变量中的误差的影响进行了研究。证明了基于噪声样本$Z_i=X_i+ε_i,i=1,\ldots,n$的经验极小化问题的一般快速精确和非精确预言不等式，其中$X_i$是独立同分布的. $f$和$ε_i$的密度为i.i.d.。密度为$η$。这些速率依赖于密度$f$的几何形状和$η$的特征函数的渐近行为。这个一般性的研究可以应用到问题的$k$ -均值聚类与噪声数据。为此，我们引入了一个反卷积$k$ -平均随机最小化，达到快速的标准波拉德的正则性假设下的收敛速度。
2013-05-03 math.ST stat.ML stat.TH
Aggregation by exponential weighting, sharp PAC-Bayesian bounds and sparsity
研究了确定性设计回归模型中平方损失下的聚集问题。我们得到尖锐的PAC贝叶斯风险界定义通过指数权重的聚集，在一般假设下的分布误差和聚集的功能。然后，我们应用这些结果来推导稀疏预言不等式。
2013-03-22 math.ST stat.TH
Sharp oracle inequalities for Least Squares estimators in shape restricted regression
研究了保序、单峰和凸回归中最小二乘（LS）估计的性能。我们的结果有尖锐的预言不等式的形式，占模型的误指定错误。在保序和单峰回归中，LS估计量实现非参数率$n^{-2/3}$以及阶数为$k/n$的参数率，直到对数因子，其中$k$是真实参数的常数段的数量。在单变量凸回归中，LS估计量满足阶数为$q/n$直到对数因子的自适应风险界，其中$q$是真实回归函数的仿射片段的数量。这种自适应风险界限适用于任何设计点。虽然Guntuboyina和Sen（2013）确定了凸回归的非参数速率对于等间距设计点为$n^{-4/5}$阶，但我们证明了凸回归的非参数速率对于某些最差情况设计点可能与$n^{-2/3}$一样慢。这种现象可以解释如下：虽然凸性比单峰性带来更多的结构，但对于某些最差情况的设计点，这种额外的结构是没有信息的，单峰回归和凸回归的非参数率都是$n^{-2/3}$。
2016-08-08 math.ST stat.TH
On universal oracle inequalities related to high-dimensional linear models
本文研究了从噪声数据$Y=Aθ+σξ$中恢复未知向量$θ$的问题，其中$A$是已知的$(m\times n)$ -矩阵，$ξ$是高斯白噪声.假设$n$是大的，并且$A$可能是严重不适定的。因此，为了估计$θ$，使用谱正则化方法，并且我们的目标是在数据$Y$的帮助下选择其正则化参数。对于与所谓的有序平滑器相关的谱正则化方法[参见Kneip Ann. 22（1994）835- 866]中，我们提出了经验风险最小化原则下的新惩罚。这些惩罚措施背后的基本思想与平衡过度风险有关。基于这种方法，我们得到了一个尖锐的预言不等式控制均方风险的数据驱动的谱正则化方法。
2010-11-10 math.ST stat.TH
Adaptive Nonparametric Estimation via Kernel Transport on Group Orbits: Oracle Inequalities and Minimax Rates
Institut National des Sciences de Gestion（国立管理科学学院）
本文提出基于群轨道核传输的非参数估计框架，通过双空间方法建立oracle不等式并实现最小最大最优速率，同时在目标函数具有轨道结构时提升估计效率。
2025-12-10 math.ST stat.TH
Estimation bounds and sharp oracle inequalities of regularized procedures with Lipschitz loss functions
当$\|\cdot\|$是任意范数，$F$是凸函数类，$\ell$是满足$F$上Bernstein条件的Lipschitz损失函数时，我们得到了形式为\begin{equation*} \hat f \in argmin_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\ell(f(X_i), Y_i)+λ\|f\|\right) \end{equation*}的正则化过程的估计差错率和尖锐的预言不等式.我们探讨了$f(X_i)$的分布的有界和亚高斯随机框架，没有对$Y_i$的分布的假设。一般的结果依赖于两个主要对象：一个复杂性函数，和一个稀疏性方程，这取决于具体的设置在手（损失$\ell$和规范$\|\cdot\|$）。作为概念的证明，我们在以下问题中获得了极大极小收敛速度：1）具有任何Lipschitz损失函数的矩阵完备化，包括问题的所谓1位矩阵完备化实例的铰链和逻辑损失，以及一般情况下的分位数损失，这使得能够估计矩阵条目上的任何分位数; 2）逻辑LASSO和变体，如逻辑SLOPE; 3）核方法，其中损失是铰链损失，并且正则化函数是RKHS范数。
2017-02-07 math.ST stat.TH
Oracle Inequalities for High-dimensional Prediction
现代科学中大量的高维数据使得人们对惩罚估计产生了极大的兴趣，如套索、缩放套索、平方根套索、弹性网等。本文用这种方法建立了高维线性回归预测的一个一般预言不等式。由于证明仅依赖于凸性和连续性参数，因此结果与设计矩阵无关，并适用于广泛的惩罚估计量。总体而言，界限表明，通用估计可以提供一致的预测与任何设计矩阵。从实践的角度来看，界可以帮助识别特定估计量的潜力，并且它们可以帮助在给定应用中获得预测精度的感觉。
2018-03-13 math.ST stat.ML stat.TH
Concentration inequalities of MLE and robust MLE
最大似然估计（MLE）在统计学和机器学习中起着重要作用。在本文中，对于i.i.d.变量，我们得到常数指定的和尖锐的浓度不等式和预言不等式的MLE只在指数矩条件下。在稳健背景下，在二阶矩条件下，得到了对数截尾极大似然估计的次高斯型预言不等式。
2022-12-12 econ.EM math.ST stat.TH
Oracle Inequalities and Optimal Inference under Group Sparsity
我们考虑在高斯噪声模型下估计稀疏线性回归向量$β^*$的问题，用于预测和模型选择。我们假设先验知识是可用的稀疏模式，即一组变量被划分成规定的组，其中只有少数是相关的估计过程中。这个组稀疏性假设建议我们考虑将组Lasso方法作为估计$β^*$的方法。我们建立预言不等式和$\ell_2$估计误差的估计。在设计矩阵上的限制特征值条件下，这些界限成立。在更强的相干条件下，我们得到了混合$(2,p)$ -范数与$1\le p\leq \infty$的估计误差的界.当$p=\infty$时，该结果意味着Group Lasso估计器的阈值版本以高概率选择$β^*$的稀疏模式。接下来，我们证明了我们的上界的收敛速率是最优的，在极大极小意义下，对数因子，对一类组稀疏向量的所有估计。此外，我们建立下界的预测和$\ell_2$估计误差的通常Lasso估计。使用这个结果，我们证明了组Lasso可以实现的预测和估计性能的改进相比，Lasso。
2010-07-22 math.ST stat.TH
Adaptive Kernel Ridge Regression with Linear Structure: Sharp Oracle Inequalities and Minimax Optimality
University of Toronto（多伦多大学）
本文提出一种改进的岭回归方法，通过引入显式线性成分提升模型性能，理论证明其在一般核函数下达到最小最大最优预测风险。
2026-05-12 math.ST stat.TH
Bounds on the prediction error of penalized least squares estimators with convex penalty
本文研究了具有任意凸罚的罚最小二乘估计。当观测噪声为高斯噪声时，我们证明了预测误差是一个集中在其中值附近的亚高斯随机变量。我们应用这个浓度属性，得到尖锐的预言不等式的预测误差的LASSO，组LASSO和斜率估计，无论是在概率和期望。与以前的工作LASSO型方法相比，我们的预言不等式的概率得到在任何置信水平的调整参数，不依赖于置信水平的估计。这也是为什么我们能够建立稀疏预言界的预期LASSO型估计，而以前已知的技术不允许控制的预期风险。此外，我们还证明了预言不等式中的集中率比以前通常理解的要好。
2016-09-21 math.ST stat.TH
Oracle inequalities for sign constrained generalized linear models
随着数据采集技术的发展，近年来对高维数据进行了分析。虽然在过去的二十年中已经开发了许多方法来获得稀疏恢复，但这些方法中的大多数都需要选择调谐参数。由于这一特点，这些方法获得的结果很大程度上取决于调谐。本文研究了具有凸损失函数的符号约束广义线性模型的理论性质，这是一种不需要调整参数的稀疏回归方法。最近的研究表明，在线性回归的情况下，如果设计矩阵除了传统的相容性条件之外还具有适当的假设，则单独的符号约束可以与Oracle方法一样有效。我们将这种结果推广到一个更一般的模型，其中包括逻辑回归和分位数回归。我们还进行了一些数值实验，以证实本文所得到的理论结果。
2017-11-09 math.ST stat.ME stat.TH
Oracle Inequalities for Convex Loss Functions with Non-Linear Targets
本文考虑了目标函数为未知非线性的凸损失函数的惩罚经验损失极小化问题。利用弹性网罚，我们建立了一个有限样本的预言不等式，它以高概率限制了我们的估计量的损失。如果未知目标是线性的，则该不等式还提供了所估计的参数向量的估计误差的上界。这些都是新的结果，它们推广了计量经济学和统计学文献。接下来，我们使用非渐近结果来证明我们的估计的超额损失是渐近的相同的顺序的预言。如果目标是线性的，我们给出了估计的参数向量的一致性的充分条件。接下来，我们简要讨论如何使用我们的估计量的阈值版本来执行一致的变量选择。我们给出了我们的框架所涵盖的损失函数的两个例子，并显示如何惩罚非参数序列估计包含作为一个特例，并提供了一个有限的样本上界的弹性净序列估计的均方误差。
2013-12-12 math.ST stat.ML stat.TH
Oracle Inequality for Instrumental Variable Regression
我们解决的问题，估计一个回归函数中观察到的工具回归框架。该模型是一个带有未知算子的反问题。我们提供了一个谱截止估计程序，使甲骨文不等式，保证我们的估计，建立没有任何先验知识，以及行为，直到$\log$长期，如果最好的模型是已知的。
2009-01-27 math.ST stat.TH
Prediction of time series by statistical learning: general losses and fast rates
我们建立了时间序列预测的收敛速度，使用基于Oracle不等式的统计学习方法。一系列的论文将iid观测值的oracle不等式推广到弱相依条件下的时间序列。给定一个预测子族和$n$观测值，预言不等式表明预测子预测序列以及族中最好的预测子直到剩余项$Δ_n$。利用PAC-Bayesian方法，在弱相依条件下建立了具有最优收敛速度的预言不等式。我们将以前的结果的绝对损失函数的任何Lipschitz损失函数率$Δ_n\sim\sqrt{c(Θ)/ n}$其中$c(Θ)$措施的模型的复杂性。本文应用分位数损失函数方法对法国GDP进行预测。在损失函数（由平方损失函数满足）和时间序列的附加条件下，我们改进了收敛到$Δ_n \sim c(Θ)/n$的速度。我们实现了第一次均匀混合过程的这些快速速率。已知这些速率在iid情况下和对于单个序列是最优的。特别是，我们推广的结果Dalalyan和Tsybakov稀疏回归估计的情况下，自回归。
2012-11-08 math.ST stat.TH
Sharp oracle inequalities and universality of the AIC and FPE
本研究突破了以往AIC、FPE效率研究需线性独立新息的强假设，在通用弱依赖下建立精确奥拉克尔不等式，证明二者普适性，涵盖多种动力系统，其推论包含渐近效率。
2024-06-19 math.PR math.ST stat.TH
Model selection for the robust efficient signal processing observed with small Lévy noise
本文提出了一种新的模型选择方法，用于脉冲噪声下的自适应鲁棒有效非参数信号估值估计。在此基础上，我们构造了估计程序，并在两种情况下进行了分析：非渐近和渐近的。对于这样的模型，我们第一次证明了二次和鲁棒风险的非渐近尖锐预言不等式，即我们证明了所构造的程序在尖锐预言不等式意义下是最优的。其次，利用所得的预言不等式，证明了当信噪比趋于无穷大时，自适应估计方法的渐近有效性.我们将所发展的模型选择方法应用于多径信息传输中的信号数目检测问题。
2018-11-24 math.ST stat.TH
2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization
设$\mathcal{F}$是定义在概率空间$(S,\mathcal{A},P)$上的一类可测函数$f:S\mapsto [0,1]$.给定样本（X_1，...，X_n）。随机变量取值于S中，具有公共分布P，设P_n表示基于（X_1，...，X_n）。研究了一个经验风险最小化问题$P_nf\to \min$，$f\in \mathcal{F}$ .给定这个问题的解$\hat{f}_n$，目标是获得其超额风险\[\mathcal{E}_P(\hat{f}_n):=P\hat{f}_n-\inf_{f\in \mathcal{F}}Pf,\]的非常一般的上界，该上界用类$\mathcal{F}$的相关几何参数表示。使用集中不等式和其他经验过程工具，我们得到了分布依赖和数据依赖的上界的超额风险，在许多例子中是渐近正确的顺序。边界涉及本地化的经验和Rademacher过程的超规范的功能从类索引。我们使用这些界限来开发抽象风险最小化问题中的模型选择技术，这些问题可以应用于更专业的回归和分类框架。
2007-08-01 math.ST stat.TH
Oracle Inequalities for High-Dimensional Panel Data Models
本文研究了回归变量个数远大于样本量的高维面板数据模型。在真实参数向量稀疏的假设下，我们提出了一种panel-Lasso估计，并在两组不同的协变量和误差项条件下，建立了其估计误差的有限样本上界.特别是，我们允许异方差和非高斯误差项是弱依赖于时间。在稀疏性假设下，给出了未观测到的异质性估计误差的上界。接下来，我们证明了我们的上界本质上是最优的，因为它们只能通过乘法常数来改进。然后，这些结果被用来表明，Lasso可以是一致的，即使在非常大的模型中，回归的数量以指数速度增加的样本量。还提供了Lasso不渐近丢弃任何相关变量的条件。在本文的第二部分中，我们给出了自适应Lasso在有限样本中选择正确稀疏模式的概率的下界。然后，这些结果被用来给条件下，自适应Lasso可以检测到正确的稀疏模式渐近。我们通过模拟说明了我们的有限样本结果，并应用该方法寻找解释八国集团国家增长的协变量。
2014-02-13 math.ST stat.TH
