Oracle Inequalities for High Dimensional Vector Autoregressions
本文建立了平稳向量自回归模型中LASSO的预测误差和估计精度的非渐近预言不等式。这些不等式用于建立LASSO的一致性，即使当参数的数量比样本量大得多的数量级。我们也给出了条件下，没有相关的变量被排除在外。接下来，给出了自适应LASSO选择正确稀疏模式的非渐近概率。然后，我们给出的条件下，自适应LASSO揭示了正确的稀疏模式渐近。我们建立了非零系数的估计渐近等价于Oracle辅助最小二乘估计。这用于表明非零系数估计值的收敛速率与仅包括相关协变量的最小二乘法的收敛速度相同。
2014-05-15 math.ST stat.ML stat.TH
The oracle property of the generalized outcome adaptive lasso
本文证明了高维因果推断变量选择方法 GOAL 具有神谕性质，并通过模拟表明其在处理共线性问题上优于 OAL。
2024-06-09 math.ST stat.ME stat.TH
Oracle Inequalities for High-dimensional Prediction
现代科学中大量的高维数据使得人们对惩罚估计产生了极大的兴趣，如套索、缩放套索、平方根套索、弹性网等。本文用这种方法建立了高维线性回归预测的一个一般预言不等式。由于证明仅依赖于凸性和连续性参数，因此结果与设计矩阵无关，并适用于广泛的惩罚估计量。总体而言，界限表明，通用估计可以提供一致的预测与任何设计矩阵。从实践的角度来看，界可以帮助识别特定估计量的潜力，并且它们可以帮助在给定应用中获得预测精度的感觉。
2018-03-13 math.ST stat.ML stat.TH
Oracle inequalities for ranking and U-processes with Lasso penalty
本文研究了高维情形下U-过程最小化的Lasso罚估计的性质。我们的注意力集中在机器学习中流行的排名问题上。它与根据观察到的预测器猜测对象之间的顺序有关。我们证明了所考虑的估计量的超额风险的预言不等式以及估计量和预言机之间的l1距离的界。
2015-12-17 stat.ML
Sparsity oracle inequalities for the Lasso
本文研究了随机设计下非参数回归中$\ell_1$ -惩罚最小二乘的预言性质。我们证明了惩罚最小二乘估计满足稀疏预言不等式，即，根据oracle vector的非零分量的数量来确定边界。即使当模型的维数（远）大于样本量且回归矩阵不正定时，结果也是有效的。它们可用于高维线性回归、非参数自适应回归估计和任意估计量的集结问题。
2007-05-23 math.ST stat.TH
Risk-consistency of cross-validation with lasso-type procedures
套索和相关的稀疏诱导算法已经成为大量理论和应用研究的目标。相应地，许多结果是已知的，他们的行为为一个固定的或最佳选择的调谐参数指定为未知常数。然而，在实践中，这个oracle调优参数是不可访问的，因此必须使用数据来选择一个。通常的统计实践是使用交叉验证的变体来完成这项任务。然而，很少有人知道的理论性质的预测与这种数据依赖的方法。我们考虑具有随机设计的高维设置，其中预测因子$p$的数量随着观察值$n$的数量而增长。在典型的假设下的数据生成过程中，类似于文献中的那些，我们恢复Oracle率的对数因子时，选择的调整参数与交叉验证。在较弱的条件下，当真正的模型不一定是线性的，我们表明，套索保持风险一致相对于其线性预言。我们还将这些结果推广到组套索和平方根套索，并通过模拟研究交叉验证的预测和模型选择性能。
2016-06-21 math.ST stat.ML stat.TH
Oracle inequalities for the Lasso in the high-dimensional Aalen multiplicative intensity model
在一般的计数过程设置中，我们考虑的问题，获得一个预测的生存时间调整协变量在高维。为此，我们构造了整个条件强度的估计。我们估计它的最佳Cox比例风险模型给出两个字典的功能。第一个字典用于构建基线风险函数的对数的近似值，第二个字典用于近似相对风险。我们引入了一个新的数据驱动的加权Lasso过程来估计最佳Cox模型的未知参数近似强度。我们提供了一个适当的经验Kullback分歧的非渐近预言不等式我们的程序。我们的结果依赖于经验伯恩斯坦不等式的跳跃和修改的自协调函数的性质的鞅。
2013-10-14 math.ST stat.TH
An l1-Oracle Inequality for the Lasso
在过去的几年里，套索吸引了许多作者的注意。虽然已经做了很多努力来证明，Lasso的行为就像一个变量选择过程的价格强（虽然不可避免的）假设这些变量的几何结构，少得多的注意力已经支付给Lasso作为正则化算法的性能分析。我们这里的第一个目的是在这个方向上提供一个概念上非常简单的结果。我们将证明，只要正则化参数选择得当，Lasso几乎和确定性Lasso一样有效。这个结果不需要任何假设，无论是对变量的结构还是对回归函数。我们的第二个目的是引入一个新的估计，特别适合于处理无限可数字典。该估计量被构造为Lasso估计量序列中的一个l0-惩罚估计量，该估计量序列与不断增长的截断字典的二元序列相关联。选择过程自动选择字典的最佳截断水平，以便在近似、l1正则化和稀疏性之间做出最佳权衡。从理论的角度来看，我们将提供一个预言不等式满足这个选定的Lasso估计。为Lasso和选定的Lasso估计量建立的Oracle不等式将使我们能够推导出在广泛的一类函数上的收敛速率，表明这些估计量至少与贪婪算法一样好。此外，我们将证明所选择的Lasso估计量的收敛速度是最佳的正交的情况下，从下面的极小极大风险的一些Besov机构的边界。最后，我们将在神经网络的具体框架下研究Lasso算法在无限不可数字典上的性能。本文所给出的所有预言不等式都是通过应用一个在一组非线性模型中选择模型的一般定理得到的，该定理是高斯浓度不等式的…
2010-07-27 math.ST stat.TH
Slope meets Lasso: improved oracle bounds and optimality
我们表明，两个多项式时间的方法，拉索估计自适应选择的调整参数和斜率估计，自适应实现精确的极小极大预测和$\ell_2$估计率$(s/n)\log (p/s)$在高维线性回归类的$s$ -稀疏目标向量$\mathbb R^p$。这是在Lasso的限制特征值（RE）条件下以及在对Slope的设计的稍微更多约束的假设下完成的。主要结果具有尖锐的预言不等式的形式，考虑到模型的误设定误差。当模型被很好地指定时，还得到了用$1\le q\le 2$的$\ell_q$估计误差的极小极大最优界。结果是非渐近的，并保持在概率和期望。我们对设计施加的假设是满足高概率的一个大类的随机矩阵与独立的，可能各向异性分布的行。我们给出了一个比较分析的条件下，可以得到的拉索和斜率估计的预言界。特别地，我们证明了几个已知的条件，如RE条件和稀疏特征值条件是等价的，如果回归的$\ell_2$ -范数一致有界。
2017-05-24 math.ST stat.TH
Rates of convergence of the Adaptive LASSO estimators to the Oracle distribution and higher order refinements by the bootstrap
邹[J].美国统计学. Assoc.101（2006）1418-1429]提出了用于同时变量选择和回归参数估计的自适应LASSO（ALASSO）方法，并建立了其预言性质。本文研究了当回归参数的维数随样本量增长到无穷大时，ALASSO估计对Oracle分布的收敛速率。结果表明，率严重依赖于罚参数和初始估计的选择，以及其他因素，和置信区间（CI）的基础上的预言极限法往往有差的覆盖精度。作为一种替代方案，我们考虑了ALASSO估计量的残差自助法，该方法最近已被证明是一致的;参见。Chatterjee和Lahiri [J. Amer. Statist. 106（2011 a）608-625]。我们表明，适用于一个合适的学生化版本的ALASSO估计的引导达到二阶正确性，即使当回归参数的维数是无界的。从一个中等规模的模拟研究结果显示，在覆盖准确性显着改善的引导CI基于Oracle的CI。
2013-07-08 math.ST stat.TH
Higher Order Refinements by Bootstrap in Lasso and other Penalized Regression Methods
从高维回归模型中选择重要协变量并去除不重要的协变量是一个长期存在的问题，因此在过去的二十年中受到了很多关注。选择正确的模型后，正确估计与重要协变量对应的现有参数也很重要。本着这种精神，Fan和Li（2001）提出了Oracle属性作为变量选择方法的一个理想特征。Oracle的性质有两个方面，一个是变量选择一致性（VSC），另一个是渐近正态性。Fan和Lv（2008）在保持VSC不变的同时，使另一部分变得更强，从而引入了强预言性质。本文研究了变结构控制中的惩罚回归技术，并对基于预言和强预言性质的惩罚回归技术进行了分类。我们表明，无论是残差和扰动自助法是二阶正确的任何惩罚估计，无论其类。最有趣的是Tibshirani（1996）提出的套索。虽然Lasso是VSC，但它不是渐近正态的，因此不能满足oracle性质。
2019-09-14 math.ST stat.ME stat.TH
The Lasso, correlated design, and improved oracle inequalities
我们研究高维线性模型和$\ell_1$ -惩罚最小二乘估计，也称为Lasso估计。在文献中，预言不等式已经在限制特征值或相容性条件下得到。在本文中，我们补充说，熵条件，允许一个改进的对偶范数界，并演示了如何导致新的预言不等式。新的预言不等式表明，一个较小的选择的调整参数和$\ell_1$ -范数和小的兼容常数之间的权衡是可能的。这意味着，特别是相关的设计，改进的界限的Lasso估计的预测误差相比，基于限制的特征值或兼容性条件的方法。
2011-07-01 stat.ME
Oracle Efficient Estimation of Structural Breaks in Cointegrating Regressions
在本文中，我们提出了一个自适应组套索过程，有效地估计协整回归的结构突变。众所周知，在结构突变背景下，群Lasso估计不同时具有估计相容性和模型选择相容性。因此，我们使用第一步组套索估计的发散数目的断点候选人，以产生第二自适应组套索估计的权重。我们证明了参数变化的估计一致的组套索和显示的估计休息的数量是大于真实的数字，但仍然足够接近它，然后，我们使用这些结果，并证明了自适应组套索具有预言性质，如果权重从我们的第一步估计。仿真结果表明，该估计器提供了预期的结果。美国长期货币需求函数的经济应用表明了这种方法的实际意义。
2021-04-20 econ.EM stat.ML
Bounds on the prediction error of penalized least squares estimators with convex penalty
本文研究了具有任意凸罚的罚最小二乘估计。当观测噪声为高斯噪声时，我们证明了预测误差是一个集中在其中值附近的亚高斯随机变量。我们应用这个浓度属性，得到尖锐的预言不等式的预测误差的LASSO，组LASSO和斜率估计，无论是在概率和期望。与以前的工作LASSO型方法相比，我们的预言不等式的概率得到在任何置信水平的调整参数，不依赖于置信水平的估计。这也是为什么我们能够建立稀疏预言界的预期LASSO型估计，而以前已知的技术不允许控制的预期风险。此外，我们还证明了预言不等式中的集中率比以前通常理解的要好。
2016-09-21 math.ST stat.TH
Beyond the Oracle Property: Adaptive LASSO in Cointegrating Regressions with Local-to-Unity Regressors
Institute of Statistics and Mathematical Methods in Economics, TU Wien（维也纳工业大学统计与数学方法经济学研究所）
本文提出了一种在协整回归中适用于局部至单位回归器的自适应LASSO方法，通过构建有效且可靠的置信区间，解决了传统Oracle性质在有限样本下的局限性。
2026-03-12 econ.EM math.ST stat.ME
Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression
本文研究了稀疏高维线性回归模型下Lasso+mLS和Lasso+Ridge的渐近性质：Lasso选择预测变量，然后用修正的最小二乘（mLS）或Ridge估计其系数.首先，我们提出了一个有效的推理过程的参数估计的基础上参数残差自助Lasso+mLS和Lasso+岭。其次，我们推导了Lasso+mLS和Lasso+Ridge的渐近无偏性。更具体地说，我们表明，他们的偏见以指数速度衰减，他们可以实现预言收敛速度$s/n$（其中$s$是非零回归系数的数量和$n$是样本量）的均方误差（MSE）。第三，我们证明了Lasso+mLS和Lasso+Ridge是渐近正态的。他们有一个预言性质，在这个意义上，他们可以选择真正的预测与概率收敛到1和非零参数的估计有相同的渐近正态分布，如果零参数是已知的。事实上，我们的分析并不局限于在选择阶段采用Lasso，而是适用于选择错误模型的概率呈指数衰减率的任何其他模型选择标准。
2014-01-12 math.ST stat.TH
A sharp oracle inequality for Graph-Slope
继最近成功的斜率估计的分析，我们提供了一个尖锐的预言不等式的预测误差的Graph-Slope，一个概括的斜率观察到的信号在一个图。除了改进全变差去噪器（也称为Graph-Lasso或广义Lasso）迄今为止获得的最佳结果外，我们还提出了一种计算Graph-Slope的有效算法。该算法是通过将前向-后向方法应用于图-斜率最优化问题的对偶形式而得到的。我们还提供了实验显示的方法的兴趣。
2017-11-20 math.ST stat.TH
Oracle inequalities for the lasso in the Cox model
本文研究了稀疏高维Cox比例风险回归模型中的绝对惩罚最大偏似然估计，其中时间相关协变量的数量可以大于样本量。基于黑塞矩阵在真回归系数下的相容性和锥可逆因子的自然扩张，建立了Oracle不等式。我们的方法也可以证明类似的结果的基础上的限制本征值的扩展。由于相容因子和锥可逆因子总是大于相应的限制特征值，因此所得的预言不等式更加尖锐。在Cox回归模型中，黑塞矩阵是基于删失风险集中的时间相关协变量，因此即使在真实回归系数下对Hessian进行评估，相容性和锥可逆因子以及限制特征值也是随机变量。在温和的条件下，我们证明了这些数量是有界的，从下面的正常数随时间变化的协变量，包括协变量的数量是大于样本量的情况下。因此，在我们的预言不等式中，相容因子和锥可逆因子可以作为正常数来处理。
2013-06-20 math.ST stat.TH
Asymptotic Theory of the Sparse Group LASSO
本文提出了一个惩罚凸经验准则的一般框架和一个新版本的稀疏群LASSO（SGL，Simon等人，2013），称为自适应SGL，其中SGL的两个惩罚都由初步随机系数加权。我们广泛地探讨了它的渐近性质，并证明了这个估计满足所谓的预言性质（Fan和Li，2001），即基于稀疏性的估计恢复真实的底层稀疏模型，并渐近正态分布。然后，我们研究了它的渐近性质在一个双渐近框架，其中参数的数量与样本量发散。我们通过仿真表明，自适应SGL优于其他甲骨文类方法的估计精度和变量的选择。
2016-11-29 math.ST stat.TH
Oracle Inequalities and Optimal Inference under Group Sparsity
我们考虑在高斯噪声模型下估计稀疏线性回归向量$β^*$的问题，用于预测和模型选择。我们假设先验知识是可用的稀疏模式，即一组变量被划分成规定的组，其中只有少数是相关的估计过程中。这个组稀疏性假设建议我们考虑将组Lasso方法作为估计$β^*$的方法。我们建立预言不等式和$\ell_2$估计误差的估计。在设计矩阵上的限制特征值条件下，这些界限成立。在更强的相干条件下，我们得到了混合$(2,p)$ -范数与$1\le p\leq \infty$的估计误差的界.当$p=\infty$时，该结果意味着Group Lasso估计器的阈值版本以高概率选择$β^*$的稀疏模式。接下来，我们证明了我们的上界的收敛速率是最优的，在极大极小意义下，对数因子，对一类组稀疏向量的所有估计。此外，我们建立下界的预测和$\ell_2$估计误差的通常Lasso估计。使用这个结果，我们证明了组Lasso可以实现的预测和估计性能的改进相比，Lasso。
2010-07-22 math.ST stat.TH
A Practical Scheme and Fast Algorithm to Tune the Lasso With Optimality Guarantees
提出了一种新的高维Lasso线性回归正则化参数选择方法。该方案受Lepski的非参数回归带宽选择方法的启发，具有最优有限样本保证和快速算法。特别地，对于任何设计矩阵，使得Lasso在正则化参数的“预言选择”下具有低的超范数误差，我们证明了我们的方法在一个小的常数因子下匹配预言性能，并且表明它可以通过沿着单个Lasso路径执行简单的测试来实现。我们发现，我们的新方案可以比标准方案（例如交叉验证）更快和更准确。
2016-11-08 math.ST stat.ME stat.TH
On Lasso refitting strategies
l_1-惩罚估计量的一个众所周知的缺点是大系数向零的系统收缩。一个简单的补救方法是将Lasso视为一个模型选择程序，并在选定的支持上执行第二个改装步骤。在这项工作中，我们正式的改装的概念，并提供Oracle边界任意改装程序的拉索解决方案。基于最小二乘的估计量修正技术是目前应用最广泛的估计量修正技术之一，但由于修正后的估计量的符号可能与原估计量的符号相反，因此存在可解释性问题。这个问题源于这样一个事实，即最小二乘重构只考虑Lasso解的支持，避免任何关于符号或振幅的信息。为此，我们定义了一个符号一致的改装作为一个任意改装过程，保持第一步Lasso解决方案的迹象，并提供Oracle不等式，这样的估计。最后，我们考虑特殊的改装策略：Bregman Lasso和Boosted Lasso。Bregman Lasso有一个富有成效的特性，可以收敛到符号最小二乘重新拟合（带符号约束的最小二乘），这提供了更好的可解释性。我们还研究了Bregman Lasso改装的正交设计的情况下，所提出的方法背后提供简单的直观。相比之下，Boosted Lasso考虑了第一个Lasso步骤的大小信息，并允许开发更好的预测预言率。最后，我们进行了广泛的数值研究，以显示在不同的合成和半真实的情况下，一种方法比其他方法的优势。
2018-11-12 math.ST stat.AP stat.TH
Thresholded Lasso for high dimensional variable selection and statistical estimation
给定$n$噪声样本与$p$维度，其中$n \ll p$，我们表明，基于Lasso的多步阈值处理过程-我们称之为{ \it holded Lasso}，可以准确地估计线性模型$Y = X β+ ε$中的稀疏向量$β\in \R^p$，其中$X_{n \times p}$是一个归一化为列$\ell_2$范数$\sqrt{n}$和$ε\sim N(0, σ^2 I_n)$的设计矩阵。我们表明，在限制特征值（RE）条件下，（Bickel-Ritov-Tsybakov 09），在选择足够稀疏的模型时，可以在理想均方误差的对数因子内实现$\ell_2$损失，从而实现{ \it稀疏预言不等式};预言机将提供关于哪些坐标是非零的以及哪些坐标在噪声水平之上的完美信息。从某种意义上说，保留的Lasso恢复了$\ell_0$惩罚最小二乘估计量所做的选择，因为它选择了一个足够稀疏的模型，而不会牺牲估计$β$和预测$X β$的准确性。我们还证明了高斯-丹齐格选择器（Candès-Tao 07），如果$X$服从一致不确定性原则，并且如果真参数足够稀疏，则将实现如上所述的稀疏预言不等式，同时在最坏情况下允许模型中最多有$s_0$个无关变量，其中$s_0 \leq s$是最小整数，使得对于$λ= \sqrt{2 \log p/n}$，$\sum_{i=1}^p \min(β_i^2, λ^2 σ^2) \leq …
2010-02-11 math.ST stat.TH
The Lasso for High-Dimensional Regression with a Possible Change-Point
本文考虑了一个高维回归模型，由于协变量阈值的存在，可能存在一个变点，并给出了回归系数和门限参数的Lasso估计。我们的Lasso估计不仅选择协变量，而且还选择线性和阈值回归模型之间的模型。在稀疏性假设下，我们得到了预测风险和回归系数的$\ell_1$估计损失的非渐近预言不等式。由于Lasso估计同时选择变量，我们证明了Oracle不等式可以在不预先检验阈值效应存在的情况下建立。此外，我们建立的条件下，未知的门限参数的估计误差可以由一个接近$n^{-1}$的因素，即使当回归的数量可以远远大于样本量（$n$）。我们说明了我们提出的估计方法的实用性，通过蒙特卡罗模拟和实际数据的应用。
2014-04-19 math.ST stat.TH
The Adaptive Lasso with Weighted IPW Factor and KRR Penalty Function
Beijing University of Technology（北京工业大学）
本文提出一种结合加权IPW因子与KRR惩罚的自适应Lasso，证明其具有Oracle性质，并通过数值模拟验证其性能接近极小极大最优。
2026-10-08 math.ST stat.TH
Model selection by LASSO methods in a change-point model
本文考虑了在未知时刻具有多个变点的线性回归模型。LASSO技术是非常有趣的，因为它允许参数估计，包括变点，和自动变量选择同时进行。的LASSO型（作为特殊情况下的LASSO估计）和自适应LASSO估计的渐近性质进行了研究。对于这最后一个估计的预言性质证明。在这两种情况下，提出了模型选择标准。数值例子显示的自适应LASSO估计相比，LS估计的性能。
2012-04-18 math.ST stat.TH
Non-asymptotic oracle inequalities for the Lasso in high-dimensional mixture of experts
The University of Queensland（昆士兰大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆汀·莫雷尔实验室）；La Trobe University（拉筹伯大学）；Kyushu University（九州大学）；IRT SystemX
本文针对高维 softmax 门控高斯 MoE 模型，在参数有界的温和条件下建立 Lasso 估计的非渐近 KL 损失 oracle 不等式，并通过模拟验证理论结果。
2024-07-02 cs.AI cs.LG math.ST
High-dimensional additive hazard models and the Lasso
本文考虑了非渐近情形下的一般高维可加性风险模型，包括删失数据的回归。在这种情况下，我们考虑一个完全数据驱动的$\ell_1$惩罚的Lasso估计器，它是针对手头的估计问题而调整的。我们证明了这个估计尖锐的甲骨文不等式。我们的分析涉及一个新的“数据驱动”伯恩斯坦不等式，该不等式具有独立的意义，其中可预测的变化被可选择的变化所取代。
2012-03-02 math.ST stat.TH
Sparse space-time models: Concentration Inequalities and Lasso
受Kalikow型分解的启发，我们引入了一个新的无限神经元网络随机模型，建立了Lasso方法的尖锐预言不等式，并以高概率给出了相应的Gram矩阵的限制特征值性质.即使网络只被部分观察，这些结果也是成立的。主要的论点依赖于这样一个事实，即浓度不等式可以很容易地推导出的转移概率的基本过程，承认一个稀疏的时空表示。
2019-08-12 math.ST stat.TH
Simultaneous analysis of Lasso and Dantzig selector
我们展示了Lasso估计和Dantzig选择器之间的近似等价性。对于这两种方法，我们推导出并行的预言不等式的预测风险的一般非参数回归模型，以及在线性模型中的$1\le p\le 2$的$\ell_p$估计损失的界限时，变量的数量可以远远大于样本量。
2010-11-09 math.ST stat.TH
Oracle Properties and Finite Sample Inference of the Adaptive Lasso for Time Series Regression Models
我们得到了新的理论结果的性质的自适应最小绝对收缩和选择算子（自适应套索）的时间序列回归模型。特别是，我们调查的问题，如何进行有限样本推断的参数给定的自适应套索模型的一些固定值的收缩参数。在这项研究中的中心是一个给定的自适应套索参数等于零，因此测试假阳性的假设的测试。为此，我们构建了一个简单的测试程序，并通过广泛的蒙特卡罗模拟，理论和经验表明，自适应套索结合高效的参数估计，变量选择，并在一个步骤中有效的有限样本推理。此外，我们分析得出的偏差校正因子，是能够显着提高实证覆盖率的测试活动变量。最后，我们应用所介绍的测试程序来研究短期利率动态和经济之间的关系，从而提供了一个统计基础（从模型选择的角度来看）的经典泰勒规则货币政策模型。
2013-12-05 q-fin.GN stat.ME
The Adaptive $τ$-Lasso: Robustness and Oracle Properties
本文提出自适应 $τ$-Lasso 估计器，通过引入自适应 $\ell_1$-范数惩罚项处理高维污染数据，证明了其具备神谕性质与稳健性，在预测和变量选择上表现优异。
2025-04-29 cs.LG eess.SP stat.ML
Thresholded Lasso for high dimensional variable selection
针对高维线性回归中的变量选择，提出阈值化Lasso方法，在受限特征值条件下达到稀疏预言不等式，且模拟验证了理论结果。
2025-10-27 math.ST stat.TH
On Dantzig and Lasso estimators of the drift in a high dimensional Ornstein-Uhlenbeck model
本文给出了稀疏约束下高维Ornstein-Uhlenbeck模型漂移的Dantzig和Lasso估计的新的理论结果。我们的重点是甲骨文不等式的估计和误差界方面的几个规范。在Lasso估计的上下文中，我们的论文与[11]密切相关，[11]研究了行稀疏下的相同问题。我们改进了它们的速率，并证明了仅在遍历性假设下的限制特征值性质。最后，我们展示了一个数值分析，以揭示有限样本的Dantzig和Lasso估计性能。
2020-08-03 math.ST stat.TH
Adaptive robust variable selection
高维重尾数据在各个科学领域中普遍存在，对现代统计分析提出了巨大的挑战。解决这个问题的一个自然过程是使用带有加权$L_1$ -惩罚的惩罚分位数回归，称为加权鲁棒Lasso（WR-Lasso），其中引入权重来改善由$L_1$ -惩罚引起的偏差问题。在维数随样本量呈指数增长的超高维情形下，我们研究了模型选择的预言性质，建立了WR-Lasso的渐近正态性.我们表明，只有温和的条件模型误差分布是必要的。我们的理论结果还表明，自适应选择的权向量是必不可少的WR-Lasso享受这些好的渐近性质。为了使WR-Lasso实际可行，我们提出了一个两步的过程，称为自适应鲁棒Lasso（AR-Lasso），其中在第二步中的权向量是基于$L_1$惩罚分位数回归估计从第一步。理论上证明了这两步过程具有预言性质和渐近正态性。数值研究表明，有利的有限样本性能的AR-套索。
2014-03-21 math.ST stat.TH
On Lasso estimator for the drift function in diffusion models
本文研究了扩散情形下漂移分量的Lasso估计的性质。更具体地说，我们考虑了一个多元参数扩散模型$X$连续观察到的间隔$[0,T]$和研究稀疏约束下的漂移估计。我们允许模型和参数空间的维数很大。利用扩散过程的线性泛函的浓度不等式，得到了Lasso估计的一个预言不等式，并得到了$L^2$ -距离的一个误差界.概率部分是基于经验过程理论的元素，特别是在链接方法。
2023-03-28 math.ST stat.TH
Aggregation of supports along the Lasso path
在固定设计的线性回归中，我们提出了两个程序来聚合数据驱动的支持集。该集合是$2^p$可能支持的子集，其基数和元素都可以依赖于数据。该方法不需要对设计矩阵作任何假设，满足oracle不等式.然后，我们使用这些过程来聚合Lasso的正则化路径上出现的支持度，以构建一个模拟最佳Lasso估计量的估计量。如果满足设计矩阵上的约束特征值条件，则该估计器达到最优预测界。最后，我们讨论了这些程序的计算成本。
2016-05-31 math.ST stat.TH
Asymptotically Honest Confidence Regions for High Dimensional Parameters by the Desparsified Conservative Lasso
在本文中，我们考虑保守的Lasso，我们认为它比Lasso更正确地惩罚，并展示了如何在van de Geer et al.（2014）的意义上对其进行去分解，以构建渐近诚实（均匀）的置信带。特别是，我们开发了一个预言不等式的保守Lasso只假设存在一定数量的时刻。这是通过Marcinkiewicz-Zygmund不等式完成的。我们允许异方差非亚高斯误差项和协变量。接下来，我们解parsify保守的Lasso估计，并推导出渐近分布的测试，涉及越来越多的参数。我们的模拟结果表明，去parsised保守的Lasso估计的参数比去parsised Lasso更精确，具有更好的大小属性，并产生具有优越的覆盖率的置信带。
2017-11-12 math.ST stat.TH
A Power and Prediction Analysis for Knockoffs with Lasso Statistics
Knockoffs是一个新的框架，用于控制涉及复杂统计模型的多个假设检验问题中的错误发现率（FDR）。虽然第一类错误控制一直受到重视，但对第二类错误的研究却少得多。在本文中，我们分析了假阴性率，或等效地，与拉索解决方案的路径下的i.i.d.高斯设计，并发现仿制品渐近实现接近最优功率相对于一个无所不知的神谕。此外，我们证明，对于稀疏信号，通过敲除滤波进行模型选择实现了接近理想的预测误差相比，一个拉索甲骨文配备了充分的知识的未知回归系数的分布。身份证。采用高斯设计来利用关于Lasso估计的经验分布的结果，这使得knockoff和oracle程序的功效计算成为可能。
2017-12-18 stat.ME
LASSO estimation for spherical autoregressive processes
本文的目的是研究一类球形函数自回归过程，以便引入和研究相应自回归核的LASSO（最小绝对收缩和选择算子）类型估计，该估计通过其谱分解定义在调和域中。证明了这些估计的一些重要性质，特别是一致性和预言不等式。
2020-07-03 math.PR math.ST stat.ME
Compound Poisson Point Processes, Concentration and Oracle Inequalities
本文是继Zhang \emph{et al.} [Insurance~Math.~经济学~ 59（2014），325-336]。第一部分给出了离散复合Poisson点过程（由{Acz{é}l} [Acta~Math.~ Hungar.~ 3（3）（1952），219-224]），推广了Copeland和Regan [Ann.~数学~（1936）：357-362]。其次，我们得到了离散复合Poisson点过程（负二项随机变量的离差是一个重要例子）的一些集中不等式。这些浓度不等式在计数数据回归中是潜在有用的。给出了加权Lasso惩罚负二项回归中惩罚似然的KKT条件以高概率成立的一个应用，并给出了加权Lasso估计的非渐近预言不等式.
2019-12-08 math.PR math.ST stat.TH
Least squares after model selection in high-dimensional sparse models
在这篇文章中，我们研究后模型选择估计，适用于普通最小二乘（OLS）的第一步惩罚估计，典型的Lasso选择的模型。众所周知，Lasso可以以接近Oracle的速率估计非参数回归函数，因此很难改进。我们表明，OLS后Lasso估计执行至少以及Lasso的收敛速率方面，并具有较小的偏差的优势。值得注意的是，即使基于Lasso的模型选择“失败”，也会出现这种性能，因为它丢失了“真正”回归模型的一些组成部分。所谓“真”模型，我们指的是对预言机选择的非参数回归函数的最佳s维逼近。此外，如果基于Lasso的模型选择正确地包括“真”模型的所有分量作为子集，并且还实现了足够的稀疏性，则在收敛速度收敛速率严格更快的意义上，OLS post-Lasso估计量可以严格优于Lasso。在极端情况下，当Lasso完美地选择“真”模型时，OLS post-Lasso估计量成为oracle估计量。在我们的分析中，一个重要的成分是一个新的稀疏约束的维度选择的模型的Lasso，这保证了这个维度是在最多的相同的顺序作为“真正的”模型的维度。我们的速率结果是非渐近的，并在参数和非参数模型。此外，我们的分析不仅限于在第一步中作为选择器的Lasso估计器，而且还适用于任何其他估计器，例如，各种形式的阈值Lasso，具有良好的速率和良好的稀疏性。我们的分析涵盖了传统的阈值和一个新的实用，数据驱动的阈值方案，诱导额外的稀疏性保持…
2013-03-20 math.PR math.ST stat.ME
On the prediction loss of the lasso in the partially labeled setting
在本文中，我们重新审视的风险界的套索估计的上下文中的转导和半监督学习。换句话说，所考虑的设置是部分标记下的随机设计的回归。主要目标是获得用户友好的离样本预测风险的界限。为此，考虑了有界响应变量和有界（高维）协变量的简单设置。我们提出了一些新的适应这些设置的套索，并建立预言不等式的期望和偏差。这些结果提供了风险的非渐近上界，突出了由于线性模型的错误指定导致的偏倚、由于近似稀疏性导致的偏倚和方差之间的相互作用。他们还表明，大量的未标记的功能的存在下，可能会有显着的积极影响的情况下，限制的特征值的设计矩阵消失或非常小。
2016-11-08 math.ST stat.ML stat.TH
On the Sensitivity of the Lasso to the Number of Predictor Variables
Lasso是一种计算效率很高的回归正则化过程，当预测变量的数量（p）很大时，它可以产生稀疏估计。预言不等式在正则化参数的确定性选择下为Lasso估计量提供概率损失界限。如果p被适当控制，这些界限趋于零，因此通常被引用作为Lasso及其处理高维设置的能力的理论依据。不幸的是，在实践中，正则化参数不是被选择为确定性的量，而是使用随机的、依赖于数据的过程来选择。为了解决这个缺点，以前的理论工作，我们研究损失的Lasso估计时，调整最佳预测。假设标准正交预测器和稀疏真模型，我们证明了Lasso的最佳可能预测性能随着p的增加而恶化的概率是正的，并且可以任意接近于给定足够高的信噪比和足够大的p的概率。我们进一步实证地证明了性能恶化的量可以远比预言不等式建议的更差，并提供了真实的数据。观察到恶化的示例。
2016-05-27 stat.ML
Adaptive Lasso and group-Lasso for functional Poisson regression
高维Poisson回归已成为分析海量数据集的标准框架。在这项工作中，我们估计强度函数的泊松回归模型，通过使用字典的方法，它概括了经典的基础方法，结合一个Lasso或一组Lasso程序。选择取决于需要校准的惩罚权重。由于异方差性，在高斯框架下开发的标准方法不能直接应用于泊松模型。在这里，我们提供了数据驱动的Lasso和组Lasso来自适应泊松情况下的集中不等式的权重。我们表明，相关的Lasso和组Lasso程序理论上是最优的Oracle方法。模拟用于评估我们的程序的经验性能，并提供了新一代测序数据分析的原始应用程序。
2014-12-26 math.ST stat.ME stat.TH
Leave-one-out cross-validation is risk consistent for lasso
套索过程在统计和信号处理文献中是普遍存在的，因此，是大量理论和应用研究的目标。虽然大部分研究都集中在lasso所具有的理想属性-预测风险一致性，符号一致性，正确的模型选择-所有这些都假设调整参数是以预言的方式选择的。然而，这在实践中是不可能的。相反，数据分析师必须使用数据两次，一次用于选择调优参数，另一次用于估计模型。但只有化学家才能证明这种程序是正确的。为此，我们给出了第一个明确的答案时，通过交叉验证选择平滑参数的风险一致性套索。我们表明，在设计矩阵的一些限制下，拉索估计仍然是风险一致的经验选择的调整参数。
2013-08-04 math.ST stat.TH
Cointegrated Regressors: Where Folded Concave Penalties Go Beyond LASSO
Hunan University（湖南大学）；The Chinese University of Hong Kong（香港中文大学）；University of Macau（澳门大学）
本文针对高维协整回归中LASSO凸惩罚过度抑制系数的问题，采用折叠凹惩罚（SCAD、MCP），建立两类oracle性质，经模拟和欧元区失业率预测验证，其变量选择与样本外预测性能优于LASSO。
2026-10-30 econ.EM stat.ME stat.ML
Sharp Oracle Inequalities for Square Root Regularization
研究了高维线性回归模型的一组正则化方法。这些惩罚估计以残差平方和的平方根作为损失函数，以任何弱可分解范数作为罚函数。选择该拟合度量是因为其估计量不依赖于噪声的未知标准差的特性。另一方面，广义弱可分解范数罚函数在处理不同的稀疏结构时非常有用。我们可以根据我们想要如何解释未知参数向量$β$来选择不同的稀疏性诱导范数。Micchelli等人[18]中定义的结构稀疏范数是弱可分解范数的特殊情况，因此我们还包括平方根LASSO（Belloni等人[3]），群平方根LASSO（Bunea等人[10]）和一种称为平方根SLOPE的新方法（与Bogdan等人[6]的SLOPE类似）。对于这个集合的估计，我们的结果提供了尖锐的甲骨文不等式与Karush-Kuhn-Tucker条件。我们讨论一些估计的例子。基于仿真，我们说明了平方根斜率的一些优点。
2016-06-27 math.ST stat.TH
ARMAr-LASSO: Mitigating the Impact of Predictor Serial Correlation on the LASSO
Penn State University, USA（宾夕法尼亚州立大学）
ARMAr-LASSO通过预白化预测变量以减轻序列相关性影响，提升稀疏线性模型的估计和预测准确性。
2026-01-24 math.ST stat.TH
Adaptive LASSO-type estimation for ergodic diffusion processes
LASSO是一种广泛使用的统计方法，用于同时估计和变量选择。近年来，许多作者从理论和应用的角度对该技术进行了分析。本文引入并研究了离散观测遍历扩散过程的自适应LASSO问题。我们证明了Oracle性质，并导出了LASSO估计量的渐近分布。我们的理论框架是基于随机场方法，它适用于更一般的家庭的定期统计实验的意义上的Algimov-Hasminskii（1981）。此外，我们进行了模拟和实际数据分析，提供了一些证据，这种方法的适用性。
2010-02-05 math.PR math.ST stat.AP
Group Variable Selection via a Hierarchical Lasso and Its Oracle Property
在许多工程和科学应用中，预测变量被分组，例如，在生物应用中，其中测定的基因或蛋白质可以通过生物作用或生物途径分组。常见的统计分析方法，如方差分析，因子分析和功能建模与基集也表现出自然的变量分组。现有的成功的群体变量选择方法，如Antoniadis和Fan（2001），Yuan和Lin（2006）以及Zhao，Rocha和Yu（2009）具有以“全进全出”方式选择变量的局限性，即，当选择一组中的一个变量时，同一组中的所有其他变量也被选择。然而，在许多实际问题中，我们可能希望保持在组内选择变量的灵活性，例如在基因集选择中。在本文中，我们开发了一种新的组变量选择方法，不仅可以有效地删除不重要的群体，但也保持了选择变量的灵活性组内。我们还表明，新的方法提供了实现理论上的“预言”的性质，如在范和李（2001年）和范和彭（2004年）。
2010-08-09 stat.ME
Lasso type classifiers with a reject option
我们考虑二进制分类的问题，其中一个可以，为特定的成本，选择不分类的观察。我们提出了一个简单的证明预言不等式的结构风险最小化的超额风险使用套索型罚款。
2007-05-16 stat.ML
Estimation And Selection Via Absolute Penalized Convex Minimization And Its Multistage Adaptive Applications
$\ell_1$惩罚方法，或Lasso，已经成为分析大型数据集的重要工具。Lasso在线性回归中得到了许多重要的结果，这些结果使人们对高维统计问题有了更深的理解。本文考虑了一般形式的凸损失函数的一类加权$\ell_1$ -惩罚估计，包括广义线性模型。我们研究的估计，预测，选择和稀疏性的加权$\ell_1$惩罚估计稀疏，高维设置的预测$p$的数量可以远远大于样本量$n$。Adaptive Lasso被认为是一种特殊情况。一个多阶段的方法开发应用自适应Lasso递归。我们提供了$\ell_q$预言不等式，一般的选择一致性定理，和上界的Lasso估计的维数。重要的模型，包括线性回归，逻辑斯谛回归和对数线性模型是用来说明一般结果的应用。
2011-12-29 math.ST stat.ML stat.TH
Weakly decomposable regularization penalties and structured sparsity
在文献中已经表明，Lasso估计，或l1-惩罚最小二乘估计，享有良好的预言性质。本文探讨了哪些特殊性质的l1罚允许尖锐的预言结果，然后将这种情况扩展到一般的范数为基础的罚款，满足弱分解条件。
2012-12-10 math.ST stat.TH
