De-Biasing The Lasso With Degrees-of-Freedom Adjustment
本文研究了线性模型$y=Xβ+ε$中的Lasso去偏方案，其目标是在$a_0$方向上构建$a_0^Tβ$的置信区间，其中$X$具有iid $N(0,Σ)$行。我们表明，以前分析的命题去偏Lasso需要修改，以享受效率在全范围的稀疏性。该修改采用自由度调整的形式，该自由度调整考虑了Lasso选择的模型的尺寸。让$s_0$是真正的稀疏性。如果$Σ$是已知的，并且使用与$XΣ^{-1}a_0$成比例的理想得分向量，则先前提出的未调整的去偏置方案在$s_0\lll n^{2/3}$的情况下享有效率。然而，如果$s_0\ggg n^{2/3}$，未调整的计划不能在某些$a_0$有效：那么有必要修改现有的程序的自由度调整。当$s_0/p\to 0$和$s_0\log(p/s_0)/n \to 0$。如果$Σ$未知，则当$$\frac{s_0\log p}{n}+\min\Big\{\frac{s_Ω\log p}{n},\frac{\|Σ^{-1}a_0\|_1\sqrt{\log p}}{\|Σ^{-1/2}a_0\|_2 \sqrt n}\Big\}+\frac{\min(s_Ω,s_0)\log p}{\sqrt n}\to0$$其中$s_Ω=\|Σ^{-1}a_0\|_0$时，一般$a_0$被授予有效性，前提是使用自由度调整修改去偏估计。对$s_0,s_Ω$和$\|Σ^{-1}a_0\…
2021-07-08 math.ST stat.ML stat.TH
Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties
University of Padova（帕多瓦大学）；University of Rome Tor Vergata（罗马托尔维加塔大学）
本文提出了一种新的无偏有效自由度估计方法，用于自适应Lasso，解决了传统方法中因数据依赖惩罚导致的估计偏差问题，并扩展到组Lasso和自适应组Lasso，为适应性惩罚回归中的模型复杂性提供了理论基础。
2026-04-03 math.ST stat.ME stat.TH
The Degrees of Freedom of Partly Smooth Regularizers
本文研究了正则化回归问题，其中先验正则化子是一个真的下连续凸函数，且该函数相对于黎曼子流形也是部分光滑的.这包含了几种已知的惩罚作为特殊情况，例如Lasso（$\ell^1$ -norm）、群Lasso（$\ell^1-\ell^2$ -norm）、$\ell^\infty$ -norm和核norm。这也包括所谓的分析型先验，即，前面提到的惩罚与线性算子的组合，典型的例子是全变差和融合Lasso罚函数.我们研究了任意正则化最小值对观测值扰动的敏感性，并给出了其精确的局部参数化.我们的主要灵敏度分析结果表明，预测子与正则化最小值沿同一个活动子流形局部稳定地运动观测受到小扰动。这种局部稳定性是正则化子的光滑性的结果，当被限制到活动子流形时，这反过来又起到了关键作用，以获得预测器w.r.t.的变化的封闭形式的表达。意见。我们还证明了，对于各种正则化子，包括多面体正则化子或Lasso群及其分析对应物，这个发散公式几乎处处成立（具有适当的连续分布），这使我们能够得到一个无偏估计的自由度和风险的估计量的预测。我们的结果是正确的，而不需要设计矩阵是他们概括了那些在文献中已知的问题，如Lasso问题、一般Lasso问题（分析$\ell^1$ -罚分）或Lasso组，其中后者的现有结果假设设计是满列秩的。
2016-02-10 cs.IT math.IT math.ST
Regularization with the Smooth-Lasso procedure
我们考虑线性回归问题。我们提出了S-Lasso过程来估计未知的回归参数。该估计量在考虑连续协变量（或预测变量）之间的相关性的同时具有表示的稀疏性。该研究涵盖了$p\gg n$的情况，即协变量的数量远大于观察值的数量。在理论上，对于固定的$p$，我们建立了变量选择结果的渐近正态性和一致性。当$p\geq n$时，我们提供了变量选择一致性结果，并表明S-Lasso实现了稀疏不等式，即，根据oracle向量的非零分量的数量的界限。与其挑战者相比，S-Lasso似乎具有很好的变量选择特性。此外，我们提供了一个估计的有效自由度的S-Lasso估计。一项模拟研究表明，S-套索表现优于套索，就变量选择而言，特别是当连续的协变量之间存在高度相关性。这个过程似乎也是Elastic-Net的一个很好的挑战者（Zou和Hastie，2005）。
2008-10-15 math.ST stat.TH
How Correlations Influence Lasso Prediction
我们研究了设计矩阵中的相关性如何影响Lasso预测。首先，我们认为，越高的相关性，越小的最佳调谐参数。这尤其意味着不依赖于设计矩阵的标准调谐参数是不利的。此外，我们认为，Lasso预测工程以及任何程度的相关性，如果选择合适的调谐参数。我们研究这两个主题的理论以及模拟。
2012-07-09 math.ST stat.TH
On Degrees of Freedom of Projection Estimators with Applications to Multivariate Nonparametric Regression
本文考虑了具有多元预测变量的非参数回归问题。我们提供了未知的回归函数，这是线性约束的二次优化程序，即最小二乘准则与线性约束和/或二次处罚的输出的估计的自由度和发散的表征。作为我们结果的特殊情况，我们导出了许多非参数回归问题中自由度的显式表达式，例如，有界保序回归、多元（惩罚）凸回归和加性全变差正则化。我们的理论还产生，作为特殊情况下，已知的结果的自由度的许多研究的估计在统计文献中，如岭回归，套索和广义套索。我们的结果可以很容易地用来选择调谐参数（S）参与的估计过程中，通过最小化Stein的无偏风险估计。作为我们的分析的副产品，我们得到了一个有趣的连接之间的有界保序回归和保序回归一般偏序集，这是独立的兴趣。
2018-10-06 math.ST stat.TH
The solution path of the generalized lasso
给出了广义套索问题的一个路径算法。这个问题惩罚矩阵D乘以系数向量的$\ell_1$范数，并且具有广泛的应用范围，这取决于D的选择。我们的算法是基于求解广义lasso的对偶，这大大简化了路径的计算，对于$D=I$（通常的lasso），我们将我们的方法与著名的LARS算法联系起来。对于任意的D，我们推导出广义套索拟合的自由度的无偏估计。这个估计在许多应用中是非常直观的。
2012-11-20 math.ST stat.CO stat.TH
Degrees of freedom for off-the-grid sparse estimation
University of Bath（巴斯大学）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）
现代机器学习和成像科学中的一个中心问题是量化过度参数化模型的有效参数的数量。自由度是一种数学上方便的方法来定义这个参数的数量。它的计算和性质在处理离散化线性模型时得到了很好的理解，可能使用稀疏性进行正则化。在本文中，我们认为，这种思维方式是困扰处理模型具有非常大的参数空间。在这种情况下，考虑使用连续参数空间的“离网”方法更有意义。这种类型的方法是训练多层感知器时最受欢迎的方法，并且在解决成像中的超分辨率问题时也越来越流行。用稀疏诱导先验训练这些离网模型可以通过在测量空间上求解凸优化问题来实现，该问题通常被称为Beurling Lasso（Blasso），并且是著名的Lasso参数选择方法的连续对应物。在以前的作品中，Lasso的自由度与最小解支持的大小一致。我们的主要贡献是证明了一个连续的对应这一结果的Blasso。我们的研究结果表明，离散化方法实际上大大高估了内在连续自由度的数量。我们的第二个贡献是一个详细的研究的情况下，采样傅立叶系数在1D中，这对应于一个超分辨率的问题。我们表明，我们的公式的自由度是有效的一组测量零的观察，这反过来证明了它的使用来计算一个无偏估计量的预测风险使用斯坦无偏风险估计（SURE）之外。
2019-11-08 cs.LG math.ST stat.ML
Estimation and Selection Properties of the LAD Fused Lasso Signal Approximator
融合套索算法是处理稀疏块状信号的一种重要方法。它通常与平方损失函数结合使用。然而，平方损失是不适合厚尾误差分布，也是强大的对离群值，在实践中经常出现。最小绝对偏差（LAD）损失提供了一个强大的替代平方损失。本文研究了具有LAD损失的融合Lasso估计在信号逼近中的渐近性质。我们将此估计器称为LAD融合套索信号逼近器或LAD-FLSA。我们研究了LAD-FLSA的估计相合性，并给出了LAD-FLSA是符号相合的充分条件。我们还构造了一个无偏估计量的自由度的LAD-FLSA的任何给定的调谐参数。仿真研究和实际数据分析进行说明LAD-FLSA的性能和自由度的无偏估计量的效果。
2021-04-30 stat.ME
Nearly unbiased variable selection under minimax concave penalty
提出了一种高维线性回归中惩罚变量选择的快速、连续、近似无偏和精确的方法MC+。LASSO是快速和连续的，但有偏见。LASSO的偏差可能会妨碍一致的变量选择。子集选择是无偏的，但计算成本高。MC+有两个元素：极小极大凹惩罚（MCP）和惩罚线性无偏选择（PLUS）算法。MCP提供了在稀疏区域中的惩罚损失的凸性，以最大程度地给出变量选择和无偏性的某些阈值。PLUS算法在惩罚损失的临界点图的某个主分支中计算可能非凸惩罚损失函数的多个精确局部极小值。它的输出是一个连续的分段线性路径，包括从无限惩罚的原点到零惩罚的最小二乘解。我们证明，在一个普遍的惩罚水平，MC+有很高的概率匹配的符号的未知数，从而正确的选择，而不假设强的不可表示的条件所需的LASSO。这种选择的一致性适用于$p\gg n$的情况下，并证明了持有的MC+解决方案中可能有许多局部极小。我们证明了MC+在概率意义下对$\ell_r$球中回归系数的估计具有一定的极小极大收敛速度。我们使用的SURE方法来获得自由度和$C_p$型风险估计一般惩罚LSE，包括LASSO和MC+估计，并证明其无偏性。基于估计的自由度，我们提出了一个估计的噪声水平适当选择的惩罚水平。
2010-02-25 math.ST stat.TH
The DFS Fused Lasso: Linear-Time Denoising over General Graphs
融合套索，也称为（各向异性）全变差去噪，被广泛用于相对于给定的无向图的分段常数信号估值。当底层图很大并且具有任意结构时，融合的套索估计计算起来是非常重要的。但对于一种特殊的图结构，即链图，融合套索--或简单地说，一维融合套索--可以在线性时间内计算。在本文中，我们建立了一个令人惊讶的连接之间的全变差的通用信号定义在任意图，和全变差的这个信号在链图引起的运行深度优先搜索（DFS）的节点的图形。具体地说，我们证明了，对于任何信号，其全变差的诱导链图是不超过两倍的全变差的原始图形。这种联系导致了一些有趣的理论和计算结论。分别用$m$和$n$表示所讨论的图的边和节点的数量，我们的结果意味着对于在图上具有全变差$t$的基础信号，融合套索实现均方误差率为\smash{$t^{2/3} n^{-2/3}$}。此外，通过在运行DFS的诱导链图上运行1d融合套索，可以实现完全相同的均方误差率。重要的是，后者估计是简单的，计算成本低，只需要$O(m)$操作用于构建DFS诱导链和$O(n)$操作用于计算该链上的一维融合套索解。此外，对于具有有界最大度的树，\smash{$t^{2/3} n^{-2/3}$}的错误率不能被改进，在这个意义上，它是在树上具有全变差$t$的信号的最小最大错误率。
2017-03-01 math.ST stat.TH
Inferring gene expression networks with hubs using a degree weighted Lasso approach
基因组规模的基因网络包含称为枢纽的调控基因，这些基因有许多相互作用的伙伴。这些基因通常在基因调控和细胞过程中起重要作用。尽管最近在高通量技术方面取得了进展，但从高维数据中推断具有枢纽基因的基因网络仍然是一个具有挑战性的问题。新的统计网络推理方法需要从高维数据中有效和准确地重建枢纽网络。为了解决这一挑战，我们提出了DW-Lasso，这是一种度加权Lasso（最小绝对收缩和选择算子）方法，可以在低样本量设置下有效地推断具有枢纽的基因网络。我们的网络重建方法被制定为一个两阶段的过程：第一，网络的程度迭代估计，第二，基因调控网络重建使用度信息。所提出的方法的一个有用的属性是，它自然有利于枢纽基因周围的邻居的积累，从而有助于在假设基础网络表现出枢纽结构的情况下准确建模的高通量数据。在模拟研究中，我们证明了良好的预测性能相比，传统的Lasso型方法在推断枢纽和无标度图的方法。我们证明了我们的方法的有效性，在应用程序中的微阵列数据的\textit{E.coli}和RNA测序数据的肾透明细胞癌从癌症基因组图谱数据集。
2017-10-05 q-bio.QM stat.ME
Degrees of Freedom and Model Search
自由度是统计建模中的一个基本概念，因为它提供了对给定过程执行的拟合量的定量描述。但是，尽管它在统计学中发挥着重要作用，但它的行为并没有完全得到很好的理解，即使在一些相当基本的环境中也是如此。例如，它可能看起来直观明显，子集大小为k的最佳子集选择拟合具有大于k的自由度，但这尚未得到正式验证，也没有被精确研究。在很大程度上，目前的文件是出于这个特殊的问题，我们推导出一个精确的表达式的自由度的最佳子集选择在限制设置（正交预测变量）。在此过程中，我们开发了一个概念，我们命名为“搜索自由度”;直观地说，对于执行变量选择的自适应回归过程，这是我们完全归因于模型选择机制的（总）自由度的一部分。最后，我们建立了一个适度的扩展Stein的公式，涵盖不连续的功能，并讨论其潜在的作用，在自由度和搜索自由度的计算。
2014-11-28 math.ST stat.TH
A lasso for hierarchical interactions
我们添加了一组凸约束的套索，以产生稀疏的相互作用模型，荣誉的层次结构的限制，一个相互作用只包括在一个模型中，如果一个或两个变量是微不足道的重要。我们给出了一个精确的表征这个层次约束的效果，证明层次持有概率为1，并推导出一个无偏估计的自由度，我们的估计。此估计的界限揭示了层次约束“节省”的拟合量。我们区分参数稀疏性-非零系数的数量-和实际稀疏性-必须测量以进行新预测的原始变量的数量。层次结构侧重于后者，后者与成本、时间和努力等重要的数据收集问题联系更紧密。我们开发了一个算法，可在R包hierNet，并进行实证研究，我们的方法。
2013-06-19 math.ST stat.ME stat.ML
Fused Lasso Additive Model
我们考虑的问题，预测结果变量使用$p$协变量，测量$n$独立的观察，在设置中，灵活和可解释的适合是可取的。我们提出了融合套索加性模型（FLAM），其中每个加性函数估计为分段常数，具有少量自适应选择的节点。FLAM是一个凸优化问题的解决方案，其中提供了一个简单的算法，保证收敛到全局最优。FLAM被证明是一致的，在高维，并提出了一个无偏估计量的自由度。我们评估的性能FLAM在模拟研究和两个数据集。
2014-09-18 stat.ME stat.ML
A Pliable Lasso
我们提出了一个概括的套索，允许模型系数作为一个函数的一组一般的修改变量。这些修饰语可能是性别、年龄或时间等变量。该范例是相当通用的，每个套索系数由修改变量$Z$的稀疏线性函数修改。模型以分层方式进行估计，以控制自由度并避免过拟合。修改变量可以被观察到，仅在训练集中观察到，或者整体上未观察到。我们的建议与变系数模型和高维相互作用模型有联系。我们提出了一个计算效率高的算法，其优化，精确的筛选规则，以方便应用到大量的预测。该方法说明了一些不同的模拟和真实的例子。
2018-01-10 stat.ME
Vector Autoregressions with Parsimoniously Time Varying Parameters and an Application to Monetary Policy
本文提出了一个简约时变参数向量自回归模型（VAX），并研究了作为该模型估计量的Lasso和自适应Lasso的性质。假设模型的参数遵循简约随机游动，其中简约源于参数的增量具有恰好等于零的非零概率的假设。通过改变简约的程度，我们的模型可以容纳恒定的参数，一个未知数的结构突变，或具有高度变化的参数。我们通过推导高概率有效的估计和预测误差的上界来表征Lasso的有限样本性质;并且我们渐进地表明，如果非零增量的数量增长得比$\sqrt{T}$慢，则这些界趋于零，概率趋于一。通过模拟实验，我们调查的Lasso和自适应Lasso的参数是稳定的，经验的结构性断裂，或遵循吝啬的随机游动设置的属性。我们使用我们的模型来研究货币政策对美国通货膨胀和商业周期波动的反应，通过估计一个简约的时变参数泰勒规则。我们记录了20世纪80年代和2008年以来美联储政策反应的重大变化。
2014-11-20 math.ST stat.ML stat.TH
Adaptive Estimation In High-Dimensional Additive Models With Multi-Resolution Group Lasso
在含有多个非参数分量的可加模型中，已经提出了许多正则化估计，并证明了它们在稀疏性和固定光滑性条件的不同组合下可以获得不同的误差界。这些误差界中的一些与相应设置中的最小最大速率相匹配。一些速率极大极小方法是非凸的，计算量大。从这些角度来看，现有的解决方案，高维添加剂非参数回归问题是支离破碎的。在本文中，我们提出了一个多分辨率组Lasso（MR-GL）方法在一个统一的方法，同时实现或改善现有的误差界，并提供新的知识的稀疏性或光滑度的未知函数的水平。这种自适应收敛速度是在预测因子可被视为常数时建立的。此外，我们证明了预测因子，它可以有界的限制特征值或相容性系数，确实可以被视为一个常数的随机设计下的一个接近最优的样本量条件。
2020-11-13 math.ST stat.ME stat.TH
Lasso-based forecast combinations for forecasting realized variances
波动率预测为财务分析之主要输入数据。虽然基于套索的预测已被证明在许多应用中表现良好，但它们用于获得波动性预测在文献中尚未受到太多关注。Lasso估计量产生简约的预测模型。我们的预测组合方法对冲了选择错误程度的模型简约的风险。除了标准的套索，我们考虑几个套索扩展帐户的动态性质的预测模型。我们应用预测组合拉索估计在一个全面的预测练习，实现方差时间序列的10个主要国际股票市场指数。我们发现套索扩展“有序套索”，以提供最准确的实现方差预测。多变量预测模型，占不同的股票市场之间的波动溢出，在较长的预测范围优于单变量预测模型。
2016-10-09 stat.AP
On Model Selection Consistency of Lasso for High-Dimensional Ising Models
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文从理论上分析了高维Ising模型中最小绝对收缩选择算子（Lasso）的模型选择一致性，包括有无后阈值处理。对于大小为$p$、节点度为$d$、耦合度为$θ_0$的随机正则（RR）图，严格证明了Lasso \textit{without post-thresholding}在整个顺磁相是模型选择一致的，且样本复杂性阶数$n=Ω{(d^3\log{p})}$与$\ell_1$ -正则化逻辑斯谛回归（$\ell_1$ -LogR）相同.这一结果与Meng、Obuchi和Kabashima 2021中使用统计物理学的非严格复制方法的猜想一致，从而用严格的证明对其进行了补充。对于一般的树型图，证明了在依赖条件和不相干条件的适当假设下，可以得到与RR图相同的结果。此外，我们提供了一个严格的证明模型选择一致性的Lasso后阈值一般树状图在顺磁阶段的依赖性和不相干条件没有进一步的假设。实验结果与理论分析相吻合。
2023-02-17 cs.LG math.ST stat.ML
Lasso for hierarchical polynomial models
在多项式回归模型中，隐含在多项式层次中的整除条件让位于模型参数的约束的自然构造。我们用这个原则来推导版本的强和弱的层次结构，并延长现有的工作在文献中，目前只关心模型的程度。我们讨论了如何估计参数套索使用标准的二次规划技术，并适用于我们的建议，从文献中的模拟数据和例子。所提出的方法与现有的技术相比，在低验证误差和模型大小。
2020-01-21 stat.CO stat.ME stat.ML
Hierarchical Overlapping Group Lasso for GMANOVA Model
Tohoku University（东北大学）；Chukyo University（中京大学）
针对含多项式基个体内设计矩阵的GMANOVA模型的变量与多项式次数选择问题，提出分层重叠组Lasso方法，借助正交基解决高次多项式拟合问题，通过数值模拟验证了性能。
2025-10-22 stat.ME
Sparsity with sign-coherent groups of variables via the cooperative-Lasso
我们考虑的问题，估计和选择的参数赋予一个已知的组结构，当组被假定为是符号相干的，也就是说，收集非负，非正或空参数。为了解决这个问题，我们提出了合作Lasso惩罚。本文给出了定义广义线性模型的合作Lasso估计的最优性条件，并提出了一种适用于高维问题的有效集算法.本文研究了线性回归中估计量的渐近相合性，并导出了它的不可表示条件，它比group-Lasso的条件更温和。我们还解决了在线性回归模型选择的问题，推导出一个近似的合作Lasso估计的自由度。模拟比较所提出的估计组和稀疏组Lasso符合我们的理论结果，显示一致的改善支持恢复符号相干组。最后，我们提出了两个例子说明了广泛的适用性的合作套索：第一个顺序变量的处理，其中的惩罚作为单调性之前;第二个基因组数据的处理，其中的差异表达的探针的集合是丰富的，通过将所有的探针的微阵列相关的相应的基因。
2012-07-02 stat.AP stat.ME
Computing the degrees of freedom of rank-regularized estimators and cousins
从低秩矩阵的线性测量值估计低秩矩阵是当代统计分析中的一个重要问题。从理论和实践的角度来看，调整参数的估计仍然是一个重要的挑战。为此，Stein的无偏风险估计（SURE）框架为自由度估计提供了一个有充分依据的统计框架。在本文中，我们使用的SURE框架，以获得自由度的估计一般类谱正则化矩阵估计，推广超出类的估计，迄今为止已经研究。为此，我们使用Shapiro（2002）关于对称矩阵值函数的可微性的结果，该结果是在半定优化算法的背景下发展的。我们严格验证的适用性斯泰因引理对推导的自由度估计，并提出了新的技术基于高斯卷积估计的自由度的一类谱估计斯泰因引理是不直接适用。
2019-09-23 math.ST stat.ME stat.TH
A Differentiable Alternative to the Lasso Penalty
正则化回归现在已经变得非常流行，特别是在高维问题中，在传统方法失败的情况下，向对数似然增加惩罚项允许进行推断。在文献中已经提出了许多惩罚措施，例如套索、SCAD、脊和弹性网等。尽管它们的优点和显着的性能，在相当极端的设置，其中$p \gg n$，所有这些处罚，除脊，是不可微的零。这在某些情况下可能是一种限制，例如非线性模型中参数估计的计算效率或模型选择标准的自由度估计量的推导。在这篇论文中，我们为科学界提供了一个可微的惩罚，它可以在任何情况下使用，特别是在可微性起关键作用的情况下。我们展示了这个函数的一些理想的功能，并证明了在正则化回归的背景下所产生的估计的理论性质。仿真研究和实际数据集的分析表明，在不同的情况下，总体上表现良好。该方法在CRAN免费提供的R包DLASSO中实现。
2016-09-16 stat.ME
Efficient algorithm to select tuning parameters in sparse regression modeling with regularization
在通过正则化（例如套索）进行稀疏回归建模时，重要的是选择适当的调整参数（包括正则化参数）值。整定参数的选择可以看作是一个模型选择和评价问题。Mallow的$C_p$型准则可以用作套索型正则化方法中的调谐参数选择工具，其中自由度的概念起着关键作用。在本文中，我们提出了一个有效的算法，计算的自由度，通过扩展的广义路径搜索算法。我们的程序使我们能够构建模型选择标准，用于评估各种各样的凸和非凸惩罚的正则化模型。蒙特卡罗模拟表明，我们的方法在各种情况下表现良好。最后给出了一个实际数据的例子来说明我们的方法。
2012-01-04 stat.CO stat.ME stat.ML
Lasso with Latents: Efficient Estimation, Covariate Rescaling, and Computational-Statistical Gaps
MIT（麻省理工学院）；University of Chicago（芝加哥大学）；UCLA（加利福尼亚大学洛杉矶分校）
本文针对协变量因潜在变量而强相关的稀疏线性回归问题，提出通过异质协变量缩放使 Lasso 恢复强估计保证，并证明所得算法在多项式时间算法类中最优，同时建立了高斯图模型学习的首个计算-统计差距。
2024-02-23 cs.CC cs.DS cs.LG
Solar: $L_0$ solution path averaging for fast and accurate variable selection in high-dimensional data
University of Sydney（悉尼大学）
我们提出了一个新的变量选择算法，子样本排序最小角度回归（太阳），和它的坐标下降推广，太阳cd。Solar使用$L_0$范数重建套索路径，并对子样本之间的结果解路径求平均值。路径平均保留了信息变量的排名信息，同时平均了对高维的敏感性，提高了变量选择的稳定性，效率和准确性。我们证明：（i）以高概率，路径平均在平均$L_0$路径上完美地将信息变量与冗余变量分离;（ii）太阳变量选择是一致和准确的;以及（iii）太阳忽略弱信号的概率对于有限的样本量是可控的。我们还证明：（i）太阳能产量，在小于lasso计算负荷的$1/3$的情况下，在稀疏性方面相对于lasso有实质性改进（ii）与Lasso安全/强规则和变量筛选相比，Solar在很大程度上避免了冗余变量的选择和在存在复杂依赖结构的情况下对信息变量的拒绝;（iii）太阳能的稀疏性和稳定性保存了数据分裂假设检验的剩余自由度，提高了对具有有限$n$的弱信号的选择后推断的准确性;（iv）在自举选择中用太阳能代替套索（例如，bolasso或稳定性选择）产生多层变量排序方案，其在仅一个套索实现的计算负载的情况下改善选择稀疏性和排序准确性;以及（v）给定计算资源，太阳能自举选择比并行化自举套索的理论最大加速（由Amdahl定律确认）快得多（计算时间低98%）。
2022-05-06 cs.LG stat.ML
Choosing the Dictionary and Penalty for IV-LASSO
University of Rochester（罗切斯特大学）；Texas A&M University（德克萨斯农工大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文推导IV-LASSO估计量的近似均方误差，揭示偏差-方差权衡，提出基于AMSE的惩罚选择方法，在模拟中比交叉验证降低最多三分之一均方误差。
2026-11-10 econ.EM stat.AP
Graphon estimation via nearest neighbor algorithm and 2D fused lasso denoising
我们提出了一类基于利用与非参数回归的连接的图子估计方法。其思想是构建网络中节点的排序，类似于Chan和Airoldi（2014）。然而，与Chan和Airoldi（2014）中仅考虑基于经验度的排序不同，我们使用最近邻算法，这是旅行商问题的近似解决方案。这反过来又可以处理节点之间的一般距离$\hat{d}$，这使我们能够整合网络的丰富信息。一旦构建了一个排序，我们就制定了一个2D网格图去噪问题，我们通过融合套索正则化来解决这个问题。对于特定的选择的度量$\hat{d}$，我们表明，相应的两步估计可以达到竞争率时，真正的模型是随机块模型，当底层graphon是分段Hölder或它有界变化。
2019-06-18 stat.ME
Degrees of Freedom: Search Cost and Self-consistency
本文提出修正搜索自由度以统一原始与增广空间的搜索成本，并引入名义与实际自由度的自一致性概念，为MARS等复杂程序提供校正方法，提升拟合性能。
2024-07-19 stat.CO stat.ME
Sparse model-based clustering of three-way data via lasso-type penalties
针对矩阵高斯混合模型的过参数化问题，提出带组lasso和图lasso惩罚的三路数据稀疏模型聚类方法，可灵活实现简约性并捕捉簇特异性关联，经合成数据和美国城市时变犯罪模式应用验证有效。
2023-07-20 stat.CO
Exhuming nonnegative garrote from oblivion using suitable initial estimates- illustration in low and high-dimensional real data
非负绞索（NNG）是第一个结合变量选择和回归估计收缩的方法。当人们对预测器的推导感兴趣时，NNG比流行的lasso具有一些概念上的优势。然而，NNG很少受到关注。原始NNG依赖于最小二乘（OLS）估计，这在具有高度多重共线性（HDM）的数据中是高度可变的，并且不存在于高维数据（HDD）中。这可能是NNG不用于此类数据的原因。有人提出了其他初步估计数，但实际上很少使用。通过分析三个结构不同的数据集，我们证明了NNG也可以应用于HDM和HDD，并在所选变量、回归估计和预测方面将其性能与套索、自适应套索、松弛套索和最佳子集选择进行了比较。用HDM中的岭初始估计和HDD中的套索初始估计取代OLS有助于NNG选择比竞争方法更简单的模型，而不会增加预测误差。更简单的模型更容易解释，这是描述性建模的一个重要问题。基于来自三个数据集的有限经验，我们假设NNG可以是套索及其扩展的合适替代方案。为了更好地理解变量选择方法的性质，比较它们并为实践提供指导，需要进行中性比较模拟研究。
2022-10-27 stat.ME
Information-Enriched Selection of Stationary and Non-Stationary Autoregressions using the Adaptive Lasso
University of Duisburg-Essen（杜伊斯堡-埃森大学）；RGS Econ - Ruhr Graduate School in Economics, Research Academy Ruhr（鲁尔经济学研究生学院，鲁尔研究学院）
提出基于自适应Lasso的增强权重方法，利用OLS估计量的概率阶数差异，提升非平稳回归变量检测能力，并在德国通胀数据中验证其优于传统OLS权重方法。
2026-10-14 econ.EM stat.ME
FATSO: A family of operators for variable selection in linear models
在线性模型中，常见的情况是多个回归系数为零。在这些情况下，执行回归的常用工具是变量选择运算符。最常见的此类运算符之一是LASSO运算符，其促进为零的点估计。然而，LASSO算子和类似的方法在确定变量选择性的程度方面给出的易于解释的参数很少。在本文中，我们提出了一个新的家庭的选择运营商的几何LASSO的基础上，但产生一个容易解释的方式来调整选择性。这些算子对应于贝叶斯先验密度，因此适合于贝叶斯推断。我们提出了一些例子，使用模拟和真实的数据，有希望的结果。
2019-04-11 stat.ME
Compositional Graphical Lasso Resolves the Impact of Parasitic Infection on Gut Microbial Interaction Networks in a Zebrafish Model
了解微生物如何相互作用是揭示微生物在宿主或环境中发挥的潜在作用以及将微生物鉴定为可能改变宿主或环境的试剂的关键。例如，了解微生物相互作用如何与寄生虫感染相关，可以帮助解决寄生虫感染的潜在药物或诊断测试。为了揭示微生物之间的相互作用，现有的工具通常依赖于图形模型来推断微生物丰度的条件依赖性，以表示它们之间的相互作用。然而，目前的方法不能同时考虑微生物组数据固有的离散性、组成性和异质性。因此，我们建立了一个新的方法，称为“合成图形套索”现有的工具，将上述特点明确的图形模型。我们说明了在各种模拟场景下，并在基准研究，塔拉海洋项目的组成图形套索目前的方法的优势。此外，我们提出了我们的结果从斑马鱼寄生虫感染研究的数据集的分析。我们的方法确定感染和未感染的个人之间的相互作用程度的变化为三个类群，发光杆菌属，芽杆菌属，少杆菌属，这是由其他方法反向预测。进一步调查这些方法特定类群的相互作用的变化，揭示了它们的生物相容性。特别是，我们推测发光杆菌和芽杆菌在斑马鱼肠道中的潜在致病作用，以及少杆菌的潜在益生作用。总的来说，我们的分析表明，组成图形套索提供了一种准确解决微生物群之间相互作用的强大手段，从而可以推动新的生物学发现。
2022-07-03 stat.AP stat.ME
One-step estimator paths for concave regularization
过去15年的统计学文献已经建立了稀疏减偏正则化的许多有利性质：可以粗略地理解为在$L_0$和$L_1$范数之间的范围内的罚函数下提供估计的技术。然而，套索$L_1$ -正则化估计仍然是工业“大数据”应用的标准工具，因为它的计算成本最小，并且存在易于应用的惩罚选择规则。作为回应，本文提出了一个简单的新算法框架，不需要更多的计算比套索路径：一步估计路径（POSE）不$L_1$惩罚的回归估计网格上的递减惩罚，但适应系数特定的权重，以减少作为在前一个路径步骤中估计的系数的函数。这提供了稀疏递减偏置正则化，与最快的套索算法相比没有额外的成本。此外，我们的“伽玛套索”的POSE的实现是伴随着一个可靠的启发式的自由度的适合，使标准的信息标准可以应用于惩罚选择。我们还提供了新的结果之间的距离加权$L_1$和$L_0$惩罚预测，这使我们能够建立直觉的POSE和其他减少偏差正则化计划。在广泛的模拟和应用逻辑斯谛回归来评估曲棍球运动员的表现的方法和结果说明。
2016-05-01 stat.AP
The Critical Line Algorithm and the Constrained LASSO: One Curve, Two Literatures
Jebel Quant Research（杰贝尔量化研究）；Stanford University（斯坦福大学）
本文证明总风险暴露约束的均值-方差规划与约束LASSO在任意线性约束下追踪同一条分段线性曲线，并给出两种参数化间的映射及约束拟合的自由度，建立了两个文献领域间的新对应关系。
2026-10-27 math.OC stat.ME
Fused-Lasso Regularized Cholesky Factors of Large Nonstationary Covariance Matrices of Longitudinal Data
Texas A&M University（德克萨斯A&M大学）
大协方差阵的Cholesky因子的次对角线的光滑性与时间序列和纵向数据的自回归模型的非平稳程度密切相关。启发式地，人们期望对于接近平稳的协方差阵，在连续项的绝对值之和很小的意义上，其逆的Cholesky因子的每个次对角线中的条目接近相同。从统计学上讲，这种平滑是通过使用融合型套索惩罚正则化每个次对角线来实现的。我们依赖于标准的Cholesky因子作为正则化正态似然设置中的新参数，该设置保证：（1）似然函数的联合凸性，（2）即使当$n<p$时，似然函数也严格凸于每个次对角线，以及（3）估计的协方差阵的正定性。提出了一种分块坐标下降算法，其中每个分块都是次对角线，并在较弱的条件下证明了算法的收敛性。缺乏解耦的罚似然函数到一个总和的功能，涉及个人subdiagals产生了一些计算上的挑战和优势，相对于最近的两个算法的稀疏估计的Cholesky因子，行式解耦。仿真结果和实际数据分析表明所提出的方法的范围和良好的性能。
2020-07-22 cs.LG stat.ML
Degrees of freedom for nonlinear least squares estimation
本文给出了非线性最小二乘估计的有效自由度的一般结果，它将自由度与估计量的发散性联系起来。我们表明，在一个一般的框架中，最小二乘估计的发散是一个定义明确，但可能负偏估计的自由度，我们给出了一个准确的表示的偏见。这意味着，如果我们使用分歧作为Stein无偏风险估计（SURE）中自由度的插件估计，我们通常会低估真实风险。我们的结果适用于，例如，模型搜索问题，产生一个有限的样本表征多少搜索的自由度。受系统生物学中常微分方程模型拟合问题的启发，本文用线性常微分方程系统的估计来说明一般结果。在本例中，发散被证明是$\ell_1$约束模型的自由度的有用估计。
2014-12-12 math.ST stat.TH
A Modified Satterthwaite (1941,1946) Effective Degrees of Freedom Approximation
本文针对分量自由度较小时 Satterthwaite 有效自由度近似的不足，提出一种基于标准正态矩解析结果的修正方法，改进复杂方差估计中的高阶矩近似，并从理论上部分验证了 Johnson & Rust 的经验调整。
2024-11-22 math.ST stat.OT stat.TH
The Geometry of Chi-Square Degrees of Freedom
本文提出并证明了卡方分布自由度的一个简单几何解释，该思想可追溯至Fisher，但确切结果此前未被明确陈述或证明。
2023-05-17 math.PR math.ST stat.OT
The Degrees of Freedom of Partial Least Squares Regression
偏最小二乘回归的统计性质的推导是一项具有挑战性的任务。原因是预测变量的潜在成分的构建也取决于响应变量。虽然这通常会在实践中产生良好的性能和可解释的模型，但它会使统计分析更加复杂。在这项工作中，我们研究了偏最小二乘回归的内在复杂性。我们的贡献是它的自由度的无偏估计。它被定义为拟合值的一阶导数的迹线，被视为响应的函数。我们建立了两个等价的表示依赖于偏最小二乘矩阵分解和Krylov子空间技术的密切联系。我们证明了自由度依赖于预测变量的共线性：共线性越低，自由度越高。特别是，它们通常高于将自由度定义为组件数量的简单方法。此外，我们说明了自由度的方法可以用于不同的回归方法的比较。在实验部分，我们表明，我们的自由度估计结合信息标准是有用的模型选择。
2011-02-09 math.ST stat.ME stat.ML
