The Group Lasso for Design of Experiments
本文介绍了群套索在实验设计中的一个应用。请注意，我们并不试图解释套索组的试验设计。相反，我们解释了如何在试验设计中使用群体套索的思想，表明构造最优设计矩阵的问题可以转化为群体套索问题。在一些数值例子中，我们表明，我们可以得到的正交表作为群体套索问题的解决方案。
2018-02-23 stat.ML
Assumptionless consistency of the Lasso
Lasso是Robert Tibshirani发明的一种流行的统计工具，用于当协变量的数量大于或与观测值的数量相当时的线性回归。本说明的目的是强调一个简单的事实（注意到在一些较早的文件在各种伪装），即损失函数考虑在Tibshirani的原始文件，拉索是一致的，几乎没有任何假设。
2014-06-26 math.PR math.ST stat.TH
On the Sparse DAG Structure Learning Based on Adaptive Lasso
The University of Melbourne（墨尔本大学）；Ebay inc.（易趣公司）；Royal Melbourne Institute of Technology（皇家墨尔本理工大学）
从纯观测数据中学习相关事件的底层贝叶斯网络（BN）（由有向无环图（DAG）表示）是证据推理的重要组成部分。由于搜索空间大且离散，这项任务仍然具有挑战性。最近的一系列发展遵循NOTEARS[1]通过利用非循环性的代数等式表征将此组合问题重新转换为连续优化问题。然而，连续优化方法的缺点是在数值优化之后获得非备用图，这导致无法排除潜在的循环诱导边或具有小值的错误发现边。为了解决这个问题，在本文中，我们开发了一个完全数据驱动的DAG结构学习方法，没有一个预定义的值后阈值小的值。我们将我们的方法命名为具有自适应套索的NOTEARS（NOTEARS-AL），这是通过应用自适应惩罚方法来确保估计DAG的稀疏性来实现的。此外，我们还证明了NOTEARS-AL在某些特定条件下也继承了预言机的性质。在合成数据集和真实数据集上的大量实验表明，我们的方法始终优于NOTEARS。
2023-02-17 cs.LG stat.ML
A note on the lack of symmetry in the graphical lasso
图形套索（glasso）是一种广泛使用的估计稀疏逆协方差阵的快速算法。glasso解决了L1惩罚极大似然问题，并可作为CRAN上的R库使用。glasso的输出是一个正则化的协方差阵估计稀疏逆协方差阵估计，不仅可以识别图形模型，还可以作为多变量过程（如PCA、LDA、MANOVA等）的中间输入。glasso确实产生了一个协方差阵估计，它解决了L1惩罚优化问题的双重意义上，然而，在此优化后产生逆协方差阵估计的方法是不精确的，可能会产生不对称的估计。当应用的L1正则化的量很小时，这个问题会加剧，如果真正的底层逆协方差阵不是稀疏的，则更有可能发生这种情况。缺乏对称性可能会产生潜在的后果。首先，它意味着协方差和逆协方差估计不是彼此的数值逆，第二，不对称可能导致负的或复杂的特征值，从而使许多可能依赖于逆协方差估计的多变量过程不可用。我们展示这个问题，解释其原因，并提出可能的补救措施。
2012-07-23 stat.CO stat.ML
On the Peaking Phenomenon of the Lasso in Model Selection
我简要地报告了一些意想不到的结果，我优化Lasso的模型参数时获得的。在具有变化的观测变量比n=p的模拟中，我通常在过渡点n/p = 1处观察到测试误差曲线中的强峰值。这种峰值现象在涉及样本协方差阵求逆的场景中得到了很好的证明，正如我在本说明中所说明的，它也是Lasso峰值的来源。关键问题是Lasso惩罚的参数化（例如在当前的R包lars中），我提出了一个标准化Lasso参数的解决方案。
2009-04-28 stat.ME
On prediction with the LASSO when the design is not incoherent
LASSO估计量是一种$\ell_1$ -范数惩罚最小二乘估计量，用于线性模型中的变量选择。当设计矩阵满足例如受限等距性质或具有小的相干指数时，已经证明LASSO估计器以高概率恢复足够稀疏的回归向量的支持和符号模式。在类似的假设下，LASSO满足各种范数的自适应预测界。本说明提供了一个预测界的基础上，一个新的指标，用于衡量如何有利的是一个设计矩阵的LASSO估计。我们研究了单位球面上具有独立随机列的矩阵的新指标的行为。使用这样一个随机矩阵（具有正确的列数）附加到一个给定的设计矩阵的简单技巧，我们表明，预测界类似于\cite [定理2.1]{CandesPlan：AnnStat 09}持有没有任何约束的设计矩阵，除了限制非奇异性。
2014-06-23 math.ST stat.TH
Multi-block linearized alternating direction method for sparse fused Lasso modeling problems
本文提出一种新的稀疏融合Lasso分类模型及多块线性化交替方向乘子法算法，用于高效选择稀疏分块特征，具有线性收敛速率和较低时间复杂度，数值实验验证了其鲁棒性和准确性。
2024-05-29 math.ST stat.TH
The Efficient Frontier from a LASSO Solver
本文利用LASSO路径与Markowitz临界线算法的等价性，通过scikit-learn的lars_path求解器计算有效前沿，支持多空、固定杠杆及经典多头情形，并实现单次调用到达最小方差组合。
2026-10-15 q-fin.CP stat.ME
Random lasso
我们提出了一种计算密集型的方法，随机套索方法，变量选择线性模型。该方法包括两个主要步骤。在步骤1中，套索方法应用于许多自助样本，每个样本使用一组随机选择的协变量。对于每个协变量，从该步骤产生重要性的度量。在步骤2中，实施与第一步骤类似的过程，除了对于每个自助样本，随机选择协变量的子集，其中不等的选择概率由协变量的重要性确定。在第二步骤中可以使用自适应套索，其中权重由重要性度量确定。通过对步骤2中获得的自助结果取平均值，确定最终协变量集及其系数。该方法克服了Lasso、Elastic-net和相关方法在微阵列数据分析中的一些局限性：它倾向于完全去除或选择高度相关的变量，并在估计其系数时保持最大的灵活性，特别是在不同符号的情况下;选择的变量数量不再受样本量的限制;并且所得到的预测精度与备选方案相比具有竞争力或更高。我们说明所提出的方法进行了广泛的模拟研究。所提出的方法也适用于胶质母细胞瘤微阵列数据分析。
2011-04-18 stat.AP
Hedging parameter selection for basis pursuit
在压缩感知和高维估计中，信号恢复通常依赖于稀疏性假设，并且估计经由$\ell_1$ -惩罚最小二乘优化（也称为$\ell_1$ -惩罚最小二乘优化）执行。拉索。$\ell_1$惩罚通常由权重控制，也称为“松弛参数”，由$λ$表示。人们普遍认为，LASSO预测的实际效率关键取决于$λ$的准确选择。在这个简短的说明中，我们建议从一个新的角度来考虑超参数选择问题，该角度将Freund和Shapire的Hedge在线学习方法与LASSO的随机Frank-Wolfe方法相结合。使用对冲算法，我们表明，我们简单的选择规则可以实现预测结果可比交叉验证在一个潜在的低得多的计算成本。
2018-05-04 stat.CO
A Hierarchical Integrative Group LASSO (HiGLASSO) Framework for Analyzing Environmental Mixtures
环境健康研究越来越多地测量多种污染物，以确定暴露混合物对健康的联合影响。然而，潜在的剂量-反应关系之间的毒物和健康结果的利益可能是高度非线性的，可能的非线性相互作用的影响。现有的惩罚回归方法，占暴露的相互作用，不能容纳非线性相互作用，同时保持强大的遗传性或计算不稳定的应用程序有限的样本量。在本文中，我们提出了一个一般的收缩和选择框架，以确定值得注意的非线性的主要和相互作用的影响之间的一组曝光。我们设计了分层综合组LASSO（HiGLASSO），以（a）对双向交互效应施加强遗传约束（分层），（b）在不需要初始系数估计的情况下加入自适应权重（综合），以及（c）在尊重组结构的同时诱导变量选择的稀疏性（组LASSO）。我们证明了所提出的方法的稀疏性，并将HiGLASSO应用于来自LIFECODES出生队列的环境毒物数据集，其中研究人员有兴趣了解21种尿毒物生物标志物对尿8-异前列烷的联合影响，这是一种氧化应激的测量方法。HiGLASSO的实现在higlasso R包中提供，可通过Comprehensive R Archive Network访问。
2020-03-28 stat.AP stat.ME
Blind Analysis of EGM Signals: Sparsity-Aware Formulation
本技术说明考虑了心房颤动（AF）条件下电描记图（EGM）信号的盲稀疏学习和推断问题。首先，我们介绍了一个数学模型的观察到的信号，考虑到多个焦点通常出现在心脏AF。然后，我们提出了一个重建模型的基础上，一个固定的字典，并讨论了几种选择字典。为了获得考虑到问题的生物学限制的稀疏解，第一替代方案是使用LASSO正则化，随后是去除违反心脏细胞的不应期特性的低幅度系数的后处理阶段。作为替代方案，我们提出了一种新的正则化项，称为交叉产品LASSO（CP-LASSO），这是能够将生物约束直接到优化问题。不幸的是，由此产生的问题是非凸的，但我们展示了如何有效地解决它可以近似的方式利用连续凸逼近（SCA）。最后，对从稀疏学习阶段获得的干净激活序列进行频谱分析，以估计潜在病灶的数量及其频率。模拟合成和真实数据提供了验证所提出的方法。
2012-12-31 stat.ML
Semismooth Newton Augmented Lagrangian Algorithm for Adaptive Lasso Penalized Least Squares in Semiparametric Regression
Henan University（河南大学）；Anhui University（安徽大学）
本文提出了一种半光滑牛顿增广拉格朗日算法用于半参数回归中的适应性Lasso惩罚最小二乘方法，以实现变量选择与估计的高效求解。
2026-01-04 math.OC stat.ME
A Short Note of Comparison between Convex and Non-convex Penalized Likelihood
本文比较了高维统计中凸与非凸惩罚似然方法，凸惩罚高效但引入偏差，非凸惩罚减少偏差但优化难，选择取决于问题背景。
2025-02-24 stat.ME
A Note on Choosing the Threshold for Large Covariance Estimations in Factor Models
这张照片显示，对于i.i.d.数据，估计因子模型中的大协方差阵可以使用简单的插件方法来选择阈值：$$ μ_{jl}=\frac{c_0}{\sqrt{n}}Φ^{-1}(1-\fracα{2p^2})\sqrt{\frac{1}{n}\sum_{i=1}^n\hat u_{ji}^2\hat u_{li}^2}.$$这是由Belloni et al.（2012）在lasso文献中建议的调整参数激发的。它还导致了大的协方差阵估计的极小极大收敛速度。以前，Fan等人（2013）仅当$n=o(p\log p)$时可实现极大极小，现在该条件被减弱为$n=o(p^2\log p)$。此处，$n$表示样本量，$p$表示维度。
2016-08-30 stat.ME
The Lasso error is bounded iff its active set size is bounded away from n in the proportional regime
本文在比例机制下证明 Lasso 的 L2 风险有界当且仅当其活跃变量数远离样本量 n，并利用该等价关系给出相变的简化证明，同时将分析扩展到常数阶小调节参数。
2025-01-05 math.ST stat.TH
De-biasing the Lasso: Optimal Sample Size for Gaussian Designs
在高维空间中进行统计推断是一个突出的挑战。困难的一个主要来源是没有精确的信息分布的高维估计。在这里，我们考虑线性回归的高维制度$p\gg n$。在此上下文中，我们想要对高维参数向量$θ^*\in{\mathbb R}^p$执行推断。在计算单一坐标$θ^*_i$的置信区间方面取得了重要进展。在这些新的方法中，一个关键的作用是发挥一定的去偏估计$\hatθ^{\rm d}$，是从拉索构造。早期的工作建立，在适当的假设下的设计矩阵，$\hatθ^{\rm d}$的坐标是渐近高斯提供$θ^*$是$s_0$ -稀疏与$s_0 = o(\sqrt{n}/\log p )$。条件$s_0 = o(\sqrt{n}/ \log p )$比一致估计的条件$s_0 = o(n/ \log p)$强。我们研究具有已知或未知总体协方差的高斯设计。在协方差已知的情况下，在近似最优条件$s_0 = o(n/ (\log p)^2)$下，证明了去偏估计是渐近高斯的。请注意，即使对于完全已知的协方差，早期的工作也仅限于$s_0 = o(\sqrt{n}/\log p)$。如果总体协方差是未知的，但可以足够好地估计，例如，在与早期工作假设的逆协方差相同的稀疏条件下，同样的结论也成立。对于中间政权，我们描述的稀疏系数和设计的逆协方差之间的权衡。我们进一步讨论了我们的结果高维推理的几个应用。特别是，我们提出了一个新的估…
2016-06-13 math.ST stat.ML stat.TH
A Computational Note on the Graphical Ridge in High-dimension
本文针对高维高斯图形模型中的精度矩阵估计，提出结合岭与图形lasso的两步估计器，采用弹性网络惩罚，实证显示其优于现有方法。
2023-12-25 stat.ME
A Note on Debiased/Double Machine Learning Logistic Partially Linear Model
Logistic部分线性模型的双鲁棒推理在许多应用领域中具有特殊的意义。最近，Tan（2019）为此提出了一种简单灵活的双稳健估计器。他们引入了两个滋扰模型，即logistic模型中的非参数分量和暴露协变量的条件平均值（给定其他协变量和固定响应），并将其指定为固定维参数模型。他们的框架可能会扩展到机器学习或最近开发的高维滋扰建模，例如，在Zhuzhukovet al.（2018 a，b）和Smucler et al.（2019）; Tan（2020）。基于此，本文提出了去偏/双机器学习logistic部分线性模型。对于滋扰模型的构建，我们分别考虑使用高维稀疏参数模型和一般的机器学习方法。通过推导一定的矩方程来校正滋扰模型的一阶偏差，我们保持了高维超稀疏滋扰模型的模型双重鲁棒性。我们还讨论并比较了我们的方法与去偏LASSO（Van deGeer等人，2014年）。为了实现机器学习的建议，我们设计了一个完整的模型改装程序，允许使用任何黑盒条件均值估计方法在我们的框架。在机器学习设置下，我们的方法在类似意义上具有双倍的鲁棒性，如Zerichzhukov et al.（2018 a）。
2020-08-28 stat.ME
