Recovery Conditions and Sampling Strategies for Network Lasso
Aalto University（阿尔托大学）
网络Lasso是最近提出的一种用于从海量网络结构化数据集进行机器学习的凸优化方法，即，网络上的大数据它是众所周知的最小绝对收缩和选择算子（Lasso）的变体，Lasso是涉及稀疏模型的学习和信号处理中的许多方法的基础。网络Lasso的高度可扩展的实现可以通过现有技术的邻近方法来获得，例如，交替方向乘法器（ADMM）。通过推广van de Geer和Buehlmann提出的分析平面Lasso的有力工具--相容性条件的概念，我们得到了一个充分条件，即，在底层网络拓扑上的网络兼容性条件，使得网络Lasso准确地学习聚类的底层图形信号。该网络兼容性条件将采样节点的位置与网络的聚类结构相关联。特别是，NCC通知选择哪些节点进行采样，或者在机器学习术语中，哪些数据点提供了最多的信息（如果标记的话）。
2017-09-03 cs.LG stat.ML
Efficient Data Reduction Strategies for Big Data and High-Dimensional LASSO Regressions
针对 n 与 p 均大的高维 LASSO 大数据问题，本文扩展 IBOSS 至惩罚回归，并提出先降变量、再降数据点的两种两步约简算法，在精度与计算效率上优于现有方法。
2024-01-20 stat.ME
Sparse recovery with unknown variance: a LASSO-type approach
当方差$\sg^{2}$未知时，我们解决了在通用$s$ -稀疏线性模型$y = Xβ+z$中估计回归向量$β$的问题，其中$β\in\R^{p}$，$y\in\R^{n}$，$z\sim\mathcal N(0,\sg^2 I)$和$p> n$。我们研究两个LASSO型的方法，共同估计$β$和方差。这些估计量是$\ell_1$惩罚最小二乘泛函的最小值，其中松弛参数根据两种不同的策略进行调整。在第一种策略中，松弛参数为$\chσ \sqrt{\log p}$阶，其中$\chσ^2$是经验方差。%由此产生的优化问题可以通过仅运行几个连续的LASSO实例来解决，并递归更新松弛参数。在第二种策略中，松弛参数的选择，以便执行之间的权衡的保真度和惩罚条款的最优性。对于这两个估计量，我们的假设类似于Candès和Plan在{ \it Ann. Stat.（2009）}，对于$\sg^{2}$已知的情况。我们证明，我们的估计确保准确恢复的支持和符号模式的$β$以高概率。我们目前的模拟结果表明，第一估计享有几乎相同的性能在实践中的标准LASSO（已知方差的情况下）的信号噪声比的范围很广。我们的第二个估计优于这两个方面的错误检测，当信号噪声比低。
2012-11-05 math.ST stat.ML stat.TH
Algorithms for Fitting the Constrained Lasso
我们比较其他的计算策略解决约束套索问题。顾名思义，约束套索扩展了广泛使用的套索来处理线性约束，这允许用户将先验信息合并到模型中。除了二次规划，我们采用交替方向的乘数法（ADMM），也得到一个有效的解决方案的路径算法。通过模拟和真实数据示例，我们比较了不同的算法，并在各种数据大小的效率和准确性方面提供了实用的建议。我们还表明，对于任意的惩罚矩阵，广义套索可以转化为一个约束套索，而反之则不然。因此，我们的方法也可以用于估计广义套索，这具有广泛的应用。实现算法的代码可以在Matlab工具箱SparseReg中免费获得。
2016-10-28 stat.CO stat.ML
Comparing Lasso and Adaptive Lasso in High-Dimensional Data: A Genetic Survival Analysis in Triple-Negative Breast Cancer
本文研究了高维基因数据中带Lasso和Adaptive Lasso惩罚的Cox回归，提出四种权重计算策略和基于重要性指数的稳健变量选择流程，发现Adaptive Lasso在变量选择和预测性能上优于标准Lasso，并成功应用于三阴性乳腺癌预后分析。
2025-07-01 stat.AP stat.ME
Bayesian Bootstrap Spike-and-Slab LASSO
后验采样的不切实际性阻碍了在高维应用中广泛采用尖峰和平板先验。为了减轻计算负担，已经提出了快速找到局部后验模式的优化策略。权衡不确定性量化的计算速度，这些策略已经实现了以前不可行的规模的钉板部署。我们建立在这一系列工作的最新发展基础上：Ročková和George（2018）的Spike-and-Slab LASSO程序。然而，我们没有进行优化，而是探索了后验采样的多种途径，有些是传统的，有些是新的。感兴趣的尖峰和板LASSO模式检测的速度，我们探讨了采样的可能性，从一个近似的后验进行MAP优化许多独立扰动的数据集。为此，我们探索贝叶斯引导的想法，并引入一类新的抖动尖峰和板LASSO先验随机收缩目标。这些先验知识是本文提出的贝叶斯自举尖峰和平板LASSO（BB-SSL）方法的关键组成部分。BB-SSL将快速优化转化为近似后验采样。除了它的可扩展性，我们表明，BB-SSL有很强的理论支持。事实上，我们发现，在稀疏正态均值和高维回归中，诱导的伪后验概率以接近最优的速率围绕真理收缩。我们将我们的算法与传统的随机搜索变量选择（根据拉普拉斯先验）以及许多最先进的收缩先验方法进行比较。我们表明，无论是在模拟和真实数据，我们的方法票价在这些比较出色，往往提供大量的计算增益。
2021-03-29 stat.CO stat.ME
Variable selection via fused sparse-group lasso penalized multi-state models incorporating molecular data
针对高维多状态模型的变量选择问题，提出融合稀疏组套索（FSGL）惩罚的Cox型回归方法，整合协变量效应成对差异惩罚与转移分组，适配ADMM算法优化，在模拟及AML数据中验证了其选择稀疏模型的有效性及相比全局套索的优势。
2024-11-26 stat.AP stat.ME
Dynamic Screening: Accelerating First-Order Algorithms for the Lasso and Group-Lasso
最近的计算策略的基础上筛选测试已被提出来加速算法解决惩罚稀疏回归问题，如套索。这种方法建立在这样的想法上，即值得投入一些小的计算工作来定位不活跃的原子并在预处理阶段将它们从字典中移除，使得与较小的字典一起工作的回归算法随后将更快地收敛到初始问题的解决方案。我们相信有一种更有效的方法来筛选字典并获得更大的加速：在回归算法的每次迭代中，可以利用算法计算来免费获得新的筛选测试，并在迭代过程中增加筛选效果。从此以后，在第一次迭代之前，字典被动态地筛选，而不是被静态地、一劳永逸地筛选。我们正式这个动态筛选原则，在一个通用的算法方案，并应用它通过嵌入在一些一阶算法适应现有的筛选测试，以解决套索或新的筛选测试，以解决组套索。在大量的合成数据以及真实世界的声音和图像实验中评估了计算增益。它们显示了筛选效率和运行时间方面的增益。
2014-12-12 cs.LG stat.ML
From safe screening rules to working sets for faster Lasso-type solvers
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高等电信学院LTCI实验室）
凸稀疏促进正则化在现代统计学习中无处不在。通过构造，它们产生具有少数非零系数的解，这对应于对偶优化公式中的饱和约束。工作集（WS）策略是通用的优化技术，包括在解决简单的问题，只考虑一个子集的约束，其索引形式的WS。工作集方法，因此涉及两个嵌套的迭代：外循环对应的定义的WS和内循环调用一个求解器的子问题。对于Lasso估计器，WS是一组特征，而对于Group Lasso，它指的是一组组。在实践中，WS在这种情况下通常很小，因此相关联的特征Gram矩阵可以适合存储器。在这里，我们表明，高斯-Southwell规则（贪婪的块坐标下降技术的策略）导致快速求解器在这种情况下。结合工作集策略的基础上积极使用所谓的间隙安全筛选规则，我们提出了一个求解器实现国家的最先进的性能稀疏学习问题。结果在Lasso和多任务Lasso估计器上呈现。
2017-05-01 cs.LG math.OC stat.CO
Grouping Strategies and Thresholding for High Dimensional Linear Models
研究了具有结构稀疏性的高阶回归模型的估计问题。本文提出了一种分块阈值分割的两步算法GR-LOL。产生收敛速度：它们依赖于Gram矩阵的简单相干型指数（容易在数据上检查）以及通过$l_1$块内与$l_q,q<1$块间范数的组合测量的模型参数的稀疏性假设。一致性指标的简单性表明，当群体结构不是由问题自然给出并且未知时，可以优化收敛速度。在这种情况下，提供自动驱动程序来确定回归变量组（数量和内容）。密集的实际研究比较我们的分组方法与标准的LOL算法。我们证明，分组很少恶化的结果，但可以改善他们非常显着。GR-LOL还与group-Lasso程序进行了比较，并表现出非常令人鼓舞的行为。结果是相当令人印象深刻的，特别是当GR-LOL算法与分组预处理相结合。
2012-07-09 math.ST stat.TH
Majorization-Minimization Dual Stagewise Algorithm for Generalized Lasso
University of Pennsylvania（宾夕法尼亚大学）；University of Connecticut（康涅狄格大学）
针对广义 lasso 在非高斯、非线性模型下完整解路径计算困难的问题，提出 MM-DUST 算法，借助二次优化子与对偶小步长逐坐标更新实现精度和效率权衡，并证明其复杂度与路径一致收敛性。
2025-01-04 cs.LG stat.CO stat.ML
Multi-omics network reconstruction with collaborative graphical lasso
Wageningen University and Research（瓦赫宁根大学与研究）
本文提出协同图拉索方法，通过整合多组学数据提升网络推断能力，并引入XStARS进行超参数调节，验证了其在生物相互作用识别中的有效性。
2026-01-27 q-bio.MN stat.ME
Lasso-type estimators for Semiparametric Nonlinear Mixed-Effects Models Estimation
参数非线性混合效应模型（NLME）现在被广泛地用于生物统计学研究，特别是在药代动力学研究和HIV动力学模型中，这是由于在过去几年中所取得的计算进展。然而，这类模型对于复杂的纵向数据分析可能不够灵活。Ke和Wang（2001）已经提出了半参数NLME（SNLME）。这些模型是一个很好的折衷方案，保留了参数和非参数模型的良好特性，从而使模型比标准参数NLME更灵活。然而，SNPs是复杂的模型，估计仍然是一个挑战。Ke和Wang（2001）提出的估计过程基于用于参数估计的对数似然近似方法和用于非参数估计的平滑样条技术的组合。在这项工作中，我们提出了新的估计策略，在SNARTIVE。一方面，我们使用期望最大化算法的随机逼近版本（Delyon等人，1999）获得固定效应和方差分量的精确ML和REML估计。另一方面，我们提出了一个LASSO型的方法来估计未知的非线性函数。我们推导出这种非参数估计的预言不等式。我们结合这两种方法在一个一般的估计过程中，我们说明模拟和真实的数据。
2012-02-02 stat.ME
Deep Learning Models to Predict Pediatric Asthma Emergency Department Visits
Parkland Center for Clinical Innovation (PCCI)（帕克兰临床创新中心）；Parkland Community Health Plan (PCHP)（帕克兰社区健康计划）
儿童哮喘是最常见的慢性儿童疾病，在美国约有620万儿童受到影响。然而，通过识别和避免触发因素，教育药物和适当的疾病管理策略，可以更好地管理哮喘。这项研究利用深度学习方法，使用医疗补助索赔数据预测3个月内与哮喘相关的急诊科（ED）就诊。我们将预测结果与传统的统计分类模型-惩罚Lasso逻辑斯谛回归进行了比较，该模型自2015年以来一直在训练和部署。结果表明，深度学习模型人工神经网络（ANN）的表现略优于（AUC = 0.845）Lasso逻辑斯谛回归（AUC = 0.842）。其原因可能是由于人工神经网络的非线性特性。
2019-07-25 cs.LG stat.AP stat.ML
Stability Selection for Structured Variable Selection
Carnegie Mellon University（卡内基梅隆大学）
在变量或图选择问题中，找到合适大小的模型或控制误报的数量是非常困难的。最近，提出了一种称为稳定性选择的元算法，可以提供可靠的有限样本控制误报的数量。当与套索和正交匹配追踪算法结合使用时，其优点得到了证明。在本文中，我们研究的适用性稳定性选择结构化选择算法：组套索和结构化的输入输出套索。我们发现，使用稳定性选择往往会增加这两种算法的功率，但复杂结构的存在降低了稳定性选择下的错误控制的可靠性。我们给出了调整参数的设置策略，以获得一个良好的模型大小下的稳定性选择，并强调其优势和劣势相比，竞争的方法屏幕和清洁和交叉验证。我们给出了何时使用哪种错误控制方法的指导方针。
2017-12-13 cs.LG stat.ML
Big Data Analysis Using Shrinkage Strategies
本文针对样本数小于预测变量数的高维多元回归模型，利用收缩策略有效地估计了回归系数。我们假设在稀疏线性模型中，一些预测因子对感兴趣的响应具有非常弱的影响。我们建议收缩估计比平常更多。具体来说，我们使用集成估计策略，在子模型和完整的模型和收缩的集成估计，通过纳入一个有界的可测函数的一些权重。所展示的双收缩估计量显著提高了从现有Lasso型变量选择方法中选择的子模型的预测性能。蒙特卡罗模拟研究以及眼睛数据和Riboavin数据的真实例子证实了估计器在高维回归模型中的优越性能。
2017-04-17 stat.ME
A Machine Learning-based Recommendation System for Swaptions Strategies
University College London（伦敦大学学院）
衍生品交易员通常需要每天扫描数百甚至数千笔可能的交易。到目前为止，没有一个单一的解决方案可以帮助他们的工作。因此，这项工作的目的是开发一个交易推荐系统，并将此系统应用于所谓的中间曲线日历价差（MCCS），一个异国情调的掉期为基础的衍生品包。总之，我们的交易推荐系统遵循以下流程：（i）在某个交易日，我们计算与MCCS相关的指标和敏感度;（ii）将这些指标输入一个模型，该模型可以预测给定持有期的预期收益率;在对所有交易重复（i）和（ii）之后，我们（iii）使用某些优势标准对交易进行排名。为了表明这种方法是可行的，我们使用了35种不同类型的MCCS;总共11个预测模型;和4个基准模型。我们的研究结果表明，在一般线性回归与套索正则化相比，有利的其他方法从预测和可解释性的角度来看。
2018-10-04 cs.LG q-fin.GN q-fin.PM
Tuning Parameter Selection for Penalized Estimation via $R^2$
惩罚估计的调整参数选择策略对于识别既可解释又可预测的模型至关重要。然而，流行的策略（例如，通过交叉验证使平均平方预测误差最小化）倾向于选择具有比所需更多的预测因子的模型。本文提出了一种简单而强大的交叉验证策略，基于最大化观测值和预测值之间的平方相关性，而不是最小化平方误差损失的目的，支持恢复。该策略可以适用于所有惩罚最小二乘估计，我们表明，在一定条件下，度量隐含地执行偏差调整。特别注意的是拉索估计，我们的策略是密切相关的放松拉索估计。我们展示了我们的方法上的功能变量选择问题，以确定最佳位置的表面肌电传感器控制机器人手假肢。
2022-11-09 stat.ME
Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter Selection Strategy based on Sharp Asymptotic Analysis
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文研究高维稀疏回归中基于 Lasso 的迁移学习算法，利用副本方法进行渐近分析，发现忽略微调阶段的一种信息对泛化性能影响很小，从而显著减少超参数选择工作量，并在真实和半人工数据集上得到验证。
2025-01-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
A comparison of strategies for selecting auxiliary variables for multiple imputation
多重插补（MI）是处理缺失数据的常用方法。可以将辅助变量添加到插补模型中，以改善MI估计值。然而，选择哪些辅助变量包括在插补模型中并不总是简单的。包含太少可能导致重要信息被丢弃，但包含太多可能导致插补模型估计过程的收敛问题。已经提出了几种数据驱动的辅助变量选择策略。本文采用模拟研究和案例研究的方法，对八种辅助变量选择策略的性能进行了综合比较，旨在为MI的使用者提供实用的建议。还进行了完整的病例分析和MI分析，所有辅助变量均纳入插补模型（完整模型），以进行比较。我们的模拟研究结果表明，完整的模型优于所有辅助变量选择策略，提供了进一步的支持，在可能的情况下，采用包容性的辅助变量策略。使用最小绝对选择和收缩算子（LASSO）的辅助变量选择是整体性能最佳的辅助变量选择策略，并且在完整模型失败时是一种有前途的替代方案。我们能够应用于案例研究的所有MI分析策略都导致了类似的估计。
2022-03-30 stat.ME
The Strong Screening Rule for SLOPE
Lund University（隆德大学）；University of Wroclaw（弗罗茨瓦夫大学）
针对高维场景下SLOPE正则化路径估计效率不足的问题，提出了套索强规则推广形式的SLOPE启发式筛选规则，验证了其可靠性与效率提升，并在R包SLOPE中实现了该方法。
2022-04-22 cs.LG stat.CO stat.ML
Dual-sPLS: a family of Dual Sparse Partial Least Squares regressions for feature selection and prediction with tunable sparsity; evaluation on simulated and near-infrared (NIR) data
Université Saint-Joseph（圣约瑟夫大学）；Université Claude Bernard Lyon 1（里昂第一大学）；IFP Energies nouvelles（法国石油与新能源研究院）
本文提出 Dual-sPLS 稀疏偏最小二乘回归族，通过对偶范数惩罚和收缩比率参数实现可调稀疏性，在模拟与真实 NIR 化学数据上取得良好预测与解释效果。
2023-01-17 cs.LG math.OC stat.ML
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA 达莱·莫勒人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题，提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法，并引入防过拟合策略，数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Performance Limits of Stochastic Sub-Gradient Learning, Part I: Single Agent Case
University of California（加利福尼亚大学）
在这项工作和支持的第二部分，我们研究了性能的随机次梯度学习策略在较弱的条件下比通常认为在文献中。新的条件自动满足几个重要的情况下，包括SVM，LASSO，和总变差去噪配方。相比之下，这些问题并不满足传统的假设中使用的先前的分析，因此，从这些早期的治疗得出的结论是不直接适用于这些问题。本文的结果表明，随机次梯度策略可以达到线性收敛速度，而不是次线性速度，稳态政权。一个可实现的指数加权过程中平滑的中间迭代，并保证有用的性能范围的收敛速度和过度的风险性能。这项工作的第一部分侧重于单代理的情况下，这是常见的独立的学习应用程序，而第二部分扩展到网络学习者的分析。通过几个例子和模拟，包括与FISTA程序的比较，说明了理论结论。
2017-04-21 cs.LG cs.MA stat.ML
LLM Sparsity Prior for Robust Feature Selection
Department of Statistics, Rice University（统计学系，里士满大学）；Department of Computer Science, Rice University（计算机科学系，里士满大学）
提出 LLM 稀疏先验 (LSP) 方法，通过将 LLM 生成的权重整合到 Spike-and-Slab 模型的先验包含概率中，并利用层次超先验动态调整权重影响，实现鲁棒的高维特征选择，在急性肾损伤数据集上提升了预测准确性和临床相关特征识别。
2026-05-21 cs.LG stat.ME stat.ML
MIBoost: A gradient boosting algorithm for variable selection after multiple imputation
Institute of Medical Biostatistics, Epidemiology and Informatics (IMBEI), University Medical Center, Johannes Gutenberg University Mainz（医学生物统计学、流行病学与信息学研究所（IMBEI），大学医学中心，美因茨约翰内斯·古腾堡大学）
本文提出MIBoost算法，通过统一变量选择机制在多重插补数据中实现变量选择，结合MIBoostCV进行交叉验证，在模拟研究中表现与传统方法相当。
2026-04-10 cs.LG stat.ML
Numerical Characterization of Support Recovery in Sparse Regression with Correlated Design
稀疏回归经常在不同的科学环境中作为特征选择方法。科学数据的一个普遍的方面，阻碍了特征选择和估计是预测特征之间的强相关性的存在。这些基本问题往往没有意识到的从业者，jeapordize从估计模型得出的结论。另一方面，稀疏诱导正则化回归（如Lasso）的理论结果在很大程度上通过渐近性解决了选择一致性的条件，而忽略了模型选择的问题，从而选择正则化参数。在这个数值研究中，我们解决这些问题，通过详尽的表征几个回归估计的性能，再加上一系列的模型选择策略。这些估计和选择标准进行了检查，在相关的回归问题与不同程度的信号噪声，非零模型系数的分布，和模型稀疏。我们的研究结果揭示了一个基本的权衡假阳性和假阴性控制在所有的回归估计和模型选择标准检查。此外，我们能够在数值上探索调制的信号-噪声比和频谱特性的设计协方差阵的所有考虑的算法的选择精度降低的过渡点。总的来说，我们发现，SCAD加上BIC或经验贝叶斯模型选择执行最好的功能选择在考虑的回归问题。
2021-03-23 stat.AP stat.ME
Quantile mixed graphical models with an application to mass public shootings in the United States
针对美国大规模公共枪击案的成因探究需求，提出一种基于Parzen中分位数定义的分位数混合图模型，采用邻域选择与带LASSO惩罚的两步估计法提取变量关联结构，为研究该复杂现象的多领域关联提供无严格分布假设的建模工具。
2023-09-27 stat.AP stat.ME
Subsampling Winner Algorithm for Feature Selection in Large Regression Data
Cleveland State University（克利夫兰州立大学）；George Mason University（乔治梅森大学）
在回归分析中，从大量协变量（又名特征）中选择特征仍然是数据科学中的一个挑战，特别是在其扩展到不断扩大的数据并找到一组有科学意义的特征方面。例如，为了开发卵巢癌的新的响应性药物靶标，实际特征选择程序的实际错误发现率（FDR）也必须与靶标FDR匹配。当真实特征稀疏时，常用的特征选择方法是使用惩罚似然或收缩估计，如LASSO、SCAD、弹性网或MCP过程（称之为基准过程）。我们提出了一种不同的方法，使用一种新的子采样方法，称为子采样赢家算法（SWA）。SWA的中心思想类似于美国国家优秀学者的选择。SWA使用"基本程序"来分析每个子样本，根据来自所有子样本分析的每个特征的表现计算所有特征的得分，基于所得得分获得"半决赛选手"，然后确定"决赛选手"，即，最重要的特征。由于其子采样性质，SWA原则上可以扩展到任何维度的数据。与基准程序和randomForest相比，SWA还具有最佳控制的实际FDR，同时具有竞争力的真实特征发现率。我们还建议实用的附加策略，SWA或没有惩罚基准程序，以进一步确保“真正”的发现的机会。我们将SWA应用于Broad研究所的卵巢浆液性囊腺癌标本，揭示了功能重要的基因和途径，我们通过其他基因组学工具进行了验证。这个第二阶段的研究对于当前讨论P值的正确使用是必不可少的。
2020-02-07 cs.LG stat.ML
Highly Adaptive Empirical Risk Minimization with Principal Components
University of California, Berkeley（加州大学伯克利分校）；ICMAT, National Research Council of Spain（西班牙国家研究委员会ICMAT）
本文提出主成分高适应性估计器，通过理论验证实现维度缩减，将HAL的插件效率和渐近正态性结果扩展至PC-HA估计器。
2026-03-18 math.ST stat.TH
