On LASSO for High Dimensional Predictive Regression
本文研究高维预测回归中LASSO的一致性条件,提出新的概率界,证明在混合平稳、非平稳和协整预测变量下经尺度标准化后LASSO仍保持渐近保证,并在FRED-MD数据上验证了其预测失业率的有效性。
2024-01-16 econ.EM stat.ML
Cointegrated Regressors: Where Folded Concave Penalties Go Beyond LASSO
Hunan University(湖南大学);The Chinese University of Hong Kong(香港中文大学);University of Macau(澳门大学)
本文针对高维协整回归中LASSO凸惩罚过度抑制系数的问题,采用折叠凹惩罚(SCAD、MCP),建立两类oracle性质,经模拟和欧元区失业率预测验证,其变量选择与样本外预测性能优于LASSO。
2026-10-30 econ.EM stat.ME stat.ML
Bayesian Pliable Lasso with Horseshoe Prior for Interaction Effects in GLMs with Missing Responses
本文提出贝叶斯可塑套索,结合马蹄先验处理广义线性模型中的交互效应与缺失响应,通过分层先验强制遗传约束并自适应收缩,开发高效吉布斯采样算法,在完整和不完整数据下优于现有方法。
2025-09-09 stat.AP stat.CO stat.ME
Bayesian MI-LASSO for Variable Selection on Multiply-Imputed Data
Department of Biostatistics, Columbia University(哥伦比亚大学生物统计系);Department of Statistics, Rutgers University(罗格斯大学统计系)
针对多重插补数据变量选择不一致问题,提出四种贝叶斯MI-LASSO模型及四步投影预测选择程序,模拟显示优于现有方法,并提供了R包BMIselect。
2026-11-06 stat.ME
Structured Lasso for convex nonparametric least squares: An application to Swedish electricity distribution networks
Faculty of Business and Management, Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院商业管理学院);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所)
针对凸非参数最小二乘中传统Lasso变量选择效率低的问题,结合次梯度结构提出融合ℓ₁与ℓ∞范数的结构化Lasso及其松弛版本,经仿真和瑞典配电网数据验证,性能更优。
2025-10-30 econ.EM stat.ME
Comparing Lasso and Adaptive Lasso in High-Dimensional Data: A Genetic Survival Analysis in Triple-Negative Breast Cancer
本文研究了高维基因数据中带Lasso和Adaptive Lasso惩罚的Cox回归,提出四种权重计算策略和基于重要性指数的稳健变量选择流程,发现Adaptive Lasso在变量选择和预测性能上优于标准Lasso,并成功应用于三阴性乳腺癌预后分析。
2025-07-01 stat.AP stat.ME
Robust Fused Lasso Penalized Huber Regression with Nonasymptotic Property and Implementation Studies
对于现实中的一些特殊数据,如基因数据,相邻的基因可能具有相似的功能。因此,确保相邻基因之间的平滑性是非常必要的。但是,在这种情况下,标准的套索惩罚似乎不再合适了。另一方面,在高维统计中,一些数据集很容易被离群值污染或包含重尾分布的变量,这使得许多传统的方法不足。为了解决这两个问题,本文提出了一种用于稳健估计和推理的自适应Huber回归,其中,融合套索惩罚用于鼓励系数的稀疏性以及它们的差的稀疏性,即,系数分布的局部恒定性。理论上,我们建立了它的非渐近估计误差界下的$\ell_2$ -范数在高维设置。所提出的估计方法被公式化为一个凸的、非光滑的和可分离的优化问题,因此,可以采用交替方向的乘子方法。最后,我们进行了模拟研究和实际癌症数据的研究,这表明所提出的估计方法是更强大的和预测。
2022-09-28 stat.ME
Ultra high dimensional generalized additive model: Unified Theory and Methods
广义可加模型是一种功能强大的统计学习和预测建模工具,已得到广泛的应用。在处理高吞吐量数据(如遗传数据分析)的背景下,对高维加法建模的需求是突出的。本文研究了超高维广义可加模型的两步选择和估计方法。第一步在函数的扩展基础上应用group lasso。这很有可能选择所有非零函数,而不会有太多的过度选择。第二步使用自适应组套索与任何初始估计,包括组套索估计,满足一些常规条件。自适应组套索估计被证明是选择一致的改进的收敛速度。本文还讨论了调整参数的选择,并证明了在GIC过程中,调整参数的选择是一致的。理论性质得到了广泛的数值研究的支持。
2020-08-15 stat.ME
Guidelines for LASSO and derivatives use under different dependence and scale structures
本文通过模拟与三个真实数据集,考察标准化在不同依赖和尺度结构下对 LASSO 选择与预测性能的影响,并与多种方法比较,给出方法选择指南。
2025-06-11 stat.ME
Constructing confidence sets after lasso selection by randomized estimator augmentation
虽然近年来已有一些方法在模型选择后建立置信区间,但如何建立联合后选择推理的置信集仍然是一个悬而未决的问题。在本文中,我们发展了一种新的方法来构造置信集后,套索变量选择,其准确性和有效性的强有力的数值支持。我们的方法的一个关键组成部分是从响应$y$的条件分布中采样,给定套索活动集,这通常是非常具有挑战性的,因为条件事件的概率很小。我们克服了这一技术困难,使用估计增强模拟从这个条件分布通过马尔可夫链蒙特卡罗给定任何估计$\tildeμ$的平均值$μ_0$的$y$。然后,我们将随机化步骤的估计$\tildeμ$在我们的采样过程中,这可以被解释为模拟从后验预测分布的平均在$μ_0$的不确定性。我们的蒙特卡罗样本在构建多个参数的置信集方面具有很大的灵活性。大量的数值结果表明,我们的方法是能够构建所需的覆盖率的置信集,而且,我们的置信集的直径和体积是相当小的比较,与国家的最先进的方法。
2021-03-17 stat.ME
The Spike-and-Slab Quantile LASSO for Robust Variable Selection in Cancer Genomics Studies
本文提出全贝叶斯spike-and-slab分位数LASSO,结合ALD稳健似然与EM坐标下降,在重尾高维基因组模拟及TCGA癌症数据中提升变量选择和预测表现。
2024-05-12 stat.ME
Log-ratio Lasso: Scalable, Sparse Estimation for Log-ratio Models
正值信号数据在许多生物和医学应用中是常见的,其中数据通常由成像技术(诸如质谱)生成。在这样的设置中,原始特征的相对强度通常是科学上有意义的量,因此识别采取原始输入的对数比形式的相关特征是有意义的。当包含所有预测因子对的对数比时,该预测因子空间的维数变大,因此需要计算效率高的统计过程。我们引入了一个嵌入的对数比参数空间到一个空间的低得多的维度和开发高效的惩罚拟合程序使用这种更容易处理的表示。该过程作为两步拟合过程的基础,该两步拟合过程将凸滤波步骤与第二非凸修剪步骤相结合以产生高度稀疏的解。在癌症蛋白质组学数据集上,我们发现这些方法适合具有已知生物相关性的对数比特征的高度稀疏模型,同时大大提高了较少可解释方法的预测准确性。
2017-09-04 stat.ME
Split Regularized Regression
我们提出了一种拟合线性回归模型的方法,该方法将协变量集分成组。通过最小化目标函数来执行将变量最优地分成组和回归系数的正则化估计,该目标函数鼓励每组内的稀疏性和它们之间的多样性。然后将估计的系数合并在一起以形成最终拟合。我们的过程在给定的惩罚线性回归估计器(例如,Lasso,弹性网),通过将其拟合到可能重叠的特征组,鼓励这些组之间的多样性,以减少相应预测的相关性。对于弹性网罚函数和正交预测函数两组情形,我们给出了每组中回归系数的封闭形式解。我们建立了我们的方法的一致性,预测因子的数量可能会随着样本量的增加而增加。一个广泛的模拟研究和实际数据的应用表明,在一般情况下,所提出的方法提高了预测精度的基础估计程序中使用。GLM和其他模型的可能扩展进行了讨论。本文的补充材料,可在线获得,包含我们的理论结果的证明和我们的模拟研究的全部结果。
2019-12-12 stat.ME
Statistical Downscaling of Model Projections with Multivariate Basis Graphical Lasso
我们描述了一种改进的统计降尺度方法,地球科学应用使用多元基图形套索(BGL)。我们证明了我们的方法使用的海洋表面温度(SST)预测CMIP 6地球系统模型,这有直接的应用程序的珊瑚礁漂白的几十年预测研究的案例研究。我们发现,BGL降尺度方法是计算上易于处理的大数据集,和均方预测误差约为8%,低于目前最先进的基于插值的统计降尺度方法。最后,不像大多数目前可用的方法,BGL降尺度产生不确定性估计。我们的新方法可以适用于任何模型输出变量,相应的高分辨率观测数据。
2022-01-31 stat.AP stat.ME
Sparse canonical correlation analysis from a predictive point of view
典型相关分析(CCA)通过最大化每个数据集中变量的线性组合之间的相关性来描述两组变量之间的关联。然而,在高维环境中,当变量的数量超过样本量或当变量高度相关时,传统的CCA不再适用。本文提出了一种稀疏CCA方法。稀疏估计仅产生来自每个数据集的变量的子集的线性组合,从而增加典型变量的可解释性。我们从预测的角度考虑CCA问题,并将其转换为回归框架。通过将交替回归方法与套索惩罚相结合,我们诱导了典型向量的稀疏性。我们在不同的模拟设置与其他稀疏CCA技术的性能进行比较,并说明其有用的基因组数据集。
2015-01-06 stat.ME
Spike-and-Slab LASSO Generalized Additive Models and Scalable Algorithms for High-Dimensional Data Analysis
有建议,扩展经典的广义可加模型(GAM),以适应高维数据($p>>n$)使用组稀疏正则化。然而,稀疏正则化在估计平滑函数时可能会导致过度收缩,从而损害预测性能。此外,大多数这些GAM考虑一个“全进全出”的方法进行功能选择,使他们难以回答,如果非线性效应是必要的。虽然一些贝叶斯模型可以解决这些缺点,但使用马尔可夫链蒙特卡罗算法进行模型拟合会带来新的挑战,即可扩展性。因此,我们提出贝叶斯分层广义可加模型作为解决方案:我们考虑通过重新参数化的曲线插值适当收缩的平滑惩罚。一种新的两部分尖峰和平板LASSO前光滑函数的开发,以解决信号的稀疏性,同时提供额外的灵活性,以选择的线性或非线性分量的光滑函数。一个可扩展的和确定性的算法,EM坐标下降,在一个开源的R包BHAM实现。模拟研究和代谢组学数据分析表明,与最先进的模型相比,预测和计算性能有所改善。功能选择的表现表明权衡存在的影响层次假设。
2022-05-16 stat.ME stat.ML
Bad estimation, good prediction: the Lasso in dense regimes
针对高维组学数据中Lasso在稀疏性假设被违反时仍具强预测性能的现象,本文证明稠密的高维联合潜变量模型下Lasso可生成具良好预测误差界的稀疏预测规则,且预测界随预测变量数增加而减小,为解释稀疏预测规则提供了理论依据。
2025-02-11 stat.AP stat.ME
Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized Autoencoders
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
高维数据集通常通过构建潜在的低维空间来分析和探索,这使得方便的可视化和有效的预测建模或聚类成为可能。对于复杂的数据结构,像PCA这样的线性降维技术可能不够灵活,无法实现低维表示。非线性降维技术,如核PCA和自动编码器,遭受损失的可解释性,因为每个潜在变量是依赖于所有的输入尺寸。为了解决这个限制,我们在这里提出了路径套索惩罚自动编码器。这种结构化正则化通过惩罚从输入到潜在变量的编码器的每条路径来增强可解释性,从而限制每个潜在维度中表示多少输入变量。我们的算法使用组套索惩罚和非负矩阵分解来构建稀疏的,非线性的潜在表示。我们比较路径套索正则化的自动编码器PCA,稀疏PCA,自动编码器和稀疏自动编码器的真实和模拟数据集。我们表明,该算法表现出低得多的重建误差比稀疏PCA和参数明智的套索正则化低维表示的自编码器。此外,路径套索表示提供了更准确的重建匹配,即保留原始空间和重建空间中的对象之间的相对距离。
2021-10-20 cs.LG stat.ME
A Stable Lasso
Macquarie University(麦考瑞大学);The University of Sydney(悉尼大学)
本文针对 Lasso 在相关预测变量下选择稳定性变差的问题,提出将基于相关性调整排序的加权方案集成到 Lasso 惩罚函数中以提升稳定性,并验证了其作为通用正则化选择稳定方案的潜力。
2026-10-20 stat.CO stat.ME stat.ML
Bayesian Geographically Weighted Regression using Fused Lasso Prior
针对观测点空间密度不均导致 GWR 与 BGWR 预测不稳的问题,提出采用贝叶斯融合 Lasso 先验的 BGWSR,并通过数值实验和东京地价数据验证其更高精度与更低不确定性。
2024-02-28 stat.ME
The Contextual Lasso: Sparse Linear Models via Deep Neural Networks
University of New South Wales(新南威尔士大学);BIMLOGIQ
针对稀疏线性模型灵活性不足的问题,提出contextual lasso,利用深度神经网络根据上下文特征动态调整解释特征的稀疏模式和系数,在保持透明性的同时实现比常规lasso更稀疏且不损失预测能力。
2024-01-02 cs.LG stat.ME stat.ML
Tuning Parameter Selection for Penalized Estimation via $R^2$
惩罚估计的调整参数选择策略对于识别既可解释又可预测的模型至关重要。然而,流行的策略(例如,通过交叉验证使平均平方预测误差最小化)倾向于选择具有比所需更多的预测因子的模型。本文提出了一种简单而强大的交叉验证策略,基于最大化观测值和预测值之间的平方相关性,而不是最小化平方误差损失的目的,支持恢复。该策略可以适用于所有惩罚最小二乘估计,我们表明,在一定条件下,度量隐含地执行偏差调整。特别注意的是拉索估计,我们的策略是密切相关的放松拉索估计。我们展示了我们的方法上的功能变量选择问题,以确定最佳位置的表面肌电传感器控制机器人手假肢。
2022-11-09 stat.ME
PANDA: AdaPtive Noisy Data Augmentation for Regularization of Undirected Graphical Models
University of Notre Dame(圣母大学)
我们提出了一种自适应噪声增强(PANDA)技术来正则化无向图模型的估计和构造。PANDA迭代优化目标函数,给出噪声增强数据,直到收敛,以实现模型参数的正则化。增强噪声可以设计成各种正则化效果的图估计,如桥(包括套索和脊)、弹性网、自适应套索、SCAD惩罚等,还可以实现群套索和融合脊。我们研究了噪声增强损失函数的尾界,并建立了噪声增强损失函数及其最小值几乎必然分别收敛于预期的惩罚损失函数及其最小值。在广义线性模型中,利用PANDA方法得到了正则化参数的渐近分布,并在此基础上进行了参数的推断和变量选择.我们在模拟研究中显示了PANDA在构建不同类型的图方面的非劣性能,并将PANDA应用于自闭症谱系障碍数据构建混合节点图。我们还表明,通过PANDA正则化参数估计的渐近分布的基础上的推理实现名义或接近名义的覆盖率,是更有效的,相比一些现有的后选择程序。在计算上,PANDA可以很容易地在实现GLM的软件中编程,而无需采用复杂的优化技术。
2019-05-21 cs.LG stat.ML
Group lasso priors for Bayesian accelerated failure time models with left-truncated and interval-censored data
本文提出一种带组结构 lasso 惩罚的贝叶斯加速失效时间模型,用于左截断和区间删失数据,通过定制 MCMC 采样器实现变量选择与估计,并在 ROSMAP 队列中识别阿尔茨海默病的预测性遗传和临床风险因素组。
2024-01-11 stat.ME
A study on tuning parameter selection for the high-dimensional lasso
高维预测模型,即测量值多于观测值的模型,需要正则化来定义良好,经验上表现良好,并具有理论保证。正则化的数量通常由调整参数决定,对于实现良好的性能至关重要。人们可以通过多种方式选择调优参数,例如通过响应方法或广义信息准则。然而,支持许多正则化过程的理论依赖于对方差参数的估计,这在高维中是复杂的。我们开发了一套信息标准选择调整参数的套索回归利用文献的高维方差估计。我们得到的直觉表明,现有的信息理论的方法在这种情况下工作不佳。我们比较我们的风险估计现有的方法与广泛的模拟,并得出一些理论依据。我们发现,我们的新的估计在广泛的模拟条件和评价标准表现良好。
2019-07-12 stat.ME stat.ML
Structure Adaptive Elastic-Net
惩罚线性回归在高维统计中具有根本的重要性,并且已常规地用于对高维预测因子集的响应进行回归。在许多科学应用中,存在编码预测器的预测能力和稀疏结构的外部信息。在这篇文章中,我们提出了结构自适应弹性网(SA-Enet),它提供了一个新的框架,将潜在有用的边信息纳入惩罚回归。其基本思想是将外部信息转化为回归系数的不同惩罚强度。我们特别关注组和协变量依赖的结构,并研究由此产生的估计的风险属性。为此,我们将最近引入的用于分析近似消息传递算法的状态演化框架推广到SA-Enet框架。我们表明,有限样本的SA-Enet估计的风险是一致的状态演化方程预测的理论风险。我们的理论表明,具有信息组或协变量结构的SA-Enet可以优于Lasso,Adaptive Lasso,Sparse Group Lasso,加权弹性网和Graper。这一证据在我们的数值研究中得到了进一步证实。我们还证明了我们的方法对来自分子生物学和精准医学的白血病数据的有用性和优越性。
2023-02-18 stat.ME
Smooth Information Criterion for Variable Selection in Generalised Linear Models
School of Medicine, University of Limerick(利默里克大学医学院)
针对广义线性模型变量选择,提出平滑信息准则(SIC),以可微近似替代离散模型维度项,在模拟和真实数据中紧密复现穷举BIC选择,计算高效且性能有竞争力。
2026-09-25 stat.ME
A Sparse-Group Pliable Lasso
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Calgary(卡尔加里大学)
该研究提出稀疏组柔性Lasso(SGPL)模型及分块坐标下降算法,经模拟与真实数据验证,其预测性能优、交互项估计误差小,可用于微生物组与癌症基因组相关研究。
2026-08-25 math.ST stat.ME stat.TH
Post model-fitting exploration via a "Next-Door" analysis
我们提出了一个简单的方法来评估模型,已经选择了一个自适应回归过程,我们的主要重点是套索。此过程删除每个选定的预测因子,并重新调整套索,以获得一组“接近”所选预测因子的模型,称为“基础模型”。如果删除一个预测因子会导致模型的预测能力显著下降,则该预测因子被称为不可或缺的;否则,附近的模型被称为可接受的,可以作为基础模型的良好替代。这既提供了对每个变量的预测贡献的评估,也提供了一组可用于代替所选模型的替代模型。在本文中,我们将重点关注交叉验证(CV)设置,模型的预测能力通过其CV误差来衡量,基础模型通过交叉验证进行调整。我们提出了一种方法,用于比较基本模型的错误率与附近的模型,和一个p值,用于测试是否预测是不确定的。我们还提出了一个新的数量称为模型得分,其工作原理类似于控制第一类错误的p值。我们的建议与([Rinaldo 2016 Bootstrapping])的LOCO(leave-one-covarate-out)方法密切相关,与稳定性选择([Meinshausen 2010 stability])关系不大。我们称这个过程为“隔壁分析”,因为它检查接近基本模型的模型。它可以应用于高斯回归数据,广义线性模型,和其他监督学习问题与$\ell_1$惩罚。它也可用于最佳子集和逐步回归程序。我们已经在R语言中实现了它作为一个库,以配合著名的{ \tt glmnet}库。
2018-06-04 stat.ME
Localized Lasso for High-Dimensional Regression
Kyoto University(京都大学);NTT Communication Science Laboratories(NTT通信科学实验室);University College London(伦敦大学学院);Aalto University(阿尔托大学)
我们引入了本地化的Lasso,它适用于学习模型,这些模型在高维$d$和小样本量$n$的问题中既可解释又具有高预测能力。更具体地说,我们考虑由局部稀疏模型定义的函数,每个数据点一个。我们引入了样本网络正则化来借用模型之间的强度,以及样本排他性组稀疏性(也称为,$\ell_{1,2}$范数)以将多样性引入局部模型中的特征集的选择中。局部模型的稀疏模式的相似性方面的解释。成本函数是凸的,因此具有全局最优解。此外,我们提出了一个简单而有效的基于迭代最小二乘的局部Lasso优化过程,它不需要一个调整参数,并保证收敛到全局最优解。经验表明,该解决方案优于模拟和基因组个性化医学数据的替代方案。
2016-10-14 cs.LG stat.ME stat.ML
Inferring gene expression networks with hubs using a degree weighted Lasso approach
基因组规模的基因网络包含称为枢纽的调控基因,这些基因有许多相互作用的伙伴。这些基因通常在基因调控和细胞过程中起重要作用。尽管最近在高通量技术方面取得了进展,但从高维数据中推断具有枢纽基因的基因网络仍然是一个具有挑战性的问题。新的统计网络推理方法需要从高维数据中有效和准确地重建枢纽网络。为了解决这一挑战,我们提出了DW-Lasso,这是一种度加权Lasso(最小绝对收缩和选择算子)方法,可以在低样本量设置下有效地推断具有枢纽的基因网络。我们的网络重建方法被制定为一个两阶段的过程:第一,网络的程度迭代估计,第二,基因调控网络重建使用度信息。所提出的方法的一个有用的属性是,它自然有利于枢纽基因周围的邻居的积累,从而有助于在假设基础网络表现出枢纽结构的情况下准确建模的高通量数据。在模拟研究中,我们证明了良好的预测性能相比,传统的Lasso型方法在推断枢纽和无标度图的方法。我们证明了我们的方法的有效性,在应用程序中的微阵列数据的\textit{E.coli}和RNA测序数据的肾透明细胞癌从癌症基因组图谱数据集。
2017-10-05 q-bio.QM stat.ME
Cluster Stability Selection
稳定性选择(Meinshausen和Buhlmann,2010)通过只返回那些在许多子样本中一致选择的特征,使任何特征选择方法都更加稳定。我们证明(在什么是,据我们所知,其同类的第一个结果),对于包含高度相关的代理一个重要的潜在变量的数据,套索通常选择一个代理,但稳定性选择与套索可能无法选择任何代理,导致更差的预测性能比单独的套索。我们引入了集群稳定性选择,它利用从业者的知识,高度相关的集群存在于数据中,从而在这种设置下比稳定性选择更好的功能排名。我们考虑了几种特征组合方法,包括对每个重要聚类中的特征进行加权平均,其中权重由选择聚类成员的频率确定,我们表明这会导致比以前的建议更好的预测模型。我们对Meinshausen和Buhlmann(2010)以及Shah和Samworth(2012)的理论保证进行了概括,以表明集群稳定性选择保留了相同的保证。总而言之,集群稳定性选择可以两全其美,产生一个既稳定又具有良好预测性能的稀疏选择集。
2022-01-03 math.ST stat.CO stat.ME
Improving Lasso for model selection and prediction
已知的是,双保持Lasso(TL)、SCAD或MCP校正Lasso的固有估计偏差。在本文中,我们提出了一种替代的方法来改善Lasso的预测模型与一般的凸损失函数,其中包括正常的线性模型,逻辑斯谛回归,分位数回归或支持向量机。对于给定的惩罚,我们对Lasso非零系数的绝对值进行排序,然后通过广义信息准则从一个小的嵌套族中选择最终模型。我们推导出该方法的选择误差的指数上界。这些结果证实,至少对于正常的线性模型,我们的算法似乎是模型选择理论的基准,因为它是建设性的,计算效率高,并导致一致的模型选择弱假设。该算法的构造性意味着,与TL、SCAD或MCP相比,一致性选择不依赖于未知参数作为锥可逆因子。相反,我们的算法只需要样本量,预测的数量和噪声参数的上界。我们在合成和真实世界的数据集上的数值实验表明,我们的算法的实现比研究凹正则化的实现更准确。我们的过程包含在R包“DMRnet”中,可在CRAN库中找到。
2021-01-25 math.ST stat.ME stat.TH
Smooth blockwise iterative thresholding: a smooth fixed point estimator based on the likelihood's block gradient
提出的平滑分块迭代阈值估计(SBITE)是一种模型选择技术,定义为通过迭代基于似然梯度的阈值函数达到的固定点。平滑James-Stein阈值函数具有两个正则化参数$λ$和$ν$,以及平滑参数$s$。它像岭回归一样平滑,像套索一样选择变量。重点高斯回归,我们表明,SBITE是唯一定义的,其Stein无偏风险估计是一个光滑的函数的$λ$和$ν$,更好地选择两个正则化参数。我们进行了蒙特卡罗模拟,调查的预测和预言性能的平滑版本的自适应套索。动机是从几个相伴的时间序列中探测引力波爆发。一个非参数的小波基估计器的开发,结合信息从所有的捕获块阈值多分辨率系数。我们研究了光滑参数$s$如何缓和风险估计的不确定性,并在此规范设置下导出了一个通用的阈值,一个信息准则和一个预言不等式。
2011-10-05 stat.ME
Leave-one-out cross-validation is risk consistent for lasso
套索过程在统计和信号处理文献中是普遍存在的,因此,是大量理论和应用研究的目标。虽然大部分研究都集中在lasso所具有的理想属性-预测风险一致性,符号一致性,正确的模型选择-所有这些都假设调整参数是以预言的方式选择的。然而,这在实践中是不可能的。相反,数据分析师必须使用数据两次,一次用于选择调优参数,另一次用于估计模型。但只有化学家才能证明这种程序是正确的。为此,我们给出了第一个明确的答案时,通过交叉验证选择平滑参数的风险一致性套索。我们表明,在设计矩阵的一些限制下,拉索估计仍然是风险一致的经验选择的调整参数。
2013-08-04 math.ST stat.TH
Sparse Regression with Multi-type Regularized Feature Modeling
在统计和机器学习文献中,正则化技术通常用于构建稀疏(预测)模型。大多数正则化策略仅适用于所有预测变量都被同等对待的数据,例如Lasso回归用于将(连续)预测变量视为线性效应。然而,许多预测问题涉及不同类型的预测器,需要定制的正则化项。我们提出了一个多类型的Lasso惩罚,作用于目标函数作为subpenalties的总和,每种类型的预测。因此,我们允许预测器选择和预测器内的水平融合在数据驱动的方式,同时与参数估计过程。我们开发了一个新的估计策略,凸预测模型与这种多类型的惩罚。使用邻近算子的理论,我们的估计过程是计算高效的,将整体优化问题划分为更容易解决的子问题,具体针对每个预测器类型及其相关的惩罚。早期的研究将近似应用于不可微的惩罚来解决优化问题。所提出的SMuRF算法消除了近似的需要,并实现了更高的精度和计算效率。这是证明了一个广泛的模拟研究和保险定价分析的案例研究的分析。
2020-10-01 stat.CO stat.ME
Correlated Feature Selection with Extended Exclusive Group Lasso
University College London(伦敦大学学院);Aalto University(阿尔托大学)
在生物学背景下的许多高维分类或回归问题中,信息特征集的完整识别通常与预测准确性一样重要,因为这可以提供机械洞察力和概念理解。Lasso和相关算法已经被广泛使用,因为它们的稀疏解自然地识别一组信息特征。然而,当特征相关时,Lasso的性能不稳定。这限制了这些算法在生物学问题中的使用,在生物学问题中,基因等特征通常在途径中一起工作,导致高度相关的特征集。在本文中,我们研究的性能的拉索衍生物,独家组拉索,在这种设置。我们提出了快速的算法来解决排他性组Lasso,并介绍了解决方案的情况下,当潜在的组结构是未知的。该方案将稳定性选择与随机分组和引入人工特征相结合。与合成和真实世界的数据的实验突出了这种方法的优势,在全面的信息功能选择Lasso。
2020-02-27 cs.LG stat.ML
Quantile universal threshold: model selection at the detection edge for high-dimensional linear regression
为了从具有高斯噪声的数据中估计稀疏线性模型,来自lasso和压缩感知文献的一致性在于,阈值估计器(如lasso和Dantzig选择器)在某些情况下能够以高概率渐近地识别显著协变量的一部分,并且由于凸性而在数值上易于处理。然而,阈值参数$λ$的选择在实践中仍然至关重要。为了这个目的,我们提出了分位数的通用采样保持,在检测边缘的$λ$的选择。我们用大量的模拟和真实数据表明,在高真阳性率和低错误发现率之间实现了极好的折衷,也导致了良好的预测风险。
2014-12-05 stat.ME stat.ML
Capturing usage patterns in bike sharing system via multilayer network fused Lasso
针对共享单车数据的复杂时空特征,提出多层网络融合 Lasso 惩罚回归方法,在站点层面分析三大城市数据,无需任意分割即可捕获时空同质性,预测性能具竞争力且提供新解释。
2024-08-25 stat.AP
On the Sensitivity of the Lasso to the Number of Predictor Variables
Lasso是一种计算效率很高的回归正则化过程,当预测变量的数量(p)很大时,它可以产生稀疏估计。预言不等式在正则化参数的确定性选择下为Lasso估计量提供概率损失界限。如果p被适当控制,这些界限趋于零,因此通常被引用作为Lasso及其处理高维设置的能力的理论依据。不幸的是,在实践中,正则化参数不是被选择为确定性的量,而是使用随机的、依赖于数据的过程来选择。为了解决这个缺点,以前的理论工作,我们研究损失的Lasso估计时,调整最佳预测。假设标准正交预测器和稀疏真模型,我们证明了Lasso的最佳可能预测性能随着p的增加而恶化的概率是正的,并且可以任意接近于给定足够高的信噪比和足够大的p的概率。我们进一步实证地证明了性能恶化的量可以远比预言不等式建议的更差,并提供了真实的数据。观察到恶化的示例。
2016-05-27 stat.ML
Improved prediction rule ensembling through model-based data generation
EBMT (European Society for Blood and Marrow Transplantation)(EBMT(欧洲血液和骨髓移植学会));Leiden University(莱顿大学);fsw.leidenuniv.nl(fsw.leidenuniv.nl(注:这是邮箱域名,非机构名,不应提取,实际仅保留前两个有效机构))
预测规则集成(PRE)提供了可解释的、准确度相对较高的预测模型。PRE从(增强的)决策树集成中获得大量决策规则,并通过应用Lasso惩罚回归来实现稀疏性。这篇文章研究了使用代理模型来提高PRE的性能,其中Lasso回归是在(提升的)决策树集成生成的数据集的帮助下训练的。使用基于模型的数据生成可以提高Lasso步骤的稳定性和一致性,从而提高整体性能。我们提出了两种替代方法,并在模拟和现有数据集上评估它们的稀疏性和预测精度。结果表明,使用代孕模型可以大大提高PRE的稀疏性,同时保持预测精度,特别是通过使用嵌套代孕方法。
2021-09-28 cs.LG stat.ML
Risk-consistency of cross-validation with lasso-type procedures
套索和相关的稀疏诱导算法已经成为大量理论和应用研究的目标。相应地,许多结果是已知的,他们的行为为一个固定的或最佳选择的调谐参数指定为未知常数。然而,在实践中,这个oracle调优参数是不可访问的,因此必须使用数据来选择一个。通常的统计实践是使用交叉验证的变体来完成这项任务。然而,很少有人知道的理论性质的预测与这种数据依赖的方法。我们考虑具有随机设计的高维设置,其中预测因子$p$的数量随着观察值$n$的数量而增长。在典型的假设下的数据生成过程中,类似于文献中的那些,我们恢复Oracle率的对数因子时,选择的调整参数与交叉验证。在较弱的条件下,当真正的模型不一定是线性的,我们表明,套索保持风险一致相对于其线性预言。我们还将这些结果推广到组套索和平方根套索,并通过模拟研究交叉验证的预测和模型选择性能。
2016-06-21 math.ST stat.ML stat.TH
Subset Selection with Shrinkage: Sparse Linear Modeling when the SNR is low
我们研究了一个看似意想不到的和相对较少理解的过拟合方面的基本工具稀疏线性建模-最佳子集选择,最大限度地减少残差平方和的非零系数的数量的约束。虽然最佳子集选择过程通常被认为是稀疏学习中的“金标准”,当信噪比(SNR)高时,其预测性能下降时,SNR低。特别是,它优于连续收缩方法,如岭回归和Lasso。我们调查的最佳子集选择在高噪声制度的行为,并提出了一种替代方法的基础上,正则化版本的最小二乘准则。我们提出的估计器(a)在很大程度上减轻了高噪声状态下最佳子集选择的预测性能差;(b)相对于通过岭回归和Lasso获得的最佳预测模型,表现良好,同时通常提供更稀疏的模型。我们进行了广泛的理论分析所提出的方法的预测性能,并提供其优越的预测性能相对于最佳子集选择时,噪声水平高的理由。我们的估计可以表示为混合整数二阶锥优化问题的解决方案,因此,适合现代计算工具从数学优化。
2022-01-08 math.OC math.ST stat.CO
Robust LassoNet: Enhancing Feature Selection in Neural Networks via Robust Loss Functions
针对神经网络特征选择对异常值敏感的问题,提出鲁棒LassoNet,通过引入Huber、Cauchy等鲁棒损失函数,在保持优化框架的同时提升污染数据下的预测与特征选择性能。
2026-10-12 cs.LG math.PR stat.ML
A New Trained Supervised Method for Calculating Patient Similarity
University of Waterloo(滑铁卢大学)
本研究提出一种结合松弛自适应组套索的加权余弦相似性度量,用于二分类响应数据的个性化患者预测,经模拟及重症监护病房数据分析,其虽校准度略降但区分度大幅提升,整体预测性能更优。
2026-08-18 stat.ME
Large-Scale Dynamic Predictive Regressions
我们开发了一种新的“重复-再耦合”动态预测策略,并为在数据丰富的环境中进行预测和经济决策的文献做出贡献。在此框架下,预测因子的集群以预测密度的形式生成不同的潜在状态,这些预测密度随后在隐含的随时间变化的潜在因子模型内合成。因此,预测密度和偏差之间的潜在相互依赖性被顺序地学习和纠正。与稀疏建模和变量选择程序不同,我们不假设先验存在一个给定的活动预测子集合,它表征了感兴趣的数量的预测密度。我们通过调查大量财务比率和宏观经济变量对不同行业的股权溢价和美国通货膨胀率的预测内容来测试我们的程序,金融和宏观经济学的两个主题。我们发现,我们的预测合成框架产生统计和经济显著的样本外的好处,同时保持预测变量的可解释性。此外,主要的实证结果突出表明,我们提出的框架优于LASSO型收缩回归,基于因子的降维,顺序变量选择,等权重线性池方法。
2018-03-18 econ.EM q-fin.ST stat.ME
The predictive power of the business and bank sentiment of firms: A high-dimensional Granger Causality approach
我们研究了特定行业经济景气指标对未来宏观经济发展的预测能力。除了企业对自身业务状况的看法外,我们还研究了它们对银行业(它们的主要信贷提供者)的看法。使用特定行业的情绪指标导致高维预测问题。为了确定最具预测性的行业,我们提出了一个自适应套索的基础上引导格兰杰因果关系检验。这个测试比标准Wald测试在这种高维设置中更强大。通过只使用最具预测性的行业而不是所有行业来提高预测准确性。
2015-08-12 stat.AP
Variance prior forms for high-dimensional Bayesian variable selection
针对高斯线性模型高维变量选择中未知误差方差估计问题,本文指出共轭收缩先验会导致方差低估,建议采用回归系数与误差方差独立的先验框架,扩展Spike-and-Slab Lasso并验证其在模拟数据和真实数据集上的优越性。
2018-11-14 stat.ME
Incomplete Matrix Regression
HEC Montréal(蒙特利尔高等商学院);University of Quebec in Montreal(魁北克大学蒙特利尔分校)
提出不完全矩阵回归(IMR)框架,通过集成行/列协变量和相似性结构,结合Lasso惩罚与低秩成分,实现矩阵补全,并给出可扩展算法与非渐近误差界。
2026-06-26 stat.ME
Multiple Equivalent Solutions for the Lasso
特征选择是数据分析中研究的一个重要问题,旨在识别最小尺寸的特征子集,以最佳地预测感兴趣的结果。它也是知识发现中的一个强大工具,可以作为获得领域洞察力的一种手段,例如,识别哪些医学量携带所述疾病状态的唯一信息。然而,人们可能较少认识到,这个问题可能有多种等效的解决方案。在这种情况下,只报告其中一个而忽略所有其他等效解决方案会误导领域专家。在本文中,我们扩展了一个成熟的单一特征选择算法(即,报告单个解),即Lasso算法,到基于分类和回归任务两者的形式化等价概念的多解问题。使用称为Just Add Data Bio或JAD Bio训练的全自动管道获得经验结果,并选择多个线性和非线性学习器,优化超参数值,并校正多个归纳的偏差(模型选择)。结果表明,多个解决方案确实存在于真实的数据集,以及算法的能力,以确定其中的一个子集。与统计等价解(SES)算法的比较表明,Lasso等价解具有更好的预测性能,但需要选择更多的特征。
2018-02-26 math.ST stat.TH
Penalized basis models for very large spatial datasets
许多现代空间模型将随机变化分量表示为具有随机系数的基展开。低秩模型,近似谱分解,多分辨率表示,随机偏微分方程和经验正交函数都属于这个基本框架。给定特定的基础,随机依赖依赖于系数的灵活建模。在高斯假设下,我们提出了一个图形化的模型家庭的随机系数参数化的精度矩阵。使用惩罚似然框架鼓励精度矩阵中的稀疏性。计算遵循优化-最小化方法,其副产品是与图形套索的连接。其结果是一个灵活的非平稳空间模型,适用于非常大的数据集。我们将该模型应用于统计气候学中的两个大型异构空间数据集,并恢复物理上合理的图形结构。此外,该模型在预测交叉验证中与流行的LatticeKrig模型竞争,但大大提高了Akaike信息标准得分。
2019-02-19 stat.ME
Sparse-group boosting -- Unbiased group and variable selection
本文提出稀疏组提升方法,通过同时使用逐分量和逐组梯度提升并调整自由度,实现组内与组间稀疏性,在模拟、基因和农业数据上相比逐分量提升具有更低变量选择偏差和更高预测能力。
2024-04-07 stat.ME stat.ML
Forecast Evaluation in Large Cross-Sections of Realized Volatility
University of Southampton(南安普顿大学)
本文利用等预测精度检验方法,研究了横截面依赖下已实现波动率测度的预测评价问题。在预测已实现波动率时,我们基于增广横截面来评估模型的预测精度。在相等预测精度的原假设下,采用的基准模型是标准HAR模型,而在非相等预测精度的替代方案下,预测模型是通过LASSO收缩估计的增强HAR模型。我们研究的灵敏度预测模型规格,将测量误差校正以及横截面跳跃分量的措施。模型的样本外预测评估与数值实现。
2021-12-09 cs.LG stat.ML
U-learning for Prediction Inference via Combinatory Multi-Subsampling: With Applications to LASSO and Neural Networks
Department of Statistics, UC Riverside(统计系,加州大学河滨分校);Department of Biostatistics, University of Michigan(生物统计学系,密歇根大学)
本文提出了一种基于组合多子采样的U学习方法,用于高维输入预测的集成推断和置信区间构建,应用于LASSO和神经网络,以提高预测的准确性与可靠性。
2026-01-18 cs.LG math.ST q-bio.QM