Analysis of Network Lasso for Semi-Supervised Regression
Aalto University（阿尔托大学）
我们将网络Lasso应用于涉及网络结构化数据的半监督回归问题。这种方法非常自然地适用于高度可扩展的学习算法，其形式是通过代表数据网络结构的经验图传递消息。通过使用一个简单的非参数回归模型，这是由聚类假设的动机，我们提供了一个网络Lasso的估计误差的分析。该分析揭示了保证网络Lasso准确的网络结构和可用训练数据的条件。值得注意的是，网络Lasso的准确性与经验图上存在足够大的网络流有关。因此，我们的分析揭示了网络Lasso和最大流问题之间的联系。
2018-12-27 cs.LG stat.ML
Adaptive Non-Parametric Regression With the $K$-NN Fused Lasso
融合套索，也称为全变差去噪，是一种在规则网格设计点上的局部自适应函数估计器。在本文中，我们将融合套索扩展到其中点不出现在规则网格上的设置，从而导致非参数回归的方法。这种方法，我们称之为$K$ -最近邻（$K$ -NN）融合套索，涉及（i）计算设计点的$K$ -NN图;以及（ii）在此$K$ -NN图上执行融合套索。我们发现，这个过程有一些理论上的优势，竞争的方法：具体来说，它继承了本地自适应从它的连接到融合套索，它继承了流形自适应从它的连接到$K$ -NN方法。我们表明，在模拟研究和流感数据的应用程序中获得了优异的结果。为了完整性，我们还研究了一个估计，使使用的$ε$ -图，而不是一个$K$ -NN图，并对比这与$K$ -NN融合套索。
2019-07-08 stat.ME
Selective inference for effect modification via the lasso
当治疗对结果的影响根据其他协变量的水平而变化时，发生效应修正，并且通常对决策具有重要影响。当存在数十或数百个协变量时，有必要使用观察到的数据来选择更简单的模型进行效应修正，然后进行有效的统计推断。我们提出了一个两阶段的程序来解决这个问题。首先，我们使用Robinson变换将干扰参数与感兴趣的处理效应解耦，并使用机器学习算法来估计干扰参数。接下来，在插入讨厌参数的估计值后，我们使用Lasso选择一个低复杂度的模型进行效果修改。与由所有协变量组成的完整模型相比，所选模型更具可解释性。与单变量亚组分析相比，所选模型大大减少了错误发现的数量。我们证明了在经典半参数回归的速率假设下，所选模型的条件选择性推断是渐近有效的。进行了大量的模拟研究，以验证渐近结果和流行病学的应用程序来证明该方法。
2021-11-19 math.ST stat.ME stat.TH
Asymptotics of selective inference
在本文中，我们试图建立渐近结果的选择性推理过程中删除高斯假设。我们考虑的选择过程的类是由仿射不等式，我们称之为仿射选择过程。仿射选择过程的示例包括沿着LASSO的解路径的后选择推断，以及在正则化参数的固定值处拟合LASSO之后的后选择推断。我们还考虑了惩罚广义线性模型中的一些检验。我们的证明方法采用了Chatterjee（2005）的方法。
2016-08-04 math.ST stat.TH
Performance Analysis of Parameter Estimation Using LASSO
最小绝对收缩和选择算子（LASSO）在一类连续参数估计问题中得到了广泛的关注，并取得了可喜的成果。这是一个研究了十多年的课题。由于LASSO的性质，之前的分析为非参数分析。这忽略了有用的信息，使其难以比较LASSO传统的估计。特别是，LASSO的正则化参数和超分辨率特性的作用还没有得到很好的理解。这项工作的目的是提供一个新的见解，这方面通过引入LASSO作为一个参数化的技术，一个不同的顺序。这为我们提供了理论表达式的LASSO的估计误差和虚警率的渐近情况下，高信噪比和密集的网格。对于这种情况下，LASSO相比，极大似然和传统的波束形成。结果表明，由于正则化项的存在，LASSO算法的性能下降，但在适当选择正则化参数的情况下，这种损失几乎可以忽略不计。因此，我们提供了建议的正则化参数的选择。不失一般性，我们提出的比较数值结果的上下文中的到达方向（DOA）估计使用的传感器阵列。
2015-04-10 stat.CO
MAGIC: a general, powerful and tractable method for selective inference
选择性推理是近年来的一个研究课题，它试图在利用数据选择合理的统计模型后进行有效的推理。我们提出了MAGIC，一种新的选择性推理方法，它是通用的，强大的和易处理的。MAGIC是一种在解决具有光滑损失和$\ell_1$惩罚的凸最优化问题后进行选择性推理的方法。随机化被并入到最优化问题中以提高统计功效。通过重新参数化，MAGIC将问题简化为一个具有简单约束的采样问题。MAGIC适用于许多$\ell_1$惩罚最优化问题，包括图模型中的Lasso，Logistic Lasso和邻域选择，所有这些我们都在本文中考虑。
2016-07-09 math.ST stat.TH
SIGLE: a valid procedure for Selective Inference with the Generalized Linear Lasso
本文针对广义线性 lasso 变量选择后的统计推断问题，提出 SIGLE 框架，通过基于模拟退火的条件采样方法，在稀疏逻辑回归等场景中实现比现有 PSI 方法更高效且有效的选择性推断。
2023-07-10 math.ST stat.ME stat.TH
Selective sampling after solving a convex problem
我们考虑的问题后，解决了（随机）凸统计学习计划的形式惩罚或约束损失函数的选择性推理。我们的第一个主要结果是一个测量公式的变化，描述了许多有兴趣的选择性推理的条件抽样问题。我们的方法是模型不可知的，在这个意义上，用户可以提供自己的统计模型进行推断，我们只是提供了选择后的模型中的每个分布的修改。我们的第二个主要结果描述了测量变化中出现的雅可比矩阵的几何结构，并与Weyl-Steiner管体积公式中出现的曲率测量建立了联系。这个雅可比矩阵对于凸罚函数不是多面体的问题是必要的，典型的例子是群LASSO或核范数。我们推导出明确的公式的雅可比群LASSO。为了说明我们的方法的一般性，我们考虑了许多例子，改变惩罚或约束的统计学习问题以及损失函数，也考虑选择性推理后，解决多个统计学习程序。考虑的惩罚包括LASSO，逐步向前，逐步算法，边缘筛选和广义LASSO。损失函数包括平方误差，逻辑，和log-det的协方差阵估计。在描述了我们希望通过我们的前两个结果进行采样的适当分布之后，我们概述了在分布是对数凹的（通常发生的）情况下使用投影朗之万采样器进行采样的框架。
2016-09-19 math.ST stat.TH
Spacing Test for Fused Lasso
Osaka University（大阪大学）
针对一维信号变点检测中融合Lasso的不确定性量化难题，本文揭示其简单几何结构（无变点离开事件），证明保守间距检验为精确方法，得到闭合形式p值，经模拟和真实数据验证了精确性与高效性。
2026-10-20 cs.LG math.ST stat.TH
Evaluating methods for Lasso selective inference in biomedical research by a comparative simulation study
回归模型的变量选择在生物医学数据分析中起着关键作用。然而，经典的统计频率论假设模型中有一组固定的协变量，不包括选择后的推断。我们回顾两种解释的推理选择后：完整的模型视图，其中感兴趣的参数是所有预测的完整模型，然后专注于子模型视图，其中感兴趣的参数是选定的模型。在L1惩罚回归的背景下，我们使用受生物医学研究中常见的真实数据启发的模拟研究，通过软件包比较应用研究人员可用的置信区间的子模型推理（选择性推理）提案。此外，我们提出了一个示例性的应用程序，这些方法公开可用的数据集，讨论其实际可用性。我们的研究结果表明，选择性的置信区间的频率属性一般是可以接受的，但除了最保守的方法，在所有的情况下，所需的覆盖水平不能保证。推断方法的选择可能对所得的区间估计值有很大影响，因此需要用户敏锐地意识到推断的目标，以便解释和传达结果。目前可用的软件包还不是很方便用户使用，也不是很强大，这可能会影响其在实践中的使用。总之，我们发现选择后的子模型推断对于有经验的统计学家在未来的应用中评估单个选择的预测因子的重要性是有用的。
2021-07-20 stat.ME
Bounded P-values in Parametric Programming-based Selective Inference
Nagoya University（名古屋大学）；Nagoya Institute of Technology（名古屋工业大学）；RIKEN（理化学研究所）
本研究针对参数规划选择性推断的高计算成本问题，提出计算p值上下界的方法及三种搜索策略，在保证精度的同时降低计算成本，并在特征选择和注意力区域识别中验证有效性。
2023-12-28 cs.LG stat.ML
Model selection by LASSO methods in a change-point model
本文考虑了在未知时刻具有多个变点的线性回归模型。LASSO技术是非常有趣的，因为它允许参数估计，包括变点，和自动变量选择同时进行。的LASSO型（作为特殊情况下的LASSO估计）和自适应LASSO估计的渐近性质进行了研究。对于这最后一个估计的预言性质证明。在这两种情况下，提出了模型选择标准。数值例子显示的自适应LASSO估计相比，LS估计的性能。
2012-04-18 math.ST stat.TH
Lasso-type estimators for Semiparametric Nonlinear Mixed-Effects Models Estimation
参数非线性混合效应模型（NLME）现在被广泛地用于生物统计学研究，特别是在药代动力学研究和HIV动力学模型中，这是由于在过去几年中所取得的计算进展。然而，这类模型对于复杂的纵向数据分析可能不够灵活。Ke和Wang（2001）已经提出了半参数NLME（SNLME）。这些模型是一个很好的折衷方案，保留了参数和非参数模型的良好特性，从而使模型比标准参数NLME更灵活。然而，SNPs是复杂的模型，估计仍然是一个挑战。Ke和Wang（2001）提出的估计过程基于用于参数估计的对数似然近似方法和用于非参数估计的平滑样条技术的组合。在这项工作中，我们提出了新的估计策略，在SNARTIVE。一方面，我们使用期望最大化算法的随机逼近版本（Delyon等人，1999）获得固定效应和方差分量的精确ML和REML估计。另一方面，我们提出了一个LASSO型的方法来估计未知的非线性函数。我们推导出这种非参数估计的预言不等式。我们结合这两种方法在一个一般的估计过程中，我们说明模拟和真实的数据。
2012-02-02 stat.ME
MISNN: Multiple Imputation via Semi-parametric Neural Networks
针对高维数据下带特征选择的多重插补方法效率低、性能差的问题，提出融合特征选择的半参数神经网络多重插补框架MISNN，兼容多种设置，在多指标上优于现有最优方法。
2023-05-02 cs.LG stat.ME
Robust Lasso-Zero for sparse corruption and model selection with missing covariates
我们提出了鲁棒Lasso零，扩展的Lasso零方法，最初介绍了稀疏线性模型，稀疏腐败问题。我们给出了一个稍微简化的版本的估计，被称为judgeholded正义追求的参数的符号恢复理论保证。稳健Lasso-Zero用于协变量中缺失值的变量选择。除了不需要为协变量指定模型，也不需要估计它们的协方差阵或噪声方差之外，该方法具有处理非随机缺失值而不指定参数模型的巨大优势。数值实验和医学应用强调了鲁棒拉索零在这样的背景下，几乎没有可用的竞争对手的相关性。该方法易于使用，并在R库lass 0中实现。
2022-03-23 stat.AP stat.ME stat.ML
Post-Selection Inference for Sparse Estimation
本文综述了稀疏估计中模型选择后的选择性推断，涵盖Lasso、前向逐步法和LARS的多面体与截断分布，并介绍Lasso显著性检验和LARS间距检验。
2023-10-10 math.ST stat.ME stat.TH
Variable selection and estimation for semi-parametric multiple-index models
本文提出了一种新的方法来选择具有组结构的多指标模型中的重要变量并估计相应的系数。单指数模型的所有现有方法都不能直接扩展到处理多个指数的问题。该方法结合了常用的收缩罚函数（如LASSO）和分组最小平均方差估计。它能够同时降维和变量选择，同时将组结构的预测。有趣的是，所提出的估计与LASSO惩罚，然后表现得像一个估计与自适应LASSO惩罚。该估计器在不牺牲基估计的根- $n$一致性的情况下实现了变量选择的一致性。仿真研究和实际数据的例子说明了新方法的有效性和效率。
2015-04-10 math.ST stat.TH
On Lasso estimator for the drift function in diffusion models
本文研究了扩散情形下漂移分量的Lasso估计的性质。更具体地说，我们考虑了一个多元参数扩散模型$X$连续观察到的间隔$[0,T]$和研究稀疏约束下的漂移估计。我们允许模型和参数空间的维数很大。利用扩散过程的线性泛函的浓度不等式，得到了Lasso估计的一个预言不等式，并得到了$L^2$ -距离的一个误差界.概率部分是基于经验过程理论的元素，特别是在链接方法。
2023-03-28 math.ST stat.TH
A Practical Scheme and Fast Algorithm to Tune the Lasso With Optimality Guarantees
提出了一种新的高维Lasso线性回归正则化参数选择方法。该方案受Lepski的非参数回归带宽选择方法的启发，具有最优有限样本保证和快速算法。特别地，对于任何设计矩阵，使得Lasso在正则化参数的“预言选择”下具有低的超范数误差，我们证明了我们的方法在一个小的常数因子下匹配预言性能，并且表明它可以通过沿着单个Lasso路径执行简单的测试来实现。我们发现，我们的新方案可以比标准方案（例如交叉验证）更快和更准确。
2016-11-08 math.ST stat.ME stat.TH
Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression
本文研究了稀疏高维线性回归模型下Lasso+mLS和Lasso+Ridge的渐近性质：Lasso选择预测变量，然后用修正的最小二乘（mLS）或Ridge估计其系数.首先，我们提出了一个有效的推理过程的参数估计的基础上参数残差自助Lasso+mLS和Lasso+岭。其次，我们推导了Lasso+mLS和Lasso+Ridge的渐近无偏性。更具体地说，我们表明，他们的偏见以指数速度衰减，他们可以实现预言收敛速度$s/n$（其中$s$是非零回归系数的数量和$n$是样本量）的均方误差（MSE）。第三，我们证明了Lasso+mLS和Lasso+Ridge是渐近正态的。他们有一个预言性质，在这个意义上，他们可以选择真正的预测与概率收敛到1和非零参数的估计有相同的渐近正态分布，如果零参数是已知的。事实上，我们的分析并不局限于在选择阶段采用Lasso，而是适用于选择错误模型的概率呈指数衰减率的任何其他模型选择标准。
2014-01-12 math.ST stat.TH
Flexible, Non-parametric Modeling Using Regularized Neural Networks
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
非参数的加法模型能够以灵活但可解释的方式捕获复杂的数据依赖关系。然而，选择加法组件的格式通常需要非平凡的数据探索。在这里，作为一种替代方案，我们提出了PrAda-net，一个隐藏层神经网络，使用近端梯度下降和自适应套索进行训练。PrAda-net自动调整神经网络的大小和架构，以反映数据的复杂性和结构。由PrAda-net获得的紧凑网络可以转换为添加剂模型组件，使其适用于具有自动模型选择的非参数统计建模。我们在模拟数据上演示了PrAda-net，将PrAda-net的测试误差性能、变量重要性和变量子集识别特性与其他基于拉索的神经网络正则化方法进行了比较。我们还将PrAda-net应用于英国大规模的黑烟数据集，演示如何使用PrAda-net对具有空间和时间组件的复杂和异构数据进行建模。与经典的统计非参数方法相比，PrAda-net不需要初步建模来选择添加剂组分的函数形式，但仍然可以得到可解释的模型表示。
2022-01-12 cs.LG stat.CO stat.ME
Selection consistency of Lasso-based procedures for misspecified high-dimensional binary model and random regressors
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Warsaw University of Technology（华沙理工大学）
本文考虑了一般损失函数下二元响应的高维回归问题的随机预测变量的选择问题。重要的特殊情况是二元模型为半参数模型，并且在参数模型拟合下错误指定了响应函数。选择这样一个场景的目的是恢复支持的相关风险最小化的大概率。我们提出了一个两步选择过程，包括筛选和排序预测的Lasso方法，然后选择一个子集的预测，最小化相应的嵌套系列的模型的广义信息准则。我们证明的选择方法的条件下，允许更大的预测数量比观察的一致性。对于半参数情形，当随机预测变量的分布满足线性回归条件时，真实参数和估计参数是共线的，并且它们的公共支持度可以一致地确定。
2019-06-10 cs.LG math.ST stat.ME
The generalized hyperbolic family and automatic model selection through the multiple-choice LASSO
本文重新研究广义双曲分布族及其嵌套模型，提出多重选择LASSO惩罚方法，通过分层惩罚似然在GH族内同时实现模型选择与推断，并用模拟研究验证，提供R实现。
2023-07-11 stat.AP stat.CO stat.ME
Post-selection inference with HSIC-Lasso
在非线性和/或高维数据中检测有影响力的特征是机器学习中一项具有挑战性且日益重要的任务。因此，变量选择方法和选择后推理一样受到了广泛的关注。事实上，如果不考虑选择程序，所选特征可能存在重大缺陷。我们提出了一个选择性的推理过程，使用所谓的无模型的“HSIC-Lasso”的基础上的框架截断高斯结合多面体引理。然后，我们开发了一种算法，它允许低计算成本，并提供了一个选择的正则化参数。我们的方法的性能说明了人工和现实世界的数据为基础的实验，强调严格控制的I型错误，即使是小样本量。
2021-06-17 math.ST stat.ML stat.TH
SMART Fine-tuning Factor Augmented Neural Lasso
Department of Operations Research and Financial Engineering（运筹学与金融工程系）
本文提出了一种结合预训练源模型作为增强特征的残差调优框架（SMART），用于高维非参数回归中的变量选择问题，通过引入低秩因子结构和残差调优分解，实现了协变量和后验偏移的联合处理，并推导了最小最大最优的超额风险界。
2026-05-17 cs.LG stat.ME stat.ML
Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
University of Pennsylvania（宾夕法尼亚大学）
可解释的机器学习在保持可解释性的同时表现出令人印象深刻的性能。特别是，神经可加模型（NAM）为黑盒深度学习提供了可解释性，并在广义可加模型的大家族中实现了最先进的精度。为了使NAM具有特征选择并提高泛化能力，我们提出了稀疏神经添加模型（SNAM），该模型采用组稀疏正则化（例如Group LASSO），其中每个特征由子网络学习，该子网络的可训练参数被聚类为一组。我们研究了SNAM的理论特性，采用新的技术来处理非参数真理，从而扩展了经典的稀疏线性模型，如LASSO，它只适用于参数真理。具体来说，我们证明了SNAM与次梯度和近端梯度下降证明收敛到零训练损失为$t\to\infty$，和SNAM的估计误差渐近消失为$n\to\infty$。我们还证明了SNAM，类似于LASSO，可以有精确的支持恢复，即完美的特征选择，适当的正则化。此外，我们表明，SNAM可以很好地推广，并保持“可识别性”，恢复每个功能的效果。通过大量的实验验证了我们的理论，并进一步证明了SNAM的良好的准确性和效率。
2022-02-25 cs.LG math.ST stat.ML
The Mismatch Principle: The Generalized Lasso Under Large Model Uncertainties
我们研究了广义Lasso的估计能力，即，最小二乘最小化与（凸）结构约束相结合。虽然Lasso型估计量最初是为噪声线性回归问题设计的，但最近发现，它们实际上对各种类型的模型不确定性和误设定具有鲁棒性，最值得注意的是，非线性失真的观测模型。这项工作为这个有些惊人的现象提供了更多的理论证据。我们分析的核心是失配原理，这是建立广义Lasso理论误差界的一个简单方法。相关的估计保证是独立的利益，并制定在一个相当一般的设置，允许任意的亚高斯数据，可能与强相关的功能设计，特别是，我们不假设一个特定的观察模型连接的输入和输出变量。虽然失配原理是基于统计学习理论的思想构思的，但其实际应用领域是半参数模型的（高维）估计任务。在这种情况下，不匹配原则的好处证明了各种流行的问题类，如单指标模型，广义线性模型，变量选择。除此之外，我们的研究结果也与量化和分布式压缩感知的最新进展有关。
2019-09-11 math.ST stat.ML stat.TH
Generic Error Bounds for the Generalized Lasso with Sub-Exponential Data
本文在次指数数据的假设下对广义Lasso模型进行了非渐近分析。我们的主要结果继续最近的研究（子）高斯样本分布的基准情况下，从而探索什么结论仍然有效时，超越。虽然许多统计特征保持不受影响（例如，一致性和错误衰减率），关键的区别表现在如何测量假设集的复杂性。事实证明，估计误差可以通过两个复杂性参数来控制，这两个复杂性参数是从基于泛型链的证明策略中自然产生的。输出模型可以是不可实现的，而对输入向量的唯一要求是Bernstein型的一般浓度不等式，其可以针对各种子指数分布实现。这种抽象的方法使我们能够再现，统一和扩展以前已知的广义拉索的保证。特别是，我们目前的应用程序，半参数输出模型和相位恢复通过解除套索。此外，我们的研究结果进行了讨论的背景下，稀疏恢复和高维估计问题。
2023-01-15 math.ST stat.ML stat.TH
A flexible adaptive lasso Cox frailty model based on the full likelihood
在这项工作中，提出了一种方法来规范Cox脆弱性模型，适应时变协变量和时变系数，是基于完整的，而不是部分的可能性。在这个框架中的一个特别的优点是，基线危险可以明确地建模在一个平滑的，半参数的方式，例如，通过P样条。变量选择的正则化通过套索惩罚和分类变量的组套索进行，而第二个惩罚正则化时变系数和基线风险的平滑估计的波动。此外，自适应权重包括稳定的估计。该方法在R中实现为coxlasso，并将与其他正则化Cox回归软件包进行比较。然而，现有的软件包不允许在coxlasso中容纳的不同效果的组合。
2020-03-31 stat.CO stat.ME
A Strongly Consistent Sparse $k$-means Clustering with Direct $l_1$ Penalization on Variable Weights
Indian Statistical Institute（印度统计研究所）
我们提出了Lasso加权$k$ -means（$LW$ - $k$ -means）算法，作为一个简单而有效的稀疏聚类过程的高维数据的特征（$p$）的数量可以大得多的观察（$n$）相比。在$LW$ - $k$ -means算法中，我们引入了一个基于套索的惩罚项，直接在特征权重上加入稀疏聚类框架中的特征选择。$LW$ - $k$ -means不对给定数据集进行任何分布假设，因此，引入了用于特征选择的非参数方法。我们还分析研究了基本的优化过程中的收敛性$LW$ - $k$ -手段，并建立我们的算法的强一致性。$LW$ - $k$ -手段是在几个现实生活和合成数据集上进行测试，并通过详细的实验分析，我们发现，该方法的性能是非常有竞争力的一些国家的最先进的聚类和特征选择程序，不仅在聚类精度，但也相对于计算时间。
2019-03-24 cs.LG stat.ML
Computing a consensus journal meta-ranking using paired comparisons and adaptive lasso estimators
在一种“不成功就灭亡”的文化中，科学期刊的排名在评估当前研究环境中的绩效方面发挥着核心作用。随着各种现有的方法和途径来获得期刊排名，元排名作为一种聚合不同信息源的手段已经越来越受欢迎。在本文中，我们提出了一种方法来创建一个共识元排名使用异构期刊排名。使用配对比较数据的参数模型，我们估计在OR/MS社区的58种期刊的质量分数，它与收缩过程一起允许识别具有相似质量的期刊群。配对比较的使用提供了一个灵活的框架，用于导出共识评分，同时消除数据缺失的问题。
2015-04-19 cs.DL stat.AP
Targeted Highly Adaptive Lasso Minimum Loss Estimation of Target Functions
University College London（伦敦大学学院）；University of California, Berkeley（加州大学伯克利分校）
提出靶向高度自适应套索估计非路径可微函数参数，如连续暴露的剂量反应曲线。通过投影构建近似，用套索步替代MLE靶向步，证明其渐近正态分布及收敛率，模拟显示其性能优于HAL插件估计器。
2026-07-07 stat.ME stat.ML
Homotopy Parametric Simplex Method for Sparse Learning
Princeton University（普林斯顿大学）；Tencent AI Lab（腾讯人工智能实验室）；Northwestern University（西北大学）；Georgia Tech（佐治亚理工学院）
高维稀疏学习给大规模数据分析带来了巨大的计算挑战。在本文中，我们感兴趣的稀疏学习方法制定为线性规划参数化的{ \em正则化因子}，并解决他们的参数单纯形法（PSM）。我们的参数单纯形方法提供了显着的优势比其他竞争的方法：（1）PSM自然地获得完整的解决方案路径的所有值的正则化参数;（2）PSM提供了一个高精度的双证书停止标准;（3）PSM通过很少的迭代产生稀疏的解决方案，解决方案的稀疏性显着降低每次迭代的计算成本。特别是，我们证明了PSM优于各种稀疏学习方法，包括稀疏线性回归的Dantzig选择器，稀疏鲁棒线性回归的LAD-Lasso，稀疏精度矩阵估计的CLIME，稀疏差分网络估计和稀疏线性规划判别（LPD）分析。然后，我们提供了充分的条件下，PSM总是输出稀疏的解决方案，使其计算性能可以显着提高。通过数值实验验证了PSM方法的优越性。
2017-11-27 cs.LG math.OC stat.ML
The partial linear model in high dimensions
部分线性模型作为一种结合非参数模型对线性元件进行建模的灵活方法已被广泛使用。尽管存在非参数部分，但在某些条件下，线性参数部分可以用参数速率估计。在本文中，我们考虑一个高维线性部分。我们表明，它可以估计与预言率，使用LASSO罚款的线性部分和非参数部分的平滑罚款。
2013-07-03 math.ST stat.AP stat.TH
Sampling effects on Lasso estimation of drift functions in high-dimensional diffusion processes
本文针对高维扩散过程，提出Lasso估计器用于稀疏漂移函数参数估计，证明oracle不等式并控制离散化误差，实现与连续观测相同的最优收敛速率，数值实验显示其在支持恢复上优于MLE。
2025-10-08 math.ST stat.AP stat.TH
FuSSO: Functional Shrinkage and Selection Operator
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）
我们提出了FuSSO，一个功能类似的LASSO，有效地找到一组稀疏的功能输入协变量回归实值响应。FuSSO以半参数方式进行，对输入函数协变量的性质不做参数假设，并假设函数协变量到响应的映射为线性形式。我们提供了一个统计支持使用的FuSSO通过证明渐近稀疏在各种条件下。此外，我们在合成和真实世界的数据上都观察到了良好的结果。
2014-03-09 cs.LG math.ST stat.ML
Segmentation of multiple series using a Lasso strategy
我们提出了一种新的半参数方法的联合分割的多个系列损坏的功能部分。这个问题尤其出现在大地测量中，其中GPS永久站坐标系列受到未记录的人为突变的影响，并且还显示出显著的周期性变化。探测和估算这些序列至关重要，因为这些序列被用来确定地球科学中的平均参考坐标，并推断气候变化引起的小规模构造运动。我们提出了一个基于动态规划的迭代过程的分割部分和Lasso估计的功能部分。我们的Lasso程序，基于字典的方法，使我们能够估计光滑的函数和函数与当地的不规则性，这允许更多的灵活性比以前提出的方法。这产生了对偏差部分的更好估计和分割的改进。我们的方法的性能进行评估，使用模拟和真实数据。特别是，我们应用我们的方法，从四个GPS站在Yarragadee，澳大利亚的数据。我们的估计过程的结果是一个可靠的工具，以评估系列的变化检测和周期性变化的估计给出了一个可解释的估计模型的功能部分的已知功能。
2014-06-25 stat.ME
Quasi-parametric rates for Sparse Multivariate Functional Principal Components Analysis
本文给出了多元随机过程第一主成分估计的非渐近结果。我们首先定义多元情形下的协方差函数和协方差算子。然后我们定义一个投影算子。该运算符可以被视为在功能数据分析上下文中从原始数据的重建步骤。接下来，我们表明，本征元素可以表示为一个优化问题的解决方案，我们介绍了LASSO变量的优化问题和相关的插件估计。最后，我们评估估计的准确性。我们建立了一个极小极大下界的均方重构误差的特征元素，这证明了该程序有一个最佳的方差在极小极大意义下。
2022-12-19 math.ST stat.ME stat.ML
Group Sparse Additive Models
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
我们考虑非参数加性模型中稀疏变量的选择问题，利用协变量之间结构的先验知识来鼓励一组变量中的那些变量被联合选择。以前的工作要么研究参数设置中的组稀疏性（例如，GroupLasso），或者在不利用结构信息的情况下解决非参数设置中的问题（例如，稀疏加性模型）。在本文中，我们提出了一种新的方法，称为组稀疏加性模型（GroupSpAM），它可以处理组稀疏加性模型。我们将l1/l2范数推广到Hilbert空间作为GroupSpAM中的稀疏诱导惩罚。此外，我们推导出一个新的阈值条件，以确定在组水平的功能稀疏，并提出了一个有效的块坐标下降算法来构建的估计。我们通过模拟证明，GroupSpAM在支持恢复和预测准确性方面大大优于竞争方法，并在真实的乳腺癌数据集上进行了比较实验。
2012-06-18 cs.LG stat.ML
Identification of feasible pathway information for c-di-GMP binding proteins in cellulose production
BioMediTech Institute（生物医学技术研究所）；Faculty of Biomedical Sciences（生物医学科学学院）；Tampere University of Technology（坦佩雷理工大学）；Laboratory of Chemistry（化学实验室）；Bioengineering（生物工程）
在本文中，我们利用机器学习的方法来确定的c-di-GMP信号蛋白的重要途径。该数据集涉及来自1024个细菌基因组的12个途径和5个必需的c-di-GMP结合结构域的基因计数。两种新的方法，最小绝对收缩和选择算子（套索）和随机森林，已被应用于分析和建模的数据集。这两种方法都表明，细菌的趋化性是c-di-GMP编码结构域最重要的途径。虽然Lasso方法在特征选择中很流行，但其强正则化无法将任何路径与MshE域相关联。分析结果可能有助于理解和强调细菌纤维素生产中涉及的支持途径。这些发现表明需要一种底盘，通过使纤维素生产中的选择性途径失活来限制行为或功能。
2022-04-26 cs.LG q-bio.QM stat.ML
Adaptive Multi-Prior Lasso for High-Dimensional Generalized Linear Models
University of Science and Technology of China（中国科学技术大学）；Xiamen University（厦门大学）；Yale School of Public Health（耶鲁公共卫生学院）
本文提出自适应多先验Lasso方法，通过自适应权重整合可靠先验信息，提升高维广义线性模型的估计、预测和变量选择性能。
2026-04-16 stat.ME
DebiNet: Debiasing Linear Models with Nonlinear Overparameterized Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
近年来，过参数化神经网络在各种任务上表现出了很强的经验性能，并在理论上取得了许多进展，如通用逼近性和可证明收敛到全局最小值等。本文将过参数化神经网络引入半参数模型中，以弥补推理和预测之间的差距，特别是在高维线性问题中。通过这样做，我们可以利用广泛的网络来近似滋扰函数，并一致地估计感兴趣的参数。因此，我们可以提供两个世界中最好的：神经网络的通用逼近能力和经典普通线性模型的可解释性，从而导致有效的推理和准确的预测。我们展示的理论基础，使这成为可能，并证明与数值实验。此外，我们提出了一个框架，DebiNet，在其中我们插入任意的特征选择方法，我们的半参数神经网络。DebiNet可以消除正则化估计器（例如Lasso）的偏差，并且在后选择推理和泛化误差方面表现良好。
2021-01-25 cs.LG stat.ML
Automatic Statistical Test for Rationally Expressible Algorithms by Selective Inference, with Applications to Feature Selection
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
研究针对选择性推理需手动推导选择事件的局限，提出AutoSI框架，自动构建选择事件，支持有理函数类算法，可处理现有方法无法解决的lasso方法，实验显示其p值控制I类错误且效能高。
2026-08-06 cs.LG stat.ML
A Selective Review of Group Selection in High-Dimensional Models
在许多统计建模问题中，随机结构自然会出现。已经提出了几种方法来选择变量，尊重变量中的分组结构。例子包括组LASSO和几个凹组选择方法。在这篇文章中，我们给出了选择性的审查组选择的方法发展，理论特性和计算算法。我们特别注意涉及凹罚的组选择方法。我们解决了群体选择和双水平选择方法。我们描述了这些方法在非参数加性模型，半参数回归，看似无关的回归，基因组数据分析和全基因组关联研究中的几个应用。我们还强调了一些需要进一步研究的问题。
2013-01-04 math.ST stat.ME stat.TH
Dimension Reduction in Contextual Online Learning via Nonparametric Variable Selection
University of Toronto（多伦多大学）；Fudan University（复旦大学）
我们考虑一个上下文在线学习（多臂强盗）问题，高维协变量$\mathbf{x}$和决策$\mathbf{y}$。要学习的奖励函数$f(\mathbf{x},\mathbf{y})$没有特定的参数形式。文献表明，最佳后悔是$\tilde{O}(T^{(d_x+d_y+1)/(d_x+d_y+2)})$，其中$d_x$和$d_y$是$\mathbf x$和$\mathbf y$的维度，因此它遭受维数灾难。在许多应用中，协变量中只有一小部分变量会影响$f$的值，在统计学中称为\textit{sparsity}。为了利用协变量的稀疏结构，我们提出了一个变量选择算法称为\textit{BV-LASSO}，它采用了新的想法，如装箱和投票应用LASSO非参数设置。我们的算法实现了遗憾$\tilde{O}(T^{(d_x^*+d_y+1)/(d_x^*+d_y+2)})$，其中$d_x^*$是有效的协变量维度。当协变量为$d^*_x$维时，遗憾匹配最佳遗憾，因此无法改善。我们的算法可以作为一个通用的配方，以实现降维通过变量选择在非参数设置。
2022-10-03 cs.LG stat.ML
The Spike-and-Slab Quantile LASSO for Robust Variable Selection in Cancer Genomics Studies
本文提出全贝叶斯spike-and-slab分位数LASSO，结合ALD稳健似然与EM坐标下降，在重尾高维基因组模拟及TCGA癌症数据中提升变量选择和预测表现。
2024-05-12 stat.ME
Selective inference after cross-validation
本文描述了一种方法，用于执行推理的模型选择交叉验证。当在交叉验证中被最小化的测试误差是残差平方和时，它可以被写为二次型。这使我们能够将Loftus等人（2015）中的推理框架应用于由二次约束确定的模型，以最大限度地减少CV检验误差。我们对模型训练过程的唯一要求是它的选择事件是满足线性或二次约束的区域。这包括Lasso和forward stepped，它们是我们贯穿全文的主要示例。我们不需要知道误差方差$σ^2$。这里描述的过程是自适应地选择模型并对所选模型执行推理的计算密集型方法。实现在R包中可用。
2015-11-28 stat.ME
Least squares after model selection in high-dimensional sparse models
在这篇文章中，我们研究后模型选择估计，适用于普通最小二乘（OLS）的第一步惩罚估计，典型的Lasso选择的模型。众所周知，Lasso可以以接近Oracle的速率估计非参数回归函数，因此很难改进。我们表明，OLS后Lasso估计执行至少以及Lasso的收敛速率方面，并具有较小的偏差的优势。值得注意的是，即使基于Lasso的模型选择“失败”，也会出现这种性能，因为它丢失了“真正”回归模型的一些组成部分。所谓“真”模型，我们指的是对预言机选择的非参数回归函数的最佳s维逼近。此外，如果基于Lasso的模型选择正确地包括“真”模型的所有分量作为子集，并且还实现了足够的稀疏性，则在收敛速度收敛速率严格更快的意义上，OLS post-Lasso估计量可以严格优于Lasso。在极端情况下，当Lasso完美地选择“真”模型时，OLS post-Lasso估计量成为oracle估计量。在我们的分析中，一个重要的成分是一个新的稀疏约束的维度选择的模型的Lasso，这保证了这个维度是在最多的相同的顺序作为“真正的”模型的维度。我们的速率结果是非渐近的，并在参数和非参数模型。此外，我们的分析不仅限于在第一步中作为选择器的Lasso估计器，而且还适用于任何其他估计器，例如，各种形式的阈值Lasso，具有良好的速率和良好的稀疏性。我们的分析涵盖了传统的阈值和一个新的实用，数据驱动的阈值方案，诱导额外的稀疏性保持…
2013-03-20 math.PR math.ST stat.ME
Robust Parametric Classification and Variable Selection by a Minimum Distance Criterion
我们研究了一种基于最小距离准则的鲁棒惩罚逻辑斯谛回归算法。有影响力的离群值通常与参数向量估计的爆炸相关联，但是在标准逻辑斯谛回归的上下文中，由于离群值引起的偏差总是导致参数向量内爆，即向零向量收缩。因此，在存在离群值的情况下，使用LASSO类罚分进行变量选择可能导致相关协变量的漏检。我们表明，通过选择一个最小的距离标准与弹性网惩罚，我们可以同时找到一个简约的模型，避免估计内爆，即使在重要的小$n$大$p$的情况下存在许多离群值。使用MM算法的实现和性能评估。
2012-09-29 stat.CO stat.ME stat.ML
GAM(L)A: An econometric model for interpretable Machine Learning
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；Aix-Marseille Graduate School of Management – IAE（艾克斯-马赛管理学院-IAE）
尽管具有很高的预测性能，但随机森林和梯度提升通常被认为是黑箱或不可解释的模型，这引起了从业者和监管机构的担忧。作为一种替代方案，我们在本文中建议使用部分线性模型，这是内在的解释。具体介绍了GAM-lasso（GAMLA）和GAM-autometrics（GAMA），简称GAM（L）A。GAM（L）A结合了参数和非参数函数，以准确地捕捉因变量和解释变量之间的线性和非线性，以及控制过拟合问题的变量选择过程。估计依赖于建立在双残差法基础上的两步程序。我们说明了GAM（L）A的预测性能和可解释性的回归和分类问题。结果表明，GAM（L）A优于由二次、三次和交互作用效应增强的参数模型。此外，结果还表明，GAM（L）A的性能与随机森林和梯度提升的性能没有显著差异。
2022-03-17 cs.LG econ.EM stat.ML
Marked point processes intensity estimation using sparse group Lasso method applied to locations of lucrative and cooperative banks in mainland France
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；LJK（拉格朗日数学与计算实验室）；Sciences Po Grenoble, PACTE（格勒诺布尔政治学院PACTE研究所）；Department of Statistics, Institut Teknologi Sepuluh Nopember（十·一理工学院统计学系）
研究法国大陆盈利性与合作性银行位置，通过网络抓取数据构成双变量空间点过程，用组惩罚双变量复合似然方法估计模型参数，揭示银行分布模式及合作模式特点，为该领域提供新见解。
2026-07-23 math.ST stat.ME stat.TH
Thresholding tests
基于阈值点估计，我们得到了一类新的广义线性模型的统计检验。无论模型是否包含比观测值更多的参数，都可以使用这些检验。对于线性模型，我们的检验依赖于从模型选择技术中获得的关键统计量。仿射lasso是lasso的一个新的扩展，允许推出新的测试，并在同一框架下开发参数和非参数测试。我们对广义线性模型的检验是基于新的渐近关键统计量。复合阈值测试尝试在稀疏和密集的替代方案下成功地实现均匀的最大功率。在模拟中，我们比较了稀疏和密集的替代假设下这些测试的水平和功率。阈值测试比现有测试具有更好的标称水平控制和更高的功率。
2018-03-13 stat.ME
Selective Sequential Model Selection
许多模型选择算法产生指定一系列日益复杂的模型的拟合路径。给定这样一个序列和用于产生它们的数据，我们考虑选择不被数据证伪的最不复杂的模型的问题。扩展Fithian et al.（2014）的选择模型检验，我们为路径中的每一步构建p值，这说明了使用数据对模型路径的自适应选择。在线性回归的情况下，我们提出了两个具体的检验，前向逐步回归的最大t检验（推广Buja和Brown（2014）的建议），以及套索的下一个条目检验。这些测试提高了Tibshirani等人（2014）的饱和模型测试的能力，有时显着。此外，我们的框架扩展到线性回归更一般的一类参数和非参数模型选择问题。为了选择一个模型，我们可以将单步p值作为输入输入到顺序停止规则中，例如G'Sell et al.（2013）和Li and Barber（2015）提出的规则，从而根据需要控制家族错误率或错误发现率（FDR）。FDR控制规则要求空p值相互独立，并且与非空p值无关，Tibshirani等人（2014）的饱和模型p值不满足该条件。我们得到直观和一般的充分条件独立，并表明我们提出的建设产生独立的p值。
2015-12-08 stat.ME stat.ML
The Critical Line Algorithm and the Constrained LASSO: One Curve, Two Literatures
Jebel Quant Research（杰贝尔量化研究）；Stanford University（斯坦福大学）
本文证明总风险暴露约束的均值-方差规划与约束LASSO在任意线性约束下追踪同一条分段线性曲线，并给出两种参数化间的映射及约束拟合的自由度，建立了两个文献领域间的新对应关系。
2026-10-27 math.OC stat.ME
