Robust and sparse estimators for linear regression models
惩罚回归估计是分析稀疏和高维数据集的常用工具。然而,使用无界损失函数定义的惩罚回归估计量可能对离群观测值的存在非常敏感,特别是高杠杆离群值。此外,在高维数据集中检测离群值可能特别具有挑战性。因此,稀疏和高维线性回归模型的鲁棒估计是必要的。在本文中,我们研究了MM桥和自适应MM桥估计:$\ell_q$ -惩罚的MM-估计的回归和MM-估计与自适应$\ell_t$惩罚的鲁棒性和渐近性质。对于协变量个数固定的情况,我们得到了所有$q>0$的MM-Bridge估计量的渐近分布。证明了对于$q<1$,MM-Bridge估计量具有Fan和Li(2001)中定义的预言性质.我们证明了对于所有的$t\leq 1$自适应MM-Bridge估计器都可以具有预言性质。我们提出的估计的优点是通过广泛的模拟研究和一个真正的高维数据集的分析证明。
2015-10-16 math.ST stat.TH
Sparse maximum likelihood estimation for regression models
本文通过似然比置信区域的渐近性质,提出一种具有稀疏最大似然估计解释的一致模型选择准则,可识别所有活跃变量并优于传统信息准则。
2024-04-08 math.ST stat.TH
Aggregated hold out for sparse linear regression with a robust loss function
稀疏线性回归方法通常具有控制稀疏量的自由超参数,并且受到偏差-方差权衡的影响。本文考虑在具有Huber损失函数的线性回归的上下文中,使用聚合保持来聚合该超参数的值。聚合保持(Agghoo)是一个过程,平均估计选择保持(交叉验证与一个单一的分裂)。在理论部分,证明了Agghoo应用于零范数参数化的稀疏估计时,满足一个非渐近的预言不等式。特别是,这包括Zou,Hasti和Tibshirani介绍的Lasso的变体。模拟用于比较Agghoo与交叉验证。他们表明,当内在维度较高且存在与预测协变量相关的混杂因素时,Agghoo的表现优于CV。
2022-12-07 math.ST stat.TH
Rodeo: Sparse Nonparametric Regression in High Dimensions
本文提出了一种在非参数回归中同时进行局部带宽选择和变量选择的贪婪方法。该方法从具有大带宽的局部线性估计器开始,并且递增地减小估计器相对于带宽的梯度大的变量的带宽。该方法被称为rodeo(衍生物期望算子的正则化),它对阈值衍生物进行了一系列假设检验,并且易于实现。在一定的假设下的回归函数和采样密度,它表明,适用于局部线性平滑的牛仔竞技避免了灾难的维数,实现近最佳的极小极大收敛率的相关变量的数量,如果这些变量被隔离在事先。
2006-08-22 math.ST stat.TH
Scaled Sparse Linear Regression
尺度稀疏线性回归联合估计线性模型中的回归系数和噪声水平。它选择一个平衡与稀疏回归方法通过迭代估计噪声水平通过平均残差平方和缩放的惩罚成比例的估计噪声水平。迭代算法的成本很小,超过了计算的路径或网格的稀疏回归估计的惩罚水平高于适当的阈值。对于缩放的套索,该算法是在回归系数和噪声水平的惩罚联合损失函数的凸最小化中的梯度下降。在弱正则条件下,我们证明了尺度Lasso同时产生噪声水平的估计和满足某些预言不等式的估计系数向量,以及噪声水平和回归系数的估计.这些不等式提供了噪声水平估计的一致性和渐近正态性的充分条件,包括变量数量大于样本量的某些情况。通过缩放套索进行模型选择后,为最小二乘估计提供了平行结果。数值结果表明,所提出的方法优于早期的联合凸最小化建议的性能。
2012-06-21 math.ST stat.ML stat.TH
The Geometry and Well-Posedness of Sparse Regularized Linear Regression
本文通过多面体几何框架研究凸分段线性稀疏正则化线性回归的适定性,给出解存在、唯一且连续依赖数据的几何条件,并与光滑正则化对比,同时揭示验证这些条件的计算困难性。
2024-09-05 math.OC math.ST stat.TH
Sparse Wavelet Estimation in Quantile Regression with Multiple Functional Predictors
本文研究了部分函数线性模型中的分位数回归问题,其中响应是标量,预测变量既包括标量又包括多个函数。采用小波基更好地逼近函数斜率,同时有效地检测局部特征。稀疏组套索惩罚施加到选择重要的功能预测,同时捕获共享的信息之间。估计问题可以转化为一个标准的二阶锥规划,然后用内点方法求解。我们还提出了一种新的算法,利用交替方向法的乘数(ADMM),这是最近许多研究人员在解决惩罚分位数回归问题。建立了算法的收敛速度和预测误差界等渐近性质。仿真和一个实际的数据从ADHD-200 fMRI数据进行调查,以显示我们提出的方法的优越性。
2017-12-02 math.ST stat.AP stat.CO
Valid Post-Selection Inference in High-Dimensional Approximately Sparse Quantile Regression Models
本文提出了一种新的(异质)分位数回归模型中回归系数的推断方法。我们考虑一个高维模型,其中回归变量的数量可能超过样本量,但其中的一个子集足以构建一个合理的近似条件分位数函数。所提出的方法是(显式或隐式)基于正交得分函数,防止适度的模型选择错误,这往往是不可避免的,在本文中考虑的近似稀疏模型。我们建立了所提出的分位数回归系数的置信区域的一致有效性。重要的是,这些方法直接适用于一个以上的变量和连续的分位数指数。此外,所提出的方法的性能说明通过蒙特卡洛实验和实证的例子,处理儿童营养不良的危险因素。
2016-06-23 econ.EM math.ST stat.TH
Testing for sparse idiosyncratic components in factor-augmented regression models
本研究提出一种bootstrap检验方法,用于检验因子回归模型中是否存在稀疏异质成分,推导了其渐近性质,提出数据驱动调参规则,模拟和实证实验验证了方法的有效性,并通过R包FAS实现。
2024-07-10 econ.EM math.ST stat.TH
An efficient algorithm for structured sparse quantile regression
分位数回归结合促进结构化(或组)稀疏性的惩罚进行研究。在参数向量上使用混合$\ell_{1,\infty}$ -范数对传统的分位数回归问题施加结构稀疏性。一个算法推导出计算相应的最小化问题的分段线性解路径。最后给出了算法的Matlab实现,并对算法的应用进行了研究。
2013-02-25 stat.ME
Differential Equation-Constrained Local Regression for Data with Sparse Design
本文提出一种利用一阶微分方程约束的局部常数回归方法,以改善稀疏数据区域的估计性能,并通过模拟和肿瘤数据验证其降低偏差与方差的效果。
2025-07-08 stat.CO stat.ME
Sparse Linear Regression With Missing Data
Wisconsin Institutes for Discovery(威斯康星发现研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出了一种在有缺失数据的情况下进行稀疏回归的快速、准确的方法。底层统计模型封装了不完整数据矩阵的低维结构和回归系数的稀疏性,所提出的算法联合学习数据的低维结构和具有稀疏系数的线性回归器。建议的随机最优化方法,稀疏线性回归与缺失数据(SLRM),执行交替最小化过程和规模以及与问题的大小。大偏差不等式揭示了各种问题相关参数对学习回归量的预期平方损失的影响。在合成数据集和真实数据集上进行的大量仿真表明,SLRM在各种情况下都优于竞争算法。
2015-03-28 cs.LG stat.ME stat.ML
Efficient Computation for Centered Linear Regression with Sparse Inputs
稀疏输入的回归是大规模模型的常见主题。针对稀疏输入优化底层线性代数允许更快地估计此类模型。与此同时,集中输入有利于改善模型的解释和收敛。然而,将数据居中自然会使稀疏数据变得密集,从而限制了优化的机会。我们提出了一种有效的策略,估计中心回归,同时利用稀疏结构的数据,提高计算性能和减少内存占用的估计。
2019-10-29 stat.CO
Quick and Simple Kernel Differential Equation Regression Estimators for Data with Sparse Design
针对稀疏设计下局部多项式回归失效的问题,提出融合一阶微分方程信息的非参数核回归估计方法,并通过肿瘤数据与多情景仿真验证其偏差、方差及模型表现。
2024-06-14 stat.AP stat.ME
Sparse Multivariate Linear Regression with Strongly Associated Response Variables
针对回归系数矩阵稀疏且误差协方差矩阵稠密的多元线性回归问题,提出基于等相关误差协方差假设的新方法及高维近似方法,并利用高斯验证似然近似进行调参,实验证明其优越性及对模型误设的稳健性。
2025-08-12 stat.ME
Sparse principal component regression for generalized linear models
主成分回归(PCR)是一种广泛使用的两阶段程序:主成分分析(PCA),然后是回归,其中所选择的主成分被视为模型中的新解释变量。请注意,PCA仅基于解释变量,因此不使用响应变量的信息选择主成分。在本文中,我们提出了一个一阶段的程序PCR的框架下,广义线性模型。基本损失函数基于回归损失和PCA损失的组合。回归参数的估计得到的基本损失函数的最小值与稀疏惩罚。我们称之为广义线性模型的稀疏主成分回归(SPCR-glm)。同时考虑两个损失函数,SPCR-glm使我们能够获得与响应变量相关的稀疏主成分载荷。然而,损失函数的组合可能会导致参数识别问题,但由于稀疏惩罚,避免了这个潜在的问题。因此,稀疏惩罚在该方法中起两个作用。参数估计过程中提出了使用各种更新算法与坐标下降算法。我们将SPCR-glm应用于两个真实数据集,医生访问数据和小鼠染色体品系数据。SPCR-glm提供了更容易解释的主成分(PC)得分和PC图上比通常的PCA更清晰的分类。
2016-10-13 stat.ME stat.ML
High-dimensional sparse vine copula regression with application to genomic prediction
针对高维非线性基因组预测问题,提出两种稀疏 vine copula 分位数回归方法,降低计算复杂度并实现有效变量选择,在玉米性状预测中优于线性模型和分位数回归森林。
2023-06-19 stat.ME
Optimal Sparse Sliced Inverse Regression via Random Projection
针对大 $p$ 小 $n$ 场景,提出基于随机投影的稀疏切片逆回归方法,通过广义特征值框架实现高效并行计算,理论证明达到极小极大最优收敛速度,并采用重新加权方案增强可识别性。
2023-08-03 stat.ME
Sparse Linear Regression via Generalized Orthogonal Least-Squares
University of Texas at Austin(德克萨斯大学奥斯汀分校)
稀疏线性回归需要找到欠定线性方程组的稀疏解,可以正式表示为$l_0$约束最小二乘问题。正交最小二乘(OLS)算法顺序地选择特征(即,系数矩阵的列)来粗略地找到近似稀疏解。在本文中,一个推广的正交最小二乘依赖于最优解的组件之间的递归关系,选择L功能在每一步,并解决由此产生的超定方程组提出。仿真结果表明,广义OLS算法是计算效率和实现性能优于现有的贪婪算法广泛使用的文献。
2016-07-28 cs.IT cs.LG math.IT
Conditional Sparse Linear Regression
Washington University in St. Louis(圣路易斯华盛顿大学)
机器学习和统计学通常专注于构建捕获绝大多数数据的模型,可能会忽略一小部分数据作为“噪音”或“离群值”。“相比之下,在这里我们考虑联合识别一个重要的(但可能很小的)群体部分的问题,其中有一个高度稀疏的线性回归拟合,以及线性拟合的系数。我们认为,这些任务是有趣的,因为模型本身可能能够在这种特殊情况下实现更好的预测,但也因为它们可以帮助我们理解的数据。我们给这样的问题的算法下的超级规范,当这个未知的部分人口描述的k-DNF条件和回归拟合是s-稀疏常数k和s。对于回归拟合不太稀疏或使用期望误差时该问题的变体,我们也给出了初步的算法,并强调该问题是未来工作的挑战。
2016-08-18 cs.DS cs.LG stat.ML
An adaptive shortest-solution guided decimation approach to sparse high-dimensional linear regression
Renmin University of China(中国人民大学);Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);University of Chinese Academy of Sciences(中国科学院大学);MinJiang University(闽江学院)
高维线性回归模型是处理高维数据的最常用的统计模型,但要得到稀疏的回归系数集是一个相当具有挑战性的任务。在本文中,我们提出了一个简单的启发式算法来构建稀疏的高维线性回归模型,这是适应于最短解引导抽取算法,被称为ASSD。该算法在递归抽取线性方程组的最小二乘解的指导下构造回归系数的支持度,并应用早停准则和第二阶段阈值化过程来细化该支持度。我们大量的数值结果表明,ASSD优于LASSO,向量近似消息传递,和其他两个代表性的贪心算法的解决方案的准确性和鲁棒性。ASSD特别适用于现实应用中遇到的具有高度相关测量矩阵的线性回归问题。
2022-11-28 cs.LG stat.CO
MIST: L0 Sparse Linear Regression with Momentum
大量的注意力已经被给予最小化的惩罚最小二乘准则估计稀疏解的大型线性方程组。惩罚负责诱导稀疏性,自然选择是所谓的$l_0$范数。在本文中,我们开发了一个Momentumized迭代收缩保持(MIST)算法最小化所产生的非凸准则,并证明其收敛到局部极小。在大数据集上的仿真结果表明,该方法的性能优于其他方法。
2015-03-19 stat.ML
Lossy Compression via Sparse Linear Regression: Performance under Minimum-distance Encoding
我们研究了一类新的编码的有损压缩与平方误差失真准则,设计使用的统计框架的高维线性回归。码字是设计矩阵的列的子集的线性组合。这种结构被称为稀疏叠加或稀疏回归码本,其动机是Barron和Joseph最近提出的用于AWGN信道上通信的类似结构。对于i.i.d高斯源和最小距离编码,我们表明,这样的代码可以达到香农率失真函数的最佳误差指数,低于指定值的所有失真。它还表明,稀疏回归码在以下意义上是鲁棒的:设计用于压缩具有(平方误差)失真$D$的i.i.d高斯方差源$σ^2$的码本可以将小于$σ^2$的任何遍历方差源压缩到失真$D$内。因此,稀疏回归系综保留了i.i.d随机高斯系综的许多良好的覆盖特性,同时具有在矩阵方面的紧凑表示,该矩阵的大小是块长度中的低阶多项式。
2015-12-18 cs.IT math.IT stat.ML
Sparse linear regression with compressed and low-precision data via concave quadratic programming
我们考虑的问题,从压缩的线性测量数据时,被破坏的量化噪声的k-稀疏向量的恢复。当测量的数目不是足够大时,不同的$k$稀疏解可能存在于可行集中,并且经典的l1方法可能是不成功的。为此,我们提出了一种非凸二次规划方法,利用先验信息的大小的非零参数。这导致更有效的支持恢复。我们提供了成功恢复的充分条件和数值模拟,以说明所提出的方法的实际可行性。
2019-09-09 cs.LG math.OC stat.ML
Sparse Mixed Linear Regression with Guarantees: Taming an Intractable Problem with Invex Relaxation
Purdue University(普渡大学)
在本文中,我们研究了稀疏混合线性回归问题的未标记的数据集,从两个不同的回归参数向量的线性测量产生。由于数据是未标记的,因此我们的任务不仅是找出回归参数向量的良好近似,而且还要正确标记数据集。在其原始形式中,该问题是NP-难的。解决这个问题的最流行的算法(如期望最大化)有一种倾向,停留在局部最小值。我们提供了一个新的不变凸松弛这个棘手的问题,导致一个解决方案,可证明的理论保证。这种松弛使得能够准确地恢复数据标签。此外,我们恢复的回归参数向量的支持和符号匹配的真实参数向量的密切近似。我们的配方使用精心构造的原始对偶证人框架的不变凸问题。此外,我们表明,我们的方法的样本复杂度是对数的回归参数向量的维数。
2022-06-02 cs.LG stat.ML
Fundamental limits and algorithms for sparse linear regression with sublinear sparsity
University of Cambridge(剑桥大学)
本文为次线性稀疏度机制下的稀疏线性回归建立了精确的归一化互信息和MMSE渐近表达式,通过推广自适应插值方法并提出改进的AMP算法以严格分析了其状态演化,证明了传统线性假设对稀疏信号并非必要。
2023-04-08 cs.IT cs.LG math.IT
Are Latent Factor Regression and Sparse Regression Adequate?
Princeton University(普林斯顿大学)
我们提出了因子增广稀疏线性回归模型(FARM),它不仅包含了潜在因子回归和稀疏线性回归的特殊情况,而且将降维和稀疏回归联系在一起。我们分别在亚高斯噪声和重尾噪声(具有有界的(1+x)阶矩,对于所有x>0)的存在下,为我们的模型的估计提供了理论保证。此外,现有的监督学习的工作往往假设潜在的因素回归或稀疏线性回归是真正的基础模型,而没有证明其充分性。为了填补这一重要空白,我们还利用我们的模型作为替代模型来测试潜在因子回归和稀疏线性回归模型的充分性。为了实现这些目标,我们分别提出了因子调整去偏检验(FabTest)和两阶段方差分析类型检验。我们还进行了大规模的数值实验,包括合成和FRED宏观经济数据,以证实我们的方法的理论特性。数值结果表明,我们的模型对潜在的因素回归和稀疏线性回归模型的鲁棒性和有效性。
2022-03-02 cs.LG math.ST stat.ME
Sparse semiparametric regression when predictors are mixture of functional and high-dimensional variables
针对函数型与高维变量混合的回归降维问题,提出结合稀疏线性思想与半参数方法的灵活模型,推导相关渐近结果,并通过模拟实验和Tecator数据集应用验证方法有效性。
2024-01-26 math.ST stat.ME stat.TH
Bayesian sparse multiple regression for simultaneous rank reduction and variable selection
我们开发了一种贝叶斯方法,旨在同时估计低秩和行稀疏矩阵的高维多响应线性回归模型。我们考虑了精心设计的收缩前的矩阵的回归系数,从而避免了需要指定一个先验的秩,并缩小回归矩阵对低秩和行稀疏结构。我们提供了理论支持,所提出的方法,通过证明极小极大最优的后验均值下的预测风险在超高的维度设置的预测因子的数量可以增长相对于样本量的次指数。一个一步的后处理方案引起的估计系数矩阵的行上的组套索处罚变量的选择,与默认选择的调谐参数。我们还提供了一个估计的秩使用一种新的优化函数实现降维的协变量空间。我们展示了所提出的方法在一个广泛的模拟研究和一个真实的数据例子的性能。
2019-04-09 math.ST stat.ME stat.TH
Bayesian linear regression with sparse priors
我们研究了稀疏约束下高维线性回归的全贝叶斯过程。先验是零点质量和连续分布的混合。在设计矩阵的相容性条件下,证明了后验分布以最优的速率收缩,以恢复未知稀疏向量,并给出响应向量的最优预测。它还示出选择正确的稀疏模型,或至少是显着不同于零的系数。描述了后验分布的渐近形状,并将其应用于不确定性量化可信集的构造和研究。
2015-10-14 math.ST stat.ME stat.TH
Robust and Sparse Multinomial Regression in High Dimensions
针对高维数据,提出了一种稳健稀疏的多项式回归估计。估计器的鲁棒性通过修剪观测值来实现,估计器的稀疏性通过弹性网惩罚来获得,弹性网惩罚是$L_1$和$L_2$惩罚的混合。从这个角度来看,建议的估计是一个扩展的enet-LTS估计\citep{Kurnaz18}的线性和逻辑斯谛回归的多项式回归设置。在介绍了一种算法的计算,进行了模拟研究,以显示性能相比,非稳健版本的多项式回归估计。一些真实数据的例子强调了这个强大的估计的有用性。
2022-05-24 math.ST stat.CO stat.ME
Single Parameter Inference of Non-sparse Logistic Regression Models
本文研究了非稀疏逻辑斯谛回归模型中单个参数的推断问题。通过将原假设转化为矩条件,构造了检验统计量,得到了渐近零分布。数值实验表明,我们的方法性能良好。
2022-11-09 stat.ME
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯(VB)近似。在设计矩阵的相容性条件下,导出了平均场VB近似的预言不等式,表明它以最优速率收敛到稀疏真值,并给出了响应向量的最优预测.我们的算法的实证性能进行了研究,表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明,广泛使用的坐标上升变分推断(CAVI)算法可以高度敏感的参数更新顺序,导致潜在的性能不佳。为了缓解这一问题,我们提出了一种新的优先更新方案,使用数据驱动的更新顺序,并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
The CDF penalty:sparse and quasi unbiased estimation in regression models
在高维回归建模中,预测变量中包含的候选协变量数量相当大,变量选择至关重要。在这项工作中,我们提出了一个新的惩罚,能够保证稀疏的变量选择,即完全为零的回归系数估计,和准无偏的“选定”的变量在高维回归模型的系数。仿真结果表明,我们的建议执行不差于它的竞争对手,同时始终确保解决方案是唯一的。
2022-12-16 stat.ME
Sequential scaled sparse factor regression
多变量响应和预测因子之间的大规模关联分析具有重要的实际意义,例如包括社交媒体营销和危机管理在内的现代商业应用。尽管快速的方法进步,如何获得可扩展的估计与自由调整的正则化参数仍然不清楚一般的噪声协方差结构。本文提出了一种新的回归方法-序贯尺度稀疏因子回归(SESS),该方法基于一种新的观点,即通过正则特征值分解,可以将低秩稀疏回归系数矩阵的恢复问题分解为多个单变量响应稀疏回归问题。它结合了序贯估计和缩放稀疏回归的优点,从而共享从这两种方法继承的稀疏参数的可扩展性和免调属性。逐步凸公式,序贯因子回归框架和调优不敏感性使SESS在大数据应用中具有高度的可扩展性。还提供了全面的理论依据与新的见解高维多响应回归。通过仿真研究和股票空头利率数据分析,证明了该方法的可扩展性和有效性。
2020-11-17 stat.ME
Multivariate functional group sparse regression: functional predictor selection
在本文中,我们提出了方法的功能预测选择和光滑的功能系数估计同时在标量函数回归问题下的高维多元函数数据设置。特别是,我们开发了两种方法的功能组稀疏回归下的一般希尔伯特空间的无限维。我们证明了算法的收敛性和一致性的估计和选择(预言性质)在无限维Hilbert空间。仿真研究表明,该方法在函数系数的选择和估计方面都是有效的。功能磁共振成像(fMRI)的应用揭示了人类大脑中与ADHD和智商相关的区域。
2021-07-08 math.ST q-bio.NC stat.AP
Missing values: sparse inverse covariance estimation and an extension to sparse regression
提出了一种估计高维多元正态模型中存在缺失数据的逆协方差阵的l1正则化似然方法。我们的方法是基于假设的数据是随机缺失(MAR),这也需要完全随机缺失的情况下。该方法的实现是非平凡的,因为观察到的负对数似然一般是一个复杂的非凸函数。我们提出了一个有效的期望最大化算法的优化与可证明的数值收敛性能。此外,我们扩展的方法来处理稀疏回归上下文中的缺失值。我们证明了这两种方法的模拟和真实数据。
2012-02-27 stat.ME
Robust and Sparse Regression in GLM by Stochastic Optimization
The Graduate University for Advanced Studies(高级研究大学院大学);The Institute of Statistical Mathematics(统计数学研究所);Nagoya University Graduate School of Medicine(名古屋大学医学研究科)
本文提出基于γ-散度的鲁棒稀疏广义线性模型,采用随机优化方法提高高维数据下的鲁棒性和稀疏性,通过随机化随机投影梯度下降法实现高效参数估计。
2018-02-09 stat.ME stat.ML
Sparse regression and marginal testing using cluster prototypes
我们提出了一种新的方法,稀疏回归和边际测试,相关功能的数据。我们的程序首先聚类的功能,然后选择集群原型中最丰富的功能。然后我们对这些原型应用稀疏回归(lasso)或边际显著性检验。虽然这种策略并不完全是新的,但我们建议的一个关键特征是使用Taylor et al.(2014)和Lee et al.(2014)的后选择推理理论来计算精确的p值和置信区间,以正确解释原型的选择。我们还应用最近的“山寨”的想法巴伯和坎迪斯提供确切的有限样本控制的FDR我们的回归过程。我们说明我们的建议,真实和模拟数据。
2015-03-13 stat.ME
The knockoff filter for FDR control in group-sparse and multitask regression
我们提出了组敲除过滤器,错误发现率控制的方法在线性回归设置的功能进行分组,我们想选择一组相关的群体有一个非零的影响的响应。通过在组级别上考虑真和假发现的集合,该方法相对于稀疏回归方法获得了能力。我们还将我们的方法应用于多任务回归问题,其中多个响应变量在一组可能的特征中共享类似的稀疏模式。从经验上讲,在这两种设置中,组假冒过滤器成功地控制了组级别的错误发现,通过利用组结构进行了更多的发现。
2016-02-11 stat.ME
Balancing Statistical and Computational Precision: A General Theory and Applications to Sparse Regression
现代技术正在产生越来越多的数据。利用这些数据需要既有统计上的合理性又有计算效率的方法。通常,统计和计算方面被分开处理。在本文中,我们提出了一种方法来纠缠这两个方面的背景下,正则化估计。将我们的方法应用于稀疏和组稀疏回归,我们表明它可以在统计和计算上改进标准管道。
2022-09-14 stat.CO stat.ME stat.ML
Scalable Sparse Cox's Regression for Large-Scale Survival Data via Broken Adaptive Ridge
本文提出了一种新的可扩展稀疏Cox回归工具,用于稀疏高维海量样本量(sHDMSS)生存数据。该方法是通过重复执行重新加权的$L_2$-惩罚Cox回归的局部$L_0$-惩罚Cox回归。我们发现,由此产生的估计享有最好的$L_0$ -和$L_2$ -惩罚Cox回归,同时克服其局限性。具体而言,估计量是选择一致的,参数估计的预言,并具有高度相关的协变量的分组属性。仿真结果表明,当样本量较大时,所提出的方法与预先指定的调整参数具有可比或更好的性能比一些流行的惩罚回归方法。更重要的是,因为该方法自然地使得能够适应用于大规模$L_2$惩罚优化的有效算法,并且不需要昂贵的数据驱动的调谐参数选择,所以它对于sHDMSS数据具有显著的计算优势,在经验研究中提供了超过其最接近的竞争对手的平均5倍加速。
2018-07-25 stat.ME
Sparse Unit-Sum Regression
本文在回归权和为1的约束下,研究了线性回归的稀疏性。我们提出了一种结合$\ell_0$ -和$\ell_1$ -正则化的方法。我们通过调整Bertsimas等人(2016)最近为$\ell_0$进行的方法创新来计算其解决方案-标准线性回归中的正则化。在模拟实验中,我们比较我们的方法$\ell_0$ -正则化和$\ell_1$ -正则化,并发现它的预测性能和稀疏性方面表现良好。在指数跟踪的应用程序中,我们表明,我们的方法可以获得大大稀疏的投资组合相比,$\ell_1$ -正则化,同时保持类似的跟踪性能。
2019-07-10 stat.CO stat.ME
Robust and Sparse Regression via $γ$-divergence
在高维数据中,已经提出了许多稀疏回归方法。然而,它们可能对离群值不稳健。近年来,人们研究了利用密度幂权进行抗差参数估计,并讨论了相应的发散性。其中一个这样的分歧是$γ$ -分歧和鲁棒估计使用$γ$ -分歧是已知的具有很强的鲁棒性。本文研究了基于$γ$ -散度的稳健稀疏回归问题。我们扩展的$γ$ -发散回归问题,并表明,它具有很强的鲁棒性下,即使在严重污染的离群值是异质的。损失函数由稀疏正则化的$γ$ -散度的经验估计构造,参数估计被定义为损失函数的最小值。为了得到鲁棒的稀疏估计,我们提出了一种有效的更新算法,该算法具有单调递减的损失函数的性质。特别地,我们详细讨论了一个线性回归问题与$L_1$正则化。在数值实验和实际数据分析中,我们看到所提出的方法优于过去的鲁棒和稀疏的方法。
2016-08-29 stat.ME stat.ML
Ultrahigh-dimensional Robust and Efficient Sparse Regression using Non-Concave Penalized Density Power Divergence
我们提出了一种基于非凹惩罚密度功率发散损失函数的稀疏回归方法,该方法在非常高维的情况下对无穷小污染具有鲁棒性。现有的稀疏鲁棒回归方法都是基于$\ell_1$ -惩罚的,其理论性质还没有得到很好的研究。相比之下,我们使用一个通用类的折叠凹罚,确保稀疏恢复和一致的估计回归系数。我们提出了一个交替算法的凹凸过程的基础上获得我们的估计,并证明其鲁棒性使用影响函数分析。在一定的固定设计矩阵和罚函数条件下,证明了该估计在超高维情形下具有大样本预言性质。通过仿真研究证明了我们所提出的参数估计和预测方法的性能和有效性。
2020-07-28 stat.ME
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时,普通最小二乘(OLS)解的“软阈值”产生Lasso解[Tibshirani,1996]。如果使用Puffer预处理Lasso [Jia and Rohe,2012],则该结果从正交设计推广到满秩设计(定理1)。定理2改进了Puffer预处理器,使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器,定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置,p > n。其中标准Lasso类似于向前选择[Efron等人,2004],定理1,2和3表明,预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术(例如SCAD和MC+),结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
Sparse principal component regression with adaptive loading
主成分回归(PCR)是一个两阶段的过程,选择一些主成分,然后将它们作为新的解释变量构建回归模型。请注意,主成分仅从解释变量获得,而不考虑响应变量。为了解决这个问题,我们提出了稀疏主成分回归(SPCR),这是一个阶段的PCR过程。SPCR使我们能够自适应地获得与响应变量相关的稀疏主成分载荷,并同时选择主成分的数量。SPCR可以通过坐标下降算法对每个参数进行凸优化问题来获得。通过蒙特卡罗模拟和实际数据分析,验证了SPCR的有效性.
2014-11-01 stat.ME stat.ML
Functional Lagged Regression with Sparse Noisy Observations
函数(滞后)时间序列回归模型涉及标量响应时间序列对由一系列随机函数组成的回归量时间序列的回归。在实践中,潜在的回归曲线时间序列并不总是直接可访问的,而是仅在离散测量位置处观察(采样)的潜在过程。在本文中,我们考虑了所谓的稀疏观测场景,其中只有相对较少的测量位置已被观察到,每个曲线可能不同。测量结果可能进一步受到附加测量误差的污染。被认为是一种谱的方法来估计模型的动态。利用核平滑方法从稀疏观测值中估计回归量时间序列的谱密度以及回归量与响应时间序列之间的互谱密度。滞后回归模型的脉冲响应回归系数然后通过岭回归(Tikhonov正则化)或PCA回归(谱截断)来估计。然后通过预测恢复潜在功能时间序列,条件是所有观察到的观察数据。我们的方法的性能和实施说明通过模拟研究和气象数据的分析。
2020-03-31 stat.ME
Keeping greed good: sparse regression under design uncertainty with application to biomass characterization
在本文中,我们考虑经典的测量误差回归的情况下,我们的独立,或设计,观察变量与几个源的加性噪声。我们将表明,我们的激励示例的重复测量的设计和因变量可以利用,以提高稀疏回归算法。具体而言,我们估计方差并使用它来缩放设计变量。我们从几个角度证明了缩放的有效性,并使用两种最广泛使用的稀疏算法:最小角度回归(LARS)和Dantzig选择器(DS)的生物质表征数据集进行经验验证。
2012-07-08 stat.AP stat.CO stat.ME
Sparse Tree-Based Aggregation for Time Series Regressions
Maastricht University(马斯特里赫特大学)
提出StarTime方法,利用时间树分层排列滞后项,通过凸惩罚实现系数聚合与稀疏选择,降低高维时间序列回归的维度,提高估计精度。
2026-07-02 econ.EM stat.ME
On The Sparse Bayesian Learning Of Linear Models
本文对Tipping(2001)的线性回归模型的稀疏贝叶斯学习(SBL)在高维环境下进行了重新检验。我们提出了一个硬阈值版本的SBL估计,实现,正交设计矩阵,非渐近估计误差率的$σ\sqrt{s\log p}/\sqrt{n}$,其中$n$是样本量,$p$回归变量的数量,$σ$是回归模型的标准差,和$s$的非零回归系数的数量。我们还建立了高概率的估计识别非零回归系数。在我们的模拟中,我们发现当要恢复的信号很强时,稀疏贝叶斯学习回归的性能优于套索(Tibshirani(1996))。
2015-02-11 stat.ME
Group Inverse-Gamma Gamma Shrinkage for Sparse Regression with Block-Correlated Predictors
重尾连续收缩先验,如马蹄先验,被广泛用于稀疏估计问题。然而,有有限的工作扩展这些先验预测与分组结构。本文中特别感兴趣的是回归系数估计,其中协变量空间中的高共线性口袋包含在已知的协变量分组中。为了减轻由于多重共线性引起的方差膨胀,我们提出了组逆伽马伽马(GIGG)先验,这是一种重尾先验,可以以数据自适应的方式在局部和组收缩之间进行权衡。GIGG先验的一个特殊情况是组马蹄先验,其收缩曲线在组内相关,使得回归系数边缘具有精确的马蹄正则化。我们证明了线性回归模型中回归系数的后验一致性和稀疏正态均值模型中均值参数的后验浓度结果。对应于GIGG回归的完整条件分布可以以封闭形式导出,从而导致直接的后验计算。我们表明,GIGG回归结果在低均方误差在很宽的范围内的相关结构和组内的信号密度,通过模拟。我们将GIGG回归应用于国家健康和营养检查调查的数据,将环境暴露与肝功能联系起来。
2021-02-21 stat.ME
Univariate-Guided Sparse Regression
本文提出名为UniLasso的两阶段稀疏回归方法,通过保留单变量系数的符号并利用其大小提升模型稳定性与可解释性,在多种设置下优于Lasso,并证明了渐近支撑恢复与均方误差一致性。
2025-06-25 stat.ME
A Discussion on Practical Considerations with Sparse Regression Methodologies
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
稀疏线性回归是一个广阔的领域,有许多不同的算法可用于构建模型。发表在《统计科学》上的两篇新论文研究了几种稀疏回归方法的比较性能,包括套索和子集选择。全面的实证分析使研究人员能够证明每个估计量的相对优点,并为从业人员提供指导。在这次讨论中,我们总结和比较这两项研究,我们检查的协议和分歧点,旨在为用户提供清晰度和价值。作者们已经开始了一场非常有建设性的对话,我们的目标是继续下去。
2021-02-08 cs.LG stat.AP stat.ME