Variable selection in Functional Additive Regression Models
本文考虑了函数变量可能与其他类型的变量(标量,多元,方向等)混合的情况下,回归模型中的变量选择问题。我们的建议从一个简单的空模型开始,并根据\cite{Szekely2007}提出的距离相关性,依次选择一个新的变量纳入模型。为了简单起见,本文仅使用可加模型。然而,所提出的算法可以评估贡献的类型(线性、非线性、.)每个变量。该算法已显示出相当有前途的结果时,应用于模拟和真实数据集。
2018-04-11 stat.AP stat.CO stat.ME
A Multi-objective Exploratory Procedure for Regression Model Selection
变量选择被认为是统计建模中最关键的步骤之一。工程和社会科学中遇到的问题通常具有解释变量过多、非线性和回归变量之间未知的相互依赖性等特点。另一个困难是,分析人员可能对变量的相对重要性知之甚少或一无所知。为了提供一种稳健的模型选择方法,本文介绍了变量选择的多目标遗传算法(MOGA-VS),它为用户提供了一组最优的回归模型,为给定的数据集。该算法将回归问题视为一个双目标任务,并通过优先选择具有较少回归系数和较好拟合优度的模型来探索Pareto最优(最佳子集)模型。可以基于样本内或泛化误差最小化来执行模型探索。建议分两步进行模型选择。首先,我们生成帕累托最优回归模型的边界,通过消除主导模型,没有任何用户干预。其次,执行决策过程,允许用户使用可视化和简单的度量来选择最喜欢的模型。该方法已被评估最近公布的真实数据集在美国境内的社区和犯罪。
2016-07-13 cs.NE stat.AP stat.CO
Variational empirical Bayes variable selection in high-dimensional logistic regression
针对高维 Logistic 回归变量选择中 Bayes 计算昂贵的问题,本文基于经验 Bayes 方法直接对模型空间边际分布构建高效变分近似,并证明其继承后验的选择一致性。
2025-02-14 stat.CO stat.ME stat.ML
Bayesian Approximate Kernel Regression with Variable Selection
非线性核回归模型常用于统计学和机器学习,因为它们比线性模型更准确。核回归模型的变量选择是一个挑战,部分原因是,与线性回归设置不同,回归系数的效应量没有明确的概念。在本文中,我们提出了一个新的框架,提供了一个效果大小模拟贝叶斯核回归模型的每个解释变量时,内核是平移不变的-例如,高斯内核。我们使用移位不变再生核希尔伯特空间(RKHS)的函数分析性质来定义一个线性向量空间,该线性向量空间:(i)捕获非线性结构,(ii)可以投影到原始解释变量上。对原始解释变量的投影作为效应量的模拟。我们使用的特定函数分析性质是,移位不变核函数可以通过随机傅立叶基来近似。基于随机傅立叶展开,我们提出了一类计算效率高的贝叶斯近似核回归(BAKR)模型的非线性回归和二进制分类,可以计算模拟的效果大小。我们通过研究统计遗传学中的两个重要问题来说明BAKR的实用性:基因组选择(即表型预测)和关联映射(即推断显著的变体或位点)。用于基因组选择和关联作图的现有技术方法分别基于核回归和线性模型。BAKR是第一种在这两种情况下都具有竞争力的方法。
2017-06-10 q-bio.QM stat.AP stat.ME
Variable selection in multiple regression with random design
本文提出了一种随机变量多元回归中变量选择的方法。这种方法是基于一个标准,允许减少变量选择问题的问题,估计合适的排列和维数。然后,估计这些参数的建议和选择变量的方法是一致的。仿真研究,允许获得所提出的方法的性能的理解,并将其与现有的方法进行比较。
2015-06-26 math.ST stat.TH
Numerical Characterization of Support Recovery in Sparse Regression with Correlated Design
稀疏回归经常在不同的科学环境中作为特征选择方法。科学数据的一个普遍的方面,阻碍了特征选择和估计是预测特征之间的强相关性的存在。这些基本问题往往没有意识到的从业者,jeapordize从估计模型得出的结论。另一方面,稀疏诱导正则化回归(如Lasso)的理论结果在很大程度上通过渐近性解决了选择一致性的条件,而忽略了模型选择的问题,从而选择正则化参数。在这个数值研究中,我们解决这些问题,通过详尽的表征几个回归估计的性能,再加上一系列的模型选择策略。这些估计和选择标准进行了检查,在相关的回归问题与不同程度的信号噪声,非零模型系数的分布,和模型稀疏。我们的研究结果揭示了一个基本的权衡假阳性和假阴性控制在所有的回归估计和模型选择标准检查。此外,我们能够在数值上探索调制的信号-噪声比和频谱特性的设计协方差阵的所有考虑的算法的选择精度降低的过渡点。总的来说,我们发现,SCAD加上BIC或经验贝叶斯模型选择执行最好的功能选择在考虑的回归问题。
2021-03-23 stat.AP stat.ME
Penalized Variable Selection in Multi-Parameter Regression Survival Modelling
多参数回归(MPR)建模是指允许协变量同时通过多个分布参数进入模型的方法。这与协变量通过单个参数进入的标准方法相反(例如,位置参数)。惩罚变量选择近年来受到了极大的关注:最小绝对收缩和选择算子(LASSO),平滑剪切绝对偏差(SCAD)和自适应LASSO等方法用于同时选择变量并估计其回归系数。因此,在本文中,我们开发了惩罚多参数回归方法,并通过模拟研究和实际数据研究其相关性能;作为一个例子,我们考虑Weibull MPR模型。
2019-07-02 stat.ME
Model Prior Distribution for Variable Selection in Linear Regression Models
本文讨论了线性回归中变量选择的先验概率模型。这个想法是在客观意义上确定先验质量,通过考虑每个可能的回归模型的价值,给定所考虑的协变量的数量。通过仿真研究,我们表明,所提出的先验优于均匀先验和Scott \& Berger先验的情况下,没有先验知识的真实回归模型的大小。我们使用两个著名的数据集,分别为15和4协变量说明了使用的先验。
2015-12-26 stat.ME
Variable selection in doubly truncated regression
双截断数据出现在许多领域,如天文学,计量经济学和医学研究。在响应变量双截尾的回归分析中,双截尾的存在不仅会给估计带来偏差,而且会影响变量的选择。我们提出了一个同时估计和变量选择过程的双截尾回归,允许发散的回归参数。为了消除由双重截断引入的偏差,使用Mann-Whitney型损失函数。然后将自适应LASSO惩罚加入到损失函数中,以实现同时估计和变量选择。设计了一种迭代算法来优化所得到的目标函数。我们建立了所提出的估计量的相合性和渐近正态性。文中还证明了该选择过程的预言性质。一些仿真研究表明,所提出的方法的有限样本性能。最后,我们用这种方法对一个实际的天文数据进行了分析。
2021-10-20 stat.ME
Variable Selection Using a Smooth Information Criterion for Distributional Regression Models
现代变量选择过程利用惩罚方法同时执行模型选择和估计。一种流行的方法是LASSO(最小绝对收缩和选择算子),使用该方法需要选择调谐参数的值。该参数通常通过最小化交叉验证误差或贝叶斯信息准则(BIC)来调整,但这可能是计算密集型的,因为它涉及拟合一系列不同的模型并选择最佳模型。与此标准的方法相比,我们已经开发了一个程序的基础上,所谓的“平滑IC”(SIC)的调谐参数是自动选择在一个步骤。我们还扩展了这个模型选择过程的分布回归框架,这是更灵活的比经典的回归建模。分布回归,也称为多参数回归(MPR),通过同时考虑多个分布参数的协变量的影响来引入灵活性,例如,均值和方差这些模型是有用的背景下,正常的线性回归时,所研究的过程表现出异方差行为。重新制定的分布回归估计问题的惩罚似然,使我们能够利用之间的密切关系模型选择标准和惩罚。利用SIC在计算上是有利的,因为它消除了必须选择多个调谐参数的问题。
2023-01-11 stat.ME
Determinantal Point Process Priors for Bayesian Variable Selection in Linear Regression
提出了贝叶斯变量选择中模型参数先验的离散决定点过程。通过我们的变量选择方法,共线的预测是不太可能同时选择,因为离散DPP的排斥属性。提出了三种类型的DPP先验。我们通过数值实验和共线数据集的应用程序所提出的先验的效率。
2014-06-09 stat.ME
Finite mixture regression: A sparse variable selection by model selection for clustering
考虑高维数据的有限混合高斯回归模型,其中协变量的数目可能远大于样本量。我们建议估计未知的条件混合密度的最大似然估计,1-惩罚最大似然估计选择的相关变量的限制。我们得到了一个具有Jensen-Kullback-Leibler型损失的估计量所满足的预言不等式。我们的预言不等式推导出一个一般的模型选择定理的最大似然估计的随机模型集合。我们可以推导出该准则的惩罚形状,这取决于随机模型集合的复杂性。
2014-09-04 math.ST stat.TH
Variable Selection Using Bayesian Additive Regression Trees
变量选择是一个重要的统计问题。当候选预测变量是混合类型(例如连续和二进制)并且以非线性和/或非加性方式影响响应变量时,该问题变得更具挑战性。在本文中,我们回顾了现有的变量选择方法的贝叶斯加性回归树(BART)模型,非参数回归模型,这是足够灵活,以捕捉预测和非线性关系的响应之间的相互作用。本次审查的重点是识别相关预测因子的能力。我们还提出了两个变量的重要性措施,可用于在一个基于置换的变量选择方法,和一个向后的变量选择程序的BART。我们目前的模拟表明,我们的方法表现出改善的性能方面的能力,恢复所有相关的预测在各种数据设置,相比现有的基于BART的变量选择方法。
2021-12-28 stat.AP stat.ME
Macroeconomic Forecasting and Variable Selection with a Very Large Number of Predictors: A Penalized Regression Approach
本文研究了具有大量预测变量的折迭凹惩罚回归模型的宏观经济预测和变量选择问题。惩罚回归方法导致回归系数的稀疏估计,并且即使模型的维数远大于样本量也是适用的。本文的前半部分讨论了当模型表现出时间序列依赖性时,折叠凹惩罚回归的理论问题。特别地,我们证明了超高维时间依赖回归的预言不等式和预言性质。论文的后半部分使用两个激励实证应用程序显示了惩罚回归的有效性。第一个模型使用MIDAS回归框架,使用FRED-MD数据预测美国GDP,其中有1000多个协变量,而样本量最多为200。第二个研究如何以及惩罚回归筛选隐藏的投资组合,约40只股票从1800多个潜在的股票使用纽约证券交易所的股票价格数据。这两个应用程序表明,惩罚回归提供了显着的结果,在预测性能和变量选择。
2017-03-05 math.ST stat.AP stat.ME
Multivariate functional group sparse regression: functional predictor selection
在本文中,我们提出了方法的功能预测选择和光滑的功能系数估计同时在标量函数回归问题下的高维多元函数数据设置。特别是,我们开发了两种方法的功能组稀疏回归下的一般希尔伯特空间的无限维。我们证明了算法的收敛性和一致性的估计和选择(预言性质)在无限维Hilbert空间。仿真研究表明,该方法在函数系数的选择和估计方面都是有效的。功能磁共振成像(fMRI)的应用揭示了人类大脑中与ADHD和智商相关的区域。
2021-07-08 math.ST q-bio.NC stat.AP
Bayesian Variable Selection in Multivariate Nonlinear Regression with Graph Structures
高斯图模型(GGM)是使用精度矩阵进行依赖结构概率探索的成熟工具。我们开发了一种贝叶斯方法,将协变量信息在这个GGM设置在一个非线性看似无关的回归框架。我们提出了一个联合预测器和图选择模型,并开发了一个有效的折叠吉布斯采样算法来搜索联合模型空间。此外,我们研究了它的理论变量选择性质。我们证明了我们的方法对各种模拟数据,最后从TCPA项目的真实数据集。
2021-07-31 math.ST stat.ME stat.TH
Joint rank and variable selection for parsimonious estimation in a high-dimensional finite mixture regression model
本文研究了高维多元响应回归模型的有限混合模型的降维技术。响应的维数和预测变量的数量都允许超过样本量。我们考虑预测器的选择和降秩,以获得低维近似。引入了一类具有快速收敛速率的估计量。我们将此结果应用于[11]中介绍的特定程序,其中相关预测因子由Group-Lasso选择。
2017-02-16 math.ST stat.TH
The revisited knockoffs method for variable selection in L1-penalised regressions
本文研究回归模型中的变量选择问题。特别是,我们对选择与响应变量相关的解释性协变量感兴趣,我们希望确定哪些协变量是相关的,即哪些协变量参与了模型。在这个框架中,我们处理L1-惩罚回归模型。为了处理惩罚参数的选择,以执行变量选择,我们开发了一个新的方法的基础上的仿制品的想法。这种修正的拟合方法是通用的,适用于各种类型响应变量的广泛回归。此外,它也适用于观测数小于协变量数的情况,并给出了协变量的重要性排序。最后,我们提供了许多实验结果来证实我们的方法,并与其他变量选择方法进行比较。
2019-07-06 stat.AP stat.ME
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University(西安交通大学);State Key Laboratory of Management and Control for Complex Systems(复杂系统管理与控制国家重点实验室)
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量,稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择,这通常具有很高的计算代价。近年来,提出了许多改进的近似子集选择方法。然而,非近似的子集选择方法却很少受到关注,而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题,给出了条件不相关性的计算公式。在此基础上,提出了一种有效的非近似子集选择方法,该方法不需要计算回归方程中的任何系数。通过该方法,稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大,因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Variable Selection in Functional Linear Concurrent Regression
提出了一种新的函数线性并发回归变量选择方法。我们的研究是由渔业足迹研究的动机,其目标是确定重要的随时间变化的社会结构驱动因素,影响海鲜消费模式,因此渔业足迹,随着时间的推移,以及估计其动态影响。我们开发了一个变量选择方法在功能线性并发回归扩展经典使用的标量标量变量选择方法,如LASSO,SCAD,和MCP。我们表明,在功能线性并发回归的变量选择问题可以解决作为一个组LASSO,和他们的自然延伸,组SCAD或组MCP问题。通过仿真,我们证明了我们的方法,特别是采用组SCAD或组MCP惩罚的方法,即使在数据稀疏、受噪声污染且误差过程高度非平稳的情况下,也可以高准确度地挑选出相关变量,并且假阳性和假阴性率很小。我们还展示了我们的方法在膳食钙吸收和渔业足迹的研究中选择有影响力的时变协变量的两个实际数据应用。
2019-10-31 stat.AP stat.ME
Local polynomial regression and variable selection
提出了一种将变量选择引入局部多项式回归的方法。这可以通过在与被判断为不重要的那些变量相对应的方向上扩展带宽来提高回归的精度。它还通过突出显示这些变量冗余的区域来增加我们对数据集的理解。该方法有可能实现完全删除变量,以及执行部分删除时,变量冗余只适用于特定区域的数据。我们定义了一个非参数的预言属性,并表明这是超过我们的方法下的渐近分析满意。通过模拟和真实数据的数值例子证明了该方法的实用性。
2010-06-16 math.ST stat.ME stat.TH
Robust Variable Selection Criteria for the Penalized Regression
我们提出了一个强大的变量选择过程,使用基于发散的M-估计结合惩罚函数。它产生回归参数的稳健估计,同时选择重要的解释变量。基于估计方程的二次近似,构造了一种有效的算法。导出了回归系数的渐近分布和影响函数。基于Mallow的$C_p$统计量和Akaike信息准则(AIC)的模型选择方法在存在重尾误差或离群值的情况下往往表现出很差的性能。为了这个目的,我们引入了强大的版本,这些信息标准的基础上,我们提出的方法。仿真研究表明,鲁棒变量选择技术优于经典的基于似然的技术存在离群值。通过实际数据的分析,验证了该方法的有效性.
2019-12-29 stat.ME
Component Selection in the Additive Regression Model
与线性回归模型中的变量选择类似,在流行的可加性回归模型中选择显著性成分是非常有趣的。然而,这些分量是未知的独立变量的光滑函数,是不可观测的。因此,需要某种近似。在本文中,我们提出了一种惩罚回归样条近似和组变量选择的组合,称为拉索型样条方法(LSM),来处理这个组件选择问题,在每个组中的强相关变量的发散数量。结果表明,所提出的方法可以同时选择有效分量和估计非参数加性函数分量,同时具有最优的收敛速度。为了使LSM在计算中稳定,并能够适应其估计的分量函数的光滑程度,加权幂样条基和投影加权幂样条基的建议。他们的表现是通过模拟研究,在两个设置独立的预测和相关的预测,分别,并出现优于竞争的方法的性能。将该方法推广到实际数据的部分线性回归模型分析,得到了可靠的结果。
2010-12-30 stat.ME
Testing-driven Variable Selection in Bayesian Modal Regression
Department of Statistics, University of South Carolina(南卡罗来纳大学统计学系);Division of Epidemiology, Biostatistics, and Environmental Health Sciences, School of Public Health, University of Memphis(孟菲斯大学公共卫生学院流行病学与生物统计学系)
本研究针对厚尾响应变量,在贝叶斯众数回归框架下提出结合期望最大化算法与检验统计量的变量选择方法,可在非高斯误差下有效识别重要协变量,并已应用于两类遗传相关数据集分析。
2025-10-27 cs.LG stat.CO stat.ME
A Survey of Tuning Parameter Selection for High-dimensional Regression
School of Statistics, University of Minnesota(明尼苏达大学统计学院)
惩罚(或正则化)回归,如Lasso及其变体所代表的,已经成为当变量数量大大超过样本量时分析高维数据的标准技术。惩罚回归的性能关键取决于调整参数的选择,调整参数决定了正则化的数量,从而决定了拟合模型的稀疏程度。调谐参数的最佳选择取决于设计矩阵的结构和未知的随机误差分布(方差、尾部行为等)。本文从理论和实践两个方面综述了高维回归中调整参数选择的研究现状。我们讨论了选择调整参数以实现预测精度或支持恢复的各种策略。我们还回顾了最近提出的几种无调谐高维回归方法。
2019-08-10 cs.LG stat.ME stat.ML
Post-selection Inference in Regression Models for Group Testing Data
针对分组检测数据中响应变量部分观测的问题,提出结合EM算法与LASSO惩罚的变量选择方法,扩展多面体引理的选择后推断框架,模拟验证其比朴素方法的推断结果更可靠。
2025-04-16 stat.ME
Tight conditions for consistent variable selection in high dimensional nonparametric regression
我们解决了具有非常高的环境维度的回归模型中的变量选择问题,即,当协变量的数量非常大时。主要关注的是相关协变量的数量(称为内在维度)比环境维度小小于的情况。在不假设底层回归函数的任何参数形式的情况下,我们得到了严格的条件,使得有可能一致地估计相关变量的集合。这些条件将内在尺寸与环境尺寸和样本量联系起来。在这些严格条件下可证明一致的过程是简单的,并且基于将经验傅里叶系数与适当选择的门限值进行比较。
2011-02-17 math.ST stat.TH
"Pre-conditioning" for feature selection and regression in high-dimensional problems
我们考虑回归问题的预测的数量大大超过观察的数量。我们提出了一种变量选择的方法,首先估计的回归函数,产生一个“预处理”的响应变量。用于此初始回归的主要方法是监督主成分。然后,我们应用一个标准的程序,如前向逐步选择或LASSO的预处理的反应变量。在许多模拟和真实数据的例子中,这个两步过程优于向前逐步选择或通常的LASSO(直接应用于原始结果)。我们还表明,在一定的高斯潜变量模型下,应用LASSO的预条件响应变量是一致的预测和观察的数量增加。当观测噪声较大时,本文方法比LASSO方法能给出更精确的估计。我们说明我们的方法在一些实际问题上,包括生存分析与微阵列数据。
2007-03-28 math.ST stat.TH
The Loss Rank Criterion for Variable Selection in Linear Regression Analysis
Lasso和其他正则化过程是变量选择的有吸引力的方法,但要适当选择收缩参数。给定一组由正则化算法产生的潜在子集,提出了一个一致的模型选择准则,以选择这个预选集中的最佳一个。该方法导致变量选择的快速和有效的程序,特别是在高维设置。当协变量个数d固定时,证明了所建议准则的模型选择一致性。模拟研究表明,当d远大于样本量时,该准则仍然具有模型选择的一致性。模拟还表明,我们的方法变量选择的作品令人惊讶的是,与现有的竞争对手相比。该方法也适用于一个真实的数据集。
2010-11-05 stat.ME stat.ML
Uniform convergence rates and automatic variable selection in nonparametric regression with functional and categorical covariates
本文研究了具有函数型和分类协变量的非参数预测方法的渐近性质,证明了一致收敛速度,并表明数据驱动的最小二乘交叉验证能自动移除不相关的噪声变量。
2023-04-03 math.ST stat.TH
Variable selection in functional regression models: a review
本文针对函数回归中的变量选择问题开展方法学进展综述,梳理函数型数据分析与高维数据分析两大统计领域的交叉研究,旨在推动二者建立更多新的学术联系。
2024-01-26 stat.ME
A method for variable selection in a multivariate functional linear regression model
针对多标量响应、多功能型预测变量的函数型线性模型,本文通过基展开转化为多元线性回归,并提出基于准则惩罚的变量选择方法,模拟验证其有效性。
2023-11-01 math.ST stat.TH
Simultaneous Variable Selection, Clustering, and Smoothing in Function on Scalar Regression
我们解决的问题,多重共线性的功能上的标量回归模型,通过使用事先同时选择,集群,并平滑功能的影响。我们的方法对高度相关的预测因子的影响进行分组,在不从模型中删除相关预测因子的情况下进行降维。我们通过仿真研究验证了我们的方法,表现出优越的性能相对于现有的降维方法在功能上的标量文献。我们还展示了使用我们的模型的特定年龄的生育率从联合国性别信息数据库的数据集。
2019-06-25 stat.AP
False Variable Selection Rates in Regression
最近有兴趣将错误发现率(FDR)的思想扩展到回归设置中的变量选择。传统上,在这些设置中的FDR已经根据全回归模型的系数来定义。最近的论文一直在努力控制这个数量时,预测相关。本文表明,这个完整的模型定义的FDR遭受不直观的和潜在的不良行为的存在相关的预测。我们提出了一个新的错误选择错误的标准,错误的可变率(FVR),避免了这些问题,并表现在一个更直观的方式。我们讨论了这个标准的行为,以及它如何与传统的FDR相比,以及提出的指导方针,以确定在特定的环境中是适当的。最后,我们提出了一个简单的估计程序FVR逐步变量选择。我们分析了这种估计的性能,并在文献中最近的估计连接。
2013-02-10 stat.ME
High-dimensional regression and variable selection using CAR scores
变量选择是一个困难的问题,特别是在高维基因组数据的分析具有挑战性。在这里,我们介绍了CAR得分,一种新的和高度有效的标准变量排名的线性回归的基础上马氏解相关的解释变量。CAR评分提供了一个规范排序,鼓励对相关预测因子进行分组并降低对抗性变量的权重。它分解了解释的方差的比例,是边际相关和标准化回归系数之间的中间值。作为总体数量,任何优选的推断方案都可以用于其估计。使用模拟,我们证明了通过CAR分数进行变量选择是非常有效的,并且产生的预测误差和真阳性率和假阳性率与现代回归技术(如弹性网和boosting)相比毫不逊色。我们通过分析与糖尿病进展以及衰老对人脑基因表达的影响有关的数据来说明我们的方法。实现CAR评分回归的R包“care”可从CRAN获得。
2011-07-19 stat.AP stat.ME
Robust Variable and Interaction Selection for Logistic Regression and Multiple Index Models
本文提出了判别分析(SODA)的逐步协方差似然变量选择方法,用于检测逻辑斯谛回归和二次判别分析(QDA)模型中的主效应和二次交互效应。在前向阶段,SODA加入重要的预测评估的基础上,他们的整体贡献,而在后向阶段SODA删除不重要的条款,以优化扩展贝叶斯信息准则(EBIC)。与现有的QDA变量选择方法相比,SODA可以处理预测变量远大于样本量的高维数据,且不需要对预测变量进行联合正态性假设,鲁棒性大大增强.我们进一步扩展SODA进行变量选择和模型拟合的多指标模型。与现有的基于切片逆回归(SIR)(Li 1991)的变量选择方法相比,SODA既不需要线性也不需要恒定方差条件,并且更鲁棒。我们的理论分析建立了变量选择的一致性SODA在高维设置,我们的模拟研究以及实际数据的应用表明,在处理非高斯设计矩阵的分类问题和多指标模型的SODA的优越性能。
2017-05-29 stat.ME
Consistent Variable Selection for Functional Regression Models
测试特定协变量的预测意义和识别相关协变量集的双重问题在应用研究和方法学研究中很常见。为了研究这个问题的背景下,功能线性回归模型的预测变量观察到一个网格和标量响应,我们考虑的功能协变量的基础扩展和应用似然比检验。基于检验每个预测因子的p值,我们提出了一种新的变量选择方法,该方法在从允许随样本量n增长的可用预测因子集中选择相关预测因子时是一致的。数值模拟表明,所提出的变量选择过程优于文献中发现的现有方法。一个真实的数据集,从气象站在日本进行了分析。
2015-06-10 math.ST stat.TH
Comprehensive Stepwise Selection for Logistic Regression
针对传统自动变量选择算法稳定性差、易选错变量的问题,本文提出一种适用于逻辑斯蒂回归的多准则综合逐步选择算法,经模拟验证其性能优于现有方法。
2023-06-15 stat.ME
Mixed Effect Modeling and Variable Selection for Quantile Regression
已知分位数回归(QR)的估计方程可以使用期望最大化算法求解,其中M步通过加权最小二乘法计算,在E步处计算的权重作为独立广义逆高斯变量的期望。这里利用这一事实来扩展QR,以允许线性预测器中的随机效应。在这种设置的算法的收敛性建立表明,它是一个广义交替最小化(GAM)的过程。另一个修改的期望最大化算法也允许我们适应最近提出的方法,平均回归模型中的变量选择的QR设置。仿真结果表明,所得到的方法显着优于使用套索惩罚的QR模型中的变量选择。应用到实际数据包括住院时间的脆弱QR分析,以及使用高维基因表达阵列预测肺癌发病年龄和核黄素生产率的变量选择。
2021-04-17 stat.ME
A review and recommendations on variable selection methods in regression models for binary data
由于逻辑斯谛回归在医学、金融、经济及相关领域的广泛应用,其基本变量的选择至关重要。在本文中,我们探讨了四个主要类型(基于测试,基于惩罚,基于筛选,基于树)的频率变量选择方法在逻辑斯谛回归设置。这项工作的主要目标是为从业人员提供现有文献的全面概述。基本的假设和理论,以及它们的实现细节,也被详细描述。接下来,我们进行了一个彻底的模拟研究,以探讨在各种设置下的变量选择,系数估计,预测精度以及时间复杂度方面的15种不同的方法的性能。我们采取低,中,高维设置,并考虑不同的相关结构的协变量。一个真实的应用,使用高维基因表达数据,也包括在这项研究中,以进一步了解的有效性和一致性的方法。最后,根据我们在模拟数据和真实数据中的发现,我们为从业者提供了在各种情况下选择变量选择方法的建议。
2022-05-16 stat.AP stat.ME
A scalable and efficient covariate selection criterion for mixed effects regression models with unknown random effects structure
我们提出了一个新的模型选择准则的混合效应回归模型,是可计算的,当模型拟合的两步法,即使当结构和分布的随机效应是未知的。该标准是特别有用的,在早期阶段的模型建立过程中,需要决定哪些协变量应包括在一个混合效应回归模型,但没有知识的随机效应结构。这在变量选择以信息标准而不是正规化为指导的实质性领域尤其相关。该标准的计算只需要集群级对数似然的评价,并不依赖于沉重的数值积分。我们提供了理论和数值参数来证明该方法的合理性,我们通过对年轻的美国印第安人的社会经济研究的数据分析来说明它的实用性。
2017-03-22 stat.ME
Selection of variables and decision boundaries for functional data via bi-level selection
稀疏性诱导惩罚是变量选择的有用工具,对于数据为函数的回归设置也很有效。我们考虑的问题,不仅选择变量,而且决策边界的逻辑斯谛回归模型的功能数据,使用稀疏正则化。在惩罚似然法的框架下,利用稀疏群套索型惩罚对函数型逻辑斯谛回归模型进行估计,然后利用模型选择准则选择调整参数.通过对实际数据的分析,验证了该方法的有效性.
2017-02-13 stat.ME
Variable selection for nonlinear Cox regression model via deep learning
Biogen(百健)
研究非线性Cox回归模型的变量选择问题。在生存分析中,一个主要目标是识别与发生关注事件的风险相关的协变量。Cox比例风险模型在生存分析中广泛用于研究生存时间和协变量之间的关系,该模型假设协变量对风险函数具有对数线性效应。然而,这种线性假设在实践中可能并不满足。为了提取具有代表性的特征子集,已经提出了各种变量选择方法用于线性Cox模型下的生存数据。然而,很少有文献对非线性Cox模型的变量选择。为了打破这一差距,我们将最近开发的基于深度学习的变量选择模型LassoNet扩展到生存数据。仿真结果验证了该方法的有效性和可行性。最后,我们应用所提出的方法来分析弥漫性大B细胞淋巴瘤的真实数据集。
2022-11-17 cs.LG stat.ME stat.ML
An RKHS model for variable selection in functional regression
提出了一种标量响应函数回归模型中变量选择的数学模型。所谓“变量选择”,我们指的是用有限个精心选择的时刻(或“影响点”)的值来替换函数解释变量的整个轨迹的过程。我们的方法的基本思想是使用再生核希尔伯特空间(RKHS)与底层过程,而不是更常见的L2[0,1]空间,在线性模型的定义。这被证明特别适合于变量选择目的,因为基于所选“影响点”的有限维线性模型可以被视为基于RKHS的线性函数模型的特定情况。在这个框架中,我们解决了一致的估计的最佳设计的影响点,我们检查,通过模拟和真实数据的例子,所提出的方法的性能。
2017-04-20 stat.ME
Quantile universal threshold: model selection at the detection edge for high-dimensional linear regression
为了从具有高斯噪声的数据中估计稀疏线性模型,来自lasso和压缩感知文献的一致性在于,阈值估计器(如lasso和Dantzig选择器)在某些情况下能够以高概率渐近地识别显著协变量的一部分,并且由于凸性而在数值上易于处理。然而,阈值参数$λ$的选择在实践中仍然至关重要。为了这个目的,我们提出了分位数的通用采样保持,在检测边缘的$λ$的选择。我们用大量的模拟和真实数据表明,在高真阳性率和低错误发现率之间实现了极好的折衷,也导致了良好的预测风险。
2014-12-05 stat.ME stat.ML
Variable selection in multivariate regression model for spatially dependent data
本文研究空间网格数据下多变量线性回归模型的变量选择问题,提出基于双参数准则的估计量,证明其一致性,并通过模拟验证有限样本表现。
2023-05-22 math.ST stat.TH
Variable selection in a specific regression time series of counts
针对过离散计数时间序列,提出基于稀疏负二项 GLARMA 模型的三步变量选择方法,结合正则化手段高效恢复非零回归系数,在合成与 RNA 测序数据上均优于其他方法。
2023-07-03 stat.ME
Model Selection for High Dimensional Quadratic Regression via Regularization
二次回归(QR)模型通过考虑协变量之间的相互作用效应自然地扩展了线性模型。若要在QR中进行模型选择,必须维护主效应和交互作用效应之间的分层模型结构。现有的正则化方法通常通过解决复杂的优化问题来实现这一目标,这通常需要很高的计算成本,因此对于高维数据是不可行的。本文主要研究高维QR中模型选择的可伸缩正则化方法。我们首先考虑两阶段正则化方法,并建立两阶段LASSO的理论性质。然后,提出了一种新的正则化方法,称为边缘性原则下的正则化算法(RAMP),以有效地计算层次保持正则化解路径。这两种方法进一步扩展到解决广义QR模型。数值结果也证明了该方法的性能。
2016-07-14 math.ST stat.ME stat.TH
Bayesian Variable Selection for Linear Regression with the $κ$-$G$ Priors
在本文中,我们介绍了一种新的方法,贝叶斯变量选择的线性回归,是独立于传统的指标方法。对角矩阵$\mathbf{G}$被引入到系数向量$\boldsymbolβ$的先验中,其中在对角线上的限定在$0$和$1$之间的每个$g_j$用作对应的$β_j$的稳定器。在数学上,有希望的变量具有接近于$0$的$g_j$值,而对应于无希望的变量的$g_j$的值接近于$1$。本文在正交性下证明了这一性质以及其它渐近性质。在计算上,每个$g_j$的样本路径通过Metropolis-within- Gibbs抽样方法获得。此外,在本文中,我们给出了两个模拟来验证这种方法的能力,在变量选择。
2016-10-18 stat.ME
Scalable Variable Selection and Model Averaging for Latent Regression Models Using Approximate Variational Bayes
提出一种基于近似变分贝叶斯的快速方法,用于潜变量回归模型的变量选择与模型平均,在保证推断精度的同时大幅降低大样本计算成本。
2025-09-15 stat.ME
Consistent group selection in high-dimensional linear regression
在协变量可以自然分组的回归问题中,Lasso组是一种有吸引力的变量选择方法,因为它尊重数据中的分组结构。我们研究了当组数超过样本量时,高维环境下Lasso组的选择和估计性质。我们提供了充分条件,在此条件下,Lasso组选择一个模型,该模型的维数与具有高概率的基础模型相当,并且是估计一致的。但是,Lasso组通常不是选择一致的,并且倾向于选择在模型中不重要的组。为了改善选择结果,我们提出了一种自适应组Lasso方法,它是自适应Lasso的推广,需要一个初始估计。我们证明了在一定条件下,当Lasso群作为初始估计时,自适应Lasso群在群选择中是相容的。
2010-11-29 math.ST stat.TH
Bayesian sparse multiple regression for simultaneous rank reduction and variable selection
我们开发了一种贝叶斯方法,旨在同时估计低秩和行稀疏矩阵的高维多响应线性回归模型。我们考虑了精心设计的收缩前的矩阵的回归系数,从而避免了需要指定一个先验的秩,并缩小回归矩阵对低秩和行稀疏结构。我们提供了理论支持,所提出的方法,通过证明极小极大最优的后验均值下的预测风险在超高的维度设置的预测因子的数量可以增长相对于样本量的次指数。一个一步的后处理方案引起的估计系数矩阵的行上的组套索处罚变量的选择,与默认选择的调谐参数。我们还提供了一个估计的秩使用一种新的优化函数实现降维的协变量空间。我们展示了所提出的方法在一个广泛的模拟研究和一个真实的数据例子的性能。
2019-04-09 math.ST stat.ME stat.TH
Robust VIF regression with application to variable selection in large data sets
越来越多的机构和公司使用复杂和自动化的数据收集手段,导致数据集极其庞大。当大量协变量可能解释感兴趣的响应变量时,回归中的子集选择是必不可少的。最近的统计文献已经看到了新的选择方法的出现,这些方法在实现(计算速度)和统计最优性(例如,预测误差最小化)。全局方法如Mallow的$C_p$已被序贯方法如逐步回归所取代。最近,流向回归,比前者更快,已经出现。最近提出的基于方差膨胀因子(VIF)的流向回归方法是有前途的,但其基于最小二乘的实现使其容易受到离群值不可避免地在这样大的数据集。这种鲁棒性的缺乏可能导致差的和次优的特征选择。在我们的案例中,我们试图利用经济和人口变量来预测个人的教育程度。我们展示了经典的VIF如何执行这项任务,一个强大的程序是必要的政策制定者。本文提出了一种基于快速鲁棒估计的鲁棒VIF回归,它继承了经典VIF在不存在离群值的情况下的所有良好特性,但在存在离群值的情况下也继续表现良好。
2013-04-19 stat.AP
Consistent selection via the Lasso for high dimensional approximating regression models
在这篇文章中,我们通过流行的Lasso方法研究回归模型中选择的一致性。在这里,我们离开传统的线性回归假设,并考虑近似的回归函数$f$与给定的字典的$M$功能的元素。一致性的目标是来自该字典的那些函数的索引集,这些函数在属于以$f$为中心且半径为$r_{n,M}^2$的$L_2$球的所有线性组合中实现对$f$的最简约近似。在这个框架中,我们表明,这个指标集的一致估计可以通过$\ell_1$惩罚最小二乘法,与数据相关的罚款和调整序列$r_{n,M}>\sqrt{\log(Mn)/n}$,其中$n$是样本量。我们的结果适用于任何$1\leq M\leq n^γ$,任何$γ>0$。
2008-05-21 math.ST stat.ME stat.TH