Determinantal Point Process Priors for Bayesian Variable Selection in Linear Regression
提出了贝叶斯变量选择中模型参数先验的离散决定点过程。通过我们的变量选择方法，共线的预测是不太可能同时选择，因为离散DPP的排斥属性。提出了三种类型的DPP先验。我们通过数值实验和共线数据集的应用程序所提出的先验的效率。
2014-06-09 stat.ME
Robust Variable Selection Criteria for the Penalized Regression
我们提出了一个强大的变量选择过程，使用基于发散的M-估计结合惩罚函数。它产生回归参数的稳健估计，同时选择重要的解释变量。基于估计方程的二次近似，构造了一种有效的算法。导出了回归系数的渐近分布和影响函数。基于Mallow的$C_p$统计量和Akaike信息准则（AIC）的模型选择方法在存在重尾误差或离群值的情况下往往表现出很差的性能。为了这个目的，我们引入了强大的版本，这些信息标准的基础上，我们提出的方法。仿真研究表明，鲁棒变量选择技术优于经典的基于似然的技术存在离群值。通过实际数据的分析，验证了该方法的有效性.
2019-12-29 stat.ME
Component Selection in the Additive Regression Model
与线性回归模型中的变量选择类似，在流行的可加性回归模型中选择显著性成分是非常有趣的。然而，这些分量是未知的独立变量的光滑函数，是不可观测的。因此，需要某种近似。在本文中，我们提出了一种惩罚回归样条近似和组变量选择的组合，称为拉索型样条方法（LSM），来处理这个组件选择问题，在每个组中的强相关变量的发散数量。结果表明，所提出的方法可以同时选择有效分量和估计非参数加性函数分量，同时具有最优的收敛速度。为了使LSM在计算中稳定，并能够适应其估计的分量函数的光滑程度，加权幂样条基和投影加权幂样条基的建议。他们的表现是通过模拟研究，在两个设置独立的预测和相关的预测，分别，并出现优于竞争的方法的性能。将该方法推广到实际数据的部分线性回归模型分析，得到了可靠的结果。
2010-12-30 stat.ME
Post-selection Inference in Regression Models for Group Testing Data
针对分组检测数据中响应变量部分观测的问题，提出结合EM算法与LASSO惩罚的变量选择方法，扩展多面体引理的选择后推断框架，模拟验证其比朴素方法的推断结果更可靠。
2025-04-16 stat.ME
Variable selection in functional regression models: a review
本文针对函数回归中的变量选择问题开展方法学进展综述，梳理函数型数据分析与高维数据分析两大统计领域的交叉研究，旨在推动二者建立更多新的学术联系。
2024-01-26 stat.ME
False Variable Selection Rates in Regression
最近有兴趣将错误发现率（FDR）的思想扩展到回归设置中的变量选择。传统上，在这些设置中的FDR已经根据全回归模型的系数来定义。最近的论文一直在努力控制这个数量时，预测相关。本文表明，这个完整的模型定义的FDR遭受不直观的和潜在的不良行为的存在相关的预测。我们提出了一个新的错误选择错误的标准，错误的可变率（FVR），避免了这些问题，并表现在一个更直观的方式。我们讨论了这个标准的行为，以及它如何与传统的FDR相比，以及提出的指导方针，以确定在特定的环境中是适当的。最后，我们提出了一个简单的估计程序FVR逐步变量选择。我们分析了这种估计的性能，并在文献中最近的估计连接。
2013-02-10 stat.ME
Robust Variable and Interaction Selection for Logistic Regression and Multiple Index Models
本文提出了判别分析（SODA）的逐步协方差似然变量选择方法，用于检测逻辑斯谛回归和二次判别分析（QDA）模型中的主效应和二次交互效应。在前向阶段，SODA加入重要的预测评估的基础上，他们的整体贡献，而在后向阶段SODA删除不重要的条款，以优化扩展贝叶斯信息准则（EBIC）。与现有的QDA变量选择方法相比，SODA可以处理预测变量远大于样本量的高维数据，且不需要对预测变量进行联合正态性假设，鲁棒性大大增强.我们进一步扩展SODA进行变量选择和模型拟合的多指标模型。与现有的基于切片逆回归（SIR）（Li 1991）的变量选择方法相比，SODA既不需要线性也不需要恒定方差条件，并且更鲁棒。我们的理论分析建立了变量选择的一致性SODA在高维设置，我们的模拟研究以及实际数据的应用表明，在处理非高斯设计矩阵的分类问题和多指标模型的SODA的优越性能。
2017-05-29 stat.ME
Comprehensive Stepwise Selection for Logistic Regression
针对传统自动变量选择算法稳定性差、易选错变量的问题，本文提出一种适用于逻辑斯蒂回归的多准则综合逐步选择算法，经模拟验证其性能优于现有方法。
2023-06-15 stat.ME
Mixed Effect Modeling and Variable Selection for Quantile Regression
已知分位数回归（QR）的估计方程可以使用期望最大化算法求解，其中M步通过加权最小二乘法计算，在E步处计算的权重作为独立广义逆高斯变量的期望。这里利用这一事实来扩展QR，以允许线性预测器中的随机效应。在这种设置的算法的收敛性建立表明，它是一个广义交替最小化（GAM）的过程。另一个修改的期望最大化算法也允许我们适应最近提出的方法，平均回归模型中的变量选择的QR设置。仿真结果表明，所得到的方法显着优于使用套索惩罚的QR模型中的变量选择。应用到实际数据包括住院时间的脆弱QR分析，以及使用高维基因表达阵列预测肺癌发病年龄和核黄素生产率的变量选择。
2021-04-17 stat.ME
A scalable and efficient covariate selection criterion for mixed effects regression models with unknown random effects structure
我们提出了一个新的模型选择准则的混合效应回归模型，是可计算的，当模型拟合的两步法，即使当结构和分布的随机效应是未知的。该标准是特别有用的，在早期阶段的模型建立过程中，需要决定哪些协变量应包括在一个混合效应回归模型，但没有知识的随机效应结构。这在变量选择以信息标准而不是正规化为指导的实质性领域尤其相关。该标准的计算只需要集群级对数似然的评价，并不依赖于沉重的数值积分。我们提供了理论和数值参数来证明该方法的合理性，我们通过对年轻的美国印第安人的社会经济研究的数据分析来说明它的实用性。
2017-03-22 stat.ME
Selection of variables and decision boundaries for functional data via bi-level selection
稀疏性诱导惩罚是变量选择的有用工具，对于数据为函数的回归设置也很有效。我们考虑的问题，不仅选择变量，而且决策边界的逻辑斯谛回归模型的功能数据，使用稀疏正则化。在惩罚似然法的框架下，利用稀疏群套索型惩罚对函数型逻辑斯谛回归模型进行估计，然后利用模型选择准则选择调整参数.通过对实际数据的分析，验证了该方法的有效性.
2017-02-13 stat.ME
An RKHS model for variable selection in functional regression
提出了一种标量响应函数回归模型中变量选择的数学模型。所谓“变量选择”，我们指的是用有限个精心选择的时刻（或“影响点”）的值来替换函数解释变量的整个轨迹的过程。我们的方法的基本思想是使用再生核希尔伯特空间（RKHS）与底层过程，而不是更常见的L2[0，1]空间，在线性模型的定义。这被证明特别适合于变量选择目的，因为基于所选“影响点”的有限维线性模型可以被视为基于RKHS的线性函数模型的特定情况。在这个框架中，我们解决了一致的估计的最佳设计的影响点，我们检查，通过模拟和真实数据的例子，所提出的方法的性能。
2017-04-20 stat.ME
Variable selection in a specific regression time series of counts
针对过离散计数时间序列，提出基于稀疏负二项 GLARMA 模型的三步变量选择方法，结合正则化手段高效恢复非零回归系数，在合成与 RNA 测序数据上均优于其他方法。
2023-07-03 stat.ME
Bayesian Variable Selection for Linear Regression with the $κ$-$G$ Priors
在本文中，我们介绍了一种新的方法，贝叶斯变量选择的线性回归，是独立于传统的指标方法。对角矩阵$\mathbf{G}$被引入到系数向量$\boldsymbolβ$的先验中，其中在对角线上的限定在$0$和$1$之间的每个$g_j$用作对应的$β_j$的稳定器。在数学上，有希望的变量具有接近于$0$的$g_j$值，而对应于无希望的变量的$g_j$的值接近于$1$。本文在正交性下证明了这一性质以及其它渐近性质。在计算上，每个$g_j$的样本路径通过Metropolis-within- Gibbs抽样方法获得。此外，在本文中，我们给出了两个模拟来验证这种方法的能力，在变量选择。
2016-10-18 stat.ME
Scalable Variable Selection and Model Averaging for Latent Regression Models Using Approximate Variational Bayes
提出一种基于近似变分贝叶斯的快速方法，用于潜变量回归模型的变量选择与模型平均，在保证推断精度的同时大幅降低大样本计算成本。
2025-09-15 stat.ME
Variable Selection in Restricted Linear Regression Models
在线性回归中使用先验信息是公知的，以提供回归系数的更有效的估计。当先验信息可用时，Theil和Goldberger（1961）提出的非随机约束回归估计方法是首选方法。本文利用Tibshirani（1996）提出的最小绝对收缩和选择算子（LASSO）方法，研究非随机约束线性回归模型的参数估计和变量选择问题。通过一个小规模的仿真研究和实际数据的例子来说明所提出的方法处理约束线性回归模型中变量选择和参数估计的性能。
2017-10-11 stat.AP stat.ME
Post-Lasso Inference for High-Dimensional Regression
在高维回归中最流行的变量选择过程中，Lasso提供了一个解决方案路径来对变量进行排名，并确定路径上的截止位置来选择变量和估计系数。本文在分析了现有文献的基础上，针对求解路径上相关变量与噪声变量不能完全区分的现象，提出了一种新的变量选择方法，即通过描述路径上第一个噪声变量和最后一个相关变量的位置，来控制噪声变量的位置，并给出了一种新的变量选择方法，该方法可以有效地控制噪声变量在路径上的位置。选择排在最后一个相关变量之后的噪声变量，同时保留排在第一个噪声变量之前的高比例相关变量。我们的程序利用最近发展的协方差检验统计量和Q统计量在后选择推断。在数值例子中，我们的方法相比，毫不逊色于其他现有的方法在选择精度和解释其结果的能力。
2018-06-16 stat.ME
Feature Selection via Block-Regularized Regression
识别具有内部结构的非常高维特征空间中的共变因果元素，例如，在统计学习中，具有多达数百万个线性排序特征的空间（如在诸如全基因组关联（WGA）映射的问题中通常遇到的）仍然是一个开放的问题。我们提出了一个用于高维空间中稀疏变量选择的块正则化回归模型，其中协变量是线性排序的，并且可能受到局部统计联系（例如，块结构）。我们的目标是确定相关协变量的一个小子集，这些协变量不仅来自排序中的随机位置，而且来自大量有序协变量的连续块。在一个典型的线性回归框架之间的功能和响应，我们提出的模型采用了稀疏执行拉普拉斯先验的回归系数，增强了一阶马尔可夫过程沿特征序列，“激活”的回归系数在一个耦合的方式。我们描述了一个基于采样的学习算法，并证明了我们的方法在模拟和生物数据下的标记识别WGA的性能。
2012-06-13 stat.ME
Variable Selection in Regression Model with AR(p) Error Terms Based on Heavy Tailed Distributions
参数估计和变量选择是回归分析中的两个前沿问题。传统的变量选择方法需要对模型参数进行先验估计，而惩罚方法则同时进行参数估计和变量选择。因此，惩罚变量选择方法引起了人们极大的兴趣，并在文献中得到了广泛的研究。然而，目前的文献大多仅限于误差项不相关且正态性假设的回归模型。本文在重尾误差分布假设下，利用不同的罚函数，将自回归误差项回归模型的参数估计和变量选择结合起来。我们进行了模拟研究和一个真实的数据例子来显示估计的性能。
2021-08-31 stat.CO stat.ME
Numerical Characterization of Support Recovery in Sparse Regression with Correlated Design
稀疏回归经常在不同的科学环境中作为特征选择方法。科学数据的一个普遍的方面，阻碍了特征选择和估计是预测特征之间的强相关性的存在。这些基本问题往往没有意识到的从业者，jeapordize从估计模型得出的结论。另一方面，稀疏诱导正则化回归（如Lasso）的理论结果在很大程度上通过渐近性解决了选择一致性的条件，而忽略了模型选择的问题，从而选择正则化参数。在这个数值研究中，我们解决这些问题，通过详尽的表征几个回归估计的性能，再加上一系列的模型选择策略。这些估计和选择标准进行了检查，在相关的回归问题与不同程度的信号噪声，非零模型系数的分布，和模型稀疏。我们的研究结果揭示了一个基本的权衡假阳性和假阴性控制在所有的回归估计和模型选择标准检查。此外，我们能够在数值上探索调制的信号-噪声比和频谱特性的设计协方差阵的所有考虑的算法的选择精度降低的过渡点。总的来说，我们发现，SCAD加上BIC或经验贝叶斯模型选择执行最好的功能选择在考虑的回归问题。
2021-03-23 stat.AP stat.ME
Variable Selection Using Bayesian Additive Regression Trees
变量选择是一个重要的统计问题。当候选预测变量是混合类型（例如连续和二进制）并且以非线性和/或非加性方式影响响应变量时，该问题变得更具挑战性。在本文中，我们回顾了现有的变量选择方法的贝叶斯加性回归树（BART）模型，非参数回归模型，这是足够灵活，以捕捉预测和非线性关系的响应之间的相互作用。本次审查的重点是识别相关预测因子的能力。我们还提出了两个变量的重要性措施，可用于在一个基于置换的变量选择方法，和一个向后的变量选择程序的BART。我们目前的模拟表明，我们的方法表现出改善的性能方面的能力，恢复所有相关的预测在各种数据设置，相比现有的基于BART的变量选择方法。
2021-12-28 stat.AP stat.ME
The revisited knockoffs method for variable selection in L1-penalised regressions
本文研究回归模型中的变量选择问题。特别是，我们对选择与响应变量相关的解释性协变量感兴趣，我们希望确定哪些协变量是相关的，即哪些协变量参与了模型。在这个框架中，我们处理L1-惩罚回归模型。为了处理惩罚参数的选择，以执行变量选择，我们开发了一个新的方法的基础上的仿制品的想法。这种修正的拟合方法是通用的，适用于各种类型响应变量的广泛回归。此外，它也适用于观测数小于协变量数的情况，并给出了协变量的重要性排序。最后，我们提供了许多实验结果来证实我们的方法，并与其他变量选择方法进行比较。
2019-07-06 stat.AP stat.ME
Variable Selection in Functional Linear Concurrent Regression
提出了一种新的函数线性并发回归变量选择方法。我们的研究是由渔业足迹研究的动机，其目标是确定重要的随时间变化的社会结构驱动因素，影响海鲜消费模式，因此渔业足迹，随着时间的推移，以及估计其动态影响。我们开发了一个变量选择方法在功能线性并发回归扩展经典使用的标量标量变量选择方法，如LASSO，SCAD，和MCP。我们表明，在功能线性并发回归的变量选择问题可以解决作为一个组LASSO，和他们的自然延伸，组SCAD或组MCP问题。通过仿真，我们证明了我们的方法，特别是采用组SCAD或组MCP惩罚的方法，即使在数据稀疏、受噪声污染且误差过程高度非平稳的情况下，也可以高准确度地挑选出相关变量，并且假阳性和假阴性率很小。我们还展示了我们的方法在膳食钙吸收和渔业足迹的研究中选择有影响力的时变协变量的两个实际数据应用。
2019-10-31 stat.AP stat.ME
The Loss Rank Criterion for Variable Selection in Linear Regression Analysis
Lasso和其他正则化过程是变量选择的有吸引力的方法，但要适当选择收缩参数。给定一组由正则化算法产生的潜在子集，提出了一个一致的模型选择准则，以选择这个预选集中的最佳一个。该方法导致变量选择的快速和有效的程序，特别是在高维设置。当协变量个数d固定时，证明了所建议准则的模型选择一致性。模拟研究表明，当d远大于样本量时，该准则仍然具有模型选择的一致性。模拟还表明，我们的方法变量选择的作品令人惊讶的是，与现有的竞争对手相比。该方法也适用于一个真实的数据集。
2010-11-05 stat.ME stat.ML
Fast Bayesian Variable Selection in Binomial and Negative Binomial Regression
贝叶斯变量选择是数据分析的一个强大工具，因为它提供了一种考虑先验信息和不确定性的变量选择原则性方法。然而，贝叶斯变量选择的广泛采用受到计算挑战的阻碍，特别是在具有大量协变量或非共轭似然的困难制度中。计数数据的广义线性模型在生物学、生态学、经济学等领域中很普遍，它是一个重要的特例。在这里，我们介绍了一种有效的MCMC方案，用于二项式和负二项式回归中的变量选择，该方案利用了Tempered吉布斯抽样（Zanella and Roberts，2019），并将逻辑斯谛回归作为特例。在实验中，我们证明了我们的方法的有效性，包括癌症数据与一万七千协变量。
2022-09-12 stat.CO stat.ME stat.ML
High-dimensional regression and variable selection using CAR scores
变量选择是一个困难的问题，特别是在高维基因组数据的分析具有挑战性。在这里，我们介绍了CAR得分，一种新的和高度有效的标准变量排名的线性回归的基础上马氏解相关的解释变量。CAR评分提供了一个规范排序，鼓励对相关预测因子进行分组并降低对抗性变量的权重。它分解了解释的方差的比例，是边际相关和标准化回归系数之间的中间值。作为总体数量，任何优选的推断方案都可以用于其估计。使用模拟，我们证明了通过CAR分数进行变量选择是非常有效的，并且产生的预测误差和真阳性率和假阳性率与现代回归技术（如弹性网和boosting）相比毫不逊色。我们通过分析与糖尿病进展以及衰老对人脑基因表达的影响有关的数据来说明我们的方法。实现CAR评分回归的R包“care”可从CRAN获得。
2011-07-19 stat.AP stat.ME
Bayesian Variable Selection in Multivariate Nonlinear Regression with Graph Structures
高斯图模型（GGM）是使用精度矩阵进行依赖结构概率探索的成熟工具。我们开发了一种贝叶斯方法，将协变量信息在这个GGM设置在一个非线性看似无关的回归框架。我们提出了一个联合预测器和图选择模型，并开发了一个有效的折叠吉布斯采样算法来搜索联合模型空间。此外，我们研究了它的理论变量选择性质。我们证明了我们的方法对各种模拟数据，最后从TCPA项目的真实数据集。
2021-07-31 math.ST stat.ME stat.TH
A review and recommendations on variable selection methods in regression models for binary data
由于逻辑斯谛回归在医学、金融、经济及相关领域的广泛应用，其基本变量的选择至关重要。在本文中，我们探讨了四个主要类型（基于测试，基于惩罚，基于筛选，基于树）的频率变量选择方法在逻辑斯谛回归设置。这项工作的主要目标是为从业人员提供现有文献的全面概述。基本的假设和理论，以及它们的实现细节，也被详细描述。接下来，我们进行了一个彻底的模拟研究，以探讨在各种设置下的变量选择，系数估计，预测精度以及时间复杂度方面的15种不同的方法的性能。我们采取低，中，高维设置，并考虑不同的相关结构的协变量。一个真实的应用，使用高维基因表达数据，也包括在这项研究中，以进一步了解的有效性和一致性的方法。最后，根据我们在模拟数据和真实数据中的发现，我们为从业者提供了在各种情况下选择变量选择方法的建议。
2022-05-16 stat.AP stat.ME
Quantile universal threshold: model selection at the detection edge for high-dimensional linear regression
为了从具有高斯噪声的数据中估计稀疏线性模型，来自lasso和压缩感知文献的一致性在于，阈值估计器（如lasso和Dantzig选择器）在某些情况下能够以高概率渐近地识别显著协变量的一部分，并且由于凸性而在数值上易于处理。然而，阈值参数$λ$的选择在实践中仍然至关重要。为了这个目的，我们提出了分位数的通用采样保持，在检测边缘的$λ$的选择。我们用大量的模拟和真实数据表明，在高真阳性率和低错误发现率之间实现了极好的折衷，也导致了良好的预测风险。
2014-12-05 stat.ME stat.ML
Local polynomial regression and variable selection
提出了一种将变量选择引入局部多项式回归的方法。这可以通过在与被判断为不重要的那些变量相对应的方向上扩展带宽来提高回归的精度。它还通过突出显示这些变量冗余的区域来增加我们对数据集的理解。该方法有可能实现完全删除变量，以及执行部分删除时，变量冗余只适用于特定区域的数据。我们定义了一个非参数的预言属性，并表明这是超过我们的方法下的渐近分析满意。通过模拟和真实数据的数值例子证明了该方法的实用性。
2010-06-16 math.ST stat.ME stat.TH
Macroeconomic Forecasting and Variable Selection with a Very Large Number of Predictors: A Penalized Regression Approach
本文研究了具有大量预测变量的折迭凹惩罚回归模型的宏观经济预测和变量选择问题。惩罚回归方法导致回归系数的稀疏估计，并且即使模型的维数远大于样本量也是适用的。本文的前半部分讨论了当模型表现出时间序列依赖性时，折叠凹惩罚回归的理论问题。特别地，我们证明了超高维时间依赖回归的预言不等式和预言性质。论文的后半部分使用两个激励实证应用程序显示了惩罚回归的有效性。第一个模型使用MIDAS回归框架，使用FRED-MD数据预测美国GDP，其中有1000多个协变量，而样本量最多为200。第二个研究如何以及惩罚回归筛选隐藏的投资组合，约40只股票从1800多个潜在的股票使用纽约证券交易所的股票价格数据。这两个应用程序表明，惩罚回归提供了显着的结果，在预测性能和变量选择。
2017-03-05 math.ST stat.AP stat.ME
A Survey of Tuning Parameter Selection for High-dimensional Regression
School of Statistics, University of Minnesota（明尼苏达大学统计学院）
惩罚（或正则化）回归，如Lasso及其变体所代表的，已经成为当变量数量大大超过样本量时分析高维数据的标准技术。惩罚回归的性能关键取决于调整参数的选择，调整参数决定了正则化的数量，从而决定了拟合模型的稀疏程度。调谐参数的最佳选择取决于设计矩阵的结构和未知的随机误差分布（方差、尾部行为等）。本文从理论和实践两个方面综述了高维回归中调整参数选择的研究现状。我们讨论了选择调整参数以实现预测精度或支持恢复的各种策略。我们还回顾了最近提出的几种无调谐高维回归方法。
2019-08-10 cs.LG stat.ME stat.ML
variable selection and missing data imputation in categorical genomic data analysis by integrated ridge regression and random forest
全基因组关联研究（GWAS）所获得的基因组数据往往是大规模的，而且是不完整的。其不完备性的一种特殊形式是具有不可解释的缺失机制的缺失值。基因组数据的内在复杂性提出了显着的挑战，在开发一个公正的和翔实的程序表型-基因型关联分析的统计变量选择方法。在本文中，我们开发了一个连贯的分类表型-基因型关联分析的程序，在GWAS数据中的缺失值与不可解释的缺失机制的存在下，通过整合最先进的方法，随机森林的变量选择，加权岭回归与期望最大化算法的缺失数据填补，和线性统计假设检验确定缺失机制。两个模拟的GWAS被用来验证所提出的程序的性能。该程序，然后应用于分析一个真实的数据集，从乳腺癌GWAS。
2021-11-10 stat.AP stat.ME
Bayesian Variable Selection in Distributed Lag Models: A Focus on Binary Quantile and Count Data Regressions
本文利用潜变量扩展了分布式滞后模型的贝叶斯推断效用，提出了处理不平衡数据的二元回归、负二项回归及预测变量包含概率估计方法，并通过全自动Gibbs抽样实现参数推断。
2025-01-29 stat.AP stat.ME
Variable selection in Functional Additive Regression Models
本文考虑了函数变量可能与其他类型的变量（标量，多元，方向等）混合的情况下，回归模型中的变量选择问题。我们的建议从一个简单的空模型开始，并根据\cite{Szekely2007}提出的距离相关性，依次选择一个新的变量纳入模型。为了简单起见，本文仅使用可加模型。然而，所提出的算法可以评估贡献的类型（线性、非线性、.）每个变量。该算法已显示出相当有前途的结果时，应用于模拟和真实数据集。
2018-04-11 stat.AP stat.CO stat.ME
Multivariate functional group sparse regression: functional predictor selection
在本文中，我们提出了方法的功能预测选择和光滑的功能系数估计同时在标量函数回归问题下的高维多元函数数据设置。特别是，我们开发了两种方法的功能组稀疏回归下的一般希尔伯特空间的无限维。我们证明了算法的收敛性和一致性的估计和选择（预言性质）在无限维Hilbert空间。仿真研究表明，该方法在函数系数的选择和估计方面都是有效的。功能磁共振成像（fMRI）的应用揭示了人类大脑中与ADHD和智商相关的区域。
2021-07-08 math.ST q-bio.NC stat.AP
Variational empirical Bayes variable selection in high-dimensional logistic regression
针对高维 Logistic 回归变量选择中 Bayes 计算昂贵的问题，本文基于经验 Bayes 方法直接对模型空间边际分布构建高效变分近似，并证明其继承后验的选择一致性。
2025-02-14 stat.CO stat.ME stat.ML
Variable selection for nonlinear Cox regression model via deep learning
Biogen（百健）
研究非线性Cox回归模型的变量选择问题。在生存分析中，一个主要目标是识别与发生关注事件的风险相关的协变量。Cox比例风险模型在生存分析中广泛用于研究生存时间和协变量之间的关系，该模型假设协变量对风险函数具有对数线性效应。然而，这种线性假设在实践中可能并不满足。为了提取具有代表性的特征子集，已经提出了各种变量选择方法用于线性Cox模型下的生存数据。然而，很少有文献对非线性Cox模型的变量选择。为了打破这一差距，我们将最近开发的基于深度学习的变量选择模型LassoNet扩展到生存数据。仿真结果验证了该方法的有效性和可行性。最后，我们应用所提出的方法来分析弥漫性大B细胞淋巴瘤的真实数据集。
2022-11-17 cs.LG stat.ME stat.ML
Bayesian Approximate Kernel Regression with Variable Selection
非线性核回归模型常用于统计学和机器学习，因为它们比线性模型更准确。核回归模型的变量选择是一个挑战，部分原因是，与线性回归设置不同，回归系数的效应量没有明确的概念。在本文中，我们提出了一个新的框架，提供了一个效果大小模拟贝叶斯核回归模型的每个解释变量时，内核是平移不变的-例如，高斯内核。我们使用移位不变再生核希尔伯特空间（RKHS）的函数分析性质来定义一个线性向量空间，该线性向量空间：（i）捕获非线性结构，（ii）可以投影到原始解释变量上。对原始解释变量的投影作为效应量的模拟。我们使用的特定函数分析性质是，移位不变核函数可以通过随机傅立叶基来近似。基于随机傅立叶展开，我们提出了一类计算效率高的贝叶斯近似核回归（BAKR）模型的非线性回归和二进制分类，可以计算模拟的效果大小。我们通过研究统计遗传学中的两个重要问题来说明BAKR的实用性：基因组选择（即表型预测）和关联映射（即推断显著的变体或位点）。用于基因组选择和关联作图的现有技术方法分别基于核回归和线性模型。BAKR是第一种在这两种情况下都具有竞争力的方法。
2017-06-10 q-bio.QM stat.AP stat.ME
Model Selection for High Dimensional Quadratic Regression via Regularization
二次回归（QR）模型通过考虑协变量之间的相互作用效应自然地扩展了线性模型。若要在QR中进行模型选择，必须维护主效应和交互作用效应之间的分层模型结构。现有的正则化方法通常通过解决复杂的优化问题来实现这一目标，这通常需要很高的计算成本，因此对于高维数据是不可行的。本文主要研究高维QR中模型选择的可伸缩正则化方法。我们首先考虑两阶段正则化方法，并建立两阶段LASSO的理论性质。然后，提出了一种新的正则化方法，称为边缘性原则下的正则化算法（RAMP），以有效地计算层次保持正则化解路径。这两种方法进一步扩展到解决广义QR模型。数值结果也证明了该方法的性能。
2016-07-14 math.ST stat.ME stat.TH
Bayesian sparse multiple regression for simultaneous rank reduction and variable selection
我们开发了一种贝叶斯方法，旨在同时估计低秩和行稀疏矩阵的高维多响应线性回归模型。我们考虑了精心设计的收缩前的矩阵的回归系数，从而避免了需要指定一个先验的秩，并缩小回归矩阵对低秩和行稀疏结构。我们提供了理论支持，所提出的方法，通过证明极小极大最优的后验均值下的预测风险在超高的维度设置的预测因子的数量可以增长相对于样本量的次指数。一个一步的后处理方案引起的估计系数矩阵的行上的组套索处罚变量的选择，与默认选择的调谐参数。我们还提供了一个估计的秩使用一种新的优化函数实现降维的协变量空间。我们展示了所提出的方法在一个广泛的模拟研究和一个真实的数据例子的性能。
2019-04-09 math.ST stat.ME stat.TH
Variable selection in multiple regression with random design
本文提出了一种随机变量多元回归中变量选择的方法。这种方法是基于一个标准，允许减少变量选择问题的问题，估计合适的排列和维数。然后，估计这些参数的建议和选择变量的方法是一致的。仿真研究，允许获得所提出的方法的性能的理解，并将其与现有的方法进行比较。
2015-06-26 math.ST stat.TH
Consistent selection via the Lasso for high dimensional approximating regression models
在这篇文章中，我们通过流行的Lasso方法研究回归模型中选择的一致性。在这里，我们离开传统的线性回归假设，并考虑近似的回归函数$f$与给定的字典的$M$功能的元素。一致性的目标是来自该字典的那些函数的索引集，这些函数在属于以$f$为中心且半径为$r_{n,M}^2$的$L_2$球的所有线性组合中实现对$f$的最简约近似。在这个框架中，我们表明，这个指标集的一致估计可以通过$\ell_1$惩罚最小二乘法，与数据相关的罚款和调整序列$r_{n,M}>\sqrt{\log(Mn)/n}$，其中$n$是样本量。我们的结果适用于任何$1\leq M\leq n^γ$，任何$γ>0$。
2008-05-21 math.ST stat.ME stat.TH
Finite mixture regression: A sparse variable selection by model selection for clustering
考虑高维数据的有限混合高斯回归模型，其中协变量的数目可能远大于样本量。我们建议估计未知的条件混合密度的最大似然估计，1-惩罚最大似然估计选择的相关变量的限制。我们得到了一个具有Jensen-Kullback-Leibler型损失的估计量所满足的预言不等式。我们的预言不等式推导出一个一般的模型选择定理的最大似然估计的随机模型集合。我们可以推导出该准则的惩罚形状，这取决于随机模型集合的复杂性。
2014-09-04 math.ST stat.TH
Joint rank and variable selection for parsimonious estimation in a high-dimensional finite mixture regression model
本文研究了高维多元响应回归模型的有限混合模型的降维技术。响应的维数和预测变量的数量都允许超过样本量。我们考虑预测器的选择和降秩，以获得低维近似。引入了一类具有快速收敛速率的估计量。我们将此结果应用于[11]中介绍的特定程序，其中相关预测因子由Group-Lasso选择。
2017-02-16 math.ST stat.TH
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University（西安交通大学）；State Key Laboratory of Management and Control for Complex Systems（复杂系统管理与控制国家重点实验室）
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量，稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择，这通常具有很高的计算代价。近年来，提出了许多改进的近似子集选择方法。然而，非近似的子集选择方法却很少受到关注，而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题，给出了条件不相关性的计算公式。在此基础上，提出了一种有效的非近似子集选择方法，该方法不需要计算回归方程中的任何系数。通过该方法，稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大，因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Testing-driven Variable Selection in Bayesian Modal Regression
Department of Statistics, University of South Carolina（南卡罗来纳大学统计学系）；Division of Epidemiology, Biostatistics, and Environmental Health Sciences, School of Public Health, University of Memphis（孟菲斯大学公共卫生学院流行病学与生物统计学系）
本研究针对厚尾响应变量，在贝叶斯众数回归框架下提出结合期望最大化算法与检验统计量的变量选择方法，可在非高斯误差下有效识别重要协变量，并已应用于两类遗传相关数据集分析。
2025-10-27 cs.LG stat.CO stat.ME
Tight conditions for consistent variable selection in high dimensional nonparametric regression
我们解决了具有非常高的环境维度的回归模型中的变量选择问题，即，当协变量的数量非常大时。主要关注的是相关协变量的数量（称为内在维度）比环境维度小小于的情况。在不假设底层回归函数的任何参数形式的情况下，我们得到了严格的条件，使得有可能一致地估计相关变量的集合。这些条件将内在尺寸与环境尺寸和样本量联系起来。在这些严格条件下可证明一致的过程是简单的，并且基于将经验傅里叶系数与适当选择的门限值进行比较。
2011-02-17 math.ST stat.TH
"Pre-conditioning" for feature selection and regression in high-dimensional problems
我们考虑回归问题的预测的数量大大超过观察的数量。我们提出了一种变量选择的方法，首先估计的回归函数，产生一个“预处理”的响应变量。用于此初始回归的主要方法是监督主成分。然后，我们应用一个标准的程序，如前向逐步选择或LASSO的预处理的反应变量。在许多模拟和真实数据的例子中，这个两步过程优于向前逐步选择或通常的LASSO（直接应用于原始结果）。我们还表明，在一定的高斯潜变量模型下，应用LASSO的预条件响应变量是一致的预测和观察的数量增加。当观测噪声较大时，本文方法比LASSO方法能给出更精确的估计。我们说明我们的方法在一些实际问题上，包括生存分析与微阵列数据。
2007-03-28 math.ST stat.TH
Uniform convergence rates and automatic variable selection in nonparametric regression with functional and categorical covariates
本文研究了具有函数型和分类协变量的非参数预测方法的渐近性质，证明了一致收敛速度，并表明数据驱动的最小二乘交叉验证能自动移除不相关的噪声变量。
2023-04-03 math.ST stat.TH
A method for variable selection in a multivariate functional linear regression model
针对多标量响应、多功能型预测变量的函数型线性模型，本文通过基展开转化为多元线性回归，并提出基于准则惩罚的变量选择方法，模拟验证其有效性。
2023-11-01 math.ST stat.TH
Simultaneous Variable Selection, Clustering, and Smoothing in Function on Scalar Regression
我们解决的问题，多重共线性的功能上的标量回归模型，通过使用事先同时选择，集群，并平滑功能的影响。我们的方法对高度相关的预测因子的影响进行分组，在不从模型中删除相关预测因子的情况下进行降维。我们通过仿真研究验证了我们的方法，表现出优越的性能相对于现有的降维方法在功能上的标量文献。我们还展示了使用我们的模型的特定年龄的生育率从联合国性别信息数据库的数据集。
2019-06-25 stat.AP
Consistent Variable Selection for Functional Regression Models
测试特定协变量的预测意义和识别相关协变量集的双重问题在应用研究和方法学研究中很常见。为了研究这个问题的背景下，功能线性回归模型的预测变量观察到一个网格和标量响应，我们考虑的功能协变量的基础扩展和应用似然比检验。基于检验每个预测因子的p值，我们提出了一种新的变量选择方法，该方法在从允许随样本量n增长的可用预测因子集中选择相关预测因子时是一致的。数值模拟表明，所提出的变量选择过程优于文献中发现的现有方法。一个真实的数据集，从气象站在日本进行了分析。
2015-06-10 math.ST stat.TH
Spline Regression with Automatic Knot Selection
针对样条回归的节点选择问题，提出基于自适应岭惩罚似然的A-spline方法，可生成高可解释性的稀疏样条回归模型，预测性能与传统惩罚样条方法相当，且配套有公开的R语言实现。
2018-08-06 stat.AP stat.CO
