Variable selection and structure identification for varying coefficient Cox models
我们考虑高维协变量的变系数Cox模型。我们应用组Lasso方法对这些模型，并提出了一个变量选择程序。我们的程序同时处理从高维变系数模型到半变系数模型的变量选择和结构识别。我们推导出一个预言不等式，并仔细检查限制性特征值条件。本文给出了时变系数Cox模型的详细结果。变量选择的理论结果可以很容易地推广到其他一些重要的模型，我们简要地提到这些模型，因为这些模型可以以同样的方式处理。本文考虑的模型是结构非参数回归模型中最流行的模型。一个小的数值研究的结果也给出了。
2016-07-19 math.ST stat.TH
Finite mixture regression: A sparse variable selection by model selection for clustering
考虑高维数据的有限混合高斯回归模型，其中协变量的数目可能远大于样本量。我们建议估计未知的条件混合密度的最大似然估计，1-惩罚最大似然估计选择的相关变量的限制。我们得到了一个具有Jensen-Kullback-Leibler型损失的估计量所满足的预言不等式。我们的预言不等式推导出一个一般的模型选择定理的最大似然估计的随机模型集合。我们可以推导出该准则的惩罚形状，这取决于随机模型集合的复杂性。
2014-09-04 math.ST stat.TH
Variable selection for longitudinal survey data
本文提出了一种新的变量选择方法，用于分析纵向抽样调查的数据。该程序是基于调查加权二次推理函数，这是最近推出的调查加权广义估计函数的替代。在联合模型设计框架下，引入惩罚观测加权二次型推断估计，得到了估计存在性、弱相合性、稀疏性和渐近正态性的充分条件.为了说明模型选择过程的有限样本性能，我们包括一个有限的模拟研究。
2021-05-02 math.ST stat.TH
Optimality and computational barriers in variable selection under dependence
该研究分析一般设计协方差下线性回归变量选择的最优样本复杂度，证明子集选择最优但无标准假设下的高效算法，建立高效估计器样本下界并刻画高维变量选择的统计-计算权衡。
2025-10-05 math.ST stat.TH
Variable selection in high-dimensional additive models based on norms of projections
研究了高维稀疏可加模型中的变量选择问题。我们专注于的情况下，组件属于非参数类的功能。所提出的方法是出于几何考虑，在希尔伯特空间，并包括比较规范的数据到各种添加剂子空间的投影。在最小的几何假设下，我们证明了浓度不等式，导致新的条件下，一致的变量选择是可能的。作为一个应用，我们建立了条件下，一个单一的组件可以估计的收敛速率对应的情况下，其中其他组件是已知的。
2015-02-01 math.ST stat.TH
Consistent Variable Selection for Functional Regression Models
测试特定协变量的预测意义和识别相关协变量集的双重问题在应用研究和方法学研究中很常见。为了研究这个问题的背景下，功能线性回归模型的预测变量观察到一个网格和标量响应，我们考虑的功能协变量的基础扩展和应用似然比检验。基于检验每个预测因子的p值，我们提出了一种新的变量选择方法，该方法在从允许随样本量n增长的可用预测因子集中选择相关预测因子时是一致的。数值模拟表明，所提出的变量选择过程优于文献中发现的现有方法。一个真实的数据集，从气象站在日本进行了分析。
2015-06-10 math.ST stat.TH
High-dimensional graphs and variable selection with the Lasso
多元正态分布的逆协方差阵中的零元模式对应于变量之间的条件独立约束。协方差选择的目的是从数据中估计这些结构零点。我们表明，邻域选择与Lasso是一个计算上有吸引力的替代标准的协方差选择稀疏高维图。邻域选择分别估计图中每个节点的条件独立性限制，因此等价于高斯线性模型的变量选择。我们表明，建议的邻域选择方案是一致的稀疏高维图。一致性取决于罚参数的选择。最优预测的预言值不会导致一致的邻域估计。相反，控制错误地加入图的一些不同的连通性组件的概率，稀疏图的一致性估计实现（指数率），即使当变量的数量增长的观察的数量上升到一个任意的权力。
2006-08-01 math.ST stat.TH
Trimming Stability Selection increases variable selection robustness
污染会严重扭曲估计，除非估计程序是适当的强大。这是一个众所周知的问题，并已在稳健统计中得到解决，然而，污染和扭曲的变量选择的关系在文献中很少被考虑。至于变量选择，已经提出了许多稀疏模型选择的方法，包括稳定性选择，这是一种基于变量选择算法的元算法，以免疫特定的数据配置。我们引入了变量选择细分点，量化的情况下，分别。必须被污染的细胞，以便检测不到相关变量。我们发现，特定的离群配置可以完全误导模型选择，并认为为什么即使是细胞明智的强大的方法不能解决这个问题。我们将变量选择崩溃点与恢复相结合，得到稳定性选择崩溃点，该崩溃点量化了稳定性选择的鲁棒性。我们提出了一个修剪的稳定性选择，它只聚合模型的最低样本损失，以便，从理论上讲，模型计算严重污染的重采样应该被修剪掉。一个广泛的模拟研究与非鲁棒回归和分类算法，以及稀疏最小二乘法揭示了我们的方法，以提高模型选择的鲁棒性，以及使用非鲁棒算法的变量选择的脆弱性，即使是一个非常小的细胞明智的污染率的潜力。
2022-07-14 math.ST stat.ME stat.TH
A Comparison of Hamming Errors of Representative Variable Selection Methods
Lasso是线性模型中变量选择的一种著名方法，但当变量之间存在中等或强相关性时，Lasso方法面临挑战。这激发了替代方法，例如使用非凸惩罚，添加岭正则化或进行后Lasso阈值处理。在本文中，我们比较了Lasso与其他5种方法：弹性网络，SCAD，向前选择，阈值Lasso和向前向后选择。假设回归系数是从两点混合数据中提取的，并且Gram矩阵是块对角矩阵，我们从理论上通过期望的Hamming误差来衡量它们的性能。通过推导海明误差的收敛率和相图，我们得到了有关不同方法利弊的有用结论。
2022-03-28 math.ST stat.TH
Variable selection in discriminant analysis for mixed variables and several groups
本文提出了一种混合分类变量和连续变量的判别分析变量选择方法。这种方法是基于一个标准，允许减少变量选择问题的问题，估计合适的排列和维数。然后，估计这些参数的建议和选择变量的方法是一致的。仿真研究，允许研究所提出的方法的几个pocperties，并与现有的方法进行比较。
2017-03-13 math.PR math.ST stat.TH
Variable selection through CART
本文讨论了回归和二元分类框架中的变量选择。它提出了一个自动和详尽的程序，依赖于使用的CART算法和模型选择通过惩罚。这项工作，理论性质，旨在确定足够的处罚，即处罚，允许得到甲骨文型不等式证明所提出的程序的性能。由于穷举法在变量数目太大时不能执行，因此提出了一种更实用的方法，并在理论上得到了验证。仿真研究完成了理论结果。
2011-01-04 math.ST stat.AP stat.TH
Improving variable selection properties with data integration and transfer learning
BIDSA（巴西数据科学研究所）；Department of Economics and Business, Universitat Pompeu Fabra（庞培法布拉大学经济与商业系）；Bocconi University（博科尼大学）
通过整合外部信息与迁移学习，改进高维稀疏回归中的变量选择一致性与效率。
2026-02-13 math.ST stat.ME stat.TH
Local polynomial regression and variable selection
提出了一种将变量选择引入局部多项式回归的方法。这可以通过在与被判断为不重要的那些变量相对应的方向上扩展带宽来提高回归的精度。它还通过突出显示这些变量冗余的区域来增加我们对数据集的理解。该方法有可能实现完全删除变量，以及执行部分删除时，变量冗余只适用于特定区域的数据。我们定义了一个非参数的预言属性，并表明这是超过我们的方法下的渐近分析满意。通过模拟和真实数据的数值例子证明了该方法的实用性。
2010-06-16 math.ST stat.ME stat.TH
High-Dimensional Non-Linear Variable Selection through Hierarchical Kernel Learning
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
研究了监督学习中高维非线性变量的选择问题。我们的方法是基于执行线性选择指数之间的许多适当定义的正定内核，表征原始变量之间的非线性相互作用。为了有效地选择这些许多内核，我们使用的问题的自然层次结构扩展的多内核学习框架，可以嵌入在一个有向无环图的内核，我们表明，它是可以通过一个图形适应的稀疏诱导规范，在多项式时间在选定的内核的数量进行内核选择。此外，我们研究了变量选择在高维环境中的一致性，表明在某些假设下，我们的正则化框架允许一些无关变量，这些变量在观测数量上是指数级的。我们对合成数据集和UCI存储库数据集的模拟显示了非线性回归问题的最新预测性能。
2009-09-04 cs.LG math.ST stat.TH
Bayesian Variable Selection in Multivariate Nonlinear Regression with Graph Structures
高斯图模型（GGM）是使用精度矩阵进行依赖结构概率探索的成熟工具。我们开发了一种贝叶斯方法，将协变量信息在这个GGM设置在一个非线性看似无关的回归框架。我们提出了一个联合预测器和图选择模型，并开发了一个有效的折叠吉布斯采样算法来搜索联合模型空间。此外，我们研究了它的理论变量选择性质。我们证明了我们的方法对各种模拟数据，最后从TCPA项目的真实数据集。
2021-07-31 math.ST stat.ME stat.TH
Discriminative variable selection for clustering with the sparse Fisher-EM algorithm
最近，由于对高维数据聚类的需求越来越大，对聚类变量选择的兴趣也越来越大。变量的选择特别允许简化聚类和结果的解释。现有的方法已经证明了聚类变量选择的效率，但结果要么是非常耗时或不够稀疏，在高维空间。这项工作提出了通过在Fisher-期望最大化算法的加载矩阵中引入稀疏性来执行鉴别变量的选择。这种聚类方法最近已被提出的同时可视化和聚类的高维数据。它是基于一个潜在的混合模型，适合的数据到一个低维的判别子空间。在这项工作中，提出了三种不同的方法，通过$\ell_{1}$型惩罚引入稀疏的判别子空间的方向矩阵。模拟和真实世界的数据集与现有方法的实验比较表明，所提出的方法的兴趣。应用程序的分割的高光谱图像的行星火星。
2012-04-10 math.ST stat.ME stat.TH
An information criterion for auxiliary variable selection in incomplete data analysis
当辅助变量与主要变量一起观察时，考虑对感兴趣的变量（称为主要变量）进行统计推断。我们考虑不完全数据分析的设置，其中一些主要变量未被观察到。利用主、辅变量联合分布的参数模型，当辅变量与主变量密切相关时，可以改进主变量的参数模型估计。然而，当辅助变量与主变量无关时，估计精度降低。为了选择有用的辅助变量，我们将问题表述为模型选择，并提出了一个利用辅助变量预测主变量的信息准则。在一定的条件下，所提出的信息准则是主变量完全数据下库尔贝克-莱布勒散度的渐近无偏估计量.我们还澄清了建议的信息准则和留一交叉验证的变体之间的渐近等价性。我们的方法的性能通过模拟研究和实际数据的例子证明。
2019-03-09 math.ST stat.ME stat.ML
Survival of the fittest Cox model: Pivotal variable selection for time-to-event data
University of Geneva（日内瓦大学）
该研究重新审视Cox比例风险模型改进生存分析变量选择，通过部分似然平方根变换使正则化参数选择关键，结合信息准则与惩罚回归方法优点，在模拟和真实数据上显著优于现有方法。
2026-07-15 cs.LG math.ST stat.ML
Comparing Model Selection and Regularization Approaches to Variable Selection in Model-Based Clustering
我们比较了聚类中变量选择的两种主要方法：模型选择和正则化。基于以前的结果，我们选择Maugis等人（2009 b）的方法，该方法修改了Raftery和Dean（2006）的方法，作为当前最先进的模型选择方法。我们选择Witten和Tibshirani（2010）的方法作为当前最先进的正则化方法。我们通过模拟比较了这些方法在分类和变量选择方面的准确性。在第一个模拟实验中，所有的变量都是有条件独立的集群成员。我们发现，变量选择（任何一种）产生了大量的收益分类准确性时，集群很好地分离，但很少收益时，集群是紧密相连的。我们发现，这两种变量选择方法具有相当的分类精度，但模型选择方法在选择变量时具有更好的精度。在我们的第二个模拟实验中，给定聚类成员的变量之间存在相关性。我们发现，模型选择方法在分类和变量选择方面比正则化方法准确得多，并且两者都比$K$ -没有变量选择的方法给出更准确的分类。
2013-07-30 stat.AP
Projection predictive variable selection using Stan+R
这份文件是额外的材料，我们以前的研究比较几种策略的可变子集选择。我们推荐的方法是用所有候选变量和最佳先验信息拟合完整模型，并使用投影预测框架进行变量选择。在这里，我们给出了一个执行这种分析的例子，使用Stan拟合模型，R选择变量。
2015-08-11 stat.ME
A Theory of Dichotomous Valuation with Applications to Variable Selection
International Monetary Fund（国际货币基金组织）
如果我们在计量经济学或统计模型中加入一个新的变量，它可能会有边际收益;如果我们从模型中删除一个现有的变量，它可能会有边际损失。假设所有候选变量之间的机会均等，我们推导出一个估值框架的预期边际收益和边际损失在所有潜在的建模方案。然而，边际收益和损失是不对称的，因此，我们引入三个无偏的解决方案。当用于变量选择时，我们的新方法显着优于实践中使用的几种流行方法。研究结果还揭示了Shapley值的一些新特性。
2020-03-13 cs.LG econ.EM math.OC
Bayesian Shrinkage Variable Selection
由于延期和作为另一份文件提交而撤回。
2008-04-16 stat.ME
Variable Importance Assessments and Backward Variable Selection for High-Dimensional Data
高维情景下的变量选择是统计学研究的热点。一种应用涉及在基因组分析中鉴定差异表达的基因。用于解决该问题的现有方法具有一些限制或缺点。在本文中，我们提出了基于距离的变量的重要性措施来处理这些问题，这是多响应置换过程（MRPP）的启发。所提出的变量重要性评估可以有效地衡量单个维度的重要性，通过量化其对多元分布之间的差异的影响。提出了一种后向选择算法，可用于高维变量选择，发现重要变量。仿真和实际数据的应用表明，我们提出的方法具有良好的性能，并优于其他方法。
2018-06-18 stat.ME
Variable selection in model-based clustering and discriminant analysis with a regularization approach
在基于模型的聚类和分类中，已经提出了相关的变量选择方法。这些方法使用向后或向前过程来定义变量的角色。不幸的是，这些逐步的过程是非常缓慢的，使这些变量选择算法效率低下，以处理大型数据集。本文提出了一种基于模型的聚类和分类变量选择的正则化方法。在这种方法中，变量首先用套索样的程序进行排序，以避免痛苦缓慢的逐步算法。因此，Maugis等人（2009 b）的变量选择方法可以有效地应用于高维数据集。
2017-05-02 stat.CO
Using reference models in variable selection
变量选择，或者更一般地说，模型简化是统计工作流程的一个重要方面，旨在从数据中提供见解。在本文中，我们讨论并证明了在变量选择中使用参考模型的好处。参考模型通过对目标变量的数据生成机制进行建模，充当目标变量的噪声过滤器。结果，在模型选择过程中使用参考模型预测减少了可变性并提高了稳定性，从而导致改进的模型选择性能。假设贝叶斯参考模型很好地描述了未来数据的真实分布，理论上参考模型的首选用法是将其预测分布投影到简化模型中，从而产生投影预测变量选择方法。或者，参考模型也可以以特定方式与常见变量选择方法组合使用。在几个数值实验中，我们研究了投影预测方法的性能以及有和没有参考模型的替代变量选择方法。我们的研究结果表明，使用参考模型通常转化为更好，更稳定的变量选择。此外，我们证明了投影预测方法显示出优越的性能相比，替代变量选择方法，独立于他们是否使用参考模型。
2020-04-27 stat.CO stat.ME
Unsupervised Variable Selection for Ultrahigh-Dimensional Clustering Analysis
针对无监督变量选择研究滞后于有监督的问题，提出FPCFL方法以区分活跃、冗余和无信息变量，通过理论与模拟验证排除无信息变量可提升聚类性能，解决变量选择对聚类性能影响的担忧。
2024-11-29 stat.ME
Variable Selection Using Bayesian Additive Regression Trees
变量选择是一个重要的统计问题。当候选预测变量是混合类型（例如连续和二进制）并且以非线性和/或非加性方式影响响应变量时，该问题变得更具挑战性。在本文中，我们回顾了现有的变量选择方法的贝叶斯加性回归树（BART）模型，非参数回归模型，这是足够灵活，以捕捉预测和非线性关系的响应之间的相互作用。本次审查的重点是识别相关预测因子的能力。我们还提出了两个变量的重要性措施，可用于在一个基于置换的变量选择方法，和一个向后的变量选择程序的BART。我们目前的模拟表明，我们的方法表现出改善的性能方面的能力，恢复所有相关的预测在各种数据设置，相比现有的基于BART的变量选择方法。
2021-12-28 stat.AP stat.ME
Solar: $L_0$ solution path averaging for fast and accurate variable selection in high-dimensional data
University of Sydney（悉尼大学）
我们提出了一个新的变量选择算法，子样本排序最小角度回归（太阳），和它的坐标下降推广，太阳cd。Solar使用$L_0$范数重建套索路径，并对子样本之间的结果解路径求平均值。路径平均保留了信息变量的排名信息，同时平均了对高维的敏感性，提高了变量选择的稳定性，效率和准确性。我们证明：（i）以高概率，路径平均在平均$L_0$路径上完美地将信息变量与冗余变量分离;（ii）太阳变量选择是一致和准确的;以及（iii）太阳忽略弱信号的概率对于有限的样本量是可控的。我们还证明：（i）太阳能产量，在小于lasso计算负荷的$1/3$的情况下，在稀疏性方面相对于lasso有实质性改进（ii）与Lasso安全/强规则和变量筛选相比，Solar在很大程度上避免了冗余变量的选择和在存在复杂依赖结构的情况下对信息变量的拒绝;（iii）太阳能的稀疏性和稳定性保存了数据分裂假设检验的剩余自由度，提高了对具有有限$n$的弱信号的选择后推断的准确性;（iv）在自举选择中用太阳能代替套索（例如，bolasso或稳定性选择）产生多层变量排序方案，其在仅一个套索实现的计算负载的情况下改善选择稀疏性和排序准确性;以及（v）给定计算资源，太阳能自举选择比并行化自举套索的理论最大加速（由Amdahl定律确认）快得多（计算时间低98%）。
2022-05-06 cs.LG stat.ML
VC-PCR: A Prediction Method based on Supervised Variable Selection and Clustering
UCLouvain（天主教鲁汶大学）；Ruhr-University Bochum（波鸿鲁尔大学）
当预测变量具有聚类结构（例如，存在高度相关的变量组）时，稀疏线性预测方法遭受降低的预测精度。为了提高预测精度，已经提出了各种方法来从数据中识别可变聚类，并将聚类信息集成到稀疏建模过程中。但这些方法都不能同时实现预测、变量选择和变量聚类的性能。为了解决这一问题，本文提出了一种监督变量选择和变量聚类的预测方法--变量聚类主成分回归（VC-PCR）。真实数据和模拟数据的实验表明，与竞争对手的方法相比，VC-PCR实现更好的预测，变量选择和聚类性能时，集群结构。
2022-02-02 cs.LG stat.ME stat.ML
Stochastic Stepwise Ensembles for Variable Selection
在这篇文章中，我们提倡集合方法进行变量选择。我们指出，用于产生变量选择集成（VSE）的随机机制必须小心挑选。我们构建了一个VSE使用随机逐步算法，并比较其性能与许多国家的最先进的算法。
2011-03-02 stat.CO stat.ME stat.ML
Prediction-based Variable Selection for Component-wise Gradient Boosting
基于模型的分量梯度提升是数据驱动变量选择的流行工具。为了进一步提高其预测和选择质量，已经开发了对原始算法的几种修改，主要集中在不同的停止标准上，而不改变实际的变量选择机制。我们研究了基于模型的分量梯度提升中变量选择步骤的不同预测机制。这些方法包括Akaikes信息准则（AIC），以及选择规则依赖于通过交叉验证计算的组件的测试误差。我们实现了广义线性模型的AIC和交叉验证例程，并评估了它们的变量选择特性和预测性能。一项广泛的模拟研究显示，选择特性得到了改善，而在现实世界的应用中，预测误差可以降低，年龄标准化的COVID-19发病率。
2023-02-27 stat.AP stat.ME
Selection of variables and decision boundaries for functional data via bi-level selection
稀疏性诱导惩罚是变量选择的有用工具，对于数据为函数的回归设置也很有效。我们考虑的问题，不仅选择变量，而且决策边界的逻辑斯谛回归模型的功能数据，使用稀疏正则化。在惩罚似然法的框架下，利用稀疏群套索型惩罚对函数型逻辑斯谛回归模型进行估计，然后利用模型选择准则选择调整参数.通过对实际数据的分析，验证了该方法的有效性.
2017-02-13 stat.ME
Flexible Variable Selection for Clustering and Classification
本文提出一种基于Manly变换混合模型的变量选择算法，能在聚类偏斜时有效选择变量，并在R包vscc中实现，与现有方法在模拟和真实数据上比较验证了其有效性。
2024-02-09 stat.ME
Variable Selection in Regression Model with AR(p) Error Terms Based on Heavy Tailed Distributions
参数估计和变量选择是回归分析中的两个前沿问题。传统的变量选择方法需要对模型参数进行先验估计，而惩罚方法则同时进行参数估计和变量选择。因此，惩罚变量选择方法引起了人们极大的兴趣，并在文献中得到了广泛的研究。然而，目前的文献大多仅限于误差项不相关且正态性假设的回归模型。本文在重尾误差分布假设下，利用不同的罚函数，将自回归误差项回归模型的参数估计和变量选择结合起来。我们进行了模拟研究和一个真实的数据例子来显示估计的性能。
2021-08-31 stat.CO stat.ME
Bayesian variable selection in high dimensional problems without assumptions on prior model probabilities
我们考虑线性模型中的变量选择问题时，$p$，潜在的回归的数量，可能会超过（也许是大幅度）的样本量$n$（这可能是小的）。
2016-07-11 stat.ME
Variable Selection using Inverse Survival Probability Weighting
在本文中，我们提出了两个变量选择方法调整截尾信息的生存时间，如限制平均生存时间。为了调整删失的影响，我们考虑对发生事件的受试者进行逆生存概率加权（ISPW）。我们推导出一个最小绝对收缩和选择算子（套索）型变量选择方法，该方法考虑平方损失的逆加权，和一个信息准则型变量选择方法，该方法将生存概率的逆加权应用于似然函数中每个密度函数的幂。我们证明了ISPW套索估计和最大ISPW似然估计的一致性。ISPW套索和ISPW信息标准的性能进行了评估，通过模拟研究与六个场景，然后使用两个临床研究的数据证明他们的变量选择能力。结果表明，ISPW套索和ISPW似然函数产生良好的估计精度和一致的变量选择。我们的结论是，我们提出的两种方法是有用的变量选择工具，调整生存时间分析的删失信息。
2022-12-05 stat.ME
Sparse covariance thresholding for high-dimensional variable selection
在高维空间中，许多变量选择方法，如套索，往往受到样本协方差阵的过度变异性和秩不足的限制。协方差稀疏性是高维应用中的自然现象，例如微阵列分析、图像处理等，其中大量的预测因子是独立的或弱相关的。在本文中，我们提出了协方差阈值套索，一类新的回归方法，可以利用协方差稀疏性，以改善变量的选择。我们建立的理论结果，在随机设计的设置，相关的协方差稀疏变量选择。实际数据和仿真实例表明，我们的方法可以有效地提高变量选择性能。
2010-06-06 stat.ME
Improving the Predictive Performances of $k$ Nearest Neighbors Learning by Efficient Variable Selection
Rochester Institute of Technology（罗切斯特理工学院）
本文计算证明了一个急剧改善的预测性能$k$最近的邻居由于一个有效的前向选择的预测变量。我们展示了模拟和真实世界的数据，这种新的方法反复优于逐步选择下的回归模型
2022-11-04 cs.LG stat.ML
Determinantal Point Process Priors for Bayesian Variable Selection in Linear Regression
提出了贝叶斯变量选择中模型参数先验的离散决定点过程。通过我们的变量选择方法，共线的预测是不太可能同时选择，因为离散DPP的排斥属性。提出了三种类型的DPP先验。我们通过数值实验和共线数据集的应用程序所提出的先验的效率。
2014-06-09 stat.ME
Variable Selection with Copula Entropy
Hitachi (China) Research & Development Corporation（日立（中国）研究开发有限公司）
在要求可解释性的机器学习和统计应用中,变量选择对分类和回归任务十分重要. 本文提出了一种基于Copula熵的变量选择方法,利用Copula熵值的阶次选择变量. 本方法既是模型无关的又是参数无关的.在UCI心脏病数据上，将该方法与传统的变量选择方法（距离相关法、希尔伯特-施密特独立准则法、逐步选择法、正则化广义线性模型法和自适应LASSO法）进行了对比实验。实验结果表明，与传统方法相比，基于CE的方法能够在不牺牲精度的情况下，更有效地选择出“正确”的变量，并得到更好的可解释结果。我们相信，基于CE的变量选择有助于建立更可解释的模型。
2020-07-29 cs.LG stat.ME stat.ML
Joint Variable Selection for Data Envelopement Analysis via Group Sparsity
本研究发展一个资料驱动的群组变数选择方法，以应用于资料分析（DEA），一个非参数线性规划方法来估计生产边界。所提出的方法扩展组Lasso（最小绝对收缩和选择算子）设计变量选择（通常预定义的）组变量的线性回归模型的DEA模型。特别是，一个特殊的约束版本的组Lasso的损失函数适用于DEA模型中的变量选择推导和求解的一个新的定制算法的基础上的交替方向法的乘数（ADMM）。本研究进一步进行了深入的评估，提出的方法对两个广泛使用的变量选择方法-效率贡献的措施（ECM）的方法和基于回归（RB）的测试-在DEA通过蒙特卡洛模拟。仿真结果表明，我们的方法提供了更有利的性能相比，其基准。
2014-02-16 math.OC stat.ME
The Loss Rank Criterion for Variable Selection in Linear Regression Analysis
Lasso和其他正则化过程是变量选择的有吸引力的方法，但要适当选择收缩参数。给定一组由正则化算法产生的潜在子集，提出了一个一致的模型选择准则，以选择这个预选集中的最佳一个。该方法导致变量选择的快速和有效的程序，特别是在高维设置。当协变量个数d固定时，证明了所建议准则的模型选择一致性。模拟研究表明，当d远大于样本量时，该准则仍然具有模型选择的一致性。模拟还表明，我们的方法变量选择的作品令人惊讶的是，与现有的竞争对手相比。该方法也适用于一个真实的数据集。
2010-11-05 stat.ME stat.ML
Bayesian Variable Selection with the Quasi-Posterior
University of South Carolina（南卡罗来纳大学）；Monash University（蒙纳士大学）
本文提出基于准后验的贝叶斯变量选择方法，通过结合先验和准似然，无需完整似然函数即可实现稳健的变量选择，并在模拟和实际数据中展示了其优越性。
2026-03-04 stat.ME
Copula Entropy based Variable Selection for Survival Analysis
Hitachi China Research Laboratory（日立中国研究院）
变量选择是统计学和机器学习中的一个重要问题。Copula熵（CE）是一个度量统计独立性的数学概念，近年来被应用于变量选择。在本文中，我们提出了应用CE为基础的变量选择方法的生存分析。其思想是用CE测量变量与事件发生时间之间的相关性，然后根据其CE值选择变量。在模拟数据和两个真实癌症数据上进行实验，并与随机生存森林和Lasso-Cox方法进行比较。实验结果表明，该方法可以选择出“正确”的变量，更解释，导致更好的预测性能。
2022-09-04 cs.LG stat.ME
Probing for sparse and fast variable selection with model-based boosting
提出了一种基于模型梯度提升和随机变量置换的变量选择方法。基于模型的提升是一种在执行变量选择的同时拟合统计模型的工具。拟合的缺点在于需要对稍微改变的数据进行多个模型拟合（例如交叉验证或自举），以找到最佳的提升迭代次数并防止过拟合。在我们提出的方法中，我们使用真实变量的随机排列版本（所谓的影子变量）来增强数据集，并在将此类变量添加到模型中后立即停止逐步拟合。这允许在模型的单次拟合中选择变量，而不需要进一步的参数调整。我们表明，我们的探测方法可以与最先进的选择方法，如在高维分类基准的稳定性选择，并将其应用于基因表达数据的估计核黄素生产的枯草芽孢杆菌。
2017-02-15 stat.CO stat.ML
Differentially Private Variable Selection via the Knockoff Filter
University of Utah（犹他大学）
敲除滤波器是Barber和Candes最近提出的一种有效的变量选择方法，它具有可控的错误发现率。我们提出了一个私人版本的敲除过滤器，通过将高斯和拉普拉斯机制，并表明，变量选择与控制FDR可以实现。仿真表明，我们的设置具有合理的统计功效。
2022-01-31 cs.CR cs.DB cs.IT
Consistent selection of tuning parameters via variable selection stability
惩罚回归模型是高维数据分析中常用的一种同时进行变量选择和模型拟合的方法。虽然在文献中已经广泛报道了成功，但它们的性能在很大程度上取决于平衡模型拟合和模型稀疏性之间的权衡的调整参数。现有的调整准则主要遵循最小化估计的预测误差或最大化后验模型概率的路线，如交叉验证，AIC和BIC。本文基于变量选择稳定性的新概念，提出了一种通用的整定参数选择准则。其关键思想是选择调整参数，使所得的惩罚回归模型是稳定的变量选择。渐近选择的一致性建立固定和发散的尺寸。所提出的标准的有效性也证明了在各种模拟的例子，以及应用到前列腺癌的数据。
2013-12-13 stat.ME stat.ML
Efficient Test-based Variable Selection for High-dimensional Linear Models
变量选择在高维数据分析中起着基础性的作用。近年来，已经开发了各种方法用于变量选择。众所周知的例子是前向逐步回归（FSR）和最小角度回归（LARS）等。这些方法通常将变量逐个添加到模型中。对于这样的选择过程，找到一个控制模型复杂性的停止准则是至关重要的。为此，最常用的技术之一是交叉验证（CV），尽管它很受欢迎，但它有两个主要缺点：昂贵的计算成本和缺乏统计解释。为了克服这些缺点，我们引入了一个灵活和高效的基于测试的变量选择方法，可以纳入任何顺序选择程序。该测试是对剩余非活动变量中的总体信号的测试，其基于非活动变量与给定活动变量的响应之间的最大绝对偏相关。当维数在样本量中均匀趋于无穷大时，我们得到了所提出的检验统计量的渐近零分布。我们还表明，测试是一致的。使用此测试，在选择的每个步骤中，当且仅当$p$值低于某个预定义水平时，才包括新变量。数值研究表明，该方法提供了非常有竞争力的性能相比，CV变量选择精度和计算复杂度。
2018-01-31 stat.ME
Fast Bayesian Variable Selection in Binomial and Negative Binomial Regression
贝叶斯变量选择是数据分析的一个强大工具，因为它提供了一种考虑先验信息和不确定性的变量选择原则性方法。然而，贝叶斯变量选择的广泛采用受到计算挑战的阻碍，特别是在具有大量协变量或非共轭似然的困难制度中。计数数据的广义线性模型在生物学、生态学、经济学等领域中很普遍，它是一个重要的特例。在这里，我们介绍了一种有效的MCMC方案，用于二项式和负二项式回归中的变量选择，该方案利用了Tempered吉布斯抽样（Zanella and Roberts，2019），并将逻辑斯谛回归作为特例。在实验中，我们证明了我们的方法的有效性，包括癌症数据与一万七千协变量。
2022-09-12 stat.CO stat.ME stat.ML
A general framework for formulating structured variable selection
本文提出一个通用数学框架来形式化结构化变量选择中的选择规则，证明任意规则可由构造运算组合表示并推导选择字典，同时指导惩罚回归中的变量分组，并为基于l0范数的新方法奠定基础。
2024-01-15 stat.ME
Variable Selection in Seemingly Unrelated Regressions with Random Predictors
本文考虑了线性模型选择时的响应是向量值和预测随机观察。我们提出了一种新的方法，从“推理后模型总结”策略的选择步骤中提取统计推断。我们研究了预测的不确定性对模型选择过程的影响。该方法是通过资产定价的应用程序。
2016-06-03 stat.ME
Nonlinear Mixed-effects Scalar-on-function Models and Variable Selection for Kinematic Upper Limb Movement Data
本文源于合作研究，其目的是使用3D运动学数据对中风后上肢功能的临床评估进行建模。本文提出了一种新的非线性混合效应函数-标量回归模型，该模型具有高斯过程先验，着重于从包括标量和函数变量的大量候选变量中进行变量选择。提出了一种新的变量选择算法，即函数最小角回归算法（fLARS）。由于标量和函数变量是该算法的基础，本文研究了函数变量的不同表示方法，以及标量和函数变量的混合表示之间的关系。我们还提出了两个新的停止规则的实际使用。该算法能够在变量数大于样本量时进行变量选择。该方法对于变量选择和参数估计都是有效和准确的。我们的综合仿真研究表明，该方法优于其他现有的变量选择方法。将该算法应用于3D动态运动数据分析时，非线性随机效应模型和函数变量的使用显着提高了临床评估的预测精度。
2016-05-22 stat.AP
Effect Size Estimation and Misclassification Rate Based Variable Selection in Linear Discriminant Analysis
基于遗传信息（例如基因表达谱）的生物样品的监督分类是生物统计学中的重要问题。为了找到既准确又可解释的分类规则，变量选择是必不可少的。本文探讨了如何评估变量的个体重要性（效应量估计）可以用来执行变量选择。我回顾最近的效果大小估计方法的线性判别分析（LDA）的背景下，提出了一个新的概念简单的效果大小估计方法，这是在同一时间的计算效率。然后，我展示了如何使用效应量来执行基于错误分类率的变量选择，错误分类率是预测误差的数据独立期望。模拟研究和实际数据分析表明，所提出的效应量估计和变量选择方法是有竞争力的。特别是，它们导致紧凑和可解释的功能集。
2012-08-08 stat.ME
Penalized pairwise pseudo likelihood for variable selection with nonignorable missing data
在过去的二十年中，对于完全观测的数据集，变量选择的正则化方法得到了很好的发展。在存在缺失值的情况下，这种方法需要针对不同的缺失数据机制进行调整。在本文中，我们专注于一个灵活的和普遍适用的缺失数据机制，其中包含可验证和不可验证的缺失数据机制的假设。我们展示了如何在这种缺失数据机制下调整变量选择的正则化方法。建立了变量选择一致性的计算和理论性质。所提出的方法进一步说明了全面的模拟研究和实际数据分析，低维和高维设置。
2017-07-28 stat.ME
