Important Molecular Descriptors Selection Using Self Tuned Reweighted Sampling Method for Prediction of Antituberculosis Activity
Mangalore University(曼加洛尔大学)
本文提出了一种新的描述子选择方法--自调整加权抽样法(STRS),用于选择磺胺类药物数据的重要描述子的最佳组合。描述符被定义为在多元线性回归模型如偏最小二乘(PLS)中具有大绝对系数的描述符。在这项研究中,PLS模型的回归系数的绝对值被用来作为一个指标来评估每个描述符的重要性,然后,基于每个描述符的重要性水平,STRS顺序选择N个子集的描述符从N个蒙特卡罗(MC)抽样运行在迭代和竞争的方式。在每次抽样中,首先随机选择固定比例(例如80%)的样本,以建立回归模型。然后,基于回归系数,采用基于快速递减函数(RDF)的强制描述子选择和基于自调整采样(STS)的竞争描述子选择两步过程来选择重要的特征向量。在运行循环之后,获得多个描述符子集,并计算用描述符子集建立的PLS模型的交叉验证均方根误差(RMSECV)。具有最低RMSECV的描述符子集被认为是最佳描述符子集。通过磺胺衍生物数据集对算法的性能进行了评估。结果表明,STRS的一个很好的特点,它通常可以找到一个最佳组合的一些重要的描述符,这是解释生物的利益。此外,我们的研究表明,更好的预测是由STRS相比,全描述集PLS建模,蒙特卡罗无信息变量消除(MC-UVE)。
2014-02-21 cs.LG stat.AP stat.ML
Integrated Subset Selection and Bandwidth Estimation Algorithm for Geographically Weighted Regression
本研究针对地理加权回归提出集成变量子集选择与带宽估计问题,构建基于单一目标函数的非凸数学规划模型及交替方向求解法,实现全焦点统一子集选择与参数集成估计,实验验证其解释力与空间模式稳定性俱佳。
2025-03-21 stat.ME stat.ML
Best Subset Selection in Reduced Rank Regression
针对降秩回归中的最佳子集选择模型,设计了一种新的算法。
2020-06-08 stat.ME
Information Criterion for a Large Scale Subset Regression Models
本文针对大规模子集回归模型,从对数似然偏差校正的角度指出了从大量候选变量中启发式构建模型易产生表观相关性的问题,并提出了一种考虑该问题的校正方法。
2023-09-15 stat.ME
Variable subset selection via GA and information complexity in mixtures of Poisson and negative binomial regression models
计数数据,例如一个城市中观察到的疾病病例数,通常出现在医疗分析和流行病学领域。在本文中,我们考虑对多变量数据进行回归,其中我们的结果是计数。具体来说,我们推导出对数似然函数的有限混合回归模型,涉及计数来自泊松分布,以及负二项分布时,计数显着过度分散。在我们提出的建模框架内,我们使用信息标准得分AIC,BIC,CAIC和ICOMP进行最优组件选择。我们展示了我们的方法在模拟数据上的应用,以及从2010年开始在田纳西州各县的艾滋病毒病例的真实数据集。最后,在我们的框架内使用遗传算法,我们进行变量子集选择,以确定最负责分类田纳西州县的协变量。这导致了一些有趣的见解的特点,县有高艾滋病毒计数。
2015-05-20 stat.ME stat.ML
Best subset selection in linear regression via bi-objective mixed integer linear programming
研究了在给定n个观测值的线性回归中p个特征的最佳子集的选择问题。这个问题自然包含两个目标函数,包括最小化偏差量和最小化预测因子的数量。现有的方法将问题转化为一个单目标优化问题。我们解释了现有方法的主要弱点,并克服其缺点,我们提出了一个双目标混合整数线性规划方法。计算研究表明,所提出的方法的有效性。
2018-04-21 stat.ME
Best Subset Selection with Efficient Primal-Dual Algorithm
最佳子集选择被认为是许多稀疏学习问题的“黄金标准”。已经提出了各种优化技术来攻击这个非凸和NP难问题。本文研究了一类$\ell_0$ -正则化问题的对偶形式。一个有效的原始-对偶方法已开发的基础上的原始和对偶问题的结构。通过利用双距离估计以及增量策略,我们的算法潜在地减少了冗余计算,并提高了最佳子集选择的解决方案。理论分析和实验上的合成和真实世界的数据集验证了所提出的解决方案的效率和统计特性。
2022-07-05 stat.CO stat.ME stat.ML
Complete Subset Averaging for Quantile Regressions
针对分位数回归,提出了一种基于完全子集平均(CSA)的条件分位数预测方法。考虑中的所有模型都可能被错误指定,并且随着样本量的增加,回归变量的维数趋于无穷大。由于我们对完整的子集进行平均,因此模型的数量比采用复杂加权方案的通常模型平均方法大得多。我们建议使用一个相等的权重,但选择适当的大小的完整的子集的基础上留一出交叉验证方法。在Lu和Su(2015)的理论基础上,我们研究了CSA的大样本性质,并证明了Li(1987)意义下的渐近最优性。我们通过蒙特卡罗模拟和经验应用检查有限样本性能。
2021-07-13 econ.EM stat.ME
Bayesian Quantile Regression with Subset Selection: A Decision Analysis Perspective
从贝叶斯决策分析视角提出针对分位数回归的估计、不确定性量化与子集选择方法,引入以分位数为中心的平方误差损失实现高效闭式计算,在模拟和真实数据中显著提升了估计精度与变量选择表现。
2024-11-16 math.ST stat.AP stat.CO
Extended Comparisons of Best Subset Selection, Forward Stepwise Selection, and the Lasso
在令人兴奋的新工作中,Bertsimas等人(2016)表明,回归建模中的经典最佳子集选择问题可以用公式表示为混合整数优化(MIO)问题。利用MIO算法的最新进展,他们证明了最佳子集选择现在可以在统计界认为可能的更大的问题规模上得到解决。他们提出了最佳子集选择与其他流行的变量选择程序,特别是套索和向前逐步选择的实证比较。令人惊讶的是,他们的模拟表明,最佳子集选择在预测准确性方面始终优于这两种方法。在这里,我们提出了一个扩展的模拟集,以揭示更多的这些比较。总结大致如下:(a)最佳子集选择和套索都不均匀地支配另一个,最佳子集选择通常在高信噪比(SNR)状态下表现得更好,套索在低SNR状态下表现得更好;(b)最佳子集选择和前向逐步始终表现得非常相似;(三)放松套索(实际上,Meinshausen,2007年定义的原始松弛估计器的简化版本)是总的赢家,在低SNR场景中表现得与套索一样好,以及在高SNR情况下的最佳子集选择。
2017-07-29 stat.CO stat.ME
COMBSS: Best Subset Selection via Continuous Optimization
本文提出一种新颖的连续优化方法COMBSS,用于解决线性回归中的最佳子集选择问题,在特征数远超数千时仍能快速且高精度地找到最优特征子集。
2023-11-25 stat.CO stat.ME
Efficient Simulation Budget Allocation for Subset Selection Using Regression Metamodels
本研究考虑从有限集中选择最佳子集的排序与选择(R&S)问题。给定总的模拟预算约束,我们的目标是最大限度地正确选择前m个设计的概率。为了提高选择效率,我们将跨域的信息纳入回归元模型。在本研究中,我们假设每个设计的平均性能近似为二次型。为了更好地拟合该模型,我们将解空间划分为相邻的分区,使得在每个分区内可以满足二次假设。利用大偏差理论,提出了一种分区情况下的近似最优仿真预算分配规则。数值实验表明,该方法可以显著提高模拟效率。
2019-04-24 math.OC stat.ME
A Consistent and Scalable Algorithm for Best Subset Selection in Single Index Models
University of Science and Technology of China(中国科学技术大学);Sun Yat-Sen University(孙中山大学);National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
本文针对高维单指标模型中最佳子集选择的计算难处理性问题,提出一种可证明可扩展的算法,通过广义信息准则自动确定支撑集大小,并直接证明了子集选择一致性和oracle性质,仿真显示其计算高效且能精确恢复最佳子集。
2025-08-17 cs.LG stat.CO stat.ME
Finding Regression Outliers With FastRCS
残差同馀子集(RCS)是在线性回归环境中寻找异常值的一种新方法。像许多其他离群值检测过程一样,RCS搜索使标准最小化的子集。不同的是,新的标准被设计为对离群值不敏感。RCS支持FastRCS,快速回归和仿射等变算法,我们也详细介绍。广泛的仿真研究和两个实际数据应用表明,FastRCS性能优于其竞争对手。
2014-02-17 stat.ME
Best linear unbiased estimators in continuous time regression models
本文研究了连续时间回归模型的最佳线性无偏估计问题。我们证明了几个一般性声明的最佳线性无偏估计量(BLUE)的显式形式,特别是当误差过程是一个光滑的过程与一个或几个衍生物的响应过程可用于建设的估计。我们推导了许多特定模型的BLUE的显式形式,包括连续自回归误差的情况下,二阶和集成的错误过程(如集成布朗运动)。通过几个例子说明了结果。
2016-11-29 math.ST stat.ME stat.TH
Multi-Model Subset Selection
针对高维回归中稀疏方法可解释但精度低、集成方法精度高但黑盒的问题,提出兼具可解释性与高精度的多模型回归集成方法,拓展L0优化实现联合求解,在模拟与真实数据上性能优于现有方法,且算法已公开实现。
2024-10-30 stat.ME
Regularization Strategies for Quantile Regression
Google Research(谷歌研究院)
我们研究了不同的方法来正则化分位数回归时预测的一个子集的分位数或完整的逆CDF。我们表明,即使只预测一个特定的分位数时,最大限度地减少预期的弹球损失的连续分布的分位数是一个很好的正则化。对于预测多个分位数,我们建议通过使用将分位数视为单调输入特征的深度网格网络来实现非交叉分位数的经典目标,并且我们讨论了为什么其他特征的单调性是分位数回归的适当正则化器。我们表明,晶格模型使正则化的预测分布的位置-规模的家庭。最后,我们建议应用速率约束来改进特定兴趣子集上的分位数预测的校准,并提高公平性度量。我们展示了我们的贡献模拟,基准数据集,和真正的分位数回归问题。
2021-02-09 cs.LG stat.ME stat.ML
Efficient Gaussian Process Regression for Large Data Sets
高斯过程(GP)被广泛用于非参数回归,分类和时空建模,部分是由于丰富的文献的理论性质。然而,GP的一个众所周知的限制其使用的缺点是昂贵的计算,通常是O($n^3$),在执行必要的矩阵求逆时,$n$表示数据点的数量。在大型数据集中,数据存储和处理也会导致计算瓶颈,估计和预测值的数值稳定性会随着$n$而降低。为了解决这些问题,已经提出了各种各样的方法,最近的选择包括空间数据分析中的预测过程和机器学习中的回归量子集。这些方法的基本思想是使用数据的一个子集,导致对子集的敏感性和在估计未被子集很好覆盖的区域中的精细尺度结构的限制的问题。受压缩感知文献的启发,我们提出了一种将所有数据点随机投影到低维子空间的方法。我们证明了这种方法的优越性,从理论的角度来看,并通过使用模拟和真实数据的例子。一些关键词:贝叶斯;压缩感知;降维;高斯过程;随机投影;子集选择
2011-06-28 stat.ME
Best-Subset Selection in Generalized Linear Models: A Fast and Consistent Algorithm via Splicing Technique
Saw Swee Hock School of Public Health, National University of Singapore(新加坡国立大学杨潞龄公共卫生学院);Southern China Center for Statistical Science, Department of Statistical Science, School of Mathematics, Sun Yat-Sen University(中山大学数学学院统计科学系华南统计科学研究中心);Department of Statistics and Finance/International Institute of Finance, School of Management, University of Science and Technology of China(中国科学技术大学管理学院统计与金融系/国际金融研究院);School of Statistics and Information, Shanghai University of International Business and Economics(上海对外经贸大学统计与信息学院)
针对高维广义线性模型中的最优子集选择难题,本文提出一种基于拼接技术的快速且一致的算法,在保证多项式计算复杂度的同时,显著提升了变量选择与系数估计的准确性及运行速度。
2023-08-01 cs.LG stat.CO stat.ME
Cross-Leverage Scores for Selecting Subsets of Explanatory Variables
在标准回归问题中,我们有一组解释变量,它们对某些响应向量的影响是建模的。对于宽二进制数据,如遗传标记数据,我们通常有两个限制。首先,我们有比观察更多的参数。其次,主要效应不是主要焦点;相反,主要目的是揭示影响响应的二元变量之间的相互作用。逻辑回归等方法能够找到解释变量的组合,以捕捉响应中的高阶关系。然而,这些方法可以处理的解释变量的数量非常有限。为了解决这两个限制,我们需要在计算要求高的分析之前减少变量的数量。在本文中,我们证明了使用所谓的交叉杠杆分数作为一种手段的解释变量的采样子集,同时保留有价值的相互作用的有用性。
2021-09-17 stat.CO stat.ME
Regression calibration to correct correlated errors in outcome and exposure
测量误差通过各种机制产生。关于协变量测量误差引入的偏倚以及解决该偏倚的分析方法,存在丰富的文献。相比之下,对结果评估误差和非经典协变量测量误差的关注较少。我们考虑的回归校准方法的扩展设置在一个连续的结果,其中的错误可能与预后协变量或与协变量测量误差。该方法调整数据中的测量误差,并且可以应用于验证子集,在该验证子集上也观察到真实数据(例如,研究审计)或可靠性子集,其中可获得易出错测量的第二观察。对于每种情况下,我们提供的条件下,所提出的方法是可识别的,并导致回归参数的无偏估计。当可靠性子集上的第二测量没有误差或经典无偏测量误差时,所提出的方法是无偏的,即使当主要结果和感兴趣的暴露受到系统误差和随机误差的影响。我们研究的性能的方法与模拟各种测量误差的情况下和大小的可靠性子集。我们说明了该方法的应用程序使用的数据从妇女健康倡议饮食调整试验。
2018-11-26 stat.ME
Robust and sparse estimation methods for high dimensional linear and logistic regression
弹性网估计的完全鲁棒版本被引入线性和逻辑斯谛回归。计算估计量的算法是基于仅对数据子集重复应用非稳健经典估计量的思想。它示出了如何离群的自由子集可以有效地识别,以及如何适当的调整参数的弹性网处罚可以选择。最后的重新加权步骤提高了估计器的效率。仿真研究与非鲁棒和其他竞争的鲁棒估计,并揭示了新提出的方法的优越性。这也得到了合理的计算时间和实际数据示例中的良好性能的支持。
2017-03-15 stat.ME
DECOrrelated feature space partitioning for distributed sparse regression
当样本量或数据集的维数很大时,拟合统计模型在计算上是具有挑战性的。缩小问题规模的一种有吸引力的方法是首先将数据集划分为子集,然后使用分布式算法进行拟合。数据集可以水平(在样本空间中)或垂直(在特征空间中)分区。虽然大多数文献集中在样本空间划分,特征空间划分是更有效的时,$p\gg n$。然而,现有的分割特征的方法要么容易受到高相关性的影响,要么在降低模型维度方面效率低下。在本文中,我们解决了这些问题,通过一个新的分布式变量选择和参数估计的并行框架命名为DECO。在DECO中,变量首先被分区并分配给$m$分布式工作者。然后,通过为高维问题设计的任何算法来拟合每个工人中的去相关子集数据。我们表明,通过将去相关步骤,DECO可以实现一致的变量选择和参数估计的每个子集(几乎)没有假设。此外,收敛速度几乎是最小最大最优的稀疏和弱稀疏模型,并不依赖于分区数$m$。大量的数值实验来说明新框架的性能。
2016-02-12 cs.DC stat.CO stat.ME
Variable selection in linear regression models: choosing the best subset is not always the best choice
线性回归中的变量选择是一个讨论较多的问题。最佳子集选择(BSS)通常被认为是直观的“黄金标准”,其使用仅受其NP难性质的限制。诸如最小绝对收缩和选择操作符(Lasso)或弹性网(Enet)之类的替代方法已成为高维设置中的选择方法。最近的一项建议表示BSS作为一个混合整数优化问题,使更大的问题已经成为可行的合理的计算时间。我们提出了一个广泛的中性比较评估变量选择性能,在线性回归,BSS相比,向前逐步选择(FSS),拉索和Enet。模拟研究考虑了各种各样的设置,这些设置在维度(相对于观测和变量的数量),信噪比和预测因子之间的相关性方面具有挑战性。作为性能的主要衡量标准,我们对每种方法都使用了尽可能好的F1分数,以确保公平的比较,而不管选择调优参数的任何标准如何,结果都得到了替代性能指标的证实。令人惊讶的是,只有在信噪比高且变量(几乎)不相关的情况下,BSS才能可靠地优于其他方法,即使在低维环境中也是如此。此外,FSS的性能几乎与BSS相同。我们的研究结果揭示了新的光通常的假设BSS是,在原则上,变量选择的最佳选择。特别是对于相关变量,像Enet这样的替代方案更快,并且在实际设置中表现得更好。
2023-02-23 stat.ME
Automatic Response Category Combination in Multinomial Logistic Regression
我们提出了一种惩罚似然方法,同时适合多项逻辑斯谛回归模型,并结合子集的响应类别。当优化变量中的列对相等时,惩罚是不可微的。这鼓励估计量中的这些列成对相等,这对应于响应类别组合。我们使用交替方向乘子算法来计算估计量,并讨论了算法的收敛性。预测和模型选择也得到了解决。
2017-05-10 stat.ME stat.ML
Best Subset Selection via a Modern Optimization Lens
在过去的25年里(1990-2014),整数优化算法的进步与硬件的改进相结合,在解决混合随机优化(MIO)问题时,导致了惊人的2000亿因子加速。我们提出了一种MIO方法来解决经典的最佳子集选择问题的选择$k$的$p$功能在线性回归$n$的意见。我们开发了现代一阶连续优化方法的离散扩展,以找到高质量的可行解,我们使用它作为MIO求解器的热启动,找到可证明的最优解。由此产生的算法(a)提供了一个解决方案,保证其次优性,即使我们提前终止算法,(b)可以容纳侧约束的系数的线性回归和(c)扩展到寻找最佳子集的解决方案的最小绝对偏差损失函数。使用各种各样的合成和真实的数据集,我们证明了我们的方法解决问题的$n$在1000年代和$p$在100年代在几分钟内可证明的最优性,并找到接近最优的解决方案的$n$在100年代和$p$在1000年代在几分钟内。我们还建立通过数值实验,MIO方法比{ \texttt {Lasso}}和其他常用的稀疏学习程序,在实现稀疏的解决方案,具有良好的预测能力。
2015-07-11 math.OC stat.CO stat.ME
Valid inference for regression with best subset selection
Rice University(莱斯大学)
本文针对最佳子集选择后的回归推断问题,刻画了AIC选择事件的几何结构,提出有效的推断程序,提供名义水平的p值和有限样本覆盖的置信区间,并在实际数据中产生更合理的结论。
2026-09-09 stat.ME
Robust Best Subset Selection via Fast Approximate MM-Estimation
The University of Sydney(悉尼大学);Macquarie University(麦考瑞大学)
提出FAMM方法,通过全数据MM估计的权重进行加权最小二乘拟合,在保持模型选择性能的同时大幅降低计算成本。
2026-07-27 stat.ME
Subset Selection with Shrinkage: Sparse Linear Modeling when the SNR is low
我们研究了一个看似意想不到的和相对较少理解的过拟合方面的基本工具稀疏线性建模-最佳子集选择,最大限度地减少残差平方和的非零系数的数量的约束。虽然最佳子集选择过程通常被认为是稀疏学习中的“金标准”,当信噪比(SNR)高时,其预测性能下降时,SNR低。特别是,它优于连续收缩方法,如岭回归和Lasso。我们调查的最佳子集选择在高噪声制度的行为,并提出了一种替代方法的基础上,正则化版本的最小二乘准则。我们提出的估计器(a)在很大程度上减轻了高噪声状态下最佳子集选择的预测性能差;(b)相对于通过岭回归和Lasso获得的最佳预测模型,表现良好,同时通常提供更稀疏的模型。我们进行了广泛的理论分析所提出的方法的预测性能,并提供其优越的预测性能相对于最佳子集选择时,噪声水平高的理由。我们的估计可以表示为混合整数二阶锥优化问题的解决方案,因此,适合现代计算工具从数学优化。
2022-01-08 math.OC math.ST stat.CO
Robust subset selection
最佳子集选择(或“最佳子集”)估计器是稀疏回归的经典工具,过去十年数学优化的发展使其比以往任何时候都更易于计算。尽管最佳子集估计具有理想的统计特性,但它容易受到离群值的影响,并且在存在单个污染数据点的情况下可能会崩溃。为了解决这个问题,提出了一个强大的适应最好的子集,是高度耐污染的响应和预测。自适应估计器将子集选择的概念推广到预测器和观测值,从而实现除了稀疏性之外的鲁棒性。这个过程,被称为“鲁棒子集选择”(或“鲁棒子集”),是由一个组合优化问题,现代离散优化方法应用。形式上建立了估计量在其目标值的有限样本崩溃点方面的稳健性。为了支持这一结果,合成和真实数据的实验报告,证明了最好的子集在污染的存在下,强大的子集的优越性。重要的是,与流行的连续收缩估计的鲁棒自适应相比,鲁棒子集在几个指标上具有竞争力。
2022-01-10 stat.ME
Empirical best prediction of poverty indicators via nested error regression with high dimensional parameters
Eastern Kentucky University(东肯塔基大学);University of Maryland, College Park(马里兰大学帕克分校);University of Pisa(比萨大学)
本文提出一种高维参数嵌套误差回归模型,用于更准确地预测小区域贫困指标,通过高效算法和参数bootstrap方法提升预测精度和可靠性。
2026-03-10 stat.AP stat.ME
On the Use of Information Criteria for Subset Selection in Least Squares Regression
基于最小二乘(LS)的子集选择方法在线性回归建模中很流行。已知最佳子集选择(BS)是NP难的,并且具有随着预测器的数量呈指数增长的计算成本。最近,Bertsimas(2016)将BS公式化为混合整数优化(MIO)问题,并通过使用开发良好的优化求解器大大减少了计算开销,但当前的方法无法扩展到非常大的数据集。在本文中,我们提出了一种新的LS为基础的方法,最佳正交化子集选择(BOSS)的方法,它执行BS的正交化的基础上,有序的预测和规模很容易大的问题大小。在实践中应用基于LS的方法的另一个挑战是选择最佳子集大小k的选择规则。交叉验证(CV)需要多次拟合程序,并导致在重复应用于相同数据集时随机选择的k。与CV相比,信息准则只需要拟合一次程序,但它们需要拟合程序的有效自由度的知识,这对于复杂的方法通常是不可用的。由于BOSS使用正交化的预测器,我们首先探索BS与其拉格朗日公式之间的正交非随机预测器的联系(即,最小化残差平方和加上正则化参数与k的乘积),并且基于该连接提出可以经由基于分析的表达式估计的BOSS的启发式自由度(hdf)。我们在模拟和真实数据分析表明,BOSS使用建议的Kullback-Leibler为基础的信息标准AICc-hdf具有最强的性能的所有LS为基础的方法考虑,是有竞争力的正则化方法,与一个普通的LS拟合的计算工作。
2021-03-06 stat.AP stat.ME
Fast Robust Regression via Orthogonal Block Updates
Harvard Medical School(哈佛医学院);University of British Columbia(不列颠哥伦比亚大学)
提出基于块坐标下降的ROBU算法,通过低维变量块降低对清洁子样本的需求,高效计算MM估计量,在大量模拟和蛋白质组学数据中表现优于现有方法。
2026-06-26 stat.CO stat.ME
Weighted least squares regression with the best robustness and high computability
提出一种按残差大小指数降权的新加权最小二乘回归方法,兼具最高崩溃点稳健性、高于LTS的效率,并用一阶和二阶方法实现快速计算。
2023-12-08 stat.ME
Best Subset Solution Path for Linear Dimension Reduction Models using Continuous Optimization
本文针对高维数据中主成分分析和偏最小二乘的变量选择与可解释性问题,提出将最佳子集解路径方法与连续优化算法相结合,并通过模拟和两个真实数据集验证了方法的有效性。
2024-03-29 stat.CO stat.ME stat.OT
Resampling-Based Multisplit Inference for High-Dimensional Regression
本文提出了一种新的基于重采样的方法来构造高维线性回归中系数的任意假设子集的渐近精确检验。它可以嵌入到任何多重检验程序中,对相关预测变量进行置信度声明。该方法通过重复分割数据和变量选择技术为任何单个假设构建置换检验统计量;然后通过适当地聚合其变量的检验统计量来定义任何子集的检验。由此产生的过程是非常灵活的,因为它允许不同的选择技术和几个组合功能。我们以两种方式呈现:一个精确的方法和一个近似的方法,需要更少的内存使用和更短的计算时间,并且可以扩展到更高的维度。我们用模拟和真实基因表达数据的分析来说明该方法的性能。
2022-05-25 stat.ME
Markov Neighborhood Regression for High-Dimensional Inference
本文提出了一种新的方法,用于构造置信区间和评估p值的统计推断高维线性模型。该方法成功地将高维推理问题分解为一系列低维推理问题:对于每个回归系数$β_i$,根据相应变量$X_i$与其他变量之间的条件独立关系,选择一个变量子集进行回归,计算置信区间和$p$ -值。由于在由所有变量$X_1,X_2,\ldots,X_p$构成的马尔可夫网络中,变量的子集构成了$X_i$的马尔可夫邻域,因此该方法被称为马尔可夫邻域回归。所提出的方法进行了测试高维线性,逻辑回归和Cox回归。数值结果表明,所提出的方法显着优于现有的。基于Markov邻域回归,提出了一种高维线性模型因果结构学习方法,并将其应用于药物敏感基因和癌症驱动基因的识别。使用条件独立关系进行降维的思想是通用的,并且也可以潜在地扩展到其他高维或大数据问题。
2020-10-17 stat.ME
U-centering as subset ANOVA: edge regression and higher-order theory
Department of Statistics, Texas A&M University(德克萨斯农工大学统计系)
该研究提出高阶U中心化方法,将其解释为ANOVA残差化,可快速无偏估计距离协方差等的高阶统计量,提升了计算效率并得到经典Hoeffding方差分量估计量。
2026-11-06 math.ST stat.ME stat.TH
Best Subset Binary Prediction
我们考虑一个二元结果预测的变量选择问题。我们研究了最佳子集选择过程,通过最大化Manski(1975,1985)的最大得分目标函数的约束下,选择的协变量的最大数量。我们表明,这个过程可以等价地重新制定为解决一个混合整数优化问题,这使得计算的精确或近似解具有一定的近似误差界。根据理论结果,当潜在协变量的维数可能远大于样本量时,我们得到了非渐近的风险上、下界。当所选变量的最大数量固定且不随样本量增加时,我们的风险上限和下限是极大极小率最优的。我们通过蒙特卡罗模拟和工作行程交通方式选择的实证应用说明了最佳子集二进制预测方法的实用性。
2018-05-16 econ.EM stat.ME
Best Subset Selection: Statistical Computing Meets Quantum Computing
随着量子计算机的迅速发展,量子算法得到了广泛的研究。然而,解决统计问题的量子算法仍然缺乏。针对最佳子集选择问题,提出了一种新的非预言量子自适应搜索(QAS)方法。QAS的性能几乎与朴素最佳子集选择方法相同,但将其计算复杂度从$O(D)$降低到$O(\sqrt{D}\log_2D)$,其中$D=2^p$是$p$协变量上的子集总数。与现有的量子搜索算法不同,QAS不需要真解状态的预言信息,因此适用于各种具有随机观测的统计学习问题.从理论上证明了QAS在$O(\log_2D)$迭代中达到任意的成功概率$q \in (0.5, 1)$。当潜在的回归模型是线性的,我们提出了一个量子线性预测方法,比它的经典对应更快。为了避免现有量子计算系统的容量瓶颈,并通过多数表决提高QAS的成功概率,我们引入了一种量子-经典混合策略。这种策略的有效性是合理的理论分析和量子和经典计算机上的广泛的经验实验。
2021-07-18 stat.ME
Probabilistic Best Subset Selection via Gradient-Based Optimization
在高维统计中,变量选择从所有可能的协变量组合中恢复潜在的稀疏模式。本文提出了一种新的优化方法来解决精确的L0-正则化回归问题,这也被称为最佳子集选择。我们重新制定的优化问题从一个离散的空间到一个连续的概率重新参数化。新的目标函数是可微的,但它的梯度往往不能计算在一个封闭的形式。然后,我们提出了一个家庭的无偏梯度估计优化的最佳子集选择目标的随机梯度下降。在这个家庭中,我们确定一致最小方差的估计。在理论上,我们研究了保证该方法按期望收敛到地面真值的一般条件。该方法可以在几秒钟内从数千个协变量中找到真正的回归模型。在各种各样的合成和半合成数据,所提出的方法优于现有的变量选择工具的基础上放松处罚,坐标下降,混合整数优化稀疏模式恢复和样本预测。
2022-06-01 stat.ME
Best subset selection is robust against design dependence
最佳子集选择(BSS)被广泛认为是高维变量选择的圣杯。然而,BSS的NP难性在很大程度上限制了它的实际应用,也在一定程度上阻碍了它的理论发展,特别是在当前的大数据时代。本文研究了盲源分离算法在目标稀疏度大于或等于真实稀疏度时的变量选择性质。我们的主要信息是,BSS是强大的设计依赖性方面实现模型的一致性和一定的筛选,更重要的是,这种鲁棒性可以传播到计算有形的近最佳子集。具体来说,我们引入了一个可识别的边际条件,是免费的限制特征值,并表明这是充分的,几乎是必要的BSS,以准确地恢复真实的模型。这个条件的放松版本也足以使BSS实现确定的屏蔽属性。此外,考虑到优化误差,我们发现,所有建立的统计性质的确切的最佳子集结转到任何近最佳子集的残差平方和是足够接近的最好的。特别地,两阶段完全校正迭代硬阈值(IHT)算法可以证明在对数步长内找到稀疏的确定筛选子集;在该集合内的另一轮精确BSS可以恢复真实模型。仿真研究和实际数据的例子表明,IHT产生较低的错误发现率和较高的真阳性率的竞争方法,包括LASSO,SCAD和确定独立筛选(SIS),特别是在高度相关的设计。
2021-08-26 math.ST stat.ME stat.TH
Modelling stochastic time delay for regression analysis
在输入和输出之间具有随机时间延迟的系统提出了许多独特的挑战。时域噪声导致不规则的对齐,混淆关系并衰减推断的系数。为了应对这些挑战,我们引入了一个极大似然回归模型,将随机时间延迟视为时域中的“错误”。对于某些问题,通过对预测和时间误差进行建模,有可能超越传统模型。通过一个单变量问题的模拟实验,我们证明了普通最小二乘(OLS)回归显着改善的结果。
2021-11-11 stat.ME
Parameter Selection Algorithm For Continuous Variables
在这篇文章中,我们提出了一种新的监督学习算法,通过这种算法,人们既可以捕获数据中的非线性,也可以找到最佳子集模型。为了产生原始变量的增强子集,理想的选择方法应该具有添加补充水平的回归分析的潜力,该分析将通过预测因子的数学变换和对组合变量的协同效应的探索来捕获数据中的复杂关系。我们在这里提出的方法有可能产生一个最佳的变量子集,使整个过程的模型选择更有效。本文的核心目标是为经典的最小二乘回归框架引入一种新的估计技术。这种新的自动变量转换和模型选择方法可以提供最佳和稳定的模型,使均方误差和变异性最小化,同时结合所有可能的子集选择方法,并包括变量转换和相互作用。此外,这种新的方法控制多重共线性,导致一组最佳的解释变量。
2017-01-19 stat.AP stat.ME stat.ML
Fractional Ridge Regression
North Carolina State University(北卡罗来纳州立大学)
针对Lasso向零模型收缩的局限,提出分数岭回归(Fridge),仅惩罚部分系数,向非零目标模型收缩,以减少偏差、提升性能并保留子集选择优势。
2026-10-07 stat.ME
Optimal designs in regression with correlated errors
本文讨论了当观测值相依且取在区间上时,回归模型最优设计的确定问题。一个完整的解决方案,这个具有挑战性的最优设计问题给出了广泛的一类回归模型和协方差内核。我们提出了一类估计,这只是比普通的最小二乘估计稍微复杂。然后,我们证明,我们可以设计的实验,使渐近的新的估计达到相同的精度作为最好的线性无偏估计量计算的整个轨迹的过程。作为一个副产品,我们推导出明确的表达式的BLUE在连续时间模型和解析表达式的最优设计在广泛的一类回归模型。我们还表明,对于有限数量的观测的精度所提出的程序,其中包括估计和设计,是非常接近最好的实现。几个数值例子的结果进行了说明。
2015-02-24 stat.ME
Size and power properties of some tests in the Birnbaum-Saunders regression model
Birnbaum-Saunders分布已被非常有效地用于模拟疲劳材料的失效时间和模拟寿命数据。本文给出了Birnbaum-Saunders回归模型中似然比、Wald、score和梯度检验统计量的非零分布函数在Pitman替代序列下的渐近展开式,直到$n^{-1/2}$阶.所有四个统计量的渐近分布得到检验的回归参数的子集和检验的形状参数。蒙特卡罗模拟,以比较这些测试的有限样本性能。我们还提出了一个经验的应用。
2010-05-18 stat.ME
Selection of training populations (and other subset selection problems) with an accelerated genetic algorithm (STPGA: An R-package for selection of training populations with a genetic algorithm)
Michigan State University(密歇根州立大学)
最优子集选择是一个重要的任务,有许多算法为它设计,并有许多应用领域。STPGA包含一种特殊的遗传算法,该算法补充了禁忌记忆属性(跟踪先前尝试的解决方案及其多次迭代的适应度),并对解决方案编码的适应度进行回归,用于形成理想的估计解决方案(前瞻性),以搜索通用最优子集选择问题的解决方案。我已经初步开发了用于选择基因组预测或关联问题的训练群体的特定问题的程序,因此我讨论了最优实验设计背后的理论,以解释STPGA中的默认优化标准,并说明程序在这方面的用途。尽管如此,我还是选择了一些其他的应用领域:基于核比对的监督和非监督变量选择,有设计标准的监督变量选择,回归的有影响力的观察识别,解决混合整数二次优化问题,平衡育种群体中的增益和近亲繁殖。其中一些说明涉及新的统计方法。
2017-02-26 cs.LG q-bio.GN q-bio.QM