Minimax and Communication-Efficient Distributed Best Subset Selection with Oracle Property
University of Science and Technology of China(中国科学技术大学);Shanghai University of International Business Economics(上海对外经贸大学)
本文提出一种两阶段分布式最佳子集选择算法,通过活跃集估计和 $\ell_0$ 约束下的拼接技术,在实现 oracle 性质和极小化极大 $\ell_2$ 误差界的同时显著降低通信成本。
2024-08-30 cs.LG stat.ML
On the suboptimality of linear codes for binary distributed hypothesis testing
School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院)
研究二元分布式假设检验问题,探讨线性压缩方案,证明简单截断在特定情况是最佳线性方案,推测其对相反符号相关性是最佳线性码,还表明检验独立性时截断及线性码严格次优。
2026-07-13 cs.IT math.IT math.ST
Best Subset Selection in Reduced Rank Regression
针对降秩回归中的最佳子集选择模型,设计了一种新的算法。
2020-06-08 stat.ME
Extended Comparisons of Best Subset Selection, Forward Stepwise Selection, and the Lasso
在令人兴奋的新工作中,Bertsimas等人(2016)表明,回归建模中的经典最佳子集选择问题可以用公式表示为混合整数优化(MIO)问题。利用MIO算法的最新进展,他们证明了最佳子集选择现在可以在统计界认为可能的更大的问题规模上得到解决。他们提出了最佳子集选择与其他流行的变量选择程序,特别是套索和向前逐步选择的实证比较。令人惊讶的是,他们的模拟表明,最佳子集选择在预测准确性方面始终优于这两种方法。在这里,我们提出了一个扩展的模拟集,以揭示更多的这些比较。总结大致如下:(a)最佳子集选择和套索都不均匀地支配另一个,最佳子集选择通常在高信噪比(SNR)状态下表现得更好,套索在低SNR状态下表现得更好;(b)最佳子集选择和前向逐步始终表现得非常相似;(三)放松套索(实际上,Meinshausen,2007年定义的原始松弛估计器的简化版本)是总的赢家,在低SNR场景中表现得与套索一样好,以及在高SNR情况下的最佳子集选择。
2017-07-29 stat.CO stat.ME
Robust Best Subset Selection via Fast Approximate MM-Estimation
The University of Sydney(悉尼大学);Macquarie University(麦考瑞大学)
提出FAMM方法,通过全数据MM估计的权重进行加权最小二乘拟合,在保持模型选择性能的同时大幅降低计算成本。
2026-07-27 stat.ME
Robust subset selection
最佳子集选择(或“最佳子集”)估计器是稀疏回归的经典工具,过去十年数学优化的发展使其比以往任何时候都更易于计算。尽管最佳子集估计具有理想的统计特性,但它容易受到离群值的影响,并且在存在单个污染数据点的情况下可能会崩溃。为了解决这个问题,提出了一个强大的适应最好的子集,是高度耐污染的响应和预测。自适应估计器将子集选择的概念推广到预测器和观测值,从而实现除了稀疏性之外的鲁棒性。这个过程,被称为“鲁棒子集选择”(或“鲁棒子集”),是由一个组合优化问题,现代离散优化方法应用。形式上建立了估计量在其目标值的有限样本崩溃点方面的稳健性。为了支持这一结果,合成和真实数据的实验报告,证明了最好的子集在污染的存在下,强大的子集的优越性。重要的是,与流行的连续收缩估计的鲁棒自适应相比,鲁棒子集在几个指标上具有竞争力。
2022-01-10 stat.ME
COMBSS: Best Subset Selection via Continuous Optimization
本文提出一种新颖的连续优化方法COMBSS,用于解决线性回归中的最佳子集选择问题,在特征数远超数千时仍能快速且高精度地找到最优特征子集。
2023-11-25 stat.CO stat.ME
Best Subset Selection with Efficient Primal-Dual Algorithm
最佳子集选择被认为是许多稀疏学习问题的“黄金标准”。已经提出了各种优化技术来攻击这个非凸和NP难问题。本文研究了一类$\ell_0$ -正则化问题的对偶形式。一个有效的原始-对偶方法已开发的基础上的原始和对偶问题的结构。通过利用双距离估计以及增量策略,我们的算法潜在地减少了冗余计算,并提高了最佳子集选择的解决方案。理论分析和实验上的合成和真实世界的数据集验证了所提出的解决方案的效率和统计特性。
2022-07-05 stat.CO stat.ME stat.ML
Best Subset Selection: Statistical Computing Meets Quantum Computing
随着量子计算机的迅速发展,量子算法得到了广泛的研究。然而,解决统计问题的量子算法仍然缺乏。针对最佳子集选择问题,提出了一种新的非预言量子自适应搜索(QAS)方法。QAS的性能几乎与朴素最佳子集选择方法相同,但将其计算复杂度从$O(D)$降低到$O(\sqrt{D}\log_2D)$,其中$D=2^p$是$p$协变量上的子集总数。与现有的量子搜索算法不同,QAS不需要真解状态的预言信息,因此适用于各种具有随机观测的统计学习问题.从理论上证明了QAS在$O(\log_2D)$迭代中达到任意的成功概率$q \in (0.5, 1)$。当潜在的回归模型是线性的,我们提出了一个量子线性预测方法,比它的经典对应更快。为了避免现有量子计算系统的容量瓶颈,并通过多数表决提高QAS的成功概率,我们引入了一种量子-经典混合策略。这种策略的有效性是合理的理论分析和量子和经典计算机上的广泛的经验实验。
2021-07-18 stat.ME
Probabilistic Best Subset Selection via Gradient-Based Optimization
在高维统计中,变量选择从所有可能的协变量组合中恢复潜在的稀疏模式。本文提出了一种新的优化方法来解决精确的L0-正则化回归问题,这也被称为最佳子集选择。我们重新制定的优化问题从一个离散的空间到一个连续的概率重新参数化。新的目标函数是可微的,但它的梯度往往不能计算在一个封闭的形式。然后,我们提出了一个家庭的无偏梯度估计优化的最佳子集选择目标的随机梯度下降。在这个家庭中,我们确定一致最小方差的估计。在理论上,我们研究了保证该方法按期望收敛到地面真值的一般条件。该方法可以在几秒钟内从数千个协变量中找到真正的回归模型。在各种各样的合成和半合成数据,所提出的方法优于现有的变量选择工具的基础上放松处罚,坐标下降,混合整数优化稀疏模式恢复和样本预测。
2022-06-01 stat.ME
A Consistent and Scalable Algorithm for Best Subset Selection in Single Index Models
University of Science and Technology of China(中国科学技术大学);Sun Yat-Sen University(孙中山大学);National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
本文针对高维单指标模型中最佳子集选择的计算难处理性问题,提出一种可证明可扩展的算法,通过广义信息准则自动确定支撑集大小,并直接证明了子集选择一致性和oracle性质,仿真显示其计算高效且能精确恢复最佳子集。
2025-08-17 cs.LG stat.CO stat.ME
Best subset selection is robust against design dependence
最佳子集选择(BSS)被广泛认为是高维变量选择的圣杯。然而,BSS的NP难性在很大程度上限制了它的实际应用,也在一定程度上阻碍了它的理论发展,特别是在当前的大数据时代。本文研究了盲源分离算法在目标稀疏度大于或等于真实稀疏度时的变量选择性质。我们的主要信息是,BSS是强大的设计依赖性方面实现模型的一致性和一定的筛选,更重要的是,这种鲁棒性可以传播到计算有形的近最佳子集。具体来说,我们引入了一个可识别的边际条件,是免费的限制特征值,并表明这是充分的,几乎是必要的BSS,以准确地恢复真实的模型。这个条件的放松版本也足以使BSS实现确定的屏蔽属性。此外,考虑到优化误差,我们发现,所有建立的统计性质的确切的最佳子集结转到任何近最佳子集的残差平方和是足够接近的最好的。特别地,两阶段完全校正迭代硬阈值(IHT)算法可以证明在对数步长内找到稀疏的确定筛选子集;在该集合内的另一轮精确BSS可以恢复真实模型。仿真研究和实际数据的例子表明,IHT产生较低的错误发现率和较高的真阳性率的竞争方法,包括LASSO,SCAD和确定独立筛选(SIS),特别是在高度相关的设计。
2021-08-26 math.ST stat.ME stat.TH
Variable selection in linear regression models: choosing the best subset is not always the best choice
线性回归中的变量选择是一个讨论较多的问题。最佳子集选择(BSS)通常被认为是直观的“黄金标准”,其使用仅受其NP难性质的限制。诸如最小绝对收缩和选择操作符(Lasso)或弹性网(Enet)之类的替代方法已成为高维设置中的选择方法。最近的一项建议表示BSS作为一个混合整数优化问题,使更大的问题已经成为可行的合理的计算时间。我们提出了一个广泛的中性比较评估变量选择性能,在线性回归,BSS相比,向前逐步选择(FSS),拉索和Enet。模拟研究考虑了各种各样的设置,这些设置在维度(相对于观测和变量的数量),信噪比和预测因子之间的相关性方面具有挑战性。作为性能的主要衡量标准,我们对每种方法都使用了尽可能好的F1分数,以确保公平的比较,而不管选择调优参数的任何标准如何,结果都得到了替代性能指标的证实。令人惊讶的是,只有在信噪比高且变量(几乎)不相关的情况下,BSS才能可靠地优于其他方法,即使在低维环境中也是如此。此外,FSS的性能几乎与BSS相同。我们的研究结果揭示了新的光通常的假设BSS是,在原则上,变量选择的最佳选择。特别是对于相关变量,像Enet这样的替代方案更快,并且在实际设置中表现得更好。
2023-02-23 stat.ME
On best subset regression
本文讨论了\ell 0-范数约束回归中的变量选择问题,它等价于寻找一个固定大小的最佳子集问题。我们的研究集中在两个方面,一致性和计算。我们证明了在正则条件下,对于指数增长的维数,这种方法得到的稀疏估计能够渐近地保留所有重要变量。这表明最佳子集回归方法可以有效地将完整模型缩小到小于样本量的子模型,可以在随访研究中通过成熟的回归技术对此类病例进行分析。我们提供了一个迭代算法,称为正交子集选择(OSS),以解决最佳子集回归的计算问题。OSS是一种期望最大化算法,因此具有单调性。对于任何稀疏估计,OSS可以通过将其作为初始点来改善其模型的拟合。改进后的估计量保持了稀疏性。OSS的另一个吸引人的特征是,类似于连续优化问题的有效算法,如果初始点位于全局解的邻域中,OSS可以收敛到\ell 0-范数约束回归问题的全局解。本文还研究了OSS的加速算法及其与前向逐步选择的结合。仿真和一个实际的例子来评估所提出的方法的性能。
2012-12-04 stat.CO stat.ME stat.ML
Best Subset Solution Path for Linear Dimension Reduction Models using Continuous Optimization
本文针对高维数据中主成分分析和偏最小二乘的变量选择与可解释性问题,提出将最佳子集解路径方法与连续优化算法相结合,并通过模拟和两个真实数据集验证了方法的有效性。
2024-03-29 stat.CO stat.ME stat.OT
Subset Selection with Shrinkage: Sparse Linear Modeling when the SNR is low
我们研究了一个看似意想不到的和相对较少理解的过拟合方面的基本工具稀疏线性建模-最佳子集选择,最大限度地减少残差平方和的非零系数的数量的约束。虽然最佳子集选择过程通常被认为是稀疏学习中的“金标准”,当信噪比(SNR)高时,其预测性能下降时,SNR低。特别是,它优于连续收缩方法,如岭回归和Lasso。我们调查的最佳子集选择在高噪声制度的行为,并提出了一种替代方法的基础上,正则化版本的最小二乘准则。我们提出的估计器(a)在很大程度上减轻了高噪声状态下最佳子集选择的预测性能差;(b)相对于通过岭回归和Lasso获得的最佳预测模型,表现良好,同时通常提供更稀疏的模型。我们进行了广泛的理论分析所提出的方法的预测性能,并提供其优越的预测性能相对于最佳子集选择时,噪声水平高的理由。我们的估计可以表示为混合整数二阶锥优化问题的解决方案,因此,适合现代计算工具从数学优化。
2022-01-08 math.OC math.ST stat.CO
Better subset regression
为了寻找高维线性回归模型的有效筛选方法,研究了模型拟合与筛选性能之间的关系。在稀疏性假设下,我们证明了包含真实子模型的子集总是产生较小的残差平方和(即,具有更好的模型拟合)比在一般渐近设置中不具有的所有模型拟合。这表明,对于筛选重要变量,我们可以遵循“更好的拟合,更好的筛选”规则,即,选择一个具有更好模型拟合的“更好”子集。为了寻求这样一个更好的子集,我们考虑与最佳子集回归相关的优化问题。提出了一种搜索最佳子集的期望最大化算法--正交子集筛选法及其加速算法。虽然这两种算法不能保证它们产生的子集是最好的,但它们的单调性使得它们产生的子集比常用的筛选方法产生的初始子集具有更好的模型拟合性,从而使它们具有更好的渐近筛选性能。仿真结果表明,我们的方法是非常有竞争力的高维变量筛选,即使是有限的样本量。
2013-03-19 math.ST stat.CO stat.ME
Bayesian Set of Best Dynamic Treatment Regimes and Sample Size Determination for SMARTs with Binary Outcomes
序贯、多重分配、随机试验(SMART)的主要目标之一是找到最有效的设计嵌入动态治疗方案。被称为最佳多重比较(MCB)的分析方法允许在动态治疗方案之间进行比较,并在连续结果的频率论设置中确定一组最佳方案,从而直接解决SMART的主要目标。在本文中,我们开发了一个贝叶斯概括MCB的SMART与二进制的结果。此外,我们展示了如何选择样本量,以便以指定的功效筛选出劣质的嵌入式DTR。我们使用其精确分布比较不同DTR之间的对数几率,而不依赖于分析或功效计算中的渐近正态性。我们在两个SMART设计下进行了广泛的模拟研究,并说明了我们的方法在酒精和可卡因依赖适应性治疗(ENGAGE)试验中的应用。
2020-08-05 stat.AP stat.ME
What is the best predictor that you can compute in five minutes using a given Bayesian hierarchical model?
本文的目标是为统计学家提供一种方法来回答本文标题中提出的问题,使用他们选择的任何贝叶斯分层模型,而不施加额外的限制性模型假设。我们的动机是,"大数据“的兴起给统计人员直接将其方法应用于大数据集带来了困难。我们引入了一个“数据子集模型”流行的“数据模型,过程模型,参数模型”的框架,用于总结贝叶斯分层模型。数据子集模型的超参数被构造性地指定,因为它们被选择为使得子集的隐含大小满足预定义的计算约束。因此,这些超参数有效地将统计模型校准到计算机本身,以在预先指定的时间量内获得预测/估计。提供了数据子集模型的几个属性,包括:适当性,部分充分性和半参数属性。此外,我们还证明了正态分布数据的子集在合理的约束下是渐近部分充分的。模拟数据集的结果将在不同的计算机上显示,以显示计算机对统计分析的影响。此外,我们提供了两个不同的环境数据集的联合空间分析。
2019-12-10 stat.ME
Best Subset Selection via a Modern Optimization Lens
在过去的25年里(1990-2014),整数优化算法的进步与硬件的改进相结合,在解决混合随机优化(MIO)问题时,导致了惊人的2000亿因子加速。我们提出了一种MIO方法来解决经典的最佳子集选择问题的选择$k$的$p$功能在线性回归$n$的意见。我们开发了现代一阶连续优化方法的离散扩展,以找到高质量的可行解,我们使用它作为MIO求解器的热启动,找到可证明的最优解。由此产生的算法(a)提供了一个解决方案,保证其次优性,即使我们提前终止算法,(b)可以容纳侧约束的系数的线性回归和(c)扩展到寻找最佳子集的解决方案的最小绝对偏差损失函数。使用各种各样的合成和真实的数据集,我们证明了我们的方法解决问题的$n$在1000年代和$p$在100年代在几分钟内可证明的最优性,并找到接近最优的解决方案的$n$在100年代和$p$在1000年代在几分钟内。我们还建立通过数值实验,MIO方法比{ \texttt {Lasso}}和其他常用的稀疏学习程序,在实现稀疏的解决方案,具有良好的预测能力。
2015-07-11 math.OC stat.CO stat.ME
Cross-Leverage Scores for Selecting Subsets of Explanatory Variables
在标准回归问题中,我们有一组解释变量,它们对某些响应向量的影响是建模的。对于宽二进制数据,如遗传标记数据,我们通常有两个限制。首先,我们有比观察更多的参数。其次,主要效应不是主要焦点;相反,主要目的是揭示影响响应的二元变量之间的相互作用。逻辑回归等方法能够找到解释变量的组合,以捕捉响应中的高阶关系。然而,这些方法可以处理的解释变量的数量非常有限。为了解决这两个限制,我们需要在计算要求高的分析之前减少变量的数量。在本文中,我们证明了使用所谓的交叉杠杆分数作为一种手段的解释变量的采样子集,同时保留有价值的相互作用的有用性。
2021-09-17 stat.CO stat.ME
On sure early selection of the best subset
早期的解决方案路径,跟踪进入选择程序模型的前几个变量,对科学发现具有深远的重要性。在实践中,统计学上通常不可能确定所有重要特征而没有错误发现,更不用说测试其重要性的实验费用了。这种现实的限制要求统计保证模型选择器的早期发现。在本文中,我们专注于最佳子集选择(BSS)的早期解决方案的路径,其中的稀疏约束设置为低于{真实稀疏}。在稀疏的高维线性模型下,我们建立了盲源分离系统实现确定的早期选择或等价地实现早期路径上的零错误发现的充分和(近似)必要条件,该条件归结为最小投影信号裕度的一个下界,该下界表征了确定选择模型和错误发现模型之间捕获信号强度的差距.通过投影算子定义,该裕度与设计的受限特征值无关,表明BSS对共线性的鲁棒性。此外,我们的模型选择保证容忍合理的优化错误,因此适用于接近最佳的子集。最后,为了克服盲源分离在高维情况下的计算困难,我们提出了"筛选后选择"(STS)的降维策略。我们的数值实验表明,由此产生的早期路径表现出更低的错误发现率(FDR)比LASSO,MCP和SCAD,特别是在存在高度相关的设计。我们还调查了早期的路径的迭代硬阈值算法,这是贪婪的计算替代BSS,并产生可比的FDR作为我们的STS程序。
2022-11-18 math.ST stat.ME stat.TH
A Stability Framework for Parameter Selection in the Minimum Covariance Determinant Problem
本文提出基于稳定性的 MCD 模型选择框架,利用统计深度和集中步骤构建 bootstrap 程序评估最佳子集算法的不稳定性,以辅助子集大小选择,并在真实数据集上验证了其有效性。
2025-07-01 stat.CO stat.ME
Estimators of Binary Spatial Autoregressive Models: A Monte Carlo Study
本文的目标是提供一个连贯的描述和关键的比较文献中提出的空间二元选择模型的主要估计。这种估计的性质进行了研究,使用的理论和模拟研究。据作者所知,这是第一篇论文,提供了一个全面的蒙特卡罗研究的估计的性质。该模拟研究表明,吉布斯估计Le Sage(2000)在低空间自相关方面表现最好,而递归重要性采样器Beron & Vijverberg(2004)在高空间自相关方面表现最好。通过增加样本量获得相同的结果。最后,线性化的矩估计量的一般方法Klier & McMillen(2008)是最快的算法,可为低空间自相关和大样本量提供准确的估计。
2013-02-14 stat.ME
Simultaneous Best Subset Selection and Dimension Reduction via Primal-Dual Iterations
University of Science and Technology of China(中国科学技术大学);Yale University(耶鲁大学)
稀疏降秩回归是一种重要的统计学习方法。在当代文献中,估计通常被公式化为非凸优化,其在数值计算中经常产生局部最优。然而,他们的理论分析总是集中在全局最优,导致统计保证和数值计算之间的差异。在这项研究中,我们提供了一个新的算法来解决这个问题,并建立了一个几乎最优的算法解决方案。我们还证明了该算法实现了多项式迭代次数的估计。此外,我们提出了一个广义信息准则,同时确保支持集恢复和秩估计的一致性。在所提出的准则下,我们证明了我们的算法可以实现一个显着的概率的预言降秩估计。数值研究和在卵巢癌遗传数据中的应用证明了该方法的有效性和可扩展性。
2022-12-03 cs.LG math.ST stat.ME