Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的,但易于分析的监督学习模型。高斯过程由均值函数协方差函数(核)表征,它们由模型选择准则确定。要比较的函数不仅在参数化方面不同,而且在基本结构方面也不同。通常不清楚选择哪种函数结构,例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理,我们提出了一个模型选择框架,用于高斯过程回归的核排序。在我们的实验中,近似集编码有望成为一种模型选择标准,与最大证据(也称为边际似然)和留一交叉验证竞争。
2016-10-04 stat.ML
Model selection criteria for nonlinear mixed effects modeling
我们考虑通过基展开构造评价非线性混合效应模型的模型选择准则。混合效应模型中的均值函数和随机函数用基展开式表示,然后用极大似然法进行估计。为了选择基的个数,我们导出了评价用极大似然方法估计的非线性混合效应模型的贝叶斯模型选择准则。仿真结果表明了混合效应建模的有效性。
2014-02-24 stat.ME
Criteria for Bayesian model choice with application to variable selection
在客观贝叶斯模型选择中,没有一个单一的标准在定义客观先验分布时占主导地位。事实上,许多标准已经被单独提出并用于提出不同的优先选择。我们首先正式提出了各种标准中最普遍和最令人信服的标准,以及一个新的标准。然后,我们说明了这些标准在确定目标模型选择先验的潜力,考虑他们的应用程序的问题,在正常的线性模型的变量选择。这导致了一个新的模型选择目标,具有许多令人信服的属性。
2012-09-24 math.ST stat.TH
Optimal designs for nonlinear regression models with respect to non-informative priors
在非线性回归模型中,费舍尔信息依赖于模型的参数。因此,最大化信息矩阵的某些功能的最优设计不能直接实现,但需要一些关于未知参数的初步知识。贝叶斯最优性准则为这个问题提供了一个有吸引力的解决方案。这些标准敏感地依赖于模型参数的先验分布的合理规范,这可能不是在所有应用中都可用的。本文研究了无信息先验分布下的贝叶斯最优性准则。特别是,我们研究了Jeffreys和Berger-Bernardo先验,其相应的最优性准则不一定是凹的。几个例子进行了研究,最优设计相对于新的标准进行计算和比较贝叶斯最优设计的基础上统一和功能统一的先验。
2013-11-04 stat.ME
Consistent Bayesian Information Criterion Based on a Mixture Prior for Possibly High-Dimensional Multivariate Linear Regression Models
在多元线性回归模型的变量选择问题中,我们基于光滑分布和δ分布的混合先验,导出了新的贝叶斯信息准则。每一个都可以解释为赤池信息准则(AIC)和贝叶斯信息准则(BIC)的融合。继承了它们的渐近性质,我们的信息准则在大样本和高维渐近框架下的变量选择是一致的。在数值模拟中,基于我们的信息准则的变量选择方法在大多数情况下以高概率选择真实的变量集。
2022-08-19 math.ST stat.TH
Asymptotic Analysis of Model Selection Criteria for General Hidden Markov Models
本文得到了在实践中广泛使用的模型选择准则的渐近性质的分析结果-对于一般族的隐马尔可夫模型(Himalov),从而大大扩展了相关理论,超越了典型的i.i.d.例如模型结构,并填补了相关文献中的一个重要空白。特别是,我们看贝叶斯和赤池信息标准(BIC和AIC)和模型的证据。在嵌套类模型的设置中,我们证明了BIC和证据是强一致的,而AIC不是弱一致的。数值实验支持我们的理论结果。
2020-03-30 math.ST stat.ME stat.TH
Decoupling Shrinkage and Selection for the Bayesian Quantile Regression
本文将连续先验的解耦收缩和稀疏性思想推广到贝叶斯分位数回归(BQR)。该过程遵循两个步骤:在第一步中,我们收缩分位数回归后,通过国家的最先进的连续先验和在第二步中,我们稀疏后,通过一个有效的变体的自适应套索,信号自适应变量选择(SAVS)算法。我们提出了一个新的变体的SAVS自动选择的惩罚,通过分位数特定的损失函数,是有效的高维。我们在大规模的模拟表明,我们的选择过程降低了偏见,而不管数据中的真实的潜在稀疏程度,相比非稀疏回归后验。我们将我们的两步方法应用于高维风险增长(GaR)练习。保留非稀疏后验的预测准确性,同时产生可解释的分位数特定变量选择结果。我们的程序可用于向政策制定者传达哪些变量会导致宏观经济下行风险。
2021-07-18 econ.EM stat.ML
Type 2 Tobit Sample Selection Models with Bayesian Additive Regression Trees
University College Dublin(都柏林大学学院)
本文提出TOBART-2模型,通过在选择与结果方程中引入树的求和及Dirichlet过程混合分布,有效解决样本选择偏差并处理非线性与模型不确定性,提升了个体处理效应估计的准确性。
2025-11-02 econ.EM stat.ML
Towards new cross-validation-based estimators for Gaussian process regression: efficient adjoint computation of gradients
本文研究了用交叉验证法估计高斯过程的协方差函数的参数问题。我们建议使用新的交叉验证标准来自文学的评分规则。我们还提供了一个有效的方法来计算交叉验证标准的梯度。据我们所知,我们的方法是更有效的比在文献中提出的。它使得有可能降低联合评估留一法准则及其梯度的复杂性。
2020-08-06 stat.CO stat.ML
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法,以选择空间相关结构中的回归项和活动协变量。然后,我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择,从而提高预测。
2014-12-31 stat.ME
Bayesian model selection for linear regression
在这篇笔记中,我们介绍了线性回归与基函数,以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀,以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Deviance Information Criteria for Model Selection in Approximate Bayesian Computation
近似贝叶斯计算(ABC)是贝叶斯推断中使用统计汇总和计算机模拟的一类算法方法。ABC在进化遗传学和生物学的其他分支中变得流行。然而,在ABC算法下的模型选择在最近几年一直是激烈辩论的主题。在这里,我们提出了新的方法,模型选择的基础上后验预测分布和近似的偏差。我们认为,这个框架可以解决模型概率的计算和后验预测检查使用ABC后验分布之间的一些矛盾。人类DNA重测序数据集的模拟研究和分析表明,偏差标准导致明智的结果,在一些模型选择问题的兴趣,人口遗传学家。
2011-05-02 q-bio.PE stat.CO
A Variant of AIC based on the Bayesian Marginal Likelihood
我们提出的信息标准,衡量预测密度的预测风险的贝叶斯边际似然从频率论的角度来看。假设回归系数具有先验分布,我们推导出了线性回归模型中变量的选择准则。然后,我们讨论了所提出的标准和相关标准之间的关系。我们的方法有三个优点。首先,这是频率论和贝叶斯观点之间的妥协,因为它评估了贝叶斯模型的频率论风险。因此,它受先前错误指定的影响较小。其次,在选择真实模型时,标准具有一致性。第三,当为回归系数假设均匀先验时,得到的准则等价于Shi和Tsai(2002)的残差信息准则(RIC)。
2017-10-19 stat.ME
Scalable branch-and-bound model selection with non-monotonic criteria including AIC, BIC and Mallows's $\mathit{C_p}$
Life and Medical Sciences (LIMES) Institute and Bonn Center for Mathematical Life Sciences, University of Bonn(波恩大学生命与医学科学研究所及数学生命科学波恩中心)
本文提出了一种基于分支限界算法的可扩展模型选择方法,适用于非单调信息标准,如AIC、BIC和Mallows的C_p,实现了显著的计算加速。
2025-12-13 q-bio.QM stat.ME stat.ML
Bayesian Group Selection in Logistic Regression with Application to MRI Data Analysis
本文研究协变量为组结构的贝叶斯逻辑斯谛回归模型。在高维环境中,通常假设只有一小部分组是重要的,因此一致的组选择是非常重要的。虽然一致频率论的组选择方法已经被提出,但逻辑斯谛回归模型的贝叶斯组选择方法的理论性质还没有被研究。本文研究了高维环境下逻辑斯谛回归模型的分层组spike和slab先验。在温和的条件下,我们建立了诱导后验的强组选择一致性,这是贝叶斯文献中的第一个理论结果。通过仿真研究,我们证明了所提出的方法的性能优于现有的国家的最先进的方法在各种设置。我们进一步将我们的方法应用于预测帕金森病的MRI数据集,并显示其优于其他竞争者的优势。
2019-12-04 stat.ME
BNSP: an R Package for Fitting Bayesian Semiparametric Regression Models and Variable Selection
R包BNSP为半参数位置-尺度回归和随机搜索变量选择提供了一个统一的框架。该软件包所基于的统计方法学利用基函数展开来表示均值和方差函数中的半参数协变量效应,并利用尖峰-平板先验来执行估计效应的选择和正则化。除了执行后验采样的主函数外,该软件包还包括用于评估采样器收敛性、汇总模型拟合、可视化协变量效应以及获得给定特征/协变量向量的新响应或其均值的预测的函数。
2018-10-08 stat.OT
Robust Bayesian Nonparametric Variable Selection for Linear Regression
钉板和马蹄回归可以说是最流行的贝叶斯变量选择方法的线性回归模型。然而,如果数据中存在离群值和异方差,则其性能可能会恶化,这是许多现实世界统计和机器学习应用中的常见特征。在这项工作中,我们提出了一个贝叶斯非参数方法线性回归,执行变量选择,同时考虑离群值和异方差。我们提出的模型是一个狄利克雷过程尺度混合模型的优点,我们可以得到完整的条件分布的所有参数在封闭的形式,从而产生一个有效的吉布斯采样后验推理的一个实例。此外,我们提出了如何扩展模型,以考虑重尾的响应变量。该模型的性能进行了测试,对竞争算法的合成和真实世界的数据集。
2022-10-19 stat.ME
Penalized Likelihood and Bayesian Function Selection in Regression Models
各个领域的研究推动了高维预测变量回归模型变量选择方法的广泛进步。相比之下,选择非线性函数的模型与添加剂预测最近才被认为是。几个相互竞争的建议几乎是同时提出的,而且往往互不相关。本文提供了一个国家的最先进的审查功能选择,侧重于惩罚似然和贝叶斯的概念,在一个统一的框架中相互关联的各种方法。在实证比较中,也包括提升,我们通过应用程序来评估几种方法,模拟和真实数据,从而提供一些指导,在实践中的性能。
2013-03-04 stat.ME
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法,其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看,所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式,并指定条件的先验,这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
A novel Bayesian approach for variable selection in linear regression models
针对多元线性回归模型中的变量选择问题,提出了一种新的贝叶斯方法。特别是,我们提出了一个分层设置,它允许直接规范的先验信念的数量非零回归系数以及指定的信念,给定的系数是非零的。为了保证数值稳定性,我们采用了一个$g$事先与一个额外的岭参数的未知回归系数。为了从联合后验分布中进行模拟,提出了一种能够在不同模型间切换的智能随机游动梅特罗波利斯-黑斯廷斯算法。在真实和模拟数据上测试我们的算法表明,它的性能至少与其他成熟的方法相当,甚至更好。最后,我们证明了在一些名义假设下,所提出的方法是一致的模型选择。
2019-03-13 stat.CO stat.ME
Bayesian Model Selection for Misspecified Models in Linear Regression
虽然贝叶斯信息准则(BIC)和赤池信息准则(AIC)是线性回归中模型选择的强大工具,但它们建立在不同的先验假设上,因此适用于不同的数据生成场景。我们表明,在有限维的情况下,他们各自的假设可以统一在一个增广的模型加噪声空间,并在这个空间中构建一个先验继承了AIC和BIC的有益特性。这使我们能够调整BIC,使其对信噪比较低的错误指定模型具有鲁棒性。
2017-12-14 stat.ME
Variable Selection Consistency of Gaussian Process Regression
贝叶斯非参数回归下的重标高斯过程先验提供了平滑自适应函数估计与近极小极大最优差错率。这种方法的分层扩展,配备了随机变量选择,也适应于未知的内在尺寸的稀疏真正的回归函数。但目前还不清楚这种扩展是否提供了变量选择的一致性,即,如果重要变量的真实子集可以从数据中一致地学习。它在这里示出,变量的一致性确实可以实现与这样的模型,至少当真正的回归函数具有有限的平滑度,以引起一个多项式更大的惩罚列入假阳性预测。我们的结果涵盖了高维渐近设置的预测维度是允许增长的样本量。证明利用施瓦茨理论建立错误选择的后验概率渐近消失。一个必要的和具有挑战性的技术发展涉及提供尖锐的上限和下界小球概率在所有重新缩放水平的高斯过程之前,一个结果,可能是独立的利益。
2020-12-12 math.ST stat.ME stat.TH
Methods and Tools for Bayesian Variable Selection and Model Averaging in Univariate Linear Regression
在本文中,我们简要回顾了回归模型中变量选择的背景下,贝叶斯方法的模型选择和模型平均的应用有关的主要方法学方面。这包括先前的启发,总结的后验分布和计算策略。然后,我们检查和比较各种公开的{ \tt R}-软件包的实际实现,总结和解释软件包之间的差异,并为应用用户提供建议。我们发现,所有的软件包审查导致非常相似的结果,但有潜在的重要差异的灵活性和效率的包。
2016-12-07 stat.CO
Bayesian Region Selection and Prediction in Poisson Regression with Spatially Dependent Global-Local Shrinkage Prior
Yale School of Public Health(耶鲁大学公共卫生学院);University of Arizona(亚利桑那大学)
本文提出一种新的全局-局部收缩先验,用于泊松回归中空间变量的选择与预测,结合条件自回归先验和超重尾先验,以处理空间依赖性和稀疏结构,提升预测精度。
2026-05-06 stat.AP stat.ME
Consistency of modified versions of Bayesian Information Criterion in sparse linear regression with subgaussian errors
我们考虑一个稀疏的线性回归模型,当可用的预测,$p$,是远远大于样本量,$n$,和非零系数的数量,$p_0$,是小的。在这种情况下,我们不能使用经典的模型选择标准来选择回归模型。近年来,已经提出了特殊的方法来处理这类问题,例如贝叶斯信息准则的修改版本,如mBIC或mBIC 2。结果表明,这些标准是一致的假设下,$n$和$p$以及$p_0$趋于无穷大和误差项是正态分布。本文在误差项为次高斯随机变量的假设下证明了mBIC和mBIC 2的相合性。
2018-05-29 math.ST stat.TH
Bayesian Variable Selection for Cox Regression Model with Spatially Varying Coefficients with Applications to Louisiana Respiratory Cancer Data
Cox回归模型是生存分析中常用的模型。在公共卫生研究中,临床数据通常从不同地点的医疗服务提供者收集。协变量对特定疾病生存率的影响存在很大的地理差异。本文研究了空间变系数Cox回归模型的变量选择问题。我们提出了一个贝叶斯分层模型,它采用了马蹄事先稀疏和点质量混合之前,以确定是否回归系数是空间变化的。一个有效的两阶段计算方法用于后验推理和变量选择。它本质上是应用现有的方法来最大化部分的Cox模型的独立的网站第一,然后应用MCMC算法的变量选择的基础上的第一阶段的结果。进行了广泛的模拟研究,以检查所提出的方法的经验性能。最后,我们应用所提出的方法来分析一个真实的数据集呼吸道癌症在路易斯安那州的SEER计划。
2021-07-28 stat.AP
Selective Regression Under Fairness Criteria
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
选择性回归允许在没有足够的信心做出准确预测时避免预测。一般来说,通过允许拒绝选项,人们期望回归模型的性能以减少覆盖率为代价增加(即,通过在较少的样本上进行预测)。然而,正如我们所展示的,在某些情况下,当我们减少覆盖范围时,少数子组的表现会下降,因此选择性回归会放大不同敏感子组之间的差异。出于这些差异,我们提出了新的选择性回归的公平标准,要求每个子组的性能,以提高覆盖率的下降。我们证明,如果一个功能表示满足充分性标准或校准的均值和方差,比建议的公平性标准是符合的。此外,我们引入了两种方法来减轻子组之间的性能差异:(a)通过正则化条件互信息的上界高斯假设和(b)通过正则化条件均值和条件方差预测的对比损失。这些方法的有效性证明了合成和真实世界的数据集。
2022-07-14 cs.LG stat.ML
Fast Fair Regression via Efficient Approximations of Mutual Information
Gradient Institute(梯度研究所)
迄今为止,大多数关于算法公平性的工作都集中在离散的结果上,比如决定是否给某人贷款。在这些分类设置中,群体公平标准,如独立性,分离和充分性,可以直接通过比较子群体之间的结果率来衡量。然而,许多重要的问题需要预测实际值的结果,例如风险评分或保险费。在这样的回归设置中,测量组公平性标准在计算上是具有挑战性的,因为它需要估计条件概率密度函数之间的信息理论分歧。本文介绍了快速近似的独立性,分离性和充分性组的公平性标准的回归模型,从他们的(条件)互信息定义,并使用这种近似作为正则化的风险最小化框架内执行公平性。在真实世界的数据集上的实验表明,尽管其优越的计算效率,我们的算法仍然显示出最先进的准确性/公平性权衡。
2020-02-14 cs.LG stat.ML
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University(西安交通大学);State Key Laboratory of Management and Control for Complex Systems(复杂系统管理与控制国家重点实验室)
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量,稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择,这通常具有很高的计算代价。近年来,提出了许多改进的近似子集选择方法。然而,非近似的子集选择方法却很少受到关注,而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题,给出了条件不相关性的计算公式。在此基础上,提出了一种有效的非近似子集选择方法,该方法不需要计算回归方程中的任何系数。通过该方法,稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大,因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Regression Trees and Random forest based feature selection for malaria risk exposure prediction
Université d’Abomey-Calavi(阿波美卡拉维大学);Université Paris 1 Panthéon Sorbonne(巴黎第一大学(先贤祠-索邦大学))
本文讨论了利用环境和气候变量预测疟疾风险的主要媒介按蚊数量。变量的选择是基于一个自动的机器学习方法,使用回归树,随机森林结合分层两级交叉验证。使用变量重要性的二次距离来访问变量重要性的最小阈值,同时使用所选变量的最优子集来执行预测。最后,结果显示,在选择,预测和CPU时间的观点比GLM-Lasso方法得到的定性更好。
2016-06-24 cs.LG stat.ML
Feature selection algorithm based on Catastrophe model to improve the performance of regression analysis
University of California San Francisco(加州大学旧金山分校)
在本文中,我们介绍了一种新的特征选择算法,以消除不相关的或冗余的数据集的功能。在该算法中,特征的重要性基于其对突变模型的拟合。赤池信息标准值用于对数据集中的特征进行排序。该算法与著名的RELIEF特征选择算法进行了比较。乳腺癌,帕金森远程监测数据和切片局部数据集被用来评估模型。
2017-04-21 cs.LG stat.ML
Robust Regression via Online Feature Selection under Adversarial Data Corruption
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学);U. S. Army Corps of Engineers(美国陆军工程兵团)
用户生成的流数据(如社交媒体)中存在数据损坏,这激发了一个新的基本问题,即当特征不能一次完全访问时,学习可靠的回归系数。到目前为止,几个重要的挑战仍然无法同时处理:1)当只有部分特征可访问时,损坏的数据估计; 2)当数据包含对抗性损坏时,在线特征选择;以及3)扩展到大规模数据集。本文提出了一种新的RObust回归算法通过在线特征选择(\textit{RoOFS}),同时解决所有上述挑战。具体地说,该算法通过一个强大的在线特征替换方法迭代地更新回归系数和未损坏的集合。我们还证明了我们的算法有一个有限的误差界相比,最优解。在合成数据集和真实数据集上的大量实验表明,该方法在恢复特征选择和回归系数方面均优于现有方法,具有非常有竞争力的效率.
2019-02-05 cs.LG stat.ML
Supervised feature selection with orthogonal regression and feature weighting
有效的特征可以提高模型的性能,从而帮助我们理解复杂数据的特征和底层结构。以往的特征选择方法通常不能保留更多的局部结构信息。为了解决上述缺陷,我们提出了一种新的监督正交最小二乘回归模型与特征加权特征选择。目标函数的优化问题可以通过广义幂迭代(GPI)和增广拉格朗日乘子(ALM)方法求解。实验结果表明,与传统的特征选择方法相比,该方法能更有效地降低特征维数,获得更好的分类结果。证明了该迭代法的收敛性。理论和实验验证了该方法的有效性和优越性。
2019-10-09 cs.LG stat.ML
Choosing the Number of Topics in LDA Models -- A Monte Carlo Comparison of Selection Criteria
University of Lodz(罗兹大学);Justus Liebig University Giessen(吉森尤斯图斯·李比希大学)
选择LDA模型中的主题数量被认为是一项艰巨的任务,为此已经提出了替代方法。最近开发的奇异贝叶斯信息准则(sBIC)的性能进行评估和比较的性能替代模型选择标准。sBIC是标准BIC的推广,可以实现到奇异统计模型。比较是基于蒙特卡洛模拟和进行了几种替代设置,不同的主题,文档的数量和文档的大小在语料库中。绩效的衡量使用不同的标准,这些标准考虑到了主题的正确数量,但也考虑到了是否确定了指导原则中的相关主题。最后给出了LDA模型选择的实用建议。
2023-02-15 cs.CL cs.LG stat.ML
Integration of Feature Selection Techniques using a Sleep Quality Dataset for Comparing Regression Algorithms
Manipal Academy Of Higher Education (MAHE)(马尼帕尔高等教育学院(MAHE))
本研究的目的是检验将各种特征选择方法与回归算法相结合用于睡眠质量预测的有用性。公开可访问的睡眠质量数据集用于分析不同特征选择技术对四种回归算法-线性回归、岭回归、Lasso回归和随机森林回归器-的性能的影响。比较结果以确定特征选择技术和回归算法的最佳组合。该研究结论丰富了目前关于使用机器学习进行睡眠质量预测的文献,对个人个性化睡眠建议具有实际意义。
2023-03-04 cs.LG
A Multi-criteria Approach for Fast and Outlier-aware Representative Selection from Manifolds
University of Central Florida(中佛罗里达大学)
代表性选择的问题相当于从大型数据集中抽取少量信息样本。本文介绍了MOSAIC,一种新的代表性选择方法,从高维数据,可能表现出非线性结构。依靠一种新的二次公式,我们的方法提出了一种多标准选择方法,最大限度地提高了采样子集的全局表示能力,确保多样性,并通过有效地检测离群值拒绝破坏性信息。通过理论分析,我们所得到的草图的特点,并揭示了采样的代表最大限度地提高了一个定义良好的概念,数据覆盖在一个变换的空间。此外,我们提出了一个高度可扩展的随机实现所提出的算法,带来大幅加速。MOSAIC的优越性,同时表现出显着的鲁棒性,以各种离群值类型的代表性子集的所需的特性,通过大量的实验进行了证明真实的和合成数据与国家的最先进的算法比较。
2020-03-12 cs.LG eess.SP stat.ML
A Survey of Tuning Parameter Selection for High-dimensional Regression
School of Statistics, University of Minnesota(明尼苏达大学统计学院)
惩罚(或正则化)回归,如Lasso及其变体所代表的,已经成为当变量数量大大超过样本量时分析高维数据的标准技术。惩罚回归的性能关键取决于调整参数的选择,调整参数决定了正则化的数量,从而决定了拟合模型的稀疏程度。调谐参数的最佳选择取决于设计矩阵的结构和未知的随机误差分布(方差、尾部行为等)。本文从理论和实践两个方面综述了高维回归中调整参数选择的研究现状。我们讨论了选择调整参数以实现预测精度或支持恢复的各种策略。我们还回顾了最近提出的几种无调谐高维回归方法。
2019-08-10 cs.LG stat.ME stat.ML
Shap-Select: Lightweight Feature Selection Using SHAP Values and Regression
Wise Plc(Wise公司)
针对高维数据下的特征选择需求,提出新型框架shap-select,通过验证集上特征Shapley值对目标的回归系数实现启发式选择,在Kaggle欺诈数据集上表现优于多种成熟方法,兼顾可解释性、效率与性能。
2024-10-09 cs.LG
Feature Selection for Ridge Regression with Provable Guarantees
Paypal Inc.(贝宝公司);Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们引入单集光谱稀疏作为一个确定性的采样为基础的特征选择技术的正则化最小二乘分类,这是分类模拟岭回归。该方法是无监督的,并给出了最坏情况下的分类功能的泛化能力的保证后,相对于使用所有功能获得的分类功能的特征选择。我们还介绍了无监督的随机特征选择方法的岭回归的评分抽样。我们提供了风险界单集频谱稀疏和采样分数采样岭回归在固定的设计设置,并表明,在采样空间的风险是可比的全功能空间的风险。我们在合成和真实世界的数据集上进行实验,即TechTC-300数据集的一个子集,以支持我们的理论。实验结果表明,该方法的性能优于现有的特征选择方法。
2015-12-05 cs.IT cs.LG math.IT
Multiple-criteria Based Active Learning with Fixed-size Determinantal Point Processes
City University of Hong Kong(香港城市大学);The Hong Kong Polytechnic University(香港理工大学)
主动学习的目标是通过选择最有用的数据样本来学习,从而用更少的训练数据实现更高的准确性。基于单一标准的方法(即,基于信息性和代表性的方法)是简单和有效的;然而,它们缺乏对不同现实世界场景的适应性。在本文中,我们介绍了一种基于多准则的主动学习算法,它包含三个互补的准则,即,信息性、代表性和多样性,在不同数据类型下的主动学习轮次中做出适当的选择。我们把选择过程看作是一个决定性的点过程,在这些准则之间取得了很好的平衡.我们通过选择最难的未标记数据样本和偏向更适合当前数据分布的分类器来改进查询选择策略。此外,我们还考虑这些数据点之间的依赖关系和关系,在数据选择的基于质心的聚类方法。通过对合成数据集和真实数据集的评估,我们表明,我们的方法比其他基于多准则的AL算法表现得更好,更稳定。
2021-07-04 cs.LG
Information criteria for structured parameter selection in high dimensional tree and graph models
Université libre de Bruxelles(布鲁塞尔自由大学)
本文针对高维模型中参数选择易产生假阳性过估计的问题,提出在假阳性和假阴性间取得平衡的改进信息准则,为无收缩估计量开发了适用于树和图模型结构化选择的校正Mallows's Cp准则。
2023-06-24 cs.LG math.ST stat.TH
A Comparative Study of Model Selection Criteria for Symbolic Regression
Aarhus University(奥胡斯大学);Heuristic and Evolutionary Algorithms Laboratory (HEAL)(启发式和进化算法实验室);Federal University of ABC(巴西联邦大学ABC分校);University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学);University of Modena(摩德纳大学);Reggio Emilia Department of Physics, Informatics(雷吉奥艾米利亚物理与信息学系)
本文通过七个合成数据集比较了多种模型选择标准,发现MDL在多数情况下能识别测试误差低且长度短的模型,MDL和BIC在选择真实表达式方面表现最佳。
2026-05-11 cs.LG
L1 logistic regression as a feature selection step for training stable classification trees for the prediction of severity criteria in imported malaria
École Centrale Paris(巴黎中央理工学院);Institut HyperCube(超立方体研究所);Hopital Bichat-Claude Bernard(比沙-克洛德·贝尔纳医院)
使用解释性和预测性模型的多变量分类方法是必要的,根据他们的风险特征来表征患者的亚组。流行的方法包括逻辑回归和分类树,其性能根据数据集的性质和特征而变化。在输入性疟疾的背景下,我们的目的是根据异质性患者人群的严重程度标准进行分类。我们研究了这些方法,通过实施两种不同的策略:L1逻辑回归(L1 LR),模型一个单一的全球解决方案和分类树,模型多个本地解决方案对应的判别子区域的特征空间。对于每种策略,我们建立了一个标准的模型,和一个稀疏的版本。作为一种替代修剪,我们探索了一种有前途的方法,首先约束树模型与L1 LR为基础的特征选择,一种方法,我们称之为L1 LR树。其目的是通过删除与不稳定的局部现象相对应的变量,减少其易受小数据变化影响的程度。我们的研究是双重的:i)从方法学的角度,比较以往三种方法,即L1 LR、分类树和L1 LR-Tree,在严重输入性疟疾分类方面的表现和稳定性,和ii)从应用的角度来看,通过确定更加个性化的特征,根据临床诊断排除的变量预测几种临床标准,疾病的定义。主要的方法学结果表明,组合方法L1 LR树建立稀疏和稳定的模型,显着预测不同的严重性标准,并优于所有其他方法的准确性。
2015-11-20 cs.LG q-bio.QM stat.AP
Automated Constitutive Model Discovery by Pairing Sparse Regression Algorithms with Model Selection Criteria
Institute of Applied Mechanics, Division Data-Driven Modeling of Mechanical Systems, Technische Universität Braunschweig(应用力学研究所,数据驱动机械系统建模 division,勃兰登堡工业大学);Computational Mechanics Group, Eidgenössische Technische Hochschule Zürich(计算力学组,瑞士苏黎世联邦理工学院)
本文提出了一种自动化框架,通过结合稀疏回归算法与模型选择标准,实现对各向同性和各向异性材料构成模型的高效发现。
2025-11-27 cond-mat.mtrl-sci cs.CE cs.LG
Convex Online Video Frame Subset Selection using Multiple Criteria for Data Efficient Autonomous Driving
IIT Kharagpur(印度理工学院克勒格布尔分校);Hewlett Packard Enterprise(慧与科技公司)
基于视觉的城市自动驾驶模型训练是一个具有挑战性的问题,是近年来研究的热点。训练这种模型是一项数据密集型任务,需要存储和处理大量(可能是冗余的)驾驶视频数据。在本文中,我们研究了开发数据高效的自动驾驶系统的问题。在此背景下,我们研究了多准则在线视频帧子集选择问题。我们研究凸优化为基础的解决方案,并表明,他们无法提供解决方案,高权重的损失选定的视频帧。我们设计了一种新的凸优化的多准则在线子集选择算法,使用一个阈值凹函数的选择变量。我们还提出并研究了一个基于子模块优化的算法。使用驾驶模拟器CARLA进行的大量实验表明,我们能够丢弃80%的帧,同时成功完成100%的w.r.t.集。该模型在100%的数据上训练,在最困难的轮流任务中。这导致与整个数据集的训练相比,训练时间不到30%。我们还进行了详细的实验预测性能的各种启示所使用的条件示能表示学习(CAL)模型,并表明我们的子集选择提高性能的关键示能表示“相对角度”在转弯。
2021-03-24 cs.CV cs.LG
Integrating feature selection and regression methods with technical indicators for predicting Apple Inc. stock prices
Birjand University of Technology(比尔詹德理工大学);Yazd University(亚兹德大学)
本研究利用苹果公司13年数据,结合123个技术指标与10种回归模型,通过特征选择显著提升股价预测精度,最佳组合为3天窗口下线性回归与岭回归,MSE为0.00025。
2025-10-15 cs.LG q-fin.ST
Adaptive Parameter Selection for Kernel Ridge Regression
Xi'an Jiaotong University(西安交通大学)
针对核岭回归的参数选择难题,本文利用其谱性质和Lepskii型原则提出早停式自适应策略,并在学习理论框架下证明其可达到最优学习率且适应不同范数。
2023-12-10 cs.LG math.ST stat.TH
Multiple-output support vector regression with a firefly algorithm for interval-valued stock price index forecasting
股票价格指数的高度准确的区间预测是在做出投资决策时成功获利的基础,它提供了一系列的值,而不是一个点估计。在这项研究中,我们研究的可能性,预测一个区间值的股票价格指数序列在短期和长期的视野,使用多输出支持向量回归(MSVR)。此外,本研究提出了一种萤火虫算法(FA)为基础的方法,建立在已建立的MSVR,用于确定参数的MSVR(简称FA-MSVR)。三个全球交易的广泛的市场指数被用来比较所提出的FA-MSVR方法与选定的同行的性能。定量和全面的评估是在统计标准,经济标准和计算成本的基础上进行的。在统计准则方面,我们比较了样本外预测的预测优度的措施和测试方法。在经济标准方面,我们用一个简单的交易策略来评估相对的预测表现。在这项研究中得到的结果表明,建议FA-MSVR方法是一个很有前途的替代预测区间值金融时间序列。
2014-01-09 cs.CE cs.LG q-fin.ST
Multi-Criteria Client Selection and Scheduling with Fairness Guarantee for Federated Learning Service
University of Memphis(孟菲斯大学);Shenzhen University(深圳大学)
针对联邦学习中的客户端选择与调度问题,提出一种多准则公平性保证方案,通过两阶段贪心与启发式算法,在预算内最大化得分并确保每个客户端至少被选一次,实验证明在非独立同分布数据下能提升模型质量。
2023-12-05 cs.DC cs.LG
LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
Centre for Data Science and Artificial Intelligence & School of Engineering and Computer Science, Victoria University of Wellington(惠灵顿维多利亚大学数据科学与人工智能中心及工程与计算机科学学院);Department of Computer Science and Engineering, Michigan State University(密歇根州立大学计算机科学与工程系)
本文提出一种元学习框架,使LLM自动设计进化符号回归算法的选择算子,解决现有方法中语义指导不足和代码膨胀问题,实验表明LLM设计的选择算子优于九个专家设计基线,达到最先进的性能。
2026-03-31 cs.AI cs.LG cs.NE
Fair Regression under Sample Selection Bias
University of Arkansas(阿肯色大学);University of Illinois(伊利诺伊大学)
近年来,公平回归的研究主要集中在发展新的公平概念和近似方法,因为目标变量甚至敏感属性在回归设置中是连续的。然而,所有以前的公平回归研究假设训练数据和测试数据是从相同的分布。由于训练数据和测试数据之间的样本选择偏差,这一假设在现实世界中经常被违反。在本文中,我们开发了一个框架下的样本选择偏差的公平回归时,从训练数据的一组样本的因变量值丢失作为另一个隐藏的过程的结果。我们的框架采用了经典的Heckman模型的偏差校正和拉格朗日对偶,以实现公平的回归的基础上,各种公平的概念。Heckman模型描述了样本选择过程,并使用称为逆米尔斯比(IMR)的衍生变量来校正样本选择偏差。我们使用公平不等式和等式约束来描述各种公平概念,并应用拉格朗日对偶理论将原问题转化为对偶凸优化问题。对于两个流行的公平性概念,平均差和均方误差差,我们推导出明确的公式,无需迭代优化,和皮尔逊相关,我们推导出它的条件,实现强对偶。我们在三个真实世界的数据集上进行了实验,实验结果证明了该方法在效用和公平性指标方面的有效性。
2021-10-08 cs.AI cs.CY cs.LG