Finite mixture regression: A sparse variable selection by model selection for clustering
考虑高维数据的有限混合高斯回归模型,其中协变量的数目可能远大于样本量。我们建议估计未知的条件混合密度的最大似然估计,1-惩罚最大似然估计选择的相关变量的限制。我们得到了一个具有Jensen-Kullback-Leibler型损失的估计量所满足的预言不等式。我们的预言不等式推导出一个一般的模型选择定理的最大似然估计的随机模型集合。我们可以推导出该准则的惩罚形状,这取决于随机模型集合的复杂性。
2014-09-04 math.ST stat.TH
Adaptive asymptotically efficient estimation in heteroscedastic nonparametric regression via model selection
本文讨论了作者在2007年的论文中提出的估计未知非参数回归的自适应过程的渐近性质。我们证明了该方法对于二次风险是渐进有效的,即该方法的渐进二次风险与Pinsker常数一致,该常数给出了所有可能估计量的二次风险的精确下界。
2008-10-07 math.ST stat.TH
Time-varying nonlinear regression models: Nonparametric estimation and model selection
本文考虑一类非参数时间序列回归模型,其中回归函数可以是时间依赖的。建立了时变回归函数估计的渐近理论。对于这类一般的模型,在实践中的一个重要问题是解决建模的回归函数作为非线性和时变的必要性。为了解决这个问题,我们提出了一个信息准则,并证明其选择一致性。结果应用于美国财政部利率数据。
2015-03-18 math.ST stat.TH
Joint rank and variable selection for parsimonious estimation in a high-dimensional finite mixture regression model
本文研究了高维多元响应回归模型的有限混合模型的降维技术。响应的维数和预测变量的数量都允许超过样本量。我们考虑预测器的选择和降秩,以获得低维近似。引入了一类具有快速收敛速率的估计量。我们将此结果应用于[11]中介绍的特定程序,其中相关预测因子由Group-Lasso选择。
2017-02-16 math.ST stat.TH
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法,其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看,所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式,并指定条件的先验,这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Optimal bandwidth selection for semi-recursive kernel regression estimators
本文提出了一种由随机逼近算法定义的回归函数半递归核估计带宽的自动选择方法。我们表明,使用选定的带宽和一些特殊的步长,建议的半递归估计将是非常有竞争力的非递归的估计误差,但更好的计算成本。我们通过模拟研究和真实数据集证实了这些理论结果。
2016-07-04 math.ST stat.TH
Choosing a penalty for model selection in heteroscedastic regression
本文考虑异方差数据最小二乘回归中的模型选择问题。我们证明了任何惩罚程序是次优的惩罚是一个函数的尺寸的模型,至少对于一些典型的异方差模型选择问题。特别是,Mallow的Cp在这个框架中是次优的。相反,最佳模型选择是可能的,具有数据驱动的惩罚,例如恢复或$V$倍惩罚。因此,即使以更高的计算成本为代价,也值得从数据中估计惩罚的形状。仿真实验表明,统计精度和计算复杂性之间存在一个折衷。作为结论,我们勾勒出一些规则,选择最小二乘回归的惩罚,这取决于什么是已知的噪声水平的可能变化。
2010-06-04 math.ST stat.TH
Variable selection in semiparametric regression modeling
本文讨论了半参数模型中重要变量的选取问题。半参数回归模型的变量选择由两部分组成:非参数部分的模型选择和参数部分的显著变量选择。因此,半参数变量选择比参数变量选择更具挑战性(例如,线性和广义线性模型),因为包括逐步回归和最佳子集选择的传统变量选择程序现在需要为每个子模型的非参数分量进行单独的模型选择。这导致非常沉重的计算负担。本文提出了一类使用非凹惩罚似然的半参数回归模型的变量选择方法。我们建立了所得估计的收敛速度收敛速率。通过适当地选择罚函数和正则化参数,我们证明了所得到的估计的渐近正态性,并进一步证明了所提出的方法与预言方法一样有效.提出了一种半参数广义似然比检验来选择非参数分量中的显著变量。我们研究了该检验的渐近行为,并证明了其极限零分布服从独立于冗余参数的χ 2分布。进行了广泛的蒙特卡罗模拟研究,以检查有限样本的性能,建议的变量选择程序。
2008-03-13 math.ST stat.TH
Tight conditions for consistent variable selection in high dimensional nonparametric regression
我们解决了具有非常高的环境维度的回归模型中的变量选择问题,即,当协变量的数量非常大时。主要关注的是相关协变量的数量(称为内在维度)比环境维度小小于的情况。在不假设底层回归函数的任何参数形式的情况下,我们得到了严格的条件,使得有可能一致地估计相关变量的集合。这些条件将内在尺寸与环境尺寸和样本量联系起来。在这些严格条件下可证明一致的过程是简单的,并且基于将经验傅里叶系数与适当选择的门限值进行比较。
2011-02-17 math.ST stat.TH
"Pre-conditioning" for feature selection and regression in high-dimensional problems
我们考虑回归问题的预测的数量大大超过观察的数量。我们提出了一种变量选择的方法,首先估计的回归函数,产生一个“预处理”的响应变量。用于此初始回归的主要方法是监督主成分。然后,我们应用一个标准的程序,如前向逐步选择或LASSO的预处理的反应变量。在许多模拟和真实数据的例子中,这个两步过程优于向前逐步选择或通常的LASSO(直接应用于原始结果)。我们还表明,在一定的高斯潜变量模型下,应用LASSO的预条件响应变量是一致的预测和观察的数量增加。当观测噪声较大时,本文方法比LASSO方法能给出更精确的估计。我们说明我们的方法在一些实际问题上,包括生存分析与微阵列数据。
2007-03-28 math.ST stat.TH
Adaptive model selection method for a conditionally Gaussian semimartingale regression in continuous time
研究了具有条件高斯分布的一般平方可积〔的〕半鞅的相依噪声的连续时间回归模型中周期函数的稳健自适应有效估计问题。这种噪声的一个例子是非高斯的Ornstein-Uhlenbeck-Levy过程。提出了一种基于改进加权最小二乘估计的自适应模型选择方法。在一定的噪声分布条件下,证明了鲁棒风险的sharp oracle不等式,建立了模型选择过程的鲁棒有效性。给出了数值分析结果。
2018-11-11 math.ST stat.TH
Generalized ridge estimator and model selection criterion in multivariate linear regression
在多元线性回归中,基于广义岭估计在平方风险和Kullback-Leibler风险下优于极大似然估计,提出了新的模型选择准则.我们的模型选择标准有以下最喜欢的属性:一致性,无偏性,一致最小方差。在渐近结构$\frac{p}{n}\to c$下证明了一致性,其中$n$是样本量,$p$是响应变量的参数维数。特别是,我们提出的估计类占主导地位的平方风险下的最大似然估计,即使模型不包括真正的模型。实验结果表明,我们的模型选择标准的风险是小于的最大似然估计的基础上,我们提出的标准指定的真实模型在一定条件下。
2016-04-07 math.ST stat.TH
Bayesian model selection for linear regression
在这篇笔记中,我们介绍了线性回归与基函数,以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀,以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Uniform convergence rates and automatic variable selection in nonparametric regression with functional and categorical covariates
本文研究了具有函数型和分类协变量的非参数预测方法的渐近性质,证明了一致收敛速度,并表明数据驱动的最小二乘交叉验证能自动移除不相关的噪声变量。
2023-04-03 math.ST stat.TH
A method for variable selection in a multivariate functional linear regression model
针对多标量响应、多功能型预测变量的函数型线性模型,本文通过基展开转化为多元线性回归,并提出基于准则惩罚的变量选择方法,模拟验证其有效性。
2023-11-01 math.ST stat.TH
Consistent Variable Selection for Functional Regression Models
测试特定协变量的预测意义和识别相关协变量集的双重问题在应用研究和方法学研究中很常见。为了研究这个问题的背景下,功能线性回归模型的预测变量观察到一个网格和标量响应,我们考虑的功能协变量的基础扩展和应用似然比检验。基于检验每个预测因子的p值,我们提出了一种新的变量选择方法,该方法在从允许随样本量n增长的可用预测因子集中选择相关预测因子时是一致的。数值模拟表明,所提出的变量选择过程优于文献中发现的现有方法。一个真实的数据集,从气象站在日本进行了分析。
2015-06-10 math.ST stat.TH
Revisiting High Dimensional Bayesian Model Selection for Gaussian Regression
随着协变量数目的增加,回归问题的模型选择仍然是一个重要的问题,在理论和应用。模型选择一致性和均值结构重构依赖于贝叶斯因子学习率和模型复杂性惩罚之间的相互作用。在这项工作中,我们提出的结果Zellner-Siow先验的回归系数配对泊松模型的复杂性。我们发现,模型选择的一致性限制了真实模型的维数增加得太快。此外,我们表明,新的协变量的平均结构的额外贡献必须足够大,以克服复杂性惩罚。不同模型集的平均贝叶斯因子涉及从设计矩阵中选择列的随机变量。我们表明,这些随机变量有一个大的类没有时刻渐近,需要使用稳定的法律进行分析。我们推导出这些随机变量的吸引区域,并获得了控制错误发现的设计矩阵的条件。
2019-05-15 math.ST stat.TH
Improved estimation via model selection method for semimartingale regressions based on discrete data
研究了半鞅噪声下连续时间回归模型中观测到的周期函数的鲁棒自适应非参数估计问题。
2020-05-23 math.PR math.ST stat.TH
Adaptive LASSO model selection in a multiphase quantile regression
针对分位数回归模型,提出了一种通用的自适应LASSO方法。当我们对模型误差的前两阶矩一无所知时,我们的方法非常有趣。我们首先证明所得到的估计满足预言性质,这涉及到相关变量的选择,而不使用假设检验。接下来,我们研究所提出的方法时,(多相)模型变化到未知的观测称为变点。得到了变点估计和回归参数估计在各阶段的收敛速度,回归参数的自适应LASSO分位数估计的稀疏性不受变点估计的影响.在相位数未知的情况下,提出了一个相容性判据。通过Monte Carlo模拟的数值研究表明,所提出的方法的性能相比,其他现有的方法在文献中,模型与单相或多相模型。自适应LASSO分位数方法的性能优于已知的变量选择方法,例如具有自适应LASSO罚分的最小二乘方法、具有LASSO类型罚分的$L_1$方法和具有SCAD罚分位数方法。
2014-10-21 math.ST stat.TH
Composite quantile regression and the oracle Model Selection Theory
多元线性回归中的系数估计和变量选择通常在(惩罚)最小二乘(LS)框架中进行。本文介绍了范和李提出的模型选择预言的概念[J. Amer. Statistist. Assoc.96(2001)1348- 1360]描述了模型选择过程的最优行为。然而,如果误差方差是无限的,最小二乘预言理论就失效了。在本文中,我们提出了一种新的回归方法称为复合分位数回归(CQR)。我们表明,使用CQR预言机的预言机模型选择理论工作得很好,即使当误差方差是无限的。我们开发了一个新的预言程序,以实现最佳性能的CQR预言。当误差方差有限时,CQR在估计效率方面仍具有很大的优势。我们表明,CQR的相对效率相比,最小二乘法是大于70%,无论误差分布。此外,CQR可能比最小二乘更有效,有时甚至更有效。当比较CQR-预言估计量和LS-预言估计量时,同样的结论也成立。
2008-06-18 math.ST stat.TH
Model selection in high-dimensional quantile regression with seamless $L_0$ penalty
本文研究了当参数个数随样本量增加时线性模型的参数估计问题。在不对模型误差的矩作任何假设的情况下,我们提出并研究了无缝的$L_0$分位数估计。对于这个估计,我们首先给出了收敛速度。然后,我们证明了它能正确区分零参数和非零参数,并且非零参数的估计量是渐近正态的。给出了选择调谐参数的一致BIC准则。
2015-06-04 math.ST stat.TH
From finite sample to asymptotics: A geometric bridge for selection criteria in spline regression
本文在样条回归的背景下,研究了选择准则的有限样本性质与其渐近性质之间的联系,着重于弥合两者之间的鸿沟。我们引入了一个偏差方差分解的预测误差,使用它示出,在渐近的偏差项占主导地位的变异性项,提供了一个解释的差距。提供了一个几何解释直观的理解。通过数值例子说明了理论和几何结果。
2005-08-30 math.ST stat.TH
Variable selection in multivariate regression model for spatially dependent data
本文研究空间网格数据下多变量线性回归模型的变量选择问题,提出基于双参数准则的估计量,证明其一致性,并通过模拟验证有限样本表现。
2023-05-22 math.ST stat.TH
Improved robust model selection methods for the Levy nonparametric regression in continuous time
本文对Levy噪声下连续时间观测的非参数周期函数给出了James-Stein改进的估计方法。构造了一种基于改进加权最小二乘估计的自适应模型选择方法。得到了非参数模型的改进效果。结果表明,在非渐近研究中,非参数问题的精度提高比参数问题的精度提高更显著。此外,在自适应环境下,证明了鲁棒风险的尖锐预言不等式,并建立了改进的模型选择过程的有效性。
2018-11-04 math.ST stat.TH
High-dimensional Ising model selection with Bayesian information criteria
我们考虑使用贝叶斯信息标准的选择的图形基础的伊辛模型。在伊辛模型中,每个变量的完整条件分布形成逻辑斯谛回归模型,回归的变量选择技术允许识别每个节点的邻域,从而识别整个图。我们证明了高维的一致性结果,这种伪似然图选择的方法时,使用贝叶斯信息准则的变量选择问题的逻辑斯谛回归。结果涉及到的稀疏性和相关的先前工作的信息标准,我们认为将一个明确的先验,鼓励稀疏的情况。
2015-03-05 math.ST stat.TH
Consistent group selection in high-dimensional linear regression
在协变量可以自然分组的回归问题中,Lasso组是一种有吸引力的变量选择方法,因为它尊重数据中的分组结构。我们研究了当组数超过样本量时,高维环境下Lasso组的选择和估计性质。我们提供了充分条件,在此条件下,Lasso组选择一个模型,该模型的维数与具有高概率的基础模型相当,并且是估计一致的。但是,Lasso组通常不是选择一致的,并且倾向于选择在模型中不重要的组。为了改善选择结果,我们提出了一种自适应组Lasso方法,它是自适应Lasso的推广,需要一个初始估计。我们证明了在一定条件下,当Lasso群作为初始估计时,自适应Lasso群在群选择中是相容的。
2010-11-29 math.ST stat.TH
Composite Lp-quantile regression, near quantile regression and the oracle model selection theory
School of Mathematics and Statistics, Sichuan University of Science & Engineering(四川理工学院数学与统计学院)
本文提出复合Lp分位数回归和近分位数回归方法,通过改进算法提升高维分位数回归的效率与准确性。
2026-03-04 math.ST stat.TH
Optimal selection of sample-size dependent common subsets of covariates for multi-task regression prediction
分析师被给予由不同大小的回归数据集$D_j$组成的训练集,这些数据集根据一些$G_j$,$j=1,\ldots,\cal J$分布,其中分布$G_j$被假设为形成由一些公共源生成的随机样本。特别是,$D_j$有一组共同的协变量,它们都被标记。分析员使用训练集选择协变量的子集,用${P}^*(n)$表示,其作用如下所述。我们考虑的多任务问题如下:给定多个随机标记的数据集(可能在训练集中或不在训练集中)大小为$n_k$、$k=1,\ldots,K$的$D_{J_k}$,分别估计每个数据集协变量子集上的回归系数${P}^*(n_k)$,然后预测未来的因变量给定其协变量。当然,$D_{J_k}$的大样本量$n_k$允许更大的协变量子集,并且需要所选协变量子集的大小对$n_k$的依赖性,以实现良好的预测并避免过拟合。子集选择是出了名的困难和计算要求高,并且需要大量的样本;在训练集中一起使用所有回归数据集相当于在适当的假设下借用力量进行更好的选择。此外,对具有给定样本大小的所有回归使用公共子集简化并简化了数据收集,并且避免了必须为每个预测任务选择和使用不同的子集。当预测的相关协变量对于不同的回归是共同的,而模型的系数在不同的回归之间可能会有所不同时,我们的方法是有效的。
2021-09-05 math.ST stat.TH
Is model selection possible for the $\ell_p$-loss? PCO estimation for regression models
针对子高斯噪声下序列回归模型的非欧几里得损失函数模型选择问题,研究加权ℓₚ损失的过拟合惩罚比较方法,推导子韦伯尔变量集中不等式的 oracle 不等式,结合合理模型集与惩罚项给出 Besov 体极小极大收敛率,并应用于非参数回归函数模型。
2025-04-15 math.ST stat.TH
Model selection in regression under structural constraints
本文考虑了在可接受模型的额外结构约束下的回归模型选择,其中潜在的预测因子的数量甚至可能大于可用的样本量。我们开发了一个贝叶斯形式主义作为一个自然的工具,用于生成一个广泛的类的模型选择标准的基础上惩罚最小二乘估计与各种复杂性的罚款与先验模型大小。由此产生的标准是自适应的结构约束。我们建立了一组给定大小的可容许模型的MAP估计的二次风险的上界和相应的极小极大风险的下界。然后,我们指定类的先验(因此,类的复杂性处罚),其中的“近正交”设计的MAP估计是渐近至少近极大极小(对数因子)同时在整个范围内的稀疏和密集的设置。此外,当可接受模型的数量“小”时(例如,有序变量选择),或者相反,对于完全变量选择的情况,所提出的估计器实现了精确的极大极小率。
2013-02-17 math.ST stat.TH
Bayesian Variable Selection in Multivariate Nonlinear Regression with Graph Structures
高斯图模型(GGM)是使用精度矩阵进行依赖结构概率探索的成熟工具。我们开发了一种贝叶斯方法,将协变量信息在这个GGM设置在一个非线性看似无关的回归框架。我们提出了一个联合预测器和图选择模型,并开发了一个有效的折叠吉布斯采样算法来搜索联合模型空间。此外,我们研究了它的理论变量选择性质。我们证明了我们的方法对各种模拟数据,最后从TCPA项目的真实数据集。
2021-07-31 math.ST stat.ME stat.TH
Adaptive Parameter Selection for Kernel Ridge Regression
Xi'an Jiaotong University(西安交通大学)
针对核岭回归的参数选择难题,本文利用其谱性质和Lepskii型原则提出早停式自适应策略,并在学习理论框架下证明其可达到最优学习率且适应不同范数。
2023-12-10 cs.LG math.ST stat.TH
Local polynomial regression and variable selection
提出了一种将变量选择引入局部多项式回归的方法。这可以通过在与被判断为不重要的那些变量相对应的方向上扩展带宽来提高回归的精度。它还通过突出显示这些变量冗余的区域来增加我们对数据集的理解。该方法有可能实现完全删除变量,以及执行部分删除时,变量冗余只适用于特定区域的数据。我们定义了一个非参数的预言属性,并表明这是超过我们的方法下的渐近分析满意。通过模拟和真实数据的数值例子证明了该方法的实用性。
2010-06-16 math.ST stat.ME stat.TH
Regression Model Selection Under General Conditions
Federal Reserve Bank of Kansas City(堪萨斯城联邦储备银行)
本文在一般条件下为广泛类别的模型选择准则提供了渐近最优性的统一证明,从而统一并扩展了先前分散的结果。
2025-10-16 econ.EM math.ST stat.ME
Variable Selection Consistency of Gaussian Process Regression
贝叶斯非参数回归下的重标高斯过程先验提供了平滑自适应函数估计与近极小极大最优差错率。这种方法的分层扩展,配备了随机变量选择,也适应于未知的内在尺寸的稀疏真正的回归函数。但目前还不清楚这种扩展是否提供了变量选择的一致性,即,如果重要变量的真实子集可以从数据中一致地学习。它在这里示出,变量的一致性确实可以实现与这样的模型,至少当真正的回归函数具有有限的平滑度,以引起一个多项式更大的惩罚列入假阳性预测。我们的结果涵盖了高维渐近设置的预测维度是允许增长的样本量。证明利用施瓦茨理论建立错误选择的后验概率渐近消失。一个必要的和具有挑战性的技术发展涉及提供尖锐的上限和下界小球概率在所有重新缩放水平的高斯过程之前,一个结果,可能是独立的利益。
2020-12-12 math.ST stat.ME stat.TH
Valid Post-Selection Inference in High-Dimensional Approximately Sparse Quantile Regression Models
本文提出了一种新的(异质)分位数回归模型中回归系数的推断方法。我们考虑一个高维模型,其中回归变量的数量可能超过样本量,但其中的一个子集足以构建一个合理的近似条件分位数函数。所提出的方法是(显式或隐式)基于正交得分函数,防止适度的模型选择错误,这往往是不可避免的,在本文中考虑的近似稀疏模型。我们建立了所提出的分位数回归系数的置信区域的一致有效性。重要的是,这些方法直接适用于一个以上的变量和连续的分位数指数。此外,所提出的方法的性能说明通过蒙特卡洛实验和实证的例子,处理儿童营养不良的危险因素。
2016-06-23 econ.EM math.ST stat.TH
Correcting for Selection Bias and Missing Response in Regression using Privileged Information
针对不可忽略的响应缺失与选择偏差,本文提出利用训练期特权信息形成 PMAR 条件,并给出重复回归、重要性加权及双重稳健方法,实验表明其校正偏差效果显著。
2023-06-12 math.ST stat.ML stat.TH
Regularization parameter selection in indirect regression by residual based bootstrap
基于残差的分析通常被认为是统计方法学的基石。对于一个特殊的情况下,间接回归,我们调查的残差为基础的经验分布函数,并提供了一个统一的扩展,这也是渐近最精确的估计。这项调查自然会导致一个完全的数据驱动的技术来选择我们的间接回归函数估计中使用的正则化参数。由此产生的方法是基于模型残差的平滑引导。仿真研究证明了我们的方法的有效性。
2018-02-28 math.ST stat.ME stat.TH
Macroeconomic Forecasting and Variable Selection with a Very Large Number of Predictors: A Penalized Regression Approach
本文研究了具有大量预测变量的折迭凹惩罚回归模型的宏观经济预测和变量选择问题。惩罚回归方法导致回归系数的稀疏估计,并且即使模型的维数远大于样本量也是适用的。本文的前半部分讨论了当模型表现出时间序列依赖性时,折叠凹惩罚回归的理论问题。特别地,我们证明了超高维时间依赖回归的预言不等式和预言性质。论文的后半部分使用两个激励实证应用程序显示了惩罚回归的有效性。第一个模型使用MIDAS回归框架,使用FRED-MD数据预测美国GDP,其中有1000多个协变量,而样本量最多为200。第二个研究如何以及惩罚回归筛选隐藏的投资组合,约40只股票从1800多个潜在的股票使用纽约证券交易所的股票价格数据。这两个应用程序表明,惩罚回归提供了显着的结果,在预测性能和变量选择。
2017-03-05 math.ST stat.AP stat.ME
Valid Post-selection Inference in Assumption-lean Linear Regression
基于数据驱动选择的估计量有效统计推断的构造近年来受到了广泛关注。Berk等人(2013)可能是第一个在任意协变量/变量选择下为具有固定协变量的高斯同方差线性回归提供有效推断的工作。该设置是不现实的,Bachoc et al.(2016)通过放松分布假设进行了扩展。上述工作的一个主要缺点是有效置信区域的构造是计算密集的。本文首先证明了后选择推理等价于同时推理,然后构造了计算简单的有效后选择置信区域。我们的构造是基于确定性不等式和适用于独立以及相关的随机变量,而不需要正确的分布假设。最后,我们比较了我们的置信区域与现有的体积,并表明在非随机协变量,我们的区域要小得多。
2018-06-11 math.ST stat.ME stat.TH
Model Selection for High Dimensional Quadratic Regression via Regularization
二次回归(QR)模型通过考虑协变量之间的相互作用效应自然地扩展了线性模型。若要在QR中进行模型选择,必须维护主效应和交互作用效应之间的分层模型结构。现有的正则化方法通常通过解决复杂的优化问题来实现这一目标,这通常需要很高的计算成本,因此对于高维数据是不可行的。本文主要研究高维QR中模型选择的可伸缩正则化方法。我们首先考虑两阶段正则化方法,并建立两阶段LASSO的理论性质。然后,提出了一种新的正则化方法,称为边缘性原则下的正则化算法(RAMP),以有效地计算层次保持正则化解路径。这两种方法进一步扩展到解决广义QR模型。数值结果也证明了该方法的性能。
2016-07-14 math.ST stat.ME stat.TH
Joint Bayesian Variable and DAG Selection Consistency for High-dimensional Regression Models with Network-structured Covariates
考虑了高维回归模型中协变量的回归系数和协变量的协方差阵的联合稀疏估计问题,其中预测变量既与响应变量相关,又通过高斯有向无圈图(DAG)模型在函数上相互关联.高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性,而稀疏性模式又对应于对基础预测变量的特定条件独立性假设。近年来已经开发了各种方法贝叶斯推理在确定这样的网络结构的预测回归设置,但这些模型的重要稀疏性选择属性还没有得到彻底的研究。本文研究了一类在回归系数上具有spike和slab先验的递阶模型和一类在逆协方差阵的Cholesky因子上具有多个形状参数的灵活且一般的DAG-Wishart分布.在温和的规律性假设下,我们建立了联合选择一致性的变量和潜在的DAG的协变量时,预测的维度允许增长远远大于样本量。我们证明了我们的方法优于现有的方法在选择网络结构的预测在几个模拟设置。
2020-04-20 math.ST stat.ME stat.TH
A Bayesian Multiple Testing Paradigm for Model Selection in Inverse Regression Problems
在这篇文章中,我们提出了一种新的贝叶斯多重检验公式,用于逆向设置中的模型和变量选择,明智地将Bhattacharya(2013)提出的逆参考分布的思想嵌入到由竞争模型组成的混合框架中。我们开发的理论和方法,在一般情况下,包括参数和非参数竞争模型,相关数据,以及误指定。我们的研究表明,渐近多重检验程序几乎肯定会选择最好的逆模型,最大限度地减少最小的Kullback-Leibler发散从真实的模型。我们还表明,差错率,即版本的错误发现率和错误的非发现率几乎肯定收敛到零的样本量趋于无穷大。本文还研究了错误发现率版本的渐近α-控制及其对错误非发现率版本收敛的影响。我们的模拟实验涉及基于小样本的选择之间的逆泊松对数回归和逆几何logit和probit回归,其中回归是线性的或基于高斯过程。此外,还考虑变量选择。我们的多个测试结果证明是非常令人鼓舞的意义上选择最好的模型在所有的非错误指定和错误指定的情况下。
2020-07-15 math.ST stat.ME stat.TH
Bayesian sparse multiple regression for simultaneous rank reduction and variable selection
我们开发了一种贝叶斯方法,旨在同时估计低秩和行稀疏矩阵的高维多响应线性回归模型。我们考虑了精心设计的收缩前的矩阵的回归系数,从而避免了需要指定一个先验的秩,并缩小回归矩阵对低秩和行稀疏结构。我们提供了理论支持,所提出的方法,通过证明极小极大最优的后验均值下的预测风险在超高的维度设置的预测因子的数量可以增长相对于样本量的次指数。一个一步的后处理方案引起的估计系数矩阵的行上的组套索处罚变量的选择,与默认选择的调谐参数。我们还提供了一个估计的秩使用一种新的优化函数实现降维的协变量空间。我们展示了所提出的方法在一个广泛的模拟研究和一个真实的数据例子的性能。
2019-04-09 math.ST stat.ME stat.TH
Regression model selection via log-likelihood ratio and constrained minimum criterion
对数似然比似然比在模型选择中应用广泛,但在模型选择中应用较少。我们开发了一个基于对数似然比的方法,通过关注被似然比检验认为合理的模型集来选择回归模型。我们表明,当样本量较大且检验的显著性水平较小时,集合中的最小模型是真实模型的概率很高,因此,我们选择了这个最小模型。检验的显著性水平用作该方法的参数。我们考虑了三个水平的这个参数在模拟研究中,并比较这种方法与赤池信息准则和贝叶斯信息准则,以证明其良好的精度和适应性,以不同的样本量。我们还应用这种方法来选择南非心脏病数据集的逻辑斯谛回归模型。
2021-09-25 math.ST stat.ME stat.TH
Consistent selection via the Lasso for high dimensional approximating regression models
在这篇文章中,我们通过流行的Lasso方法研究回归模型中选择的一致性。在这里,我们离开传统的线性回归假设,并考虑近似的回归函数$f$与给定的字典的$M$功能的元素。一致性的目标是来自该字典的那些函数的索引集,这些函数在属于以$f$为中心且半径为$r_{n,M}^2$的$L_2$球的所有线性组合中实现对$f$的最简约近似。在这个框架中,我们表明,这个指标集的一致估计可以通过$\ell_1$惩罚最小二乘法,与数据相关的罚款和调整序列$r_{n,M}>\sqrt{\log(Mn)/n}$,其中$n$是样本量。我们的结果适用于任何$1\leq M\leq n^γ$,任何$γ>0$。
2008-05-21 math.ST stat.ME stat.TH
Multivariate functional group sparse regression: functional predictor selection
在本文中,我们提出了方法的功能预测选择和光滑的功能系数估计同时在标量函数回归问题下的高维多元函数数据设置。特别是,我们开发了两种方法的功能组稀疏回归下的一般希尔伯特空间的无限维。我们证明了算法的收敛性和一致性的估计和选择(预言性质)在无限维Hilbert空间。仿真研究表明,该方法在函数系数的选择和估计方面都是有效的。功能磁共振成像(fMRI)的应用揭示了人类大脑中与ADHD和智商相关的区域。
2021-07-08 math.ST q-bio.NC stat.AP
Uniform Post Selection Inference for LAD Regression and Other Z-estimation problems
在具有同方差误差的高维稀疏中位数回归模型中,我们给出了回归系数的一致有效置信区域。我们的方法是基于一个时刻方程,免疫对非正规估计的滋扰部分的中位数回归函数,通过使用奈曼的正交化。我们建立了目标回归系数的工具中位数回归估计是渐近正态分布均匀相对于底层稀疏模型,是半参数有效的。我们还将我们的方法推广到一般的非光滑Z-估计框架,目标参数$p_1$的数量可能远大于样本量$n$。我们扩展胡贝尔的结果渐近正态性的设置,证明一致的渐近正态性的估计超过$p_1$维矩形,同时构建置信带的所有$p_1$的目标参数,并建立渐近有效性的乐队一致的基本近似稀疏模型。关键词:工具;后选择推理;稀疏性;奈曼正交评分检验;一致有效推理; Z-估计。
2020-10-18 econ.EM math.ST stat.ME
Model selection for high-dimensional linear regression with dependent observations
National Tsing Hua University(国立清华大学)
研究了正交贪婪算法(OGA)在具有相依观测的高维回归模型中的预测能力。在各种稀疏性条件下,得到了OGA预测误差的收敛速度。为了防止OGA的过拟合,我们引入了一个高维赤池的信息准则(HDAIC)来确定OGA的迭代次数。这项工作的一个关键贡献是表明,OGA,与HDAIC结合使用,可以实现最佳的收敛速度,而不需要知道底层的高维模型是多么稀疏。
2019-06-18 cs.LG math.ST stat.ML
On Computationally Tractable Selection of Experiments in Measurement-Constrained Regression Models
Machine Learning Department, School of Computer Science(计算机科学学院机器学习系);Carnegie Mellon University(卡内基梅隆大学)
我们推导出计算上易于处理的方法来选择一个小的子集的实验设置从一个大的池给定的设计点。主要关注线性回归模型,而该技术也扩展到广义线性模型和Delta方法(线性回归模型的估计函数)。该算法是基于一个连续松弛的,否则棘手的组合优化问题,采样或贪婪的程序作为后处理步骤。正式的近似保证,这两种算法建立,合成和真实世界的数据上的数值结果证实了所提出的方法的有效性。
2017-12-20 cs.LG math.ST stat.ML
Model Selection for High-Dimensional Regression under the Generalized Irrepresentability Condition
Stanford University(斯坦福大学)
在高维回归模型中,响应变量与$p$协变量线性相关,但样本量$n$小于$p$。我们假设只有一小部分协变量是“活跃的”(即,相应的系数是非零的),并考虑识别有效协变量的模型选择问题。一种流行的方法是通过Lasso($\ell_1$ -正则化最小二乘)估计回归系数。这是已知的正确识别活动集,只有当不相关的协变量大致正交的相关,通过所谓的“不可代表性”条件量化。在本文中,我们研究的'高斯-套索'选择器,一个简单的两阶段的方法,首先解决了套索,然后进行普通的最小二乘法限制到套索活动集。我们制定“广义不可表示性条件”(GIC),一个假设,是大大弱于不可表示性。我们证明,在GIC下,高斯-套索正确地恢复活动集。
2013-05-02 cs.IT cs.LG math.IT