On Asymptotic Inference in Stochastic Differential Equations with Time-Varying Covariates
在这篇文章中，我们介绍了一个系统的随机微分方程（SDEs）组成的时间依赖的协变量，并考虑固定和随机效应设置。我们还允许与漂移函数相关的函数部分依赖于未知参数。在这个一般的构造下，通过对已有的相关定理所要求的正则性条件的验证，我们建立了极大似然估计的相合性和渐近正态性。此外，我们考虑了贝叶斯方法学习的总体参数，并证明了相应的后验分布的一致性和渐近正态性。我们补充我们的理论研究与模拟和真实的数据分析，在每种情况下获得令人鼓舞的结果。
2017-10-13 math.ST stat.TH
Objective Bayes Covariate-Adjusted Sparse Graphical Model Selection
提出了一种用于高斯多元回归模型中协方差选择的客观贝叶斯方法，该模型的误差项具有关于有向无环图（DAG）的马尔可夫协方差结构。范围是协变量调整稀疏图形模型选择，一个日益重要的主题，特别是在遗传基因组学（eQTL分析）领域。具体来说，我们提供了一个封闭形式的表达的边缘可能性的任何DAG（与小的父集），其计算几乎不需要主观的启发由用户，只涉及共轭矩阵正常Wishart分布。这是通过一种特定形式的先验分配来实现的，根据分数贝叶斯因子的概念，在完整的DAG模型下只需要指定一个先验。其他DAG模型下的所有先验都是使用Geiger & Heckerman（2002）的术语中的先验模块性和全局参数独立性导出的。由于我们获得的边际似然是恒定的每一类马尔可夫等价的DAG，我们的方法自然专门协变量调整可分解的图形模型。
2015-10-08 stat.ME
A comparative review of variable selection techniques for covariate dependent Dirichlet process mixture models
Dirichlet Process Mixture（Dirichlet Process Mixture）模型已经越来越多地用于指定考虑协变量内可能模式的随机划分模型。此外，为了处理大量的协变量，已经提出了用于选择最重要的协变量的方法。通常，选择协变量是因为它们在确定观测值聚类中的重要性，或者是因为它们对响应变量水平的影响（当指定回归模型时）。通常，这两种策略都涉及规范模型中协变量的潜在指标。常见的例子包括使用尖峰和平板先验分布。在这项工作中，我们回顾了最相关的模型，包括协变量信息的诱导分区的观察，我们专注于这些模型的变量选择技术。我们强调了每个模型的主要特点，并在模拟和实际数据应用中进行了演示。
2016-10-29 stat.AP
Bayesian Semiparametric Multivariate Density Regression with Coordinate-Wise Predictor Selection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种灵活的贝叶斯方法，用于估计多变量结果在存在分类协变量时的联合密度。通过高斯Copula框架，方法有效捕捉多变量响应不同坐标的依赖结构，利用共享原子的灵活混合模型和新的Tucker张量分解结构，实现坐标特定的协变量子集识别。
2026-10-22 stat.ME
Scalable Gaussian-process regression and variable selection using Vecchia approximations
高斯过程（GP）回归是一种灵活的非参数回归方法，可以自然量化不确定性。在许多应用中，响应和协变量的数量都很大，目标是选择与响应相关的协变量。对于这种设置，我们提出了一种新的，可扩展的算法，创造VGPR，它优化了惩罚GP对数似然的基础上的Vecchia GP近似，有序的条件近似从空间统计学，这意味着一个稀疏的Cholesky因子的精度矩阵。我们遍历正则化路径从强到弱的惩罚，依次添加候选协变量的对数似然梯度的基础上，并通过一个新的二次约束坐标下降算法取消选择无关的协变量。我们提出了基于Vecchia的小批量子采样，它提供了无偏梯度估计。由此产生的过程是可扩展的数百万个响应和数千个协变量。理论分析和数值研究表明，相对于现有的方法，改进的可扩展性和准确性。
2022-10-10 stat.ME stat.ML
BNSP: an R Package for Fitting Bayesian Semiparametric Regression Models and Variable Selection
R包BNSP为半参数位置-尺度回归和随机搜索变量选择提供了一个统一的框架。该软件包所基于的统计方法学利用基函数展开来表示均值和方差函数中的半参数协变量效应，并利用尖峰-平板先验来执行估计效应的选择和正则化。除了执行后验采样的主函数外，该软件包还包括用于评估采样器收敛性、汇总模型拟合、可视化协变量效应以及获得给定特征/协变量向量的新响应或其均值的预测的函数。
2018-10-08 stat.OT
Bayesian Region Selection and Prediction in Poisson Regression with Spatially Dependent Global-Local Shrinkage Prior
Yale School of Public Health（耶鲁大学公共卫生学院）；University of Arizona（亚利桑那大学）
本文提出一种新的全局-局部收缩先验，用于泊松回归中空间变量的选择与预测，结合条件自回归先验和超重尾先验，以处理空间依赖性和稀疏结构，提升预测精度。
2026-05-06 stat.AP stat.ME
Bayesian model choice and information criteria in sparse generalized linear models
我们考虑高维广义线性模型中的贝叶斯模型选择，协变量p的数量相对于样本量n较大，但稀疏的是，与p相比，活动协变量的数量较小。将协变量视为随机变量，并采用p随n增加的渐近情景，我们表明，贝叶斯模型选择使用一定的先验模型的集合是渐近等价的选择模型使用扩展的贝叶斯信息准则。此外，我们证明了最小的真模型是由这两种方法的概率趋于1。在解决了随机协变量后，我们还能够为高维稀疏图形建模的伪似然方法给出一致性结果。真实数据的实验表明，良好的性能的扩展贝叶斯信息准则的回归和图形模型。
2011-12-23 math.ST stat.TH
Joint Variable Selection of both Fixed and Random Effects for Gaussian Process-based Spatially Varying Coefficient Models
空间变系数（SVC）模型是一种空间数据的回归模型，其中协变量效应随空间而变化。如果有多个协变量，一个自然的问题是哪些协变量具有空间变化效应，哪些没有。针对基于高斯过程的SVC模型，提出了一种新的变量选择方法.它依赖于惩罚极大似然估计（PMLE），并允许变量选择相对于固定效应和高斯过程随机效应。我们验证了我们的方法在模拟研究以及现实世界的数据集。我们的新方法在模拟研究中表现出良好的选择性能。在实际数据应用中，我们提出的PMLE产生稀疏SVC模型，并实现了一个更小的信息标准比经典的MLE。在应用于实际数据的交叉验证中，我们表明，稀疏PML估计SVC模型与ML估计SVC模型在预测性能方面不相上下。
2021-02-11 stat.ME
Tail Halos: The Covariate Dual of the Tail
University of Göttingen（哥廷根大学）；University of Edinburgh（爱丁堡大学）
本文提出尾部光晕概念，定义协变量空间中与极端事件相关的区域，并开发贝叶斯结构化加性分布回归框架进行推断，应用于爱丁堡空气污染数据识别高污染配置。
2026-10-01 stat.ME
Bayesian Variable Selection for Multi-Outcome Models Through Shared Shrinkage
University of Louisville（路易斯维尔大学）
本文提出了一种基于共享收缩的贝叶斯变量选择方法，用于多结果模型中同时识别重要协变量。
2019-04-25 stat.ME
Variable Selection with ABC Bayesian Forests
在统计学中，很少有问题像在存在大量冗余协变量的情况下进行变量选择那样令人困惑。变量选择问题在诸如线性模型或其附加变体的参数环境中是最常见的。在这项工作中，我们放弃了线性模型框架，这可能是非常有害的，当协变量以非线性的方式影响结果，并转向基于树的方法进行变量选择。这种变量筛选传统上是通过修剪大树或通过基于一些重要性度量的变量排名来完成的。尽管在实践中大量使用，但从理论角度来看，这些特设选择规则尚未得到很好的理解。在这项工作中，我们设计了一个贝叶斯树为基础的概率方法，并表明，它是一致的变量选择时，回归表面是一个光滑的混合$p>n$协变量。这些结果是贝叶斯森林先验的第一个模型选择一致性结果。变量重要性的概率评估是可行的尖峰和板坯包装周围的总和树先验。从树上的后验分布中采样本质上是非常困难的。作为MCMC的替代方案，我们提出了ABC贝叶斯森林，一种新的ABC抽样方法的基础上，数据分裂，实现更高的ABC接受率。我们表明，该方法是强大的，成功地找到高边际包含概率的变量。我们的ABC算法提供了一个新的途径，在非参数设置的边缘可能性是棘手的近似的中值概率模型。
2021-02-24 stat.ME
Fast selection of nonlinear mixed effect models using penalized likelihood
非线性混合效应模型是一种隐变量模型，在药物计量学等领域有着广泛的应用。在这样的模型中，隐变量的分布特征可以通过包括几个参数来指定，例如必须选择的协变量或相关性。药物基因组学的最新发展带来了平均/高维问题的非线性混合效应建模领域的标准协变量选择技术，如逐步方法是不太适合。提出了使用惩罚似然法选择协变量和相关参数的方法。惩罚似然问题的解决使用随机邻近梯度算法，以避免内外迭代。使用分量自适应梯度步长提高了邻近梯度算法的收敛速度。使用模拟的实际实施和调整的近端梯度算法进行了探讨。正则化参数的校准是通过使用粒子群优化（零阶优化过程）最小化贝叶斯信息准则来执行的。热重启和并行化的使用使得计算时间显著减少。与传统的网格搜索策略相比，所提出的方法的性能进行了探索，使用模拟数据。最后，提供了两个药代动力学研究的实际数据的应用程序，一个研究抗纤维蛋白溶解和其他研究抗生素。
2021-10-17 stat.CO stat.ME
Semi-Parametric Bayesian Additive Regression Trees for Risk Prediction with High-Dimensional Epigenetic Signatures and Low-Dimensional Covariates
University of Chicago（芝加哥大学）；BC Cancer Research Institute（不列颠哥伦比亚癌症研究所）
提出半参数贝叶斯加性回归树（spBART），通过参数组件建模低维协变量以获得可解释系数，同时用树集成捕捉高维预测变量的复杂非线性关联，并开发基于交叉验证的稳定变量选择方法，在多发性骨髓瘤研究中实现高判别性能（AUC=0.96）。
2026-05-22 stat.AP stat.CO stat.ML
Strong consistency and optimality for generalized estimating equations with stochastic covariates
本文研究了广义估计函数为随机系数鞅时GEE估计的存在性和强相合性。此外，我们刻画了估计函数是渐近最优的。
2017-11-14 math.ST stat.TH
Strong Consistency of the SIMEX Estimator in Linear Regression with a Conditionally Poisson Covariate
针对带条件泊松型测量误差协变量的线性回归估计问题，本文提出拓展至条件泊松场景的POI-SIMEX算法，无需内部验证数据即可稳健校正误差，并证明了该估计量的强相合性。
2025-09-04 math.ST stat.TH
Efficient Covariate-Adaptive Randomization with Smallest Selection Bias in Clinical Trials
Zhejiang Gongshang University（浙江工商大学）
本文建立理论框架分析协变量自适应随机化临床试验中检验功效与选择偏差的关系，提出兼顾两者的新方法，可实现渐近最大检验功效且选择偏差渐近可忽略。
2026-09-04 math.ST stat.TH
Bayesian Variable Selection Under High-dimensional Settings With Grouped Covariates
针对高维分组协变量回归，提出扩展g先验的贝叶斯变量选择方法，并设计GSIS筛选与GiVSA搜索算法，理论证明一致性并验证性能。
2023-09-03 math.ST stat.ME stat.TH
Consistent covariate selection and post model selection inference in semiparametric regression
本文给出了一类半参数回归模型Y_i=β^{ \prime } \underbarX_i +f（T_i）+W_i，i=1，.，n.参数和非参数分量的估计，同时通过这个程序。估计是基于有限维模型的集合，使用惩罚最小二乘标准进行选择。我们表明，通过定制的惩罚项开发的非参数回归半参数模型，我们可以一致地估计的线性部分的非零系数的子集。此外，线性分量的所选估计量是渐近正态的。
2004-06-23 math.ST stat.TH
Model selection for Poisson processes with covariates
我们观察了具有协变量的$n$非齐次Poisson过程，并旨在估计其强度。我们假设每个泊松过程的强度是$s (\cdot, x)$的形式，其中$x$是协变量，$s$是未知函数。我们提出了一种模型选择方法，其中的模型是用来近似的多元函数$s$。我们表明，我们的估计满足一个预言型不等式非常弱的假设下的强度和模型。通过使用Hellinger型损失，我们建立了非渐近风险界，并指定他们在几种假设下的目标函数$s$，如光滑或产品的功能。此外，我们表明，我们的估计过程是稳健的，这些假设。
2013-06-13 math.ST stat.TH
Analysis of Testing-Based Forward Model Selection
本文介绍并分析了线性回归问题中基于测试的前向模型选择（TBFMS）方法。该过程在估计最终回归之前归纳地选择将预测能力添加到工作统计模型中的协变量。决定下一步纳入哪个协变量以及何时停止纳入协变量的标准来自传统统计假设检验的概况。本文证明了概率界，这取决于测试的质量，预测误差和所选协变量的数量。作为一个例子，界限，然后专门的异方差数据的情况下，与测试的帮助下构建的Huber-Eicker-White标准误差。在假设的正则性条件下，这些测试导致估计收敛速度匹配其他常见的高维估计，包括拉索。
2020-04-06 math.ST stat.ME stat.TH
Optimal selection of sample-size dependent common subsets of covariates for multi-task regression prediction
分析师被给予由不同大小的回归数据集$D_j$组成的训练集，这些数据集根据一些$G_j$，$j=1,\ldots,\cal J$分布，其中分布$G_j$被假设为形成由一些公共源生成的随机样本。特别是，$D_j$有一组共同的协变量，它们都被标记。分析员使用训练集选择协变量的子集，用${P}^*(n)$表示，其作用如下所述。我们考虑的多任务问题如下：给定多个随机标记的数据集（可能在训练集中或不在训练集中）大小为$n_k$、$k=1,\ldots,K$的$D_{J_k}$，分别估计每个数据集协变量子集上的回归系数${P}^*(n_k)$，然后预测未来的因变量给定其协变量。当然，$D_{J_k}$的大样本量$n_k$允许更大的协变量子集，并且需要所选协变量子集的大小对$n_k$的依赖性，以实现良好的预测并避免过拟合。子集选择是出了名的困难和计算要求高，并且需要大量的样本;在训练集中一起使用所有回归数据集相当于在适当的假设下借用力量进行更好的选择。此外，对具有给定样本大小的所有回归使用公共子集简化并简化了数据收集，并且避免了必须为每个预测任务选择和使用不同的子集。当预测的相关协变量对于不同的回归是共同的，而模型的系数在不同的回归之间可能会有所不同时，我们的方法是有效的。
2021-09-05 math.ST stat.TH
Uniform convergence rates and automatic variable selection in nonparametric regression with functional and categorical covariates
本文研究了具有函数型和分类协变量的非参数预测方法的渐近性质，证明了一致收敛速度，并表明数据驱动的最小二乘交叉验证能自动移除不相关的噪声变量。
2023-04-03 math.ST stat.TH
Distributional Consistency of Lasso by Perturbation Bootstrap
Tibshirani（1996）提出的最小绝对收缩和选择算子（Lasso）是多元线性回归中的一种常用估计方法，当基础设计具有稀疏结构时，因为它具有将某些回归系数精确设置为0的特性。在这篇文章中，我们发展了一个扰动自助法，并建立了它的有效性近似的异方差线性回归的Lasso分布。我们允许基础协变量是随机的或非随机的。我们表明，所提出的自举方法的工作原理与协变量的性质无关，不像Freedman（1981）的基于重采样的自举方法，它必须根据协变量的性质（随机与非随机）进行定制。仿真研究也证明了我们的方法在有限样本。
2017-10-29 math.ST stat.ME stat.TH
Adaptive estimation of the baseline hazard function in the Cox model by model selection, with high-dimensional covariates
本文的目的是提供一个自适应估计的基线函数的Cox模型与高维协变量。我们考虑一个两步的程序：首先，我们估计的Cox模型的回归参数通过Lasso程序的基础上的偏对数似然，其次，我们插入这个Lasso估计到最小二乘型标准，然后执行模型选择程序，以获得自适应惩罚对比度估计的基线函数。利用回归参数Lasso估计的非渐近估计结果，建立了基线函数惩罚对比估计的非渐近预言不等式，突出了协变量维数增加时收敛速率的差异.
2015-03-03 math.ST stat.AP stat.TH
Robust Inference on Average Treatment Effects with Possibly More Covariates than Observations
本文关注模型选择后平均治疗效果的稳健推断。在可观测量选择框架下，我们给出了如何构造基于双稳健估计的置信区间，该估计对模型选择误差是稳健的，并证明了它们在一大类处理效应模型上是一致有效的.该类允许多值处理具有异质效应（在可观测量中），一般异方差性，以及在（可能）比观测值更多的协变量中进行选择。在适当的条件下，我们的估计达到了半参数有效界。精确的条件给出了任何模型选择器产生这些结果，我们展示了如何将数据驱动的选择与经济理论相结合。为了实现，我们给出了一个具体的建议，选择基于组套索，这是特别适合于治疗效果的数据，并得出新的结果，高维，稀疏多项式逻辑斯谛回归。仿真研究表明，我们的估计在有限样本在广泛的模型表现得很好。重新访问国家支持的工作示范数据，我们的方法产生准确的估计和紧置信区间。
2018-02-01 econ.EM math.ST stat.ME
Inference and model selection in general causal time series with exogenous covariates
本文研究了一类具有外生协变量的因果过程，包括ARMA-GARCH、APARMAX、ARMA-GARCH、APARCH-X等经典过程。在某些Lipschitz型条件下，证明了该方程的$τ$ -弱依赖严平稳遍历解的存在性.我们提供了强一致性的条件，并推导出渐近分布的拟极大似然估计（QMLE），无论是当真参数是一个内点的参数的空间，当它属于边界。提出了参数的显著性Wald检验方法。该检验非常广泛，包括参数分量的无效性检验，特别是允许我们评估外生协变量的相关性。依赖于模型的QMLE，我们还提出了一个惩罚标准来解决这个类的模型选择问题。建立了程序的弱一致性和强一致性。最后，通过蒙特卡罗模拟对主要结果进行了数值验证。
2021-09-05 math.ST stat.TH
Valid Post-selection Inference in Assumption-lean Linear Regression
基于数据驱动选择的估计量有效统计推断的构造近年来受到了广泛关注。Berk等人（2013）可能是第一个在任意协变量/变量选择下为具有固定协变量的高斯同方差线性回归提供有效推断的工作。该设置是不现实的，Bachoc et al.（2016）通过放松分布假设进行了扩展。上述工作的一个主要缺点是有效置信区域的构造是计算密集的。本文首先证明了后选择推理等价于同时推理，然后构造了计算简单的有效后选择置信区域。我们的构造是基于确定性不等式和适用于独立以及相关的随机变量，而不需要正确的分布假设。最后，我们比较了我们的置信区域与现有的体积，并表明在非随机协变量，我们的区域要小得多。
2018-06-11 math.ST stat.ME stat.TH
Estimation and model selection in generalized additive partial linear models for correlated data with diverging number of covariates
我们提出了复杂数据的广义加性部分线性模型，它允许人们在线性分量存在的情况下捕获某些协变量的非线性模式。该方法通过引入相关性信息，提高了相关数据的估计效率和统计功效。所提出的方法的一个独特的功能是它的处理模型选择的情况下，它是难以指定的似然函数的能力。在协变量维数发散的情况下，我们得到了线性系数和非参数函数的基于二次推断函数的估计，并建立了线性系数估计的渐近正态性和非参数函数估计的有限维和高维收敛速度.所提出的方法和理论发展是相当具有挑战性的，因为线性协变量和非线性分量的数量都随着样本量的增加而增加。我们还提出了一个双重惩罚的变量选择程序，可以同时识别非零线性和非参数组件，并具有渐近预言属性。已经进行了广泛的Monte Carlo研究，并表明所提出的程序有效地工作，即使中等样本量。肾癌数据的药代动力学研究说明使用所提出的方法。
2014-05-23 math.ST stat.TH
Local Learning for Covariate Selection in Nonparametric Causal Effect Estimation with Latent Variables
Department of Applied Statistics, Beijing Technology and Business University（应用统计系，北京技术与商业大学）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
针对潜变量存在下非参数因果效应估计的协变量选择问题，提出利用可观测变量间可检验关系进行局部学习的有效且完备的方法，并通过合成与真实数据实验验证其有效性。
2025-10-27 cs.LG math.ST stat.ML
Factor-Augmented Regularized Model for Hazard Regression
高维数据的一个普遍特征是协变量之间的相关性，当协变量高度相关时，模型选择具有挑战性。为了对高维考克斯比例风险模型在协变量具有因子结构的情况下进行模型选择，提出了一种新的风险回归因子增广正则化模型（Factor-Augmented Regularized Model for Hazard Regression，FarmHazard），该模型建立在驱动协变量依赖的潜在因子之上，扩展了Cox模型.这个新的模型生成的程序，通过从高维协变量向量中学习因子和特质成分，然后将它们用作新的预测因子，分两步操作。Cox模型是一种广泛用于生存分析的半参数模型，其中删失数据和时间依赖性协变量带来了额外的技术挑战。在较弱的条件下证明了模型选择相合性和估计相合性。我们还开发了一个因子增广变量筛选程序来处理超高维问题中的强相关性。大量的模拟和真实数据实验表明，该方法具有良好的性能，在模型选择、样本外C指数和筛选等方面都优于其他方法.
2022-10-03 math.ST stat.AP stat.ME
Consistent Variable Selection for Functional Regression Models
测试特定协变量的预测意义和识别相关协变量集的双重问题在应用研究和方法学研究中很常见。为了研究这个问题的背景下，功能线性回归模型的预测变量观察到一个网格和标量响应，我们考虑的功能协变量的基础扩展和应用似然比检验。基于检验每个预测因子的p值，我们提出了一种新的变量选择方法，该方法在从允许随样本量n增长的可用预测因子集中选择相关预测因子时是一致的。数值模拟表明，所提出的变量选择过程优于文献中发现的现有方法。一个真实的数据集，从气象站在日本进行了分析。
2015-06-10 math.ST stat.TH
Spatial point processes intensity estimation with a diverging number of covariates
空间点过程参数强度估计的特征选择方法是近年来发展起来的，因为越来越多的应用涉及大量的协变量。在本文中，我们研究的设置协变量的数量发散的域的观察增加。特别是，我们认为估计方程的基础上坎贝尔定理来自泊松和逻辑斯谛回归似然正则化的一般罚函数。我们证明了，在一定条件下，一致性，稀疏性和渐近正态性是有效的这样一个设置。我们支持的理论结果，从模拟实验和林业数据集的应用程序获得的数值。
2017-12-27 math.ST stat.ME stat.TH
Integrated conditional moment test and beyond: when the number of covariates is divergent
经典的综合条件矩检验是检验回归模型误设定的一种很有前途的方法。然而，它严重地受到维度灾难的影响。为了将其推广到协变量个数不同的多指标参数模型的检验问题，本文研究了推断中的三个问题。首先，我们研究了非线性模型中参数矩阵的最小二乘估计的相合性和渐近线性表示。其次，我们提出，通过充分的降维技术，自适应模型版本的综合条件矩检验。研究了新检验在原假设和备择假设下的渐近性质，考察了新检验在假设检验中保持显着性水平的能力，以及对全局和局部备择假设的灵敏度.第三，我们得到了新的测试在发散维设置的自助近似的一致性。数值研究表明，新的测试可以很大程度上提高了原来的ICM测试在高维场景的性能。我们还将测试应用到一个真实的数据集进行说明。
2020-05-24 math.ST stat.ME stat.TH
High-dimensional Gaussian model selection on a Gaussian design
我们考虑估计一个真正的高斯变量$\nolinebreak Y=\sum_{i=1}^p\nolinebreakθ_iX_i+\nolinebreak ε$的协变量$(X_i)_{1\leq i\leq p}$的向量遵循联合高斯分布的条件均值的问题。这个问题经常发生在一个旨在估计的图形或高斯图形模型的分布。我们介绍了一个一般的模型选择过程，这是基于惩罚最小二乘型标准的最小化。它处理各种各样的问题，如有序和完整的变量选择，允许将一些先验知识的模型和应用时，协变量的数量$p$是大于观察数$n$。此外，它被证明是独立的协变量的相关结构实现非渐近预言不等式。我们还表现出各种极小极大率的估计所考虑的框架，因此，我们的程序的自适应特性。
2009-04-28 math.ST stat.TH
Model Selection for High-Dimensional Regression under the Generalized Irrepresentability Condition
Stanford University（斯坦福大学）
在高维回归模型中，响应变量与$p$协变量线性相关，但样本量$n$小于$p$。我们假设只有一小部分协变量是“活跃的”（即，相应的系数是非零的），并考虑识别有效协变量的模型选择问题。一种流行的方法是通过Lasso（$\ell_1$ -正则化最小二乘）估计回归系数。这是已知的正确识别活动集，只有当不相关的协变量大致正交的相关，通过所谓的“不可代表性”条件量化。在本文中，我们研究的'高斯-套索'选择器，一个简单的两阶段的方法，首先解决了套索，然后进行普通的最小二乘法限制到套索活动集。我们制定“广义不可表示性条件”（GIC），一个假设，是大大弱于不可表示性。我们证明，在GIC下，高斯-套索正确地恢复活动集。
2013-05-02 cs.IT cs.LG math.IT
Asymptotic Theory of Bayes Factor in Stochastic Differential Equations: Part I
在随机微分方程（SDEs）的背景下，渐近模型选择的研究在文献中几乎是不存在的。特别是，当被认为是一个集合的随机微分方程，渐近模型选择的问题还没有调查。事实上，即使扩散系数可以被认为是已知的，关于漂移函数的适当选择的问题构成了一个非平凡的模型选择问题。在这篇文章中，我们开发的渐近理论比较集合的SDEs相对于使用贝叶斯因子的漂移函数的选择时，在集合的SDEs方程（个人）的数量趋于无穷大，而时域保持有界的每个方程。我们的渐近理论涵盖的情况下，所观察到的过程与SDES是独立和同分布（iid），以及当他们是独立的，但不相同的分布（非iid）。特别是，我们允许通过漂移函数的乘法因子将可用的时间相关协变量信息并入每个子空间;我们还允许不同的初始值和观测值的SDES域。因此，我们的模型选择问题包括从一组可用的时间依赖性协变量中选择一组适当的时间依赖性协变量，除了选择无协变量的漂移函数的一部分。对于iid和非iid设置，我们建立了贝叶斯因子的几乎必然指数收敛。此外，我们用模拟研究证明，即使在非渐近的情况下，贝叶斯因子也成功地捕获了正确的协变量集。
2018-04-17 math.ST stat.TH
Further details on inference under right censoring for transformation models with a change-point based on a covariate threshold
我们考虑应用于右删失生存数据的线性变换模型，其变点基于协变量阈值。建立了非参数极大lieklihood估计的相合性和弱收敛性。变点参数显示为$n$一致，而其余参数显示为具有预期的根$n$一致性。我们表明，该程序是自适应的意义上，非门限参数估计具有相同的精度，如果真正的门限值是已知的。我们还开发了蒙特卡罗方法的推理模型参数和得分测试的存在一个变点。这里的一个关键困难是，在没有变点的原假设下，一些模型参数是不可识别的。模拟学生建立有限样本量的建议的分数测试的有效性。
2006-04-03 math.ST stat.TH
FuSSO: Functional Shrinkage and Selection Operator
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）
我们提出了FuSSO，一个功能类似的LASSO，有效地找到一组稀疏的功能输入协变量回归实值响应。FuSSO以半参数方式进行，对输入函数协变量的性质不做参数假设，并假设函数协变量到响应的映射为线性形式。我们提供了一个统计支持使用的FuSSO通过证明渐近稀疏在各种条件下。此外，我们在合成和真实世界的数据上都观察到了良好的结果。
2014-03-09 cs.LG math.ST stat.ML
Isotonic subgroup selection
针对识别回归函数超阈值子集的子群选择问题，提出基于鞅检验与多重检验的多变量保序回归方法，满足非渐近一致第一类错误率保证且功效达极小极大最优速率，并在R包ISS中实现。
2023-06-28 math.ST stat.ME stat.TH
Limited-Information Maximum Likelihood based Model Selection Procedures for Binary Outcomes
不可测协变量是因果推断中的重要问题之一。即使存在一些不可测量的协变量，一些工具变量方法，如两阶段残差包含（2SRI）估计，或有限信息极大似然（LIML）估计，可以获得因果效应的无偏估计，尽管存在非线性结果，如二元结果，但它要求我们不仅指定正确的结果模型，而且还指定正确的治疗模型。因此，检测正确的模型是一个重要的过程。在本文中，我们提出了两个模型选择过程：AIC型和BIC型，并确认其性质。建议的模型选择程序是基于LIML估计。我们证明了所提出的BIC型模型选择过程具有模型选择一致性，并通过仿真数据验证了所提出的模型选择过程的性质.
2021-12-29 math.ST stat.ME stat.OT
Tight conditions for consistent variable selection in high dimensional nonparametric regression
我们解决了具有非常高的环境维度的回归模型中的变量选择问题，即，当协变量的数量非常大时。主要关注的是相关协变量的数量（称为内在维度）比环境维度小小于的情况。在不假设底层回归函数的任何参数形式的情况下，我们得到了严格的条件，使得有可能一致地估计相关变量的集合。这些条件将内在尺寸与环境尺寸和样本量联系起来。在这些严格条件下可证明一致的过程是简单的，并且基于将经验傅里叶系数与适当选择的门限值进行比较。
2011-02-17 math.ST stat.TH
Generalized Kernel Ridge Regression for Causal Inference with Missing-at-Random Sample Selection
MIT（麻省理工学院）
我提出了核岭回归估计的非参数剂量反应曲线和半参数处理效应的设置中，分析师有机会获得一个选定的样本，而不是一个随机样本，只有选择观察，观察的结果。我假设选择与随机一样好，条件是治疗和一组足够丰富的观察到的协变量，其中允许协变量引起治疗或由治疗引起-随机缺失（MAR）的扩展。我提出了估计的手段，增量和分布的反事实的结果与封闭形式的解决方案，在核矩阵运算，允许治疗和协变量是离散的或连续的，低，高，或无限维。对于连续治疗的情况下，我证明了一致的一致性与有限的采样率。对于离散处理的情况下，我证明根-n的一致性，高斯近似，和半参数效率。
2021-11-09 cs.LG econ.EM math.ST
