Covariance estimation in decomposable Gaussian graphical models
图模型是一种使用图表示和利用分布中先验条件独立结构的框架。在高斯情况下，这些模型与逆协方差（浓度）矩阵的稀疏性直接相关，并且允许以较低的计算复杂性改进协方差估计。我们认为浓度估计的均方误差（MSE）为目标，在一个特殊类型的模型称为分解。这种模式包括，例如，众所周知的带状结构和其他情况下遇到的实践。我们的第一个贡献是推导和分析的最小方差无偏估计（MVUE）在可分解的图形模型。我们提供了一个简单的封闭形式的MVUE的解决方案，并比较它与经典的最大似然估计（MLE）的性能和复杂性。接下来，我们将著名的Stein无偏风险估计（SURE）扩展到图形模型。使用SURE，我们证明了MVUE的MSE总是小于或等于偏置MLE的MSE，并且MVUE本身由其他方法主导。此外，我们建议使用的SURE作为一个建设性的机制，获得新的协方差估计。类似于经典的极大似然估计，我们提出的所有估计都有简单的封闭形式的解决方案，但在MSE显着减少的结果。
2009-03-06 math.ST stat.TH
High-dimensional Ordinary Least-squares Projection for Screening Variables
当预测变量$p$的数量远远超过观测变量$n$的数量时，变量选择在统计应用中是一个具有挑战性的问题。在这种超高维度的环境中，引入了确定独立筛选（SIS）程序，通过以压倒性的概率保留真实模型来显着降低维度，然后进行精细的第二阶段分析。然而，上述确定筛选属性强烈依赖于模型中的重要变量与响应具有大的边际相关性的假设，这在现实中很少成立。为了克服这一点，我们提出了一种新的和简单的筛选技术称为高维普通最小二乘投影（HOLP）。我们证明了HOLP具有可靠的筛选性质，在没有强相关性假设的情况下给出了一致的变量选择，并且具有较低的计算复杂度。本文还讨论了一种脊型HOLP方法。仿真研究表明，HOLP执行竞争力相比，许多其他边缘相关的方法。一个哺乳动物眼病数据的应用说明了HOLP的吸引力。
2015-06-05 math.ST stat.ME stat.ML
A sure independence screening procedure for ultra-high dimensional partially linear additive models
我们介绍了一个两步的过程，在超高维加性模型的背景下，其目的是减少协变量向量的大小和区分非零分量之间的线性和非线性效应。我们建议的筛选程序，在第一步，构造的累积分布函数和响应的条件期望的边缘相关的框架内的概念的基础上。B样条和经验分布函数被用来估计上述两个措施。并证明了该过程的确定性。在第二步中，一个双重惩罚的过程中应用，以确定非零和线性成分，同时。通过几个检验函数对所设计方法的性能进行了检验，以显示其在误差分布变化时与竞争对手方法相比的能力。仿真研究表明，该方法适用于超高维数据，并能很好地检测出显著的协变量。并与现有方法进行了比较，证明了该方法的优越性.这种方法也适用于确定最重要的基因过表达的G蛋白偶联受体在小鼠中。
2017-08-29 math.ST stat.TH
Robust Sure Independence Screening for Non-polynomial dimensional Generalized Linear Models
研究了非多项式阶的超高维广义线性模型的变量筛选问题。由于流行的SIS方法是非常不稳定的污染和噪声的存在下，我们讨论了一个新的强大的筛选过程的基础上的边缘回归系数的最小密度功率发散估计（MDPDE）。我们提出的筛选程序在纯数据和污染数据的情况下表现良好。我们提供了一个理论上的动机使用边际MDPDE变量筛选人口以及样本方面，特别是，我们证明了边际MDPDE是一致的，导致我们提出的算法的一定的筛选性能。最后，我们提出了一个适当的MDPDE为基础的扩展，强大的条件筛选GLM随着其肯定的筛选属性的推导。我们提出的方法说明了通过广泛的数值研究，以及一个有趣的实际数据的应用。
2022-11-12 math.ST stat.ME stat.TH
Best subset selection is robust against design dependence
最佳子集选择（BSS）被广泛认为是高维变量选择的圣杯。然而，BSS的NP难性在很大程度上限制了它的实际应用，也在一定程度上阻碍了它的理论发展，特别是在当前的大数据时代。本文研究了盲源分离算法在目标稀疏度大于或等于真实稀疏度时的变量选择性质。我们的主要信息是，BSS是强大的设计依赖性方面实现模型的一致性和一定的筛选，更重要的是，这种鲁棒性可以传播到计算有形的近最佳子集。具体来说，我们引入了一个可识别的边际条件，是免费的限制特征值，并表明这是充分的，几乎是必要的BSS，以准确地恢复真实的模型。这个条件的放松版本也足以使BSS实现确定的屏蔽属性。此外，考虑到优化误差，我们发现，所有建立的统计性质的确切的最佳子集结转到任何近最佳子集的残差平方和是足够接近的最好的。特别地，两阶段完全校正迭代硬阈值（IHT）算法可以证明在对数步长内找到稀疏的确定筛选子集;在该集合内的另一轮精确BSS可以恢复真实模型。仿真研究和实际数据的例子表明，IHT产生较低的错误发现率和较高的真阳性率的竞争方法，包括LASSO，SCAD和确定独立筛选（SIS），特别是在高度相关的设计。
2021-08-26 math.ST stat.ME stat.TH
Sure independence screening in generalized linear models with NP-dimensionality
超高维变量选择在当代科学发现和统计研究中发挥着越来越重要的作用。Fan和Lv [J. R. stat. Soc. Ser. B Stat.美沙酮70（2008）849 - 911]提出了通过对边际相关性进行排序的独立筛选框架。他们表明，在具有高斯协变量和响应的线性模型的背景下，相关性排序程序具有一定的独立筛选特性。在本文中，我们提出了一个更一般的版本的独立学习排序的最大边际似然估计或最大边际似然本身在广义线性模型。我们证明了所提出的方法，与Fan和Lv [J. R. stat. Soc. Ser. B Stat.美沙酮70（2008）849 - 911]作为非常特殊的情况，也具有假选择率为零的确定筛选性质。独立学习具有确定筛选的条件出奇地简单。这证明了这种简单方法在宽光谱中的适用性。我们明确量化的程度，可以减少独立筛选，这取决于协变量和真实参数的协方差阵的相互作用的维度。仿真研究被用来说明所提出的方法的效用。此外，我们建立了一个指数不等式的拟极大似然估计，这是有用的高维统计学习。
2012-11-13 math.ST stat.ME stat.ML
Robust variable screening for regression using factor profiling
可靠独立筛选是一种用于超高维回归分析中变量选择的快速方法。不幸的是，它的性能大大恶化的预测之间的依赖性增加。为了解决这个问题，因子轮廓确定独立筛选（FPSIS）模型的预测变量的相关结构，假设它可以表示为几个潜在的因素。然后可以通过将数据投影到这些因子所跨越的子空间的正交补上来分析相关性。然而，这两种方法都不能处理数据中存在的离群值。因此，我们提出了一个强大的筛选方法，它使用最小二乘法来估计潜在的因素和因素轮廓变量。然后，通过使用回归MM估计量对因子轮廓变量进行变量筛选。研究了模型中不同类型的异常值及其在变量筛选中的作用。仿真研究和实际数据分析表明，所提出的鲁棒方法在干净数据上具有良好的性能，在污染数据上优于两种非鲁棒方法。
2018-11-14 stat.ME
Variable screening with multiple studies
技术的进步产生了丰富的高维数据，允许整合多个相关研究。基于边缘相关的变量筛选方法由于其巨大的计算优势，已经成为流行的正则化方法的变量选择的有前途的替代方案。然而，迄今为止，所有这些筛选方法都仅限于单个研究。在本文中，我们考虑了一个一般框架的变量筛选与多个相关的研究，并进一步提出了一个新的两步筛选程序使用自归一化估计的高维回归分析在这个框架中。与一步法和基于秩的确定独立筛选（SIS）方法相比，我们的方法大大减少了假阴性错误，同时保持了较低的假阳性率。理论上，我们表明，我们的程序具有一定的筛选性能与较弱的信号强度的假设，并允许功能的数量以指数速度增长的样本量。此外，我们放松了常用的正态性假设，并允许亚高斯分布。模拟和一个真正的转录组应用程序说明了我们的方法相比，基于排名的SIS方法的优势。
2017-10-11 math.ST stat.ME stat.TH
Marginal empirical likelihood and sure independence feature screening
我们研究了边际经验似然方法的情况下，当变量的数量与样本量呈指数增长。边际经验似然比作为感兴趣的参数的函数进行了系统的检查，我们发现，边际经验似然比评估为零，可以用来区分是否解释变量是有助于响应变量或没有。基于这一发现，我们提出了一个统一的线性模型和广义线性模型的特征筛选过程。不同于大多数现有的特征筛选方法，依赖于一些边际估计的幅度来识别真实信号，所提出的筛选方法是能够进一步纳入这样的估计的不确定性的水平。这样的优点继承了经验似然方法的自学生化属性，并扩展了现有特征筛选方法的见解。此外，我们表明，我们的筛选方法是限制较少的分布假设，并可以方便地适用于广泛的场景，如使用一般矩条件指定的模型。我们的理论结果和大量的数值模拟和数据分析的例子证明了边际经验似然方法的优点。
2013-11-06 math.ST stat.TH
Ultrahigh dimensional variable selection: beyond the linear model
高维空间中的变量选择是当代科学发现和决策中的许多问题的特征。许多常用的技术基于独立筛选;示例包括相关性排名（Fan和Lv，2008）或在高维分类中使用双样本t检验的特征选择（Tibshirani等人，2003年）。在线性模型的背景下，Fan和Lv（2008）表明，这种简单的相关性排名在某些条件下具有确定的独立筛选属性，并且当特征与响应变量稍微不相关但共同相关时，需要对其进行修订，称为迭代确定独立筛选（ISIS）。在本文中，我们扩展ISIS，没有明确的定义的残差，一般的伪似然框架，其中包括广义线性模型作为一个特殊情况。即使在最小二乘设置中，新方法也通过允许在迭代过程中删除变量来改进ISIS。我们的技术使我们能够在高维分类中选择重要的特征，而通常使用的双样本t-方法失败了。在特征筛选阶段引入了一种新的技术来降低错误发现率。几个模拟和两个真实数据的例子来说明的方法。
2008-12-17 stat.ME stat.ML
Nonparametric Independence Screening in Sparse Ultra-High Dimensional Additive Models
Fan和Lv（2008）提出了一种通过相关学习进行变量筛选的方法来降低稀疏超高维模型的维数。即使真实模型是线性的，边际回归也可能是高度非线性的。为了解决这个问题，我们进一步将相关学习扩展到边缘非参数学习。我们的非参数独立性筛选被称为NIS，是确定独立性筛选的一个特定成员。提出了几个密切相关的变量筛选程序。在非参数可加模型下，证明了在一些温和的技术条件下，所提出的独立筛选方法具有一定的筛选性质。在何种程度上可以减少独立筛选的维度也明确量化。作为一种方法的扩展，迭代非参数独立筛选（INIS）也被提出来提高有限样本拟合稀疏可加模型的性能。仿真结果和实际数据分析表明，该方法适用于中等样本量和大维数的情况，性能优于竞争方法。
2011-01-18 math.ST stat.CO stat.ME
ExSIS: Extended Sure Independence Screening for Ultrahigh-dimensional Linear Models
在超高维线性模型中，统计推断在计算上是禁止的。基于相关性的变量筛选可以用来克服这一挑战，在这种筛选中，在统计推断之前，利用边际相关性从模型中去除不相关的变量。基于相关性的变量筛选的先前工作要么对线性模型施加统计先验，要么假设特定的筛选后推断方法。本文首先将基于相关性的变量筛选分析扩展到任意线性模型和筛选后推理技术。特别是，（i）它表明，一个条件-被称为筛选条件-是足够的成功的相关性为基础的筛选线性模型，和（ii）它提供了见解的依赖边际相关性为基础的筛选不同的问题参数。数值实验证实，这些见解不仅仅是分析的文物，相反，它们反映了与基于边际相关性的变量筛选相关的挑战。其次，本文明确推导出任意（随机或确定性）线性模型的筛选条件，并在此过程中，它建立了-在适当的条件下-有可能减少一个超高维，任意线性模型的尺寸几乎样本量，即使活动变量的数量几乎与样本量成线性比例。第三，它专门的筛选条件，以亚高斯线性模型和对比的最终结果，现有的文献。这种专业化正式验证了本文的主要结果概括了现有的基于相关性的筛选。
2020-07-04 cs.IT math.IT math.ST
Variable Screening for High Dimensional Time Series
变量选择是高维统计中广泛研究的问题，主要是因为估计协变量和响应之间的精确关系在许多科学学科中非常重要。然而，大多数的理论和方法，朝着这个目标发展的线性模型调用的假设，iid亚高斯协变量和误差。本文分析了确定独立筛选（SIS）的理论性质（Fan和Lv [J. R. stat. Soc. Ser. B Stat.美沙酮70（2008）849 - 911]）用于具有相依和/或重尾协变量和误差的高维线性模型。我们还介绍了一个广义最小二乘筛选（GLSS）的程序，利用串行相关数据中存在的。通过利用这种序列相关性时，估计我们的边际效应，GLSS显示优于SIS在许多情况下。对于这两个程序，我们证明了一定的筛选性能，这取决于矩条件，以及在误差和协变量过程中的依赖强度，以及其他因素。此外，还分析了将这些筛选程序与自适应Lasso相结合的情况。依赖性通过函数依赖性测量来量化（Wu [Proc.Natl. Acad. sci. USA 102（2005）14150 - 14154]），并且结果依赖于对相关随机变量使用Nagaev型和指数不等式。我们还进行了模拟，以证明这些程序的有限样本性能，并包括预测美国通货膨胀率的实际数据应用。
2018-03-09 stat.ME
A robust variable screening procedure for ultra-high dimensional data
在超高维回归问题中，变量的选择已成为一个重要的问题。在这种情况下，惩罚回归模型可能面临计算问题，并且可能需要对变量进行一些预先筛选。已经开发了许多用于此类预筛选的程序;其中，可靠的独立筛选（SIS）颇受欢迎。然而，SIS容易受到数据中的离群值的影响，特别是在小样本中，这可能导致错误的推断。在本文中，我们开发了一个新的强大的筛选程序。在密度功率发散（DPD）估计方法的基础上，提出了DPD-SIS及其扩展的迭代DPD-SIS。我们通过大量的模拟研究说明了这些方法的行为，并表明当数据中存在离群值时，它们优于原始SIS和其他鲁棒方法。我们证明了声称的鲁棒性，通过使用的影响函数，我们讨论了适当的选择的调谐参数$α$。最后，我们说明了它的使用一个小的数据集，从一个研究脂质代谢的调节。
2020-04-30 stat.AP stat.ME
Stochastic Majorization-Minimization Algorithms for Large-Scale Optimization
INRIA Grenoble（法国国家信息与自动化研究所格勒诺布尔分部）
优化最小化算法包括迭代地最小化目标函数的优化代理。由于它的简单性和广泛的适用性，这个原则在统计学和信号处理中非常流行。在本文中，我们打算使这一原则可扩展。我们引入了一个随机优化最小化方案，它能够处理大规模或可能无限的数据集。当适用于凸优化问题在适当的假设下，我们表明，它达到了预期的收敛速度的$O(1/\sqrt{n})$ $n$迭代后，和$O(1/n)$强凸函数。同样重要的是，我们的计划几乎肯定收敛到一个大类的非凸问题的驻点。我们开发了几个有效的算法基于我们的框架。首先，我们提出了一个新的随机邻近梯度方法，实验匹配国家的最先进的大规模$\ell_1$-逻辑斯谛回归的求解器。其次，我们提出了一个非凸稀疏估计的在线DC规划算法。最后，我们证明了我们的方法解决大规模结构矩阵分解问题的有效性。
2013-09-10 cs.LG math.OC stat.ML
Ultra-high dimensional confounder selection algorithms comparison with application to radiomics data
本文针对影像组学超高维数据场景，扩展了两种因果推断变量选择算法，经模拟与癌症数据集验证，SIS + GOAL为最优算法，填补了因果推断在影像组学应用的空白。
2023-10-10 stat.ME
Screening methods for linear errors-in-variables models in high dimensions
微阵列研究，为了确定与感兴趣的结果相关的基因，通常产生噪声测量的大量基因表达特征，从少数受试者。分析这种高维数据的一种常见方法是使用线性变量误差模型;然而，目前用于拟合这种模型的方法在计算上是昂贵的。在本文中，我们提出了两个有效的筛选程序，即校正惩罚边际筛选和校正肯定独立筛选，以减少最终模型建立的变量的数量。这两种筛选程序都是基于拟合校正的边际回归模型，该模型将结果分别与每个受污染的协变量相关联，即使具有大量特征也可以有效地计算。在温和的条件下，我们表明这些程序可以实现筛选一致性并大大减少特征数量，即使协变量数量随着样本量呈指数级增长也是如此。此外，如果真正的协变量是弱相关的，校正惩罚边缘筛选可以实现全变量选择的一致性。通过模拟研究和挪威妇女的骨密度的基因表达数据的分析，我们证明了这两个新的筛选程序估计的线性误差变量模型计算可扩展的高维设置，并提高有限样本估计和选择性能相比，不采用筛选阶段的估计。
2021-04-20 stat.ME
A Robust Partial Correlation-based Screening Approach
作为一种计算速度快、工作效率高的工具，确定独立筛选法在求解高维问题中受到了广泛的关注。本文从无模型的角度出发，提出了两种同时考虑异方差、离群值、重尾分布、连续或离散响应以及混杂效应的稳健可靠性筛选方法。首先，我们只使用两个随机指标定义一个鲁棒的相关性度量，并使用该相关性引入筛选器。其次，我们提出了一个强大的部分相关性为基础的筛选方法时，暴露变量。为了消除暴露对响应和每个协变量的混杂效应，我们使用具有某些指定损失函数的非参数回归。更具体地，形成了鲁棒的基于相关性的筛选方法（RC-SIS）和鲁棒的基于部分相关性的筛选框架（RPC-SIS），该框架包括两个具体的筛选器：RPC-SIS（L2）和RPC-SIS（L1）。第三，在一定的正则条件下，我们建立了响应变量可以是连续或离散的RC-SIS的筛选性质，以及RPC-SIS（L2）和RPC-SIS（L1）的筛选性质。我们的方法本质上是非参数的，并且对于响应和协变量都表现得很稳健。最后，进行了广泛的仿真研究和两个应用程序来证明我们所提出的方法的优越性。
2021-07-24 math.ST stat.ME stat.TH
Grouped feature screening for ultrahigh-dimensional classification via Gini distance correlation
本文提出基于基尼距离相关的超高维分类特征筛选方法，可处理单特征和分组特征筛选，具备无模型、确定独立筛选和排序一致性等性质，并能应对响应类别数发散的情形。
2023-04-17 math.ST stat.ME stat.TH
Robust rank correlation based screening
独立性筛选是一种变量选择方法，其使用排序标准来选择显著变量，特别是对于具有非多项式维度的统计模型或“大p，小n”范式，当p可以与样本量n的指数一样大时。本文提出了一种鲁棒的秩相关筛选（RRCS）方法来处理超高维数据。新方法基于响应变量和预测变量之间的Kendall τ相关系数，而不是现有方法的Pearson相关系数。与现有的独立筛选方法相比，新方法具有四个可取的特点。首先，确定的独立性筛选属性可以保持只有在预测变量的二阶矩的存在下，而不是指数尾或相似性，即使当预测变量的数量增长一样快的指数的样本量。其次，它可以用来处理半参数模型，如转换回归模型和单指标模型在单调约束下的链接函数，而不涉及非参数估计，即使在模型中的非参数函数。第三，该程序可以在很大程度上用于对抗观测值中的离群值和影响点。最后，使用指示函数的秩相关筛选大大简化了理论推导，由于所得的统计量的有界性，与以前的研究相比，变量筛选。与现有的方法进行了比较，并进行了仿真分析的一个实际数据的例子。
2012-10-17 math.ST stat.ME stat.TH
