An Empirical Bayes Jackknife Regression Framework for Covariance Matrix Estimation
本文将协方差矩阵估计构建为复合决策问题,提出结合刀切技术与机器学习回归的算法,在不依赖数据分布假设下逼近最优决策规则,实验表明其性能达到或超越现有最先进方法。
2025-03-03 stat.ME
Longitudinal regression of covariance matrix outcomes
在这项研究中,纵向回归模型的协方差阵的结果。该建议认为,多层次的广义线性模型回归协方差阵(随时间变化)的预测。该模型同时识别协方差矩阵中的协变量相关成分,估计回归系数,并估计协方差阵中的受试者内变异。通过最大化(近似的)分层似然函数,分别给出了低维和高维情形下的最优估计,并证明了该估计是渐近相合的,其中所提出的估计在低维情形下是最有效的,在高维情形下是单位矩阵和样本协方差阵的所有线性组合中的一致最小二次损失.通过大量的仿真研究,所提出的方法取得了良好的性能,识别协变量相关的组件和估计模型参数。应用于阿尔茨海默病神经成像倡议(ADNI)的纵向静息状态fMRI数据集,所提出的方法识别大脑网络,证明男性和女性之间的差异,在不同的疾病阶段。研究结果与AD的现有知识一致,并且该方法提高了横断面数据分析的统计功效。
2022-02-09 stat.ME
Nonparametric Regression and Error Covariance Function Estimation -- Beyond Short-Range Dependence
针对非参数回归中误差相关性衰减缓慢的问题,提出特殊核函数与带宽选择步骤及误差协方差函数非参数估计,在理论和模拟中均获显著改进并验证了实际应用价值。
2025-04-27 stat.ME
Principal Regression for High Dimensional Covariance Matrices
本文提出了一种以多个高维协方差阵为结果的广义线性回归方法。提出了通过最大化伪似然估计模型参数。当数据为高维时,由于样本协方差阵秩亏,正态似然函数是不适定的。因此,一个良好的条件线性收缩估计的协方差阵的介绍。对于多个协方差阵,提出了收缩系数在矩阵间是公共的。理论研究表明,在单位矩阵和样本协方差阵的所有线性组合中,所提出的协方差矩阵估计量是渐近一致最小二次损失的最优估计量.在正则条件下,所提出的模型参数估计是相合的。所提出的方法比现有的方法的优越性能,通过仿真研究说明。实施从阿尔茨海默病神经影像学倡议获得的静息状态功能磁共振成像研究,提出的方法确定了一个大脑网络,其中功能连接与载脂蛋白E $\varepsilon$ 4显著相关,载脂蛋白E 4是阿尔茨海默病的一个强遗传标记。
2020-07-24 stat.ME
An explicit mean-covariance parameterization for multivariate response linear regression
我们开发了一种新的方法来拟合多变量响应线性回归模型,该模型利用了回归系数矩阵和误差协方差阵之间的参数联系。具体来说,我们假设多元误差随机向量中的条目之间的相关性与其对应的回归系数矩阵列之间的角度的余弦成比例,因此随着两个回归系数矩阵列之间的角度减小,对应误差之间的相关性增大。我们强调两种模型下,这种参数化出现:潜变量降秩回归模型和变量误差回归模型。我们提出了一种新的非凸加权残差平方和准则,利用这种参数化,并承认一类新的惩罚估计。该优化算法采用加速近端梯度下降算法求解。我们的方法用于研究在NCI-60细胞系上测量的microRNA表达和癌症药物活性之间的关联。实现我们的方法MCMVR的R包可以在github.com/ajmolstad/MCMVR上获得。
2021-12-08 stat.ME
Missing values: sparse inverse covariance estimation and an extension to sparse regression
提出了一种估计高维多元正态模型中存在缺失数据的逆协方差阵的l1正则化似然方法。我们的方法是基于假设的数据是随机缺失(MAR),这也需要完全随机缺失的情况下。该方法的实现是非平凡的,因为观察到的负对数似然一般是一个复杂的非凸函数。我们提出了一个有效的期望最大化算法的优化与可证明的数值收敛性能。此外,我们扩展的方法来处理稀疏回归上下文中的缺失值。我们证明了这两种方法的模拟和真实数据。
2012-02-27 stat.ME
A Bayesian Generalized Bridge Regression Approach to Covariance Estimation in the Presence of Covariates
提出分层贝叶斯广义桥回归框架,通过精度矩阵重参数化和两种MCMC算法,实现多元线性模型中系数矩阵与逆协方差矩阵的联合估计,并验证其在大规模光谱数据上的可行性。
2024-10-27 stat.ME
Testing the parametric form of the conditional variance in regressions based on distance covariance
本文提出了一种新的检验方法,用于检验非线性非参数回归模型中基于距离协方差的条件方差的参数形式。继承了距离协方差的优良性质,我们的检验在实践中非常容易实现,并且受协变量维数的影响较小。在原假设和备择假设下,研究了检验统计量的渐近性质。我们表明,建议的测试是一致的,对任何替代品,并可以检测本地的替代品收敛到原假设的参数率1/根(n)在非线性和非参数设置。由于检验统计量的极限零分布是难以处理的,我们提出了一种残差自助法来近似极限零分布。模拟研究,以评估有限样本的性能所提出的测试。我们还将建议的测试应用到一个真实的数据集进行说明。
2022-05-18 stat.ME
Regression-based covariance functions for nonstationary spatial modeling
在许多涉及空间参考数据的环境应用中,观测数量和位置的限制激发了对实用且高效的空间插值或克里金模型的需求。连续索引空间数据模型的一个关键组成部分是协方差函数,传统上假定它属于固定模型的参数类。然而,平稳性很少是一个现实的假设。替代的方法,更适当地模拟非平稳环境过程中存在的往往涉及高维参数空间,这导致模型拟合和可解释性的困难。为了克服这个问题,我们建立在不断增长的文献协变量驱动的非平稳空间建模。使用过程卷积技术,我们提出了一个贝叶斯模型的连续索引的空间数据的基础上灵活的参数协方差回归结构的卷积核协方差阵。由此产生的模型是一个简约的内核过程的表示,我们探索隐含的模型,包括所产生的非平稳协方差函数和解释的好处,在内核参数的描述属性。此外,我们证明,我们的模型提供了一个实际的平衡之间的固定和高度参数化的非平稳空间协方差函数,在实践中没有很好地执行。我们说明我们的方法,通过分析年降水量数据。
2015-02-04 stat.ME
A Regression-based Approach to Robust Estimation and Inference for Genetic Covariance
本文提出统一的基于回归的遗传协方差稳健估计与推断框架,证明模型错误设定下的渐近稳健性,并通过模拟和远交小鼠GWAS分析验证其效果。
2023-10-04 stat.ME
Bayesian estimation of covariate assisted principal regression for brain functional connectivity
本文提出CAP回归的贝叶斯重新表述,通过将协方差矩阵映射至切空间利用欧几里得几何进行后验推断,在统一框架内实现参数联合估计与不确定性量化,并应用于脑功能连接性分析。
2024-08-29 stat.ME
Minimax D-optimal designs for multivariate regression models with multi-factors
在多响应回归模型中,误差协方差阵在实际中是永远不知道的。因此,需要对误差协方差阵的可能误指定具有鲁棒性的最优设计。在本文中,我们近似的误差协方差矩阵的协方差阵的邻域,以定义极小极大D-最优设计,这是对小偏离假设的误差协方差阵的稳健。众所周知,与稳健设计相关的优化问题是非凸的,这使得它具有挑战性的分析或数值构造稳健设计,即使是单响应回归模型。我们证明了极小极大D-最优设计的目标函数是两个凸函数的差。这使我们开发了一个灵活的算法来计算极小极大D-最优设计,它可以应用于任何多响应模型的离散设计空间。我们还得到了一些理论结果的极小极大D-最优设计,包括规模不变性和反射对称性。
2019-10-02 stat.ME
A new approach to Cholesky-based covariance regularization in high dimensions
在本文中,我们提出了对协方差阵的Cholesky因子的新回归解释,与众所周知的逆协方差的Cholesky因子的回归解释相反,这导致了一类新的适用于高维问题的正则化协方差估计量。通过这种回归解释正则化协方差的Cholesky因子总是得到正定估计量。特别地,可以以与Bickel和Levina(2008 b)提出的流行的带状估计相同的计算成本获得协方差阵的正定带状估计,其不能保证是正定的。本文还建立了协方差阵及其逆矩阵的带状Cholesky因子与带状约束下的约束极大似然估计之间的理论联系,并在仿真和声纳数据实例中比较了几种方法的数值性能。
2009-03-03 stat.ME
A covariate-dependent Cholesky decomposition for high-dimensional covariance regression
Baylor University(贝勒大学);Goizueta Business School, Emory University(埃默里大学戈伊泽塔商学院)
本文提出一种新的变系数序列回归框架,通过修改Cholesky分解来建模协变量依赖的正定协方差矩阵,同时引入联合稀疏结构以处理高维数据。
2026-04-08 stat.ME
Multilevel Regression Modeling of Covariance Matrix Outcomes
Indiana University School of Medicine(印第安纳大学医学院);The University of Texas Health Science Center at Houston(德克萨斯大学健康科学中心休斯顿分校);Johns Hopkins Bloomberg School of Public Health(约翰霍普金斯大学布隆伯格公共卫生学院)
本文提出多级协变量辅助主成分回归框架,用于分析脑网络组织随个体协变量变化的情况,通过多级结构提升估计精度,应用于人类连接组计划寿命研究发现年龄和性别对功能连接的影响。
2026-05-06 stat.ME
Simultaneous Variable and Covariance Selection with the Multivariate Spike-and-Slab Lasso
我们提出了一个贝叶斯过程,同时变量和协方差选择使用连续的尖峰和板条先验的多元线性回归模型,其中q可能相关的响应回归到p预测。我们开发了一种ECM算法,而不是依赖于通过高维模型空间的随机搜索,该算法类似于Rockova & George(2014)的EMVS过程,目标是回归系数矩阵和残差精度矩阵的模态估计。改变连续尖峰密度的尺度有利于动态后验探索,并允许我们逐渐过滤掉可忽略的回归系数和偏协方差。我们的方法被认为在模拟数据上大大优于正则化竞争对手。我们展示了我们的方法,重新检查数据,从最近的观察性研究的影响,高中足球对几个晚年的认知,心理和社会经济结果。
2018-07-24 stat.ME
Covariance Estimation: The GLM and Regularization Perspectives
寻找一个无约束的和统计上可解释的协方差阵的重新参数化仍然是一个开放的问题,在统计。它的解决方案是至关重要的协方差估计,特别是在最近的高维数据环境中,强制执行的正定性约束可能是计算昂贵的。我们从两个相对互补的角度对协方差阵建模的进展进行了综述:(1)广义线性模型(GLM)或简约性和低维协变量的使用,以及(2)高维数据的正则化或稀疏性。一个新兴的,统一的和强大的趋势,在这两个方面是减少协方差估计问题,估计一系列回归问题。我们指出几个实例的回归为基础的配方。一个值得注意的情况是在稀疏估计的精度矩阵或高斯图形模型,导致快速图形LASSO算法。一些基于回归的Cholesky分解相对于经典的谱(特征值)和方差相关分解的优点和局限性突出。前者提供了一个无约束的和统计上可解释的重新参数化,并保证了正定性的估计协方差阵。它减少了不直观的任务,协方差估计的回归序列建模的成本强加一个先验秩序的变量。样本协方差阵的逐元素正则化(如条带化、锥形化和阈值化)具有期望的渐近性质,并且稀疏估计的协方差阵是正定的,对于大样本和大维度,概率趋于1。
2012-02-08 stat.ME
A general joint latent class model of longitudinal and survival data with the covariance modelling
该研究提出一种一般联合潜在类别模型,通过协方差回归子模型建模异质随机效应,结合纵向与生存数据,实现无偏估计与动态预测。
2025-03-25 stat.ME
A Dirichlet Process Functional Approach to Heteroscedastic-Consistent Covariance Estimation
混合Dirichlet过程(MDP)在概率测度空间上定义了一个灵活的先验分布。本文证明了普通最小二乘(OLS)估计作为MDP后验分布的一个函数,其后验均值由加权最小二乘(WLS)给出,后验协方差阵由(加权)异方差相合三明治估计给出。这是根据一对自助分布近似的后验,使用波利亚瓮计划。此外,当MDP先验基线分布被指定为独立概率测度的乘积时,该WLS解决方案提供了一种新型的广义岭回归估计器,即使当协变量的数量超过样本量时,该估计器也可以处理多共线性或奇异设计矩阵,并且将不相关协变量的系数估计值缩小到零,从而对非线性回归有用。此外,这种MDP/OLS功能方法可以扩展到用于分析异方差一致的因果效应大小在一系列隐藏偏倚上的敏感性的方法,这些偏倚是由于缺失的协变量从回归中省略而引起的,并且更普遍地扩展到效应振动分析。通过模拟和真实数据集的分析说明了该方法。总体而言,本研究建立了Dirichlet过程功能推断、自助法、一致夹心协方差估计、岭收缩回归、WLS和敏感性分析之间的新联系,以提供对推断平均依赖响应有用的回归方法。
2016-06-11 stat.ME
Bayesian Quantification of Covariance Matrix Estimation Uncertainty in Optimal Fingerprinting
用于气候变化检测和归因的基于回归的最佳指纹技术需要估计强迫信号以及内部变率协方差阵,以便区分它们对观测记录的影响。虽然以前开发的方法已经考虑到了与强迫信号的估计相关的不确定性,但很少关注描述自然变异性的协方差阵中的不确定性,尽管已知该协方差阵的规格对结果有意义的影响。在这里,我们提出了一个贝叶斯最优指纹框架使用拉普拉斯基函数参数化的协方差阵。与基于主成分的传统方法不同,这种参数化不需要根据气候模型数据估计基向量本身,这允许估计协方差结构的不确定性传播到最佳指纹回归参数。我们通过CMIP6验证研究表明,该方法比基于主成分的方法实现了更好的校准覆盖率的真实回归参数。当应用于HadCRUT观测数据,所提出的方法检测人为变暖具有较高的置信水平,并在气候模型的选择较低的变异性,比基于主成分的方法。
2022-08-04 stat.ME
The periodic zeta covariance function for Gaussian process regression
我认为Lerch-Hurwitz或周期zeta函数作为一个周期连续平稳随机过程的协方差函数。该函数可以参数化的连续指数$ν$调节的连续性和可微性的过程中的一种方式完全类似于参数$ν$的Matérn类的协方差函数。这使得周期性zeta成为一个很好的伴侣,可以将幂律先验谱季节分量添加到高斯过程回归的Matérn先验中。它也是圆Matérn协方差的近亲,同样可以用于3维以下的球面。由于这个特殊的函数在标准库中通常不可用,我将详细解释数值实现。
2022-08-04 stat.CO stat.ME
Bayesian Nonparametric Covariance Regression
虽然有丰富的文献中的方法,允许在一个单变量回归模型的方差随预测因子,时间和其他因素而变化,相对较少的多变量的情况下做。我们的重点是发展一类非参数协方差回归模型,它允许一个未知的p × p协方差阵灵活地改变预测。所提出的建模框架通过因子模型中依赖于预测因子的载荷矩阵的先验,在由预测因子索引的协方差阵集合上诱导先验。特别地,依赖于预测器的加载被表征为未知字典函数(例如,高斯过程随机函数)的集合的稀疏组合。然后,诱导协方差是这些字典元素的正则化二次函数。我们提出的框架导致了一个高度灵活的,但计算上易于处理的配方与简单的共轭后验更新,可以很容易地处理缺失数据。理论特性进行了讨论,并通过模拟研究和应用程序的谷歌流感趋势数据的方法进行说明。
2011-02-08 stat.ME stat.ML
A multiple covariance approach to PLS regression with several predictor groups: Structural Equation Exploratory Regression
假设变量组Y依赖于R个主题变量组X1,>...,X R .我们假设Y中的分量线性依赖于Xr中的分量。在这项工作中,我们提出了一个多协方差标准,扩展了PLS回归到这个多个预测组的情况。在此基础上,我们建立了一个PLS型的探索性方法-结构方程探索性回归(SEER)-允许同时进行组中的降维和调查的线性模型的组件。SEER使用每个组的多维结构。最后给出了应用实例。
2008-02-11 math.ST stat.ME stat.TH
Multivariate Gaussian Process Regression for Multiscale Data Assimilation and Uncertainty Reduction
我们提出了一个多元高斯过程回归方法参数场重建的基础上,现场的测量收集在两个不同的尺度,粗和细尺度。所提出的方法将定义在细尺度和粗尺度上的参数场视为具有参数化多尺度协方差模型的双变量高斯过程。我们采用一个完整的双变量Matérn内核作为多尺度协方差模型,形状和光滑度超参数,占精细和粗糙字段之间的粗化关系。与假设尺度之间存在已知粗化关系的类似多尺度克里金方法相比,多尺度协方差模型的超参数通过伪似然最大化直接从数据中估计。我们说明了所提出的方法与预测模拟应用饱和多孔介质中的流动。多尺度高斯过程回归被用来估计二维对数饱和导水率分布。粗饱和电导率的随机模型,量化和减少压力预测的不确定性。
2018-04-17 stat.ME
Generalized Gaussian Process Regression Model for Non-Gaussian Functional Data
本文提出了一个广义高斯过程并发回归模型,其中函数响应变量为二项分布、Poisson分布或其它非高斯分布,协变量为混合函数和标量变量。该模型为多维协变量函数数据提供了一种非参数广义并发回归方法,并为重复观测函数数据的均值结构和协方差结构同时建模提供了一个自然的框架.均值结构提供有关观测的总体信息,而协方差结构可用于捕捉每个单独批次的特征。协方差核的先验规范使我们能够适应广泛的非线性模型。讨论了该模型的定义、推导和实现,以及它的渐近性质。几个不同的非高斯响应变量的数值例子。一些技术细节和更多的数值例子,以及模型的扩展作为补充材料。
2014-01-31 stat.ME
Covariance Assisted Multivariate Penalized Additive Regression (CoMPAdRe)
提出CoMPAdRe方法,通过联合估计响应间稀疏残差结构,同时选择和估计具有相关误差的多元稀疏加性模型中的零、线性和非线性效应,提升变量选择准确性与估计效率,并应用于乳腺癌通路蛋白质表达数据。
2023-11-18 stat.ME
From Fixed-X to Random-X Regression: Bias-Variance Decompositions, Covariance Penalties, and Prediction Error Estimation
在统计预测中,基于协方差惩罚的经典模型选择和模型评价方法仍然被广泛使用。关于这个主题的大多数文献都是基于我们所谓的“固定X”假设,其中协变量值被假设为非随机的。相比之下,采用“Random-X”视图通常更合理,其中协变量值独立绘制用于训练和预测。为了研究协方差惩罚在这种设置中的适用性,我们提出了Random-X预测误差的分解,其中协变量的随机性对偏差和方差分量都有贡献。这种分解是一般的,但我们集中在最小二乘回归的基本情况。我们证明,在这种设置中,从固定X到随机X预测的移动会导致偏差和方差的增加。当协变量服从正态分布且线性模型无偏时,此分解中的所有项都是显式可计算的,这产生了我们称之为$RCp$的Malows Cp的扩展。$RCp$对某些非正态协变量类也渐近成立。当噪声方差未知时,插入通常的无偏估计导致我们称为$\hat{RCp}$的方法,该方法与Sp(Tukey 1967)和GCV(Craven and Wahba 1978)密切相关。对于过度偏倚,我们提出了一个基于普通交叉验证(OCV)的“捷径公式”的估计,从而产生了一种我们称之为$RCp^+$的方法。理论论证和数值模拟表明,$RCP^+$通常优于OCV,尽管差异很小。我们进一步研究其他流行的估计的随机X误差。对于岭回归,我们得到的令人惊讶的结果是,在高度正则化的情况下,Random-X方差小于Fixed-X方差,这可以导致更小…
2017-06-10 stat.ME
Bayesian semiparametric modelling of covariance matrices for multivariate longitudinal data
本文开发了多变量纵向响应的边际模型。总体而言,该模型由五个回归子模型组成,一个用于平均值,四个用于协方差阵,后者是通过考虑各种矩阵分解得到的。我们采用的分解是直观的,易于理解的,并且它们不依赖于任何假设,例如多变量响应之间存在排序。回归子模型是半参数的,未知函数由基函数展开表示。我们使用spike-slap先验的回归系数,以实现变量的选择和功能的正则化,并获得参数估计,考虑模型的不确定性。提出了一种有效的后验抽样马尔可夫链蒙特卡罗算法。模拟研究调查先验对后验的影响,当考虑多变量纵向分析而不是单变量分析时可能会获得的收益,以及这些收益是否可以抵消缺失数据的负面影响。我们将这些方法应用于一个高度不平衡的纵向数据集,该数据集在20年的时间内观察到四个响应
2020-12-17 stat.ME
Handling cellwise outliers by sparse regression and robust covariance
提出结合 lasso 回归、逐步截断和 EM 式检测—插补的 cellHandler 方法,用于逐单元异常值检测与稳健协方差估计。
2020-12-07 stat.CO stat.ME
Efficient estimation in semivarying coefficient models for longitudinal/clustered data
在纵向/聚类数据的半变系数模型中,通常主要关注的是涉及未知常系数的参数分量。首先,我们研究了一般情况下常系数估计的半参数有效界。它可以通过样条回归来实现,只要类内协方差阵都是已知的,这在现实中是不切实际的假设。因此,当协方差阵未知且仅依赖于指数随机变量(如时间)时,以及当连接函数是恒等函数时,我们提出了常系数的自适应估计。在初步估计之后,基于工作独立性以及样条和局部线性回归,我们通过对所得残差应用局部线性回归来估计协方差阵。然后利用协方差阵估计和样条回归得到常系数的最终估计。在正态性假设下,该估计达到了半参数有效界,并且在违背正态性的情况下,该估计具有最小的协方差阵。我们还提出了数值研究的结果。仿真结果表明,我们的估计优于基于工作独立性的估计。当应用于CD 4计数数据时,我们的方法确定了以前分析未发现的有趣结构。
2015-09-13 stat.ME
A new block covariance regression model and inferential framework for massively large neuroimaging data
针对大规模神经影像数据,提出块协方差回归模型,利用兴趣区域块结构处理万亿级连接数据,在贝叶斯框架下估计关联并通过尖峰-平板先验识别自闭症相关体素,在ABIDE中复现关键发现。
2025-02-28 stat.ME
Sparse Multivariate Linear Regression with Strongly Associated Response Variables
针对回归系数矩阵稀疏且误差协方差矩阵稠密的多元线性回归问题,提出基于等相关误差协方差假设的新方法及高维近似方法,并利用高斯验证似然近似进行调参,实验证明其优越性及对模型误设的稳健性。
2025-08-12 stat.ME
Identifiability of Covariance Kernels in the Gaussian Process Regression Model
高斯过程回归(GPR)模型是一种流行的非参数回归模型。在探地雷达中,回归函数的特征,如不同程度的平滑性和周期性,通过组合各种协方差核来建模,这些协方差核被认为是对某些效应的建模。协方差核具有通过EM算法或马尔可夫链蒙特卡罗估计的未知参数。估计的参数是推断回归函数特征的关键,但这些参数的可辨识性尚未得到研究。本文证明了两种径向基混合核探地雷达和径向基与周期混合核探地雷达中协方差核参数的可辨识性。我们还提供了一些例子,在这种混合内核GPR的不可识别的情况下。
2021-11-18 math.ST stat.ME stat.TH
EM algorithm for generalized Ridge regression with spatial covariates
广义岭罚函数是处理过拟合和高维回归的有力工具。广义岭回归可以被导出为具有正态先验和给定协方差阵的后验分布的均值。协方差阵控制系数的结构,这取决于特定的应用。例如,在空间应用中,适当地假设系数具有空间结构。本文提出了一种基于期望最大化算法的广义岭参数估计方法,该方法的协方差结构依赖于特定的参数。我们专注于三种情况:对角(当协方差阵是常数元素对角),Matérn,和条件自回归协方差。仿真研究进行了评估所提出的方法的性能,然后该方法被应用于预测海浪波高利用风条件。
2022-08-09 stat.CO stat.ME
Regression Analysis for Multivariate Dependent Count Data Using Convolved Gaussian Processes
非独立数据的Poisson回归分析的研究在近十年来得到了迅速的发展。在多变量情况下,如何构造互相关结构,同时保证协方差阵是正定的是一个难题。为了解决这个问题,我们提出使用卷积高斯过程(CGP)在本文中。该方法提供了一个半参数模型,并提供了一个自然的框架,共同的均值结构和协方差结构同时建模。CGP使模型能够为响应变量的每个分量定义不同的协方差结构。这种灵活性确保了模型能够处理来自不同资源或具有不同数据结构的数据,从而提供准确的估计和预测。此外,该模型能够容纳大尺寸的协变量。模型的定义,推理和实施,以及它的渐近性质,进行了讨论。全面的数值模拟研究和实际数据的例子。
2017-10-04 stat.ME
Statistical Estimation for Covariance Structures with Tail Estimates using Nodewise Quantile Predictive Regression Models
本文针对带尾部估计的协方差结构,提出用分位数预测回归估计VaR-CoVaR风险矩阵,还构建了无调优参数、具有一致性的FOCE变量选择算法,经真实与模拟数据集验证可用于网络系统性风险建模。
2023-07-24 econ.EM stat.ME
Penalized Sparse Covariance Regression with High Dimensional Covariates
针对高维预测变量下的协方差回归问题,提出稀疏协方差回归方法,结合Lasso及折叠凹惩罚(SCAD和MCP)进行变量选择与系数估计,推导非渐近误差界并证实神谕性质,经模拟与中国股市数据验证有效。
2024-10-05 stat.AP stat.ME
Optimal estimation in functional linear regression for sparse noise-contaminated data
在本文中,我们提出了一种新的方法来适应功能线性回归,其中的响应和预测是一个共同的变量,如时间的函数。我们考虑的情况下,响应和预测过程都稀疏采样的随机时间点和污染的随机误差。此外,对于预测器和响应函数的测量,允许随机时间不同。上述情况经常发生在纵向数据设置中。为了估计协方差和互协方差函数,我们使用再生核希尔伯特空间上的正则化方法。互协方差函数的估计被用于获得回归系数函数的估计以及函数奇异分量。我们推导了所提出的互协方差、回归系数和奇异分量函数估计的收敛速度。进一步证明了在某些正则条件下,系数函数的估计量存在极小极大最优率。我们进行了模拟研究,并证明了所提出的方法的优点,通过比较它与其他一些现有的方法在文献中。我们举例说明了一个著名的多中心艾滋病队列研究的应用程序的方法。
2017-11-13 stat.ME
Positive definiteness of the asymptotic covariance matrix of OLS estimators in parsimonious regressions
最近,Ghysels,Hill和Motegi(2020)提出了一种检验方法,用于检查线性回归模型中的大量系数是否为零。该测试称为最大值测试。检验统计量的计算方法是:首先运行多个普通最小二乘(OLS)回归,每个回归仅包括一个关键回归量,其系数假定在零值下为零,然后取这些关键回归量的平方OLS系数估计值的最大值。他们称这些回归为简约回归。本文回答了他们在注2.4中提出的一个问题:简约回归中OLS估计量的渐近协方差阵是否一般正定。本文证明了它一般是正定的,其结果可用来方便地计算max检验所需的模拟p值。
2020-10-26 math.ST stat.ME stat.TH
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵(逆协方差矩阵)的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点,但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的,但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验,我们开发了一种称为联合回归网络的算法(JRNS),用于联合回归和协方差选择,该算法(a)可以适应一般稀疏模式,(b)提供不确定性量化的后验样本,(c)可扩展,比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率,并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Bayesian covariance regression for differential network analysis of zero-inflated microbiome data
University of Washington(华盛顿大学);Fred Hutchinson Cancer Center(弗雷德·哈钦森癌症中心)
本文提出TRECOR框架,通过贝叶斯协方差回归推断零膨胀组成计数数据的协变量依赖微生物协方差网络,展示了其在微生物组数据中的应用效果。
2026-04-02 stat.AP stat.ME
Mixed-type multivariate response regression with covariance estimation
当响应向量的元素是混合类型的,例如一些连续的和一些离散的,我们提出了一种新的方法,用于多变量响应回归和协方差估计。我们的方法是基于一个模型,假设可观察的混合型响应向量是连接到一个潜在的多元正态响应线性回归通过一个链接函数。我们探讨了该模型的性质,并表明其参数是可识别的合理条件下。我们不施加任何参数限制的协方差的潜正常比其他的正定性,从而避免假设不可观察的变量,这可能是难以验证的实践。为了适应这种普遍性,我们提出了一种新的算法近似极大似然估计,工程"现成的"与许多不同的组合的响应类型,以及规模的响应向量的维度。我们的方法通常给出更好的预测和参数估计比拟合不同的响应类型的单独的模型,并允许近似似然比测试的相关假设,如响应的独立性。所提出的方法的实用性说明在模拟和一个生物医学和一个基因组数据的例子。
2022-03-03 stat.CO stat.ME
Operator-matched spatial regression
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对标准空间回归中协变量效应与空间依赖解耦导致的自混杂问题,提出算子匹配空间回归,将协变量作为SPDE强迫项分解效应,通过构造解决混杂,有限元实现高效,应用验证有效。
2026-09-14 stat.ME
Tensor-variate Gaussian process regression for efficient emulation of complex systems: comparing regressor and covariance structures in outer product and parallel partial emulators
本文系统发展张量变量高斯过程回归,统一外积与并行偏仿真器,并通过案例比较二者在矩阵输出下的协方差依赖结构与性能。
2025-02-14 stat.CO stat.ME
Covariance matrix completion via auxiliary information
针对变量对无联合观测导致协方差矩阵估计不完整的问题,提出 AuxCov 方法,利用辅助变量通过回归预测缺失相关性并正则化观测值,实现协方差矩阵的完整估计。
2025-01-30 stat.ME
Covariance regression with random forests
提出CovRegRF方法,利用随机森林框架估计多元响应协方差矩阵,设计分裂规则最大化子节点差异,并提供显著性检验,模拟和甲状腺数据验证有效。
2023-05-11 stat.AP stat.ME stat.ML
Equivalence of Kernel Machine Regression and Kernel Distance Covariance for Multidimensional Trait Association Studies
将遗传标记与多维表型相关联是一个重要但具有挑战性的问题。在这项工作中,我们建立了两个流行的方法:核机器回归(KMR)和核距离协方差(KDC)之间的等价性。KMR是一个半参数回归框架,它对协变量效应进行参数化建模,而遗传标记被视为非参数化。KDC代表一类方法,包括距离协方差(DC)和希尔伯特-施密特独立性准则(HSIC),它们是独立性的非参数检验。在一定条件下,我们证明了KMR的得分检验与KDC统计量之间的等价性。这一结果导致一个新的概括的KDC测试,结合了协变量。我们的贡献有三个方面:(1)建立KMR和KDC之间的等价性;(2)表明核机器回归的原理可以应用于对KDC的解释;(3)发展了一个更广泛的KDC统计类,其成员是不同核的数量。我们证明了使用模拟研究的建议。来自阿尔茨海默病神经影像学倡议(ADNI)的数据用于探索基因\emph{FLJ16124}上的遗传变异与根据年龄和性别调整的3D结构脑MR图像中所代表的表型之间的关联。结果表明,\emph{FLJ16124}的SNPs表现出强烈的成对相互作用效应,与脑区体积的变化相关。
2014-04-02 stat.ME stat.ML
Joint Mean-Covariance Estimation via the Horseshoe with an Application in Genomic Data Analysis
看似无关回归是回归多个预测因子的多个相关响应的自然框架。该模型非常灵活,多元线性回归和协方差选择模型是特例。然而,它在贝叶斯框架下的基因组数据分析的实际部署是有限的,由于统计和计算的挑战。统计学上的挑战是需要推断均值向量和逆协方差阵,这是一个比分别估计每一个更复杂的问题。计算挑战是由于参数空间的维数通常超过样本量。我们建议使用马蹄先验的均值向量和逆协方差阵。在分别估计均值向量或逆协方差阵时,该先验已证明具有出色的性能。目前的工作表明,这些优点也同时解决。提出了一个完整的贝叶斯处理,与抽样算法,是线性的预测。实现该算法的MATLAB代码可从github https://github.com/liyf1988/HS_GHS免费获得。广泛的性能比较提供了频率论和贝叶斯替代品,估计和预测性能的基因组数据集上进行了验证。
2019-07-22 stat.ME
Positive definite nonparametric regression using an evolutionary algorithm with application to covariance function estimation
提出一种带正定性约束的模块化非参数回归框架,利用基于核分布代理的积分变换和迭代密度估计进化算法拟合协方差函数,并通过数值研究与降水数据验证其长程依赖估计优势。
2023-04-25 cs.NE stat.ME
Convex Reparameterization and Self-Concordant Algorithms for Multivariate Regression with Covariance Estimation
School of Statistics, University of Minnesota Twin Cities(明尼苏达大学双城分校统计学院);Department of Applied Mathematics & Statistics, Stony Brook University(石溪大学应用数学与统计系)
该研究提出结合协方差估计的多元回归的凸重参数化方法,证明其缩放高斯损失为标准自协调,推导两种算法,模拟及蛋白质表达应用显示其预测误差相近且稠密精度矩阵时速度显著提升。
2026-08-20 stat.CO stat.ME
BayesSUR: An R package for high-dimensional multivariate Bayesian variable and covariance selection in linear regression
在分子生物学中,高通量技术的进步使得研究复杂的多变量表型及其与高维基因组学和其他组学数据的同时关联成为可能,这是一个可以用高维多响应回归研究的问题,其中响应变量可能高度相关。为此,我们最近引入了几个多变量贝叶斯变量和协方差选择模型,例如,稀疏看似无关回归中变量和协方差选择的贝叶斯估计方法。在这种情况下,已经实现了几个变量选择先验,特别是潜在变量包含指标的热点检测先验,这导致预测因子和多个表型之间的关联的稀疏变量选择。我们还提出了一种替代方案,它使用马尔可夫随机场(MRF)事先纳入先验知识的依赖结构的包容性指标。通过对响应变量之间的协方差阵进行因式分解,使得用马尔可夫链蒙特卡罗方法推断贝叶斯似不相关回归(SUR)在计算上是可行的。在本文中,我们提出了BayesSUR,一个R包,它允许用户轻松地指定和运行一系列不同的贝叶斯SUR模型,这些模型已在C++中实现,以提高计算效率。R包允许以模块化的方式指定模型,其中用户分别选择变量选择和协方差选择的先验。我们证明了稀疏SUR模型的性能与热点先验和尖峰和平板MRF之前的合成和真实的数据集代表eQTL或mQTL研究和体外抗癌药物筛选研究的典型应用程序的例子。
2021-04-28 stat.CO stat.ME
Bayesian Variable Selection in Multivariate Regression Under Collinearity in the Design Matrix
本文研究贝叶斯多元线性回归变量选择,揭示非对角误差协方差在弱信号、高相关和小样本场景下会损害估计,并提出分离估计均值与协方差的两步法及对角协方差补充分析。
2025-07-23 stat.CO stat.ME
Sparse covariance thresholding for high-dimensional variable selection
在高维空间中,许多变量选择方法,如套索,往往受到样本协方差阵的过度变异性和秩不足的限制。协方差稀疏性是高维应用中的自然现象,例如微阵列分析、图像处理等,其中大量的预测因子是独立的或弱相关的。在本文中,我们提出了协方差阈值套索,一类新的回归方法,可以利用协方差稀疏性,以改善变量的选择。我们建立的理论结果,在随机设计的设置,相关的协方差稀疏变量选择。实际数据和仿真实例表明,我们的方法可以有效地提高变量选择性能。
2010-06-06 stat.ME
Bayesian Covariate-Varying Interaction Analysis for Multivariate Count Data: Application to Microbiome Studies
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California Santa Cruz(加州大学圣克鲁兹分校)
本文提出了一种贝叶斯协变量变化因子模型,用于分析微生物组数据中的多元计数数据,通过非参数贝叶斯框架解决高维和离散性等挑战。
2026-03-12 stat.ME