Rank-Based Sparse Regression in Principal Components Space under Measurement Error
Nankai University(南开大学);Beijing Normal University(北京师范大学);Hong Kong Baptist University(香港浸会大学)
本文研究了在预测变量存在加性测量误差且响应误差可能重尾的情况下,主成分空间中的高维回归问题,提出基于Wilcoxon型排名损失的稀疏回归方法,结合一阶自适应加权方案,提升鲁棒性和稳定性。
2026-04-06 stat.ME
Nonparametric principal subspace regression
在科学应用中,多变量观测通常与时间或空间协变量相结合,其潜在信号平滑地变化。标准的方法如主成分分析和因子分析忽略了数据的光滑性,而多元线性或非参数回归不能利用多变量响应变量之间的相关信息。我们提出了一种新的方法命名为非参数主子空间回归,以克服这些问题。通过解耦模型差异,引入了一个简单而通用的两步框架,这给模型拟合的选择留下了很大的灵活性。建立了具有理论属性的一般框架,并提供了既满足要求又享有理论保障的实施程序。我们证明了良好的有限样本的性能,所提出的方法,通过模拟和实际数据的应用,从脑电图研究。
2019-10-12 math.ST stat.ME stat.TH
PCA-Guided Quantile Sampling: Preserving Data Structure in Large-Scale Subsampling
Institute of Statistical Science(统计科学研究所);Academia Sinica, Taipei, Taiwan(台湾中央研究院)
PCA引导的分位数采样通过保留数据结构和理论保证,提升大规模数据子采样效率与模型性能。
2026-01-12 stat.ME stat.ML
Highly Adaptive Principal Component Regression
University of California, Berkeley(加州大学伯克利分校);ICMAT, National Research Council of Spain(西班牙国家研究 council 的 ICMAT)
本文提出基于主成分的高适应性Lasso和Ridge方法,通过维度缩减提升计算效率并匹配HAL和HAR的性能,揭示主成分与正弦基的谱联系。
2026-02-11 cs.LG stat.ML
Principal Component Projection Without Principal Component Analysis
Stanford University(斯坦福大学);MIT(麻省理工学院);Microsoft Research, New England(新英格兰微软研究院)
我们展示了如何有效地将向量投影到矩阵的顶部主成分上,而无需显式计算这些成分。具体来说,我们引入了一个迭代算法,可证明使用几个调用任何黑盒例程岭回归计算的投影。通过避免显式主成分分析(PCA),我们的算法是第一个没有运行时依赖于顶部主成分的数量。我们表明,它可以用来给一个快速的迭代法流行的主成分回归问题,给出了第一个主要的运行时改进的天真的方法相结合的PCA回归。为了实现我们的结果,我们首先观察到岭回归可以用于获得到顶部主成分上的“平滑投影”。然后,我们锐化这种近似真实的投影使用低次多项式近似矩阵阶跃函数。阶跃函数逼近是科学计算中一个长期关注的课题。我们通过构造具有简单迭代结构的多项式并在有限精度下严格分析其行为来扩展先验理论。
2019-11-26 cs.DS cs.LG stat.ML
Structure-Property Maps with Kernel Principal Covariates Regression
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
基于线性方法的数据分析构成了自动处理大量数据以构建监督或无监督机器学习模型的最简单、最强大和最透明的方法。主协变量回归(PCovR)是一种未得到充分重视的方法,其介于主成分分析和线性回归之间,并且可以用于方便地揭示结构-性质关系,其具有易于解释的低维图。在这里,我们提供了这些数据分析方案的教学概述,包括使用内核技巧来引入非线性元素,同时保持线性方法的大部分便利性和简单性。然后,我们介绍了PCovR的内核化版本和稀疏化的扩展,并展示了这种方法在揭示和预测化学和材料科学中的结构-性能关系方面的性能,显示了各种例子,包括元素碳,多孔硅酸盐框架,有机分子,氨基酸构象和分子材料。
2020-05-21 cond-mat.mtrl-sci cs.LG physics.chem-ph
Regression based thresholds in principal loading analysis
主载荷分析是一种降维方法,它丢弃对协方差阵只有很小失真影响的变量。作为一种特殊情况,主载荷分析丢弃与其余变量不相关的变量。另一方面,在多元线性回归中,既不与其余预测因子相关也不与因变量相关的预测因子具有等于零的回归系数。因此,如果目标是选择多个预测变量,则丢弃不相关的变量,因为它也在主载荷分析中完成。然而,这两种方法选择相同的变量不仅发生在零相关的特殊情况下。我们贡献的条件下,这两种方法共享相同的变量选择。此外,我们扩展了这些条件,提供了一个选择的阈值在主负荷分析,只遵循建议的基础上模拟结果到目前为止。
2022-03-21 econ.EM math.ST stat.TH
Multivariate Functional Regression via Nested Reduced-Rank Regularization
本文提出了一种嵌套降秩回归(NRRR)方法,用于拟合具有多元函数响应和预测因子的回归模型,以实现定制的降维并便于解释/可视化所得到的函数模型。我们的方法是基于一个两级的低秩结构上的功能回归表面。一个全球低秩结构识别一小组潜在的主要功能反应和预测驱动的潜在回归关联。然后,局部低秩结构控制主要功能反应和预测因子之间关联的复杂性和平滑性。通过基扩展方法,函数问题归结为一个有趣的集成矩阵近似任务,其中集成低秩矩阵的块或子矩阵共享一些公共的行空间和/或列空间。提出了一种保证收敛的迭代算法。我们建立的一致性NRRR,并通过非渐近分析表明,它可以实现至少一个可比的误差率的降秩回归。仿真研究证明了NRRR的有效性。我们将NRRR应用于电力需求问题,将每日电力消耗的轨迹与每日温度的轨迹联系起来。
2020-03-10 stat.ME stat.ML
Univariate-Guided Sparse Regression
本文提出名为UniLasso的两阶段稀疏回归方法,通过保留单变量系数的符号并利用其大小提升模型稳定性与可解释性,在多种设置下优于Lasso,并证明了渐近支撑恢复与均方误差一致性。
2025-06-25 stat.ME
A note on the prediction error of principal component regression in high dimensions
本文分析了高维主成分回归(PCR)的预测误差,证明了给定设计下平方风险的高概率界,揭示了有效秩条件对PCR与预言方法表现对比的影响及违反时的自诱导正则化现象。
2024-01-02 math.ST stat.TH
Dynamic principal component regression: Application to age-specific mortality forecasting
在应用领域,包括精算学和人口学,越来越普遍地考虑曲线的时间序列;这方面的一个例子是在若干年期间观察到的按年龄划分的死亡率。考虑到年龄可以被视为离散或连续变量,通常实施诸如主成分分析的降维技术。然而,在存在中等到强的时间依赖性的情况下,通常用于分析独立同分布数据的静态主成分分析可能是不够的。作为一种替代方案,我们考虑一个\textit{dynamic}主成分的方法来模拟时间依赖的时间序列的曲线。受Brillinger(1974)的动态主成分理论的启发,本文提出了一种基于估计长期协方差的特征分解的动态主成分分析。通过一系列的实证应用,我们证明了潜在的改善一年提前点和区间预测精度的动态主成分回归需要相比,静态对应。
2019-05-10 stat.AP
Univariate-Guided Sparse Regression for Biobank-Scale High-Dimensional Omics Data
Stanford University(斯坦福大学)
本文提出了一种用于高维组学数据的单变量引导稀疏回归方法,通过两阶段惩罚回归提升特征选择和模型可解释性,并在生物银行数据中实现了预测性能与标准Lasso相当的稀疏模型。
2026-01-22 stat.ME
Linear Regression Using Principal Components from General Hilbert-Space-Valued Covariates
Clemson University(克莱姆森大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出AS-PCA框架,用于一般分离希尔伯特空间中随机元素的主成分分析,通过数据自适应子空间投影实现多维功能对象的处理,并构建了希尔伯特空间主成分回归模型HS-PCR,具有根n一致性及渐近正态性。
2026-03-22 math.ST stat.ME stat.TH
Univariate-Guided Interaction Modeling
Stanford University(斯坦福大学)
本文提出单变量引导交互建模方法,通过引入单变量交互概念,提出两种算法并证明其在稀疏性和可解释性上的优势。
2026-09-29 stat.ME
Principal Model Analysis Based on Partial Least Squares
School of Economics and Management, Beijing University of Technology(北京工业大学经济与管理学院);Research Center for Eco-Environmental Sciences, Chinese Academy of Sciences(中国科学院生态环境研究中心);Faculty of Mathematics and Statistics, Hubei University(湖北大学数学与统计学院);Toyota Technological Institute(丰田工业大学);Beijing Research Institute of Uranium Geology(北京铀矿地质研究所)
基于Bagging偏最小二乘(PLS)和主成分分析(PCA)算法,本文提出了一种主模型分析(PMA)方法。在所提出的PMA算法,PCA和PLS相结合。在该方法中,多个PLS模型训练的子训练集,从原始训练集的基础上的随机抽样与替换方法。所有子PLS模型的回归系数融合在一个联合回归系数矩阵。然后通过对联合回归系数矩阵执行PCA来估计最终投影方向。将该方法与PLS、Bagging PLS、LDA和PLS-LDA等传统降维方法进行了比较。在六个公开数据集上的实验结果表明,我们提出的方法可以获得更好的分类性能,通常是更稳定的。
2019-02-06 cs.LG stat.ML
Tree-guided group lasso for multi-response regression with structured sparsity, with an application to eQTL mapping
我们考虑的问题估计稀疏的多响应回归函数,与应用表达数量性状位点(eQTL)定位,其目标是发现影响基因表达水平的遗传变异。特别是,我们调查的收缩技术能够捕捉到一个给定的层次结构的响应,如层次聚类树与叶节点的响应和内部节点的集群相关的响应在多个粒度,我们试图利用这种结构来恢复协变量相关的每个层次定义的集群的响应。我们提出了一个树引导组套索,或树套索,估计多响应回归下,采用一种新的惩罚函数从树构造的结构稀疏。我们描述了一个系统的加权方案,重叠的组中的树罚,使每个回归系数被惩罚在一个平衡的方式,尽管不均匀的多重性的组成员的回归系数,由于组之间的重叠。为了有效的优化,我们采用了一个平滑的近端梯度方法,最初开发的一般类的结构稀疏诱导处罚。使用模拟和酵母数据集,我们证明了我们的方法在预测误差和恢复真实稀疏模式方面表现出优越的性能,与其他学习多变量响应回归的方法相比。
2012-09-28 q-bio.GN q-bio.QM stat.AP
A semi-group approach to Principal Component Analysis
主成分分析(PCA)是一种公知的过程,用于基本上通过简化协方差结构或相关结构来降低数据集的内在复杂性。我们引入了一种新的代数,基于模型的观点,并特别提供了一个扩展的PCA的分布没有二阶矩的PCA制定为一个最佳的低秩近似问题。与现有的方法不同,这种近似是基于一种谱表示,而不是基于真实空间。尽管如此,特征向量的突出作用在这里减少到定义近似表面和它的最大尺寸。从这个角度来看,我们的方法接近Pearson(1901)的原始想法,因此接近自动编码器。由于线性回归中的变量选择可以被看作是我们扩展的一个特例,我们的方法给出了一些见解,为什么各种变量选择方法,如正向选择和最佳子集选择,不能期望一致。线性回归模型本身和PCA回归显示为极限情况。
2021-12-07 math.RA stat.ME
Uniform convergence rates for nonparametric regression and principal component analysis in functional/longitudinal data
我们考虑非参数估计的均值和协方差函数的功能/纵向数据。强一致收敛速度的估计是局部线性平滑。我们的结果是在一个统一的框架中得到的,在这个框架中,每个曲线/聚类中的观测数可以是相对于样本量的任何速率。我们表明,该程序的收敛速度取决于样本曲线的数量和每个曲线上的观察数。对于稀疏函数数据,这些速率等价于非参数回归中的最优速率。对于密集的函数数据,可以通过适当选择带宽来实现根-n收敛率。我们进一步推导出几乎必然的收敛速度主成分分析使用估计的协方差函数。仿真结果表明,与模拟研究。
2012-11-09 math.ST stat.TH
The effect of Hybrid Principal Components Analysis on the Signal Compression Functional Regression: With EEG-fMRI Application
目的:针对标量数据和函数数据同时存在的情况,即混合数据和混合数据,提出了混合主成分分析(HPCA)。在混合数据的回归模型中,我们可以计算协变量调整的HPCA、半函数部分线性回归、具有信号压缩的函数上函数(FOF)回归和函数加性回归模型。在这篇文章中,我们研究了混合数据的HPCA分解对信号压缩FOF回归预测精度的影响。方法:我们提出了一个两步的程序,将HPCA的功能回归。第一步是基于HPCA重建数据,第二步是合并其他维度上的数据并计算所需功能维度的逐点平均值。我们还选择了基于均方灭绝误差(MSPE)的HPCA的数量。测试结果:在这两个模拟中,我们证明了具有第一个HPCA的回归模型在没有HPCA和具有训练/测试方法的所有HPCA中具有最好的准确度预测和模型拟合总结。最后,我们将我们的方法应用于EEG-fMRI数据集。结论:我们的结论是,我们的方法提高了EEG数据集的实验预测。我们建议不要在所需的维度上使用函数PCA,而是使用HPCA重建数据并在函数回归模型的其他两个维度上对其进行平均。
2021-01-19 stat.AP stat.CO stat.ME
Regression and Dimension Reduction for Multivariate Mixed-Type Data via Semiparametric Gaussian Copula
Texas A&M University(德克萨斯农工大学);Johns Hopkins Bloomberg School of Public Health(约翰霍普金斯布隆伯格公共卫生学院)
本文提出基于半参数高斯协同体的回归、主成分分析和主成分回归方法,用于处理多元混合类型数据,通过建立新的桥梁结果和高效算法,实现对缺失数据的预测与填补,应用于研究5年死亡率与61项衰弱相关指标的关系。
2026-03-17 stat.AP stat.ME
Spectrum-Aware Debiasing: A Modern Inference Framework with Applications to Principal Components Regression
Harvard University(哈佛大学)
本文提出了一种考虑频谱的去偏方法,用于高维回归,并应用于主成分回归,提供了首个去偏PCR估计器,同时引入了检验信号与协方差矩阵特征向量对齐的原理性检验。
2025-12-31 cs.IT math.IT math.ST
Regression based principal component analysis for sparse functional data with applications to screening growth paths
生长图表广泛用于儿科护理中,用于评估儿童体型测量(例如,身高或体重)。现有的生长图表在一个给定的年龄筛选一个身体尺寸。然而,当一个孩子随着时间的推移有多个措施,并表现出增长的道路,如何评估这些措施联合在一个严格的和定量的方式仍然在很大程度上未开发的文献。在本文中,我们提出了一种新的方法来构建增长图的增长路径。提出了一种新的基于交替回归的主成分估计算法,以获得增长路径(稀疏函数数据)的主成分表示。新算法不依赖于强分布假设,计算稳健,容易纳入主题水平的协变量,如父母的信息。仿真研究进行调查我们所提出的方法的性能,包括与现有方法的比较。当所提出的方法被应用到监测一组芬兰青少年的青春期生长,它产生了有趣的见解。
2015-09-17 stat.AP
Dimensionality Reduction via Regression in Hyperspectral Imagery
Universitat de València(瓦伦西亚大学)
提出了一种新的无监督回归降维方法。该算法属于可逆变换家族,通过使用曲线而不是线性特征来推广主成分分析(PCA)。DRR通过多元回归识别非线性特征,以确保减少PCA系数之间的冗余,减少分数的方差,并减少重建误差。更重要的是,与其他非线性降维方法不同,可逆性,体积保持和直接的样本外扩展使得DRR具有可解释性和易于应用。DRR的性质使学习更广泛的一类数据流形比最近提出的非线性主成分分析(NLPCA)和主多项式分析(PPA)。我们说明了表现在减少遥感数据的维数。特别是,我们解决两个常见的问题:处理非常高维的光谱信息,如在高光谱图像探测数据,和处理多光谱图像的空间光谱图像补丁。这两种设置造成共线性和不确定性问题。的功能的表达能力的评价进行评估截断误差,估计大气变量,地表土地覆盖分类误差。结果表明,DRR优于线性PCA和最近提出的基于神经网络(NLPCA)和单变量回归(PPA)的可逆扩展。
2016-01-31 cs.CV stat.ML
A Risk Comparison of Ordinary Least Squares vs Ridge Regression
我们比较风险的岭回归的一个简单的变种普通最小二乘,其中一个简单的项目的数据到一个有限维的子空间(指定的主成分分析),然后执行一个普通的(非正则化)最小二乘回归在这个子空间。该注释表明,这种普通最小二乘法的风险在岭回归风险的一个常数因子(即4)内。
2013-05-31 stat.ML
Online Kernel Sliced Inverse Regression
在线降维是高维流数据处理的常用方法。在线主成分分析、在线切片逆回归、在线核主成分分析等方法已经得到了深入的研究,但据我们所知,在线监督的非线性降维方法还没有得到充分的研究。本文提出了一种在线核切片逆回归方法。通过引入近似线性相关条件和字典变量集,解决了在线核切片逆回归方法中变量维数随样本量增加而增加的问题,提出了一种在线更新变量的降阶方法.然后,我们将问题转化为一个在线广义特征分解问题,并使用随机最优化方法来更新的中心降维方向。仿真和实际数据分析表明,该方法可以获得接近批处理核切片逆回归的性能。
2023-01-23 math.ST stat.CO stat.ML
Robust functional principal components for sparse longitudinal data
在本文中,我们回顾了现有的方法,强大的功能主成分分析(FPCA),并提出了一种新的方法FPCA,可应用于纵向数据,只有少数观察每个轨迹。该方法对非典型观测的存在是鲁棒的,并且也可以用于导出一种新的稀疏观测函数数据的非鲁棒FPCA方法。我们使用本地回归估计的值的协方差函数,利用的事实,即椭圆分布的随机向量的条件位置参数的一些组件给定的其他是一个线性函数的条件集。这一观察使我们能够通过使用鲁棒局部回归方法来获得鲁棒FPCA估计。我们的建议的有限样本性能进行了探讨,通过模拟研究表明,正如预期的那样,强大的方法优于现有的替代品时,数据被污染。此外,我们还看到,对于不包含离群值的样本,我们的建议的非鲁棒变体与文献中现有的替代方案相比是有利的。最后给出了一个实际数据的例子。
2020-12-02 stat.ME
Dimensionality Reduction and Wasserstein Stability for Kernel Regression
ETH Zürich(苏黎世联邦理工学院);Universität Hamburg(汉堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文研究了高维回归中先降维再进行核回归的两步法,推导了基于Wasserstein距离的核回归稳定性结果以界定误差,并将其应用于PCA推导出收敛速率,特别适用于半监督设置。
2023-11-27 cs.LG cs.NA math.NA
Spatial function-on-function regression
提出空间函数对函数回归模型,结合空间自回归与函数主成分分析,通过有限维多元空间自回归框架高效处理函数数据空间依赖性,在模拟和巴西COVID-19数据中表现优异并提供了R包实现。
2024-12-23 stat.CO stat.ME
A Network-Guided Penalized Regression with Application to Proteomics Data
针对高维数据中核心蛋白质预后作用研究不足的问题,提出一种网络引导的惩罚回归方法,结合Gaussian graphical model与adaptive Lasso进行变量选择,并在CPTAC数据上验证了其识别疾病预后生物标志物的有效性。
2025-05-29 q-bio.QM stat.AP stat.ME
Bayesian network-guided sparse regression with flexible varying effects
本文提出贝叶斯方法VERGE,通过推断预测变量网络并结合变系数建模与尖峰-平板先验进行特征选择,在模拟和肠道微生物组与肥胖应用中优于现有方法。
2024-07-06 stat.AP stat.ME
Identifying Neural Signatures from fMRI using Hybrid Principal Components Regression
Department of Biostatistics and Informatics, University of Colorado Anschutz Medical Campus(生物统计学与信息学系,科罗拉多大学安施图茨医疗校区);Department of Biostatistics and Bioinformatics, Emory University(生物统计学与生物信息学系,埃默里大学);Department of Radiology, University of Colorado Anschutz Medical Campus(放射学系,科罗拉多大学安施图茨医疗校区);Laureate Institute for Brain Research, Tulsa, OK, USA(脑研究拉奥尔特研究所,俄克拉荷马州塔尔萨市);Department of Community Medicine, University of Tulsa(社区医学系,塔尔萨大学);Department of Internal Medicine, Carver College of Medicine, University of Iowa(内科学系,卡弗医学院,爱荷华大学)
本研究针对LASSO PCR假设所有主成分同等重要的问题,提出将稀疏性排序惩罚与成分索引关联,并设计混合方法JSRL,在风险、激励和情绪任务中显著提升分类性能,为MVPA提供稳健替代方案。
2025-09-09 cs.LG stat.ML
Tests in adaptive regression via the Kac-Rice formula
我们推导出一个精确的p-值,用于测试一般自适应回归问题中的全局原假设。一般方法使用Kac-Rice公式,如Adler & Taylor 2007所述。所得公式在有限样本中是精确的,只需要误差的高斯性。我们应用公式的套索,组套索,主成分和矩阵完成问题。在套索的情况下,新的检验与Lockhart等人最近提出的协方差检验密切相关。(2013)。
2014-05-15 stat.ME
Efficient Data Reduction Via PCA-Guided Quantile Based Sampling
Institute of Statistical Science, Academia Sinica(中央研究院统计科学研究所)
PCA-QS通过主成分分析与分位数采样结合,实现高效数据降维,降低均方误差并保留关键数据特征。
2026-01-10 stat.AP stat.CO
Determining Principal Component Cardinality through the Principle of Minimum Description Length
Facebook Research(脸书研究院)
PCA(Principal Component Analysis)及其变体是矩阵降维和降维潜在因子提取的普遍技术。使用PCA的一个重要挑战是主成分数量的选择。信息论的最小描述长度(MDL)原则为模型选择提供了基于压缩的客观标准,但很难将其现代定义--归一化最大似然(NML)--应用于PCA问题。这项工作显示了NML问题的一般减少到低维问题。应用这一约简,它用已知的线性回归的NML项来界定PCA的NML。
2019-06-29 cs.LG stat.ML
Sparse principal component regression with adaptive loading
主成分回归(PCR)是一个两阶段的过程,选择一些主成分,然后将它们作为新的解释变量构建回归模型。请注意,主成分仅从解释变量获得,而不考虑响应变量。为了解决这个问题,我们提出了稀疏主成分回归(SPCR),这是一个阶段的PCR过程。SPCR使我们能够自适应地获得与响应变量相关的稀疏主成分载荷,并同时选择主成分的数量。SPCR可以通过坐标下降算法对每个参数进行凸优化问题来获得。通过蒙特卡罗模拟和实际数据分析,验证了SPCR的有效性.
2014-11-01 stat.ME stat.ML
Robust Functional Logistic Regression
Department of Statistics, Marmara University(马尔马拉大学统计系)
针对函数逻辑回归对异常值敏感的问题,提出基于稳健函数主成分分析和M型估计量的稳健参数估计方法,在含异常值时提升分类精度且计算更高效。
2025-10-14 stat.AP stat.ME
Factor-guided functional PCA for high-dimensional functional data
关于高维函数数据的文献集中于函数变量之间的时间依赖性或相关性。在本文中,我们提出了一个因素引导的功能主成分分析(FaFPCA)方法,同时考虑变量的时间依赖性和相关性,使提取的功能是尽可能充分。特别是,我们使用一个因素的过程中考虑高维函数变量之间的相关性,然后应用功能主成分分析(FPCA)的因素过程,以解决随着时间的依赖。此外,为了解决由三重无限维引起的计算问题,我们创造性地建立了一些矩方程来估计载荷,分数和特征函数的封闭形式没有旋转。在理论上,我们建立了所提出的估计量的渐近性质。大量的仿真研究表明,我们提出的方法优于其他竞争对手的精度和计算成本。该方法应用于分析阿尔茨海默病神经影像学倡议(ADNI)数据集,导致更高的预测精度和41个重要的ROI与阿尔茨海默病,其中23个已被文献证实。
2022-11-22 math.ST stat.ME stat.TH
Compositional Data Regression in Insurance with Exponential Family PCA
成分数据是只携带成分之间的相对信息的多变量观测。应用标准的多元统计方法学直接分析成分数据可能会导致悖论和误解。组合数据也经常出现在保险中,特别是远程信息处理信息。然而,这种类型的数据并没有得到应有的特殊待遇,在大多数现有的精算文献。在本文中,我们探索和研究使用指数族主成分分析(EPCA)来分析保险中的成分数据。该方法被应用于分析从美国矿山安全与健康管理局获得的数据集。数值结果表明,EPCA能够产生具有显著预测意义的主成分,提高了回归模型的预测精度。EPCA方法可以为精算师分析成分数据提供一个很有前途的有用工具。
2021-12-29 stat.AP
Sparse principal component regression for generalized linear models
主成分回归(PCR)是一种广泛使用的两阶段程序:主成分分析(PCA),然后是回归,其中所选择的主成分被视为模型中的新解释变量。请注意,PCA仅基于解释变量,因此不使用响应变量的信息选择主成分。在本文中,我们提出了一个一阶段的程序PCR的框架下,广义线性模型。基本损失函数基于回归损失和PCA损失的组合。回归参数的估计得到的基本损失函数的最小值与稀疏惩罚。我们称之为广义线性模型的稀疏主成分回归(SPCR-glm)。同时考虑两个损失函数,SPCR-glm使我们能够获得与响应变量相关的稀疏主成分载荷。然而,损失函数的组合可能会导致参数识别问题,但由于稀疏惩罚,避免了这个潜在的问题。因此,稀疏惩罚在该方法中起两个作用。参数估计过程中提出了使用各种更新算法与坐标下降算法。我们将SPCR-glm应用于两个真实数据集,医生访问数据和小鼠染色体品系数据。SPCR-glm提供了更容易解释的主成分(PC)得分和PC图上比通常的PCA更清晰的分类。
2016-10-13 stat.ME stat.ML
Asymptotic Analysis for Extreme Eigenvalues of Principal Minors of Random Matrices
考虑具有参数$n$和$p$的标准白色Wishart矩阵。出于在高维统计和信号处理中的应用,我们进行渐近分析的最大值和最小值的特征值的所有$m \times m$主子式,下的渐近制度,$n,p,m$去无穷大。得到了实Wigner矩阵的主子式的极值特征值的渐近结果。此外,我们讨论了应用的理论结果的压缩感知矩阵的建设,这提供了深刻的见解压缩感知信号处理和高维线性回归的统计。
2019-05-21 math.PR math.ST stat.TH
Statistical analysis of astro-geodetic data through principal component analysis, linear modelling and bootstrap based inference
本文演示了应用统计为基础的方法分析的垂直偏差角。所研究的数据集包含天文大地观测。主成分分析和多元线性回归模型嵌入自举程序中,以克服与数据相关性相关的困难,同时利用所提供的所有信息。该方法适用于真实数据。结果表明,气压、温度和湿度是影响垂直偏差测量的变量。
2018-09-20 stat.AP
Feature selection guided by structural information
在具有大量特征的广义线性回归问题中,对回归系数施加$\ell^1$ -约束的拉索型正则化已成为一种广泛建立的技术。在某些情况下,套索的防御,特别是强相关设计,被揭露时,邹和Hastie [J.罗伊。中央集权主义者Soc.Ser.B67(2005)301- 320]介绍了弹性网。在本文中,我们提出了扩展的弹性网,承认一般非负二次约束作为第二种形式的正则化。广义脊型约束通常利用特征的已知关联结构,例如,通过使用时间或空间接近度。我们研究了“结构弹性网“回归估计过程的性质,包括基本渐近性和模型选择一致性问题。在这种情况下,我们提供了一个类似的所谓的“不可表示的条件”,其中持有的套索。此外,我们概述了算法解决方案的结构弹性网内的广义线性模型家庭。通过模拟和真实世界的数据,重点是信号回归说明了我们的方法的原理和性能。
2010-11-10 stat.AP
Approximating the Span of Principal Components via Iterative Least-Squares
在上个世纪的过程中,主成分分析(PCA)已经成为现代科学方法的支柱之一。虽然PCA通常被视为一种统计工具,旨在寻找方差最大化的正交方向,但Pearson在1901年首次引入PCA是通过定义一个非线性最小二乘最小化问题来完成的,该问题将平面拟合到分散的数据点。因此,PCA和线性最小二乘回归在某种程度上是相关的,因为它们都旨在将平面拟合到数据点。在本文中,我们提出了两种方法之间的连接。具体来说,我们提出了一种迭代线性最小二乘方法,产生一系列子空间,它收敛到由领先的主成分(即,主空间)。
2019-07-28 math.ST stat.TH
Efficiency of the principal component Liu-type estimator in logistic regression model
将主成分逻辑斯谛回归估计与Liu型Logistic估计相结合,提出了一种主成分Liu型Logistic估计,以克服多重共线性问题.在渐近均方误差均方误差矩阵下,研究了新估计相对于相关估计的优良性。利用均方误差准则设计了一个蒙特卡罗模拟实验来比较估计器的性能。最后是结论部分。
2017-07-24 stat.ME
Principal Fitted Components for Dimension Reduction in Regression
我们提供了一个补救措施,两个问题,一直困扰着使用主成分回归:(i)主成分计算的预测单独和不明显的使用的响应,(ii)主成分不是不变的或等变的满秩线性变换下的预测。开发从主拟合分量开始[Cook,R. D.(2007年)。Fisher讲座:回归中的降维(附讨论)。中央集权主义者Sci. 22 1- 26]并使用正态模型对响应进行预测因子的逆回归,以获得感兴趣的前向回归的还原信息。这种方法包括检验关于成分数量和预测因子之间的条件独立性的假设的方法。
2009-06-22 stat.ME
A note on the variance in principal component regression
本文指出主成分回归在遗漏重要维度时不仅会导致无法由特征值评估的拟合不足,还证明其估计量相比普通最小二乘法方差可能增加。
2023-06-29 math.ST stat.ME stat.TH
Targeted Principal Components Regression
我们提出了一个主成分回归方法的基础上最大化的联合伪似然响应和预测。我们的方法使用响应和预测因子来选择与回归相关的预测因子的线性组合,从而解决了常规主成分回归经常被引用的不足。所提出的估计是一致的,在广泛的设置,包括与非正常和依赖的观察;条件上的第一和第二时刻足够的,如果预测($p$)的数量是固定的,观察($n$)的数量趋于无穷大和依赖性是弱的,而更强的分布假设时,需要$p \to \infty$与$n$。我们得到的估计量的渐近分布作为一个多元正态随机向量的投影到切锥的参数集在真参数,并发现估计量是渐近更有效的比竞争。在模拟中,我们的方法是更准确的比传统的主成分回归和比较有利的偏最小二乘和预测信封。该方法的实用性说明在一个数据的例子与横截面预测的股票收益率。
2021-08-09 stat.ME
Principal component-guided sparse reduced-rank regression
Doshisha University(立教大学);Institute of Science Tokyo(东京科学大学)
本文提出一种结合pcLasso的降维回归方法,通过主成分方向偏置提升预测准确性和模型可解释性,有效处理响应变量相关性和解释变量群结构问题。
2026-01-13 stat.ME
Estimating network-mediated causal effects via principal components network regression
提出主成分网络回归方法,将社交网络上的因果效应分解为网络介导的间接效应与独立直接效应,假设潜在社会群体为中介,证明渐近理论并指出现有方法存在过度控制偏差,适用于多种结构化数据。
2025-03-06 stat.ME
Bayesian estimation of covariate assisted principal regression for brain functional connectivity
本文提出CAP回归的贝叶斯重新表述,通过将协方差矩阵映射至切空间利用欧几里得几何进行后验推断,在统一框架内实现参数联合估计与不确定性量化,并应用于脑功能连接性分析。
2024-08-29 stat.ME
Envelopes and principal component regression
包络方法为各种模型提供有针对性的降维。首要目标是通过将数据投影到称为包络的低维子空间上来提高多变量参数估计的效率。包络方法在分析具有高度相关变量的数据方面具有优势,但其迭代格拉斯曼优化算法不能很好地扩展超高维数据。在多元线性回归中包络与偏最小二乘的联系促进了包络高维研究的最新进展的同时,本文从主成分回归的角度提出了一种更为直接的包络建模方法.所提出的方法,非迭代包络分量估计(NIECE),具有良好的计算优势,在高维迭代格拉斯曼优化的替代品。我们开发了一个统一的NIECE理论,弥合了包络方法和主成分回归之间的差距。新的理论见解还揭示了包络子空间估计误差作为包络建模中使用的两个对称正定矩阵的特征值间隙的函数。我们将新的理论和算法应用于多变量线性模型、逻辑斯谛回归和Cox比例风险模型中的响应和预测因子减少。模拟和说明性的数据分析表明,NIECE的潜力,以改善标准的方法在线性和广义线性模型显着。
2022-07-12 stat.ME
Compositional regression using principal nested spheres
Florida International University(佛罗里达国际大学);Baptist Health South Florida(南佛罗里达浸信会医疗系统);University of Nottingham(诺丁汉大学)
本文提出基于主嵌套球体(PNS)的组合回归方法,通过映射到可统计处理的中间空间,解决单纯形非线性几何和欧几里得方法限制的问题,展示了在环境化学暴露数据中的可解释性和实用性。
2026-03-21 stat.AP stat.ME
Robust functional regression based on principal components
函数型数据分析是现代统计学中发展迅速的一个分支,函数型线性模型是近年来研究的热点。然而,该模型的大多数估计方法依赖于广义最小二乘程序,因此对非典型观测敏感。为了弥补这一点,我们提出了一个两步估计过程,结合强大的功能主成分和强大的线性回归。此外,我们提出了一种变换,减少了曲率的估计,可以在许多设置中是有利的。对于这些估计量,我们证明了椭圆分布下的Fisher相合性和在温和的正则条件下的相合性。估计量的影响函数也进行了研究。仿真实验表明,所提出的估计器具有合理的效率,防止离群观测,产生平滑的估计和现有的方法相比,表现良好。
2018-08-02 stat.ME
Principal Balances of Compositional Data for Regression and Classification using Partial Least Squares
高维组成数据在现代组学科学中是常见的。成分数据的分析需要正确选择正交坐标表示,因为它们的相对性质与直接使用标准统计方法不兼容。主平衡是对数比坐标的一个特定类别,非常适合这种情况,因为它们是以这样一种方式构建的,即前几个坐标捕获了原始数据中的大部分可变性。专注于回归和分类问题的高维,我们提出了一种新的偏最小二乘(PLS)为基础的程序来构建主要的平衡,最大限度地解释响应变量的变异性,显着促进解释时相比,普通PLS制定。建议的PLS主平衡方法可以被理解为一个通用版本的常见logcontrast模型,因为多个正交(而不是一个)logcontrast同时估计。我们使用模拟和真实的数据集证明了该方法的性能。
2022-11-03 stat.ME