A robust partial least squares approach for function-on-function regression
函数-函数线性回归模型的响应和预测变量均由随机曲线组成,已成为研究函数响应和函数预测变量之间关系的一般框架。现有的方法来估计模型参数可能是敏感的离群观察,常见的经验应用。此外,这些方法可能会受到这些观测的严重影响,导致不期望的估计和预测结果。为了提高函数-函数线性回归模型在异常值存在时的预测精度,提出了一种基于迭代加权简单偏最小二乘的稳健估计方法.所提出的方法的性能是基于用于估计函数对函数线性回归模型的偏最小二乘分量的数量。因此,通过数据驱动的误差准则来确定最佳组件数量。通过几个蒙特卡罗实验和经验数据分析,所提出的方法的有限样本性能进行了研究。此外,一个非参数的自助方法被应用到构建逐点预测区间的响应函数。与现有的一些方法的结果进行了比较,以说明所提出的方法可能获得的改进。
2021-11-01 stat.AP stat.CO stat.ME
Functional Partial Least-Squares: Adaptive Estimation and Inference
本文研究函数型线性回归中的不适定反问题,证明函数型偏最小二乘估计量具有近极小极大最优收敛速率,并提出自适应早停程序和新检验方法,通过模拟和农业产量数据验证其有效性。
2025-05-07 econ.EM math.ST stat.CO
Shrinkage for Extreme Partial Least-Squares
针对条件极值建模中的降维问题,提出极端偏最小二乘(EPLS)方向的新解释及贝叶斯收缩估计,通过模拟与法国农场数据验证了其在高维中等数据下的有效性。
2024-05-24 math.ST stat.CO stat.ME
Lanczos Approximations for the Speedup of Kernel Partial Least Squares Regression
核偏最小二乘(KPLS)计算拟合的运行时间是样本数量的二次方。然而,获得灵敏度测量作为用于模型选择的自由度或用于更详细分析的置信区间的必要性需要三次运行时间,因此构成了现实世界数据分析中的计算瓶颈。我们提出了一种新的算法KPLS不仅计算(a)的配合,但也(b)其近似自由度和(c)在二次运行时的误差条。该算法利用核PLS和Lanczos算法之间的密切联系来近似对称矩阵的特征值,并使用这种近似来计算二次运行时的核矩阵的功率的迹。
2009-02-19 stat.ML
Least Square Estimation: SDEs Perturbed by Lévy Noise with Sparse Sample Paths
Krea University(克雷亚大学);IIT Kanpur(坎普尔印度理工学院);Indian Institute of Technology Bhubaneswar(布巴内斯瓦尔印度理工学院)
本文提出了一种针对受莱维噪声扰动的随机微分方程中稀疏样本路径的最小二乘估计方法,并分析了其渐近收敛速率。
2025-12-30 stat.ME
Deep Partial Least Squares for Instrumental Variable Regression
针对高维非线性工具变量回归,本文提出结合偏最小二乘降维、特征选择与深度神经网络的方法,并通过合成数据和经典实证应用验证其显著优势。
2023-06-02 stat.ME
Higher-order least squares: assessing partial goodness of fit of linear causal models
本文介绍了一个简单的诊断检验,用于评估误差与协变量无关的线性因果模型的整体或部分拟合优度。特别是,我们考虑的情况下,隐藏的混杂是潜在的。我们开发了一种方法,并讨论了它的能力,以区分协变量的混淆与潜变量的响应和那些没有。因此,我们提供了一个测试和方法的部分拟合优度。该测试是基于比较一种新的高阶最小二乘原理与普通最小二乘。尽管它的简单,所提出的方法是非常普遍的,也被证明是有效的高维设置。
2022-11-18 stat.ME
Fast implementation of partial least squares for function-on-function regression
人们采用函数对函数回归来模拟两条随机曲线之间的关系。拟合这个模型,广泛使用的策略包括算法落入框架的功能偏最小二乘(通常需要迭代特征分解)。本文介绍了一种基于Krylov子空间的泛函偏最小二乘方法。它可以表示为两种形式,彼此等价(在精确算术中):一种是非迭代的,具有显式形式的估计量和预测,便于理论推导和潜在的扩展(更复杂的模型);另一种是稳定的数值输出。在正则条件下,证明了估计量和预测量的相合性.我们的建议是突出,因为它是较少的计算参与。同时,它在估计和预测精度方面具有竞争力。
2020-12-18 stat.ME
Partial Least Squares for Functional Joint Models
许多生物医学研究已经确定了与重复临床测量和生存结果相关的重要成像生物标志物。Li和Luo(2017)提出的功能关节模型(FJM)框架研究了重复临床测量与生存数据之间的关联,同时基于功能主成分分析(FPCA)调整了高维图像和低维协变量。在本文中,我们提出了一种新的算法的基础上的功能偏最小二乘(FPLS)的FJM估计。我们的数值研究表明,与FPCA相比,所提出的FPLS算法在许多重要场景下可以产生更准确、更稳健估计和预测性能。我们建议的FPLS算法的阿尔茨海默病神经影像学倡议(ADNI)的研究。本文编写中使用的数据来自ADNI数据库。
2019-11-16 stat.ME
Kernel partial least squares regression for functional nonlinear models
函数回归在函数数据分析中非常重要,通常假设标量响应与函数预测值之间存在线性关系。然而,线性假设在实际中可能不成立,这使得线性模型的方法无效。为了获得更多的灵活性,我们专注于功能的非线性模型,旨在开发新的方法,不需要严格的约束的非线性结构。受机器学习中核方法思想的启发,提出了一种用于泛函非线性模型的核泛函偏最小二乘(KFPLS)方法。创新的算法工作在预测的标量响应,并伴随着R包KFPLS的实施。仿真研究表明,所提出的方法的有效性,对各种类型的非线性模型。此外,实际应用也表明了所提出的KFPLS方法的优越性。
2023-01-15 stat.ME
Integrative Sparse Partial Least Squares
偏最小二乘作为一种降维方法,因其处理大量变量问题的能力而变得日益重要。由于噪声变量可能会削弱模型的性能,稀疏偏最小二乘(SPLS)技术已被提出来识别重要的变量,并产生更多的可解释的结果。然而,单个数据集的小样本量限制了常规方法的性能。一个有效的解决方案来自于从多个可比研究中收集信息。综合分析在多数据集分析中占有重要地位。其主要思想是通过组装原始数据集并对其进行联合分析来改善估计结果。在本文中,我们开发了一个综合的SPLS(iSPLS)的方法,使用惩罚的基础上SPLS技术。所提出的方法包括两种处罚。第一种惩罚是在综合分析的背景下进行变量选择;第二种惩罚是一种对比惩罚,旨在鼓励数据集之间的估计相似性,并产生更合理和准确的结果。提供了计算算法。仿真实验进行比较iSPLS与其他方法。在两个TCGA基因表达数据的分析中显示了iSPLS的实际效用。
2020-06-05 stat.ME
Deep Learning Partial Least Squares
通过在深度学习中使用偏最小二乘法来提供高维数据缩减技术。我们的框架提供了PLS的非线性扩展以及深度学习中特征选择和架构设计的纪律方法。这导致了深度学习的统计解释,为预测问题量身定制。利用偏最小二乘法的工具,如scree-plot、bi-plot等,可以对模型进行诊断。在最后一层使用MCMC方法可获得后验预测不确定性。因此,我们实现了两全其美:可扩展性和快速预测规则构建以及不确定性量化。我们的关键结构是在PLS中使用深度学习,通过预测输出分数作为输入分数的深度学习者。与PLS一样,我们的X分数是使用SVD构建的,并应用于回归和分类问题,并且是快速和可扩展的。在Frank和Friedman 1993之后,我们对我们的非线性预测器提供了贝叶斯收缩解释。我们介绍了各种新的偏最小二乘模型:PLS-ReLU,PLS-自动编码器,PLS-树和PLS-GP。为了说明我们的方法,我们使用模拟的例子和分析的偏好橙汁和预测葡萄酒的质量作为输入特性的函数。我们还说明了Brillinger的估计过程,以提供特征选择和数据降维。最后,我们总结了未来研究的方向。
2021-06-26 stat.ME
Principal Balances of Compositional Data for Regression and Classification using Partial Least Squares
高维组成数据在现代组学科学中是常见的。成分数据的分析需要正确选择正交坐标表示,因为它们的相对性质与直接使用标准统计方法不兼容。主平衡是对数比坐标的一个特定类别,非常适合这种情况,因为它们是以这样一种方式构建的,即前几个坐标捕获了原始数据中的大部分可变性。专注于回归和分类问题的高维,我们提出了一种新的偏最小二乘(PLS)为基础的程序来构建主要的平衡,最大限度地解释响应变量的变异性,显着促进解释时相比,普通PLS制定。建议的PLS主平衡方法可以被理解为一个通用版本的常见logcontrast模型,因为多个正交(而不是一个)logcontrast同时估计。我们使用模拟和真实的数据集证明了该方法的性能。
2022-11-03 stat.ME
On some limitations of probabilistic models for dimension-reduction: Illustration in the case of probabilistic formulations of partial least squares
偏最小二乘(PLS)是一类降维技术,旨在识别具有最大协方差的两组分量,以利用$p\geq 1, q\geq 1$对两组观测变量$x\in\mathbb{R}^p$和$y\in\mathbb{R}^q$之间的关系进行建模。最近已经提出了几个版本的PLS的概率公式。首先关注el Bouhaddani等人提出的PLS-SVD的概率公式,我们建立了对它们的模型参数的约束过于严格,并且为$(x,y)$定义了特定的分布,在该分布下,具有最大协方差的分量(PLS-SVD的解)也必然具有各自的最大方差(分别是$x$和$y$的主成分分析的解)。我们提出了一种替代的概率公式PLS-SVD,不再局限于这些特定的分布。然后,我们提出了数值说明的限制,EL Bouhaddani等人的原始模型。我们还简要讨论了类似的限制,在另一个潜在的变量模型降维。
2023-02-22 stat.ME
A Robust Functional Partial Least Squares for Scalar-on-Multiple-Function Regression
标量函数回归模型已成为一种流行的分析工具,探讨标量响应和多个功能预测因子之间的关系。大多数现有的方法来估计这个模型是基于最小二乘估计,这可能会受到严重的影响,在经验数据集的离群值。当数据中存在离群值时,已知基于最小二乘的估计值可能不可靠。本文提出了一种稳健的泛函偏最小二乘方法,用于多函数标量回归模型中回归系数的稳健估计。在我们的方法中,通过偏鲁棒M-回归计算函数偏最小二乘分量。所提出的方法的预测性能进行评估,使用几个蒙特卡罗实验和两个化学计量学数据集:葡萄糖浓度光谱数据和糖加工数据。所提出的方法产生的结果相比,毫不逊色与一些经典的功能或多元偏最小二乘法和功能主成分分析方法。
2022-03-09 stat.AP stat.ME
Hybrid Partial Least Squares Regression with Multiple Functional and Scalar Predictors
University of Southern California(南加州大学);University of Texas Medical Branch(德克萨斯大学医学分校)
本文提出混合偏最小二乘回归方法,用于处理多重函数和标量预测变量的跨模态相关性,通过统一希尔伯特空间和非线性迭代算法实现降维与回归,验证了其在肾脏成像中的有效性。
2026-01-22 stat.ME
A PRESS statistic for two-block partial least squares regression
在许多数据挖掘应用中,协变量和响应都是高维的多变量数据的预测建模正成为越来越受欢迎的任务。偏最小二乘(PLS)回归往往被证明是一个有用的模型,在这些情况下,因为它执行降维,假设存在少量的潜在因素,可以解释输入和输出之间的线性关系。在实践中,必须仔细选择要保留的潜在因素的数量,这些因素控制着模型的复杂性及其预测能力。通常,这是通过交叉验证性能测量来完成的,例如预测误差。虽然交叉验证在许多实际环境中工作得很好,但它可能在计算上很昂贵。PLS的各种扩展也被提出用于正则化PLS解决方案并同时进行降维和变量选择,但这些都是以额外的复杂性参数为代价的,这些参数也需要通过交叉验证进行调整。在本文中,我们推导出一个计算效率的替代留一交叉验证(LOOCV),预测平方和(PRESS)统计两块PLS。我们表明,PRESS是几乎相同的LOOCV,但只有一个单一的PLS模型拟合的计算费用。提供了用于选择潜在因子和正则化参数的数量的PRESS的示例。
2013-02-23 stat.ME
A partial least squares approach for function-on-function interaction regression
A partial least squares regression is proposed for estimating the function-on-function regression model where a functional response and multiple functional predictors consist of random curves with quadratic and interaction effects. The direct estimation of a function-on-function regression model is usually an ill-posed problem. To overcome this difficulty, in practice, the functional data that belong to the infinite-dimensional space are generally projected into a finite-dimensional space of basis functions. The function-on-function regression model is converted to a multivariate regression mo…
2020-12-09 stat.AP stat.ME
Copula-based functional Bayes classification with principal components and partial least squares
我们提出了一个新的功能贝叶斯分类器,使用主成分(PC)或偏最小二乘(PLS)得分从共同的协方差函数,即,协方差函数边缘化组。当组具有不同的协方差函数时,PC或PLS得分不需要是独立的或甚至不相关的。我们使用Copula来模拟这种依赖关系。我们的方法是半参数的边缘密度估计非参数核平滑和copula参数建模。我们关注高斯和t-copula,但也可以使用其他copula。我们的方法的强大性能,通过模拟,真实数据的例子,和渐近性质证明。
2021-09-17 stat.AP stat.ME
A Partial Least Squares Algorithm Handling Ordinal Variables also in Presence of a Small Number of Categories
偏最小二乘(PLS)是社会科学中常用的一种建模技术。传统的偏最小二乘(PLS)算法处理的是区间尺度上的变量,而数据通常是在有序尺度上收集的。本文提出了一种改进的算法,称为有序偏最小二乘(OPLS),它能很好地处理有序变量。客户满意度的数据和一些模拟的应用程序。该技术似乎比传统的PLS表现得更好,当问卷中的项目类别的数量是小的(4或5),这是典型的在最常见的实际情况。
2012-12-20 stat.AP stat.ME
Sparse higher order partial least squares for simultaneous variable selection, dimension reduction, and tensor denoising
针对高维张量场景下高阶偏最小二乘估计一致性无法保证的问题,提出可同步实现变量选择、降维与张量去噪的SHOPS回归方法,补全相关理论性质并通过实验与生物数据应用验证有效性。
2024-10-10 stat.AP stat.ME
Kernel Partial Least Squares is Universally Consistent
在再生核Hilbert空间上证明了核偏最小二乘回归应用于有界回归学习问题的统计一致性。偏最小二乘法从众所周知的经典方法中脱颖而出,例如岭回归或主成分回归,因为它不是定义为固定模型上的全局成本最小化过程的解决方案,也不是线性估计器。相反,近似解是通过投影到一组嵌套的数据相关子空间上来构造的。为了证明一致性,我们利用已知的事实,即偏最小二乘是等价的共轭梯度算法结合早期停止。停止规则(迭代次数)的选择是一个关键点。我们研究了两个经验停止规则。第一个监测的估计误差在每一个迭代步骤的偏最小二乘,和第二个估计的经验复杂性的条件数。这两个停止规则导致普遍相合估计量提供的内核是普遍的。
2010-01-14 math.ST stat.ME stat.ML
Treatment Choice, Mean Square Regret and Partial Identification
针对二元治疗选择中福利仅部分识别的问题,本研究以均方遗憾为准则开展有限样本分析,发现最优规则为分数形式,最优治疗比例由t统计量的logistic变换乘以约束优化因子得到,识别集越宽比例越接近0.5,决策者越谨慎。
2023-10-10 econ.EM stat.ME
On function-on-function regression: Partial least squares approach
Functional data analysis tools, such as function-on-function regression models, have received considerable attention in various scientific fields because of their observed high-dimensional and complex data structures. Several statistical procedures, including least squares, maximum likelihood , and maximum penalized likelihood, have been proposed to estimate such function-on-function regression models. However, these estimation techniques produce unstable estimates in the case of degenerate functional data or are computationally intensive. To overcome these issues, we proposed a partial least …
2019-12-15 stat.AP stat.ME
Sparse partial least squares for on-line variable selection in multivariate data streams
在本文中,我们提出了一个计算效率高的算法在线变量选择的多元回归问题,涉及高维数据流。该算法递归地提取偏最小二乘解的所有潜在因素,并为每个因素选择最重要的变量。这是通过只有一个稀疏奇异值分解,可以有效地更新在线和自适应的方式。基于人工数据流的仿真结果表明,该算法是能够选择重要的变量在动态设置中的相关结构之间的观察流是由一些隐藏的组件和每个变量的重要性随时间变化。我们还报告了我们的算法的应用程序的多变量版本的“增强型指数跟踪”的问题,使用金融数据流。该应用程序包括执行在线资产配置,目标是同时超越两个基准指数。
2009-02-08 stat.ME stat.ML
Elastic Full Procrustes Analysis of Plane Curves via Hermitian Covariance Smoothing
确定曲线集合的平均形状不是一项简单的任务,特别是当曲线仅在离散点处不规则/稀疏地采样时。我们新提出了一个弹性的完整的Procrustes平均(定向)平面曲线的形状,这被认为是等价类的参数化曲线的平移,旋转,缩放和重新参数化(翘曲),基于平方根速度(SRV)框架。通过用复数识别实平面,我们建立了与不规则/稀疏函数数据分析中的协方差估计的联系。我们介绍埃尔米特协方差平滑,并展示如何采用这种扩展现有的协方差估计方法获得估计的(中)弹性充分的Procrustes平均值,也在稀疏的情况下,尚未覆盖现有的(内在的)弹性形状的手段。为此,我们提供了不同的基础结果,这也是独立的利益:我们的特点(分解)的旋转不变的二元随机过程的协方差结构,使用复杂的表示,我们确定的采样方案,允许精确观测的衍生物/稀疏采样曲线的SRV变换。我们证明了该方法的性能在语音研究舌头的形状,并在不同的现实模拟设置,尤其是基于手写数据。
2022-12-13 math.ST stat.AP stat.ME
Modélisation factorielle des interactions entre deux ensembles d'observations : la méthode PLS-FILM (Partial Least Squares Factor Interaction Linear Modelling)
在这项工作中,我们考虑一个数据数组编码的两组观察分别被称为“主题”和“对象”之间的相互作用。此外,通过两个变量集可以对主体和客体进行描述。我们提出了一个几何接地的探索性技术来分析使用的主体和对象的描述的相互作用:相互作用建模使用的主体因素和对象因素的层次结构建立从这些描述。我们的方法弥补了Chessel(RLQ分析)和Martens(L-PLS)之间的差距,尽管它只有秩1的成分与它们相同。
2008-02-06 math.ST stat.ME stat.TH
The Degrees of Freedom of Partial Least Squares Regression
偏最小二乘回归的统计性质的推导是一项具有挑战性的任务。原因是预测变量的潜在成分的构建也取决于响应变量。虽然这通常会在实践中产生良好的性能和可解释的模型,但它会使统计分析更加复杂。在这项工作中,我们研究了偏最小二乘回归的内在复杂性。我们的贡献是它的自由度的无偏估计。它被定义为拟合值的一阶导数的迹线,被视为响应的函数。我们建立了两个等价的表示依赖于偏最小二乘矩阵分解和Krylov子空间技术的密切联系。我们证明了自由度依赖于预测变量的共线性:共线性越低,自由度越高。特别是,它们通常高于将自由度定义为组件数量的简单方法。此外,我们说明了自由度的方法可以用于不同的回归方法的比较。在实验部分,我们表明,我们的自由度估计结合信息标准是有用的模型选择。
2011-02-09 math.ST stat.ME stat.ML
P3LS: Point Process Partial Least Squares
Emory University(埃默里大学)
本文提出点过程偏最小二乘(P3LS)方法,结合对数高斯Cox过程估计时变强度函数,用于医学影像数据分析,辅助肾病诊断。
2025-10-18 stat.AP stat.ME
Classification of multivariate functional data on different domains with Partial Least Squares approaches
本文针对不同定义域上的多元函数型数据分类问题,提出PLS分类及树PLS方法,并证明其PLS成分可仅由一元函数型数据PLS方法计算获得。
2024-06-10 math.ST stat.ME stat.TH
Generalized eigen, singular value, and partial least squares decompositions: The GSVD package
Rotman Research Institute, Baycrest Health Sciences(贝克雷斯特健康科学研究所罗特曼研究所)
广义奇异值分解(GSVD,a.k.a.“SVD三元组”,“二元图”方法)提供了一种统一的策略和基础来执行几乎所有最常见的多变量分析(例如,主成分、对应分析、多维标度、典型相关、偏最小二乘)。虽然GSVD无处不在,功能强大,灵活,但它的实现很少。这里我介绍R的GSVD包。GSVD的总体目标是提供一个小的可访问函数集来执行GSVD和其他两个相关的分解(广义特征值分解,广义偏最小二乘-奇异值分解)。此外,GSVD有助于为许多技术提供更统一的概念方法和术语。首先介绍了广义奇异值分解的概念,然后给出了广义分解的形式化定义。接下来,我将提供在开发过程中做出的一些关键决策,然后是一些如何使用GSVD实现各种统计技术的示例。这些例子也说明了GSVD的目标之一:其他人如何能够(或者应该)构建依赖于GSVD的分析包。最后,我讨论了GSVD可能的未来。
2020-11-17 cs.LG cs.MS stat.CO
Sparse Partial Least Squares for Coarse Noisy Graph Alignment
University of Florida(佛罗里达大学);Rice University(莱斯大学)
图形信号处理(GSP)提供了一个强大的框架,分析信号出现在各种领域。在普惠制的许多应用中,有多种网络结构,每一种结构都能反映同一基本现象的不同方面。为了整合这些不同的数据源,图对齐技术试图找到两个图的顶点之间的最佳对应关系。我们考虑这个问题的一个推广,没有自然的一对一的顶点之间的映射,但每个图的社区结构之间的对应关系。因为我们寻求在这个更高的社区级别上学习结构,所以我们将这个问题称为“粗”图对齐。为此,我们提出了一种新的正则化偏最小二乘方法,它既结合了观察到的图结构,并施加稀疏性,以反映底层块社区结构。我们为我们的方法提供了有效的算法,并在模拟中证明了其有效性。
2021-04-06 cs.LG cs.SI eess.SP