Nonlinear Causal Discovery via Kernel Anchor Regression
Tsinghua University(清华大学);University of Oxford(牛津大学)
学习因果关系是科学中的一个基本问题。锚回归已经被开发来解决这个问题的一个大类的因果图模型,虽然变量之间的关系被假设为线性的。在这项工作中,我们解决了非线性设置,提出核锚回归(KAR)。除了使用经典的两阶段最小二乘估计的自然配方,我们还研究了一个改进的变种,涉及非参数回归在三个不同的阶段。我们提供了建议的KAR估计的收敛性结果和KAR学习非线性结构方程模型(SEM)的可识别性条件。实验结果表明,所提出的KAR估计优于现有的基线性能。
2022-10-30 cs.LG stat.ME stat.ML
Multiresolution Kernel Approximation for Gaussian Process Regression
高斯过程回归通常在不应用某种核近似方法的情况下不扩展到超过几千个数据点。大多数近似集中在核矩阵$K$的谱的高特征值部分,这在核的长度尺度小时导致差的性能。在本文中,我们介绍了多分辨率核近似(MKA),第一个真正的宽带核近似算法。关于MKA的重要点是它是内存有效的,并且它是一种直接方法,这意味着它也可以很容易地近似$K^{-1}$和$\mathop{\textrm{det}}(K)$。
2018-01-30 stat.ML
On Soft Bayesian Additive Regression Trees and asynchronous longitudinal regression analysis
在许多纵向研究中,协变量和响应经常在不规则、不匹配和受试者特定的时间间歇性观察到。当协变量和响应被异步观测时,如何处理这样的数据是一个经常提出的问题。贝叶斯加性回归树(Bayesian Additive Regression Trees,BART)是一种贝叶斯非参数方法,已被证明与最好的现代预测方法(如随机森林和提升决策树)具有竞争力。树的和结构与贝叶斯推理框架相结合,提供了一个准确和鲁棒的统计方法。BART变体软贝叶斯加性回归树(SBART)构造使用随机决策树和实质性的理论和实践的好处。在本文中,我们提出了一个加权SBART模型的解决方案,异步纵向数据。与其他方法相比,现有方法在对协变量过程的假设较少的情况下是有效的。广泛的模拟研究提供了这种解决方案的数值支持。来自艾滋病研究的数据被用来说明我们的方法
2021-08-26 stat.AP stat.ME
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中,我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界,可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的,也可以获得最佳的收敛速度。作为副产品,我们也得到了收敛速度的核岭回归与错误指定的核函数,其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的,这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Bayesian profile regression for clustering analysis involving a longitudinal response and explanatory variables
鉴定具有共同功能的共调控基因是现代基因组学的一个关键问题。贝叶斯轮廓回归是一种半监督混合建模方法,它利用响应来指导对相关聚类的推断。以前的应用程序的配置文件回归考虑了单变量连续,分类,计数的结果。在这项工作中,我们扩展贝叶斯轮廓回归的情况下,结果是纵向(或多变量连续),并提供PReMiuMlongi,更新版本的PReMiuM,R包配置文件回归。我们考虑多元正态和高斯过程回归响应模型,并提供了四个模拟研究的原则应用程序的证明。该模型适用于芽殖酵母的数据,以确定在酿酒酵母细胞周期的基因组共调节。我们确定了4个不同的基因组与特定模式的基因表达轨迹,随着绑定的转录因子,可能参与其共同调控过程。
2021-11-08 stat.AP stat.ME
Electricity Price Prediction Using Multi-Kernel Gaussian Process Regression Combined with Kernel-Based Support Vector Regression
Faculty of Mathematics and Economics, Ulm University(数学与经济学学院,乌尔姆大学);Institute of Energy Engineering and Energy Economics, Ulm University of Applied Sciences(能源工程与能源经济学研究所,应用科学大学乌尔姆);Emlyon Business School, Lyon, France(埃默里昂商学院,法国里昂)
本文提出一种新的混合模型用于预测德国电力价格,结合高斯过程回归和支持向量回归,通过选择合适的数据依赖协方差函数提升GPR性能,并利用支持向量回归处理非线性过程和异常值,实验表明优于现有基准模型。
2025-07-31 cs.LG math.PR
Bayesian Profile Regression with Linear Mixed Models (Profile-LMM) applied to Longitudinal Exposome Data
Amsterdam UMC(阿姆斯特丹大学医学中心);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文提出Profile-LMM框架,将贝叶斯剖面回归与线性混合模型结合,处理纵向暴露组数据中的共线性和时间变异,并通过模拟和Lifelines队列验证其识别与舒张压相关的暴露组合的能力。
2025-10-09 stat.ME
Longitudinal Data Clustering with a Copula Kernel Mixture Model
针对高自相关多元纵向数据,提出Copula核混合模型(CKMM),结合高斯Copula与核密度估计,用广义EM算法估计参数,在模拟和真实数据上优于动态时间规整K均值和潜在增长模型。
2023-07-21 stat.CO stat.ME
Low-rank longitudinal factor regression with application to chemical mixtures
针对发育流行病学中多暴露因素关联分析的挑战,提出低秩纵向因子回归模型,可处理高相关暴露、灵活表征时变与交互效应,仿真验证有效并在ELEMENT研究中发现特定邻苯二甲酸酯代谢物与青春期糖代谢改变相关。
2024-10-29 stat.AP
Bayesian Scalar-on-Tensor Quantile Regression for Longitudinal Data on Alzheimer's Disease
Rice University(莱斯大学);MD Anderson Cancer Center(安德森癌症中心)
本文提出一种新的贝叶斯张量分位数回归方法,用于分析高维纵向影像数据,以探索脑行为关联随时间的变化。该方法结合低秩分解和多向收缩先验,提高参数估计和预测性能。
2026-03-18 stat.AP stat.ME
Multiplicative Coevolution Regression Models for Longitudinal Networks and Nodal Attributes
我们介绍了一个简单的和可扩展的协同进化模型的纵向网络和节点属性数据的分析。该模型的特征参数描述了三种现象:同质性,传染和自相关的网络和节点属性过程。同质性在这里描述了网络的变化如何与节点之间的节点属性相似性相关联。传染是指节点级属性如何根据网络而变化。我们提出的模型是基于一对相互交织的自回归过程。我们获得了连续值完全可观察网络和属性数据的最小二乘参数估计。我们还提供了其他几种情况下的贝叶斯推断方法,包括有序网络和属性数据,以及涉及潜在节点属性的模型。这些模型的扩展适用于国际关系数据的分析,并从青少年犯罪和友谊网络的研究数据。
2017-12-07 stat.ME
Asymmetric Laplace distribution regression model for fitting heterogeneous longitudinal response
Univ. Bordeaux, Bordeaux Population Health center, Inserm U1219(波尔多大学,波尔多人口健康中心,Inserm U1219);Univ Bretagne Sud, CNRS UMR 6205, LMBA(南布列塔尼大学,法国国家科学研究中心 UMR 6205,LMBA);Anesthesiology and Critical Care Department, Bordeaux University Hospital(波尔多大学医院麻醉与重症监护科)
本文提出基于非对称拉普拉斯分布的混合效应分布回归模型,以处理纵向数据中的异质性、异常值和不对称性,并更全面地评估协变量对响应分布的影响。
2025-12-13 stat.ME
BAyesian Bent-Line Regression model for longitudinal data with an application to the study of cognitive performance trajectories in Wisconsin Registry for Alzheimer's Prevention
临床前阿尔茨海默病(AD)是AD连续体中的最早阶段,可持续15至20年,受试者之间的认知下降轨迹是非线性和异质的。描述AD临床前阶段认知功能下降的特征对于制定早期干预策略至关重要,此时疾病改善疗法可能最有效。在过去的十年中,有越来越多的兴趣在应用的变化点(CP)模型的纵向认知结果。由于患者的变化点可能差异很大,因此有必要对这种变化进行建模。本文介绍了一种贝叶斯曲线回归模型,用于AD高风险中年人认知功能的纵向数据。我们提供了一种方法来估计固定(组级)和随机(人级)CP,斜率前和后CP,并截取在CP认知。我们的模型不仅可以估计个体的认知轨迹,还可以估计每个年龄段的认知弯曲曲线的分布,使研究人员和临床医生能够估计受试者的分位数。模拟研究表明,估计和推理程序执行合理,以及在有限的样本。的实际用途说明了应用程序的纵向认知复合材料在威斯康星州登记阿尔茨海默氏症的预防(WRAP)。
2022-11-17 stat.ME
Generalized Bayesian Clustering with Regression for Unaligned Longitudinal Binary Data
Texas A&M University(德克萨斯农工大学);University of Colorado Anschutz(科罗拉多大学安舒茨分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对未对齐纵向二元数据,提出带回归的广义贝叶斯聚类模型,结合轨迹相似性与回归损失,用切片沃尔什斯坦因距离实现无对齐比较,以狄利克雷过程定义聚类参数先验,解决单一生成模型的设定或效率问题。
2026-09-02 stat.AP stat.CO stat.ME
Adaptive Bayesian nonparametric regression using kernel mixture of polynomials with application to partial linear model
本文提出了一种贝叶斯非参数回归的核混合多项式先验。回归函数由具有核混合权重的多项式的局部平均来建模。我们得到的最小最优收缩率的充分后验分布的对数因子,适应的平滑程度的真实功能,通过估计某些功能类的度量熵。我们还提供了一个频率筛最大似然估计与接近最佳的收敛速度。我们进一步研究了多项式的核混合对部分线性模型的应用,并获得了非参数分量的近最优收缩率和Bernstein-von Mises极限(即,渐近正态性)。所提出的方法与数值例子说明,并显示优越的性能相比,本地多项式回归,DiceKriging,和强大的高斯随机过程的计算效率,精度和不确定性量化。
2018-09-13 math.ST stat.TH
Bayesian Regression Analysis of Data with Random Effects Covariates from Nonlinear Longitudinal Measurements
多种响应变量和纵向测量的联合模型由混合效应模型组成,以拟合纵向轨迹,其随机效应作为协变量进入主要响应的广义线性模型。它们提供了一种有用的方法来评估这两种数据之间的关联,在临床研究中,这两种数据通常是在一系列个体上联合收集的,并且可以帮助理解,例如,某种疾病的恢复机制或给定疗法的疗效。该框架中最常见的联合模型是基于纵向数据的线性混合模型。然而,对于复杂的数据集,线性假设可能过于严格。一些工作已经考虑通过使用纵向轨迹的非线性混合效应模型来推广这种设置,但是De la Cruz等人(2011年)已经表明,基于似然近似的拟议估计程序表现出一些计算效率问题。在这篇文章中,我们提出了一个MCMC为基础的估计过程中的联合模型与非线性混合效应模型的纵向数据和广义线性模型的主要反应。此外,我们认为纵向模型中的误差可能是相关的。我们将我们的方法应用于分析在妊娠早期测量的激素水平,这些激素水平可用于预测正常与异常妊娠结局。我们还进行了模拟研究,以评估建模相关误差的重要性,并量化模型错误的后果。
2014-07-02 stat.ME
Bayesian semiparametric modelling of covariance matrices for multivariate longitudinal data
本文开发了多变量纵向响应的边际模型。总体而言,该模型由五个回归子模型组成,一个用于平均值,四个用于协方差阵,后者是通过考虑各种矩阵分解得到的。我们采用的分解是直观的,易于理解的,并且它们不依赖于任何假设,例如多变量响应之间存在排序。回归子模型是半参数的,未知函数由基函数展开表示。我们使用spike-slap先验的回归系数,以实现变量的选择和功能的正则化,并获得参数估计,考虑模型的不确定性。提出了一种有效的后验抽样马尔可夫链蒙特卡罗算法。模拟研究调查先验对后验的影响,当考虑多变量纵向分析而不是单变量分析时可能会获得的收益,以及这些收益是否可以抵消缺失数据的负面影响。我们将这些方法应用于一个高度不平衡的纵向数据集,该数据集在20年的时间内观察到四个响应
2020-12-17 stat.ME
Stability of Multi-Task Kernel Regression Algorithms
Aix-Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
在具有算子核的再生Hilbert空间中研究了非线性多任务回归的稳定性。这样的内核,也称为多任务内核适用于具有非标量输出的学习问题,如多任务学习和结构化输出预测。我们证明了多任务核回归算法在无限维输出空间的一般情况下是一致稳定的。然后,我们推导出在温和的假设下的核广义界的算法,我们证明了它们的一致性,甚至与非Hilbert-Schmidt算子值的内核。我们演示了如何将结果应用于各种多任务核回归方法,如向量值SVR和函数岭回归。
2013-06-17 cs.LG stat.ML
Multi-kernel Regression For Graph Signal Processing
KTH Royal Institute of Technology(KTH皇家理工学院)
我们开发了一种基于多核的回归方法,用于图形信号处理,其中假设目标信号在图形上是平滑的。在多核回归中,一个有效的核函数被表示为多个基核函数的线性组合。我们估计的线性权重学习有效的核函数通过适当的正则化的基础上图的光滑性。我们表明,由此产生的优化问题被证明是凸的,并提出一个加速投影梯度下降为基础的解决方案。使用真实世界的图形信号的仿真结果表明基于多核的方法比基于标准核的方法的效率。
2018-03-12 cs.LG stat.ML
On Kernel Regression with Data-Dependent Kernels
UC Berkeley(加州大学伯克利分校);Generally Intelligent(通用智能公司)
核回归(KR)中的主要超参数是核的选择。在KR的大多数理论研究中,人们假设在看到训练数据之前内核是固定的。在此假设下,已知最优核等于目标函数的先验协方差。在本说明中,我们考虑KR,其中内核可以在看到训练数据后更新。我们指出,在这种情况下,使用目标函数的后验核的类似选择是最佳的。将深度神经网络视为依赖于数据的内核学习器的观点的连接进行了讨论。
2022-09-26 cs.LG stat.ML
Fair Kernel Regression via Fair Feature Embedding in Kernel Space
University of Wyoming(怀俄明大学)
近年来,人们在减轻机器学习方法中不道德的人口统计学偏见方面做出了重大努力。然而,对内核方法做的很少。本文提出了一种新的基于核空间公平特征嵌入的公平核回归方法(FKR-F $^2$ E)。受核空间中的特征选择和公平机器学习的特征处理的先前工作的启发,我们提出学习公平的特征嵌入函数,最大限度地减少核空间中特征分布的人口统计差异。与最先进的公平核回归方法和几种基线方法相比,我们表明FKR-F $^2$ E在三个真实数据集上实现了显着更低的预测差异。
2019-09-20 cs.LG stat.ML
Kernel Regression with Sparse Metric Learning
East China Normal University(华东师范大学)
核回归是一种流行的非参数拟合技术。它旨在学习一个函数,该函数尽可能精确地估计测试输入的目标。通常,通过周围训练样本的加权平均来估计测试输入的函数值。权重通常由基于距离的核函数计算,并且它们强烈依赖于示例之间的距离。本文首先回顾了稀疏度量学习和核回归的最新进展。在此基础上,提出了一种新的基于稀疏度量学习的核回归方法--稀疏度量学习核回归(KR $\_$ SML)。通过对度量矩阵进行混合$(2,1)$范数正则化,建立稀疏核回归模型.它通过梯度下降过程学习马氏距离度量,可以同时进行降维,并导致良好的预测结果。我们的工作是第一个结合核回归与稀疏度量学习。为了验证所提出的方法的有效性,它是在19个数据集进行回归评估。并将该方法应用于短时交通流预测的实际问题中。最后,在两种准则下的所有测试数据集上,将该方法与其他三种相关的核回归方法进行了比较。实验结果表明,该方法具有更强的竞争力。
2017-12-25 cs.LG stat.ML
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research(百度研究院)
在这项工作中,我们证明了pGMM(“动力广义最小-最大”)内核的(岭)回归的背景下的优势。在最近的先前研究中,pGMM内核已被广泛评估用于分类任务,用于逻辑斯谛回归,支持向量机以及深度神经网络。本文对岭回归进行了实验研究,将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是,即使没有调谐参数(即,$p=1$用于pGMM内核的功率参数),pGMM内核已经表现良好。此外,通过调优参数$p$,这个(看似简单的)pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务,通常,从业者使用$L_2$ boost,即,用于最小化$L_2$损失。有时出于鲁棒性的目的,可能会选择$L_1$增强。在本研究中,我们为$p\geq 1$实现了$L_p$ boost,并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是,最好的性能(在$L_2$回归损失方面)通常在$p>2$,在某些情况下在$p\gg 2$获得。Li等人(UAI 2010)已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之,$L_p$ boost的实现为从业者提供了额外的灵活性,可以调整boosting算法,从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
Optimal $γ$ and $C$ for $ε$-Support Vector Regression with RBF Kernels
基于数值和统计学的考虑,研究了RBF核和马氏核支持向量回归机的$C$和$γ$的有效确定,揭示了$C$和核之间的联系,并证明了映射空间中相邻观测值几何距离的偏差影响$ε$ -SVR的预测精度.确定了$γ$和$C$的排列方式,并提出了选择最佳值的方法。
2015-06-12 cs.LG stat.ML
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.(艾伯维公司);Merck & Co., Inc.(默沙东公司)
基于树的集成,例如Breiman的随机森林(RF)和梯度提升树(GBT)可以被解释为隐式内核生成器,其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看,已被用来开发一个原则性的框架,其统计特性的理论研究。最近,它已被证明,内核的解释是密切相关的其他基于树的合奏,如GBT。然而,内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成(包括RF和GBT)之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究,包括连续和二进制目标的性能和属性。我们表明,对于连续的目标,RF/GBT内核在高维场景中,特别是在具有大量噪声特征的情况下,与它们各自的合奏具有竞争力。对于二进制目标,RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果,以展示如何在实践中利用这些见解。总体而言,我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后,我们讨论了基于树集成的生存目标,可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
Graph Enhanced High Dimensional Kernel Regression
Rochester Institute of Technology(罗切斯特理工学院);School of Mathematical Sciences(数学科学学院)
在本文中,内核回归的灵活性,多功能性和预测能力与现在大量可用的网络数据相结合,以创建具有更高预测性能的回归模型。从以前的工作具有广义线性模型建立在网络凝聚力数据的存在下,我们构建了一个内核化的扩展,捕捉微妙的非线性极高维空间,也产生更好的预测性能。对模拟和现实数据的无缝而实质性的适应性应用证明了我们工作的吸引力和力量。
2020-11-03 cs.LG stat.ML
Extrinsic Kernel Ridge Regression Classifier for Planar Kendall Shape Space
Florida State University(佛罗里达州立大学)
核方法在统计学和机器学习中取得了巨大的成功。尽管他们越来越受欢迎,但是,较少的努力已经提请对发展核分类方法的黎曼流形由于难以处理非欧几里德几何。本文在流形值数据分析的外部框架下,提出了一种新的平面Kendall形空间$Σ_2^k$上的正定核,称为外部Veronese Whitney Gaussian核.我们表明,我们的方法可以扩展到任何嵌入式流形上开发高斯核。在此基础上,实现了核岭回归分类器(KRRC)来解决$Σ_2^k$的形状分类问题,并通过实际数据分析验证了其良好的性能。
2020-10-01 cs.LG stat.ML
Nonparametric regression using needlet kernels for spherical data
Wenzhou University(温州大学)
针状体由于其在空间域和频域上的优良局部化特性,已被公认为是处理球形数据的最先进的工具。本文考虑发展核方法与needlet核的非参数回归问题的预测变量定义在一个球体上。由于在频域中的局部化性质,我们证明了与针状核相关的核岭回归的正则化参数可以任意快速地减小。一个自然的结果是核岭回归的正则化项在速率最优性的意义上是不必要的。基于其在空间域上的优良局部化性质,我们还证明了所有与needlet核相关的$l^{q}$ $(01\leq q < \infty)$核正则化估计,包括核lasso估计和核桥估计,在速率最优意义下,对大范围的正则化参数具有几乎相同的推广能力.这一发现初步表明,如果针内核被利用,那么选择$q$可能不会有很大的影响,在某些建模环境中的泛化能力。从这个角度来看,$q$可以被任意指定,或者仅由其他非泛化标准(如平滑度、计算复杂性、稀疏性等)指定。
2015-09-10 cs.LG stat.ML
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University(统计与数据科学学院,曲阜师范大学);Dongfang College, ShanDong University of Finance and Economics(东方学院,山东财经大学)
核逻辑斯谛回归(KLR)是一种功能强大的分类方法,广泛应用于不同的领域。在许多现实世界的场景中,不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归(RIKLR)模型,该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性,同时将非光滑性和非凸性引入优化领域。为了解决这些挑战,理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明,该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
A Comparative Study of Pairwise Learning Methods based on Kernel Ridge Regression
Ghent University(根特大学);University of Turku(图尔库大学)
许多机器学习问题可以公式化为一对对象的预测标签。这类问题通常被称为成对学习、二元预测或网络推理问题。在过去的十年中,核方法在成对学习中发挥了主导作用。它们仍然获得了最先进的预测性能,但在机器学习文献中对其行为的理论分析还不够深入。在这项工作中,我们审查和统一现有的基于内核的算法,通常用于不同的成对学习设置,从矩阵过滤到zero-shot学习。为此,我们专注于克罗内克核岭回归的封闭形式的有效实例。我们发现,独立的任务内核岭回归,两步内核岭回归和线性矩阵滤波器自然出现的Kronecker内核岭回归的特殊情况下,这意味着所有这些方法隐式地最小化平方损失。此外,我们分析了普适性,一致性和光谱滤波性质。我们的理论结果提供了有价值的见解,在评估现有的成对学习方法的优点和局限性。
2018-03-05 cs.LG stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University(浙江大学);Fudan University(复旦大学);Middle Tennessee State University(中田纳西州立大学)
分布式学习是分析大数据的有效方法。在分布式回归中,一种典型的方法是将大数据划分为多个块,对每个块应用基本回归算法,然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差,而不是偏差,如果基本回归算法是有偏的,则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中,我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集,当它被应用为分布式回归的基本算法,我们推导出的误差界。我们表明,在某些适当的条件下,最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
Risk Convergence of Centered Kernel Ridge Regression with Large Dimensional Data
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文对一种称为\emph{centered kernel ridge regression}(CKRR)的核岭回归的变体进行了高维分析,在文献中也称为带偏移的核岭回归。这种改进的技术是通过考虑回归问题中的偏差而获得的,该偏差导致旧核岭回归,但具有\emph{centered}核。分析是在假设数据来自高斯分布并严重依赖随机矩阵理论(RMT)工具的情况下进行的。在数据维数和训练规模以固定比例无限大的制度下,并在一些温和的假设下控制数据统计,我们表明,经验和预测风险收敛到一个确定性的数量,以封闭的形式描述CKRR的性能的数据统计和尺寸。受这一理论结果的启发,我们随后基于训练数据构建了预测风险的相合估计量,从而可以最佳地调整设计参数。所提出的分析的一个关键见解是这样一个事实,即渐近一大类内核实现相同的最小预测风险。这一见解得到了合成数据和真实数据的验证。
2019-04-19 cs.LG stat.ML
Learning Rates for Kernel-Based Expectile Regression
University of Stuttgart(斯图加特大学)
有条件预期证券在金融和其他应用领域正成为越来越重要的工具。我们分析了一个支持向量机类型的方法估计条件expectles和建立学习率是最小最大最优模对数因子,如果使用高斯RBF内核和所需的expectile是光滑的Besov意义上的。作为一种特殊情况,我们的学习率提高了这种情况下基于核的最小二乘回归的最佳已知率。我们的统计分析的关键成分是一个一般的校准不等式的非对称最小二乘损失,相应的方差界以及高斯RBF核的改进的熵数界。
2017-02-27 cs.LG stat.ML
Multi-Kernel Regression with Sparsity Constraint
EPFL(洛桑联邦理工学院)
在本文中,我们提供了一个广义全变差(gTV)正则化的监督学习的Banach空间公式。我们确定类的核函数,在这个框架中是允许的。然后,我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明,该解决方案承认一个自适应位置的多核扩展。在该表示中,活动内核的数量由数据点的数量上限,而gTV正则化对内核系数施加$\ell_1$惩罚。最后,我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
On Quantile Regression Forests for Modelling Mixed-Frequency and Longitudinal Data
本论文扩展分位数回归森林算法,提出MIDAS-QRF和FM-QRF两种新方法,分别处理混合频率和纵向数据,并在金融风险管理和气候变化评估中验证其有效性。
2025-02-24 cs.LG stat.ME stat.ML
Kernel Regression for Graph Signal Prediction in Presence of Sparse Noise
KTH Royal Institute of Technology(KTH皇家理工学院)
在稀疏噪声的存在下,我们提出了核回归预测的输出向量是光滑的一个给定的图。稀疏噪声对训练输出进行建模,训练输出被丢失的样本或大的扰动破坏。稀疏噪声的存在通过在凸代价函数中适当使用$\ell_1$ -范数以及使用$\ell_2$ -范数来处理。对于优化的成本函数,我们提出了一个迭代加权最小二乘(IRLS)的方法,是适合于内核替换或内核技巧,由于可用的封闭形式的解决方案。使用真实世界温度数据的模拟显示了我们所提出的方法的有效性,主要是针对有限大小的训练数据集。
2018-11-06 cs.LG stat.ML
The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models
本文研究了非参数统计中的随机梯度下降(SGD)算法:特别是核回归。SGD的方向偏差属性,这是已知的线性回归设置,推广到核回归。更具体地说,我们证明了SGD与温和的退火步长收敛沿的方向对应的最大特征值的革兰氏矩阵的特征向量。此外,具有中等或小步长的梯度下降(GD)沿着对应于最小特征值的方向收敛。这些事实被称为方向偏差属性;它们可以解释SGD计算的估计量如何比GD计算的估计量具有潜在的更小的泛化误差。我们的理论的应用证明了模拟研究和案例研究,是基于FashionMNIST数据集。
2022-04-29 cs.LG stat.ML
Indefinite Kernel Logistic Regression with Concave-inexact-convex Procedure
Shanghai Jiao Tong University(上海交通大学);Nanjing University of Science and Technology(南京理工大学);KU Leuven(鲁汶大学)
在核方法中,通常要求核是正定的,这限制了许多不定核的使用。为了考虑这些非正定核,本文旨在为核逻辑回归建立一个不定核学习框架。在再生核\u <$n空间(RKKS)中分析了所提出的不定核逻辑回归(IKLR)模型,使其成为非凸的.利用非正定核的正分解,导出的IKLR模型可以分解为两个凸函数的差。相应地,一个凹凸过程被引入到解决非凸优化问题。由于凹凸过程在每次迭代中都要求解一个子问题,因此我们提出了一种具有不精确求解方案的凹凸过程(CCICP)算法来加速求解过程。此外,我们提出了一个随机变量的CCICP有效地获得一个近似的解决方案,这达到了类似的目的,在CCICP的不精确的解决方案。对这两种变式的凹凸过程进行了收敛性分析。通过这样做,我们的方法不仅在确定性设置下有效地工作,而且在随机设置下有效地工作。几个基准的实验结果表明,建议IKLR模型表现良好的标准(正定)核逻辑回归和其他竞争力的不确定学习算法。
2020-05-29 cs.LG stat.ML
On the Saturation Effect of Kernel Ridge Regression
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文证明了核岭回归在真实函数平滑度超过一定水平时无法达到信息论下界的饱和效应长期猜想。
2024-05-28 cs.LG stat.ML
Large Dimensional Kernel Ridge Regression: Extending to Product Kernels
Department of Statistics and Data Science(统计与数据科学系);Tsinghua University(清华大学);Department of Mathematical Science(数学科学系)
本文研究了高维核岭回归中乘积核的收敛性,揭示了在不同源条件下的最优性、饱和效应及多 descent 行为。
2026-05-14 cs.LG stat.ML
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech(加泰罗尼亚理工大学-巴塞罗那理工大学);University of Minnesota(明尼苏达大学)
矩阵完成和外推(MCEX)在这里处理再生核希尔伯特空间(RKHS),以考虑现有数据中的先验信息。针对快速和低复杂度的求解器,该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现,而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明,该方法比交替最小二乘(ALS)或随机梯度下降(SGD)等广泛使用的方法执行得更快,并且恢复误差减少,特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality
The University of Chicago(芝加哥大学);Weizmann Institute of Science(魏茨曼科学研究所);TTI-Chicago(芝加哥丰田技术研究所)
本文分析高斯核无岭回归在带宽或维度随样本量变化时的过拟合,刻画固定维与递增维情形,并首次给出次多项式维数下的良性过拟合示例。
2024-09-05 cs.LG stat.ML
Uniform convergence for Gaussian kernel ridge regression
本文首次证明固定超参数的高斯核岭回归在一致范数和L2范数下具有多项式收敛速率,填补理论空白,为非参数回归提供理论依据。
2025-09-11 cs.LG stat.ML
Random Forest (RF) Kernel for Regression, Classification and Survival
AbbVie Inc.(艾伯维公司);Merck & Co., Inc.(默克公司)
Breiman的随机森林(RF)可以被解释为一个隐式的内核生成器,其中随后的邻近矩阵表示数据驱动的RF内核。RF的内核的角度来看,已被用来开发一个原则性的框架,其统计特性的理论研究。然而,核函数和RF之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是核方法和RF之间的相互作用的调查。我们阐明的性能和属性的数据驱动的RF内核所使用的正则化线性模型在一个全面的仿真研究,包括连续,二进制和生存目标。我们表明,对于连续和生存的目标,RF内核的竞争力,RF在更高维的情况下,大量的噪声功能。对于二进制目标,RF内核和RF表现出相当的性能。由于RF核渐近收敛于拉普拉斯核,因此我们将其包含在我们的评估中。对于大多数模拟设置,RF和RF内核优于拉普拉斯内核。尽管如此,在某些情况下,拉普拉斯核是有竞争力的,显示出其潜在的应用价值。我们还提供了从现实生活中的数据集的回归,分类和生存的结果,以说明如何在practice.Finally,我们讨论了进一步扩展的RF内核的可解释的原型和地标分类,回归和生存的背景下,这些见解可能被利用。我们概述了未来的研究线提供的贝叶斯同行的RF内核。
2020-08-31 cs.LG stat.ML
Distribution Regression with Sliced Wasserstein Kernels
University College London(伦敦大学学院);Italian Institute of Technology(意大利理工学院)
在概率空间上学习函数的问题--或分布回归--在机器学习社区中引起了极大的兴趣。这个问题背后的一个关键挑战是确定一个合适的表示捕捉底层功能映射的所有相关属性。核均值嵌入提供了一种原则性的分布回归方法,它在概率水平上提升了输入域上的核诱导相似性。这种策略有效地解决了问题的两阶段抽样性质,使人们能够获得强有力的统计保证,如普遍一致性和超额风险界限的估计。然而,核均值嵌入隐含地取决于最大均值差异(MMD),这是一种概率度量,可能无法捕获分布之间的关键几何关系。相比之下,最优传输(OT)指标可能更有吸引力。在这项工作中,我们提出了一个基于OT的分布回归估计。我们建立在切片瓦瑟斯坦距离上以获得基于OT的表示。我们研究了基于这种表示的核岭回归估计的理论性质,证明了它的泛相合性和超额风险界。初步实验补充了我们的理论研究结果,所提出的方法的有效性,并将其与基于MMD的估计。
2022-06-17 cs.LG stat.ML
Structure Discovery in Nonparametric Regression through Compositional Kernel Search
U. Cambridge(剑桥大学);MIT(麻省理工学院)
尽管它的重要性,在非参数回归的内核的结构形式的选择仍然是一个黑色的艺术。我们定义了一个空间的内核结构,这是由添加和乘以少量的基本内核组成。我们提出了一种方法来搜索这个空间的结构,反映了科学发现的过程。学习的结构通常可以将函数分解为可解释的组件,并在时间序列数据集上进行长距离外推。我们的结构搜索方法在各种预测任务上优于许多广泛使用的内核和内核组合方法。
2013-05-13 cs.LG stat.ME stat.ML
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia(巴伊亚联邦大学);Federal Institute of Pernambuco(伯南布哥联邦学院);University of São Paulo(圣保罗大学)
机器学习技术总是以减少广义预测误差为目标。为了减少它,集成方法提出了一个很好的方法,结合几个模型,结果在一个更大的预测能力。随机机已经被证明是一种强大的技术,即:高预测能力,分类任务,在这篇文章中,我们提出了一个过程,使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明,回归随机机具有较低的泛化误差,在调整过程中无需选择最佳的核函数,具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
Statistically and Computationally Efficient Variance Estimator for Kernel Ridge Regression
Duke University(杜克大学);Purdue University(普渡大学)
本文提出了一种随机投影方法来估计核岭回归中的方差。我们的方法导致真实方差的一致估计,同时计算效率更高。我们的方差估计是最佳的一个大家庭的内核,包括三次样条和高斯内核。仿真分析支持我们的理论。
2018-09-17 cs.LG math.ST stat.ML
Consistent regression of biophysical parameters with kernel methods
Image Processing Lab (IPL), Universitat de Val\`encia, Val\`encia, Spain
本文介绍了一种新的统计回归框架,允许纳入一致性约束。一个线性和非线性(内核为基础的)配方介绍,都意味着封闭形式的解析解。该模型利用来自一组驱动程序的所有信息,同时最大限度地独立于一组辅助的受保护变量。我们成功地说明了叶绿素含量的估计性能。
2020-12-09 cs.LG stat.ME stat.ML
Regression Trees for Longitudinal Data
在研究反应轨迹时,通常感兴趣的人群可能足够多样化,在其中存在不同的亚组,并且在这些亚组中反应的纵向变化可能不一致。也就是说,纵向曲线中协变量的时间斜率和/或影响可能在这些不同的亚组中有所不同。例如,Raudenbush(2001)以抑郁症为例,认为假设给定人群中的所有人都会经历抑郁症的增加或减少是不正确的。在这种情况下,传统的线性混合效应模型(假设协变量和时间的共同参数形式)不直接适用于整个人群,因为组平均轨迹可以掩盖重要的亚组差异。我们的目的是以最简约的方式,根据基线协变量的组合,识别和表征纵向同质亚组。这一目标可以通过使用基线协变量作为划分变量为纵向数据构建回归树来实现。我们提出了LongCART算法来构造纵向数据的回归树。在每个节点中,所提出的LongCART算法通过参数不稳定性测试来确定是否需要进一步分裂(即纵向剖面的参数是否受任何基线属性的影响),因此进一步分裂的决定是第一类错误受控的。我们已经得到了所提出的不稳定性测试的渐近结果,并通过模拟研究检查整个算法的有限样本行为。最后,我们应用LongCART算法研究了HIV患者胆碱水平的纵向变化。
2014-07-13 stat.ME stat.ML
Asymptotic Optimism of Random-Design Linear and Kernel Regression Models
Department of Statistics, Rice University(里士大学统计系);Lawrence Berkeley National Laboratory(伯克利国家实验室);Amazon(亚马逊公司);Department of Statistics, the Ohio State University(俄亥俄州立大学统计系)
本文推导了随机设计下线性回归及核岭回归的闭式渐近乐观度,提出以尺度化乐观度作为预测复杂度度量,并从理论和实验上揭示了ReLU神经网络与切线核模型在该度量下的行为差异。
2025-08-16 cs.LG math.ST stat.ML
Learning rates for the risk of kernel based quantile regression estimators in additive models
可加模型在半参数统计中起着重要的作用。本文给出了正则化核方法的学习率。这些学习率比较有利,特别是在高维度的最佳学习率为纯粹的非参数正则化内核为基础的分位数回归使用高斯径向基函数内核的最近的结果,提供了一个加性模型的假设是有效的。另外,通过一个具体例子说明了只依赖于一个变量的高斯函数位于由加性高斯核生成的再生核Hilbert空间中,而不属于由相同方差的多元高斯核生成的再生核Hilbert空间.
2014-05-14 stat.ML
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research(谷歌研究院);University of Cambridge(剑桥大学)
神经内核在不同的非标准数据模式上大大提高了性能,但需要更多的计算,这在以前将其应用限制在较小的数据集上。在这项工作中,我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合,以实现大规模的核回归(即多达500万个示例)。使用这种方法,我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍,我们获得了91.2%的测试准确度(纯核方法的SotA)。此外,我们还在其他数据模式上探索神经内核,获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Optimal Rates of Distributed Regression with Imperfect Kernels
University of Jinan(济南大学);Middle Tennessee State University(中田纳西州立大学)
分布式机器学习系统因其处理大规模数据的高效性而受到越来越多的关注。针对不同的机器学习任务,已经提出了许多分布式框架。在本文中,我们研究了分布式核回归的分治方法。这种方法已被证明是渐近极小极大最优的,如果核是完美的选择,使真正的回归函数位于相关的再生核希尔伯特空间。然而,这通常是不切实际的,因为只能通过先验知识或调整过程来选择的内核很难是完美的。相反,更常见的是,内核足够好,但不完美,在这个意义上,真正的回归可以很好地近似,但不完全位于内核空间。我们证明了分布式核回归在这种情况下仍然可以达到与容量无关的最优速率。为此,我们首先建立了一个通用的框架,允许分析分布式回归与响应加权基础算法的边界上一个单一的数据集,这些算法的错误,提供的误差界已考虑到的影响,无法解释的方差的响应变量。然后,我们执行留一分析的内核岭回归和偏差校正内核岭回归,结合上述框架,使我们能够获得尖锐的误差界和容量独立的最佳速率为相关的分布式内核回归算法。作为彻底分析的副产品,我们还证明了核岭回归可以在无噪声设置中比$N^{-1}$(其中$N$是样本大小)更快地实现速率,据我们所知,这是回归学习中首次观察到的和新颖的。
2020-06-30 cs.DC cs.LG math.ST