Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University(巴黎第十三大学);IFSTTAR(法国交通与安全科学技术研究所);Heudiasyc Lab(Heudiasyc实验室)
本文介绍了一种新的基于模型的聚类方法聚类时间序列,目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化(EM)算法采用极大似然法进行。所提出的方法进行评估,使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法,包括高斯混合的标准EM,$K$均值聚类,标准混合回归模型和混合隐马尔可夫模型的比较,证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
Sparse Volterra and Polynomial Regression Models: Recoverability and Estimation
University of Minnesota(明尼苏达大学)
Volterra和多项式回归模型在非线性系统辨识和推理任务中起着重要作用。从神经科学到全基因组关联分析等令人兴奋的应用都建立在这些模型的基础上,并具有简约性的额外要求。这一要求具有很高的解释价值,但不幸的是,不能满足最小二乘或核回归方法。为此,压缩采样(CS)的方法,已经成功的线性回归设置,可以提供一个可行的替代方案。CS稀疏Volterra和多项式模型的可行性是这项工作的核心主题。一个共同的稀疏回归任务,最初提出的两个模型。建立在(加权)拉索为基础的计划,一个自适应RLS型算法稀疏多项式回归。多项式模型的可辨识性受到维数的严重挑战。然而,根据CS原理,当这些模型稀疏时,它们可以通过少得多的测量来恢复。为了量化足够数量的测量给定水平的稀疏性,受限制的等距属性(RIP)进行了研究,在常见的多项式回归设置,概括已知的结果,其线性对应。新的(加权)自适应CS算法稀疏多项式建模的优点是通过合成以及真实数据测试基因型-表型分析验证。
2011-09-07 cs.IT cs.LG math.IT
Data-driven polynomial chaos expansion for machine learning regression
我们提出了一种基于多项式混沌展开(PCE)的数据驱动问题的回归技术。PCE是不确定性量化(UQ)领域中的一种流行技术,其中它通常用于将受制于随机输入的可运行但昂贵的计算模型替换为评估成本低廉的多项式函数。所获得的元模型使得能够可靠地估计输出的统计数据,前提是输入的合适的概率模型是可用的。机器学习(ML)回归是一个研究领域,专注于提供纯粹的数据驱动的输入输出图,重点是逐点预测精度。我们表明,纯粹在数据上训练的PCE元模型可以产生逐点预测,其准确性与其他ML回归模型(如神经网络和支持向量机)相当。比较基准数据集可从文献中进行。该方法还可以量化输出的不确定性,并且对噪声具有鲁棒性。此外,它还具有额外的理想特性,例如对小训练集的良好性能和构造简单,只需很少的参数调整。
2019-04-01 cs.LG stat.CO stat.ML
Model inference for Ordinary Differential Equations by parametric polynomial kernel regression
The Alan Turing Institute(艾伦·图灵研究所);Mathematics Institute, University of Warwick(华威大学数学研究所)
动态系统的模型推断旨在从观测结果中估计系统的未来行为。无模型的统计方法,如人工神经网络,往往对这些任务表现不佳。因此,它们不太适合应用中的许多问题,例如贝叶斯滤波和可靠性估计。这项工作介绍了一个参数多项式核方法,可用于推断未来的行为的常微分方程模型,包括混沌动力系统,从观察。使用数值积分技术,可以使用反向传播和随机梯度下降来学习常微分方程的参数表示。这里提出的多项式技术是基于非参数方法,核岭回归。然而,非参数核岭回归的时间复杂度与训练数据点的数量成三次比例。我们的参数多项式方法避免了这种维数灾难的表现,这在处理大型时间序列数据集时变得特别相关。两个数值演示。首先,一个简单的回归测试的情况下,用来说明该方法,并与标准的人工神经网络技术的性能进行比较。第二,一个更实质性的测试案例是混沌时空动力系统的推论,洛伦兹-伊曼纽尔系统,从观察。我们的方法是能够成功地跟踪系统的未来行为的时间周期远大于训练数据采样率。最后,提出了该方法的一些局限性,以及为未来的工作,以减轻这些限制提出了方向。
2019-08-06 cs.LG stat.ML
Blind Polynomial Regression
Delft University of Technology(代尔夫特理工大学)
将多项式拟合到观测数据是许多信号处理和机器学习任务(例如插值和预测)中普遍存在的任务。在这种情况下,输入和输出对是可用的,目标是找到多项式的系数。然而,在许多应用中,输入可能是部分已知的或完全未知的,使得传统的回归方法不适用。在本文中,我们正式声明(潜在的部分)盲回归问题,说明它的一些理论性质,并提出算法的方法来解决它。作为一个案例研究,我们将我们的方法应用到抖动校正问题,并证实其性能。
2022-10-24 cs.LG eess.SP math.ST
Regression for sets of polynomial equations
我们提出了一种称为理想回归的方法来近似一个特定类型的系统的任意系统的多项式方程。使用近似计算代数几何的技术,我们展示了如何直接解决理想回归,而无需求助于数值优化。当学习问题的解可以用多项式方程组描述时,理想回归是有用的。作为一个例子,我们演示了如何制定平稳子空间分析(SSA),源分离问题,在理想回归,这也产生了一个相合估计量SSA。然后,我们在模拟中将该估计器与之前基于优化的SSA方法进行比较。
2013-03-25 stat.ML
Uniform convergence for Gaussian kernel ridge regression
本文首次证明固定超参数的高斯核岭回归在一致范数和L2范数下具有多项式收敛速率,填补理论空白,为非参数回归提供理论依据。
2025-09-11 cs.LG stat.ML
Sparse Hierarchical Regression with Polynomials
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心)
提出了一种新的精确分层稀疏多项式回归方法。我们的回归量是次数$r$多项式,它依赖于最多的$k$输入,最多计数$\ell$单项项,最小化其预测误差的平方和。以前的分层稀疏规范与现代大数据设置非常一致,其中许多输入与预测目的无关,并且需要控制回归量的函数复杂性以避免过度拟合。我们提出了一个两步的方法来解决这个层次稀疏回归问题。首先,我们使用极快的输入排序启发式算法丢弃不相关的输入。其次,我们利用现代切割平面整数优化方法来解决我们所得到的减少层次$(k, \ell)$稀疏问题。我们的方法,以确定所有$k$相关的输入和所有$\ell$单项条款的能力经验表明,经历一个相变。至关重要的是,同样的转变也表现在我们拒绝所有不相关的特征和单项式的能力上。在我们的方法是统计强大的政权,其计算复杂性是有趣的Lasso为基础的几何学。所提出的工作填补了一个空白,缺乏强大的纪律非线性稀疏回归方法在高维设置。经验表明,我们的方法可以扩展到具有输入维度$p\approx 1,000$的$n\approx 10,000$观测的回归问题。
2017-09-28 cs.LG math.OC stat.ML
Local Polynomial Lp-norm Regression
Dept. of Computer Science, Mathematics, Physics and Statistics, University of British Columbia(计算机科学、数学、物理与统计学系,不列颠哥伦比亚大学);Dept. of Statistical Sciences, University of Toronto(统计学系,多伦多大学)
针对非高斯噪声下局部最小二乘估计失效的问题,提出局部多项式 Lp-范数回归方法,通过加权 Lp-范数估计进行局部拟合,并引入从残差估计参数 p 的新方法,在一维及二维数据中均表现优越。
2025-04-25 cs.LG stat.ML stat.OT
Polynomial Networks and Factorization Machines: New Insights and Efficient Training Algorithms
NTT Communication Science Laboratories(NTT通信科学研究所)
多项式网络和因子分解机是最近提出的两种模型,可以有效地在分类和回归任务中使用特征交互。在本文中,我们从一个统一的角度重新审视这两种模式。基于这一新的观点,我们研究了这两种模型的性质,并提出了新的有效的训练算法。我们的方法的关键是将参数学习作为一个低秩对称张量估计问题,我们通过多凸优化来解决。我们展示了我们关于回归和推荐系统任务的方法。
2016-07-29 cs.LG stat.ML
A new approach to locally adaptive polynomial regression
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tata Institute of Fundamental Research(塔塔基础研究 Institute);Indian Statistical Institute(印度统计研究所)
针对非参数回归中自适应带宽选择的核心挑战,提出基于$\u2113_2$范数区间投影准则的新带宽选择流程,推导了非渐近风险界,证明其可近乎最优地适应局部Hölder指数,为该经典问题提供新视角。
2025-05-20 cs.LG math.PR math.ST
Sketching for Kronecker Product Regression and P-splines
Northeast Normal University(东北师范大学);Carnegie Mellon University(卡内基梅隆大学)
TensorSketch是Pagh'13中引入的一种不经意的线性草图,后来在Pham,Pagh'13中用于多项式内核的SVM。在Avron,Nguyen,Woodruff'14中表明,TensorSketch提供了子空间嵌入,因此可以用于典型相关分析,低秩近似和多项式内核的主成分回归。我们将TensorSketch置于多项式内核的背景之外,并在底层设计矩阵是较小矩阵的Kronecker乘积的应用中展示其实用性。这使我们能够解决Kronecker乘积回归和非负Kronecker乘积回归,以及正则化样条回归。我们的主要技术成果是将TensorSketch扩展到其他规范。也就是说,TensorSketch仅为Kronecker乘积回归提供关于$2$范数的输入稀疏时间。我们展示了如何解决克罗内克产品回归方面的$1$ -范数在时间次线性计算克罗内克产品所需的时间,以及更一般的$p$ -范数。
2017-12-27 cs.DS cs.LG stat.ML
An algebraic-geometric approach for linear regression without correspondences
ShanghaiTech University(上海科技大学);University of Genova(热那亚大学)
无对应关系的线性回归是对独立样本和观测值之间的对应关系未知的数据集执行线性回归拟合的问题。这样的问题自然出现在不同的领域,如计算机视觉,数据采掘,通信和生物学。在其最简单的形式中,它相当于求解一个线性方程组,其中右侧向量的条目已经被置换。这种类型的数据损坏使得线性回归任务变得相当困难,即使在没有其他损坏的情况下,例如噪音,离群值或缺失条目。现有的方法要么只适用于无噪声数据,要么对初始化非常敏感,要么只适用于部分混洗的数据。在本文中,我们解决这些问题,通过代数几何方法,它使用对称多项式提取置换不变的约束,参数$ξ^* \in \Re^n$的线性回归模型必须满足。这自然导致$n$未知数中的$n$方程的多项式系统,其在其根轨迹中包含$ξ^*$。使用代数几何的机器,我们证明,只要独立的样本是通用的,这个多项式系统总是一致的,最多$n!$复杂的根源,无论任何类型的腐败造成的意见。这个事实的算法含义是,人们总是可以解决这个多项式系统,并使用其最合适的根作为期望最大化算法的初始化。据我们所知,所得到的方法是第一个工作解决方案的小值的$n$能够处理数千个完全洗牌的噪音观测在毫秒。
2019-10-04 cs.LG stat.ML
The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals
University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
研究了高斯分布下的不可知学习问题。我们开发了一种方法,通过使用LP对偶寻找硬家庭的例子,为广泛的一类问题。对于布尔值的概念类,我们表明,$L^1$ -回归算法基本上是最好的可能,因此,不可知学习的概念类的计算难度是密切相关的多项式的程度近似任何函数从类中的$L^1$ -范数。使用这种特性以及其他分析工具,我们获得了最佳SQ下界不可知学习线性阈值函数和第一个非平凡的SQ下界多项式阈值函数和半空间的交集。我们还开发了一个类似的理论不可知学习实值函数,并作为一个应用程序证明不可知学习ReLU和sigmoids的近最优SQ下界。
2021-02-08 cs.DS cs.LG math.ST
Near-Linear Time Local Polynomial Nonparametric Estimation with Box Kernels
Warrington College of Business, University of Florida(佛罗里达大学沃顿商学院);Institute of Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
局部多项式回归(Fan and Gijbels 1996)是非参数密度估计和回归问题的一类重要方法。然而,局部多项式回归的直接实现具有二次时间复杂度,这阻碍了其在大规模数据分析中的适用性。在本文中,我们显着加速计算的本地多项式估计的新应用程序的多维二进制索引树(Fenwick 1994)。该算法的时间复杂度和空间复杂度与输入数据点的个数近似成线性关系。仿真结果证实了我们所提出的方法的效率和有效性。
2020-08-31 cs.DS cs.LG stat.CO
Early stopping and polynomial smoothing in regression with reproducing kernels
Inria(法国国家信息与自动化研究所);Paris 1 Panthéon-Sorbonne University(巴黎第一先贤祠-索邦大学)
本文针对再生核希尔伯特空间中的迭代学习算法,提出一种基于最小差异原则且无需验证集的数据驱动早停规则,并证明其在有限秩和Sobolev类核空间上具有极小极大最优性,模拟实验表明其性能与V折交叉验证相当。
2024-11-22 cs.LG math.ST stat.ML
Shallow neural network representation of polynomials
我们发现,$d$变量多项式的程度$R$可以表示为浅的宽度$2(R+d)^d$的神经网络的$[0,1]^d$。此外,SNN表示的局部泰勒多项式的单变量$C^β$ -光滑函数,我们推导出浅网络的极小极大最优收敛速度,直到一个对数因子,未知的单变量回归函数。
2022-09-06 cs.LG stat.ML
Robust Linear Regression: Optimal Rates in Polynomial Time
CMU(卡内基梅隆大学)
我们获得了强大的和计算有效的估计学习几个线性模型,达到统计最优的收敛速度下最小的分布假设。具体地说,我们假设我们的数据是从一个$k$ -hypercontractive分布和一个$ε$ -分数是adversarially损坏。然后,我们描述了一个估计,收敛到最佳的最小二乘最小化的真实分布的速度成正比的$ε^{2-2/k}$,当噪声是独立的协变量。我们注意到,在我们的工作之前,没有这样的估计是已知的,即使使用无界计算。我们实现的速率是信息理论上最优的,因此我们解决了Klivans,Kothari和Meka [COLT'18]中的主要开放问题。我们的关键见解是确定一个分析条件,作为一个多项式松弛的独立性的随机变量。特别是,我们表明,当噪声和协变量的时刻是负相关的,我们得到了独立的噪声相同的速率。此外,当条件不满足时,我们获得与$ε^{2-4/k}$成比例的速率,并且再次匹配信息理论下限。我们的核心技术贡献是算法上利用独立的随机变量的“平方和”的框架,制定为上述多项式不等式。
2020-12-04 cs.DS cs.LG stat.ML
On Acceleration of Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Rice University(莱斯大学)
我们研究了最近提出的基于局部多项式插值的梯度下降法(LPI-GD)的经验风险最小化问题(ERM)的近似解的加速。我们专注于损失函数是强凸的,光滑的条件数$σ$。我们还假设损失函数对于数据是$η$ -Hölder连续的。对于期望的精度$\varepsilon$,LPI-GD的预言复杂度是$\tilde{O}\left(σm^d \log(1/\varepsilon)\right)$,其中$d$是参数空间的维度,并且$m$是近似网格的基数。因子$m^d$可以显示为按比例缩放为$O((1/\varepsilon)^{d/2η})$。LPI-GD已被证明具有更好的预言复杂度比梯度下降(GD)和随机梯度下降(SGD)的某些参数制度。我们提出了两种基于LPI-GD的ERM问题的加速方法,并给出了$\tilde{O}\left(\sqrtσ m^d \log(1/\varepsilon)\right)$的预言复杂度。此外,我们提供了基于局部多项式插值的梯度方法的第一个实证研究,并证实LPI-GD在某些情况下具有比GD和SGD更好的性能,并且所提出的方法实现了加速。
2022-04-16 cs.LG math.OC stat.ML
Multiparameter regularization and aggregation in the context of polynomial functional regression
Department of Radiology, Medical University of Innsbruck(放射科,因斯布鲁克医学大学);Neuroimaging Research Core Facility, Medical University of Innsbruck(神经影像研究核心设施,因斯布鲁克医学大学);Institute for Machine Learning, Johannes Kepler University(机器学习研究所,约瑟夫·施拉格大学);Department of Neurology, Medical University of Innsbruck(神经病学系,因斯布鲁克医学大学);Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences(约瑟夫·拉东研究所,奥地利科学院)
本文提出了一种多项式函数回归的多参数正则化算法及理论方法,用于处理参数并聚合不同正则化参数的模型,在合成与真实医疗数据上验证有效。
2025-10-10 cs.LG cs.NA math.NA
Agnostic PAC Learning of k-juntas Using L2-Polynomial Regression
Indiana University(印第安纳大学);Purdue University(普渡大学)
许多传统的学习算法依赖于损失函数而不是自然的0-1损失,以获得计算效率和理论上的易处理性。其中包括基于绝对损失(L1回归)和平方损失(L2回归)的方法。第一个被证明是一个\textit{agnostic} PAC学习者的各种重要的概念类,如\textit{juntas},和\textit{half-spaces}。另一方面,第二个是优选的,因为它的计算效率,这是线性的样本大小。然而,PAC的可学习性仍然是未知的,因为只有在分布限制下才能证明保证。二语回归是否是一个0-1损失的不可知论PAC学习者的问题自1993年以来一直是开放的,但必须回答。本文解决了布尔立方体上的junta类的这个问题--使用L2多项式回归证明k-junta的不可知PAC学习。此外,我们提出了一种新的PAC学习算法的基础上的布尔傅立叶展开具有较低的计算复杂性。基于傅立叶的算法,例如Linial等人(1993),已经在分布限制下使用,例如均匀分布。我们表明,通过适当的改变,可以应用这些算法在不可知的设置没有任何分布的假设。我们证明我们的结果连接PAC学习与0-1损失的最小均方估计(MMSE)问题。我们推导出一个优雅的上界0-1损失的MMSE错误,并表明,该符号的MMSE是一个PAC学习包含它的任何概念类。
2023-03-08 cs.CC cs.IT cs.LG
Multivariate regression and fit function uncertainty
本文描述了一种多元多项式回归方法,其中输入参数的不确定性用高斯分布来近似,该高斯分布直接从训练样本中推导出用于大加权和的中心极限定理。估计的不确定性可以传播到最优拟合函数中,作为统计自助法的替代方法。这种不确定性可以进一步传播到损失函数中,如数量,使用它可以计算预期的损失函数,并允许选择具有统计意义的最佳多项式次数。结合简单的相空间分裂方法,即使使用低次多项式或常数,也可以对训练数据的大多数特征进行建模。
2013-10-03 stat.CO stat.ML
Outrigger local polynomial regression
Statistical Laboratory, University of Cambridge(剑桥大学统计实验室)
支撑杆局部多项式回归通过改进估计方法,在不同误差分布下实现分布适应性,并证明其在Hölder类上为minimax最优。
2026-03-11 math.ST stat.ME stat.ML
Sample-Optimal Private Regression in Polynomial Time
ETH Zürich(苏黎世联邦理工学院)
针对复杂协变量的最小二乘回归,提出首个多项式时间样本最优的隐私保护算法,兼具鲁棒性并达到理论下界。
2025-03-31 cs.DS cs.IT cs.LG
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);La Trobe University(乐卓博大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展,导致推导出的标准与渐近一致性的结果,并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题,潜在的隐藏的图形结构的高维预测之间的相互作用,在混合专家建模框架。为了处理这样一个复杂的情况下,我们研究了块对角局部混合多项式专家(BLoMPE)回归模型,这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题,推断的混合物成分的数量,多项式的次数多项式的次数平均函数,和隐藏的块对角结构的协方差阵,这减少了要估计的参数的数量,并导致在模型的复杂性和稀疏性之间的权衡。特别是,我们提供了一个强有力的理论保证:一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失,以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性,包括相关的图形结构,多项式的次数多项式的次数均值函数,以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
Neural Networks and Polynomial Regression. Demystifying the Overparametrization Phenomena
MIT(麻省理工学院);NYU(纽约大学)
在神经网络模型的上下文中,过度参数化是指这些模型似乎对看不见的数据进行了很好的概括,即使参数的数量显著超过了样本量,并且模型完全符合训练数据。对这种现象的传统解释是基于用于训练数据的算法的自正则化特性。在本文中,我们证明了一系列的结果,提供了一个有点分歧的解释。采用教师/学生模型,其中教师网络用于生成预测,学生网络在观察到的标记数据上进行训练,然后在样本外数据上进行测试,我们表明,任何学生网络插值教师网络生成的数据都具有良好的泛化能力,只要样本量至少是由数据维数和近似保证单独控制的显式量,而不管教师或学生网络的内部节点的数量。我们的主张是基于多项式(张量)回归模型来近似教师和学生网络,其程度仅取决于所需的精度和网络深度。这种参数化明显不依赖于内部节点的数量。因此,我们的结果暗示的一个信息是,通过隐藏节点的数量来参数化宽神经网络是误导性的,参数化复杂性的更合适的度量是与张量化数据相关的回归系数的数量。特别是,这在某种程度上调和了神经网络的泛化能力与数据复杂性和泛化界的更经典的统计概念。我们在MNIST和Fashion-MNIST数据集上的实证结果确实证实了张量化回归实现了良好的样本外性能,即使张量的次数最多为2。
2020-03-23 cs.LG cs.NE math.ST
Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们考虑光滑,强凸损失函数的经验风险最小化(ERM)的问题,使用迭代梯度为基础的方法。这篇文献的一个主要目标是比较不同的算法,如梯度下降(GD)或随机梯度下降(SGD),通过分析他们的速度收敛到$ε$ -近似的解决方案。例如,GD的oracle复杂度是$O(n\log(ε^{-1}))$,其中$n$是训练样本的数量。当$n$很大时,这在实践中可能是昂贵的,并且SGD由于其$O(ε^{-1})$的Oracle复杂性而被优选。这样的标准分析仅利用被优化的参数中的损失函数的平滑性。相比之下,我们证明了当损失函数在数据中是平滑的时,我们可以在每次迭代中学习预言,并在重要的制度中击败GD和SGD的预言复杂性。具体来说,在每次迭代中,我们提出的算法执行局部多项式回归来学习损失函数的梯度,然后估计ERM目标函数的真实梯度。我们建立了我们的算法的甲骨文复杂性规模像$\tilde{O}((p ε^{-1})^{d/(2η)})$(忽略次主导因素),其中$d$和$p$分别是数据和参数空间维度,损失函数的梯度属于$η$ -Hölder类的数据。我们的证明扩展了非参数统计中的局部多项式回归分析,以提供多变量设置中的插值保证,并且还利用了不精确GD文献中的工具。与GD和SGD不同,我们的方法的复杂性取决于$d$和$p$。然而,当$d$很小,损失函数在数据中表现出适度的平滑性时,我们的算法在非常广泛…
2020-11-04 cs.LG math.OC math.ST
Polynomial expansion of the binary classification function
本文提出了一种新的方法来近似的多项式系数的回归函数,特别是在多维分类。推导简单,并提供了一个快速,强大的分类技术,是抵抗过拟合。
2012-03-26 stat.ML
A Computational Transition for Detecting Multivariate Shuffled Linear Regression by Low-Degree Polynomials
Peking University(北京大学)
研究多变量洗牌线性回归中低次多项式算法的性能转变,揭示在不同维度和噪声水平下算法区分能力的变化。
2026-01-26 cs.LG math.PR math.ST
PASS-GLM: polynomial approximate sufficient statistics for scalable Bayesian GLM inference
广义线性模型(GLM)--如逻辑斯谛回归、泊松回归和鲁棒回归--为不同的数据类型提供了可解释的模型。概率方法,特别是贝叶斯方法,允许对不确定性进行一致的估计,纳入先验信息,并通过分层模型在实验中共享功率。然而,在实践中,推理所需的近似贝叶斯方法要么无法扩展到大数据集,要么无法提供推理质量的理论保证。本文提出了一种基于构造多项式近似充分统计量的广义线性模型(PASS-GLM)。我们证明,我们的方法承认一个简单的算法,以及平凡的流和分布式扩展,不跨计算复合错误。我们提供理论保证点(MAP)估计,近似后验,后验均值和不确定性估计的质量。我们在使用二次近似的逻辑斯谛回归的情况下经验地验证了我们的方法,并在速度和多个准确性指标方面显示了与随机梯度下降,MCMC和拉普拉斯近似的竞争性能-包括具有4000万数据点和20,000协变量的广告数据集。
2018-12-17 stat.CO stat.ML
Spectrum of inner-product kernel matrices in the polynomial regime and multiple descent phenomenon in kernel ridge regression
本文研究了内积核矩阵的谱,具有条目$h (\langle \textbf{x}_i ,\textbf{x}_j \rangle/d)$的$n \times n$矩阵,其中$( \textbf{x}_i)_{i \leq n}$为i.i.d.~ $\mathbb{R}^d$中的随机协变量。在线性高维政权$n \asymp d$,它表明,这些矩阵很好地近似其线性化,简化成一个重新缩放的Wishart矩阵和单位矩阵的总和。在本文中,我们推广这种分解的多项式高维政权$n \asymp d^\ell,\ell \in \mathbb{N}$,数据均匀分布的球体和超立方体。在这种情况下,核矩阵通过其次数- $\ell$多项式近似很好地近似,并且可以分解成低秩尖峰矩阵、单位和具有条目$Q_\ell (\langle \textbf{x}_i , \textbf{x}_j \rangle)$的“Gegenbauer矩阵”,其中$Q_\ell$是次数- $\ell$ Gegenbauer多项式。我们表明,谱的Gegenbauer矩阵收敛于分布的Marchenko-Pastur法律。这个问题是由核岭回归(KRR)在多项式政权$n \asymp d^κ, κ>0$的预测误差的研究。先前的工作表明,对于$κ\not\in \mathbb{N}$,KRR恰好拟合目标函数的次数- $\lfloor κ\rfl…
2022-04-21 math.ST stat.ML stat.TH