An algebraic-geometric approach for linear regression without correspondences
ShanghaiTech University(上海科技大学);University of Genova(热那亚大学)
无对应关系的线性回归是对独立样本和观测值之间的对应关系未知的数据集执行线性回归拟合的问题。这样的问题自然出现在不同的领域,如计算机视觉,数据采掘,通信和生物学。在其最简单的形式中,它相当于求解一个线性方程组,其中右侧向量的条目已经被置换。这种类型的数据损坏使得线性回归任务变得相当困难,即使在没有其他损坏的情况下,例如噪音,离群值或缺失条目。现有的方法要么只适用于无噪声数据,要么对初始化非常敏感,要么只适用于部分混洗的数据。在本文中,我们解决这些问题,通过代数几何方法,它使用对称多项式提取置换不变的约束,参数$ξ^* \in \Re^n$的线性回归模型必须满足。这自然导致$n$未知数中的$n$方程的多项式系统,其在其根轨迹中包含$ξ^*$。使用代数几何的机器,我们证明,只要独立的样本是通用的,这个多项式系统总是一致的,最多$n!$复杂的根源,无论任何类型的腐败造成的意见。这个事实的算法含义是,人们总是可以解决这个多项式系统,并使用其最合适的根作为期望最大化算法的初始化。据我们所知,所得到的方法是第一个工作解决方案的小值的$n$能够处理数千个完全洗牌的噪音观测在毫秒。
2019-10-04 cs.LG stat.ML
Robust Local Polynomial Regression with Similarity Kernels
Shulman
针对传统局部多项式回归对异常值敏感的问题,提出一种结合响应变量信息的条件密度核加权方法,通过局部密度估计降低异常值影响,在保持与标准LOWESS竞争力同时降低经验偏差。
2026-06-17 cs.LG stat.ME stat.ML
Data-driven polynomial chaos expansion for machine learning regression
我们提出了一种基于多项式混沌展开(PCE)的数据驱动问题的回归技术。PCE是不确定性量化(UQ)领域中的一种流行技术,其中它通常用于将受制于随机输入的可运行但昂贵的计算模型替换为评估成本低廉的多项式函数。所获得的元模型使得能够可靠地估计输出的统计数据,前提是输入的合适的概率模型是可用的。机器学习(ML)回归是一个研究领域,专注于提供纯粹的数据驱动的输入输出图,重点是逐点预测精度。我们表明,纯粹在数据上训练的PCE元模型可以产生逐点预测,其准确性与其他ML回归模型(如神经网络和支持向量机)相当。比较基准数据集可从文献中进行。该方法还可以量化输出的不确定性,并且对噪声具有鲁棒性。此外,它还具有额外的理想特性,例如对小训练集的良好性能和构造简单,只需很少的参数调整。
2019-04-01 cs.LG stat.CO stat.ML
Sparse Volterra and Polynomial Regression Models: Recoverability and Estimation
University of Minnesota(明尼苏达大学)
Volterra和多项式回归模型在非线性系统辨识和推理任务中起着重要作用。从神经科学到全基因组关联分析等令人兴奋的应用都建立在这些模型的基础上,并具有简约性的额外要求。这一要求具有很高的解释价值,但不幸的是,不能满足最小二乘或核回归方法。为此,压缩采样(CS)的方法,已经成功的线性回归设置,可以提供一个可行的替代方案。CS稀疏Volterra和多项式模型的可行性是这项工作的核心主题。一个共同的稀疏回归任务,最初提出的两个模型。建立在(加权)拉索为基础的计划,一个自适应RLS型算法稀疏多项式回归。多项式模型的可辨识性受到维数的严重挑战。然而,根据CS原理,当这些模型稀疏时,它们可以通过少得多的测量来恢复。为了量化足够数量的测量给定水平的稀疏性,受限制的等距属性(RIP)进行了研究,在常见的多项式回归设置,概括已知的结果,其线性对应。新的(加权)自适应CS算法稀疏多项式建模的优点是通过合成以及真实数据测试基因型-表型分析验证。
2011-09-07 cs.IT cs.LG math.IT
Sparse Hierarchical Regression with Polynomials
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心)
提出了一种新的精确分层稀疏多项式回归方法。我们的回归量是次数$r$多项式,它依赖于最多的$k$输入,最多计数$\ell$单项项,最小化其预测误差的平方和。以前的分层稀疏规范与现代大数据设置非常一致,其中许多输入与预测目的无关,并且需要控制回归量的函数复杂性以避免过度拟合。我们提出了一个两步的方法来解决这个层次稀疏回归问题。首先,我们使用极快的输入排序启发式算法丢弃不相关的输入。其次,我们利用现代切割平面整数优化方法来解决我们所得到的减少层次$(k, \ell)$稀疏问题。我们的方法,以确定所有$k$相关的输入和所有$\ell$单项条款的能力经验表明,经历一个相变。至关重要的是,同样的转变也表现在我们拒绝所有不相关的特征和单项式的能力上。在我们的方法是统计强大的政权,其计算复杂性是有趣的Lasso为基础的几何学。所提出的工作填补了一个空白,缺乏强大的纪律非线性稀疏回归方法在高维设置。经验表明,我们的方法可以扩展到具有输入维度$p\approx 1,000$的$n\approx 10,000$观测的回归问题。
2017-09-28 cs.LG math.OC stat.ML
Local Polynomial Lp-norm Regression
Dept. of Computer Science, Mathematics, Physics and Statistics, University of British Columbia(计算机科学、数学、物理与统计学系,不列颠哥伦比亚大学);Dept. of Statistical Sciences, University of Toronto(统计学系,多伦多大学)
针对非高斯噪声下局部最小二乘估计失效的问题,提出局部多项式 Lp-范数回归方法,通过加权 Lp-范数估计进行局部拟合,并引入从残差估计参数 p 的新方法,在一维及二维数据中均表现优越。
2025-04-25 cs.LG stat.ML stat.OT
Sketching for Kronecker Product Regression and P-splines
Northeast Normal University(东北师范大学);Carnegie Mellon University(卡内基梅隆大学)
TensorSketch是Pagh'13中引入的一种不经意的线性草图,后来在Pham,Pagh'13中用于多项式内核的SVM。在Avron,Nguyen,Woodruff'14中表明,TensorSketch提供了子空间嵌入,因此可以用于典型相关分析,低秩近似和多项式内核的主成分回归。我们将TensorSketch置于多项式内核的背景之外,并在底层设计矩阵是较小矩阵的Kronecker乘积的应用中展示其实用性。这使我们能够解决Kronecker乘积回归和非负Kronecker乘积回归,以及正则化样条回归。我们的主要技术成果是将TensorSketch扩展到其他规范。也就是说,TensorSketch仅为Kronecker乘积回归提供关于$2$范数的输入稀疏时间。我们展示了如何解决克罗内克产品回归方面的$1$ -范数在时间次线性计算克罗内克产品所需的时间,以及更一般的$p$ -范数。
2017-12-27 cs.DS cs.LG stat.ML
Bagged Polynomial Regression and Neural Networks
Department of Agricultural and Resource Economics, UC Davis(加州大学戴维斯分校农业与资源经济学系);Stanford Graduate School of Business(斯坦福商学院)
针对高维预测问题,提出基于随机投影的袋装多项式回归(BPR),在保持与神经网络相当精度的同时提供可解释性和诊断工具。
2026-06-03 cs.LG stat.ME stat.ML
Blind Polynomial Regression
Delft University of Technology(代尔夫特理工大学)
将多项式拟合到观测数据是许多信号处理和机器学习任务(例如插值和预测)中普遍存在的任务。在这种情况下,输入和输出对是可用的,目标是找到多项式的系数。然而,在许多应用中,输入可能是部分已知的或完全未知的,使得传统的回归方法不适用。在本文中,我们正式声明(潜在的部分)盲回归问题,说明它的一些理论性质,并提出算法的方法来解决它。作为一个案例研究,我们将我们的方法应用到抖动校正问题,并证实其性能。
2022-10-24 cs.LG eess.SP math.ST
Learning the Kernel for Classification and Regression
Courant Institute of Mathematical Science, New York University(纽约大学库朗数学科学研究所)
我们研究了一系列的学习核问题的多项式组合的基础内核,这将有助于我们解决回归和分类问题。我们还在不同的数据集上进行了一些多项式核的回归和分类任务的数值实验。
2017-12-25 cs.LG
Model selection of polynomial kernel regression
针对多项式核回归中核阶数与正则化参数的模型选择难题,本文通过分析正则化项仅用于规避核矩阵病态的作用,提出新的模型选择策略与高效算法,理论上证明光滑回归函数下近似最优,实验中实现降计算量且保泛化能力的效果。
2023-06-13 cs.LG
TMPNN: High-Order Polynomial Regression Based on Taylor Map Factorization
本文提出基于Taylor map分解的高阶多项式回归方法TMPNN,实现多目标回归并捕获目标间关系,同时引入微分方程组形式的模型解释,在多个数据集上表现与SOTA相当且在特定任务上更优。
2023-07-30 cs.LG cs.NE
Robust Linear Regression: Optimal Rates in Polynomial Time
CMU(卡内基梅隆大学)
我们获得了强大的和计算有效的估计学习几个线性模型,达到统计最优的收敛速度下最小的分布假设。具体地说,我们假设我们的数据是从一个$k$ -hypercontractive分布和一个$ε$ -分数是adversarially损坏。然后,我们描述了一个估计,收敛到最佳的最小二乘最小化的真实分布的速度成正比的$ε^{2-2/k}$,当噪声是独立的协变量。我们注意到,在我们的工作之前,没有这样的估计是已知的,即使使用无界计算。我们实现的速率是信息理论上最优的,因此我们解决了Klivans,Kothari和Meka [COLT'18]中的主要开放问题。我们的关键见解是确定一个分析条件,作为一个多项式松弛的独立性的随机变量。特别是,我们表明,当噪声和协变量的时刻是负相关的,我们得到了独立的噪声相同的速率。此外,当条件不满足时,我们获得与$ε^{2-4/k}$成比例的速率,并且再次匹配信息理论下限。我们的核心技术贡献是算法上利用独立的随机变量的“平方和”的框架,制定为上述多项式不等式。
2020-12-04 cs.DS cs.LG stat.ML
On Acceleration of Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Rice University(莱斯大学)
我们研究了最近提出的基于局部多项式插值的梯度下降法(LPI-GD)的经验风险最小化问题(ERM)的近似解的加速。我们专注于损失函数是强凸的,光滑的条件数$σ$。我们还假设损失函数对于数据是$η$ -Hölder连续的。对于期望的精度$\varepsilon$,LPI-GD的预言复杂度是$\tilde{O}\left(σm^d \log(1/\varepsilon)\right)$,其中$d$是参数空间的维度,并且$m$是近似网格的基数。因子$m^d$可以显示为按比例缩放为$O((1/\varepsilon)^{d/2η})$。LPI-GD已被证明具有更好的预言复杂度比梯度下降(GD)和随机梯度下降(SGD)的某些参数制度。我们提出了两种基于LPI-GD的ERM问题的加速方法,并给出了$\tilde{O}\left(\sqrtσ m^d \log(1/\varepsilon)\right)$的预言复杂度。此外,我们提供了基于局部多项式插值的梯度方法的第一个实证研究,并证实LPI-GD在某些情况下具有比GD和SGD更好的性能,并且所提出的方法实现了加速。
2022-04-16 cs.LG math.OC stat.ML
Degeneration of kernel regression with Matern kernels into low-order polynomial regression in high dimension
School of Materials and Chemical Technology, Tokyo Institute of Technology(东京工业大学材料与化学技术学院)
本研究证明在高维稀疏数据下,Matern核回归的最优长度参数过大,导致其退化为低阶多项式回归,失去优势,并通过理论及分子PES数值实验验证,强调耦合阶模型或物理核的重要性。
2023-11-17 cs.LG physics.comp-ph
Robust polynomial regression up to the information theoretic limit
我们考虑稳健多项式回归的问题,其中接收的样本$(x_i, y_i)$通常在多项式$y = p(x)$的$σ$内,但有$ρ$成为任意对抗离群值的机会。以前,已知如何仅当$p$。我们给出了一个算法,适用于整个可行范围的$ρ< 1/2$,同时提高其他参数的问题。我们补充我们的算法,它给出了一个因子2近似,与不可能的结果表明,例如,一个$1.09$近似是不可能的,即使有无限多的样本。
2017-08-10 cs.DS cs.LG
Polynomial Regression as a Task for Understanding In-context Learning Through Finetuning and Alignment
University of California, Berkeley(加州大学伯克利分校)
本文提出单变量多项式回归作为函数类,以弥补线性回归等简单函数类在结构上的不足,从而在具备上下文学习能力的模型中研究提示与对齐问题,并实现清晰的可视化与理解。
2024-07-27 cs.CL cs.LG
Near-Linear Time Local Polynomial Nonparametric Estimation with Box Kernels
Warrington College of Business, University of Florida(佛罗里达大学沃顿商学院);Institute of Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
局部多项式回归(Fan and Gijbels 1996)是非参数密度估计和回归问题的一类重要方法。然而,局部多项式回归的直接实现具有二次时间复杂度,这阻碍了其在大规模数据分析中的适用性。在本文中,我们显着加速计算的本地多项式估计的新应用程序的多维二进制索引树(Fenwick 1994)。该算法的时间复杂度和空间复杂度与输入数据点的个数近似成线性关系。仿真结果证实了我们所提出的方法的效率和有效性。
2020-08-31 cs.DS cs.LG stat.CO
Early stopping and polynomial smoothing in regression with reproducing kernels
Inria(法国国家信息与自动化研究所);Paris 1 Panthéon-Sorbonne University(巴黎第一先贤祠-索邦大学)
本文针对再生核希尔伯特空间中的迭代学习算法,提出一种基于最小差异原则且无需验证集的数据驱动早停规则,并证明其在有限秩和Sobolev类核空间上具有极小极大最优性,模拟实验表明其性能与V折交叉验证相当。
2024-11-22 cs.LG math.ST stat.ML
A block-sparse Tensor Train Format for sample-efficient high-dimensional Polynomial Regression
TU Berlin(柏林工业大学)
低秩张量是高维最小二乘问题的一个既定框架。我们建议扩展这个框架,包括块稀疏的概念。在多项式回归的上下文中,每个稀疏模式对应于齐次多元多项式的某个子空间。这使我们能够调整伪空间以更好地与已知样本复杂度结果保持一致。在数值实验中测试所得到的方法,并证明了提高计算资源利用率和样本效率。
2021-04-29 cs.LG cs.NA math.NA
The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals
University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
研究了高斯分布下的不可知学习问题。我们开发了一种方法,通过使用LP对偶寻找硬家庭的例子,为广泛的一类问题。对于布尔值的概念类,我们表明,$L^1$ -回归算法基本上是最好的可能,因此,不可知学习的概念类的计算难度是密切相关的多项式的程度近似任何函数从类中的$L^1$ -范数。使用这种特性以及其他分析工具,我们获得了最佳SQ下界不可知学习线性阈值函数和第一个非平凡的SQ下界多项式阈值函数和半空间的交集。我们还开发了一个类似的理论不可知学习实值函数,并作为一个应用程序证明不可知学习ReLU和sigmoids的近最优SQ下界。
2021-02-08 cs.DS cs.LG math.ST
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University(巴黎第十三大学);IFSTTAR(法国交通与安全科学技术研究所);Heudiasyc Lab(Heudiasyc实验室)
本文介绍了一种新的基于模型的聚类方法聚类时间序列,目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化(EM)算法采用极大似然法进行。所提出的方法进行评估,使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法,包括高斯混合的标准EM,$K$均值聚类,标准混合回归模型和混合隐马尔可夫模型的比较,证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
On Agnostic PAC Learning using $\mathcal{L}_2$-polynomial Regression and Fourier-based Algorithms
Purdue University(普渡大学)
我们开发了一个框架,使用希尔伯特空间作为代理分析PAC学习问题的结构特性。我们考虑一个联合希尔伯特空间,它包含了真实标签和联合分布$D$下的预测之间的关系。我们证明了具有0-1损失的不可知PAC学习等价于Hilbert空间域中的优化。在我们的模型中,我们使用基于最小二乘法的方法重新审视PAC学习问题,例如$\mathcal{L}_2$多项式回归和Linial的低度算法。我们研究关于几个假设类的学习,例如半空间和多项式近似类(即,由固定次数多项式近似的函数)。我们证明了(在一些分布的假设下),这样的方法得到的泛化误差高达$2opt$与$opt$是最佳的错误的类。因此,我们展示泛化误差当$opt\leq 0.2$。
2021-02-11 cs.DS cs.LG
On regularized polynomial functional regression
University of Genoa(热那亚大学);Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences(奥地利科学院约翰·拉东计算与应用数学研究所)
针对多项式函数回归,本文建立涵盖光滑性、容量与正则化条件的新型有限样本界,推广线性函数回归结果,并用数值实验证明高阶多项式项可提升性能。
2024-05-07 cs.LG cs.NA math.NA
On the complexity of switching linear regression
CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用实验室)
本技术说明将最近关于全局最小化分段仿射模型误差的计算复杂性的结果扩展到最小化切换线性回归模型误差的相关问题。特别是,我们表明,一方面的问题是NP-难的,但在另一方面,它承认一个多项式时间算法的数据点的数量为任何固定的数据维数和模式的数量。
2016-07-04 cs.CC cs.LG stat.ML
Adaptive Online Estimation of Piecewise Polynomial Trends
UC Santa Barbara
我们考虑了具有平方误差损失和噪声梯度反馈的非平稳随机优化框架[Besbes et al,2015],其中研究了在线学习者对时变比较器序列的动态遗憾。从非参数回归理论的启发,我们引入了一个新的变分约束,强制比较器序列属于一个离散的$k^{th}$阶全变分球半径$C_n$。这种变分约束对具有分段多项式结构的比较器进行建模,该结构具有许多相关的实际应用[Tibshirani,2014]。通过与基于小波的非参数回归理论建立联系,我们设计了一个多项式时间算法,实现了$\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$的近最优动态遗憾。该策略对未知半径$C_n$具有自适应性。此外,我们表明,同样的政策是极小极大最优的其他几个非参数家庭的利益。
2020-09-30 cs.LG math.OC stat.ML
Agnostic PAC Learning of k-juntas Using L2-Polynomial Regression
Indiana University(印第安纳大学);Purdue University(普渡大学)
许多传统的学习算法依赖于损失函数而不是自然的0-1损失,以获得计算效率和理论上的易处理性。其中包括基于绝对损失(L1回归)和平方损失(L2回归)的方法。第一个被证明是一个\textit{agnostic} PAC学习者的各种重要的概念类,如\textit{juntas},和\textit{half-spaces}。另一方面,第二个是优选的,因为它的计算效率,这是线性的样本大小。然而,PAC的可学习性仍然是未知的,因为只有在分布限制下才能证明保证。二语回归是否是一个0-1损失的不可知论PAC学习者的问题自1993年以来一直是开放的,但必须回答。本文解决了布尔立方体上的junta类的这个问题--使用L2多项式回归证明k-junta的不可知PAC学习。此外,我们提出了一种新的PAC学习算法的基础上的布尔傅立叶展开具有较低的计算复杂性。基于傅立叶的算法,例如Linial等人(1993),已经在分布限制下使用,例如均匀分布。我们表明,通过适当的改变,可以应用这些算法在不可知的设置没有任何分布的假设。我们证明我们的结果连接PAC学习与0-1损失的最小均方估计(MMSE)问题。我们推导出一个优雅的上界0-1损失的MMSE错误,并表明,该符号的MMSE是一个PAC学习包含它的任何概念类。
2023-03-08 cs.CC cs.IT cs.LG
Multiparameter regularization and aggregation in the context of polynomial functional regression
Department of Radiology, Medical University of Innsbruck(放射科,因斯布鲁克医学大学);Neuroimaging Research Core Facility, Medical University of Innsbruck(神经影像研究核心设施,因斯布鲁克医学大学);Institute for Machine Learning, Johannes Kepler University(机器学习研究所,约瑟夫·施拉格大学);Department of Neurology, Medical University of Innsbruck(神经病学系,因斯布鲁克医学大学);Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences(约瑟夫·拉东研究所,奥地利科学院)
本文提出了一种多项式函数回归的多参数正则化算法及理论方法,用于处理参数并聚合不同正则化参数的模型,在合成与真实医疗数据上验证有效。
2025-10-10 cs.LG cs.NA math.NA
A new approach to locally adaptive polynomial regression
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tata Institute of Fundamental Research(塔塔基础研究 Institute);Indian Statistical Institute(印度统计研究所)
针对非参数回归中自适应带宽选择的核心挑战,提出基于$\u2113_2$范数区间投影准则的新带宽选择流程,推导了非渐近风险界,证明其可近乎最优地适应局部Hölder指数,为该经典问题提供新视角。
2025-05-20 cs.LG math.PR math.ST
Sample-Optimal Private Regression in Polynomial Time
ETH Zürich(苏黎世联邦理工学院)
针对复杂协变量的最小二乘回归,提出首个多项式时间样本最优的隐私保护算法,兼具鲁棒性并达到理论下界。
2025-03-31 cs.DS cs.IT cs.LG
Interaction Decompositions for Tensor Network Regression
University of California, Berkeley(加州大学伯克利分校)
众所周知,张量网络回归模型在指数级大的特征空间上运行,但问题仍然是它们能够如何有效地利用这个空间。使用多项式featurization,我们提出的相互作用分解作为一种工具,可以评估不同的回归作为其多项式次数的函数的相对重要性。我们将这种分解应用于在MNIST和Fashion MNIST数据集上训练的张量环和树张量网络模型,并发现高达75%的交互度对这些模型有意义。我们还引入了一种新型的张量网络模型,该模型仅在交互度的一小部分上进行了显式训练,并发现这些模型能够仅使用指数特征空间的一小部分来匹配甚至优于完整模型。这表明,标准张量网络模型以低效的方式利用其多项式回归量,低次项被大大利用不足。
2023-01-25 cs.LG
Prediction Of Cryptocurrency Prices Using LSTM, SVM And Polynomial Regression
Widyatama University(维达亚塔马大学)
本研究针对加密货币价格波动大、投资风险高的问题,构建LSTM、SVM和多项式回归三种预测模型,以均方误差为基准对比性能,发现采用线性核的SVM均方误差仅0.02,表现最优。
2024-03-06 cs.LG q-fin.ST
Piecewise Polynomial Regression of Tame Functions via Integer Programming
Czech Technical University of Prague(布拉格捷克理工大学);Faculty of Electrical Engineering(电气工程学院)
研究非光滑非凸的Tame函数逼近问题,提出分段多项式回归的混合整数规划公式并给出逼近质量界限,展示了其在估计Tame函数时的良好数值表现。
2024-06-04 cs.AI cs.LG math.OC
Meta-Model Structure Selection: Building Polynomial NARX Model for Regression and Classification
Federal University of São João del-Rei(圣若昂-德尔雷伊联邦大学)
本文提出了一种新的元启发式方法来选择多项式NARX模型的结构回归和分类问题。该方法考虑到模型的复杂性和贡献的每一项建立简约的模型,提出了一个新的成本函数制定。在几个具有不同非线性特性的仿真和实验系统上对新算法的鲁棒性进行了测试。所得到的结果表明,该算法是能够识别正确的模型,适当的模型结构是已知的情况下,并确定简约的模型,即使是那些传统的和当代的方法习惯性地失败的系统的实验数据。新算法的验证,如FROLS和最近的随机方法的经典方法。
2021-09-21 cs.LG cs.SY eess.SY
Discovering interpretable elastoplasticity models via the neural polynomial method enabled symbolic regressions
Columbia University(哥伦比亚大学)
本文提出一种两步机器学习方法,结合代理模型与符号回归,将神经网络弹塑性模型转化为可解释的数学表达式,克服扩展性问题并提升可移植性。
2024-02-01 cs.CE cs.LG
Revisiting Chebyshev Polynomial and Anisotropic RBF Models for Tabular Regression
Department of Computing and Mathematics, Manchester Metropolitan University(计算与数学系,曼彻斯特 Metropolitan 大学)
本文在55个数据集上基准测试切比雪夫多项式回归器、各向异性RBF网络和平滑树混合模型,发现平滑模型在CPU可行模型中与树集成准确率相当且泛化差距更小,建议将其纳入候选池。
2026-06-16 cs.AI cs.LG
Neural Networks and Polynomial Regression. Demystifying the Overparametrization Phenomena
MIT(麻省理工学院);NYU(纽约大学)
在神经网络模型的上下文中,过度参数化是指这些模型似乎对看不见的数据进行了很好的概括,即使参数的数量显著超过了样本量,并且模型完全符合训练数据。对这种现象的传统解释是基于用于训练数据的算法的自正则化特性。在本文中,我们证明了一系列的结果,提供了一个有点分歧的解释。采用教师/学生模型,其中教师网络用于生成预测,学生网络在观察到的标记数据上进行训练,然后在样本外数据上进行测试,我们表明,任何学生网络插值教师网络生成的数据都具有良好的泛化能力,只要样本量至少是由数据维数和近似保证单独控制的显式量,而不管教师或学生网络的内部节点的数量。我们的主张是基于多项式(张量)回归模型来近似教师和学生网络,其程度仅取决于所需的精度和网络深度。这种参数化明显不依赖于内部节点的数量。因此,我们的结果暗示的一个信息是,通过隐藏节点的数量来参数化宽神经网络是误导性的,参数化复杂性的更合适的度量是与张量化数据相关的回归系数的数量。特别是,这在某种程度上调和了神经网络的泛化能力与数据复杂性和泛化界的更经典的统计概念。我们在MNIST和Fashion-MNIST数据集上的实证结果确实证实了张量化回归实现了良好的样本外性能,即使张量的次数最多为2。
2020-03-23 cs.LG cs.NE math.ST
A New Look at an Old Problem: A Universal Learning Approach to Linear Regression
Tel Aviv University(特拉维夫大学)
线性回归是统计学中的经典范式。通过普遍学习的镜头提供了一个新的视角。在将通用学习应用于线性回归时,假设类将标签$y\in {\cal R}$表示为特征向量$x^Tθ$的线性组合,其中$x\in {\cal R}^M$在高斯误差内。在这种情况下,用于个体数据通用学习的预测归一化最大似然(pNML)解决方案及其相关的可学习性度量可以解析地表示。有趣的是,可以检查参数$M$的数量甚至可以大于训练样本$N$的数量的情况。正如预期的那样,在这种情况下,在每种情况下都不能获得可学习性;然而,如果测试向量主要位于由与训练数据的经验相关矩阵的大特征值相关联的特征向量所跨越的子空间中,则线性回归可以泛化,尽管它使用了“过参数化”模型。我们证明了一个模拟拟合多项式的数据与可能大的多项式次数的结果。
2019-05-12 cs.IT cs.LG math.IT
Piecewise regression mixture for simultaneous functional data clustering and optimal segmentation
Aix Marseille Université(艾克斯-马赛大学);Université de Toulon(土伦大学)
本文介绍了一种新的混合模型为基础的方法,同时聚类和最佳分割的功能数据,这是曲线政权的变化。所提出的模型包括在一个有限的混合分段多项式回归模型。每个分段多项式回归模型与聚类相关联,并且在每个聚类内,每个分段多项式分量与状态(即,段)。我们推导出两种方法来学习模型参数。前者是一种估计方法,包括通过一个专用的期望最大化(EM)算法最大限度地提高数据的似然性。然后通过最大化后验聚类概率,在收敛时得到K个聚类中曲线的模糊划分。然而,后者是一种分类方法,并通过专用的分类期望最大化(CEM)算法优化特定的分类可能性标准。采用动态规划法进行最优曲线分割。在分类方法中,曲线聚类和最优分割都是在CEM学习过程中同时进行的。我们证明了分类方法是概率版本,它推广了Hébrail等人(2010)提出的确定性K-means算法。所提出的方法进行评估,使用模拟曲线和现实世界的曲线。与包括回归混合模型和分段回归的K-means算法在内的替代方案的比较表明了该方法的有效性。
2014-04-30 cs.LG math.ST stat.ME
Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们考虑光滑,强凸损失函数的经验风险最小化(ERM)的问题,使用迭代梯度为基础的方法。这篇文献的一个主要目标是比较不同的算法,如梯度下降(GD)或随机梯度下降(SGD),通过分析他们的速度收敛到$ε$ -近似的解决方案。例如,GD的oracle复杂度是$O(n\log(ε^{-1}))$,其中$n$是训练样本的数量。当$n$很大时,这在实践中可能是昂贵的,并且SGD由于其$O(ε^{-1})$的Oracle复杂性而被优选。这样的标准分析仅利用被优化的参数中的损失函数的平滑性。相比之下,我们证明了当损失函数在数据中是平滑的时,我们可以在每次迭代中学习预言,并在重要的制度中击败GD和SGD的预言复杂性。具体来说,在每次迭代中,我们提出的算法执行局部多项式回归来学习损失函数的梯度,然后估计ERM目标函数的真实梯度。我们建立了我们的算法的甲骨文复杂性规模像$\tilde{O}((p ε^{-1})^{d/(2η)})$(忽略次主导因素),其中$d$和$p$分别是数据和参数空间维度,损失函数的梯度属于$η$ -Hölder类的数据。我们的证明扩展了非参数统计中的局部多项式回归分析,以提供多变量设置中的插值保证,并且还利用了不精确GD文献中的工具。与GD和SGD不同,我们的方法的复杂性取决于$d$和$p$。然而,当$d$很小,损失函数在数据中表现出适度的平滑性时,我们的算法在非常广泛…
2020-11-04 cs.LG math.OC math.ST
Model Selection with the Loss Rank Principle
NICTA(澳大利亚国家信息与通信技术研究院);National University of Singapore(新加坡国立大学)
统计学和机器学习中的一个关键问题是自动选择“正确的”模型复杂度,例如,在k最近邻(kNN)回归中要平均的邻居的数量或在多项式回归中的多项式次数。我们提出了一个新的原则-损失秩原则(LoRP)-在回归和分类的模型选择。它基于损失等级,计算有多少其他(虚构的)数据会更好地拟合。LoRP选择具有最小损失秩的模型。与大多数惩罚最大似然变量(AIC,BIC,MDL)不同,LoRP仅取决于回归函数和损失函数。它在没有随机噪声模型的情况下工作,并且直接适用于任何非参数回归量,如kNN。
2010-03-02 cs.LG
A Polynomial-time Algorithm for Online Sparse Linear Regression with Improved Regret Bound under Weaker Conditions
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tianjin University(天津大学);Fudan University(复旦大学);Shanghai Academy of AI for Science(上海科学智能研究院)
本文研究了在线稀疏线性回归问题,提出了一种新的多项式时间算法,在较弱的兼容性条件下利用Dantzig Selector及多项新技术,显著改进了先前的遗憾界,并扩展至额外观测场景。
2025-10-31 cs.LG
PolySHAP: Extending KernelSHAP with Interaction-Informed Polynomial Regression
Bielefeld University(比勒菲尔德大学);Claremont McKenna College(克莱蒙特麦肯纳学院);New York University(纽约大学)
本文提出PolySHAP方法,通过高次多项式回归扩展KernelSHAP,以更准确地估计Shapley值,同时证明配对采样与二阶PolySHAP的等价性,为配对采样提供了理论支持。
2026-05-13 cs.AI cs.LG
$p$-Adic Polynomial Regression as Alternative to Neural Network for Approximating $p$-Adic Functions of Many Variables
Samara University(萨马拉大学);Samara State University of Railway Transport(萨马拉国立交通大学)
本文提出一种通过线性叠加近似多变量 $p$-进连续函数的多项式回归模型,支持任意精度近似,并探讨其物理解释与训练方法,作为基于神经网络的 $p$-进模型的简单替代方案。
2025-04-01 cs.LG cs.NA math-ph
Brain Inspired Computing Approach for the Optimization of the Thin Film Thickness of Polystyrene on the Glass Substrates
Stir Research Technologies(Stir研究技术公司);Christian Albrechts University zu Kiel(基尔克里斯蒂安-阿尔布雷希特大学)
机器学习的出现对包括材料科学领域在内的各个领域都产生了深远的影响。本文重点介绍了多项式回归、决策树回归算法、随机森林算法、支持向量回归算法和人工神经网络算法等多种有监督机器学习回归算法在玻璃基板上聚苯乙烯薄膜厚度测量中的应用。结果表明,多项式回归机器学习算法优于所有其他机器学习模型,分别获得约0.96的决定系数和0.04的均方误差。
2021-07-21 cond-mat.mtrl-sci cs.LG
Efficient Strongly Polynomial Algorithms for Quantile Regression
Google(谷歌);University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
针对分位数回归(QR)现有结果多为弱多项式、缺乏高效强多项式算法的问题,本文结合几何概念与随机分治策略,提出了适用于二维及高维场景的多种高效强多项式QR算法,给出了各算法的时间复杂度。
2023-07-14 cs.CG cs.DS cs.LG
A Computational Transition for Detecting Multivariate Shuffled Linear Regression by Low-Degree Polynomials
Peking University(北京大学)
研究多变量洗牌线性回归中低次多项式算法的性能转变,揭示在不同维度和噪声水平下算法区分能力的变化。
2026-01-26 cs.LG math.PR math.ST
Polynomially Coded Regression: Optimal Straggler Mitigation via Data Encoding
Department of Electrical Engineering, University of Southern California(南加州大学电气工程系(University of Southern California 为南加州大学))
我们考虑了使用梯度下降在大数据集上训练最小二乘回归模型的问题。计算是在由一个主节点和多个工作节点组成的分布式系统上进行的。由于存在运行缓慢的机器(掉队者)以及各种通信瓶颈,这种分布式系统的速度显着降低。我们提出了“多项式编码回归”(PCR),大大减少了掉队者的影响,减轻了在这样的系统中的通信负担。PCR的关键思想是对存储在每个工作者中的部分数据进行编码,这样工作者的计算可以被视为在不同点上评估多项式。这允许主设备通过插值该多项式来计算最终梯度。PCR显著降低了恢复阈值,恢复阈值定义为主节点在计算梯度之前必须等待的工作节点的数量。特别是,PCR需要一个恢复阈值,该阈值与每个工作者可用的计算/存储量成反比。相比之下,最先进的掉队者缓解方案需要高得多的恢复阈值,该恢复阈值仅在每个工作者计算/存储负载中线性降低。我们证明,PCR的恢复阈值是接近最小的,并在一个因素内的最佳方案。在Amazon EC2上进行的实验表明,与现有方案相比,PCR在自然离散情况下的运行时间提高了1.50倍~ 2.36倍,在人工离散情况下的运行时间提高了2.58倍~ 4.29倍。
2018-05-24 cs.DC cs.IT cs.LG
Object Location Prediction in Real-time using LSTM Neural Network and Polynomial Regression
University of Belgrade School of Electrical Engineering(贝尔格莱德大学电气工程学院)
本文提出基于LSTM神经网络和多项式回归的实时目标位置预测系统,通过处理惯性测量和GPS数据,相比传统Kalman Filter误差降低76%,实现低延迟高精度预测。
2023-11-23 cs.LG cs.RO
v-SVR Polynomial Kernel for Predicting the Defect Density in New Software Projects
Universidad de Guadalajara(瓜达拉哈拉大学);Applied Science Private University(应用科学私立大学);University of Sharjah(沙迦大学);University of Detroit Mercy(底特律梅西大学)
确定软件过程有效性的一个重要产品度量是缺陷密度(DD)。在这项研究中,我们提出了应用支持向量回归(SVR)来预测从国际软件基准标准组(ISBSG)2018年发布的数据集获得的新软件项目的DD。两种类型的支持向量机(e-SVR和v-SVR)被用于训练和测试这些项目。每个SVR使用四种类型的内核。将每个SVR的预测准确度与统计回归的预测准确度进行比较(即,简单线性回归(SLR)。统计显著性检验表明,在大型机上开发新的软件项目并使用第三代程序设计语言编码时,多项式核的v-SVR优于SLR
2018-12-15 cs.LG cs.SE
Approximating the universal thermal climate index using sparse regression with orthogonal polynomials
Department of Knowledge Technologies, Jo z ef Stefan Institute, Jamova 39, 1000 Ljubljana, Slovenia Faculty of Mathematics;Physics, University of Ljubljana, Jadranska ulica 19, 1000 Ljubljana, Slovenia
针对通用热气候指数(UTCI)标准多项式近似误差大的问题,提出基于正交多项式基的稀疏回归方法,在保持计算效率的同时显著降低平均误差和大误差频率。
2026-05-23 cs.LG physics.ao-ph physics.data-an
Overparameterized random feature regression with nearly orthogonal data
University of California, San Diego(加州大学圣地亚哥分校);University of California, Irvine(加州大学欧文分校)
本文研究过参数化随机特征岭回归在近正交单位长度数据下的非渐近表现,证明其误差集中于期望核 KRR,并通过 Hermite 多项式核近似得到非线性学生–教师模型的泛化下界。
2023-08-13 cs.LG math.PR math.ST
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);La Trobe University(乐卓博大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展,导致推导出的标准与渐近一致性的结果,并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题,潜在的隐藏的图形结构的高维预测之间的相互作用,在混合专家建模框架。为了处理这样一个复杂的情况下,我们研究了块对角局部混合多项式专家(BLoMPE)回归模型,这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题,推断的混合物成分的数量,多项式的次数多项式的次数平均函数,和隐藏的块对角结构的协方差阵,这减少了要估计的参数的数量,并导致在模型的复杂性和稀疏性之间的权衡。特别是,我们提供了一个强有力的理论保证:一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失,以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性,包括相关的图形结构,多项式的次数多项式的次数均值函数,以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
Predicting kernel regression learning curves from only raw data statistics
本研究提出通过Hermite特征结构假设预测学习曲线,展示了在真实数据集上通过数据统计预测模型性能的可行性。
2026-10-07 cs.AI cs.LG