Lower bounds on the performance of polynomial-time algorithms for sparse linear regression
在复杂性理论的一个标准假设下(NP不在P/poly中),我们证明了稀疏线性回归的极小极大预测风险之间的差距,可以通过多项式时间算法实现,并通过最优算法实现。特别地,当设计矩阵是病态的时,通过多项式时间算法可实现的最小最大预测损失可以基本上大于最优算法的最小最大预测损失。这一结果是稀疏线性回归的多项式算法和最优算法之间的第一个已知差距,并且不依赖于平均情况复杂性的假设。
2014-05-21 cs.CC math.ST stat.TH
Uniform Bahadur Representation for Local Polynomial Estimates of M-Regression and Its Application to The Additive Model
本文利用局部多项式拟合估计强混合平稳过程$\{(Y_{i},\underline{X}_{i})\}$的非参数M-回归函数.我们建立了回归函数及其导数估计量的Bahadur表示的强一致相合率。这些结果是基本的统计推断和应用程序,涉及插入到其他功能的估计,需要一些控制高阶项。我们将我们的结果应用到可加M-回归模型的估计。
2007-11-29 math.ST stat.ME stat.TH
Uniform convergence for Gaussian kernel ridge regression
本文首次证明固定超参数的高斯核岭回归在一致范数和L2范数下具有多项式收敛速率,填补理论空白,为非参数回归提供理论依据。
2025-09-11 cs.LG stat.ML
Optimal Boundary Kernels and Weightings for Local Polynomial Regression
核平滑器被认为是在区间的边界附近。最小化的预期均方误差的核。这些核等价于在局部多项式回归中使用线性加权函数。它表明,任何核估计,满足矩条件的顺序$m$是等价于一个局部多项式回归的顺序$m$与一些非负的权重函数当且仅当内核有最多$m$的符号变化。提出了一种快速算法,用于计算边界区域中任意位置数据点的核估计。
2018-03-25 eess.SP math.ST physics.data-an
Local polynomial regression on unknown manifolds
我们揭示了“天真”的多元局部多项式回归可以适应局部光滑的低维结构的现象,在这个意义上,它实现了最佳的收敛速度的非参数估计的回归函数属于一个索伯列夫空间时,预测变量生活或接近一个低维流形。
2007-08-07 math.ST stat.TH
Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
University of California, Berkeley(加州大学伯克利分校);Alphabetical order;Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind)
本文通过实例比较线性回归中梯度下降、岭回归和随机梯度下降的有限样本风险,发现梯度下降优于岭回归,但与随机梯度下降不可比,且在某些问题中梯度下降可能更差。
2026-06-09 cs.LG stat.ML
Sample-Optimal Private Regression in Polynomial Time
ETH Zürich(苏黎世联邦理工学院)
针对复杂协变量的最小二乘回归,提出首个多项式时间样本最优的隐私保护算法,兼具鲁棒性并达到理论下界。
2025-03-31 cs.DS cs.IT cs.LG
Polynomial Networks and Factorization Machines: New Insights and Efficient Training Algorithms
NTT Communication Science Laboratories(NTT通信科学研究所)
多项式网络和因子分解机是最近提出的两种模型,可以有效地在分类和回归任务中使用特征交互。在本文中,我们从一个统一的角度重新审视这两种模式。基于这一新的观点,我们研究了这两种模型的性质,并提出了新的有效的训练算法。我们的方法的关键是将参数学习作为一个低秩对称张量估计问题,我们通过多凸优化来解决。我们展示了我们关于回归和推荐系统任务的方法。
2016-07-29 cs.LG stat.ML
Likelihood ratio tests for positivity in polynomial regressions
在给定区间上非负的多项式称为正多项式。这样的正多项式的集合形成闭合凸锥$K$。本文考虑被估计量多项式回归曲线为正多项式的正性假设的似然比检验。通过考虑包括阳性假设在内的分层假设,定义了嵌套似然比检验,并利用管体积法导出了其零分布为χ 2分布的混合分布。利用Tchebycheff系统框架中提供的锥$K$及其对偶的参数化,得到了次数至多为4的多项式的混合概率。对于次数大于4的多项式,提供了零分布的上界和下界。此外,我们提出了相关的同时置信界的多项式回归曲线。关于计算,我们证明了对称锥规划是有用的,以获得检验统计量。作为一个说明性的例子,我们对两组的生长曲线进行了数据分析。我们检验了一组的增长率(增长曲线的导数)总是高于另一组的假设。
2012-11-14 math.ST stat.TH
Robust Regression via Mutivariate Regression Depth
本文研究了Huber的$ε$ -污染模型中的稳健回归问题。我们认为估计是多元回归深度函数的最大化。这些估计实现极小极大率的设置中的$ε$污染模型的各种回归问题,包括非参数回归,稀疏线性回归,降秩回归等,我们还讨论了一般概念的深度函数的线性算子,具有潜在的应用在强大的功能线性回归。
2017-02-15 math.ST stat.ML stat.TH
Testing for changes in polynomial regression
我们考虑一个非线性多项式回归模型,在这个模型中,我们希望检验回归参数中的结构稳定性的原假设与未知时间的突变的替代。本文给出了最大型检验统计量的极值分布,它与最大选择似然比似然比渐近等价。由此产生的测试易于应用,即使在小样本中也具有良好的尺寸和功率。
2008-10-22 math.ST stat.TH
Early stopping and polynomial smoothing in regression with reproducing kernels
Inria(法国国家信息与自动化研究所);Paris 1 Panthéon-Sorbonne University(巴黎第一先贤祠-索邦大学)
本文针对再生核希尔伯特空间中的迭代学习算法,提出一种基于最小差异原则且无需验证集的数据驱动早停规则,并证明其在有限秩和Sobolev类核空间上具有极小极大最优性,模拟实验表明其性能与V折交叉验证相当。
2024-11-22 cs.LG math.ST stat.ML
On Asymptotic Normality of the Local Polynomial Regression Estimator with Stochastic Bandwidths
非参数密度和回归估计通常依赖于带宽。这些估计的渐近性质已被广泛研究时,带宽是非随机的。然而,在实践中,为了提高有限样本的性能,这些估计,带宽选择的数据驱动的方法,如交叉验证或插件程序。因此,非参数估计量通常使用随机带宽构造。本文建立了随机和非随机带宽下局部多项式回归估计的概率渐近等价性。我们的结果扩展了Boente和Fraiman(1995)和Ziegler(2004)的工作。
2014-08-29 math.ST stat.TH
Differential Equation-Constrained Exponential-Type Local Polynomial Regression Under Model Misspecification
The University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根分校)
研究模型误设问题,提出受微分方程约束的回归框架,利用局部多项式回归技术,聚焦局部指数增长模型,通过模拟研究比较不同估计量在两种误设场景下的表现,评估模型稳健性。
2026-07-29 stat.CO stat.ME
Shape-constrained Estimation in Functional Regression with Bernstein Polynomials
Shape restrictions on functional regression coefficients such as non-negativity, monotonicity, convexity or concavity are often available in the form of a prior knowledge or required to maintain a structural consistency in functional regression models. A new estimation method is developed in shape-constrained functional regression models using Bernstein polynomials. Specifically, estimation approaches from nonparametric regression are extended to functional data, properly accounting for shape-constraints in a large class of functional regression models such as scalar-on-function regression (SO…
2022-09-09 math.ST stat.AP stat.ME
Multivariate regression and fit function uncertainty
本文描述了一种多元多项式回归方法,其中输入参数的不确定性用高斯分布来近似,该高斯分布直接从训练样本中推导出用于大加权和的中心极限定理。估计的不确定性可以传播到最优拟合函数中,作为统计自助法的替代方法。这种不确定性可以进一步传播到损失函数中,如数量,使用它可以计算预期的损失函数,并允许选择具有统计意义的最佳多项式次数。结合简单的相空间分裂方法,即使使用低次多项式或常数,也可以对训练数据的大多数特征进行建模。
2013-10-03 stat.CO stat.ML
Polynomial regression under a mixture of classical and Berkson errors
Taras Shevchenko National University of Kyiv(基辅塔拉斯舍甫琴科国立大学);Institute of Mathematics NAS of Ukraine(乌克兰国家科学院数学研究所)
针对协变量含经典与Berkson混合测量误差的多项式回归模型,采用Corrected Score方法构造一致估计量,推导其渐近正态性条件并通过模拟验证结果。
2026-08-07 math.ST stat.TH
Coverage Error Optimal Confidence Intervals for Local Polynomial Regression
研究随机抽样下非参数局部多项式回归方法的高阶推断性质。我们证明了Edgeworth展开的$t$统计和覆盖误差扩展的区间估计,(i)保持一致的数据生成过程中,(ii)允许统一的内核,(iii)覆盖估计的回归函数的衍生物。高阶展开式的项及其相关速率作为样本大小和带宽序列的函数,取决于总体回归函数的平滑度、推理过程所利用的平滑度以及评估点是否在支持的内部或边界上。我们证明了稳健的偏差校正置信区间在所有情况下都具有最快的覆盖误差衰减率,并且我们使用我们的结果来提供新颖的推理最优带宽选择器。主要的方法学结果在配套的\textsf{R}和\textsf{Stata}软件包中实现。
2021-07-23 econ.EM math.ST stat.TH
Agnostic PAC Learning of k-juntas Using L2-Polynomial Regression
Indiana University(印第安纳大学);Purdue University(普渡大学)
许多传统的学习算法依赖于损失函数而不是自然的0-1损失,以获得计算效率和理论上的易处理性。其中包括基于绝对损失(L1回归)和平方损失(L2回归)的方法。第一个被证明是一个\textit{agnostic} PAC学习者的各种重要的概念类,如\textit{juntas},和\textit{half-spaces}。另一方面,第二个是优选的,因为它的计算效率,这是线性的样本大小。然而,PAC的可学习性仍然是未知的,因为只有在分布限制下才能证明保证。二语回归是否是一个0-1损失的不可知论PAC学习者的问题自1993年以来一直是开放的,但必须回答。本文解决了布尔立方体上的junta类的这个问题--使用L2多项式回归证明k-junta的不可知PAC学习。此外,我们提出了一种新的PAC学习算法的基础上的布尔傅立叶展开具有较低的计算复杂性。基于傅立叶的算法,例如Linial等人(1993),已经在分布限制下使用,例如均匀分布。我们表明,通过适当的改变,可以应用这些算法在不可知的设置没有任何分布的假设。我们证明我们的结果连接PAC学习与0-1损失的最小均方估计(MMSE)问题。我们推导出一个优雅的上界0-1损失的MMSE错误,并表明,该符号的MMSE是一个PAC学习包含它的任何概念类。
2023-03-08 cs.CC cs.IT cs.LG
Robust Geodesic Regression
Seoul National University(首尔大学)
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案,但在经典的欧几里德的情况下,最小二乘法是高度敏感的离群值。在本文中,我们使用M-型估计,包括$L_1$,Huber和Tukey双权估计,进行稳健测地回归,并描述如何计算后两者的调整参数。我们还表明,在紧凑的对称空间,所有的M型估计是极大似然估计,并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果,包括真实的神经影像数据的分析,证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
Local Polynomial Regression Based on Functional Data
假设观察到$n$统计单元,每个统计单元都遵循模型$Y(x_j)=m(x_j)+ ε(x_j),\, j=1,...,N,$,其中$m$是回归函数,$0 \leq x_1 <...<x_N \leq 1$是根据采样密度间隔的观察时间$f$,而$ε$是具有平均值零和规则协方差函数的连续时间误差过程。考虑$m$及其导数的局部多项式估计,我们得到了偏差和方差的渐近表达式为$n,N\to\infty$。这样的结果是特别相关的功能数据的情况下,基本信息包含在衍生工具。在此基础上,我们导出了估计量的最优抽样密度、最优带宽和渐近正态性。为了比较基于精确最优带宽、渐近最优带宽和交叉验证带宽的局部多项式估计的性能,进行了仿真。
2011-07-20 math.ST stat.TH
Sequentially Updated Residuals and Detection of Stationary Errors in Polynomial Regression Models
时间序列是表现为随机游动还是平稳过程的问题是一个重要而微妙的问题,特别是在金融统计、计量经济学和工程学中。研究了多项式回归模型中误差项不再表现为随机游动而是表现为平稳过程的序贯检测问题。我们提供了由控制图给出的监控过程的渐近分布理论,即,停时,其与根据顺序更新的残差计算的公知单位根检验统计量相关。本文给出了相应随机过程的泛函中心极限定理,它蕴涵了控制图的中心极限定理。有限样本的性质进行了研究模拟研究。
2010-01-12 math.PR math.ST stat.ME
Spatially and Robustly Hybrid Mixture Regression Model for Inference of Spatial Dependence
Purdue University(普渡大学);Indiana University(印第安纳大学);Amazon(亚马逊);Peking University(北京大学)
在本文中,我们提出了一个空间稳健混合回归模型来研究一个响应变量和一组解释变量之间的关系在空间域上,假设的关系可能会表现出复杂的空间动态模式,不能被捕获的常数回归系数。我们的方法集成了强大的有限混合高斯回归模型与空间约束,同时处理空间非平稳性,局部同质性和离群污染。与现有的空间回归模型相比,我们提出的模型假设存在一些不同的回归模型,这些模型是基于表现出类似的响应-预测关系的观测值估计的。因此,所提出的模型不仅考虑了空间趋势的非平稳性,而且还将观测结果聚类为几个不同的同质组。这提供了一个优势,在解释与几个固定的子过程识别,捕捉响应和预测变量之间的主要关系。此外,该方法采用了强大的程序来处理回归离群值和空间离群值的污染。通过这样做,我们稳健地将空间域分割成具有相似回归系数的不同局部区域和纯粹是离群值的零星位置。设计了严格的统计假设检验程序来检验这种分割的显著性。在许多合成数据集和真实数据集上的实验结果表明,与其他鲁棒的有限混合回归,空间回归和空间分割方法相比,我们提出的方法具有鲁棒性,准确性和有效性。
2021-09-28 cs.LG stat.ME
Polynomially Coded Regression: Optimal Straggler Mitigation via Data Encoding
Department of Electrical Engineering, University of Southern California(南加州大学电气工程系(University of Southern California 为南加州大学))
我们考虑了使用梯度下降在大数据集上训练最小二乘回归模型的问题。计算是在由一个主节点和多个工作节点组成的分布式系统上进行的。由于存在运行缓慢的机器(掉队者)以及各种通信瓶颈,这种分布式系统的速度显着降低。我们提出了“多项式编码回归”(PCR),大大减少了掉队者的影响,减轻了在这样的系统中的通信负担。PCR的关键思想是对存储在每个工作者中的部分数据进行编码,这样工作者的计算可以被视为在不同点上评估多项式。这允许主设备通过插值该多项式来计算最终梯度。PCR显著降低了恢复阈值,恢复阈值定义为主节点在计算梯度之前必须等待的工作节点的数量。特别是,PCR需要一个恢复阈值,该阈值与每个工作者可用的计算/存储量成反比。相比之下,最先进的掉队者缓解方案需要高得多的恢复阈值,该恢复阈值仅在每个工作者计算/存储负载中线性降低。我们证明,PCR的恢复阈值是接近最小的,并在一个因素内的最佳方案。在Amazon EC2上进行的实验表明,与现有方案相比,PCR在自然离散情况下的运行时间提高了1.50倍~ 2.36倍,在人工离散情况下的运行时间提高了2.58倍~ 4.29倍。
2018-05-24 cs.DC cs.IT cs.LG
Robust Inference for Seemingly Unrelated Regression Models
看似不相关的回归模型通过考虑由同时相关的扰动连接的多元回归方程来推广线性回归模型。考虑了看似不相关回归模型的鲁棒推断。MM-估计的引入,以获得估计,具有高崩溃点和高的正常效率。一个快速和强大的自助程序的开发,以获得这些估计的鲁棒推断。构造了相依回归模型参数的置信区间以及回归系数线性约束的假设检验。此外,为了评估一个看似无关的回归模型的需要,提出了一个强大的程序来测试干扰之间的相关性的存在。快速和强大的自助推断的性能进行评估经验,在模拟研究和实际数据上说明。
2018-05-14 stat.ME
Local Quasi-Exponential Growth Models: Kernel Differential Equation Regression and Mouse Tumor Growth Data
The University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根校区)
研究针对局部多项式回归处理稀疏数据的挑战,采用微分方程约束回归方法用于局部拟指数增长模型,通过纳入一阶微分方程扩展其稀疏设计能力,减少偏差和方差,经小鼠肿瘤数据等验证该方法有效性。
2026-07-29 stat.CO stat.ME
Local polynomial trend regression for spatial data on $\mathbb{R}^d$
本文针对 $\mathbb{R}^d$ 上不规则空间数据,建立了局部多项式回归的一般渐近理论,涵盖随机采样设计、估计量渐近正态性与置信区间,并应用于均值函数及其偏导数的双样本检验。
2023-12-23 math.ST stat.TH
Deep Nonparametric Regression on Approximate Manifolds: Non-Asymptotic Error Bounds with Polynomial Prefactors
我们使用深度神经网络研究非参数最小二乘回归的性质。我们推导出前馈深度神经回归的经验风险最小化器的预测误差的非渐近上界。我们的误差界实现最小最大的最佳速率和显着改善现有的意义上,他们依赖于多项式的维度上的预测,而不是指数的维度。我们表明,神经回归估计可以规避灾难的维数的假设下,预测支持一个近似的低维流形或一组具有低Minkowski维。我们还建立了最佳的收敛速度下的确切流形支持假设。本文研究了神经网络结构对神经回归估计器预测误差的影响,提出了两类神经网络之间的网络相对效率的概念,为评价不同网络结构的优劣提供了一种定量的度量。为了建立这些结果,我们使用ReLU激活的神经网络导出了具有正光滑指数的Hölder光滑函数的新近似误差界,这可能是独立的兴趣。我们的结果是在比现有文献中的数据分布和神经网络结构更弱的假设下得出的。
2023-01-14 math.ST stat.TH
Cointegrating Polynomial Regressions with Power Law Trends: Environmental Kuznets Curve or Omitted Time Effects?
环境库兹涅茨曲线预测了环境污染与经济增长之间的倒U型关系。目前的分析经常使用的模型限制数据中的非线性只能用经济增长变量来解释。我们提出了一个广义协整多项式回归(GCPR),允许非线性的替代来源。更具体地说,GCPR是一个看似不相关的回归,具有(1)单个单位的确定性和随机趋势的整数幂,以及(2)共同的灵活全球趋势。我们用非线性最小二乘估计了这个GCPR,并得到了它的渐近分布。回归量的内隐会将干扰参数引入到极限分布中,但是基于模拟的方法仍然使我们能够进行有效的推断。提出了一个多元子抽样KPSS检验来验证协整关系的正确性。我们的模拟研究表明,良好的性能的模拟推理方法和子采样KPSS测试。我们使用奥地利、比利时、芬兰、荷兰、瑞士和英国的数据来说明GCPR方法。一个单一的全球趋势准确地反映了所有非线性,导致所有国家的GDP和CO2之间的线性协整关系。这表明过去几年环境的改善是由于不同于GDP的经济因素造成的。
2021-12-13 econ.EM math.ST stat.TH
Outrigger local polynomial regression
Statistical Laboratory, University of Cambridge(剑桥大学统计实验室)
支撑杆局部多项式回归通过改进估计方法,在不同误差分布下实现分布适应性,并证明其在Hölder类上为minimax最优。
2026-03-11 math.ST stat.ME stat.ML
Multiscale Asymptotic Normality in Quantile Regression: Hilbert Matrices and Polynomial Designs
本文研究多项式设计下分位数回归估计量的渐近正态性,推导出由Hilbert矩阵刻画的协方差结构与各系数显式尺度率,并提出松弛置信区间以改善重尾噪声下的有限样本覆盖。
2025-06-06 math.ST stat.TH
Uniform Asymptotics for Nonparametric Quantile Regression with an Application to Testing Monotonicity
本文建立了分位数回归函数局部多项式估计的Bahadur表示的一致差错率。差错率在一系列分位数、回归量中的一系列评估点以及观察到的随机变量的广泛概率类别上是均匀的。关于局部多项式分位数回归估计量的Bahadur表示的大多数现有结果都适用于固定数据生成过程。在测试单调性的背景下,原假设是一个复杂的复合假设,它是特别相关的建立巴哈杜尔展开,保持一致的一大类数据生成过程。此外,我们建立了相同的差错率的自助局部多项式估计,这可能是有用的各种自助推断。作为一个例子,我们应用于测试的单调性分位数回归和基于这个例子的Monte Carlo实验。
2015-08-26 math.ST stat.TH
Robust Estimators in Partly Linear Regression Models on Riemannian Manifolds
在部分线性模型下,当预测变量取值于黎曼流形上时,研究了回归参数和回归函数的一类稳健估计。我们得到了估计量的相合性和渐近正态性。此外,我们考虑了一个强大的交叉验证过程来选择平滑参数。仿真和实际数据的应用表明,我们的建议下的小样本和污染的性能。
2011-05-25 math.ST stat.TH
Model-Robust Designs for Quantile Regression
当研究的目的是条件分位数函数的估计,估计方法是分位数回归时,本文给出了线性模型设计的构造方法。该设计对错误指定的响应函数和意外异方差具有鲁棒性。举例说明的方法,并在一个案例研究中,他们被应用到增长图。
2014-09-16 stat.ME
Pointwise adaptive estimation for robust and quantile regression
本文提出了一种用于稳健回归估计和分位数回归的非参数方法,它完全是数据驱动的,并且局部适应于回归函数的正则性。这是通过考虑在每个点的M-估计在不同的局部邻域和局部模型选择过程的基础上序贯检验。得到了非渐近风险界,在较弱的条件下得到了大样本渐近率最优性。不同的单变量中位数回归模型的模拟显示出良好的有限样本性质,也比较传统的方法。该方法被扩展到图像去噪,并应用于癌症研究中的CT扫描。
2009-04-03 math.ST stat.TH
A Benchmark Study of Classical and Dual Polynomial Regression (DPR)-Based Probability Density Estimation Technique
University of Houston(休斯顿大学);University of Texas Health Science Center(德克萨斯大学健康科学中心);College of Sciences and Tech., Univ. of Houston–Downtown(休斯顿都市理学院)
本文提出双多项式回归(DPR)方法,通过分段策略和高效计算实现对单峰分布的概率密度估计,实验表明其在准确性和计算效率上表现优异。
2025-12-03 stat.CO
Cluster-Robust Bootstrap Inference in Quantile Regression Models
在本文中,我开发了一个野生自助程序的集群鲁棒推理的线性分位数回归模型。我的引导导致渐近有效的推断在整个分位数回归过程中的设置有大量的小,异质集群,并提供相合估计的渐近协方差函数的过程。建议的引导过程是很容易实现的,即使当集群的数量是小于的样本量表现良好。提供了Project STAR数据的应用。
2015-07-14 math.ST stat.TH
Robust semiparametric inference for polytomous logistic regression with complex survey design
分析复杂调查方案(如分层或整群抽样)的多分类响应在一些社会经济学应用中非常重要。本文给出了多分类逻辑斯谛回归模型的一类最小拟加权密度幂离估计。这个家庭的半参数估计是一个强大的推广的最大拟加权似然估计,利用流行的密度功率发散措施的优势。相应地,还导出了设计效应的鲁棒估计。利用新的估计量对回归系数进行了一般线性假设的稳健检验。理论上研究了它们的渐近分布和鲁棒性,并通过数值算例和广泛的蒙特卡罗研究进行了经验验证。
2019-04-03 math.ST stat.AP stat.ME
Robust Regression with Student's T: The Role of Degrees of Freedom
University of Toronto(多伦多大学);University of Chicago(芝加哥大学);University of Glasgow(格拉斯哥大学)
本文比较了频繁ist和贝叶斯方法估计t分布自由度的估计器,并研究了对应的回归系数估计性质,通过仿真显示调整后的对数似然方法能提供高精度估计,与最大似然估计相当。
2026-11-03 stat.ME
Differential Equation-Constrained Local Regression for Data with Sparse Design
本文提出一种利用一阶微分方程约束的局部常数回归方法,以改善稀疏数据区域的估计性能,并通过模拟和肿瘤数据验证其降低偏差与方差的效果。
2025-07-08 stat.CO stat.ME
Efficient robust nonparametric estimation in a semimartingale regression model
研究了由分布未知的一般平方可积〔的〕半鞅给出的具有相依扰动的连续时间回归模型中周期函数的稳健估计问题。这种噪声的一个例子是带有Lévy过程从属子的非高斯Ornstein-Uhlenbeck过程,它被用来模拟具有跳跃的金融Black-Scholes型市场。提出了一种基于加权最小二乘估计的自适应模型选择方法。在噪声分布的一般矩条件下,得到了鲁棒风险的尖锐的非渐近预言不等式,证明了模型选择过程的鲁棒有效性.
2010-10-16 math.ST stat.TH
Nonparametric estimation in a semimartingale regression model. Part 2. Robust asymptotic efficiency
本文证明了作者在第一部分中提出的模型选择方法的渐近有效性。为此,我们引入了鲁棒风险的上确界的二次风险在广泛的一类观测分布。得到了鲁棒风险的渐近上界和下界。证明了该方法的渐近有效性。找到了Pinsker常数。
2009-09-17 math.ST stat.TH
Quick and Simple Kernel Differential Equation Regression Estimators for Data with Sparse Design
针对稀疏设计下局部多项式回归失效的问题,提出融合一阶微分方程信息的非参数核回归估计方法,并通过肿瘤数据与多情景仿真验证其偏差、方差及模型表现。
2024-06-14 stat.AP stat.ME
Stretchy Polynomial Regression
Yonsei University(延世大学)
本文提出了一种新的弹性多项式回归学习解决方案。该解决方案以原始和对偶封闭形式出现,类似于岭回归。本质上,所提出的解决方案通过幂项拉伸协方差计算,从而压缩或放大估计。在合成数据和真实数据上的实验表明了该方法在压缩学习中的有效性。
2014-08-23 cs.LG stat.ML
Sketching for Kronecker Product Regression and P-splines
Northeast Normal University(东北师范大学);Carnegie Mellon University(卡内基梅隆大学)
TensorSketch是Pagh'13中引入的一种不经意的线性草图,后来在Pham,Pagh'13中用于多项式内核的SVM。在Avron,Nguyen,Woodruff'14中表明,TensorSketch提供了子空间嵌入,因此可以用于典型相关分析,低秩近似和多项式内核的主成分回归。我们将TensorSketch置于多项式内核的背景之外,并在底层设计矩阵是较小矩阵的Kronecker乘积的应用中展示其实用性。这使我们能够解决Kronecker乘积回归和非负Kronecker乘积回归,以及正则化样条回归。我们的主要技术成果是将TensorSketch扩展到其他规范。也就是说,TensorSketch仅为Kronecker乘积回归提供关于$2$范数的输入稀疏时间。我们展示了如何解决克罗内克产品回归方面的$1$ -范数在时间次线性计算克罗内克产品所需的时间,以及更一般的$p$ -范数。
2017-12-27 cs.DS cs.LG stat.ML
Towards a mathematical framework to inform Neural Network modelling via Polynomial Regression
uc3m-Santander Big Data Institute, Universidad Carlos III de Madrid(马德里卡洛斯三世大学-Santander大数据研究所);Department of Statistics, Universidad Carlos III de Madrid(马德里卡洛斯三世大学统计系)
即使当神经网络被广泛用于大量的应用中,它们仍然被认为是黑箱,并提出了一些困难的尺寸或评估其预测误差。这导致人们对神经网络和更传统的统计方法之间的重叠区域越来越感兴趣,这有助于克服这些问题。在这篇文章中,有关神经网络和多项式回归的数学框架进行了探索,建立一个显式表达式的多项式回归系数从一个给定的神经网络的权重,使用泰勒展开的方法。这是实现单隐层神经网络回归问题。所提出的方法的有效性取决于不同的因素,如突触电位的分布或所选择的激活函数。该方法的性能进行了实证测试,通过模拟的合成数据生成的多项式训练神经网络与不同的结构和超参数,显示出几乎相同的预测时,可以得到满足某些条件。最后,当从多项式生成的数据中学习时,所提出的方法产生局部正确逼近数据的多项式。
2021-02-07 cs.LG stat.ML
Sparse Volterra and Polynomial Regression Models: Recoverability and Estimation
University of Minnesota(明尼苏达大学)
Volterra和多项式回归模型在非线性系统辨识和推理任务中起着重要作用。从神经科学到全基因组关联分析等令人兴奋的应用都建立在这些模型的基础上,并具有简约性的额外要求。这一要求具有很高的解释价值,但不幸的是,不能满足最小二乘或核回归方法。为此,压缩采样(CS)的方法,已经成功的线性回归设置,可以提供一个可行的替代方案。CS稀疏Volterra和多项式模型的可行性是这项工作的核心主题。一个共同的稀疏回归任务,最初提出的两个模型。建立在(加权)拉索为基础的计划,一个自适应RLS型算法稀疏多项式回归。多项式模型的可辨识性受到维数的严重挑战。然而,根据CS原理,当这些模型稀疏时,它们可以通过少得多的测量来恢复。为了量化足够数量的测量给定水平的稀疏性,受限制的等距属性(RIP)进行了研究,在常见的多项式回归设置,概括已知的结果,其线性对应。新的(加权)自适应CS算法稀疏多项式建模的优点是通过合成以及真实数据测试基因型-表型分析验证。
2011-09-07 cs.IT cs.LG math.IT
Polynomial Regression As an Alternative to Neural Nets
University of California, Davis(加州大学戴维斯分校);Stanford University(斯坦福大学)
尽管神经网络(NN)取得了成功,但许多人仍然担心它们的“黑匣子”性质。它们为什么有效?在这里,我们提出了一个简单的分析论点,即NN实际上本质上是多项式回归模型。这种观点将对NN产生各种影响,例如解释为什么NN会出现收敛问题,并给出避免过拟合的粗略指导。此外,我们使用这种现象来预测和确认以前没有在文献中报道的NN的多重共线性属性。最重要的是,考虑到这种松散的对应关系,人们可以选择常规地使用多项式模型而不是NN,从而避免了后者的一些主要问题,例如必须设置许多调谐参数和处理收敛问题。我们提出了一些经验的结果,在每种情况下,多项式方法的精度匹配或超过NN方法。一个功能多样的开源软件包polyreg可以使用。
2019-04-10 cs.LG stat.ML
Blind Polynomial Regression
Delft University of Technology(代尔夫特理工大学)
将多项式拟合到观测数据是许多信号处理和机器学习任务(例如插值和预测)中普遍存在的任务。在这种情况下,输入和输出对是可用的,目标是找到多项式的系数。然而,在许多应用中,输入可能是部分已知的或完全未知的,使得传统的回归方法不适用。在本文中,我们正式声明(潜在的部分)盲回归问题,说明它的一些理论性质,并提出算法的方法来解决它。作为一个案例研究,我们将我们的方法应用到抖动校正问题,并证实其性能。
2022-10-24 cs.LG eess.SP math.ST
Regression for sets of polynomial equations
我们提出了一种称为理想回归的方法来近似一个特定类型的系统的任意系统的多项式方程。使用近似计算代数几何的技术,我们展示了如何直接解决理想回归,而无需求助于数值优化。当学习问题的解可以用多项式方程组描述时,理想回归是有用的。作为一个例子,我们演示了如何制定平稳子空间分析(SSA),源分离问题,在理想回归,这也产生了一个相合估计量SSA。然后,我们在模拟中将该估计器与之前基于优化的SSA方法进行比较。
2013-03-25 stat.ML
The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals
University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
研究了高斯分布下的不可知学习问题。我们开发了一种方法,通过使用LP对偶寻找硬家庭的例子,为广泛的一类问题。对于布尔值的概念类,我们表明,$L^1$ -回归算法基本上是最好的可能,因此,不可知学习的概念类的计算难度是密切相关的多项式的程度近似任何函数从类中的$L^1$ -范数。使用这种特性以及其他分析工具,我们获得了最佳SQ下界不可知学习线性阈值函数和第一个非平凡的SQ下界多项式阈值函数和半空间的交集。我们还开发了一个类似的理论不可知学习实值函数,并作为一个应用程序证明不可知学习ReLU和sigmoids的近最优SQ下界。
2021-02-08 cs.DS cs.LG math.ST
Data-driven polynomial chaos expansion for machine learning regression
我们提出了一种基于多项式混沌展开(PCE)的数据驱动问题的回归技术。PCE是不确定性量化(UQ)领域中的一种流行技术,其中它通常用于将受制于随机输入的可运行但昂贵的计算模型替换为评估成本低廉的多项式函数。所获得的元模型使得能够可靠地估计输出的统计数据,前提是输入的合适的概率模型是可用的。机器学习(ML)回归是一个研究领域,专注于提供纯粹的数据驱动的输入输出图,重点是逐点预测精度。我们表明,纯粹在数据上训练的PCE元模型可以产生逐点预测,其准确性与其他ML回归模型(如神经网络和支持向量机)相当。比较基准数据集可从文献中进行。该方法还可以量化输出的不确定性,并且对噪声具有鲁棒性。此外,它还具有额外的理想特性,例如对小训练集的良好性能和构造简单,只需很少的参数调整。
2019-04-01 cs.LG stat.CO stat.ML
Sparse Hierarchical Regression with Polynomials
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心)
提出了一种新的精确分层稀疏多项式回归方法。我们的回归量是次数$r$多项式,它依赖于最多的$k$输入,最多计数$\ell$单项项,最小化其预测误差的平方和。以前的分层稀疏规范与现代大数据设置非常一致,其中许多输入与预测目的无关,并且需要控制回归量的函数复杂性以避免过度拟合。我们提出了一个两步的方法来解决这个层次稀疏回归问题。首先,我们使用极快的输入排序启发式算法丢弃不相关的输入。其次,我们利用现代切割平面整数优化方法来解决我们所得到的减少层次$(k, \ell)$稀疏问题。我们的方法,以确定所有$k$相关的输入和所有$\ell$单项条款的能力经验表明,经历一个相变。至关重要的是,同样的转变也表现在我们拒绝所有不相关的特征和单项式的能力上。在我们的方法是统计强大的政权,其计算复杂性是有趣的Lasso为基础的几何学。所提出的工作填补了一个空白,缺乏强大的纪律非线性稀疏回归方法在高维设置。经验表明,我们的方法可以扩展到具有输入维度$p\approx 1,000$的$n\approx 10,000$观测的回归问题。
2017-09-28 cs.LG math.OC stat.ML
Robust Deep Ordinal Regression Under Label Noise
IIIT Hyderabad(印度理工学院海得拉巴分校)
真实世界的数据往往容易受到标签噪声的影响,这可能会限制现有的有序回归算法的有效性。现有的有序回归工作不考虑标签噪声。我们提出了一个理论上接地的方法,类条件标签噪声在有序回归问题。我们提出了一个深度学习实现,用于顺序回归的两个常用损失函数,它既对标签噪声具有鲁棒性,又对良好的排名规则具有排名一致性。我们验证了这些属性的算法经验和鲁棒性标签噪声的真实数据和排名的一致性。据我们所知,这是稳健有序回归模型的第一种方法。
2020-01-27 cs.LG stat.ML