Testing for changes in polynomial regression
我们考虑一个非线性多项式回归模型,在这个模型中,我们希望检验回归参数中的结构稳定性的原假设与未知时间的突变的替代。本文给出了最大型检验统计量的极值分布,它与最大选择似然比似然比渐近等价。由此产生的测试易于应用,即使在小样本中也具有良好的尺寸和功率。
2008-10-22 math.ST stat.TH
On Asymptotic Normality of the Local Polynomial Regression Estimator with Stochastic Bandwidths
非参数密度和回归估计通常依赖于带宽。这些估计的渐近性质已被广泛研究时,带宽是非随机的。然而,在实践中,为了提高有限样本的性能,这些估计,带宽选择的数据驱动的方法,如交叉验证或插件程序。因此,非参数估计量通常使用随机带宽构造。本文建立了随机和非随机带宽下局部多项式回归估计的概率渐近等价性。我们的结果扩展了Boente和Fraiman(1995)和Ziegler(2004)的工作。
2014-08-29 math.ST stat.TH
Sequentially Updated Residuals and Detection of Stationary Errors in Polynomial Regression Models
时间序列是表现为随机游动还是平稳过程的问题是一个重要而微妙的问题,特别是在金融统计、计量经济学和工程学中。研究了多项式回归模型中误差项不再表现为随机游动而是表现为平稳过程的序贯检测问题。我们提供了由控制图给出的监控过程的渐近分布理论,即,停时,其与根据顺序更新的残差计算的公知单位根检验统计量相关。本文给出了相应随机过程的泛函中心极限定理,它蕴涵了控制图的中心极限定理。有限样本的性质进行了研究模拟研究。
2010-01-12 math.PR math.ST stat.ME
Polynomial regression under a mixture of classical and Berkson errors
Taras Shevchenko National University of Kyiv(基辅塔拉斯舍甫琴科国立大学);Institute of Mathematics NAS of Ukraine(乌克兰国家科学院数学研究所)
针对协变量含经典与Berkson混合测量误差的多项式回归模型,采用Corrected Score方法构造一致估计量,推导其渐近正态性条件并通过模拟验证结果。
2026-08-07 math.ST stat.TH
Local Polynomial Regression Based on Functional Data
假设观察到$n$统计单元,每个统计单元都遵循模型$Y(x_j)=m(x_j)+ ε(x_j),\, j=1,...,N,$,其中$m$是回归函数,$0 \leq x_1 <...<x_N \leq 1$是根据采样密度间隔的观察时间$f$,而$ε$是具有平均值零和规则协方差函数的连续时间误差过程。考虑$m$及其导数的局部多项式估计,我们得到了偏差和方差的渐近表达式为$n,N\to\infty$。这样的结果是特别相关的功能数据的情况下,基本信息包含在衍生工具。在此基础上,我们导出了估计量的最优抽样密度、最优带宽和渐近正态性。为了比较基于精确最优带宽、渐近最优带宽和交叉验证带宽的局部多项式估计的性能,进行了仿真。
2011-07-20 math.ST stat.TH
Coverage Error Optimal Confidence Intervals for Local Polynomial Regression
研究随机抽样下非参数局部多项式回归方法的高阶推断性质。我们证明了Edgeworth展开的$t$统计和覆盖误差扩展的区间估计,(i)保持一致的数据生成过程中,(ii)允许统一的内核,(iii)覆盖估计的回归函数的衍生物。高阶展开式的项及其相关速率作为样本大小和带宽序列的函数,取决于总体回归函数的平滑度、推理过程所利用的平滑度以及评估点是否在支持的内部或边界上。我们证明了稳健的偏差校正置信区间在所有情况下都具有最快的覆盖误差衰减率,并且我们使用我们的结果来提供新颖的推理最优带宽选择器。主要的方法学结果在配套的\textsf{R}和\textsf{Stata}软件包中实现。
2021-07-23 econ.EM math.ST stat.TH
Robust Local Polynomial Regression with Similarity Kernels
Shulman
针对传统局部多项式回归对异常值敏感的问题,提出一种结合响应变量信息的条件密度核加权方法,通过局部密度估计降低异常值影响,在保持与标准LOWESS竞争力同时降低经验偏差。
2026-06-17 cs.LG stat.ME stat.ML
Differential Equation-Constrained Exponential-Type Local Polynomial Regression Under Model Misspecification
The University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根分校)
研究模型误设问题,提出受微分方程约束的回归框架,利用局部多项式回归技术,聚焦局部指数增长模型,通过模拟研究比较不同估计量在两种误设场景下的表现,评估模型稳健性。
2026-07-29 stat.CO stat.ME
Local polynomial trend regression for spatial data on $\mathbb{R}^d$
本文针对 $\mathbb{R}^d$ 上不规则空间数据,建立了局部多项式回归的一般渐近理论,涵盖随机采样设计、估计量渐近正态性与置信区间,并应用于均值函数及其偏导数的双样本检验。
2023-12-23 math.ST stat.TH
Deep Nonparametric Regression on Approximate Manifolds: Non-Asymptotic Error Bounds with Polynomial Prefactors
我们使用深度神经网络研究非参数最小二乘回归的性质。我们推导出前馈深度神经回归的经验风险最小化器的预测误差的非渐近上界。我们的误差界实现最小最大的最佳速率和显着改善现有的意义上,他们依赖于多项式的维度上的预测,而不是指数的维度。我们表明,神经回归估计可以规避灾难的维数的假设下,预测支持一个近似的低维流形或一组具有低Minkowski维。我们还建立了最佳的收敛速度下的确切流形支持假设。本文研究了神经网络结构对神经回归估计器预测误差的影响,提出了两类神经网络之间的网络相对效率的概念,为评价不同网络结构的优劣提供了一种定量的度量。为了建立这些结果,我们使用ReLU激活的神经网络导出了具有正光滑指数的Hölder光滑函数的新近似误差界,这可能是独立的兴趣。我们的结果是在比现有文献中的数据分布和神经网络结构更弱的假设下得出的。
2023-01-14 math.ST stat.TH
Multiscale Asymptotic Normality in Quantile Regression: Hilbert Matrices and Polynomial Designs
本文研究多项式设计下分位数回归估计量的渐近正态性,推导出由Hilbert矩阵刻画的协方差结构与各系数显式尺度率,并提出松弛置信区间以改善重尾噪声下的有限样本覆盖。
2025-06-06 math.ST stat.TH
Uniform Asymptotics for Nonparametric Quantile Regression with an Application to Testing Monotonicity
本文建立了分位数回归函数局部多项式估计的Bahadur表示的一致差错率。差错率在一系列分位数、回归量中的一系列评估点以及观察到的随机变量的广泛概率类别上是均匀的。关于局部多项式分位数回归估计量的Bahadur表示的大多数现有结果都适用于固定数据生成过程。在测试单调性的背景下,原假设是一个复杂的复合假设,它是特别相关的建立巴哈杜尔展开,保持一致的一大类数据生成过程。此外,我们建立了相同的差错率的自助局部多项式估计,这可能是有用的各种自助推断。作为一个例子,我们应用于测试的单调性分位数回归和基于这个例子的Monte Carlo实验。
2015-08-26 math.ST stat.TH
Cointegrating Polynomial Regressions with Power Law Trends: Environmental Kuznets Curve or Omitted Time Effects?
环境库兹涅茨曲线预测了环境污染与经济增长之间的倒U型关系。目前的分析经常使用的模型限制数据中的非线性只能用经济增长变量来解释。我们提出了一个广义协整多项式回归(GCPR),允许非线性的替代来源。更具体地说,GCPR是一个看似不相关的回归,具有(1)单个单位的确定性和随机趋势的整数幂,以及(2)共同的灵活全球趋势。我们用非线性最小二乘估计了这个GCPR,并得到了它的渐近分布。回归量的内隐会将干扰参数引入到极限分布中,但是基于模拟的方法仍然使我们能够进行有效的推断。提出了一个多元子抽样KPSS检验来验证协整关系的正确性。我们的模拟研究表明,良好的性能的模拟推理方法和子采样KPSS测试。我们使用奥地利、比利时、芬兰、荷兰、瑞士和英国的数据来说明GCPR方法。一个单一的全球趋势准确地反映了所有非线性,导致所有国家的GDP和CO2之间的线性协整关系。这表明过去几年环境的改善是由于不同于GDP的经济因素造成的。
2021-12-13 econ.EM math.ST stat.TH
Multivariate regression and fit function uncertainty
本文描述了一种多元多项式回归方法,其中输入参数的不确定性用高斯分布来近似,该高斯分布直接从训练样本中推导出用于大加权和的中心极限定理。估计的不确定性可以传播到最优拟合函数中,作为统计自助法的替代方法。这种不确定性可以进一步传播到损失函数中,如数量,使用它可以计算预期的损失函数,并允许选择具有统计意义的最佳多项式次数。结合简单的相空间分裂方法,即使使用低次多项式或常数,也可以对训练数据的大多数特征进行建模。
2013-10-03 stat.CO stat.ML
Local Quasi-Exponential Growth Models: Kernel Differential Equation Regression and Mouse Tumor Growth Data
The University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根校区)
研究针对局部多项式回归处理稀疏数据的挑战,采用微分方程约束回归方法用于局部拟指数增长模型,通过纳入一阶微分方程扩展其稀疏设计能力,减少偏差和方差,经小鼠肿瘤数据等验证该方法有效性。
2026-07-29 stat.CO stat.ME
Efficient and Minimax Optimal In-context Nonparametric Regression with Transformers
Statistical Laboratory, University of Cambridge, Cambridge, UK(剑桥大学统计实验室,剑桥,英国)
本文研究了基于上下文学习的非参数回归,针对α-Holder光滑回归函数,证明了使用预训练的变换器可以达到最优收敛率,且参数和预训练序列数量显著少于现有文献。
2026-05-19 cs.LG math.ST stat.ML
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);La Trobe University(乐卓博大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展,导致推导出的标准与渐近一致性的结果,并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题,潜在的隐藏的图形结构的高维预测之间的相互作用,在混合专家建模框架。为了处理这样一个复杂的情况下,我们研究了块对角局部混合多项式专家(BLoMPE)回归模型,这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题,推断的混合物成分的数量,多项式的次数多项式的次数平均函数,和隐藏的块对角结构的协方差阵,这减少了要估计的参数的数量,并导致在模型的复杂性和稀疏性之间的权衡。特别是,我们提供了一个强有力的理论保证:一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失,以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性,包括相关的图形结构,多项式的次数多项式的次数均值函数,以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
Near-Linear Time Local Polynomial Nonparametric Estimation with Box Kernels
Warrington College of Business, University of Florida(佛罗里达大学沃顿商学院);Institute of Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
局部多项式回归(Fan and Gijbels 1996)是非参数密度估计和回归问题的一类重要方法。然而,局部多项式回归的直接实现具有二次时间复杂度,这阻碍了其在大规模数据分析中的适用性。在本文中,我们显着加速计算的本地多项式估计的新应用程序的多维二进制索引树(Fenwick 1994)。该算法的时间复杂度和空间复杂度与输入数据点的个数近似成线性关系。仿真结果证实了我们所提出的方法的效率和有效性。
2020-08-31 cs.DS cs.LG stat.CO
A Computational Transition for Detecting Multivariate Shuffled Linear Regression by Low-Degree Polynomials
Peking University(北京大学)
研究多变量洗牌线性回归中低次多项式算法的性能转变,揭示在不同维度和噪声水平下算法区分能力的变化。
2026-01-26 cs.LG math.PR math.ST
Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
University of California, Berkeley(加州大学伯克利分校);Alphabetical order;Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind)
本文通过实例比较线性回归中梯度下降、岭回归和随机梯度下降的有限样本风险,发现梯度下降优于岭回归,但与随机梯度下降不可比,且在某些问题中梯度下降可能更差。
2026-06-09 cs.LG stat.ML
Differential Equation-Constrained Local Regression for Data with Sparse Design
本文提出一种利用一阶微分方程约束的局部常数回归方法,以改善稀疏数据区域的估计性能,并通过模拟和肿瘤数据验证其降低偏差与方差的效果。
2025-07-08 stat.CO stat.ME
Quick and Simple Kernel Differential Equation Regression Estimators for Data with Sparse Design
针对稀疏设计下局部多项式回归失效的问题,提出融合一阶微分方程信息的非参数核回归估计方法,并通过肿瘤数据与多情景仿真验证其偏差、方差及模型表现。
2024-06-14 stat.AP stat.ME
Robust Linear Regression: Optimal Rates in Polynomial Time
CMU(卡内基梅隆大学)
我们获得了强大的和计算有效的估计学习几个线性模型,达到统计最优的收敛速度下最小的分布假设。具体地说,我们假设我们的数据是从一个$k$ -hypercontractive分布和一个$ε$ -分数是adversarially损坏。然后,我们描述了一个估计,收敛到最佳的最小二乘最小化的真实分布的速度成正比的$ε^{2-2/k}$,当噪声是独立的协变量。我们注意到,在我们的工作之前,没有这样的估计是已知的,即使使用无界计算。我们实现的速率是信息理论上最优的,因此我们解决了Klivans,Kothari和Meka [COLT'18]中的主要开放问题。我们的关键见解是确定一个分析条件,作为一个多项式松弛的独立性的随机变量。特别是,我们表明,当噪声和协变量的时刻是负相关的,我们得到了独立的噪声相同的速率。此外,当条件不满足时,我们获得与$ε^{2-4/k}$成比例的速率,并且再次匹配信息理论下限。我们的核心技术贡献是算法上利用独立的随机变量的“平方和”的框架,制定为上述多项式不等式。
2020-12-04 cs.DS cs.LG stat.ML
An algebraic-geometric approach for linear regression without correspondences
ShanghaiTech University(上海科技大学);University of Genova(热那亚大学)
无对应关系的线性回归是对独立样本和观测值之间的对应关系未知的数据集执行线性回归拟合的问题。这样的问题自然出现在不同的领域,如计算机视觉,数据采掘,通信和生物学。在其最简单的形式中,它相当于求解一个线性方程组,其中右侧向量的条目已经被置换。这种类型的数据损坏使得线性回归任务变得相当困难,即使在没有其他损坏的情况下,例如噪音,离群值或缺失条目。现有的方法要么只适用于无噪声数据,要么对初始化非常敏感,要么只适用于部分混洗的数据。在本文中,我们解决这些问题,通过代数几何方法,它使用对称多项式提取置换不变的约束,参数$ξ^* \in \Re^n$的线性回归模型必须满足。这自然导致$n$未知数中的$n$方程的多项式系统,其在其根轨迹中包含$ξ^*$。使用代数几何的机器,我们证明,只要独立的样本是通用的,这个多项式系统总是一致的,最多$n!$复杂的根源,无论任何类型的腐败造成的意见。这个事实的算法含义是,人们总是可以解决这个多项式系统,并使用其最合适的根作为期望最大化算法的初始化。据我们所知,所得到的方法是第一个工作解决方案的小值的$n$能够处理数千个完全洗牌的噪音观测在毫秒。
2019-10-04 cs.LG stat.ML
On the robust learning mixtures of linear regressions
Jiujiang University(九江学院)
本文研究线性回归混合模型的鲁棒学习问题,通过阈值化将其与高斯混合模型建立联系,在温和分离条件下提出拟多项式时间算法,显著提升了鲁棒性。
2023-05-23 cs.LG stat.ML
A Benchmark Study of Classical and Dual Polynomial Regression (DPR)-Based Probability Density Estimation Technique
University of Houston(休斯顿大学);University of Texas Health Science Center(德克萨斯大学健康科学中心);College of Sciences and Tech., Univ. of Houston–Downtown(休斯顿都市理学院)
本文提出双多项式回归(DPR)方法,通过分段策略和高效计算实现对单峰分布的概率密度估计,实验表明其在准确性和计算效率上表现优异。
2025-12-03 stat.CO
Shallow neural network representation of polynomials
我们发现,$d$变量多项式的程度$R$可以表示为浅的宽度$2(R+d)^d$的神经网络的$[0,1]^d$。此外,SNN表示的局部泰勒多项式的单变量$C^β$ -光滑函数,我们推导出浅网络的极小极大最优收敛速度,直到一个对数因子,未知的单变量回归函数。
2022-09-06 cs.LG stat.ML
On the complexity of switching linear regression
CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用实验室)
本技术说明将最近关于全局最小化分段仿射模型误差的计算复杂性的结果扩展到最小化切换线性回归模型误差的相关问题。特别是,我们表明,一方面的问题是NP-难的,但在另一方面,它承认一个多项式时间算法的数据点的数量为任何固定的数据维数和模式的数量。
2016-07-04 cs.CC cs.LG stat.ML
A New Look at an Old Problem: A Universal Learning Approach to Linear Regression
Tel Aviv University(特拉维夫大学)
线性回归是统计学中的经典范式。通过普遍学习的镜头提供了一个新的视角。在将通用学习应用于线性回归时,假设类将标签$y\in {\cal R}$表示为特征向量$x^Tθ$的线性组合,其中$x\in {\cal R}^M$在高斯误差内。在这种情况下,用于个体数据通用学习的预测归一化最大似然(pNML)解决方案及其相关的可学习性度量可以解析地表示。有趣的是,可以检查参数$M$的数量甚至可以大于训练样本$N$的数量的情况。正如预期的那样,在这种情况下,在每种情况下都不能获得可学习性;然而,如果测试向量主要位于由与训练数据的经验相关矩阵的大特征值相关联的特征向量所跨越的子空间中,则线性回归可以泛化,尽管它使用了“过参数化”模型。我们证明了一个模拟拟合多项式的数据与可能大的多项式次数的结果。
2019-05-12 cs.IT cs.LG math.IT
Adaptive Online Estimation of Piecewise Polynomial Trends
UC Santa Barbara
我们考虑了具有平方误差损失和噪声梯度反馈的非平稳随机优化框架[Besbes et al,2015],其中研究了在线学习者对时变比较器序列的动态遗憾。从非参数回归理论的启发,我们引入了一个新的变分约束,强制比较器序列属于一个离散的$k^{th}$阶全变分球半径$C_n$。这种变分约束对具有分段多项式结构的比较器进行建模,该结构具有许多相关的实际应用[Tibshirani,2014]。通过与基于小波的非参数回归理论建立联系,我们设计了一个多项式时间算法,实现了$\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$的近最优动态遗憾。该策略对未知半径$C_n$具有自适应性。此外,我们表明,同样的政策是极小极大最优的其他几个非参数家庭的利益。
2020-09-30 cs.LG math.OC stat.ML
Sufficient Conditions for a Linear Estimator to be a Local Polynomial Regression
证明了任何满足矩条件的线性估计直到$p$阶等价于局部多项式回归的阶为$p$与一些非负的权重函数当且仅当内核最多有$p$的符号变化。如果数据点关于估计点对称放置,则线性加权函数等效于标准二次加权函数。
2018-03-16 math.ST stat.ME stat.TH
Local polynomial regression and variable selection
提出了一种将变量选择引入局部多项式回归的方法。这可以通过在与被判断为不重要的那些变量相对应的方向上扩展带宽来提高回归的精度。它还通过突出显示这些变量冗余的区域来增加我们对数据集的理解。该方法有可能实现完全删除变量,以及执行部分删除时,变量冗余只适用于特定区域的数据。我们定义了一个非参数的预言属性,并表明这是超过我们的方法下的渐近分析满意。通过模拟和真实数据的数值例子证明了该方法的实用性。
2010-06-16 math.ST stat.ME stat.TH
The Asymptotics of Optimal Designs for Polynomial Regression
我们给出了一个紧凑的(可能是复杂的)设计空间上的D-最优(等效G-最优)设计的渐近性。
2011-12-16 stat.ME
A sufficient condition for penalized polynomial regression to be invariant to translations of the predictor variables
虽然转换预测变量的编码不会改变多项式最小二乘回归的拟合,但惩罚的多项式回归可能会受到影响。结果上的条款可以被惩罚,以保持不变性的翻译的编码已较早公布。在这个简短的说明中,提出了一个相应命题的推广,这需要一个更精确的数学框架。
2020-02-11 stat.ME
Bayesian Polynomial Regression Models to Fit Multiple Genetic Models for Quantitative Traits
我们提出了一个连贯的贝叶斯框架选择最有可能的模型,从五个遗传模型(基因型,添加剂,显性,共显性和隐性)通常用于遗传关联研究。该方法使用遗传数据的多项式参数化同时拟合五个模型并节省计算。我们提供了一个封闭形式的表达的边缘似然正态分布的数据,并评估所提出的方法和现有的方法,通过模拟和真实的全基因组数据集的性能。
2015-04-21 math.ST stat.ME stat.TH
Proposal for the Application of Fractional Operators in Polynomial Regression Models to Enhance the Determination Coefficient $R^2$ on Unseen Data
针对多项式回归模型易过拟合导致未见数据$R^2$为负的问题,提出引入分数阶算子构建分数阶回归模型以缓解过拟合、提升未见数据决定系数,并给出构建方法与两类算子的应用示例。
2025-03-20 cs.NA math.NA math.ST
Polynomial spline regression: Theory and Application
为了处理预测变量和响应之间的非线性关系,我们可以使用变换使数据看起来是线性的或近似线性的。然而,在实践中,转换方法可能是无效的,并且使用可以自动处理非线性行为的灵活回归技术可能更有效。一种这样的方法是多项式样条(PS)回归。由于可能的样条回归模型的数量很多,因此需要有效的策略来选择最佳模型。本文从理论和实践两个方面研究了不同的样条回归模型(基于截断幂的多项式样条、B样条和P样条)。由于样条回归理论丰富,本文着重介绍了基本概念。特别是,我们专注于使用交叉验证(CV)而不是解释的预测,因为多项式样条解释起来很有挑战性。我们比较了不同的PS模型的基础上,一个真实的数据集,并得出结论,P-样条模型是最好的。
2022-12-30 stat.ME
Local polynomial regression for pooled response data
我们提出了局部多项式估计的条件均值的连续响应时,只有汇总响应数据收集不同的汇总设计。这些估计的渐近性质进行了研究和比较。进行了广泛的模拟研究,以比较有限样本下的各种模型设置和汇集策略的估计性能。我们提出的本地多项式回归方法应用于两个现实生活中的应用,以说明实际的实现和性能的估计的均值函数。
2020-02-10 stat.ME
Generalized Local Polynomial Regression with Decomposed Context-Aware Kernels
本文提出GC-LPR框架,通过分离拟合坐标与加权上下文,解决传统局部多项式回归在非欧几里得结构中的局限,实现对复杂域的建模同时保留欧几里得空间的可解释性。
2026-04-28 math.ST stat.ME stat.TH
A new approach to locally adaptive polynomial regression
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tata Institute of Fundamental Research(塔塔基础研究 Institute);Indian Statistical Institute(印度统计研究所)
针对非参数回归中自适应带宽选择的核心挑战,提出基于$\u2113_2$范数区间投影准则的新带宽选择流程,推导了非渐近风险界,证明其可近乎最优地适应局部Hölder指数,为该经典问题提供新视角。
2025-05-20 cs.LG math.PR math.ST
An algorithm for calculating D-optimal designs for polynomial regression with prior information and its appilications
为了进行有效的统计实验,需要进行最优设计。一些模型的D-最优设计是用典范矩计算的。另一方面,可积系统是其解可以具体写出的动力系统。本文讨论了具有先验信息的多项式回归模型。为了计算这些模型的D-最优设计,使用了正则矩和离散可积系统之间的有用关系。利用正则矩和离散可积系统,提出了一种计算这类模型的D-最优设计的算法。最后给出了该算法的一些应用实例。
2012-11-04 stat.ME
T-optimal designs for multi-factor polynomial regression models via a semidefinite relaxation method
研究了判别多因子多项式回归模型的T-最优试验设计问题,其中设计空间由多项式不等式定义,回归参数约束于给定的凸集.我们提出的最优性准则被制定为一个凸优化问题的矩锥约束。当回归模型为单因子时,利用矩锥约束的精确半定表示可得到等价的半定规划。当模型中有两个或两个以上的因素时,我们采用矩松弛技术,并通过一个半定可表示的外近似层次近似矩锥约束。当松弛族收敛时,从最优矩阵可得到最优判别设计,并通过等价定理证明其最优性。用几个例子说明了这种方法。
2020-02-02 stat.CO stat.ME
Bagged Polynomial Regression and Neural Networks
Department of Agricultural and Resource Economics, UC Davis(加州大学戴维斯分校农业与资源经济学系);Stanford Graduate School of Business(斯坦福商学院)
针对高维预测问题,提出基于随机投影的袋装多项式回归(BPR),在保持与神经网络相当精度的同时提供可解释性和诊断工具。
2026-06-03 cs.LG stat.ME stat.ML
Local-Polynomial Estimation for Multivariate Regression Discontinuity Designs
Institute of Economic Research Hitotsubashi University(一桥大学经济研究所);Graduate School of Economics and Management, Tohoku University(东北大学经济管理学院);Center for Spatial Information Science, The University of Tokyo(东京大学空间信息科学中心)
本文提出了一种多变量回归不连续设计的局部线性估计方法,用于捕捉边界处的异质性治疗效应,并在实证研究中展示了其更小的误差和更短的置信区间。
2026-01-23 econ.EM stat.AP stat.ME
Approximate Optimal Designs for Multivariate Polynomial Regression
Laboratoire de Mathématiques d’Orsay Univ. Paris-Sud, CNRS, Université Paris-Saclay(奥赛数学实验室 巴黎第十一大学 法国国家科学研究中心 巴黎萨克雷大学);Institut de Mathématiques de Toulouse Univ. Paul Sabatier, CNRS(图卢兹数学研究所 保罗·萨巴蒂尔大学 法国国家科学研究中心);Laboratoire d’Analyse et d’Architecture des Systèmes Université de Toulouse, CNRS(系统分析与架构实验室 图卢兹大学 法国国家科学研究中心)
本文提出利用半定规划的矩-平方和层次结构,计算多变量多项式回归的近似最优设计,通过半定规划对偶理论恢复设计几何,并证明该层次结构随阶数增加收敛到近似最优解,同时提供双证明确保有限收敛性。
2017-10-25 cs.IT cs.NA math.IT
Propagating moments in probabilistic graphical models with polynomial regression forms for decision support systems
本文提出一种基于多项式回归和矩传播的消息传递算法,用于概率图模型中的精确期望效用计算,可扩展应用于能源规划与实时临床决策支持。
2024-05-24 stat.AP stat.ME
The leaky integrator that could: Or recursive polynomial regression for online signal analysis
通过最小化加权平方误差(即残差)的和来将局部多项式模型拟合到均匀采样的观测或测量的噪声序列(即回归)可以用于设计用于各种信号分析问题的数字滤波器,例如生物医学、金融和航空航天应用中的检测、分类和跟踪。此外,这种滤波器的递归实现,使用所谓的泄漏积分器的网络,产生简单的数字组件,具有低计算复杂度和无限脉冲响应(IIR),是理想的嵌入式在线传感系统与高数据速率。目标跟踪、脉冲边缘检测、峰值检测和异常/变化检测在本教程中被视为说明性示例。Erlang加权多项式回归提供了一种设计框架,在该框架内,可以直观地平衡状态估计器(例如,偏置误差与随机误差)和IIR平滑器(例如,频率隔离与时间定位)的各种设计权衡。使用确定指数尾部的衰减率的平滑参数和可以用于对最近的数据进行折扣的形状参数来配置Erlang权重,使得更大的相对重点放在过去的时间间隔上。在莫里森1969年的序贯平滑和预测论文中,详细描述了指数权重(即零形状参数的情况)和与该权重正交的拉盖尔多项式;然而,更一般的厄兰权重和由此产生的相关拉盖尔多项式没有被考虑,也没有在其他地方详细介绍。因此,本教程的目的之一是解释如何使用Erlang权重来塑造和改善递归回归滤波器的响应。
2022-12-13 eess.SP stat.ME
Optimal designs for rational function regression
我们考虑最优非序贯设计的一大类(线性和非线性)回归模型,涉及多项式和有理函数的异方差噪声也给出了一个多项式或有理权重函数。所提出的方法对待D-,E-,A-和$Φ_p$ -最优设计在一个统一的方式,并产生一个多项式的零点是最优近似设计的支持点,推广了一些以前已知的结果相同的味道。该方法是基于一个数学优化模型,可以将各种标准的最优性,并可以有效地解决了建立良好的数值优化方法。与以往针对类似设计问题提出的基于优化的方法相比,它也具有算法效率的理论保证;事实上,本文中考虑的所有数值示例的运行时间可以忽略不计。在一个涉及高次多项式的例子中证明了该方法的稳定性。讨论线性模型后,应用程序发现局部最优设计的非线性回归模型,涉及合理的功能,然后扩展到稳健回归设计,和三角回归。作为推论,最小支持的最优设计的支持集的大小上界也found. The方法是相当实际的重要性,例如,与潜在的影响设计软件开发。对主要优化模型的最优性条件的进一步研究也可能产生新的理论见解。
2011-08-29 stat.CO stat.ME
Robust estimation for functional quadratic regression models
本文针对函数型二次回归模型中的异常值问题,提出结合稳健主方向和基于有界损失函数的稳健回归估计方法,并通过数值模拟和实际数据验证其有效性。
2023-05-29 stat.ME
Bayesian Simultaneous Credible Bands for Polynomial Regression
The University of Manchester(曼彻斯特大学);University of Southampton(南安普顿大学)
提出一种在有限协变量区间上构建多项式回归曲线贝叶斯同时可信带的统一框架,开发了基于模拟的临界常数确定方法,并证明其渐近等价于频率学同时置信带,在剂量反应研究中用于确定最小有效剂量。
2026-06-29 stat.ME
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University(巴黎第十三大学);IFSTTAR(法国交通与安全科学技术研究所);Heudiasyc Lab(Heudiasyc实验室)
本文介绍了一种新的基于模型的聚类方法聚类时间序列,目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化(EM)算法采用极大似然法进行。所提出的方法进行评估,使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法,包括高斯混合的标准EM,$K$均值聚类,标准混合回归模型和混合隐马尔可夫模型的比较,证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
Scalable GWR: A linear-time algorithm for large-scale geographically weighted regression with polynomial kernels
虽然许多研究已经开发出快速地理加权回归(GWR)算法的大样本,他们都没有实现线性时间估计,这被认为是机器学习,地质统计学和相关领域的大数据分析的必要条件。在此背景下,本研究提出了一个可扩展的GWR(ScaGWR)的大型数据集。关键的改进是通过预压缩的矩阵和向量,其大小取决于样本量,之前的留一交叉验证,这是最重的计算步骤,在传统的GWR模型的校准。这种预压缩允许我们运行建议的GWR扩展,以便其计算时间随样本量线性增加。通过这种改进,ScaGWR可以在没有并行化的情况下用一百万个观测值进行校准。此外,ScaGWR估计可以被视为比传统GWR估计更稳定的经验贝叶斯估计。我们比较的ScaGWR与传统的GWR的估计精度和计算效率,使用蒙特卡罗模拟。然后,我们将这些方法应用于美国的收入分析。ScaGWR的代码可以在R软件包scgwr中找到。代码嵌入到C++代码中,并在另一个R包GWmodel中实现。
2020-04-23 stat.ME
Nonparametric multivariate regression estimation for circular responses
本文研究了具有圆响应的回归函数的非参数估计和R_d值预测量。局部多项式型估计的建议和研究。导出了它们的渐近偏差和方差的表达式,并给出了选择渐近局部最优带宽矩阵的准则。有限样本的行为,建议的估计评估通过模拟和他们的表现也说明了一个真实的数据集。
2020-04-13 stat.ME
Local Quasi-Linear Models: Kernel Differential Equation Regression and Fire Data Analysis
The University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根分校)
该研究提出局部拟线性模型,扩展了带微分方程约束的局部多项式回归范式,经模拟与火种燃烧实验验证,其在数据稀缺场景下的估计性能优于无约束局部线性回归。
2026-08-05 stat.AP stat.ME