Uniform-in-Submodel Bounds for Linear Regression in a Model Free Framework
在过去的二十年里,高维数据和方法在整个文献中激增。然而,线性回归的经典技术并没有失去它在应用中的有用性。事实上,许多高维估计技术可以被视为变量选择,其导致经典线性回归适用的较小的变量集("子模型“)。我们分析了线性回归估计模型的选择,证明估计误差和线性表示界均匀的子模型集。基于确定性不等式,我们的结果提供了“好”率时,适用于独立和依赖的数据。这些结果是有用的有意义的解释后,探索和减少变量,并在合理的模型选择后的推断得到的线性回归估计。所有结果都是在没有模型假设的情况下得出的,并且在性质上是非渐近的。
2021-05-17 math.ST stat.TH
Statistical Inference and Large-scale Multiple Testing for High-dimensional Regression Models
本文对高维回归模型(包括线性和逻辑斯谛回归)的统计推断和多重检验的最新发展进行了选择性的综述。我们检查的置信区间和假设检验的各种低维目标,如回归系数和线性和二次泛函的建设。其关键技术是为目标低维目标生成去偏和去parasized估计器,并估计其不确定性。除了涵盖这些统计方法背后的动机和直觉之外,我们还讨论了它们在高维推理背景下的最优性和自适应性。此外,我们还回顾了基于多元回归模型的统计推断的最新发展和高维回归的大规模多重检验的进展。R包SIHR已经实现了本文讨论的一些高维推理方法。
2023-01-25 math.ST stat.ME stat.TH
Sparse and Robust Linear Regression: An Optimization Algorithm and Its Statistical Properties
研究了响应中含有异常值的稀疏线性回归分析。在标准线性回归模型的基础上增加一个参数向量来表示异常值,从而考虑了系数和异常值的稀疏估计问题。对系数施加$\ell_{1}$惩罚,而对离群值施加包括重降类型惩罚在内的各种惩罚。为了解决稀疏估计问题,我们引入了一个优化算法。在一定的条件下,我们证明了该算法所得到的系数的算法收敛性和统计收敛性。此外,它表明,该算法可以恢复真正的支持度的系数的概率去1。
2015-05-20 math.ST stat.ME stat.TH
Uniform convergence of convolution estimators for the response density in nonparametric regression
我们考虑一个非参数回归模型$Y=r(X)+\varepsilon$,其中随机协变量$X$独立于误差$\varepsilon$。则响应$Y$的密度是$\varepsilon$和$r(X)$的密度的卷积。因此,它可以通过这两个密度的核估计的卷积来估计,或者更一般地通过局部冯米塞斯统计来估计。如果回归函数具有无处消失的导数,则卷积估计量以参数速率收敛。我们证明了收敛保持一致,并且相应的过程在无穷远消失的连续函数的空间$C_0(\mathbb {R})$中服从泛函中心极限定理,并赋予其上范数。估计器不是有效的。我们构造了一个附加的校正,使其有效。
2013-12-17 math.ST stat.TH
Simultaneous inference for Berkson errors-in-variables regression under fixed design
在回归分析的各种应用中,除了相关观测值中的误差之外,预测变量中的误差也起着重要作用,并且需要并入统计建模过程中。本文考虑了一个具有固定设计回归变量和中心随机误差的Berkson型非参数测量误差模型,这与现有的许多工作不同,在这些工作中,预报变量被看作是带有随机噪声的随机观测值。基于一个估计,考虑到在预测误差和适当的高斯近似,我们得到%均匀的信心声明的功能的兴趣。特别是,我们提供了有限的样本范围的覆盖误差均匀的置信带,在那里我们规避使用极值理论,而依赖于最近的结果反浓度的高斯过程。在一个模拟研究中,我们研究了有限样本的均匀置信集的性能。
2020-09-02 math.ST stat.ME stat.TH
On the strong uniform consistency for relative error of the regression function estimator for censoring times series model
考虑一个随机向量(X,T),其中X是d维的,T是一维的。我们假设随机变量T服从随机右截尾且满足$α$ -混合性质。本文研究了相对误差回归核估计的性质,并建立了它与率的一致几乎必然相合性。此外,我们强调了衡量依赖性的协方差项。仿真研究表明,在不同的情况下,所提出的估计器对有限样本量表现良好。
2019-10-04 math.ST stat.AP stat.CO
Asymptotics of an empirical bridge of regression on induced order statistics
本文提出了一类伴随线性回归的检验方法(诱导顺序统计量)。这些检验基于回归残差的序贯和。我们自我中心化和自我规范化这些总和。由此产生的过程被称为经验桥梁。我们证明了弱收敛的经验桥在统一度量的中心高斯过程。所提出的检验是卡方检验。
2019-04-13 math.ST stat.TH
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计(ROSE)框架扩展至非凸惩罚M估计,用于稳健高维线性回归的估计与推断,并证明估计量的一致性与渐近正态性,模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
Statistically Significant Linear Regression Coefficients Solely Driven By Outliers In Finite-sample Inference
本研究通过R模拟验证单个异常值可使线性回归不显著系数呈现统计显著性,对比稳健Huber回归,分析异常值影响与诊断方法,关联正态性假设并警示仅用p值的风险,梳理回归方法与高斯-马尔可夫定理的关系。
2025-05-19 econ.EM math.ST stat.ME
Statistical Inference in High-dimensional Poisson Regression with Applications to Mediation Analysis
本文研究高维稀疏 Poisson 回归的统计推断,提出回归向量线性与二次变换的偏差校正估计量、置信区间和检验方法,并用于计数结果的高维中介分析。
2024-10-28 math.ST stat.ME stat.TH
Regression and Causality
干预的因果效应(治疗/暴露)对结果的影响可以通过以下方式进行估计:i)指定关于数据生成过程的知识; ii)评估在给定指定知识的情况下可以在什么假设下识别目标量,例如因果比值比(并且给定测量数据);以及然后,iii)使用适当的统计估计技术来估计期望的感兴趣参数。由于回归是统计分析的基石,似乎很明显要问:使用估计的回归参数进行因果效应估计是否合适?事实证明,使用回归进行效果估计是可能的,但通常需要比竞争方法更多的假设。这份手稿提供了一个全面的总结,需要确定和估计的因果参数使用回归的假设,同样重要的是,讨论了统计实践的影响。
2021-03-04 math.ST stat.ME stat.TH
Statistical Inference on High Dimensional Gaussian Graphical Regression Models
针对高维高斯图回归中统计推断未被探索的问题,提出基于多任务学习器的去偏估计量,通过新型投影技术降低计算成本,证明其渐近正态性可支撑有效统计推断,模拟和脑癌基因数据分析验证了实用性。
2024-11-03 math.ST stat.ME stat.TH
Smoothed quantile regression processes for binary response models
本文考虑了具有线性分位数限制的二元响应模型。相当概括以前的研究在这个问题上,我们的分析集中在无限收集的分位数估计。我们得到一个统一的线性化适当标准化的经验分位数的过程中,发现一些令人惊讶的差异与设置连续观察到的反应。此外,我们表明,考虑分位数过程提供了一种有效的方法来估计二进制选择概率,而无需限制性假设的形式的链接函数,异方差或需要高维非参数平滑的方法,到目前为止。一个统一的线性表示和渐近正态性的结果,并讨论了重排的连接。
2019-04-04 math.ST stat.ME stat.TH
Honest Confidence Sets in Nonparametric IV Regression and Other Ill-Posed Models
本文发展了计量经济学中一类非常普遍的不适定模型的推导方法,包括非参数工具变量回归,各种函数回归和密度反卷积。我们专注于使用Tikhonov正则化估计的感兴趣参数的均匀置信集,如Darolles,Fan,Florens和Renault(2011)。由于它是不可能的推理方法的基础上的中心极限定理,我们开发了两种替代方法依赖于浓度不等式和自助近似。我们表明,预期的直径和覆盖性能的结果集有统一的有效性,在一个大类的模型,即,构造的置信集是诚实的。蒙特卡罗实验表明,引入的置信集具有合理的宽度和覆盖性能。使用美国的数据,我们为各种商品的恩格尔曲线提供了统一的置信集。
2020-12-19 econ.EM math.ST stat.AP
Non-parametric Quantile Regression and Uniform Inference with Unknown Error Distribution
本文研究了协变量存在未知分布测量误差时的条件分位数回归函数非参数估计与一致推断,提出反卷积核估计量构建一致置信带,并通过模拟与实际数据验证了方法的有效性。
2025-04-02 econ.EM stat.ME
Uniform Inference for High-dimensional Quantile Regression: Linear Functionals and Regression Rank Scores
对于维数远大于样本量的模型,假设检验只有在成功地消除初始估计偏差后,才能像经典的学生化检验那样进行公式化。去偏估计量的理论可以在固定分位值的分位数回归模型的背景下发展。然而,通常需要基于分位数回归过程来制定测试,因为这会导致更稳健的测试和更稳定的置信集。此外,分位数回归中的推断需要估计所谓的稀疏函数,其取决于误差的未知密度。在本文中,我们考虑一个去偏的一致测试问题的方法。我们开发了高维回归秩分数,并展示了如何使用它们来估计稀疏函数,以及如何使它们适应涉及分位数回归过程的推断。此外,我们开发了一个Kolmogorov-Smirnov测试的位置移动的高维模型和置信集,是一致有效的许多分位数值。主要的技术成果是发展的Bahadur表示的去偏估计,是均匀的分位数和均匀收敛的分位数过程的布朗桥过程,这是独立的利益。模拟研究表明,我们的程序的有限样本特性。
2017-02-20 stat.ML
Statistical inference for function-on-function linear regression
函数对函数线性回归对于理解响应和预测变量(均为函数)之间的关系非常重要。在这篇文章中,我们提出了一个再生核希尔伯特空间的方法来函数的函数线性回归通过惩罚最小二乘,正则化的薄板样条光滑惩罚。研究了系数函数估计的极小极大最优收敛速度。我们推导出Bahadur表示,这使我们能够提出统计推断的方法,使用自举和收敛的Banach值随机变量的超规范。我们说明我们的方法,并验证我们的理论结果,通过模拟数据实验和真实数据的例子。
2021-09-28 math.ST stat.TH
Characterizations of Student's t-distribution via regressions of order statistics
利用顺序统计量的回归性质,我们刻画了由Akhundov,Balakrishnan和Nevzorov(2004)引入的一类分布,其中包括具有两个自由度的t分布。然后将这一刻画结果推广到具有两个以上自由度的t分布。
2010-10-21 math.PR math.ST stat.TH
Nonparametric regression estimation for random fields in a fixed-design
研究了固定设计下,误差由相依随机变量组成的非参数回归估计。得到了核估计一致收敛的充分条件。这些估计量能达到最优的一致收敛性速度,且结果适用于一大类随机场,其中包括鞅差随机场和混合随机场.
2005-02-04 math.PR math.ST stat.TH
Empirical phi-divergence test statistics in the logistic regression model
在本文中,我们应用分歧措施的经验似然适用于逻辑斯谛回归模型。我们定义了一个家庭的经验检验统计量的基础上的分歧措施,称为经验φ发散检验统计量,扩展了经验似然比检验。我们研究了这些经验检验统计量的渐近分布,证明了这类检验统计量的渐近分布是相同的,并且与经典的经验似然比似然比检验的渐近分布是相同的。接下来,我们研究了这个家族中成员的幂函数,表明本文中介绍的经验φ-发散检验在Fraser意义下是一致的。为了比较在这一新的家庭,在本文中第一次考虑的经验φ发散检验统计量的行为之间的差异,我们进行了模拟研究。
2021-12-02 math.ST stat.TH
Asymptotic confidence sets for the jump curve in bivariate regression problems
本文基于两个单侧核估计的旋转差,构造了光滑图像函数中单个边缘的均匀和逐点渐近置信集。利用M-估计的方法,我们证明了边缘函数的位置、斜率和高度的估计的一致性,并对对比度过程进行了统一的线性化。然后,均匀置信带依赖于分数过程的高斯近似以及高斯过程上确界的反集中结果,而逐点置信带基于渐近正态性。有限样本性能的逐点建议的方法进行了研究,在模拟研究。最后给出了一个实际图像处理的例子。
2019-03-23 math.ST stat.TH
Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data
本文针对具有块状缺失协变量和部分观测响应变量的高维线性回归模型,提出基于无偏估计方程和块状插补的高效估计器,并利用创新的投影估计方程技术构建渐近正态的去偏估计器,从而实现有效的置信区间和统计检验,在数值研究和阿尔茨海默病数据分析中优于现有方法。
2023-06-28 math.ST stat.ME stat.ML
Non-Asymptotic Bounds for the $\ell_{\infty}$ Estimator in Linear Regression with Uniform Noise
Chebyshev或$\ell_{\infty}$估计量是解决线性回归问题中普通最小二乘的一种非传统的替代方法。它被定义为$\ell_{\infty}$目标函数\begin{align*} \hat{\boldsymbolβ} := \arg\min_{\boldsymbolβ} \|\boldsymbol{Y} - \mathbf{X}\boldsymbolβ\|_{\infty}. \end{align*}的最小值。最近研究了固定协变量数下切比雪夫估计量的渐近分布(Knight,2020),但有限样本保证和高维设置的推广仍然是开放的。在本文中,我们开发的非渐近上界的估计误差$\|\hat{\boldsymbolβ}-\boldsymbolβ^*\|_2$的切比雪夫估计$\hat{\boldsymbolβ}$,在回归设置均匀分布的噪声$\varepsilon_i\sim U([-a,a])$的$a$是已知的或未知的。通过对(随机)设计矩阵$\mathbf{X}$的相对温和的假设,对于取决于维度$p$和设计规律的某个常数$C_p$,我们可以以高概率通过$\frac{C_p}{n}$约束错误率。此外,我们说明,存在的设计,其中切比雪夫估计是(近)最小最大最优。另一方面,我们还认为,存在的设计,这个估计器的行为次优方面的常数$C_p$的依赖$p$。此外,我们表明,“切比雪夫的LASSO…
2023-03-14 math.ST stat.TH
Fixed-smoothing Uniform Inference for Quantile Regression
Shanghai University of Finance and Economics(上海财经大学);Michigan State University(密歇根州立大学);Hanyang University, Korea(韩国汉阳大学)
本文提出时间序列分位数回归的固定平滑推断方法,实现跨分位数均匀有效,通过均匀-τ和堆叠Wald两种方法解决非渐近枢轴问题,模拟显示优于HAC方法,实证揭示股票收益预测效应的异质性。
2026-11-03 econ.EM stat.ME
Statistical Inference on Panel Data Models: A Kernel Ridge Regression Method
在核岭回归框架下提出了交互固定效应面板数据模型的统计推断方法,与传统的筛法相比,该方法不需要选择基函数和截断参数,模型复杂性由一个连续的正则化参数控制,该参数可以通过广义交叉验证自动选择.基于经验过程理论和泛函分析工具,我们得到了非均匀背景下估计量的联合渐近分布。这些联合渐近的结果,然后使用构造置信区间的回归平均值和预测区间的未来的观察,都是第一个可证明的有效区间在文献中。在齐次背景下,得到了函数估计的边缘渐近正态性。仿真和实际数据分析证明了该方法的优越性。
2017-03-08 math.ST stat.TH
Uniform regret bounds over $R^d$ for the sequential linear regression problem with the square loss
INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);Institut de mathématiques de Toulouse(图卢兹数学研究所);Université Paul Sabatier(保罗·萨巴蒂埃大学);Laboratoire de mathématiques d’Orsay(奥赛数学实验室);Université Paris-Sud(巴黎第十一大学);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学)
本文考虑了任意确定性序列的在线线性回归的设定问题,并考虑了平方损失。我们对Bartlett等人(2015)设定的目标感兴趣:获得在所有竞争者向量上一致保持的遗憾界。当特征序列在游戏开始时已知时,他们提供了$2d B^2 \ln T + \mathcal{O}_T(1)$的封闭形式的后悔界限,其中$T$是回合数,$B$是观察结果的界限。相反,我们推导出的界限与最佳常数$1$在前面的$d B^2 \ln T$长期。在顺序显示的功能的情况下,我们还得到了一个渐进的遗憾界的$d B^2 \ln T$的任何个人序列的功能和有界的意见。我们所有的算法都是在线非线性岭回归预测器的变体,或者具有依赖于数据的正则化,或者几乎没有正则化。
2019-02-25 cs.LG math.ST stat.ML
Exact results on high-dimensional linear regression via statistical physics
很明显,传统的统计推断协议需要修改,以正确处理现在常见的高维数据。最近的研究旨在实现这一修订依赖于强大的近似技术,要求严格的结果,他们可以进行测试。在这种情况下,最简单的情况下,高维线性回归已获得重大的新的相关性和关注。在本文中,我们使用统计物理的角度推断,推导出一些新的精确结果线性回归在高维制度。
2021-04-06 cond-mat.dis-nn math.ST stat.TH
Error analysis of regularized trigonometric linear regression with unbounded sampling: a statistical learning viewpoint
用于函数估计的非参数、基于核的方法的有效性是以高计算复杂性为代价的,这阻碍了它们在自适应、基于模型的控制中的适用性。基于稀疏谱高斯过程的近似技术,我们专注于正则化三角线性回归模型。本文提供了一个分析的统计学习框架内的性能,这样的估计设置。特别是,我们推导出一个新的有限维空间中的样本误差界,占噪声与潜在的无界支持。接下来,我们研究了近似误差,并讨论了偏差方差权衡作为正则化参数的函数,通过结合这两个界限。
2023-03-16 math.ST stat.TH
Strong consistency of the nonparametric local linear regression estimation under censorship model
引入并研究了删失模型的局部线性非参数回归估计。本文的主要目的是建立紧集上新估计的一致几乎必然相合结果。为了支持我们的理论结果,模拟研究已经做了与经典的回归估计进行比较。
2020-04-06 math.ST stat.TH
Uniform Estimation and Inference for Nonparametric Partitioning-Based M-Estimators
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
本文研究非参数分区基于M估计量的统一估计与推断理论,提出统一一致性、最优收敛速度及有效推断方法,适用于凸和非凸目标函数,并扩展到函数变换。
2026-06-27 econ.EM math.ST stat.TH
Non-asymptotic Properties of Generalized Mondrian Forests in Statistical Learning
本文在 Mondrian 森林基础上提出广义统计学习框架,涵盖最小二乘、ℓ1、分位数回归及分类,在温和假设下给出遗憾/风险上界并证明一致性。
2025-02-27 math.ST stat.TH
On statistical estimation and inferences in optional regression models
本文的主要研究对象是一个非常一般的回归模型在可选的设置-当一个观察过程是一个可选的半鞅依赖于一个未知的参数。众所周知,统计数据可以在没有通常条件的情况下呈现信息流/过滤。估计问题是通过结构最小二乘(LS)估计及其序列版本。本文的主要结果致力于这种LS-估计的强相合性。对于序贯LS-估计,证明了固定精度的性质。
2021-03-15 math.ST q-fin.ST stat.TH
Statistical Inference for Genetic Relatedness Based on High-Dimensional Logistic Regression
研究了基于个体水平全基因组关联数据的二元性状间遗传相关性的统计推断问题。具体而言,在高维逻辑斯谛回归模型下,我们定义了表征性状间遗传相关、遗传协方差和性状特异性遗传方差的参数。提出了一种新的加权去偏方法,并给出了计算效率较高的去偏估计。研究了这些估计的收敛速度,并在较弱的条件下证明了它们的渐近正态性。此外,我们构造了这些参数的置信区间和统计检验,并提供了理论依据的方法,包括覆盖概率和预期长度的置信区间,以及拟议的测试的大小和功效。在模型生成数据和模拟遗传数据下进行了数值研究,以显示所提出的方法的优越性。通过分析自身免疫性疾病的真实数据集,我们证明了它能够获得关于10种儿科自身免疫性疾病之间共享遗传结构的新见解。
2022-10-05 math.ST stat.AP stat.ME
Order statistics on the spacings between order statistics for the uniform distribution
得到了均匀分布下顺序统计量在顺序统计量间距上的分布的封闭表达式。这推广了Fisher关于级数的调和分析中的显著性检验的结果。
2019-09-13 math.ST stat.TH
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo(东京大学)
本文提出一种无模型的非参数回归去偏方法,通过加入估计条件期望残差的校正项,使估计量在温和条件下具备风险收敛与渐近正态性,从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Uniform bounds for norms of sums of independent random functions
在本文中,我们开发了一个通用的机器,寻找显式一致的概率和矩界的次可加正泛函的随机过程。使用开发的一般技术,我们推导出统一的${\mathbb{L}}_s$规范的经验和回归型过程的界限。通过应用于核密度估计和回归函数的非参数估计过程,说明了所得结果的正确性。
2012-02-08 math.PR math.ST stat.TH
Revisiting local regression: shape regularity, uniform rates, and the limits of random splits
University of Rennes(雷恩大学);ENSAI(国立统计与经济分析学院);CNRS(法国国家科学研究中心);CREST-UMR 9194(经济研究与统计中心)
本文通过形状正则局部映射的概念,证明形状正则性是Lipschitz回归函数达到最优估计速率的充要条件,并揭示随机分裂树因几何畸变无法保证最优速率,提出约束分裂的树构造以恢复最优性。
2026-06-26 math.ST stat.TH
Nonparametric regression for locally stationary random fields under stochastic sampling design
在这项研究中,我们开发了一个渐近理论的局部平稳随机场(LSRF)$\{{\bf X}_{{\bf s}, A_{n}}: {\bf s} \in R_{n} \}$在$\mathbb{R}^{p}$观察到的不规则间隔的位置在$R_{n} =[0,A_{n}]^{d} \subset \mathbb{R}^{d}$的非参数回归。首先给出了一般核估计的一致收敛性速度,然后给出了模型均值函数估计的渐近正态性。此外,我们考虑加性模型,以避免维数灾难所产生的估计的收敛速度的协变量的数量的依赖。随后,我们得到了可加函数估计的一致收敛性速度和联合渐近正态性。我们还介绍了近似$m_{n}$依赖的RF提供的LSRF的例子。我们发现,这些RF包括一个广泛的类Lévy驱动的移动平均RF。
2022-07-06 math.ST stat.TH
Nonparametric regression for locally stationary functional time series
在这项研究中,我们发展了局部平稳函数时间序列的非参数回归的渐近理论。首先,我们引入了局部平稳函数时间序列(LSFTS)的概念,它在半度量空间中取值。然后,我们提出了一个非参数模型的LSFTS与回归函数,随着时间的推移平滑变化。建立了一类核估计的一致收敛性速度,回归函数的Nadaraya-Watson(NW)估计,以及NW估计的中心极限定理.
2022-07-01 math.ST stat.TH
Convolution Mode Regression
针对偏态肥尾分布下众数回归面临维数灾难和非凸优化问题,提出通过反演条件分位数密度并采用卷积平滑分位数回归的新估计量,实现设计点与带宽双重一致收敛且无维度和优化障碍。
2024-12-07 econ.EM math.ST stat.TH
New robust statistical procedures for polytomous logistic regression models
本文导出了一类新的估计族,即最小密度幂离估计,作为多分类逻辑斯谛回归模型极大似然估计的稳健推广.在此基础上,引入了线性假设下的Wald型检验统计量族。通过经典的影响函数分析,从理论上研究了所提出的估计量和检验统计量的稳健性。适当的现实生活中的例子,以证明需要适当的强大的统计程序,而不是基于似然推断的多分类逻辑斯谛回归模型。通过适当的模拟研究,进一步证实了本文建立的理论结果的有效性。最后,提出了一种数据驱动的鲁棒性调整参数的选择方法,并给出了经验证明。
2018-06-26 stat.ME
Coverage Error Optimal Confidence Intervals for Local Polynomial Regression
研究随机抽样下非参数局部多项式回归方法的高阶推断性质。我们证明了Edgeworth展开的$t$统计和覆盖误差扩展的区间估计,(i)保持一致的数据生成过程中,(ii)允许统一的内核,(iii)覆盖估计的回归函数的衍生物。高阶展开式的项及其相关速率作为样本大小和带宽序列的函数,取决于总体回归函数的平滑度、推理过程所利用的平滑度以及评估点是否在支持的内部或边界上。我们证明了稳健的偏差校正置信区间在所有情况下都具有最快的覆盖误差衰减率,并且我们使用我们的结果来提供新颖的推理最优带宽选择器。主要的方法学结果在配套的\textsf{R}和\textsf{Stata}软件包中实现。
2021-07-23 econ.EM math.ST stat.TH
Statistical Inference for Gradient Boosting Regression
School of Economics, Fudan University(复旦大学经济学院);Department of Statistics and Data Science, The Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院统计与数据科学系)
本文提出融合 dropout/并行训练与正则化的梯度提升回归统计推断框架,基于中心极限定理构建区间估计与变量重要性检验。
2025-09-27 cs.LG math.ST stat.ME
Uniform in bandwidth consistency of conditional U-statistics
1991年,Stute提出了一类称为条件U-统计量的估计量。它们可以被看作是Nadaraya-Watson估计的推广,Stute在同一篇论文中得到了它们对一般回归函数的强逐点相合性。最近,Gine和Mason引入了局部U-过程的概念,推广了局部经验过程的概念,并得到了这类U-过程的中心极限定理和重对数律.我们应用Einmahl和Mason(2005)以及Gine和Mason(2007 a,b)开发的方法,对Stute提出的估计量的一般回归函数建立带宽一致性。
2007-02-23 math.PR math.ST stat.TH
Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression
MIT(麻省理工学院);University of Hong Kong(香港大学);UC Berkeley(加州大学伯克利分校)
研究自归一化martingale的统一后悔界,证明一维情况下可得O(log T)界,而高维情况下无法获得统一界,解决了一个开放性问题。
2026-05-02 cs.LG math.ST stat.ML
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术,并提出一致的方差估计。建议的方差估计是基于一个线性化的方法,采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时,建立了插补估计的根-n相合性,从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
New Insight of Spatial Scan Statistics via Regression Model
本文通过回归模型统一了基于期望和基于人群的空间扫描统计量,揭示其差异仅在于截距项的有无,并提出高斯和伯努利模型下的新统计量及基于L0惩罚的优化框架,可扩展至时空扫描和多聚集区检测。
2025-02-10 stat.ME
SIHR: Statistical Inference in High-Dimensional Linear and Logistic Regression Models
本研究推出用于高维广义线性模型统计推断的R包SIHR,支持单/两样本场景下低维目标的置信区间构建与假设检验,通过数值示例和真实数据应用验证了其性能与实用性。
2023-05-02 stat.CO stat.ME stat.OT
MM Algorithms for Statistical Estimation in Quantile Regression
本文针对线性分位数回归的统计估计问题构建并测试易于编码的 MM 算法,并通过模拟比较与多组真实数据应用验证其有效性。
2025-02-17 stat.AP stat.CO stat.ME
Inverse Sampling of Degenerate Datasets from a Linear Regression Line
当线性回归生成(相关)标量响应与一个或多个自变量之间的关系时,提供不同图形趋势的各种数据集可以基于相同的统计特性发展类似的关系。先进的统计方法,如神经网络和机器学习方法,是非常必要的处理,表征和分析这些退化的数据集。另一方面,在应用统计学的研究和教育中,精确地创建纯退化数据集对于测试新模型是必不可少的。在这种情况下,本研究的特点,著名的Anscombe数据集,并提供了一个通用的算法,用于创建多个配对的数据集相同的统计属性。
2021-08-25 stat.ME
Statistical inference for high-dimensional convoluted rank regression
本文研究高维卷积秩回归的统计推断,建立惩罚估计误差界与去偏估计的 Bahadur 表示,并借助 Gaussian 近似和 bootstrap 构造同时置信区间。
2025-02-19 stat.ME
A simulation study comparing statistical approaches for estimating extreme quantile regression with an application to forecasting of fire risk
本研究通过模拟框架比较了多种极值分位数回归估计方法在火灾风险预测中的表现,发现最高气温与火灾频率正相关,并提出混合策略以提升极端事件预测的准确性与可解释性。
2025-06-29 stat.ME
Statistical Query Lower Bounds for List-Decodable Linear Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校);Web 3 Foundation(Web3基金会)
我们研究了列表可解码线性回归问题,其中对手可以破坏大多数的例子。具体地,我们给出标记的示例$(x, y) \in \mathbb{R}^d \times \mathbb{R}$的集合$T$和参数$0< α<1/2$,使得$T$中的点的$α$分数是i.i.d.样本来自具有高斯协变量的线性回归模型,而剩余的点的$(1-α)$分数来自任意噪声分布。目标是输出一个小的假设向量列表,使得其中至少有一个接近目标回归向量。我们的主要结果是一个统计查询(SQ)下界的$d^{\mathrm{poly}(1/α)}$这个问题。我们的SQ下限定性匹配以前开发的算法的性能,提供证据表明,目前的上限为这项任务几乎是最好的可能。
2021-06-17 cs.DS cs.LG math.ST
High-Dimensional Gaussian Copula Regression: Adaptive Estimation and Statistical Inference
我们开发的自适应估计和推理方法,高维高斯copula回归,实现相同的性能,而无需知识的边际变换的高维线性回归。利用Kendall的基于τ的协方差阵估计,提出了一个$\ell_1$正则化估计和相应的去偏估计的置信区间的建设和假设检验。理论性质的程序进行了研究,所提出的估计和推理方法是适应未知的单调边际变换。还考虑了对给定协变量值的响应的预测。该程序易于实现,并在数值上表现良好。该方法也被应用于分析社区和犯罪的非规范化数据从UCI机器学习知识库。
2015-12-08 stat.ME