Scalable Holistic Linear Regression
Sloan School of Management and Operations Research Center, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院和运筹学中心）；Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）
我们在Bertsimas & King（2016）的基础上提出了一种新的整体线性回归可扩展算法。具体来说，我们开发了新的理论来建模的意义和多重共线性的懒惰的约束，而不是反复检查的条件。与先前框架中的低100 s相比，所得到的算法随着10，000 s中的样本数$n$而缩放。在真实数据集和人工数据集上的计算结果表明，该算法在准确率、误检率、计算时间和可扩展性等方面都有很大提高。
2020-03-04 cs.LG math.OC stat.ML
Nonparametric Model Checking and Variable Selection
设X为协变量的d维向量，Y为响应变量。在非参数模型Y = m（X）+ σ（X）\in下，我们开发了一个ANOVA型检验，用于原假设X的特定坐标对回归函数没有影响。在原假设和局部替代假设下，利用Nadaraya-Watson型核估计和d \leq 4的残差，建立了检验统计量的渐近分布.仿真结果表明，在稀疏模型下，通过充分的降维，检验的适用性扩展到任意d。利用该检验的p值，提出了一种基于多重检验思想的变量选择方法。拟议的测试优于现有的程序，而额外的模拟显示，拟议的变量选择方法执行竞争力对完善的程序。一个真实的数据集进行了分析。
2012-05-30 stat.ME
Model checking for generalized linear models: a dimension-reduction model-adaptive approach
基于多元非参数回归估计的局部平滑检验是目前文献中主要的模型检验方法之一。然而，相关的测试遭受从典型的灾难的维数导致缓慢的收敛速度到他们的极限下的零假设和较小的偏差下的替代品。这个问题导致测试不能很好地保持显著性水平，并且对替代方案不太敏感。本文提出了一种针对广义线性模型的降维模型自适应检验方法。该测试表现得像一个局部平滑测试，就好像模型是单变量的，并且可以与任何全局替代品保持一致，并且可以以快速的速度检测不同于空值的局部替代品，现有的局部平滑测试只有在模型是单变量时才能实现。仿真进行了检查我们的方法的性能。最后以一个实际数据进行了分析。该方法可以推广到全局平滑方法和其它测试问题。
2014-05-09 stat.ME
Function-on-function Differential Regression
本文提出函数对函数微分回归框架，通过作用感知识别和算子再生核希尔伯特空间正则化估计微分回归算子，并构造拟合优度检验，建立Bahadur表示及极小极大最优性等理论性质，经模拟和热力学能量方程真实数据验证其有效性。
2025-06-03 stat.ME
On a non-parametric confidence interval for the regression slope
本文研究了Tukey方法在Theil回归中的应用，得到了不一定具有正态误差的直线回归模型中真实斜率的置信区间。自2005年以来，这种特定的方法在R软件包中实现;然而，没有任何理论背景。我们说明了蒙特卡罗模拟，这种方法，不像经典的Theil的方法的基础上肯德尔的tau，严重缩小了真正的置信水平的区间。我们还提供了严格的证明，在四个数据点的情况下（一般），并在五个数据点的情况下（在一些附加条件下）;在后一种情况下，与现实生活中的方法使用的例子。总之，我们证明，一个不应该结合统计方法，而不检查其使用的假设，我们也给一个警告已经广泛的社会R用户的泰尔回归从各个科学领域。
2016-09-09 stat.ME
Mathematical modelling European temperature data: spatial differences in global warming
本文分析了网格化的欧洲降水数据。我们将简单的线性回归与聚类等数据挖掘工具相结合，并通过现代自举方法评估结果的强度。我们已经使用了65年来每日温度的0.5级网格，由欧洲气候评估创建。我们通过改变线性回归的起点来检查结果的稳定性-这种方法可能对气候学家寻找评估欧洲全球变暖的“最佳”起点有价值。比较了不同的Bootstrap方法，结果表明相依加权Bootstrap方法是检验估计量显著性的最佳方法。
2018-10-30 stat.AP
Quasi-maximum Likelihood Inference for Linear Double Autoregressive Models
本文针对线性双自回归模型，在仅分数矩条件下提出两种拟极大似然估计量及配套模型选择准则与诊断检验，通过模拟和实例验证了其有效性。
2024-02-01 math.ST stat.ME stat.TH
Adaptive-to-model hybrid of tests for regressions
在回归模型检验中，基于非参数估计的检验通常具有易处理的极限零分布，并且对振荡的替代模型敏感，但是遭受维数灾难。相比之下，基于经验过程的测试可以以最快的速度检测与空模型不同的局部替代方案，但对振荡替代模型和难以处理的限制空分布不太敏感。如何构造一个既能充分继承这两类考试优点又能避免其缺点的考试，一直是一个值得研究的问题。在本文中，我们提出了一个通用的自适应模型的混合矩和条件矩为基础的测试，以实现这一目标。此外，该方法的一个显著特点是使基于非参数估计的检验在备选方案下也具有现有基于经验过程的检验的优点。这种方法可以很容易地应用到其他类型的数据和构建其他杂交。作为充分降维领域的副产品，残差相关中心子空间的估计被用来指示用于模型自适应的底层模型。一个系统的研究，致力于显示当替代模型可以指示，当不能。这种估计是有意义的，也可以应用于其他类型数据的问题。数值研究进行了验证所提出的测试的强大性。
2019-03-09 stat.ME
The conditionally studentized test for high-dimensional parametric regressions
针对无降维结构的高维参数回归模型检验，本文结合样本拆分与条件学生化提出COST，在固定或发散维数下均具渐近正态性并可最快检测局部备择假设。
2023-08-17 stat.ME
Smoothing-based tests with directional random variables
用于评估特定参数模型形式或检查简化假设的可验证性的检验程序在不确定性的数学处理中起着核心作用。通过测试方法不能得到确定的答案，但至少这些答案的不确定性得到了适当的量化。这是针对实际中两种最常见的数据生成机制设计的测试的情况：分布/密度和回归模型。测试建议通常在欧几里得空间上制定，但在非欧几里得设置中出现了重要的挑战，例如当方向变量（即，超球面上的随机向量）。这项工作回顾了一些平滑的密度和回归模型，包括方向变量的测试程序。修订后的建议的渐近分布，连同一些数值说明证明需要采用有效的测试校准的resterning机制。
2020-09-21 stat.ME
Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations
针对多维下常用最近邻和匹配估计量的偏差问题，提出基于K阶Voronoi镶嵌单元多项式最小二乘拟合的修改版本，实现√n速率收敛且无需平滑参数，还通过下界验证了回归函数平滑性的必要性并经模拟验证可行性。
2025-02-14 math.ST stat.ML stat.TH
Model Checking for Regressions Based on Weighted Residual Processes with Diverging Number of Predictors
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；College of Finance and Statistics, Hunan University（湖南大学金融与统计学院）
本文提出基于加权残差过程的检验方法，用于高维回归模型参数形式的检验，在预测变量数量发散时保持显著性水平并有效检测局部替代假设。
2026-07-22 math.ST stat.ME stat.TH
A goodness-of-fit test for the functional linear model with scalar response
在这项工作中，一个良好的拟合检验的原假设的功能线性模型与标量响应。该测试是基于对以前的功能框架的概括，设计用于使用随机投影的多变量协变量回归模型的拟合优度。检验统计量易于使用几何和矩阵参数计算，并且易于通过残差的野生自助法对其分布进行校准。有限样本性质的测试说明了几种类型的基础和不同的替代品下的模拟研究。最后，测试应用于两个数据集，以检查功能线性模型的假设和图形工具。补充材料可在网上查阅。
2020-09-20 stat.ME
Enhancements of nonparametric generalized likelihood ratio test: Bias-correction and dimension reduction
非参数广义似然比检验是回归模型检验中常用的方法。然而，有两个问题可能是其强大的障碍。第一，在其limingnull分布中的偏倚项导致检验不能很好地控制第一类错误，因此需要蒙特卡罗近似法来确定临界值。其次，由于使用多元非参数函数估计，它严重遭受维数灾难。因此，本文的目的是双重的：一个偏置校正建议，这个测试和一个降维为基础的模型自适应增强建议，以提高功率性能。该检验仍具有Wilks现象，且检验统计量能以更快的速度收敛到其极限，比原协变量维数为1的非参数广义似然比检验对其他模型更敏感.模拟研究进行评估有限样本的性能，并与其他常用的测试进行比较。最后以一个实际数据进行了分析。
2015-07-22 stat.ME
Testing for the significance of functional covariates in regression models
考虑了响应变量取值于希尔伯特空间和混合协变量的回归模型。这意味着允许两组回归变量，一组是有限维的，另一组是在希尔伯特空间中取值的函数。我们解决的问题是检验功能协变量的影响。例如，当检查函数数据的某些回归模型的拟合优度时，就会出现这个问题。在具有混合协变量和标量或函数响应的非参数回归中，函数回归量的显着性检验是另一个例子，其中核心问题是对函数协变量的影响的检验。我们提出了一种新的测试核平滑的基础上。在原假设下，如果平滑参数以适当的速率趋于零，则检验统计量是渐近标准正态的。单侧检验与任何固定的替代方案一致，并检测接近原假设的局部替代方案。特别是，我们表明，无论是尺寸的结果，也没有尺寸的功能协变量影响的理论力量的测试对这种地方的替代品。仿真实验和实际数据应用说明了有限样本的新测试的性能。
2014-06-24 math.ST stat.TH
Projection-based nonparametric goodness-of-fit testing with functional covariates
本文研究了随机函数协变量对实值误差项影响的非参数检验问题。协变量取$L^2[0,1]$中的值，$L^2[0,1]$是单位区间上平方可积实值函数的希尔伯特空间。误差项可以直接观察为来自函数参数模型的响应或\emph{estimated}，例如函数线性回归。我们的测试是基于这样的评论，即检查功能协变量的无影响相当于检查误差项的条件期望的无效性，给出了一组足够丰富的协变量投影。这样的投影可以在来自$L^2[0,1]$的有限维子空间的范数为1的元素上。接下来，我们的想法是搜索范数为1的有限维元素，在某种意义上，它对原假设最不利。最后，在给定协变量和所选最不利方向之间的标量积的情况下，仍然要执行误差项的条件期望的零值的非参数检查。对于这种有限维搜索和非参数检查，我们使用基于核的方法。因此，我们的检验统计量是一个基于单变量核平滑的二次型，渐近临界值由标准正态律给出。该测试能够检测非参数的替代品，包括多项式的。误差项可能呈现未知形式的异方差。我们不要求已知协变量$X$的定律。该测试可以很容易地实现，并在仿真和实际数据应用中表现良好。我们说明了我们的测试功能线性回归模型检查的性能。
2012-05-24 math.ST stat.TH
Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula)
Courant Institute of Mathematical Sciences, NYU（纽约大学柯朗数学科学研究所）；EPFL（洛桑联邦理工学院）
近年来，在师生环境中，对广义线性估计问题的各种情形下的渐近重构性能的研究引起了人们极大的兴趣，特别是对于独立同分布标准正规矩阵的情形。在这里，我们超越了这些矩阵，并证明了一个解析公式的重建性能的凸广义线性模型与旋转不变的数据矩阵与任意有界的频谱，严格确认，在适当的假设下，最初使用副本的方法从统计物理推导出的猜想。证明是通过利用消息传递算法及其迭代的统计特性来实现的，从而可以表征估计量的渐近经验分布。对于足够强的凸问题，我们证明了两层向量近似消息传递算法（2-MLVAMP）的收敛性，其中的收敛性分析是通过检查等价动力系统的稳定性来完成的，这给出了此类问题的结果。然后，我们表明，在浓度的假设下，可以进行分析继续扩展的结果凸（非强）的问题。我们说明了我们的索赔与主流的学习方法，如稀疏逻辑斯谛回归和线性支持向量分类器的数值例子，中等规模的模拟和渐近预测之间表现出良好的协议。
2022-11-10 cond-mat.dis-nn cs.IT cs.LG
Spectrum-Aware Debiasing: A Modern Inference Framework with Applications to Principal Components Regression
Harvard University（哈佛大学）
本文提出了一种考虑频谱的去偏方法，用于高维回归，并应用于主成分回归，提供了首个去偏PCR估计器，同时引入了检验信号与协方差矩阵特征向量对齐的原理性检验。
2025-12-31 cs.IT math.IT math.ST
