Asymptotics of sums of regression residuals under multiple ordering of regressors
本文证明了由多重回归变量序的线性模型回归变量建立的经验桥的高斯渐近性定理。我们研究了随机向量分量的线性模型的假设检验：其中一个分量是其他分量的线性组合，直到误差不依赖于随机向量的其他分量。随机向量的独立副本的观测结果按其几个分量的升序顺序排列。其结果是一个序列的向量更高的层面，包括诱导顺序统计量（伴随）对应于不同的排序。对于这个序列的向量，没有一个线性模型的组件的假设，我们证明了一个引理的分布的适当的中心化和规范化的过程，一个中心高斯过程几乎必然连续的轨迹。假设组分之间存在线性关系，则使用标准最小二乘估计计算回归残差--响应值与线性模型预测值之间的差值。证明了回归残差过程在必要的中心高斯过程归一化下的弱收敛定理。
2021-06-14 math.ST stat.TH
Uniform convergence rates over maximal domains in structural nonparametric cointegrating regression
在结构非线性协整回归模型下，本文给出了回归核估计的一致收敛性。我们从三个方面概括现有的文献。首先，这些速率适用的域比以前考虑的要宽得多，并且可以被选择为在极限中包含所需的大部分样品。第二，我们的研究结果允许回归干扰是连续相关的，并与回归变量交叉相关;以前的工作在这个问题上（获得统一的利率）已完全局限于设置一个外生回归。第三，我们允许带宽是数据依赖的，只需要它满足一定的弱渐近收缩条件。我们对回归量过程的假设与标准单位根自回归模型的非常广泛的偏离是一致的，允许回归量被分数积分，并且具有无穷大的方差（甚至无穷大的低阶矩）。
2015-05-07 math.ST stat.TH
Some Theoretical Results Concerning Time-varying Nonparametric Regression with Local Stationary Regressors and Error
关于李和游在Journal of Applied Statistics and Management中提出的一个三步估计方法，对于具有时变回归函数、局部平稳回归变量和时变AR（p）（tvAR（p））误差过程的非参数回归模型，我们建立了每个估计的所有必要的渐近性质.给出了非参数回归函数初估计的收敛速度和渐近正态性，建立了误差项中时变系数函数的渐近分布，并给出了非参数回归函数加细估计的渐近性质.此外，对于变量选择的ULASSO方法和误差项结构的常系数检测，我们证明了ULASSO估计能够一致地识别真实的误差项结构.我们进行了两个模拟研究，以说明有限样本性能的估计和验证我们的理论讨论的性质的估计。
2020-10-24 math.ST stat.ME stat.TH
Estimation in semi-parametric regression with non-stationary regressors
本文考虑了一类部分线性模型，其形式为$Y_t=X_t^τθ_0+g(V_t)+ε_t$，$t=1,...,n$，其中$\{V_t\}$是$β$零回归马氏链，$\{X_t\}$是严格平稳或非平稳回归序列，$\{ε_t\}$是平稳序列.我们建议估计$θ_0$和$g(\cdot)$的半参数最小二乘（SLS）估计方法。在一定的条件下，我们然后表明，建议的SLS估计的$θ_0$仍然是渐近正态的平稳时间序列的情况下，具有相同的速度。此外，我们还建立了函数$g(\cdot)$的非参数估计的渐近分布。数值算例表明，本文的理论和估计方法在实际中是有效的。
2012-05-15 math.ST stat.TH
Connecting model-based and model-free approaches to linear least squares regression
本文在包含响应和回归向量的线性回归设定中，证明经典基于模型的p值具有纯数据驱动的无模型解释，并引入了无模型背景下的等价区域概念。
2025-01-31 math.ST stat.TH
Misspecified regressions with mixed regressors: robust inference and causal interpretation
University of Southern California（南加州大学）；UC Berkeley（加州大学伯克利分校）
研究在含随机与固定成分的混合回归变量且模型可能误设情况下的回归问题，通过建立估计方程一般结果分析误设线性回归，专注回归系数与标准误差因果解释，还从独立数据扩展到聚类数据。
2026-07-13 econ.EM math.ST stat.ME
With random regressors, least squares inference is robust to correlated errors with unknown correlation structure
该研究针对随机回归元下的线性回归场景，突破传统固定回归元理论框架，通过自归一化统计量的概率分析证明t统计量渐近正态性，发现误差相关在弱信号下可提升检验势，拓展了线性回归适用范围，印证了随机化对推断鲁棒性的价值。
2024-10-10 math.ST stat.ME stat.TH
Inference for high-dimensional instrumental variables regression
本文研究了高维回归参数中各分量的统计推断问题，尽管每个回归变量可能是内禀的。给定第一阶段线性模型的内生回归和第二阶段线性模型的因变量，我们开发了一个新的适应的参数一步更新的通用第二阶段估计。我们提供的条件下，缩放更新是渐近正常的。然后，我们介绍了一个两阶段的Lasso过程，并证明了第二阶段的Lasso估计满足上述条件。利用这些结果，我们构造了第二阶段回归系数分量的渐近有效置信区间。我们补充我们的渐近理论与模拟研究，证明了我们的方法在有限样本的性能。
2019-11-21 math.ST stat.TH
A Mixture of g-priors for Variable Selection when the Number of Regressors Grows with the Sample Size
本文研究了$g$ -先验混合线性回归中的变量选择问题。在文献中提出了许多工作良好的混合物，特别是当回归变量$p$的数量固定时。在本文中，我们提出了一种混合的$g$先验适合的情况下，当$p$增长的样本量$n$。我们研究的性能的基础上提出的先验时，$p=O(n^b),~0<b<1$的方法。随着模型选择的一致性，我们还研究了性能的建议之前，真正的模型不属于模型空间考虑。当考虑正常线性模型时，我们找到了所提出的先验在适当意义下是一致的条件。此外，我们考虑的情况下，在回归模型中的非正态误差和研究的模型选择过程的性能。我们还比较了性能的建议之前与其他几个混合物在文献中，无论是理论上和使用模拟数据集。
2015-04-15 math.ST stat.TH
Global Fréchet regression from time correlated bivariate curve data in manifolds
本文针对有限维紧致黎曼流形中严格平稳双变量曲线过程，提出基于加权Fréchet均值的全局Fréchet回归方法，推导其一致弱一致性，并通过球面模拟和MAGSAT真实数据验证有效性。
2025-02-13 math.ST stat.TH
Beyond Discrepancy: Oracle Drift in Nonstationary Weighted Risk Minimization
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究针对非平稳加权风险最小化，提出将漂移误差与最优预测器移动关联的神谕漂移分析，发现偏差型量过于保守，结合线性回归的精确差距刻画与估计保证，并扩展至非参数回归。
2026-10-12 math.ST stat.ML stat.TH
Robust Estimation and Inference for Expected Shortfall Regression with Many Regressors
期望短缺（Expected Shortfall，ES），又称超分位数或条件风险值，是风险分析和随机最优化中的重要度量，并在其他领域得到了广泛应用。在金融中，它指的是资产的条件预期回报，假设回报低于其分布的某个分位数。在本文中，我们考虑了最近提出的联合回归框架，同时模拟的分位数和ES的响应变量给定一组协变量，最先进的方法是基于最小化的联合损失函数，是不可微的和非凸的。这不可避免地带来了数值挑战，并限制了其分析大规模数据的适用性。出于使用奈曼正交分数的想法，以减少灵敏度方面的滋扰参数，我们提出了一个统计上强大的（高度倾斜和重尾数据）和计算效率高的两步程序拟合联合分位数和ES回归模型。随着协变量维数的增加，我们建立了估计和高斯近似误差的显式非渐近界，这为统计推断奠定了基础。最后，我们通过数值实验和两个数据应用程序证明，我们的方法很好地平衡了预期短缺回归的鲁棒性，统计和数值效率。
2022-12-11 math.ST stat.ME stat.TH
Conditional least squares estimation in nonstationary nonlinear stochastic regression models
设$\{Z_n\}$是一个实非平稳随机过程，使得$E(Z_n|{\mathcaligr F}_{n-1})\stackrel{\mathrm{a.s.}}{<}\infty$和$E(Z^2_n|{\mathcaligr F}_{n-1})\stackrel{\mathrm{a.s.}}{<}\infty$，其中$\{{\mathcaligr F}_n\}$是$σ$ -代数的增序列.假设有$E(Z_n|{\mathcaligr F}_{n-1})=g_n(θ_0,ν_0)=g^{(1)}_n(θ_0)+g^{(2)}_n(θ_0,ν_0)$，$θ_0\in{\mathbb{R}}^p$，$p<\infty$，$ν_0\in{\mathbb{R}}^q$和$q\leq\infty$，我们研究了$\hatθ_n:=\arg\min_θ\sum_{k=1}^n(Z_k-g_k({θ,\hatν}))^2λ_k^{-1}$的渐近性质，其中$λ_k$是${\mathcaligr F}_{k-1}$可测的，$\hatν=\{\hatν_k\}$是$ν_0$的估计序列，$g_n(θ,\hatν)$是$θ$中的Lipschitz，$g^{(2)}_n(θ_0,\hatν)-g^{(2)}_n(θ,\hatν)$相对于$g^{(1)}_n(θ_0)-g^{(1)}_n(θ)$渐近可忽略.首先，我们推广…
2010-01-13 math.ST stat.TH
Extremal quantile regression
分位数回归是估计给定协变量向量X的响应Y的条件分位数的重要工具。它不仅可以用来衡量协变量在分布中心的影响，而且可以用来衡量协变量在上尾和下尾的影响。本文发展了尾部分位数回归理论。具体地说，研究了尾部限制在最小吸引域且在回归变量值的尾部等价下闭的线性分位数回归模型的极值（极值阶和中间阶）分位数回归估计的大样本性质.这种建模设置结合了极值理论的限制与领先的同方差和异方差线性规格的回归分析。在大样本下，极阶回归分位数弱收敛于依赖于回归变量的Poisson过程随机积分的\argmin泛函，而中间回归分位数及其泛函收敛于方差矩阵依赖于尾部参数和回归变量设计的法向量.
2005-05-30 econ.EM math.ST stat.TH
Bootstrap inference in functional linear regression models with scalar response under heteroscedasticity
针对异方差函数线性回归模型，提出去偏配对Bootstrap方法，建立中心极限定理，实现更有效的置信区间与假设检验。
2024-05-23 math.ST stat.TH
Least-Squares Linear Dilation-Erosion Regressor Trained using a Convex-Concave Procedure
University of Campinas（坎皮纳斯大学）
本文提出了一种用于回归任务的混合形态神经网络，称为线性膨胀-侵蚀回归器（$\ell$ -DER）。一个$\ell$ -DER是由线性和形态算子的组合的凸组合。它们产生连续的分段线性函数，因此是通用的逼近器。除了介绍$\ell$ -DER模型，我们制定了他们的培训作为一个差异的凸（DC）规划问题。准确地说，$\ell$ -DER是通过使用凹凸过程（CCP）最小化最小二乘来训练的。使用几个回归任务的计算实验证实了所提出的回归器的功效，优于其他混合形态模型和最先进的方法，如多层感知器网络和径向基支持向量回归器。
2022-09-06 cs.AI cs.LG math.OC
Multiscale Asymptotic Normality in Quantile Regression: Hilbert Matrices and Polynomial Designs
本文研究多项式设计下分位数回归估计量的渐近正态性，推导出由Hilbert矩阵刻画的协方差结构与各系数显式尺度率，并提出松弛置信区间以改善重尾噪声下的有限样本覆盖。
2025-06-06 math.ST stat.TH
Beyond the Oracle Property: Adaptive LASSO in Cointegrating Regressions with Local-to-Unity Regressors
Institute of Statistics and Mathematical Methods in Economics, TU Wien（维也纳工业大学统计与数学方法经济学研究所）
本文提出了一种在协整回归中适用于局部至单位回归器的自适应LASSO方法，通过构建有效且可靠的置信区间，解决了传统Oracle性质在有限样本下的局限性。
2026-03-12 econ.EM math.ST stat.ME
Positive definiteness of the asymptotic covariance matrix of OLS estimators in parsimonious regressions
最近，Ghysels，Hill和Motegi（2020）提出了一种检验方法，用于检查线性回归模型中的大量系数是否为零。该测试称为最大值测试。检验统计量的计算方法是：首先运行多个普通最小二乘（OLS）回归，每个回归仅包括一个关键回归量，其系数假定在零值下为零，然后取这些关键回归量的平方OLS系数估计值的最大值。他们称这些回归为简约回归。本文回答了他们在注2.4中提出的一个问题：简约回归中OLS估计量的渐近协方差阵是否一般正定。本文证明了它一般是正定的，其结果可用来方便地计算max检验所需的模拟p值。
2020-10-26 math.ST stat.ME stat.TH
Shape-Constrained Regression using Sum of Squares Polynomials
我们提出了一个层次的半定程序（SDPs）的问题拟合的形状约束（多元）多项式的噪声评价一个未知的形状约束函数。这些形状约束包括凸性或单调性的框。我们表明，多项式函数是最佳的任何固定水平，我们的层次结构形成一致的估计的基本形状约束的功能。作为证明的副产品，我们建立了平方和凸多项式是稠密的多项式是凸的一个任意框。对单调多项式建立了一个类似的平方和型密度结果。此外，我们分类的复杂性，凸和单调的多项式回归的多项式回归的次数的函数。虽然我们的结果显示了这些问题在三度或更大程度上的NP-硬度，但我们可以通过数值检验我们基于SDP的回归器通常在层次结构的低级别上实现类似的训练错误。最后，在计算方面，我们提出了一个经验比较我们的基于SDP的凸回归与凸最小二乘估计在[Hildreth，1954]和[Holloway，1979]，并表明我们的回归是有价值的设置中的数据点的数量是大的，尺寸是相对较小的。我们证明了我们的回归计算最优输运地图的颜色转移任务的问题，估计一个圆锥规划的最优值函数的性能。后一个问题的库存管理合同谈判的实时应用。
2022-10-28 cs.CC math.OC math.ST
The relative effects of dimensionality and multiplicity of hypotheses on the F-test in linear regression
最近，几位作者在“大p，大n”框架中重新研究了经典F检验在线性回归中的功效（参见：Zhong和Chen（2011），Wang和Cui（2013））。他们强调了随着回归量p相对于样本量n的增加而损失的功效。这些论文基本上只关注所有p斜率系数等于零的原假设的总体检验。在这里，我们考虑在（p+1）维回归参数向量上检验q个线性假设的一般情况，该向量包括p个斜率系数和一个截距参数。在高斯设计的情况下，我们描述了局部渐近幂函数的依赖性的参数p的相对数量和数量的假设q进行测试，表明维数的负面影响是不太严重，如果假设的数量是小的。利用Srivastava和Vershynin（2013）关于高维样本协方差阵的最新工作，我们也能够基本上推广非高斯回归的先前结果。
2016-11-07 math.ST stat.TH
Asymptotic Normality of the Additive Regression Components for Continuous Time Processes
在多元回归估计中，收敛的收敛速率取决于回归变量的维数。这个事实，被称为维度的诅咒，激发了几个作品。Stone（10）引入的加法模型为这个问题提供了一个有效的解决方案。在连续时间过程的情形下，利用边际积分方法，得到了可加模型各分量的平方收敛速率和渐近正态性。
2008-02-23 math.ST stat.TH
Quantile regression approach to conditional mode estimation
在本文中，我们考虑估计的条件模式的结果变量给定的回归。为此，我们提出并分析了一个计算可扩展的估计来自一个线性分位数回归模型，并发展渐近分布理论的估计。具体来说，我们发现，逐点极限分布是一个规模的转换，尽管存在的回归的Dalloff的分布。此外，我们考虑分析和基于子采样的置信区间的建议估计。我们还进行蒙特卡罗模拟来评估所提出的估计量的有限样本性能以及分析和子采样置信区间。最后，我们应用所提出的估计预测净小时发电量使用联合循环电厂数据。
2019-07-29 math.ST stat.ME stat.TH
L1-Penalized Quantile Regression in High-Dimensional Sparse Models
我们考虑中位数回归，更一般地说，在高维稀疏模型的分位数回归的可能无限的集合。在这些模型中，回归量$p$的总数非常大，可能大于样本量$n$，但这些回归量中只有$s$对响应变量的条件分位数具有非零影响，其中$s$的增长速度慢于$n$。我们考虑分位数回归惩罚的$\ell_1$ -范数的系数（$\ell_1$ -QR）。首先，我们证明了$\ell_1$ -QR在速率$\sqrt{s/n} \sqrt{\log p}$上是一致的。回归变量$p$的总数仅通过$\log p$因子影响速率，因此零影响回归变量的数量几乎呈指数增长性增长。速率结果在相对弱的条件下成立，要求$s/n$以超对数速度收敛到零，并且正则化参数满足某些理论约束。其次，我们提出了一个关键的，数据驱动的正则化参数的选择，并表明它满足这些理论约束。第三，我们表明，$\ell_1$ -QR正确地选择真正的最小模型作为一个有效的子模型，当非零系数的真实模型是从零分离。我们还证明了$\ell_1$ -QR中非零系数的个数与$s$具有相同的随机序.第四，我们分析了两步估计的收敛速率，该估计将普通分位数回归应用于所选模型。第五，我们评估的性能$\ell_1$ -QR在蒙特卡洛实验，并说明其使用的国际经济增长的应用。
2019-09-26 econ.EM math.PR math.ST
Unlocking the Regression Space
Queen Mary University of London（伦敦大学玛丽女王学院）；King’s College London（伦敦国王学院）
本文提出了一种框架，用于处理回归建模中的异质性。通过OLS和时间变化OLS方法，估计固定或时间变化参数的回归模型，并在更广泛的回归器和噪声过程中应用。该框架促进了渐近理论的发展和稳健标准误差的估计。
2025-11-10 econ.EM math.ST stat.TH
The Loss Rank Principle for Model Selection
我们介绍了一个新的原则，在回归和分类模型的选择。许多回归模型由一些平滑性或灵活性或复杂性参数c控制，例如，在k最近邻（kNN）回归中要平均的邻居的数量或在多项式回归中的多项式次数。设f_D^c是数据D上复杂度c的（最佳）回归量。一个更灵活的回归变量可以比一个更刚性的回归变量更好地拟合更多的数据D'。我们将f_D^c的损失秩定义为其他（虚构的）数据D'的数量，这些数据D'被f_D ^c拟合得比D被f_D ^c拟合得更好。我们建议选择具有最小损失秩（LoRP）的模型复杂度c。与大多数惩罚最大似然变量（AIC、BIC、MDL）不同，LoRP仅取决于回归函数和损失函数。它在没有随机噪声模型的情况下工作，并且直接适用于任何非参数回归量，如kNN。在本文中，我们形式化，讨论和激励LoRP，研究它的特定回归问题，特别是线性的，并将其与其他模型选择方案进行比较。
2007-02-27 cs.LG math.ST stat.ME
Inference for function-on-function regression: central limit theorem and residual bootstrap
Kent State University（肯特州立大学）
本文研究了函数-函数回归模型的渐近推断，通过基于函数主成分分析的估计器，改进了中心极限定理并引入残差自助法以提升置信区间校准，通过数值实验验证了其优越性。
2026-03-12 math.ST stat.ME stat.TH
Selection consistency of Lasso-based procedures for misspecified high-dimensional binary model and random regressors
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Warsaw University of Technology（华沙理工大学）
本文考虑了一般损失函数下二元响应的高维回归问题的随机预测变量的选择问题。重要的特殊情况是二元模型为半参数模型，并且在参数模型拟合下错误指定了响应函数。选择这样一个场景的目的是恢复支持的相关风险最小化的大概率。我们提出了一个两步选择过程，包括筛选和排序预测的Lasso方法，然后选择一个子集的预测，最小化相应的嵌套系列的模型的广义信息准则。我们证明的选择方法的条件下，允许更大的预测数量比观察的一致性。对于半参数情形，当随机预测变量的分布满足线性回归条件时，真实参数和估计参数是共线的，并且它们的公共支持度可以一致地确定。
2019-06-10 cs.LG math.ST stat.ME
Covariate Balancing and Riesz Regression Should Be Guided by the Neyman Orthogonal Score in Debiased Machine Learning
Data Analytics Department, Mizuho-DL Financial Technology, Co., Ltd.（摩根大通数字技术财务科技部门）
本文指出，在去偏机器学习中，平衡函数应基于奈曼正交分数推导，而非仅作为协变量函数。协变量平衡在回归误差可由协变量表示时有效，但针对处理效应异质性下的ATE估计，分数误差通常包含处理特定成分，因此提倡通过里斯回归实现回归平衡。
2026-05-07 cs.LG econ.EM math.ST
Prediction-Powered Causal Inference by Automatic Debiased Machine Learning and Semi-Supervised Riesz Regression
University of Tokyo（东京大学）
研究半监督设置下因果参数的半参数有效估计，通过结合去偏机器学习和半监督Riesz回归，提出DML-PPCI和TMLE-PPCI方法，实现比仅用标注数据更小的渐近方差。
2026-06-12 cs.LG econ.EM math.ST
