Inference for high-dimensional instrumental variables regression
本文研究了高维回归参数中各分量的统计推断问题，尽管每个回归变量可能是内禀的。给定第一阶段线性模型的内生回归和第二阶段线性模型的因变量，我们开发了一个新的适应的参数一步更新的通用第二阶段估计。我们提供的条件下，缩放更新是渐近正常的。然后，我们介绍了一个两阶段的Lasso过程，并证明了第二阶段的Lasso估计满足上述条件。利用这些结果，我们构造了第二阶段回归系数分量的渐近有效置信区间。我们补充我们的渐近理论与模拟研究，证明了我们的方法在有限样本的性能。
2019-11-21 math.ST stat.TH
Extremal quantile regression
分位数回归是估计给定协变量向量X的响应Y的条件分位数的重要工具。它不仅可以用来衡量协变量在分布中心的影响，而且可以用来衡量协变量在上尾和下尾的影响。本文发展了尾部分位数回归理论。具体地说，研究了尾部限制在最小吸引域且在回归变量值的尾部等价下闭的线性分位数回归模型的极值（极值阶和中间阶）分位数回归估计的大样本性质.这种建模设置结合了极值理论的限制与领先的同方差和异方差线性规格的回归分析。在大样本下，极阶回归分位数弱收敛于依赖于回归变量的Poisson过程随机积分的\argmin泛函，而中间回归分位数及其泛函收敛于方差矩阵依赖于尾部参数和回归变量设计的法向量.
2005-05-30 econ.EM math.ST stat.TH
Bootstrap inference in functional linear regression models with scalar response under heteroscedasticity
针对异方差函数线性回归模型，提出去偏配对Bootstrap方法，建立中心极限定理，实现更有效的置信区间与假设检验。
2024-05-23 math.ST stat.TH
Power analysis for a linear regression model when regressors are matrix sampled
多重矩阵抽样是一种调查方法技术，它随机选择一个相对较小的项目子集向调查受访者提供，以减轻受访者的负担。产生的数据是完全随机缺失的（MCAR），在线性回归和其他多元统计分析中应使用特殊的缺失数据技术。我们推导出回归参数估计值的渐近方差，使我们能够对通过多矩阵抽样设计获得的数据拟合的线性回归模型进行功效分析。这些想法是通过大五心理特质清单的一个变体来证明的。回归参数空间的探索表明，不稳定的样本量的要求，和大量的损失与矩阵采样回归的精度。非正态数据的模拟表明了半参数多重插补方案的优点。
2017-09-30 stat.ME stat.OT
Adaptive estimation in the linear random coefficients model when regressors have limited variation
我们考虑一个线性模型，其中的系数-截距和斜率-是随机的，在一个非参数类的法律和独立的回归。识别往往需要回归变量有一个支持，这是整个空间。在实践中，情况几乎从来不是这样。或者，系数可以有一个紧支撑，但这与回归模型中常见的无界误差项不兼容。在本文中，回归变量可以有一个支持，这是一个真子集，但斜率（而不是截距）没有重尾。在很宽的光滑度范围内，得到了随机系数密度联合密度估计的上确界风险的下界，其中一些允许多项式和近参数收敛率。我们提出了一个极大极小最优估计，一个数据驱动的自适应估计规则，并提供了一个R包。
2020-06-19 math.ST stat.TH
Multiscale Asymptotic Normality in Quantile Regression: Hilbert Matrices and Polynomial Designs
本文研究多项式设计下分位数回归估计量的渐近正态性，推导出由Hilbert矩阵刻画的协方差结构与各系数显式尺度率，并提出松弛置信区间以改善重尾噪声下的有限样本覆盖。
2025-06-06 math.ST stat.TH
The relative effects of dimensionality and multiplicity of hypotheses on the F-test in linear regression
最近，几位作者在“大p，大n”框架中重新研究了经典F检验在线性回归中的功效（参见：Zhong和Chen（2011），Wang和Cui（2013））。他们强调了随着回归量p相对于样本量n的增加而损失的功效。这些论文基本上只关注所有p斜率系数等于零的原假设的总体检验。在这里，我们考虑在（p+1）维回归参数向量上检验q个线性假设的一般情况，该向量包括p个斜率系数和一个截距参数。在高斯设计的情况下，我们描述了局部渐近幂函数的依赖性的参数p的相对数量和数量的假设q进行测试，表明维数的负面影响是不太严重，如果假设的数量是小的。利用Srivastava和Vershynin（2013）关于高维样本协方差阵的最新工作，我们也能够基本上推广非高斯回归的先前结果。
2016-11-07 math.ST stat.TH
Asymptotic Normality of the Additive Regression Components for Continuous Time Processes
在多元回归估计中，收敛的收敛速率取决于回归变量的维数。这个事实，被称为维度的诅咒，激发了几个作品。Stone（10）引入的加法模型为这个问题提供了一个有效的解决方案。在连续时间过程的情形下，利用边际积分方法，得到了可加模型各分量的平方收敛速率和渐近正态性。
2008-02-23 math.ST stat.TH
Linear Regression with Weak Exogeneity
本文研究大量回归元下弱外生性导致的 OLS 偏差与不一致问题，提出一种新的偏差校正估计量，并证明其一致性、条件渐近高斯性及相应推断方法。
2024-01-17 econ.EM stat.ME
Quantile regression approach to conditional mode estimation
在本文中，我们考虑估计的条件模式的结果变量给定的回归。为此，我们提出并分析了一个计算可扩展的估计来自一个线性分位数回归模型，并发展渐近分布理论的估计。具体来说，我们发现，逐点极限分布是一个规模的转换，尽管存在的回归的Dalloff的分布。此外，我们考虑分析和基于子采样的置信区间的建议估计。我们还进行蒙特卡罗模拟来评估所提出的估计量的有限样本性能以及分析和子采样置信区间。最后，我们应用所提出的估计预测净小时发电量使用联合循环电厂数据。
2019-07-29 math.ST stat.ME stat.TH
Nonparametric estimation in functional linear models with second order stationary regressors
考虑函数线性回归中斜率参数的估计问题，其中标量响应Y1，.，Yn依赖于二阶平稳随机函数X1，.，Xn.一个正交系列估计的功能斜率参数与额外的阈值在傅立叶域中的建议和其性能的测量相对于广泛的加权风险覆盖作为示例的均方预测误差和平均积分平方误差的衍生估计。本文在斜率参数的不同正则性空间和协方差算子的不同连接条件下，导出了估计量在一大类正则性空间上的极小极大最优收敛速率。这些一般结果通过著名的周期函数的索伯列夫空间作为斜率参数的正则性空间以及有限或无限平滑协方差算子的情况的具体例子来说明。
2009-01-27 math.ST stat.TH
L1-Penalized Quantile Regression in High-Dimensional Sparse Models
我们考虑中位数回归，更一般地说，在高维稀疏模型的分位数回归的可能无限的集合。在这些模型中，回归量$p$的总数非常大，可能大于样本量$n$，但这些回归量中只有$s$对响应变量的条件分位数具有非零影响，其中$s$的增长速度慢于$n$。我们考虑分位数回归惩罚的$\ell_1$ -范数的系数（$\ell_1$ -QR）。首先，我们证明了$\ell_1$ -QR在速率$\sqrt{s/n} \sqrt{\log p}$上是一致的。回归变量$p$的总数仅通过$\log p$因子影响速率，因此零影响回归变量的数量几乎呈指数增长性增长。速率结果在相对弱的条件下成立，要求$s/n$以超对数速度收敛到零，并且正则化参数满足某些理论约束。其次，我们提出了一个关键的，数据驱动的正则化参数的选择，并表明它满足这些理论约束。第三，我们表明，$\ell_1$ -QR正确地选择真正的最小模型作为一个有效的子模型，当非零系数的真实模型是从零分离。我们还证明了$\ell_1$ -QR中非零系数的个数与$s$具有相同的随机序.第四，我们分析了两步估计的收敛速率，该估计将普通分位数回归应用于所选模型。第五，我们评估的性能$\ell_1$ -QR在蒙特卡洛实验，并说明其使用的国际经济增长的应用。
2019-09-26 econ.EM math.PR math.ST
Optimal Uniform Convergence Rates and Asymptotic Normality for Series Estimators Under Weak Dependence and Weak Conditions
我们证明了弱相依回归变量的样条和小波级数回归估计达到Stone（1982）的最优一致（即超范数）收敛速度$(n/\log n)^{-p/(2p+d)}$，其中$d$是回归变量的个数，$p$是回归函数的光滑性.即使对于$d/p<2$具有有限$(2+(d/p))$阶绝对矩的重尾鞅差误差，也能获得最优速率.在较弱的条件下，我们还建立了条件均值函数的可能非线性、非正则泛函的t统计量的渐近正态性。通过导出一个新的弱相依随机矩阵和的指数不等式，证明了上述结果。
2015-03-10 math.ST stat.TH
Quantile Regression Tree
本研究提出Quantile Regressor Tree（QRT），通过结合分位数回归与决策树，利用特征分裂引入非线性，在保持可解释性的同时增强了灵活性，为高维预测变量提供参数与非参数混合的条件分位数估计方法。
2024-07-27 stat.AP
Unlocking the Regression Space
Queen Mary University of London（伦敦大学玛丽女王学院）；King’s College London（伦敦国王学院）
本文提出了一种框架，用于处理回归建模中的异质性。通过OLS和时间变化OLS方法，估计固定或时间变化参数的回归模型，并在更广泛的回归器和噪声过程中应用。该框架促进了渐近理论的发展和稳健标准误差的估计。
2025-11-10 econ.EM math.ST stat.TH
Inference for function-on-function regression: central limit theorem and residual bootstrap
Kent State University（肯特州立大学）
本文研究了函数-函数回归模型的渐近推断，通过基于函数主成分分析的估计器，改进了中心极限定理并引入残差自助法以提升置信区间校准，通过数值实验验证了其优越性。
2026-03-12 math.ST stat.ME stat.TH
A Robust Permutation Test for Subvector Inference in Linear Regressions
提出一种用于线性模型系数子向量推断的稳健置换检验，证明其在独立条件下精确，放宽条件后渐近正确且具功效，模拟表明层数较小时实际功效良好。
2023-09-12 econ.EM stat.ME
Identification of Linear Regressions with Errors in all Variables
本文研究所有变量均含测量误差的线性回归模型，给出系数可识别的充要条件，并提出基于对数特征函数二阶导数的连续矩新估计量，模拟表现良好且稳健，应用结果与广义矩方法相似。
2021-03-23 stat.ME
A non-inferiority test for R-squared with random regressors
确定结果变量和许多不同的解释变量之间缺乏相关性通常是必要的，以便忽略所提出的模型。本文提出了一种非劣性检验的决定系数（或平方多重相关系数），R平方，在线性回归分析与随机预测。该检验是通过基于比例中心F分布反转单侧置信区间得出的。
2020-02-21 stat.ME
Functional Factor Regression with an Application to Electricity Price Curve Modeling
本文提出一种对回归量施加因子结构的函数型线性回归模型，通过函数型特征值差异检验确定因子数并建立渐近正态性，应用于三个能源市场的电价曲线预测，精度媲美机器学习方法且提供有效推断。
2025-08-07 econ.EM stat.ME
Sparse Linear Regression With Missing Data
Wisconsin Institutes for Discovery（威斯康星发现研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种在有缺失数据的情况下进行稀疏回归的快速、准确的方法。底层统计模型封装了不完整数据矩阵的低维结构和回归系数的稀疏性，所提出的算法联合学习数据的低维结构和具有稀疏系数的线性回归器。建议的随机最优化方法，稀疏线性回归与缺失数据（SLRM），执行交替最小化过程和规模以及与问题的大小。大偏差不等式揭示了各种问题相关参数对学习回归量的预期平方损失的影响。在合成数据集和真实数据集上进行的大量仿真表明，SLRM在各种情况下都优于竞争算法。
2015-03-28 cs.LG stat.ME stat.ML
Models as Approximations I: Consequences Illustrated with Linear Regression
在20世纪80年代早期，Halbert White开创了一种基于标准误的“三明治估计量”的“模型稳健”形式的统计推断。该估计量已知是“异方差一致的”，但它的“非线性一致性”也不太为人所知。然而，非线性引起了根本性的问题，因为在它的存在下，回归量不是辅助的，因此不能被视为固定的。其后果是深刻的：（1）总体斜率需要被重新解释为从OLS得到的统计泛函，其拟合很大程度上是任意的联合$\xy$分布;（2）斜率参数的含义需要重新考虑;（3）回归变量分布影响斜率参数;（4）回归变量的随机性成为斜率估计中抽样变异性的来源;（5）~推断需要基于模型稳健的标准误，包括夹心估计或$\xy$ ~bootstrap。理论上，模型稳健和模型信任标准误可以以任意幅度偏离。在实践中，它们之间的显著偏差可以通过诊断测试来检测。
2019-07-06 stat.ME
Conditional Quantile Processes based on Series or Many Regressors
Quantile regression (QR) is a principal regression method for analyzing the impact of covariates on outcomes. The impact is described by the conditional quantile function and its functionals. In this paper we develop the nonparametric QR-series framework, covering many regressors as a special case, for performing inference on the entire conditional quantile function and its linear functionals. In this framework, we approximate the entire conditional quantile function by a linear combination of series terms with quantile-specific coefficients and estimate the function-valued coefficients from t…
2018-08-09 econ.EM math.ST stat.ME
k-NN Regression Adapts to Local Intrinsic Dimension
许多非参数回归最近被证明收敛的速度只取决于数据的内在维度。因此，当高维数据具有较低的内在维数（例如流形）时，这些回归量就可以避免维数灾难。我们表明，k-NN回归也是自适应的内在维度。特别是，我们的速率是本地的查询x，只取决于以x为中心的球的质量随半径变化的方式。此外，我们展示了一种简单的方法来选择k = k（x）在任何x的本地，以便几乎实现在x的极小极大率在x的未知的内在尺寸在附近的。我们还建立了极大极小率不依赖于度量空间或分布的特定选择，而是这种极大极小率对任何度量空间和加倍测度都成立。
2011-10-19 stat.ML
Minimax-optimal semi-supervised regression on unknown manifolds
Weizmann Institute of Science（魏茨曼科学研究所）
我们考虑半监督回归时，预测变量是从一个未知的流形。解决这个问题的一个简单的两步方法是：（i）使用标记和未标记的实例来估计任何一对点之间的流形测地线距离;以及（ii）基于这些距离估计应用k最近邻回归量。我们证明了足够多的未标记的点，这种简单的方法测地线kNN回归达到最佳的有限样本极大极小界的均方误差，如果已知的流形。此外，我们展示了如何可以有效地实现这种方法，只需要O（k N log N）的操作来估计所有N个标记和未标记点的回归函数。我们在两个具有流形结构的数据集上说明了这种方法：使用WiFi指纹的室内定位和面部姿态估计。在这两种情况下，测地线kNN比流行的拉普拉斯特征向量回归更准确，更快。
2017-03-06 cs.LG stat.ML
Asymptotic equivalence of non-parametric regression with spherical regressors and Gaussian white noise
Universität Bayreuth（拜罗伊特大学）
该研究证明了球形t-设计与随机均匀设计在非参数回归中渐近等价于高斯白噪声实验，同时确定了光滑性假设的尖锐性。
2026-08-25 math.ST stat.TH
High dimensional stochastic regression with latent factors, endogeneity and nonlinearity
我们考虑一个多元时间序列模型，它将一个高维向量过程表示为三项之和：一些观测到的回归变量的线性回归，一些潜在的和序列相关的因素的线性组合，以及向量白噪声。我们调查的推断，而不施加平稳条件的目标多元时间序列，回归和潜在的因素。并进一步讨论了观测回归量与未观测因子之间存在相关性的假设。我们还考虑了带有非线性回归项的模型，它可以用一个含有大量回归变量的线性回归函数来近似。在时间序列维数、回归系数个数和样本量均趋于无穷大的情况下，建立了回归系数、因子个数、因子加载空间和因子估计量的收敛速度.仿真和实际数据的例子说明了所提出的方法。
2015-11-13 math.ST stat.TH
Three-group variance-ratio tests for heteroscedasticity in linear regression: an exact null distribution and an outlier-resistant version
Alexandria University（亚历山大大学）
提出一种线性回归异方差性检验方法，通过排序分组比较误差尺度，精确零分布且抗离群值，在多种模拟设置中功效优于现有检验，并支持沿时间变化的方差检测。
2026-10-02 stat.AP stat.ME
Markov-Modulated Linear Regression
经典的线性回归被认为是回归参数依赖于外部随机环境的情况下。最后一个被描述为一个具有有限状态空间的连续时间马尔可夫链。在这里，在不同状态下的预期逗留时间是额外的回归变量。导出了估计回归参数的必要公式。数值例子说明了所得结果。
2019-01-28 stat.ME
Two-step estimation in linear regressions with adaptive learning
弱的一致性和渐近正态性的普通最小二乘法估计的线性回归与自适应学习时，导出的关键，所谓的，“增益”参数估计在第一步由非线性最小二乘法从辅助模型。两步估计量的奇异极限分布是正态分布，并且通常受第一步抽样不确定性的影响。然而，这种“生成回归量”的问题在某些参数组合中消失了。
2022-11-02 econ.EM stat.AP
SPACR: Single-Pass Adaptive Training of Uncertainty-Aware Conformal Regressors
Heudiasyc - UMR CNRS 7253, Université de Technologie de Compiègne（法国贡比涅技术大学 - CNRS 7253联合实验室 Heudiasyc）
提出SPACR方法，通过可微损失直接训练不确定性感知回归器，联合优化效率和有效性，无需批分割或预定义置信水平，单个模型在推理时支持多置信水平预测区间，实验表明其区间更窄、覆盖-效率权衡更优且计算成本更低。
2026-10-30 cs.LG stat.ME stat.ML
On prediction errors in regression models with nonstationary regressors
本文给出了非平稳回归模型中最小二乘预报器的最终预报误差和累积预报误差的渐近表达式。证明了FPE中的$1/n$阶项和APE中的$\log n$阶项具有相同的常数，其中$n$是样本量.由于该模型包含了随机游动模型作为特殊情况，这些渐近表达式推广了Wei（1987）和Ing（2001）中的一些结果。此外，我们还表明，虽然FPE的最小二乘预测是不受当代的相关性之间的创新输入和输出变量，最小二乘估计的均方误差不与此相关性。
2007-02-26 math.ST stat.TH
Uniform convergence rates over maximal domains in structural nonparametric cointegrating regression
在结构非线性协整回归模型下，本文给出了回归核估计的一致收敛性。我们从三个方面概括现有的文献。首先，这些速率适用的域比以前考虑的要宽得多，并且可以被选择为在极限中包含所需的大部分样品。第二，我们的研究结果允许回归干扰是连续相关的，并与回归变量交叉相关;以前的工作在这个问题上（获得统一的利率）已完全局限于设置一个外生回归。第三，我们允许带宽是数据依赖的，只需要它满足一定的弱渐近收缩条件。我们对回归量过程的假设与标准单位根自回归模型的非常广泛的偏离是一致的，允许回归量被分数积分，并且具有无穷大的方差（甚至无穷大的低阶矩）。
2015-05-07 math.ST stat.TH
Generalized Ridge Regression: Biased Estimation for Multiple Linear Regression Models
本文针对多元线性回归中回归变量非正交导致普通最小二乘估计不佳的问题，系统研究了广义岭回归的估计、均方误差、拟合优度及自助法推断。
2024-07-02 stat.ME
Alternating Minimization Converges Super-Linearly for Mixed Linear Regression
UC Berkeley（加州大学伯克利分校）
本文研究了混合随机线性方程组的求解问题。我们有来自多个线性回归的未标记观测值，每个观测值对应于其中一个回归模型。目标是从观测中学习线性回归。传统上，交替最小化（AM）（这是期望最大化（EM）的变体）被用来解决这个问题。AM迭代地在标签的估计和用估计的标签解决回归问题之间交替。经验上，可以观察到，对于包括混合线性回归在内的各种非凸问题，AM与基于梯度的算法相比以快得多的速率收敛。然而，现有的理论表明AM和基于梯度的方法具有相似的收敛速率，未能捕获这种经验行为。在本文中，我们关闭这个差距之间的理论和实践的特殊情况下的混合物的$2$线性回归。我们表明，提供适当的初始化，AM享有\emph{super-linear}率的收敛在某些参数制度。据我们所知，这是第一个工作，理论上建立了这样的速度为AM。因此，如果我们想将未知回归恢复到$ε$的错误（在$\ell_2$范数中），AM只需要$\mathcal{O}(\log \log (1/ε))$迭代。此外，我们比较AM与基于梯度的启发式算法的经验，并表明AM占主导地位的迭代复杂度以及挂钟时间。
2020-08-11 cs.LG stat.ML
LASSO Inference for High Dimensional Predictive Regressions
Southern Methodist University（南方卫理公会大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Macau（澳门大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出IVX-desparsified LASSO方法，解决高维预测回归中LASSO的收缩偏误和Stambaugh偏误问题，通过理论分析和模拟验证其有效性，并应用于美国股市和通胀预测研究。
2026-04-19 econ.EM stat.ME stat.ML
Misspecified regressions with mixed regressors: robust inference and causal interpretation
University of Southern California（南加州大学）；UC Berkeley（加州大学伯克利分校）
研究在含随机与固定成分的混合回归变量且模型可能误设情况下的回归问题，通过建立估计方程一般结果分析误设线性回归，专注回归系数与标准误差因果解释，还从独立数据扩展到聚类数据。
2026-07-13 econ.EM math.ST stat.ME
Connecting model-based and model-free approaches to linear least squares regression
本文在包含响应和回归向量的线性回归设定中，证明经典基于模型的p值具有纯数据驱动的无模型解释，并引入了无模型背景下的等价区域概念。
2025-01-31 math.ST stat.TH
A Mixture of g-priors for Variable Selection when the Number of Regressors Grows with the Sample Size
本文研究了$g$ -先验混合线性回归中的变量选择问题。在文献中提出了许多工作良好的混合物，特别是当回归变量$p$的数量固定时。在本文中，我们提出了一种混合的$g$先验适合的情况下，当$p$增长的样本量$n$。我们研究的性能的基础上提出的先验时，$p=O(n^b),~0<b<1$的方法。随着模型选择的一致性，我们还研究了性能的建议之前，真正的模型不属于模型空间考虑。当考虑正常线性模型时，我们找到了所提出的先验在适当意义下是一致的条件。此外，我们考虑的情况下，在回归模型中的非正态误差和研究的模型选择过程的性能。我们还比较了性能的建议之前与其他几个混合物在文献中，无论是理论上和使用模拟数据集。
2015-04-15 math.ST stat.TH
Global Fréchet regression from time correlated bivariate curve data in manifolds
本文针对有限维紧致黎曼流形中严格平稳双变量曲线过程，提出基于加权Fréchet均值的全局Fréchet回归方法，推导其一致弱一致性，并通过球面模拟和MAGSAT真实数据验证有效性。
2025-02-13 math.ST stat.TH
Robust Estimation and Inference for Expected Shortfall Regression with Many Regressors
期望短缺（Expected Shortfall，ES），又称超分位数或条件风险值，是风险分析和随机最优化中的重要度量，并在其他领域得到了广泛应用。在金融中，它指的是资产的条件预期回报，假设回报低于其分布的某个分位数。在本文中，我们考虑了最近提出的联合回归框架，同时模拟的分位数和ES的响应变量给定一组协变量，最先进的方法是基于最小化的联合损失函数，是不可微的和非凸的。这不可避免地带来了数值挑战，并限制了其分析大规模数据的适用性。出于使用奈曼正交分数的想法，以减少灵敏度方面的滋扰参数，我们提出了一个统计上强大的（高度倾斜和重尾数据）和计算效率高的两步程序拟合联合分位数和ES回归模型。随着协变量维数的增加，我们建立了估计和高斯近似误差的显式非渐近界，这为统计推断奠定了基础。最后，我们通过数值实验和两个数据应用程序证明，我们的方法很好地平衡了预期短缺回归的鲁棒性，统计和数值效率。
2022-12-11 math.ST stat.ME stat.TH
Least-Squares Linear Dilation-Erosion Regressor Trained using a Convex-Concave Procedure
University of Campinas（坎皮纳斯大学）
本文提出了一种用于回归任务的混合形态神经网络，称为线性膨胀-侵蚀回归器（$\ell$ -DER）。一个$\ell$ -DER是由线性和形态算子的组合的凸组合。它们产生连续的分段线性函数，因此是通用的逼近器。除了介绍$\ell$ -DER模型，我们制定了他们的培训作为一个差异的凸（DC）规划问题。准确地说，$\ell$ -DER是通过使用凹凸过程（CCP）最小化最小二乘来训练的。使用几个回归任务的计算实验证实了所提出的回归器的功效，优于其他混合形态模型和最先进的方法，如多层感知器网络和径向基支持向量回归器。
2022-09-06 cs.AI cs.LG math.OC
Beyond the Oracle Property: Adaptive LASSO in Cointegrating Regressions with Local-to-Unity Regressors
Institute of Statistics and Mathematical Methods in Economics, TU Wien（维也纳工业大学统计与数学方法经济学研究所）
本文提出了一种在协整回归中适用于局部至单位回归器的自适应LASSO方法，通过构建有效且可靠的置信区间，解决了传统Oracle性质在有限样本下的局限性。
2026-03-12 econ.EM math.ST stat.ME
Positive definiteness of the asymptotic covariance matrix of OLS estimators in parsimonious regressions
最近，Ghysels，Hill和Motegi（2020）提出了一种检验方法，用于检查线性回归模型中的大量系数是否为零。该测试称为最大值测试。检验统计量的计算方法是：首先运行多个普通最小二乘（OLS）回归，每个回归仅包括一个关键回归量，其系数假定在零值下为零，然后取这些关键回归量的平方OLS系数估计值的最大值。他们称这些回归为简约回归。本文回答了他们在注2.4中提出的一个问题：简约回归中OLS估计量的渐近协方差阵是否一般正定。本文证明了它一般是正定的，其结果可用来方便地计算max检验所需的模拟p值。
2020-10-26 math.ST stat.ME stat.TH
Shape-Constrained Regression using Sum of Squares Polynomials
我们提出了一个层次的半定程序（SDPs）的问题拟合的形状约束（多元）多项式的噪声评价一个未知的形状约束函数。这些形状约束包括凸性或单调性的框。我们表明，多项式函数是最佳的任何固定水平，我们的层次结构形成一致的估计的基本形状约束的功能。作为证明的副产品，我们建立了平方和凸多项式是稠密的多项式是凸的一个任意框。对单调多项式建立了一个类似的平方和型密度结果。此外，我们分类的复杂性，凸和单调的多项式回归的多项式回归的次数的函数。虽然我们的结果显示了这些问题在三度或更大程度上的NP-硬度，但我们可以通过数值检验我们基于SDP的回归器通常在层次结构的低级别上实现类似的训练错误。最后，在计算方面，我们提出了一个经验比较我们的基于SDP的凸回归与凸最小二乘估计在[Hildreth，1954]和[Holloway，1979]，并表明我们的回归是有价值的设置中的数据点的数量是大的，尺寸是相对较小的。我们证明了我们的回归计算最优输运地图的颜色转移任务的问题，估计一个圆锥规划的最优值函数的性能。后一个问题的库存管理合同谈判的实时应用。
2022-10-28 cs.CC math.OC math.ST
Factor and factor loading augmented estimators for panel regression
本文考虑了线性面板数据模型，其中回归量和不可观测量的依赖性是通过一个因子结构来建模的。渐近设置使得时间段的数量和样本量都趋于无穷大。非强因子是允许的，并且因子的数量可以随着样本量增长到无穷大。研究了一类回归系数的两步估计。在第一步中，估计因子和因子载荷。然后，第二步对应于回归变量的结果的面板回归以及第一步的因子和因子载荷的估计。第一步可以使用不同的方法，而第二步是唯一的。我们得到了第一步估计和两步估计渐近正态的数据生成过程的充分条件。假设下，使用的方法基于主成分分析在第一步产生一个渐近正态估计。两步过程在模拟中表现出良好的有限样本特性。
2020-11-24 math.ST stat.TH
The Loss Rank Principle for Model Selection
我们介绍了一个新的原则，在回归和分类模型的选择。许多回归模型由一些平滑性或灵活性或复杂性参数c控制，例如，在k最近邻（kNN）回归中要平均的邻居的数量或在多项式回归中的多项式次数。设f_D^c是数据D上复杂度c的（最佳）回归量。一个更灵活的回归变量可以比一个更刚性的回归变量更好地拟合更多的数据D'。我们将f_D^c的损失秩定义为其他（虚构的）数据D'的数量，这些数据D'被f_D ^c拟合得比D被f_D ^c拟合得更好。我们建议选择具有最小损失秩（LoRP）的模型复杂度c。与大多数惩罚最大似然变量（AIC、BIC、MDL）不同，LoRP仅取决于回归函数和损失函数。它在没有随机噪声模型的情况下工作，并且直接适用于任何非参数回归量，如kNN。在本文中，我们形式化，讨论和激励LoRP，研究它的特定回归问题，特别是线性的，并将其与其他模型选择方案进行比较。
2007-02-27 cs.LG math.ST stat.ME
Selection consistency of Lasso-based procedures for misspecified high-dimensional binary model and random regressors
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Warsaw University of Technology（华沙理工大学）
本文考虑了一般损失函数下二元响应的高维回归问题的随机预测变量的选择问题。重要的特殊情况是二元模型为半参数模型，并且在参数模型拟合下错误指定了响应函数。选择这样一个场景的目的是恢复支持的相关风险最小化的大概率。我们提出了一个两步选择过程，包括筛选和排序预测的Lasso方法，然后选择一个子集的预测，最小化相应的嵌套系列的模型的广义信息准则。我们证明的选择方法的条件下，允许更大的预测数量比观察的一致性。对于半参数情形，当随机预测变量的分布满足线性回归条件时，真实参数和估计参数是共线的，并且它们的公共支持度可以一致地确定。
2019-06-10 cs.LG math.ST stat.ME
Optimal Uniform Convergence Rates for Sieve Nonparametric Instrumental Variables Regression
研究了回归变量为内生变量时的非参数回归问题，这是计量经济学中一种重要的非参数工具变量（NPIV）回归，也是统计学中一个困难的含未知算子的不适定反问题。首先，我们建立了一个普遍的上界上的超范数（一致）收敛速度的筛选估计，允许内生回归和弱相关的数据。在弱相依数据和重尾误差项下，这一结果给出了样条和小波最小二乘回归估计的最优超范数收敛速度。这个上界也产生了在独立同分布下筛选NPIV估计的超范数收敛速度。数据类型：对于严重不适定问题，该速率与已知的最优$L^2$ -范数速率一致，并且对于轻度不适定问题，该速率是比最优$L^2$ -范数速率慢的$\log(n)$的幂。然后，我们建立了极大极小风险的下界在超范数损失，这与我们的上界的超范数率的样条和小波筛NPIV估计。这种超范数速率最优性为筛分NPIV估计的广泛应用提供了另一个理由。对弱相依随机矩阵也提供了有用的结果。
2013-11-02 econ.EM math.ST stat.ME
On Integrated $L^{1}$ Convergence Rate of an Isotonic Regression Estimator for Multivariate Observations
我们考虑一个一般的单调回归估计，我们允许独立和依赖的回归。我们提出了一个修改的经典保序最小二乘估计，并建立其收敛速率的综合$L_1$ -损失函数。该方法捕捉数据的形状，而不假设回归函数的可加性或参数形式。此外，平滑的程度是自动选择的，不需要辅助调谐的理论分析。一些模拟和两个真实的数据插图补充研究建议的估计。
2018-05-03 math.ST stat.ME stat.TH
Covariate Balancing and Riesz Regression Should Be Guided by the Neyman Orthogonal Score in Debiased Machine Learning
Data Analytics Department, Mizuho-DL Financial Technology, Co., Ltd.（摩根大通数字技术财务科技部门）
本文指出，在去偏机器学习中，平衡函数应基于奈曼正交分数推导，而非仅作为协变量函数。协变量平衡在回归误差可由协变量表示时有效，但针对处理效应异质性下的ATE估计，分数误差通常包含处理特定成分，因此提倡通过里斯回归实现回归平衡。
2026-05-07 cs.LG econ.EM math.ST
Prediction-Powered Causal Inference by Automatic Debiased Machine Learning and Semi-Supervised Riesz Regression
University of Tokyo（东京大学）
研究半监督设置下因果参数的半参数有效估计，通过结合去偏机器学习和半监督Riesz回归，提出DML-PPCI和TMLE-PPCI方法，实现比仅用标注数据更小的渐近方差。
2026-06-12 cs.LG econ.EM math.ST
