We investigate the high-dimensional linear regression problem in the presence of noise correlated with Gaussian covariates. This correlation, known as endogeneity in regression models, often arises from unobserved variables and other factors. It has been a major challenge in causal inference and econometrics. When the covariates are high-dimensional, it has been common to assume sparsity on the true parameters and estimate them using regularization, even with the endogeneity. However, when sparsity does not hold, it has not been well understood to control the endogeneity and high dimensionality simultaneously. This study demonstrates that an estimator without regularization can achieve consistency, that is, benign overfitting, under certain assumptions on the covariance matrix. Specifically, our results show that the error of this estimator converges to zero when the covariance matrices of correlated noise and instrumental variables satisfy a condition on their eigenvalues. We consider several extensions relaxing these conditions and conduct experiments to support our theoretical findings. As a technical contribution, we utilize the convex Gaussian minimax theorem (CGMT) in our dual problem and extend CGMT itself.
Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression
The University of Tokyo（东京大学）；CyberAgent, Inc.（CyberAgent公司）
我们研究了良性过拟合理论在预测条件平均处理效应（CATE）中的应用，并建立了线性回归模型。随着因果推断的机器学习的发展，大范围的因果关系模型越来越受到关注。一个问题是，已经提出了怀疑，大规模的模型是倾向于过度拟合的样本选择的观察，因此，大型模型可能不适合因果预测。在这项研究中，为了解决可疑问题，我们通过应用最近的良性过拟合理论（Bartlett et al.，2020年）。具体来说，我们认为样本的分布开关取决于分配规则，并研究预测CATE的线性模型，其尺寸发散到无穷大。我们专注于两种方法：T-学习器，其基于每个治疗组的单独构造的估计量之间的差异，以及逆概率权重（IPW）-学习器，其解决由倾向分数近似的另一回归问题。在这两种方法中，估计器由完全拟合样本的插值器组成。结果表明，T-学习者除了随机分配外，无法实现一致性，而IPW-学习者在倾向分数已知的情况下，将风险收敛到零。这种差异源于T学习器无法保持协方差的特征空间，这对于过参数化设置中的良性过拟合是必要的。我们的结果提供了新的见解因果推断方法的使用在overparameterizated设置，特别是，双稳健估计。
Benign overfitting beyond prediction: The ordinary least squares interpolator
Department of Data Sciences & Operations, University of Southern California（数据科学与运营系，南加州大学）；Department of Statistics, University of California, Davis（统计学系，加州大学戴维斯分校）；Department of Statistics, University of California, Berkeley（统计学系，加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
Learning Curves and Benign Overfitting of Spectral Algorithms in Large Dimensions
Department of Statistics and Data Science, National University of Singapore（新加坡国立大学统计与数据科学系）；Department of Statistics and Data Science, Tsinghua University（清华大学统计与数据科学系）
Benign overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Inductive Bias
Department of Computer Science and Engineering（计算机科学与工程系）；The Hong Kong University of Science and Technology（香港科学与技术大学）；School of Mathematical Sciences（数学科学学院）；Peking University（北京大学）；Department of Computer Science（计算机科学系）；University of Warwick（沃里克大学）；Industrial Engineering & Management Sciences（工业工程与管理科学）；Northwestern University（西北大学）
Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；University of British Columbia（不列颠哥伦比亚大学）
尽管深度神经网络过度参数化，并且在没有显式正则化的情况下进行训练，但它的泛化能力很好。这个奇怪的现象激发了广泛的研究活动，以建立其统计原则：在什么条件下观察？这些如何依赖于数据和训练算法？什么时候正则化有利于泛化？虽然这些问题对于深度神经网络仍然是开放的，但最近的研究试图通过研究更简单的，通常是线性的模型来获得见解。我们的论文有助于这一不断增长的工作线，通过检查生成高斯混合模型下的二进制线性分类。最近的结果的启发梯度下降的隐式偏差，我们研究了最大利润SVM分类器（对应于逻辑损失）和最小范数插值分类器（对应于最小二乘损失）。首先，我们利用在[V. Muthukumar et al.，arXiv：2005.08054，（2020）]以将SVM解与最小范数内插解相关联。其次，我们推导出后者的分类误差的新的非渐近界。结合这两个，我们提出了新的充分条件的协方差谱和信号噪声比（SNR）下，插值估计实现渐近最优性能overparameterization增加。有趣的是，我们的结果扩展到一个噪声模型与恒定概率噪声翻转。与以前研究的判别数据模型相反，我们的研究结果强调了SNR的关键作用及其与数据协方差的相互作用。最后，通过结合分析参数和数值演示，我们确定的条件下，插值估计比相应的正则化估计表现更好。
Analysis of overfitting in the regularized Cox model
Institute for Mathematical and Molecular Biomedicine, King’s College London（伦敦国王学院数学与分子生物医学研究所）；King’s College London（伦敦国王学院）；Saddle Point Science Ltd（鞍点科学有限公司）
Optimistic Rates: A Unifying Theory for Interpolation Learning and Regularization in Linear Regression
University of Chicago（芝加哥大学）；Simons Institute, University of California at Berkeley（加州大学伯克利分校西蒙斯研究所）；University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们研究了高斯数据线性回归的一致收敛的局部概念，称为“乐观率”（Panchenko 2002; Srebro et al. 2010）。我们的精细分析避免了现有结果中的隐藏常数和对数因子，这些因子在高维环境中至关重要，特别是对于理解插值学习。作为一种特殊情况，我们的分析恢复了Koehler et al.（2021）的保证，该保证严格描述了良性过拟合条件下低范数插值器的总体风险。然而，我们的乐观率界也分析了具有任意训练误差的预测器。这使我们能够恢复一些经典的随机设计下的岭和LASSO回归的统计保证，并帮助我们获得一个精确的理解过度参数化制度的过度风险的近插值。
