High-Dimensional Quantile Regression: Convolution Smoothing and Concave Regularization
$\ell_1$惩罚分位数回归被广泛用于分析具有异质性的高维数据。现在认识到，$\ell_1$ -罚分引入了不可忽略的估计偏差，而适当使用凹正则化可以导致随着信号增强具有精细收敛速率和预言属性的估计器。虽然强凸损失函数下的折叠凹惩罚$M$ -估计已经得到了很好的研究，但关于分位数回归的现有文献相对沉默。主要的困难是分位数损失是分段线性的：它是非光滑的，并且曲率集中在一个点上。为了克服光滑性和强凸性的不足，我们提出并研究了一种卷积型光滑分位数回归与迭代加权$\ell_1$ -正则化。由此产生的平滑经验损失是两次连续可微和（可证明）局部强凸的高概率。我们证明了迭代重加权$\ell_1$ -惩罚光滑分位数回归估计，经过几次迭代，达到最佳的收敛速度，而且，预言率和强预言性质几乎必要和充分的最小信号强度条件下。大量的数值研究证实了我们的理论结果。
2021-09-12 math.ST stat.ME stat.TH
Understanding Implicit Regularization in Over-Parameterized Single Index Model
Princeton University（普林斯顿大学）
在本文中，我们利用过参数化设计的正则化免费算法的高维单指标模型和诱导隐式正则化现象提供了理论保证。具体来说，我们研究了向量和矩阵单指标模型，其中链接函数是非线性和未知的，信号参数是稀疏向量或低秩对称矩阵，响应变量可以是重尾的。为了更好地理解隐式正则化在没有过多技术性的情况下所扮演的角色，我们假设协变量的分布是先验已知的。对于向量和矩阵设置，我们构建了一个过参数化的最小二乘损失函数，采用得分函数变换和一个强大的截断步骤，专门为重尾数据。我们建议通过将正则化自由梯度下降应用于损失函数来估计真实参数。当初始值接近原点且步长足够小时，我们证明了所得到的解在向量和矩阵两种情况下都达到了极小极大最优统计收敛率.此外，我们的实验结果支持我们的理论研究结果，也表明，我们的方法在经验上优于经典的方法与显式正则化的$\ell_2$ -统计率和变量选择的一致性。
2021-11-15 cs.LG math.OC stat.ME
Elastic Net Regularization Paths for All Generalized Linear Models
Lasso和弹性网是监督学习中常用的正则化回归模型。Friedman，Hastie，and Tibshirani（2010）介绍了一种计算效率高的算法，用于计算普通最小二乘回归、逻辑斯谛回归和多项逻辑斯谛回归的弹性网正则化路径，而Simon，Friedman，Hastie，and Tibshirani（2011）将这项工作扩展到右删失数据的Cox模型。我们进一步扩展了弹性网正则化回归的范围到所有的广义线性模型家族，Cox模型（开始，停止）数据和地层，和一个简化版本的放松套索。我们还讨论了方便的效用函数来衡量这些拟合模型的性能。
2021-03-05 stat.CO stat.ME
Variable selection in convex quantile regression: L1-norm or L0-norm regularization?
维数灾难是非参数估计中公认的挑战。本文提出了一种新的L0-范数正则化方法，用于凸分位数和期望回归的子集变量选择。我们展示了如何使用混合整数规划来解决实践中提出的L0范数正则化方法，并建立了一个链接到常用的L1范数正则化方法。利用蒙特卡罗方法比较了L0-惩罚凸分位数和期望回归方法与L1-范数正则化方法在有限样本下的性能。该方法进一步应用于衡量OECD国家的可持续发展绩效，并实证分析了变量降维的准确性。仿真和应用结果表明，在多维空间中，L0范数正则化方法比L1范数正则化方法能更有效地解决维数灾难问题.
2021-07-07 stat.AP stat.ME
Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
University of California, Berkeley（加州大学伯克利分校）；Alphabetical order；Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）
本文通过实例比较线性回归中梯度下降、岭回归和随机梯度下降的有限样本风险，发现梯度下降优于岭回归，但与随机梯度下降不可比，且在某些问题中梯度下降可能更差。
2026-06-09 cs.LG stat.ML
Potential weights and implicit causal designs in linear regression
Department of Economics, Stanford University（斯坦福大学经济系）
研究线性回归中准实验解释的最小标准，形式化其对真实处理分布的线性限制即隐式设计，统一现有结果并发现新结果，通过普查和计算评估回归的准实验解释情况。
2026-07-08 econ.EM stat.ME
Streaming kernel regression with provably adaptive mean, variance, and regularization
Laval University（拉瓦尔大学）；INRIA（法国国家信息与自动化研究所）；McGill University（麦吉尔大学）
我们考虑流核回归的问题，当观察顺序到达，目标是恢复潜在的平均函数，假设属于RKHS。假设噪声的方差是未知的。在这种情况下，我们解决了在每个时间步长自适应调整正则化参数的问题，同时保持严格的置信区间估计的均值函数在每个点的值。为此，我们首先推广现有的有限维线性回归与固定的正则化和已知的方差的核设置与正则化参数允许是一个可测量的功能，过去的观察结果。然后，使用适当的自归一化不等式，我们建立上，下界估计的方差，导致Bersntein样的浓度范围。后者用于定义自适应正则化。从我们的技术所产生的界限是有效的，在所有的观察点和所有的时间步长一致，并与文献的数值实验进行比较。最后，这些工具的潜力说明了应用内核化的土匪，在那里我们重温内核UCB和内核汤普森采样程序，并显示新的自适应内核调整策略的好处。
2017-08-02 cs.LG stat.ML
Generalized High-Dimensional Trace Regression via Nuclear Norm Regularization
本文研究了回归系数矩阵接近低秩的广义迹回归，推广了回归系数向量稀疏性的概念。具体地，给定矩阵协变量$X$，概率密度函数$f(Y\vert X)=c(Y)\exp{(ϕ^{-1}\left[-Yη^* + b(η^*)\right])}$，其中$η^*=tr({Θ^*}^TX)$。该模型可容纳各种类型的响应，并包含许多重要的问题设置，例如降秩回归，矩阵回归，可容纳一组回归量，矩阵完成等。我们通过最小化经验负对数似然加上核范数惩罚来估计$Θ^*$。我们首先建立了一个一般的理论，然后对于每个特定的问题，我们推导出明确的统计率的估计。它们都匹配线性迹回归中的极小极大率，直到对数因子。数值研究证实了我们建立的速率，并证明了广义迹回归的优势，线性迹回归时的响应是二分的。我们还展示了将核范数正则化用于动态股票收益预测和图像分类的好处。
2017-10-23 stat.ME
Regularization Strategies for Quantile Regression
Google Research（谷歌研究院）
我们研究了不同的方法来正则化分位数回归时预测的一个子集的分位数或完整的逆CDF。我们表明，即使只预测一个特定的分位数时，最大限度地减少预期的弹球损失的连续分布的分位数是一个很好的正则化。对于预测多个分位数，我们建议通过使用将分位数视为单调输入特征的深度网格网络来实现非交叉分位数的经典目标，并且我们讨论了为什么其他特征的单调性是分位数回归的适当正则化器。我们表明，晶格模型使正则化的预测分布的位置-规模的家庭。最后，我们建议应用速率约束来改进特定兴趣子集上的分位数预测的校准，并提高公平性度量。我们展示了我们的贡献模拟，基准数据集，和真正的分位数回归问题。
2021-02-09 cs.LG stat.ME stat.ML
Interpretation of High-Dimensional Linear Regression: Effects of Nullspace and Regularization Demonstrated on Battery Data
Technical University of Darmstadt（达姆施塔特工业大学）；Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于零空间视角的优化方法，通过合成数据和锂离子电池数据揭示了正则化与z-scoring等设计选择对高维线性回归可解释性的影响，为构建模型和推理底层线性模型提供了指导。
2023-09-06 cs.LG stat.AP stat.ME
Regularization after retention in ultrahigh dimensional linear regression models
在多维环境中，独立性筛选已被理论和经验证明是一个有用的变量选择框架，具有较低的计算成本。在这项工作中，我们提出了一个两步框架，从独立性筛选不同的角度使用边缘信息。特别是，我们保留了重要的变量，而不是筛选出不相关的变量。在一维线性回归模型中，证明了新方法的模型选择一致性。为了提高有限样本性能，我们引入了一个三步版本，并描述其渐近行为。仿真和实际数据分析表明，我们的方法优于独立筛选及其迭代变种在某些制度。
2017-08-10 stat.ME
When Does More Regularization Imply Fewer Degrees of Freedom? Sufficient Conditions and Counter Examples from Lasso and Ridge Regression
正则化旨在通过移动到第二种方法来改善给定统计建模方法的预测性能，第二种方法实现更差的训练误差，但预计具有更少的自由度，即，训练和预测误差之间的更好的一致性。然而，我们在这里表明，这种预期的行为一般不成立。事实上，给出了反例，表明正则化可以在简单情况下增加自由度，包括套索和岭回归，这是最常用的正则化方法。在这种情况下，正则化增加了训练误差和自由度，因此本质上没有优点。另一方面，描述了两个重要的正则化场景，其中确实保证了自由度的预期减少：（a）所有对称线性平滑器，以及（b）线性回归与凸约束线性回归（如岭回归和套索的约束变体）。
2013-11-12 math.ST stat.ML stat.TH
Learning a regression function via Tikhonov regularization
这篇论文有一些问题，正在撤回。
2005-09-21 math.ST stat.TH
Implicit Regularization in Over-Parameterized Support Vector Machine
本文提出一种结合过参数化与Nesterov平滑的高维SVM无需正则化算法，证明无正则化梯度下降能实现近神谕收敛速率，并验证了隐式正则化在稀疏SVM中的优势。
2023-10-26 math.ST stat.TH
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Characterization of the equivalence of robustification and regularization in linear and matrix regression
MIT（麻省理工学院）
近年来，在机器学习中开发对底层数据中的对抗性扰动具有鲁棒性的统计方法的概念一直是人们越来越感兴趣的主题。这项工作的一个共同特征是对抗性鲁棒化通常与正则化方法完全对应，后者表现为损失函数加惩罚。在本文中，我们深化和扩展的鲁棒性和正则化（通过惩罚实现）在回归问题之间的联系的理解。具体而言，（a）在线性回归的背景下，我们精确地描述了在哪些条件下使用的不确定性模型和损失函数惩罚鲁棒化和正则化是等价的，以及（b）我们将鲁棒化和正则化的特征扩展到矩阵回归问题（矩阵完成和主成分分析）。
2017-02-25 cs.LG math.OC math.ST
Optimal Rates for Functional Linear Regression with General Regularization
该研究在再生核希尔伯特空间框架下，采用一般谱正则化方法研究带光滑性假设的函数型线性回归，在Hölder型源条件下得到估计与预测误差的最优收敛速率，推广并改进了已有结果。
2024-12-11 math.ST stat.TH
A Note on Sliced Inverse Regression with Regularizations
在“Li，L.和Yin，X.（2008年）。正则化切片逆回归。Biometrics，64（1）：124- 131”引入岭SIR估计器作为最小化问题的解决方案，并通过交替最小二乘算法进行计算。这种方法在实践中表现良好。在本文中，我们重点讨论了估计量的理论性质。它表明，最小化问题是退化的意义上说，只有两种情况可能发生：要么岭SIR估计不存在或它是零。
2011-04-01 math.ST stat.TH
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文首次在梯度下降（而非梯度流）下严格证明了管状张量分解的隐式正则化，表明小随机初始化会使超参数化模型偏向低管状秩解，并通过数值模拟验证了理论动态与初始化的重要性。
2024-10-21 cs.LG math.OC math.ST
Implicit Regularization or Implicit Conditioning? Exact Risk Trajectories of SGD in High Dimensions
Google Research（谷歌研究院）；McGill University（麦吉尔大学）
随机梯度下降（SGD）是现代机器学习的支柱，是各种问题的首选优化算法。虽然SGD的经验成功通常归因于其计算效率和良好的泛化行为，但这两种效果都没有得到很好的理解，并且解开它们仍然是一个悬而未决的问题。即使在凸二次问题的简单设置中，最坏情况下的分析也给出了SGD的渐近收敛速度并不比全批梯度下降（GD）更好，并且SGD的隐式正则化效应缺乏精确的解释。在这项工作中，我们研究了高维凸二次型上的多通道SGD的动力学，并建立了一个渐近等价的随机微分方程，我们称之为均匀化随机梯度下降（HSGD），其解决方案，我们明确的Volterra积分方程的特征。这些结果产生了精确的公式的学习和风险轨迹，揭示了一种机制的内隐条件反射，解释了效率的SGD相对于GD。我们还证明了SGD的噪声会对泛化性能产生负面影响，排除了在这种情况下任何类型的隐式正则化的可能性。最后，我们展示了如何适应HSGD的形式主义，包括流SGD，这使我们能够产生一个准确的预测多通道SGD相对于流SGD（引导风险）的超额风险。
2022-06-15 cs.LG math.OC math.PR
Optimal ridge penalty for real-world high-dimensional data can be zero or negative due to the implicit ridge regularization
本文证明了在欠定高维线性回归中，低方差方向的隐式岭正则化可使最优岭惩罚为零或负，显式正惩罚无益，并用尖峰协方差模型给出理论证明。
2020-04-09 math.ST stat.ML stat.TH
Model Selection for High Dimensional Quadratic Regression via Regularization
二次回归（QR）模型通过考虑协变量之间的相互作用效应自然地扩展了线性模型。若要在QR中进行模型选择，必须维护主效应和交互作用效应之间的分层模型结构。现有的正则化方法通常通过解决复杂的优化问题来实现这一目标，这通常需要很高的计算成本，因此对于高维数据是不可行的。本文主要研究高维QR中模型选择的可伸缩正则化方法。我们首先考虑两阶段正则化方法，并建立两阶段LASSO的理论性质。然后，提出了一种新的正则化方法，称为边缘性原则下的正则化算法（RAMP），以有效地计算层次保持正则化解路径。这两种方法进一步扩展到解决广义QR模型。数值结果也证明了该方法的性能。
2016-07-14 math.ST stat.ME stat.TH
Regularization parameter selection in indirect regression by residual based bootstrap
基于残差的分析通常被认为是统计方法学的基石。对于一个特殊的情况下，间接回归，我们调查的残差为基础的经验分布函数，并提供了一个统一的扩展，这也是渐近最精确的估计。这项调查自然会导致一个完全的数据驱动的技术来选择我们的间接回归函数估计中使用的正则化参数。由此产生的方法是基于模型残差的平滑引导。仿真研究证明了我们的方法的有效性。
2018-02-28 math.ST stat.ME stat.TH
Implicit vs. explicit regularization for high-dimensional gradient descent
Aarhus University（奥胡斯大学）；University of Vienna（维也纳大学）
本文研究了高维梯度下降中隐式与显式正则化对泛化误差的影响，提出了一种更高效的正则化参数选择方法。
2026-01-25 math.ST stat.TH
Regularization in High-Dimensional Regression and Classification via Random Matrix Theory
本文研究了高维回归和分类中当特征数和样本量均成比例增长到无穷大时的一般奇异值收缩估计。我们允许具有一般协方差阵的模型，其中包括一大类数据生成分布。就我们的结果的影响而言，我们找到了梯度下降拟合回归模型中训练和测试误差的精确渐近公式，这为早期停止作为正则化方法提供了理论见解。此外，我们提出了一种基于协方差阵经验谱的线性判别分析最优特征值收缩分类器的数值方法。最后，我们得到了高维分布的稠密均值向量向量的最优估计。在整个分析过程中，我们依靠随机矩阵理论的最新进展，并进一步发展独立的数学兴趣的结果。
2020-03-30 math.ST stat.TH
Some sharp performance bounds for least squares regression with $L_1$ regularization
我们从参数估计精度和特征选择质量的角度出发，推导出最小二乘回归与$L_1$正则化的性能界限。证明了$L_1$正则化的主要结果推广了[Ann. Statist. 35（2007）2313--2351]。它给了一个肯定的答案[安。统计。35（2007）2358- 2364]。此外，结果导致功能选择的扩展视图，允许比最近的一些工作限制性条件少。在此基础上，提出了一种新的两阶段$L_1$正则化方法。它示出，如果目标参数向量可以被分解为具有大系数的稀疏参数向量和具有相对小的系数的另一个不太稀疏的向量的和，那么两阶段的过程可以导致改进的性能。
2009-08-20 math.ST stat.TH
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Multiparameter regularization and aggregation in the context of polynomial functional regression
Department of Radiology, Medical University of Innsbruck（放射科，因斯布鲁克医学大学）；Neuroimaging Research Core Facility, Medical University of Innsbruck（神经影像研究核心设施，因斯布鲁克医学大学）；Institute for Machine Learning, Johannes Kepler University（机器学习研究所，约瑟夫·施拉格大学）；Department of Neurology, Medical University of Innsbruck（神经病学系，因斯布鲁克医学大学）；Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences（约瑟夫·拉东研究所，奥地利科学院）
本文提出了一种多项式函数回归的多参数正则化算法及理论方法，用于处理参数并聚合不同正则化参数的模型，在合成与真实医疗数据上验证有效。
2025-10-10 cs.LG cs.NA math.NA
Logistic regression with total variation regularization
我们研究了逻辑斯谛回归与全变差惩罚的典型参数，并表明，由此产生的估计满足尖锐的预言不等式：估计的超额风险是自适应的跳跃的数量的基础信号或近似。特别地，当存在多个跳跃，并且向上跳跃与向下跳跃充分分离时，假设调谐参数被适当地选择为$1/ \sqrt n$阶，则估计器以高达对数项$\log n / n$的参数速率收敛。我们的研究结果扩展了二次损失的逻辑损失的早期结果。我们不假设任何先验已知的标准参数的界限，而是只利用局部曲率的理论风险。
2020-03-05 math.ST stat.TH
Ridge regularization for Mean Squared Error Reduction in Regression with Weak Instruments
在本文中，我证明了经典两阶段最小二乘法（2SLS）估计是高度不稳定的弱工具变量。我提出了一个岭估计（岭IV），并表明它是渐近正常的，即使与弱工具变量，而2SLS是严重扭曲和无界。我激励岭IV估计作为一个凸优化问题的GMM目标函数和L2惩罚。我表明，岭四导致相当大的均方误差理论上减少，并验证这些结果在模拟研究的启发，发表在美国经济评论的论文的数据设计。
2019-04-18 econ.EM math.ST stat.TH
