Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent
University of Delaware(特拉华大学)
研究过参数化线性回归中负岭端点局限,提出负移位梯度下降方法,在高斯模型中有新发现,定理允许高效秩尾部,解决非收缩移位动力学挑战,通过相关积分和不等式改进算法。
2026-07-27 cs.LG math.ST stat.ML
Kernel ridge vs. principal component regression: minimax bounds and adaptability of regularization operators
正则化是解决非参数回归问题的几乎所有核方法的基本要素。给定核方法有效性的一个关键因素是所采用的正则化类型。本文比较和对比了一般类别的正则化技术,主要包括岭回归和主成分回归。我们推导出一个明确的有限样本风险界的正则化估计,同时占(i)周围的函数空间的结构,(ii)真正的回归函数的规律性,和(iii)的适应性(或资格)的正则化。这个上界的一个简单结果是,基于正则化的估计量的风险在各种设置中与极大极小率相匹配。一般界也说明了一些正则化技术如何比其他技术更适合于真正的回归函数可能具有的有利的正则性。特别是,这表明了核岭回归和核主成分回归之间的显着差异。我们的理论结果得到了数值实验的支持。
2016-05-28 math.ST stat.TH
Ridge regularization for Mean Squared Error Reduction in Regression with Weak Instruments
在本文中,我证明了经典两阶段最小二乘法(2SLS)估计是高度不稳定的弱工具变量。我提出了一个岭估计(岭IV),并表明它是渐近正常的,即使与弱工具变量,而2SLS是严重扭曲和无界。我激励岭IV估计作为一个凸优化问题的GMM目标函数和L2惩罚。我表明,岭四导致相当大的均方误差理论上减少,并验证这些结果在模拟研究的启发,发表在美国经济评论的论文的数据设计。
2019-04-18 econ.EM math.ST stat.TH
Ridge Regression and Provable Deterministic Ridge Leverage Score Sampling
岭杠杆分数提供了低秩近似和正则化之间的平衡,并且在随机线性代数和机器学习中无处不在。确定性算法在中等规模的大数据体系中也很受关注,因为确定性算法通过没有失败概率并且总是返回相同的结果来为从业者提供可解释性。我们提供了可证明的保证确定性列抽样使用岭杠杆得分。由我们的算法返回的矩阵草图是原始矩阵的列子集,从而产生额外的可解释性。与随机化算法类似,确定性算法提供(1 + ε)错误列子集选择、(1 + ε)错误投影-成本保持以及加性-乘性谱界。我们还表明,在幂律衰减的岭杠杆分数的假设下,这种确定性算法是可证明的随机算法一样准确。最后,岭回归经常用于正则化不适定的线性最小二乘问题。虽然岭回归提供了回归系数的收缩,但许多系数仍然很小但不为零。使用我们的算法返回的矩阵草图和特定的正则化参数执行岭回归,迫使系数为零,并且在统计风险上具有可证明的(1 + ε)界。因此,它是弹性网络正则化的一个有趣的替代方案。
2018-12-23 cs.DS math.ST stat.CO
On the Optimal Weighted $\ell_2$ Regularization in Overparameterized Linear Regression
University of Toronto(多伦多大学);Vector Institute(向量研究所);Columbia University(哥伦比亚大学)
我们考虑线性模型$\mathbf{y} = \mathbf{X} \mathbfβ_\star + \mathbfε$,其中$\mathbf{X}\in \mathbb{R}^{n\times p}$处于超参数化状态$p>n$。我们通过广义(加权)岭回归估计$\mathbfβ_\star$:$\hat{\mathbfβ}_λ= \left(\mathbf{X}^T\mathbf{X} + λ\mathbfΣ_w\right)^\dagger \mathbf{X}^T\mathbf{y}$,其中$\mathbfΣ_w$是加权矩阵。根据随机设计设置与一般数据协方差$\mathbfΣ_x$和各向异性的前真实系数$\mathbb{E}\mathbfβ_\star\mathbfβ_\star^T = \mathbfΣ_β$,我们提供了一个精确的表征的预测风险$\mathbb{E}(y-\mathbf{x}^T\hat{\mathbfβ}_λ)^2$的比例渐近极限$p/n\rightarrow γ\in (1,\infty)$。我们的一般设置导致了一些有趣的发现。我们概述了精确的条件,决定的最佳设置$λ_{\rm opt}$的脊参数$λ$的符号,并确认隐含的$\ell_2$正则化效应的overparameterization,这在理论上证明了令人惊讶的经验观察,$λ_{\rm opt}$可以是…
2020-11-03 cs.LG math.ST stat.ML
Spectrally-truncated kernel ridge regression and its free lunch
University of California, Los Angeles(加州大学洛杉矶分校)
核岭回归(KRR)是一种广为人知且流行的非参数回归方法,具有许多理想的性质,包括在估计属于常见再生核希尔伯特空间(RKHS)的函数时的极小极大率最优性。然而,由于需要在密集的$n \times n$核矩阵上操作,该方法对于大数据集是计算密集的,其中$n$是样本量。最近,各种近似方案解决KRR已被认为是,和一些分析。一些方法,如Nyström近似和草图已被证明可以保持KRR的速率最优性。在本文中,我们考虑最简单的近似,即,频谱截断的核心矩阵,其最大的$r < n$特征值。我们推导出一个精确的表达式,这个截断KRR的最大风险,在单位球的RKHS。这一结果可用于研究谱截断水平和正则化参数之间的精确权衡。我们发现,只要RKHS是无穷维的,有一个阈值上的$r$,在此之上,频谱截断KRR令人惊讶地优于完整的KRR的极小极大风险,其中最小值是采取了正则化参数。这加强了现有的结果近似计划,通过显示,不仅一个不失去的速率,截断实际上可以提高性能,为所有有限的样本(以上的阈值)。此外,我们证明了谱截断实现的隐式正则化不能代替Hilbert范数正则化。两者都需要达到最佳性能。
2019-10-12 cs.LG math.ST stat.ML
$σ$-Ridge: group regularized ridge regression via empirical Bayes noise level cross-validation
预测模型中的特征是不可交换的,但常见的监督模型将其视为可交换的。在这里,我们研究岭回归时,分析师可以划分到$K$组的基础上外部边信息的功能。例如,在高通量生物学中,特征可以表示基因表达、蛋白质丰度或临床数据,因此每个特征组表示不同的模态。分析人员的目标是选择最佳的正则化参数$λ= (λ_1, \dotsc, λ_K)$ --每组一个。在这项工作中,我们研究的影响$λ$的预测风险的组正则化岭回归通过推导极限风险公式下的高维随机效应模型与$p\asymp n$作为$n \to \infty$。此外,我们提出了一个数据驱动的方法来选择$λ$,达到最佳的渐近风险:关键的想法是解释残余噪声方差$σ^2$,作为一个正则化参数,通过交叉验证选择。经验贝叶斯构造将一维参数$σ$映射到正则化参数的$K$维向量,即,$σ\mapsto \widehatλ(σ)$。除了理论上的最优性,该方法是实用的,运行速度快的交叉验证岭回归没有功能组($K=1$)。
2021-03-04 math.ST stat.ME stat.TH
A Simple Approximation to the Distribution of the Ridge Regression Estimator
Cornell University(康奈尔大学)
本文提出一种适用于存在异方差和自相关的低维数据的岭回归估计量有限样本分布的高斯近似方法,并基于此提出两种正则化参数选择策略以优化预测风险。
2026-08-04 cs.LG econ.EM math.ST
Implicit Regularization Paths of Weighted Neural Representations
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
研究了预训练特征加权引发的隐式正则化效应,推导出连接不同加权矩阵与岭正则化水平的等价路径,证实了相关猜想,并据此开发出应用于多个模型和数据集的高效交叉验证调优方法。
2024-08-28 cs.LG math.ST stat.ML
A Note on Sliced Inverse Regression with Regularizations
在“Li,L.和Yin,X.(2008年)。正则化切片逆回归。Biometrics,64(1):124- 131”引入岭SIR估计器作为最小化问题的解决方案,并通过交替最小二乘算法进行计算。这种方法在实践中表现良好。在本文中,我们重点讨论了估计量的理论性质。它表明,最小化问题是退化的意义上说,只有两种情况可能发生:要么岭SIR估计不存在或它是零。
2011-04-01 math.ST stat.TH
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley(加州大学伯克利分校)
我们建立了最佳的收敛速度的分解为基础的可扩展的方法,核岭回归。该方法描述简单:它随机将大小为N的数据集划分为m个相等大小的子集,为每个子集计算独立的核岭回归估计,然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比,这种划分导致计算时间大幅减少。我们的两个主要定理建立,尽管计算速度加快,统计最优性被保留:只要m不是太大,分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子,我们的理论保证,处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间,这反过来又允许计算成本大幅降低。最后,我们对模拟数据和音乐预测任务进行了实验,补充了我们的理论结果,展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
Distribution-Free Confidence Ellipsoids for Ridge Regression with PAC Bounds
Institute for Computer Science;Control (SZTAKI), Hungarian Research Network (HUN-REN), 13-17 Kende utca, H-1111, Budapest, Hungary (e-mail: ).;Department of Probability Theory;Statistics, Institute of Mathematics, E\"otv\"os Lor\';University (ELTE), 1/C Pázmány Péter sétány, H-1117, Budapest, Hungary (e-mail: )
本文提出了一种基于SPS EOA算法扩展到岭回归的方法,推导了置信椭球区域大小的PAC上界,并展示了正则化对区域大小的影响。
2026-01-19 cs.LG cs.SY eess.SP
Asymptotics of Ridge (less) Regression under General Source Condition
我们分析了岭回归的预测误差在渐近制度的样本量和尺寸去无穷大的比例率。特别是,我们认为真正的回归参数的结构所发挥的作用。我们观察到,一个一般的确定性参数的情况下,可以减少到一个随机参数的情况下,从一个结构化的前。后一个假设是非参数回归中经典光滑性假设的自然适应,在逆问题的正则化理论的上下文中,这被称为源条件。粗略地说,我们假设参数的大系数对应于主成分。在这种设置下,根据输入协方差和回归参数结构,可以获得测试误差的精确特性。我们说明了这种特性在一个简化的设置调查的影响,真正的参数最优正则化过参数化模型。我们表明,插值(无正则化)可以是最佳的,即使有界的信噪比(SNR),提供的参数系数是较大的高方差方向的数据,对应于一个更正则函数比假定的正则化项。这与以前的工作相比,考虑岭回归各向同性的前,在这种情况下,内插是唯一的最佳的限制,无限的SNR。
2021-03-08 math.ST stat.ML stat.TH
Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
本文在比例渐近框架下刻画子采样 ridge 集成的风险等值线,证明完整无惩罚集成与最优 ridge 预测器等价,并用 GCV 实现免样本划分的风险估计与调参。
2023-07-16 cs.LG math.ST stat.ML
The distribution of Ridgeless least squares interpolators
Rutgers University(罗格斯大学);University of Southern California(南加州大学)
本文研究了无正则化最小二范数插值器的分布特性,揭示其隐含正则化作用,并通过加权ℓ_𝑞风险分析,展示了其在预测和估计中的最优性能。
2026-01-19 cs.IT math.IT math.ST
A Random Matrix Perspective of Echo State Networks: From Precise Bias--Variance Characterization to Optimal Regularization
Huawei Noah’s Ark Lab, Huawei Technologies, Paris, France(华为诺亚实验室,华为技术,法国巴黎);Chinese university of Hongkong, Shenzhen, China(香港中文大学(深圳));Huazhong University of Science Technology (HUST), Wuhan, China(华中科技大学)
本文利用随机矩阵理论刻画线性教师—学生设定下 ESN 的渐近偏差、方差与 MSE,揭示其无双重下降且小样本、短记忆时更优,并给出最优岭正则化公式及通用数值算法。
2025-09-26 cs.LG math.ST stat.ML
Optimal Convergence Rates of Deep Convolutional Neural Networks: Additive Ridge Functions
Shenzhen Polytechnic(深圳职业技术学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
卷积神经网络在许多应用中表现出令人印象深刻的能力,特别是与分类任务相关的应用。然而,对于回归问题,卷积结构的能力还没有被完全理解,需要进一步的研究。在本文中,我们考虑深度卷积神经网络的均方误差分析。我们表明,对于加性脊函数,卷积神经网络后跟一个具有ReLU激活函数的全连接层可以达到最佳的最小-最大速率(高达对数因子)。输入维数只出现在收敛速度常数中。这项工作显示了卷积神经网络的统计最优性,并可能揭示为什么卷积神经网络能够对高维输入表现良好。
2023-01-20 cs.LG math.ST stat.TH
High-dimensional logistic regression with missing data: Imputation, regularization, and universality
University of Cambridge(剑桥大学);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本文研究含缺失或噪声协变量的高维ridge逻辑回归,精确刻画预测与估计误差并证明普适性,比较多种插补策略与Bayes最优性能。
2024-10-01 cs.LG math.ST stat.ML
Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation
University of California, Davis(加利福尼亚大学戴维斯分校);Indian Statistical Institute, Kolkata(印度统计研究所(加尔各答))
本文在高维随机效应线性模型下研究基于广义岭回归的元学习,证明权重矩阵取随机系数协方差矩阵的逆时预测风险最优,并提出可高效计算的逆协方差估计量,提升新任务泛化性能。
2024-03-27 cs.LG math.ST stat.ML
Optimal Subsampling for High-dimensional Ridge Regression
我们研究了高维岭回归的特征压缩使用的最佳子采样技术。具体地说,基于岭回归特征随机抽样算法的基本框架和A-最优设计准则,首先得到一组最优子抽样概率。考虑到所得到的概率是不经济的,我们然后提出了近最优的。利用这些概率,建立了一种计算量小、精度高的两步迭代算法。我们提供了理论分析和数值实验来支持所提出的方法。数值结果表明,我们的方法的体面的性能。
2022-04-18 cs.NA math.NA math.ST
Source-Optimal Training is Transfer-Suboptimal
C. Evans Hedges
研究发现源最优训练在迁移任务中通常次优,通过分析任务对齐和正则化影响,揭示迁移最优正则化的依赖关系。
2026-01-06 cs.LG math.ST stat.ML
Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning
本文利用随机矩阵理论证明了广义交叉验证在估计素描岭回归集成预测风险时的一致性,提出风险分解与扩展估计方法,并证明仅调素描大小即可全局优化风险,同时提出集成技巧以高效估计未素描岭回归风险。
2024-03-19 math.ST stat.ML stat.TH
On the Optimality of Misspecified Kernel Ridge Regression
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文针对误设定核岭回归问题,证明了当再生核希尔伯特空间为 Sobolev 空间时,KRR 对所有光滑度参数 s 均达到极小极大最优,解决了长期未决的最优性问题。
2023-05-12 cs.LG math.ST stat.TH
STARK denoises spatial transcriptomics images via adaptive regularization
Department of Mathematics, University of British Columbia(数学系,不列颠哥伦比亚大学);Department of Computer Science, University of British Columbia(计算机科学系,不列颠哥伦比亚大学);Department of Mathematics and Mathematical Statistics, Umeå University(数学与统计学系,乌梅大学);Premium Research Institute for Human Metaverse Medicine (WPI-PRIMe), The University of Osaka(人类元宇宙医学研究学院(WPI-PRIMe),大阪大学)
STARK通过自适应正则化和核方法有效去噪空间转录组图像,提升低测序深度下的细胞身份识别和基因表达插值能力。
2025-12-10 cs.LG math.OC math.ST
Structure-Adaptive Estimation of Heterogeneous Treatment Effects with Kernel Methods
Columbia IEOR(哥伦比亚大学工业工程与运筹学系)
本文提出了一种基于核岭回归的最优算法,用于在结构简单的情况下估计CATE,并通过模型选择步骤实现对未知正则性的适应。
2026-11-10 math.ST stat.ME stat.ML
A non-asymptotic theory of Kernel Ridge Regression: deterministic equivalents, test error, and GCV estimator
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Stanford University(斯坦福大学)
本文为核岭回归建立非渐近确定性等价理论,证明测试误差可由核谱近似,并证明GCV估计器可一致估计测试误差与最优正则化参数。
2024-03-13 cs.LG math.ST stat.ML
Asymptotic Theory for Linear Functionals of Kernel Ridge Regression
本文在再生核希尔伯特空间等价于索博列夫空间的条件下,建立了核岭回归线性泛函的渐近理论,证明平滑参数的最优量级为λ~n^{-1},并揭示了其与最小化L_2误差的已知最优速率不同。
2025-08-22 math.ST stat.TH
Preventing Model Collapse Under Overparametrization: Optimal Mixing Ratios for Interpolation Learning and Ridge Regression
Harvard University(哈佛大学);University of Florida(佛罗里达大学)
研究在过度参数化下防止模型崩溃,通过插值学习和岭回归的最优混合比例分析,揭示了最优混合权重的性质及在不同设置下的学习效果。
2026-02-11 cs.LG math.ST stat.ME
Statistical Complexity and Optimal Algorithms for Non-linear Ridge Bandits
University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学)
本文研究非线性脊回归老虎机问题,揭示其存在由非线性函数决定的预热期固定成本,并通过微分方程给出最优预热成本上下界,证明先找好初始动作再局部线性化的两阶段算法统计最优,而UCB等经典算法次优。
2024-01-10 cs.IT cs.LG math.IT
Ridge interpolators in correlated factor regression models -- exact risk analysis
本文利用随机对偶理论精确分析相关因子回归模型中岭插值器的超额预测风险与双下降现象,证明最优岭正则化可平滑风险,但在高过参数化比率下作用有限。
2024-06-13 cs.IT cs.LG math.IT
Pooling Versus Ensembling for Ridge Regression Under Covariate Shift
Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);UC Berkeley(加州大学伯克利分校)
该研究针对协变量偏移下的岭回归,对比池化与集成方法的性能,推导了固定和随机效应下的相关结论,推广了现有风险分析的适用场景。
2026-08-05 math.ST stat.TH
A ridge-parameter approach to deconvolution
反褶积的核方法具有吸引人的特征,并且在文献中流行。然而,它们也有缺点,包括它们通常只适用于误差分布是无限支持的且其特征函数永远不会为零的情况。即使在这些设置中,最佳的收敛速度实现核估计只有当内核被选择为适应未知的平滑的目标分布。在本文中,我们提出了替代脊方法,不涉及内核以任何方式。我们发现,脊方法(a)不需要假设的误差分布特征函数是非零的;(b)适应自己非常好的平滑的目标密度,其结果是平滑的程度不需要直接估计;和(c)在很宽的设置范围内给出最佳的收敛速度。
2007-10-18 math.ST stat.TH
Ridge-type Linear Shrinkage Estimation of the Matrix Mean of High-dimensional Normal Distribution
在高维情形下讨论了多元正态分布均值矩阵的估计问题。考虑了基于精度矩阵岭估计而不是Moore-Penrose广义逆的Efron-Morris型线性收缩估计量,并根据最小化二次损失下的Stein无偏风险估计量来估计岭型线性收缩估计量中的权重。利用随机矩阵理论证明了在高维贝叶斯模型中,岭型线性收缩估计在权估计下是Minimax的,且权估计收敛于最优权.的脊型线性收缩估计的性能进行了数值比较与现有的估计,包括Efron-Morris和James-Stein估计。
2019-10-26 math.ST stat.TH
Uniform Consistency of Generalized Cross-Validation for Ridge Regression in High-Dimensional Misspecified Linear Models
Shiga University(滋贺大学)
本研究证明在高维不规范线性模型中,广义交叉验证可作为Ridge回归正则化参数选择的一致估计量,且在模拟中表现优于Lasso。
2026-01-20 math.ST stat.TH
On Ridge Estimation in High-dimensional Rotationally Sparse Linear Regression
本文在高维旋转稀疏线性回归中研究岭估计,在两种机制下给出样本外与样本内预测误差的高概率界,并刻画误差达到 O(d/n) 的充要条件,发现最优样本外误差可能显著小于样本内误差。
2024-05-02 math.ST stat.TH
The statistical effect of entropic regularization in optimal transportation
我们建议解决理解Sinkhorn算法中正则化效果的问题。在高斯分布的情况下,我们提供了一个封闭的形式,正则化的最优输运,这使得能够提供一个更好的理解从统计框架的正则化的效果。
2020-06-15 cs.LG math.OC math.ST
A Distribution Free Truncated Kernel Ridge Regression Estimator and Related Spectral Analyses
众所周知,核岭回归(KRR)是一种流行的非参数回归估计量。尽管如此,在存在大小为$n\gg 1,$的大数据集的情况下,KRR估计器具有需要密集计算负载的缺点。最近,可扩展的KRR方法已经被提出,其目的是降低KRR的计算复杂度,同时保持其出色的收敛速度。在这项工作中,我们研究了一个新的可扩展的KRR为基础的方法非参数回归。我们的截断核岭回归(TKRR)方法是简单的。它是基于取代全$n\times n$随机内核或革兰氏矩阵$B_n,$与美世的内核$\mathbb K,$由其主要的$n\times N$子矩阵$A_N,$,其中通常$N \ll n.$此外,我们表明,TKRR工程与$d-$维随机抽样数据以下一个未知的概率定律。为此,我们给出了一个谱分析的紧核积分算子,与一个概率测度,不同于其通常的概率测度。然后将这种衰减估计扩展到相关随机Gram矩阵的迹的尾部的衰减。一个特别的兴趣是致力于开发规则的最佳选择所涉及的截断阶$N$和正则化参数$λ>0.$的值所提出的规则是基于行为和衰减率的频谱的正积分算子,与内核$\mathbb K.$这些最佳值的参数确保在经验风险误差,TKRR和完全KRR估计具有相同的最优收敛速度。最后,我们为读者提供了一些数值模拟,说明我们提出的TKRR估计的性能。
2023-01-17 math.ST stat.TH