Scalable Perturbation Learning for Online Self-Supervised Learning in Echo State Networks
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
研究针对高维系统中智能系统自适应要求间的矛盾，聚焦回声状态网络，提出基于扰动学习成本正交分解的在线自监督学习规则，降低有效扰动维度，避免方差增长，为可扩展及硬件兼容学习提供设计原则。
2026-07-29 cs.LG cs.NE
Propagating Uncertainty through the tanh Function with Application to Reservoir Computing
Georgia Institute of Technology（佐治亚理工学院）；JD.COM American Technologies Corporation（京东美国技术公司）
许多神经网络使用双曲正切激活函数，然而当给定概率分布作为输入时，在具有双曲正切激活的神经网络中计算输出分布的问题尚未得到解决。一个重要的例子是水库计算中回声状态网络的初始化，其中水库的随机初始化需要时间来洗掉初始条件，从而浪费宝贵的数据和计算资源。出于这个问题，我们提出了一种新的解决方案，利用基于矩的方法，通过回声状态网络传播不确定性，以减少冲洗时间。在这项工作中，我们贡献了两种新的方法来传播不确定性通过双曲正切激活函数，并提出了概率回声状态网络（PESN），一种方法，被证明具有更好的平均性能比确定性回声状态网络给定的随机初始化水库状态。此外，我们测试的单步和多步的不确定性传播我们的方法在两个回归任务，并表明，我们能够恢复类似的手段和方差计算的蒙特卡罗模拟。
2018-06-25 cs.LG stat.ML
Echo State Networks for Time Series Forecasting: Hyperparameter Sweep and Benchmarking
Justus-Liebig-University Giessen（吉斯塔-利比希大学吉essen）
本文研究回声状态网络（ESN）在M4竞赛数据集上的单变量预测性能，通过超参数扫描和基准测试，发现简单的一阶自回归ESN在月度数据上与ARIMA和TBATS相当，在季度数据上取得最低平均MASE。
2026-09-09 cs.LG
Length Generalization Needs Proper Regularization
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；ELLIS Unit Lisbon（ELLIS 里斯本分部）；Gandara AI
本研究揭示长度泛化不仅依赖架构，还受训练正则化影响；权重衰减阻碍外推，而调整dropout位置可显著改善，并提出VPAD策略进一步提升外推性能。
2026-10-06 cs.LG
Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
本文提出Dr. Post-Training框架，通过将通用训练数据作为数据诱导正则化器，防止模型过拟合稀缺目标数据，从而提升LLM后训练效果。
2026-10-28 cs.AI cs.LG
Variance-based regularization with convex objectives
我们开发了一种风险最小化和随机最优化的方法，提供了一个凸代理方差，允许近似和估计误差之间的近最佳和计算效率的交易。我们的方法建立了技术的分布鲁棒优化和欧文的经验似然，我们提供了一些有限样本和渐近结果表征的理论性能的估计。特别是，我们表明，我们的程序来与证书的最优性，实现（在某些情况下）更快的收敛速度比经验风险最小化凭借自动平衡偏差和方差。我们提供了确凿的经验证据表明，在实践中，估计确实交易方差和绝对性能的训练样本，提高了标准的经验风险最小化的分类问题的样本（测试）性能。
2017-12-14 math.ST stat.ML stat.TH
Variance Regularization for Accelerating Stochastic Optimization
Boston College（波士顿学院）；Brandeis University（布兰戴斯大学）
虽然现在大多数基于梯度的优化方法专注于探索高维几何特征，但任何算法实现的随机版本中积累的随机误差尚未受到重视。在这项工作中，我们提出了一个通用的原则，利用隐藏在小批量梯度的统计信息，减少了随机误差的积累。这是通过根据小批量方差正则化学习率来实现的。由于我们的观点的互补性，这种正则化可以为通用一阶方法的随机实现提供进一步的改进。实验结果表明，方差正则化可以加快收敛速度，并稳定随机优化。
2020-08-13 cs.LG math.OC stat.ML
Streaming kernel regression with provably adaptive mean, variance, and regularization
Laval University（拉瓦尔大学）；INRIA（法国国家信息与自动化研究所）；McGill University（麦吉尔大学）
我们考虑流核回归的问题，当观察顺序到达，目标是恢复潜在的平均函数，假设属于RKHS。假设噪声的方差是未知的。在这种情况下，我们解决了在每个时间步长自适应调整正则化参数的问题，同时保持严格的置信区间估计的均值函数在每个点的值。为此，我们首先推广现有的有限维线性回归与固定的正则化和已知的方差的核设置与正则化参数允许是一个可测量的功能，过去的观察结果。然后，使用适当的自归一化不等式，我们建立上，下界估计的方差，导致Bersntein样的浓度范围。后者用于定义自适应正则化。从我们的技术所产生的界限是有效的，在所有的观察点和所有的时间步长一致，并与文献的数值实验进行比较。最后，这些工具的潜力说明了应用内核化的土匪，在那里我们重温内核UCB和内核汤普森采样程序，并显示新的自适应内核调整策略的好处。
2017-08-02 cs.LG stat.ML
On the Effect of Regularization on Nonparametric Mean-Variance Regression
本文研究了正则化对非参数均方回归模型的影响，通过统计场理论框架揭示了正则化驱动的相变现象，并展示了在UCI和ClimSim数据集上的鲁棒校准性能。
2025-11-27 cs.LG stat.ML
Sample Efficient Stochastic Variance-Reduced Cubic Regularization Method
University of California, Los Angeles（加州大学洛杉矶分校）
提出了一种有效的随机方差缩减三次正则化（Lite-SVRC）算法，用于求解非凸优化问题的局部极小值.与现有的基于三次正则化的方法相比，该算法实现了更低的黑塞矩阵计算的样本复杂度。在我们的分析的核心是选择一个恒定的批量大小的黑塞矩阵计算在每次迭代和随机方差减少技术。详细地，对于具有$n$分量函数的非凸函数，Lite-SVRC收敛到$\tilde{O}(n+n^{2/3}/ε^{3/2})$ Hessian样本复杂度内的局部极小值值，这比所有现有的基于立方正则化的方法更快。在真实数据集上对不同的非凸最优化问题进行了数值实验，验证了我们的理论结果。
2018-11-29 cs.LG math.OC stat.ML
Adaptive Importance Sampling meets Mirror Descent: a Bias-variance tradeoff
自适应重要性抽样是一种广泛使用的蒙特卡罗技术，它使用重新加权策略来迭代估计所谓的目标分布。自适应重要性采样的一个主要缺点是权重的大方差，这是已知的严重影响估计的准确性。本文研究了一种正则化策略，其基本原理是以一定的幂来提高重要性权重。该正则化参数在算法期间可能在零和一之间演变，被示出为（i）在偏置和方差之间进行平衡，以及（ii）连接到镜像下降框架。利用核密度估计建立抽样策略，在较弱的条件下证明了算法的一致收敛性。最后，讨论了几种实用的正则化参数选择方法，并通过实验说明了所提出方法的优点。
2021-10-29 math.ST stat.ML stat.TH
Control Regularization for Reduced Variance Reinforcement Learning
California Institute of Technology, Pasadena, CA（加州理工学院）；University of Michigan, Ann Arbor, MI（密歇根大学）；Rice University, Houston, TX（Rice大学）
本文提出了一种功能正则化方法，用于减少连续控制中强化学习的方差，通过正则化深度策略的行为与先验策略相似，从而在偏倚-方差权衡中实现更稳定的动态稳定性和更高效的训练。
2019-05-14 cs.LG cs.SY eess.SY
Adaptive Step Sizes in Variance Reduction via Regularization
University of Minnesota - Twin Cities（明尼苏达大学双城分校）
本文的主要目标是用Barzilai-Borwein（BB）步长来配置凸和非凸问题。由于BB步长的自适应性，当目标函数不是强凸时，它们可能会失败。为了克服这个挑战，这里的关键思想是通过正则化来桥接（非）凸问题和强凸问题。所提出的正则化方案是\textit{simple}，但有效的。将BB步长与方差缩减方法（称为SARAH）相结合，与凸问题中的香草SARAH相比，提供了免费的午餐。BB步长在非凸问题中的收敛性也得到了证明，其复杂性并不比AdaGrad等自适应步长差。作为一个副产品，我们的正则化SARAH方法凸函数确保的复杂性，找到$\mathbb{E}[\| \nabla f(\mathbf{x}) \|^2]\leq ε$是${\cal O}\big( (n+\frac{1}{\sqrtε})\ln{\frac{1}ε}\big)$，改善$ε$依赖于现有的结果。数值试验进一步验证了所提出的方法的优点。
2019-10-15 cs.LG stat.ML
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Risk Variance Penalization
分布外推广的关键是将不变性从训练域推广到目标域。方差风险外推（V-REx）是一种实用的面向对象方法，它依赖于领域级正则化，但缺乏理论验证其动机和实用性。本文通过研究一个基于方差的正则化器，提供了对V-REx的理论见解。我们提出了风险方差惩罚（RVP），它稍微改变了V-REx的正则化，但解决了V-REx的理论问题。我们提供了理论解释和理论启发的调整计划的正则化参数的RVP。我们的研究结果指出，RVP发现一个强大的预测。最后，我们的实验表明，建议的正则化可以找到一个不变的预测在一定条件下。
2021-04-09 cs.LG stat.ML
Stochastic Variance-Reduced Cubic Regularization for Nonconvex Optimization
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
三次正则化（CR）是一种最优化方法，由于其能够逃逸鞍点并收敛于非凸优化的二阶稳定解而受到广泛关注。然而，CR遇到了一个高样本复杂度的问题，有限和问题，大的数据大小。已提出CR的各种不精确变体以改善样本复杂性。本文提出了一种随机抽样下的随机方差缩减的正则化方法，并研究了它的收敛性保证和样本复杂度。我们表明，SVRC实现$ε$精度内的二阶稳态解的迭代复杂度为$O(ε^{-3/2})$，这与CR类型方法的最新结果相匹配。此外，我们提出的方差缩减方案显着降低了每次迭代样本的复杂度。我们的SVRC得到的总Hessian样本复杂度是${\Oc}(N^{2/3} ε^{-3/2})$，它比最先进的结果好$O(N^{2/15})$倍。我们还研究了我们的SVRC下的随机不放回抽样方案，它产生了较低的每次迭代的样本复杂度，因此证明了其实用性。
2018-10-09 cs.LG math.OC stat.ML
Stochastic Recursive Variance-Reduced Cubic Regularization Methods
University of California, Los Angeles（加州大学洛杉矶分校）
随机方差缩减立方正则化（SVRC）算法由于其改进的梯度/Hessian复杂性（即，随机梯度/Hessian预言机的查询数量），以找到非凸有限和优化的局部极小值。然而，目前还不清楚现有的SVRC算法是否可以进一步改进。此外，在现有的SVRC算法中采用的半随机Hessian估计器，防止使用基于Hessian向量乘积的快速三次子问题求解器，这使得SVRC算法在计算上难以处理高维问题。在本文中，我们首先提出了一个随机递归方差减少三次正则化方法（SRVRC）使用递归更新的半随机梯度和Hessian估计。该算法在寻找$(ε, \sqrtε)$ -近似局部极小值方面具有改进的梯度和Hessian复杂度，性能优于现有的SVRC算法。在SRVRC的基础上，进一步提出了一种无Hessian的SRVRC算法，即SRVRC $_{\text{free}}$，它只需要随机梯度和Hessian向量积的计算，并达到了$\tilde O(dnε^{-2} \land dε^{-3})$的运行复杂度，其中$n$是有限和结构中分量函数的个数，$d$是问题维数，$ε$是优化精度.这优于Tripuraneni等人在2018年提出的随机三次正则化算法实现的最著名的运行时复杂度$\tilde O(dε^{-3.5})$。
2019-10-11 cs.LG math.OC stat.ML
Temporal Regularization in Markov Decision Process
McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）
强化学习的一些应用由于高方差而遭受不稳定性。这在高维域中尤其普遍。正则化是机器学习中常用的技术，用于减少方差，但代价是引入一些偏差。大多数现有的正则化技术集中在空间（感知）正则化。然而，在强化学习中，由于Bellman方程的性质，也有机会利用基于轨迹上的值估计的平滑度的时间正则化。本文探讨了一类时间正则化方法。我们正式的特点，这种技术使用马尔可夫链的概念引起的偏见。我们通过一系列简单的离散和连续的MDP说明了时间正则化的各种特性，并表明该技术即使在高维Atari游戏中也能提供改进。
2019-04-10 cs.LG stat.ML
Readouts for Echo-state Networks Built using Locally Regularized Orthogonal Forward Regression
回声状态网络（ESN）被看作是一个时间非正交扩展与伪随机参数。这种扩展自然会产生与教师输出相关的各种回归变量。我们说明，往往只有一定数量的生成的回声回归有效地解释教师输出的方差，也是唯一的局部正则化是无法提供深入的信息，所生成的回归的重要性。因此，通过使用局部正则化正交前向回归（LROFR）算法联合计算个体方差贡献和贝叶斯相关性来确定重要性。该信息可以有利地以各种方式用于深入分析ESN结构及其与潜在问题的未知动态相关的状态空间参数。我们提出了使用LROFR构建的局部正则化线性读出。读出可以具有与ESN模型本身不同的维度，并且除了提高ESN的鲁棒性和准确性之外，它还将回波回归量与训练数据的不同特征相关联，并且可以确定什么类型的附加读出适合于手头的任务。此外，由于线性读出的灵活性有局限性，有时可能不足以满足某些任务，我们还提出了一个径向基函数（RBF）读出使用LROFR。它是一个灵活的和吝啬的读出具有良好的泛化能力，是一个可行的替代读出基于前馈神经网络（FFNN）或RBF网络建立使用相关向量机（RVM）。
2012-07-02 stat.ME stat.ML
High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Warwick（华威大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文研究协变量偏移下的高维核岭回归，通过偏差-方差分解证明重要性重加权能降低方差，并揭示其可视为一种数据依赖的隐式正则化。
2024-06-05 cs.LG stat.ML
Dynamic Regularized CBDT: Variance-Calibrated Causal Boosting for Interpretable Heterogeneous Treatment Effects
Dublin International College Beijing University of Technology（北京理工大学 Dublin 国际学院）
针对基于树的因果推理技术在观测数据中估计误差高的问题，提出动态正则化因果提升决策树（CBDT）框架，通过整合方差正则化与平均处理效应校准、动态更新正则化参数，显著提升估计精度并保持可解释性。
2025-04-18 cs.LG stat.ML
Regularizing by the Variance of the Activations' Sample-Variances
Tel Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
规范化技术在支持深度神经网络的高效且通常更有效的训练方面发挥着重要作用。虽然传统的方法明确规范化的激活，我们建议增加一个损失项。这个新的损失项鼓励激活的方差是稳定的，并且不会从一个随机小批量到下一个随机小批量而变化。正如我们所证明的，这鼓励激活分布在几个不同的模式。我们还表明，如果输入是来自两个高斯的混合，新的损失将两者结合在一起，或在LDA意义上最佳地分离它们，这取决于先验概率。最后，我们能够将新的正则化项与batchnorm方法联系起来，这为它提供了一个正则化的视角。我们的实验表明，对于CNN和全连接网络，与batchnorm技术相比，准确性有所提高。
2018-11-21 cs.LG stat.ML
Bias-Variance Tradeoff of Graph Laplacian Regularizer
Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系）
本文提出了一种偏差-方差折衷的图拉普拉斯正则化器，它被广泛应用于图信号处理和半监督学习任务。最佳正则化参数的标度律指定的频谱图的属性和一个新的信噪比参数，这表明选择一个平庸的正则化参数往往是次优的。该分析适用于三个应用程序，包括随机，带限，和多采样图形信号。合成和真实世界的图形上的实验表明，所建立的分析接近最佳的性能。
2017-06-02 cs.LG cs.SI stat.ML
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
针对线性MDP中MDVI算法缺乏理论保证的问题，提出方差加权最小二乘MDVI（VWLS-MDVI）达到极小极大最优样本复杂度，并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Optimal ridge penalty for real-world high-dimensional data can be zero or negative due to the implicit ridge regularization
本文证明了在欠定高维线性回归中，低方差方向的隐式岭正则化可使最优岭惩罚为零或负，显式正惩罚无益，并用尖峰协方差模型给出理论证明。
2020-04-09 math.ST stat.ML stat.TH
Training Structured Neural Networks Through Manifold Identification and Variance Reduction
Academia Sinica（中央研究院）
本文提出了一种训练神经网络的算法（RMDA），该算法中引入了一个正则化项来提升期望的结构。RMDA不会引起额外的计算与动量近端SGD，并实现方差减小，而不需要的目标函数是有限和形式。通过从非线性优化流形识别的工具，我们证明，经过有限次迭代，所有的迭代RMDA具有所需的结构相同的正则化诱导的渐近收敛的稳定点，即使在存在的工程技巧，如数据增强和辍学，复杂的训练过程。训练神经网络与结构稀疏的实验证实，方差减少是必要的，这样的识别，并表明RMDA因此显着优于现有的方法，这项任务。对于非结构化稀疏性，RMDA也优于最先进的修剪方法，验证了通过正则化训练结构化NN的好处。
2022-03-18 cs.LG math.OC stat.ML
Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study
Université Claude Bernard Lyon 1（克莱尔-伯纳德里昂1大学）；Laboratoire SAF, ISFA, France（SAF实验室，ISFA，法国）；Department of Mathematics University of Vienna, Austria（数学系，维也纳大学，奥地利）；The Ohio State University, USA（俄亥俄州立大学，美国）
本文将扩散模型中的经验分数解释为真实分数的带噪版本，提出核平滑经验分数以降低方差，推导了KL散度渐近界，并揭示其等效于LED-KDE的双重正则化机制，从而有效缓解记忆现象并提升泛化能力。
2025-05-28 cs.LG math.PR stat.ML
Optimal Training of Mean Variance Estimation Neural Networks
Radboud University（拉德堡德大学）
本文研究MVE网络的最优训练，指出使用预热期能解决收敛困难，并提出对均值和方差分别正则化的新方法，在多个数据集上取得显著改进。
2023-08-03 cs.LG stat.ML
Learning for Single-Shot Confidence Calibration in Deep Neural Networks through Stochastic Inferences
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
我们提出了一个通用框架，通过随机推理来校准深度神经网络中预测的准确性和置信度。我们解释随机正则化使用贝叶斯模型，并分析网络的预测不确定性和方差的预测得分的随机推断获得的单个例子之间的关系。我们的实证研究表明，预测的准确性和得分是高度相关的多个随机推断的随机深度或辍学的方差。基于这一观察结果，我们设计了一种新的方差加权置信度集成损失函数，该函数由两个关于地面真值和均匀分布的交叉熵损失项组成，它们由随机预测分数的方差来平衡。提出的损失函数使我们能够学习深度神经网络，这些网络使用单个推理来预测置信度校准分数。该算法在多个模型和数据集上结合两种流行的随机正则化技术--随机深度和dropout--，表现出出色的置信度校准性能，提高了分类精度;通过训练网络，使预测精度与预测置信度成正比，显著改善了深度神经网络中的过度自信问题。
2019-04-24 cs.LG stat.ML
The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks
Tsinghua University（清华大学）；University of Minnesota（明尼苏达大学）
神经网络中的一个关键问题是选择最合适的隐层神经元数目并获得严格的统计风险界。在这项工作中，我们提出了一个新的角度对偏差方差权衡神经网络。作为选择神经元数目的替代方案，我们从理论上证明了$L_1$正则化可以控制泛化误差并稀疏化输入维数。特别是，在输出层上使用适当的$L_1$正则化，网络可以产生接近最小最大最优的统计风险。此外，在输入层上适当的$L_1$正则化导致不涉及输入数据维度的风险边界。我们的分析是基于一个新的融合的基于维度和基于范数的复杂性分析，以限制泛化误差。从我们的研究结果中得出的一个结论是，在适当的正则化下，过多的神经元不一定会增加泛化误差。
2020-10-02 cs.LG stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Middle Tennessee State University（中田纳西州立大学）
分布式学习是分析大数据的有效方法。在分布式回归中，一种典型的方法是将大数据划分为多个块，对每个块应用基本回归算法，然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差，而不是偏差，如果基本回归算法是有偏的，则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中，我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集，当它被应用为分布式回归的基本算法，我们推导出的误差界。我们表明，在某些适当的条件下，最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
LARGE: A Locally Adaptive Regularization Approach for Estimating Gaussian Graphical Models
Cornell University（康奈尔大学）
LARGE通过自适应学习节点层面的正则化参数，提高高斯图模型的估计和选择精度，尤其在处理异质性fMRI数据时表现优异。
2026-01-14 stat.CO stat.ME stat.ML
Optimal ridge regularization revisited
Department of Computer Science, Boston College（计算机科学系，波士顿学院）
针对有限数据样本的线性岭回归，提出一种迭代算法从生成参数计算最优正则化强度，并证明其在有限噪声水平下的收敛性，实验表明结合样本参数估计可在多种设置下实现接近最优的泛化性能。
2026-05-27 cs.LG stat.ML
ALPCAH: Sample-wise Heteroscedastic PCA with Tail Singular Value Regularization
本文提出ALPCAH方法，用于估计样本级噪声方差并改进PCA子空间估计，无需分布假设或已知噪声方差，模拟实验验证了其有效性，并与PCA、RPCA和HePPCAT等方法进行了比较。
2023-11-12 eess.SP stat.ML
Optimal Rates For Regularization Of Statistical Inverse Learning Problems
我们考虑一个统计逆学习问题，其中我们通过一个线性算子$A$在i.i.d.观察函数$f$的图像。随机设计点$X_i$，叠加加性噪声。设计点的分布是未知的，并且可能非常一般。我们同时分析了直接（估计$Af$）和逆（估计$f$）学习问题。在这个一般的框架中，我们获得了强和弱极大极小最优收敛速度（作为观察$n$的数量越来越大）的一大类谱正则化方法通过适当的源条件定义的正则类。这改进或完善了在相关设置中获得的先前结果。所得到的速率的最优性不仅表现在$n$中的指数上，而且表现在噪声方差中的常数因子与源条件集半径的显式依赖关系上。
2016-04-14 stat.ML
