LARGE: A Locally Adaptive Regularization Approach for Estimating Gaussian Graphical Models
Cornell University(康奈尔大学)
LARGE通过自适应学习节点层面的正则化参数,提高高斯图模型的估计和选择精度,尤其在处理异质性fMRI数据时表现优异。
2026-01-14 stat.CO stat.ME stat.ML
Local Adaptive Grouped Regularization and its Oracle Properties for Varying Coefficient Regression
变系数回归是一种灵活的数据建模技术,其中系数是某些影响修改参数的函数,通常是某个域中的时间或位置。在变系数回归模型中,变量选择的方法有很多种,但现有的方法大多是全局选择,包括或排除整个域上的每个协变量。提出了一种新的局部自适应分组正则化方法,用于空间变系数线性和广义线性回归中局部变量的选择。LAGR选择与空间中任何点的响应相关的协变量,并通过使用局部线性系数估计值对自适应组Lasso进行调整,以获得局部回归模型,从而同时估计这些协变量的系数。在局部线性回归和局部广义线性回归条件下,证明了该方法的预言性质。在模拟研究中评估了LAGR的有限样本性质,并以波士顿房价数据集为例进行了分析。
2014-11-20 stat.ME
An adaptive Ridge procedure for L0 regularization
惩罚性选择标准(如AIC或BIC)是最流行的变量选择方法之一。它们的理论性质已经被深入研究并得到很好的理解,但由于L0惩罚引起的非凸优化问题,在高维数据的情况下使用它们是困难的。这个问题的一个优雅的解决方案是由多步自适应套索,其中迭代加权套索问题的解决,其权重更新的方式,该过程收敛到选择与L0处罚。在本文中,我们介绍了自适应岭过程(AR),模仿自适应套索,但基于加权岭问题。在引入AR后,研究了它在正交线性回归特殊情况下的理论性质。对于非正交的情况下,广泛的模拟进行评估的AR的性能。在泊松回归和逻辑斯谛回归的情况下,说明了AR的迭代过程如何可以与迭代最大化过程相结合。最后,本文提出了一种有效的AR实现的最小二乘分割的上下文中。
2015-05-08 stat.ME
Variable selection for the multicategory SVM via adaptive sup-norm regularization
支持向量机(SVM)是机器学习中一种流行的分类方法,在实际应用中取得了巨大的成功。然而,标准的SVM不能自动选择变量,因此其解决方案通常利用所有的输入变量没有歧视。这使得识别重要的预测变量变得困难,而这通常是数据分析的主要目标之一。在本文中,我们提出了两种新类型的正则化的多类别SVM(MSVM)的背景下,同时分类和变量选择。MSVM通常需要估计多个判别函数,并应用argmax规则进行预测。对于每个单独的变量,我们建议其重要性的特征与不同的功能,其系数向量的supnorm,然后最小化的MSVM铰链损失函数受到惩罚的supnorm的总和。为了进一步改善超范数惩罚,我们提出了自适应正则化,它允许根据不同的变量的相对重要性施加不同的权重。这两种类型的正则化在构建分类器的过程中自动进行变量选择,并导致具有增强的可解释性和提高的准确性的稀疏多分类器,特别是对于高维低样本量数据。超范数惩罚的一个很大的优点是它很容易通过标准线性规划实现。几个模拟的例子和一个真实的基因数据分析表明,在各种数据设置的自适应超范数惩罚的出色表现。
2008-03-26 math.ST stat.ME stat.TH
Learning to Trust Bellman Updates: Selective State-Adaptive Regularization for Offline RL
针对离线强化学习中固定正则化强度难以平衡外推误差与策略性能的问题,提出选择性状态自适应正则化方法,通过状态级信任与选择性约束高质量动作,在D4RL基准上显著优于现有方法。
2025-05-26 cs.LG stat.ML
The Flip Side of the Reweighted Coin: Duality of Adaptive Dropout and Regularization
Rice University(莱斯大学)
稀疏化深度(神经)网络最成功的方法之一是在整个训练过程中自适应地屏蔽网络权重。通过检查这种掩蔽,或辍学,在线性的情况下,我们发现这种自适应方法和正则化之间的对偶性,通过所谓的“$η$技巧”,铸造作为迭代重新加权优化。我们表明,任何辍学策略,适应的权重在单调的方式对应于一个有效的次二次正则化惩罚,因此导致稀疏的解决方案。我们得到了几个流行的稀疏化策略,这是非常相似的经典的惩罚稀疏优化中常用的有效的处罚。考虑变分dropout作为案例研究,我们在深度网络稀疏化任务上展示了自适应dropout方法和经典方法之间类似的经验行为,验证了我们的理论。
2022-01-03 cs.LG stat.ML
Data adaptive RKHS Tikhonov regularization for learning kernels in operators
Johns Hopkins University(约翰斯·霍普金斯大学)
我们介绍DARTR:数据自适应RKHS Tikhonov正则化方法,用于算子中函数参数的非参数学习的线性逆问题。一个关键的成分是系统内在数据自适应(SIDA)RKHS,其规范限制学习发生在可识别的函数空间。DARTR利用该范数,并通过L曲线方法选择正则化参数。我们举例说明其性能,包括积分算子,非线性算子和非局部算子与离散合成数据。数值结果表明,DARTR导致一个准确的估计器的数值误差,由于离散数据和数据中的噪声,估计器收敛在一个一致的速度下的数据网格细化不同水平的噪声,优于两个基线正则化使用$l^2$和$L^2$规范。
2022-03-08 cs.LG stat.ML
Adaptive Regularization via Residual Smoothing in Deep Learning Optimization
Seoul National University(首尔国立大学);Chung-Ang University(中央大学)
我们提出了一种自适应正则化算法,可以有效地应用于深度学习框架中的优化问题。我们的正则化算法的目的是考虑到数据的适应性,以确定规则的模型的当前状态,以实现更好的推广。神经网络架构的目标空间中的每个元素处的正则化程度以自适应方式基于每个优化迭代处的残差来确定。我们的自适应正则化算法被设计成应用由热方程驱动的扩散过程,该热方程具有空间变化的扩散率,该扩散率取决于遵循一定分布的残差的概率密度函数。我们的数据驱动的规律性是通过自适应平滑简化的目标函数,其中显式正则化项被省略,在残差的评估和确定其规律性的程度之间的交替方式。在图像分类问题的应用中,通过数值实验验证了该算法的有效性,表明该算法在推广流行的深度学习模型和基准数据集方面优于其他常用的优化算法。
2019-08-30 cs.AI cs.LG stat.ML
Streaming kernel regression with provably adaptive mean, variance, and regularization
Laval University(拉瓦尔大学);INRIA(法国国家信息与自动化研究所);McGill University(麦吉尔大学)
我们考虑流核回归的问题,当观察顺序到达,目标是恢复潜在的平均函数,假设属于RKHS。假设噪声的方差是未知的。在这种情况下,我们解决了在每个时间步长自适应调整正则化参数的问题,同时保持严格的置信区间估计的均值函数在每个点的值。为此,我们首先推广现有的有限维线性回归与固定的正则化和已知的方差的核设置与正则化参数允许是一个可测量的功能,过去的观察结果。然后,使用适当的自归一化不等式,我们建立上,下界估计的方差,导致Bersntein样的浓度范围。后者用于定义自适应正则化。从我们的技术所产生的界限是有效的,在所有的观察点和所有的时间步长一致,并与文献的数值实验进行比较。最后,这些工具的潜力说明了应用内核化的土匪,在那里我们重温内核UCB和内核汤普森采样程序,并显示新的自适应内核调整策略的好处。
2017-08-02 cs.LG stat.ML
Adaptive Regularization of Labels
Tsinghua University(清华大学);Chinese University of Hong Kong(香港中文大学);PengCheng Laboratory(鹏城实验室)
最近,多种正则化技术在深度神经网络中得到了广泛应用,如dropout、批量归一化、数据增强等,这些方法主要关注权值参数的正则化,以有效防止过拟合。此外,标签正则化技术,如标签平滑和标签扰动也被提出的动机,增加一个随机扰动的标签。本文提出了一种新的自适应标签正则化方法,该方法使神经网络能够从错误的经验中学习,并在线更新最佳标签表示。另一方面,与使用教师网络学习类别相关性的知识蒸馏相比,我们提出的方法只需要很小的参数增加,而不需要繁琐的教师网络。此外,我们在CIFAR-10/CIFAR-100/ImageNet数据集上评估了我们的方法,用于图像识别任务,在AGNews/Yahoo/Yelp-Full数据集上评估了我们的方法。实证结果表明,在所有的实验设置显着改善。
2019-08-15 cs.LG stat.ML
Finding the Near Optimal Policy via Adaptive Reduced Regularization in MDPs
Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
正则化的MDP充当原始MDP的平滑版本。然而,有偏的最优策略总是存在正则化的MDP。我们提出了一种自适应的λ约简方案来逼近原MDP的最优策略,而不是使正则项的系数λ足够小.结果表明,与设定足够小的λ相比,得到ε-最优策略的迭代复杂度可以降低.此外,该约简方法与直接求解原始MDP之间存在着很强的对偶关系,由此可以推导出对某些算法更具自适应性的约简方法。
2020-10-31 cs.LG stat.ML
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain(谷歌大脑)
我们描述了一个框架,推导和分析在线优化算法,包括自适应,数据相关的正则化,也称为预处理。这样的算法已被证明是有用的随机优化,根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献,包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此,我们获得了新的收敛性证明,这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Continual Learning with Node-Importance based Adaptive Group Sparse Regularization
Sungkyunkwan University(成均馆大学)
我们提出了一种新的正则化为基础的持续学习方法,称为自适应组稀疏性为基础的持续学习(AGS-CL),使用两个组稀疏性为基础的惩罚。我们的方法选择性地采用两个惩罚时,学习每个节点的重要性,这是自适应更新后,学习每个新的任务。通过利用用于学习的近似梯度下降方法,保证了模型的精确稀疏性和冻结性,并且因此,学习器可以随着学习的继续而显式地控制模型容量。此外,作为一个关键的细节,我们重新初始化的权重与不重要的节点后,学习每个任务,以防止负迁移,导致灾难性遗忘,并促进新任务的有效学习。在整个广泛的实验结果中,我们表明,我们的AGS-CL使用更少的额外内存空间来存储正则化参数,并且在监督和强化学习任务的代表性持续学习基准上,它的性能显着优于几个最先进的基线。
2021-05-29 cs.LG stat.ML
Adaptive Activation Network and Functional Regularization for Efficient and Flexible Deep Multi-Task Learning
Stony Brook University(石溪大学);Tencent AI Lab(腾讯人工智能实验室)
多任务学习是一种通过同时训练相关任务来提高任务学习泛化性能的学习范式。然而,寻找一种灵活、准确的、能够在多个任务之间共享的体系结构仍然是一个具有挑战性的问题。在本文中,我们提出了一种新的深度学习模型,称为任务自适应激活网络(TAAN),可以自动学习MTL的最佳网络架构。TAAN的主要原理是在网络其他参数完全共享的情况下,从数据中导出针对不同任务的灵活激活函数。我们进一步提出了两个功能的正则化方法,提高MTL性能的TAAN。综合实验证明了TAAN和正则化方法的性能改善。
2019-11-19 cs.LG stat.ML
Heteroskedastic and Imbalanced Deep Learning with Adaptive Regularization
Stanford University(斯坦福大学);Harvard University(哈佛大学);Toyota Research Institute(丰田研究所)
真实世界的大规模数据集是异方差和不平衡的-标签具有不同程度的不确定性,标签分布是长尾的。异方差性和不平衡性对深度学习算法提出了挑战,因为很难区分错误标记、模糊和罕见的示例。同时解决异方差和不平衡问题的探索不足。我们提出了一种异方差数据集的数据依赖正则化技术,该技术对输入空间的不同区域进行不同的正则化。受一维非参数分类设置中最佳正则化强度的理论推导的启发,我们的方法自适应地正则化更高不确定性,更低密度区域中的数据点。我们在几个基准任务上测试了我们的方法,包括真实世界的异方差和不平衡数据集WebVision。我们的实验证实了我们的理论,并证明了在噪声鲁棒性深度学习中比其他方法有显着的改进。
2021-03-18 cs.LG stat.ML
Robust Surface Reconstruction from Gradients via Adaptive Dictionary Regularization
University of Michigan(密歇根大学)
本文介绍了一种新的方法,强大的表面重建光度立体法向量地图,特别适合于重建表面从噪声梯度。具体而言,我们提出了一种自适应字典学习的方法,试图同时整合的梯度场,而稀疏表示的空间补丁的重建表面在自适应字典域。我们表明,我们的配方学习的表面的底层结构,有效地作为一个自适应正则化,执行重建表面上的平滑约束。我们的方法是通用的,可以与文献中的许多现有的方法,以提高重建表面的完整性。我们证明了我们的方法对合成数据以及真实的光度立体数据的性能,并评估其对噪声的鲁棒性。
2017-09-30 cs.CV stat.ML
Dropout Training as Adaptive Regularization
Stanford University(斯坦福大学)
Dropout和其他特征噪声方案通过人为破坏训练数据来控制过拟合。对于广义线性模型,dropout执行一种形式的自适应正则化。使用这种观点,我们表明,辍学正则化是一阶等效的L2正则化应用后,通过估计的逆对角费舍尔信息矩阵的功能。我们还与在线学习算法AdaGrad建立了联系,并发现AdaGrad的近亲通过反复解决线性丢弃正则化问题来操作。通过将dropout转换为正则化,我们开发了一种自然的半监督算法,该算法使用未标记的数据来创建更好的自适应正则化器。我们将这个想法应用于文档分类任务,并表明它始终提高了dropout训练的性能,改善了IMDB评论数据集上的最新结果。
2013-11-01 cs.LG stat.ME stat.ML
Learning Neural Networks with Adaptive Regularization
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Montreal(蒙特利尔微软研究院)
前馈神经网络可以理解为中间表示和线性假设的组合。虽然大多数以前的作品旨在多样化的表示,我们探索的互补方向,通过执行自适应和数据依赖的正则化的经验贝叶斯方法的动机。具体来说,我们建议构造一个矩阵变量正态先验(关于权重),其协方差矩阵具有克罗内克积结构。这种结构被设计成通过反向传播来捕获神经元中的相关性。在这种克罗内克分解的假设下,先验知识鼓励神经元相互借用统计强度。因此,当在小数据集上训练网络时,它会导致自适应和数据依赖的正则化。为了优化模型,我们提出了一个有效的块坐标下降算法的解析解。经验上,我们证明了所提出的方法有助于网络收敛到局部最优,具有较小的稳定秩和谱范数。这些属性建议更好的概括,我们提出的实证结果来支持这一预期。我们还验证了该方法的有效性,多类分类和多任务回归问题与各种网络结构。
2019-10-23 cs.LG stat.ML
Adaptive Step Sizes in Variance Reduction via Regularization
University of Minnesota - Twin Cities(明尼苏达大学双城分校)
本文的主要目标是用Barzilai-Borwein(BB)步长来配置凸和非凸问题。由于BB步长的自适应性,当目标函数不是强凸时,它们可能会失败。为了克服这个挑战,这里的关键思想是通过正则化来桥接(非)凸问题和强凸问题。所提出的正则化方案是\textit{simple},但有效的。将BB步长与方差缩减方法(称为SARAH)相结合,与凸问题中的香草SARAH相比,提供了免费的午餐。BB步长在非凸问题中的收敛性也得到了证明,其复杂性并不比AdaGrad等自适应步长差。作为一个副产品,我们的正则化SARAH方法凸函数确保的复杂性,找到$\mathbb{E}[\| \nabla f(\mathbf{x}) \|^2]\leq ε$是${\cal O}\big( (n+\frac{1}{\sqrtε})\ln{\frac{1}ε}\big)$,改善$ε$依赖于现有的结果。数值试验进一步验证了所提出的方法的优点。
2019-10-15 cs.LG stat.ML
Stochastic batch size for adaptive regularization in deep network optimization
Chung-Ang University(中央大学);University of California Los Angeles(加州大学洛杉矶分校)
提出了一种结合自适应正则化的一阶随机优化算法,适用于深度学习框架下的机器学习问题。自适应正则化是由随机过程施加在确定批量大小为每个模型参数在每次优化迭代。随机批量大小由遵循梯度范数分布的每个参数的更新概率确定,考虑到神经网络架构中的局部和全局属性,其中梯度范数的范围可以在层内和跨层变化。我们经验证明我们的算法的有效性,使用图像分类任务的基础上,传统的网络模型应用于常用的基准数据集。定量评估表明,我们的算法优于国家的最先进的优化算法的泛化能力,同时提供更低的敏感性,选择批量大小,往往在优化中发挥关键作用,从而实现更强大的鲁棒性的选择规律性。
2020-04-14 cs.CV cs.LG stat.ML
Discounted Adaptive Online Learning: Towards Better Regularization
Harvard University(哈佛大学)
该研究针对对抗性非平稳环境在线学习的历史遗忘难题,提出基于FTRL的自适应折扣遗憾算法,改进恒定学习率梯度下降基线,还将其用于在线共形预测,简化分析并得到实例依赖性能保证。
2024-06-18 cs.LG stat.ML
Adaptive Ensemble of Classifiers with Regularization for Imbalanced Data Classification
Sichuan University(四川大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校);Zhejiang University(浙江大学);Tennessee State University(田纳西州立大学)
分类器的动态集成选择是处理标签不平衡数据分类的一种有效方法。然而,由于缺乏正则化方法以及上述技术对局部几何形状的依赖,这种技术易于过拟合。在这项研究中,针对二进制不平衡数据分类,提出了一种新的动态集成方法,即自适应集成的分类器与正则化(AER),以克服上述限制。该方法通过隐式正则化来解决过拟合问题。具体而言,它利用随机梯度下降的特性来获得具有最小范数的解,从而实现正则化;此外,它通过利用数据的全局几何形状来插值整体权重,以进一步防止过拟合。根据我们的理论证明,看似复杂的AER范式,除了其正则化功能,实际上可以减少其他几个算法的渐近时间和内存复杂度。我们评估了七个基准不平衡数据集的UCI机器学习存储库和一个人工生成的基于GM的数据集与五个变化的AER方法。结果表明,该算法在大多数情况下优于现有的基于多个度量的主要算法,两个假设检验(McNemar's和Wilcoxon检验)进一步验证了该算法的统计显著性。此外,该方法还具有处理高度不平衡数据的特殊优势,开创了动态集成方法正则化研究的先河。
2020-11-06 cs.LG stat.ML
Cross-regularization: Adaptive Model Complexity through Validation Gradients
NightCity Labs(夜城实验室)
本文提出交叉正则化方法,利用验证梯度在训练中自适应调整正则化参数,平衡复杂度与过拟合,并证明其收敛到交叉验证最优,同时支持数据增强和不确定性校准。
2025-06-24 cs.AI cs.LG math.ST
Epsilon Consistent Mixup: Structural Regularization with an Adaptive Consistency-Interpolation Tradeoff
Pennsylvania State University(宾夕法尼亚州立大学);Sant’Anna School of Advanced Studies(圣安娜高等研究院)
在本文中,我们提出了$ε$ -一致性混淆($ε$ μ)。$ε$ mu是一种基于数据的结构正则化技术,它通过在两者之间进行简单的自适应权衡,将Mixup的线性插值与Mixup方向的一致性正则化相结合。这种一致性和插值的可学习组合在整个特征空间的响应演化上引入了更灵活的结构,并被证明可以提高SVHN和CIFAR 10基准数据集上的半监督分类准确性,在最具挑战性的低标签可用性场景中获得最大收益。比较$ε$ mu和Mixup的实证研究,并提供深入了解$ε$ mu的有效性背后的机制。特别是,发现$ε$ mu比Mixup产生更准确的合成标记和更有信心的预测。
2021-09-30 cs.LG stat.AP stat.ME
Overlap-Adaptive Regularization for Conditional Average Treatment Effect Estimation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich, Germany(德国慕尼黑)
本文提出重叠自适应正则化方法,通过调整正则化强度以应对低重叠问题,提升CATE估计的性能。
2026-03-11 cs.LG stat.ML
Uncertainty-based Continual Learning with Adaptive Regularization
Sungkyunkwan University(成均馆大学)
提出了一种基于神经网络的不确定性正则化持续学习(UCL)算法,该算法基于变分推理的贝叶斯在线学习框架。我们关注最近提出的基于正则化的方法的两个显著缺点:a)用于确定每个权重正则化强度的相当大的额外内存成本和b)缺乏优雅遗忘方案,该方案可以防止学习新任务时的性能下降。在本文中,我们表明UCL可以解决这两个问题,通过引入一个新的解释的Kullback-Leibler(KL)的发散项的高斯平均场近似的变分下界。基于这种解释,我们提出了节点不确定性的概念,这大大减少了用于实现每权重正则化的附加参数的数量。此外,我们还设计了两个额外的正则化项,通过冻结过去任务的重要参数来增强稳定性,并通过控制新任务的主动学习参数来实现可塑性。通过大量的实验,我们证明了UCL不仅在流行的监督学习基准上,而且在具有挑战性的终身强化学习任务上都令人信服地优于大多数最新的最先进的基线。我们的算法的源代码可在https://github.com/csm9493/UCL上获得。
2019-11-14 cs.LG stat.ML
Adaptive Regularization for Large-Scale Sparse Feature Embedding Models
Institute of Intelligent Technology(智能技术研究所);Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团)
本文提出了一种自适应正则化方法,用于解决大规模稀疏特征嵌入模型中多 epoch 训练导致的过拟合问题,通过约束嵌入层范数预算提升模型性能。
2026-01-27 cs.LG stat.ML
Adaptive Norm-Based Regularization for Neural Networks
Department of Statistics, Lund University(统计系,隆德大学)
本文提出两种自适应范数正则化策略,通过引入输入特征协方差结构改进传统岭和Lasso惩罚,提升高维数据下的预测性能和复杂度控制。
2026-04-30 cs.LG stat.AP stat.ML
Adaptive Regularization for Random Features: A Neighboring Early-Stopping Rule with Oracle-Rate Guarantees
Southeast University(东南大学);University of Science and Technology of China(中国科学技术大学)
本研究针对带随机特征的核岭回归提出邻域早停规则,无需预先知晓未知参数即可选正则化参数,可达到神谕多项式学习速率,经实验验证了其性能。
2026-08-27 cs.LG stat.ML
Wasserstein Adaptive Value Estimation for Actor-Critic Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
本文提出WAVE方法,通过在critic损失中引入自适应Wasserstein正则化提升actor-critic稳定性,并给出收敛速率与理论保证,实验显示其性能优于标准方法。
2025-03-07 cs.LG cs.SY eess.SY
Iterative Hard Thresholding with Adaptive Regularization: Sparser Solutions Without Sacrificing Runtime
MIT(麻省理工学院);Yahoo! Research(雅虎研究院)
我们提出了一个简单的修改迭代硬阈值(IHT)算法,恢复渐近稀疏的解决方案作为条件数的函数。当目标是最小化凸函数$f(x)$,条件数$κ$服从$x$是$s$ -稀疏向量时,标准IHT保证是具有松弛稀疏性$O(sκ^2)$的解,而我们提出的算法正则化IHT返回具有稀疏性$O(sκ)$的解。我们的算法显着提高了ARHT也找到了稀疏$O(sκ)$的解决方案,因为它不需要在每次迭代中重新优化(因此更快),是确定性的,不需要最佳解值$f(x^*)$或最佳稀疏水平$s$的知识。我们的主要技术工具是一个自适应正则化框架,其中算法逐步学习$\ell_2$正则化项的权重,这将允许收敛到稀疏的解决方案。我们还将此框架应用于低秩优化,在那里我们实现了类似的改善,从$κ^2$到$κ$的最知名的条件数依赖。
2022-04-11 cs.DS cs.IT cs.LG
Adaptive Importance Sampling meets Mirror Descent: a Bias-variance tradeoff
自适应重要性抽样是一种广泛使用的蒙特卡罗技术,它使用重新加权策略来迭代估计所谓的目标分布。自适应重要性采样的一个主要缺点是权重的大方差,这是已知的严重影响估计的准确性。本文研究了一种正则化策略,其基本原理是以一定的幂来提高重要性权重。该正则化参数在算法期间可能在零和一之间演变,被示出为(i)在偏置和方差之间进行平衡,以及(ii)连接到镜像下降框架。利用核密度估计建立抽样策略,在较弱的条件下证明了算法的一致收敛性。最后,讨论了几种实用的正则化参数选择方法,并通过实验说明了所提出方法的优点。
2021-10-29 math.ST stat.ML stat.TH
Revisiting Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning
State Key Lab of Processors, Institute of Computing Technology, CAS(处理器国家重点实验室,计算技术研究所,中国科学院);University of Science and Technology of China(中国科学技术大学);University of Chinese Academy of Sciences(中国科学院大学);StepFun Inc(StepFun公司)
本文重新审视熵正则化在强化学习中的应用,提出自适应熵正则化框架,通过动态平衡探索与利用提升数学推理性能。
2026-04-17 cs.AI cs.CL cs.LG
Sketchy: Memory-efficient Adaptive Regularization with Frequent Directions
Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
提出基于频繁方向草图的自适应正则化方法,在降低内存与计算成本的同时保持性能,并扩展到Shampoo,实现亚线性内存下的高效优化。
2023-10-16 cs.AI cs.LG stat.ML
Unsupervised Adaptive Neural Network Regularization for Accelerated Radial Cine MRI
Charité - Universitätsmedizin Berlin(夏里特大学医学院);Berlin Institute of Health(柏林健康研究所);Physikalisch-Technische Bundesanstalt (PTB)(德国联邦物理技术研究院);King’s College London(伦敦国王学院);Technical University of Berlin(柏林工业大学);University of Innsbruck(因斯布鲁克大学)
在这项工作中,我们提出了一种迭代重建方案(ALONE -自适应学习网络)的2D径向电影MRI的基础上地面真实的无监督学习的浅层卷积神经网络。该网络被训练为在重建期间近似解的当前估计的补丁。通过施加浅网络拓扑并约束学习滤波器的$L_2$范数,网络的表示能力受到限制,以便不能恢复噪声。因此,该网络可以被解释为执行用于稳定反演过程的补丁的低维近似。我们提出的重建方案进行比较,两个地面真实的重建方法,即一个众所周知的总变差(TV)最小化和无监督自适应字典学习(DIC)方法。所提出的方法优于这两种方法就所有报告的定量措施。此外,与DIC相比,其中补丁的稀疏近似涉及复杂优化问题的解决方案,ALONE仅需要通过浅网络的所有补丁的前向传递,因此显著加速了重建。
2020-02-10 cs.LG eess.IV stat.ML
Preconditioning for Accelerated Gradient Descent Optimization and Regularization
Department of Mathematics, University of Kentucky(数学系,肯塔基大学)
本文通过预条件化理论探讨了加速梯度下降优化与正则化方法,分析了AdaGrad、RMSProp、Adam等算法的加速机制,并推导了AdamW和L1正则化的通用形式。
2025-12-29 cs.LG cs.NA math.NA