Statistical Learnability of Generalized Additive Models based on Total Variation Regularization
i.u-tokyo.ac.jp(东京大学(i.u-tokyo.ac.jp为东京大学邮箱域名));mist(东京大学信息科学技术研究院(MIST可能为信息科学技术研究院,即Information Science and Technology Research Institute的缩写));Tokyo(日本东京(但根据要求,地址类信息不应提取,此处可能因原文格式问题需修正,正确应为东京大学相关机构,原文本中“i.u-tokyo.ac.jp”为东京大学邮箱域名,故正确机构为东京大学信息科学技术研究院(假设MIST为该研究院缩写),但严格按原文“Affiliation:”后内容为空,仅“i.u-tokyo.ac.jp”为邮箱域名,无法确定机构,故原文本中无明确可提取机构,返回空数组))
广义可加模型(GAM,Hastie和Tibshirani(1987))是一种非参数模型,它是关于每个解释变量的单变量函数之和,即,$f({\mathbf x}) = \sum f_j(x_j)$,其中$x_j\in\mathbb{R}$是样品${\mathbf x}\in \mathbb{R}^p$的第$j$组分。本文引入函数的全变差作为$L^1_{\rm c}(\mathbb{R})$ -空间中函数复杂性的度量。我们的分析表明,基于TV正则化的GAM表现出$O(\sqrt{\frac{\log p}{m}})$的Rademacher复杂度,在分类问题的不可知情况下,这在$m$和$p$方面都是紧的。在此基础上,我们根据Bartlett和Mandelson(2002)的工作,得到了有限样本下的推广误差界。
2018-02-16 cs.LG stat.ML
Curve Your Enthusiasm: Concurvity Regularization in Differentiable Generalized Additive Models
University of Freiburg(弗赖堡大学);Scenarium AI;Merantix Momentum;nyonic
本文针对广义加性模型中因特征间共曲性损害可解释性的问题,提出一种惩罚非线性变换后特征成对相关性的正则化方法,并在合成与真实数据上验证其可在不明显降低预测质量的同时提升可解释性。
2023-11-25 cs.LG stat.ML
Scrap Your Schedules with PopDescent
University of California, Berkeley(加利福尼亚大学伯克利分校);Boston University(波士顿大学)
提出了一种基于种群模因搜索的进度感知超参数调整技术 PopDescent,通过融合进化与局部搜索在训练中动态探索超参数,相比现有方法收敛更快且测试损失最多降低 18%,对初始参数具备鲁棒性。
2024-04-24 cs.LG
Annealed Sinkhorn for Optimal Transport: convergence, regularization path and debiasing
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
提出Debiased Annealed Sinkhorn算法,通过减少松弛误差实现更快的退火调度,单次运行即可覆盖标准Sinkhorn算法的完整速度-精度Pareto前沿。
2024-08-21 cs.LG math.OC
Enhancing Transformer Training Efficiency with Dynamic Dropout
ASCENDING inc.(ASCENDING公司)
本文提出 Dynamic Dropout 技术,通过动态调整 dropout 率以平衡正则化与模型容量,在 Shakespeare_char 数据集上显著加速 GPT 模型训练并提升推理效率,其中基于验证损失的调度策略表现最佳。
2024-11-05 cs.LG
Noise-Adaptive Regularization for Robust Multi-Label Remote Sensing Image Classification
Burgert et al.(Burgert 等)
本文提出了一种噪声自适应正则化方法NAR,通过区分加性噪声和减性噪声,提升遥感多标签分类的鲁棒性,实验表明在不同噪声场景下均优于现有方法。
2026-06-04 cs.CV cs.LG
How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer
ETH Z\"urich, D-Math, R\"amistrasse 101, CH-8092 Z\"urich, Switzerland
随机化神经网络(randomized NN),其中只有终端层的权重被优化,构成了一个强大的模型类,以减少训练神经网络模型的计算时间。与此同时,这些模型在各种回归和分类任务中的泛化能力令人惊讶。在本文中,我们给出了一个精确的宏观表征(即,函数空间中的特征)的随机化,浅NN与ReLU激活(RSN)的泛化行为。我们表明,RSN对应于一个广义加性模型(GAM)型回归,其中考虑了无限多个方向:无限广义加性模型(IGAM)。IGAM被形式化为一个特定的正则化泛函和一个相当普遍的损失的函数空间中的优化问题的解决方案。这项工作是对先前工作的多变量NN的扩展,我们展示了在某些条件下,如果输入是一维的,那么具有ReLU激活的RSN的行为就像样条回归一样。
2023-03-20 cs.LG stat.ML
DARTS-PRIME: Regularization and Scheduling Improve Constrained Optimization in Differentiable NAS
IRIT, University of Toulouse(图卢兹大学 IRIT 研究所);IRT Saint-Exupery(圣埃克苏佩里技术研究所);ISAE-SUPAERO, University of Toulouse(图卢兹大学 ISAE-SUPAERO 高等航空与航天学院)
微分结构搜索(DARTS)是一种基于微分松弛的神经结构搜索(NAS)方法。由于其成功,最近提出了许多分析和改进DARTS框架部分的变体。通过考虑问题作为一个有约束的双层优化,我们提出并分析DARTS-PRIME,一个变种,包括改进建筑权重更新调度和正则化离散化。我们提出了一个基于每minibatch网络信息的动态调度,使架构更新更明智,以及邻近正则化,以促进良好分离的离散化。我们在多个领域的研究结果表明,DARTS-PRIME提高了性能和可靠性,与可区分NAS中最先进的技术相当。
2021-10-18 cs.AI cs.LG
Componentwise Least Squares Support Vector Machines
本章介绍用于估计由非线性分量之和组成的加性模型的分量最小二乘支持向量机(LS-SVM)。原始-对偶导数表征用于估计加性模型的LS-SVM导致单个线性方程组,其大小随着数据点的数量而增加。详细阐述了分类和回归情况下的推导过程。此外,提出了不同的技术来发现数据中的结构,一方面基于专用的正则化方案在模型中寻找稀疏分量,另一方面将分量LS-SVM训练与验证标准融合。(关键词:LS-SVM,加法模型,正则化,结构检测)
2005-04-19 cs.AI cs.LG
ZENITH: Automated Gradient Norm Informed Stochastic Optimization
提出ZENITH优化器,利用梯度范数的时间演化自动调整学习率,在图像分类、目标检测等任务中实现更高精度和更快速度,且兼容正则化。
2026-07-03 cs.CV cs.LG
S2MAM: Semi-supervised Meta Additive Model for Robust Estimation and Variable Selection
Huazhong Agricultural University(华中农业大学);China University of Petroleum (East China)(中国石油大学(华东));Xi'an Jiaotong University(西安交通大学);Jilin University(吉林大学)
提出基于双层优化的半监督元加性模型,自动识别信息变量、更新相似矩阵并实现可解释预测,理论保证收敛性和泛化界,实验验证了鲁棒性和可解释性。
2026-05-27 cs.AI cs.LG stat.ML
Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
University of Pennsylvania(宾夕法尼亚大学)
可解释的机器学习在保持可解释性的同时表现出令人印象深刻的性能。特别是,神经可加模型(NAM)为黑盒深度学习提供了可解释性,并在广义可加模型的大家族中实现了最先进的精度。为了使NAM具有特征选择并提高泛化能力,我们提出了稀疏神经添加模型(SNAM),该模型采用组稀疏正则化(例如Group LASSO),其中每个特征由子网络学习,该子网络的可训练参数被聚类为一组。我们研究了SNAM的理论特性,采用新的技术来处理非参数真理,从而扩展了经典的稀疏线性模型,如LASSO,它只适用于参数真理。具体来说,我们证明了SNAM与次梯度和近端梯度下降证明收敛到零训练损失为$t\to\infty$,和SNAM的估计误差渐近消失为$n\to\infty$。我们还证明了SNAM,类似于LASSO,可以有精确的支持恢复,即完美的特征选择,适当的正则化。此外,我们表明,SNAM可以很好地推广,并保持“可识别性”,恢复每个功能的效果。通过大量的实验验证了我们的理论,并进一步证明了SNAM的良好的准确性和效率。
2022-02-25 cs.LG math.ST stat.ML
Fast Automatic Smoothing for Generalized Additive Models
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
多重广义可加模型(GAM)是一种分布回归,其中概率分布的参数通过平滑函数依赖于预测器,通过$L_2$正则化选择平滑度。多个GAM允许通过在分布的任何或所有参数中并入解释性信息来进行更精细的统计推断。由于其非线性,灵活性和可解释性,GAM被广泛使用,但可靠和快速的自动平滑方法在大型数据集仍然缺乏,尽管最近的进展。我们开发了一个通用的方法,自动学习的最佳程度的$L_2$正则化多个GAM使用经验贝叶斯方法。平滑函数被惩罚不同的量,其通过近似期望最大化算法通过最大化边际似然来同时学习,该近似拉普拉斯近似在E步处涉及双拉普拉斯近似,并导致有效的M步。实证分析表明,所得到的算法是数值稳定的,比现有的方法更快,达到了最先进的精度。为了说明,我们将其应用到极值数据分析中的一个重要而具有挑战性的问题。
2018-09-25 cs.LG stat.CO stat.ME
Scheduling the Off-Diagonal Weingarten Loss of Neural SDFs for CAD Models
New Jersey Institute of Technology(新泽西理工学院)
本文针对FlatCAD中固定ODW权重抑制后期细节恢复的问题,提出多种ODW损失调度策略,在ABC CAD数据集上实现Chamfer Distance最高35%的改进,验证了时变调度对CAD重建的有效性。
2025-11-05 cs.CV cs.GR cs.LG
Orthogonal projection-based regularization for efficient model augmentation
Address 1(地址1);Address 2(地址2)
本文提出一种基于正交投影的正则化技术,用于解决非线性系统辨识中加性模型增强结构的过参数化与物理可解释性丧失问题,有效提升了参数学习效果与模型精度。
2025-04-22 cs.LG cs.SY eess.SY
Detecting Nonlinear Causality in Multivariate Time Series with Sparse Additive Models
提出了一种利用稀疏加性模型(SpAM)检测多维离散时间序列中非线性因果关系的非参数方法。我们发现,当输入到SpAM是一个$β$混合时间序列,该模型可以拟合的线性组合的一组B-样条基,然后解决一组套索型优化问题的非凸正则化的每个未知函数。理论上,我们刻画了所提出的稀疏估计在函数估计和模型选择中的预言统计性质。数值上,我们提出了一个有效的路径迭代收缩阈值算法(PISTA),驯服的非凸性,并保证线性收敛到所需的稀疏估计的高概率。
2018-04-26 cs.LG stat.ME stat.ML
Same Loss, Same Noise, Opposite Schedules: Noise Structure and Optimizer Normalization Jointly Determine Whether Learning-Rate Cooldown Helps
研究热身 - 稳定 - 衰减学习率调度中冷却阶段效果,发现其取决于梯度噪声结构和优化器更新归一化。通过理论分析和模拟,揭示不同情况下冷却的作用机制,还在真实分类任务中验证噪声 regime 诊断,解释冷却是否有帮助。
2026-07-15 cs.LG
Explainable Neural Networks based on Additive Index Models
Wells Fargo(富国银行)
近年来,机器学习算法由于其在模型拟合方面的灵活性和提高的预测性能而越来越多地被使用。然而,模型的复杂性使得数据分析师很难在没有额外工具的情况下解释结果。这导致了许多研究,开发各种方法来理解模型的行为。在本文中,我们提出了可解释的神经网络(xNN),一个结构化的神经网络,专门设计用于学习可解释的功能。与完全连接的神经网络不同,xNN设计的特征可以以相对简单的方式从网络中提取,并显示结果。通过适当的正则化,xNN提供了对特征和输出之间关系的简洁解释。我们说明了这个可解释的功能-模拟的例子上的工程属性。
2018-06-05 cs.LG stat.ML
Time Matters in Regularizing Deep Networks: Weight Decay and Data Augmentation Affect Early Learning Dynamics, Matter Little Near Convergence
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
正则化通常被理解为通过改变模型最终收敛到的局部极值来改善泛化。然而,深度神经网络(DNN)挑战了这一观点:我们表明,在初始过渡期之后删除正则化对泛化的影响很小,即使最终的损失情况与没有正则化的情况相同。在某些情况下,在中断正则化之后,泛化甚至有所改善。相反,如果仅在初始瞬态之后应用正则化,则它对最终解没有影响,其泛化差距就像正则化从未发生过一样糟糕。这表明,训练深度网络的重要性不仅仅在于是否或如何正则化,而是何时正则化。我们观察到的现象表现在不同的数据集(CIFAR-10,CIFAR-100),不同的架构(ResNet-18,All-CNN),不同的正则化方法(权重衰减,数据增强),不同的学习率调度(指数,分段常数)。他们共同认为,有一个“关键时期”来正则化深度网络,这对最终的表现是决定性的。因此,更多的分析应该集中在学习的瞬态而不是渐近行为上。
2019-05-30 cs.AI cs.LG stat.ML
Function Norms and Regularization in Deep Networks
KU Leuven(鲁汶大学);imec(校际微电子中心);Yonsei University(延世大学)
深度神经网络(DNN)由于其在广泛问题上的出色经验表现而变得越来越重要。然而,正则化通常通过间接方式实现,这主要是由于网络定义的函数集很复杂,并且很难测量函数的复杂性。在文献中不存在基于函数范数的加性正则化方法,这在统计学习理论中是经典的。在这项工作中,我们提出了基于采样的加权函数范数近似作为深度神经网络的正则化器。据我们所知,我们提供了文献中的第一个证明,证明了DNN计算函数范数的NP-困难性,从而激发了近似方法的必要性。然后,我们推导出一个泛化的加权范数训练的功能,并证明了一个自然的随机优化策略最小化的界限。最后,我们实证验证了所提出的正则化策略对凸函数集和DNN在现实世界分类和图像分割任务中的性能改进,证明了在权重衰减、丢弃和批量归一化方面的性能改进。源代码将在发布时发布。
2018-06-28 cs.LG stat.ML
Neural Pruning via Growing Regularization
Northeastern University(东北大学)
长期以来,正则化一直被用于在深度神经网络修剪中学习稀疏性。但其作用主要是在小刑度制度中探讨的。在这项工作中,我们将其应用扩展到一个新的场景,其中正则化逐渐变大,以解决修剪的两个核心问题:修剪时间表和权重重要性评分。(1)前一个主题是新提出的这项工作,我们发现关键的修剪性能,而很少受到研究的关注。具体来说,我们提出了一个L2正则化变体,其惩罚因子不断增加,并表明即使在删除相同权重的情况下,与单次正则化变体相比,它也可以带来显着的准确性增益。(2)增长惩罚方案还为我们提供了一种方法,可以利用Hessian信息进行更精确的修剪,而无需知道它们的具体值,因此不会受到常见的Hessian近似问题的困扰。从经验上讲,所提出的算法易于实现,并且在结构化和非结构化修剪中可扩展到大型数据集和网络。在CIFAR和ImageNet数据集上使用现代深度神经网络证明了它们的有效性,与许多最先进的算法相比,取得了有竞争力的结果。我们的代码和训练模型可在https://github.com/mingsuntse/regularization-pruning上公开获取。
2021-04-05 cs.AI cs.CV cs.LG
SGD with Large Step Sizes Learns Sparse Features
EPFL(洛桑联邦理工学院)
本文研究 SGD 大步长训练的隐式正则化机制,揭示损失谷底弹跳稳定会诱发正交随机动力学并偏向稀疏预测器,且通过实验与简单模型理论分析加以验证。
2023-06-07 cs.LG stat.ML
Boosting Open Set Recognition Performance through Modulated Representation Learning
Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Computer Science(计算机科学系)
针对开集识别中恒定温度限制表示学习的问题,本文提出含负余弦调度在内的温度调制方案,可无开销并入多种损失并提升 OSR 与闭集性能。
2025-09-27 cs.CV cs.LG
Additive Noise Annealing and Approximation Properties of Quantized Neural Networks
Università di Modena e Reggio Emilia(摩德纳和雷焦艾米利亚大学);ETH Zürich(苏黎世联邦理工学院);Università di Trento(特伦托大学);Università di Bologna(博洛尼亚大学)
本文对人工神经网络的量化问题进行了理论和实验研究。我们提供了一个量化的神经网络的数学定义,并分析其逼近能力,特别是显示,任何Lipschitz连续映射上定义的超立方体可以均匀近似的量化神经网络。然后,我们专注于正则化效果的加性噪声的参数的多步函数固有的连续变量的量化。特别是,当期望算子被应用到一个不可微的多步随机函数,如果潜在的概率密度是可微的(在经典或弱意义上),那么一个可微函数被检索,其Lipschitz常数的显式边界。基于这些结果,我们提出了一种新的基于梯度的量化神经网络的训练算法,概括了直通估计,作用于噪声应用到网络的参数。我们在CIFAR-10和ImageNet图像分类基准上评估了我们的算法,在AlexNet和MobileNetV 2上显示了三元网络的最新性能。
2019-05-24 cs.CV cs.LG stat.ML
Efficient local linearity regularization to overcome catastrophic overfitting
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of Warwick(华威大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
针对单步对抗训练中的灾难性过拟合,本文提出无需双重反向传播、与损失曲率相关的ELLE正则化,并通过自适应参数ELLE-A在大扰动和长训练设置下显著提升鲁棒性与效率。
2024-02-28 cs.AI cs.CR cs.LG
Tikhonov Regularization for Long Short-Term Memory Networks
National Research University of Electronic Technology(国家研究型电子技术大学);Federal Research Center "Computer Science and Control" of Russian Academy of Sciences(俄罗斯科学院联邦研究中心“计算机科学与控制”)
众所周知,向输入数据添加噪声通常会提高网络性能。虽然dropout技术可能是导致记忆丢失的原因,但当将其应用于循环连接时,Tikhonov正则化(可被视为具有加性噪声的训练)自然避免了这个问题,尽管它意味着针对不同架构的正则化子推导。在前馈神经网络的情况下,这是简单的,而对于具有循环连接和复杂层的网络,这会导致一些困难。本文推导了长短期记忆(LSTM)网络的Tikhonov正则化子。虽然为了简单起见它与时间无关,但它考虑了LSTM单元的权重之间的相互作用,这在理论上使得可以通过仅使用一个测量输入数据扰动的参数来正则化具有复杂依赖关系的单元。本文提出的正则化器有三个参数:一个用于控制正则化过程,另两个用于在网络训练过程中保持计算稳定性。本文所发展的理论可以应用于具有Hadamard乘积和Lipschitz连续函数的不同递归神经网络的正则化。
2017-08-09 cs.LG cs.NE stat.ML
Kernel-Based Sparse Additive Nonlinear Model Structure Detection through a Linearization Approach
Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出一种数据驱动方法,通过线性化将连续时间稀疏加性非线性系统近似为LPV模型,利用RKHS稀疏估计器检测梯度与Hessian非零元素,从而确定模型结构,数值模拟验证了有效性。
2025-08-02 cs.LG cs.SY eess.SY
Implicit Bias in Deep Linear Discriminant Analysis
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
本文研究深度LDA的隐含正则化,通过分析梯度流证明平衡初始化下网络将加法更新转为乘法更新,自动保持(2/L)准范数。
2026-04-10 cs.LG stat.ML
Supervised Metric Regularization Through Alternating Optimization for Multi-Regime Physics-Informed Neural Networks
Department of Informatics and Statistics(信息学与统计学系)
通过监督度量正则化和交替优化,TAPINN有效缓解多模式物理系统建模中的频谱偏差和模式崩溃问题。
2026-03-05 cs.AI cs.LG physics.comp-ph
Physics-guided denoiser network for enhanced additive manufacturing data quality
School of Mechanical and Materials Engineering, Washington State University(机械与材料工程学院,华盛顿州立大学)
提出一种物理信息去噪框架,结合能量模型和Fisher得分正则化,利用PINN代理模型指导LPBF增材制造热数据去噪,优于基线方法,实现稳健实时数据解释。
2025-07-31 cs.LG cs.SY eess.SP
Flexible, Non-parametric Modeling Using Regularized Neural Networks
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
非参数的加法模型能够以灵活但可解释的方式捕获复杂的数据依赖关系。然而,选择加法组件的格式通常需要非平凡的数据探索。在这里,作为一种替代方案,我们提出了PrAda-net,一个隐藏层神经网络,使用近端梯度下降和自适应套索进行训练。PrAda-net自动调整神经网络的大小和架构,以反映数据的复杂性和结构。由PrAda-net获得的紧凑网络可以转换为添加剂模型组件,使其适用于具有自动模型选择的非参数统计建模。我们在模拟数据上演示了PrAda-net,将PrAda-net的测试误差性能、变量重要性和变量子集识别特性与其他基于拉索的神经网络正则化方法进行了比较。我们还将PrAda-net应用于英国大规模的黑烟数据集,演示如何使用PrAda-net对具有空间和时间组件的复杂和异构数据进行建模。与经典的统计非参数方法相比,PrAda-net不需要初步建模来选择添加剂组分的函数形式,但仍然可以得到可解释的模型表示。
2022-01-12 cs.LG stat.CO stat.ME
Neural SDE: Stabilizing Neural ODE Networks with Stochastic Noise
UCLA(加州大学洛杉矶分校);UC Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
神经常微分方程(Neural ODE)已被提出作为ResNet架构的连续近似。离散神经网络中一些常用的正则化机制(如dropout,Gaussian noise)在当前的神经ODE网络中缺失。在本文中,我们提出了一个新的连续神经网络框架,称为神经随机微分方程(神经网络)网络,它自然地结合了各种常用的正则化机制的基础上随机噪声注入。我们的框架可以对离散网络中经常用于正则化目的的各种类型的噪声注入进行建模,例如每个块中的dropout和加性/乘性噪声。我们提供了理论分析,解释了神经网络模型对输入扰动/对抗攻击的鲁棒性提高。此外,我们证明了神经网络可以实现比神经ODE更好的泛化,并且对对抗性和非对抗性输入扰动具有更强的抵抗力。
2019-06-05 cs.AI cs.CV cs.LG
Algorithm to Compilation Co-design: An Integrated View of Neural Network Sparsity
Fidelity Investments(富达投资)
减少神经网络的计算成本、推理延迟和内存占用经常被引用作为修剪和稀疏的研究动机。然而,操作这些好处和理解算法设计和正则化对运行时执行的端到端影响并不经常深入研究。在这里,我们应用结构化和非结构化修剪注意权的Transformer块的BERT语言模型,同时还扩展块稀疏表示(BSR)的TVM编译器中的操作。BSR操作的集成使得TVM运行时执行能够利用由模型正则化引起的结构化模式稀疏性。这种修剪算法的综合视图使我们能够研究建模决策及其对稀疏增强执行的直接影响之间的关系。我们的主要发现是:1)我们验证了结构化稀疏块正则化的性能优势必须通过对TVM的BSR增强来实现,相对于vanilla PyTorch的加速是4倍,相对于标准TVM编译的加速是2.2倍(没有扩展的BSR支持)。2)对于BERT注意力权重,在该CPU推断上下文中的端到端最优块稀疏形状不是正方形块(如在\cite{gray2017gpu}中),而是线性32 × 1块。3)性能和块大小/形状之间的关系暗示了模型正则化参数如何与任务调度器优化相互作用,从而导致观察到的端到端性能。
2021-06-17 cs.AI cs.CL cs.LG
LLMZero: Discovering Adaptive Training Strategies for RL Post-Training via LLM Agents
Amazon(亚马逊)
提出LLMZero系统,利用LLM智能体通过树搜索发现多阶段RL后训练的自适应策略,揭示容量参数单调累积、正则化参数振荡的规律,在4个GRPO任务上相对基线提升9%-140%。
2026-09-04 cs.AI cs.CL cs.LG
Implicit Regularization Paths of Weighted Neural Representations
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
研究了预训练特征加权引发的隐式正则化效应,推导出连接不同加权矩阵与岭正则化水平的等价路径,证实了相关猜想,并据此开发出应用于多个模型和数据集的高效交叉验证调优方法。
2024-08-28 cs.LG math.ST stat.ML