Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning
HKUST(香港科技大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Cornell University(康奈尔大学)
本文提出双重正则化AIL算法,结合KL策略正则化与二次奖励惩罚,在有限时域MDP中证明其快速收敛率,并首次实现专家演示与在线交互的$\widetilde{O}(1/\epsilon)$样本复杂度。
2026-10-05 cs.LG
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind(深度思维);Google(谷歌)
对于无穷小的学习率,随机梯度下降(SGD)遵循完整批量损失函数上的梯度流路径。然而,适度大的学习率可以实现更高的测试精度,并且这种泛化益处不能用收敛界限来解释,因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象,我们证明了随机洗牌的SGD,平均SGD也保持接近梯度流的路径,如果学习率是小的和有限的,但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成,该正则化子惩罚小批量梯度的范数。在温和的假设下,当批量较小时,隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证,明确包括隐式正则化的损失可以提高测试的准确性时,学习率是小的。
2021-01-28 cs.LG stat.ML
Adaptive Regularization for Random Features: A Neighboring Early-Stopping Rule with Oracle-Rate Guarantees
Southeast University(东南大学);University of Science and Technology of China(中国科学技术大学)
本研究针对带随机特征的核岭回归提出邻域早停规则,无需预先知晓未知参数即可选正则化参数,可达到神谕多项式学习速率,经实验验证了其性能。
2026-08-27 cs.LG stat.ML
Rate-Regularization and Generalization in VAEs
Northeastern University(东北大学);Boston College(波士顿学院)
变分自编码器优化组合重构损失(失真)和KL项(速率)的目标。速率是互信息的上界,其通常被解释为控制压缩程度的正则化器。我们在这里研究是否包括率也作为一个归纳偏差,提高泛化。我们进行率失真分析,控制率项的强度,网络容量和泛化问题的难度。在大多数情况下,降低速率的强度反而会提高泛化能力,而降低互信息通常会导致欠拟合。此外,我们表明,泛化继续改善,即使在互信息饱和,表明在边界上的差距(即KL发散相对于推理边际)影响泛化。这表明,标准高斯先验并不是一种通常有助于泛化的归纳偏差,这促使人们了解先验的选择如何改善VAE中的泛化。
2021-03-25 cs.LG stat.ML
Fast Rates for Offline Contextual Bandits with Forward-KL Regularization under Single-Policy Concentrability
Department of Computer Science, University of California, Los Angeles, CA 90095, USA(加州大学洛杉矶分校计算机科学系)
本文研究了在线上下文老虎机中前向KL正则化下的快速收敛率问题,通过简化分析提出首个$\tilde{O}(ε^{-1})$上界,统一了表格和一般函数逼近设置,并展示了下界证明了上界的统计紧性。
2026-11-10 cs.AI cs.IT cs.LG
LocalDrop: A Hybrid Regularization for Deep Neural Networks
Wuhan University(武汉大学);The University of Sydney(悉尼大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);the University of Tokyo(东京大学)
在神经网络中,发展正则化算法解决过拟合问题是一个重要的研究领域。我们提出了一种新的正则化神经网络的局部Rademacher复杂性称为LocalDrop的方法。基于提出的局部Rademacher复杂度上界,通过严格的数学推导,提出了一种新的正则化函数,包括丢弃率和权矩阵,适用于全连接网络(FCN)和卷积神经网络(CNN).在复杂度分析中还包括了在不同层保持速率矩阵的情况下,对FCNs中的丢弃和CNN中的丢弃块的分析。利用新的正则化函数,我们建立了一个两阶段的过程来获得最优的保持率矩阵和权重矩阵,以实现整个训练模型。大量的实验已经进行了证明LocalDrop在不同的模型中的有效性,通过比较它与几种算法和不同的超参数对最终性能的影响。
2021-03-01 cs.AI cs.LG stat.ML
Error Bounds for Generalized Group Sparsity
Columbia University(哥伦比亚大学)
在高维统计推断中,稀疏正则化在系数估计的一致性和收敛速度方面显示出优势。我们考虑一个广义版本的稀疏群套索,同时捕获元素的稀疏性和组的稀疏性。我们陈述了一个普适定理,证明了该定理可以得到不同形式的双稀疏正则化的一致性和收敛速度的结果。结果的普遍性在于各种收敛速度的推广单正则化的情况下,如LASSO和组LASSO和双正则化的情况下,如稀疏组LASSO。我们的分析确定了一个广义范数的$ε$ -范数,这提供了一个双重制定我们的双重稀疏正则化。
2020-08-08 cs.LG stat.ME stat.ML
Discovering Nonlinear Relations with Minimum Predictive Information Regularization
MIT(麻省理工学院);NVIDIA(英伟达)
从具有非线性相互作用和复杂关系结构的观测时间序列中识别潜在的方向关系是广泛应用的关键,但仍然是一个难题。在这项工作中,我们引入了一种新的最小预测信息正则化方法来从时间序列中推断方向关系,允许深度学习模型发现非线性关系。我们的方法大大优于其他学习合成数据集中非线性关系的方法,并发现了视频游戏环境和心率与呼吸率数据集中的方向关系。
2020-01-07 cs.LG stat.ML
Towards Explaining the Regularization Effect of Initial Large Learning Rate in Training Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
具有大初始学习率的随机梯度下降被广泛用于训练现代神经网络架构。虽然小的初始学习率允许更快的训练和更好的测试性能,但大的学习率在学习率退火后不久就实现了更好的泛化。为了解释这一现象,我们设计了一个设置,我们可以证明,一个两层的网络训练与大的初始学习率和退火可证明的推广比同一个网络训练与一个小的学习率从一开始。在我们的分析中,关键的见解是学习不同类型的模式的顺序是至关重要的:因为小学习率模型首先记住容易概括,难以拟合的模式,它比大学习率模型更难概括,更难拟合的模式。这个概念转化为一个更大规模的设置:我们证明,可以添加一个小补丁的CIFAR-10图像是立即记忆的模型与小的初始学习率,但忽略了模型与大学习率,直到退火后。我们的实验表明,这会导致小学习率模型在未修改图像上的准确性受到影响,因为它在早期过于依赖补丁。
2020-04-25 cs.LG stat.ML
Beyond Tikhonov: Faster Learning with Self-Concordant Losses via Iterative Regularization
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔理工学院)
谱滤波理论是理解核学习的统计特性的一个重要工具。对于最小二乘,它允许导出各种正则化方案,这些方案产生比Tikhonov正则化更快的超额风险收敛速度。这通常是通过利用称为源和容量条件的经典假设来实现的,这些假设表征了学习任务的难度。为了理解从其他损失函数导出的估计量,Marteau-Ferey等人已经将Tikhonov正则化理论扩展到广义自协调损失函数(GSC),其包含,例如,后勤损失。在本文中,我们更进一步,并表明,快速和最佳的速度可以实现GSC使用迭代Tikhonov正则化方案,这是内在相关的最优化的邻近点方法,并克服了经典的Tikhonov正则化的局限性。
2021-11-10 cs.LG stat.ML
Pessimism-Free Offline Learning in General-Sum Games via KL Regularization
California Institute of Technology(加州理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种基于KL正则化的离线学习方法,能够在一般和博弈中实现无悲观的均衡恢复,通过加速的统计速率和计算高效的算法提升学习效率。
2026-05-18 cs.GT cs.LG
PaloBoost: An Overfitting-robust TreeBoost with Out-of-Bag Sample Regularization Techniques
Emory University(埃默里大学)
随机梯度TreeBoost经常出现在公共数据科学挑战的许多获奖解决方案中。不幸的是,最好的性能需要大量的参数调整,并且容易出现过拟合。我们提出了PaloBoost,一种随机梯度TreeBoost模型,它使用新颖的正则化技术来防止过拟合,并且对参数设置具有鲁棒性。PaloBoost使用未充分利用的包外样本来执行梯度感知修剪并估计自适应学习率。与其他使用袋外样本来估计测试误差的随机梯度TreeBoost模型不同,PaloBoost将样本作为第二批训练样本来修剪树并调整学习率。因此,PaloBoost可以动态调整树的深度和学习速率,以实现在开始时更快的学习和在算法收敛时更慢的学习。我们说明了如何有效地实现这些正则化技术,并提出了一个新的公式来计算特征的重要性,以反映节点的覆盖率和学习率。在7个数据集上的大量实验结果表明,PaloBoost对过拟合具有鲁棒性,对参数不敏感,并且还可以有效地识别有意义的特征。
2018-07-22 cs.LG stat.ME stat.ML
Ranking Regularization for Critical Rare Classes: Minimizing False Positives at a High True Positive Rate
Borealis AI(Borealis人工智能公司);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
针对高真阳性率下假阳性过高的问题,提出一种易于实现的基于排序的正则化(RankReg)方法,该方法能有效减少假阳性并补充传统不平衡学习损失,在CIFAR-10&100和Melanoma数据集上显著提升了最先进的性能。
2023-03-31 cs.CV cs.LG
Accelerated Method for Stochastic Composition Optimization with Nonsmooth Regularization
University of Pittsburgh(匹兹堡大学);University of Rochester(罗切斯特大学)
随机组合优化近年来引起了人们的广泛关注,并在机器学习、统计分析和强化学习等新兴应用中取得了成功。本文主要研究带非光滑正则化惩罚的复合问题。以往的工作要么收敛速度慢,或没有提供完整的收敛性分析的一般问题。本文针对这两个问题,提出了一种新的随机组合优化方法,用于求解带非光滑正则化惩罚的组合优化问题。在我们的方法中,我们应用方差减少技术,以加快收敛速度。据我们所知,我们的方法承认最快的收敛速度随机复合优化:强凸复合问题,我们的算法被证明是线性收敛;一般的复合问题,我们的算法显着提高了国家的最先进的收敛速度从$O(T^{-1/2})$到$O((n_1+n_2)^{{2}/{3}}T^{-1})$。最后,我们将我们提出的算法应用于强化学习中的投资组合管理和策略评估。实验结果验证了我们的理论分析。
2017-12-29 cs.LG math.OC
A New Look and Convergence Rate of Federated Multi-Task Learning with Laplacian Regularization
The University of Sydney(悉尼大学);Queen’s University Belfast(贝尔法斯特女王大学);Federation University(联邦大学);University of Newcastle(纽卡斯尔大学)
客户端之间的非独立同分布(non-IID)数据分布被认为是影响联邦学习(FL)性能的关键因素。处理非IID数据的几种方法,如个性化FL和联邦多任务学习(FMTL),引起了研究界的极大兴趣。在这项工作中,首先,我们使用拉普拉斯正则化来明确地利用多任务学习的客户端模型之间的关系来制定FMTL问题。然后,我们引入了一个新的观点的FMTL问题,这在第一次表明,制定的FMTL问题可以用于常规FL和个性化FL。我们还提出了两个算法FedU和dFedU解决制定的FMTL问题的通信集中和分散的计划,分别。理论上,我们证明了这两个算法的收敛速度达到线性加速强凸和次线性加速阶1/2的非凸目标。实验上,我们表明,我们的算法优于算法FedAvg,FedProx,SCAFFOLD,和AFL在FL设置,MOCHA在FMTL设置,以及pFedMe和每FedAvg个性化FL设置。
2022-10-11 cs.DC cs.LG
Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Prusa Research(普拉萨研究公司);Institute for Robotics and Mechatronics, DLR-German Aerospace Center(德国航空航天中心机器人与机电研究所)
本文研究过参数化网络中梯度下降的隐式正则化,证明学习率在低范数与低锐度之间插值,且单一偏差不足以解释泛化,需考虑动态权衡。
2026-06-05 cs.LG stat.ML
Convex regularization in statistical inverse learning problems
University of Helsinki(赫尔辛基大学);University of Cambridge(剑桥大学);Friedrich-Alexander Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Lappeenranta University of Technology(拉彭兰塔理工大学);University of Genoa(热那亚大学)
我们考虑一个统计逆学习问题,其中的任务是估计一个函数$f$的基础上嘈杂的点评价$Af$,其中$A$是一个线性算子。函数$Af$在i.i.d.进行评估。随机设计点$u_n$、$n=1,...,N$由未知的一般概率分布生成。我们考虑Tikhonov正则化一般凸和$p$齐次罚函数和推导出的浓度率的正则化解决方案的地面真理测量的对称Bregman距离引起的惩罚功能。我们推导出具体的Besov范数处罚率,并在X射线断层扫描的背景下,数值上证明了与所观察到的速率的对应关系。
2021-11-01 cs.LG math.ST stat.ML
Optimistic Rates: A Unifying Theory for Interpolation Learning and Regularization in Linear Regression
University of Chicago(芝加哥大学);Simons Institute, University of California at Berkeley(加州大学伯克利分校西蒙斯研究所);University of British Columbia(不列颠哥伦比亚大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们研究了高斯数据线性回归的一致收敛的局部概念,称为“乐观率”(Panchenko 2002; Srebro et al. 2010)。我们的精细分析避免了现有结果中的隐藏常数和对数因子,这些因子在高维环境中至关重要,特别是对于理解插值学习。作为一种特殊情况,我们的分析恢复了Koehler et al.(2021)的保证,该保证严格描述了良性过拟合条件下低范数插值器的总体风险。然而,我们的乐观率界也分析了具有任意训练误差的预测器。这使我们能够恢复一些经典的随机设计下的岭和LASSO回归的统计保证,并帮助我们获得一个精确的理解过度参数化制度的过度风险的近插值。
2021-12-08 cs.LG math.ST stat.ML
Preconditioning for Accelerated Gradient Descent Optimization and Regularization
Department of Mathematics, University of Kentucky(数学系,肯塔基大学)
本文通过预条件化理论探讨了加速梯度下降优化与正则化方法,分析了AdaGrad、RMSProp、Adam等算法的加速机制,并推导了AdamW和L1正则化的通用形式。
2025-12-29 cs.LG cs.NA math.NA
Optimal Rates of Convergence for Entropy Regularization in Discounted Markov Decision Processes
Department of Mathematics, RWTH Aachen University(数学系,亚琛工业大学)
本文研究了熵正则化在折扣马尔可夫决策过程中的收敛率,证明了误差随正则化强度倒数呈指数衰减,并改进了自然策略梯度方法的误差衰减特性。
2026-09-10 cs.LG cs.SY eess.SY
Fast Policy Extragradient Methods for Competitive Games with Entropy Regularization
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
本文研究了竞争对策的平衡点计算问题,该问题通常被建模为带有概率单纯形约束的约束鞍点最优化问题。尽管最近的努力在理解的最后一个收敛的extragradient方法在无约束的设置,这些方法的理论基础,在约束设置,特别是那些使用乘法更新,仍然非常不足,即使当目标函数是双线性的。受熵正则化在单智能体强化学习和对策论中的算法作用的启发,我们开发了可证明有效的超梯度方法来找到量子响应平衡(QRE)-这是零和两人矩阵对策的熵正则化解决方案-以线性速率。所提出的算法可以以分散的方式实现,其中每个玩家使用自己的收益迭代地执行对称和乘法更新,而不直接观察对手的动作。此外,通过控制熵正则化的旋钮,该算法可以以次线性的速率找到非正则矩阵对策的近似纳什均衡,而不需要假设纳什均衡是唯一的.我们的方法也导致有效的政策extragradial算法解决(熵正则化)零和马尔可夫游戏在类似的速度。我们所有的收敛速度几乎是无量纲的,这是独立的状态和动作空间的大小的对数因子,突出的积极作用,熵正则化加速收敛。
2023-01-19 cs.GT cs.IT cs.LG
Implicit Regularization of the Deep Inverse Prior Trained with Inertia
Greyc, Normandie Univ., UNICAEN, ENSICAEN, CNRS(Greyc、诺曼底大学、UNICAEN、ENSICAEN、CNRS)
本文为采用惯性训练的自监督神经网络求解逆问题建立了收敛与恢复保证,提出兼具粘性与几何Hessian驱动阻尼的惯性算法,并证明其可获得优于梯度流的加速收敛速率。
2025-06-03 cs.LG
Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单元);University College London(伦敦大学学院);Merantix Momentum
本研究针对向量值谱正则化算法,推导了岭回归饱和效应的新下界,并给出了设定正确与错误情形下极小极大最优的有限样本风险上界,支持无限维输出。
2024-05-23 cs.LG stat.ML
Convergence of Cubic Regularization for Nonconvex Optimization under KL Property
The Ohio State University(俄亥俄州立大学)
三次正则化牛顿法(CR)是求解非凸最优化问题的一种保证二阶稳定解的常用算法。然而,现有的理解CR的收敛速度的条件下,特殊类型的几何性质的目标函数。本文利用非凸目标函数普遍存在的Kurdyka-Lojasiewicz(KL)性质,研究了CR的渐近收敛速度.具体地,我们刻画了CR的各种最优性测度的渐近收敛速度,包括函数值间隙、变距离间隙、梯度范数和黑塞矩阵的最小特征值.我们的研究结果充分刻画了这些最优性措施在KL属性的全参数范围内的各种收敛行为。此外,我们还证明了在KL性质下,CR算法的渐近收敛速度比一阶梯度下降算法的收敛速度要快。
2018-08-22 cs.LG math.OC stat.ML
Macro-block dropout for improved regularization in training end-to-end speech recognition models
Samsung Electronics(三星电子);Samsung Research(三星研究院)
本文提出了一种新的正则化算法称为宏块丢弃。过拟合问题一直是训练大型神经网络模型的一个难题。dropout技术已被证明是简单但非常有效的正则化,可以防止训练过程中复杂的协同适应。在我们的工作中,我们定义了一个宏块,其中包含大量的单元从输入到递归神经网络(RNN)。我们不是对每个单元应用dropout,而是对每个宏块应用随机dropout。该算法在保持平均丢弃率不变的情况下,对每一层应用不同的丢弃率,具有更好的正则化效果。在我们的实验中,使用递归神经网络传感器(RNN-T),该算法显示相对于LibriSpeech测试-干净和测试-其他的传统辍学的字出错率(WRs)的4.30%和6.13%的改善。在基于注意力的编码器-解码器(AED)模型下,该算法在相同的测试集上比传统的丢弃算法分别提高了4.36%和5.85%。
2022-12-29 cs.CL cs.LG cs.SD
Taming Audio VAEs via Target-KL Regularization
Adobe Research(Adobe研究院)
本文提出通过压缩率调节和目标KL正则化训练音频VAE,以解决在音频生成任务中VAE正则化带来的过正则化与欠正则化之间的平衡问题,并构建了音频VAE的率失真曲线。
2026-05-16 cs.LG cs.SD eess.AS
Learning Sparse Neural Networks via Sensitivity-Driven Regularization
Politecnico di Torino(都灵理工大学);Nuance Communications(Nuance通信公司);Télécom ParisTech(巴黎高等电信学院);Telecom Italia(意大利电信公司)
深度神经网络中不断增加的参数数量给内存有限的应用带来了挑战。正则化和修剪方法旨在通过稀疏化网络权重来应对这些挑战。在这种情况下,我们量化了输出对参数的敏感性(即它们与网络输出的相关性),并引入了一个正则化项,逐渐降低具有低敏感性的参数的绝对值。因此,很大一部分参数接近零,并最终通过简单的阈值设置为零。我们的方法超越了最近的技术,无论是在稀疏性和出错率。在某些情况下,该方法在相同的出错率下达到其他技术所获得的稀疏度的两倍。
2018-10-28 cond-mat.dis-nn cs.LG stat.ML
Stochastic Cubic Regularization for Fast Nonconvex Optimization
University of California, Berkeley(加州大学伯克利分校)
本文提出了一个经典算法的随机变体-正则化牛顿法[Nesterov and Polyak 2006]。该算法有效地逃脱鞍点,并找到近似的局部极小值一般光滑,非凸函数在只有$\mathcal{\tilde{O}}(ε^{-3.5})$随机梯度和随机海森向量积的评价。后者可以像随机梯度一样有效地计算。这改进了随机梯度下降的$\mathcal{\tilde{O}}(ε^{-4})$速率。我们的速度匹配最著名的结果,找到当地的最小值,而不需要任何微妙的加速或方差减少技术。
2017-12-05 cs.LG math.OC stat.ML
Decoupled Weight Decay Regularization
University of Freiburg(弗莱堡大学)
L $_2$正则化和权重衰减正则化对于标准的随机梯度下降是等价的(当通过学习率重新缩放时),但是正如我们所证明的,这是自适应梯度算法的\emph{not}情况,例如Adam。虽然这些算法的常见实现采用L $_2$正则化(通常称之为“权重衰减”,由于我们暴露的不等价性,可能会产生误导),但我们提出了一个简单的修改,以通过\emph{decoupling}从w.r.t.损失函数。我们提供的经验证据表明,我们提出的修改(i)从标准SGD和Adam的学习率设置中获得了权重衰减因子的最佳选择,(ii)大大提高了Adam的泛化性能,使其能够在图像分类数据集上与具有动量的SGD竞争(在此之前,后者通常优于前者)。我们提出的解耦权重衰减已经被许多研究人员采用,社区已经在TensorFlow和PyTorch中实现了它;我们实验的完整源代码可以在https://github.com/loshchil/AdamW-and-SGDW上获得
2019-01-04 cs.LG cs.NE math.OC
Overcoming Saturation in Density Ratio Estimation by Iterated Regularization
ELLIS Unit Linz(ELLIS林茨单元);LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning, Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校机器学习研究所);NXAI GmbH(NXAI有限公司);Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences(奥地利科学院约翰·拉东计算与应用数学研究所)
本文针对核方法在密度比估计中的误差饱和问题,提出迭代正则化方法以实现快速误差收敛率,并在基准测试和大规模深度域适应评估中优于非迭代版本。
2024-06-03 cs.LG stat.ML
Cubic Regularization with Momentum for Nonconvex Optimization
Ohio State University(俄亥俄州立大学);Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
动量是一种在实际训练中用于加速收敛的常用技术,其对一阶算法收敛保证的影响已得到充分研究。然而,这样一个成功的加速技术还没有被提出用于非凸优化的二阶算法。在本文中,我们将动量格式应用于三次正则化(CR)牛顿法,并探索加速的潜力。我们对各种非凸最优化问题的数值实验表明,动量格式可以大大促进三次正则化的收敛,甚至比Nesterov的加速方案CR。理论上,我们证明了CR在动量下达到了最好的收敛速度到非凸优化的二阶稳定点。此外,我们研究了所提出的算法求解问题满足误差界条件,并建立了一个局部平方收敛速率。然后,特别是有限和问题,我们表明,该算法可以允许计算不精确,降低了整体样本的复杂性,而不会降低收敛速度。
2019-06-27 cs.LG math.OC stat.ML
Analysis of the expected $L_2$ error of an over-parametrized deep neural network estimate learned by gradient descent without regularization
Technische Universität Darmstadt(达姆施塔特工业大学)
本文证明了在适当的初始化、步长和迭代步数下,无正则化的过参数化深度神经网络估计对有界预测变量具有普遍一致性,并在 Hölder 平滑及交互模型下推导出相应的 $L_2$ 误差收敛速度。
2023-11-24 cs.LG stat.ML
Three Mechanisms of Weight Decay Regularization
University of Toronto(多伦多大学);Vector Institute(向量研究所)
权重衰减是神经网络工具箱中的标准技巧之一,但其正则化效果的原因知之甚少,最近的结果对$L_2$正则化的传统解释产生了怀疑。对于不同的优化器,文字权重衰减的性能优于$L_2$正则化。我们实证研究权重衰减的三种优化算法(SGD,亚当,和K-FAC)和各种网络架构。我们确定了三种不同的机制,通过这些机制,权重衰减产生正则化效果,这取决于特定的优化算法和架构:(1)增加有效的学习率,(2)近似正则化输入-输出雅可比范数,以及(3)降低二阶优化的有效阻尼系数。我们的研究结果为如何改进神经网络的正则化提供了见解。
2018-10-29 cs.LG stat.ML
Statistical inverse learning problems with random observations
概述具有随机实验设计的统计逆问题进展,涵盖线性与非线性,研究不同正则化方案,利用再生核希尔伯特空间结构分析收敛速率,得出极小极大速率,并展示其在PK/PD模型非线性逆问题中的应用。
2026-07-10 cs.LG math.ST stat.ML
Training Deep Normalizing Flow Models in Highly Incomplete Data Scenarios with Prior Regularization
Rochester Data Science Consortium(罗切斯特数据科学联盟);University of Rochester(罗切斯特大学)
包括GANs和标准化流模型在内的深度生成框架已被证明可以通过显式或隐式地有效学习复杂的高维统计分布,成功地填补部分观察到的数据样本中的缺失值。然而,在可用于学习的数据仅被部分观察的任务中,它们的性能作为数据缺失率的函数单调衰减。在高丢失数据率状态(例如,60%及以上),已经观察到,最先进的模型往往会崩溃并产生不切实际和/或语义不准确的数据。我们提出了一个新的框架,以促进学习的数据分布在高匮乏的情况下,传统的配方的不适定问题的解决方案的启发。所提出的框架自然源于将从不完整数据中学习的过程作为正在学习的模型参数和缺失数据值的联合优化任务。该方法涉及强制执行先验正则化项,该先验正则化项与用于训练显式和易处理的深度生成框架(例如深度规范化流模型)的目标无缝集成。我们通过广泛的实验验证表明,所提出的框架优于竞争技术,特别是当数据匮乏的速度接近统一。
2021-04-03 cs.CV cs.LG
Faster Riemannian Newton-type Optimization by Subsampling and Cubic Regularization
University of Manchester(曼彻斯特大学)
这项工作是约束大规模非凸优化的约束集意味着一个流形结构。解决这些问题在许多基础机器学习任务中非常重要。黎曼最优化的最新进展使方便的恢复解决方案,适应流形上的无约束优化算法。然而,扩大规模,同时保持稳定的收敛速度和处理鞍点仍然具有挑战性。提出了一种新的二阶黎曼优化算法,旨在提高收敛速度和减少计算量。它增强了黎曼信赖域算法,该算法通过子采样和立方正则化技术的混合来探索曲率信息以逃离鞍点。我们进行了严格的分析来研究所提出算法的收敛行为。我们还进行了大量的实验,以评估它的基础上两个一般的机器学习任务,使用多个数据集。所提出的算法表现出改进的计算速度和收敛行为相比,一个大的国家的最先进的黎曼优化算法。
2023-02-22 cs.LG math.OC
Physics-Informed Linear Model (PILM): Analytical Representations and Application to Crustal Strain Rate Estimation
RIKEN Center for Advanced Intelligence Project(日本理化学研究所先进智能项目研究中心)
本文提出物理信息线性模型(PILM),用基函数线性组合解析表示PDE解,并应用于地壳应变率估计,证明其适用于线性正逆问题、欠定系统及物理正则化。
2025-07-17 cs.LG physics.geo-ph
Scheduled DropHead: A Regularization Method for Transformer Models
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们介绍了DropHead,这是一种专门为正则化多头注意力机制而设计的结构化dropout方法,它是Transformer的关键组件,这是一种用于各种NLP任务的最先进模型。与传统的随机丢弃单元或连接的丢弃机制相比,所提出的DropHead是一种结构化的丢弃方法。它在训练期间丢弃整个注意力头部,并且防止多头注意力模型被一小部分注意力头部支配,同时还降低了过拟合训练数据的风险,从而更有效地利用多头注意力机制。基于对多头注意力机制学习动态的研究,提出了一种特定的丢弃率调度方案,自适应地调整DropHead的丢弃率,以达到更好的正则化效果.在机器翻译和文本分类基准数据集上的实验结果证明了该方法的有效性。
2020-11-01 cs.CL cs.LG
Regularization for Unsupervised Deep Neural Nets
Northwestern University(西北大学)
无监督神经网络,如受限玻尔兹曼机(RBM)和深度信念网络(DBN),是特征选择和模式识别任务的强大工具。我们证明了过拟合发生在这样的模型,就像在深前馈神经网络,并讨论可能的正则化方法,以减少过拟合。我们还提出了一个“部分”的方法,以提高效率的Dropout/DropConnect在这种情况下,并讨论了这些方法的理论依据,从模型收敛性和似然界。最后,我们比较了这些方法的性能的基础上,他们的可能性和分类出错率为各种模式识别数据集。
2017-02-17 cs.LG cs.NE
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame(圣母大学);Seoul National University(首尔国立大学)
最近的理论研究证明,通过在一定稀疏性约束下最小化经验风险获得的深度神经网络(DNN)估计量可以获得回归和分类问题的最佳收敛速度。然而,稀疏性约束要求知道真实模型的某些属性,这在实践中是不可用的。此外,由于稀疏约束的离散性质,计算是困难的。在本文中,我们提出了一种新的惩罚估计方法稀疏DNN,解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险,并推导出几个学习任务的收敛速度。特别是,我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算,我们开发了一个有效的基于梯度的优化算法,保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML