Adaptive regularization for Lasso models in the context of non-stationary data streams
Gatsby Computational Neuroscience Unit, UCL(伦敦大学学院盖茨比计算神经科学单元);Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系);WMG, University of Warwick(华威大学制造工程学院)
大规模的流数据集在现代机器学习中无处不在。流算法必须是可扩展的,服从增量训练和鲁棒性的非平稳性的存在。在这项工作中,考虑学习$\ell_1$正则化线性模型的流数据的上下文中的问题。特别是,这项工作的重点围绕如何选择正则化参数时,数据顺序到达和底层分布是非平稳的(这意味着最佳正则化参数的选择本身是随时间变化的)。我们提出了一个框架,通过它来推断自适应正则化参数。我们的方法采用了$\ell_1$惩罚约束,相应的稀疏参数通过随机梯度下降迭代更新。这有助于在在线学习的原则框架中重新制定正则化参数的选择。所提出的方法推导出线性回归,随后扩展到广义线性模型。我们验证我们的方法使用模拟和真实的数据集,并提出了一个应用程序的神经成像数据集。
2017-12-14 cs.LG stat.ML
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong(香港大学)
三次正则化方法(CR)及其自适应方法(ARC)是求解无约束非凸优化问题的常用牛顿型方法,由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法(ARCm),以提高收敛性能。在适当选择动量步长的情况下,证明了ARCm的整体收敛,并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明,所提出的ARCm显着优于最先进的三次正则化方法(例如,CR、基于动量的CR、ARC)和置信域方法。特别地,ARCm所需的迭代次数比实验中最具竞争力的方法(ARC)所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
Discounted Adaptive Online Learning: Towards Better Regularization
Harvard University(哈佛大学)
该研究针对对抗性非平稳环境在线学习的历史遗忘难题,提出基于FTRL的自适应折扣遗憾算法,改进恒定学习率梯度下降基线,还将其用于在线共形预测,简化分析并得到实例依赖性能保证。
2024-06-18 cs.LG stat.ML
Adaptive Ensemble of Classifiers with Regularization for Imbalanced Data Classification
Sichuan University(四川大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校);Zhejiang University(浙江大学);Tennessee State University(田纳西州立大学)
分类器的动态集成选择是处理标签不平衡数据分类的一种有效方法。然而,由于缺乏正则化方法以及上述技术对局部几何形状的依赖,这种技术易于过拟合。在这项研究中,针对二进制不平衡数据分类,提出了一种新的动态集成方法,即自适应集成的分类器与正则化(AER),以克服上述限制。该方法通过隐式正则化来解决过拟合问题。具体而言,它利用随机梯度下降的特性来获得具有最小范数的解,从而实现正则化;此外,它通过利用数据的全局几何形状来插值整体权重,以进一步防止过拟合。根据我们的理论证明,看似复杂的AER范式,除了其正则化功能,实际上可以减少其他几个算法的渐近时间和内存复杂度。我们评估了七个基准不平衡数据集的UCI机器学习存储库和一个人工生成的基于GM的数据集与五个变化的AER方法。结果表明,该算法在大多数情况下优于现有的基于多个度量的主要算法,两个假设检验(McNemar's和Wilcoxon检验)进一步验证了该算法的统计显著性。此外,该方法还具有处理高度不平衡数据的特殊优势,开创了动态集成方法正则化研究的先河。
2020-11-06 cs.LG stat.ML
Implicit Regularization in Matrix Sensing via Mirror Descent
University of Oxford(牛津大学)
我们研究离散时间镜像下降应用于矩阵传感的非正则化经验风险。在矩形矩阵的一般情况下和半正定矩阵的特殊情况下,根据Bregman散度进行的简单的基于势的分析允许我们建立镜像下降的收敛-具有不同的镜像映射选择-到一个矩阵,在经验风险的所有全局最小化中,最小化与核范数,Frobenius范数,和冯·诺依曼熵在这两种情况下,这种特征意味着镜像下降,一阶算法最小化非正则化的经验风险,恢复低秩矩阵在同一组假设下,足以保证恢复核范数最小化。当感测矩阵是对称的和可交换的,我们表明,梯度下降与满秩因子化参数化是一个一阶近似镜像下降,在这种情况下,我们得到一个明确的表征的隐式偏差梯度流作为副产品。
2021-10-27 cs.LG stat.ML
Adaptive Low-Rank Regularization with Damping Sequences to Restrict Lazy Weights in Deep Networks
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工学院))
过拟合是深度神经网络中的关键问题之一。许多正则化方案试图盲目地防止过拟合。然而,它们降低了训练算法的收敛速度。自适应正则化方案可以更智能地解决过拟合问题。它们通常不会影响整个网络的权重。本文检测了一个子集的加权层,导致过拟合。过拟合通过矩阵和张量条件数进行识别。提出了一种称为自适应低秩(ALR)的自适应正则化方案,该方案将加权层的子集收敛到其低秩因子分解(LRF)。它通过最小化一个新的基于Tikhonov的损失函数来实现。ALR还鼓励惰性权重在epoch增长时对正则化做出贡献。它使用一个阻尼序列来增加最后几代的层选择似然。因此,在降低训练精度之前,ALR减少了懒惰的权重,并大大正则化了网络。实验结果表明,ALR能够很好地正则化深度网络,具有较高的训练速度和较低的资源使用率。
2021-06-17 cs.AI cs.LG
Offline Reinforcement Learning with Adaptive Behavior Regularization
Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));University of Science and Technology of China(中国科学技术大学);Beihang University(北京航空航天大学)
离线强化学习(RL)定义了一种样本高效的学习范式,其中从静态和先前收集的数据集学习策略,而无需与环境进行额外的交互。离线RL的主要障碍是评估分布外动作的价值所产生的估计误差。为了解决这个问题,大多数现有的离线RL方法试图获得一个策略,既“接近”包含在数据集中的行为,并充分改善它们,这需要在两个可能冲突的目标之间进行权衡。在本文中,我们提出了一种新的方法,我们称之为自适应行为正则化(ABR),以平衡这一关键的权衡。通过简单地利用基于样本的正则化,ABR使策略能够在克隆和改进用于生成数据集的策略之间自适应地调整其优化目标。在D4RL数据集上的评估中,广泛采用的离线强化学习的基准,ABR可以实现与现有的最先进的算法相比,改进或有竞争力的性能。
2022-11-15 cs.AI cs.LG
Adaptive Regularization via Residual Smoothing in Deep Learning Optimization
Seoul National University(首尔国立大学);Chung-Ang University(中央大学)
我们提出了一种自适应正则化算法,可以有效地应用于深度学习框架中的优化问题。我们的正则化算法的目的是考虑到数据的适应性,以确定规则的模型的当前状态,以实现更好的推广。神经网络架构的目标空间中的每个元素处的正则化程度以自适应方式基于每个优化迭代处的残差来确定。我们的自适应正则化算法被设计成应用由热方程驱动的扩散过程,该热方程具有空间变化的扩散率,该扩散率取决于遵循一定分布的残差的概率密度函数。我们的数据驱动的规律性是通过自适应平滑简化的目标函数,其中显式正则化项被省略,在残差的评估和确定其规律性的程度之间的交替方式。在图像分类问题的应用中,通过数值实验验证了该算法的有效性,表明该算法在推广流行的深度学习模型和基准数据集方面优于其他常用的优化算法。
2019-08-30 cs.AI cs.LG stat.ML
Adaptive Variance-Penalized Continual Learning with Fisher Regularization
Indian Institute of Technology Bombay(印度理工学院孟买学院)
本文提出一种在变分学习框架中引入Fisher加权非对称方差正则化的持续学习方法,通过根据参数不确定性动态调节正则化强度,在多个标准基准上有效缓解灾难性遗忘并提升模型性能。
2025-08-15 cs.AI cs.LG
VISP: Volatility Informed Stochastic Projection for Adaptive Regularization
Okta
该研究提出自适应正则化方法VISP,通过梯度统计量动态计算波动率以缩放随机投影矩阵,选择性正则化高波动节点,在多个图像数据集上泛化表现优于基线与固定噪声方案,还能稳定网络动态、提升特征鲁棒性。
2025-09-02 cs.AI cs.LG
Heavy-Tailed Regularization of Weight Matrices in Deep Neural Networks
Southern University of Science and Technology(南方科技大学);Beijing Normal University(北京师范大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对深度神经网络泛化能力问题,提出一种显式促进权重矩阵重尾谱分布的重尾正则化技术,通过可微惩罚项与贝叶斯先验方法有效提升了模型泛化性能。
2023-04-07 cs.LG stat.ML
AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion
National University of Defense Technology(国防科技大学);University of Utah(犹他大学)
显式低秩正则化,例如,核范数正则化在成像科学中有着广泛的应用。然而,已经发现隐式正则化在各种图像处理任务中优于显式正则化。另一个问题是,固定的显式正则化限制了对广泛图像的适用性,因为不同的图像有利于通过不同的显式正则化捕获的不同特征。因此,本文提出了一种新的自适应和隐式低秩正则化,动态捕获低秩先验的训练数据。我们新的自适应隐式低秩正则化的核心是在基于Dirichlet能量的正则化中参数化拉普拉斯矩阵,我们称之为正则化\textit{AIR}。理论上,我们表明,自适应正则化的AIR增强了隐式正则化,并在训练结束时消失。我们验证了空气的有效性在各种基准任务,表明空气是特别有利的情况下,丢失的条目是不均匀的。代码可以在https://github.com/lizhemin15/AIR-Net上找到
2022-06-27 cs.LG stat.ML
Preventing Dimensional Collapse in Self-Supervised Learning via Orthogonality Regularization
The Hong Kong Polytechnic University(香港理工大学)
针对自监督学习中维度坍塌问题,该研究首次提出在编码器的卷积层和线性层施加正交正则化的方法,可同时防止权重矩阵、隐藏特征和表征的维度坍塌,在CNN和Transformer架构的多种基准上均提升了性能。
2024-11-01 cs.AI cs.LG
Regularization-free estimation in trace regression with symmetric positive semidefinite matrices
Rutgers University(罗格斯大学);Saarland University(萨尔大学)
在过去的几年里,迹回归模型在矩阵完备、量子态层析成像和压缩传感的背景下受到了相当大的关注。从基于正则化的方法,特别是核范数正则化,促进低秩的基础矩阵的估计,已经享有很大的普及。在本文中,我们认为,这样的正则化可能不再是必要的,如果底层矩阵是对称半正定(\textsf{spd})和设计满足一定的条件。在这种情况下,受\textsf{spd}约束的简单最小二乘估计可以与适当选择正则化参数的基于正则化的方法一样执行,这需要噪声水平和/或调谐的知识。相比之下,约束最小二乘估计没有任何调整参数,因此由于其简单性而可能是优选的。
2015-04-23 cs.LG stat.ME stat.ML
Adaptive Random Feature Regularization on Fine-tuning Deep Neural Networks
NTT(日本电信电话株式会社);Kyoto University(京都大学)
本文提出AdaRand,一种无需辅助源信息且计算成本合理的自适应随机特征正则化方法,通过最小化特征向量与随机参考向量的差距并动态更新条件分布,有效缓解微调过拟合,提升性能。
2024-03-15 cs.AI cs.CV cs.LG
Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization
Tsinghua University(清华大学)
本文提出一种基于谱正则化的贝叶斯矩阵补全方法,通过放松奇异向量的正交约束,设计出适用于贝叶斯推断的自适应谱正则化方法,无需参数调优即可自动推断潜在因子数量,在稀疏矩阵上表现优异。
2015-12-25 cs.AI cs.LG cs.NA
Learning to Trust Bellman Updates: Selective State-Adaptive Regularization for Offline RL
针对离线强化学习中固定正则化强度难以平衡外推误差与策略性能的问题,提出选择性状态自适应正则化方法,通过状态级信任与选择性约束高质量动作,在D4RL基准上显著优于现有方法。
2025-05-26 cs.LG stat.ML
Cross-regularization: Adaptive Model Complexity through Validation Gradients
NightCity Labs(夜城实验室)
本文提出交叉正则化方法,利用验证梯度在训练中自适应调整正则化参数,平衡复杂度与过拟合,并证明其收敛到交叉验证最优,同时支持数据增强和不确定性校准。
2025-06-24 cs.AI cs.LG math.ST
Sharpness-Aware Minimization with Adaptive Regularization for Training Deep Neural Networks
College of Computer Science and Technology(计算机科学与技术学院);National University of Defense Technology(国防科技大学)
针对 SAM 使用固定正则化超参数的局限,本文提出 SAMAR 方法,通过灵活的锐度比率规则动态更新正则化参数,并从理论上证明其收敛性,实验表明该方法有效提升了模型准确率与泛化能力。
2024-12-22 cs.CV cs.LG
Jacobian-Adaptive Weighting for Stability: Enhancing Long-term Rollout of Neural Partial Differential Equation Solvers via Spatially-Adaptive Regularization
University of Hiroshima(广岛大学)
提出Jacobian-自适应加权稳定性方法,通过空间异方差不确定性建模实现自适应正则化,在平滑区域强制收缩抑制噪声,在奇异特征附近放松约束保留梯度,实现短时记忆高效训练达到长时基线精度。
2026-06-23 cs.AI cs.LG physics.comp-ph
RIZE: Adaptive Regularization for Imitation Learning
Amirkabir University of Technology(阿米尔卡比尔理工大学)
RIZE提出了一种基于最大熵IRL框架的自适应正则化方法,通过动态目标正则化和分布式强化学习提升模仿学习的鲁棒性和性能。
2025-11-19 cs.AI cs.LG cs.RO
The Flip Side of the Reweighted Coin: Duality of Adaptive Dropout and Regularization
Rice University(莱斯大学)
稀疏化深度(神经)网络最成功的方法之一是在整个训练过程中自适应地屏蔽网络权重。通过检查这种掩蔽,或辍学,在线性的情况下,我们发现这种自适应方法和正则化之间的对偶性,通过所谓的“$η$技巧”,铸造作为迭代重新加权优化。我们表明,任何辍学策略,适应的权重在单调的方式对应于一个有效的次二次正则化惩罚,因此导致稀疏的解决方案。我们得到了几个流行的稀疏化策略,这是非常相似的经典的惩罚稀疏优化中常用的有效的处罚。考虑变分dropout作为案例研究,我们在深度网络稀疏化任务上展示了自适应dropout方法和经典方法之间类似的经验行为,验证了我们的理论。
2022-01-03 cs.LG stat.ML
Data adaptive RKHS Tikhonov regularization for learning kernels in operators
Johns Hopkins University(约翰斯·霍普金斯大学)
我们介绍DARTR:数据自适应RKHS Tikhonov正则化方法,用于算子中函数参数的非参数学习的线性逆问题。一个关键的成分是系统内在数据自适应(SIDA)RKHS,其规范限制学习发生在可识别的函数空间。DARTR利用该范数,并通过L曲线方法选择正则化参数。我们举例说明其性能,包括积分算子,非线性算子和非局部算子与离散合成数据。数值结果表明,DARTR导致一个准确的估计器的数值误差,由于离散数据和数据中的噪声,估计器收敛在一个一致的速度下的数据网格细化不同水平的噪声,优于两个基线正则化使用$l^2$和$L^2$规范。
2022-03-08 cs.LG stat.ML
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain(谷歌大脑)
我们描述了一个框架,推导和分析在线优化算法,包括自适应,数据相关的正则化,也称为预处理。这样的算法已被证明是有用的随机优化,根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献,包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此,我们获得了新的收敛性证明,这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
AdaCubic: An Adaptive Cubic Regularization Optimizer for Deep Learning
AdaCubic通过自适应调整立方项权重,改进了牛顿法中的立方正则化,实验显示其在计算机视觉、自然语言处理和信号处理任务中优于或竞争于主流优化器,且无需超参数调优。
2026-04-10 cs.LG
Streaming kernel regression with provably adaptive mean, variance, and regularization
Laval University(拉瓦尔大学);INRIA(法国国家信息与自动化研究所);McGill University(麦吉尔大学)
我们考虑流核回归的问题,当观察顺序到达,目标是恢复潜在的平均函数,假设属于RKHS。假设噪声的方差是未知的。在这种情况下,我们解决了在每个时间步长自适应调整正则化参数的问题,同时保持严格的置信区间估计的均值函数在每个点的值。为此,我们首先推广现有的有限维线性回归与固定的正则化和已知的方差的核设置与正则化参数允许是一个可测量的功能,过去的观察结果。然后,使用适当的自归一化不等式,我们建立上,下界估计的方差,导致Bersntein样的浓度范围。后者用于定义自适应正则化。从我们的技术所产生的界限是有效的,在所有的观察点和所有的时间步长一致,并与文献的数值实验进行比较。最后,这些工具的潜力说明了应用内核化的土匪,在那里我们重温内核UCB和内核汤普森采样程序,并显示新的自适应内核调整策略的好处。
2017-08-02 cs.LG stat.ML
Adaptive Regularization of Labels
Tsinghua University(清华大学);Chinese University of Hong Kong(香港中文大学);PengCheng Laboratory(鹏城实验室)
最近,多种正则化技术在深度神经网络中得到了广泛应用,如dropout、批量归一化、数据增强等,这些方法主要关注权值参数的正则化,以有效防止过拟合。此外,标签正则化技术,如标签平滑和标签扰动也被提出的动机,增加一个随机扰动的标签。本文提出了一种新的自适应标签正则化方法,该方法使神经网络能够从错误的经验中学习,并在线更新最佳标签表示。另一方面,与使用教师网络学习类别相关性的知识蒸馏相比,我们提出的方法只需要很小的参数增加,而不需要繁琐的教师网络。此外,我们在CIFAR-10/CIFAR-100/ImageNet数据集上评估了我们的方法,用于图像识别任务,在AGNews/Yahoo/Yelp-Full数据集上评估了我们的方法。实证结果表明,在所有的实验设置显着改善。
2019-08-15 cs.LG stat.ML
Dropout Training as Adaptive Regularization
Stanford University(斯坦福大学)
Dropout和其他特征噪声方案通过人为破坏训练数据来控制过拟合。对于广义线性模型,dropout执行一种形式的自适应正则化。使用这种观点,我们表明,辍学正则化是一阶等效的L2正则化应用后,通过估计的逆对角费舍尔信息矩阵的功能。我们还与在线学习算法AdaGrad建立了联系,并发现AdaGrad的近亲通过反复解决线性丢弃正则化问题来操作。通过将dropout转换为正则化,我们开发了一种自然的半监督算法,该算法使用未标记的数据来创建更好的自适应正则化器。我们将这个想法应用于文档分类任务,并表明它始终提高了dropout训练的性能,改善了IMDB评论数据集上的最新结果。
2013-11-01 cs.LG stat.ME stat.ML
Finding the Near Optimal Policy via Adaptive Reduced Regularization in MDPs
Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
正则化的MDP充当原始MDP的平滑版本。然而,有偏的最优策略总是存在正则化的MDP。我们提出了一种自适应的λ约简方案来逼近原MDP的最优策略,而不是使正则项的系数λ足够小.结果表明,与设定足够小的λ相比,得到ε-最优策略的迭代复杂度可以降低.此外,该约简方法与直接求解原始MDP之间存在着很强的对偶关系,由此可以推导出对某些算法更具自适应性的约简方法。
2020-10-31 cs.LG stat.ML
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning
Baidu Research(百度研究院);University of Oregon(俄勒冈大学);University of Macau(澳门大学)
虽然最近关于半监督学习的研究在利用标记和未标记数据方面取得了显着进展,但大多数研究都假设模型的基本设置是随机初始化的。在这项工作中,我们联合考虑半监督学习和迁移学习,从而产生一种更实用和更有竞争力的范式,可以利用来自源域的强大的预训练模型以及目标域中的标记/未标记数据。为了更好地利用预训练权重和未标记目标示例的价值,我们引入了自适应一致性正则化,它由两个互补的组件组成:源模型和目标模型之间示例的自适应知识一致性(AKC),以及标记和未标记示例之间目标模型的自适应表示一致性(ARC)。根据样本对目标任务的潜在贡献,自适应地选择参与一致性正则化的样本。我们通过微调ImageNet预训练的ResNet-50模型,在CIFAR-10、CUB-200和MURA等流行基准上进行了广泛的实验。结果表明,我们提出的自适应一致性正则化优于最先进的半监督学习技术,如伪标签,平均教师和FixMatch。此外,我们的算法与现有方法正交,因此能够在MixMatch和FixMatch的基础上获得额外的改进。我们的代码可在https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning上获得。
2021-08-08 cs.CV cs.LG
Continual Learning with Node-Importance based Adaptive Group Sparse Regularization
Sungkyunkwan University(成均馆大学)
我们提出了一种新的正则化为基础的持续学习方法,称为自适应组稀疏性为基础的持续学习(AGS-CL),使用两个组稀疏性为基础的惩罚。我们的方法选择性地采用两个惩罚时,学习每个节点的重要性,这是自适应更新后,学习每个新的任务。通过利用用于学习的近似梯度下降方法,保证了模型的精确稀疏性和冻结性,并且因此,学习器可以随着学习的继续而显式地控制模型容量。此外,作为一个关键的细节,我们重新初始化的权重与不重要的节点后,学习每个任务,以防止负迁移,导致灾难性遗忘,并促进新任务的有效学习。在整个广泛的实验结果中,我们表明,我们的AGS-CL使用更少的额外内存空间来存储正则化参数,并且在监督和强化学习任务的代表性持续学习基准上,它的性能显着优于几个最先进的基线。
2021-05-29 cs.LG stat.ML
Adaptive Activation Network and Functional Regularization for Efficient and Flexible Deep Multi-Task Learning
Stony Brook University(石溪大学);Tencent AI Lab(腾讯人工智能实验室)
多任务学习是一种通过同时训练相关任务来提高任务学习泛化性能的学习范式。然而,寻找一种灵活、准确的、能够在多个任务之间共享的体系结构仍然是一个具有挑战性的问题。在本文中,我们提出了一种新的深度学习模型,称为任务自适应激活网络(TAAN),可以自动学习MTL的最佳网络架构。TAAN的主要原理是在网络其他参数完全共享的情况下,从数据中导出针对不同任务的灵活激活函数。我们进一步提出了两个功能的正则化方法,提高MTL性能的TAAN。综合实验证明了TAAN和正则化方法的性能改善。
2019-11-19 cs.LG stat.ML
Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对离线强化学习面临的挑战,提出不确定性估计下的保守查询与自适应正则化框架,通过莫尔斯网络估计不确定性,采用保守查询策略与自适应正则化方案,与CQL集成并在D4RL基准测试,取得优异或有竞争力的性能。
2026-07-22 cs.LG
Heteroskedastic and Imbalanced Deep Learning with Adaptive Regularization
Stanford University(斯坦福大学);Harvard University(哈佛大学);Toyota Research Institute(丰田研究所)
真实世界的大规模数据集是异方差和不平衡的-标签具有不同程度的不确定性,标签分布是长尾的。异方差性和不平衡性对深度学习算法提出了挑战,因为很难区分错误标记、模糊和罕见的示例。同时解决异方差和不平衡问题的探索不足。我们提出了一种异方差数据集的数据依赖正则化技术,该技术对输入空间的不同区域进行不同的正则化。受一维非参数分类设置中最佳正则化强度的理论推导的启发,我们的方法自适应地正则化更高不确定性,更低密度区域中的数据点。我们在几个基准任务上测试了我们的方法,包括真实世界的异方差和不平衡数据集WebVision。我们的实验证实了我们的理论,并证明了在噪声鲁棒性深度学习中比其他方法有显着的改进。
2021-03-18 cs.LG stat.ML
LocalDrop: A Hybrid Regularization for Deep Neural Networks
Wuhan University(武汉大学);The University of Sydney(悉尼大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);the University of Tokyo(东京大学)
在神经网络中,发展正则化算法解决过拟合问题是一个重要的研究领域。我们提出了一种新的正则化神经网络的局部Rademacher复杂性称为LocalDrop的方法。基于提出的局部Rademacher复杂度上界,通过严格的数学推导,提出了一种新的正则化函数,包括丢弃率和权矩阵,适用于全连接网络(FCN)和卷积神经网络(CNN).在复杂度分析中还包括了在不同层保持速率矩阵的情况下,对FCNs中的丢弃和CNN中的丢弃块的分析。利用新的正则化函数,我们建立了一个两阶段的过程来获得最优的保持率矩阵和权重矩阵,以实现整个训练模型。大量的实验已经进行了证明LocalDrop在不同的模型中的有效性,通过比较它与几种算法和不同的超参数对最终性能的影响。
2021-03-01 cs.AI cs.LG stat.ML
Adaptive Confidence Regularization for Multimodal Failure Detection
Technical University of Munich(慕尼黑技术大学);ETH Zürich(苏黎世联邦理工学院);EPFL(苏黎世联邦理工学院);Fraunhofer IKS(弗劳恩霍夫研究所)
本文提出自适应置信度正则化方法,通过检测多模态预测中的置信度退化,提升故障识别的可靠性。
2026-03-02 cs.AI cs.CV cs.LG
Stochastic batch size for adaptive regularization in deep network optimization
Chung-Ang University(中央大学);University of California Los Angeles(加州大学洛杉矶分校)
提出了一种结合自适应正则化的一阶随机优化算法,适用于深度学习框架下的机器学习问题。自适应正则化是由随机过程施加在确定批量大小为每个模型参数在每次优化迭代。随机批量大小由遵循梯度范数分布的每个参数的更新概率确定,考虑到神经网络架构中的局部和全局属性,其中梯度范数的范围可以在层内和跨层变化。我们经验证明我们的算法的有效性,使用图像分类任务的基础上,传统的网络模型应用于常用的基准数据集。定量评估表明,我们的算法优于国家的最先进的优化算法的泛化能力,同时提供更低的敏感性,选择批量大小,往往在优化中发挥关键作用,从而实现更强大的鲁棒性的选择规律性。
2020-04-14 cs.CV cs.LG stat.ML
Adaptive Tabu Dropout for Regularization of Deep Neural Network
United International University(联合国际大学);Brac University(BRAC大学)
本文提出自适应禁忌丢弃机制,通过禁忌任期和基于训练表现自动选择任期来增强深度神经网络正则化的多样性,实验证明其优于标准丢弃和基本禁忌丢弃。
2024-12-31 cs.LG
Reinforcement Learning with Adaptive Regularization for Safe Control of Critical Systems
Dyson School of Design Engineering(戴森设计工程学院);Imperial College London(伦敦帝国学院)
针对强化学习探索动作不可预测、威胁关键系统安全的问题,提出带自适应正则化的RL-AR算法,通过聚焦模块按状态探索程度组合RL策略与安全正则项,兼顾训练安全性与接近无模型RL的性能。
2024-10-31 cs.LG
Adaptive Block Sparse Regularization under Arbitrary Linear Transform
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能统合研究中心)
提出一种适用于任意线性变换下未知块结构的凸快速信号重建方法,推导了迭代算法及收敛条件,并通过数值实验验证了其有效性。
2024-02-13 cs.LG eess.SP
Learning Neural Networks with Adaptive Regularization
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Montreal(蒙特利尔微软研究院)
前馈神经网络可以理解为中间表示和线性假设的组合。虽然大多数以前的作品旨在多样化的表示,我们探索的互补方向,通过执行自适应和数据依赖的正则化的经验贝叶斯方法的动机。具体来说,我们建议构造一个矩阵变量正态先验(关于权重),其协方差矩阵具有克罗内克积结构。这种结构被设计成通过反向传播来捕获神经元中的相关性。在这种克罗内克分解的假设下,先验知识鼓励神经元相互借用统计强度。因此,当在小数据集上训练网络时,它会导致自适应和数据依赖的正则化。为了优化模型,我们提出了一个有效的块坐标下降算法的解析解。经验上,我们证明了所提出的方法有助于网络收敛到局部最优,具有较小的稳定秩和谱范数。这些属性建议更好的概括,我们提出的实证结果来支持这一预期。我们还验证了该方法的有效性,多类分类和多任务回归问题与各种网络结构。
2019-10-23 cs.LG stat.ML
Adaptive Step Sizes in Variance Reduction via Regularization
University of Minnesota - Twin Cities(明尼苏达大学双城分校)
本文的主要目标是用Barzilai-Borwein(BB)步长来配置凸和非凸问题。由于BB步长的自适应性,当目标函数不是强凸时,它们可能会失败。为了克服这个挑战,这里的关键思想是通过正则化来桥接(非)凸问题和强凸问题。所提出的正则化方案是\textit{simple},但有效的。将BB步长与方差缩减方法(称为SARAH)相结合,与凸问题中的香草SARAH相比,提供了免费的午餐。BB步长在非凸问题中的收敛性也得到了证明,其复杂性并不比AdaGrad等自适应步长差。作为一个副产品,我们的正则化SARAH方法凸函数确保的复杂性,找到$\mathbb{E}[\| \nabla f(\mathbf{x}) \|^2]\leq ε$是${\cal O}\big( (n+\frac{1}{\sqrtε})\ln{\frac{1}ε}\big)$,改善$ε$依赖于现有的结果。数值试验进一步验证了所提出的方法的优点。
2019-10-15 cs.LG stat.ML
Adaptive Regularization for Sparsity Control in Bregman-Based Optimizers
Department of Data Science, FAU Erlangen-Nürnberg(FAU厄林根-纽伦堡数据科学系);International Audiolabs, FAU Erlangen-Nürnberg(FAU厄林根-纽伦堡国际声学实验室);School of Computation, Information and Technology, Technical University of Munich(慕尼黑技术大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出了一种自适应正则化方法,用于在Bregman-based优化器中更精确地控制稀疏性,通过动态调整正则化参数λ,从而提高稀疏性控制的效率和准确性。
2026-05-20 cs.LG
Epsilon Consistent Mixup: Structural Regularization with an Adaptive Consistency-Interpolation Tradeoff
Pennsylvania State University(宾夕法尼亚州立大学);Sant’Anna School of Advanced Studies(圣安娜高等研究院)
在本文中,我们提出了$ε$ -一致性混淆($ε$ μ)。$ε$ mu是一种基于数据的结构正则化技术,它通过在两者之间进行简单的自适应权衡,将Mixup的线性插值与Mixup方向的一致性正则化相结合。这种一致性和插值的可学习组合在整个特征空间的响应演化上引入了更灵活的结构,并被证明可以提高SVHN和CIFAR 10基准数据集上的半监督分类准确性,在最具挑战性的低标签可用性场景中获得最大收益。比较$ε$ mu和Mixup的实证研究,并提供深入了解$ε$ mu的有效性背后的机制。特别是,发现$ε$ mu比Mixup产生更准确的合成标记和更有信心的预测。
2021-09-30 cs.LG stat.AP stat.ME
Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization
University of Florida(佛罗里达大学);Korea Institute of Industrial Technology (KITECH)(韩国产业技术研究院)
我们专注于最小化机器学习问题中通常出现的非凸有限和函数。为了解决这个问题,自适应三次正则化牛顿法已经显示出其强大的整体收敛保证和逃离严格鞍点的能力。该方法使用类似置信域的方案来确定迭代是否成功,并且仅在迭代成功时更新。在本文中,我们提出了一种算法相结合的负曲率与自适应立方正则牛顿方法更新,即使在不成功的迭代。我们称这种新方法为负曲率随机自适应三次正则化(SANC)。与以前的方法不同,为了获得随机梯度和Hessian估计量,SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法在解决大规模机器学习问题时更加实用。据我们所知,这是第一个方法,结合负曲率方法与自适应三次正则化牛顿法。最后,我们提供了实验结果,包括神经网络的问题,支持我们的方法的效率。
2019-06-27 cs.LG math.OC
AdaFlood: Adaptive Flood Regularization
University of British Columbia(不列颠哥伦比亚大学);Borealis AI;Amii(阿尔伯塔机器智能研究所)
针对现有泛洪正则化对所有样本用相同恒定阈值、未考虑样本难度差异的问题,提出自适应调整每个样本泛洪阈值的AdaFlood方法,经多模态数据集实验验证其跨域和抗噪通用性。
2023-11-06 cs.LG
Revisiting Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning
State Key Lab of Processors, Institute of Computing Technology, CAS(处理器国家重点实验室,计算技术研究所,中国科学院);University of Science and Technology of China(中国科学技术大学);University of Chinese Academy of Sciences(中国科学院大学);StepFun Inc(StepFun公司)
本文重新审视熵正则化在强化学习中的应用,提出自适应熵正则化框架,通过动态平衡探索与利用提升数学推理性能。
2026-04-17 cs.AI cs.CL cs.LG
Traditional and Heavy-Tailed Self Regularization in Neural Network Models
Calculation Consulting(计算咨询公司);ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
随机矩阵理论(RMT)被应用于分析深度神经网络(DNN)的权重矩阵,包括生产质量、预训练模型(如AlexNet和Inception)以及从头开始训练的较小模型(如LeNet 5和微型AlexNet)。经验和理论结果清楚地表明,DNN层矩阵的经验谱密度(ESD)显示了传统正则化统计模型的特征,即使在没有外源指定传统形式的正则化(如Dropout或Weight Norm约束)的情况下。最近的结果在RMT的基础上,最值得注意的是它的扩展到普适性类的重尾矩阵,我们开发了一个理论来识别\emph{5+1 Phases of Training},对应于越来越多的\emph{Implicit Self-Regularization}。对于较小和/或较旧的DNN,这种隐式自正则化就像传统的Tikhonov正则化,因为存在将信号与噪声分离的“大小尺度”。然而,对于最先进的DNN,我们发现了一种新形式的\emph{Heavy-Tailed Self-Regularization},类似于无序系统的统计物理学中的自组织。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象,我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。
2019-01-24 cs.LG stat.ML
Adaptive Norm-Based Regularization for Neural Networks
Department of Statistics, Lund University(统计系,隆德大学)
本文提出两种自适应范数正则化策略,通过引入输入特征协方差结构改进传统岭和Lasso惩罚,提升高维数据下的预测性能和复杂度控制。
2026-04-30 cs.LG stat.AP stat.ML
Adaptive Noise Injection: A Structure-Expanding Regularization for RNN
vanilla LSTM已经成为词级语言建模中最有潜力的架构之一,与其他递归神经网络一样,过拟合始终是其有效性的关键障碍。现有的噪声注入正则化引入了固定强度的随机噪声,这在整个训练过程中抑制了RNN的学习。在本文中,我们提出了一种新的结构扩展正则化方法,称为Adjective Noise Injection(ANI),该方法将额外RNN分支的输出视为一种自适应噪声,并将其注入到主分支RNN输出中。由于自适应噪声可以随着训练过程的进行而得到改善,其负面影响可以被削弱,甚至转化为正面影响,进一步提高主分支RNN的表达能力。因此,ANI可以在训练的早期阶段正则化RNN,并在后期阶段进一步提高其训练性能。我们在PTB、WT2和WT103三个常用语料库上进行了实验,实验结果验证了ANI的规则化和促进训练绩效的功能。此外,我们设计了一系列的仿真实验来探索ANI正则化效应产生的原因,发现在训练过程中,配备ANI的LSTM可以增强对参数更新错误的鲁棒性。
2021-03-17 cs.CL cs.LG
Learning Spatially Adaptive $\ell_1$-Norms Weights for Convolutional Synthesis Regularization
MaLGa Center, DIBRIS, Università di Genova, MMS, Istituto Italiano di Tecnologia(MaLGa中心、DIBRIS、热那亚大学、MMS、意大利理工学院)
提出一种展开算法,在卷积合成正则化框架中学习空间自适应参数图,通过展开FISTA估计深度参数化稀疏特征图权重,用于低场MRI重建,结果与模型驱动深度学习方法相当且可解释性强。
2025-10-22 cs.CV cs.LG math.OC
PANDA: AdaPtive Noisy Data Augmentation for Regularization of Undirected Graphical Models
University of Notre Dame(圣母大学)
我们提出了一种自适应噪声增强(PANDA)技术来正则化无向图模型的估计和构造。PANDA迭代优化目标函数,给出噪声增强数据,直到收敛,以实现模型参数的正则化。增强噪声可以设计成各种正则化效果的图估计,如桥(包括套索和脊)、弹性网、自适应套索、SCAD惩罚等,还可以实现群套索和融合脊。我们研究了噪声增强损失函数的尾界,并建立了噪声增强损失函数及其最小值几乎必然分别收敛于预期的惩罚损失函数及其最小值。在广义线性模型中,利用PANDA方法得到了正则化参数的渐近分布,并在此基础上进行了参数的推断和变量选择.我们在模拟研究中显示了PANDA在构建不同类型的图方面的非劣性能,并将PANDA应用于自闭症谱系障碍数据构建混合节点图。我们还表明,通过PANDA正则化参数估计的渐近分布的基础上的推理实现名义或接近名义的覆盖率,是更有效的,相比一些现有的后选择程序。在计算上,PANDA可以很容易地在实现GLM的软件中编程,而无需采用复杂的优化技术。
2019-05-21 cs.LG stat.ML
Wasserstein Adaptive Value Estimation for Actor-Critic Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
本文提出WAVE方法,通过在critic损失中引入自适应Wasserstein正则化提升actor-critic稳定性,并给出收敛速率与理论保证,实验显示其性能优于标准方法。
2025-03-07 cs.LG cs.SY eess.SY
Overlap-Adaptive Regularization for Conditional Average Treatment Effect Estimation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich, Germany(德国慕尼黑)
本文提出重叠自适应正则化方法,通过调整正则化强度以应对低重叠问题,提升CATE估计的性能。
2026-03-11 cs.LG stat.ML