Adaptive Divergence Regularized Policy Optimization for Fine-tuning Generative Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生成模型强化学习微调中探索与利用的平衡难题,提出自适应散度正则化策略优化ADRPO,可自动调整正则化强度,在多模态多任务上超越现有方法,适配多种生成架构。
2025-10-20 cs.AI cs.LG
Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对离线强化学习面临的挑战,提出不确定性估计下的保守查询与自适应正则化框架,通过莫尔斯网络估计不确定性,采用保守查询策略与自适应正则化方案,与CQL集成并在D4RL基准测试,取得优异或有竞争力的性能。
2026-07-22 cs.LG
Reinforcement Learning with Adaptive Regularization for Safe Control of Critical Systems
Dyson School of Design Engineering(戴森设计工程学院);Imperial College London(伦敦帝国学院)
针对强化学习探索动作不可预测、威胁关键系统安全的问题,提出带自适应正则化的RL-AR算法,通过聚焦模块按状态探索程度组合RL策略与安全正则项,兼顾训练安全性与接近无模型RL的性能。
2024-10-31 cs.LG
Revisiting Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning
State Key Lab of Processors, Institute of Computing Technology, CAS(处理器国家重点实验室,计算技术研究所,中国科学院);University of Science and Technology of China(中国科学技术大学);University of Chinese Academy of Sciences(中国科学院大学);StepFun Inc(StepFun公司)
本文重新审视熵正则化在强化学习中的应用,提出自适应熵正则化框架,通过动态平衡探索与利用提升数学推理性能。
2026-04-17 cs.AI cs.CL cs.LG
Wasserstein Adaptive Value Estimation for Actor-Critic Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
本文提出WAVE方法,通过在critic损失中引入自适应Wasserstein正则化提升actor-critic稳定性,并给出收敛速率与理论保证,实验显示其性能优于标准方法。
2025-03-07 cs.LG cs.SY eess.SY
Adaptive Energy Regularization for Autonomous Gait Transition and Energy-Efficient Quadruped Locomotion
University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出一种基于速度自适应调整的能量中心奖励策略,使四足机器人在不同速度下能自主选择步态并提升能效,在仿真和真实环境中验证了其有效性。
2025-03-05 cs.RO
Adaptive Low-Rank Regularization with Damping Sequences to Restrict Lazy Weights in Deep Networks
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工学院))
过拟合是深度神经网络中的关键问题之一。许多正则化方案试图盲目地防止过拟合。然而,它们降低了训练算法的收敛速度。自适应正则化方案可以更智能地解决过拟合问题。它们通常不会影响整个网络的权重。本文检测了一个子集的加权层,导致过拟合。过拟合通过矩阵和张量条件数进行识别。提出了一种称为自适应低秩(ALR)的自适应正则化方案,该方案将加权层的子集收敛到其低秩因子分解(LRF)。它通过最小化一个新的基于Tikhonov的损失函数来实现。ALR还鼓励惰性权重在epoch增长时对正则化做出贡献。它使用一个阻尼序列来增加最后几代的层选择似然。因此,在降低训练精度之前,ALR减少了懒惰的权重,并大大正则化了网络。实验结果表明,ALR能够很好地正则化深度网络,具有较高的训练速度和较低的资源使用率。
2021-06-17 cs.AI cs.LG
Adaptive Regularization via Residual Smoothing in Deep Learning Optimization
Seoul National University(首尔国立大学);Chung-Ang University(中央大学)
我们提出了一种自适应正则化算法,可以有效地应用于深度学习框架中的优化问题。我们的正则化算法的目的是考虑到数据的适应性,以确定规则的模型的当前状态,以实现更好的推广。神经网络架构的目标空间中的每个元素处的正则化程度以自适应方式基于每个优化迭代处的残差来确定。我们的自适应正则化算法被设计成应用由热方程驱动的扩散过程,该热方程具有空间变化的扩散率,该扩散率取决于遵循一定分布的残差的概率密度函数。我们的数据驱动的规律性是通过自适应平滑简化的目标函数,其中显式正则化项被省略,在残差的评估和确定其规律性的程度之间的交替方式。在图像分类问题的应用中,通过数值实验验证了该算法的有效性,表明该算法在推广流行的深度学习模型和基准数据集方面优于其他常用的优化算法。
2019-08-30 cs.AI cs.LG stat.ML
AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion
National University of Defense Technology(国防科技大学);University of Utah(犹他大学)
显式低秩正则化,例如,核范数正则化在成像科学中有着广泛的应用。然而,已经发现隐式正则化在各种图像处理任务中优于显式正则化。另一个问题是,固定的显式正则化限制了对广泛图像的适用性,因为不同的图像有利于通过不同的显式正则化捕获的不同特征。因此,本文提出了一种新的自适应和隐式低秩正则化,动态捕获低秩先验的训练数据。我们新的自适应隐式低秩正则化的核心是在基于Dirichlet能量的正则化中参数化拉普拉斯矩阵,我们称之为正则化\textit{AIR}。理论上,我们表明,自适应正则化的AIR增强了隐式正则化,并在训练结束时消失。我们验证了空气的有效性在各种基准任务,表明空气是特别有利的情况下,丢失的条目是不均匀的。代码可以在https://github.com/lizhemin15/AIR-Net上找到
2022-06-27 cs.LG stat.ML
Adaptive Variance-Penalized Continual Learning with Fisher Regularization
Indian Institute of Technology Bombay(印度理工学院孟买学院)
本文提出一种在变分学习框架中引入Fisher加权非对称方差正则化的持续学习方法,通过根据参数不确定性动态调节正则化强度,在多个标准基准上有效缓解灾难性遗忘并提升模型性能。
2025-08-15 cs.AI cs.LG
VISP: Volatility Informed Stochastic Projection for Adaptive Regularization
Okta
该研究提出自适应正则化方法VISP,通过梯度统计量动态计算波动率以缩放随机投影矩阵,选择性正则化高波动节点,在多个图像数据集上泛化表现优于基线与固定噪声方案,还能稳定网络动态、提升特征鲁棒性。
2025-09-02 cs.AI cs.LG
Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent
Peking University(北京大学)
我们提出了\textit{Meta-Regularization},一种新的方法,自适应选择的学习率在一阶梯度下降方法。我们的方法通过在学习率上增加正则化项来修改目标函数,并将参数和学习率的联合更新过程转化为最大最小问题。给定任何正则化项,我们的方法有利于生成实用的算法。当\textit{Meta-Regularization}把$φ$ -散度作为正则化子时,所得到的算法具有与其他一阶梯度算法相当的理论收敛性能.此外,我们从理论上证明了一些设计良好的正则化可以改善收敛性能的目标函数的强凸性条件下。基准问题的数值实验表明,从一些常见的$φ$ -发散算法在全批以及在线学习设置的有效性。
2021-04-12 cs.LG
Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization
Tsinghua University(清华大学)
本文提出一种基于谱正则化的贝叶斯矩阵补全方法,通过放松奇异向量的正交约束,设计出适用于贝叶斯推断的自适应谱正则化方法,无需参数调优即可自动推断潜在因子数量,在稀疏矩阵上表现优异。
2015-12-25 cs.AI cs.LG cs.NA
Cross-regularization: Adaptive Model Complexity through Validation Gradients
NightCity Labs(夜城实验室)
本文提出交叉正则化方法,利用验证梯度在训练中自适应调整正则化参数,平衡复杂度与过拟合,并证明其收敛到交叉验证最优,同时支持数据增强和不确定性校准。
2025-06-24 cs.AI cs.LG math.ST
Sharpness-Aware Minimization with Adaptive Regularization for Training Deep Neural Networks
College of Computer Science and Technology(计算机科学与技术学院);National University of Defense Technology(国防科技大学)
针对 SAM 使用固定正则化超参数的局限,本文提出 SAMAR 方法,通过灵活的锐度比率规则动态更新正则化参数,并从理论上证明其收敛性,实验表明该方法有效提升了模型准确率与泛化能力。
2024-12-22 cs.CV cs.LG
Adaptive Random Feature Regularization on Fine-tuning Deep Neural Networks
NTT(日本电信电话株式会社);Kyoto University(京都大学)
本文提出AdaRand,一种无需辅助源信息且计算成本合理的自适应随机特征正则化方法,通过最小化特征向量与随机参考向量的差距并动态更新条件分布,有效缓解微调过拟合,提升性能。
2024-03-15 cs.AI cs.CV cs.LG
Efficient Full-Matrix Adaptive Regularization
Google AI Princeton(谷歌AI普林斯顿);Toyota Technological Institute at Chicago(丰田工业大学芝加哥分校);Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
自适应正则化方法通过预处理矩阵预乘下降方向。由于机器学习问题的大量参数,全矩阵预处理方法是昂贵的。我们展示了如何修改全矩阵自适应正则化,以使其实用和有效。我们还提供了一个新的理论分析非凸优化设置的自适应正则化。我们的算法的核心,称为GGT,由一个低秩矩阵的平方根的逆的有效计算。我们的初步实验表明,在合成任务和标准深度学习基准测试中,迭代收敛速度有所提高,并且更仔细的预处理步骤有时会导致更好的解决方案。
2020-11-17 cs.LG math.OC stat.ML
The Flip Side of the Reweighted Coin: Duality of Adaptive Dropout and Regularization
Rice University(莱斯大学)
稀疏化深度(神经)网络最成功的方法之一是在整个训练过程中自适应地屏蔽网络权重。通过检查这种掩蔽,或辍学,在线性的情况下,我们发现这种自适应方法和正则化之间的对偶性,通过所谓的“$η$技巧”,铸造作为迭代重新加权优化。我们表明,任何辍学策略,适应的权重在单调的方式对应于一个有效的次二次正则化惩罚,因此导致稀疏的解决方案。我们得到了几个流行的稀疏化策略,这是非常相似的经典的惩罚稀疏优化中常用的有效的处罚。考虑变分dropout作为案例研究,我们在深度网络稀疏化任务上展示了自适应dropout方法和经典方法之间类似的经验行为,验证了我们的理论。
2022-01-03 cs.LG stat.ML
Data adaptive RKHS Tikhonov regularization for learning kernels in operators
Johns Hopkins University(约翰斯·霍普金斯大学)
我们介绍DARTR:数据自适应RKHS Tikhonov正则化方法,用于算子中函数参数的非参数学习的线性逆问题。一个关键的成分是系统内在数据自适应(SIDA)RKHS,其规范限制学习发生在可识别的函数空间。DARTR利用该范数,并通过L曲线方法选择正则化参数。我们举例说明其性能,包括积分算子,非线性算子和非局部算子与离散合成数据。数值结果表明,DARTR导致一个准确的估计器的数值误差,由于离散数据和数据中的噪声,估计器收敛在一个一致的速度下的数据网格细化不同水平的噪声,优于两个基线正则化使用$l^2$和$L^2$规范。
2022-03-08 cs.LG stat.ML
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain(谷歌大脑)
我们描述了一个框架,推导和分析在线优化算法,包括自适应,数据相关的正则化,也称为预处理。这样的算法已被证明是有用的随机优化,根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献,包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此,我们获得了新的收敛性证明,这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Jacobian-Adaptive Weighting for Stability: Enhancing Long-term Rollout of Neural Partial Differential Equation Solvers via Spatially-Adaptive Regularization
University of Hiroshima(广岛大学)
提出Jacobian-自适应加权稳定性方法,通过空间异方差不确定性建模实现自适应正则化,在平滑区域强制收缩抑制噪声,在奇异特征附近放松约束保留梯度,实现短时记忆高效训练达到长时基线精度。
2026-06-23 cs.AI cs.LG physics.comp-ph
Adaptive Regularization of Labels
Tsinghua University(清华大学);Chinese University of Hong Kong(香港中文大学);PengCheng Laboratory(鹏城实验室)
最近,多种正则化技术在深度神经网络中得到了广泛应用,如dropout、批量归一化、数据增强等,这些方法主要关注权值参数的正则化,以有效防止过拟合。此外,标签正则化技术,如标签平滑和标签扰动也被提出的动机,增加一个随机扰动的标签。本文提出了一种新的自适应标签正则化方法,该方法使神经网络能够从错误的经验中学习,并在线更新最佳标签表示。另一方面,与使用教师网络学习类别相关性的知识蒸馏相比,我们提出的方法只需要很小的参数增加,而不需要繁琐的教师网络。此外,我们在CIFAR-10/CIFAR-100/ImageNet数据集上评估了我们的方法,用于图像识别任务,在AGNews/Yahoo/Yelp-Full数据集上评估了我们的方法。实证结果表明,在所有的实验设置显着改善。
2019-08-15 cs.LG stat.ML
Dropout Training as Adaptive Regularization
Stanford University(斯坦福大学)
Dropout和其他特征噪声方案通过人为破坏训练数据来控制过拟合。对于广义线性模型,dropout执行一种形式的自适应正则化。使用这种观点,我们表明,辍学正则化是一阶等效的L2正则化应用后,通过估计的逆对角费舍尔信息矩阵的功能。我们还与在线学习算法AdaGrad建立了联系,并发现AdaGrad的近亲通过反复解决线性丢弃正则化问题来操作。通过将dropout转换为正则化,我们开发了一种自然的半监督算法,该算法使用未标记的数据来创建更好的自适应正则化器。我们将这个想法应用于文档分类任务,并表明它始终提高了dropout训练的性能,改善了IMDB评论数据集上的最新结果。
2013-11-01 cs.LG stat.ME stat.ML
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning
Baidu Research(百度研究院);University of Oregon(俄勒冈大学);University of Macau(澳门大学)
虽然最近关于半监督学习的研究在利用标记和未标记数据方面取得了显着进展,但大多数研究都假设模型的基本设置是随机初始化的。在这项工作中,我们联合考虑半监督学习和迁移学习,从而产生一种更实用和更有竞争力的范式,可以利用来自源域的强大的预训练模型以及目标域中的标记/未标记数据。为了更好地利用预训练权重和未标记目标示例的价值,我们引入了自适应一致性正则化,它由两个互补的组件组成:源模型和目标模型之间示例的自适应知识一致性(AKC),以及标记和未标记示例之间目标模型的自适应表示一致性(ARC)。根据样本对目标任务的潜在贡献,自适应地选择参与一致性正则化的样本。我们通过微调ImageNet预训练的ResNet-50模型,在CIFAR-10、CUB-200和MURA等流行基准上进行了广泛的实验。结果表明,我们提出的自适应一致性正则化优于最先进的半监督学习技术,如伪标签,平均教师和FixMatch。此外,我们的算法与现有方法正交,因此能够在MixMatch和FixMatch的基础上获得额外的改进。我们的代码可在https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning上获得。
2021-08-08 cs.CV cs.LG
Continual Learning with Node-Importance based Adaptive Group Sparse Regularization
Sungkyunkwan University(成均馆大学)
我们提出了一种新的正则化为基础的持续学习方法,称为自适应组稀疏性为基础的持续学习(AGS-CL),使用两个组稀疏性为基础的惩罚。我们的方法选择性地采用两个惩罚时,学习每个节点的重要性,这是自适应更新后,学习每个新的任务。通过利用用于学习的近似梯度下降方法,保证了模型的精确稀疏性和冻结性,并且因此,学习器可以随着学习的继续而显式地控制模型容量。此外,作为一个关键的细节,我们重新初始化的权重与不重要的节点后,学习每个任务,以防止负迁移,导致灾难性遗忘,并促进新任务的有效学习。在整个广泛的实验结果中,我们表明,我们的AGS-CL使用更少的额外内存空间来存储正则化参数,并且在监督和强化学习任务的代表性持续学习基准上,它的性能显着优于几个最先进的基线。
2021-05-29 cs.LG stat.ML
Adaptive Activation Network and Functional Regularization for Efficient and Flexible Deep Multi-Task Learning
Stony Brook University(石溪大学);Tencent AI Lab(腾讯人工智能实验室)
多任务学习是一种通过同时训练相关任务来提高任务学习泛化性能的学习范式。然而,寻找一种灵活、准确的、能够在多个任务之间共享的体系结构仍然是一个具有挑战性的问题。在本文中,我们提出了一种新的深度学习模型,称为任务自适应激活网络(TAAN),可以自动学习MTL的最佳网络架构。TAAN的主要原理是在网络其他参数完全共享的情况下,从数据中导出针对不同任务的灵活激活函数。我们进一步提出了两个功能的正则化方法,提高MTL性能的TAAN。综合实验证明了TAAN和正则化方法的性能改善。
2019-11-19 cs.LG stat.ML
AdaCubic: An Adaptive Cubic Regularization Optimizer for Deep Learning
AdaCubic通过自适应调整立方项权重,改进了牛顿法中的立方正则化,实验显示其在计算机视觉、自然语言处理和信号处理任务中优于或竞争于主流优化器,且无需超参数调优。
2026-04-10 cs.LG
Heteroskedastic and Imbalanced Deep Learning with Adaptive Regularization
Stanford University(斯坦福大学);Harvard University(哈佛大学);Toyota Research Institute(丰田研究所)
真实世界的大规模数据集是异方差和不平衡的-标签具有不同程度的不确定性,标签分布是长尾的。异方差性和不平衡性对深度学习算法提出了挑战,因为很难区分错误标记、模糊和罕见的示例。同时解决异方差和不平衡问题的探索不足。我们提出了一种异方差数据集的数据依赖正则化技术,该技术对输入空间的不同区域进行不同的正则化。受一维非参数分类设置中最佳正则化强度的理论推导的启发,我们的方法自适应地正则化更高不确定性,更低密度区域中的数据点。我们在几个基准任务上测试了我们的方法,包括真实世界的异方差和不平衡数据集WebVision。我们的实验证实了我们的理论,并证明了在噪声鲁棒性深度学习中比其他方法有显着的改进。
2021-03-18 cs.LG stat.ML
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong(香港大学)
三次正则化方法(CR)及其自适应方法(ARC)是求解无约束非凸优化问题的常用牛顿型方法,由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法(ARCm),以提高收敛性能。在适当选择动量步长的情况下,证明了ARCm的整体收敛,并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明,所提出的ARCm显着优于最先进的三次正则化方法(例如,CR、基于动量的CR、ARC)和置信域方法。特别地,ARCm所需的迭代次数比实验中最具竞争力的方法(ARC)所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
Stochastic batch size for adaptive regularization in deep network optimization
Chung-Ang University(中央大学);University of California Los Angeles(加州大学洛杉矶分校)
提出了一种结合自适应正则化的一阶随机优化算法,适用于深度学习框架下的机器学习问题。自适应正则化是由随机过程施加在确定批量大小为每个模型参数在每次优化迭代。随机批量大小由遵循梯度范数分布的每个参数的更新概率确定,考虑到神经网络架构中的局部和全局属性,其中梯度范数的范围可以在层内和跨层变化。我们经验证明我们的算法的有效性,使用图像分类任务的基础上,传统的网络模型应用于常用的基准数据集。定量评估表明,我们的算法优于国家的最先进的优化算法的泛化能力,同时提供更低的敏感性,选择批量大小,往往在优化中发挥关键作用,从而实现更强大的鲁棒性的选择规律性。
2020-04-14 cs.CV cs.LG stat.ML
Evaluating Model Robustness Using Adaptive Sparse L0 Regularization
University of Adelaide(阿德莱德大学)
本文提出一种基于L0范数的可扩展对抗样本生成方法,解决现有攻击在准确性与效率间的权衡,以改进深度神经网络对稀疏扰动的鲁棒性评估。
2024-08-28 cs.AI cs.LG
Adaptive regularization for Lasso models in the context of non-stationary data streams
Gatsby Computational Neuroscience Unit, UCL(伦敦大学学院盖茨比计算神经科学单元);Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系);WMG, University of Warwick(华威大学制造工程学院)
大规模的流数据集在现代机器学习中无处不在。流算法必须是可扩展的,服从增量训练和鲁棒性的非平稳性的存在。在这项工作中,考虑学习$\ell_1$正则化线性模型的流数据的上下文中的问题。特别是,这项工作的重点围绕如何选择正则化参数时,数据顺序到达和底层分布是非平稳的(这意味着最佳正则化参数的选择本身是随时间变化的)。我们提出了一个框架,通过它来推断自适应正则化参数。我们的方法采用了$\ell_1$惩罚约束,相应的稀疏参数通过随机梯度下降迭代更新。这有助于在在线学习的原则框架中重新制定正则化参数的选择。所提出的方法推导出线性回归,随后扩展到广义线性模型。我们验证我们的方法使用模拟和真实的数据集,并提出了一个应用程序的神经成像数据集。
2017-12-14 cs.LG stat.ML
Dynamic Regret Convergence Analysis and an Adaptive Regularization Algorithm for On-Policy Robot Imitation Learning
University of California, Berkeley(加州大学伯克利分校);Toyota Research Institute(丰田研究院)
基于策略的模仿学习算法(如Dagger)通过执行机器人控制策略、测量性能(损失)、从监督者获得纠正反馈并生成下一个策略来进化机器人控制策略。由于迭代之间的损失可能会不可预测地变化,因此一个基本问题是在什么条件下此过程最终将实现收敛策略。如果假设基本的轨迹分布是静态的(平稳的),则可以证明Dagger的收敛性。然而,在更现实的机器人模型中,潜在的轨迹分布是动态的,因为它是策略的函数。最近的结果表明,它是可能的,以证明收敛的Dagger时,一个规则性条件的变化率的轨迹分布是满意的。在这篇文章中,我们使用来自在线优化领域的动态后悔理论重新构建了这一结果,并表明动态后悔可以应用于任何策略算法,以分析其收敛性和最优性。这些结果启发了一种新的算法,自适应按策略正则化(AOR),以确保收敛的条件。我们目前的仿真结果与车杆平衡和运动的基准,表明AOR可以显着减少动态遗憾和抖动的机器人学习。据我们所知,这是动态后悔理论在模仿学习中的首次应用。
2019-07-08 cs.LG cs.RO
Adaptive Regularization for Weight Matrices
Technion(以色列理工学院);Bar Ilan University(巴伊兰大学);Google research(谷歌研究院)
用于学习权重向量上的分布的算法,例如AROW,最近被经验地证明在各种问题上具有最先进的性能,具有很强的理论可靠性。将这些算法扩展到矩阵模型带来了挑战,因为分布的协方差中的自由参数的数量随着矩阵的维度$n$而缩放为$n^4$,并且$n$在实际应用中往往很大。我们描述,分析和实验两个新的算法学习矩阵模型的分布。我们的第一个算法保持对角协方差的参数,可以处理大的协方差矩阵。第二个算法的因素的协方差捕获特征间的相关性,同时保持参数的数量在原始矩阵的大小线性。我们分析了这两种算法的错误界模型,并显示出优越的精度性能,我们的方法比其他算法在两个任务:检索相似的图像,并排名相似的文件。因子化算法具有更快的收敛速度。
2012-06-18 cs.AI cs.LG
Epsilon Consistent Mixup: Structural Regularization with an Adaptive Consistency-Interpolation Tradeoff
Pennsylvania State University(宾夕法尼亚州立大学);Sant’Anna School of Advanced Studies(圣安娜高等研究院)
在本文中,我们提出了$ε$ -一致性混淆($ε$ μ)。$ε$ mu是一种基于数据的结构正则化技术,它通过在两者之间进行简单的自适应权衡,将Mixup的线性插值与Mixup方向的一致性正则化相结合。这种一致性和插值的可学习组合在整个特征空间的响应演化上引入了更灵活的结构,并被证明可以提高SVHN和CIFAR 10基准数据集上的半监督分类准确性,在最具挑战性的低标签可用性场景中获得最大收益。比较$ε$ mu和Mixup的实证研究,并提供深入了解$ε$ mu的有效性背后的机制。特别是,发现$ε$ mu比Mixup产生更准确的合成标记和更有信心的预测。
2021-09-30 cs.LG stat.AP stat.ME
Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection
HuaQiao University(华侨大学);Fuzhou University(福州大学)
特征选择是数据采掘和机器学习中一个重要的数据预处理过程,它可以在不降低模型性能的前提下降低特征维数。由于获取带注释的数据在许多情况下是费力的,甚至是不可行的,无监督的特征选择在现实中更实用。虽然已经提出了许多无监督的特征选择方法,但这些方法都是独立地选择特征,因此不能保证选择的特征组是最优的。此外,必须仔细调整所选特征的数量以获得满意的结果。为了解决这些问题,本文提出了一种联合自适应图和结构稀疏正则化无监督特征选择(JASFS)方法.该方法在流形学习中引入一个关于变换矩阵的$l_{2,0}$范数正则化项用于特征选择,在学习模型中引入一个图正则化项用于自适应地学习数据的局部几何结构.通过对该优化问题的计算复杂性分析,设计了一种简单有效的迭代算法。优化完成后,将分组选择最优特征子集,并自动确定所选特征的数量。八个基准测试的实验结果表明,该方法的有效性和效率相比,一些国家的最先进的方法。
2022-04-07 cs.LG
Adaptive Block Sparse Regularization under Arbitrary Linear Transform
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能统合研究中心)
提出一种适用于任意线性变换下未知块结构的凸快速信号重建方法,推导了迭代算法及收敛条件,并通过数值实验验证了其有效性。
2024-02-13 cs.LG eess.SP
Learning Neural Networks with Adaptive Regularization
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Montreal(蒙特利尔微软研究院)
前馈神经网络可以理解为中间表示和线性假设的组合。虽然大多数以前的作品旨在多样化的表示,我们探索的互补方向,通过执行自适应和数据依赖的正则化的经验贝叶斯方法的动机。具体来说,我们建议构造一个矩阵变量正态先验(关于权重),其协方差矩阵具有克罗内克积结构。这种结构被设计成通过反向传播来捕获神经元中的相关性。在这种克罗内克分解的假设下,先验知识鼓励神经元相互借用统计强度。因此,当在小数据集上训练网络时,它会导致自适应和数据依赖的正则化。为了优化模型,我们提出了一个有效的块坐标下降算法的解析解。经验上,我们证明了所提出的方法有助于网络收敛到局部最优,具有较小的稳定秩和谱范数。这些属性建议更好的概括,我们提出的实证结果来支持这一预期。我们还验证了该方法的有效性,多类分类和多任务回归问题与各种网络结构。
2019-10-23 cs.LG stat.ML
Adaptive Step Sizes in Variance Reduction via Regularization
University of Minnesota - Twin Cities(明尼苏达大学双城分校)
本文的主要目标是用Barzilai-Borwein(BB)步长来配置凸和非凸问题。由于BB步长的自适应性,当目标函数不是强凸时,它们可能会失败。为了克服这个挑战,这里的关键思想是通过正则化来桥接(非)凸问题和强凸问题。所提出的正则化方案是\textit{simple},但有效的。将BB步长与方差缩减方法(称为SARAH)相结合,与凸问题中的香草SARAH相比,提供了免费的午餐。BB步长在非凸问题中的收敛性也得到了证明,其复杂性并不比AdaGrad等自适应步长差。作为一个副产品,我们的正则化SARAH方法凸函数确保的复杂性,找到$\mathbb{E}[\| \nabla f(\mathbf{x}) \|^2]\leq ε$是${\cal O}\big( (n+\frac{1}{\sqrtε})\ln{\frac{1}ε}\big)$,改善$ε$依赖于现有的结果。数值试验进一步验证了所提出的方法的优点。
2019-10-15 cs.LG stat.ML
Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization
University of Florida(佛罗里达大学);Korea Institute of Industrial Technology (KITECH)(韩国产业技术研究院)
我们专注于最小化机器学习问题中通常出现的非凸有限和函数。为了解决这个问题,自适应三次正则化牛顿法已经显示出其强大的整体收敛保证和逃离严格鞍点的能力。该方法使用类似置信域的方案来确定迭代是否成功,并且仅在迭代成功时更新。在本文中,我们提出了一种算法相结合的负曲率与自适应立方正则牛顿方法更新,即使在不成功的迭代。我们称这种新方法为负曲率随机自适应三次正则化(SANC)。与以前的方法不同,为了获得随机梯度和Hessian估计量,SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法在解决大规模机器学习问题时更加实用。据我们所知,这是第一个方法,结合负曲率方法与自适应三次正则化牛顿法。最后,我们提供了实验结果,包括神经网络的问题,支持我们的方法的效率。
2019-06-27 cs.LG math.OC
Adaptive Confidence Regularization for Multimodal Failure Detection
Technical University of Munich(慕尼黑技术大学);ETH Zürich(苏黎世联邦理工学院);EPFL(苏黎世联邦理工学院);Fraunhofer IKS(弗劳恩霍夫研究所)
本文提出自适应置信度正则化方法,通过检测多模态预测中的置信度退化,提升故障识别的可靠性。
2026-03-02 cs.AI cs.CV cs.LG
Discounted Adaptive Online Learning: Towards Better Regularization
Harvard University(哈佛大学)
该研究针对对抗性非平稳环境在线学习的历史遗忘难题,提出基于FTRL的自适应折扣遗憾算法,改进恒定学习率梯度下降基线,还将其用于在线共形预测,简化分析并得到实例依赖性能保证。
2024-06-18 cs.LG stat.ML
Adaptive Tabu Dropout for Regularization of Deep Neural Network
United International University(联合国际大学);Brac University(BRAC大学)
本文提出自适应禁忌丢弃机制,通过禁忌任期和基于训练表现自动选择任期来增强深度神经网络正则化的多样性,实验证明其优于标准丢弃和基本禁忌丢弃。
2024-12-31 cs.LG
Adaptive Norm-Based Regularization for Neural Networks
Department of Statistics, Lund University(统计系,隆德大学)
本文提出两种自适应范数正则化策略,通过引入输入特征协方差结构改进传统岭和Lasso惩罚,提升高维数据下的预测性能和复杂度控制。
2026-04-30 cs.LG stat.AP stat.ML
Adaptive Ensemble of Classifiers with Regularization for Imbalanced Data Classification
Sichuan University(四川大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校);Zhejiang University(浙江大学);Tennessee State University(田纳西州立大学)
分类器的动态集成选择是处理标签不平衡数据分类的一种有效方法。然而,由于缺乏正则化方法以及上述技术对局部几何形状的依赖,这种技术易于过拟合。在这项研究中,针对二进制不平衡数据分类,提出了一种新的动态集成方法,即自适应集成的分类器与正则化(AER),以克服上述限制。该方法通过隐式正则化来解决过拟合问题。具体而言,它利用随机梯度下降的特性来获得具有最小范数的解,从而实现正则化;此外,它通过利用数据的全局几何形状来插值整体权重,以进一步防止过拟合。根据我们的理论证明,看似复杂的AER范式,除了其正则化功能,实际上可以减少其他几个算法的渐近时间和内存复杂度。我们评估了七个基准不平衡数据集的UCI机器学习存储库和一个人工生成的基于GM的数据集与五个变化的AER方法。结果表明,该算法在大多数情况下优于现有的基于多个度量的主要算法,两个假设检验(McNemar's和Wilcoxon检验)进一步验证了该算法的统计显著性。此外,该方法还具有处理高度不平衡数据的特殊优势,开创了动态集成方法正则化研究的先河。
2020-11-06 cs.LG stat.ML
Learning Spatially Adaptive $\ell_1$-Norms Weights for Convolutional Synthesis Regularization
MaLGa Center, DIBRIS, Università di Genova, MMS, Istituto Italiano di Tecnologia(MaLGa中心、DIBRIS、热那亚大学、MMS、意大利理工学院)
提出一种展开算法,在卷积合成正则化框架中学习空间自适应参数图,通过展开FISTA估计深度参数化稀疏特征图权重,用于低场MRI重建,结果与模型驱动深度学习方法相当且可解释性强。
2025-10-22 cs.CV cs.LG math.OC
Adaptive Regularization for Sparsity Control in Bregman-Based Optimizers
Department of Data Science, FAU Erlangen-Nürnberg(FAU厄林根-纽伦堡数据科学系);International Audiolabs, FAU Erlangen-Nürnberg(FAU厄林根-纽伦堡国际声学实验室);School of Computation, Information and Technology, Technical University of Munich(慕尼黑技术大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出了一种自适应正则化方法,用于在Bregman-based优化器中更精确地控制稀疏性,通过动态调整正则化参数λ,从而提高稀疏性控制的效率和准确性。
2026-05-20 cs.LG
Sketchy: Memory-efficient Adaptive Regularization with Frequent Directions
Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
提出基于频繁方向草图的自适应正则化方法,在降低内存与计算成本的同时保持性能,并扩展到Shampoo,实现亚线性内存下的高效优化。
2023-10-16 cs.AI cs.LG stat.ML
Adaptive Noise Injection: A Structure-Expanding Regularization for RNN
vanilla LSTM已经成为词级语言建模中最有潜力的架构之一,与其他递归神经网络一样,过拟合始终是其有效性的关键障碍。现有的噪声注入正则化引入了固定强度的随机噪声,这在整个训练过程中抑制了RNN的学习。在本文中,我们提出了一种新的结构扩展正则化方法,称为Adjective Noise Injection(ANI),该方法将额外RNN分支的输出视为一种自适应噪声,并将其注入到主分支RNN输出中。由于自适应噪声可以随着训练过程的进行而得到改善,其负面影响可以被削弱,甚至转化为正面影响,进一步提高主分支RNN的表达能力。因此,ANI可以在训练的早期阶段正则化RNN,并在后期阶段进一步提高其训练性能。我们在PTB、WT2和WT103三个常用语料库上进行了实验,实验结果验证了ANI的规则化和促进训练绩效的功能。此外,我们设计了一系列的仿真实验来探索ANI正则化效应产生的原因,发现在训练过程中,配备ANI的LSTM可以增强对参数更新错误的鲁棒性。
2021-03-17 cs.CL cs.LG
AdaFlood: Adaptive Flood Regularization
University of British Columbia(不列颠哥伦比亚大学);Borealis AI;Amii(阿尔伯塔机器智能研究所)
针对现有泛洪正则化对所有样本用相同恒定阈值、未考虑样本难度差异的问题,提出自适应调整每个样本泛洪阈值的AdaFlood方法,经多模态数据集实验验证其跨域和抗噪通用性。
2023-11-06 cs.LG
PANDA: AdaPtive Noisy Data Augmentation for Regularization of Undirected Graphical Models
University of Notre Dame(圣母大学)
我们提出了一种自适应噪声增强(PANDA)技术来正则化无向图模型的估计和构造。PANDA迭代优化目标函数,给出噪声增强数据,直到收敛,以实现模型参数的正则化。增强噪声可以设计成各种正则化效果的图估计,如桥(包括套索和脊)、弹性网、自适应套索、SCAD惩罚等,还可以实现群套索和融合脊。我们研究了噪声增强损失函数的尾界,并建立了噪声增强损失函数及其最小值几乎必然分别收敛于预期的惩罚损失函数及其最小值。在广义线性模型中,利用PANDA方法得到了正则化参数的渐近分布,并在此基础上进行了参数的推断和变量选择.我们在模拟研究中显示了PANDA在构建不同类型的图方面的非劣性能,并将PANDA应用于自闭症谱系障碍数据构建混合节点图。我们还表明,通过PANDA正则化参数估计的渐近分布的基础上的推理实现名义或接近名义的覆盖率,是更有效的,相比一些现有的后选择程序。在计算上,PANDA可以很容易地在实现GLM的软件中编程,而无需采用复杂的优化技术。
2019-05-21 cs.LG stat.ML
Overlap-Adaptive Regularization for Conditional Average Treatment Effect Estimation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich, Germany(德国慕尼黑)
本文提出重叠自适应正则化方法,通过调整正则化强度以应对低重叠问题,提升CATE估计的性能。
2026-03-11 cs.LG stat.ML
Uncertainty-based Continual Learning with Adaptive Regularization
Sungkyunkwan University(成均馆大学)
提出了一种基于神经网络的不确定性正则化持续学习(UCL)算法,该算法基于变分推理的贝叶斯在线学习框架。我们关注最近提出的基于正则化的方法的两个显著缺点:a)用于确定每个权重正则化强度的相当大的额外内存成本和b)缺乏优雅遗忘方案,该方案可以防止学习新任务时的性能下降。在本文中,我们表明UCL可以解决这两个问题,通过引入一个新的解释的Kullback-Leibler(KL)的发散项的高斯平均场近似的变分下界。基于这种解释,我们提出了节点不确定性的概念,这大大减少了用于实现每权重正则化的附加参数的数量。此外,我们还设计了两个额外的正则化项,通过冻结过去任务的重要参数来增强稳定性,并通过控制新任务的主动学习参数来实现可塑性。通过大量的实验,我们证明了UCL不仅在流行的监督学习基准上,而且在具有挑战性的终身强化学习任务上都令人信服地优于大多数最新的最先进的基线。我们的算法的源代码可在https://github.com/csm9493/UCL上获得。
2019-11-14 cs.LG stat.ML
Adaptive Regularization for Large-Scale Sparse Feature Embedding Models
Institute of Intelligent Technology(智能技术研究所);Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团)
本文提出了一种自适应正则化方法,用于解决大规模稀疏特征嵌入模型中多 epoch 训练导致的过拟合问题,通过约束嵌入层范数预算提升模型性能。
2026-01-27 cs.LG stat.ML