Gradient-based Fine-Tuning through Pre-trained Model Regularization
School of Artificial Intelligence, Beihang University（人工智能学院，北航）；Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北航）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）
本文提出 GRFT 方法，通过仅更新权重矩阵中梯度平方和最高的行或列并结合正则化，以极低参数更新比例在 FGVC 和 VTAB 上超越 GPS、Adapter Tuning 和 LoRA。
2025-06-14 cs.AI cs.CV cs.LG
Adaptive Low-Rank Regularization with Damping Sequences to Restrict Lazy Weights in Deep Networks
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工学院））
过拟合是深度神经网络中的关键问题之一。许多正则化方案试图盲目地防止过拟合。然而，它们降低了训练算法的收敛速度。自适应正则化方案可以更智能地解决过拟合问题。它们通常不会影响整个网络的权重。本文检测了一个子集的加权层，导致过拟合。过拟合通过矩阵和张量条件数进行识别。提出了一种称为自适应低秩（ALR）的自适应正则化方案，该方案将加权层的子集收敛到其低秩因子分解（LRF）。它通过最小化一个新的基于Tikhonov的损失函数来实现。ALR还鼓励惰性权重在epoch增长时对正则化做出贡献。它使用一个阻尼序列来增加最后几代的层选择似然。因此，在降低训练精度之前，ALR减少了懒惰的权重，并大大正则化了网络。实验结果表明，ALR能够很好地正则化深度网络，具有较高的训练速度和较低的资源使用率。
2021-06-17 cs.AI cs.LG
Information Guided Regularization for Fine-tuning Language Models
Virginia Tech（弗吉尼亚理工大学）；Stevens Institute of Technology（史蒂文斯理工学院）
该研究针对语言模型迁移学习的正则化需求，从信息论视角分析任务敏感参数对预训练损失景观的影响，提出任务与架构无关、无额外计算开销的guided dropout方法，在数据稀缺等场景下相比标准基线取得更优的下游性能。
2024-06-21 cs.AI cs.CL cs.LG
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning
Baidu Research（百度研究院）；University of Oregon（俄勒冈大学）；University of Macau（澳门大学）
虽然最近关于半监督学习的研究在利用标记和未标记数据方面取得了显着进展，但大多数研究都假设模型的基本设置是随机初始化的。在这项工作中，我们联合考虑半监督学习和迁移学习，从而产生一种更实用和更有竞争力的范式，可以利用来自源域的强大的预训练模型以及目标域中的标记/未标记数据。为了更好地利用预训练权重和未标记目标示例的价值，我们引入了自适应一致性正则化，它由两个互补的组件组成：源模型和目标模型之间示例的自适应知识一致性（AKC），以及标记和未标记示例之间目标模型的自适应表示一致性（ARC）。根据样本对目标任务的潜在贡献，自适应地选择参与一致性正则化的样本。我们通过微调ImageNet预训练的ResNet-50模型，在CIFAR-10、CUB-200和MURA等流行基准上进行了广泛的实验。结果表明，我们提出的自适应一致性正则化优于最先进的半监督学习技术，如伪标签，平均教师和FixMatch。此外，我们的算法与现有方法正交，因此能够在MixMatch和FixMatch的基础上获得额外的改进。我们的代码可在https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning上获得。
2021-08-08 cs.CV cs.LG
AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion
National University of Defense Technology（国防科技大学）；University of Utah（犹他大学）
显式低秩正则化，例如，核范数正则化在成像科学中有着广泛的应用。然而，已经发现隐式正则化在各种图像处理任务中优于显式正则化。另一个问题是，固定的显式正则化限制了对广泛图像的适用性，因为不同的图像有利于通过不同的显式正则化捕获的不同特征。因此，本文提出了一种新的自适应和隐式低秩正则化，动态捕获低秩先验的训练数据。我们新的自适应隐式低秩正则化的核心是在基于Dirichlet能量的正则化中参数化拉普拉斯矩阵，我们称之为正则化\textit{AIR}。理论上，我们表明，自适应正则化的AIR增强了隐式正则化，并在训练结束时消失。我们验证了空气的有效性在各种基准任务，表明空气是特别有利的情况下，丢失的条目是不均匀的。代码可以在https://github.com/lizhemin15/AIR-Net上找到
2022-06-27 cs.LG stat.ML
Offline Reinforcement Learning with Adaptive Behavior Regularization
Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）
离线强化学习（RL）定义了一种样本高效的学习范式，其中从静态和先前收集的数据集学习策略，而无需与环境进行额外的交互。离线RL的主要障碍是评估分布外动作的价值所产生的估计误差。为了解决这个问题，大多数现有的离线RL方法试图获得一个策略，既“接近”包含在数据集中的行为，并充分改善它们，这需要在两个可能冲突的目标之间进行权衡。在本文中，我们提出了一种新的方法，我们称之为自适应行为正则化（ABR），以平衡这一关键的权衡。通过简单地利用基于样本的正则化，ABR使策略能够在克隆和改进用于生成数据集的策略之间自适应地调整其优化目标。在D4RL数据集上的评估中，广泛采用的离线强化学习的基准，ABR可以实现与现有的最先进的算法相比，改进或有竞争力的性能。
2022-11-15 cs.AI cs.LG
Adaptive Variance-Penalized Continual Learning with Fisher Regularization
Indian Institute of Technology Bombay（印度理工学院孟买学院）
本文提出一种在变分学习框架中引入Fisher加权非对称方差正则化的持续学习方法，通过根据参数不确定性动态调节正则化强度，在多个标准基准上有效缓解灾难性遗忘并提升模型性能。
2025-08-15 cs.AI cs.LG
Stochastic batch size for adaptive regularization in deep network optimization
Chung-Ang University（中央大学）；University of California Los Angeles（加州大学洛杉矶分校）
提出了一种结合自适应正则化的一阶随机优化算法，适用于深度学习框架下的机器学习问题。自适应正则化是由随机过程施加在确定批量大小为每个模型参数在每次优化迭代。随机批量大小由遵循梯度范数分布的每个参数的更新概率确定，考虑到神经网络架构中的局部和全局属性，其中梯度范数的范围可以在层内和跨层变化。我们经验证明我们的算法的有效性，使用图像分类任务的基础上，传统的网络模型应用于常用的基准数据集。定量评估表明，我们的算法优于国家的最先进的优化算法的泛化能力，同时提供更低的敏感性，选择批量大小，往往在优化中发挥关键作用，从而实现更强大的鲁棒性的选择规律性。
2020-04-14 cs.CV cs.LG stat.ML
VISP: Volatility Informed Stochastic Projection for Adaptive Regularization
Okta
该研究提出自适应正则化方法VISP，通过梯度统计量动态计算波动率以缩放随机投影矩阵，选择性正则化高波动节点，在多个图像数据集上泛化表现优于基线与固定噪声方案，还能稳定网络动态、提升特征鲁棒性。
2025-09-02 cs.AI cs.LG
Adaptive Divergence Regularized Policy Optimization for Fine-tuning Generative Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对生成模型强化学习微调中探索与利用的平衡难题，提出自适应散度正则化策略优化ADRPO，可自动调整正则化强度，在多模态多任务上超越现有方法，适配多种生成架构。
2025-10-20 cs.AI cs.LG
Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）；University of Southern California（南加州大学）
针对连续流型生成模型微调面临的策略崩溃和计算成本问题，提出ORW-CFM-W2方法，通过集成RL与Wasserstein-2正则化，实现无需奖励梯度的微调，平衡探索与利用，在多任务上验证了有效性。
2025-02-09 cs.AI cs.CV cs.LG
Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent
Peking University（北京大学）
我们提出了\textit{Meta-Regularization}，一种新的方法，自适应选择的学习率在一阶梯度下降方法。我们的方法通过在学习率上增加正则化项来修改目标函数，并将参数和学习率的联合更新过程转化为最大最小问题。给定任何正则化项，我们的方法有利于生成实用的算法。当\textit{Meta-Regularization}把$φ$ -散度作为正则化子时，所得到的算法具有与其他一阶梯度算法相当的理论收敛性能.此外，我们从理论上证明了一些设计良好的正则化可以改善收敛性能的目标函数的强凸性条件下。基准问题的数值实验表明，从一些常见的$φ$ -发散算法在全批以及在线学习设置的有效性。
2021-04-12 cs.LG
Learning to Trust Bellman Updates: Selective State-Adaptive Regularization for Offline RL
针对离线强化学习中固定正则化强度难以平衡外推误差与策略性能的问题，提出选择性状态自适应正则化方法，通过状态级信任与选择性约束高质量动作，在D4RL基准上显著优于现有方法。
2025-05-26 cs.LG stat.ML
Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization
Tsinghua University（清华大学）
本文提出一种基于谱正则化的贝叶斯矩阵补全方法，通过放松奇异向量的正交约束，设计出适用于贝叶斯推断的自适应谱正则化方法，无需参数调优即可自动推断潜在因子数量，在稀疏矩阵上表现优异。
2015-12-25 cs.AI cs.LG cs.NA
Cross-regularization: Adaptive Model Complexity through Validation Gradients
NightCity Labs（夜城实验室）
本文提出交叉正则化方法，利用验证梯度在训练中自适应调整正则化参数，平衡复杂度与过拟合，并证明其收敛到交叉验证最优，同时支持数据增强和不确定性校准。
2025-06-24 cs.AI cs.LG math.ST
Theoretical Insight into Batch Normalization: Data Dependant Auto-Tuning of Regularization Rate
批量归一化广泛用于深度学习中，以规范化中间激活。众所周知，深度网络的训练复杂性增加，需要仔细初始化权重，需要较低的学习率等。这些问题已经通过批量归一化（\textbf{BN}）解决，通过将激活的输入归一化为零均值和单位标准差。将这种批量归一化作为训练过程的一部分，可以大大加快深度网络的训练过程。一个新的研究领域已经开始研究\textbf{BN}成功背后的确切理论解释。大多数这些理论见解试图解释\textbf{BN}的好处，将它们放在优化，权重标度不变性和正则化的影响上。尽管\textbf{BN}在加速泛化方面取得了不可否认的成功，但在分析上将\textbf{BN}的效果与正则化参数联系起来的差距仍然缺失。本文的目的是提出的数据依赖的正则化参数的\textbf{BN}的分析证明。我们提出了\textbf{BN}作为一个约束优化施加在非\textbf{BN}的权重，通过它，我们证明了它的数据统计依赖的正则化参数的自动调整。我们还给出了分析证明其行为下的噪声输入的情况下，这揭示了信号与噪声调整的正则化参数。我们还通过MNIST数据集实验的经验结果证实了我们的主张。
2022-10-18 cs.LG stat.ML
Efficient Full-Matrix Adaptive Regularization
Google AI Princeton（谷歌AI普林斯顿）；Toyota Technological Institute at Chicago（丰田工业大学芝加哥分校）；Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
自适应正则化方法通过预处理矩阵预乘下降方向。由于机器学习问题的大量参数，全矩阵预处理方法是昂贵的。我们展示了如何修改全矩阵自适应正则化，以使其实用和有效。我们还提供了一个新的理论分析非凸优化设置的自适应正则化。我们的算法的核心，称为GGT，由一个低秩矩阵的平方根的逆的有效计算。我们的初步实验表明，在合成任务和标准深度学习基准测试中，迭代收敛速度有所提高，并且更仔细的预处理步骤有时会导致更好的解决方案。
2020-11-17 cs.LG math.OC stat.ML
The Flip Side of the Reweighted Coin: Duality of Adaptive Dropout and Regularization
Rice University（莱斯大学）
稀疏化深度（神经）网络最成功的方法之一是在整个训练过程中自适应地屏蔽网络权重。通过检查这种掩蔽，或辍学，在线性的情况下，我们发现这种自适应方法和正则化之间的对偶性，通过所谓的“$η$技巧”，铸造作为迭代重新加权优化。我们表明，任何辍学策略，适应的权重在单调的方式对应于一个有效的次二次正则化惩罚，因此导致稀疏的解决方案。我们得到了几个流行的稀疏化策略，这是非常相似的经典的惩罚稀疏优化中常用的有效的处罚。考虑变分dropout作为案例研究，我们在深度网络稀疏化任务上展示了自适应dropout方法和经典方法之间类似的经验行为，验证了我们的理论。
2022-01-03 cs.LG stat.ML
Data adaptive RKHS Tikhonov regularization for learning kernels in operators
Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍DARTR：数据自适应RKHS Tikhonov正则化方法，用于算子中函数参数的非参数学习的线性逆问题。一个关键的成分是系统内在数据自适应（SIDA）RKHS，其规范限制学习发生在可识别的函数空间。DARTR利用该范数，并通过L曲线方法选择正则化参数。我们举例说明其性能，包括积分算子，非线性算子和非局部算子与离散合成数据。数值结果表明，DARTR导致一个准确的估计器的数值误差，由于离散数据和数据中的噪声，估计器收敛在一个一致的速度下的数据网格细化不同水平的噪声，优于两个基线正则化使用$l^2$和$L^2$规范。
2022-03-08 cs.LG stat.ML
Calibrated Language Model Fine-Tuning for In- and Out-of-Distribution Data
Georgia Institute of Technology（佐治亚理工学院）
由于过度参数化，微调的预训练语言模型可能会遭受分布内和分布外（OOD）数据的严重误校准。为了缓解这个问题，我们提出了一种正则化的微调方法。我们的方法引入了两种类型的正则化来更好地校准：（1）流形上正则化，它通过在数据流形内插值来生成伪流形上样本。使用这些伪样本进行增强训练会施加平滑正则化以改善分布内校准。(2)非流形正则化，鼓励模型输出伪非流形样本的均匀分布，以解决OOD数据的过度置信问题。我们的实验表明，所提出的方法优于现有的校准方法的文本分类的期望校准误差，误分类检测，和OOD检测六个数据集。我们的代码可以在https://github.com/Lingkai-Kong/Calibrated-BERT-Fine-Tuning上找到。
2020-10-22 cs.AI cs.CL cs.LG
Learning Spatially Adaptive $\ell_1$-Norms Weights for Convolutional Synthesis Regularization
MaLGa Center, DIBRIS, Università di Genova, MMS, Istituto Italiano di Tecnologia（MaLGa中心、DIBRIS、热那亚大学、MMS、意大利理工学院）
提出一种展开算法，在卷积合成正则化框架中学习空间自适应参数图，通过展开FISTA估计深度参数化稀疏特征图权重，用于低场MRI重建，结果与模型驱动深度学习方法相当且可解释性强。
2025-10-22 cs.CV cs.LG math.OC
Scalable Gradient-Based Tuning of Continuous Regularization Hyperparameters
Aalto University（阿尔托大学）；IDSIA, Dalle Molle Institute for Artificial Intelligence, USI-SUPSI（IDSIA，达勒·莫勒人工智能研究所（USI-SUPSI））
超参数选择通常依赖于运行多个完整的训练试验，选择基于验证集的性能。我们提出了一种基于梯度的方法，用于在模型训练期间局部调整超参数。调整超参数，以便使模型参数梯度以及因此的更新对于验证成本更有利。我们探索了调整正则化超参数的方法，并发现在MNIST，SVHN和CIFAR-10上的实验中，得到的正则化水平在最佳区域内。额外的计算成本取决于训练超参数的频率，但无论模型大小如何，测试方案只增加了30%的计算开销。由于该方法与类似的基于梯度的超参数优化方法相比，计算要求明显降低，并且始终找到良好的超参数值，因此它可以成为训练神经网络模型的有用工具。
2016-06-17 cs.LG
Improved Regularization and Robustness for Fine-tuning in Neural Networks
Northeastern University（东北大学）
本文分析了微调的泛化性质并提出PAC-Bayes界，据此提出正则化自标记方法，通过逐层正则化、自标记纠正和标签重加权提升鲁棒性，在图像和文本数据集上显著优于基线方法。
2025-08-13 cs.CV cs.LG stat.ML
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain（谷歌大脑）
我们描述了一个框架，推导和分析在线优化算法，包括自适应，数据相关的正则化，也称为预处理。这样的算法已被证明是有用的随机优化，根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献，包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此，我们获得了新的收敛性证明，这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL
Microsoft Research Asia（微软亚洲研究院）；KAIST（韩国科学技术院）
针对RLPrompt产生不自然提示的问题，提出稀疏Tsallis熵正则化过滤低概率词元，在少样本分类、风格迁移和文本反演任务上显著提升提示的自然性和可解释性。
2024-07-20 cs.AI cs.CL cs.LG
AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization
BITS Goa；Manipal University（曼尼帕尔大学）；Meta AI；Amazon AI
针对LoRA微调导致的对齐漂移问题，提出AlignGuard-LoRA框架，结合Fisher信息正则化与黎曼测地线碰撞正则化，在安全基准上减少最多50%的对齐漂移且不损性能，并开源实现。
2025-08-04 cs.AI cs.LG
Noise Consistency Regularization for Improved Subject-Driven Image Synthesis
The Australian National University（澳大利亚国立大学）；Rutgers University（罗格斯大学）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文针对主体驱动扩散模型微调中的欠拟合与过拟合问题，提出先验一致性和主体一致性两种噪声正则化损失，在保持主体身份的同时提升背景多样性与视觉质量。
2025-06-06 cs.AI cs.CV cs.GR
Jacobian-Adaptive Weighting for Stability: Enhancing Long-term Rollout of Neural Partial Differential Equation Solvers via Spatially-Adaptive Regularization
University of Hiroshima（广岛大学）
提出Jacobian-自适应加权稳定性方法，通过空间异方差不确定性建模实现自适应正则化，在平滑区域强制收缩抑制噪声，在奇异特征附近放松约束保留梯度，实现短时记忆高效训练达到长时基线精度。
2026-06-23 cs.AI cs.LG physics.comp-ph
Streaming kernel regression with provably adaptive mean, variance, and regularization
Laval University（拉瓦尔大学）；INRIA（法国国家信息与自动化研究所）；McGill University（麦吉尔大学）
我们考虑流核回归的问题，当观察顺序到达，目标是恢复潜在的平均函数，假设属于RKHS。假设噪声的方差是未知的。在这种情况下，我们解决了在每个时间步长自适应调整正则化参数的问题，同时保持严格的置信区间估计的均值函数在每个点的值。为此，我们首先推广现有的有限维线性回归与固定的正则化和已知的方差的核设置与正则化参数允许是一个可测量的功能，过去的观察结果。然后，使用适当的自归一化不等式，我们建立上，下界估计的方差，导致Bersntein样的浓度范围。后者用于定义自适应正则化。从我们的技术所产生的界限是有效的，在所有的观察点和所有的时间步长一致，并与文献的数值实验进行比较。最后，这些工具的潜力说明了应用内核化的土匪，在那里我们重温内核UCB和内核汤普森采样程序，并显示新的自适应内核调整策略的好处。
2017-08-02 cs.LG stat.ML
Confidence Adaptive Regularization for Deep Learning with Noisy Labels
McMaster University（麦克马斯特大学）
最近关于深度神经网络对噪声标签的记忆效果的研究表明，网络首先拟合正确标记的训练样本，然后再记忆错误标记的样本。受这种早期学习现象的启发，我们提出了一种新的方法来防止记忆错误标记的样本。与现有的方法，使用模型输出来识别或忽略错误标记的样本，我们引入了一个指标分支到原始模型，使模型能够产生每个样本的置信度值。置信度值被纳入我们的损失函数，该函数被学习为将大置信度值分配给正确标记的样本，将小置信度值分配给错误标记的样本。我们还提出了一个辅助正则化项，以进一步提高模型的鲁棒性。为了提高性能，我们逐渐纠正噪声标签与一个精心设计的目标估计策略。我们提供了理论分析，并在合成和真实世界的数据集上进行实验，证明我们的方法取得了与最先进的方法相当的结果。
2021-09-05 cs.CV cs.LG
RIZE: Adaptive Regularization for Imitation Learning
Amirkabir University of Technology（阿米尔卡比尔理工大学）
RIZE提出了一种基于最大熵IRL框架的自适应正则化方法，通过动态目标正则化和分布式强化学习提升模仿学习的鲁棒性和性能。
2025-11-19 cs.AI cs.LG cs.RO
Adaptive Regularization of Labels
Tsinghua University（清华大学）；Chinese University of Hong Kong（香港中文大学）；PengCheng Laboratory（鹏城实验室）
最近，多种正则化技术在深度神经网络中得到了广泛应用，如dropout、批量归一化、数据增强等，这些方法主要关注权值参数的正则化，以有效防止过拟合。此外，标签正则化技术，如标签平滑和标签扰动也被提出的动机，增加一个随机扰动的标签。本文提出了一种新的自适应标签正则化方法，该方法使神经网络能够从错误的经验中学习，并在线更新最佳标签表示。另一方面，与使用教师网络学习类别相关性的知识蒸馏相比，我们提出的方法只需要很小的参数增加，而不需要繁琐的教师网络。此外，我们在CIFAR-10/CIFAR-100/ImageNet数据集上评估了我们的方法，用于图像识别任务，在AGNews/Yahoo/Yelp-Full数据集上评估了我们的方法。实证结果表明，在所有的实验设置显着改善。
2019-08-15 cs.LG stat.ML
Dropout Training as Adaptive Regularization
Stanford University（斯坦福大学）
Dropout和其他特征噪声方案通过人为破坏训练数据来控制过拟合。对于广义线性模型，dropout执行一种形式的自适应正则化。使用这种观点，我们表明，辍学正则化是一阶等效的L2正则化应用后，通过估计的逆对角费舍尔信息矩阵的功能。我们还与在线学习算法AdaGrad建立了联系，并发现AdaGrad的近亲通过反复解决线性丢弃正则化问题来操作。通过将dropout转换为正则化，我们开发了一种自然的半监督算法，该算法使用未标记的数据来创建更好的自适应正则化器。我们将这个想法应用于文档分类任务，并表明它始终提高了dropout训练的性能，改善了IMDB评论数据集上的最新结果。
2013-11-01 cs.LG stat.ME stat.ML
Fine-tuning of diffusion models via stochastic control: entropy regularization and beyond
Department of Industrial Engineering and Operations Research, Columbia University（工业工程与运筹学系，哥伦比亚大学）
本文通过随机控制方法严格处理扩散模型的熵正则化微调问题，并扩展到一般f-散度正则化，在Stable Diffusion v1.5上验证了方法有效性。
2025-09-23 cs.LG math.OC
Finding the Near Optimal Policy via Adaptive Reduced Regularization in MDPs
Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
正则化的MDP充当原始MDP的平滑版本。然而，有偏的最优策略总是存在正则化的MDP。我们提出了一种自适应的λ约简方案来逼近原MDP的最优策略，而不是使正则项的系数λ足够小.结果表明，与设定足够小的λ相比，得到ε-最优策略的迭代复杂度可以降低.此外，该约简方法与直接求解原始MDP之间存在着很强的对偶关系，由此可以推导出对某些算法更具自适应性的约简方法。
2020-10-31 cs.LG stat.ML
Continual Learning with Node-Importance based Adaptive Group Sparse Regularization
Sungkyunkwan University（成均馆大学）
我们提出了一种新的正则化为基础的持续学习方法，称为自适应组稀疏性为基础的持续学习（AGS-CL），使用两个组稀疏性为基础的惩罚。我们的方法选择性地采用两个惩罚时，学习每个节点的重要性，这是自适应更新后，学习每个新的任务。通过利用用于学习的近似梯度下降方法，保证了模型的精确稀疏性和冻结性，并且因此，学习器可以随着学习的继续而显式地控制模型容量。此外，作为一个关键的细节，我们重新初始化的权重与不重要的节点后，学习每个任务，以防止负迁移，导致灾难性遗忘，并促进新任务的有效学习。在整个广泛的实验结果中，我们表明，我们的AGS-CL使用更少的额外内存空间来存储正则化参数，并且在监督和强化学习任务的代表性持续学习基准上，它的性能显着优于几个最先进的基线。
2021-05-29 cs.LG stat.ML
Adaptive Activation Network and Functional Regularization for Efficient and Flexible Deep Multi-Task Learning
Stony Brook University（石溪大学）；Tencent AI Lab（腾讯人工智能实验室）
多任务学习是一种通过同时训练相关任务来提高任务学习泛化性能的学习范式。然而，寻找一种灵活、准确的、能够在多个任务之间共享的体系结构仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的深度学习模型，称为任务自适应激活网络（TAAN），可以自动学习MTL的最佳网络架构。TAAN的主要原理是在网络其他参数完全共享的情况下，从数据中导出针对不同任务的灵活激活函数。我们进一步提出了两个功能的正则化方法，提高MTL性能的TAAN。综合实验证明了TAAN和正则化方法的性能改善。
2019-11-19 cs.LG stat.ML
AdaCubic: An Adaptive Cubic Regularization Optimizer for Deep Learning
AdaCubic通过自适应调整立方项权重，改进了牛顿法中的立方正则化，实验显示其在计算机视觉、自然语言处理和信号处理任务中优于或竞争于主流优化器，且无需超参数调优。
2026-04-10 cs.LG
Heteroskedastic and Imbalanced Deep Learning with Adaptive Regularization
Stanford University（斯坦福大学）；Harvard University（哈佛大学）；Toyota Research Institute（丰田研究所）
真实世界的大规模数据集是异方差和不平衡的-标签具有不同程度的不确定性，标签分布是长尾的。异方差性和不平衡性对深度学习算法提出了挑战，因为很难区分错误标记、模糊和罕见的示例。同时解决异方差和不平衡问题的探索不足。我们提出了一种异方差数据集的数据依赖正则化技术，该技术对输入空间的不同区域进行不同的正则化。受一维非参数分类设置中最佳正则化强度的理论推导的启发，我们的方法自适应地正则化更高不确定性，更低密度区域中的数据点。我们在几个基准任务上测试了我们的方法，包括真实世界的异方差和不平衡数据集WebVision。我们的实验证实了我们的理论，并证明了在噪声鲁棒性深度学习中比其他方法有显着的改进。
2021-03-18 cs.LG stat.ML
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong（香港大学）
三次正则化方法（CR）及其自适应方法（ARC）是求解无约束非凸优化问题的常用牛顿型方法，由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法（ARCm），以提高收敛性能。在适当选择动量步长的情况下，证明了ARCm的整体收敛，并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明，所提出的ARCm显着优于最先进的三次正则化方法（例如，CR、基于动量的CR、ARC）和置信域方法。特别地，ARCm所需的迭代次数比实验中最具竞争力的方法（ARC）所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
The Advantage of Conditional Meta-Learning for Biased Regularization and Fine-Tuning
Istituto Italiano di Tecnologia（意大利技术研究院）
有偏正则化和微调是最近的两种元学习方法。它们已被证明是有效的，以解决任务的分布，其中任务的目标向量都接近一个共同的元参数向量。然而，这些方法在任务的异构环境中可能表现不佳，其中任务分布的复杂性不能由单个元参数向量捕获。我们通过条件元学习来解决这个限制，推断条件函数将任务的边信息映射到适合手头任务的元参数向量。我们的环境下，有条件的方法带来了很大的优势，比标准的元学习的特性，我们突出的例子，如那些具有多个集群，满足这些属性的环境。然后，我们提出了一个凸元算法提供了一个比较的优势，也在实践中。数值实验证实了我们的理论发现。
2020-08-25 cs.LG stat.ML
Adaptive regularization for Lasso models in the context of non-stationary data streams
Gatsby Computational Neuroscience Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）；WMG, University of Warwick（华威大学制造工程学院）
大规模的流数据集在现代机器学习中无处不在。流算法必须是可扩展的，服从增量训练和鲁棒性的非平稳性的存在。在这项工作中，考虑学习$\ell_1$正则化线性模型的流数据的上下文中的问题。特别是，这项工作的重点围绕如何选择正则化参数时，数据顺序到达和底层分布是非平稳的（这意味着最佳正则化参数的选择本身是随时间变化的）。我们提出了一个框架，通过它来推断自适应正则化参数。我们的方法采用了$\ell_1$惩罚约束，相应的稀疏参数通过随机梯度下降迭代更新。这有助于在在线学习的原则框架中重新制定正则化参数的选择。所提出的方法推导出线性回归，随后扩展到广义线性模型。我们验证我们的方法使用模拟和真实的数据集，并提出了一个应用程序的神经成像数据集。
2017-12-14 cs.LG stat.ML
Epsilon Consistent Mixup: Structural Regularization with an Adaptive Consistency-Interpolation Tradeoff
Pennsylvania State University（宾夕法尼亚州立大学）；Sant’Anna School of Advanced Studies（圣安娜高等研究院）
在本文中，我们提出了$ε$ -一致性混淆（$ε$ μ）。$ε$ mu是一种基于数据的结构正则化技术，它通过在两者之间进行简单的自适应权衡，将Mixup的线性插值与Mixup方向的一致性正则化相结合。这种一致性和插值的可学习组合在整个特征空间的响应演化上引入了更灵活的结构，并被证明可以提高SVHN和CIFAR 10基准数据集上的半监督分类准确性，在最具挑战性的低标签可用性场景中获得最大收益。比较$ε$ mu和Mixup的实证研究，并提供深入了解$ε$ mu的有效性背后的机制。特别是，发现$ε$ mu比Mixup产生更准确的合成标记和更有信心的预测。
2021-09-30 cs.LG stat.AP stat.ME
Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection
HuaQiao University（华侨大学）；Fuzhou University（福州大学）
特征选择是数据采掘和机器学习中一个重要的数据预处理过程，它可以在不降低模型性能的前提下降低特征维数。由于获取带注释的数据在许多情况下是费力的，甚至是不可行的，无监督的特征选择在现实中更实用。虽然已经提出了许多无监督的特征选择方法，但这些方法都是独立地选择特征，因此不能保证选择的特征组是最优的。此外，必须仔细调整所选特征的数量以获得满意的结果。为了解决这些问题，本文提出了一种联合自适应图和结构稀疏正则化无监督特征选择（JASFS）方法.该方法在流形学习中引入一个关于变换矩阵的$l_{2,0}$范数正则化项用于特征选择，在学习模型中引入一个图正则化项用于自适应地学习数据的局部几何结构.通过对该优化问题的计算复杂性分析，设计了一种简单有效的迭代算法。优化完成后，将分组选择最优特征子集，并自动确定所选特征的数量。八个基准测试的实验结果表明，该方法的有效性和效率相比，一些国家的最先进的方法。
2022-04-07 cs.LG
Adaptive Block Sparse Regularization under Arbitrary Linear Transform
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能统合研究中心）
提出一种适用于任意线性变换下未知块结构的凸快速信号重建方法，推导了迭代算法及收敛条件，并通过数值实验验证了其有效性。
2024-02-13 cs.LG eess.SP
Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology, Madras, India（电子工程系，印度理工学院，马德拉斯，印度）
本文提出一种无需调参的多测量向量联合稀疏恢复方法，利用隐式正则化实现高效稀疏信号恢复。
2026-01-30 cs.LG stat.ML
Learning Neural Networks with Adaptive Regularization
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Montreal（蒙特利尔微软研究院）
前馈神经网络可以理解为中间表示和线性假设的组合。虽然大多数以前的作品旨在多样化的表示，我们探索的互补方向，通过执行自适应和数据依赖的正则化的经验贝叶斯方法的动机。具体来说，我们建议构造一个矩阵变量正态先验（关于权重），其协方差矩阵具有克罗内克积结构。这种结构被设计成通过反向传播来捕获神经元中的相关性。在这种克罗内克分解的假设下，先验知识鼓励神经元相互借用统计强度。因此，当在小数据集上训练网络时，它会导致自适应和数据依赖的正则化。为了优化模型，我们提出了一个有效的块坐标下降算法的解析解。经验上，我们证明了所提出的方法有助于网络收敛到局部最优，具有较小的稳定秩和谱范数。这些属性建议更好的概括，我们提出的实证结果来支持这一预期。我们还验证了该方法的有效性，多类分类和多任务回归问题与各种网络结构。
2019-10-23 cs.LG stat.ML
Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对离线强化学习面临的挑战，提出不确定性估计下的保守查询与自适应正则化框架，通过莫尔斯网络估计不确定性，采用保守查询策略与自适应正则化方案，与CQL集成并在D4RL基准测试，取得优异或有竞争力的性能。
2026-07-22 cs.LG
Adaptive Step Sizes in Variance Reduction via Regularization
University of Minnesota - Twin Cities（明尼苏达大学双城分校）
本文的主要目标是用Barzilai-Borwein（BB）步长来配置凸和非凸问题。由于BB步长的自适应性，当目标函数不是强凸时，它们可能会失败。为了克服这个挑战，这里的关键思想是通过正则化来桥接（非）凸问题和强凸问题。所提出的正则化方案是\textit{simple}，但有效的。将BB步长与方差缩减方法（称为SARAH）相结合，与凸问题中的香草SARAH相比，提供了免费的午餐。BB步长在非凸问题中的收敛性也得到了证明，其复杂性并不比AdaGrad等自适应步长差。作为一个副产品，我们的正则化SARAH方法凸函数确保的复杂性，找到$\mathbb{E}[\| \nabla f(\mathbf{x}) \|^2]\leq ε$是${\cal O}\big( (n+\frac{1}{\sqrtε})\ln{\frac{1}ε}\big)$，改善$ε$依赖于现有的结果。数值试验进一步验证了所提出的方法的优点。
2019-10-15 cs.LG stat.ML
A Comparative Study on Regularization Strategies for Embedding-based Neural Networks
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文旨在比较不同的正则化策略，以解决一个常见的现象，严重过拟合，在基于嵌入的神经网络的自然语言处理。我们选择了两个被广泛研究的神经模型和任务作为我们的测试平台。我们尝试了几种常用的或新提出的正则化策略，包括惩罚权重（嵌入除外），惩罚嵌入，重新嵌入单词和dropout。我们还强调了增量超参数调整，并结合不同的正则化。研究结果为神经NLP模型的超参数调整提供了一种思路。
2015-08-15 cs.CL cs.LG
Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization
University of Florida（佛罗里达大学）；Korea Institute of Industrial Technology (KITECH)（韩国产业技术研究院）
我们专注于最小化机器学习问题中通常出现的非凸有限和函数。为了解决这个问题，自适应三次正则化牛顿法已经显示出其强大的整体收敛保证和逃离严格鞍点的能力。该方法使用类似置信域的方案来确定迭代是否成功，并且仅在迭代成功时更新。在本文中，我们提出了一种算法相结合的负曲率与自适应立方正则牛顿方法更新，即使在不成功的迭代。我们称这种新方法为负曲率随机自适应三次正则化（SANC）。与以前的方法不同，为了获得随机梯度和Hessian估计量，SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法在解决大规模机器学习问题时更加实用。据我们所知，这是第一个方法，结合负曲率方法与自适应三次正则化牛顿法。最后，我们提供了实验结果，包括神经网络的问题，支持我们的方法的效率。
2019-06-27 cs.LG math.OC
Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning
Indian Institute of Technology Jodhpur（印度理工学院乔浦尔）
本文提出一种自适应正则化框架，通过评估安全风险来维持模型在微调过程中的安全性，实验表明该方法能有效降低攻击成功率并保持下游性能。
2026-05-11 cs.CL cs.LG
Discounted Adaptive Online Learning: Towards Better Regularization
Harvard University（哈佛大学）
该研究针对对抗性非平稳环境在线学习的历史遗忘难题，提出基于FTRL的自适应折扣遗憾算法，改进恒定学习率梯度下降基线，还将其用于在线共形预测，简化分析并得到实例依赖性能保证。
2024-06-18 cs.LG stat.ML
Adaptive Tabu Dropout for Regularization of Deep Neural Network
United International University（联合国际大学）；Brac University（BRAC大学）
本文提出自适应禁忌丢弃机制，通过禁忌任期和基于训练表现自动选择任期来增强深度神经网络正则化的多样性，实验证明其优于标准丢弃和基本禁忌丢弃。
2024-12-31 cs.LG
