Iterative regularization in classification via hinge loss diagonal descent
Università di Genova（热那亚大学）；Athena RC（雅典娜研究中心）；MIT（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
该研究聚焦分类场景下的迭代正则化问题，提出基于hinge loss的对角下降迭代正则化方法，证明其收敛性、速率与稳定性，实验验证其性能优于其他同类方法。
2024-10-09 cs.LG math.OC stat.ML
Beyond Tikhonov: Faster Learning with Self-Concordant Losses via Iterative Regularization
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔理工学院）
谱滤波理论是理解核学习的统计特性的一个重要工具。对于最小二乘，它允许导出各种正则化方案，这些方案产生比Tikhonov正则化更快的超额风险收敛速度。这通常是通过利用称为源和容量条件的经典假设来实现的，这些假设表征了学习任务的难度。为了理解从其他损失函数导出的估计量，Marteau-Ferey等人已经将Tikhonov正则化理论扩展到广义自协调损失函数（GSC），其包含，例如，后勤损失。在本文中，我们更进一步，并表明，快速和最佳的速度可以实现GSC使用迭代Tikhonov正则化方案，这是内在相关的最优化的邻近点方法，并克服了经典的Tikhonov正则化的局限性。
2021-11-10 cs.LG stat.ML
Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization
University of Granada（格拉纳达大学）
针对神经网络训练数据中的隐私泄露问题，本文提出一种新颖的损失函数正则化策略，无需修改标准SGD算法即可更高效地实现与DP-SGD相同的隐私保护目标。
2024-09-25 cs.AI cs.CR cs.LG
An Exploration into why Output Regularization Mitigates Label Noise
Edgify
标签噪声对监督学习算法提出了真正的挑战。因此，近年来，减轻标签噪声吸引了大量的研究。噪声鲁棒损失是用于处理标签噪声的更有前途的方法之一，因为这些方法仅需要改变损失函数并且不需要改变分类器本身的设计，这在开发时间方面可能是昂贵的。在这项工作中，我们专注于使用输出正则化（如标签平滑和熵）的损失。虽然这些损失在实践中表现良好，但它们减轻标签噪声的能力缺乏数学严谨性。在这项工作中，我们的目标是关闭这个差距，显示损失，其中包括输出正则化项，成为对称的正则化系数趋于无穷大。我们认为，正则化系数可以被看作是一个超参数控制的非线性，因此，噪声鲁棒性的损失函数。
2021-04-26 cs.LG
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
对抗性训练被广泛用于提高深度神经网络对对抗攻击的鲁棒性。然而，对抗性训练很容易出现过拟合，原因还远不清楚。这项工作通过分析损失景观w.r.t.揭示了过度拟合的机制。输入.我们发现，鲁棒的过拟合来自标准训练，特别是最小化干净的损失，并且可以通过损失梯度的正则化来减轻。此外，我们发现，鲁棒过拟合在对抗训练过程中变得更加复杂，部分原因是由于损失景观曲率的增加，对抗训练的梯度正则化效果变得更弱。为了提高鲁棒泛化能力，我们提出了一种新的正则化器，通过惩罚沿对抗方向的加权logits变化来平滑损失景观。我们的方法显着减轻鲁棒过拟合，并实现了最高的鲁棒性和效率相比，类似的以前的方法。代码可在https://github.com/TreeLLi/Combating-RO-AdvLC上获得。
2022-12-09 cs.LG
How does Lipschitz Regularization Influence GAN Training?
Cardiff University（卡迪夫大学）；KAUST（阿卜杜拉国王科技大学）；UCL（伦敦大学学院）；Adobe Research（Adobe研究院）
尽管Lipschitz正则化在稳定GAN训练方面取得了成功，但其有效性的确切原因仍然知之甚少。$K$ -Lipschitz正则化的直接效果是将神经网络梯度的$L2$范数限制为小于阈值$K$（例如，$K=1$），使得$\|\nabla f\| \leq K$。在这项工作中，我们通过检查Lipschitz正则化对损失函数的影响，揭示了Lipschitz正则化的一个更重要的效果：它通过限制可达到的梯度值的域和区间，将GAN损失函数退化为几乎线性的损失函数。我们的分析表明，损失函数只有当它们退化到几乎线性的时候才是成功的。我们还表明，损失函数表现不佳，如果他们没有退化，广泛的功能，可以用作损失函数，只要他们足够退化的正则化。基本上，Lipschitz正则化确保所有损失函数以相同的方式有效地工作。从经验上讲，我们验证了我们的主张MNIST，CIFAR 10和CelebA数据集。
2020-08-25 cs.CV cs.LG
Moment- and Power-Spectrum-Based Gaussianity Regularization for Text-to-Image Models
KAIST（韩国科学技术院）
本文提出一种结合空间域矩与谱域功率谱的高斯性正则化损失，统一了现有方法，并在文本到图像模型的测试时奖励对齐中有效防止奖励黑客、加速收敛。
2025-09-18 cs.AI cs.CV cs.LG
Regularization via Mass Transportation
EPFL（洛桑联邦理工学院）；TU Delft（代尔夫特理工大学）
监督学习中的回归和分类方法的目标是最小化经验风险，即在经验分布下量化预测误差的某些损失函数的期望。当面对稀缺的训练数据时，通常通过向目标添加正则化项来减轻过度拟合，从而惩罚假设复杂性。在本文中，我们介绍了新的正则化技术的思想，从分布鲁棒优化，我们给新的概率解释现有的技术。具体来说，我们建议最小化最坏情况下的预期损失，其中最坏的情况是采取了球的所有（连续或离散）分布，有一个有界的运输距离（离散）的经验分布。通过明智地选择这个球的半径，我们可以保证最坏情况下的预期损失提供了测试数据损失的置信上限，从而提供了新的泛化界限。我们证明了由此产生的正则化学习问题是易处理的，可以对许多流行的损失函数进行可处理的核化。我们通过模拟和实证实验验证了我们的理论样本外保证。
2019-07-12 cs.LG math.OC stat.ML
Increasing Fairness in Predictions Using Bias Parity Score Based Loss Function Regularization
越来越多地使用基于机器学习的决策支持系统强调了对所有利益相关者的准确和公平的预测的需要。在这项工作中，我们提出了一种新的方法来增加神经网络模型的公平性在训练过程中。我们引入了一系列增强公平性的正则化组件，我们将其与传统的基于二进制交叉熵的准确性损失结合使用。这些损失函数基于偏差奇偶性分数（BPS），该分数有助于用单个数字量化模型中的偏差。在目前的工作中，我们调查的行为和影响，这些正则化组件的偏见。我们将它们部署在累犯预测任务以及基于人口普查的成人收入数据集的背景下。结果表明，通过合理选择公平性损失函数，即使在不平衡数据集上，也可以在不降低精度的情况下降低训练模型的偏差。
2021-11-05 cs.AI cs.LG
Combating the Instability of Mutual Information-based Losses via Regularization
Sogang University（西江大学）；NAVER LABS（NAVER实验室）
基于神经网络驱动的互信息（MI）界的机器学习的许多领域已经取得了显著的进展。然而，利用传统的基于MI的损耗通常是具有挑战性的，因为它们的实际和数学限制。在这项工作中，我们首先确定其不稳定性背后的症状：（1）即使在损失似乎收敛之后，神经网络也不收敛，以及（2）饱和的神经网络输出导致损失发散。我们通过在现有损失中添加一个新的正则化项来缓解这两个问题。我们从理论上和实验上证明了增加正则化可以稳定训练。最后，我们提出了一个新的基准，评估MI的损失的MI估计能力和它的能力，下游任务，密切关注预先存在的监督和对比学习设置。我们评估了六种不同的基于MI的损失及其在多个基准上的正则化对应物，以表明我们的方法简单而有效。
2022-06-18 cs.IT cs.LG math.IT
Improved Physics-informed neural networks loss function regularization with a variance-based term
Inria, Research Center Saclay Ile-de-France, France（法国萨克雷研究所）
针对物理信息神经网络中局部误差大的问题，提出结合均值与标准差的损失函数，均匀化误差分布，在多个方程测试中提升解质量并降低最大误差。
2025-09-09 cs.LG math.OC
Balanced Energy Regularization Loss for Out-of-distribution Detection
Seoul National University（首尔国立大学）；RideFlux Inc.（RideFlux公司）
针对辅助OOD数据类别不平衡问题，提出平衡能量正则化损失，按类别先验概率加权正则化，提升语义分割、长尾及一般图像分类的OOD检测性能，并达到两项SOTA。
2023-06-18 cs.AI cs.CV cs.LG
Adversarially Robust Learning via Entropic Regularization
New York University（纽约大学）
在本文中，我们提出了一个新的算法族，ATENT，用于训练对抗鲁棒的深度神经网络。我们制定了一个新的损失函数，配备了额外的熵正则化。我们的损失函数考虑了对抗样本的贡献，这些样本是从数据空间中专门设计的分布中提取的，该分布将高概率分配给具有高损失的点和训练样本的近邻。我们提出的算法优化了这种损失，以寻求损失景观的对抗性强的山谷。与MNIST和CIFAR-10等基准数据集上的几种最先进的鲁棒学习方法相比，我们的方法在鲁棒分类精度方面具有竞争力（或更好）的性能。
2021-02-19 cs.CV cs.LG stat.ML
Efficient Structured Surrogate Loss and Regularization in Structured Prediction
Toyota Technological Institute of Technology（丰田工业大学）
本文主要研究结构化预测中的几个重要问题。在结构化预测中，标签具有丰富的内在子结构，并且损失相对于预测标签和真实标签对而变化。结构化SVM是二进制SVM的扩展，以适应这种结构化的任务。本文第一部分研究了代理损失及其有效的解决方法。为了使经验风险最小化，使用了一个替代损失作为最小化实际损失的代理，该替代损失是损失的上限。由于目标函数是根据代理损失来编写的，因此代理损失的选择很重要，并且性能取决于它。关于代理损失的另一个问题是argmax标签推理对代理损失的效率。高效的推理对于优化是必要的，因为它通常是最耗时的步骤。本文提出了一类新的代理损失，称为双准则代理损失，它是对现有代理损失的推广。首先，我们研究了一个有效的方法，松弛重新缩放配方作为一个起点，利用分解的模型。然后，我们将该算法扩展到双标准代理损失，这是非常有效的，也显示出性能的改善。本文的第二部分研究了正则化的另一个重要问题。具体来说，我们调查的问题时，结构不平衡存在于标签结构的层次分类的正则化。我们提出了一种方法来规范化的结构，以及一个新的范数，即共享Frobenius范数。它适用于除了标签结构之外还适应数据的分层分类。
2018-09-14 cs.LG stat.ML
Time Matters in Regularizing Deep Networks: Weight Decay and Data Augmentation Affect Early Learning Dynamics, Matter Little Near Convergence
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
正则化通常被理解为通过改变模型最终收敛到的局部极值来改善泛化。然而，深度神经网络（DNN）挑战了这一观点：我们表明，在初始过渡期之后删除正则化对泛化的影响很小，即使最终的损失情况与没有正则化的情况相同。在某些情况下，在中断正则化之后，泛化甚至有所改善。相反，如果仅在初始瞬态之后应用正则化，则它对最终解没有影响，其泛化差距就像正则化从未发生过一样糟糕。这表明，训练深度网络的重要性不仅仅在于是否或如何正则化，而是何时正则化。我们观察到的现象表现在不同的数据集（CIFAR-10，CIFAR-100），不同的架构（ResNet-18，All-CNN），不同的正则化方法（权重衰减，数据增强），不同的学习率调度（指数，分段常数）。他们共同认为，有一个“关键时期”来正则化深度网络，这对最终的表现是决定性的。因此，更多的分析应该集中在学习的瞬态而不是渐近行为上。
2019-05-30 cs.AI cs.LG stat.ML
On the Joint Minimization of Regularization Loss Functions in Deep Variational Bayesian Methods for Attribute-Controlled Symbolic Music Generation
针对属性控制符号音乐生成中变分贝叶斯方法难以联合最小化正则化损失的问题，本文探索KLD与AR损失的权衡，发现合适的属性变换可同时实现潜维度的可控性与正则化，提升生成模型性能。
2025-11-10 cs.AI cs.LG eess.AS
Elliptic Loss Regularization
Morgan Stanley（摩根士丹利）；Duke University（杜克大学）
提出一种基于椭圆算子的神经网络正则化技术，通过修改经验风险最小化目标使损失在数据域上满足椭圆算子，从而增强输入到损失映射的平滑性，有效应对分布偏移和组不平衡问题。
2025-03-04 cs.AI cs.LG stat.ML
Beyond Self-Consistency: Loss-Balanced Perturbation-Based Regularization Improves Industrial-Scale Ads Ranking
Meta
本文提出损失平衡小扰动正则化（LSPR），在工业级广告排序中首次成功应用扰动正则化，实验表明其优于自一致性方法，并在十亿级系统中验证了可扩展性。
2025-02-05 cs.AI cs.IR cs.LG
KiPA22 Report: U-Net with Contour Regularization for Renal Structures Segmentation
Shanghai Jiao Tong University（上海交通大学）
三维（3D）完整肾脏结构（IRS）分割在临床实践中非常重要。随着深度学习技术的进步，提出了许多专注于医学图像分割的强大框架。在这个挑战中，我们使用了nnU-Net框架，这是最先进的医学图像分割方法。为了减少肿瘤标记的离群值预测，我们将肿瘤标记的轮廓正则化（CR）损失与Dice损失和交叉熵损失相结合以改善这种现象。
2022-09-06 cs.CV cs.LG eess.IV
Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint
DeepMind（深度思维）
神经网络在许多认知任务中取得了显著的成功。然而，当他们在不访问旧数据的情况下按顺序接受多个任务的训练时，他们在早期任务上的表现往往会显着下降。这个问题通常被称为灾难性遗忘，这是神经网络的持续学习中的一个关键挑战。基于正则化的方法是减轻灾难性遗忘的主要方法之一。在本文中，我们提供了一个新的观点，正则化为基础的持续学习，制定它作为一个二阶泰勒近似的损失函数的每个任务。这种观点导致了一个统一的框架，可以实例化，以获得许多现有的算法，如弹性权重合并和克罗内克因子拉普拉斯近似。基于这一观点，我们研究了优化方面（即，收敛）以及泛化特性（即，有限样本保证）的基于规则化的持续学习。我们的理论结果表明的重要性，准确逼近的海森矩阵。几个基准的实验结果提供了我们的理论研究结果的实证验证。
2021-02-08 cs.LG stat.ML
Learning Games and Rademacher Observations Losses
NICTA（澳大利亚国家信息与通信技术研究院）；the Australian National University（澳大利亚国立大学）
最近已经表明，具有流行的逻辑损失的监督学习等价于优化关于类的充分统计的指数损失：Rademacher观测（rados）。我们首先证明，这种意想不到的等价实际上可以推广到其他示例/ rado损失，等价的必要和充分条件，以四种在各个领域中具有流行名称的损失为例：指数（提升），均值方差（金融），线性铰链（在线学习），ReLU（深度学习）和无铰链（统计）。其次，我们发现，推广揭示了一个令人惊讶的新的连接到正则化学习，特别是一个充分条件下，正则化损失的例子相当于正则化的rados（与闵可夫斯基和）在等效的rado损失。这为稀疏控制正则化带来了简单而强大的基于rado的学习算法，我们为正则化指数rado-loss提供了一个boosting算法，它正式提升了四种类型的正则化，包括流行的ridge和lasso，以及最近创造的slope --我们获得了最后一种正则化的第一个证明的boosting算法。通过我们对rado和基于示例的损失的等价性的第一个贡献，Omega-R.AdaBoost~似乎是一个有效的代理，可以使用四个正则化器中的任何一个来提高正则化逻辑损失。实验表明，正则化一致地提高了基于rado的学习的性能，并且即使在小的rado集合上学习时，也可能挑战或击败基于示例的学习的现有技术。最后，我们将正则化与差分隐私联系起来，并展示了如何在大域上提供微小的预算，同时击败（受保护的）基于示例的学习…
2016-02-13 cs.LG
Effective Regularization Through Loss-Function Metalearning
Cognizant AI Lab（Cognizant AI实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文从理论上解释 TaylorGLO 元学习损失函数为何能正则化神经网络，并提出可用于设计更有效、更鲁棒损失函数的约束原则。
2025-06-11 cs.LG cs.NE stat.ML
LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
伪相关反馈（PRF）是一种有效的查询重组技术，以提高检索的准确性。它的目的是减轻查询和其潜在的相关文档之间的语言表达式的不匹配。现有的PRF方法独立地处理源自同一查询但使用不同数量的反馈文档的修订查询，导致严重的查询漂移。在不比较来自同一查询的两个不同修订的效果的情况下，PRF模型可能不正确地集中在更多反馈中增加的附加不相关信息上，并且因此重新制定比使用较少反馈的修订更不有效的查询。理想情况下，如果一个PRF模型可以区分反馈中的无关信息和相关信息，那么反馈文档越多，修改后的查询就越好。为了弥补这一差距，我们提出了损失的损失（LOL）框架来比较训练过程中同一查询的不同版本之间的重构损失。具体地说，我们修改了一个原始查询多次并行使用不同数量的反馈和计算其重构损失。然后，我们在这些重构损失上引入额外的正则化损失，以惩罚使用更多反馈但获得更大损失的修订。通过这种比较正则化，期望PRF模型通过比较不同修订查询的效果来学习抑制额外增加的无关信息。此外，我们提出了一个微分查询重构方法来实现这个框架。该方法在向量空间中对查询进行修正，直接优化查询向量的检索性能，适用于稀疏和稠密检索模型。实验结果表明，该方法对两种典型的稀疏和稠密检索检索模型的有效性和鲁棒性。
2022-04-25 cs.CL cs.IR cs.LG
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind（深度思维）；Google（谷歌）
对于无穷小的学习率，随机梯度下降（SGD）遵循完整批量损失函数上的梯度流路径。然而，适度大的学习率可以实现更高的测试精度，并且这种泛化益处不能用收敛界限来解释，因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象，我们证明了随机洗牌的SGD，平均SGD也保持接近梯度流的路径，如果学习率是小的和有限的，但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成，该正则化子惩罚小批量梯度的范数。在温和的假设下，当批量较小时，隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证，明确包括隐式正则化的损失可以提高测试的准确性时，学习率是小的。
2021-01-28 cs.LG stat.ML
HingeRLC-GAN: Combating Mode Collapse with Hinge Loss and RLC Regularization
United International University（联合国际大学）；BRAC University（BRAC大学）
针对GAN模式坍缩问题，提出结合RLC正则化与铰链损失的HingeRLC-GAN架构，在FID 18和KID 0.001下实现更优的多样性与训练稳定性平衡。
2025-03-24 cs.AI cs.LG
Robust Linear Classification from Limited Training Data
McCombs School of Business（麦库姆斯商学院）；University of Texas（德克萨斯大学）
本文研究有限数据下一般损失函数下的线性分类问题。过度拟合是一个常见的问题。防止过拟合的标准方法是降维和正则化。但是降维会丢失信息，而正则化则要求用户选择一个范数、先验或距离度量。我们提出了一个算法称为RoLin，不需要用户的选择，并适用于一大类的损失函数。RoLin将来自顶部主成分的可靠信息与鲁棒优化相结合，以从不可靠的子空间中提取任何有用的信息。它还包括一个新的强大的交叉验证，比现有的交叉验证方法在有限的数据设置。在$25$真实世界数据集和三个标准损失函数上的实验表明，RoLin在降维和正则化方面都有很大的优势。与RoLin相比，重复性降低的$14\%-40\%$平均测试损失更差。与$L_1$和$L_2$正则化相比，RoLin在逻辑损失方面最多可以提高3倍，在平方铰链损失方面最多可以提高12倍。对于小样本量，差异最大，其中RoLin在比任何竞争方法多2倍至3倍的数据集上实现了最佳损失。对于某些数据集，使用$15$训练样本的RoLin优于使用$1500$样本的最佳基于范数的正则化。
2021-11-19 cs.LG
Extension of TSVM to Multi-Class and Hierarchical Text Classification Problems With General Losses
Microsoft（微软）；Microsoft Research India（微软印度研究院）；Indian Institute of Science（印度科学学院）
直推式支持向量机（TSVM）是一种著名的半监督大间隔学习方法，用于二进制文本分类。在本文中，我们将这种方法扩展到多类和层次分类问题。我们指出，具有固定的分类器权重的未标记的例子的标签的确定是一个线性规划问题。我们设计了一种有效的求解方法，该方法适用于一般的损失函数。我们证明了新方法的价值，使用大量的多类和分层分类数据集的利润损失。对于最大损失，我们的经验表明，我们的方法优于期望正则化/约束和后验正则化方法，并与使用标签约束的熵正则化方法的版本竞争。
2012-11-01 cs.LG
Lai Loss: A Novel Loss for Gradient Control
本文提出Lai loss，通过几何方式将梯度正则化融入损失函数，以控制模型平滑度与敏感度，并验证其能兼顾泛化性能、抗噪能力和稳定表现。
2025-05-06 cs.LG
Characterization of the equivalence of robustification and regularization in linear and matrix regression
MIT（麻省理工学院）
近年来，在机器学习中开发对底层数据中的对抗性扰动具有鲁棒性的统计方法的概念一直是人们越来越感兴趣的主题。这项工作的一个共同特征是对抗性鲁棒化通常与正则化方法完全对应，后者表现为损失函数加惩罚。在本文中，我们深化和扩展的鲁棒性和正则化（通过惩罚实现）在回归问题之间的联系的理解。具体而言，（a）在线性回归的背景下，我们精确地描述了在哪些条件下使用的不确定性模型和损失函数惩罚鲁棒化和正则化是等价的，以及（b）我们将鲁棒化和正则化的特征扩展到矩阵回归问题（矩阵完成和主成分分析）。
2017-02-25 cs.LG math.OC math.ST
D2R: dual regularization loss with collaborative adversarial generation for model robustness
Newcastle University（新castle大学）；University of Southampton（南安普顿大学）；Technical University of Ostrava（奥斯特拉大学）
针对协同对抗训练中损失引导不足与对抗样本生成不协同的问题，提出D2R双重正则化损失与CAG协同生成策略，并在多个基准和模型上验证其可显著提升鲁棒性。
2025-06-08 cs.CR cs.CV cs.LG
Intrinsic Benefits of Categorical Distributional Loss: Uncertainty-aware Regularized Exploration in Reinforcement Learning
University of Alberta, Canada（阿尔伯塔大学）；Harbin Engineering University, China（哈尔滨工程大学）；Xi’an Jiaotong University, China（西安交通大学）
本文提出了一种基于类别分布损失的不确定性感知正则化方法，通过增强奖励信号提升强化学习的探索效率。
2025-12-24 cs.LG
Flooding Regularization for Stable Training of Generative Adversarial Networks
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
针对GAN训练不稳定问题，本文提出将监督学习中的泛洪正则化应用于对抗损失，通过限制判别器损失不低于泛洪水平来稳定训练，并实验验证其有效性及可与其他稳定技术结合。
2024-03-18 cs.CV cs.LG
A Consistent Regularization Approach for Structured Prediction
Laboratory for Computational and Statistical Learning - Istituto Italiano di Tecnologia（意大利理工学院计算与统计学习实验室）；Massachusetts Institute of Technology（麻省理工学院）；Università degli Studi di Genova（热那亚大学）
我们提出并分析了结构化预测问题的正则化方法。我们刻画了一个大类的损失函数，允许自然地嵌入结构化输出的线性空间。我们利用这一事实设计学习算法使用代理损失的方法和正则化技术。我们证明了所提出的方法的普遍一致性和有限样本界特征的泛化性能。实验结果证明了所提出的方法的实用性。
2017-07-28 cs.LG stat.ML
A Note on Knowledge Distillation Loss Function for Object Classification
Zhejiang University（浙江大学）
本文介绍了目标分类中的知识蒸馏损失函数，探讨其与logits匹配损失的联系，并将其视为输出正则化的一种形式，揭示了其与标签平滑及基于熵的正则化的关联。
2024-08-27 cs.AI cs.LG
Explicit regularization and implicit bias in deep network classifiers trained with the square loss
已经观察到使用平方损失训练的深度ReLU网络在分类任务中表现良好。在这里，我们提供了一个理论上的理由的基础上分析相关的梯度流。我们表明，收敛到一个绝对最小范数的解决方案时，预计归一化技术，如批量归一化（BN）或重量归一化（WN）与权重衰减（WD）一起使用。的最小化，其预期误差的界限的主要属性是规范：我们证明，在所有接近插值的解决方案，与较小的Frobenius规范的未规范化的权重矩阵有更好的利润率和更好的界限上的预期分类错误。有BN但没有WD，动力系统是奇异的。隐式动态正则化--即零初始条件使动态偏向高裕度解--在无BN和无WD的情况下也是可能的。该理论产生了几个预测，包括BN和权重衰减的作用，Papyan，Han和Donoho的神经崩溃方面以及BN对网络权重的约束。
2020-12-31 cs.LG stat.ML
Loss Function Entropy Regularization for Diverse Decision Boundaries
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息研究院）
有没有可能训练几个分类器来执行有意义的众包，从而在没有地面实况注释的情况下产生更好的预测标签集？本文将修改对比学习目标，以自动训练一个自我补充的集成，以产生一个国家的最先进的预测CIFAR 10和CIFAR 100 -20的任务。本文将提出一种简单的方法来修改单个无监督分类管道，以自动生成具有不同决策边界的神经网络集成，从而学习更广泛的类特征集。损失函数熵正则化（LFER）是要添加到预训练和对比学习损失函数的正则化项。LFER是一个齿轮，用于修改无监督学习输出空间的熵状态，从而使神经网络的决策边界的潜在表示多样化。在决策边界附近的样本中，使用LFER训练的Entrance具有更高的成功预测精度。LFER是一个足够的齿轮扰动决策边界，并产生了分类器，击败国家的最先进的对比学习阶段。实验表明，LFER可以产生一个合奏的准确性与国家的最先进的，但有不同的潜在决策边界。它使我们能够对决策边界附近的样本进行有意义的验证，鼓励对近边界样本进行正确的分类。通过在训练好的神经网络集合中混合单个样本的正确预测的概率，我们的方法可以通过去噪和确认正确的特征映射来改进单个分类器。
2022-05-23 cs.LG
Outlier-robust neural network training: variation regularization meets trimmed loss to prevent functional breakdown
Institute of Statistical Mathematics（统计数学研究所）；The Graduate University for Advanced Studies, SOKENDAI（高等研究大学、SOKENDAI）；RIKEN（理化学研究所）；Joint Support-Center for Data Science Research（数据科学联合支持中心）
本文提出结合变换截尾损失TTL与高阶变分正则化HOVR的神经网络训练框架，通过控制模型容量防止拟合离群点导致功能崩溃，并给出高崩溃点与随机优化算法收敛性保证。
2025-05-13 cs.AI cs.LG stat.CO
Effects of width-dependent model hyperparameters and $\ell_2$-regularization on the loss landscape of two-layer ReLU networks
Okinawa Institute of Science and Technology（冲绳科学技术研究院）
研究两层ReLU网络中宽度依赖模型超参数和$\ell_2$正则化对损失景观的影响，推导超参数条件及解析解，通过实验发现AdamW可防参数坍缩，揭示了相关因素对损失景观几何结构的影响。
2026-07-21 cs.LG
HERA: Partial Label Learning by Combining Heterogeneous Loss with Sparse and Low-Rank Regularization
Beijing Jiaotong University（北京交通大学）；Hangzhou Dianzi University（杭州电子科技大学）
部分标签学习（PLL）旨在从数据中学习，其中每个训练实例与一组候选标签相关联，其中只有一个是正确的。大多数现有的方法通过平等对待每个候选标签或迭代地识别地面真实标签来处理这样的问题。在本文中，我们提出了一种新的PLL方法，称为HERA，它同时结合了Heterogeneous Loss和SpaRse和Low-rAnk过程来估计每个实例的标签置信度，同时训练模型。具体地说，异构损失综合了成对排序损失和逐点重构损失的优点，为标签识别提供了有用的标签排序和重构信息，而嵌入式稀疏低秩方案限制了地面真实标签矩阵的稀疏性和噪声标签矩阵的低秩，以探索整个训练数据之间的全局标签相关性，从而改进了学习模型。在人工和真实世界数据集上的大量实验表明，我们的方法可以实现优于或与最先进的方法相当的性能。
2019-06-03 cs.LG stat.ML
Optimal transport meets noisy label robust loss and MixUp regularization for domain adaptation
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
在计算机视觉中，经常会遇到图像的区域偏移问题：图像类别相同，但采集条件不同。在领域自适应（DA）中，人们希望利用源标记图像对未标记的目标图像进行分类。不幸的是，在源训练集上训练的深度神经网络在不属于训练域的目标图像上表现不佳。提高这些性能的一种策略是使用最优传输（OT）在嵌入式空间中对齐源和目标图像分布。然而，OT可引起负转移，即将样品与不同的标记比对，这导致过拟合，尤其是在结构域之间存在标签偏移的情况下。在这项工作中，我们通过将其解释为对目标图像的噪声标签分配来减轻负对齐。然后，我们通过适当的正则化来减轻其影响。我们建议将MixUp正则化\citep{zhang2018mixup}与对噪声标签具有鲁棒性的损失相结合，以提高领域自适应性能。我们在一项广泛的消融研究中表明，这两种技术的结合是实现性能改善的关键。最后，我们评估我们的方法，称为\textsc{mixunbot}，在几个基准和现实世界的DA问题。
2022-06-22 cs.CV cs.LG stat.ML
Center Loss Regularization for Continual Learning
Stony Brook University（石溪大学）；IIIT Hyderabad（海得拉巴国际信息技术研究所）
顺序学习不同任务的能力对人工智能的发展至关重要。一般来说，神经网络缺乏这种能力，主要障碍是灾难性遗忘。它发生在不断获取来自非平稳数据分布的增量可用信息时，破坏了模型已经学习的内容。我们的方法通过将新任务的表示投影到旧任务的表示附近来记住旧任务，同时保持决策边界不变。我们采用中心丢失作为正则化惩罚，强制新任务的特征具有与旧任务相同的类中心，并使特征具有高度的区分性。这反过来又导致对已经学习的信息的遗忘最少。这种方法易于实现，需要最小的计算和内存开销，并允许神经网络在许多顺序遇到的任务中保持高性能。我们还证明，使用中心损失与记忆重放优于其他重放为基础的战略。随着标准的MNIST变体持续学习，我们将我们的方法与Digits和PACS数据集的连续领域自适应方案。我们证明，我们的方法是可扩展的，有效的，并提供竞争力的性能相比，国家的最先进的持续学习方法。
2021-10-21 cs.CV cs.LG
Viewpoint-Aware Loss with Angular Regularization for Person Re-Identification
Tencent YouTu Lab（腾讯优图实验室）；Sun Yat-sen University（中山大学）；Southern University of Science and Technology（南方科技大学）
虽然最近在监督人重新识别（Re-ID）方面取得了很大进展，但由于人的视角变化，Re-ID仍然是一个巨大的视觉挑战。大多数现有的基于视点的人Re-ID方法将来自每个视点的图像投影到分离且不相关的子特征空间中。它们只对个体视点内部的身份级别分布进行建模，而忽略了不同视点之间的潜在关系。为了解决这个问题，我们提出了一种新的方法，称为\textit{Viewpoint-Aware Loss with Angular Regularization }（\textbf{VA-reID}）。而不是一个子空间为每个视点，我们的方法项目的功能从不同的观点到一个统一的超球，并有效地建模的特征分布的身份级别和视点级别。此外，而不是建模不同的观点作为硬标签用于传统的视点分类，我们引入了视点感知的自适应标签平滑正则化（VALSR），分配自适应软标签的功能表示。VALSR算法能有效地解决视点簇标签分配的模糊性问题。在Market 1501和DukeMTMC-reID数据集上进行的大量实验表明，我们的方法优于最先进的监督Re-ID方法。
2019-12-03 cs.CV cs.LG eess.IV
Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression
Duke University（杜克大学）
本文针对稀疏线性回归中最小ℓ₁和ℓ₂范数插值器均无法达到最优测试损失的问题，提出一种新的模型参数化方法，通过梯度下降产生结合ℓ₁与ℓ₂优点的隐式正则化效应，从而获得接近最优测试损失的插值器。
2023-05-26 cs.LG stat.ML
RTRA: Rapid Training of Regularization-based Approaches in Continual Learning
University of Memphis（孟菲斯大学）
针对持续学习中的灾难性遗忘问题，该研究提出基于自然梯度优化的RTRA方法改进EWC正则化方案，在iFood251数据集上验证其可在不损失测试性能的前提下提升训练效率，优于现有最优方法。
2023-12-14 cs.CV cs.LG
PENEX: AdaBoost-Inspired Neural Network Regularization
MPI for Intelligent Systems（智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
PENEX是一种理论支持的多类指数损失新形式，可通过一阶方法优化，提升神经网络在低数据场景下的泛化能力。
2026-10-27 cs.LG
Variational Characterizations of Local Entropy and Heat Regularization in Deep Learning
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Brown University（布朗大学）；University of Chicago（芝加哥大学）
本文的目的是对深度学习中使用的两种损失正则化（称为局部熵和热正则化）提供新的理论和计算理解。对于这两个正规化的损失，我们引入变分表征，自然地建议一个两步的计划，其优化，基于迭代移位的概率密度和计算的最佳高斯近似库尔贝克-莱布勒散度。在这个统一的光下，局部熵和热正则化损失的优化方案仅在使用库尔贝克-莱布勒散度的哪一个参数来找到最佳高斯近似上有所不同。局部熵对应于第二个参数的最小化，并且通过矩匹配给出解决方案。这允许通过采样算法来取代传统的梯度反向传播计算，为神经网络的无梯度、可并行化训练开辟了一条道路。
2019-01-29 cs.LG stat.CO stat.ML
RegMix: Adversarial Mutual and Generalization Regularization for Enhancing DNN Robustness
School of Computing Newcastle University（计算学院新castle大学）
本文针对对抗训练中MSE正则化导致的过度均匀优化问题，提出加权对抗互正则化和对抗泛化正则化两种策略，显著提升模型对抗鲁棒性。
2025-10-06 cs.CV cs.LG
RobustTrend: A Huber Loss with a Combined First and Second Order Difference Regularization for Time Series Trend Filtering
Alibaba Group（阿里巴巴集团）
提取潜在的趋势信号是促进时间序列分析（如预测和异常检测）的关键步骤。除了噪声信号，时间序列不仅可以包含异常值，而且在现实世界的情况下，突然的趋势变化。为了应对这些挑战，我们提出了一种基于鲁棒统计和稀疏学习的鲁棒趋势滤波算法。具体来说，我们采用Huber损失来抑制异常值，并利用趋势分量上的一阶和二阶差分的组合作为正则化来捕获缓慢和突然的趋势变化。此外，基于优化最小化（MM）和交替方向乘子法（ADMM），设计了一种有效的方法来解决所提出的鲁棒趋势滤波。我们将我们提出的鲁棒趋势滤波器与其他九种最先进的趋势滤波算法在合成和真实世界的数据集上进行了比较。实验结果表明，该算法优于现有的方法。
2019-06-27 cs.LG eess.SP stat.AP
Max-Margin Stacking and Sparse Regularization for Linear Classifier Combination and Selection
Sabanci University（萨班哲大学）
堆叠泛化（或堆叠）的主要原理是使用第二级泛化器将基本分类器的输出组合在一起。在本文中，我们研究不同的组合类型下的堆叠框架，即加权和（WS），类依赖加权和（CWS）和线性堆叠推广（LSG）。为了学习权重，我们建议使用正则化的经验风险最小化与铰链损失。此外，我们建议使用组稀疏性进行正则化，以方便分类器的选择。我们使用两种不同的集合设置进行实验，在8个真实世界的数据集上进行不同的分类。结果显示了具有铰链损失函数的正则化学习的能力。使用稀疏正则化，我们能够在不牺牲准确性的情况下减少所选分类器的数量。对于非多样性集成，我们甚至通过使用稀疏正则化来获得平均精度。
2011-06-08 cs.LG
AdaFlood: Adaptive Flood Regularization
University of British Columbia（不列颠哥伦比亚大学）；Borealis AI；Amii（阿尔伯塔机器智能研究所）
针对现有泛洪正则化对所有样本用相同恒定阈值、未考虑样本难度差异的问题，提出自适应调整每个样本泛洪阈值的AdaFlood方法，经多模态数据集实验验证其跨域和抗噪通用性。
2023-11-06 cs.LG
Adversarially robust generalization theory via Jacobian regularization for deep neural networks
Northwest University（西北大学）
本研究证明雅可比正则化可作为对抗训练的近似上界，并建立其鲁棒泛化差距，实验表明降低雅可比范数可提升标准和鲁棒泛化。
2024-12-17 cs.LG stat.ML
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong（香港城市大学）
深度神经网络（DNN）的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性，及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的，增加有效权范数将使损失趋近于零，其梯度为零，而有效裕度没有充分地最大化。在典型的DNN上，我们证明了，如果没有适当的正则化，标准训练不会学习大的有效裕度，并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN，我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明，所提出的有效边缘正则化（EMR）学习了大的有效边缘，并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上，我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线，并有了实质性的改进。此外，当与几种强大的对抗性防御方法（MART和MAIL）相结合时，我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Stabilizing Differentiable Architecture Search via Perturbation-based Regularization
UCLA（加州大学洛杉矶分校）
可区分的体系结构搜索（DARTS）是用于识别体系结构的流行NAS解决方案。基于对体系结构空间的不断松弛，DARTS学习可微的体系结构权重，大大降低了搜索成本。然而，随着搜索的进行，它的稳定性受到了挑战，因为它产生了不断恶化的体系结构。我们发现，陡峭的验证损失景观，这导致了一个戏剧性的性能下降时，蒸馏的最终架构，是一个重要的因素，导致不稳定。基于这一观察，我们提出了一种基于扰动的正则化- SmoothDARTS（SDARTS），以平滑损失景观并提高基于DARTS的方法的泛化能力。特别是，我们的新配方稳定DARTS为基础的方法，无论是随机平滑或对抗攻击。NAS-Bench-1 Shot 1上的搜索轨迹证明了我们方法的有效性，并且由于稳定性的提高，我们在4个数据集上的各种搜索空间上实现了性能增益。此外，我们在数学上表明，SDARTS隐式地正则化了验证损失的Hessian范数，这导致了更平滑的损失景观和更好的性能。
2021-01-12 cs.CV cs.LG stat.ML
