Label-Based Diversity Measure Among Hidden Units of Deep Neural Networks: A Regularization Method
Tianjin University（天津大学）；The Open University（开放大学）
虽然深层结构保证了深度网络（DNN）强大的表达能力，但它也引发了严重的过拟合问题。为了提高DNN的泛化能力，人们开发了许多策略来提高隐藏单元之间的多样性。然而，大多数这些策略是经验和启发式的，在缺乏多样性度量的理论推导或从多样性到泛化能力的明确联系的情况下。在本文中，从信息论的角度来看，我们引入了一个新的定义冗余描述的多样性隐藏单元下监督学习设置形式化的推广能力的互信息的隐藏层的影响。我们证明了定义的冗余和泛化能力之间存在相反的关系，即，冗余的减少通常提高了泛化能力。实验结果表明，采用冗余度作为正则化算子的DNN能有效地减少过拟合，降低泛化误差，很好地支持了上述观点。
2021-04-03 cs.AI cs.LG physics.app-ph
On Information Regularization
University of Toronto（多伦多大学）
我们制定了一个原则，分类的边缘分布的数据点（未标记的数据）的知识。该原则是在吉洪诺夫风格的正则化，其中正则化惩罚阐明了边际密度应该约束否则不受限制的条件分布的方式。具体来说，正则化惩罚惩罚了在示例和标签之间引入的任何信息，这些信息超出了可用的标记示例所提供的信息。这项工作将Szummer和Jaakkola的信息正则化（NIPS 2002）扩展到多个维度，提供了一个独立于推导中使用的空间覆盖的正则化。此外，我们还展示了如何信息正则化可以被用来作为一个衡量的复杂性的分类任务与未标记的数据，并证明了相关的样本复杂性界。我们通过将条件分布类限制为逻辑回归模型并从有限的未标记示例集合中构造正则化惩罚来说明正则化原理。
2012-10-19 cs.LG stat.ML
Improved Regularization and Robustness for Fine-tuning in Neural Networks
Northeastern University（东北大学）
本文分析了微调的泛化性质并提出PAC-Bayes界，据此提出正则化自标记方法，通过逐层正则化、自标记纠正和标签重加权提升鲁棒性，在图像和文本数据集上显著优于基线方法。
2025-08-13 cs.CV cs.LG stat.ML
Generalizing Few Data to Unseen Domains Flexibly Based on Label Smoothing Integrated with Distributionally Robust Optimization
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对DNN在小规模数据上易过拟合且标签平滑忽视数据分布的问题，本文将DRO融入LS并提出GI-LS算法，利用BO优化超参数，在异常分类任务上验证了优越性能。
2024-08-09 cs.AI cs.LG
Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization
University of Chicago（芝加哥大学）
虽然$\ell_2$正则化被广泛用于训练梯度提升树，但用于树的流行个性化特征属性方法（例如Saabas和TreeSHAP）忽略了训练过程。我们提出了预测分解属性（PreDecomp），这是一种新的个性化特征属性，用于梯度提升树，当它们用$\ell_2$正则化训练时。理论分析表明，PreDecomp算法与样本数据上的标签之间的内积实质上是一棵树的总增益，并且在特征独立的总体情况下，它可以忠实地恢复加性模型。受PreDecomp和总增益之间的联系的启发，我们还提出了TreeInner，这是一个由任何个性化特征属性和每个树的样本外数据标签之间的内积定义的去偏全局特征属性家族。在模拟数据集和基因组ChIP数据集上的数值实验表明，TreeInner具有最先进的特征选择性能。代码再现实验可在https://github.com/nalzok/TreeInner上获得。
2022-11-08 cs.LG stat.ML
Regularization by Misclassification in ReLU Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Technion - Israel Institute of Technology（以色列理工学院）
我们研究了由SGD变体训练的ReLU神经网络的隐式偏差，其中在每一步中，标签以概率$p$变为随机标签（标签平滑是该过程的一个近似变体）。我们的实验表明，标签噪声在以下意义上将网络推向稀疏解决方案：对于典型的输入，一小部分神经元是活跃的，并且隐藏层的发射模式是稀疏的。事实上，在某些情况下，适量的标签噪声不仅可以使网络稀疏化，还可以进一步降低测试误差。然后，我们转向这样的稀疏化机制的理论分析，专注于极端情况下的$p=1$。我们发现，在这种情况下，网络如实验所预期的那样萎缩，但令人惊讶的是，以不同的方式取决于学习率和偏差的存在，权重消失或神经元停止放电。
2021-11-03 cs.LG cs.NE
Label Noise SGD Provably Prefers Flat Global Minimizers
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
在过参数化模型中，随机梯度下降（SGD）中的噪声隐式地正则化优化轨迹并确定SGD收敛到哪个局部最小值。受实证研究的启发，这些研究表明，使用带噪声的标签进行训练可以提高泛化能力，我们研究了带有标签噪声的SGD的隐式正则化效果。我们发现，SGD与标签噪声收敛到一个固定点的正则化损失$L(θ) +λR(θ)$，其中$L(θ)$是训练损失，$λ$是一个有效的正则化参数，取决于步长，标签噪声的强度，和批量大小，和$R(θ)$是一个明确的正则化惩罚尖锐的极小。我们的分析揭示了一个额外的正则化效果的大学习率超出了线性缩放规则，惩罚大的特征值的海森比小的。我们还证明了一般损失函数的分类扩展，动量的SGD和一般噪声协方差的SGD，显着加强了Blanc等人的工作。全局收敛和大学习率和HaoChen等人。一般模型。
2021-12-04 cs.IT cs.LG math.IT
Correlated Logistic Model With Elastic Net Regularization for Multilabel Image Classification
University of Technology Sydney（悉尼科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种用于多标签图像分类的相关Logistic（CorrLog）模型。CorrLog通过显式建模标签之间的成对相关性，将传统的逻辑回归模型扩展到多标签情况。此外，我们建议使用弹性网络正则化来学习CorrLog的模型参数，这有助于利用特征选择和标签相关性的稀疏性，从而进一步提高多标签分类的性能。CorrLog可以通过正则化的最大伪似然估计来有效地学习，尽管是近似的，并且它具有与标签数量无关的令人满意的泛化界。与最先进的多标签分类算法相比，CorrLog在基准数据集MULAN场景、MIT户外场景、PASCAL VOC 2007和PASCAL VOC 2012上的多标签图像分类方面具有竞争力。
2019-04-17 cs.CV cs.LG
ProML: Progressive Multi-label Learning
Institute of Big Data Science and Industry（大数据科学与产业研究院）；School of Artificial Intelligence（人工智能学院）；Shanxi University（山西大学）
针对多标签学习耦合范式的缺陷，本文提出ProML框架，通过引入辅助变量解耦标签拟合与预测器学习，经理论分析与12个基准数据集实验验证，该方法性能鲁棒且具竞争力。
2026-10-14 cs.LG
Semi-Supervised Phone Classification using Deep Neural Networks and Stochastic Graph-Based Entropic Regularization
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Washington（华盛顿大学）
我们在深度神经网络的背景下描述了一个基于图的半监督学习框架，该框架使用基于图的熵正则化器来支持由数据诱导的图上的平滑解。这项工作的主要贡献是一个计算效率高，随机图形正则化技术，使用小批量是一致的图形结构，但也提供了足够的随机性（在小批量数据的多样性）的随机梯度下降方法收敛到好的解决方案。在这项工作中，我们专注于TIMIT语音语料库上的帧级电话分类精度的结果，但我们的方法是通用的，可扩展到更大的数据集。实验结果表明，当标记数据比例较低时，该方法与全监督方法相比，分类精度有了显著提高，在全标记情况下，该方法与其他方法相比具有较强的竞争力。
2018-05-30 cs.LG stat.ML
Multi-class Classification from Multiple Unlabeled Datasets with Partial Risk Regularization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，监督式深度学习取得了巨大成功，其中预测模型是从大量完全标记的数据中训练出来的。然而，在实践中，标记这些大数据可能非常昂贵，甚至可能出于隐私原因而无法实现。因此，在本文中，我们的目标是学习一个准确的分类器，而无需任何类别标签。更具体地说，我们考虑的情况下，多组未标记的数据和只有他们的类先验，即，每一类的比例，都有。在这个问题的设置下，我们首先推导出一个无偏估计的分类风险，可以估计从给定的未标记集和理论分析的泛化误差的学习分类。然后，我们发现，这样获得的分类器往往会导致过度拟合，因为它的经验风险在训练过程中变为负值。为了防止过拟合，我们进一步提出了一种部分风险正则化，它将未标记数据集和类的部分风险保持在一定水平。实验表明，我们的方法有效地减轻了过拟合，并优于最先进的方法，从多个未标记的集合学习。
2022-10-15 cs.LG
A Self-paced Regularization Framework for Partial-Label Learning
Beijing Jiaotong University（北京交通大学）
部分标签学习（PLL）旨在解决每个训练实例与一组候选标签相关联的问题，其中一个是正确的标签。大多数PLL算法试图通过简单地平等对待每个候选标签或迭代地识别真实标签来消除候选标签集的歧义。然而，现有的算法通常平等地对待所有的标签和实例，并且在学习阶段没有考虑标签和实例的复杂性。受自步调学习策略在机器学习领域的成功应用启发，将自步调机制融入部分标签学习框架，提出了一种新的自步调部分标签学习（SP-PLL）算法，该算法通过在每次学习迭代中对训练样本及其候选标签的优先级进行排序来控制学习过程，从而缓解学习过程中的问题.大量的实验和与其他基线方法的比较证明了该方法的有效性和鲁棒性。
2018-05-08 cs.AI cs.LG stat.ML
Adaptive Regularization of Labels
Tsinghua University（清华大学）；Chinese University of Hong Kong（香港中文大学）；PengCheng Laboratory（鹏城实验室）
最近，多种正则化技术在深度神经网络中得到了广泛应用，如dropout、批量归一化、数据增强等，这些方法主要关注权值参数的正则化，以有效防止过拟合。此外，标签正则化技术，如标签平滑和标签扰动也被提出的动机，增加一个随机扰动的标签。本文提出了一种新的自适应标签正则化方法，该方法使神经网络能够从错误的经验中学习，并在线更新最佳标签表示。另一方面，与使用教师网络学习类别相关性的知识蒸馏相比，我们提出的方法只需要很小的参数增加，而不需要繁琐的教师网络。此外，我们在CIFAR-10/CIFAR-100/ImageNet数据集上评估了我们的方法，用于图像识别任务，在AGNews/Yahoo/Yelp-Full数据集上评估了我们的方法。实证结果表明，在所有的实验设置显着改善。
2019-08-15 cs.LG stat.ML
Learning from Label Proportions with Consistency Regularization
National Taiwan University（国立台湾大学）
从标签比例（LLP）学习的问题涉及在一袋实例上使用弱标签训练分类器，而不是在单个实例上使用强标签。弱标签仅包含每袋的标签比例。由于数据隐私或注释成本，LLP问题对于许多只允许收集标签比例的实际应用非常重要，并且最近受到了大量的研究关注。现有的研究主要集中在扩展监督学习模型来解决LLP问题，但由于其学习性质较弱，很难从监督的角度进一步提高LLP的性能。本文从半监督学习的不同角度进行研究。特别是，我们提出了一个新的模型的灵感一致性正则化，一个流行的概念，在半监督学习，鼓励模型产生一个决策边界，更好地描述了数据流形。随着一致性正则化的引入，我们进一步将我们的研究扩展到非均匀袋生成和验证为基础的参数选择程序，更好地满足实际需要。实验不仅证明了LLP与一致性正则化取得了优异的性能，但也证明了所提出的程序的实际可用性。
2019-10-29 cs.LG stat.ML
Wasserstein Adversarial Regularization (WAR) on label noise
University Bretagne Sud（布列塔尼南部大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；IRISA（法国信息与自动化系统研究所）；InterDigital R&D（InterDigital研发中心）；Université de Paris（巴黎大学）；Wageningen University（瓦赫宁根大学）；École Polytechnique（巴黎综合理工学院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
噪声标签经常出现在视觉数据集中，特别是当它们从众包或Web抓取中获得时。我们提出了一种新的正则化方法，使学习鲁棒的分类器存在噪声数据。为了实现这一目标，我们提出了一种新的基于Wasserstein距离的对抗正则化方案。使用该距离允许通过利用标签空间的几何属性来考虑类之间的特定关系。我们的Wasserstein对抗正则化（WAR）编码选择性正则化，这促进了一些类之间的分类器的平滑性，同时保留了其他类之间决策边界的足够复杂性。我们首先讨论了如何以及为什么对抗正则化可以在标签噪声的背景下使用，然后展示了我们的方法在五个被噪声标签破坏的数据集上的有效性：在基准测试和真实数据集中，WAR都优于最先进的竞争对手。
2021-06-29 cs.CV cs.LG stat.ML
Contrastive Regularization for Semi-Supervised Learning
POSTECH（浦项科技大学）；Kakao Brain；DCML Inc.（DCML公司）
标签预测的一致性正则化成为半监督学习的一项基本技术，但它仍然需要大量的训练迭代才能获得高性能。在这项研究中，我们分析了一致性正则化限制了标签信息的传播，因为在模型更新中排除了具有不自信伪标签的样本。然后，我们提出了对比正则化，以提高效率和准确性的一致性正则化的聚类特征的未标记数据。具体来说，在强增强样本通过其伪标签分配到聚类后，我们的对比正则化更新模型，以便具有置信伪标签的特征将特征聚集在同一个聚类中，同时将不同聚类中的特征推开。因此，在训练过程中，通过良好的聚类特征，可以有效地将置信伪标签的信息传播到更多的未标记样本中。在半监督学习任务的基准测试中，我们的对比正则化改进了以前的基于一致性的方法，并取得了最先进的结果，特别是训练迭代次数较少。我们的方法也显示了强大的性能开集半监督学习，其中未标记的数据包括分布外的样本。
2022-06-09 cs.LG stat.ML
Temporal Calibrated Regularization for Robust Noisy Label Learning
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Peng Cheng Laboratory（鹏城实验室）
深度神经网络（DNN）在大规模良好注释数据集的帮助下在许多任务上取得了巨大成功。然而，标记大规模数据可能非常昂贵且容易出错，使得难以保证注释质量（即，具有噪声标签）。在这些带噪声的标记数据集上进行训练可能会不利地降低其泛化性能。现有的方法要么依赖于复杂的训练阶段划分，要么带来太多的计算，边际性能的改善。在本文中，我们提出了一种时间校准正则化（TCR），其中我们将原始标签和前一个时期的预测结合在一起，使DNN继承它以很少的开销学习的简单模式。我们对各种神经网络架构和数据集进行了广泛的实验，发现它始终增强了DNN对标签噪声的鲁棒性。
2020-07-01 cs.LG stat.ML
Regularization via Structural Label Smoothing
Arizona State University（亚利桑那州立大学）
正则化是提高机器学习模型泛化性能的有效途径。在本文中，我们专注于标签平滑，一种形式的输出分布正则化，防止过度拟合的神经网络通过软化地面真实标签的训练数据，试图惩罚过度自信的输出。现有的方法通常使用交叉验证来施加这种平滑，这在所有训练数据中是统一的。在本文中，我们表明，这样的标签平滑施加了量化的偏见的训练数据的贝叶斯出错率，具有高重叠和低边际似然的特征空间的区域具有较低的偏差和低重叠和高边际似然的区域具有较高的偏差。这些理论结果激发了一个简单的目标函数的数据相关平滑，以减轻潜在的负面后果的操作，同时保持其理想的性能作为正则化。我们称这种方法为结构标签平滑（SLS）。我们实现了SLS，并在合成，Higgs，SVHN，CIFAR-10和CIFAR-100数据集上进行了经验验证。结果证实了我们的理论见解，并证明了所提出的方法相比，传统的标签平滑的有效性。
2020-07-04 cs.LG stat.ML
On Regularization and Inference with Label Constraints
University of Pennsylvania（宾夕法尼亚大学）；University of Rochester（罗切斯特大学）；Massachusetts Institute of Technology（麻省理工学院）；Systems and Technology Research（系统与技术研究公司）
本文比较了标签约束下正则化与约束推理两种策略对模型性能的影响，并提出二者结合以补偿偏差、改善模型复杂度与最优风险的条件。
2023-07-08 cs.LG stat.ML
Semi-Supervised Collective Classification via Hybrid Label Regularization
U.S. Naval Academy（美国海军学院）；Naval Research Laboratory（海军研究实验室）
许多分类问题涉及相互链接的数据实例，例如通过超链接连接的网页。用于“集体分类”（CC）的技术通常会提高此类数据图的准确性，但通常需要完全标记的训练图。相比之下，我们研究如何提高CC模型的半监督学习时，只有一个稀疏标记的图，一种常见的情况。我们首先描述如何使用分类器的新组合来利用关系特征与非关系特征的不同特性。我们还将“标签正则化”的思想扩展到这种混合分类器，使它们能够利用未标记的数据来偏置学习过程。我们发现，这些技术，这是有效的，易于实现，显着提高三个真实数据集的准确性。此外，我们的研究结果解释了先前相关研究中相互矛盾的发现。
2012-06-27 cs.LG stat.ML
Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
许多弱监督分类方法使用噪声转移矩阵来捕获类条件标签损坏。为了从噪声数据中估计转移矩阵，现有的方法通常需要估计噪声的类后验，由于神经网络的过度自信，这可能是不可靠的。在这项工作中，我们提出了一种理论上的接地方法，可以估计噪声转移矩阵，并同时学习分类器，而不依赖于容易出错的噪声类后验估计。具体地说，受随机标签腐败过程的特点的启发，我们提出了全变分正则化，这鼓励预测概率更容易区分彼此。在较弱的假设下，该方法给出了转移矩阵的相合估计量。通过在基准数据集和真实数据集上的实验，我们证明了该方法的有效性。
2021-06-14 cs.LG stat.ML
Consistency Regularization Can Improve Robustness to Label Noise
KTH（瑞典皇家理工学院）
一致性正则化是半监督学习和自监督学习的常用技术。它是一个辅助目标函数，鼓励网络的预测在观察到的训练样本附近相似。Hendrycks等人（2020）最近表明，这种正则化自然会为损坏的数据带来测试时的鲁棒性，并有助于校准。本文实证研究了一致性正则化对噪声标签的训练时间鲁棒性的相关性。首先，我们对在噪声数据集上使用标准交叉熵损失训练的网络的一致性进行了两个有趣且有用的观察：（i）在噪声数据上训练的网络的一致性低于在干净数据上训练的网络，以及（ii）在噪声标记的训练数据点周围的一致性比正确标记的数据点降低得更明显。然后，我们证明了一个简单的损失函数，鼓励一致性提高了模型的鲁棒性，以标记噪声的合成（CIFAR-10，CIFAR-100）和现实世界（WebVision）的噪声，以及不同的噪声率和类型，并达到最先进的结果。
2021-10-04 cs.CV cs.LG stat.ML
HERA: Partial Label Learning by Combining Heterogeneous Loss with Sparse and Low-Rank Regularization
Beijing Jiaotong University（北京交通大学）；Hangzhou Dianzi University（杭州电子科技大学）
部分标签学习（PLL）旨在从数据中学习，其中每个训练实例与一组候选标签相关联，其中只有一个是正确的。大多数现有的方法通过平等对待每个候选标签或迭代地识别地面真实标签来处理这样的问题。在本文中，我们提出了一种新的PLL方法，称为HERA，它同时结合了Heterogeneous Loss和SpaRse和Low-rAnk过程来估计每个实例的标签置信度，同时训练模型。具体地说，异构损失综合了成对排序损失和逐点重构损失的优点，为标签识别提供了有用的标签排序和重构信息，而嵌入式稀疏低秩方案限制了地面真实标签矩阵的稀疏性和噪声标签矩阵的低秩，以探索整个训练数据之间的全局标签相关性，从而改进了学习模型。在人工和真实世界数据集上的大量实验表明，我们的方法可以实现优于或与最先进的方法相当的性能。
2019-06-03 cs.LG stat.ML
Regularization via Adaptive Pairwise Label Smoothing
National Research Council of Canada（加拿大国家研究委员会）
标签平滑（LS）是一种有效的正则化器，可以提高最先进的深度模型的泛化能力。对于每个训练样本，LS策略通过将其分布质量分布在非地面实况类上来平滑独热编码的训练信号，旨在惩罚网络生成过度自信的输出分布。本文介绍了一种新的标签平滑技术称为成对标签平滑（PLS）。PLS采用一对样本作为输入。使用一对地面真值标签进行平滑使PLS能够保持两个真值标签之间的相对距离，同时进一步软化真值标签与其他目标之间的距离，导致模型产生的预测比LS策略的置信度低得多。此外，与通常需要通过交叉验证搜索找到全局平滑分布质量的当前LS方法不同，PLS在训练期间自动学习每个输入对的分布质量。我们的经验表明，PLS显着优于LS和基线模型，实现高达30%的相对分类错误减少。我们还直观地表明，当实现这样的准确性增益的PLS往往会产生非常低的获胜softmax分数。
2020-12-02 cs.LG stat.ML
Cross-label Suppression: A Discriminative and Fast Dictionary Learning with Group Regularization
Tsinghua University（清华大学）
本文通过有效地学习一个紧凑的和有区别的字典来解决图像分类问题。给定一个结构化字典，每个原子（字典矩阵中的列）与一些标签相关，我们提出了交叉标签抑制约束，以扩大不同类别的表示之间的差异。同时，我们引入群正则化来强制表示以保持原始样本的标签属性，这意味着鼓励同一类的表示是相似的。在交叉标记抑制时，我们不求助于常用的$\ell_0$ -范数或$\ell_1$ -范数进行编码，并且在不损失分类的区分能力的情况下获得计算效率。此外，两个简单的分类方案也开发，以充分利用学习字典。在人脸识别、物体分类、场景分类、纹理识别和运动动作分类等6个数据集上进行了大量的实验，结果表明，该方法在识别精度和计算效率上均优于目前提出的许多字典算法。
2017-05-08 cs.CV cs.LG stat.ML
Early-Learning Regularization Prevents Memorization of Noisy Labels
New York University（纽约大学）；NYU School of Medicine（纽约大学医学院）
我们提出了一种新的框架，通过深度学习在存在噪声注释的情况下进行分类。当在有噪声的标签上训练时，已经观察到深度神经网络首先在“早期学习”阶段用干净的标签拟合训练数据，然后最终记住带有错误标签的示例。我们证明了早期学习和记忆是高维分类任务中的基本现象，即使在简单的线性模型中也是如此，并在此背景下给出了理论解释。受这些发现的启发，我们开发了一种新的技术，用于嘈杂的分类任务，它利用了早期学习阶段的进展。与现有的方法相比，这些方法在早期学习期间使用模型输出来检测具有干净标签的示例，并忽略或尝试纠正错误标签，我们采取了不同的路线，而是通过正则化来利用早期学习。我们的方法有两个关键要素。首先，我们利用半监督学习技术来产生基于模型输出的目标概率。其次，我们设计了一个正则化项，将模型转向这些目标，隐式地防止错误标签的记忆。由此产生的框架提供了鲁棒性的噪声注释在几个标准的基准和现实世界的数据集，在那里它实现的结果与最先进的。
2020-10-22 cs.CV cs.LG stat.ML
No Regularization is Needed: An Efficient and Effective Model for Incomplete Label Distribution Learning
本文针对不完整标签分布学习提出一种无需显式正则化的加权经验风险模型，利用标签程度先验设计加权方案，在保持闭式解和线性计算复杂度的同时取得与最先进方法相当的性能。
2023-08-14 cs.LG stat.ML
Multi-view Vector-valued Manifold Regularization for Multi-label Image Classification
Peking University（北京大学）；University of Technology, Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）
在计算机视觉中，用于分类的图像数据集自然与多个标签相关联，并由多个视图组成，因为每个图像可能包含多个对象（例如行人，自行车和树木），并通过多个视觉特征（例如颜色，纹理和形状）进行适当表征。当前可用的工具忽略标签关系或视图互补。受向量值函数成功构造矩阵值核来探索输出空间中的多标签结构的启发，我们引入多视图向量值流形正则化（MV $\mathbf{^3}$ MR）来集成多个特征。MV $\mathbf{^3}$ MR利用不同特征的互补性，在流形正则化的主题下发现不同特征所共有的紧支撑的内在局部几何。我们在两个具有挑战性但流行的数据集PASCAL VOC' 07（VOC）和MIR Flickr（MIR）上进行了广泛的实验，并验证了所提出的MV $\mathbf{^3}$ MR用于图像分类的有效性。
2019-04-08 cs.CV cs.LG stat.ML
Manifold Regularization Classification Model Based On Improved Diffusion Map
Dalian University of Technology（大连理工大学）；Leceister Institution（莱斯特机构）
本文针对流形正则化模型局限于局部区域的问题，提出基于标签传播模型的改进方法，通过优化Diffusion Map的概率转移矩阵构建标签传播函数，并将其扩展至整个数据流形以作为分类器，实验验证了该改进模型的优越性。
2024-03-24 cs.LG math.OC stat.ML
Combating noisy labels by agreement: A joint training method with co-regularization
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
带有噪声标签的深度学习是弱监督学习中一个实际上具有挑战性的问题。最先进的方法“解耦”和“合作教学+”声称，“分歧”的策略是至关重要的，以减轻与嘈杂的标签学习的问题。在本文中，我们从不同的角度出发，提出了一种称为JoCoR的鲁棒学习范式，旨在减少训练过程中两个网络的多样性。具体来说，我们首先使用两个网络对相同的小批量数据进行预测，并为每个训练样本计算联合损失。然后，我们选择小损失的例子，同时更新两个网络的参数。在联合损失的训练下，由于协正则化的作用，这两个网络会越来越相似。在MNIST、CIFAR-10、CIFAR-100和Clothing 1 M等基准数据集的损坏数据上进行的大量实验结果表明，JoCoR优于许多最先进的噪声标签学习方法。
2020-04-22 cs.CV cs.LG stat.ML
Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems
Stanford University（斯坦福大学）；Meituan-Dianping Group（美团点评集团）；Hong Kong Polytechnic University（香港理工大学）
知识图谱捕获一组实体或项目之间的结构化信息和关系。因此，知识图谱代表了一个有吸引力的信息源，可以帮助改善推荐系统。然而，该领域中的现有方法依赖于手动特征工程，并且不允许端到端训练。在这里，我们提出了知识感知的图神经网络与标签平滑正则化（KGNN-LS），以提供更好的建议。从概念上讲，我们的方法计算用户特定的项目嵌入，首先应用一个可训练的功能，确定重要的知识图谱的关系，为给定的用户。通过这种方式，我们将知识图谱转换为用户特定的加权图，然后应用图神经网络来计算个性化的项目嵌入。为了提供更好的归纳偏差，我们依赖于标签平滑性假设，该假设假定知识图谱中的相邻项可能具有相似的用户相关性标签/分数。标签平滑提供了正则化的边缘权重，我们证明了它是等价于一个标签传播计划的图。我们还开发了一个高效的实现，表现出强大的可扩展性方面的知识图谱的大小。在四个数据集上的实验表明，我们的方法优于最先进的基线。KGNN-LS还在用户-项目交互稀疏的冷启动场景中实现了强大的性能。
2019-06-14 cs.IR cs.LG stat.ML
Nonparametric Bayesian label prediction on a large graph using truncated Laplacian regularization
本文描述了一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。我们考虑一个分层贝叶斯方法与前，通过截断一系列扩展的软标签函数使用图形拉普拉斯特征函数作为基函数。我们比较我们的截断之前的未截断的拉普拉斯算子为基础的模拟和真实数据的例子，以说明改进的可扩展性方面的基础图形的大小。
2018-04-13 stat.CO stat.ML
Learning with Noisy Labels via Sparse Regularization
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
带噪声标签的学习对于训练准确的深度神经网络来说是一项重要且具有挑战性的任务。一些常用的损失函数，如交叉熵（CE），遭受严重的过拟合噪声标签。满足对称条件的鲁棒损失函数被定制以解决这个问题，然而，这遇到了欠拟合效应。在本文中，我们从理论上证明了\textbf{any loss can be made robust to noisy labels}通过限制网络输出的一组排列在一个固定的向量。当固定向量是one-hot时，我们只需要将输出约束为one-hot，但这几乎在所有地方都产生零梯度，从而使基于梯度的优化变得困难。在这项工作中，我们引入了稀疏正则化策略来近似one-hot约束，该策略由网络输出锐化操作和$\ell_p$ -norm（$p\le 1$）正则化组成，该锐化操作使网络的输出分布变得尖锐，该正则化使网络的输出变得稀疏。这种简单的方法保证了任意损失函数的鲁棒性，同时不妨碍拟合能力。实验结果表明，该方法在噪声标签和类别不平衡的情况下，能够显著提高常用损失函数的性能，优于现有的方法.该代码可在https://github.com/hitcszx/lnl_sr上获得。
2021-07-31 cs.CV cs.LG stat.ML
Label Alignment Regularization for Distribution Shift
University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）；University of Waterloo（滑铁卢大学）
该研究受监督学习中标签对齐特性启发，提出一种正则化分类器的无监督域适应方法，经理论验证与实验表明，其在多个任务上性能优于基线模型。
2024-09-11 cs.LG stat.ML
Efficient Structured Surrogate Loss and Regularization in Structured Prediction
Toyota Technological Institute of Technology（丰田工业大学）
本文主要研究结构化预测中的几个重要问题。在结构化预测中，标签具有丰富的内在子结构，并且损失相对于预测标签和真实标签对而变化。结构化SVM是二进制SVM的扩展，以适应这种结构化的任务。本文第一部分研究了代理损失及其有效的解决方法。为了使经验风险最小化，使用了一个替代损失作为最小化实际损失的代理，该替代损失是损失的上限。由于目标函数是根据代理损失来编写的，因此代理损失的选择很重要，并且性能取决于它。关于代理损失的另一个问题是argmax标签推理对代理损失的效率。高效的推理对于优化是必要的，因为它通常是最耗时的步骤。本文提出了一类新的代理损失，称为双准则代理损失，它是对现有代理损失的推广。首先，我们研究了一个有效的方法，松弛重新缩放配方作为一个起点，利用分解的模型。然后，我们将该算法扩展到双标准代理损失，这是非常有效的，也显示出性能的改善。本文的第二部分研究了正则化的另一个重要问题。具体来说，我们调查的问题时，结构不平衡存在于标签结构的层次分类的正则化。我们提出了一种方法来规范化的结构，以及一个新的范数，即共享Frobenius范数。它适用于除了标签结构之外还适应数据的分层分类。
2018-09-14 cs.LG stat.ML
Deep Learning From Crowdsourced Labels: Coupled Cross-entropy Minimization, Identifiability, and Regularization
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Oregon State University（俄勒冈州立大学）
针对含噪众包标签的端到端深度学习，本文证明CCEM在有限样本和不完整标注下的可辨识性，并提出两种正则化变体以提升参数辨识性能。
2023-06-05 cs.LG eess.SP stat.ML
Extending Label Smoothing Regularization with Self-Knowledge Distillation
South China University of Technology（华南理工大学）；Northwestern Polytechnical University（西北工业大学）
受标签平滑正则化（LSR）和知识蒸馏（KD）之间的强相关性的启发，我们提出了一种算法LsrKD，通过将LSR方法扩展到KD区域并应用较软的温度来进行训练。然后，我们通过教师校正（TC）方法改进LsrKD，该方法手动为均匀分布教师中的正确类设置恒定的较大比例。为了进一步提高LsrKD的性能，我们开发了一种名为记忆重放知识蒸馏（MrKD）的自蒸馏方法，该方法提供了一个知识丰富的教师来代替LsrKD中的均匀分布教师。MrKD方法惩罚当前模型的输出分布与其副本在训练轨迹上的分布之间的KD损失。通过防止模型学习远离其历史输出分布空间，MrKD可以稳定学习并找到更鲁棒的最小值。我们的实验表明，LsrKD可以在没有成本的情况下持续提高LSR性能，特别是在LSR无效的几个深度神经网络上。此外，MrKD可以显着改善单模型训练。实验结果表明，TC可以帮助LsrKD和MrKD提高训练，特别是在它们失败的网络上。总体而言，LsrKD、MrKD及其TC变体与LSR方法相当或优于LSR方法，表明这些KD方法的广泛适用性。
2020-09-11 cs.LG stat.ML
Soft Labeling Affects Out-of-Distribution Detection of Deep Neural Networks
Pohang University of Science and Technology（浦项科技大学）；Kakao Brain
软标记成为深度神经网络泛化和模型压缩的常用输出正则化。然而，软标记对分布外（OOD）检测的影响，这是机器学习安全的一个重要课题，没有被探索。在这项研究中，我们表明，软标记可以确定OOD检测性能。具体来说，如何通过软标记来正则化不正确类的输出可以恶化或改善OOD检测。基于实证结果，我们假设了OOD鲁棒DNN的未来工作：通过软标记进行适当的输出正则化可以构建OOD鲁棒DNN，而无需额外训练OOD样本或修改模型，同时提高分类精度。
2020-07-07 cs.LG stat.ML
MixUp as Locally Linear Out-Of-Manifold Regularization
National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）；Beihang University（北京航空航天大学）
MixUp是最近提出的一种数据增强方案，它线性插值一对随机的训练样本和相应的标签的独热表示。用这样的附加数据训练深度神经网络被示出能够显著提高当前技术的预测准确性。然而，MixUp的力量主要是凭经验建立的，并且其工作和有效性还没有被深入解释。在本文中，我们将MixUp理解为“流形外正则化”的一种形式，它对数据流形之外的模型输入空间施加了某些“局部线性”约束。这种分析使我们能够识别MixUp的限制，我们称之为“流形入侵”。简而言之，MixUp中的流形入侵是一种欠拟合的形式，其原因是混合示例的合成标签与原始训练数据的标签之间的冲突。这种现象通常发生在控制混合策略生成的参数没有在训练数据上充分微调时。为了解决这个问题，我们提出了一种新的自适应版本的MixUp，其中混合策略是使用旨在避免流形入侵的额外网络和目标函数从数据中自动学习的。建议的正则化，AdaMixUp，经验评估几个基准数据集。大量的实验表明，AdaMixUp在应用于当前的深度分类模型时，改进了MixUp。
2018-11-22 cs.AI cs.LG stat.ML
Uncertainty-Aware Graph Self-Training with Expectation-Maximization Regularization
本研究提出一种带EM正则化的不确定性感知图自训练方法，用于半监督节点分类，通过迭代优化伪标签置信度处理含噪图数据，实验显示其准确率较基线最高提升2.5%且性能更稳定。
2025-07-29 cs.LG stat.ML
Compressing Features for Learning with Noisy Labels
KU Leuven（鲁汶大学）；Samsung AI Center（三星人工智能中心）；Tencent AI lab（腾讯人工智能实验室）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
监督学习可以被看作是从输入数据中提取相关信息到特征表示中。当监督是嘈杂的时，这个过程变得困难，因为提取的信息可能不相关。事实上，最近的研究表明，网络很容易过拟合所有标签，包括那些被破坏的标签，因此很难推广到干净的数据集。在本文中，我们专注于带噪声标签的学习问题，并将压缩归纳偏差引入网络架构，以缓解这种过拟合问题。更确切地说，我们重新审视了一个经典的正则化称为Dropout和它的变种嵌套Dropout。Dropout可以作为其特征丢弃机制的压缩约束，而Nested Dropout进一步学习有序特征表示w.r.t.特征重要性。此外，压缩正则化的训练模型进一步与Co-teaching相结合，以提高性能。在理论上，我们对压缩正则化下的目标函数进行了偏差-方差分解。我们针对单一模型和联合教学进行了分析。这种分解提供了三个见解：（i）它表明过拟合确实是使用有噪标签学习的一个问题;（ii）通过信息瓶颈公式，它解释了为什么提出的特征压缩有助于对抗标签噪音;（iii）它解释了将压缩正则化纳入联合教学带来的性能提升。实验表明，我们的简单方法可以在具有真实世界标签噪声的基准测试（包括Clothing 1 M和ANIMAL-10 N）上具有与最先进的方法相当甚至更好的性能。我们的实现可以在https://yingyichen-cyy.github.io/CompressFeatNoisyLabels/上获…
2022-06-27 cs.LG stat.ML
Heteroskedastic and Imbalanced Deep Learning with Adaptive Regularization
Stanford University（斯坦福大学）；Harvard University（哈佛大学）；Toyota Research Institute（丰田研究所）
真实世界的大规模数据集是异方差和不平衡的-标签具有不同程度的不确定性，标签分布是长尾的。异方差性和不平衡性对深度学习算法提出了挑战，因为很难区分错误标记、模糊和罕见的示例。同时解决异方差和不平衡问题的探索不足。我们提出了一种异方差数据集的数据依赖正则化技术，该技术对输入空间的不同区域进行不同的正则化。受一维非参数分类设置中最佳正则化强度的理论推导的启发，我们的方法自适应地正则化更高不确定性，更低密度区域中的数据点。我们在几个基准任务上测试了我们的方法，包括真实世界的异方差和不平衡数据集WebVision。我们的实验证实了我们的理论，并证明了在噪声鲁棒性深度学习中比其他方法有显着的改进。
2021-03-18 cs.LG stat.ML
Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization
University of South Florida（南佛罗里达大学）
在本文中，我们提出了一种新的无监督聚类方法，利用隐藏的信息，是间接引入通过一个伪分类目标。具体来说，我们随机地为每个观察分配一个伪父类标签，然后通过应用与所分配的标签相关联的特定于域的变换来修改该标签。生成的伪观测标记对随后用于训练具有自动聚类输出层（ACOL）的神经网络，该自动聚类输出层为每个伪父类引入多个softmax节点。由于基于基于图的活动正则化（GAR）项的无监督目标，每个父类的softmax副本都是专门的，因为通过特定于域的变换捕获的隐藏信息在训练期间传播。最终我们得到一个k-means友好的潜在表示。此外，我们还演示了所选择的转换类型如何影响性能，并有助于传播有助于揭示未知聚类的潜在信息。我们的研究结果显示了MNIST，SVHN和USPS数据集上无监督聚类任务的最新性能，具有迄今为止文献中报道的最高精度。
2018-02-08 cs.LG stat.ML
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
Preferred Networks, Inc.（首选网络公司）；Kyoto University（京都大学）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Ritsumeikan University（立命馆大学）
我们提出了一种新的正则化方法的基础上虚拟对抗损失：一个新的措施，局部光滑的条件标签分布给定的输入。虚拟对抗损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。与对抗训练不同，我们的方法定义了没有标签信息的对抗方向，因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟”对抗，我们称我们的方法为虚拟对抗训练（VAT）。增值税的计算成本相对较低。对于神经网络，虚拟对抗损失的近似梯度可以用不超过两对的前向和反向传播来计算。在我们的实验中，我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过对基于熵最小化原理的算法进行简单的增强，我们的VAT在SVHN和CIFAR-10上的半监督学习任务中实现了最先进的性能。
2018-06-27 cs.LG stat.ML
Causal Learning via Manifold Regularization
本文将因果结构估计作为一个机器学习任务。其想法是将变量之间因果关系的指标视为“标签”，并利用有关变量的现有数据为标签任务提供特征。背景科学知识或任何可用的干预性数据提供了一些因果关系的标签，其余的被视为未标记。为了说明的关键思想，我们开发了一个基于距离的方法（基于双变量直方图）在流形正则化框架。我们提出了三个不同的生物数据集（包括因果关系的例子，可以通过实验干预验证）的实证结果，一起证明了该方法的有效性和一般性质，以及它的简单性，从用户的角度来看。
2019-08-29 stat.ML
Learning Soft Labels via Meta Learning
Apple（苹果公司）
独热标签不代表概念之间的软决策边界，因此，在其上训练的模型容易过拟合。使用软标签作为目标提供了正则化，但不同的软标签可能在不同的优化阶段是最佳的。此外，在存在噪声注释的情况下使用固定标签进行训练会导致更差的泛化。为了解决这些限制，我们提出了一个框架，在这个框架中，我们将标签视为可学习的参数，并将它们与模型参数一起优化。学习的标签不断适应模型的状态，从而提供动态正则化。当应用于监督图像分类的任务时，我们的方法在不同的数据集和架构中获得了一致的收益。例如，动态学习的标签在CIFAR100上将ResNet18提高了2.1%。当应用于包含噪声标签的数据集时，学习的标签纠正了注释错误，并在最先进的水平上有了显著的改进。最后，我们表明，学习标签捕捉类之间的语义关系，从而改善教师模型的下游任务的蒸馏。
2020-09-20 cs.CV cs.LG stat.ML
Adversarial Deformation Regularization for Training Image Registration Neural Networks
University College London（伦敦大学学院）；University of Oxford（牛津大学）
我们描述了一种对抗性学习方法来约束图像配准的卷积神经网络训练，取代这些任务中经常使用的位移场的启发式平滑度测量。使用微创前列腺癌介入作为示例应用程序，我们证明了利用生物力学模拟来调节弱监督解剖标签驱动的配准网络的可行性，该配准网络用于对齐术前磁共振（MR）和3D术中经直肠超声（TRUS）图像。优化了一个神经网络，以区分配准预测的位移场与有限元分析模拟的运动数据。在训练过程中，配准网络同时旨在最大化驱动图像对齐的解剖标签之间的相似性，并最小化测量预测变形和模拟变形之间的差异的对抗性生成器损失。端到端的训练网络能够实现高效和全自动的配准，仅需要MR和TRUS图像对作为输入，而无需解剖标签或推理期间的模拟数据。本研究使用了来自76名前列腺癌患者的108对标记的MR和TRUS图像以及来自143名不同患者的71，500个非线性有限元模拟。我们表明，只有腺体分割作为训练标签，所提出的方法可以帮助预测物理上合理的变形，而没有任何其他平滑惩罚。基于使用834对独立验证地标的交叉验证实验，所提出的对抗正则化配准实现了6.3 mm的目标配准误差，这显著低于其他几种正则化方法。
2018-05-27 cs.CV cs.LG stat.ML
Epsilon Consistent Mixup: Structural Regularization with an Adaptive Consistency-Interpolation Tradeoff
Pennsylvania State University（宾夕法尼亚州立大学）；Sant’Anna School of Advanced Studies（圣安娜高等研究院）
在本文中，我们提出了$ε$ -一致性混淆（$ε$ μ）。$ε$ mu是一种基于数据的结构正则化技术，它通过在两者之间进行简单的自适应权衡，将Mixup的线性插值与Mixup方向的一致性正则化相结合。这种一致性和插值的可学习组合在整个特征空间的响应演化上引入了更灵活的结构，并被证明可以提高SVHN和CIFAR 10基准数据集上的半监督分类准确性，在最具挑战性的低标签可用性场景中获得最大收益。比较$ε$ mu和Mixup的实证研究，并提供深入了解$ε$ mu的有效性背后的机制。特别是，发现$ε$ mu比Mixup产生更准确的合成标记和更有信心的预测。
2021-09-30 cs.LG stat.AP stat.ME
RegMixMatch: Optimizing Mixup Utilization in Semi-Supervised Learning
Beijing Jiaotong University（北京交通大学）；Communication University of China（中国传媒大学）
针对Mixup损害人工标签纯度及阈值策略限制未标记样本效用的问题，提出RegMixMatch框架，通过半监督RegMixup和类感知Mixup技术优化高、低置信度样本的Mixup使用，提升SSL性能。
2025-04-17 cs.CV cs.LG stat.ML
Fast Rates for Semi-Supervised Learning via Data-Augmentation Graph Regularization
McGill University（麦吉尔大学）；Mila, Quebec AI Institute（魁北克人工智能研究所米拉开创）
研究自监督学习标记样本效率缺乏理论解释的问题，通过将留一法稳定性工具用于数据增强图，证明快速转导速率\(O(1/n_L)\)，明确增强质量，解释准确率与标签数量曲线，且使用简化损失恢复理想特征。
2026-07-16 cs.LG math.ST stat.ML
