arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2212.01674cs.CVcs.AIcs.LG
收藏

CrossSplit:通过数据划分缓解标签噪声记忆

CrossSplit: Mitigating Label Noise Memorization through Data Splitting

Samsung Advanced Institute of Technology (SAIT)(三星高级技术研究院(SAIT));SAIT AI Lab(三星高级技术研究院人工智能实验室);Mila(米拉研究所);Université de Montreal(蒙特利尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)

Jihye Kim, Aristide Baratin, Yan Zhang, Simon Lacoste-Julien

AI总结:

本文提出 CrossSplit,通过将有标签数据互不相交地划分给一对网络,并结合对等预测的标签纠正与跨划分半监督训练,缓解噪声标签记忆,在多个数据集和噪声率下达到最先进性能。

摘要:

我们研究在存在标签噪声的情况下提升深度学习算法鲁棒性的问题。在现有标签纠正和协同教学方法的基础上,我们提出了一种名为 CrossSplit 的新型训练流程,用于缓解对噪声标签的记忆;该方法使用一对神经网络,分别在有标签数据集的两个互不相交部分上训练。CrossSplit 结合了两个主要组成部分:(i)交叉划分标签纠正。其思想是,由于在一部分数据上训练的模型无法记忆来自另一部分数据的样本-标签对,因此呈现给每个网络的训练标签可以利用其对等网络的预测进行平滑调整;(ii)交叉划分半监督训练。在一部分数据上训练的网络还会使用另一部分的无标签输入。在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 mini-WebVision 数据集上的大量实验表明,我们的方法在很宽的噪声率范围内都能够优于当前最先进方法。

英文摘要:

We approach the problem of improving robustness of deep learning algorithms in the presence of label noise. Building upon existing label correction and co-teaching methods, we propose a novel training procedure to mitigate the memorization of noisy labels, called CrossSplit, which uses a pair of neural networks trained on two disjoint parts of the labelled dataset. CrossSplit combines two main ingredients: (i) Cross-split label correction. The idea is that, since the model trained on one part of the data cannot memorize example-label pairs from the other part, the training labels presented to each network can be smoothly adjusted by using the predictions of its peer network; (ii) Cross-split semi-supervised training. A network trained on one part of the data also uses the unlabeled inputs of the other part. Extensive experiments on CIFAR-10, CIFAR-100, Tiny-ImageNet and mini-WebVision datasets demonstrate that our method can outperform the current state-of-the-art in a wide range of noise ratios.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑