arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2405.11212cs.CL
收藏

使用 CNN 和训练动态进行自动化文本识别

Automated Text Identification Using CNN and Training Dynamics

University of Bucharest(布加勒斯特大学);Faculty of Mathematics and Computer Science(数学与计算机科学学院)

Claudiu Creanga, Liviu Petrisor Dinu

AI总结:

该研究利用 Data Maps 从置信度、可变性和正确性分析 AuTexTification 数据集的训练动态,并通过经典 CNN 验证仅使用模糊样本子集训练可提升分布外泛化。

摘要:

我们使用 Data Maps 对 AuTexTification 数据集进行建模和特征刻画。这提供了关于各个样本在跨 epoch 训练期间行为(训练动态)的洞察。我们从置信度、可变性和正确性三个维度刻画样本。这表明存在三个区域:易学样本、模糊样本和难学样本。我们使用经典 CNN 架构,发现仅在模糊样本子集上训练模型可提升模型的分布外泛化能力。

英文摘要:

We used Data Maps to model and characterize the AuTexTification dataset. This provides insights about the behaviour of individual samples during training across epochs (training dynamics). We characterized the samples across 3 dimensions: confidence, variability and correctness. This shows the presence of 3 regions: easy-to-learn, ambiguous and hard-to-learn examples. We used a classic CNN architecture and found out that training the model only on a subset of ambiguous examples improves the model's out-of-distribution generalization.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑