arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.02725cs.CL
收藏

利用期刊影响力指标进行生物医学领域自适应的预训练数据选择

Pre-training data selection for biomedical domain adaptation using journal impact metrics

Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);Laboratoire Interdisciplinaire des Sciences du Numérique(数字跨学科科学实验室)

Mathieu Laï-king, Patrick Paroubek

AI总结:

本文研究用期刊影响力指标筛选PubMed预训练数据对生物医学领域BERT模型的影响,发现剪枝不高效,但减少摘要数量并保持训练步数不必然降低模型性能。

摘要:

领域自适应是自然语言处理(NLP)中一种广泛使用的方法,用于提升语言模型在特定领域内的性能。该方法在生物医学领域尤为常见,因为该领域定期发表大量科学文章。PubMed作为一个重要的文本语料库,在生物医学领域中被频繁使用。本研究的主要目标是探究使用特定的科学论文质量指标来精炼预训练数据集是否能够提升所得到模型的性能。为此,我们采用两种简单的期刊影响力指标,并在完整PubMed训练集的多个不同子集上对BERT进行持续预训练实验,随后在BLURB基准的生物医学语言理解任务上评估所得到的模型。我们的结果表明,使用期刊影响力指标进行剪枝并不高效。但我们也表明,使用更少的摘要进行预训练(但保持相同的训练步数)并不一定会降低所得到模型的性能。

英文摘要:

Domain adaptation is a widely used method in natural language processing (NLP) to improve the performance of a language model within a specific domain. This method is particularly common in the biomedical domain, which sees regular publication of numerous scientific articles. PubMed, a significant corpus of text, is frequently used in the biomedical domain. The primary objective of this study is to explore whether refining a pre-training dataset using specific quality metrics for scientific papers can enhance the performance of the resulting model. To accomplish this, we employ two straightforward journal impact metrics and conduct experiments by continually pre-training BERT on various subsets of the complete PubMed training set, we then evaluate the resulting models on biomedical language understanding tasks from the BLURB benchmark. Our results show that pruning using journal impact metrics is not efficient. But we also show that pre-training using fewer abstracts (but with the same number of training steps) does not necessarily decrease the resulting model's performance.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑