HealthContradict: Evaluating Biomedical Knowledge Conflicts in Language Models
HealthContradict: 评估语言模型在生物医学知识中的矛盾
机构 * Faculty of Medicine, University of Geneva(日内瓦大学医学院) ; Department of Biomedical Informatics, Yong Loo Lin School of Medicine, National University of Singapore(新加坡国立大学 Yong Loo Lin 医学院生物医学信息学系) ; Department of Biostatistics & Bioinformatics, Duke University Artificial Intelligence Institute, National University of Singapore(新加坡国立大学人工智能研究所生物统计学与生物信息学系)
专题命中 推理评测 :reasoning(abstract);分类 cs.CL、cs.AI
AI总结 HealthContradict数据集评估语言模型在处理生物医学知识矛盾时的推理能力,揭示模型在正确上下文利用与错误上下文抵抗方面的表现。