在道德推理语言模型中诱导类人偏差
Inducing Human-like Biases in Moral Reasoning Language Models
AI总结：
本文研究在道德推理行为数据和fMRI脑数据上微调多个大语言模型能否提升其与人类脑活动的对齐度（BrainScore），发现更大模型在两个指标上表现更好，但微调后BrainScore未显著提高。
摘要：
在这项工作中，我们研究了对道德推理进行微调的大语言模型（LLMs）与执行相同任务的人类行为数据和/或脑数据之间的对齐（BrainScore）。我们还探索了在人类执行道德推理的功能磁共振成像（fMRI）数据上微调多个LLMs是否能够提高BrainScore。我们在来自ETHICS基准[Hendrycks et al., 2020]的道德推理行为数据、来自Koster-Hale et al. [2013]的道德推理fMRI数据或两者之上，对多个LLMs（BERT、RoBERTa、DeBERTa）进行了微调。我们同时研究了ETHICS基准上的准确率以及模型激活与fMRI数据之间的BrainScore。虽然更大的模型通常在这两个指标上表现更好，但BrainScore在微调后并未显著提高。
英文摘要：
In this work, we study the alignment (BrainScore) of large language models (LLMs) fine-tuned for moral reasoning on behavioral data and/or brain data of humans performing the same task. We also explore if fine-tuning several LLMs on the fMRI data of humans performing moral reasoning can improve the BrainScore. We fine-tune several LLMs (BERT, RoBERTa, DeBERTa) on moral reasoning behavioral data from the ETHICS benchmark [Hendrycks et al., 2020], on the moral reasoning fMRI data from Koster-Hale et al. [2013], or on both. We study both the accuracy on the ETHICS benchmark and the BrainScores between model activations and fMRI data. While larger models generally performed better on both metrics, BrainScores did not significantly improve after fine-tuning.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
