arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2408.16482cs.CL
收藏

自我对齐:通过上下文学习提升大语言模型文化价值观对齐

Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning

University of Amsterdam(阿姆斯特丹大学)

Rochelle Choenni, Ekaterina Shutova

AI总结:

本文提出一种结合上下文学习与人类调查数据的简单方法,在推理时调整大语言模型响应,以提升其在多种语言和文化背景下的文化价值观对齐,并在5个模型中验证了有效性。

摘要:

提升大语言模型(LLMs)与其编码的文化价值观之间的对齐已成为一个日益重要的课题。在本工作中,我们研究是否可以在推理时利用已有的关于文化价值观的知识来调整模型对文化价值观探针的响应。我们提出了一种简单且廉价的方法,该方法结合了上下文学习(ICL)和人类调查数据,并表明我们能够在5个模型中提升文化价值观的对齐程度,这些模型包括以英语为中心和多语言的大语言模型。重要的是,我们表明我们的方法在英语以外的测试语言中也可能有用,并且能够提升与一系列文化多样性国家相对应的文化价值观的对齐。

英文摘要:

Improving the alignment of Large Language Models (LLMs) with respect to the cultural values that they encode has become an increasingly important topic. In this work, we study whether we can exploit existing knowledge about cultural values at inference time to adjust model responses to cultural value probes. We present a simple and inexpensive method that uses a combination of in-context learning (ICL) and human survey data, and show that we can improve the alignment to cultural values across 5 models that include both English-centric and multilingual LLMs. Importantly, we show that our method could prove useful in test languages other than English and can improve alignment to the cultural values that correspond to a range of culturally diverse countries.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑