arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2410.11745cs.CLcs.HC

带有态度的Persona:控制LLMs以实现多样化数据标注

Personas with Attitudes: Controlling LLMs for Diverse Data Annotation

GESIS - Leibniz Institute for the Social Sciences(GESIS-莱布尼茨社会科学研究所);The University of Queensland(昆士兰大学)

Leon Fröhling, Gianluca Demartini, Dennis Assenmacher

AI总结:

本文提出通过向LLM提示注入多样化persona描述来个性化大型语言模型,以增强数据标注的多样性与控制力,实验证明该方法能产生更多样、可控且可重复的标注,适用于毒性检测等主观NLP任务。

摘要:

我们提出了一种通过个性化大型语言模型(LLMs)来增强数据标注任务中多样性和控制力的新方法。我们通过两项研究调查了将多样化的persona描述注入LLM提示的影响,探讨了persona是否增加标注多样性,以及单个persona对最终标注的影响是否一致且可控。结果表明,使用persona提示的LLMs比不使用persona提示的LLMs产生更多样化的标注,且这些效果既可控又可重复,使我们的方法成为改进毒性检测等主观NLP任务中数据标注的合适工具。

英文摘要:

We present a novel approach for enhancing diversity and control in data annotation tasks by personalizing large language models (LLMs). We investigate the impact of injecting diverse persona descriptions into LLM prompts across two studies, exploring whether personas increase annotation diversity and whether the impacts of individual personas on the resulting annotations are consistent and controllable. Our results show that persona-prompted LLMs produce more diverse annotations than LLMs prompted without personas and that these effects are both controllable and repeatable, making our approach a suitable tool for improving data annotation in subjective NLP tasks like toxicity detection.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑