arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2406.00627cs.CL
收藏

角色扮演提示框架:生成与评估

Role-playing Prompt Framework: Generation and Evaluation

Zhejiang Gongshang University(浙江工商大学);Sussex Artificial Intelligence Institute(萨塞克斯人工智能研究院)

Xun Liu, Zhengwei Ni

AI总结:

针对角色扮演场景中手动收集角色脚本数据、评估模型性能资源消耗大的问题,本文提出基于提示的框架,利用GPT生成角色扮演对话数据集并评估性能,还引入Rouge-L指标提供额外量化衡量,验证了该生成与评估方式的有效性。

摘要:

大语言模型(LLMs)在自然语言生成、理解用户指令以及模拟类人语言使用方面展现出出色的能力,这引发了人们对其在角色扮演场景中应用的极大兴趣。然而,手动收集角色特定的脚本数据以及评估模型性能是资源密集型的过程。本文提出了一种基于提示的框架,旨在利用GPT的能力生成角色扮演对话数据集并评估角色扮演性能。为了验证基于GPT的生成与评估的有效性,我们进一步引入了面向召回率的Rouge-L指标,为性能提供了额外的量化衡量标准。

英文摘要:

Large language models (LLMs) exhibit impressive proficiency in natural language generation, understanding user instructions, and emulating human-like language use, which has led to significant interest in their application to role-playing scenarios. However, the manual collection of role-specific script data and the evaluation of model performance are resource-intensive processes. This paper introduces a prompt-based framework designed to leverage GPT's capabilities for the generation of role-playing dialogue datasets and the evaluation of role-playing performance. To validate the effectiveness of the GPT-based generation and evaluation, we further incorporate the recall-oriented Rouge-L metric, providing an additional quantitative measure of performance.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑