使用大型语言模型模拟任务导向对话系统中的用户多样性
Simulating User Diversity in Task-Oriented Dialogue Systems using Large Language Models
AI总结：
本文提出基于LLM的任务导向对话用户模拟框架，利用GPT-4o与GPT-o1生成多样化画像并开展多轮交互，分析其多样性、一致性与偏见。
摘要：
在本研究中，我们探索了大型语言模型（LLM）在生成合成用户以及模拟用户与任务导向对话系统进行对话方面的应用，并给出了详细结果及其分析。我们提出了一种全面而新颖的用户模拟技术方法，该方法使用LLM创建多样化的用户画像、设定目标、参与多轮对话，并评估对话是否成功。我们采用两个专有LLM，即GPT-4o和GPT-o1（Achiam等人，2023），生成具有异质性的用户画像库，其特征包括不同的人口统计信息、多种用户目标、不同的对话风格、初始知识水平、兴趣以及对话目的。我们对LLM生成的用户画像进行了详细分析，以评估这些由LLM生成的用户模拟中的多样性、一致性和潜在固有偏见。我们发现，GPT-o1在大多数用户属性上生成了更具异质性的用户分布，而GPT-4o生成的用户属性则更为偏斜。随后，生成的用户画像集合被用于通过与任务导向对话系统交互来模拟对话会话。
英文摘要：
In this study, we explore the application of Large Language Models (LLMs) for generating synthetic users and simulating user conversations with a task-oriented dialogue system and present detailed results and their analysis. We propose a comprehensive novel approach to user simulation technique that uses LLMs to create diverse user profiles, set goals, engage in multi-turn dialogues, and evaluate the conversation success. We employ two proprietary LLMs, namely GPT-4o and GPT-o1 (Achiam et al., 2023), to generate a heterogeneous base of user profiles, characterized by varied demographics, multiple user goals, different conversational styles, initial knowledge levels, interests, and conversational objectives. We perform a detailed analysis of the user profiles generated by LLMs to assess the diversity, consistency, and potential biases inherent in these LLM-generated user simulations. We find that GPT-o1 generates more heterogeneous user distribution across most user attributes, while GPT-4o generates more skewed user attributes. The generated set of user profiles are then utilized to simulate dialogue sessions by interacting with a task-oriented dialogue system.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
