《龙与地下城》作为人工智能的对话挑战
Dungeons and Dragons as a Dialog Challenge for Artificial Intelligence
AI总结：
本文将《龙与地下城》构建为对话系统挑战，创建大规模游戏数据集并训练大语言模型生成角色内或角色外对话，同时评估其游戏状态预测能力及其对对话合理性的影响。
摘要：
人工智能研究者已将《龙与地下城》（D&D）作为一个挑战性问题，用于测试系统在各种语言相关能力上的表现。在本文中，我们将D&D具体界定为一个对话系统挑战，其任务包括：根据游戏中的对话历史生成下一轮对话，以及根据对话历史预测游戏状态。我们构建了一个游戏对局数据集，包含近900场游戏，总计7,000名玩家、800,000轮对话、500,000次掷骰和5,800万个单词。我们自动为该数据标注了关于游戏进程的部分状态信息。我们训练了一个大语言模型（LM）来生成下一轮游戏对话，并以不同信息作为条件输入。该语言模型可以以特定角色的身份进行回应，也可以以主持游戏的主持人——即地下城主（DM）——的身份进行回应。模型被训练为生成两种类型的对话：一种是角色内对话（在虚构世界中进行角色扮演），另一种是角色外对话（讨论规则或策略）。我们进行了人工评估，以确定哪些因素使生成的输出既合理又有趣。我们还进行了自动评估，以确定模型在给定历史信息的情况下预测游戏状态的能力，并考察了对游戏状态的跟踪在多大程度上提升了模型生成合理对话输出的能力。
英文摘要：
AI researchers have posited Dungeons and Dragons (D&D) as a challenge problem to test systems on various language-related capabilities. In this paper, we frame D&D specifically as a dialogue system challenge, where the tasks are to both generate the next conversational turn in the game and predict the state of the game given the dialogue history. We create a gameplay dataset consisting of nearly 900 games, with a total of 7,000 players, 800,000 dialogue turns, 500,000 dice rolls, and 58 million words. We automatically annotate the data with partial state information about the game play. We train a large language model (LM) to generate the next game turn, conditioning it on different information. The LM can respond as a particular character or as the player who runs the game--i.e., the Dungeon Master (DM). It is trained to produce dialogue that is either in-character (roleplaying in the fictional world) or out-of-character (discussing rules or strategy). We perform a human evaluation to determine what factors make the generated output plausible and interesting. We further perform an automatic evaluation to determine how well the model can predict the game state given the history and examine how well tracking the game state improves its ability to produce plausible conversational output.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
