This paper provides a roadmap that explores the question of how to imbue learning agents with the ability to understand and generate contextually relevant natural language in service of achieving a goal. We hypothesize that two key components in creating such agents are interactivity and environment grounding, shown to be vital parts of language learning in humans, and posit that interactive narratives should be the environments of choice for such training these agents. These games are simulations in which an agent interacts with the world through natural language -- "perceiving", "acting upon", and "talking to" the world using textual descriptions, commands, and dialogue -- and as such exist at the intersection of natural language processing, storytelling, and sequential decision making. We discuss the unique challenges a text games' puzzle-like structure combined with natural language state-and-action spaces provides: knowledge representation, commonsense reasoning, and exploration. Beyond the challenges described so far, progress in the realm of interactive narratives can be applied in adjacent problem domains. These applications provide interesting challenges of their own as well as extensions to those discussed so far. We describe three of them in detail: (1) evaluating AI system's commonsense understanding by automatically creating interactive narratives; (2) adapting abstract text-based policies to include other modalities such as vision; and (3) enabling multi-agent and human-AI collaboration in shared, situated worlds.
Aligning to Social Norms and Values in Interactive Narratives
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
我们专注于创建代理，在互动叙事或基于文本的游戏中与社会有益的规范和价值观保持一致-环境中，代理通过自然语言感知并与世界互动。这种交互式代理通常通过强化学习进行训练，以优化任务性能，即使这种奖励可能导致违反社会规范的代理行为-对代理本身或环境中的其他实体造成伤害。社会价值对齐是指创造行为符合特定背景和人群预期道德和社会规范的代理人-在我们的情况下，它意味着代理人的行为方式对自己和他人的危害较小，更有益。我们建立在Jiminy Cricket基准（Hendrycks et al. 2021）的基础上，这是一组25个注释的交互式叙述，包含数千个道德上突出的场景，涵盖了从盗窃和身体伤害到利他主义的一切。我们引入GALAD（游戏-价值对齐通过行动蒸馏）代理，它使用专门训练的语言模型中存在的社会常识知识，根据上下文将其动作空间限制为仅与社会有益价值对齐的那些动作。一项实验研究表明，GALAD代理有效地做出决策，足以将最先进的任务性能提高4%，同时与强大的当代价值对齐方法相比，将社会有害行为的频率降低25%。
AI Stories: An Interactive Narrative System for Children
The University of Antwerp（安特卫普大学）
AI Stories是一个建议的互动对话系统，让儿童通过对话共同创造叙事世界。在接下来的三年里，该系统将在儿科病房内开发和测试，在那里它提供了教育和游戏之间的差距有用的资源。讲故事和编故事是语言游戏的一个基本组成部分，它的健谈和无意义的品质是很重要的;因此，自动化系统提供的开场白对儿童是有益的。在本文中，我将介绍这个项目的现状，在其更多的实验和一般的幌子。从概念上讲，通过对话讲故事涉及到故事的预印本解释，超越了静态和线性的媒介，在那里故事是表演的，时间的和社会的。
Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
University of Macau（澳门大学）；Westlake University（西湖大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Cambridge（剑桥大学）；University of Aberdeen（阿伯丁大学）
Situated Dialogue Learning through Procedural Environment Generation
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（艾伦人工智能研究所）
我们教目标驱动的代理交互式的行为和说话，在所处的环境中，通过训练生成的campaums。我们的代理人在LIGHT（Urbanek et al. 2019）中运行-这是一款大型众包幻想文本冒险游戏，其中代理人通过文本自然语言感知世界并与世界互动。在这种环境中，目标采取基于角色的任务形式，包括人物角色和动机。我们通过学习程序化地生成额外的新文本世界和任务来增强LIGHT，以创建一个稳步增加难度的课程，用于训练代理实现这些目标。特别是，我们根据原始训练分布中任务的稀有性来衡量课程难度--一个更容易的环境是一个更有可能在未增强的数据集中找到的环境。一项消融研究表明，这种从分布尾部学习的方法可以显著提高泛化能力，这是通过对从未见过的任务的zero-shot性能来衡量的。
Mars: Situated Inductive Reasoning in an Open-World Environment
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；BIGAI（北京智源人工智能研究院）；State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；Department of Automation, Tsinghua University（清华大学自动化系）
Shared Worlds, Private Minds: Structured Memory for Long-Form Writing as World Creation
Southeast University（东南大学）；Beijing Zhongguancun Academy（北京中关村学院）；Duke University（杜克大学）；East China Normal University（华东师范大学）；Renmin University of China（中国人民大学）；Communication University of China（中国传媒大学）；Jiangsu Second Normal University（江苏第二师范学院）；ZhuiWen Technology Co., Ltd.（追闻科技有限公司）
PerspAct: Enhancing LLM Situated Collaboration Skills through Perspective Taking and Active Vision
University of Milan-Bicocca（米兰-比科卡大学）；University of Naples Federico II（那不勒斯费德里科二世大学）；Oversonic Robotics（Oversonic机器人公司）；University of Essex（埃塞克斯大学）；TUM School of Social Sciences and Technology（慕尼黑技术大学社会科学与技术学院）
Agentic Publications: An LLM-Driven Framework for Interactive Scientific Publishing, Supplementing Traditional Papers with AI-Powered Knowledge Systems
Elettra Sincrotrone Trieste SCpA（的里雅斯特同步辐射光源公司）；University of Trieste（的里雅斯特大学）
HAMLET: A Hierarchical and Adaptive Multi-Agent Framework for Live Embodied Theatrics
East China University of Science and Technology（东华大学）；The University of Sydney（悉尼大学）；Institute of Artificial Intelligence (TeleAI)（人工智能研究所）；China Telecom（中国电信）；Datawhale Org（Datawhale组织）；Independent Researcher（独立研究员）
