Non-goal oriented dialog agents (i.e. chatbots) aim to produce varying and engaging conversations with a user; however, they typically exhibit either inconsistent personality across conversations or the average personality of all users. This paper addresses these issues by controlling an agent's persona upon generation via conditioning on prior conversations of a target actor. In doing so, we are able to utilize more abstract patterns within a person's speech and better emulate them in generated responses. This work introduces the Generative Conversation Control model, an augmented and fine-tuned GPT-2 language model that conditions on past reference conversations to probabilistically model multi-turn conversations in the actor's persona. We introduce an accompanying data collection procedure to obtain 10.3M conversations from 6 months worth of Reddit comments. We demonstrate that scaling model sizes from 117M to 8.3B parameters yields an improvement from 23.14 to 13.14 perplexity on 1.7M held out Reddit conversations. Increasing model scale yielded similar improvements in human evaluations that measure preference of model samples to the held out target distribution in terms of realism (31% increased to 37% preference), style matching (37% to 42%), grammar and content quality (29% to 42%), and conversation coherency (32% to 40%). We find that conditionally modeling past conversations improves perplexity by 0.47 in automatic evaluations. Through human trials we identify positive trends between conditional modeling and style matching and outline steps to further improve persona control.
An End-to-End Goal-Oriented Dialog System with a Generative Natural Language Response Generation
Karlsruhe Institute of Technology, Institute for Anthropomatics and Robotics（卡尔斯鲁厄理工学院（Karlsruhe Institute of Technology），人机工程与机器人研究所（Institute for Anthropomatics and Robotics））；Karlsruhe, Germany（德国卡尔斯鲁厄（注意：这是地址，根据规则不应提取，此处可能是原数据错误，正确机构仅为前半部分））
Building Markovian Generative Architectures over Pretrained LM Backbones for Efficient Task-Oriented Dialog Systems
Tsinghua University（清华大学）；China Mobile Research Institute（中国移动研究院）；Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute（清华大学-中国移动通信集团有限公司联合研究院）
Alquist 4.0: Towards Social Intelligence Using Generative Models and Dialogue Personalization
Faculty of Electrical Engineering, CTU Prague（布拉格捷克理工大学电气工程学院）；CTU Medialab（布拉格捷克理工大学媒体实验室）；DTU Compute, Technical University of Denmark（丹麦技术大学计算学院）；CIIRC, CTU Prague（布拉格捷克理工大学人工智能、机器人与控制论研究所）
开放域-对话系统Alquist的目标是进行连贯和引人入胜的对话，可以被认为是社会智力的基准之一。该系统的第四个版本是在Alexa Prize Socialbot Grand Challenge 4中开发的，带来了两个主要创新。第一个解决连贯性，第二个解决对话的连贯性。对于创新的一致性，我们提出了一种新的混合方法相结合的手设计的反应和生成模型。所提出的方法利用手工设计的对话，域外检测，和神经反应发生器。手工设计的对话引导用户完成高质量的对话流程。域外检测识别出用户偏离了预定义的流，并防止系统产生可能对意外的用户输入没有意义的脚本响应。最后，神经响应生成器基于对话的上下文生成响应，该响应正确地对意外的用户输入做出反应，并将对话返回到手动设计的对话的边界。我们提出的创新参与，主要是受到著名的探索-开发困境的启发。为了与对话伙伴进行一次引人入胜的对话，你必须了解他们的偏好和兴趣--探索。此外，为了吸引合作伙伴，我们必须利用我们已经学到的知识-剥削。在这项工作中，我们提出的原则和内部运作的开放域的对话系统Alquist开发的Alexa奖Socialbot大挑战4和实验，我们已经进行了评估。
A Generative User Simulator with GPT-based Architecture and Goal State Tracking for Reinforced Multi-Domain Dialog Systems
Tsinghua University（清华大学）；Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute（清华大学-中国移动通信集团有限公司联合研究院）；China Mobile Research Institute（中国移动研究院）
最近，由于模型在现实世界中的部署越来越多，在测试时直接识别域外（OOD）输入示例的任务重新引起了人们的兴趣。在这项工作中，我们专注于OOD检测自然语言句子输入到基于任务的对话系统。我们的发现有三个方面：首先，我们策划并发布ROSTD（面向任务的对话框中的真实域外句子）-这是一个包含4K OOD示例的数据集，用于公开提供的数据集（Schuster et al. 2019）。与现有的通过保留类的子集来合成OOD示例的设置相反，我们的示例是由注释者使用先验指令来创作的，这些先验指令相对于现有数据集中的句子是域外的。第二，我们探讨似然比为基础的方法作为一种替代目前流行的范式。具体来说，我们重新制定和应用这些方法的自然语言输入。我们发现它们在所有数据集上都与后者相匹配或优于后者，并且在非人工OOD基准测试（如我们的数据集）上有较大的改进。我们的消融验证，特别是使用似然比，而不是普通的可能性是必要的区分OOD和域内数据。第三，我们提出学习生成分类器并计算用于OOD检测的边缘似然（比率）。这允许我们使用原则可能性，同时利用训练时间标签。我们发现，这种方法优于简单的似然（比）为基础的和其他先前的方法。迄今为止，我们是第一个调查使用生成分类器的OOD检测在测试时。
Will I Sound Like Me? Improving Persona Consistency in Dialogues through Pragmatic Self-Consciousness
Seoul National University（首尔国立大学）
我们探讨的任务，提高人物角色的一致性的对话代理。最近处理一致性的模型通常使用额外的自然语言推理（NLI）标签进行训练，或者将训练过的额外模块附加到生成代理以保持一致性。然而，这种额外的标签和培训可能是苛刻的。此外，我们发现，即使是表现最好的基于角色的代理是不敏感的矛盾的话。受社会认知和语用学的启发，我们通过一个假想的听众赋予现有的对话主体公共自我意识。我们的方法基于理性言语行为框架（Frank and Goodman，2012），可以强制对话代理避免说出矛盾。我们通过学习分心物选择来进一步扩展框架，这通常是手动或随机完成的。关于对话NLI的结果（Welleck等人，2019）和PersonaChat（Zhang et al.，2018）数据集表明，我们的方法减少了矛盾，提高了现有对话模型的一致性。此外，我们表明，它可以推广到提高上下文一致性超越人物角色的对话。
Multimodal Dialog Systems with Dual Knowledge-enhanced Generative Pretrained Language Model
School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
How To Evaluate Your Dialogue System: Probe Tasks as an Alternative for Token-level Evaluation Metrics
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；Facebook AI Research (FAIR)（Facebook 人工智能研究院（FAIR））；Canada CIFAR AI Chair（加拿大 CIFAR 人工智能讲席教授）；École Polytechnique de Montréal（蒙特利尔理工学院）
NTPP: Generative Speech Language Modeling for Dual-Channel Spoken Dialogue via Next-Token-Pair Prediction
Tencent（腾讯）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Shenzhen University（深圳大学）
DialogUSR: Complex Dialogue Utterance Splitting and Reformulation for Multiple Intent Detection
Peking University（北京大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Cloud Xiaowei（腾讯云小微）
