One of the challenges in a task oriented natural language application like the Google Assistant, Siri, or Alexa is to localize the output to many languages. This paper explores doing this by applying machine translation to the English output. Using machine translation is very scalable, as it can work with any English output and can handle dynamic text, but otherwise the problem is a poor fit. The required quality bar is close to perfection, the range of sentences is extremely narrow, and the sentences are often very different than the ones in the machine translation training data. This combination of requirements is novel in the field of domain adaptation for machine translation. We are able to reach the required quality bar by building on existing ideas and adding new ones: finetuning on in-domain translations, adding sentences from the Web, adding semantic annotations, and using automatic error detection. The paper shares our approach and results, together with a distillation model to serve the translation models at scale.
Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；The Hong Kong University of Science and Technology（香港科技大学）
面向任务的对话系统使用四个连接的模块，即，自然语言理解（NLU）、对话状态跟踪（DST）、对话策略（DP）和自然语言生成（NLG）。研究的挑战是用最少的样本学习每个模块（即，考虑到与数据汇集相关的高成本，解决这个问题最常见和最有效的技术是迁移学习，其中大语言模型，无论是在文本或特定于任务的数据上进行预训练，都是在少数样本上进行微调。这些方法需要对每个任务进行微调步骤和一组参数。因此，语言模型，例如GPT-2（Radford et al.，2019）和GPT-3（Brown等人，2020），允许通过用很少的例子启动模型来进行少样本学习。在本文中，我们评估了语言模型在NLU，DST，DP和NLG任务中的启动Few-Shot能力。重要的是，我们强调了这种方法目前的局限性，我们讨论了未来工作的可能影响。
MVP: Multi-task Supervised Pre-training for Natural Language Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Université de Montréal（蒙特利尔大学）；School of Information, Renmin University of China（中国人民大学信息学院）
Template Guided Text Generation for Task-Oriented Dialogue
Google（谷歌）；Google Research（谷歌研究院）
Google Assistant、Amazon Alexa和Apple Siri等虚拟助手使用户能够使用自然语言与Web上的大量服务和API进行交互。在这项工作中，我们研究了两种方法自然语言生成（NLG）使用一个单一的领域独立的模型在大量的API。首先，我们提出了一个模式引导的方法，条件上的模式描述的API在自然语言的生成。我们的第二种方法研究了使用少量的模板，在插槽数量上线性增长，以传达API的语义。为了生成任意时隙组合的话语，首先连接几个简单的模板以给出语义正确但可能不连贯且不合语法的话语。一个预先训练的语言模型随后被用来将其重写成连贯的、自然的文本。通过自动度量和人工评估，我们表明我们的方法在强基线上有所改进，对域外输入具有鲁棒性，并显示出改进的样本效率。
