设计自然语言接口历来需要收集监督数据,以将用户请求转化为精心设计的意图表示。这需要枚举并标注长尾的用户请求,极具挑战性。同时,大型语言模型(LLMs)编码了关于目标和计划的知识,可帮助会话助手解释需要众多步骤才能完成的用户请求。我们引入了一种方法,通过分层自然语言分解和解释的过程,处理来自用户的包含复杂意图的话语。该方法利用预训练语言模型将复杂话语分解为一系列更简单的自然语言步骤,并使用专为该接口设计的language-to-program模型解释每个步骤。为测试该方法,我们收集并发布了DeCU——一个用于评估复杂话语分解(Decomposition of Complex Utterances)的新NL-to-program基准。实验表明,所提方法在几乎没有复杂训练数据的情况下即可解释复杂话语,同时优于标准的少样本提示方法。
英文摘要:
Designing natural language interfaces has historically required collecting supervised data to translate user requests into carefully designed intent representations. This requires enumerating and labeling a long tail of user requests, which is challenging. At the same time, large language models (LLMs) encode knowledge about goals and plans that can help conversational assistants interpret user requests requiring numerous steps to complete. We introduce an approach to handle complex-intent-bearing utterances from a user via a process of hierarchical natural language decomposition and interpretation. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of simpler natural language steps and interprets each step using the language-to-program model designed for the interface. To test our approach, we collect and release DeCU -- a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.
Non-Sentential Utterances in Dialogue: Experiments in Classification and Interpretation
University of Oslo(奥斯陆大学)
非正式话语是指缺乏完整的正式形式,但其意义可以从对话语境中推断出来的话语,如“OK”、“Where?“,“可能在他的公寓里”。非正式话语是对话中常见的现象,其解释与语境密切相关,因此非正式话语的解释是计算语言学的一个重要问题。对非言语单位的解释是从其形式和对话语境中提取其全部语义内容的任务。本论文的前半部分致力于NSU分类任务。我们的工作建立在Fernández et al.(2007)的基础上,后者提出了一系列关于NSU分类的机器学习实验。我们扩展了他们的方法,结合了新的功能和半监督学习技术。本论文的实证结果显示,与最先进的分类性能相比,该方法有了适度但显著的改进。连续的,但独立的,问题是如何推断出一个适当的语义表示,这样的NSU的对话上下文的基础上。Fernández(2006)在基于记录的类型论(TTR)的基础上,用“解析规则”形式化了这一任务。我们的工作重点是重新实现Fernández(2006)的决议规则与对话状态的概率帐户。概率规则形式主义Lison(2014)特别适合这项任务,因为与Ginzburg(2012)和Fernández(2006)开发的框架类似,它涉及对对话状态变量的更新规则的规范,以捕捉对话的动态。然而,概率规则也可以对概率知识进行编码,从而在NSU解析过程中提供对模糊性的原则性说明。
Evidence and Intervention: A Coupled Active-Inference Extension of Rational Speech Act Models
Seoul National University(首尔国立大学);McGovern Medical School(麦戈文医学院);UTHealth(德克萨斯大学休斯顿健康科学中心);Texas Institute for Restorative Neurotechnologies(德克萨斯修复性神经技术研究所)
Putting a Spin on Language: A Quantum Interpretation of Unary Connectives for Linguistic Applications
Institute for Theoretical Physics(理论物理研究所);Center for Complex Systems Studies(复杂系统研究中心);Utrecht University(乌得勒支大学);Utrecht Institute of Linguistics OTS(乌得勒支语言学研究所OTS)