TIC:利用大语言模型与逻辑表示进行“文本到规划”的翻译-推理-编译方法
TIC: Translate-Infer-Compile for accurate "text to plan" using LLMs and Logical Representations
AI总结:
TIC 方法通过“翻译-推理-编译”三阶段流程,让 LLM 仅生成逻辑中间表示,再由逻辑推理器补充信息并编译为 PDDL,从而显著提升自然语言规划任务中任务 PDDL 生成的准确率。
摘要:
我们研究为给定的自然语言规划任务请求生成规划的问题。一方面,大语言模型(LLM)在自然语言处理方面表现出色,但在规划方面表现不佳。另一方面,经典规划工具擅长规划任务,但需要以结构化语言(如规划域定义语言 PDDL)形式输入。我们通过使用 LLM 生成规划任务请求的 PDDL 表示(任务 PDDL),随后使用经典规划器计算规划,从而结合两种技术的优势。与以往直接使用 LLM 生成任务 PDDL 的方法不同,我们的方法包括:(a)翻译(translate):仅使用 LLM 生成自然语言任务描述的逻辑可解释中间表示;(b)推理(infer):使用逻辑推理器(目前为回答集编程求解器)从中间表示中推导出额外的逻辑依赖信息;(c)编译(compile):从基础信息和推理得到的信息生成目标任务 PDDL。我们观察到,仅让 LLM 输出中间表示能显著减少 LLM 错误。因此,TIC 方法在至少一个 LLM 上,在我们评估数据集的全部七个领域中都实现了任务 PDDL 生成的高准确率。
英文摘要:
We study the problem of generating plans for given natural language planning task requests. On one hand, LLMs excel at natural language processing but do not perform well on planning. On the other hand, classical planning tools excel at planning tasks but require input in a structured language such as the Planning Domain Definition Language (PDDL). We leverage the strengths of both the techniques by using an LLM for generating the PDDL representation (task PDDL) of planning task requests followed by using a classical planner for computing a plan. Unlike previous approaches that use LLMs for generating task PDDLs directly, our approach comprises of (a) translate: using an LLM only for generating a logically interpretable intermediate representation of natural language task description, (b) infer: deriving additional logically dependent information from the intermediate representation using a logic reasoner (currently, Answer Set Programming solver), and (c) compile: generating the target task PDDL from the base and inferred information. We observe that using an LLM to only output the intermediate representation significantly reduces LLM errors. Consequently, TIC approach achieves, for at least one LLM, high accuracy on task PDDL generation for all seven domains of our evaluation dataset.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。