arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2510.03469cs.AIcs.LO

连接大语言模型规划代理与形式方法:计划验证的案例研究

Bridging LLM Planning Agents and Formal Methods: A Case Study in Plan Verification

J.P. Morgan AI Research(摩根大通人工智能研究)

Keshav Ramani, Vali Tawosi, Salwa Alamir, Daniel Borrajo

AI总结:

本文提出一种利用大语言模型将自然语言计划转换为形式化逻辑并进行验证的框架,展示了GPT-5在计划验证中的高准确率及形式化表示的生成能力。

摘要:

我们介绍了一个新的框架,用于评估自然语言计划与其预期行为之间的对齐情况,通过将它们转换为克里普克结构和线性时序逻辑(LTL)来实现,使用大型语言模型(LLMs)进行模型检查。我们系统地评估了该框架在PlanBench计划验证数据集简化版本上的表现,并报告了准确率、精确率、召回率和F1分数等指标。我们的实验表明,GPT-5在分类性能上表现出色(F1得分为96.3%),同时几乎总是生成语法完美的形式化表示,这些表示可以作为保证。然而,生成语义完美的形式化模型仍是一个需要未来探索的领域。

英文摘要:

We introduce a novel framework for evaluating the alignment between natural language plans and their expected behavior by converting them into Kripke structures and Linear Temporal Logic (LTL) using Large Language Models (LLMs) and performing model checking. We systematically evaluate this framework on a simplified version of the PlanBench plan verification dataset and report on metrics like Accuracy, Precision, Recall and F1 scores. Our experiments demonstrate that GPT-5 achieves excellent classification performance (F1 score of 96.3%) while almost always producing syntactically perfect formal representations that can act as guarantees. However, the synthesis of semantically perfect formal models remains an area for future exploration.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑