arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2603.20264cs.PLcs.LO
收藏

LLMs能否进行合成?

Can LLMs Perform Synthesis?

Northeastern University(东北大学)

Derek Egolf, Yuhao Zhou, Stavros Tripakis

AI总结:

本文比较了LLMs与符号工具在程序合成任务中的表现,发现符号工具在多个领域均优于Qwen和GPT-5,且执行时间更短。

摘要:

LLM在程序合成任务中与符号工具的比较表明,符号工具在多个领域均优于Qwen和GPT-5,并且执行时间更短。我们调查了这个问题在几个合成领域中的表现:LTL反应合成、语法引导合成、分布式协议合成和递归函数合成。对于每个领域,我们选择了一个最先进的符号工具,并将其与一个开源的320亿参数版本的Qwen LLM和一个专有的前沿LLM GPT-5进行比较。我们将Qwen与符号验证器结合,并反复运行,直到它产生一个通过验证器的解决方案,或者在超时前停止,对于每个基准测试。我们对每个基准测试运行一次GPT-5,并验证生成的输出。在所有领域中,符号工具解决的基准测试比Qwen多,并且在GPT-5上要么表现更好,要么与之相当。在执行时间方面,符号工具在所有领域都优于GPT-5,并且在Qwen上要么表现更好,要么非常接近,尽管LLM在显著更强大的硬件上运行。

英文摘要:

How do LLMs compare with symbolic tools on program synthesis tasks? We investigate this question on several synthesis domains: LTL reactive synthesis, syntax-guided synthesis, distributed protocol synthesis, and recursive function synthesis. For each domain, we choose a state-of-the-art symbolic tool and compare it to an open-source, 32 billion parameter version of the Qwen LLM and the proprietary, frontier LLM GPT-5. We couple Qwen with a symbolic verifier and run it repeatedly until it either produces a solution that passes the verifier, or until there is a timeout, for each benchmark. We run GPT-5 once per benchmark and verify the generated output. In all domains, the symbolic tools solve more benchmarks than Qwen and either outperform or are about on par with GPT-5. In terms of execution time, the symbolic tools outperform GPT-5 in all domains, and either outperform or are very close to Qwen, despite the fact that the LLMs are run on significantly more powerful hardware.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑