arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2503.04763cs.LOcs.CLcs.LGcs.PL
收藏

MiniF2F在Rocq中的应用:证明助手间的自动翻译——一个案例研究

MiniF2F in Rocq: Automatic Translation Between Proof Assistants -- A Case Study

IRIF, Université Paris Cité, Inria, CNRS(IRIF、巴黎城市大学、Inria、CNRS);IRIF, Université Paris Cité, CNRS(IRIF、巴黎城市大学、CNRS);DI ENS, PSL University, Inria(ENS巴黎研究院、巴黎综合理工大学、Inria)

Jules Viennot, Guillaume Baudart, Emilio Jesùs Gallego Arias, Marc Lelarge

AI总结:

本研究利用先进LLM将MiniF2F翻译成Rocq,通过多阶段实验实现高精度翻译,成功翻译478个定理,数据集开源。

摘要:

在本工作中,我们利用最先进的LLM进行实验,将MiniF2F翻译成Rocq。翻译任务旨在根据三个来源生成Rocq定理:自然语言描述、Lean形式化和Isabelle形式化。我们分三个阶段进行实验,从基本的一次性提示到包含失败尝试反馈的多轮对话。在每个阶段,我们使用越来越先进的模型进行多次翻译:GPT-4o mini、Claude 3.5 Sonnet、o1 mini和o1。我们成功地将478个定理翻译成488个。数据集是开源的:https://github.com/LLM4Rocq/miniF2F-rocq。

英文摘要:

In this work, we conduct an experiment using state-of-the-art LLMs to translate MiniF2F into Rocq. The translation task focuses on generating a Rocq theorem based on three sources: a natural language description, the Lean formalization, and the Isabelle formalization. We conducted our experiment in 3 stages of increasing complexity, from basic one-shot prompting to multi-turn conversations that incorporate feedback from unsuccessful attempts. At each stage, we perform multiple rounds of translation using increasingly advanced models: GPT-4o mini, Claude 3.5 Sonnet, o1 mini, and o1. We successfully translated 478 out of 488 theorems. The dataset is opensource: https://github.com/LLM4Rocq/miniF2F-rocq.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑