Autoformalization of Game Descriptions using Large Language Models
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本文提出一个博弈论场景自动形式化框架，利用 one-shot prompting 和求解器反馈将自然语言描述转化为形式逻辑表示，在 GPT-4o 上实现 98% 语法正确率和 88% 语义正确率，展现 LLMs 连接现实战略交互与形式化推理的潜力。
2024-09-18 cs.AI cs.GT
Autoformalization with Large Language Models
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）；Stanford University（斯坦福大学）
自动形式化是将自然语言数学自动转换为形式化规范和证明的过程。一个成功的自动形式化系统可以促进形式化验证、程序合成和人工智能等领域的发展。虽然自动形式化的长期目标似乎难以捉摸了很长一段时间，我们表明大语言模型提供了新的前景，实现这一目标。我们作出令人惊讶的观察，LLM可以正确地翻译一个显着的一部分（$25.3\%$）的数学竞赛问题完美的正式规格在伊莎贝尔/HOL。我们证明了这个过程的有用性，通过训练这些自动化定理，改进了以前介绍的神经定理证明器。我们的方法在MiniF 2F定理证明基准上产生了一个新的最先进的结果，将证明率从$29.6\%$提高到$35.2\%$。
2022-05-25 cs.AI cs.LG cs.LO
Process-Driven Autoformalization in Lean 4
The University of Hong Kong（香港大学）；University of Cambridge（剑桥大学）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）；Huawei Hisilicon（华为海思）；Sun Yat-sen University（中山大学）；Hong Kong University of Science and Technology（香港科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对Lean 4自动形式化挑战，提出评估基准与过程监督验证器（PSV）模型，利用编译器反馈有效提升大模型的自动形式化准确率。
2024-10-14 cs.CL cs.LG cs.LO
Faithful Autoformalization via Roundtrip Verification and Repair
Stanford University（斯坦福大学）
本文提出一种无需地面真实标注的往返验证方法，通过形式化-自然语言翻译-再形式化-逻辑等价性检查，验证形式化结果的可信度，并通过诊断引导的局部修复提升准确性。
2026-09-23 cs.AI cs.CL
ReForm: Reflective Autoformalization with Prospective Bounded Sequence Optimization
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；Zhejiang University（浙江大学）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大模型与智能治理重点实验室）
ReForm通过整合语义一致性评估和前瞻性有界序列优化，提升自动形式化任务的准确性和语义保真度，实验表明其在四个基准上的性能提升了22.6个百分点。
2026-02-10 cs.CL
Autoformalizing Euclidean Geometry
University of Toronto（多伦多大学）；Caltech（加州理工学院）
本文提出一个结合领域知识、SMT求解器和LLMs的神经符号框架，用于自动形式化欧几里得几何，并构建LeanEuclid基准，实验显示GPT-4和GPT-4V的能力与局限。
2024-05-27 cs.AI cs.LG cs.LO
Lean-ing on Quality: How High-Quality Data Beats Diverse Multilingual Data in AutoFormalization
Stanford University（斯坦福大学）
针对大语言模型自动形式化性能不佳、标注数据稀缺的问题，提出三种基于人工提示回译的合成数据生成方法，以数据质量优先，仅用少量token就在ProofNet基准上超越了用大规模多语言数据集微调的模型，降低了证明形式化的资源成本。
2025-02-18 cs.AI cs.CL cs.LG
Natural Language to First-Order Logic LLM-based Autoformalization
University of Udine（乌迪内大学）
本文针对以一阶逻辑为目标形式体系的自动形式化领域缺乏统一任务定义与系统综述的问题，区分本体提取与逻辑翻译，综述相关数据集、指标及基于LLM的方法，并指出该领域的开放挑战。
2026-10-09 cs.CL
Don't Trust: Verify -- Grounding LLM Quantitative Reasoning with Autoformalization
Cornell University（康奈尔大学）；University of Edinburgh（爱丁堡大学）；xAI
本文提出一种基于自动形式化的验证方法，将 LLM 的非正式数学陈述翻译为 Isabelle 代码并自动验证其内部一致性，从而拒绝不一致的推理答案，在 GSM8K 等数据集上表现优于多数投票。
2024-03-26 cs.AI cs.CL cs.LG
Evaluating Autoformalization Robustness via Semantically Similar Paraphrasing
Department of Computer Science and Engineering, The Pennsylvania State University（宾夕法尼亚州立大学计算机科学与工程系）
本文通过语义相似改写生成自然语言变体，评估大语言模型在自动形式化中生成形式证明的鲁棒性，发现自然语言表述的微小变化会显著影响模型输出。
2026-06-03 cs.CL cs.LO
Autoformalization of Agent Instructions into Policy-as-Code
提出自动形式化流水线，通过LLM生成-批评循环将智能体提示和自然语言策略转化为Cedar策略语言，在MedAgentBench上比手工编码覆盖更多规范。
2026-06-26 cs.AI cs.CR
PDE-Controller: LLMs for Autoformalization and Reasoning of PDEs
Princeton University（普林斯顿大学）；Simon Fraser University（西蒙弗雷泽大学）；School of Computing Science, Simon Fraser University（西蒙弗雷泽大学计算科学学院）
本文提出 PDE-Controller 框架，通过自动形式化、推理与规划让 LLM 控制 PDE 系统，并构建数据集、模型和指标，实验显示其效用增益最高提升 62%。
2025-06-11 cs.LG
Decompose, Structure, and Repair: A Neuro-Symbolic Framework for Autoformalization via Operator Trees
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Zhiyuan College, Shanghai Jiao Tong University（上海交通大学紫阳学院）；Institute of Natural Sciences, MOE-LSC, CMA-Shanghai, Shanghai Jiao Tong University（上海交通大学自然科学研究院）
提出DSR神经符号框架，通过将数学语句分解为逻辑组件并映射为结构化操作树，利用子树精炼定位和修复错误，在PRIME基准上达到新最优。
2026-05-22 cs.AI cs.LG
FormalRx: Rectify and eXamine Semantic Failures in Autoformalization
LARK Lab, HKUST(GZ)（香港科技大学（广州）LARK实验室）；ETH Zurich（苏黎世联邦理工学院）；UCLA（加州大学洛杉矶分校）；SJTU（上海交通大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；HKUST（香港科技大学）
研究自动形式化中语义对齐问题，提出FormalRx框架，核心是SCI错误分类法，能实现对齐判定、错误分类、定位及纠正，通过实例验证性能优于基线，助力自动形式化系统诊断与改进。
2026-07-07 cs.CL
Towards a Common Framework for Autoformalization
Department of Computer Science, Royal Holloway, University of London（伦敦大学皇家霍洛威学院计算机科学系）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
本文旨在提出一个统一框架，以促进不同领域之间的交叉融合，推动下一代人工智能系统的发展。
2025-12-15 cs.AI
ProofFlow: A Dependency Graph Approach to Faithful Proof Autoformalization
Huawei Celia Team（华为Celia团队）；Huawei Noah’s Ark Lab（华为Noah’s Ark实验室）
本文提出 ProofFlow 流水线，通过逻辑依赖 DAG 和基于引理的逐步形式化提升证明自动形式化的语义与结构保真度，并配套 184 题基准和 ProofScore，取得 0.545 的最先进结果。
2025-10-13 cs.AI cs.LO
Autoformalization in the Wild: Assessing LLMs on Real-World Mathematical Definitions
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）；Idiap Research Institute（Idiap研究机构）；National Biomarker Centre, CRUK Manchester Institute（国家生物标志物中心、CRUK曼彻斯特研究所）
该研究针对LLM在现实数学定义自动形式化上的泛化能力不足问题，构建两个真实定义数据集，评估LLM形式化到Isabelle/HOL的能力，提出反馈优化和定义锚定策略，显著提升自我修正能力并减少未定义错误。
2025-09-04 cs.CL cs.FL
Towards Logically Sound Natural Language Reasoning with Logic-Enhanced Language Model Agents
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
针对LLMs在开放式任务中易出现逻辑错误的问题，提出逻辑增强框架LELMA，通过自动形式化将自然语言推理转化为逻辑表示以验证和优化推理，实验表明该框架有效提升了错误检测准确率与推理正确性。
2025-05-29 cs.AI cs.CL cs.GT
SFT-GRPO Data Overlap as a Post-Training Hyperparameter for Autoformalization
Osmosis AI
研究探讨SFT-GRPO数据重叠对自动形式化性能的影响，发现数据不重叠能提升编译和语义准确性，验证了数据共享程度对模型表现的重要性。
2026-04-15 cs.AI cs.LG cs.LO
RLMEval: Evaluating Research-Level Neural Theorem Proving
针对大语言模型在研究级神经定理证明与证明自动形式化领域实际作用有限的问题，研究人员推出依托真实Lean项目的评估套件RLMEval，测试发现前沿模型在该基准上通过率仅10.3%，该基准将助力推动形式化数学自动推理发展。
2025-10-29 cs.AI cs.CL
Verus-SpecGym: An Agentic Environment for Evaluating Specification Autoformalization
CMU（卡内基梅隆大学）；Amazon（亚马逊）
提出 Verus-SpecGym 环境与 Verus-SpecBench 基准，通过执行规范机制和对抗性测试评估 LLM 智能体将非正式编程问题转化为形式规范的能力，发现前沿模型可解决 77.8% 的任务但存在遗漏假设等脆弱性。
2026-05-26 cs.AI cs.CL cs.PL
FMC: Formalization of Natural Language Mathematical Competition Problems
State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，PKU-Anker LLM实验室，北京大学，北京，中国）；Paul G. Allen School of Computer Science（保罗·G·阿伦计算机科学学校）；Engineering, University of Washington, U.S.A.（工程，华盛顿大学，美国）
本文提出一种基于大语言模型与错误反馈的无需训练自动形式化流程，构建了包含3,922道自然语言与9,787道Lean问题的奥林匹克级基准数据集，并验证了少样本学习等方法对自动形式化的提升及该数据集在形式推理中的挑战价值。
2025-07-15 cs.CL
ASSESS: A Semantic and Structural Evaluation Framework for Statement Similarity
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）
ASSESS提出了一种新的语义和结构相似性评估框架，通过TransTED度量在EPLA基准上实现了最先进的准确率和Kappa分数。
2026-02-09 cs.AI cs.LG
IndiMathBench: Autoformalizing Mathematical Reasoning Problems with a Human Touch
Microsoft（微软）
IndiMathBench通过人机协作管道形式化数学问题，提供具有挑战性的数学推理测试环境。
2026-03-10 cs.AI
FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models
The Chinese University of Hong Kong（香港中文大学）；Numina；Westlake University（西湖大学）；M-A-P；University of California, Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Intelligent Systems, Tübingen（蒂宾根马克斯·普朗克智能系统研究所）
本文提出包含5,560个Lean4形式化验证问题的大规模基准FormalMATH，并设计人在回路自动形式化流水线，评测揭示现有LLM定理证明器成功率仅16.46%且存在领域偏差与对简化策略的过度依赖。
2025-05-05 cs.AI cs.LG
Advocate for Complete Benchmarks for Formal Reasoning with Formal/Informal Statements and Formal/Informal Proofs
Huawei Hong Kong Research Center（华为香港研究中心）；Department of Cultural Studies（文化研究系）；The Chinese University of Hong Kong（香港中文大学）
本文批判性地审视形式推理与自动定理证明领域的基准测试实践，倡导开放代码、开放数据及完整无错误的基准，并识别和提出消除贡献障碍的方法，以促进跨群体协作。
2025-07-07 cs.AI cs.LG cs.LO
DRIFT: Decompose, Retrieve, Illustrate, then Formalize Theorems
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
DRIFT框架通过分解数学陈述并检索相关定理，提升大语言模型在形式化证明中的前提检索能力，显著提高F1分数和跨分布性能。
2026-04-06 cs.AI cs.CL cs.IR
Auto-GPT for Online Decision Making: Benchmarks and Additional Opinions
Amazon（亚马逊）
本文构建 Auto-GPT 风格智能体的在线决策基准，比较多种主流 LLM，并提出无需微调基础模型的 Additional Opinions 算法以融合监督/模仿学习器。
2023-06-04 cs.AI cs.LG
Benchmarking LLM for Code Smells Detection: OpenAI GPT-4.0 vs DeepSeek-V3
Honda Research Institute Europe（本田欧洲研究机构）
本研究通过结构化评估矩阵，在四种编程语言上对比GPT-4.0与DeepSeek-V3的代码异味检测性能，分析精确率、召回率、F1分数及成本，为选择高效自动化检测方案提供指导。
2025-04-22 cs.AI cs.LG cs.PL
Can GPT Redefine Medical Understanding? Evaluating GPT on Biomedical Machine Reading Comprehension
inQbator AI at eviCore Healthcare（eviCore Healthcare旗下inQbator AI）；Evernorth Health Services
本文在四个闭卷生物医学 MRC 基准上评估 GPT，提出隐式 RAG 提示策略，证明零样本 GPT 可超越监督模型并在两项基准上达到 SoTA。
2024-10-25 cs.AI cs.CL cs.LG
Benchmarking GPT-4 on Algorithmic Problems: A Systematic Evaluation of Prompting Strategies
University of Padova（帕多瓦大学）
本研究针对GPT-4开展算法任务系统性基准测试，对比其与GPT-3.5、Neural Data Router的性能，证实先进提示技术可提升GPT-4在需系统性泛化的任务中的准确率，树立强基线。
2024-07-11 cs.AI cs.CL cs.NE
Generative AI for Programming Education: Benchmarking ChatGPT, GPT-4, and Human Tutors
MPI-SWS（马克斯·普朗克软件系统研究所）；Microsoft（微软公司）；TU Wien（维也纳技术大学）
该研究系统性评估了ChatGPT和GPT-4在多种Python编程教育场景中的表现，发现GPT-4大幅优于ChatGPT且接近人类导师水平，并指出了其仍需改进的方向。
2023-08-01 cs.AI cs.CL cs.CY
Rapidly Developing High-quality Instruction Data and Evaluation Benchmark for Large Language Models with Minimal Human Effort: A Case Study on Japanese
Kyoto University（京都大学）
针对非英语大语言模型指令资源构建人力成本高的问题，提出基于GPT-4的日语自指令生成方法与自动评估基准，微调模型性能显著优于现有日语方案且LLaMA 13B胜率超GPT-3.5，相关资源已开源。
2024-03-06 cs.AI cs.CL
Show, Don't Tell: Evaluating Large Language Models Beyond Textual Understanding with ChildPlay
Stratingh Institute for Chemistry, University of Groningen（格罗宁根大学斯特拉丁化学研究所）
本研究提出ChildPlay基准，用ASCII游戏测试GPT系列模型在策略与空间推理上的泛化，发现其表现普遍不佳，尤其处理分子图时，质疑了涌现智能的说法。
2025-02-27 cs.AI cs.CL
True Detective: A Deep Abductive Reasoning Benchmark Undoable for GPT-3 and Challenging for GPT-4
Institute of Computer Science（计算机科学研究所）；University of Tartu（塔尔图大学）
本文构建 True Detective，一个包含 191 个长篇侦探谜题的深度溯因推理基准；实验显示 GPT-3 准确率仅 28%、GPT-4 为 38%，揭示 LLM 与人类推理能力的显著差距。
2023-06-01 cs.CL
Benchmarking GPT-4 against Human Translators: A Comprehensive Evaluation Across Languages, Domains, and Expertise Levels
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；LanBridge Group（兰桥集团）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究院）
本研究首次系统比较GPT-4与不同水平人类译者在多语言对和多领域中的翻译表现，发现GPT-4达到初级译者水平但落后于资深译者，且在不同语言方向上质量稳定，并揭示了其过度直译和词汇不一致等特征。
2024-11-21 cs.AI cs.CL
Multilingual Mathematical Autoformalization
University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）
针对自动形式化研究缺乏大规模非形式-形式配对数据集的问题，研究者通过反向翻译构建多语言多领域数据集MMA，微调后模型在相关基准上表现显著提升，且多语言微调能增强单语言任务性能。
2023-11-09 cs.CL cs.LG
GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond
ByteDance（字节跳动）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出开源可复现的LLM评测套件GPT-Fathom，在统一设置下系统评估10余个主流模型，并通过对OpenAI早期模型的回顾性研究，揭示从GPT-3到GPT-4演进中的关键能力变化与对齐代价等问题。
2024-04-02 cs.CL
Benchmarking GPT-5 in Radiation Oncology: Measurable Gains, but Persistent Need for Expert Oversight
该研究通过 TXIT 选择题和60个真实病例评估 GPT-5 的放射肿瘤学能力，发现其较 GPT-4/3.5 显著提升，但复杂场景仍会出错，临床应用须由专家严格监督。
2025-08-29 cs.AI cs.CV cs.LG
FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models
Harbin Institute of Technology（哈尔滨工业大学）
FormalTCS基准评估发现，当前大型语言模型完成端到端前沿TCS研究的能力不足，形式化是核心瓶颈，且研究品味限制了自主TCS研究。
2026-09-24 cs.CL
Capabilities of GPT-5 on Multimodal Medical Reasoning
Department of Radiation Oncology, Winship Cancer Institute, Emory University School of Medicine（放射肿瘤科、Winship癌症研究所、埃默里大学医学院）
本研究将GPT-5作为通用多模态推理器，在多个医学问答基准上评估其零样本思维链性能，发现其在多模态推理任务中显著超越GPT-4o及人类专家，达到最先进水平。
2025-08-13 cs.AI cs.CL
ChatGPT for GTFS: Benchmarking LLMs on GTFS Understanding and Retrieval
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文基准测试 GPT-3.5-Turbo 与 GPT-4 对 GTFS 的理解及自然语言检索能力，发现程序综合在信息抽取中显著优于零样本方法。
2023-11-03 cs.AI cs.CL cs.IR
Evaluating Zero-Shot GPT-4V Performance on 3D Visual Question Answering Benchmarks
CoStrategist R&D Group, Microsoft Mixed Reality（微软混合现实 CoStrategist 研发组）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究评估GPT-4V和GPT-4在3D VQA基准上的零样本性能，发现无需微调即可与封闭词汇方法持平，且场景特定词汇能显著提升智能体表现。
2024-05-29 cs.CV cs.LG
Beyond Specialization: Benchmarking LLMs for Transliteration of Indian Languages
Aligarh Muslim University（阿里格尔穆斯林大学）；Nanyang Technological University（南洋理工大学）；VIT Bhopal University（维特博帕尔大学）
该研究系统评估了GPT-4o等大语言模型与专门模型IndicXlit在十种印度语言音译任务上的表现，发现GPT系列模型普遍更优，微调可进一步提升特定语言性能，展示了基础模型在专业应用中的潜力。
2025-05-26 cs.AI cs.CL
Binary Code Summarization: Benchmarking ChatGPT/GPT-4 and Other Large Language Models
The Ohio State University（俄亥俄州立大学）；Microsoft Research（微软研究院）
本研究针对二进制代码摘要的难点，构建含55.7万+函数的BinSum基准，提出提示词优化方法与新语义相似度指标，经多LLM大规模评估得出10项关键洞见，明确了LLM的潜力与待解挑战。
2023-12-15 cs.CL cs.CR cs.LG
You Don't Need Prompt Engineering Anymore: The Prompting Inversion
Independent Researcher（独立研究者）
本研究提出Sculpting提示方法，发现其在中端模型gpt-4o上优于标准CoT，但在gpt-5上效果相反，揭示提示策略需随模型能力共同演进。
2025-10-25 cs.AI cs.CL cs.LG
Professional Certification Benchmark Dataset: The First 500 Jobs For Large Language Models
PeopleTec, Inc.（PeopleTec公司）
本研究构建了包含1149项专业认证的基准数据集，评估GPT-3和Turbo-GPT3.5的职业技能，发现GPT-3在39%认证中及格，Turbo-GPT3.5在OSCP考试获满分，并开源基准以推动AI职业能力研究。
2023-05-07 cs.AI cs.LG
EvoGPT-f: An Evolutionary GPT Framework for Benchmarking Formal Math Languages
本文提出进化框架EvoGPT-f，首次系统定量分析五种形式化数学语言在四种分词方法下的机器可学习性差异，为跨语言比较研究奠定基础。
2024-02-12 cs.AI cs.CL cs.LG
DeepArt: A Benchmark to Advance Fidelity Research in AI-Generated Content
Chongqing University of Posts and Telecommunications（重庆邮电大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Alipurduar Government Engineering and Management College（阿里普杜阿尔政府工程与管理学院）
本研究建立DeepArt基准，首次深入分析GPT-4图像合成纹理保真度，通过定量与定性实验揭示其局限性，并引入新任务以推进AIGC保真度研究。
2023-12-24 cs.AI cs.CV cs.LG
Is GPT-OSS All You Need? Benchmarking Large Language Models for Financial Intelligence and the Surprising Efficiency Paradox
Purdue University（普渡大学）；Independent Researcher（独立研究者）；Imperial College London（帝国理工学院伦敦分校）
本文评估了GPT-OSS在金融NLP任务中的表现，发现较小的模型在效率和性能上优于更大的竞争对手。
2025-12-09 cs.LG
Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
University of California, Riverside（加州大学河滨分校）；University of Arizona（亚利桑那大学）；University of California, San Diego（加州大学圣地亚哥分校）
提出忠实语句形式化评估方法，结合Lean编译、跨模型语义判断和人类专家校准，发现编译通过但语义不忠实的29.0%差距，并分解形式化流程中的关键干预因素。
2026-10-19 cs.AI cs.CL cs.LO
Let GPT be a Math Tutor: Teaching Math Word Problem Solvers with Customized Exercise Generation
University of Notre Dame（圣母大学）；Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（艾伦人工智能研究所）
本文提出一种将LLM数学应用题求解能力蒸馏到学生模型的新方法，利用GPT-3作为导师迭代评估弱点并生成定制练习进行训练，在三个基准上以更少参数超越GPT-3和PaLM。
2023-05-22 cs.AI cs.CL cs.LG
Benchmarking LLMs in Political Content Text-Annotation: Proof-of-Concept with Toxicity and Incivility Data
Leiden University（莱顿大学）；Universidad Diego Portales（迭戈波塔利斯大学）
本研究针对政治内容文本标注任务构建基准，测试多款LLM与Perspective算法的表现，发现特定模型性能优异，小参数量开源模型性价比高，且仅开源模型可保障标注完全可复现。
2024-09-15 cs.AI cs.CL
ZNO-Eval: Benchmarking reasoning capabilities of large language models in Ukrainian
本研究构建了基于乌克兰真实升学考试的多学科推理基准ZNO-Eval，测试多款主流大模型后发现其在纯文本常识任务表现优异，但乌语与数学科目仍有差距，为非英语语言模型评估提供了重要参考。
2025-01-12 cs.AI cs.CL
