从求解器到导师：通过KMP-Bench评估LLM的教育智能
From Solver to Tutor: Evaluating the Pedagogical Intelligence of LLMs with KMP-Bench
AI总结：
本文提出KMP-Bench评估LLM的教育智能，通过多轮对话和技能测试揭示LLM在教学原则应用上的不足，并展示基于教育丰富数据集的改进效果。
摘要：
大型语言模型（LLMs）在人工智能数学辅导中展现出显著潜力，但当前评估往往依赖于简单的指标或狭窄的教育场景，未能评估全面的多轮教学效果。本文介绍了KMP-Bench，一个综合的K-8数学教育基准，旨在从两个互补的角度评估LLM。第一个模块KMP-Dialogue评估整体教育能力，针对六个核心原则（如挑战、解释、反馈），利用一个新的多轮对话数据集，该数据集由融合多样教育组件构建。第二个模块KMP-Skills提供对基础辅导能力的细致评估，包括多轮问题解决、错误检测与纠正以及问题生成。我们在KMP-Bench上的评估揭示了一个关键差异：尽管领先的LLM在具有可验证解的问题上表现优异，但他们在教育原则的细致应用上却存在困难。此外，我们还提出了KMP-Pile，一个大规模（150,000）对话数据集。在KMP-Pile上微调的模型在KMP-Bench上显示出显著改进，凸显了具有教育丰富性的训练数据在开发更有效的AI数学辅导工具中的价值。
英文摘要：
Large Language Models (LLMs) show significant potential in AI mathematical tutoring, yet current evaluations often rely on simplistic metrics or narrow pedagogical scenarios, failing to assess comprehensive, multi-turn teaching effectiveness. In this paper, we introduce KMP-Bench, a comprehensive K-8 Mathematical Pedagogical Benchmark designed to assess LLMs from two complementary perspectives. The first module, KMP-Dialogue, evaluates holistic pedagogical capabilities against six core principles (e.g., Challenge, Explanation, Feedback), leveraging a novel multi-turn dialogue dataset constructed by weaving together diverse pedagogical components. The second module, KMP-Skills, provides a granular assessment of foundational tutoring abilities, including multi-turn problem-solving, error detection and correction, and problem generation. Our evaluations on KMP-Bench reveal a key disparity: while leading LLMs excel at tasks with verifiable solutions, they struggle with the nuanced application of pedagogical principles. Additionally, we present KMP-Pile, a large-scale (150K) dialogue dataset. Models fine-tuned on KMP-Pile show substantial improvement on KMP-Bench, underscoring the value of pedagogically-rich training data for developing more effective AI math tutors.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
