从模板到自然语言：指令微调大语言模型在空间推理中的泛化挑战
From Templates to Natural Language: Generalization Challenges in Instruction-Tuned LLMs for Spatial Reasoning
AI总结：
本文研究指令微调大语言模型在空间定位任务中从合成指令向人类自然语言指令泛化的挑战，发现模型在简单任务上表现良好但在复杂任务上性能显著下降，并通过错误分析揭示了泛化差距。
摘要：
指令微调的大语言模型（LLMs）在多种任务上表现出色；然而，在具身环境中从合成指令泛化到人类撰写的指令仍然是它们面临的一个挑战。在本工作中，我们研究空间定位任务中的泛化挑战，在这些任务中模型需要解释并翻译用于在 $2.5$D 网格上构建物体排列的指令。我们仅使用合成指令对 LLMs 进行微调，并在一个同时包含合成指令和人类撰写指令的基准数据集上评估其性能。我们的结果表明，虽然模型在简单任务上泛化良好，但在更复杂的任务上性能显著下降。我们对指令泛化中的差距进行了详细的错误分析。
英文摘要：
Instruction-tuned large language models (LLMs) have shown strong performance on a variety of tasks; however, generalizing from synthetic to human-authored instructions in grounded environments remains a challenge for them. In this work, we study generalization challenges in spatial grounding tasks where models interpret and translate instructions for building object arrangements on a $2.5$D grid. We fine-tune LLMs using only synthetic instructions and evaluate their performance on a benchmark dataset containing both synthetic and human-written instructions. Our results reveal that while models generalize well on simple tasks, their performance degrades significantly on more complex tasks. We present a detailed error analysis of the gaps in instruction generalization.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
