实质胜过风格：为什么初学者无法使用 LLM 编程
Substance Beats Style: Why Beginning Students Fail to Code with LLMs
AI总结：
本文通过因果干预实验与提示编辑图分析，探究初学者与 LLM 编程沟通失败的原因，发现提示的信息内容比技术词汇更能预测成功。
摘要：
尽管 LLM 正在提高专业程序员的生产力，但现有研究表明，初学者在提示 LLM 解决文本到代码任务时会遇到困难。为什么会这样？本文探讨了关于学生与 LLM 沟通失败原因的两个相互竞争的假设：（1）学生只是缺乏编写良好提示所需的技术词汇；（2）学生不理解 LLM 解决代码生成任务所需信息的范围。我们通过一项关于技术词汇的因果干预实验研究（1），并通过分析将学生如何编辑提示及其遇到的不同失败进行抽象的图来研究（2）。我们发现实质胜过风格：对技术词汇掌握不佳仅仅与提示失败相关；提示的信息内容可以预测成功；学生困于进行琐碎的编辑；以及更多发现。我们的研究结果对 LLM 在编程教育中的使用，以及利用 LLM 让计算更易普及的努力具有启示意义。
英文摘要：
Although LLMs are increasing the productivity of professional programmers, existing work shows that beginners struggle to prompt LLMs to solve text-to-code tasks. Why is this the case? This paper explores two competing hypotheses about the cause of student-LLM miscommunication: (1) students simply lack the technical vocabulary needed to write good prompts, and (2) students do not understand the extent of information that LLMs need to solve code generation tasks. We study (1) with a causal intervention experiment on technical vocabulary and (2) by analyzing graphs that abstract how students edit prompts and the different failures that they encounter. We find that substance beats style: a poor grasp of technical vocabulary is merely correlated with prompt failure; that the information content of prompts predicts success; that students get stuck making trivial edits; and more. Our findings have implications for the use of LLMs in programming education, and for efforts to make computing more accessible with LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
