谁是主导者？分析在 LLM 辅助调试机器学习代码中的新手工作流程
Who's the Leader? Analyzing Novice Workflows in LLM-Assisted Debugging of Machine Learning Code
AI总结：
本研究通过让八名新手 ML 工程师使用 ChatGPT 调试有缺陷的 ML 脚本，分析其工作流程，发现用户可分为主导 LLM 与被 LLM 主导两类，并探讨过度依赖、依赖不足及对学习的影响。
摘要：
尽管 LLM 常被吹捧为将专业知识普及给初学者的工具，但其在提升任务表现和学习方面的实际效果仍是一个悬而未决的问题。已知新手与专家使用 LLM 的方式不同，先前研究报告了影响新手验证输出和有效提示能力的元认知陷阱。我们聚焦于机器学习（ML）这一兼具高复杂性和低可验证性的任务领域，以理解 LLM 辅助对新手的影响。我们向八名新手 ML 工程师提供有缺陷的 ML 脚本和 ChatGPT 的开放访问权限，开展了一项形成性研究，以了解他们对 LLM 的依赖、交互和看法。我们发现用户行为可大致分为主导 LLM 和被 LLM 主导两类，并进一步研究了这些行为如何影响过度依赖和依赖不足等依赖结果。这些结果对新手在 LLM 辅助任务中的认知参与以及对下游学习的潜在负面影响具有启示意义。最后，我们提出了对新手-LLM 交互范式的潜在增强方案，以促进认知参与。
英文摘要：
While LLMs are often touted as tools for democratizing specialized knowledge to beginners, their actual effectiveness for improving task performance and learning is still an open question. It is known that novices engage with LLMs differently from experts, with prior studies reporting meta-cognitive pitfalls that affect novices' ability to verify outputs and prompt effectively. We focus on a task domain, machine learning (ML), which embodies both high complexity and low verifiability to understand the impact of LLM assistance on novices. Provided a buggy ML script and open access to ChatGPT, we conduct a formative study with eight novice ML engineers to understand their reliance on, interactions with, and perceptions of the LLM. We find that user actions can be roughly categorized into leading the LLM and led-by the LLM, and further investigate how they affect reliance outcomes like over- and under-reliance. These results have implications on novices' cognitive engagement in LLM-assisted tasks and potential negative effects on downstream learning. Lastly, we pose potential augmentations to the novice-LLM interaction paradigm to promote cognitive engagement.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
