Effects of Automated Interventions in Programming Assignments: Evidence from a Field Experiment
MOOC的一个典型问题是课程指导者没有机会单独支持学生克服他们的问题和误解。本文介绍了在编程练习中自动干预困难学生的结果,并提供同伴反馈和量身定制的奖金练习。为了提高学习的成功率,我们并不想废除预期的尝试和错误,而是减少广泛的斗争和去动力。因此,我们开发了自适应自动及时干预措施,以鼓励学生寻求帮助,如果他们需要大大超过平均工作时间来解决一个问题。此外,我们为学生提供针对他们个人弱点的额外练习。该方法在现场课程中进行了评估,超过5,000名活跃的学生通过调查和收集的指标进行了评估。结果表明,我们可以增加高达66%的求助电话,并降低停留时间,直到发出行动。从实验中获得的经验教训可以进一步用于确定需要改进的课程材料,并根据受众的具体情况调整内容。
2018-09-21 cs.CY
Beyond the Hype: A Cautionary Tale of ChatGPT in the Programming Classroom
本文以CAS理论为指导,通过对比ChatGPT 3.5生成的编程答案与高校参考答案,分析其在编程练习中的表现,为编程教学者设计练习、规范ChatGPT使用、保障学生编程技能培养提供参考。
2024-06-16 cs.CY
Mining patterns in syntax trees to automate code reviews of student solutions for programming exercises
本文提出机器学习方法ECHO,通过挖掘抽象语法树模式自动复用教育代码审查反馈,实验证明其能准确快速预测反馈注释,显著减少手动反馈工作量。
2024-04-26 cs.CY cs.LG cs.SE
Many bioinformatics programming tasks can be automated with ChatGPT
本研究评估了ChatGPT在生物信息学入门课程184个编程练习中的表现,首次尝试解决75.5%,经反馈后7次内解决97.3%,表明AI可自动化许多编程任务,需调整教学与评估方法。
2023-03-07 cs.CY q-bio.OT
Toward Finding and Supporting Struggling Students in a Programming Course with an Early Warning System
本研究开发早期预警系统,通过评估认知技能预测编程课程学生失败风险,并验证语法练习的积极效果,以支持困难学生。
2024-01-25 cs.CY cs.HC
Open, Small, Rigmarole -- Evaluating Llama 3.2 3B's Feedback for Programming Exercises
本研究评估了开放轻量级 LLM Llama 3.2 3B 对 Java 编程练习的反馈特征,发现其具备一定反馈能力但存在严重缺陷,为利用小型开放模型生成形成性反馈提供了基准与启示。
2025-04-01 cs.CY cs.SE
Less Power for More Learning: Restricting OCaml Features for Effective Teaching
提出一个沙箱化并限制 OCaml 语言特性的框架,通过禁用特定语言和库特性及实现模拟 IO 系统来安全、自动化地扩展编程练习评分。
2023-09-08 cs.CY
An Exploratory Analysis of Feedback Types Used in Online Coding Exercises
在线编码环境可以帮助支持计算学生以自己的速度获得编程实践。在这种自我指导的独立学习阶段,信息反馈尤其有益。本研究旨在识别CodingBat,Scratch和Blockly应用的反馈类型。由Susanne Narciss创造的辅导反馈以及Keuning,Jeuring和Heeren的子类型规范构成了理论基础。因此,五类详细的反馈(关于任务要求的知识,关于概念的知识,关于错误的知识,关于如何进行的知识,以及关于元认知的知识)及其子类型被用于分析可用的反馈选项。这项研究揭示了在确定反馈类型之间的明确界限方面的困难,因为所提供的反馈通常集成了一种以上的类型或子类型。此外,目前定义的反馈类型没有严格区分个性化和通用反馈。缺乏粒度也是显而易见的,在没有与任务的知识类型相关的子类型。因此,该分析对未来应用教学反馈的设计和调查具有一定的启示意义。它鼓励未来的研究反馈类型和他们的实现在编程练习的背景下,定义反馈类型,符合新手程序员的需求。
2022-11-09 cs.CY cs.HC
AI-enhanced Auto-correction of Programming Exercises: How Effective is GPT-3.5?
LMU Munich(慕尼黑大学)
该研究针对高等教育大班编程教学难以及时提供个性化反馈的问题,基于真实学生作业探究GPT-3.5辅助代码批改与反馈生成的效果,明确了其准确率与存在的错误定位、幻觉错误等短板。
2023-10-24 cs.AI cs.CY cs.HC
Catalogs of C and Python Antipatterns by CS1 Students
理解学生的编程误解是至关重要的。这样做取决于确定学生在学习新的程序设计语言时出错的原因。了解这些错误概念有助于学生对错误的反思,也有助于教师设计更好的教学策略。在这份技术报告中,我们提出了两种程序设计语言的反模式目录:C和Python。为了实现这一点,我们分析了166 CS1工程专业学生的代码时,他们的编码解决方案的编程练习。在我们的结果中,我们从C和Python中的95个错误概念中分类了41个CS1反模式。这些反模式分为三个类别:C、Python和在使用这两种程序设计语言的代码中发现的反模式。对于每个反模式,我们提供了代码示例、学生的解决方案(如果有的话)、避免反模式的可能解决方案以及其他信息。
2021-04-02 cs.CY cs.PL
Probing the Unknown: Exploring Student Interactions with Probeable Problems at Scale in Introductory Programming
针对入门编程练习限制学生澄清模糊需求能力且易受LLM影响的问题,本研究探索“可探测问题”(需先提交探测澄清模糊规范的自动评分任务),通过分析4万余次探测发现其可提升任务成功率、关联课程表现,还能培养关键技能。
2025-04-16 cs.CY cs.HC
Students Struggle to Explain Their Own Program Code
我们要求学生在提交小程序进行编程练习后解释其结构和执行。这些关于学习者代码(QLC)的问题在三个场合在介绍编程的在线和开放课程中作为数字学习材料的一部分提供。我们对收集到的开放式文本答案进行归纳内容分析。三分之一的学生努力解释自己的程序代码。这估计可能发生的脆弱的学习的时刻,当一个学生似乎成功地在一个程序编写练习。此外,我们还研究了答案的正确性与其他学习数据之间的相关性。我们的研究结果表明,正确回答正确对齐QLC与学生的成功和保留比仅仅提交一个正确的程序有更强的相关性。此外,我们提出的意见,学习事件驱动的编程,以探讨QLC的潜力,在识别学生的思维过程。
2021-04-14 cs.CY
Unlimited Practice Opportunities: Automated Generation of Comprehensive, Personalized Programming Tasks
本文提出并评估了Tutor Kai系统的新功能,通过自动生成包含问题描述、代码骨架、单元测试和模型解决方案的个性化编程任务,结合专家评级与学生研究,验证了其任务质量及对学生学习的积极影响。
2025-03-12 cs.CY cs.HC cs.SE
Intelligent learning environments within blended learning for ensuring effective C programming course
本文介绍了一种混合式学习的实施和经验,支持智能学习环境中的学习管理系统(LMS)称为@KU-UZEM。混合式学习模式实现为面对面教育和电子学习的结合。智能学习环境由两个应用程序组成,名为CTutor,ITest。除了标准的电子学习工具,学生还可以使用CTutor解决C编程练习。CTutor是一个解决问题的环境,它诊断学生的知识水平,但也提供反馈和提示,以帮助他们理解课程主题,克服他们的误解,并加强学习的概念。ITest提供了一个评估环境,学生可以参加根据他们的学习水平准备的测验。实现的模型被用于在阿菲永Kocatepe大学的“C编程”课程中的两个学期。在课程结束时进行了一项调查,以了解学生对@KU-UZEM支持的混合学习模式的接受程度,并了解学生对智能学习环境的态度。此外,在课程的第一学期进行了一项实验,其中一个实验组积极参与了已实现的模型,另一个控制组只接受了面对面的教育。根据调查结果,学生对智能学习环境和实现的学习模式感到满意。此外,智能学习环境的使用提高了学生对C编程的知识。
2012-02-08 cs.CY cs.PL
Thrilled by Your Progress! Large Language Models (GPT-4) No Longer Struggle to Pass Assessments in Higher Education Programming Courses
Carnegie Mellon University(卡内基梅隆大学)
本研究对比多代GPT模型在三门高等教育Python课程共599道不同类型考核题中的表现,发现GPT-4已能无需人类参与稳妥通过考核,指出其仍有局限但提升迅速,为教育者调整考核设计、更新课程提供依据。
2023-06-15 cs.AI cs.CL cs.CY
How Do Programming Students Use Generative AI?
University of Hamburg(汉堡大学)
本研究通过37名编程学生的探索性实验,发现学生使用生成式AI主要有查询概念和直接生成解决方案两种策略,且易陷入错误代码修复的恶性循环,证实了过度依赖AI会降低自主性的担忧,为教育应对提供参考。
2025-02-21 cs.AI cs.CY cs.HC
ClassCode: An Interactive Teaching and Learning Environment for Programming Education in Classrooms
随着对计算机素养和编码技能的需求不断增长,编程教育变得越来越重要。尽管交互式在线学习系统越来越受欢迎,但学校中的许多编程课程并没有改变传统课堂设置的教学形式。我们在这里看到了两个研究机会。学生可能有不同的专业知识和编程经验。因此,特定的内容和教学速度可能会让有经验的学生分心,也可能会让初学者感到沮丧。在一个大教室里,教师无法监督每个学生的学习进度,并且很难将教材与每个学生的理解水平相匹配。我们推出ClassCode,这是一个为课堂编程教育量身定制的基于网络的环境。学生可以按照自己的进度参加教师准备的在线教程。然后,他们可以通过在教程中进行交互式编码练习来加深理解。ClassCode跟踪每个学生的所有互动,并将其汇总给教师。这是一份进度报告,便于教师在现场提供额外的解释或修改课程材料。我们的用户评估通过一个小型讲座和专家评审,由教师和助教证实了ClassCode的潜力,揭示了它如何解决大学现有编程课程中的问题。
2020-01-22 cs.CY cs.HC
Automating Personalized Parsons Problems with Customized Contexts and Concepts
针对编程入门课程中难生成大量适配学生多元兴趣的高质量Parsons问题的痛点,研究提出教育工具PuzzleMakerPy,利用大语言模型生成可定制情境与主题的Parsons问题,经课程部署验证可提升学生参与度且有助于学习。
2024-04-17 cs.CY
Next-Step Hint Generation for Introductory Programming Using Large Language Models
Utrecht University(乌得勒支大学)
本研究探索大语言模型在入门编程教育中生成自动化下一步提示的应用,构建StAP-tutor并经学生实验与专家评估验证其个性化提示效果,同时指出作业末期提示存在的不足及后续研究方向。
2023-12-03 cs.AI cs.CY cs.HC
How do students test software units?
我们深入了解了那些完成了编程入门课程但没有接受过任何正式测试教育的学生的想法和信念。我们要求学生填写一个小调查,做四个练习,并填写第二个调查。我们在半结构化访谈中采访了其中11名学生,以获得更深入的见解。主要的结果是,学生没有系统地测试,而他们中的大多数人认为他们系统地测试。我们发现的一个误解是,大多数学生只能想到基于编程代码的测试用例。即使没有提供任何代码(黑盒测试),学生们也会尝试编写代码作为测试用例的基础。
2021-02-16 cs.CY
Personalized Programming Guidance based on Deep Programming Learning Style Capturing
School of Data Science & Engineering(数据科学与工程学院);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);East China Normal University(华东师范大学)
针对编程行为识别与学习模式捕捉的挑战,本文提出PERS模型,通过位置编码和差分模块捕捉连续代码提交变化,并扩展Felder-Silverman学习风格模型感知内在编程模式,实现个性化编程指导。
2024-02-20 cs.CY cs.LG
"Give me the code" -- Log Analysis of First-Year CS Students' Interactions With GPT
本文通过日志分析 69 名未受提示训练的 CS 新生如何使用 GPT 完成编程项目,发现多数学生能采纳生成代码,且半数能批判性比较并选择方案。
2024-12-01 cs.AI cs.CY cs.ET
A Knowledge-Component-Based Methodology for Evaluating AI Assistants
UC Berkeley(加州大学伯克利分校)
本文提出基于知识组件的评估方法,分析GPT-4驱动的CS1编程提示生成器,发现提示能加速学生修复代码、捕捉关键错误,且多问题提示更有效。
2024-06-09 cs.AI cs.CY
Programming for All: Understanding the Nature of Programs
计算机程序是我们日常生活的一部分,我们使用它们,我们为它们提供数据,它们支持我们的决策,它们帮助我们记忆,它们控制机器等等。程序使计算机和计算机控制的机器能够以各种各样的方式工作。它们将计算机的内在力量带入生活。程序具有所有公民都必须了解的各种属性。由于程序的无形性,这些属性中的大多数都是非常不寻常的,但对于理解数字世界很重要。在这份立场文件中,我们以知识陈述的形式描述程序的性质,并辅以日常生活中的例子来阐明其含义。一切都以易于理解的方式制定,并避免晦涩的技术语言。我们建议,这些知识的声明必须传授给所有教师和学生。学习和体验程序本质的一个好方法是自己开发程序。
2021-12-04 cs.CY
Symbolic Cognitive Diagnosis via Hybrid Optimization for Intelligent Education Systems
Shanghai Institute of AI for Education and School of Computer Science and Technology(上海人工智能教育研究院与计算机科学与技术学院);East China Normal University(华东师范大学)
针对智能教育中认知诊断难以兼顾泛化与可解释性的问题,提出SCD框架,用符号树表示交互函数,并以遗传规划与Adam交替混合优化,实验验证其双重优势。
2023-12-30 cs.AI cs.CY cs.LG
The Other Side of Black Screen: Rethinking Interaction in Synchronous Remote Learning for Collaborative Programming
协作学习环境(如编程实验室)对于学习经验性实践技能(如批判性思维和解决问题以及同行讨论)至关重要。在传统的实验室环境中,这些技能中的许多都可以通过自然互动(语言,面部)和物理协同定位来练习。然而,在全球大流行期间和之后,这些学习实践不能再在面对面的环境中安全地进行,因此需要重新设想远程学习环境。随着对有效的远程学习实践的讨论不断涌现,迫切需要确定学生和教师在不同学习环境下的独特需求。我们如何设计远程学习来提供广泛的学习,通过绘制人的做法,并将它们与远程学习解决方案的力量相结合?在本案例研究中,我们介绍了在COVID-19大流行之前和期间提供的2个入门编程课程的面对面和在线版本的观察结果。我们的观察揭示了5个主题下的某些用户需求和交互实践,这些主题是学生先前的课程和学术水平经验所独有的。我们发现,目前的在线视频会议平台不能促进同伴之间的协作学习,缺乏学习氛围和学生和教师之间的自发参与。根据我们的研究结果,我们提出了设计建议和干预策略,以改善目前的做法,同步远程学习,可以促进更好的学习环境,特别是入门实验室课程。
2021-11-11 cs.CY
Self-Regulated Personal Contracts as a Harm Reduction Approach to Generative AI in Undergraduate Programming Education
University of Michigan(密歇根大学)
本文设计了基于危害减少和自我调节学习理论的生成式AI合同,帮助学生在编程学习中做出有意决策,但发现自我意识并不总能保证持续的行为改变。
2026-03-11 cs.CY
Criação e aplicação de ferramenta para auxiliar no ensino de algoritmos e programação de computadores
Universidade de Fortaleza (UNIFOR)(福塔莱萨大学(UNIFOR))
编程知识是未来专业人员所需知识矩阵的一部分。在此基础上,这项工作的目的是报告福塔莱萨大学的算法和计算机编程学科的监测计划期间开发的教学工具的发展。该工具结合了书本中获得的知识,使用更接近学生的语言,使用视频课程和建议的练习,以及互联网上提供的所有内容。初步结果是积极的,学生们赞同这种新方法,并相信它可以有助于在学科中取得更好的成绩。
2022-03-31 cs.CL cs.CY
A Comparative Study of AI-Generated (GPT-4) and Human-crafted MCQs in Programming Education
Carnegie Mellon University(卡内基梅隆大学)
本文构建GPT-4系统并基于6门Python课程的651道AI题与449道人工题比较,验证其可生成贴合学习目标、质量较高的编程选择题。
2023-12-05 cs.AI cs.CL cs.CY
Prompt Transfer for Dual-Aspect Cross Domain Cognitive Diagnosis
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);Key Laboratory of Knowledge Engineering with Big Data (the Ministry of Education of China)(大数据知识工程教育部重点实验室);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);School of Big Data And Artificial Intelligence, Hefei University(合肥学院大数据与人工智能学院)
针对跨领域认知诊断中学生与习题双方面变化导致的适配难题,提出基于软提示迁移的 PromptCD 框架及两个变体,在多场景真实数据上实现稳定优越性能。
2024-12-06 cs.CY cs.LG
Investigating the role of educational robotics in formal mathematics education: the case of geometry for 15-year-old students
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
研究表明,教育机器人(ER)可以提高学生的表现,兴趣,参与和协作。然而,到目前为止,机器人技术在正规教育中的应用仍然相对较少。除其他原因外,这是由于难以确定教育机器人学习活动与课程所设想的学习成果的一致性,以及它们与教师实践中已确立的传统非机器人学习活动的整合。这项工作调查ER到正规的数学教育的整合,通过准实验研究,采用Thymio机器人和Scratch编程教几何两个班的15岁的学生,共26名参与者。本研究提出了三个问题:(1)基于ER的理论讲座应该先于、继承还是取代传统的理论讲座?(2)学生对以英语为基础的讲座和练习的看法和参与度如何?(3)研究结果是否因学生先前对数学的欣赏而有所不同?实验结果表明,ER活动在帮助学生掌握相关理论概念方面与传统活动一样有效。机器人活动似乎特别有益的锻炼会议期间:学生自由选择做练习,包括机器人,评价他们作为显着更有趣和有用的比他们的传统同行,并表示有兴趣在其他数学讲座介绍ER。最后,喜欢和不喜欢数学的学生之间的结果基本一致,这表明使用机器人技术作为一种手段,以扩大学生的数量从事学科。
2021-06-21 cs.CY cs.RO