CodEval: Improving Student Success In Programming Assignments
CodEval是一个代码评估工具,它与Canvas学习管理系统集成,可以在提交后的几分钟内自动评估学生的工作。这种早期反馈使学生能够在他们的提交被评分之前发现和纠正他们提交的问题,并让他们清楚地了解他们提交的质量。CodEval处理评分的繁琐方面,例如编译和运行测试,让评分员有更多的时间花在评分的定性方面。在使用CodEval之前,教师直到截止日期之后才能清楚地了解学生对作业所评估的概念的理解。CodeEval帮助教师识别和解决学生理解中的差距,从而帮助更多的学生成功完成作业。我们使用Python使用公共Canvas API实现了CodEval。Canvas课程的任何讲师或评分员都可以使用CodEval自动评估提交的编程作业。我们开发了一种语法来表达提交的要求,例如编译参数,输入,输出,命令行参数,超时,退出代码,使用的函数,生成的文件,输出验证器等等。我们将CodEval开源。CodEval是一个简单的工具,为学生,评分员和教师,并与画布无缝集成。我们分享了在两个班级中使用CodEval的经验,共有90名学生和多个编码任务。
2022-11-21 cs.CY
Code Interviews: Design and Evaluation of a More Authentic Assessment for Introductory Programming Assignments
针对生成式AI带来的评估挑战,本文提出“代码访谈”这一针对入门编程作业的更具真实性的评估方法,通过助教主导的访谈形式促使学生讨论作业并促进同伴学习,并探讨了该设计对学生体验、学术诚信及教学工作量的影响。
2024-11-18 cs.CY
Analyzing the Difficulty of Programming Assignments with Interpretable Knowledge Component Metrics
Aalto University(阿尔托大学);North Carolina State University(北卡罗来纳州立大学);University of California, Berkeley(加州大学伯克利分校);University of Pittsburgh(匹兹堡大学)
研究如何用知识组件(KC)理解编程入门课程作业难度与学生学习困境,分析基于KC的指标,如作业KC数量及连续作业间KC覆盖变化,揭示相关规律并提出分析框架。
2026-07-07 cs.CY cs.SE
Automatic Classification of Error Types in Solutions to Programming Assignments at Online Learning Platform
在线编程课程越来越受欢迎,但与传统教育系统相比,它们仍然存在明显的缺点,例如,缺乏反馈。在这项研究中,我们应用机器学习方法,以改善反馈的自动验证系统的编程任务。我们提出了一种方法,提供了一个关于如何修复给定的不正确的提交代码的见解。为了实现这一点,我们通过对以前提交的不正确的解决方案进行聚类来检测频繁的错误类型,标记这些聚类,并使用这个标记的数据集来识别新提交中的错误类型。我们研究和比较了几种方法来检测频繁的错误类型和分配集群的新提交。所提出的方法进行评估的数据集上提供的流行的在线学习平台。
2021-07-13 cs.CY cs.SE
FastFixer: An Efficient and Effective Approach for Repairing Programming Assignments
针对LLM修复编程作业时定位编辑不准且自回归推理较慢的问题,本文提出FastFixer,通过面向修复的微调与任务定制推理加速,实现修复效果提升20.46%、推理加速16.67倍。
2024-10-11 cs.CY cs.SE
Evaluating Code Generation of LLMs in Advanced Computer Science Problems
Royal Institute of Technology(皇家理工学院)
本研究评估四种LLM工具在高级CS课程中生成Java、Python和C代码的能力,发现其解决高级作业较入门更难,但常能提供部分有用解决方案,为教学提供指导。
2025-04-21 cs.AI cs.CY
A Classroom Study of LLM-Generated Feedback Intervention in Introductory Programming
通过随机对照实验,比较自然语言提示、AI生成测试用例和无反馈三种条件,发现自然语言反馈显著提高完成率和收敛速度,而测试用例反馈效果取决于其有效性。
2026-06-07 cs.CY
Impeding LLM-assisted Cheating in Introductory Programming Assignments via Adversarial Perturbation
University of Arizona(亚利桑那大学)
本文针对入门编程课程中的 LLM 作弊问题,测试了 5 种 LLM 的基线性能,并提出对抗扰动方法,通过用户研究验证该扰动能使代码平均正确性下降 77%,有效阻碍了 LLM 辅助的代码生成。
2024-10-15 cs.CL cs.CY cs.SE
LeafTutor: An AI Agent for Programming Assignment Tutoring
LeafTutor利用大型语言模型为编程作业提供逐步指导,展示了AI辅导在提升STEM教育学习中的潜力。
2025-12-12 cs.AI cs.CY cs.SE
A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor
Adam Mickiewicz University(亚当·密茨凯维奇大学)
本研究基于6000余份编程课程学生作业,对比18款不同厂商的大语言模型的自动评分表现,发现模型间存在系统性差异,轻量版本表现弱于全量版,且自动评分与人工评分仍有差距,为教育场景模型选型提供参考。
2025-09-30 cs.CY
C-Pack of IPAs: A C90 Program Benchmark of Introductory Programming Assignments
INESC-ID/IST - U. Lisboa(里斯本大学INESC-ID/高等技术学院);Czech Technical University in Prague(捷克布拉格技术大学)
由于大规模开放式在线课程(MOOC)中注册的学生数量庞大,因此出现了越来越多的专注于介绍性编程作业(IPA)的自动程序修复技术。这些技术利用先前的正确学生实现,以便向学生提供自动化、全面和个性化的反馈。本文介绍了C-Pack-IPAs,一个公开的基准提交的学生计划为25个不同的IPAs。C-Pack-IPA包含语义正确、语义不正确和语法不正确的程序,以及每个IPA的测试套件。因此,C-Pack-IPAs可以用来帮助评估新的语义,以及语法,自动程序修复框架的发展,专注于提供反馈给新手程序员。
2022-06-17 cs.AI cs.CY cs.PL
LLM Chatbots in High School Programming: Exploring Behaviors and Interventions
Delft University of Technology(代尔夫特理工大学)
本研究通过设计基于研究方法探讨LLM在高中编程教育中的应用,发现干预教学能改善学习行为,但未显著提升考试成绩,表明需更全面的学习策略。
2025-11-24 cs.CY cs.HC
Ensuring Computer Science Learning in the AI Era: Open Generative AI Policies and Assignment-Driven Written Quizzes
Lawrence Technological University(劳伦斯理工大学)
本文提出了一种评估模型,允许在编程作业中使用生成式AI,同时通过基于作业的测验确保学生掌握课程内容,证明了开放AI政策在高级计算机科学课程中的可行性。
2026-01-16 cs.AI cs.CY
Evaluation of Systems Programming Exercises through Tailored Static Analysis
本文报告了针对系统编程练习的定制静态分析自动评估方法,能识别测试用例遗漏的错误提交,提供详细反馈。
2024-11-06 cs.CY cs.SE
"Why Put in This Much Effort?": How AI Availability Shapes Students' Motivation in Introductory Programming
North Carolina State University(北卡罗来纳州立大学);University of Maryland(马里兰大学)
通过访谈13名工程专业学生,研究AI工具完成编程作业时学生的动机变化,发现AI可用性降低了努力价值感、学习满足感和长期技能认知,学生面临学习与走捷径的冲突,建议课程设计从关注产出转向支持学习过程。
2026-06-29 cs.CY
Interpreting Latent Student Knowledge Representations in Programming Assignments
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对教育大模型学生知识表示可解释性不足的问题,提出信息正则化开放式项目反应理论模型InfoOIRT,通过最大化带先验的潜在知识状态与学生代码的互信息学习解耦表示,在真实数据集上实现代码生成与可解释知识表示的双重效果。
2024-05-13 cs.CL cs.CY cs.LG
Behavior Pattern and Compiled Information Based Performance Prediction in MOOCs
随着MOOC大规模在线开放课程的发展,越来越多的学科可以在线学习。研究人员目前对MOOC领域表现出越来越大的兴趣,包括辍学预测,作弊检测和成就预测。以往关于学业成就预测的研究主要集中在学生的视频和论坛行为上,很少有研究者考虑学生完成作业的情况。本文选择了一门C程序设计课程作为实验对象,共有1528名学生参加。本文主要研究学生在程序设计作业中的成就行为和从程序设计作业中获得的信息。本文根据日志的提交次数、提交顺序和剽窃程度提取日志的特征序列。实验结果表明,未通过考试的学生具有明显的序列模式,而通过考试的学生没有明显的序列模式。然后,我们从学生的编程作业的汇编信息中提取23个特征,并选择最具区别性的特征来预测学生的表现。实验结果表明,我们可以得到一个准确率为0.7049预测学生的表现。
2019-08-04 cs.CY cs.IR
Personalization, Cognition, and Gamification-based Programming Language Learning: A State-of-the-Art Systematic Literature Review
本文通过系统综述81项研究,探讨个性化游戏化在编程语言学习中的作用,发现其能提升学生动机、参与度和学习成果,但效果受游戏化元素类型、个性化程度及学习者特征影响,并为教育实践提供了设计启示。
2023-09-05 cs.CY
Logic Error Localization in Student Programming Assignments Using Pseudocode and Graph Neural Networks
Texas Tech University(德克萨斯理工大学);Xavier University of Louisiana(路易斯安那泽维尔大学)
针对学生编程作业中逻辑错误难定位的问题,提出以伪代码为支撑构建代码-伪代码图、用图神经网络定位并修正错误的方法,还构建了对应数据集,实验显示top-10定位准确率达99.2%。
2024-10-11 cs.AI cs.CY cs.SE
Monitor++?: Multiple versus Single Laboratory Monitors in Early Programming Education
贡献:本文提出了一种实证研究的入门级编程课程的学生使用多个显示器,并比较他们的表现和自我报告的经验与学生使用一个单一的显示器。背景技术背景:许多技术领域的教学级编程通常使用多监视器站,然而,一些教育实验室使用单监视器站。这并不能代表学生在实践和体验式学习中会遇到的情况。研究问题:本研究旨在回答三个研究问题。这些问题包括发现学生的经验观察,对比使用一个显示器的学生与使用两个显示器的学生的表现,以及调查学生使用多个显示器的方式。方法:研究中一半的学生可以使用多个显示器。这是两个研究组之间唯一的区别。本研究对比了年级中位数,并进行了中位数检验评估。此外,经验调查促进了likert规模的价值观和开放式的反馈问题促进文本分析。研究的局限性包括样本量小(86名学生)和缺乏对参与者组成的控制。调查结果:学生的反应非常积极的评价他们的经验,使用干预。总体而言,多显示器组的性能略有改善。最大的改进是在软件设计和图形作业。在接口和层次结构实验中,性能在统计上显著提高。学生以不同的方式使用多显示器,包括参考指南,作业规范等。
2021-08-13 cs.CY
Code-DKT: A Code-based Knowledge Tracing Model for Programming Tasks
North Carolina State University(北卡罗来纳州立大学)
知识追踪(KT)模型是一种流行的方法,用于预测学生未来的表现在实践中的问题,使用他们以前的尝试。虽然KT已经进行了许多创新,但包括最先进的Deep KT(DKT)在内的大多数模型主要利用每个学生的回答,无论是正确的还是不正确的,而忽略了它的内容。在这项工作中,我们提出了基于代码的深度知识跟踪(Code-DKT),该模型使用注意力机制来自动提取和选择特定于域的代码特征,以扩展DKT。我们比较了Code-DKT与贝叶斯和深度知识跟踪(BKT和DKT)在一个数据集上的有效性,该数据集来自一个50名学生的班级,他们试图解决5个入门编程作业。我们的研究结果表明,在5次分配中,Code-DKT始终优于DKT 3.07- 4.00%AUC,与其他最先进的领域通用KT模型相比,这是一个相当的改进。最后,我们通过一组案例研究来分析特定于问题的性能,以演示代码功能何时以及如何改善Code-DKT的预测。
2022-06-07 cs.AI cs.CY cs.SE
Neural Approximate Dynamic Programming for On-Demand Ride-Pooling
Singapore Management University(新加坡管理大学)
按需拼车(例如,UberPool)最近变得很受欢迎,因为它能够降低乘客的成本,同时增加司机和聚合公司的收入。与按需出租车(ToD)服务不同,在按需拼车中,每辆车(可能部分满员)都可以被分配一组乘客请求,其中有多个不同的起点和目的地对。为了确保接近实时的响应,实时拼车问题的现有解决方案是短视的,因为它们优化了目标(例如,最大化服务的乘客数量),而不考虑其对未来分配的影响。这是因为即使是拼车中的短视分配也需要考虑可以分配给车辆的乘客请求的组合,这给ToD问题增加了一层组合复杂性。近似动态规划(ADP)是一种解决ToD问题中短视分配限制的流行方法。然而,现有的用于ToD的ADP方法只能处理基于线性规划(LP)的分配,而拼车中的分配问题需要具有不良LP松弛的非线性规划(ILP)。为此,我们的主要技术贡献是提供了一个通用的ADP方法,可以从基于ILP的任务中学习。此外,我们通过使用基于神经网络的近似价值函数来处理乘客请求组合的额外组合复杂性,并显示与深度强化学习的连接,使我们能够以更高的稳定性和样本效率学习此值函数。我们表明,我们的方法在现实世界的数据集上比过去的方法性能高出16%,这在城市规模的交通问题上是一个显着的改进。
2019-11-20 cs.AI cs.CY cs.SY
InvAASTCluster: On Applying Invariant-Based Program Clustering to Introductory Programming Assignments
INESC-ID;Instituto Superior Técnico(理工学院);Universidade de Lisboa(里斯本大学);CIIRC;Czech Technical University in Prague(布拉格捷克技术大学)
本文提出 InvAASTCluster 程序聚类方法,结合动态生成的程序不变量与匿名化抽象语法树表示语义等价的入门编程作业,集成至修复工具后使修复的学生程序数量提升约13%且耗时更短。
2025-04-30 cs.AI cs.CY cs.PL
From Theory to Systems: A Grounded Approach to Programming Language Education
我提出了一种新的方法来教授研究生级别的程序设计语言课程,重点是使用系统编程思想和语言,如WebAssembly和Rust来激励PL理论。利用学生以前使用低级语言的经验,本课程展示了如何使用类型系统和PL理论来避免学生在实践中遇到的棘手的现实世界错误。我反思了在斯坦福大学两年的教学课程设计和经验教训,表明整合系统思想可以为学生提供更接地和愉快的程序设计语言教育。课程表、课程笔记和作业都可以免费获得:http://cs242.stanford.edu/f18/
2019-04-14 cs.CY cs.PL
Effects of Human vs. Automatic Feedback on Students' Understanding of AI Concepts and Programming Style
自动评分工具的使用在大型本科编程课程中几乎无处不在,最近的工作集中在提高自动生成反馈的质量上。然而,在接受计算机生成的反馈和人类书面反馈时,直接比较学生成绩的数据相对缺乏。本文通过将一个90名学生的班级分成两个反馈组,并分析两组学生的表现差异来解决这一差距。这门课是人工智能的入门课,有硬件编程作业。一组学生收到了关于他们编程作业的详细的计算机生成的反馈,描述了算法逻辑的哪些部分缺失;另一组学生还收到了人类撰写的反馈,描述了他们的程序语法如何与他们的逻辑问题相关,以及改进他们代码的定性(风格)建议。测验和考试问题的结果表明,人类的反馈有助于学生获得更好的概念理解,但分析发现,小组在最终项目上的合作能力没有差异。课程成绩分布显示,接受人类书面反馈的学生总体表现更好;这种效果在每组的中间两个四分位数中最为明显。这些结果表明,反馈的语法逻辑关系可能是一个主要的机制,人类的反馈提高学生的成绩。
2020-11-20 cs.CY cs.HC
Correctness, Convergence, and AI-Generated Code Detection: A Longitudinal Study of Student and Large Language Model Code in Introductory Programming
University of Toronto(多伦多大学);Aalto University(阿尔托大学);McMaster University(麦克马斯特大学);Maranatha Christian University(马拉纳撒基督教大学);University of Auckland(奥克兰大学);University of Toronto Mississauga(多伦多大学密西沙加分校)
本研究通过纵向分析学生与LLM代码,发现生成参考匹配可追踪群体代码趋同,但归因个体AI使用需额外证据。
2026-10-02 cs.CY cs.SE
Students' Perceptions and Preferences of Generative Artificial Intelligence Feedback for Programming
North Carolina State University(北卡罗来纳州立大学);Georgia Institute of Technology(佐治亚理工学院)
本研究探讨ChatGPT为CS1课程Java作业提供自动化反馈的可行性,通过调查发现学生认可其形成性价值,偏好含代码的针对性纠错反馈,为优化AI教育反馈提供了方向。
2023-12-17 cs.AI cs.CY cs.HC