Automated Assignment Grading with Large Language Models: Insights From a Bioinformatics Course
University of Ljubljana（卢布尔雅那大学）；Faculty of Computer and Information Science（计算机与信息科学学院）；Baylor College of Medicine（贝勒医学院）
本研究在生物信息学课程中评估了LLM用于作业自动评分的表现，发现精心设计的提示可使LLM达到与人类助教相当的评分准确性和反馈质量，且开源模型不逊于商业模型。
2025-01-24 cs.CY cs.LG
CodEval: Improving Student Success In Programming Assignments
CodEval是一个代码评估工具，它与Canvas学习管理系统集成，可以在提交后的几分钟内自动评估学生的工作。这种早期反馈使学生能够在他们的提交被评分之前发现和纠正他们提交的问题，并让他们清楚地了解他们提交的质量。CodEval处理评分的繁琐方面，例如编译和运行测试，让评分员有更多的时间花在评分的定性方面。在使用CodEval之前，教师直到截止日期之后才能清楚地了解学生对作业所评估的概念的理解。CodeEval帮助教师识别和解决学生理解中的差距，从而帮助更多的学生成功完成作业。我们使用Python使用公共Canvas API实现了CodEval。Canvas课程的任何讲师或评分员都可以使用CodEval自动评估提交的编程作业。我们开发了一种语法来表达提交的要求，例如编译参数，输入，输出，命令行参数，超时，退出代码，使用的函数，生成的文件，输出验证器等等。我们将CodEval开源。CodEval是一个简单的工具，为学生，评分员和教师，并与画布无缝集成。我们分享了在两个班级中使用CodEval的经验，共有90名学生和多个编码任务。
2022-11-21 cs.CY
SimGrade: Using Code Similarity Measures for More Accurate Human Grading
针对CS1课程编程题人工评分不一致问题，提出SimGrade方法，利用代码分布式表示衡量相似性并设计分配与排序算法，使评分者优先接触相似提交，显著提升了评分准确性。
2024-02-19 cs.CY
A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor
Adam Mickiewicz University（亚当·密茨凯维奇大学）
本研究基于6000余份编程课程学生作业，对比18款不同厂商的大语言模型的自动评分表现，发现模型间存在系统性差异，轻量版本表现弱于全量版，且自动评分与人工评分仍有差距，为教育场景模型选型提供参考。
2025-09-30 cs.CY
CodEv: An Automated Grading Framework Leveraging Large Language Models for Consistent and Constructive Feedback
National Sun Yat-Sen University（国立中山大学）
CodEv框架利用大型语言模型、思维链提示和模型集成，为编程作业提供与人工评估一致且可靠的自动化评分与建设性反馈。
2025-01-10 cs.AI cs.CY cs.HC
Linking open-source code commits and MOOC grades to evaluate massive online open peer review
大规模开放式在线课程（MOOC）已被学生用作各种领域的低成本和低接触教育证书。了解这些课程作业背后的评分机制对于评估MOOC证书非常重要。一种常见的自由反应作业评分方法是大规模的同行评审，特别是用于那些不容易通过编程评分的作业。很难评估这些方法，因为这些反应通常需要人工评估。在这里，我们链接了来自GitHub上的公共代码存储库的数据和一个大型在线开放课程的课程成绩，以研究大规模同行评审的动态。这对于理解难以评分作业的动态具有重要意义。由于这项研究不是假设驱动的，我们在一个探索性的框架中描述了结果。我们发现三个不同的集群的重复同行评审提交，并使用这些集群来研究等级如何变化，以响应代码提交的变化。我们的探索还导致了一个重要的观察结果，即大规模同行评审分数是高度可变的，平均而言，随着重复提交而增加，分数的变化与构成重新提交基础的代码更改并不密切相关。
2021-04-15 cs.CY stat.AP
PyBryt: auto-assessment and auto-grading for computational thinking
我们不断与计算机系统互动，以实现目标，并在我们的个人和职业生活中执行任务。因此，编程这种系统的能力是每个人都需要的技能。因此，计算思维技能对每个人来说都是必不可少的，这就给教育系统带来了挑战，要求大规模教授这些技能，并允许学生练习这些技能。为了应对这一挑战，我们提出了一种新的方法来提供形成性反馈给学生的编程作业。我们的方法使用动态评估跟踪学生的代码生成的中间结果，并将它们与教师提供的参考实现进行比较。我们已经实现了这种方法作为一个Python库，并展示了它的使用，给学生的工作，同时允许教师挑战他们的学生的计算思维技能的相关反馈。
2021-12-03 cs.CY cs.HC
Gradeer: An Open-Source Modular Hybrid Grader
自动评估已被证明可以大大简化评估学生课程的过程。然而，手动评估仍然为学生和导师提供了好处。我们介绍了Gradeer，一个混合评估工具，它允许导师利用自动化和手动评估的优势。该工具采用模块化设计，允许添加新的放坡功能。Gradeer通过自动加载代码检查器、运行学生的程序以及允许在稍后停止和恢复评分来直接协助手动评分。我们使用Gradeer来评估Java编程入门课程的年终作业，并发现其混合方法提供了几个好处。
2021-02-12 cs.CY cs.SE
Scaffolding Research Projects in Theory of Computing Courses
本文针对传统计算理论课程以考试为主的局限，扩展并系统脚手架化“模拟会议”研究项目，分享其在课程中的实施经验。
2024-10-02 cs.CY
Generative Grading: Near Human-level Accuracy for Automated Feedback on Richly Structured Problems
Stanford University（斯坦福大学）
大规模获得高质量教育的机会受到限制，因为在计算机编程，图形和简短回答问题等结构化领域的开放式作业中难以提供学生反馈。这个问题已经被证明是非常困难的：对于人类来说，它需要大量的手工工作，而对于计算机来说，直到最近，实现任何接近人类水平的精度都是无法实现的。在本文中，我们提出了生成评分：一种新的计算方法，提供反馈的规模，能够准确地分级学生的工作，并提供细致入微的，可解释的反馈。我们的方法使用生成描述学生的认知，写概率程序，合成数以百万计的标记的例子解决方案的问题，然后我们学习推断反馈，真正的学生解决方案的基础上，这种认知模型。我们将我们的方法应用于三种设置。在基于块的编码中，我们在以前的最佳反馈结果基础上实现了50%的改进，实现了超人的准确性。在另外两个广泛不同的领域-图形任务和简短的文本答案-我们实现了比以前的技术水平分别约4倍和1.5倍的重大改进，接近人类的准确性。在一个真实的教室里，我们进行了一个实验，我们使用我们的系统来增强人类评分员，在将评分时间减半的同时，提高了一倍的评分准确性。
2021-03-23 cs.CY cs.LG stat.ML
Polarity in the Classroom: A Case Study Leveraging Peer Sentiment Toward Scalable Assessment
在大型或大规模开放式在线课程（MOOC）中对开放式作业进行准确评分并非易事。同行评审是一种很有前途的解决方案，但由于评审员很少和未评估的评审形式，因此可能不可靠。到目前为止，还没有工作1）在同行评审过程中利用情感分析来通知或验证成绩，或者2）利用方面提取来从学生实际交流的内容中制作评审表格。我们的工作利用，而不是丢弃，学生的数据从审查形式的意见，提供更好的信息，教师。在这项工作中，我们详细的过程中，我们创建我们的领域相关的词汇和方面知情的审查形式，以及我们的整个情感分析算法，它提供了一个细粒度的情感分数从文本单独。最后，我们分析的有效性和讨论的结论，从我们的语料库超过6800同行评议，从9门课程，以了解情感在课堂上的可行性，以增加信息和可靠性的评分开放式作业在大型课程。
2021-08-02 cs.CL cs.CY
Predicting student performance using data from an auto-grading system
University of Waterloo（滑铁卢大学）
随着在线自动评分系统的出现，从这些系统中获得的信息可能使研究人员能够创建预测模型来预测学生的行为和表现。在滑铁卢大学，ECE 150（编程基础）教学团队希望深入了解如何更好地分配有限的教学资源，以实现更好的教育成果。目前，教学团队在反应的基础上分配辅导时间。他们帮助学生“按要求”。这种方法为那些有必要寻求帮助的学生提供了帮助;然而，许多正在挣扎的学生并没有寻求帮助。因此，作为研究团队，我们希望探索是否可以通过查看我们的自动评分系统Marmoset的数据来确定需要帮助的学生。在本文中，我们进行了实验，建立决策树和线性回归模型，从绒猴自动评分系统中提取的各种功能，包括通过率，测试用例的结果，提交的数量和提交时间间隔（学生的第一个合理的提交和截止日期之间的时间间隔）。对于每个特征，我们在混淆矩阵级别解释结果。特别是对于表现不佳的学生，我们表明，使用提交时间间隔的线性回归模型在精度和F-测量方面在所有模型中表现最好。我们还表明，对于学生谁被错误地归类为表现不佳的学生，他们有最低的实际成绩在所有模型中的线性回归模型。此外，我们发现，对于期中考试，期中考试前最后一次作业的提交时间间隔对期中考试成绩的预测最大。然而，对于期末考试，期中成绩对期末考试成绩的贡献最大。
2021-02-02 cs.CY cs.LG
Evaluating Generative AI for CS1 Code Grading: Direct vs Reverse Methods
University of British Columbia Okanagan（不列颠哥伦比亚大学奥克兰分校）
针对计算机科学入门课程编程作业人工评分耗时且不一致的问题，本文比较直接法与新提出的反向法两种AI评分技术，发现反向法更细粒度，两种方法均需提示工程，为混合人机AI评分系统提供参考。
2025-11-17 cs.AI cs.CY cs.SE
Preventing Cheating in Hands-on Lab Assignments
网络、操作系统和网络安全技能在真实的环境中得到最好的锻炼。学生在实验室环境中使用真实的系统和工具，并完成指定的任务。由于所有学生通常都会收到相同的作业，因此他们可以向教师，辅导系统或同龄人咨询他们的方法和进度。他们也可以在互联网上搜索信息。在课堂上为所有学生布置相同的作业是有效学习和发展技能的标准做法。然而，当在诸如评分作业、期中考试或期末考试等总结性评估中使用时，它很容易作弊。学生可以很容易地在没有完成作业的情况下共享并提交正确答案。在本文中，我们讨论的方法自动生成的动手在计算机实验室环境中完成的任务的问题。使用这种方法，每个学生都收到个性化的任务。我们开发了用于生成和提交这些个性化任务的软件，并进行了案例研究。该软件被用于为207名学生注册的安全入门课程的家庭作业创建和评分。该软件发现了七个可疑的提交案例，这些案例可能构成作弊。此外，学生和教师欢迎个性化的任务。教师评论说，这种方法适用于大班。学生在运行个性化实验室环境时很少遇到问题。最后，我们发布了开源软件，使其他教育工作者能够在他们的课程和学习环境中使用它。
2022-01-04 cs.CR cs.CY
Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World
Rice University（莱斯大学）
提出基于帕累托盈余的AI韧性评估框架，通过可执行评估器衡量学生超越AI基线的能力，并应用于Bloom过滤器作业实例。
2026-07-01 cs.AI cs.CY
A Design and Development of Rubrics System for Android Applications
本研究针对学术材料数字化背景下的学生评价需求，设计实现了一款Android端学生评价系统移动应用，拓展评分量规的图形化分析功能，可提升评分效率与资源效能，支持提交与评价数据的便捷跟踪及统计分析。
2023-09-23 cs.CY cs.SE
EDU-CIRCUIT-HW: Evaluating Multimodal Large Language Models on Real-World University-Level STEM Student Handwritten Solutions
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工学院）
本文提出EDU-CIRCUIT-HW数据集，用于评估多模态大语言模型在处理包含数学公式、图表和文本推理的大学STEM学生手写解答中的性能，揭示模型在自动评分中的可靠性问题，并提出通过纠正识别错误提升AI评分系统鲁棒性的方法。
2026-04-30 cs.AI cs.CV cs.CY
ChatGPT Solves All Tested Qiskit Homework Assignments
Wilfrid Laurier University（韦仕敦大学）
本研究测试的个性化、面向执行的 Qiskit 作业设计，无法阻止 ChatGPT 成功完成，各测试实例的 ChatGPT 抗性为零，需辅以直接评估保障教育效果。
2026-08-21 cs.CY quant-ph
Auto-grader Feedback Utilization and Its Impacts: An Observational Study Across Five Community Colleges
本研究通过分析五所社区学院Python课程中学生的自动评分器交互数据，发现更频繁查看反馈的学生作业得分更高，且查看反馈后的提交得分优于忽略反馈后的提交，从而证明了自动评分器反馈的有效性并鼓励其更广泛使用。
2025-07-17 cs.CY
TipsC: Tips and Corrections for programming MOOCs
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
随着MOOC在学术机构中的广泛采用，必须提出更好的技术来解决编程课程带来的辅导和评分问题。编程是一种新的“写作”，确保社会的大部分人接触编程是一个挑战。由于学生学习能力的梯度，课程教师必须确保每个人都能应付材料，并在学习过程中获得足够的帮助来完成作业。我们为这个任务引入了TipsC。通过分析大量正确的提交，TipsC可以搜索与给定的错误解决方案相似的正确代码。在不透露实际代码的情况下，TipsC然后建议更改不正确的代码，以帮助学生修复逻辑运行时错误。此外，这也可以作为讲师的聚类可视化工具，揭示用户提交的不同模式。我们评估了TipsC的聚类算法的有效性，从以前的产品的介绍性编程课程在IIT坎普尔进行的成绩是由人类TA收集的数据。结果显示，当相似的提交被分组在一起时，集群的分数的加权平均方差比所有程序被分组在一起时的情况小47%。
2018-04-02 cs.AI cs.CY
Teaching Usable Privacy in HCI Education: Designing, Implementing, and Evaluating an Active Learning Graduate Course
George Mason University（乔治梅森大学）
本文设计并评估了一门15周的研究生课程，通过主动学习方法教授可操作隐私，提升学生在隐私设计中的决策能力，并提供课程实施和评估的详细指南。
2026-04-26 cs.CY cs.HC
Using Automated Theorem Provers to Teach Knowledge Representation in First-Order Logic
学习人工智能的本科生常常难以将知识表示为逻辑句子。这是一种似乎需要大量实践才能获得的技能，这表明教学策略涉及分配大量练习，这些练习涉及一些知识的表达，使用自然语言（如英语）进行交流，作为某种逻辑中的句子。掌握这种技能所需的练习数量太多，以至于典型的人工智能课程教学团队无法对学生的努力提供及时的反馈。因此，需要一个自动化的评估系统，这样的练习，以确保学生得到足够的实践量，与反馈的快速传递，让学生在他们的理解和纠正错误。本文介绍了一个自动评分系统的知识表示练习使用一阶逻辑。归结定理证明器\textit{Prover9}用于检查学生提交的公式是否与教师提供的解决方案在逻辑上等价。这个系统已经被注册在本科人工智能班的学生使用了几年。使用这一教学工具导致了统计上的显着改善一阶逻辑知识表示问题出现在课程期末考试。本文解释了这个系统是如何工作的，提供了学生学习成果的变化分析，并探讨了这个系统的潜在增强功能，包括通过用基于表格的方法取代解决定理证明器来提供丰富的形成性反馈的可能性。
2015-07-14 cs.CY cs.LO
Automating Autograding: Large Language Models as Test Suite Generators for Introductory Programming
Al Hussein Technical University（侯赛因技术大学）；Princess Sumaya University for Technology（苏玛娅技术公主大学）；University of Auckland（奥克兰大学）
本文研究利用GPT-4根据题目描述和参考解答自动生成CS1编程题测试套件，并在26道题、超2.5万份学生提交上验证其效果，证明LLM生成的测试套件在识别有效解答和覆盖全面性上可与教师手工套件相当，还能揭示题目歧义。
2024-11-18 cs.AI cs.CY
