Automated Feedback Generation for Introductory Programming Assignments
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
我们提出了一种新的方法,自动提供反馈的介绍性编程问题。为了使用这种方法,我们需要一个作业的参考实现,以及一个错误模型,该模型由学生可能犯的错误的潜在纠正组成。使用这些信息,系统会自动对学生的错误答案进行最小限度的纠正,为他们提供一个量化的测量,以准确地衡量给定的解决方案有多不正确,以及反馈他们做错了什么。我们介绍了一个简单的语言描述错误模型的校正规则,并正式定义了一个规则导向的翻译策略,减少了在一个不正确的程序中找到最小的更正的问题,从草图合成一个正确的程序的问题。我们已经评估了我们的系统从6.00和6.00x获得的数千个真实的学生尝试。我们的研究结果表明,相对简单的错误模型可以纠正平均65%的所有不正确的提交。
2012-11-16 cs.AI cs.PL
C-Pack of IPAs: A C90 Program Benchmark of Introductory Programming Assignments
INESC-ID/IST - U. Lisboa(里斯本大学INESC-ID/高等技术学院);Czech Technical University in Prague(捷克布拉格技术大学)
由于大规模开放式在线课程(MOOC)中注册的学生数量庞大,因此出现了越来越多的专注于介绍性编程作业(IPA)的自动程序修复技术。这些技术利用先前的正确学生实现,以便向学生提供自动化、全面和个性化的反馈。本文介绍了C-Pack-IPAs,一个公开的基准提交的学生计划为25个不同的IPAs。C-Pack-IPA包含语义正确、语义不正确和语法不正确的程序,以及每个IPA的测试套件。因此,C-Pack-IPAs可以用来帮助评估新的语义,以及语法,自动程序修复框架的发展,专注于提供反馈给新手程序员。
2022-06-17 cs.AI cs.CY cs.PL
Leveraging BART to Assess CS1 C++ Programming Assignments using Rubric-based Criteria
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出基于评分标准的多任务微调BART模型,用于自动评分C++编程作业,通过联合预测数值分数和等级区间并匹配分布,使评分更接近教师行为。
2026-06-02 cs.AI
Automated Correction for Syntax Errors in Programming Assignments using Recurrent Neural Networks
Netaji Subhas Institute of Technology(内塔吉·苏巴斯理工学院);Microsoft Research(微软研究院)
我们提出了一种方法,用于自动生成修复反馈的语法错误的介绍性编程问题。在我们从edX上的MOOC课程中获得的学生提交数据集中,错误构成了最大的错误类别之一(34%)。以前用于生成编程作业的自动反馈的技术集中在学生程序的功能正确性和风格考虑上。这些技术分析程序的程序AST,然后执行一些动态和符号分析来计算修复反馈。不幸的是,它是不可能的生成AST的学生程序与语法错误,因此,以前的反馈技术是不适用于修复语法错误。我们提出了一种技术,用于提供反馈的语法错误,使用循环神经网络(RNNs)的模型语法有效的令牌序列。我们的方法是从最近的工作学习大代码(大代码语料库)语言模型的启发。对于给定的编程作业,我们首先学习RNN,使用语法正确的学生提交集对所有有效的令牌序列进行建模。然后,对于有语法错误的学生提交,我们用前缀- ken序列查询学习的RNN模型,以预测可以通过在错误位置替换或插入预测的令牌序列来修复错误的令牌序列。我们评估了超过14000名学生提交的语法错误我们的技术。我们的技术可以完全修复31.69%(4501/14203)的提交与语法错误,此外部分纠正6.39%(908/14203)的提交。
2016-03-19 cs.AI cs.LG cs.PL
Ensuring Computer Science Learning in the AI Era: Open Generative AI Policies and Assignment-Driven Written Quizzes
Lawrence Technological University(劳伦斯理工大学)
本文提出了一种评估模型,允许在编程作业中使用生成式AI,同时通过基于作业的测验确保学生掌握课程内容,证明了开放AI政策在高级计算机科学课程中的可行性。
2026-01-16 cs.AI cs.CY
Peer-aided Repairer: Empowering Large Language Models to Repair Advanced Student Assignments
Beihang University(北京航空航天大学);Peking University(北京大学)
本文针对高级编程作业修复难题,提出基于大语言模型的PaR框架,通过同伴方案选择、多源提示生成与程序修复三阶段,在Defects4DS和ITSP数据集上实现修复率新突破。
2024-04-02 cs.AI cs.SE
EduBot -- Can LLMs Solve Personalized Learning and Programming Assignments?
Courant Institute of Mathematical Sciences, New York University(纽约大学数学科学研究所)
本文提出智能助手系统 EduBot,通过递归提示驱动方法结合 LLMs 解决个性化学习与复杂编程作业,在 20 个场景基准测试中验证了其高效性、跨模型兼容性与鲁棒性。
2025-04-23 cs.AI cs.SE
Airport Gate Assignment A Hybrid Model and Implementation
Texas Tech University(德克萨斯理工大学)
随着航空公司的快速发展,今天的机场变得比以前更加繁忙和复杂。在航空公司的日常运营中,如何根据航班时刻表为到达航班分配停机位是一个非常重要的问题,这促使研究人员采用各种先进的组合优化技术来研究和解决机场停机位分配问题(Airport Gate Assignment Problems,AGAP)。本文研究了AGAP问题,提出了一种基于约束规划和0 - 1混合整数规划的混合数学模型。以最小化任意两个相邻飞机分配到同一登机口的登机口冲突次数为目标,建立了一个带有逻辑约束和二元约束的数学模型。出于实际考虑,该模型的潜在目标也是最大限度地减少航空公司必须租赁或购买的登机口数量,以便顺利运营业务。最后,利用最优化程序设计语言(OPL)实现了该模型,并以美国大陆航空公司休斯顿乔治布什洲际机场IAH航班时刻表数据为例进行了实证研究,结果表明,该模型能够为航空公司提供一个有效的评价标准,以评估其当前停机位分配的效率。
2009-03-14 cs.AI cs.OH
Logic Error Localization in Student Programming Assignments Using Pseudocode and Graph Neural Networks
Texas Tech University(德克萨斯理工大学);Xavier University of Louisiana(路易斯安那泽维尔大学)
针对学生编程作业中逻辑错误难定位的问题,提出以伪代码为支撑构建代码-伪代码图、用图神经网络定位并修正错误的方法,还构建了对应数据集,实验显示top-10定位准确率达99.2%。
2024-10-11 cs.AI cs.CY cs.SE
Neural Approximate Dynamic Programming for On-Demand Ride-Pooling
Singapore Management University(新加坡管理大学)
按需拼车(例如,UberPool)最近变得很受欢迎,因为它能够降低乘客的成本,同时增加司机和聚合公司的收入。与按需出租车(ToD)服务不同,在按需拼车中,每辆车(可能部分满员)都可以被分配一组乘客请求,其中有多个不同的起点和目的地对。为了确保接近实时的响应,实时拼车问题的现有解决方案是短视的,因为它们优化了目标(例如,最大化服务的乘客数量),而不考虑其对未来分配的影响。这是因为即使是拼车中的短视分配也需要考虑可以分配给车辆的乘客请求的组合,这给ToD问题增加了一层组合复杂性。近似动态规划(ADP)是一种解决ToD问题中短视分配限制的流行方法。然而,现有的用于ToD的ADP方法只能处理基于线性规划(LP)的分配,而拼车中的分配问题需要具有不良LP松弛的非线性规划(ILP)。为此,我们的主要技术贡献是提供了一个通用的ADP方法,可以从基于ILP的任务中学习。此外,我们通过使用基于神经网络的近似价值函数来处理乘客请求组合的额外组合复杂性,并显示与深度强化学习的连接,使我们能够以更高的稳定性和样本效率学习此值函数。我们表明,我们的方法在现实世界的数据集上比过去的方法性能高出16%,这在城市规模的交通问题上是一个显着的改进。
2019-11-20 cs.AI cs.CY cs.SY
Confidence-based Reasoning in Stochastic Constraint Programming
University of Edinburgh(爱丁堡大学);Taif University(塔伊夫大学);Cankaya University(坎卡亚大学);University College Cork(科克大学学院)
在这项工作中,我们介绍了一种新的方法,基于抽样,寻找分配,很可能是随机约束满足问题和约束优化问题的解决方案。我们的方法减少了原来的问题进行分析的大小,通过解决这个减少的问题,与一个给定的置信概率,我们得到的分配,满足机会约束在规定的误差容限阈值内的原始模型。为了实现这一点,我们混合随机约束规划和统计的概念。我们讨论我们的方法的精确和近似的变种。我们介绍的框架可以立即采用与现有的方法来解决随机约束程序。一个彻底的计算研究的一些随机组合优化问题证明了我们的方法的有效性。
2015-07-05 cs.AI math.CO math.OC
Code-DKT: A Code-based Knowledge Tracing Model for Programming Tasks
North Carolina State University(北卡罗来纳州立大学)
知识追踪(KT)模型是一种流行的方法,用于预测学生未来的表现在实践中的问题,使用他们以前的尝试。虽然KT已经进行了许多创新,但包括最先进的Deep KT(DKT)在内的大多数模型主要利用每个学生的回答,无论是正确的还是不正确的,而忽略了它的内容。在这项工作中,我们提出了基于代码的深度知识跟踪(Code-DKT),该模型使用注意力机制来自动提取和选择特定于域的代码特征,以扩展DKT。我们比较了Code-DKT与贝叶斯和深度知识跟踪(BKT和DKT)在一个数据集上的有效性,该数据集来自一个50名学生的班级,他们试图解决5个入门编程作业。我们的研究结果表明,在5次分配中,Code-DKT始终优于DKT 3.07- 4.00%AUC,与其他最先进的领域通用KT模型相比,这是一个相当的改进。最后,我们通过一组案例研究来分析特定于问题的性能,以演示代码功能何时以及如何改善Code-DKT的预测。
2022-06-07 cs.AI cs.CY cs.SE
InvAASTCluster: On Applying Invariant-Based Program Clustering to Introductory Programming Assignments
INESC-ID;Instituto Superior Técnico(理工学院);Universidade de Lisboa(里斯本大学);CIIRC;Czech Technical University in Prague(布拉格捷克技术大学)
本文提出 InvAASTCluster 程序聚类方法,结合动态生成的程序不变量与匿名化抽象语法树表示语义等价的入门编程作业,集成至修复工具后使修复的学生程序数量提升约13%且耗时更短。
2025-04-30 cs.AI cs.CY cs.PL
A Column Generation based Heuristic for the Tail Assignment Problem
Polytechnique Montreal(蒙特利尔综合理工学院)
本文提出了一种有效的启发式加速列生成并行解决飞机的定价问题的尾部分配问题(TAP)。该方法是能够实现相当大的改善,在解决时间为现实生活中的测试实例,从两个主要的印度航空公司。本文考虑了根据航空监管机构对个别飞机进行维修路线的不同限制。我们还提出了一个变量固定启发式,以提高解决方案的完整性。约束编程和列生成的混合在加速解析过程中发挥了重要作用。
2020-09-25 cs.AI cs.CE
Specifying and Exploiting Non-Monotonic Domain-Specific Declarative Heuristics in Answer Set Programming
Siemens AG Österreich(奥地利西门子股份公司);Alpen-Adria-Universität Klagenfurt(克拉根福阿尔卑斯-亚德里亚大学);TU Wien(维也纳工业大学)
特定领域算法是有效解决组合问题的一种基本技术。目前的方法来集成特定领域的算法与答案集编程(ASP)是不令人满意的,当处理指定的非单调的部分分配的基础上的算法。在实践中,例如,当挑选尚未放入装箱箱的物品时,经常会发生这种物流。因此,我们提出了新的语法和语义的声明性规范的领域特定的语法在ASP。我们的方法支持启发式语句,依赖于在解决过程中保持的部分分配,这是不可能的。我们提供了一个实现在ALPHA,使ALPHA的第一个懒惰接地ASP系统,以支持声明指定的特定于域的语法。两个实际的例子域被用来证明我们的建议的好处。此外,我们使用我们的方法来实现知情的搜索与A*,这是第一次在ASP。A* 适用于两个进一步的搜索问题。实验证实,结合懒惰接地ASP解决方案和我们的新算法可以解决工业规模的问题是至关重要的。
2022-09-19 cs.AI
Students' Perceptions and Preferences of Generative Artificial Intelligence Feedback for Programming
North Carolina State University(北卡罗来纳州立大学);Georgia Institute of Technology(佐治亚理工学院)
本研究探讨ChatGPT为CS1课程Java作业提供自动化反馈的可行性,通过调查发现学生认可其形成性价值,偏好含代码的针对性纠错反馈,为优化AI教育反馈提供了方向。
2023-12-17 cs.AI cs.CY cs.HC
Evolving Evolutionary Algorithms using Linear Genetic Programming
Babes-Bolyai University(巴比什-波雅依大学)
提出了一种新的进化算法模型。该模型是基于线性遗传编程(LGP)技术。每个LGP染色体编码一个用于解决特定问题的EA。几个进化算法的函数优化,旅行商问题,二次分配问题的进化使用所考虑的模型。数值实验表明,进化算法执行类似的,有时甚至比几个著名的基准测试问题的标准方法更好。
2021-08-21 cs.AI cs.NE
A modified Physarum-inspired model for the user equilibrium traffic assignment problem
Northwestern Polytechnical University(西北工业大学)
在交通分配问题中,用户平衡交通分配原则是一个非常重要的问题。针对传统算法中的用户均衡问题,设计了数学规划模型。最近,绒泡菌显示出解决用户平衡和系统优化交通分配问题的能力。然而,在实际的交通网络中,具有双向交通特性和多个起点-目的地对的绒泡菌模型是不有效的。在这篇文章中,一个修改的物理启发模型的用户平衡问题。该模型通过对交通流进行基于源节点的分解,可以区分不同源-目的地对的交通流。当每个起点-终点对之间没有较短的路径时,绒泡菌可以获得平衡的交通流量。最后,通过Sioux Falls网络的算例验证了模型的合理性和收敛性。
2016-12-19 cs.AI cs.ET
DPER: Dynamic Programming for Exist-Random Stochastic SAT
Rice University(莱斯大学)
在贝叶斯推理中,最大后验概率(MAP)问题结合了最可能解释(MPE)和边缘化(MAR)问题。命题逻辑中的对应问题是存在随机可满足性(ER-SSAT)问题,它结合了可满足性(SAT)和加权模型计数(WMC)问题。MAP和ER-SSAT都具有$\operatorname{argmax}_X \sum_Y f(X, Y)$的形式,其中$f$是不相交变量集$X$和$Y$上的实值函数。这两个优化问题要求$X$变量的值分配,该值分配使$f(X, Y)$在$Y$变量的所有值分配上的加权和最大化。ER-SSAT已被证明是一种很有前途的方法,正式验证公平的监督学习。最近,已经提出了分级投影连接树上的动态规划来解决加权投影模型计数(WPMC),这是一个具有$\sum_X \max_Y f(X, Y)$形式的相关问题。我们扩展这个WPMC框架,以准确地解决ER-SSAT和实现一个动态规划求解器命名为DPER。我们的实证评估表明,DPER有助于投资组合的国家的最先进的ER-SSAT求解器(DC-SSAT和erSSAT)通过竞争力的表现低宽度的问题的情况下。
2022-05-19 cs.AI cs.DS cs.LO
Reinforced Linear Genetic Programming
Dalhousie University(达尔豪斯大学)
本文提出强化线性遗传编程(RLGP),通过Q学习自动学习最优寄存器-动作分配,采用内存安全的Rust框架进行实验。
2026-10-21 cs.AI cs.NE
Recommender Systems for the Conference Paper Assignment Problem
Virginia Tech(弗吉尼亚理工大学);Yahoo! Research(雅虎研究院)
会议论文分配,即,将论文提交分配给评审者的任务为推荐系统的研究提出了多方面的问题。除了预测“谁喜欢什么”的传统目标之外?会议管理系统必须考虑诸如以下方面:评审员能力约束、论文评审的足够数量、专业知识建模、利益冲突以及平衡评审员偏好与会议目标的任务的总体分配。在这些问题中,传统上研究模型的偏好和口味的审查,从优化的论文审稿人分配。在本文中,我们提出了这两个方面的综合研究。首先,由于缺乏数据的审稿人或每篇论文(相对于其他推荐系统的应用程序),我们展示了如何整合多个信息源来学习论文审稿人偏好模型。其次,我们的模型不仅在预测准确性方面进行评估,而且在最终分配质量方面进行评估。使用基于线性规划的分配优化公式,我们展示了我们的方法如何更好地探索未提供的分配空间,以最大限度地提高分配给审稿人的论文的整体亲和力。我们证明了我们的结果,真正的审查偏好数据从IEEE ICDM 2007年会议。
2009-06-22 cs.AI cs.IR
Fooling MOSS Detection with Pretrained Language Models
Booz Allen Hamilton(博思艾伦咨询公司);EleutherAI(EleutherAI 人工智能研究组织)
随着人工智能(AI)技术在社会中变得越来越强大和突出,它们的滥用越来越令人担忧。在教育环境中,人工智能技术可以被学生用来在作业和考试中作弊。在本文中,我们将探讨Transformers是否可以用于解决入门级编程任务,同时绕过常用的AI工具来检测软件之间的相似性。我们发现,使用GPT-J的学生[Wang and Komatsuzaki,2021]可以完成入门级的编程作业,而不会引起MOSS [Aiken,2000]的怀疑,MOSS是一种广泛使用的软件相似性和剽窃检测工具。尽管GPT-J没有接受过有关问题的培训,也没有提供任何可供借鉴的例子,但情况仍然如此。我们进一步发现,GPT-J编写的代码在结构上是多样的,缺乏任何特定的告诉,未来的剽窃检测技术可能会用来尝试识别算法生成的代码。最后,我们讨论的伦理和教育的影响,大语言模型和未来的研究方向。
2022-09-07 cs.AI cs.CL