Where Do Large Language Models Fail on Competitive Programming? A Taxonomy of Failures by Algorithm Type and Difficulty Rating
IIIT Bhubaneswar(布巴内斯瓦尔信息技术研究所);IIT Patna(巴特纳印度理工学院)
通过系统实证研究,发现链式思维推理会显著降低GPT-4o的通过率并增加Claude的编译错误,且错误答案主导了两种模型的失败模式。
2026-06-02 cs.PL cs.SE
CodeOwl: Automatic Generation of Tiered Parsons Problems for Introductory Programming
University of Passau(帕绍大学)
针对编程教育中学习者异质性难题,介绍CodeOwl这一人工智能驱动工具自动生成分层帕森斯问题,经混合方法框架评估,该工具生成的问题难度提升效果好,获专家、教师和学生认可,不过教师和学生也分别提出了改进意见。
2026-07-15 cs.SE
More Programming Than Programming: Teaching Formal Methods in a Software Engineering Programme
软件正确性的形式化方法对软件工程的未来至关重要,因此必须成为软件工程教育的重要组成部分。不幸的是,正式的方法往往是抵制学生由于感知困难,不确定性和实际无关性。我们通过采用编程密集型方法重新开发了我们的软件正确性课程,使用求解器辅助语言Dafny通过自动评估提供即时形成反馈。我们重新开发的课程提高了学生的保留率,并获得了至少十年来该课程的最佳评价。
2022-05-02 cs.LO cs.SE
Energy-Aware Code Generation with LLMs: Benchmarking Small vs. Large Language Models for Sustainable AI Programming
Algoma University(阿尔戈马大学);École de Technologie Supérieure (ÉTS)(高等技术学院);Ericsson Inc.(爱立信公司)
本研究评估开源小型语言模型在代码生成中的性能与能效,发现其正确性虽不及大型商业模型,但在输出正确时通常更节能,为可持续AI编程提供了新视角。
2025-08-10 cs.AI cs.SE
Automated Generation of Computer Graded Unit Testing-Based Programming Assessments for Education
代码的自动评估,特别是支持教育,是包括在几个学习管理系统(LMS)的一个重要功能,至少在某种程度上。可以设计几种类型的评估,例如要求“填充以下代码”,“编写一个函数”或“纠正以下程序中的错误”的练习。教师的一个困难是创建这样的编程练习,特别是当它们有些复杂时。事实上,教师需要编写练习陈述,思考解决方案,并提供平台评分所需的所有额外信息。另一个困难发生时,教师想使用他们的练习在另一个LMS平台。由于还没有标准的方法来定义和描述编码练习,教师必须将他们的练习重新编码到其他LMS中。本文提出了一种工具,可以自动生成编程练习,从一个单一的和唯一的描述,并可以解决在几个程序设计语言。生成的练习可以由同一平台自动评分,为用户提供智能反馈,以支持他们的学习。本文重点介绍并详细介绍了基于单元测试的练习,并提供了对该平台未来可能生成的新类型练习的见解,以及一些额外的开发。
2019-11-27 cs.SE
An Empirical Evaluation of Competitive Programming AI: A Case Study of AlphaCode
AlphaCode是一个代码生成系统,用于帮助软件开发人员使用自然语言问题描述解决竞争性编程问题。尽管代码生成系统具有优势,但开源社区对实用性和数据许可表示担忧。然而,没有研究调查生成的代码在代码克隆和性能方面。在本文中,我们进行了实证研究,以找到代码的相似性和性能差异AlphaCode生成的代码和人类代码。结果表明:(i)AlphaCode生成的代码与人类代码相似(即,平均最大相似性得分为0.56)以及(i i)所生成的代码在执行时间和存储器使用方面与人类代码表现得相当或更差。此外,AlphaCode倾向于为低难度问题(即,四种情况具有完全相同的代码)。它还使用了过多的嵌套循环和不必要的变量声明来解决高难度的问题,这导致我们的手动调查性能低下。复制程序包可从https:/doi.org/10.5281/zenodo.6820681获得
2022-08-26 cs.SE
AetherCode: Evaluating LLMs' Ability to Win In Premier Programming Competitions
ByteDance M-A-P(字节跳动 M-A-P)
AetherCode基准从IOI和ICPC等顶级竞赛选取高难度问题,并结合自动化生成与人工策展的专家验证测试套件,以更严格、可靠地评估大语言模型的代码推理能力。
2025-08-22 cs.CL cs.SE
TaskEval: Assessing Difficulty of Code Generation Tasks for Large Language Models
SnT, University of Luxembourg(卢森堡大学SnT研究所);Huawei Distributed Scheduling and Data Engine Lab(华为分布式调度与数据引擎实验室)
TaskEval提出一种基于多样化提示和项目反应理论的框架,用于评估代码生成任务难度及LLM能力,通过分析基准任务特征和编程结构,辅助改进LLM评估。
2025-10-24 cs.AI cs.SE
Estimating Predictive Uncertainty Under Program Data Distribution Shift
University of Texas at Dallas(德克萨斯大学达拉斯分校)
深度学习(DL)技术在各种任务的预测准确性方面取得了巨大成功,但深度神经网络(DNN)被证明即使对于异常样本也会产生高度过度自信的分数。定义良好的不确定性表明模型的输出是否应该(或不应该)被信任,因此在现实世界的场景中变得至关重要,这些场景通常涉及由于许多因素而导致的输入分布变化。现有的不确定性方法假设测试来自不同数据分布的样本会导致不可靠的模型预测,因此具有较高的不确定性得分。他们通过校准DL模型对给定输入的置信度来量化模型的不确定性,并评估计算机视觉(CV)和自然语言处理(NLP)相关任务的有效性。然而,他们的方法的可靠性可能会受到影响,在编程任务,由于不同的数据表示和转移模式。在本文中,我们首先定义了三种不同类型的分布偏移的程序数据,并建立了一个大规模的移动Java数据集。我们在我们的数据集上实现了两个常见的程序设计语言任务,以研究每个分布偏移对DL模型性能的影响。我们还提出了一个大规模的基准现有的最先进的预测不确定性编程任务,并调查其有效性下的数据分布偏移。实验表明,程序分布偏移确实会不同程度地降低DL模型的性能,现有的不确定性方法在量化程序数据集的不确定性方面都存在一定的局限性。
2021-07-23 cs.LG cs.SE
Kattis vs. ChatGPT: Assessment and Evaluation of Programming Tasks in the Age of Artificial Intelligence
KTH Royal Institute of Technology(KTH皇家理工学院);Utrecht University(乌得勒支大学)
本研究通过 Kattis 平台上的 127 道编程题测试 ChatGPT,发现其仅能独立解决 19 道,且对简单问题表现较好、对复杂任务存在困难,为 AI 工具在编程教育中的实用性讨论提供了实证依据。
2023-12-02 cs.AI cs.CY cs.SE
An evaluation of LLM code generation capabilities through graded exercises
Instituto de Ingeniería del Conocimiento(知识工程研究所);Universidad Autónoma de Madrid(马德里自治大学)
本文通过 Codewars 分级编程题评估 GPT4-o-mini 在 8 种语言上的代码生成能力,发现其表现与题目难度、语言流行度和发布时间相关,并指出当前评估方法可能因训练集泄漏而高估模型真实编码水平。
2024-10-06 cs.AI cs.CL cs.SE
Knowledge Tracing in Programming Education Integrating Students' Questions
Elice(埃利斯公司)
本文提出 SQKT 模型,将学生提问与自动提取的技能信息融入知识追踪,以提升编程学习表现预测,并在 Python 课程中验证其高精度与跨域泛化能力。
2025-01-22 cs.AI cs.CY cs.SE
It's Like Python But: Towards Supporting Transfer of Programming Language Knowledge
传统上,编程的专业知识假定了新手和专家的二元划分。学习资源通常针对第一次学习编程的程序员,或该语言的专家程序员。一个代表性不足但重要的程序员群体是那些在一种程序设计语言方面有经验,但希望用不同语言编写代码的人。对于这种情况下,我们假设,一个有效的反馈形式是作为一个从第一语言的概念转移到第二。当前的编程环境不支持这种形式的反馈。在这项研究中,我们应用学习迁移理论来教授程序员不太熟悉的语言-例如R-他们已经知道的程序设计语言-例如Python。我们使用一种名为Transfer Tutor的新工具来研究学习迁移,该工具以等效的Python代码来解释R代码。我们的研究发现,参与者利用学习迁移作为一种认知策略,即使是在未经提示的情况下。参与者发现Transfer Tutor在许多启示方面都很有用,比如逐步了解和强调可能被遗漏或误解的事实。然而,参与者不愿意在没有代码执行的情况下接受事实,或者有时难以阅读冗长或复杂的解释。这些结果为未来的设计和研究方向提供了指导,可以支持学习新的程序设计语言时的学习迁移。
2018-08-27 cs.SE
The Best Programming Language for Tokenmaxxing: An Investigation of Coding Agent Behavior Across Programming Languages
Northeastern University(东北大学);Wellesley College(韦尔斯利学院)
研究跨Python、Java、Rust和OCaml的编码代理行为,通过评估五个模型发现不同语言的令牌消耗有显著差异。分析代理轨迹结构与内容,揭示其在不熟悉语言中的行为特点,指出按语言的令牌效率对多语言代理基准测试和开发有指导意义。
2026-10-22 cs.CL cs.SE
Estimating defectiveness of source code: A predictive model using GitHub content
Indian Institute of Technology(印度理工学院)
本文提出的两个关键贡献是:i)用于构建包含从开源软件(OSS)和相关错误报告中提取的源文件中提取的源代码特征的数据集的方法,ii)用于估计给定源代码的缺陷的预测模型。这些工件对于构建与几个自动化软件工程领域相关的工具和技术非常有用,例如错误定位、代码审查以及推荐和程序修复。为了实现我们的目标,我们首先为GitHub上的源代码文件提取编码风格信息(例如,与源代码中使用的程序设计语言结构相关)。然后提取与这些源代码文件相关的错误报告(如果有的话)中的可用信息。因此,获取的非(/半)结构化的信息,然后转换成一个结构化的知识库。我们考虑了来自20个不同GitHub存储库的30400多个源代码文件,以及来自4个错误跟踪门户的约14950个相关错误报告。所考虑的源代码文件是用四种程序设计语言编写的(即,C、C++、Java和Python),属于不同类型的应用程序。然后使用知识库训练用于估计给定输入源代码的缺陷性的机器学习(ML)模型。为了选择最好的ML模型,我们评估了8种不同的ML算法,如随机森林,K最近邻和SVM,大约有50个参数配置,以比较它们在我们的任务中的性能。我们的研究结果之一表明,最好的K倍(k=5)交叉验证结果是用NuSVM技术获得的,平均F1得分为0.914。
2018-03-21 cs.LG cs.SE
"Sometimes You Just Gotta Risk It for the Biscuit": A Portrait of Student Risk-Taking
本研究聚焦计算教育领域的学生群体,通过课程项目截止日期的假设场景复现相关研究,考察决策框架、编程喜爱度等因素对学生冒险选择的影响,发现损失框架提升冒险概率,学生比从业者更爱冒险,课程表现和编程喜爱度与冒险倾向微弱相关,感知编程难度无显著相关。
2024-10-07 cs.HC cs.SE