AI-enhanced Auto-correction of Programming Exercises: How Effective is GPT-3.5?
LMU Munich（慕尼黑大学）
该研究针对高等教育大班编程教学难以及时提供个性化反馈的问题，基于真实学生作业探究GPT-3.5辅助代码批改与反馈生成的效果，明确了其准确率与存在的错误定位、幻觉错误等短板。
2023-10-24 cs.AI cs.CY cs.HC
Analyzing Chat Protocols of Novice Programmers Solving Introductory Programming Tasks with ChatGPT
Nuremberg Tech（纽伦堡技术大学）；DIPF | Leibniz Institute for Research and Information in Education（莱布尼茨教育研究与信息研究所（DIPF））
本研究分析213名德国大学生与ChatGPT的2335条聊天协议，揭示入门编程学生与LLM交互的多样性，为调整教学实践提供依据。
2024-05-29 cs.AI
Cross-Model Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Across Three Large Language Models
Data Convergence Team, Office of Hospital Information, Seoul National University Bundang Hospital（数据融合团队，医院信息办公室，首尔国立大学医院）
研究比较了三种大型语言模型在重复生成运动处方时的一致性，发现GPT-4.1在语义相似度上最高，而Gemini 2.5 Flash表现出重复性，揭示了生成行为的差异，强调模型选择应作为临床决策。
2026-04-23 cs.AI cs.CL
Large Language Models (GPT) for automating feedback on programming assignments
Institute of Information Technology, Warsaw University of Life Sciences（华沙生命科学大学信息技术研究所）；Penn Center for Learning Analytics, University of Pennsylvania（宾夕法尼亚大学宾夕法尼亚学习分析中心）
本研究使用GPT-3.5模型在自动评估平台上为编程作业生成个性化提示，发现实验组提交成功率更高且用时更少，但也存在过度依赖GPT反馈的潜在风险。
2023-06-30 cs.AI cs.HC
Generative AI for Programming Education: Benchmarking ChatGPT, GPT-4, and Human Tutors
MPI-SWS（马克斯·普朗克软件系统研究所）；Microsoft（微软公司）；TU Wien（维也纳技术大学）
该研究系统性评估了ChatGPT和GPT-4在多种Python编程教育场景中的表现，发现GPT-4大幅优于ChatGPT且接近人类导师水平，并指出了其仍需改进的方向。
2023-08-01 cs.AI cs.CL cs.CY
Exploring the Value of Diverse LLM Explanations in Introductory Programming
Temple University（Temple大学）；University of Auckland（奥克兰大学）；Aalto University（阿尔托大学）
研究通过对比多样化与通用LLM生成解释对编程学习的影响，发现多样化解释使开放题准确率提高约7.7%，且不增加认知负荷。
2026-06-27 cs.AI cs.HC
Evaluating ChatGPT and GPT-4 for Visual Programming
MPI-SWS（马克斯·普朗克软件系统研究所）
本文评估了 ChatGPT 和 GPT-4 在 K-8 可视化编程任务中的表现，发现其难以结合空间、逻辑和编程技能，性能远不及文本 Python 编程，为后续改进提供了方向。
2023-07-30 cs.AI cs.CY cs.LG
Thrilled by Your Progress! Large Language Models (GPT-4) No Longer Struggle to Pass Assessments in Higher Education Programming Courses
Carnegie Mellon University（卡内基梅隆大学）
本研究对比多代GPT模型在三门高等教育Python课程共599道不同类型考核题中的表现，发现GPT-4已能无需人类参与稳妥通过考核，指出其仍有局限但提升迅速，为教育者调整考核设计、更新课程提供依据。
2023-06-15 cs.AI cs.CL cs.CY
Compiler-Guided Inference-Time Adaptation: Improving GPT-5 Programming Performance in Idris
Ming Hsieh Department of Electrical and Computer Engineering（明希斯部门电子与计算机工程系）；Viterbi School of Engineering, University of Southern California（维特比工程学院，南加州大学）
本文研究GPT-5通过编译器反馈提升在低资源语言Idris中的编程性能，发现结合本地编译错误的改进策略显著提高了模型表现。
2026-02-12 cs.AI cs.PL
"Give me the code" -- Log Analysis of First-Year CS Students' Interactions With GPT
本文通过日志分析 69 名未受提示训练的 CS 新生如何使用 GPT 完成编程项目，发现多数学生能采纳生成代码，且半数能批判性比较并选择方案。
2024-12-01 cs.AI cs.CY cs.ET
Comparing large language models and human programmers for generating programming code
Columbia University（哥伦比亚大学）；Duke University（杜克大学）
本研究系统评估了七种大型语言模型的代码生成能力，发现GPT-4在多种提示策略、语言和难度下显著优于其他模型，并在编码竞赛中胜过85%的人类参与者，代码效率与人类相当，显示出作为编程助手的潜力。
2024-10-05 cs.AI cs.CL cs.PL
Efficient Classification of Student Help Requests in Programming Courses Using Large Language Models
Carnegie Mellon University（卡内基梅隆大学）；The University of Auckland（奥克兰大学）；Illinois Wesleyan University（伊利诺伊卫斯理大学）
本文研究利用GPT-3.5和GPT-4自动分类编程课程学生求助请求，发现GPT-4在调试子类上更优，微调GPT-3.5可接近人工评分一致性，证明LLM可用于教育需求自动分类。
2023-10-31 cs.AI cs.CL cs.CY
Enhancing Computer Programming Education with LLMs: A Study on Effective Prompt Engineering for Python Code Generation
Mercy University（梅西大学）；IBM Research（IBM研究院）
本文研究面向 Python 代码生成的提示工程策略，通过多模型、多数据集实验验证定制化提示可提升 LLM 编程教学效果，并提出分类与评估框架。
2024-07-07 cs.AI
A Comparative Study of AI-Generated (GPT-4) and Human-crafted MCQs in Programming Education
Carnegie Mellon University（卡内基梅隆大学）
本文构建GPT-4系统并基于6门Python课程的651道AI题与449道人工题比较，验证其可生成贴合学习目标、质量较高的编程选择题。
2023-12-05 cs.AI cs.CL cs.CY
An evaluation of LLM code generation capabilities through graded exercises
Instituto de Ingeniería del Conocimiento（知识工程研究所）；Universidad Autónoma de Madrid（马德里自治大学）
本文通过 Codewars 分级编程题评估 GPT4-o-mini 在 8 种语言上的代码生成能力，发现其表现与题目难度、语言流行度和发布时间相关，并指出当前评估方法可能因训练集泄漏而高估模型真实编码水平。
2024-10-06 cs.AI cs.CL cs.SE
Assessment in Team Problem-Solving Exercises in Computing Education
Faculty of Informatics（信息学院）；Masaryk University（马萨里克大学）；Center for ICT Infrastructure（信息与通信基础设施中心）；Yamaguchi University（山阳大学）；Kyushu University（九州大学）
研究计算教育中团队问题解决练习的评估方法，通过比较聚类和大语言模型，利用原始数据集与教师评分对比，发现聚类有效可靠、计算要求低，GPT-5.2误差低，相关方法已集成到开源平台，还共享了数据和工具。
2026-07-22 cs.AI cs.CY cs.LG
A GPT-based Code Review System for Programming Language Learning
Department of Electrical Engineering；Computer Science, University of Hanyang Seoul, Republic of Korea
本研究提出基于GPT-4的代码审查系统，通过在线判题数据优化提示词并设计防作弊流程，经专家评估在正确性、响应时间、成本和质量上表现良好，适用于中小学编程教学。
2024-06-21 cs.AI cs.SE
Evaluating the Application of Large Language Models to Generate Feedback in Programming Education
University of Siegen（锡根大学）
本研究评估GPT-4在编程教育中生成反馈的应用，通过51名学生的学期测试，发现其能有效解决代码错误，但存在错误建议和幻觉问题，需进一步改进。
2024-03-13 cs.AI cs.CL cs.CY
Large Language Models (GPT) Struggle to Answer Multiple-Choice Questions about Code
Carnegie Mellon University（卡内基梅隆大学）
我们分析了三个生成式预训练Transformer（GPT）模型在回答多项选择题（MCQ）评估时的有效性，这些评估通常涉及中学后入门和中级编程课程的简短代码片段。这项新兴技术激起了无数关于其潜在用途的讨论（例如，练习生成、代码解释）以及编程教育中的误用（例如，作弊）。然而，GPT模型的能力及其在教育环境中推理和/或分析代码的局限性尚未得到充分探讨。我们评估了OpenAI的几个GPT模型对三门Python课程（530个问题）的形成性和总结性MCQ评估。我们发现，包含代码片段的MCQ的回答不如仅包含自然语言的MCQ那么成功。虽然要求在代码中填充空白或完成关于片段的自然语言语句的问题被相当成功地处理，但是要求关于代码的分析和/或推理的MCQ（例如，关于片段的什么是真/假，或者它的输出是什么）看起来是最具挑战性的。这些研究结果可以被教育工作者用来调整他们的教学实践和评估编程课程，使GPT成为学习者的一个有价值的助手，而不是在学习过程中的混乱和/或潜在的障碍。
2023-03-09 cs.AI cs.CL
Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages
本文提出Tokka-Bench，一个跨100种自然语言和20种编程语言的多指标分词器评估框架，比较七种BPE分词器，发现词汇分配策略比词汇量更关键，且编程语言效率已趋同。
2026-10-08 cs.AI cs.CL
On Requirements for Programming Exercises from an E-learning Perspective
ArtinSoft（ArtinSoft公司）；UNIVERSITÄT DES SAARLANDES（萨尔大学）
在这项工作中，我们处理的问题，新手指向一个电子学习场景的建模编程练习。我们的目的是确定基本要求，提出一些关键问题，并从概念的角度提出可能的答案。作为一个整体的图片，我们假设我们的工作在一个一般的背景下，电子学习的教学材料需要进行调整，形成一个介绍性的计算机科学（CS）电子学习课程的一部分，在CS 1级。Meant是一门潜在的课程，旨在通过使用基于电子学习的方法与Activemath（www.activemath.org）等通用主机框架相结合（至少在概念上）来提高新手的编程技能和知识。我们的阐述涵盖了上下文，特别是认知元素，为衍生项目的最终研究阶段做好准备。我们集中我们的主要努力，推理机制练习的复杂性，最终可以提供工具支持的任务练习创作。我们的需求分析基于我们自己对Activemath提供的练习子系统的感知，特别是在域推理器区域内。我们丰富的分析，讨论几个相关的上下文元素CS 1课程，其定义和实施。关于认知模型和练习，我们建立在布鲁姆分类法的原则作为一个相对标准化的基础，并使用它们作为一个框架，研究和分析的复杂性，在基本的编程练习。我们的分析包括域推理机的要求，这是必要的练习分析。为此，我们提出了一个三层的概念模型，考虑演习评估，编程和元编程。
2009-03-13 cs.AI
Automatic Generation of Question Hints for Mathematics Problems using Large Language Models in Educational Technology
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；EvidenceB；Inria Bordeaux（波尔多信息与自动化研究所）
本研究利用大型语言模型作为教师自动生成数学问题提示，发现针对特定错误和基于常见错误的提示最有效，且Llama-3-8B-Instruct作为教师整体优于GPT-4o，同时提示能显著提升模拟学生的自我纠正能力。
2024-11-05 cs.AI cs.CL
Exploring How Multiple Levels of GPT-Generated Programming Hints Support or Disappoint Novices
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）
该研究通过12名初学者的有声思维实验，发现仅靠高层级自然语言提示难以有效支持编程问题解决，而结合代码示例等低层级提示效果更佳，为个性化教育反馈设计提供了依据。
2024-04-02 cs.AI cs.CY cs.HC
Assessing Large Language Models for Automated Feedback Generation in Learning Programming Problem Solving
University of São Paulo（圣保罗大学）；Federal University of Alagoas（阿拉戈斯联邦大学）；Federal Institute of Alagoas（阿拉戈斯联邦学院）
本研究评估4种大语言模型在编程学生解答基准数据集上的反馈生成能力，发现63%反馈准确完整，37%存在各类错误，明确了其在编程教育中的潜力与局限。
2025-03-18 cs.AI cs.LG cs.SE
TurtleAI: Benchmarking Multimodal Models for Visual Programming in Turtle Graphics
MPI-SWS（马克斯·普朗克研究所-斯图加特）
提出TurtleAI基准，包含823个基于海龟图形学真实任务的视觉编程任务，评估20多个多模态模型发现成功率低于30%，并通过少量种子样本生成合成数据微调Qwen2-VL-72B提升约20%性能。
2026-06-02 cs.AI cs.CV cs.CY
A-ProS: Towards Reliable Autonomous Programming Through Multi-Model Feedback
Dept. of Computer Science and Engineering, University of Dhaka（达卡大学计算机科学与工程系）；Dept. of Information Systems, University of Maryland, Baltimore County（马里兰大学巴尔的摩县信息学院）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县）
本文提出A-ProS，一种通过多模型反馈框架实现自主编程的AI代理，结合生成器和调试器，通过多轮反馈提升代码生成的准确性与效率，实验表明其在解决编程问题上具有显著优势。
2026-05-18 cs.AI cs.SE
Leveraging Lecture Content for Improved Feedback: Explorations with GPT-4 and Retrieval Augmented Generation
University of Siegen（锡根大学）
本研究将课程录音转写文本通过RAG作为外部知识提供给GPT-4，为编程入门课学生生成关联课程内容的解题反馈，初步验证其可提升反馈质量且受部分学生偏好，但存在速度较慢的局限。
2024-05-05 cs.AI cs.CL cs.CY
Perish or Flourish? A Holistic Evaluation of Large Language Models for Code Generation in Functional Programming
Hanoi University of Science and Technology（河内科学技术大学）；The University of Melbourne（墨尔本大学）
本文提出FPEval框架，评估大型语言模型在函数式编程语言中的代码生成能力，发现模型性能随进步而提升，但纯函数式语言错误率较高，且生成代码风格问题。
2026-01-05 cs.AI cs.PL cs.SE
Evaluating Language Models for Generating and Judging Programming Feedback
Aalto University（阿尔托大学）；University of Jyväskylä（于韦斯屈莱大学）；The University of Auckland（奥克兰大学）
本文评估开源LLMs在生成和评判编程反馈上的表现，发现其已接近专有模型，并展示了较小模型的高效性与可获取性。
2024-11-22 cs.AI cs.CY
AI-assisted coding: Experiments with GPT-4
Stanford University（斯坦福大学）；University of California（加利福尼亚大学）
本文通过GPT-4代码生成、重构与测试生成实验，评估AI辅助编程能力，指出其虽能提升代码质量并产生高覆盖测试，但仍需人工验证以保证准确性。
2023-04-25 cs.AI cs.SE
Prompt-Based Cost-Effective Evaluation and Operation of ChatGPT as a Computer Programming Teaching Assistant
Department of Mathematics and Computer Science, Universitat de Barcelona（数学与计算机科学系，巴塞罗那大学）
本文研究将ChatGPT用作编程教学助手的可行性，评估GPT-3.5T和GPT-4T的反馈表现，提出基于提示和上下文学习的自动化评估方法，并给出实用学习工具的实现策略。
2025-05-04 cs.AI cs.CL cs.CY
How Novice Programmers Use and Experience ChatGPT when Solving Programming Exercises in an Introductory Course
Nuremberg Tech（纽伦堡技术大学）
本文通过调查298名德国大学计算机专业学生在入门编程课程中使用ChatGPT-3.5解决练习的模式与感知，从学生视角揭示了GenAI工具在编程教育中的实际应用情况。
2024-07-30 cs.AI
Design of AI-Powered Tool for Self-Regulation Support in Programming Education
Research Institute for Information Technology, Kyushu University（九州大学情报技术研究所）；Faculty of Arts and Science, Kyushu University（九州大学文理学院）
为解决LLM工具与学习管理系统脱节及忽视自我调节技能的问题，开发了集成Moodle的CodeRunner Agent，通过结合课程上下文生成定制反馈与策略响应，增强学生自我调节学习。
2025-04-07 cs.AI cs.HC
Next-Step Hint Generation for Introductory Programming Using Large Language Models
Utrecht University（乌得勒支大学）
本研究探索大语言模型在入门编程教育中生成自动化下一步提示的应用，构建StAP-tutor并经学生实验与专家评估验证其个性化提示效果，同时指出作业末期提示存在的不足及后续研究方向。
2023-12-03 cs.AI cs.CY cs.HC
Reinforcement learning for question answering in programming domain using public community scoring as a human feedback
ITMO University（ITMO大学）；Huawei（华为）
本文提出用 Stack Overflow 社区评分作为人类反馈，结合两种奖励模型策略和 PPO 微调 GPT Neo 125M，使其编程问答性能提升接近 2.7B 版本，并揭示传统语言指标的不足。
2024-01-19 cs.AI cs.CL cs.HC
A Knowledge-Component-Based Methodology for Evaluating AI Assistants
UC Berkeley（加州大学伯克利分校）
本文提出基于知识组件的评估方法，分析GPT-4驱动的CS1编程提示生成器，发现提示能加速学生修复代码、捕捉关键错误，且多问题提示更有效。
2024-06-09 cs.AI cs.CY
Fooling MOSS Detection with Pretrained Language Models
Booz Allen Hamilton（博思艾伦咨询公司）；EleutherAI（EleutherAI 人工智能研究组织）
随着人工智能（AI）技术在社会中变得越来越强大和突出，它们的滥用越来越令人担忧。在教育环境中，人工智能技术可以被学生用来在作业和考试中作弊。在本文中，我们将探讨Transformers是否可以用于解决入门级编程任务，同时绕过常用的AI工具来检测软件之间的相似性。我们发现，使用GPT-J的学生[Wang and Komatsuzaki，2021]可以完成入门级的编程作业，而不会引起MOSS [Aiken，2000]的怀疑，MOSS是一种广泛使用的软件相似性和剽窃检测工具。尽管GPT-J没有接受过有关问题的培训，也没有提供任何可供借鉴的例子，但情况仍然如此。我们进一步发现，GPT-J编写的代码在结构上是多样的，缺乏任何特定的告诉，未来的剽窃检测技术可能会用来尝试识别算法生成的代码。最后，我们讨论的伦理和教育的影响，大语言模型和未来的研究方向。
2022-09-07 cs.AI cs.CL
Advances in apparent conceptual physics reasoning in GPT-4
University of Colorado（科罗拉多大学）
本文复现并对比了 GPT-3.5 与 GPT-4 在概念物理推理上的表现，发现 GPT-4 已接近专家级水平，仅有少数显著例外，并讨论了其对物理教育的潜在影响。
2023-04-16 cs.AI physics.ed-ph
Evaluating the Performance of Large Language Models in Competitive Programming: A Multi-Year, Multi-Grade Analysis
University of Bucharest（布加勒斯特大学）；It Just Works Inc.（It Just Works公司）
本研究基于2002-2023年罗马尼亚县级信息学奥赛304道题的数据集，评估多款大语言模型的竞技编程表现，发现其性能随年级、题型有显著差异，GPT-4表现突出可辅助初中编程教学，且不同模型代码质量与风格有别。
2024-08-31 cs.AI cs.PL cs.SE
CHORUS: Zero-shot Hierarchical Retrieval and Orchestration for Generating Linear Programming Code
School of Computing, Queen’s University, Ontario, Canada（计算学院，皇后大学，安大略省，加拿大）
CHORUS通过分层分块、两阶段检索与结构化推理的RAG框架，显著提升开源LLM从自然语言生成Gurobi线性规划代码的性能，在NL4Opt-Code上超越或匹敌GPT3.5/GPT4。
2025-05-02 cs.AI cs.CL
Large Language Models for In-Context Student Modeling: Synthesizing Student's Behavior in Visual Programming
University of Vienna（维也纳大学）
本文提出LLM-SS框架，利用大语言模型在开放式学习领域中根据学生参考任务表现合成目标任务行为，并在可视化编程基准StudentSyn上验证其显著优于基线方法NeurSS，微调后的GPT-3.5接近人类导师水平。
2024-05-03 cs.AI cs.CL
Not the Silver Bullet: LLM-enhanced Programming Error Messages are Ineffective in Practice
School of Computer Science（计算机学院）；University College Dublin（都柏林大学学院）
研究通过106人实验发现，尽管GPT-4在合成基准上表现优异，但其在真实场景中生成的编程错误信息仅在1/6任务上优于传统编译器，专家手写解释仍具优势。
2024-09-27 cs.AI cs.HC
API Pack: A Massive Multi-Programming Language Dataset for API Call Generation
MIT EECS（麻省理工学院电子工程与计算机科学系）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
本文提出包含逾百万条指令-API 调用的多语言数据集 API Pack，并通过微调实验验证其可提升 CodeLlama-13B 等模型对新 API 的生成与泛化能力。
2025-02-13 cs.AI cs.CL cs.LG
HumanEval on Latest GPT Models -- 2024
Vanderbilt University（范德堡大学）
本文通过将最新 GPT-4 模型接入 HumanEval 基准，并利用 160 个多步骤提示问题集，验证了多步骤范式合成相比单轮输入能显著提升零样本 Python 代码生成性能。
2024-02-20 cs.AI cs.CL cs.LG
Alpha-GPT: Human-AI Interactive Alpha Mining for Quantitative Investment
HKUST（香港科技大学）；IDEA Research（IDEA研究所）；Columbia University（哥伦比亚大学）；HKUST-GZ（香港科技大学-广州）
本文提出 Alpha-GPT 人机交互式 alpha 挖掘范式，利用大语言模型和提示工程框架理解量化研究员想法并生成有效交易信号，实验验证了其有效性与优势。
2025-09-20 cs.AI cs.CL q-fin.CP
LLM4PLC: Harnessing Large Language Models for Verifiable Programming of PLCs in Industrial Control Systems
University of California, Irvine（加州大学尔湾分校）；Siemens Technology（西门子技术研究院）
本文提出用户引导的迭代流水线LLM4PLC，结合外部验证工具、提示工程和LoRA微调，使LLM能为工业PLC生成可验证正确的程序，将生成成功率从47%提升至72%，代码质量从2.25/10提升至7.75/10。
2024-01-08 cs.AI cs.CL cs.PL
Exploring the Responses of Large Language Models to Beginner Programmers' Help Requests
Aalto University（阿尔托大学）；The University of Auckland（奥克兰大学）
本研究针对编程教育场景，评估OpenAI Codex与GPT-3.5识别学生问题代码错误的能力，发现其有一定实用性但存在不可靠性，为教师使用及LLM教育定制提供参考。
2023-06-09 cs.AI cs.CL cs.CY
Can Generative Pre-trained Transformers (GPT) Pass Assessments in Higher Education Programming Courses?
Carnegie Mellon University（卡内基梅隆大学）
本研究评估GPT在高等教育Python编程课程中的表现，发现其无法通过全部评估但能获取超过55%分数，并能为教师调整评估提供参考。
2023-03-16 cs.AI cs.CL
Evaluating GPT's Programming Capability through CodeWars' Katas
Griffith University（格里菲斯大学）
本文用 Codewars 不同难度 Katas 评估 GPT-3.5 与 GPT-4，发现其能力边界在 3kyu，并提出结合难度与解题时间的编程题复杂度度量。
2023-05-31 cs.AI cs.SE
Beyond Simple Input-Output Assessment Tasks: Leveraging Automated Programming Assessment for Non-Trivial Courses
本文提出将机器学习问题视为输入-输出评估任务，利用现有自动化编程工具（如VPL、Codeforces）支持非平凡AI课程，以促进理论与实践结合的教学创新。
2026-09-25 cs.AI
Generate labeled training data using Prompt Programming and GPT-3. An example of Big Five Personality Classification
National Taiwan Normal University（国立台湾师范大学）
我们在GPT-3上使用提示编程生成了25000个标有大五人格特质的对话。然后，我们用这些数据训练大五分类模型，并用来自人工注释者在大五中标记的生成对话和真实对话数据集的2500个数据来评估它们。结果表明，该方法是有前途的创建有效的训练数据。然后，我们比较了不同训练方法和模型的性能。我们的研究结果表明，使用Adapter-Transformers和从预训练的RoBERTa情感分析模型中进行迁移学习将对生成的数据表现最佳。我们最好的模型在生成的数据中获得了0.71的准确度，在真实数据集中获得了0.65的准确度。最后，我们讨论了这种方法的潜在局限性和置信度。
2023-03-22 cs.AI cs.HC
Advancing GenAI Assisted Programming--A Comparative Study on Prompt Efficiency and Code Quality Between GPT-4 and GLM-4
The University of Sydney（悉尼大学）；China Creative Studies Institute（中国创意研究院）；Shanghai Jiao Tong University（上海交通大学）
本研究通过对比GPT-4与GLM-4发现，简单直接的提示策略配合CoT式初步确认步骤可显著提升代码生成成功率与效率，并指出GenAI辅助编程将推动开发者角色向监督与创新转变。
2024-02-20 cs.AI cs.SE
Distilling Answer Set Programming Theories from Large Language Models
ExtensityAI
该研究针对从头编写ASP理论困难的问题，采用神经符号方法测试9种模型从LLM提炼ASP理论的能力，在VQA基准上验证了前沿模型的性能，并发布了相关资源。
2026-07-31 cs.AI
ScratchEval: Are GPT-4o Smarter than My Child? Evaluating Large Multimodal Models with Visual Programming Challenges
Hong Kong Baptist University（香港浸会大学）；Hong Kong University of Science and Technology（香港科技大学）
提出基于 Scratch 的 ScratchEval 基准，通过融合视觉元素与编程逻辑，评估大型多模态模型的可视化编程推理与问题解决能力。
2024-11-28 cs.AI cs.CL cs.CV
