Are Large Language Models a Threat to Programming Platforms? An Exploratory Study
本研究通过跨平台题库、在线竞赛和认证测试评估ChatGPT等LLM的编程能力,发现其在LeetCode等场景表现优异,但在高难度Codeforces竞赛中仍弱于人类。
2024-09-09 cs.SE
Energy-Aware Code Generation with LLMs: Benchmarking Small vs. Large Language Models for Sustainable AI Programming
Algoma University(阿尔戈马大学);École de Technologie Supérieure (ÉTS)(高等技术学院);Ericsson Inc.(爱立信公司)
本研究评估开源小型语言模型在代码生成中的性能与能效,发现其正确性虽不及大型商业模型,但在输出正确时通常更节能,为可持续AI编程提供了新视角。
2025-08-10 cs.AI cs.SE
Analyzing Prominent LLMs: An Empirical Study of Performance and Complexity in Solving LeetCode Problems
本研究对四个主流大语言模型在150个LeetCode问题上的Java和Python解决方案进行基准测试,评估执行时间、内存和算法复杂度,发现ChatGPT效率稳定,为开发者选型提供指导。
2025-08-05 cs.SE
Characterizing Readability Issue Patterns and the Role of Prompt Design in LLM-Generated Code
Peking university(北京大学);Wuhan University(武汉大学)
本文研究了LLM生成代码的可读性,发现其与人工编写代码相当,但存在特定问题模式,提示设计对可读性影响有限。
2026-08-04 cs.AI cs.SE
Assessing AI Detectors in Identifying AI-Generated Code: Implications for Education
Monash University Malaysia(莫纳什大学马来西亚校区);Singapore Management University(新加坡管理大学)
本文评估了五种AIGC检测器在区分人工编写与ChatGPT生成的Python代码方面的能力,发现现有检测器表现不佳,揭示了教育领域面临的学术不端风险。
2024-01-08 cs.AI cs.SE
Scattered Forest Search: Smarter Code Space Exploration with LLMs
Rensselaer Polytechnic Institute(伦斯勒理工学院);Princeton University(普林斯顿大学);NEC Laboratories America(美国 NEC 实验室);XAi
将代码生成视为黑盒优化问题,提出散林搜索(SFS)方法,通过增强解多样性和利用反馈避免局部最优,在多个基准上显著提升pass@1并减半迭代次数。
2025-02-25 cs.AI cs.LG cs.SE
Enhancing LLM-Based Code Generation with Complexity Metrics: A Feedback-Driven Approach
Lassonde School of Eng. York University(埃克塞特工程学院约克大学)
本文研究代码复杂度与LLM生成代码成功率的关系,利用逻辑回归确定关键复杂度指标,提出基于复杂度指标的迭代反馈方法,在多个基准和模型上显著提升了代码生成的Pass@1准确率。
2025-05-29 cs.AI cs.SE
DebugBench: Evaluating Debugging Capability of Large Language Models
Tsinghua University(清华大学);Renmin University of China(中国人民大学);ModelBest Inc.(ModelBest公司);Siemens AG.(西门子公司)
本文提出包含4253个实例的DebugBench基准,覆盖C++、Java和Python的四大类18种缺陷,通过零样本评估揭示闭源与开源LLM在调试能力上的差距、缺陷类别对复杂度的影响以及运行时反馈的非确定性作用。
2024-06-06 cs.AI cs.CL cs.SE
Enhancing Computer Programming Education with LLMs: A Study on Effective Prompt Engineering for Python Code Generation
Mercy University(梅西大学);IBM Research(IBM研究院)
本文研究面向 Python 代码生成的提示工程策略,通过多模型、多数据集实验验证定制化提示可提升 LLM 编程教学效果,并提出分类与评估框架。
2024-07-07 cs.AI
Evaluating the Quality of Code Comments Generated by Large Language Models for Novice Programmers
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估了GPT-4、GPT-3.5-Turbo和Llama2为新手程序员生成代码注释的教学质量,发现GPT-4在清晰度、概念阐释等方面与专家注释相当,且在复杂度讨论和对新手支持度上显著优于其他模型,突出了LLMs为新手生成定制化代码注释的潜力。
2024-09-22 cs.AI cs.HC cs.SE
PanGu-Coder2: Boosting Large Language Models for Code with Ranking Feedback
Huawei Cloud Co., Ltd.(华为云技术有限公司);Chinese Academy of Science(中国科学院);Peking University(北京大学)
针对代码大语言模型性能提升问题,提出RRTF框架对齐测试与教师反馈,构建的PanGu-Coder2在HumanEval等基准上取得62.20% pass@1并超越以往模型。
2023-07-27 cs.AI cs.CL cs.LG
LessLeak-Bench: A First Investigation of Data Leakage in LLMs Across 83 Software Engineering Benchmarks
Singapore Management University(新加坡管理大学);Southeast University(东南大学);Wuhan University(武汉大学)
针对软件工程基准中LLM数据泄露缺乏全面研究的问题,本文首次分析83个SE基准,发现总体泄露率低但部分基准泄露严重,揭示关键原因并提出移除泄露样本的LessLeak-Bench,提升评估可靠性。
2025-02-10 cs.AI cs.CL cs.SE
A case study on the transformative potential of AI in software engineering on LeetCode and ChatGPT
本文通过爬取和挖掘 LeetCode 数据,从质量、可理解性、运行时间与内存等指标比较 GPT-4o 与人类 Python 代码,发现其整体表现较好但泛化能力有限。
2025-01-07 cs.DB cs.SE
Think Outside the Code: Brainstorming Boosts Large Language Models in Code Generation
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文提出 Brainstorm 框架,通过生成和选择多样化想法促进算法推理,显著提升大型语言模型解决竞赛级编程问题的能力,在 CodeContests 基准上 pass@$k$ 提升 50% 以上,并使 ChatGPT 达到与人类程序员相当的水平。
2023-05-18 cs.AI cs.CL cs.SE
An Exploratory Study on LLM-Generated Code and Comments in Code Repositories
School of Computing and Mathematical Sciences, University of Leicester(利兹大学计算与数学科学学院)
本研究通过检测工具分析2021-2025年公司和社区维护的仓库,发现LLM生成的代码随时间减少且多出现在测试用例中,注释则相对稳定;公司仓库中LLM生成内容比例更高,且仅少数人工标记的bug与LLM生成代码相关。
2026-07-03 cs.AI cs.SE
HybridCodeAuthorship: A Benchmark Dataset for Line-Level Code Authorship Detection
针对现有基准无法反映真实AI代码助手使用场景的问题,提出HybridCodeAuthorship数据集,包含交错的人类和AI编写代码行,并评估两种检测算法性能。
2026-06-12 cs.AI cs.SE
LLMLOOP: Improving LLM-Generated Code and Tests through Automated Iterative Feedback Loops
King's College London(伦敦国王学院)
LLMLOOP通过自动化迭代反馈循环提升大语言模型生成的代码和测试质量,通过五种循环解决编译错误、静态分析问题、测试失败和测试质量改进,验证了其在HUMANEVAL-X基准上的有效性。
2026-03-24 cs.AI cs.SE
Leveraging Print Debugging to Improve Code Generation in Large Language Models
Zhejiang University(浙江大学);ByteDance(字节跳动)
针对LLMs处理复杂编程问题性能欠佳的问题,提出基于“打印调试”的上下文学习方法,指导模型插入打印语句并分析日志修复漏洞,在Leetcode问题上效果优于橡皮鸭调试法。
2024-01-10 cs.CL cs.SE
Verifying LLM-Generated Code in the Context of Software Verification with Ada/SPARK
secunet Security Networks AG(secunet安全网络股份公司);International Center for Computational Logic, Technical University Dresden(德累斯顿工业大学国际计算逻辑中心)
针对LLM生成代码正确性无法被固有信任的问题,本文提出Marmaragan工具,利用LLM生成SPARK注释以实现代码形式化验证,其结合GPT-4o在基准测试中为50.7%的案例生成正确注释,为LLM与形式化验证结合奠定基础。
2025-02-11 cs.AI cs.SE
STELP: Secure Transpilation and Execution of LLM-Generated Programs
STELP通过安全编译和执行LLM生成的代码,解决生产环境中的安全性和可靠性问题,提升代码执行的安全性与准确性。
2026-01-15 cs.AI cs.SE
Artificial-Intelligence Generated Code Considered Harmful: A Road Map for Secure and High-Quality Code Generation
New Jersey Institute of Technology(新泽西理工学院)
本研究对比了LLM生成与人类编写代码的安全性和质量,发现LLM代码易出错、缺乏防御性编程且更易崩溃,且反馈循环无法可靠修复甚至可能引入新问题。
2024-10-12 cs.AI cs.CR
ALGOGEN: Tool-Generated Verifiable Traces for Reliable Algorithm Visualization
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(教育部多媒体可信感知与高效计算重点实验室,厦门大学)
ALGOGEN通过分离算法执行与渲染,利用可视化轨迹代数和渲染风格语言提高算法可视化生成的可靠性,实验表明其在复杂任务中有效减少LLM幻觉,提升生成质量。
2026-05-12 cs.AI cs.GR
How Much Can Repeated Running Buy? A Measured Variance Ceiling for LLM Code Evaluation
Northeastern University, Massachusetts, USA(东北大学,马萨诸塞州,美国);University of Southern California, California, USA(南加州大学,加利福尼亚州,美国)
通过重复运行评估协议,发现运行级通过率高估了无重试覆盖率高达17.8个百分点,且差距在中等性能系统中最大,表明稳定性分析是准确性报告的必要补充。
2026-10-14 cs.AI cs.LG cs.SE
Comparing large language models and human programmers for generating programming code
Columbia University(哥伦比亚大学);Duke University(杜克大学)
本研究系统评估了七种大型语言模型的代码生成能力,发现GPT-4在多种提示策略、语言和难度下显著优于其他模型,并在编码竞赛中胜过85%的人类参与者,代码效率与人类相当,显示出作为编程助手的潜力。
2024-10-05 cs.AI cs.CL cs.PL
Security of LLM-generated Code: A Comparative Analysis
Carleton University(卡尔顿大学)
本研究通过模拟开发者使用LLM生成代码的行为,评估了七种流行LLM生成代码的安全性,发现所有模型均生成包含漏洞的代码,且多数为严重或高危漏洞。
2026-05-21 cs.AI cs.CR cs.SE
AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
本文实证研究了基于LLM的编码代理生成代码的可重复性,发现仅68.3%的项目能在干净环境中成功执行,且不同语言存在显著差异,同时发现依赖项存在显著隐藏依赖。
2026-03-23 cs.AI cs.MA cs.SE
CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所信息处理实验室);University of Chinese Academy of Sciences(中国科学院大学);The Hong Kong University of Science and Technology(香港科技大学);Huazhong University of Science and Technology(华中科技大学)
针对现有代码基准语言与任务偏向明显、构建成本高的问题,提出全自动化构建的多语言代码推理基准CRUXEVAL-X,覆盖19种语言,评估揭示了LLM的语言间相关性与跨语言泛化特性。
2025-05-17 cs.AI
Advancing LLM Reasoning Generalists with Preference Trees
Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northeastern University(东北大学);Renmin University of China(中国人民大学);BUPT(北京邮电大学);Tencent(腾讯)
本文提出Eurus系列推理优化大模型及UltraInteract偏好树数据集,通过改进奖励建模在多项推理基准上超越GPT-3.5 Turbo和现有开源模型。
2024-04-02 cs.AI cs.CL cs.LG
Who's Your Judge? On the Detectability of LLM-Generated Judgments
Arizona State University(亚利桑那州立大学);Emory University(埃默里大学)
本文形式化仅依据评判分数与候选内容识别LLM生成评判的任务,提出融合语言及LLM增强特征的轻量透明检测器J-Detector,实验验证其检测效果、偏见量化能力与实际效用。
2025-09-29 cs.AI
GitHub Copilot: the perfect Code compLeeter?
KU Leuven(鲁汶大学);COSIC(COSIC研究院)
该研究通过定制自动化框架在 LeetCode 上跨四种语言大规模评测 GitHub Copilot,分析其代码正确性、可靠性、效率及语言、难度和主题影响。
2024-06-17 cs.AI cs.SE
Enhancing Student Learning with LLM-Generated Retrieval Practice Questions: An Empirical Study in Data Science Courses
College of Computer and Informatics(计算机与信息学院);Drexel University(德雷塞尔大学)
本研究针对教师生成检索练习问题耗时的问题,通过两门数据科学课程的实证发现,LLM生成的选择题检索练习可将学生知识留存准确率从73%提升至89%,但需教师审核问题质量。
2025-07-29 cs.AI
The Erosion of LLM Signatures: Can We Still Distinguish Human and LLM-Generated Scientific Ideas After Iterative Paraphrasing?
University of Houston(德克萨斯大学)
研究探讨了在多次迭代改写后,现有模型区分人类与LLM生成科学想法的能力,发现改写显著削弱了LLM签名的可区分性。
2025-12-04 cs.AI cs.LG
Fine-Tuning Qwen3-27B for C-to-Rust Code Translation: A Three-Stage Curriculum of Pretraining, Debugging-Aware SFT, and Task-Specific SFT
Northeastern University(东北大学);EmbodyX Inc(EmbodyX公司);Aibao LLC(Aibao有限责任公司)
本研究针对C到Rust代码翻译任务,对Qwen3-27B采用三阶段微调课程,结合SACTOR框架评估后,其性能优于基线模型及其他LLM。
2026-09-01 cs.AI cs.ET cs.LG
Small Edits, Big Consequences: Telling Good from Bad Robustness in Large Language Models
Berkeley(伯克利)
本文通过三类最小提示扰动测试六个前沿大语言模型,发现其对欠指定过度鲁棒而对语义翻转不敏感,提出应奖励差异化敏感性的评估与训练协议。
2025-07-15 cs.AI cs.CL
TextGrad: Automatic "Differentiation" via Text
Stanford University(斯坦福大学);Chan Zuckerberg Biohub(陈·扎克伯格生物中心)
本文提出TextGrad框架,用LLM生成并反向传播自然语言反馈来优化复合AI系统组件,在问答、代码、推理、分子和放疗计划等任务上验证了效果。
2024-06-11 cs.AI cs.CL cs.LG
PeerCheck: Enhancing LLM-Generated Academic Reviews Towards Human-Level Quality
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
提出PeerCheck框架,分析LLM与人类评审差异,采用思维链和检索增强生成提升评审质量,发现思维链显著改善但RAG存在悖论。
2026-06-23 cs.AI cs.CL
Variation is the Key: A Variation-Based Framework for LLM-Generated Text Detection
Tianjin University(天津大学)
本文提出VaryBalance框架,通过量化人类文本与LLM重写文本的差异,有效检测LLM生成文本,实验显示其在AUROC指标上优于现有方法。
2026-01-27 cs.AI cs.CL
A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions
University of Macau(澳门大学);Institute of Collaborative Innovation(协同创新研究院);Peking University(北京大学)
本综述全面梳理了LLM生成文本检测的必要性、现有方法(水印、统计、神经网络及人工辅助)与挑战,并展望未来方向,旨在推动负责任AI的发展。
2024-04-19 cs.AI cs.CL
KatFishNet: Detecting LLM-Generated Korean Text through Linguistic Feature Analysis
Yonsei University(延世大学)
本文提出首个韩语LLM生成文本检测基准KatFish及检测方法KatFishNet,通过分析分隔、词性和逗号使用等语言特征,将AUROC较现有最佳方法平均提升19.78%。
2025-09-19 cs.AI cs.CL
The Science of Detecting LLM-Generated Texts
Rice University(莱斯大学)
本文综述现有 LLM 生成文本检测技术,总结其成就与挑战,并指出评估指标和开源模型威胁等未来研究重点。
2023-06-02 cs.AI cs.CL
Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts?
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文研究大语言模型在知识冲突时如何合并生成上下文与检索上下文,发现GPT-4/3.5和Llama2存在偏向生成上下文的显著偏差,并揭示了上下文相似性和检索分段破坏完整性两个关键成因。
2024-06-11 cs.AI cs.CL
LLM-CSEC: Empirical Evaluation of Security in C/C++ Code Generated by Large Language Models
Independent Researcher(独立研究者);Newcastle University(新castle大学)
本研究评估了大型语言模型生成的C/C++代码安全性,发现存在大量漏洞,强调开发人员需谨慎使用此类代码。
2025-11-24 cs.AI cs.CR
Gender Bias in LLM-generated Interview Responses
Rutgers University(罗格斯大学);University of Pittsburgh(匹兹堡大学);Korea University(高丽大学);Korean National Police University(韩国警察大学);Ewha Womans University(梨花女子大学)
本研究评估GPT-3.5、GPT-4、Claude三个LLM生成的面试回答,发现其性别偏见与性别刻板印象及岗位主导性高度一致,为系统检查该类偏见并推动相关应用的偏见缓解提供了依据。
2024-11-28 cs.AI cs.CL
Investigating Cost-Efficiency of LLM-Generated Training Data for Conversational Semantic Frame Analysis
Kyoto University(京都大学);National Institute of Informatics(情报学研究所)
该研究针对对话语义框架分析任务,探究人工与LLM生成训练数据的成本效率权衡,通过GPT-4合成数据及多预算实验,发现二者结合可实现最优成本效率,且预算越低越适合提高LLM生成数据占比。
2024-10-09 cs.AI cs.CL
On the Detectability of LLM-Generated Text: What Exactly Is LLM-Generated Text?
École Normale Supérieure (ENS) - Université Paris Sciences et Lettres (PSL)(巴黎 sciences et lettres 大学(PSL)- 法国规范大学(ENS));Laboratoire Lattice (CNRS, ENS-PSL, Université Sorbonne Nouvelle)(晶格实验室(CNRS、ENS-PSL、索邦大学))
本文探讨LLM生成文本检测的模糊性,指出缺乏统一定义及人类编辑影响,主张检测结果仅作参考而非决定性指标。
2025-10-23 cs.AI cs.CL cs.CY
Zero-Shot Detection of LLM-Generated Text via Implicit Reward Model
School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学)
本文提出IRM方法,利用隐式奖励模型实现LLM生成文本的零样本检测,无需偏好收集或额外训练,在DetectRL基准上表现优于现有方法。
2026-04-23 cs.AI cs.CL
CASPER in the Machine: Insights into Character Variety in LLM-Generated Stories
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Georgia Institute of Technology(佐治亚理工学院);University of Michigan(密歇根大学)
本文借用叙事学定义,从八个维度分析LLM与人类创作故事中角色的刻画,发现两者在角色类型和多样性上既有相似也有差异。
2026-08-31 cs.AI cs.CL
I Learn Better If You Speak My Language: Understanding the Superior Performance of Fine-Tuning Large Language Models with LLM-Generated Responses
University of Adelaide(阿德莱德大学);University of Technology Sydney(悉尼科技大学)
本文研究了LLM生成响应在微调大型语言模型时的优越性能,发现LLM对自身生成响应的熟悉性是提升学习效果的关键因素。
2025-12-07 cs.AI cs.CL
SafeGenBench: A Benchmark Framework for Security Vulnerability Detection in LLM-Generated Code
ByteDance(字节跳动)
SafeGenBench是一个专门评估大语言模型生成代码安全性的基准框架,通过SAST和LLM评判自动检测漏洞,揭示现有模型在生成无漏洞代码方面的显著不足。
2025-06-20 cs.AI cs.CR
"I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts?
School of Cyber Science and Engineering, Shanghai Jiao Tong University, China(上海交通大学信息科学与工程学院);Department of Computing Science, University of Aberdeen, UK(阿伯丁大学计算机科学系);Institute of Cyber Security for Society (iCSS) & School of Computing, University of Kent, UK(社会网络安全研究所(iCSS)及肯特大学计算机学院)
本文研究LLM检测和解释生成文本的能力,发现自我检测优于交叉检测,三元分类提升性能,但存在依赖不准确特征、幻觉和推理缺陷等局限。
2025-06-24 cs.AI cs.CL
Under the Surface: Tracking the Artifactuality of LLM-Generated Data
University of Minnesota(明尼苏达大学)
该研究首次汇总各类LLM生成文本数据,通过多基准压力测试对比其与人类数据,揭示复杂任务下二者的隐性差异,指出LLM复现人类特质的不足,强调数据创建与LLM使用需遵循伦理规范。
2024-01-30 cs.AI cs.CL
Understanding the Effects of RLHF on the Quality and Detectability of LLM-Generated Texts
Queen Mary University of London(伦敦玛丽女王大学)
本研究探究RLHF对LLM生成文本质量及检测性能的影响,发现RLHF虽提升文本质量,但会使文本更易检测、更长且重复度更高,同时基于训练的检测器对短文本和含代码文本鲁棒性弱于零样本检测器。
2025-03-23 cs.AI cs.CL
How good is my story? Towards quantitative metrics for evaluating LLM-generated XAI narratives
Universiteit Antwerpen(安特卫普大学)
针对LLM生成的XAI叙事缺乏非人工评估方式的问题,本研究提出评估框架与自动化指标,用于表格分类任务解释叙事的质量评测,对比了多款前沿LLM,并识别出相关的LLM幻觉新挑战。
2024-12-13 cs.AI cs.CL
How Good LLM-Generated Password Policies Are?
Department of Computer Science(计算机科学系);Rutgers University(罗格斯大学);Stony Brook University(石溪大学);Cisco Research(思科研究)
本文研究LLM在网络安全访问控制中生成密码策略的一致性与准确性,通过有无官方文档两种实验设置评估其输出质量,揭示了当前LLM在该安全关键任务中的重大挑战。
2025-07-02 cs.AI cs.CR