CodeGenLink: A Tool to Find the Likely Origin and License of Automatically Generated Code
University of Sannio, Italy(萨尼亚大学)
针对LLM生成代码缺乏来源信息、存在可信度与版权许可风险的问题,提出Visual Studio Code的GitHub CoPilot扩展CodeGenLink,结合LLM与网页搜索检索相似代码链接并分析相似度,可过滤无关链接并提供来源许可证信息。
2025-10-01 cs.AI cs.SE
Bugs in Large Language Models Generated Code: An Empirical Study
Polytechnique Montréal(蒙特利尔理工学院)
本研究通过分析333个来自主流LLM的代码缺陷,识别出10种缺陷模式,并通过调查验证,为提升LLM生成代码质量提供指导。
2024-03-18 cs.AI cs.SE
A Controlled Experiment on the Energy Efficiency of the Source Code Generated by Code Llama
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文通过 C++、JavaScript 和 Python 三个基准的受控实验评估 Code Llama 生成代码的能效,发现其能效高度依赖编程语言和具体问题,人工实现总体更节能,且显式要求节能或调整温度参数均不能保证能效提升。
2024-05-06 cs.AI cs.SE
Copilot-in-the-Loop: Fixing Code Smells in Copilot-Generated Python Code using Copilot
School of Computer Science Wuhan University(武汉大学计算机学院);School of Computer Science Nanjing University of Science and Technology(南京理工大学计算机学院);School of Computer Science Central China Normal University(华中师范大学计算机学院)
本研究构建了包含102个代码坏味的数据集,发现Copilot生成的Python代码中存在8种坏味,其中多重嵌套容器最常见;Copilot Chat最高可修复87.1%的坏味,且更详细的提示词能提升修复效果。
2024-08-21 cs.AI cs.SE
Characterizing Readability Issue Patterns and the Role of Prompt Design in LLM-Generated Code
Peking university(北京大学);Wuhan University(武汉大学)
本文研究了LLM生成代码的可读性,发现其与人工编写代码相当,但存在特定问题模式,提示设计对可读性影响有限。
2026-08-04 cs.AI cs.SE
AIGCodeSet: A New Annotated Dataset for AI Generated Code Detection
TOBB University of Economics and Technology(托布卡大学经济与技术学院);Qatar University(卡塔尔大学)
针对AI生成代码可能引发的伦理问题,本文提出新标注数据集AIGCodeSet,包含2,828个AI生成和4,755个人类编写的Python代码,实验表明贝叶斯分类器在检测中表现最优。
2025-05-25 cs.AI cs.SE
Large Language Models in Fire Engineering: An Examination of Technical Questions Against Domain Knowledge
Clemson University(克莱姆森大学);The Hong Kong Polytechnic University(香港理工大学);York University(约克大学)
本研究对比了ChatGPT与Bard两款大语言模型在消防工程领域的问答表现,发现ChatGPT性能更优,指出该类技术有望革新消防工程实践与教育,同时明确了后续改进方向。
2024-03-04 cs.AI cs.CL cs.LG
CodeVision: Detecting LLM-Generated Code Using 2D Token Probability Maps and Vision Models
Texas Tech University(德克萨斯理工大学)
针对 LLM 生成代码难以鉴别的问题,提出 CodeVision,将代码转为二维 token 对数概率图并用 ViT、ResNet 等视觉模型识别,兼顾内容与结构,跨语言鲁棒且高效。
2025-01-06 cs.AI cs.SE
LLMLOOP: Improving LLM-Generated Code and Tests through Automated Iterative Feedback Loops
King's College London(伦敦国王学院)
LLMLOOP通过自动化迭代反馈循环提升大语言模型生成的代码和测试质量,通过五种循环解决编译错误、静态分析问题、测试失败和测试质量改进,验证了其在HUMANEVAL-X基准上的有效性。
2026-03-24 cs.AI cs.SE
Verifying LLM-Generated Code in the Context of Software Verification with Ada/SPARK
secunet Security Networks AG(secunet安全网络股份公司);International Center for Computational Logic, Technical University Dresden(德累斯顿工业大学国际计算逻辑中心)
针对LLM生成代码正确性无法被固有信任的问题,本文提出Marmaragan工具,利用LLM生成SPARK注释以实现代码形式化验证,其结合GPT-4o在基准测试中为50.7%的案例生成正确注释,为LLM与形式化验证结合奠定基础。
2025-02-11 cs.AI cs.SE
Understanding Defects in Generated Codes by Language Models
Carleton University(卡尔顿大学)
本研究分析了LLM生成代码中的367个缺陷,发现功能与算法错误占主导,并验证了五种提示工程技术能显著减少缺陷、提升代码可靠性。
2024-08-23 cs.AI cs.SE
STELP: Secure Transpilation and Execution of LLM-Generated Programs
STELP通过安全编译和执行LLM生成的代码,解决生产环境中的安全性和可靠性问题,提升代码执行的安全性与准确性。
2026-01-15 cs.AI cs.SE
Evaluating the Energy-Efficiency of the Code Generated by LLMs
University at Buffalo(布法罗大学);IBM Research(IBM研究院)
本文评估了20个LLMs在878个LeetCode问题上生成代码的能效,发现其能效远低于人工方案,其中DeepSeek-v3和GPT-4o较优,而特定算法类别下LLM代码能耗可高达人工方案的450倍。
2025-05-23 cs.AI cs.SE
A Framework for Identifying, Categorizing, and Explaining Bias in AI-Generated Code
University of British Columbia, Kelowna(不列颠哥伦比亚大学基洛纳分校);Federal University of Pará(帕拉联邦大学)
本研究提出一个基于分类法的框架,利用大型语言模型自动识别和解释AI生成代码中的偏见,实验显示模型在分类和解释上均与专家高度一致。
2026-09-28 cs.AI cs.SE
Bridging LLM-Generated Code and Requirements: Reverse Generation technique and SBC Metric for Developer Insights
针对AI生成代码质量评估与人类判断相关性弱、现有指标实用性不足的问题,本文提出基于反向生成技术的SBC评分机制,通过重构需求并对比原始规格量化准确性,为开发者提供可操作洞察。
2025-02-11 cs.AI cs.SE
Investigating The Smells of LLM Generated Code
School of Engineering, Computing and Mathematics, Oxford Brookes University(工程、计算与数学学院,奥克斯福德布鲁克斯大学)
提出基于场景的代码坏味道评估方法,利用自动化系统比较四款 LLM 生成的 Java 程序与专业参考代码,发现其代码质量普遍较差且随任务复杂度上升。
2026-09-29 cs.AI cs.SE
Tool-Guided Retrieval-Augmented Repair for Securing LLM-Generated C Code
The Pennsylvania State University(宾夕法尼亚州立大学)
研究大语言模型生成C代码可靠性问题,提出结合编译诊断、CodeQL静态分析等及检索先前修复模式的分析与修复工作流程,在相关C编程任务上评估,该方法有效降低了基线模型的编译失败率和安全缺陷率,提升了代码安全性。
2026-07-27 cs.AI cs.SE
Interpretable Cross-Examination Technique (ICE-T): Using highly informative features to boost LLM performance
InferLink Corporation(英孚林克公司)
提出 ICE-T 多提示交叉质询框架,将 LLM 响应转为数值特征并交由传统分类器,在医疗、法律数据上提升分类性能与可解释性。
2024-05-08 cs.AI cs.CL cs.LG
LLM Self Defense: By Self Examination, LLMs Know They Are Being Tricked
Georgia Tech(佐治亚理工学院);Intel Labs(英特尔实验室)
本文提出LLM Self Defense方法,通过让另一个LLM实例筛查生成内容来防御对抗性提示攻击,无需微调或预处理,在GPT 3.5和Llama 2上将攻击成功率降至接近0。
2024-05-02 cs.AI cs.CL
Decoding the AI Pen: Techniques and Challenges in Detecting AI-Generated Text
Microsoft(微软公司)
本文探讨LLMs广泛使用带来的挑战,重点研究AI生成文本检测的现有策略、理论可行性及未来研究方向。
2024-06-26 cs.AI cs.CL cs.LG
Effectiveness of Large Language Models in Simulating Regional Psychological Structures: An Empirical Examination of Personality and Subjective Well-being
Tsinghua University(清华大学);Neoma Business School(诺欧商学院);Beijing Technology and Business University(北京工商大学);Beijing Normal University(北京师范大学)
本研究基于中国七省数据实证检验大语言模型模拟区域心理结构的效果,发现其能近似群体心理分布,但存在人格与幸福感预测的系统性偏差,凸显其潜力与文化情感建模的改进方向。
2025-09-29 cs.AI cs.CY cs.HC
The Emperor's New Clothes in Benchmarking? A Rigorous Examination of Mitigation Strategies for LLM Benchmark Data Contamination
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大语言模型基准数据污染缓解策略缺乏严格检验的问题,本文提出保真度与抗污染性两个新指标及系统化评估流程,经多模型多基准实验发现现有策略均无法有效平衡两项性能,凸显优化必要性。
2025-03-20 cs.AI cs.CL cs.LG
An Examination of the Compositionality of Large Generative Vision-Language Models
AI Thrust, The Hong University of Science and Technology (Guangzhou)(香港科技大学(广州)AI方向);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系)
本文针对生成式视觉-语言模型组合性评估中的句法偏差问题,提出SyntaxBias Score和新任务,并构建无偏基准SADE,为多模态组合推理研究提供更可靠的评测工具。
2024-03-30 cs.AI cs.CL cs.CV
Security of LLM-generated Code: A Comparative Analysis
Carleton University(卡尔顿大学)
本研究通过模拟开发者使用LLM生成代码的行为,评估了七种流行LLM生成代码的安全性,发现所有模型均生成包含漏洞的代码,且多数为严重或高危漏洞。
2026-05-21 cs.AI cs.CR cs.SE
Large Language Models Should Ask Clarifying Questions to Increase Confidence in Generated Code
George Washington University(乔治华盛顿大学)
本文提出以沟通为中心的LLM代码生成流程,通过自动识别高歧义或低置信度问题并向用户提问,来澄清需求、改善代码质量并增强生成信心。
2024-01-22 cs.AI cs.LG cs.SE
Gender Bias in LLM-generated Interview Responses
Rutgers University(罗格斯大学);University of Pittsburgh(匹兹堡大学);Korea University(高丽大学);Korean National Police University(韩国警察大学);Ewha Womans University(梨花女子大学)
本研究评估GPT-3.5、GPT-4、Claude三个LLM生成的面试回答,发现其性别偏见与性别刻板印象及岗位主导性高度一致,为系统检查该类偏见并推动相关应用的偏见缓解提供了依据。
2024-11-28 cs.AI cs.CL
CodeMirage: Hallucinations in Code Generated by Large Language Models
University of Surrey(萨里大学);JP Morgan AI Research(摩根大通AI研究)
本文首次系统研究大型语言模型生成代码中的幻觉问题,提出代码幻觉定义、分类法及首个基准数据集CodeMirage,并实验评估多种LLM的检测性能,GPT-4表现最佳。
2025-07-08 cs.AI cs.CL cs.SE
AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
本文实证研究了基于LLM的编码代理生成代码的可重复性,发现仅68.3%的项目能在干净环境中成功执行,且不同语言存在显著差异,同时发现依赖项存在显著隐藏依赖。
2026-03-23 cs.AI cs.MA cs.SE
Deep Research Agents: A Systematic Examination And Roadmap
Deep Research Agents(深度研究代理)
本文系统分析了深度研究(DR)智能体的基础技术与架构,提出分类体系,评估现有基准的局限,并指明未来研究方向与挑战。
2025-09-03 cs.AI
mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code
Faculty of Information Technology, Brno University of Technology(布拉格技术学院);Kempelen Institute of Intelligent Technologies(智能技术研究所)
本文通过微调大语言模型,针对多领域机器生成代码检测问题,提出了改进的mcdok方法,提升了对不同编程语言代码片段的检测能力,但在部分子任务上仍有提升空间。
2026-04-23 cs.AI cs.CL cs.LG
LLM-CSEC: Empirical Evaluation of Security in C/C++ Code Generated by Large Language Models
Independent Researcher(独立研究者);Newcastle University(新castle大学)
本研究评估了大型语言模型生成的C/C++代码安全性,发现存在大量漏洞,强调开发人员需谨慎使用此类代码。
2025-11-24 cs.AI cs.CR
Improving LLM-Generated Code Quality with GRPO
University of Bristol(布里斯托大学)
本文针对现有代码生成训练仅以功能正确性为奖励的不足,提出用综合代码质量库作为GRPO奖励,实验证明该方法能提升代码质量并获专家盲评确认。
2025-06-02 cs.AI
Artificial-Intelligence Generated Code Considered Harmful: A Road Map for Secure and High-Quality Code Generation
New Jersey Institute of Technology(新泽西理工学院)
本研究对比了LLM生成与人类编写代码的安全性和质量,发现LLM代码易出错、缺乏防御性编程且更易崩溃,且反馈循环无法可靠修复甚至可能引入新问题。
2024-10-12 cs.AI cs.CR
SafeGenBench: A Benchmark Framework for Security Vulnerability Detection in LLM-Generated Code
ByteDance(字节跳动)
SafeGenBench是一个专门评估大语言模型生成代码安全性的基准框架,通过SAST和LLM评判自动检测漏洞,揭示现有模型在生成无漏洞代码方面的显著不足。
2025-06-20 cs.AI cs.CR
A Systematic Examination of Preference Learning through the Lens of Instruction-Following
University of Washington(华盛顿大学)
本研究系统考察了偏好数据集属性对LLM指令遵循任务的影响,通过生成48,000个合成提示并结合RS和MCTS方法,发现共享前缀、高低对比度结合及中等难度训练能显著提升模型对齐和泛化性能。
2024-12-18 cs.AI cs.CL cs.IR
Marking Code Without Breaking It: Code Watermarking for Detecting LLM-Generated Code
Yonsei University(延世大学)
STONE通过语法感知方法在非语法标记中嵌入水印,保持代码完整性并提升大语言模型生成代码的可检测性。
2026-02-08 cs.AI cs.CR
Measuring and Mitigating Bias in Code Generated by Large Language Models
School of Computing Science, University of Glasgow(格拉斯哥大学计算机科学学院)
本文针对GPT-4o和Gemini等主流代码生成工具,提出评估框架,使用代码偏见分数和属性变化比率量化偏见,并探索四种轻量级缓解策略。
2026-05-05 cs.AI cs.CY
BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks
Apple(苹果公司)
针对程序员难以理解使用大语言模型生成代码的问题,研究提出JupyterLab扩展BISCUIT,通过临时UI脚手架衔接用户提示与代码生成,经10名新手测试证实可辅助代码理解、降低提示工程难度并支持变量探索与想法迭代。
2024-07-12 cs.AI cs.HC
The Hidden Risks of LLM-Generated Web Application Code: A Security-Centric Evaluation of Code Generation Capabilities in Large Language Models
Department of IT IIIT Allahabad(信息技术系,印度阿拉哈巴德IIIT);Department of ECE IIIT Allahabad(电子工程系,印度阿拉哈巴德IIIT);Department of CSE IIT Kanpur(计算机科学与工程系,印度坎purIIT)
本文评估了ChatGPT等LLM生成Web应用代码的安全性,发现其在认证和输入验证等方面存在漏洞且均未完全符合行业标准,强调了人工审查与构建安全评估框架的必要性。
2025-04-29 cs.AI cs.CR cs.ET
CodeRefine: A Pipeline for Enhancing LLM-Generated Code Implementations of Research Papers
CodeRefine通过多步骤方法将论文方法转化为功能代码,利用预定义本体构建知识图谱,并通过回顾性检索增强生成方法提升代码准确性,有效解决理论研究与实践实现之间的桥梁问题。
2026-03-26 cs.AI cs.CL cs.LG
Zero-Shot Detection of Machine-Generated Codes
University of California, Santa Barbara(加州大学圣巴巴拉分校);NEC Laboratories America, Princeton(普林斯顿NEC美国实验室)
本研究提出一种无需训练的零样本代码检测方法,改进DetectGPT并利用代理白盒模型估计词元概率,在多个数据集和大模型上实现最优检测效果,具备攻击鲁棒性与跨语言泛化性。
2023-10-08 cs.AI cs.CL cs.CR
Evaluating Code Readability and Legibility: An Examination of Human-centric Studies
阅读代码是软件维护和演化中的一项基本活动。几项针对人类受试者的研究调查了不同的因素,如所采用的编程结构和命名约定,如何影响代码的可读性,即,什么使程序更容易或更难被开发者阅读和理解,以及代码易读性,即,是什么影响了识别程序元素的容易性。这些研究通过不同的理解任务和反应变量来评估可读性和易读性。在本文中,我们在比较编程结构、编码习惯、命名约定和格式指南的研究中检查了这些任务和变量,例如,递归代码与迭代代码。为此,我们进行了系统的文献综述,发现了54篇相关论文。这些研究大多通过测量受试者结果的正确性(83.3%)或简单地询问他们的意见(55.6%)来评估代码的可读性和易读性。一些研究(16.7%)完全依赖于后一个变量。仍然有少数研究监测受试者的身体体征,如大脑激活区域(5%)。此外,我们的研究表明,一些变量是多方面的。例如,正确性可以被衡量为预测程序输出的能力,回答有关其行为的问题,或回忆部分内容。这些结果清楚地表明,不同的评估方法需要不同的能力,例如,跟踪程序vs.总结其目标vs.记住其文本。为了帮助研究人员设计新的研究,并提高我们对现有研究的理解,我们通过调整预先存在的学习分类法,将程序理解建模为一种学习活动。这一调整表明,在这些评价中经常运用某些能力,而很少针对其他能力。
2021-10-02 cs.SE
Entombed: An archaeological examination of an Atari 2600 game
编程的行为和体验本质上是一种导致工件生产的基本人类活动。因此,在考虑编程时,如果不考虑专门研究人工制品和产生人工制品的人类活动的人,那将是一个明显的遗漏:考古学家。在这里,我们考虑这方面的计算机游戏,考古学的考古游戏的新生子领域的重点。考古游戏研究的一种类型是数字挖掘,对旧游戏实现中使用的代码和技术进行技术检查。我们应用Entombed,雅达利2600游戏在1982年由美国游戏发布的案例研究。在这个游戏中,玩家是一个考古学家,他必须穿过一个充满迷宫的迷宫。迷宫生成是比较复古游戏考古学的一个富有成果的领域,因为不同平台上的许多早期游戏都有迷宫,并且可以比较它们的各种方法。Entombed中的迷宫特别有趣:它的形状部分受到Atari 2600平台的广泛实时限制,并且必须有效地生成,并且几乎没有内存。我们对游戏代码的关键部分进行了逆向工程,以揭示其不同寻常的迷宫生成算法,并对其进行了重建,同时分析了驱动该算法的神秘表格。此外,我们还发现了代码中存在35年之久的漏洞,以及游戏开发人员代码重用实践的直接证据。更让这款游戏的开发有趣的是,在一个电子游戏通常是单人项目的时代,总共有五个人以各种方式参与了Entombed。我们通过采访拼凑了一些游戏开发和麻醉剂设计的背景故事,以补充我们的技术工作。最后,我们将这个例子置于考古学的背景下,并为更广泛的跨学科讨论编程奠定基础,其中包括计算机科学家和考古…
2018-11-05 cs.CY cs.SE
On Developers' Self-Declaration of AI-Generated Code: An Analysis of Practices
School of Computer Science, Wuhan University(武汉大学计算机科学学院);School of Mathematical and Computational Sciences, Massey University(马斯赛大学数学与计算科学学院)
本研究通过混合方法调查开发者自我声明AI生成代码的实践,发现76.6%的开发者常声明,主要出于追踪和伦理考虑,并提供了相关指南。
2025-10-26 cs.AI cs.SE
A Survey of Bugs in AI-Generated Code
\ School of Mathematical;Computational Sciences, Massey University Palmerston North New Zealand;Computational Sciences, Massey University New Zealand;School of Computer Science, Wuhan University China;SWAT Laboratory, Polytechnique Montr\'eal Canada;School of Mathematical;Computational Sciences, Massey University;School of Computer Science, Wuhan University;SWAT Laboratory, Polytechnique Montr\'eal
本文系统综述了AI生成代码中的bug问题,分析了bug类型、分布及修复策略,为未来模型改进和质量评估提供参考。
2026-11-17 cs.AI cs.SE
Future of Code with Generative AI: Transparency and Safety in the Era of AI Generated Software
本研究审视AI生成代码的现状与风险,提出增强透明度与功能分析的解决方案,并探讨其对通用人工智能发展的长期影响,强调负责任的开发与部署。
2025-05-18 cs.AI cs.SE
MultiAIGCD: A Comprehensive dataset for AI Generated Code Detection Covering Multiple Languages, Models,Prompts, and Scenarios
本研究针对大语言模型代码普及带来的学术诚信与招聘公平问题,构建了覆盖3种语言、6种LLM、3种提示、3类场景的MultiAIGCD数据集,并基准测试了3种主流检测模型的跨场景性能,公开资源以支撑相关研究。
2025-07-29 cs.AI cs.SE
A Study of Maintainability in Evolving Open-Source Software
我们的研究集中在开源软件的长期演变的背景下的可维护性的特点的评价。根据成熟的软件质量模型,如ISO 9126和最近的ISO 25010,可维护性仍然是与性能,安全性和可靠性一起的关键质量特征。为了实现我们的目标,我们选择了三个复杂的,广泛使用的目标应用程序,可以访问其整个开发历史和源代码。为了实现跨应用程序比较,我们将选择限制在Java平台上开发的GUI驱动软件。我们将我们的检查集中在已发布的版本上,结果在我们的案例研究中包含了111个软件版本。这涵盖了每个应用程序10多年的开发。对于每个版本,我们使用三种不同复杂性的定量模型来确定其可维护性。我们研究了软件规模和可维护性之间的关系,并研究了软件可维护性重要变化的主要驱动因素。我们使用手动源代码检查来分析我们的发现。我们还在包级别进行了更细粒度的评估,以确定应用程序源代码中可维护性问题的分布。最后,我们提供了一个跨应用程序的分析,以确定常见的以及特定于应用程序的模式。
2020-09-02 cs.SE
Is Functional Correctness Enough to Evaluate Code Language Models? Exploring Diversity of Generated Codes
Pohang University of Science and Technology(浦项科技大学);Yonsei University(延世大学)
本研究提出了一种系统评估代码语言模型生成代码多样性的方法,引入基于大型模型的成对相似度度量,发现当前模型倾向于生成功能正确但多样性有限的代码。
2024-08-24 cs.AI cs.PL cs.SE
How Readable is Model-generated Code? Examining Readability and Visual Inspection of GitHub Copilot
背景:大语言模型的最新进展已经激发了这种模型在代码生成和程序合成中的实际使用。然而,很少有人知道这些工具在实践中对代码可读性和视觉注意力的影响。目的:在本文中,我们专注于GitHub Copilot,以解决模型生成代码的可读性和视觉检查问题。可读性和低复杂性是良好源代码的重要方面,鉴于自动化偏见,对生成的代码进行视觉检查非常重要。方法:通过人体实验(n=21),我们将模型生成的代码与完全由人类程序员编写的代码进行比较。我们使用静态代码分析和人工注释的组合来评估代码的可读性,我们使用眼动追踪来评估代码的视觉检查。结果:我们的研究结果表明,模型生成的代码在复杂性和可读性方面与人类配对程序员编写的代码相当。同时,眼动追踪数据表明,在统计学上显著的水平,程序员直接较少的视觉注意力模型生成的代码。结论:我们的研究结果强调,阅读代码比以往任何时候都更重要,程序员应该注意模型生成代码的自满和自动化偏见。
2022-09-01 cs.SE
How Diversely Can Language Models Solve Problems? Exploring the Algorithmic Diversity of Model-Generated Code
School of Computer Science and Engineering, Kyungpook National University(庆北国立大学计算机科学与工程学院);POSTECH(浦项科技大学);Department of Artificial Intelligence, Yonsei University(延世大学人工智能系)
本文提出一种基于代码聚类和相似性度量的系统评估方法,发现语言模型生成的代码算法多样性较低,并证明通过结合异构模型和将采样温度设置在1.0以上可有效提升代码多样性。
2025-03-07 cs.AI cs.CL cs.SE
Distinguishing LLM-generated from Human-written Code by Contrastive Learning
本文提出基于对比学习和UniXcoder的CodeGPTSensor检测器,利用大规模HMCorp语料库,有效区分ChatGPT生成与人类编写的代码,性能优于基线。
2024-11-07 cs.SE
Do Comments and Expertise Still Matter? An Experiment on Programmers' Adoption of AI-Generated JavaScript Code
The University of Melbourne(墨尔本大学);Singapore Management University(新加坡管理大学)
本文通过实验发现,AI生成的评论显著影响程序员对AI生成代码的采用,无论其专业水平如何。
2025-09-08 cs.SE
A Taxonomy of Inefficiencies in LLM-Generated Python Code
本研究实证分析了CodeLlama等模型生成的492个代码片段,构建了包含5个类别和19个子类别的LLM生成代码低效性分类体系,并通过58名从业者验证,发现逻辑与性能低效性最普遍且影响整体质量,为代码生成优化提供了结构化基础。
2025-08-10 cs.SE