The Impact of AI on Developer Productivity: Evidence from GitHub Copilot
生成式人工智能工具有望提高人类生产力。本文介绍了使用GitHub Copilot(一个AI配对程序员)进行的受控实验的结果。被招募的软件开发人员被要求尽快用JavaScript实现HTTP服务器。使用AI配对编程器的治疗组比对照组快55.8%完成任务。观察到的异质效应显示,AI配对程序员有望帮助人们过渡到软件开发职业。
2023-02-13 cs.SE
Exploring the Verifiability of Code Generated by GitHub Copilot
GitHub的Copilot可以快速生成代码。我们研究它是否生成好的代码。我们的方法是识别一组问题,要求Copilot生成解决方案,并尝试与Dafny正式验证这些解决方案。我们的形式化验证是关于手工制作的规范。我们已经对6个问题进行了这个过程,并成功地正式验证了其中4个创建的解决方案。我们发现的证据证实了文献中目前的共识:Copilot是一个强大的工具;然而,它不应该自己“驾驶飞机”。
2022-10-27 cs.PL cs.SE
Practices and Challenges of Using GitHub Copilot: An Empirical Study
本研究通过分析 169 个 Stack Overflow 帖子与 655 个 GitHub 讨论,实证揭示 GitHub Copilot 的使用语言、IDE、技术、功能、收益与集成挑战。
2023-04-27 cs.SE
A Human Centric Requirements Engineering Framework for Assessing Github Copilot Output
本研究针对GitHub Copilot,建立以人为中心的需求评估框架,通过聊天界面分析其交互、适应性及协作效果,为自动化编程中人类需求分析提供启示。
2025-08-05 cs.HC cs.SE
Demystifying Practices, Challenges and Expected Features of Using GitHub Copilot
通过分析 Stack Overflow 和 GitHub Discussions 的实证数据,研究了开发者使用 GitHub Copilot 的实践、挑战与期望功能,为评估该工具的双刃剑效应提供了经验基础。
2023-09-11 cs.SE
Developer Productivity With and Without GitHub Copilot: A Longitudinal Mixed-Methods Case Study
University of Oslo(奥斯陆大学);SINTEF(辛特夫研究所)
研究通过混合方法案例研究分析GitHub Copilot对开发者活动和主观生产力的影响,发现使用Copilot的开发者活动更活跃,但无显著统计学变化,表明提交指标与主观生产力体验存在差异。
2026-01-28 cs.SE
Study of software developers' experience using the Github Copilot Tool in the software development process
在软件开发中,有一个不断的压力,即在不影响质量的情况下越来越快地生成代码。支持开发人员的新工具是为了响应这一需求而创建的。目前,新一代的解决方案即将推出-人工智能驱动的工具。2021年6月29日,Github Copilot发布。它使用经过训练的模型来生成基于人类可理解语言的代码。这项研究的重点是调查软件开发人员的方法,这个工具。为此,编写了一份包含18个问题的调查表,并与程序员分享。共收集到42个答案。研究结果表明,开发商的意见是分歧的。他们中的大多数人在参加调查之前都见过Github Copilot。对该工具的态度大多是积极的,但没有多少参与者愿意使用它。担忧是由使用Github Copilot相关的安全问题引起的。
2023-01-12 cs.SE stat.ML
Choose Your Programming Copilot: A Comparison of the Program Synthesis Performance of GitHub Copilot and Genetic Programming
Johannes Gutenberg University(约翰内斯·古腾堡大学)
GitHub Copilot是由大规模语言模型Codex提供支持的Visual Studio Code开发环境的扩展,为软件开发人员提供自动程序合成。该模型在深度学习领域已经得到了广泛的研究,然而,与遗传编程的比较尚未进行,遗传编程也以其在自动程序合成中的性能而闻名。在本文中,我们评估GitHub Copilot在标准程序合成基准问题上的表现,并将所取得的结果与遗传编程文献中的结果进行比较。此外,我们讨论了这两种方法的性能。我们发现这两种方法在基准测试问题上的性能相当相似,然而,与GitHub Copilot相比,基于遗传编程的程序合成方法还不够成熟,无法支持程序员进行实际的软件开发。遗传编程通常需要大量昂贵的手工标记的训练案例,并且需要花费太多的时间来生成解决方案。此外,由遗传编程方法生成的源代码通常是臃肿的并且难以理解。对于未来的工作与遗传编程的程序合成,我们建议研究人员专注于提高执行时间,可读性和可用性。
2021-11-15 cs.LG cs.NE cs.SE
Evaluating the Code Quality of AI-Assisted Code Generation Tools: An Empirical Study on GitHub Copilot, Amazon CodeWhisperer, and ChatGPT
本研究基于HumanEval数据集,从有效性、正确性、安全性、可靠性和可维护性五个维度比较了GitHub Copilot、Amazon CodeWhisperer和ChatGPT的代码生成质量,发现ChatGPT正确率最高且技术债务适中,为开发者选择最佳工具提供了实证依据。
2023-10-22 cs.SE
Exploring the Problems, their Causes and Solutions of AI Pair Programming: A Study on GitHub and Stack Overflow
本文通过分析GitHub和Stack Overflow上的用户反馈,系统揭示了AI结对编程工具Copilot的常见问题、成因及解决方案,并为用户、开发团队和研究者提供改进建议。
2024-08-31 cs.SE
Engineering Students' Usage and Perceptions of GitHub Copilot in Open-Source Projects
University of Florida(佛罗里达大学)
研究探讨了工程学生在开源项目中使用GitHub Copilot的差异,分析了性别、编程能力及AI熟悉度对使用情况的影响,发现学生更倾向于使用聊天和代码生成功能。
2026-04-12 cs.SE
Exploring the Effect of Multiple Natural Languages on Code Suggestion Using GitHub Copilot
本研究针对自然语言对AI代码工具GitHub Copilot代码建议效果的影响开展实证,用756道不同难度AtCoder题目测试英、日、中文,发现语言间表现有差异且中文最差,难度升高性能均显著下降,为相关研究提供了新方向。
2024-02-02 cs.SE
Assessing the Security of GitHub Copilot Generated Code -- A Targeted Replication Study
本文复制Pearce等人的研究,使用较新版本的Copilot和CodeQL检查Python代码安全漏洞,发现易受攻击代码建议占比从36.54%降至27.25%,但模型仍会建议不安全代码。
2023-11-18 cs.SE
Benchmarking ChatGPT, Codeium, and GitHub Copilot: A Comparative Study of AI-Driven Programming and Debugging Assistants
本文比较了 ChatGPT、Codeium 和 GitHub Copilot 在 LeetCode 问题上的表现,发现 Copilot 擅长简单和中等任务,ChatGPT 在内存效率和调试上更优,而 Codeium 在复杂问题上表现较弱,为开发者选择 AI 编程助手提供了参考。
2024-09-30 cs.SE
Programming with AI: Evaluating ChatGPT, Gemini, AlphaCode, and GitHub Copilot for Programmers
New York Institute of Technology(纽约理工学院)
本研究全面评估了ChatGPT、Gemini、AlphaCode和GitHub Copilot等AI编程助手在自然语言处理及Java、Python和C++代码生成上的表现,揭示了其优缺点并强调提升可靠性、准确率及伦理开发的必要性。
2024-11-14 cs.AI cs.SE
The Effects of GitHub Copilot on Computing Students' Programming Effectiveness, Efficiency, and Processes in Brownfield Programming Tasks
本研究通过对照实验探究GitHub Copilot对计算机本科生棕地编程任务的影响,发现其能提升效率与进度、改变编程行为,同时指出需配套教学方法平衡工具优势与理解培养。
2025-06-11 cs.SE
On the Robustness of Code Generation Techniques: An Empirical Study on GitHub Copilot
软件工程研究一直关注代码完成方法的改进,这表明开发人员在编码时可能会输入下一个标记。GitHub Copilot的发布是向前迈出的一大步,也是因为它具有前所未有的能力,可以从自然语言描述中自动生成甚至整个函数。虽然Copilot的实用性是显而易见的,但它的健壮程度仍不清楚。具体地说,我们不知道在提供给模型的自然语言描述中的语义保持变化对生成的代码函数的影响程度。在本文中,我们提出了一个实证研究,我们的目的是了解不同的,但语义等价的自然语言描述是否会导致相同的推荐功能。否定的答案会对基于深度学习(DL)的代码生成器的鲁棒性提出质疑,因为这意味着开发人员使用不同的措辞来描述相同的代码将获得不同的建议。我们要求Copilot从原始Javadoc描述开始自动生成892个Java方法。然后,我们手动和自动为每种方法生成不同的语义等效描述,并分析了Copilot生成的预测变化的程度。我们的研究结果表明,修改的描述结果在不同的代码建议在~46%的情况下。此外,语义等效描述中的差异可能会影响生成代码的正确性约28%。
2023-02-01 cs.SE
Copilot-in-the-Loop: Fixing Code Smells in Copilot-Generated Python Code using Copilot
School of Computer Science Wuhan University(武汉大学计算机学院);School of Computer Science Nanjing University of Science and Technology(南京理工大学计算机学院);School of Computer Science Central China Normal University(华中师范大学计算机学院)
本研究构建了包含102个代码坏味的数据集,发现Copilot生成的Python代码中存在8种坏味,其中多重嵌套容器最常见;Copilot Chat最高可修复87.1%的坏味,且更详细的提示词能提升修复效果。
2024-08-21 cs.AI cs.SE
GitHub Copilot AI pair programmer: Asset or Liability?
Polytechnique Montreal(蒙特利尔理工学院);York University(约克大学)
本文实证评估了 GitHub Copilot 在基础算法问题求解及与人类程序员方案对比中的表现,发现其覆盖面广但存在缺陷且不可复现,修复成本较低。
2023-04-14 cs.LG cs.SE
The Impact of Generative AI on Collaborative Open-Source Software Development: Evidence from GitHub Copilot
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究探讨生成AI对开源协作开发的影响,发现GitHub Copilot提高了代码贡献和开发者参与,但增加了协调时间,揭示了AI在扩展贡献者的同时减缓协作的权衡。
2026-08-14 cs.AI cs.HC cs.SE
Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft's Early 2026 Rollout of Claude Code and GitHub Copilot CLI
Microsoft(微软)
研究微软2026年初推出Claude Code和GitHub Copilot CLI时,数万名工程师的采用模式、留存因素及对代码合并的影响,发现社交网络驱动首次使用,编码活跃度关联留存,采用者合并PR数量增加约24%。
2026-07-03 cs.AI cs.HC cs.SE
Is GitHub's Copilot as Bad as Humans at Introducing Vulnerabilities in Code?
本文从安全性角度对 Copilot 生成的代码进行实证分析,发现其引入漏洞的比例约为 33%,且行为因漏洞类型和时间而异,总体上不如人类开发者那样容易引入漏洞。
2024-01-06 cs.CR cs.SE
How Readable is Model-generated Code? Examining Readability and Visual Inspection of GitHub Copilot
背景:大语言模型的最新进展已经激发了这种模型在代码生成和程序合成中的实际使用。然而,很少有人知道这些工具在实践中对代码可读性和视觉注意力的影响。目的:在本文中,我们专注于GitHub Copilot,以解决模型生成代码的可读性和视觉检查问题。可读性和低复杂性是良好源代码的重要方面,鉴于自动化偏见,对生成的代码进行视觉检查非常重要。方法:通过人体实验(n=21),我们将模型生成的代码与完全由人类程序员编写的代码进行比较。我们使用静态代码分析和人工注释的组合来评估代码的可读性,我们使用眼动追踪来评估代码的视觉检查。结果:我们的研究结果表明,模型生成的代码在复杂性和可读性方面与人类配对程序员编写的代码相当。同时,眼动追踪数据表明,在统计学上显著的水平,程序员直接较少的视觉注意力模型生成的代码。结论:我们的研究结果强调,阅读代码比以往任何时候都更重要,程序员应该注意模型生成代码的自满和自动化偏见。
2022-09-01 cs.SE
What Makes a GitHub Issue Ready for Copilot?
École de Technologie Supérieure, Université de Québec(魁北克大学技术学院)
本文提出32条准则,通过可解释机器学习模型评估GitHub问题质量,提升Copilot合并拉取请求的可能性,模型中位AUC达72%。
2025-12-24 cs.SE
Faster but Not Wiser: GitHub Copilot Decouples Programming Performance from Code Comprehension in Brownfield Tasks
Oregon State University(俄勒冈州立大学)
研究探讨GitHub Copilot对代码理解的影响,发现性能提升与理解之间存在脱节,且主动验证行为能显著提升理解能力。
2026-09-27 cs.SE
The Impact of Large Language Models on Open-source Innovation: Evidence from GitHub Copilot
Coller School of Management, Tel Aviv University(特拉维夫大学科尔学院);Stern School of Business, New York University(纽约大学斯特恩商学院)
利用GitHub Copilot推出的自然实验,通过三种识别策略和两种分类方法,发现LLM使开源贡献增加28%-40%,且增量贡献增长显著大于实质性贡献,表明LLM偏向于利用现有代码库而非探索新功能。
2026-05-24 cs.AI cs.SE econ.GN
From Developer Pairs to AI Copilots: A Comparative Study on Knowledge Transfer
本文通过实证研究比较人-人结对与人-AI(GitHub Copilot)场景下的知识迁移,发现两者成功迁移频率相近且主题重叠,但开发者对 AI 建议审视更少,同时 AI 能提醒开发者易忽略的代码细节。
2025-06-05 cs.SE
Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study
本文通过分析 GitHub 项目中 Copilot 等工具生成的 733 个代码片段,实证揭示了生成代码中安全弱点的高发生率及其 CWE 分布,并验证了 Copilot Chat 结合静态分析警告可修复最多 55.5% 的安全问题。
2025-02-06 cs.CR cs.SE
Security Concerns in Generative AI Coding Assistants: Insights from Online Discussions on GitHub Copilot
Hamburg University of Technology(汉堡工业大学);University of Saskatchewan(萨斯喀彻温大学);RMIT University(皇家墨尔本理工大学)
研究分析开发者在公共论坛中提出的安全问题,识别出数据泄露、代码授权、对抗攻击和不安全代码建议等四大安全关切,揭示生成式AI在软件工程中的局限性与权衡。
2026-04-09 cs.CR cs.HC cs.SE
From Copilot to Pilot: Towards AI Supported Software Development
University of Toronto(多伦多大学);University of Victoria(维多利亚大学)
人工智能支持的编程已经到来,正如用于代码的大语言模型的引入和成功所表明的那样,例如Copilot/Codex(Github/OpenAI)和AlphaCode(DeepMind)。在编程挑战上的人类平均表现现在是可能的。然而,软件工程远不止解决编程竞赛。从代码完成转向人工智能支持的软件工程将需要一个人工智能系统,它可以理解如何避免代码气味,遵循语言习惯,并最终(也许!)提出合理的软件设计。在这项研究中,我们探讨了目前像Copilot这样的人工智能支持的代码完成工具的局限性,并提供了一个简单的分类法来理解这个领域中人工智能支持的代码完成工具的分类。我们首先对Copilot关于语言习惯和代码气味的代码建议进行了探索性研究。Copilot不遵循语言习惯,并避免在我们的大多数测试场景中出现代码气味。然后,我们进行额外的调查,以确定当前的边界AI支持的代码完成工具,如Copilot通过引入软件抽象层次的分类,其中“基本的编程功能”,如代码编译和语法检查是在最抽象的水平,软件架构分析和设计是在最抽象的水平。最后,我们讨论了未来开发AI支持的代码完成工具所面临的挑战,以达到我们分类法中的设计抽象级别。
2023-03-07 cs.AI cs.LG cs.SE
GitHub Copilot and Developer Productivity: An Observational Dose-Response Analysis
Microsoft(微软)
通过固定效应模型和泊松伪最大似然估计,分析 16,223 名工程师的 43 周数据,发现 GitHub Copilot 的使用强度与工程师完成的 PR 数量呈单调递增但边际递减的正相关,在控制开发努力后最高使用周比零使用周 PR 完成量增加 40.5%。
2026-05-30 cs.SE
Green My LLM: Studying the key factors affecting the energy consumption of code assistants
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
本文通过模拟20位开发者使用GitHub Copilot的场景,研究影响代码助手能耗的关键配置因素,发现并发数、模型规模、量化与流式传输等均影响能耗,并指出大量生成请求被取消,提出优化配置可显著节能。
2024-11-07 cs.AI cs.SE
Where Is Self-admitted Code Generated by Large Language Models on GitHub?
Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学);Wuhan University(武汉大学)
本研究通过分析 GitHub 上开发者自认使用 LLM 生成代码的注释,揭示了 ChatGPT 和 Copilot 在真实项目中的使用特征、代码规模与修改情况,为研究者和从业者提供了实证依据。
2025-11-07 cs.SE
Developers and Generative AI: A Study of Self-Admitted Usage in Open Source Projects
Università della Svizzera italiana(瑞士意大利语大学);University of Sannio(萨尼奥大学);William & Mary(威廉与玛丽学院);JetBrains Research(JetBrains 研究)
本文研究了ChatGPT和GitHub Copilot在开源项目中的自我声明使用,通过分析GitHub提交、问题和拉取请求,构建了64种使用任务的分类体系,揭示了生成式AI在软件开发中的应用扩展和开发者认知变化。
2026-03-27 cs.SE
A User-centered Security Evaluation of Copilot
本文对 GitHub Copilot 进行以用户为中心的安全评估,通过用户研究(n=25)发现使用 Copilot 在处理较难问题时能带来更安全的解决方案,对简单问题无影响,且对特定漏洞类型无不成比例影响,表明其具潜在安全益处但需更多研究。
2024-01-06 cs.CR cs.SE
No Two Developers Think Alike: How Problem-Solving Styles and Experience Shape Needs in Conversational Interaction with Copilot
Radboud University Nijmegen(拉德堡德大学);Federal University of Technology – Paraná Campo Mourão(巴拉那联邦技术大学 - 卡莫阿乌校区);Microsoft(微软)
通过混合方法出声思考研究,识别出5种交互模式和10种需求,并建立概念模型,揭示认知多样性如何影响开发者与GitHub Copilot的交互。
2026-06-18 cs.HC cs.SE
Reading Between the Lines: Modeling User Behavior and Costs in AI-Assisted Programming
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
研究程序员与GitHub Copilot等代码推荐系统的交互,提出CUPS行为分类体系,通过21名程序员实验揭示交互低效与时间成本,为界面设计和评估指标提供依据。
2024-04-22 cs.HC cs.LG cs.SE
"Go Home Copilot, You're Drunk": Understanding Developer Responses to Agent-Generated Code Review Comments
University of Saskatchewan(萨斯喀彻温大学);Singapore Management University(新加坡管理大学);Monash University(蒙纳士大学)
研究开发者对智能体生成的代码审查评论的回应,分析五个智能体在342个Python仓库生成的54791条评论,探讨解决率、开发者经验及影响评论有用性的特征,发现不同智能体解决率有差异,还确定未解决评论原因及影响因素,为改进相关反馈提供见解。
2026-07-31 cs.SE
Evolution of Programmers' Trust in Generative AI Programming Assistants
University of California, San Diego(加利福尼亚大学圣地亚哥分校);North Carolina State University(北卡罗来纳州立大学)
研究程序员使用GitHub Copilot后信任度的动态演变,发现信任度随时间提升,并基于定量与定性分析提出四项CS教学建议以帮助学生校准对AI助手的信任。
2025-09-16 cs.HC cs.SE
CoProtector: Protect Open-Source Code against Unauthorized Training Usage with Data Poisoning
Monash University(蒙纳士大学);ShanghaiTech University(上海科技大学);University of Technology Sydney(悉尼科技大学)
Github Copilot,在数十亿行公共代码上训练,最近已经成为计算机科学研究和实践社区的流行语。虽然它旨在帮助开发人员实现具有强大智能的安全有效的代码,但实践者和研究人员对其道德和安全问题表示担忧,例如,是否应该自由地使用copyleft许可的代码,或者首先考虑使用不安全的代码进行培训?随着人工智能的快速发展,Copilot等旨在通过深度学习模型从大规模开源代码中学习知识的类似产品不可避免地会受到这些问题的严重影响。为了减轻这种影响,我们认为有必要发明有效的机制来保护开源代码不被深度学习模型利用。在这里,我们设计并实现了一个原型,CoProtector,它利用数据投毒技术来武装源代码存储库防御这种漏洞。我们的大规模实验经验表明,CoProtector可以有效地实现其目的,显著降低Copilot类深度学习模型的性能,同时能够稳定地揭示秘密嵌入的水印后门。
2022-02-14 cs.AI cs.CR cs.SE
Harnessing the Potential of Gen-AI Coding Assistants in Public Sector Software Development
GovTech Singapore的研究表明,GitHub Copilot使公共部门开发人员生产力提升21-28%,满意度达95%,并建议制定AI框架及根据代码机密性选择云端或自托管工具以高效利用技术。
2024-09-25 cs.SE
Understanding the Impact of AI Code Assistants on Security API Usage: An Empirical Study
Centre for Research on Engineering Software Technologies (CREST) & Adelaide University, Australia(工程软件研究技术中心(CREST)及阿德莱德大学,澳大利亚);Edith Cowan University, Australia(埃德温·考文大学,澳大利亚);CSIRO’s Data61, Australia(CSIRO数据61,澳大利亚)
该研究通过对44名开发者的实证调查,探讨人工智能代码助手对安全API使用的影响。发现GitHub Copilot虽提高功能正确性、减少不安全模式,但未显著提升安全API使用,且开发者安全意识不足,进而给出相关建议与研究方向。
2026-07-14 cs.AI cs.SE
A Study on Developer Behaviors for Validating and Repairing LLM-Generated Code Using Eye Tracking and IDE Actions
本研究通过实验室实验(28名参与者)结合眼动追踪和IDE行为数据,探究开发者验证与修复Copilot生成代码的行为,发现代码来源意识能提升性能但增加认知负荷,为设计人机协作工具提供启示。
2024-05-25 cs.HC cs.SE
Fingerprinting AI Coding Agents on GitHub
Trent University(特伦特大学)
该研究通过分析GitHub上的拉取请求,识别AI编码代理的行为特征,揭示了AI生成代码的独特模式,为软件仓库中AI贡献的检测提供了新的方法。
2026-01-24 cs.SE
Large Language Models and Simple, Stupid Bugs
UC Davis(加州大学戴维斯分校)
随着强大的神经语言模型的出现,基于AI的系统,以协助开发人员在编码任务变得越来越普遍; Copilot就是这样一个系统。Copilot使用Codex(一种大语言模型(LLM))来完成基于前面的“提示”的代码。然而,Codex是在公共GitHub存储库上训练的,即,可能包含错误和漏洞的代码。以前的研究[1],[2]表明Codex重现了训练中看到的漏洞。在这项研究中,我们研究了Codex如何容易生成一个有趣的错误类别,单一语句错误,通常被称为简单的,愚蠢的错误或SStubs在MSR社区。我们发现Codex和类似的LLM确实有助于避免一些SStuB,但确实产生了已知的、逐字的SStuB,其可能性是已知的、逐字正确的代码的2倍。我们探讨的法典产生的SStubs的后果,并提出避免策略,建议减少生产已知的,逐字SStubs的可能性,并增加生产已知的,逐字修复的可能性。
2023-03-20 cs.CL cs.LG cs.SE
Not All Agents Are Equal: Code Quality and Post-Merge Maintenance Across Five Autonomous Coding Agents in the Wild
Texas Tech University(德克萨斯理工大学)
本研究分析五个商业编码智能体的3.7万余个真实PR,发现代码质量因供应商而异,Codex回滚率低于人类,Devin高于人类,且智能体代码安全异味更少,审查负担分布不均。
2026-09-17 cs.SE
Generating Java Methods: An Empirical Assessment of Four AI-Based Code Assistants
本文针对真实开源Java项目构建的100个方法数据集,比较评估了GitHub Copilot、Tabnine、ChatGPT和Google Bard四种AI代码助手,发现Copilot准确度更高,但处理类外依赖时所有助手效果均显著下降。
2024-02-14 cs.SE
Black-Box Adversarial Attacks on LLM-Based Code Completion
Department of Computer Science, ETH Zurich, Switzerland(计算机科学系,苏黎世联邦理工学院)
本研究提出名为INSEC的黑盒对抗攻击方法,通过注入优化生成的注释字符串提升LLM代码补全的不安全代码生成率,在多模型和商业服务上验证了有效性与实用性。
2025-06-13 cs.CR cs.LG cs.PL
ChatGPT for PLC/DCS Control Logic Generation
ABB Research(ABB研究院)
本文通过构建100个提示探索ChatGPT(GPT-4)从自然语言生成PLC/DCS控制逻辑的能力,发现其能生成语法正确的IEC 61131-3结构化文本代码并具备推理能力,为后续LLM基准测试奠定基础。
2023-05-25 cs.AI cs.SE
Optimizing Large Language Models for OpenAPI Code Completion
Faculty of Informatics, Kaunas University of Technology(考纳斯理工大学信息学学院)
本文针对 OpenAPI 代码补全任务,利用 Code Llama 开源模型结合提示工程与微调优化,在参数量少 25 倍的情况下比 GitHub Copilot 提升 55.2% 正确率,并改进了代码填充训练技术。
2024-06-10 cs.CL cs.LG cs.SE
Empirical Study on the Characteristics and Evolution of AI-usage in GitHub Repositories: Evidence from Code Comments
Missouri University of Science and Technology(密苏里科技大学);Drexel University(德雷塞尔大学)
通过分析35,361条提及AI的GitHub代码注释及后续提交,发现开发者主要用LLM实现代码,随后频繁重构、集成和修复,AI引用从代码生成转向知识支持和代码增强。
2026-06-05 cs.SE
MATCH: Task-Driven Code Evaluation through Contrastive Learning
Bosch Research(博世研究)
针对现有代码评估方法存在的依赖参考、成本高或无法反映功能契合度的问题,提出基于对比学习的无参考代码评估指标MATCH,在多语言场景下与功能正确性和人类偏好的相关性优于现有指标。
2025-10-28 cs.CL cs.SE
Agentic Much? Adoption of Coding Agents on GitHub
INP, LaBRI, UMR 5800 , Univ. Bordeaux, CNRS(法国国家高等矿业电信学校,拉布里实验室,联合研究单位5800,波尔多大学,法国国家科学研究中心);Univ. Rennes, Inria, CNRS, IRISA(雷恩大学,法国国家信息与自动化研究所,法国国家科学研究中心,IRISA);Department of Computer Science , UFMG(计算机科学系,米纳斯吉拉斯联邦大学);LTCI, Télécom Paris , Institut Polytechnique de Paris(电信巴黎学院,通信与电子实验室,巴黎理工学院)
研究探讨了编码代理在GitHub上的采用情况,发现其采用率高达22.20%-28.66%,且在项目成熟度、组织类型和编程语言上均广泛适用。
2026-04-08 cs.SE
When to Show a Suggestion? Integrating Human Feedback in AI-Assisted Programming
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
本文提出基于人类反馈的条件建议显示(CDHF)框架,利用程序员接受和拒绝代码建议的信号,通过级联模型预测接受概率并选择性隐藏建议,从而减少延迟和验证时间,同时揭示了将接受度作为奖励信号可能导致建议质量下降的陷阱。
2024-04-22 cs.HC cs.LG cs.SE