Copilot Arena: A Platform for Code LLM Evaluation in the Wild
针对代码大语言模型真实场景编码能力评估的难题，本文提出Copilot Arena平台，通过集成到开发者环境收集用户偏好，其包含对比界面、低延迟采样策略等，已生成450万条建议并收集11k成对判断，揭示了集成环境评估的重要性及模型排名差异等新见解。
2025-02-13 cs.SE
Is GitHub's Copilot as Bad as Humans at Introducing Vulnerabilities in Code?
本文从安全性角度对 Copilot 生成的代码进行实证分析，发现其引入漏洞的比例约为 33%，且行为因漏洞类型和时间而异，总体上不如人类开发者那样容易引入漏洞。
2024-01-06 cs.CR cs.SE
GitHub Copilot: the perfect Code compLeeter?
KU Leuven（鲁汶大学）；COSIC（COSIC研究院）
该研究通过定制自动化框架在 LeetCode 上跨四种语言大规模评测 GitHub Copilot，分析其代码正确性、可靠性、效率及语言、难度和主题影响。
2024-06-17 cs.AI cs.SE
"Go Home Copilot, You're Drunk": Understanding Developer Responses to Agent-Generated Code Review Comments
University of Saskatchewan（萨斯喀彻温大学）；Singapore Management University（新加坡管理大学）；Monash University（蒙纳士大学）
研究开发者对智能体生成的代码审查评论的回应，分析五个智能体在342个Python仓库生成的54791条评论，探讨解决率、开发者经验及影响评论有用性的特征，发现不同智能体解决率有差异，还确定未解决评论原因及影响因素，为改进相关反馈提供见解。
2026-07-31 cs.SE
Copilot for Xcode: Exploring AI-Assisted Programming by Prompting Cloud-based Large Language Models
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
本文提出了Copilot for Xcode，一款集成云端LLM与Xcode的AI辅助编程工具，利用NLP技术实现代码生成等功能，并通过案例研究验证了其有效性。
2023-07-08 cs.AI cs.SE
Engineering Students' Usage and Perceptions of GitHub Copilot in Open-Source Projects
University of Florida（佛罗里达大学）
研究探讨了工程学生在开源项目中使用GitHub Copilot的差异，分析了性别、编程能力及AI熟悉度对使用情况的影响，发现学生更倾向于使用聊天和代码生成功能。
2026-04-12 cs.SE
When to Show a Suggestion? Integrating Human Feedback in AI-Assisted Programming
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
本文提出基于人类反馈的条件建议显示（CDHF）框架，利用程序员接受和拒绝代码建议的信号，通过级联模型预测接受概率并选择性隐藏建议，从而减少延迟和验证时间，同时揭示了将接受度作为奖励信号可能导致建议质量下降的陷阱。
2024-04-22 cs.HC cs.LG cs.SE
GitHub Copilot AI pair programmer: Asset or Liability?
Polytechnique Montreal（蒙特利尔理工学院）；York University（约克大学）
本文实证评估了 GitHub Copilot 在基础算法问题求解及与人类程序员方案对比中的表现，发现其覆盖面广但存在缺陷且不可复现，修复成本较低。
2023-04-14 cs.LG cs.SE
From Copilot to Pilot: Towards AI Supported Software Development
University of Toronto（多伦多大学）；University of Victoria（维多利亚大学）
人工智能支持的编程已经到来，正如用于代码的大语言模型的引入和成功所表明的那样，例如Copilot/Codex（Github/OpenAI）和AlphaCode（DeepMind）。在编程挑战上的人类平均表现现在是可能的。然而，软件工程远不止解决编程竞赛。从代码完成转向人工智能支持的软件工程将需要一个人工智能系统，它可以理解如何避免代码气味，遵循语言习惯，并最终（也许！）提出合理的软件设计。在这项研究中，我们探讨了目前像Copilot这样的人工智能支持的代码完成工具的局限性，并提供了一个简单的分类法来理解这个领域中人工智能支持的代码完成工具的分类。我们首先对Copilot关于语言习惯和代码气味的代码建议进行了探索性研究。Copilot不遵循语言习惯，并避免在我们的大多数测试场景中出现代码气味。然后，我们进行额外的调查，以确定当前的边界AI支持的代码完成工具，如Copilot通过引入软件抽象层次的分类，其中“基本的编程功能”，如代码编译和语法检查是在最抽象的水平，软件架构分析和设计是在最抽象的水平。最后，我们讨论了未来开发AI支持的代码完成工具所面临的挑战，以达到我们分类法中的设计抽象级别。
2023-03-07 cs.AI cs.LG cs.SE
Copiloting the Copilots: Fusing Large Language Models with Completion Engines for Automated Program Repair
University of Illinois（伊利诺伊大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对大语言模型用于自动化程序修复时因忽略编程语言语义约束而生成大量无效补丁的问题，提出融合LLM与补全引擎的Repilot框架，通过交互协同剪枝不可行token、主动补全token，在Defects4j数据集上显著提升bug修复数量与补丁有效性。
2023-11-08 cs.LG cs.PL cs.SE
GuardRails: Automated Suggestions for Clarifying Ambiguous Purpose Statements
本文提出GuardRails启发式方法，利用LLM自动建议能暴露目的语句歧义的输入，并构建开放数据集、对比GitHub Copilot、提供VS Code开源扩展以帮助程序员澄清函数预期行为。
2024-05-03 cs.SE
Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study
本文通过分析 GitHub 项目中 Copilot 等工具生成的 733 个代码片段，实证揭示了生成代码中安全弱点的高发生率及其 CWE 分布，并验证了 Copilot Chat 结合静态分析警告可修复最多 55.5% 的安全问题。
2025-02-06 cs.CR cs.SE
Security Concerns in Generative AI Coding Assistants: Insights from Online Discussions on GitHub Copilot
Hamburg University of Technology（汉堡工业大学）；University of Saskatchewan（萨斯喀彻温大学）；RMIT University（皇家墨尔本理工大学）
研究分析开发者在公共论坛中提出的安全问题，识别出数据泄露、代码授权、对抗攻击和不安全代码建议等四大安全关切，揭示生成式AI在软件工程中的局限性与权衡。
2026-04-09 cs.CR cs.HC cs.SE
Green My LLM: Studying the key factors affecting the energy consumption of code assistants
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
本文通过模拟20位开发者使用GitHub Copilot的场景，研究影响代码助手能耗的关键配置因素，发现并发数、模型规模、量化与流式传输等均影响能耗，并指出大量生成请求被取消，提出优化配置可显著节能。
2024-11-07 cs.AI cs.SE
To Tab or Not to Tab: Measuring Critical Engagement in AI Code Completion Tools Using Behavioral Signals and Attention Checks
Temple University（特拉华大学）
提出Clover工具记录学生与代码建议的交互，并通过注意力检查探究反思性参与，发现Tab接受率高与注意力检查表现差相关，而停留时间长则与表现好相关。
2026-06-29 cs.AI cs.HC cs.SE
From Generic to Personalized: Exploring Persona-Aware Code Review Explanations
University of Saskatchewan（萨斯喀彻温大学）；Singapore Management University（新加坡管理大学）；University of Hawai’i（夏威夷大学）
研究针对开发人员对代码审查评论理解不同的问题，探索个性化代码审查解释潜力。通过混合方法用户研究发现解释风格偏好因多种因素而异，据此勾勒出以人为本、适应开发者偏好的人工智能辅助代码审查系统愿景。
2026-07-13 cs.SE
Exploring Large Language Models for Analyzing and Improving Method Names in Scientific Code
本文评估了四种大语言模型分析并改进496个来自Jupyter Notebook的科学代码方法名的能力，发现LLM虽能遵循基本命名规范但对领域术语处理不一致，需人工评估辅助。
2025-07-22 cs.SE
PwR: Exploring the Role of Representations in Conversational Programming
PwR 通过自然语言表示将系统理解反馈给用户，以弥合对话式编程中用户心智模型与 AI 实际理解之间的差距，实验表明其能显著提升可理解性和用户自主感。
2023-09-18 cs.HC cs.SE
Using AI Assistants in Software Development: A Qualitative Study on Security Practices and Concerns
本文通过访谈和Reddit数据分析发现，尽管存在安全担忧，软件专业人员仍广泛使用AI助手执行代码生成等安全关键任务，并建议各方批判性检查建议、提升安全能力及深入研究通用AI应用。
2024-10-14 cs.CR cs.SE
Toward Inclusive AI-Driven Development: Exploring Gender Differences in Code Generation Tool Interactions
University of British Columbia（不列颠哥伦比亚大学）；Federal University of Pará（帕拉联邦大学）
本研究以39名性别均衡的开发者为对象，探究CGTs交互的性别差异，发现CGTs可降低认知负荷、提升复杂编码任务绩效，且对不同性别用户的核心编程表现无显著影响。
2026-08-20 cs.SE
Students' Perspective on AI Code Completion: Benefits and Challenges
本文从学生视角研究AI代码补全的益处与挑战，开发了基于StarCoder的开源工具AutoAurora并结合访谈与扎根理论分析，发现其能提升效率但易致过度依赖，建议未来增强可解释性以优化教育。
2024-05-31 cs.SE
SOK: Exploring Hallucinations and Security Risks in AI-Assisted Software Development with Insights for LLM Deployment
Clark Atlanta University（克拉克亚特兰大大学）；Dhaka International University（达卡国际大学）；Silicon Orchard Research and Analytics Lab（硅果园研究与分析实验室）
本文系统分析AI辅助编码工具（如GitHub Copilot等）的益处与风险，探讨其复制不安全实践、引入偏见及产生幻觉的隐患，并强调数据泄露与知识产权风险，旨在指导开发者明智使用并最大化收益、最小化风险。
2025-01-31 cs.AI cs.CR cs.SE
Contextual API Completion for Unseen Repositories Using LLMs
针对大模型在未知仓库API补全中因缺乏领域信息产生幻觉的问题，提出结合仓库全局与局部上下文的LANCE方法，在涵盖两种语言的APIEval基准上，准确率显著优于Copilot，且无需语言特定微调即可高效部署。
2024-05-14 cs.SE
