What Developers Ask to ChatGPT in GitHub Pull Requests? an Exploratory Study
本研究通过手动评估GitHub已合并PR中的155个ChatGPT分享链接,归类出14种请求类型,发现代码审查、代码片段实现等请求常见,且代码生成类提示词交互次数多于文本审查类,填补了开发者与ChatGPT代码贡献交互理解的空白。
2025-08-23 cs.SE
An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues
本研究通过分析GitHub PR和问题中共享的ChatGPT对话,揭示了开发者寻求帮助的16种咨询类型、多轮对话模式及角色特定贡献,为理解人机协作开发提供了实证基础。
2024-03-15 cs.SE
ChatGPT for Code Refactoring: Analyzing Topics, Interaction, and Effective Prompts
本文通过文本挖掘 29,778 条 ChatGPT 交互中的 715 条重构相关对话,分析开发者表达重构需求的方式及 ChatGPT 的回应,以理解重构交互并提升提示有效性。
2025-09-09 cs.SE
Investigating Developers' Preferences for Learning and Issue Resolution Resources in the ChatGPT Era
本研究通过调查341名开发者和学生,探讨了ChatGPT等AI聊天机器人对开发者学习偏好的影响,发现AI聊天机器人正作为书面教程的潜在替代品和视频教程的有力补充,推动学习体验向互动化与个性化转变。
2024-10-10 cs.SE
An empirical study of ChatGPT-3.5 on question answering and code maintenance
本研究通过问答质量对比、开发者偏好调研、代码维护任务测试三类实验,系统评估ChatGPT在技术问答与软件维护场景下的能力,为行业应用提供参考。
2023-10-03 cs.SE
Investigating the Utility of ChatGPT in the Issue Tracking System: An Exploratory Study
本研究通过分析开发者与ChatGPT在问题跟踪系统中的交互,发现开发者主要将其用于头脑风暴解决方案,但因担心“幻觉代码”而较少直接采用其生成的代码,并利用NiCad验证代码集成情况。
2024-02-06 cs.SE
Developer-LLM Conversations: An Empirical Study of Interactions and Generated Code Quality
Queen’s University(女王大学)
本研究构建大规模开发者-LLM对话数据集CodeChat,分析开发者讨论话题、交互模式及生成代码质量的演变,发现相关问题发生率未随轮次下降,提出对话助手需跟踪开发者意图并监控代码质量。
2026-09-01 cs.SE
Unveiling ChatGPT's Usage in Open Source Projects: A Mining-based Study
本研究通过挖掘并手动分析1,501个开源项目中的提交、PR和问题,识别出467个ChatGPT实际使用实例,构建了包含45项自动化任务的分类体系,为开发者和研究者提供了LLMs实际应用场景的系统性实证依据。
2024-02-26 cs.SE
PatchTrack: A Comprehensive Analysis of ChatGPT's Influence on Pull Request Outcomes
University of Nevada Las Vegas(内华达大学拉斯维加斯分校)
研究分析了338个包含ChatGPT使用的拉取请求,发现ChatGPT生成的代码被完全采用的比例仅为25%,开发者通常将AI输出作为起点进行调整和迭代,影响不仅限于代码生成,还涉及协作流程中的决策过程。
2026-04-04 cs.SE
On the Possibility of Breaking Copyleft Licenses When Reusing Code Generated by ChatGPT
本文通过大规模实验(生成超7万个方法实现)研究ChatGPT推荐代码时复现copyleft代码的风险,发现增大上下文会提高复现概率,而提高温度参数可缓解该问题。
2025-02-07 cs.SE
Comparing Software Developers with ChatGPT: An Empirical Investigation
University of Waterloo(滑铁卢大学)
本文通过实证研究对比软件工程师与ChatGPT在代码生成等任务上的表现,强调多维度评估对促进人机协作和提升AI可靠性的重要性。
2023-05-25 cs.AI cs.SE
Exploring ChatGPT for Toxicity Detection in GitHub
针对软件工程领域毒性数据集稀缺且不平衡的问题,本研究探索零样本大语言模型ChatGPT在GitHub毒性检测中的应用,初步验证了其有效性,并通过提示词设计提升了模型可解释性。
2023-12-20 cs.SE
Is ChatGPT a Good Software Librarian? An Exploratory Study on the Use of ChatGPT for Software Library Recommendations
Concordia University(康考迪亚大学);University of Calgary(卡尔加里大学)
本研究评估了ChatGPT作为软件库管理员的有效性,发现其推荐第三方库的频率高于人类开发者,但存在未明确提示限制性许可证及部分库无法开箱即用等问题,建议开发者加强依赖管理与许可证核查。
2024-08-09 cs.AI cs.LG cs.SE
ContrastRepair: Enhancing Conversation-Based Automated Program Repair via Contrastive Test Case Pairs
Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学);Monash University(蒙纳士大学);Tianjin University(天津大学)
ContrastRepair通过对比测试对提升基于对话的自动程序修复效果,显著优于现有方法。
2024-03-07 cs.SE
Can ChatGPT Support Developers? An Empirical Evaluation of Large Language Models for Code Generation
York University(约克大学)
本研究通过分析DevGPT中开发者与ChatGPT的对话,实证评估了LLM代码生成在现实中的使用,发现其主要用于概念展示和文档示例,而非生产代码,指出未来改进方向。
2024-03-16 cs.AI cs.LG cs.SE
"Always Nice and Confident, Sometimes Wrong": Developer's Experiences Engaging Large Language Models (LLMs) Versus Human-Powered Q&A Platforms for Coding Support
本研究通过分析1700多条Reddit帖子,对比开发者使用Stack Overflow与ChatGPT获取编程支持的体验,明确二者的优势、场景与障碍,提出未来GenAI代码助手的设计启示及结合双方优势的工作流建议。
2025-02-20 cs.HC cs.SE
Developers and Generative AI: A Study of Self-Admitted Usage in Open Source Projects
Università della Svizzera italiana(瑞士意大利语大学);University of Sannio(萨尼奥大学);William & Mary(威廉与玛丽学院);JetBrains Research(JetBrains 研究)
本文研究了ChatGPT和GitHub Copilot在开源项目中的自我声明使用,通过分析GitHub提交、问题和拉取请求,构建了64种使用任务的分类体系,揭示了生成式AI在软件开发中的应用扩展和开发者认知变化。
2026-03-27 cs.SE
Transforming Software Development with Generative AI: Empirical Insights on Collaboration and Workflow
本文通过访谈13名软件相关从业者,实证研究生成式人工智能对软件开发工作流和团队协作的影响,发现ChatGPT带来范式转变,提升效率与积极性,但也改变了敏捷团队的学习循环。
2024-02-12 cs.SE
System Test Case Design from Requirements Specifications: Insights and Challenges of Using ChatGPT
IIIT Delhi(德里印度信息技术学院)
本文探讨使用LLMs(如ChatGPT-4o Turbo)从SRS文档生成系统测试用例的有效性,通过五个项目验证其87%有效性及15%新测试用例贡献,还可识别冗余,提升测试质量与效率。
2024-12-04 cs.AI cs.SE
Detecting Speech Act Types in Developer Question/Answer Conversations During Bug Repair
University of Notre Dame(圣母大学);Clemson University(克莱姆森大学);Google(谷歌)
本文主要研究了语音修复会话中的言语行为检测问题。我们与30名专业程序员进行了一项“绿野仙踪”实验,程序员在两个小时内修复错误,并使用模拟的虚拟助手进行帮助。然后,我们使用一个开放的编码人工标注过程来识别会话中的言语行为类型。最后,我们训练并评估一个监督学习演算法来自动侦测对话中的言语行为类型。在30个两小时的对话中,我们做了2459个注释,发现了26种言语行为类型。我们的自动检测达到了69%的准确率和50%的召回率。这项工作的关键应用是推进虚拟助理在软件工程的艺术状态。虚拟助手技术发展迅速,但在软件工程中的应用却落后于其他领域,这主要是由于缺乏相关数据和实验。本文针对这个问题,在该地区的开发人员Q/A对话的错误修复。
2018-07-03 cs.CL cs.SE
Towards Detecting Prompt Knowledge Gaps for Improved LLM-guided Issue Resolution
本研究分析433段开发者-ChatGPT对话,识别提示知识缺口(如缺失上下文)和对话风格对问题解决的影响,并提出具体性、上下文丰富性、清晰度等启发式规则及浏览器扩展原型,以动态检测并改进提示质量。
2025-02-25 cs.SE
How Can ChatGPT Support Human Security Testers to Help Mitigate Supply Chain Attacks?
Wake Forest University(维克森林大学);Virginia Tech(弗吉尼亚理工大学)
本文探讨利用ChatGPT生成供应链攻击测试的方法,通过模板生成测试用例,发现49个应用中的漏洞,并优于现有工具。
2026-03-29 cs.CR cs.SE
How I Learned to Stop Worrying and Love ChatGPT
本文研究 ChatGPT 对话对软件开发中代码变更的影响,通过将代码与对话对齐并采用生存分析,揭示 ChatGPT 生成代码的存续时间及其对代码演化和可持续性的作用。
2025-04-08 cs.SE
ChatGPT: Friend or Foe When Comprehending and Changing Unfamiliar Code
University of Victoria(维多利亚大学);University of Zurich(苏黎世大学);University of Southampton(南安普顿大学);Pontifícia Universidade Católica do Rio Grande do Sul(南里奥格兰德天主教大学)
研究探讨了AI对开发者在编程任务中问题解决过程的影响,发现AI在某些情况下帮助解决问题,而在其他情况下阻碍了突破困境。
2026-08-13 cs.SE
Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data
本文利用GitHub Innovation Graph数据及政府封禁ChatGPT的自然实验,通过DID、SC和SDID方法评估发现,ChatGPT显著提升软件开发活动与开发者生产力。
2024-06-16 cs.SE cs.SI econ.EM
The CESAW dataset: a conversation
通过数据分析师与收集、编译和最初分析数据的人员之间的对话,对使用Team Software Process实现的45个项目的开发人员执行的61,817项任务进行了分析。五个项目是安全关键项目,共涉及28 899项任务。使用工作分解结构将项目分解,以创建分层组织,任务位于叶节点。WBS信息使得能够调查项目内的任务组织,例如,相关任务如何排序在一起。任务数据包括:任务类型,匿名开发者ID,开始/结束时间/日期,以及中断和休息时间;总共203,621个时间事实。任务努力估计的准确性被认为是影响因素,如作出估计的人,所涉及的项目,并倾向于使用整数。
2021-06-07 cs.SE
Evaluating Privacy Questions From Stack Overflow: Can ChatGPT Compete?
School of Computing and Information Science, University of Maine(缅因大学计算与信息科学学院)
本文分析 Stack Overflow 隐私问题类型,并比较已采纳回答与 ChatGPT 回答,发现 ChatGPT 在约 56% 的问题上正确性相近,其余情况略逊。
2023-06-19 cs.AI cs.CL cs.SE
Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation of LLM-Supported SE Tasks
Beijing University of Posts and Telecommunications(北京邮电大学);University of Melbourne(墨尔本大学)
本文通过109人参与的受控实验评估ChatGPT在编码与典型软件开发任务中的实际表现,发现其擅长简单编码但对典型开发任务支持有限,并揭示人机交互与结果的关系,进而呼吁设计新型交互机制以提升开发者与LLM协作效果。
2024-02-21 cs.AI cs.SE
Code Review is a Conversation: Toward Conversational AI Review Assistants
Università della Svizzera italiana (USI)(瑞士意大利大学)
研究指出当前代码审查多为一次性注释任务,忽略其对话本质。主张构建对话式人工智能审查助手,能互动交流、提问解答等。还概述了研究议程,将AI代码审查从自动化注释转变为集成前人机协作理解,带来范式转变。
2026-07-27 cs.SE
An Empirical Study on the Capability of LLMs in Decomposing Bug Reports
本研究实证评估了ChatGPT和DeepSeek在分解复杂Bug报告中的能力,发现少样本提示能显著提升LLM的真实分解率,但整体准确性和理解能力仍需改进。
2025-04-29 cs.SE
Improving ChatGPT Prompt for Code Generation
本研究通过思维链策略和多步优化设计提示词,在CodeXGlue数据集上显著提升了ChatGPT在文本到代码和代码到代码生成任务中的性能。
2023-05-15 cs.SE
Towards Refining Developer Questions using LLM-Based Named Entity Recognition for Developer Chatroom Conversations
Royal Military College of Canada(加拿大皇家军事学院)
本文提出SENIR标注方法,利用LLM识别开发者聊天室对话中的实体、意图和解决状态,并构建解决状态预测模型,为提升开发者问题的清晰度和可解决性提供定量指导。
2025-03-02 cs.LG cs.SE
Exploring the Potential of Llama Models in Automated Code Refinement: A Replication Study
本研究复现相关工作,探索CodeLlama和Llama 2(7B参数)两个开源模型在自动化代码优化中的潜力,发现调优后其性能可与ChatGPT媲美,且能规避专有模型的隐私风险与额外成本,为软件开发提供更优方案。
2024-12-03 cs.SE
No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT
本研究通过多语言算法题和安全场景,从正确性、复杂度、安全性及多轮修复能力维度系统评估ChatGPT的代码生成质量,揭示其潜在问题,为改进AI代码生成技术奠基。
2024-04-13 cs.SE
Keep the Conversation Going: Fixing 162 out of 337 bugs for $0.42 each using ChatGPT
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出对话驱动的自动程序修复方法 ChatRepair,利用测试失败反馈和历史补丁成功经验迭代生成补丁,并基于 ChatGPT 以低成本修复 337 个 bug 中的 162 个。
2024-12-09 cs.LG cs.SE
Just another copy and paste? Comparing the security vulnerabilities of ChatGPT generated code and StackOverflow answers
Department of Computer Science, North Carolina State University, Raleigh, North Carolina(计算机科学系,北卡罗来纳州立大学,拉法叶,北卡罗来纳州)
本研究使用 CodeQL 对 ChatGPT 与 StackOverflow 各 108 个 Java 代码片段进行 CWE 漏洞实证比较,发现 ChatGPT 漏洞显著更少,但两类来源均不应被盲目信任。
2024-03-22 cs.AI cs.CR cs.SE
From Human-to-Human to Human-to-Bot Conversations in Software Engineering
Chalmers University of Gothenburg(查尔姆斯理工大学)
本文通过观察性研究比较软件开发中的人际对话、NLU 与 LLM 聊天机器人对话,揭示其异同及对团队沟通和开发者预期的影响。
2024-05-21 cs.AI cs.CL cs.HC
Using LLMs in Software Design: An Empirical Study of GitHub and A Practitioner Survey
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computer Science, Central China Normal University(中央财经大学计算机学院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院);M3S Research Unit, University of Oulu(奥卢大学M3S研究单位);School of Computer Science, Nanjing University of Science(南京理工大学计算机学院)
本文通过实证研究和调查,探讨开发者如何利用LLM进行软件设计,发现LLM在架构设计、数据模型设计等方面的应用,揭示其优势与局限性。
2026-09-22 cs.AI cs.SE
On the Prospects of Dynamic LLM Conversations in Software Development
Leipzig University(莱比锡大学);Chemnitz University of Technology(开姆尼茨工业大学);ScaDS.AI Dresden/Leipzig(ScaDS.AI德累斯顿/莱比锡)
本研究通过四个月的纵向实验,评估对开发者与LLM的交互进行干预的影响,发现最小化干预无有害影响,主动干预组满意度呈上升趋势,表明动态引导机制可提升开发者满意度。
2026-09-01 cs.AI cs.SE
From Conversation to Contribution: Characterizing Coding Agent in Open-Source Software
Vanderbilt University(范德堡大学);University of Notre Dame(圣母大学)
研究开源软件中开发者与人工智能编码代理聊天交互和后续开发协作的关系,通过收集大量会话及关联仓库历史等进行分析,发现小仓库AI使用多,采用后贡献者有变化,还揭示了开发者对AI代码的看法及相关担忧,为开源开发实践提供见解。
2026-07-08 cs.HC cs.SE
Analysis of ChatGPT on Source Code
Honda Research Institute Europe(本田欧洲研究所)
本文分析了大语言模型尤其是ChatGPT在编程、代码分析与生成等领域的应用潜力,指出其虽能提效增准但尚无法完全取代人类程序员,且未来应用将持续增长。
2023-06-06 cs.AI cs.PL cs.SE
Exploring Interaction Patterns for Debugging: Enhancing Conversational Capabilities of AI-assistants
Microsoft(微软公司)
本文借鉴交互模式与对话分析,设计增强调试AI助手Robin,通过插入扩展、轮流发言及调试工作流,降低对话障碍,提升故障定位,使错误解决率提高5倍。
2024-02-09 cs.AI cs.HC cs.SE
Conceptual Model Interpreter for Large Language Models
University of Fribourg(弗里堡大学)
本文提出概念模型解释器,利用LLMs生成PlantUML和Graphviz文本语法并自动渲染,支持对话式迭代建模,实验验证了可行性。
2023-11-11 cs.AI cs.PL cs.SE
Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability of Large Language Model Code Generation
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
针对现有代码评估基准偏离真实开发场景、LLM生成代码的API误用风险未被充分关注的问题,本研究构建了含1208个StackOverflow Java编码问题的RobustAPI数据集,评估发现主流LLM生成代码的API误用率较高,揭示了其可靠性与鲁棒性的不足。
2024-01-27 cs.AI cs.CL cs.SE