Unveiling the Role of ChatGPT in Software Development: Insights from Developer-ChatGPT Interactions on GitHub
School of Computer Science, Wuhan University（武汉大学计算机学院）；Nanyang Technological University（南洋理工大学）；School of Computer Science, Central China Normal University（华中师范大学计算机学院）
本研究通过分析GitHub上的开发者与ChatGPT交互数据，揭示了ChatGPT在软件开发中的应用特点及实际作用。
2026-02-18 cs.SE
Can ChatGPT advance software testing intelligence? An experience report on metamorphic testing
Swinburne University of Technology（斯威本科技大学）；Monash University（莫纳什大学）
本研究通过蜕变测试案例检验ChatGPT的软件测试能力，发现其能生成新的正确蜕变关系候选，但多数候选存在定义模糊或错误，仍需人类专家验证纠正。
2023-11-23 cs.AI cs.HC cs.SE
Pros and Cons! Evaluating ChatGPT on Software Vulnerability
本文基于Big-Vul数据集从五个软件漏洞任务系统评估ChatGPT，发现其在漏洞检测、严重性预测、定位、修复和CVE描述生成方面整体弱于现有最先进方法，并提出改进方向。
2024-04-05 cs.SE
Comparing Software Developers with ChatGPT: An Empirical Investigation
University of Waterloo（滑铁卢大学）
本文通过实证研究对比软件工程师与ChatGPT在代码生成等任务上的表现，强调多维度评估对促进人机协作和提升AI可靠性的重要性。
2023-05-25 cs.AI cs.SE
Developers' Perceptions on the Impact of ChatGPT in Software Development: A Survey
该研究针对207名软件开发者开展调查，探究ChatGPT对软件开发质量、生产力、工作满意度的影响，同时了解开发者对其未来适配的期望、岗位替代担忧及监管看法，填补了AI与SE融合对开发者认知影响的研究空白。
2024-05-20 cs.SE
A Qualitative Study on Using ChatGPT for Software Security: Perception vs. Practicality
The University of Adelaide（阿德莱德大学）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
本文通过Twitter实证研究和漏洞检测实验，定性分析了ChatGPT在软件安全中的认知与实际可行性，发现其输出多为通用信息，尚不适合工业应用。
2024-08-01 cs.AI cs.CR cs.SE
ChatGPT as a Software Development Bot: A Project-based Study
本研究通过一项为期三个月、七名学生参与的本科软件工程项目，评估了 ChatGPT 作为开发支持工具在弥补技能差距、提升效率与协作方面的作用，并强调教育中需平衡使用 AI 工具。
2024-02-22 cs.SE
Exploring the Role of Security Experience and ChatGPT Usage Strategies on Secure Software Engineering Education
Trinity College Dublin（都柏林三一学院）；University College Dublin（都柏林大学）
本研究通过实证分析26名研究生在漏洞修复作业中使用ChatGPT的日志，发现使用策略多样性而非安全经验与作业表现正相关，为安全软件工程教育中引导LLM有效使用提供了依据。
2026-09-11 cs.SE
Prompt-Enhanced Software Vulnerability Detection Using ChatGPT
针对现有ChatGPT漏洞检测研究提示词设计简单的问题，本文通过改进基础提示、引入辅助信息、利用多轮对话记忆优化提示词，在两个数据集上验证了提示增强方法的有效性，并分析了其优缺点。
2024-04-12 cs.SE
Log Parsing: How Far Can ChatGPT Go?
The University of Newcastle（纽卡斯尔大学）；Chongqing University（重庆大学）
本文评估 ChatGPT 在自动化日志解析中的有效性及不同提示方法的影响，发现适当提示（尤其少样本提示）可取得良好效果，并总结相关挑战与机遇。
2023-08-20 cs.AI cs.SE
Beyond Code Generation: An Observational Study of ChatGPT Usage in Software Engineering Practice
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；RISE Research Institutes of Sweden（瑞典RISE研究院）
本研究通过观察24名专业软件工程师一周内的ChatGPT使用情况，发现从业者更倾向于用其获取任务指导而非直接生成代码，并提出了涵盖交互目的、内外部因素的LLM使用体验理论框架，为相关研究提供参考。
2024-05-21 cs.AI cs.CL cs.HC
Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data
本文利用GitHub Innovation Graph数据及政府封禁ChatGPT的自然实验，通过DID、SC和SDID方法评估发现，ChatGPT显著提升软件开发活动与开发者生产力。
2024-06-16 cs.SE cs.SI econ.EM
Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation of LLM-Supported SE Tasks
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Melbourne（墨尔本大学）
本文通过109人参与的受控实验评估ChatGPT在编码与典型软件开发任务中的实际表现，发现其擅长简单编码但对典型开发任务支持有限，并揭示人机交互与结果的关系，进而呼吁设计新型交互机制以提升开发者与LLM协作效果。
2024-02-21 cs.AI cs.SE
DocPrism: Multi-lingual Detection of Incorrectness Inconsistencies between Code and Documentation
University of British Columbia（不列颠哥伦比亚大学）
本文提出轻量级多语言代码-文档不一致性检测工具DocPrism，通过LCEF方法降低标记率、提升F1分数，在多语言真实场景中表现优于现有技术。
2026-07-31 cs.SE
ChatGPT and Its Educational Impact: Insights from a Software Development Competition
本文通过为期四周、36名学生参与的两轮ChatGPT软件开发竞赛，发现广泛使用ChatGPT可提高项目完成率、评分与学习满意度。
2024-08-22 cs.CY cs.SE
WIP: Assessing the Effectiveness of ChatGPT in Preparatory Testing Activities
本研究在Capstone课程中评估ChatGPT生成准备性测试制品的有效性，发现其能自动化多数任务但无法完全替代人类，建议逐步将AI引入软件测试教育。
2025-03-05 cs.AI cs.SE
How I Learned to Stop Worrying and Love ChatGPT
本文研究 ChatGPT 对话对软件开发中代码变更的影响，通过将代码与对话对齐并采用生存分析，揭示 ChatGPT 生成代码的存续时间及其对代码演化和可持续性的作用。
2025-04-08 cs.SE
Ethical Aspects of ChatGPT in Software Engineering Research
本文通过文献调查、问卷调研、ISM和MICMAC方法，系统识别并分析了在软件工程研究中使用ChatGPT的激励因素、阻碍因素和伦理原则，构建了层级与聚类决策模型，为伦理化整合ChatGPT提供策略基准。
2023-08-13 cs.SE
DevGPT: Studying Developer-ChatGPT Conversations
本文介绍了DevGPT数据集，包含29,778个ChatGPT提示与回复及19,106个代码片段，关联GitHub等平台的开发工件，旨在研究开发者与ChatGPT的交互动态及其对AI辅助编程的影响，为软件工程领域开辟新研究途径。
2024-02-14 cs.SE
Why you shouldn't fully trust ChatGPT: A synthesis of this AI tool's error rates across disciplines and the software engineering lifecycle
Queen’s University Belfast（贝尔法斯特女王大学）；Azerbaijan Technical University（阿塞拜疆技术大学）
本研究通过多声文献综述综合量化了ChatGPT在跨学科领域和软件工程生命周期中的错误率，发现其可靠性因任务、领域和模型版本而异，强调在关键环境中仍需人工监督与持续验证。
2025-04-26 cs.AI cs.SE
An Analysis of the Automatic Bug Fixing Performance of ChatGPT
为了支持软件开发人员发现和修复软件错误，已经引入了几种自动程序修复技术。给定一个测试套件，标准方法通常要么合成一个修复，要么导航一个软件编辑的搜索空间来找到测试套件通过的变体。最近的程序修复方法基于深度学习方法。ChatGPT是这些新方法中的一种，它主要不是用于自动程序修复，但仍然适用于它。然而，到目前为止，ChatGPT的bug修复性能还不清楚。因此，在本文中，我们评估ChatGPT的标准错误修复基准集，菜错误，并比较性能与其他几种方法的结果在文献中报道。我们发现ChatGPT的错误修复性能与常见的深度学习方法CoCoNut和Codex相比具有竞争力，并且明显优于标准程序修复方法的结果。与以前的方法相比，ChatGPT提供了一个对话系统，通过该系统，可以输入特定输入的预期输出或观察到的错误消息。通过向ChatGPT提供这样的提示，它的成功率可以进一步提高，修复了40个错误中的31个，超过了最先进的水平。
2023-01-20 cs.SE
Exploring the Use of ChatGPT by Computer Science Students in Software Development: Applications, Ethical Considerations, and Insights for Engineering Education
University College London（伦敦大学学院）
本研究通过半结构化访谈定性调研英国高校计算机专业学生在软件开发中使用ChatGPT的策略与伦理认知，揭示学生学习模式的转变、使用行为特征与现存问题，为工程教育中规范AI工具使用提供启示。
2025-11-17 cs.HC cs.SE
EaTVul: ChatGPT-based Evasion Attack Against Software Vulnerability Detection
CSIRO’s Data61（联邦科学与工业研究组织Data61）；Swinburne University of Technology（斯威本科技大学）；DST Group, Australia（澳大利亚国防科学与技术集团）
本文提出EaTVul方法，结合支持向量机、注意力机制、ChatGPT与模糊遗传算法生成对抗样本，对软件漏洞检测模型实施规避攻击，实验证明其在特定条件下攻击成功率可达100%，凸显了加强防御的必要性。
2024-07-27 cs.AI cs.CR cs.SE
Using LLMs in Software Design: An Empirical Study of GitHub and A Practitioner Survey
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer Science, Central China Normal University（中央财经大学计算机学院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；M3S Research Unit, University of Oulu（奥卢大学M3S研究单位）；School of Computer Science, Nanjing University of Science（南京理工大学计算机学院）
本文通过实证研究和调查，探讨开发者如何利用LLM进行软件设计，发现LLM在架构设计、数据模型设计等方面的应用，揭示其优势与局限性。
2026-09-22 cs.AI cs.SE
An Assessment of ChatGPT on Log Data
Intel（英特尔）
本文评估了ChatGPT在日志数据上的处理能力，发现其存在响应不一致和可扩展性问题，并探讨了LLMs在日志处理领域的未来改进方向。
2023-09-14 cs.AI cs.SE
ChatGPT vs SBST: A Comparative Assessment of Unit Test Suite Generation
本研究系统比较了ChatGPT与SBST工具EvoSuite在生成单元测试套件上的表现，基于正确性、可读性、代码覆盖率和缺陷检测能力，揭示了LLMs在软件工程领域的优势、劣势及潜力。
2023-07-02 cs.SE
A Critical Review of Large Language Model on Software Engineering: An Example from ChatGPT and Automated Program Repair
该研究构建了ChatGPT训练截止时间后的全新APR基准，评估其漏洞修复能力，验证了不同提示词及对话式修复流程的效果，指出需重新评估黑盒大模型在软件工程任务中的成果。
2024-04-17 cs.SE
Software Vulnerability Prediction in Low-Resource Languages: An Empirical Study of CodeBERT and ChatGPT
The University of Adelaide（阿德莱德大学）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
针对新兴语言软件漏洞数据稀缺问题，本研究实证评估了CodeBERT在Kotlin、Swift和Rust上的预测性能下降现象，发现数据采样无效而ChatGPT能显著提升预测效果。
2024-04-26 cs.CR cs.LG cs.SE
An empirical study of ChatGPT-3.5 on question answering and code maintenance
本研究通过问答质量对比、开发者偏好调研、代码维护任务测试三类实验，系统评估ChatGPT在技术问答与软件维护场景下的能力，为行业应用提供参考。
2023-10-03 cs.SE
Using Generative AI in Software Design Education: An Experience Report
本文报告了在本科软件设计课程中引入ChatGPT辅助团队作业的经验，通过定性分析对话日志和学生反思，发现GenAI能帮助学生设计并认识其优劣，同时为教育者提供了有效部署GenAI的关键经验。
2025-06-26 cs.SE
LogGPT: Exploring ChatGPT for Log-Based Anomaly Detection
Beihang University（北京航空航天大学）；Concordia University（康考迪亚大学）
LogGPT利用ChatGPT的语言理解能力构建日志异常检测框架，在BGL和Spirit数据集上优于三种深度学习方法，展现出良好性能与可解释性。
2023-09-03 cs.AI cs.LG cs.SE
What Skills Do You Need When Developing Software Using ChatGPT? (Discussion Paper)
本研究针对当前关于LLM编程工具作用的无根据言论，通过实验发现计算思维技能可预测使用LLM工具开发软件的能力，并呼吁学界通过实验进一步明确不同场景下使用LLM开发软件所需的技能。
2023-10-09 cs.CY cs.SE
What Characteristics Make ChatGPT Effective for Software Issue Resolution? An Empirical Study of Task, Project, and Conversational Signals in GitHub Issues
Drexel University（德雷塞尔大学）；Belmont University（贝尔蒙特大学）；Florida State University（佛罗里达州立大学）
本文研究了ChatGPT在软件问题解决中的有效性特征，发现其在代码生成和工具推荐方面表现较好，但代码解释能力较弱，且更受欢迎的项目和经验丰富的开发者从中受益更多。
2025-09-29 cs.SE
Are We Ready to Embrace Generative AI for Software Q&A?
本文针对 Stack Overflow 因生成式 AI 流量下降并禁用 ChatGPT 的现象，通过自动与人工对比评估人类和 ChatGPT 生成的软件问答答案，发现人类答案在多个方面持续优于 ChatGPT 答案，总分高出 10%。
2023-08-12 cs.SE
How to Refactor this Code? An Exploratory Study on Developer-ChatGPT Refactoring Conversations
本研究通过挖掘17,913条开发者与ChatGPT的重构对话，揭示开发者常提出通用重构请求，而ChatGPT回应包含明确意图，并识别出多种提示学习设置，为AI辅助重构协作提供洞见。
2024-02-08 cs.SE
Investigating Developers' Preferences for Learning and Issue Resolution Resources in the ChatGPT Era
本研究通过调查341名开发者和学生，探讨了ChatGPT等AI聊天机器人对开发者学习偏好的影响，发现AI聊天机器人正作为书面教程的潜在替代品和视频教程的有力补充，推动学习体验向互动化与个性化转变。
2024-10-10 cs.SE
Human AI Collaboration in Software Engineering: Lessons Learned from a Hands On Workshop
本文通过分析22名工程师与ChatGPT的三小时实操工作坊，揭示AI从工具转向协作伙伴的收益、局限及有效整合原则。
2023-12-17 cs.SE
An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues
本研究通过分析GitHub PR和问题中共享的ChatGPT对话，揭示了开发者寻求帮助的16种咨询类型、多轮对话模式及角色特定贡献，为理解人机协作开发提供了实证基础。
2024-03-15 cs.SE
ChatGPT and Software Testing Education: Promises & Perils
本文评估ChatGPT回答软件测试课程常见问题的能力，发现其答案与解释正确率约55.6%和53.0%，并探讨其在教学中的机遇与风险。
2023-03-11 cs.HC cs.SE
System Test Case Design from Requirements Specifications: Insights and Challenges of Using ChatGPT
IIIT Delhi（德里印度信息技术学院）
本文探讨使用LLMs（如ChatGPT-4o Turbo）从SRS文档生成系统测试用例的有效性，通过五个项目验证其87%有效性及15%新测试用例贡献，还可识别冗余，提升测试质量与效率。
2024-12-04 cs.AI cs.SE
A case study on the transformative potential of AI in software engineering on LeetCode and ChatGPT
本文通过爬取和挖掘 LeetCode 数据，从质量、可理解性、运行时间与内存等指标比较 GPT-4o 与人类 Python 代码，发现其整体表现较好但泛化能力有限。
2025-01-07 cs.DB cs.SE
ChatGPT for Vulnerability Detection, Classification, and Repair: How Far Are We?
本研究评估ChatGPT在漏洞预测、分类、严重性评估和修复中的表现，发现其性能有限，需微调以提升泛化能力。
2023-10-15 cs.CR cs.SE
A Novel Approach for Rapid Development Based on ChatGPT and Prompt Engineering
本研究利用ChatGPT和提示工程构建Web代码生成平台，通过动态提示构建器显著提升代码生成质量，在多个指标上大幅改进，并验证了实际开发中的有效性。
2023-12-21 cs.SE
Exploring ChatGPT for Toxicity Detection in GitHub
针对软件工程领域毒性数据集稀缺且不平衡的问题，本研究探索零样本大语言模型ChatGPT在GitHub毒性检测中的应用，初步验证了其有效性，并通过提示词设计提升了模型可解释性。
2023-12-20 cs.SE
Enhancing Class Diagram Dynamics: A Natural Language Approach with ChatGPT
本文提出利用 ChatGPT 和 NLP 从自然语言用例表中提取方法与交互，动态更新 PlantUML 类图，验证其可提升类图准确性、完整性并契合敏捷开发。
2024-06-16 cs.SE
"Should I Give Up Now?" Investigating LLM Pitfalls in Software Engineering
University of Toronto（多伦多大学）；Northeastern University（东北大学）；University of Chicago（芝加哥大学）
研究LLM在软件工程中的缺陷，通过分析26名参与者的复杂网页开发任务数据，发现九种失败类型，包括不准确或不完整响应、认知过载和上下文丢失，发现不帮助的响应增加了放弃的可能性，而更多提示减少了放弃概率。
2026-04-13 cs.SE
Large Language Models for Education: Grading Open-Ended Questions Using ChatGPT
针对软件培训中反馈难的问题，本研究探索使用 ChatGPT 批改 42 名专业人员开放式问题，发现其能识别语义细节且专家普遍认同其批改结果。
2023-08-01 cs.SE
Nigerian Software Engineer or American Data Scientist? GitHub Profile Recruitment Bias in Large Language Models
本研究针对大语言模型的黑箱特性与潜在社会偏见问题，以ChatGPT为实验对象，基于3657份GitHub用户资料开展软件团队招聘实验，发现其存在地域偏好与角色分配的隐性偏见，为缓解模型社会偏见提供了参考。
2025-01-14 cs.SE
Exploring the Potential of Llama Models in Automated Code Refinement: A Replication Study
本研究复现相关工作，探索CodeLlama和Llama 2（7B参数）两个开源模型在自动化代码优化中的潜力，发现调优后其性能可与ChatGPT媲美，且能规避专有模型的隐私风险与额外成本，为软件开发提供更优方案。
2024-12-03 cs.SE
Can LLMs Demystify Bug Reports?
本研究针对现有工具难以自动处理自然语言Bug报告的问题，用Defects4J基准测试ChatGPT，发现其能复现50%的报告Bug，展现了人机协同处理Bug的应用潜力。
2023-10-10 cs.SE
Self-collaboration Code Generation via ChatGPT
本文提出以 ChatGPT 为例的 LLM 自协作代码生成框架，通过分析师、程序员和测试员角色组成虚拟团队，显著提升 Pass@1 并支持复杂仓库级任务。
2024-05-11 cs.SE
Unveiling ChatGPT's Usage in Open Source Projects: A Mining-based Study
本研究通过挖掘并手动分析1,501个开源项目中的提交、PR和问题，识别出467个ChatGPT实际使用实例，构建了包含45项自动化任务的分类体系，为开发者和研究者提供了LLMs实际应用场景的系统性实证依据。
2024-02-26 cs.SE
SoTaNa: The Open-Source Software Development Assistant
Xi’an Jiaotong University（西安交通大学）；Microsoft（微软）；Sun Yat-sen University（中山大学）；Chongqing University（重庆大学）
针对现有大语言模型可访问性有限、开源模型理解人类意图不足的问题，提出开源软件开发助手SoTaNa，通过ChatGPT生成指令数据并参数高效微调LLaMA，可单GPU运行，在代码相关任务中表现有效。
2023-08-25 cs.AI cs.SE
Beyond ChatGPT: Enhancing Software Quality Assurance Tasks with Diverse LLMs and Validation Techniques
本文系统评估了多种 LLM 在故障定位和漏洞检测任务中的表现，提出投票组合与交叉验证方法，相较 GPT-3.5 分别取得超过 10% 和最高 16% 的性能提升。
2024-09-02 cs.SE
