Analysis of ChatGPT on Source Code
Honda Research Institute Europe(本田欧洲研究所)
本文分析了大语言模型尤其是ChatGPT在编程、代码分析与生成等领域的应用潜力,指出其虽能提效增准但尚无法完全取代人类程序员,且未来应用将持续增长。
2023-06-06 cs.AI cs.PL cs.SE
A Categorical Archive of ChatGPT Failures
Quintic AI(昆蒂克人工智能公司)
本研究针对 ChatGPT 缺乏失败案例分析的问题,系统提出并讨论了包括推理、事实错误、数学、编码和偏见等十一类失败案例,旨在帮助研究人员和开发者改进未来的语言模型与聊天机器人。
2023-04-03 cs.AI cs.CL cs.LG
Evaluating ChatGPT-3.5 Efficiency in Solving Coding Problems of Different Complexity Levels: An Empirical Analysis
University of Southern California(南加州大学)
本文在LeetCode平台上实证评估了ChatGPT的GPT-3.5-turbo模型解决不同难度编码问题的能力,验证了难度递增导致性能下降、提示工程提升效果及流行编程语言表现更优三个假设。
2024-11-12 cs.AI cs.SE
A Showdown of ChatGPT vs DeepSeek in Solving Programming Tasks
Centre for the Science of Learning & Technology (SLATE)(学习科学中心及技术(SLATE));University of Bergen(卑尔根大学)
本文评估了ChatGPT和DeepSeek在解决编程任务中的性能,发现ChatGPT在中等难度任务中表现更优,而两者在困难任务上均面临挑战。
2025-03-16 cs.AI cs.SE
LLMs and Stack Overflow Discussions: Reliability, Impact, and Challenges
Polytechnique Montreal(蒙特利尔大学);CISPA(CISPA研究院)
本研究实证评估ChatGPT和LLaMA在Stack Overflow问题上的可靠性,发现它们虽挑战但未全面超越人类,且用户发帖活动显著下降,并为未来LLM发展提供指导。
2025-06-20 cs.AI cs.SE
Automatic Code Summarization via ChatGPT: How Far Are We?
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学);University of New South Wales(新南威尔士大学)
本文评估了ChatGPT在CSN-Python数据集上的自动代码摘要表现,发现其在BLEU和ROUGE-L指标上显著劣于NCS、CodeBERT和CodeT5等SOTA模型,并探讨了其优缺点及未来挑战。
2023-05-22 cs.AI cs.SE
Do Prompt Patterns Affect Code Quality? A First Empirical Assessment of ChatGPT-Generated Code
University of Salerno(萨勒诺大学)
本文通过Dev-GPT数据集实证评估提示模式对ChatGPT生成代码质量的影响,发现零样本提示最常见,且不同提示模式对代码可维护性、安全性和可靠性无显著影响。
2025-04-18 cs.AI cs.SE
Working Memory Capacity of ChatGPT: An Empirical Study
University of Oxford(牛津大学);Yale University(耶鲁大学)
本研究通过言语与空间n-back任务实证评估ChatGPT的工作记忆容量,发现其容量上限与人类相似,且指令策略不改变容量限制模式,提出n-back任务可作为大模型工作记忆基准工具。
2024-02-01 cs.AI cs.CL q-bio.NC
Transforming Dental Diagnostics with Artificial Intelligence: Advanced Integration of ChatGPT and Large Language Models for Patient Care
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Florida Atlantic University(佛罗里达大西洋大学)
本文综述ChatGPT等LLM在牙科诊断、医患沟通和口腔外科中的应用前景、挑战及未来研究方向。
2024-06-07 cs.AI cs.CL cs.LG
Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability of Large Language Model Code Generation
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
针对现有代码评估基准偏离真实开发场景、LLM生成代码的API误用风险未被充分关注的问题,本研究构建了含1208个StackOverflow Java编码问题的RobustAPI数据集,评估发现主流LLM生成代码的API误用率较高,揭示了其可靠性与鲁棒性的不足。
2024-01-27 cs.AI cs.CL cs.SE
Do Personalized Skills Help Coding Agents? An Empirical Study of Developer Interaction Traces
UMass Amherst(马萨诸塞大学阿默斯特分校)
本研究通过对13位开发者的206个真实会话实验,发现从交互历史提炼的开发者个性化技能改进有限,而汇集自所有开发者的通用技能增益最大且最一致,为编码智能体的个性化策略提供了实证依据。
2026-10-30 cs.AI cs.SE
Redefining Developer Assistance: Through Large Language Models in Software Ecosystem
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出DevAssistLlama,一种通过指令微调构建的领域特定大型语言模型,旨在处理软件相关自然语言查询,并在命名实体识别、关系抽取和链接预测任务上优于包括ChatGPT在内的其他模型,展示了专用LLM在软件开发中的潜力。
2024-03-15 cs.AI cs.SE
Trust Me, I'm Your Developer: Self-Issued Authentication in Large Language Models
Purdue University(普渡大学)
该研究发现ChatGPT等5种LLM存在自签发认证漏洞,模型自行生成身份测试并判定身份,会导致对话式假认证,身份应来自外部安全组件而非模型自身。
2026-09-10 cs.AI cs.CR
ChatGPT vs. DeepSeek: A Comparative Study on AI-Based Code Generation
Rensselaer Polytechnic Institute (RPI)(伦斯勒理工学院)
本研究比较 ChatGPT 和 DeepSeek 在 Python 代码生成中的表现,发现 DeepSeek 正确性更高,而 ChatGPT 效率相当且代码更简洁。
2025-01-30 cs.AI cs.SE
Translating Federated Learning Algorithms in Python into CSP Processes Using ChatGPT
University of Novi Sad(诺维萨德大学);RT-RK Institute for Computer Based Systems(RT-RK计算机系统研究所)
针对Python联邦学习算法手动转CSP进程的问题,提出利用ChatGPT实现自动翻译的流程,可评估上下文最小性,且集中式、去中心化联邦学习算法的翻译结果均通过PAT验证。
2025-09-05 cs.AI
Follow-up Attention: An Empirical Study of Developer and Neural Model Code Exploration
University of Stuttgart(斯图加特大学);Microsoft Research(微软研究院)
本研究对比了开发者与大型语言模型在代码探索时的注意力模式,贡献了眼动追踪数据集,并提出名为 follow-up attention 的新方法,以 47% 准确率预测开发者下一行查看代码,优于基线。
2024-08-29 cs.AI cs.HC cs.LG
Beyond Code: The Multidimensional Impacts of Large Language Models in Software Development
University of California, Irvine(加州大学尔湾分校);Chapman University(查普曼大学)
本研究利用意大利暂时禁止ChatGPT的自然实验,采用双重差分框架分析GitHub数据,发现LLMs不仅提升代码生产力,还促进开发者间的知识共享与技能获取,且效果因经验水平和上下文而异,为组织战略性部署LLMs提供了管理启示。
2025-07-01 cs.AI econ.GN q-fin.EC
How to Refactor this Code? An Exploratory Study on Developer-ChatGPT Refactoring Conversations
本研究通过挖掘17,913条开发者与ChatGPT的重构对话,揭示开发者常提出通用重构请求,而ChatGPT回应包含明确意图,并识别出多种提示学习设置,为AI辅助重构协作提供洞见。
2024-02-08 cs.SE
Beyond Code Generation: An Observational Study of ChatGPT Usage in Software Engineering Practice
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学);RISE Research Institutes of Sweden(瑞典RISE研究院)
本研究通过观察24名专业软件工程师一周内的ChatGPT使用情况,发现从业者更倾向于用其获取任务指导而非直接生成代码,并提出了涵盖交互目的、内外部因素的LLM使用体验理论框架,为相关研究提供参考。
2024-05-21 cs.AI cs.CL cs.HC
Unveiling the Role of ChatGPT in Software Development: Insights from Developer-ChatGPT Interactions on GitHub
School of Computer Science, Wuhan University(武汉大学计算机学院);Nanyang Technological University(南洋理工大学);School of Computer Science, Central China Normal University(华中师范大学计算机学院)
本研究通过分析GitHub上的开发者与ChatGPT交互数据,揭示了ChatGPT在软件开发中的应用特点及实际作用。
2026-02-18 cs.SE
An empirical evaluation of using ChatGPT to summarize disputes for recommending similar labor and employment cases in Chinese
National Chengchi University(国立政治大学)
本研究提出基于逐项争议点聚类与余弦相似度的劳动案件相似推荐混合机制,验证了用GPT系列生成争议点替代法院整理内容的效果,为大模型在法律案件推荐场景的应用提供参考。
2024-09-14 cs.AI cs.CL
ChatGPT in the Age of Generative AI and Large Language Models: A Concise Survey
本文从白盒与黑盒双视角综述 ChatGPT 的技术基础、演进、应用与风险,梳理 LLM/GAI 相关文献并指出研究空白。
2023-07-15 cs.AI cs.CL cs.LG
DevGPT: Studying Developer-ChatGPT Conversations
本文介绍了DevGPT数据集,包含29,778个ChatGPT提示与回复及19,106个代码片段,关联GitHub等平台的开发工件,旨在研究开发者与ChatGPT的交互动态及其对AI辅助编程的影响,为软件工程领域开辟新研究途径。
2024-02-14 cs.SE
Is ChatGPT a General-Purpose Natural Language Processing Task Solver?
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学);Nanyang Technological University(南洋理工大学);Shanghai Jiao Tong University(上海交通大学)
本研究在20个NLP数据集上评估了ChatGPT的零样本学习能力,发现其在推理任务上表现良好,但在序列标注等特定任务上仍存在局限。
2023-11-19 cs.AI cs.CL
StackRAG Agent: Improving Developer Answers with Retrieval-Augmented Generation
University of British Columbia(不列颠哥伦比亚大学)
针对开发者检索信息耗时、大语言模型生成答案易出现幻觉的问题,提出基于大语言模型的检索增强多智能体工具StackRAG,聚合Stack Overflow知识提升答案可靠性,初步验证效果良好。
2024-06-19 cs.AI cs.CL
"Only ChatGPT gets me": An Empirical Analysis of GPT versus other Large Language Models for Emotion Detection in Text
LIRMM UM5506 - CNRS, Université de Montpellier(蒙彼利埃大学、法国国家科学研究中心联合LIRMM UM5506实验室)
本文实证比较了 GPT 与其他大型语言模型在 GoEmotions 数据集上的文本情绪检测能力,发现 GPT 表现突出,为提升人机交互中的情感理解提供了依据。
2025-03-05 cs.AI cs.CL
Large Language Models Streamline Automated Machine Learning for Clinical Studies
University Hospital Aachen(亚琛大学医院);RWTH Aachen University(亚琛工业大学);Technical University Dresden(德累斯顿工业大学);National Center for Tumor Diseases (NCT)(国家肿瘤疾病中心 (NCT));University Hospital Heidelberg(海德堡大学医院)
本研究评估ChatGPT ADA在无具体指导下基于真实临床数据自主构建机器学习模型的能力,发现其性能与人工模型无显著差异且常更优,表明其有望简化临床数据分析并推动机器学习在医学中的普及。
2024-02-21 cs.AI cs.CL cs.LG
From Code to Compliance: Assessing ChatGPT's Utility in Designing an Accessible Webpage -- A Case Study
Department of Computer Science, Norwegian University of Science and Technology(计算机科学系,挪威科学技术大学);Department of Design, Norwegian University of Science and Technology(设计系,挪威科学技术大学)
本研究通过案例评估ChatGPT(GPT-4o)在无障碍网页设计中的表现,发现其在简单问题上有效,但复杂任务仍需人工干预,并证明结合截图和结构化提示的提示工程能显著提升其无障碍修复能力。
2025-07-17 cs.AI cs.CL cs.HC
An Empirical Exploration of ChatGPT's Ability to Support Problem Formulation Tasks for Mission Engineering and a Documentation of its Performance Variability
University of Southern California(南加州大学);Stevens Institute of Technology(史蒂文斯理工学院);Virginia Tech(弗吉尼亚理工大学)
本文通过 NASA 太空任务设计挑战实证评估 ChatGPT-3.5 在任务工程问题表述中识别利益相关者的能力,发现其对人本利益相关者识别较好但对环境因素识别差、抽象层次保持不足且并行输出变异性大,表明其可靠性有限。
2025-02-05 cs.AI cs.CL cs.SE
Why Do Developers Engage with ChatGPT in Issue-Tracker? Investigating Usage and Reliance on ChatGPT-Generated Code
本研究通过分析GitHub上的开发者-ChatGPT对话,探究了ChatGPT在问题追踪中的使用场景、代码复用率及开发者满意度,发现其多用于构思且后端场景占比高,仅少量代码被直接复用,不同场景满意度差异显著,为开发任务专属的LLM解决方案提供了参考。
2024-12-10 cs.SE
Developers' Perceptions on the Impact of ChatGPT in Software Development: A Survey
该研究针对207名软件开发者开展调查,探究ChatGPT对软件开发质量、生产力、工作满意度的影响,同时了解开发者对其未来适配的期望、岗位替代担忧及监管看法,填补了AI与SE融合对开发者认知影响的研究空白。
2024-05-20 cs.SE
What Developers Ask to ChatGPT in GitHub Pull Requests? an Exploratory Study
本研究通过手动评估GitHub已合并PR中的155个ChatGPT分享链接,归类出14种请求类型,发现代码审查、代码片段实现等请求常见,且代码生成类提示词交互次数多于文本审查类,填补了开发者与ChatGPT代码贡献交互理解的空白。
2025-08-23 cs.SE
Can Developers Prompt? A Controlled Experiment for Code Documentation Generation
本研究通过受控实验发现,开发者在代码文档生成中缺乏提示工程技能,临时提示效果不如预定义提示,需进一步研究其提示偏好与支持需求。
2024-08-01 cs.AI cs.HC cs.SE
Large Language Models Meet Open-World Intent Discovery and Recognition: An Evaluation of ChatGPT
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团)
本文全面评估ChatGPT在开放世界意图发现与识别任务中的表现,发现其零样本下具优势但逊于微调模型,并总结聚类、领域理解等挑战及未来方向。
2023-10-16 cs.AI cs.CL cs.LG
An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues
本研究通过分析GitHub PR和问题中共享的ChatGPT对话,揭示了开发者寻求帮助的16种咨询类型、多轮对话模式及角色特定贡献,为理解人机协作开发提供了实证基础。
2024-03-15 cs.SE
The role of library versions in Developer-ChatGPT conversations
本研究通过分析含4000多条交互的DevGPT数据集,发现开发者与ChatGPT的代码对话中仅9%提及库版本约束,且多由用户提出,同时定性识别出相关潜在问题。
2024-01-29 cs.SE
Multimodal Chain-of-Thought Reasoning via ChatGPT to Protect Children from Age-Inappropriate Apps
University at Albany(奥尔巴尼大学);West Virginia University(西弗吉尼亚大学);Fordham University(福特汉姆大学)
针对现有移动应用成熟度评级方法不准确或成本高的问题,本研究提出基于ChatGPT-4 Vision的多模态思维链推理框架,结合应用文本描述与截图逐步推理评级,效果优于所有基线模型与融合策略,助力保护儿童免受不适宜应用影响。
2024-07-08 cs.AI cs.CY
ChatGPT for Code Refactoring: Analyzing Topics, Interaction, and Effective Prompts
本文通过文本挖掘 29,778 条 ChatGPT 交互中的 715 条重构相关对话,分析开发者表达重构需求的方式及 ChatGPT 的回应,以理解重构交互并提升提示有效性。
2025-09-09 cs.SE
Comparing Software Developers with ChatGPT: An Empirical Investigation
University of Waterloo(滑铁卢大学)
本文通过实证研究对比软件工程师与ChatGPT在代码生成等任务上的表现,强调多维度评估对促进人机协作和提升AI可靠性的重要性。
2023-05-25 cs.AI cs.SE
Using ChatGPT to Score Essays and Short-Form Constructed Responses
Performance Assessment Analytics, LLC(绩效评估分析有限责任公司)
本研究探究ChatGPT大语言模型的作文与短作答评分能力,对比ASAP竞赛的人机评分准确率,发现其梯度提升模型部分数据集表现接近人类但整体不稳定,可补充人工评分但需优化以适配高利害评估。
2024-08-18 cs.AI cs.CL
Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text?
Arizona State University(亚利桑那州立大学)
本文评估 ChatGPT 在零样本设置下区分人类撰写与 AI 生成文本的检测能力,并基于公开数据集检验其双向检测的对称性,为自动化检测流水线提供利用 LLM 的新思路。
2023-08-17 cs.AI cs.CL
An Empirical Study of Instruction-tuning Large Language Models in Chinese
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);APUS AiLMe Lab(APUS AiLMe实验室)
本文对中文指令微调大型语言模型进行了深入实证研究,系统探讨了LLM基座、参数高效方法、指令数据类型等关键要素及思维链数据、人类价值对齐等因素的影响,并发布了与ChatGLM相当的中文LLMs。
2023-10-20 cs.AI cs.CL
Investigating Developers' Preferences for Learning and Issue Resolution Resources in the ChatGPT Era
本研究通过调查341名开发者和学生,探讨了ChatGPT等AI聊天机器人对开发者学习偏好的影响,发现AI聊天机器人正作为书面教程的潜在替代品和视频教程的有力补充,推动学习体验向互动化与个性化转变。
2024-10-10 cs.SE
Beyond the Safeguards: Exploring the Security Risks of ChatGPT
Czech Institute of Informatics, Robotics, and Cybernetics(捷克信息学、机器人学与控制论研究所);Czech Technical University in Prague(布拉格捷克理工大学)
本文系统梳理ChatGPT等大型语言模型的安全风险,通过实证研究检验内容过滤器有效性并探索绕过方法,为缓解风险提供策略参考。
2023-05-13 cs.AI cs.CL cs.CR
An empirical study of ChatGPT-3.5 on question answering and code maintenance
本研究通过问答质量对比、开发者偏好调研、代码维护任务测试三类实验,系统评估ChatGPT在技术问答与软件维护场景下的能力,为行业应用提供参考。
2023-10-03 cs.SE
What Characteristics Make ChatGPT Effective for Software Issue Resolution? An Empirical Study of Task, Project, and Conversational Signals in GitHub Issues
Drexel University(德雷塞尔大学);Belmont University(贝尔蒙特大学);Florida State University(佛罗里达州立大学)
本文研究了ChatGPT在软件问题解决中的有效性特征,发现其在代码生成和工具推荐方面表现较好,但代码解释能力较弱,且更受欢迎的项目和经验丰富的开发者从中受益更多。
2025-09-29 cs.SE
The BS-meter: Detecting Politics and Labour through ChatGPT's Language
University of Cambridge(剑桥大学)
本文对比科学文献与ChatGPT生成文本的语言特征,构建扯淡的统计模型,探究其能否关联法兰克福式人工扯淡与政治、职场语境中的自然扯淡,相关成果可用于通过ChatGPT语言检测政治与劳工议题。
2026-08-28 cs.AI cs.CL cs.HC
Investigating the Utility of ChatGPT in the Issue Tracking System: An Exploratory Study
本研究通过分析开发者与ChatGPT在问题跟踪系统中的交互,发现开发者主要将其用于头脑风暴解决方案,但因担心“幻觉代码”而较少直接采用其生成的代码,并利用NiCad验证代码集成情况。
2024-02-06 cs.SE
Unveiling ChatGPT's Usage in Open Source Projects: A Mining-based Study
本研究通过挖掘并手动分析1,501个开源项目中的提交、PR和问题,识别出467个ChatGPT实际使用实例,构建了包含45项自动化任务的分类体系,为开发者和研究者提供了LLMs实际应用场景的系统性实证依据。
2024-02-26 cs.SE
Evaluating Privacy Questions From Stack Overflow: Can ChatGPT Compete?
School of Computing and Information Science, University of Maine(缅因大学计算与信息科学学院)
本文分析 Stack Overflow 隐私问题类型,并比较已采纳回答与 ChatGPT 回答,发现 ChatGPT 在约 56% 的问题上正确性相近,其余情况略逊。
2023-06-19 cs.AI cs.CL cs.SE
"Always Nice and Confident, Sometimes Wrong": Developer's Experiences Engaging Large Language Models (LLMs) Versus Human-Powered Q&A Platforms for Coding Support
本研究通过分析1700多条Reddit帖子,对比开发者使用Stack Overflow与ChatGPT获取编程支持的体验,明确二者的优势、场景与障碍,提出未来GenAI代码助手的设计启示及结合双方优势的工作流建议。
2025-02-20 cs.HC cs.SE
PatchTrack: A Comprehensive Analysis of ChatGPT's Influence on Pull Request Outcomes
University of Nevada Las Vegas(内华达大学拉斯维加斯分校)
研究分析了338个包含ChatGPT使用的拉取请求,发现ChatGPT生成的代码被完全采用的比例仅为25%,开发者通常将AI输出作为起点进行调整和迭代,影响不仅限于代码生成,还涉及协作流程中的决策过程。
2026-04-04 cs.SE
Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data
本文利用GitHub Innovation Graph数据及政府封禁ChatGPT的自然实验,通过DID、SC和SDID方法评估发现,ChatGPT显著提升软件开发活动与开发者生产力。
2024-06-16 cs.SE cs.SI econ.EM
How Can ChatGPT Support Human Security Testers to Help Mitigate Supply Chain Attacks?
Wake Forest University(维克森林大学);Virginia Tech(弗吉尼亚理工大学)
本文探讨利用ChatGPT生成供应链攻击测试的方法,通过模板生成测试用例,发现49个应用中的漏洞,并优于现有工具。
2026-03-29 cs.CR cs.SE