Towards Understanding Emotions in Informal Developer Interactions: A Gitter Chat Study
本文构建并分析人工标注的 Gitter 开发者聊天情绪数据集，揭示聊天相较 GitHub 评论的独特情绪信号及其对软件维护与演化工具的价值。
2023-11-08 cs.SE
ChatGPT for Code Refactoring: Analyzing Topics, Interaction, and Effective Prompts
本文通过文本挖掘 29,778 条 ChatGPT 交互中的 715 条重构相关对话，分析开发者表达重构需求的方式及 ChatGPT 的回应，以理解重构交互并提升提示有效性。
2025-09-09 cs.SE
An empirical study of ChatGPT-3.5 on question answering and code maintenance
本研究通过问答质量对比、开发者偏好调研、代码维护任务测试三类实验，系统评估ChatGPT在技术问答与软件维护场景下的能力，为行业应用提供参考。
2023-10-03 cs.SE
How Software Developers Mitigate Collaboration Friction with Chatbots
现代软件开发人员依赖于广泛的社交媒体工具和沟通渠道。团队通信平台的采用导致了基于对话的工具和集成的出现，其中许多是聊天机器人。了解软件开发人员如何结合他们使用的实践和工具管理复杂的协作者群，可以为软件开发和其他知识工作领域的社会技术协作工作带来有价值的见解。在本文中，我们探讨了聊天机器人如何帮助减少软件开发人员在协作时面临的摩擦点。使用的社会技术模型的协作工作，我们确定了三个主要领域的冲突：摩擦产生的团队相互作用，个人的互动与技术，团队与技术的互动。最后，我们提供了一组开放的问题，供研究界讨论。
2017-02-22 cs.HC cs.SE
Exploring Context-Aware Conversational Agents in Software Development
软件开发是一项复杂的工作，它依赖于涉及大量分布式信息的各种上下文因素。这种知识可包括：与技术有关的任务、软件操作环境和利益攸关方的要求。在软件开发中使用这些知识的一个主要障碍是，这些信息中的大多数是隐含的，并在开发人员的头脑中捕获（隐性）或通过大量文档传播。开发人员在开发软件时，经常需要维护这些任务的心理模型。因此，上下文很容易丢失或忘记，开发人员在完成项目时经常使用试错法。本研究旨在分析在任务执行期间使用聊天机器人支持软件开发人员是否可以改善整体开发体验。聊天机器人可以帮助开发人员基于隐式上下文信息执行不同的任务。我们提出了一个实现，以探索使用文本聊天机器人来帮助开发人员自动和主动地与软件开发项目活动，复发的可行性。
2020-06-03 cs.SE
Enhancing Software Development with Context-Aware Conversational Agents: A User Study on Developer Interactions with Chatbots
本文通过29名开发者使用文本聊天机器人原型的用户研究，识别其对任务自动化、版本控制、情境适应与个性化支持的需求，为情境感知CA设计和软件工程人机协作研究提供依据。
2025-05-13 cs.HC cs.SE
"Always Nice and Confident, Sometimes Wrong": Developer's Experiences Engaging Large Language Models (LLMs) Versus Human-Powered Q&A Platforms for Coding Support
本研究通过分析1700多条Reddit帖子，对比开发者使用Stack Overflow与ChatGPT获取编程支持的体验，明确二者的优势、场景与障碍，提出未来GenAI代码助手的设计启示及结合双方优势的工作流建议。
2025-02-20 cs.HC cs.SE
ISPY: Automatic Issue-Solution Pair Extraction from Community Live Chats
协作实时聊天作为一种开发沟通工具越来越受欢迎。在社区实时聊天中，开发人员可能会发布他们遇到的问题（例如，安装问题和编译问题），其他开发人员会提供可能的解决方案。因此，社区实时聊天包含了报告问题及其相应解决方案的丰富信息集，如果及时提取和恢复，这些信息对知识共享和未来重用非常有用。然而，由于实时聊天数据中交错对话的噪声性质，准确地挖掘这些知识仍然具有挑战性。在本文中，我们首先制定了从开发人员实时聊天数据中提取问题解决方案对的问题，并提出了一种自动化方法，名为ISPY，基于自然语言处理和深度学习技术与定制的增强功能，以解决这个问题。具体来说，ISPY自动化了三个任务：1）整理实时聊天记录，采用前馈神经网络将会话历史自动整理成单独的对话; 2）使用新型卷积神经网络（CNN）检测讨论问题的对话，该网络由基于BERT的话语嵌入层，上下文感知对话嵌入层和输出层组成; 3）基于相同的CNN结构但具有不同的馈送输入，提取适当的话语并将它们组合为相应的解决方案。为了评估ISPY，我们将其与六个基线进行比较，利用包含750个对话框的数据集，包括171个问题解决方案对，并评估来自八个开源社区的ISPY。结果表明，对于问题检测，我们的方法实现了76%的F1，并且比所有基线高出30%。我们的方法实现了63%的F1的溶液提取和超过基线的20%。
2021-09-15 cs.SE
Comparing Software Developers with ChatGPT: An Empirical Investigation
University of Waterloo（滑铁卢大学）
本文通过实证研究对比软件工程师与ChatGPT在代码生成等任务上的表现，强调多维度评估对促进人机协作和提升AI可靠性的重要性。
2023-05-25 cs.AI cs.SE
Programming by Chat: A Large-Scale Behavioral Analysis of 11,579 Real-World AI-Assisted IDE Sessions
University of Notre Dame（圣母大学）；Vanderbilt University（范德堡大学）
研究通过分析11579个真实IDE会话中的74998条开发者消息，揭示了编程工作组织的三大转变：对话编程作为逐步规范、认知工作分配给AI以及主动管理协作。
2026-08-25 cs.HC cs.SE
Opportunities in Software Engineering Research for Web API Consumption
如今，调用第三方代码越来越多地涉及通过其Web API调用Web服务，而不是下载库并调用库的API的更传统的场景。然而，对于调用这些Web API的开发人员来说，也存在新的挑战。在本文中，我们强调了这些挑战的广泛集合，并主张为软件工程研究提供机会，以支持开发人员使用Web API。在此背景下，我们概述了两个具体的研究思路：（1）Web API规范策展，使我们能够知道Web API的签名，（2）静态分析，能够提取URL，HTTP方法等Web API调用。此外，我们还介绍了如何结合（1）和（2）为使用Web API的应用程序开发人员提供IDE支持的新工作。随着Web API的广泛使用，支持Web API消费的研究提供了令人兴奋的机会。
2017-05-18 cs.SE
Can ChatGPT Support Developers? An Empirical Evaluation of Large Language Models for Code Generation
York University（约克大学）
本研究通过分析DevGPT中开发者与ChatGPT的对话，实证评估了LLM代码生成在现实中的使用，发现其主要用于概念展示和文档示例，而非生产代码，指出未来改进方向。
2024-03-16 cs.AI cs.LG cs.SE
Developers and Generative AI: A Study of Self-Admitted Usage in Open Source Projects
Università della Svizzera italiana（瑞士意大利语大学）；University of Sannio（萨尼奥大学）；William & Mary（威廉与玛丽学院）；JetBrains Research（JetBrains 研究）
本文研究了ChatGPT和GitHub Copilot在开源项目中的自我声明使用，通过分析GitHub提交、问题和拉取请求，构建了64种使用任务的分类体系，揭示了生成式AI在软件开发中的应用扩展和开发者认知变化。
2026-03-27 cs.SE
Transforming Software Development with Generative AI: Empirical Insights on Collaboration and Workflow
本文通过访谈13名软件相关从业者，实证研究生成式人工智能对软件开发工作流和团队协作的影响，发现ChatGPT带来范式转变，提升效率与积极性，但也改变了敏捷团队的学习循环。
2024-02-12 cs.SE
How Can ChatGPT Support Human Security Testers to Help Mitigate Supply Chain Attacks?
Wake Forest University（维克森林大学）；Virginia Tech（弗吉尼亚理工大学）
本文探讨利用ChatGPT生成供应链攻击测试的方法，通过模板生成测试用例，发现49个应用中的漏洞，并优于现有工具。
2026-03-29 cs.CR cs.SE
ChatGPT: Friend or Foe When Comprehending and Changing Unfamiliar Code
University of Victoria（维多利亚大学）；University of Zurich（苏黎世大学）；University of Southampton（南安普顿大学）；Pontifícia Universidade Católica do Rio Grande do Sul（南里奥格兰德天主教大学）
研究探讨了AI对开发者在编程任务中问题解决过程的影响，发现AI在某些情况下帮助解决问题，而在其他情况下阻碍了突破困境。
2026-08-13 cs.SE
What Drives and Sustains Self-Assignment in Agile Teams
自我分配，即软件开发人员选择自己的任务，是敏捷团队中的一种常见做法。但是，开发人员为什么选择某些任务尚不清楚。管理人员必须了解这些原因，以确保可持续的自我分配做法。我们调查了开发人员在为自己选择任务时的偏好。我们收集了来自25家不同软件公司的42名参与者的数据。我们应用扎根理论程序来研究和分析自我分配任务的因素，我们将其分为三类：基于任务的，基于开发人员的，基于意见的。我们发现开发人员有个人偏好，并非所有因素对每个开发人员都很重要。管理人员对所确定的因素有一些共同的和不同的看法。大多数经理希望开发人员对某些因素给予更高的优先级。开发人员经常需要在任务优先级和他们自己的个人偏好之间取得平衡，管理人员通过各种策略来促进这一点。更多规避风险的管理者鼓励基于专业知识的自我分配，以确保任务快速完成。风险平衡的管理者鼓励开发人员选择那些只有在延迟或质量降低的风险很小的情况下才能提供学习机会的任务。最后，寻求成长的经理经常鼓励团队成员选择舒适区之外的任务，以鼓励成长机会。我们的研究结果将帮助管理者了解开发人员在自我分配任务时会考虑什么，并帮助他们授权团队以可持续的方式实践自我分配。
2021-08-11 cs.SE
Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data
本文利用GitHub Innovation Graph数据及政府封禁ChatGPT的自然实验，通过DID、SC和SDID方法评估发现，ChatGPT显著提升软件开发活动与开发者生产力。
2024-06-16 cs.SE cs.SI econ.EM
Who is to Blame: A Comprehensive Review of Challenges and Opportunities in Designer-Developer Collaboration
本文通过系统性文献综述和论坛分析，揭示设计师与开发者协作中的三大挑战及最佳实践，为未来协作工具研发提供参考。
2025-01-20 cs.HC cs.SE
Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation of LLM-Supported SE Tasks
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Melbourne（墨尔本大学）
本文通过109人参与的受控实验评估ChatGPT在编码与典型软件开发任务中的实际表现，发现其擅长简单编码但对典型开发任务支持有限，并揭示人机交互与结果的关系，进而呼吁设计新型交互机制以提升开发者与LLM协作效果。
2024-02-21 cs.AI cs.SE
An Empirical Study on the Capability of LLMs in Decomposing Bug Reports
本研究实证评估了ChatGPT和DeepSeek在分解复杂Bug报告中的能力，发现少样本提示能显著提升LLM的真实分解率，但整体准确性和理解能力仍需改进。
2025-04-29 cs.SE
Uncovering the Causes of Emotions in Software Developer Communication Using Zero-shot LLMs
针对软件工程领域情绪成因识别数据集构建成本高的问题，探究零样本LLM在该任务的表现，验证其识别有效性并通过开源项目案例揭示挫败感相关成因。
2023-12-15 cs.SE
Analysing Developers Affectiveness through Markov chain Models
在本文中，我们提出了一个分析超过50万的意见，从开源软件系统存储库。我们的目标是实证地确定开发者如何在一定的心理条件下相互作用的礼貌，情绪和情感表达的开发者的评论。参与开源项目的开发人员通常彼此并不认识;他们主要通过邮件列表、聊天室和问题跟踪系统等工具进行交流。他们沟通的方式会影响开发过程和参与项目的人员的生产力。我们评估了开发人员发布的评论的礼貌，情感和情绪，并研究了沟通流程，以了解他们在不礼貌和负面评论的情况下如何互动（反之亦然）。我们的分析表明，当出现不礼貌或负面评论时，下一个评论是不礼貌或负面的概率分别为14%和25%;然而，愤怒之后有40%的概率是进一步的愤怒评论。结果可以帮助管理人员控制系统的开发阶段，因为社会方面会严重影响开发人员的生产力。在分布式环境中，这可能具有特定的共振。
2018-03-17 cs.SE
Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows
首个受控研究揭示了自主coding agents如何超越copilots提升开发者生产力并改变工作流，同时指出用户理解和系统采用仍面临挑战。
2025-09-13 cs.SE
Exploring the Potential of Llama Models in Automated Code Refinement: A Replication Study
本研究复现相关工作，探索CodeLlama和Llama 2（7B参数）两个开源模型在自动化代码优化中的潜力，发现调优后其性能可与ChatGPT媲美，且能规避专有模型的隐私风险与额外成本，为软件开发提供更优方案。
2024-12-03 cs.SE
Comment Generation for Source Code: State of the Art, Challenges and Opportunities
研究表明，当今软件开发的大部分工作是维护和演化。开发人员经常使用集成开发环境、调试器和工具进行代码搜索、测试和程序理解，以减少繁琐的任务。使软件开发更高效的一种方法是使程序更具可读性。为此目的提出和发展了许多办法。在这些方法中，源代码的注释生成越来越受到关注，并已成为一个热门的研究领域。本文总结了评论生成的研究现状，并讨论了评论生成所面临的挑战和未来的机遇。
2018-09-07 cs.SE
From Conversation to Contribution: Characterizing Coding Agent in Open-Source Software
Vanderbilt University（范德堡大学）；University of Notre Dame（圣母大学）
研究开源软件中开发者与人工智能编码代理聊天交互和后续开发协作的关系，通过收集大量会话及关联仓库历史等进行分析，发现小仓库AI使用多，采用后贡献者有变化，还揭示了开发者对AI代码的看法及相关担忧，为开源开发实践提供见解。
2026-07-08 cs.HC cs.SE
An Empirical Study on Challenges for LLM Application Developers
针对LLM应用开发给开发者带来的新挑战缺乏深入实证研究的问题，本研究通过爬取分析OpenAI开发者论坛的29057个问题并手动分析2364个样本，构建了挑战分类体系，为相关利益相关者提供了研究发现和可操作启示。
2025-02-18 cs.SE
An Empirical Study of Bots in Software Development -- Characteristics and Challenges from a Practitioner's Perspective
软件工程机器人-处理繁琐任务的自动化工具-越来越多地被工业和开源项目用于提高开发人员的生产力。目前在这一领域的研究是阻碍了缺乏共识的软件工程机器人（DevBots）实际上是什么，什么特征区分他们从其他工具，什么好处和挑战是与DevBot的使用。在本文中，我们报告了DevBot在工业实践中使用的混合方法实证研究。我们报告的调查结果，从采访21和调查共111名开发人员。我们在DevBot用户中确定了三种不同的角色（专注于自主性，聊天界面和“智能性”），每种角色都对DevBot是什么，开发人员为什么使用它们以及他们的斗争有不同的定义。我们的结论是，未来的DevBot研究应该在我们的框架内验证他们的工作，以明确确定工作目标是什么类型的机器人，以及从业者可以期待什么样的优势。此外，我们发现目前缺乏超越简单自动化工具或聊天界面的通用“智能”机器人。这是有问题的，因为我们已经看到，这种机器人，如果可用，可以对使用它们的项目产生变革性影响。
2020-10-29 cs.SE
Refactoring Technical Support to Reduce Interrupts of Developers
在本文中，提出了一个技术支持数据的分析，其目标是确定减少中断的过程改进行动。建立技术支持聊天，并用于向使用核心团队开发的软件代码的其他开发团队提供内部开发人员支持。本文展示了6个月支持时间的数据分析如何帮助确定差距和行动项目，以改进技术支持流程，最大限度地减少来自其他开发团队的中断。本文还显示了基于此分析所采取的重构操作的效果（优点和缺点）。
2015-10-16 cs.SE cs.SI
Using LLMs in Software Design: An Empirical Study of GitHub and A Practitioner Survey
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer Science, Central China Normal University（中央财经大学计算机学院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；M3S Research Unit, University of Oulu（奥卢大学M3S研究单位）；School of Computer Science, Nanjing University of Science（南京理工大学计算机学院）
本文通过实证研究和调查，探讨开发者如何利用LLM进行软件设计，发现LLM在架构设计、数据模型设计等方面的应用，揭示其优势与局限性。
2026-09-22 cs.AI cs.SE
LLMs in Mobile Apps: Practices, Challenges, and Opportunities
University of Toronto（多伦多大学）
本研究构建149个Android应用数据集，探索LLM在移动应用中的集成实践，揭示设备限制、API管理等挑战，为未来研究提供方向。
2025-02-21 cs.CL cs.SE
SWE-chat: Coding Agent Interactions From Real Users in the Wild
Stanford University（斯坦福大学）
SWE-chat是首个大规模真实编码代理会话数据集，包含6000个会话，揭示了编码代理在真实场景中的使用模式和失败模式，发现代理生成的代码效率低下且存在更多安全漏洞。
2026-10-02 cs.AI cs.CY cs.SE
No Two Developers Think Alike: How Problem-Solving Styles and Experience Shape Needs in Conversational Interaction with Copilot
Radboud University Nijmegen（拉德堡德大学）；Federal University of Technology – Paraná Campo Mourão（巴拉那联邦技术大学 - 卡莫阿乌校区）；Microsoft（微软）
通过混合方法出声思考研究，识别出5种交互模式和10种需求，并建立概念模型，揭示认知多样性如何影响开发者与GitHub Copilot的交互。
2026-06-18 cs.HC cs.SE
RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions
Carnegie Mellon University（卡内基梅隆大学）
RECAP通过记录和回放开发者与AI编程助手的交互，分析其行为模式和策略演变，为软件工程教育提供支持。
2026-05-01 cs.CL cs.HC cs.SE
On the Prospects of Dynamic LLM Conversations in Software Development
Leipzig University（莱比锡大学）；Chemnitz University of Technology（开姆尼茨工业大学）；ScaDS.AI Dresden/Leipzig（ScaDS.AI德累斯顿/莱比锡）
本研究通过四个月的纵向实验，评估对开发者与LLM的交互进行干预的影响，发现最小化干预无有害影响，主动干预组满意度呈上升趋势，表明动态引导机制可提升开发者满意度。
2026-09-01 cs.AI cs.SE
Developers Who Vlog: Dismantling Stereotypes through Community and Identity
开发人员不仅仅是“整天躲在电脑后面的书呆子”，他们过着正常的生活，并不是所有人都走传统的道路学习编程。然而，公众仍然将软件开发视为“数学奇才”的职业。为了从第一人称视角更多地了解这种特殊类型的知识工作者，我们进行了三项研究，以了解开发人员如何通过YouTube上的vlog描述他们生活中的一天，以及这些vlog如何被更广泛的社区所接受。我们首先采访了16位vlog开发人员，以确定他们创建这些内容的动机以及他们选择描绘的内容背后的意图。其次，我们分析了130个vlog（视频博客），以了解通过视频传达的内容的范围。第三，我们分析了来自130个vlog的1176条评论，以了解vlog对观众的影响。我们发现，开发人员有动力促进和建立一个多元化的社区，通过分享生活的不同方面，定义他们的身份，并通过创建有关学习和职业机会的意识在计算。他们使用视频博客来分享软件开发人员的各种工作和生活方式-展示经常看不见的体验，包括他们个人生活中的亲密时刻。从我们的评论分析中，我们发现vlog对于观众寻找信息和寻求建议是有价值的。评论者寻求机会与其他人联系，分享他们所面临的胜利和考验，这些也在视频博客中显示。作为一个中心主题，我们发现开发人员使用vlog来挑战围绕他们的身份，工作生活和幸福的误解和刻板印象。这些社会耻辱是一个包容和接受社区的障碍，并可能阻止人们选择软件开发作为职业。我们还讨论了使用vlog来支持开…
2021-09-13 cs.CY cs.HC cs.SE
Log Parsing: How Far Can ChatGPT Go?
The University of Newcastle（纽卡斯尔大学）；Chongqing University（重庆大学）
本文评估 ChatGPT 在自动化日志解析中的有效性及不同提示方法的影响，发现适当提示（尤其少样本提示）可取得良好效果，并总结相关挑战与机遇。
2023-08-20 cs.AI cs.SE
Redefining Developer Assistance: Through Large Language Models in Software Ecosystem
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出DevAssistLlama，一种通过指令微调构建的领域特定大型语言模型，旨在处理软件相关自然语言查询，并在命名实体识别、关系抽取和链接预测任务上优于包括ChatGPT在内的其他模型，展示了专用LLM在软件开发中的潜力。
2024-03-15 cs.AI cs.SE
Are ChatGPT and Other Similar Systems the Modern Lernaean Hydras of AI?
United States Air Force Research Laboratory（美国空军研究实验室）；Department of the Air Force Artificial Intelligence Accelerator（空军人工智能加速器）；MIT（麻省理工学院）；Suffolk University Law School（萨福克大学法学院）；University of Ottawa Law School（渥太华大学法学院）；Roach, Ioannidis & Megaloudis, LLC（Roach, Ioannidis & Megaloudis 有限责任公司）；OsmoCosm；Mycohab；Boston University School of Law（波士顿大学法学院）；Boston University（波士顿大学）；MIT Lincoln Laboratory Supercomputing Center（麻省理工学院林肯实验室超级计算中心）；MIT-Air Force AI Accelerator（麻省理工学院-空军人工智能加速器）；MIT Mathematics Department（麻省理工学院数学系）；MIT Connection Science（麻省理工学院连接科学）；Princeton University（普林斯顿大学）；Pomona College（波莫纳学院）
本文针对AI代码生成系统涉嫌盗用开源代码的问题，分析其侵权机制与版权争议，提出修改开源许可证、修订MIT许可证、推动立法及转移举证责任等方案，以平衡AI发展与创新保护。
2024-01-30 cs.AI cs.CY cs.DL
