Are Coding Agents Generating Over-Mocked Tests? An Empirical Study
UFMG（米纳斯吉拉斯联邦大学）；Univ. Bordeaux, CNRS, Bordeaux INP, LaBRI（波尔多大学、法国国家科学研究中心、波尔多国立高等电子与计算机学院、拉布里实验室）
本文研究了编码代理生成测试中模拟的使用情况，发现代理更倾向于修改测试并添加模拟，同时指出模拟测试可能更容易自动生成但验证效果较弱。
2026-01-30 cs.SE
Continuous integration in a social-coding world: Empirical evidence from GitHub. **Updated version with corrections**
持续集成是一种软件工程实践，它频繁地将所有开发人员的工作副本与一个共享的主分支合并，例如，一天几次随着GitHub的出现，一个以其“社交编码”功能而闻名的平台，该功能有助于协作和共享，并且目前是开源世界中最大的代码主机，协作软件开发从未如此突出。在GitHub开发中，可以区分两种类型的开发人员对项目的贡献：直接贡献，来自对主项目存储库具有写访问权限的典型的一小群开发人员，以及间接贡献，来自分叉主存储库的开发人员，在本地更新他们的副本，并提交pull请求进行审查和合并。在本文中，我们将探讨GitHub开发人员如何使用持续集成，以及贡献类型（直接与间接）和不同的项目特征（例如，主程序设计语言或项目年龄）与自动构建的成功相关联。
2015-12-06 cs.SE
On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Queen’s University（女王大学）
本文研究了GitHub上代理编码生成的拉取请求的接受情况，发现83.8%的PR被合并，其中54.9%无需修改，剩余需人类修订。
2026-02-09 cs.SE
Are We All Using Agents the Same Way? An Empirical Study of Core and Peripheral Developers Use of Coding Agents
University of Saskatchewan（萨斯喀彻温大学）
本文通过实证研究发现，核心和边缘开发者在使用编码代理时存在差异，核心开发者更关注文档和测试，而边缘开发者更频繁使用代理进行任务分配。
2026-01-27 cs.SE
Engineering Pitfalls in AI Coding Tools: An Empirical Study of Bugs in Claude Code, Codex, and Gemini CLI
York University（约克大学）；Concordia University（康考迪亚大学）
本文通过分析超过3800个公开报告的bug，揭示了构建AI编码工具中的常见故障模式和工程挑战，发现功能相关bug占比超67%，主要症状包括API错误、终端问题和命令失败。
2026-03-21 cs.SE
Agent READMEs: An Empirical Study of Context Files for Agentic Coding
Faculty of Engineering, Kasetsart University（卡塞特大学工程学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Queen’s University（女王大学）
本文对2303个智能体上下文文件开展大规模实证研究，发现其为动态演变的复杂产物，开发者优先规定功能需求却极少明确非功能需求，凸显改进相关工具与实践的必要。
2026-08-11 cs.SE
How Do AI Coding Agents Contribute to Software Development? an Empirical Study of Agentic Pull Requests
Polytechnique Montréal（蒙特利尔大学）
研究人工智能编码代理对软件开发的贡献，通过AIDev数据集，分析代理与人工生成PR的合并率差异、任务分布及关键特征，从实证和纵向角度理解其在软件开发中的作用、优点及局限性。
2026-07-27 cs.LG cs.SE
Automatic Coding Rule Conformance Checking Using Logic Programs
提高程序可靠性的一些方法涉及程序设计语言的有纪律的使用，以便最小化由容易出错的特征引入的危险。这是通过编写代码来实现的，该代码被约束到先验容许程序的子集，并且，此外，可以仅使用语言的子集。这些子集由所谓的编码规则的集合确定。
2007-11-02 cs.PL cs.SE
Augmentation with Dilution? A Large-Scale Empirical Study of Human Contributor Ecosystems After AI Coding Agent Adoption
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
通过双重差分法分析11,097个GitHub仓库，发现AI编码代理采纳不改变人类贡献者绝对数量，但显著降低其密度，并减少新人参与份额，同时增加审查深度，揭示“稀释式增强”模式。
2026-11-09 cs.SE
Towards Causal Analysis of Empirical Software Engineering Data: The Impact of Programming Languages on Coding Competitions
本文提出基于结构因果模型分析软件工程观测数据的方法，并以 Google Code Jam 数据评估编程语言对竞赛成绩的因果影响，证明因果分析比纯预测建模更稳健。
2023-09-01 cs.SE
On the risk of coding before testing: An empirical study on LLM-based test generation workflow
SnT, University of Luxembourg（卢森堡大学 SnT 研究中心）
研究大语言模型在软件工程工作流程中生成代码和测试套件时，生成的代码是否会使后续测试产生偏差，通过实证研究错误传播现象，评估其在多种编程任务和工作流程中的影响。
2026-07-07 cs.SE
AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
本文实证研究了基于LLM的编码代理生成代码的可重复性，发现仅68.3%的项目能在干净环境中成功执行，且不同语言存在显著差异，同时发现依赖项存在显著隐藏依赖。
2026-03-23 cs.AI cs.MA cs.SE
Agentic Refactoring: An Empirical Study of AI Coding Agents
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Queen's University（女王大学）
本文基于 AIDev 数据集对真实 Java 项目中 AI 智能体生成的重构进行大规模实证研究，揭示了智能体重构以低层次一致性编辑为主、主要关注可维护性与可读性，并能带来小幅但显著的结构质量改进。
2026-10-28 cs.SE
An Empirical Analysis of Community and Coding Patterns in OSS4SG vs. Conventional OSS
Queen’s University（女王大学）
本文通过对比OSS4SG与传统OSS项目，发现前者社区更稳定且参与度更一致，而后者更吸引贡献者但存在高流失率。
2026-02-10 cs.CY cs.SE
An Empirical Study of Proactive Coding Assistants in Real-World Software Development
College of AI, Tsinghua University（清华大学人工智能学院）；Fitten Tech Co., Ltd.（Fitten科技有限公司）
本文通过大规模实证研究，分析了模拟与现实数据在主动意图预测中的差异，提出ProCodeBench基准，并指出模拟数据无法替代真实数据。
2026-05-07 cs.AI cs.SE
Testing with AI Agents: An Empirical Study of Test Generation Frequency, Quality, and Coverage
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Groningen（格罗宁根大学）
本研究通过AIDev数据集分析AI代理生成测试的频率、结构特征及对代码覆盖率的影响，发现AI生成的测试在代码长度和断言密度上表现突出，且能实现与人工测试相当的覆盖率提升。
2026-03-14 cs.SE
Towards Automatically Pruning Logging Code with Coding Agents: How Far Are We?
York University（约克大学）；University of Waterloo（滑铁卢大学）；HKUST (Guangzhou)（香港科技大学（广州））；University of Alberta（阿尔伯塔大学）；DGIST（大邱庆北科学技术院）
本研究首次系统探索使用编码代理自动移除日志代码，构建LogRem数据集并评估四种代理，发现当前自动化在准确界定移除范围方面仍有较大提升空间。
2026-10-06 cs.AI cs.SE
Merged, Not Measured: An Empirical Study of Performance Issues Fixed by Coding Agents
University of Arizona（亚利桑那大学）；Wuhan University（武汉大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；California State University, Long Beach（加州州立大学长滩分校）；Rochester Institute of Technology（罗切斯特理工学院）
本研究通过分析编码代理修复性能问题的合并情况，发现合并与否取决于代理在仓库的历史记录而非修复内容，且合并不保证修复达到声称的性能提升。
2026-09-30 cs.SE
SWE-chat: Coding Agent Interactions From Real Users in the Wild
Stanford University（斯坦福大学）
SWE-chat是首个大规模真实编码代理会话数据集，包含6000个会话，揭示了编码代理在真实场景中的使用模式和失败模式，发现代理生成的代码效率低下且存在更多安全漏洞。
2026-10-02 cs.AI cs.CY cs.SE
Failure as a Process: An Anatomy of CLI Coding Agent Trajectories
研究CLI编码代理失败轨迹，引入面向过程框架，收集并标注大量执行轨迹，发现失败多由认知错误驱动，起始于最初几步且常隐藏，提出提高编码代理可靠性需早期验证和干预，而非仅靠最终结果评估。
2026-07-13 cs.AI cs.SE
Do Personalized Skills Help Coding Agents? An Empirical Study of Developer Interaction Traces
UMass Amherst（马萨诸塞大学阿默斯特分校）
本研究通过对13位开发者的206个真实会话实验，发现从交互历史提炼的开发者个性化技能改进有限，而汇集自所有开发者的通用技能增益最大且最一致，为编码智能体的个性化策略提供了实证依据。
2026-10-30 cs.AI cs.SE
Prompt Engineering Strategies for LLM-based Qualitative Coding of Psychological Safety in Software Engineering Communities: A Controlled Empirical Study
Federal University of Bahia（巴伊亚联邦大学）；State University of Feira de Santana（费拉德桑塔纳州立大学）；Federal University of Sergipe（塞格皮联邦大学）；Federal Institute of Ceara（塞阿拉联邦理工学院）
本文通过对比三种LLM在零样本和多样本提示策略下的表现，验证了多样本提示能提升编码一致性，但对部分模型效果有限，同时发现模型在某些类别上存在系统性偏差。
2026-05-08 cs.AI cs.SE
On the Adoption of AI Coding Agents in Open-source Android and iOS Development
Lahore University of Management Sciences（拉合尔管理科学大学）
本文首次研究了AI编码代理在开源Android和iOS开发中的影响，发现Android项目接收更多AI生成PR且接受率更高，同时任务类别和时间变化对PR解决有显著影响。
2026-02-12 cs.AI cs.SE
Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub
Drexel University（德雷塞尔大学）；Missouri University of Science and Technology（密苏里科技大学）
研究分析了 GitHub 上 33k 个代理生成 PRs 的失败原因，发现文档、CI 等任务合并成功率高，而性能和修复任务失败率高，揭示了代理协作中的关键社会技术因素。
2026-01-21 cs.AI cs.SE
More with Less: An Empirical Study of Turn-Control Strategies for Efficient Coding Agents
ByteDance（字节跳动）
本文通过实证研究分析了编码代理的回合控制策略，发现动态资源分配在成本和效率之间取得平衡，优于固定回合限制方法。
2025-11-25 cs.AI cs.LG cs.SE
Is Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety
Department of Construction Management, Colorado State University（科罗拉多州立大学建设管理系）
研究评估了450个由三个前沿模型生成的Python脚本在建设安全中的可靠性、软件架构和领域特定安全精度，发现用户角色与数据幻觉存在显著关系，且存在高达45%的静默故障率。
2026-04-26 cs.AI cs.HC cs.SE
How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests
University of Nevada Las Vegas（内华达大学拉斯维加斯分校）
研究通过分析GitHub拉取请求中的代码修改，探讨AI代理与人类贡献在提交数量、文件修改和描述一致性上的差异。
2026-04-06 cs.AI cs.SE
Evaluating ChatGPT-3.5 Efficiency in Solving Coding Problems of Different Complexity Levels: An Empirical Analysis
University of Southern California（南加州大学）
本文在LeetCode平台上实证评估了ChatGPT的GPT-3.5-turbo模型解决不同难度编码问题的能力，验证了难度递增导致性能下降、提示工程提升效果及流行编程语言表现更优三个假设。
2024-11-12 cs.AI cs.SE
How Do Coding Agents Optimize Software and Report Performance Validation? A Large-Scale Empirical Study of Open-Source Pull Requests
Purdue University（普渡大学）
本研究通过大规模比较智能体与人类编写的性能优化拉取请求，发现智能体PR合并率较低但策略相似，验证报告率相近，且证据常缺乏定量指标，凸显了建立严格多维评估标准的必要性。
2026-10-06 cs.PF cs.SE
Why Are AI Agent Involved Pull Requests (Fix-Related) Remain Unmerged? An Empirical Study
University of Saskatchewan, Canada（萨斯喀彻温大学）
本文通过实证研究揭示了AI代理生成的修复相关PRs合并失败的主要原因，指出测试用例失败和先前问题解决是主要障碍，为AI与人类协作改进提供方向。
2026-01-29 cs.AI cs.SE
An Empirical Study of Harness Design for Coding Agents
UMass Amherst（马萨诸塞大学阿默斯特分校）；Emory University（埃默里大学）；UNC Charlotte（北卡罗来纳大学夏洛特分校）；Zoom Video Communications（Zoom视频通信公司）
本研究通过轻量级编码驾驭系统，在四个模型和两个基准上实证分析了规划、动作空间与上下文管理三个组件的影响，发现上下文管理在预算紧张时防溢出最有效，规划随模型增强转为降本，动作空间影响成本与粒度，为驾驭设计提供模块化框架。
2026-09-18 cs.AI cs.CL cs.LG
From Agent Behaviour to Agent-Friendly Documentation: An Empirical Study of How Coding Agents Discover, Read, and Write Technical Documentation
Peking University（北京大学）
本研究通过SWE-chat和AIDev两个数据集，揭示编码智能体的文档交互规律，发现面向智能体的制品占主导，文档与代码编辑关联弱，验证序列缺失，文档滞后代码，且"智能体友好型"文档的可操作性、可验证性缺乏行为支持。
2026-08-21 cs.AI cs.HC cs.SE
Can Coding Agents Be General Agents?
Agentic Labs
本文探讨编码代理能否实现端到端业务流程自动化，发现其在简单任务上表现可靠，但在复杂任务上存在瓶颈，指出领域逻辑与代码执行的衔接是通用性关键障碍。
2026-04-10 cs.AI cs.LG cs.SE
An Empirical Cost Attribution of Context-Compression Gateways in Multi-Turn Coding Agents
Paritok
通过分解多轮编码智能体中压缩网关的令牌账单，发现工具模式过滤线性节省成本，内容压缩二次方节省但受上下文限制，召回成本有界，单次压缩基准不能证明多轮成本节省。
2026-09-22 cs.CL cs.PF cs.SE
