Safer Builders, Risky Maintainers: A Comparative Study of Breaking Changes in Human vs Agentic PRs
Kennesaw State University（肯尼索州立大学）
本文比较了人类与代理PR中破坏性变更的频率和任务情境，发现代理在维护任务中风险更高，存在'信心陷阱'问题。
2026-03-29 cs.AI cs.SE
From Agent Behaviour to Agent-Friendly Documentation: An Empirical Study of How Coding Agents Discover, Read, and Write Technical Documentation
Peking University（北京大学）
本研究通过SWE-chat和AIDev两个数据集，揭示编码智能体的文档交互规律，发现面向智能体的制品占主导，文档与代码编辑关联弱，验证序列缺失，文档滞后代码，且"智能体友好型"文档的可操作性、可验证性缺乏行为支持。
2026-08-21 cs.AI cs.HC cs.SE
What Do AI Agents Actually Change? An Empirical Taxonomy of Mutation Patterns in Performance-Improving Pull Requests
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Stirling（斯特林大学）
研究聚焦人工智能编码代理这一黑箱，通过对33596个代理拉取请求中1254个性能相关差异块进行分类，发现主导的三类突变模式，揭示代理身份和目标策略对缩小基于搜索的软件工程操作空间有参考价值。
2026-07-08 cs.AI cs.SE
How AI Coding Agents Communicate: A Study of Pull Request Description Characteristics and Human Review Responses
Nara Institute of Science and Technology（奈良科学技術研究所）
本研究分析了AI编程代理在拉取请求描述风格上的差异及其对人类审查员响应的影响，揭示了人机协作开发中的关键因素。
2026-02-19 cs.AI cs.SE
AI Agent Pull Requests on GitHub: Frequency, Structure, and Merge Conflict Rates
Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Massachusetts Institute of Technology（麻省理工学院）；DevRev AI LLC（DevRev AI有限责任公司）
利用AIDev-pop数据集对AI代理编写的拉取请求并发情况进行大规模实证分析，发现特定时间重叠下部分仓库有协同活动的请求对，多数为同一代理，还研究了合并冲突率及冲突类型。
2026-10-06 cs.AI cs.MA cs.SE
Beyond Simpson's Paradox: A Cascade of Confounders in AI Agent Pull-Request Co-Authorship
Independent Researcher（独立研究者）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过分层分析和多级控制，揭示了AI编码智能体拉取请求合著与合并率之间的关联主要由智能体组成、仓库选择和PR结构等混杂因素驱动，而非因果关系。
2026-06-23 cs.AI cs.SE
Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft's Early 2026 Rollout of Claude Code and GitHub Copilot CLI
Microsoft（微软）
研究微软2026年初推出Claude Code和GitHub Copilot CLI时，数万名工程师的采用模式、留存因素及对代码合并的影响，发现社交网络驱动首次使用，编码活跃度关联留存，采用者合并PR数量增加约24%。
2026-07-03 cs.AI cs.HC cs.SE
PPTBench: Can Coding Agents Reconstruct the Visual World through Structured, Editable Slides
Navers Lab, Einsia.AI（Navers实验室，Einsia.AI）；Tsinghua University（清华大学）
PPTBench通过500个基于arXiv论文流程图的可编辑幻灯片重建任务，评估编码智能体的视觉编码能力，发现当前最佳配置Kimi K3得分仅67.80，智能体在语义和视觉细节上仍有不足。
2026-10-01 cs.AI cs.CL
How Do AI Coding Agents Contribute to Software Development? an Empirical Study of Agentic Pull Requests
Polytechnique Montréal（蒙特利尔大学）
研究人工智能编码代理对软件开发的贡献，通过AIDev数据集，分析代理与人工生成PR的合并率差异、任务分布及关键特征，从实证和纵向角度理解其在软件开发中的作用、优点及局限性。
2026-07-27 cs.LG cs.SE
Why Agentic-PRs Get Rejected: A Comparative Study of Coding Agents
Kyushu University（九州大学）；University of Waterloo（滑铁卢大学）
本文研究了不同智能代理生成的拉取请求被拒绝的原因差异，发现七种仅出现在智能代理生成PR中的拒绝模式，并提出启发式方法以减少无反馈的拒绝案例。
2026-02-04 cs.SE
Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories
提出多层面检测框架，整合配置扫描、提交消息分析等四种方法，发现单一信号低估AI代理活动达30倍，揭示不同检测渠道捕获的代理群体几乎不重叠。
2026-06-24 cs.AI cs.SE
AgenTag: Attribution of AI Coding Agents from Behavioral Fingerprints
Trent University（特伦特大学）
本文提出多模态框架AgenTag，基于PR的文本、行为等模态，结合监督对比学习实现开放世界AI编码智能体归因，在AIDev数据集上取得良好效果，且发现归因主要依赖PR描述和提交消息等行为指纹。
2026-08-04 cs.SE
Comparing AI Coding Agents: A Task-Stratified Analysis of Pull Request Acceptance
University of Trieste（的里雅斯特大学）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
本文通过分析7156个拉取请求，比较了五个AI编码代理在不同任务类型上的接受率差异，发现文档任务接受率显著高于新功能任务，且OpenAI Codex在多种任务类型中表现优异。
2026-05-07 cs.SE
AI IDEs or Autonomous Agents? Measuring the Impact of Coding Agents on Software Development
Carnegie Mellon University（卡内基梅隆大学）
研究探讨了基于LLM的编码代理对软件开发的影响，发现其在提升开发速度方面效果有限，但对软件质量产生持续负面影响，强调了需加强质量保障和选择性部署自主代理的重要性。
2026-01-27 cs.SE
Testing with AI Agents: An Empirical Study of Test Generation Frequency, Quality, and Coverage
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Groningen（格罗宁根大学）
本研究通过AIDev数据集分析AI代理生成测试的频率、结构特征及对代码覆盖率的影响，发现AI生成的测试在代码长度和断言密度上表现突出，且能实现与人工测试相当的覆盖率提升。
2026-03-14 cs.SE
Humans Integrate, Agents Fix: How Agent-Authored Pull Requests Are Referenced in Practice
Concordia University（康考迪亚大学）；Tianjin University（天津大学）；The University of Osaka（大阪大学）
研究通过分析AIDev数据集中的代理撰写的拉取请求引用，揭示了人类与代理之间引用意图的分类，发现人类主要用于构建新功能，而代理用于修复错误，且引用的拉取请求生命周期更长，审查时间更长。
2026-04-05 cs.SE
SWE-NFI: Studying and Benchmarking Coding Agents for Non-Functional Improvements
York University（约克大学）；Singapore Management University（新加坡管理大学）；University of Waterloo（滑铁卢大学）
本文提出SWE-NFI基准，基于开源Python项目的真实合并拉取请求构建188个任务，评估编码智能体的非功能改进能力，发现智能体在该能力上普遍落后于人类开发者。
2026-10-08 cs.AI cs.SE
MirrorCode: AI can rebuild entire programs from behavior alone
Epoch AI；Metr Prime；Intellect University；University of Warwick（沃里克大学）
提出 MirrorCode 基准，基于从零复现完整软件项目评估 AI 长周期编码能力，最强模型得分 56%，如复现 16000 行生物信息学工具。
2026-07-20 cs.AI
AI builds, We Analyze: An Empirical Study of AI-Generated Build Code Quality
University of Michigan-Deaborn（密歇根大学迪尔伯恩分校）；University of Michigan-Flint（密歇根大学弗林特分校）
本研究通过分析AI生成的构建代码质量，探讨其在构建系统中的影响，并发现AI生成代码既可能引入质量问题，也部分消除了现有问题，同时大部分代理提交被开发者接受。
2026-01-23 cs.SE
Who Finishes the Job? A Study of Follow-Up Fixes and Commit Authorship on AI Coding Agent Pull Requests
Applied AI Initiatives (A2I2), Deakin University（迪肯大学）
本研究分析5个AI编码智能体的6774个合并PR，发现其后续修复几率是人类的1.62倍，但69.6%修复由原智能体完成，76.4%修复PR全提交为智能体撰写，表明智能体基本能自我完善。
2026-09-25 cs.SE
Not All Agents Are Equal: Code Quality and Post-Merge Maintenance Across Five Autonomous Coding Agents in the Wild
Texas Tech University（德克萨斯理工大学）
本研究分析五个商业编码智能体的3.7万余个真实PR，发现代码质量因供应商而异，Codex回滚率低于人类，Devin高于人类，且智能体代码安全异味更少，审查负担分布不均。
2026-09-17 cs.SE
A Study of Library Usage in Agent-Authored Pull Requests
King's College London（伦敦国王学院）
研究探讨了代理生成的拉取请求中图书馆使用情况，发现代理频繁导入图书馆但很少引入新依赖项，且在引入时遵循严格的版本控制实践。
2026-01-27 cs.SE
Do Autonomous Agents Contribute Test Code? A Study of Tests in Agentic Pull Requests
University of Texas at Arlington（阿灵顿得克萨斯大学）
研究分析了代理拉取请求中测试代码的出现频率及影响因素，揭示了测试代码对PR规模和处理时间的影响，为自主软件开发研究提供实证依据。
2026-01-07 cs.SE
Merged, Not Measured: An Empirical Study of Performance Issues Fixed by Coding Agents
University of Arizona（亚利桑那大学）；Wuhan University（武汉大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；California State University, Long Beach（加州州立大学长滩分校）；Rochester Institute of Technology（罗切斯特理工学院）
本研究通过分析编码代理修复性能问题的合并情况，发现合并与否取决于代理在仓库的历史记录而非修复内容，且合并不保证修复达到声称的性能提升。
2026-09-30 cs.SE
A Task-Level Evaluation of AI Agents in Open-Source Projects
Idaho State University（爱达荷州立大学）
本文评估了五个AI代理在开源项目中的表现，发现Codex在PR接受率上表现优异，而Copilot在审查讨论量上领先，但提交质量因任务类型而异。
2026-02-02 cs.SE
Persuasion Propagation: Does Persuasion Change AI Agent Behavior?
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究了长期任务中代理受到用户说服影响的行为变化，提出了一种基于行为的评估框架，发现提前指定信念状态的代理在搜索和源访问上表现更高效，表明说服影响代理行为。
2026-10-08 cs.AI cs.MA
Agentic Refactoring: An Empirical Study of AI Coding Agents
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Queen's University（女王大学）
本文基于 AIDev 数据集对真实 Java 项目中 AI 智能体生成的重构进行大规模实证研究，揭示了智能体重构以低层次一致性编辑为主、主要关注可维护性与可读性，并能带来小幅但显著的结构质量改进。
2026-10-28 cs.SE
Test Coverage Analysis of Agentic Pull Requests
University of Central Florida（中佛罗里达大学）；George Mason University（乔治梅森大学）
研究人工智能编码代理生成的拉取请求的测试覆盖情况，分析4882个相关请求，发现代理包含测试更改比例低，现有测试覆盖不足，代理编写测试仅在少数请求中提升覆盖，错误处理结构测试严重不足，为此提出相关改进措施。
2026-07-21 cs.SE
Security in the Age of AI Teammates: An Empirical Study of Agentic Pull Requests on GitHub
University of Notre Dame（圣母大学）
研究分析了GitHub上代理撰写的PR在安全方面的贡献，发现其主要进行支持性的安全加固活动，且PR被拒绝与复杂性和冗长性相关。
2026-09-04 cs.CR cs.SE
On Autopilot? An Empirical Study of Human-AI Teaming and Review Practices in Open Source
The University of Melbourne（墨尔本大学）；Singapore Management University（新加坡管理大学）
本研究通过分析开源项目中AI辅助PR的互动模式，发现非所有权贡献者提交的AI共同撰写的PR被快速合并且反馈极少，揭示了AI在软件工程中的协作与审查实践问题。
2026-01-20 cs.SE
Promises, Perils, and (Timely) Heuristics for Mining Coding Agent Activity
Univ. Bordeaux, CNRS, Bordeaux INP, LaBRI（波尔多大学）；Univ Rennes, Inria, CNRS, IRISA（雷恩大学）；Department of Computer Science, UFMG（联邦米纳斯吉拉斯大学计算机系）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院）
本文探讨了编码代理在软件工程中的影响，分析了其快速采用带来的机遇与风险，并提出了研究此类代理活动的启发式方法。
2026-01-26 cs.SE
Beyond Bug Fixes: An Empirical Investigation of Post-Merge Code Quality Issues in Agent-Generated Pull Requests
University of Saskatchewan（萨斯喀彻温大学）
本研究通过分析代理生成的bug修复PR合并后代码质量问题，发现代码异味主导，且合并成功不等于代码质量高，需系统化质量检查。
2026-01-27 cs.SE
Human-Agent versus Human Pull Requests: A Testing-Focused Characterization and Comparison
Politecnico di Torino（都灵理工大学）；University of Molise（莫利塞大学）；University of Minnesota（明尼苏达大学）
本文研究了人类与智能体协作在软件测试中的影响，发现智能体协作能显著增加测试范围和新测试添加，但对测试质量无明显影响。
2026-01-29 cs.SE
The Role of Generative AI in Strengthening Secure Software Coding Practices: A Systematic Perspective
本文系统研究生成式AI在增强安全编码实践中的作用，通过文献综述与实证分析探讨AI代码生成工具如何缓解安全风险并提升开发效率，为其在安全开发工作流中的集成提供洞见。
2025-04-28 cs.SE
Predicting Acceptance and Review Effort in Human and Agent Pull Requests
Stevens Institute of Technology（史蒂文斯理工学院）
研究在拉取请求打开时预测其接受情况及评审工作量的可行性，利用AIDev数据集构建预测管道，评估多种机器学习模型，发现接受度预测可行，评审工作量预测较难，早期模型可支持分类和优先级排序，应作咨询工具。
2026-07-15 cs.SE
Studying the Feasibility and Importance of Software Testing: An Analysis
软件测试是软件质量保证的关键要素，代表了对规格、设计和编码的最终审查。软件测试是通过运行软件来测试软件的功能性和正确性的过程。软件测试通常出于以下两个原因之一而执行：缺陷检测和可靠性评估。将软件测试应用于缺陷检测的问题在于，软件只能提示缺陷的存在，而不能提示缺陷的不存在（除非测试是详尽的）。将软件测试应用于可靠性估计的问题是用于选择测试用例的输入分布可能是有缺陷的。软件测试的关键是试图找到失败的模式-这需要在所有可能的输入上对代码进行详尽的测试。软件测试，取决于所采用的测试方法，可以在开发过程中的任何时候实施。
2010-01-23 cs.SE
Inside the Scaffold: A Source-Code Taxonomy of Coding Agent Architectures
本文通过分析13个开源编码代理框架的源代码，提出了一种基于架构的分类方法，揭示了控制策略、工具使用和资源管理的多样性，为研究代理行为和设计新框架提供了可复用的参考。
2026-04-10 cs.AI cs.ET cs.SE
SWE Context Bench: A Benchmark for Context Learning in Coding
Independent Researcher（独立研究员）；University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）；Technical University of Munich（慕尼黑工业大学）；MemoraX AI；National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出SWE-ContextBench基准，用于评估编程代理的上下文重用能力，通过1100个基础任务和376个相关任务，从GitHub问题和拉取请求中挖掘真实依赖关系，评估预测准确度、时间效率和成本效率。
2026-03-27 cs.AI cs.SE
We Do Not Understand What It Says -- Studying Student Perceptions of Software Modelling
背景：尽管软件建模有潜在的好处，但开发人员对其应用表现出相当大的不情愿。目前有大量研究在研究建模的工业用途和技术挑战。然而，缺乏详细的实证工作，调查学生如何看待建模。目的：我们调查的看法，学生对建模在大学环境。方法：我们进行了一项多案例研究，5例（5门课程，来自3所大学）和两个分析单位（学生和教师）。我们通过21个半结构化访谈收集数据，并使用体内编码和主题分析进行分析。结果：学生们看到了建模的一些好处，例如，使用模型进行规划和组内沟通。然而，有几个因素对他们对建模的理解产生了负面影响，例如，任务的期望不明确，对模型的反馈不规则且不充分，以及缺乏问题领域的经验。结论：我们的研究结果有助于更好地理解为什么学生在软件建模方面遇到困难，并且以后可能不愿意采用它。这可能有助于改善大学和工业中软件建模的教育和培训。具体来说，我们建议教育工作者尝试提供语法问题之外的反馈，并考虑使用学生所了解的问题域。
2023-01-03 cs.SE
An Exploratory Study of Agent Plans for Agentic AI Coding Tools in Open-Source Software
University of Bamberg（班贝格大学）；Heidelberg University（海德堡大学）；Singapore Management University（新加坡管理大学）；King’s College London（伦敦国王学院）
本文通过筛选36710个GitHub仓库识别出85个Markdown智能体计划文件，研究其支持的软件工程工作类型与提供的执行指导，明确其是研究人-智能体工作流任务意图的丰富工件。
2026-08-07 cs.SE
From Industry Claims to Empirical Reality: An Empirical Study of Code Review Agents in Pull Requests
Kennesaw State University（肯尼索州立大学）；Quanta Technology（夸塔技术）
本文通过分析代码审查代理（CRAs）在拉取请求中的表现，探讨其对合并成功率的影响，发现CRAs生成的反馈质量与PR废弃率密切相关，需人类监督以提高代码审查效果。
2026-04-03 cs.SE
Can Language Models Go Beyond Coding? Assessing the Capability of Language Models to Build Real-World Systems
Nankai University（南开大学）；Haihe Laboratory of Information Technology Application Innovation（海河信息技术应用创新实验室）；Key Laboratory of Data and Intelligent System Security, Ministry of Education（教育部数据与智能系统安全重点实验室）；Tianjin Key Laboratory of Software Experience and Human Computer Interaction（天津市软件体验与人机交互重点实验室）；Tsinghua University（清华大学）
本文提出Build-bench基准，评估语言模型在跨指令集架构迁移中修复构建失败的能力，发现当前模型最大成功率为63.19%，并揭示了不同模型在工具使用上的差异。
2026-05-08 cs.SE
SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?
本研究推出SWE-bench Science基准，含20个领域98个仓库的119项任务，评估发现最优智能体pass@1低于50%，揭示科学软件工程的挑战，分析四类失败机制并经消融实验明确科学知识的作用，为编码智能体研究提供测试平台。
2026-09-02 cs.CL cs.SE
Studying the Characteristics of SQL-related Development Tasks: An Empirical Study
软件系统的一个关键功能是其便于数据操作的能力，这通常使用结构化查询语言（SQL）的风格来实现。为了开发软件的数据操作（即创建、检索、更新和删除数据），开发人员需要擅长编写和组合SQL和应用程序代码。问题是编写SQL代码本身已经很有挑战性了（例如，SQL反模式是常见的）以及将SQL与应用程序代码相结合（即，对于SQL开发任务）的要求甚至更高。同时，我们对SQL开发任务的特点缺乏经验性的了解。SQL开发任务通常需要更多的代码更改吗？他们通常有一个更长的时间来完成？这些问题的答案将使社区为与这些任务相关的潜在挑战做好准备。我们从20个Apache项目中获得的结果表明，SQL开发任务的完成时间比SQL无关的任务要长得多，并且需要更多的代码更改。通过我们的定性分析，我们观察到，SQL开发任务需要更多的分散的变化，在审查和文档的努力。我们的研究结果也证实了以前的研究，强调流行的SQL反模式。软件工程社区应该为SQL编码的特殊性做好准备，以交付安全可靠的交互式软件。
2023-01-24 cs.SE
Universality of Egoless Behavior of Software Engineering Students
软件组织一直依赖于过程和技术主动性来在高度全球化的世界中竞争。不幸的是，这导致很少或根本没有成功。我们建议组织开始致力于人的主动性，例如在软件开发人员中激励无私的行为。本文提出了一个多阶段的方法来发展无我行为，并讨论了无我行为的普遍性，通过研究来自三个不同国家的队列，日本、印度和加拿大。该方法的三个阶段是自我评估、同行验证和制定行动计划。本文涵盖了自我评估的第一阶段，使用的工具的基础上拉蒙特亚当斯十诫（因素）的无私编程，七个因素是一般的，而三个是有关的编码行为。我们发现三个队列中的无我行为的普遍性的痕迹，如印度和加拿大队列之间的无我行为没有差异，印度和日本队列在编码活动中表现出的无我行为比在一般活动中表现出的困难。
2017-11-21 cs.SE
CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering
CUA-SWE提出一个基准、环境和评估流程，研究计算机使用智能体在仅通过运行软件视觉界面获取信息时，如何结合源码执行与GUI交互完成软件工程任务，并通过确定性测试验证修复。
2026-09-29 cs.AI cs.SE
How do Software Engineering Researchers Use GitHub? An Empirical Study of Artifacts & Impact
本文通过手工标注顶级软件工程会议论文中的 GitHub/Zenodo 链接并深入分析309个仓库，考察研究制品的维护、社区关注与学术影响力。
2024-04-05 cs.SE
Operationalizing Ethics for AI Agents: How Developers Encode Values into Repository Context Files
Singapore Management University（新加坡管理大学）；Ruprecht-Karls-Universität Heidelberg（海德堡大学）；University of Melbourne（墨尔本大学）
本文探讨开发者如何通过仓库上下文文件将伦理原则转化为AI代理的行为指令，分析价值观编码的多样性及治理动态，为AI治理提供软件工程实践基础。
2026-05-07 cs.CY cs.SE
