CodeHealth Predicts the Token Cost of Agentic Code Review: A Pre-Registered Study of 465 Agent-Authored Pull Requests
Lund University（隆德大学）；CodeScene AB（CodeScene公司）
本研究通过预注册观察性研究，发现质量指标 CodeHealth 可预测多智能体代码审查与修复的 Token 成本，该关联与 PR 大小无关，中介效应为文件大小。
2026-10-16 cs.AI cs.SE
AI Agent Pull Requests on GitHub: Frequency, Structure, and Merge Conflict Rates
Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Massachusetts Institute of Technology（麻省理工学院）；DevRev AI LLC（DevRev AI有限责任公司）
利用AIDev-pop数据集对AI代理编写的拉取请求并发情况进行大规模实证分析，发现特定时间重叠下部分仓库有协同活动的请求对，多数为同一代理，还研究了合并冲突率及冲突类型。
2026-10-06 cs.AI cs.MA cs.SE
All Smoke, No Alarm: Oracle Signals in Agent-Authored Test Code
Dipayan Banik（迪帕扬·班克）；Kowshik Chowdhury（克什基·乔乌德里）；Shazibul Islam Shamim（沙齐布·伊斯兰·沙米）
研究智能体编写的测试代码中Oracle信号的存在情况，发现80.2%的测试补丁缺乏强Oracle信号，但强Oracle与合并可能性显著正相关（OR=1.28）。
2026-06-17 cs.AI cs.SE
Reviewing Beyond the Change: Repository Size and Existing Code Across Agent and Human Pull Requests
University of East London（东伦敦大学）
本研究探究智能体与人类提交请求中，审查者提及变更外现有仓库条目的情况，发现该提及频率随代码文件规模增大而升高，且两类提交请求模式相似，智能体提及仅呈微小可忽略超额。
2026-10-14 cs.SE
On Autopilot? An Empirical Study of Human-AI Teaming and Review Practices in Open Source
The University of Melbourne（墨尔本大学）；Singapore Management University（新加坡管理大学）
本研究通过分析开源项目中AI辅助PR的互动模式，发现非所有权贡献者提交的AI共同撰写的PR被快速合并且反馈极少，揭示了AI在软件工程中的协作与审查实践问题。
2026-01-20 cs.SE
Who Said CVE? How Vulnerability Identifiers Are Mentioned by Humans, Bots, and Agents in Pull Requests
Radboud University（拉德堡德大学）；Singapore Management University（新加坡管理大学）
本文研究了人类、机器人和智能体在GitHub拉取请求中提及漏洞标识符的方式，发现机器人占多数提及，而人类和智能体则更广泛地用于修复和讨论。
2026-01-27 cs.SE
Before the Pull Request: Mining Multi-Agent Coordination
Arizona State University（亚利桑那州立大学）
针对自主编码智能体在拉取请求中协调不足的问题，提出基于git的协调基板grite，通过事件日志减少重复和冲突工作，提升吞吐量，并自动恢复多种故障模式。
2026-06-19 cs.AI cs.MA cs.SE
How Do Coding Agents Optimize Software and Report Performance Validation? A Large-Scale Empirical Study of Open-Source Pull Requests
Purdue University（普渡大学）
本研究通过大规模比较智能体与人类编写的性能优化拉取请求，发现智能体PR合并率较低但策略相似，验证报告率相近，且证据常缺乏定量指标，凸显了建立严格多维评估标准的必要性。
2026-10-06 cs.PF cs.SE
For Coding Agents, the Repository Matters
Daniel Russo（丹尼尔·鲁索）
研究发现，AI智能体贡献的代码在仓库层面产生的集成摩擦比人类贡献高约两倍，表明风险源于生态系统而非单个智能体，建议从生态系统层面进行治理。
2026-10-21 cs.AI cs.SE
Who Writes the Docs in SE 3.0? Agent vs. Human Documentation Pull Requests
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Calgary（卡尔加里大学）
研究发现 AI 代理在文档拉取请求中比人类更活跃，且其文档修改较少被人类跟进，引发对文档质量和人机协作的担忧。
2026-01-28 cs.SE
Why Are AI Agent Involved Pull Requests (Fix-Related) Remain Unmerged? An Empirical Study
University of Saskatchewan, Canada（萨斯喀彻温大学）
本文通过实证研究揭示了AI代理生成的修复相关PRs合并失败的主要原因，指出测试用例失败和先前问题解决是主要障碍，为AI与人类协作改进提供方向。
2026-01-29 cs.AI cs.SE
The Rise of AI Teammates in Software Engineering (SE) 3.0: How Autonomous Coding Agents Are Reshaping Software Engineering
Queen's University（女王大学）
本文提出首个大规模数据集 AIDev，通过分析五个主流自主编码智能体在真实环境中的超 45 万个 PR，实证揭示了 AI 队友在速度与接受率之间的信任差距，为 SE 3.0 研究提供开放基础。
2025-07-20 cs.AI cs.CE cs.LG
How Do Agentic AI Systems Deal With Software Energy Concerns? A Pull Request-Based Study
University of Manitoba（曼尼托巴大学）
本文研究了代理AI系统在生成软件时对能耗问题的意识，通过分析拉取请求发现，尽管构建和运行这些系统耗能高，但生成的软件制品表现出一定的能耗意识，但优化相关的PR因影响可维护性而被接受较少。
2025-12-31 cs.SE
Toward Instructions-as-Code: Understanding the Impact of Instruction Files on Agentic Pull Requests
École de Technologie Supérieure
通过分析148个项目的15549个智能体PR，发现指令文件对合并率、代码变更量和合并工作量无一致正面影响，但成功项目指令文件更长且结构更清晰，提出“指令即代码”研究方向。
2026-06-12 cs.AI cs.SE
AgentPack: A Dataset of Code Changes, Co-Authored by Agents and Humans
Northeastern University（东北大学）
本文提出AgentPack数据集，包含180万条由Claude Code、OpenAI Codex和Cursor Agent与人类共同撰写的代码更改，分析其结构特性，并展示基于该数据集微调的模型在代码编辑任务中优于传统人类提交数据集的性能。
2026-09-17 cs.CL cs.SE
AI-to-AI Code Reviews of GitHub Pull Requests
École de technologie supérieure (ÉTS Montréal)（高等技术学院）；Department of Computer Science, Trent University（特伦特大学计算机系）
该研究构建大规模 AI 对 AI 代码审查数据集，分析 GitHub 上 AI 智能体生成 PR 的审查情况，发现跨产品审查占比约 1.6%且增速快，审查输出因配置而异，闭环 AI 对 AI 审查呈增长趋势但占比仍低。
2026-08-24 cs.SE
Understanding the Rejection of Fixes Generated by Agentic Pull Requests -- Insights from the AIDev Dataset
École de Technologie Supérieure（埃克塞技术学院）
通过分析AIDev数据集，发现46.41%的AI代理（Copilot、Devin、Cursor、Claude）提出的代码修复被拒绝。本文对306个未合并的PR进行定性研究，归纳出14个拒绝原因，分为四类，并提出了改进模型引导的建议。
2026-06-12 cs.AI cs.SE
Engineering Signals of Human-AI Collaboration in the Agentic Coding Era: A Longitudinal Analysis of 33,228 Pull Requests from vLLM and SGLang with Implications for Biomedical AI Agents and Bioinformatics Pipeline Developmen
Georgia Institute of Technology（佐治亚理工学院）
该研究对vLLM和SGLang的33228个拉取请求进行纵向分析，发现AI辅助开发提升了开源软件的吞吐量、贡献者参与度及人机协作信号，且增长主要由人类驱动，为生物医学智能体开发提供启示。
2026-08-17 cs.AI cs.ET cs.HC
Quality and Security Signals in AI-Generated Python Refactoring Pull Requests
University of Michigan-Flint（密歇根大学弗林特分校）；University of Michigan-Dearborn（密歇根大学戴尔本分校）
本研究通过分析AIDev数据集中的Python重构拉取请求，探讨了AI生成代码对代码质量和安全性的影响，发现AI提交在22.5%的案例中提升了质量属性，但同时也引入了新的代码问题，提出了24种重构操作的分类和安全门控的重要性。
2026-05-20 cs.AI cs.SE
3100 Opinions on Code Review in an AI World: Building Causal Theory from Practitioner Discourse
Carnegie Mellon University（卡内基梅隆大学）
研究人工智能对代码审查的影响，通过收集从业者话语构建因果模型，明确审查是控制点，团队决定编码代理对软件影响，转化相关命题，还提供LLM辅助灰色文献理论构建方法。
2026-07-10 cs.AI cs.SE
Safer Builders, Risky Maintainers: A Comparative Study of Breaking Changes in Human vs Agentic PRs
Kennesaw State University（肯尼索州立大学）
本文比较了人类与代理PR中破坏性变更的频率和任务情境，发现代理在维护任务中风险更高，存在'信心陷阱'问题。
2026-03-29 cs.AI cs.SE
Early-Stage Prediction of Review Effort in AI-Generated Pull Requests
University of Science, Vietnam National University（越南国立大学科学大学）；University of Economics and Law, Vietnam National University（越南国立大学经济与法律大学）
本研究提出一种基于创建时间的电路断开模型，用于预测AI生成拉取请求的高维护需求，通过静态复杂性线索识别高成本贡献，提升维护效率。
2026-01-27 cs.SE
Beyond Simpson's Paradox: A Cascade of Confounders in AI Agent Pull-Request Co-Authorship
Independent Researcher（独立研究者）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过分层分析和多级控制，揭示了AI编码智能体拉取请求合著与合并率之间的关联主要由智能体组成、仓库选择和PR结构等混杂因素驱动，而非因果关系。
2026-06-23 cs.AI cs.SE
PatchTrack: A Comprehensive Analysis of ChatGPT's Influence on Pull Request Outcomes
University of Nevada Las Vegas（内华达大学拉斯维加斯分校）
研究分析了338个包含ChatGPT使用的拉取请求，发现ChatGPT生成的代码被完全采用的比例仅为25%，开发者通常将AI输出作为起点进行调整和迭代，影响不仅限于代码生成，还涉及协作流程中的决策过程。
2026-04-04 cs.SE
Investigating Autonomous Agent Contributions in the Wild: Activity Patterns and Code Change over Time
Delft University of Technology（代尔夫特理工大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
本文通过分析11万条开源拉取请求数据，研究自主编码代理在开源项目中的活动模式及代码变更，探讨其对代码质量、团队动态和软件维护性的影响。
2026-04-01 cs.AI cs.LG cs.SE
Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub
Drexel University（德雷塞尔大学）；Missouri University of Science and Technology（密苏里科技大学）
研究分析了 GitHub 上 33k 个代理生成 PRs 的失败原因，发现文档、CI 等任务合并成功率高，而性能和修复任务失败率高，揭示了代理协作中的关键社会技术因素。
2026-01-21 cs.AI cs.SE
BulkPR-Bench: Benchmarking Queue-Level Governance of Interacting Pull Requests
Baidu（百度）
该研究推出BulkPR-Bench基准，针对交互PR队列治理，实验显示现有模型在该任务上表现优于顺序基准，但仍存在较大提升空间。
2026-08-05 cs.AI cs.SE
To What Extent Does Agent-generated Code Require Maintenance? An Empirical Study
National Institute of Technology, Nara College（奈良工业高等专门学校）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
研究通过分析AI生成与人工编写代码的维护情况，发现AI代码维护频率较低，主要修改类型为功能扩展，而人工代码则以修复bug为主，人类开发者主导了大部分维护工作。
2026-05-09 cs.SE
Predicting Acceptance and Review Effort in Human and Agent Pull Requests
Stevens Institute of Technology（史蒂文斯理工学院）
研究在拉取请求打开时预测其接受情况及评审工作量的可行性，利用AIDev数据集构建预测管道，评估多种机器学习模型，发现接受度预测可行，评审工作量预测较难，早期模型可支持分类和优先级排序，应作咨询工具。
2026-07-15 cs.SE
What Makes a GitHub Issue Ready for Copilot?
École de Technologie Supérieure, Université de Québec（魁北克大学技术学院）
本文提出32条准则，通过可解释机器学习模型评估GitHub问题质量，提升Copilot合并拉取请求的可能性，模型中位AUC达72%。
2025-12-24 cs.SE
Who Finishes the Job? A Study of Follow-Up Fixes and Commit Authorship on AI Coding Agent Pull Requests
Applied AI Initiatives (A2I2), Deakin University（迪肯大学）
本研究分析5个AI编码智能体的6774个合并PR，发现其后续修复几率是人类的1.62倍，但69.6%修复由原智能体完成，76.4%修复PR全提交为智能体撰写，表明智能体基本能自我完善。
2026-09-25 cs.SE
AgenTag: Attribution of AI Coding Agents from Behavioral Fingerprints
Trent University（特伦特大学）
本文提出多模态框架AgenTag，基于PR的文本、行为等模态，结合监督对比学习实现开放世界AI编码智能体归因，在AIDev数据集上取得良好效果，且发现归因主要依赖PR描述和提交消息等行为指纹。
2026-08-04 cs.SE
AI builds, We Analyze: An Empirical Study of AI-Generated Build Code Quality
University of Michigan-Deaborn（密歇根大学迪尔伯恩分校）；University of Michigan-Flint（密歇根大学弗林特分校）
本研究通过分析AI生成的构建代码质量，探讨其在构建系统中的影响，并发现AI生成代码既可能引入质量问题，也部分消除了现有问题，同时大部分代理提交被开发者接受。
2026-01-23 cs.SE
Agentic Much? Adoption of Coding Agents on GitHub
INP, LaBRI, UMR 5800 , Univ. Bordeaux, CNRS（法国国家高等矿业电信学校，拉布里实验室，联合研究单位5800，波尔多大学，法国国家科学研究中心）；Univ. Rennes, Inria, CNRS, IRISA（雷恩大学，法国国家信息与自动化研究所，法国国家科学研究中心，IRISA）；Department of Computer Science , UFMG（计算机科学系，米纳斯吉拉斯联邦大学）；LTCI, Télécom Paris , Institut Polytechnique de Paris（电信巴黎学院，通信与电子实验室，巴黎理工学院）
研究探讨了编码代理在GitHub上的采用情况，发现其采用率高达22.20%-28.66%，且在项目成熟度、组织类型和编程语言上均广泛适用。
2026-04-08 cs.SE
Not All Agents Are Equal: Code Quality and Post-Merge Maintenance Across Five Autonomous Coding Agents in the Wild
Texas Tech University（德克萨斯理工大学）
本研究分析五个商业编码智能体的3.7万余个真实PR，发现代码质量因供应商而异，Codex回滚率低于人类，Devin高于人类，且智能体代码安全异味更少，审查负担分布不均。
2026-09-17 cs.SE
From Agent Behaviour to Agent-Friendly Documentation: An Empirical Study of How Coding Agents Discover, Read, and Write Technical Documentation
Peking University（北京大学）
本研究通过SWE-chat和AIDev两个数据集，揭示编码智能体的文档交互规律，发现面向智能体的制品占主导，文档与代码编辑关联弱，验证序列缺失，文档滞后代码，且"智能体友好型"文档的可操作性、可验证性缺乏行为支持。
2026-08-21 cs.AI cs.HC cs.SE
Beyond Lexical Metrics: Sentence-Embedding Detection of Reviewer Habituation in AI Code Review
Nanchang Hangkong University（南昌航空大学）
本研究通过句子嵌入检测AI代码审查中审查者的习惯化现象，发现批准率上升但传统词汇指标无显著变化，而嵌入结构能有效捕捉适应信号，且语言变化滞后于行为变化。
2026-09-09 cs.SE
Agentic Refactoring: An Empirical Study of AI Coding Agents
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Queen's University（女王大学）
本文基于 AIDev 数据集对真实 Java 项目中 AI 智能体生成的重构进行大规模实证研究，揭示了智能体重构以低层次一致性编辑为主、主要关注可维护性与可读性，并能带来小幅但显著的结构质量改进。
2026-10-28 cs.SE
