RepoST: Scalable Repository-Level Coding Environment Construction with Sandbox Testing
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）
RepoST 提出通过沙箱测试隔离目标函数及其依赖来构建可扩展的仓库级代码执行反馈环境，并基于此构建大规模训练集 RepoST-Train 和评估集 RepoST-Eval，训练后模型在 HumanEval 和 RepoEval 上分别提升 5.5% 和 3.5% Pass@1。
2025-03-10 cs.CL cs.SE
Aletheia: Permission-Minimality Testing for Coding-Agent Rules
Singapore Management University（新加坡管理大学）；Nanjing University（南京大学）；Adelaide University（阿德莱德大学）
Aletheia通过权限最小化测试框架，将编码智能体规则请求的权限转换为类型化语言并合成沙箱配置，在独立限制下检测可疑请求，成功识别全部314个攻击输入，误报率仅3.75%。
2026-10-01 cs.CR cs.SE
Testing with AI Agents: An Empirical Study of Test Generation Frequency, Quality, and Coverage
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Groningen（格罗宁根大学）
本研究通过AIDev数据集分析AI代理生成测试的频率、结构特征及对代码覆盖率的影响，发现AI生成的测试在代码长度和断言密度上表现突出，且能实现与人工测试相当的覆盖率提升。
2026-03-14 cs.SE
GTDD: Generative Test-Driven Development for AI Coding Agents with Adversarial Testing
Mizuho-DL Financial Technology Co., Ltd.（瑞穗DL金融科技有限公司）
提出GTDD，通过对抗性测试代理在开发中持续生成新输入，结合回归测试和独立接受规则，降低AI编码代理的错误接受率，实验验证其有效性。
2026-10-05 cs.LG cs.SE stat.ME
MUCOCO: Automated Consistency Testing of Code LLMs
Singapore University of Technology and Design（新加坡科技设计大学）；Royal Holloway University of London（伦敦大学皇家霍洛威学院）
本文提出MUCOCO方法，通过语义保持变异分析自动发现代码大语言模型中的不一致行为，实验表明其在暴露不一致性和性能上优于现有基准。
2026-09-03 cs.SE
Are We All Using Agents the Same Way? An Empirical Study of Core and Peripheral Developers Use of Coding Agents
University of Saskatchewan（萨斯喀彻温大学）
本文通过实证研究发现，核心和边缘开发者在使用编码代理时存在差异，核心开发者更关注文档和测试，而边缘开发者更频繁使用代理进行任务分配。
2026-01-27 cs.SE
Executable but Unfaithful: Mock Object, Stub, and Assertion Generation by LLMs and Coding Agents
Shandong University（山东大学）；Henan University（河南大学）；City University of Hong Kong（香港城市大学）；Mistral AI；King’s College London（伦敦国王学院）
该研究构建MockBench基准，评估6种LLMs和3种编码智能体生成模拟对象、桩模块及断言的能力，发现编码智能体可提升可执行性但未同步提高忠实度，还识别出10种错误类型并提供相关指导。
2026-11-06 cs.SE
The End of Code Review: Coding Agents Supersede Human Inspection
KTH Royal Institute of Technology（皇家理工学院）
本文论证基于大型语言模型的编码代理已超越传统人工代码审查的能力阈值，能以更低成本、更高吞吐量实现审查目标，并指出人工审查与AI协作的路径不可持续。
2026-06-12 cs.SE
DeltaSelect: Affordable A/B Testing for Coding Agents
Conn Castle Studios（康恩城堡工作室）
DeltaSelect提出一种开源方法，通过相关性和回归选择低成本任务集，用于编码智能体的A/B测试，在预算内实现高效且可靠的版本比较。
2026-09-18 cs.AI cs.LG cs.SE
Agentic Evolution of SQL Test Generators
National University of Singapore（新加坡国立大学）
本文提出Gungnir方法，利用编码智能体进化DBMS测试生成器，通过见证重放机制验证能力，在SQLite等3款DBMS中发现44个已确认缺陷，34个已修复，该机制可推广至其他系统。
2026-10-14 cs.SE
Testing LLMs on Code Generation with Varying Levels of Prompt Specificity
Vanderbilt University（范德堡大学）
本研究评估了Bard、ChatGPT-3.5、ChatGPT-4和Claude-2在104个编程问题上生成Python代码的性能，发现提示词具体程度显著影响代码准确性、时间和空间效率，并揭示了最佳提示策略。
2023-11-10 cs.AI cs.SE
FullStack-Agent: Enhancing Agentic Full-Stack Web Coding via Development-Oriented Testing and Repository Back-Translation
Multimedia Laboratory (MMLab), The Chinese University of Hong Kong（香港中文大学多媒体实验室）；Shenzhen Loop Area Institute（深圳河套学院）
FullStack-Agent通过面向开发的测试和仓库反翻译提升全栈网页编码能力，其多代理框架和自我改进方法在多个测试用例中表现出色。
2026-02-03 cs.CL cs.CV cs.SE
Coding Agents Don't Know When to Act
ETH Zurich（苏黎世联邦理工学院）
研究发现当前编码代理在处理过时bug报告时频繁错误修改代码，提出需显式引导无行动以避免技术债务。
2026-05-08 cs.SE
Improving Testing Behavior by Gamifying IntelliJ
本文提出 IntelliGame，一个 IntelliJ 的游戏化插件，通过多级成就系统激励开发者改善测试行为；实验表明，受激励的开发者编写更多测试、获得更高覆盖率与变异分数，并更早完成功能。
2023-10-17 cs.SE
Configuration Smells in AGENTS.md Files: Common Mistakes in Configuring Coding Agents
Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）；Federal Institute of Minas Gerais（米纳斯吉拉斯联邦学院）
本文首次系统化编码代理配置文件（AGENTS.md/CLAUDE.md）的异味，通过灰文献综述和仓库挖掘识别出六种异味，并在100个开源仓库中验证其普遍性，其中Lint Leakage最常见（62%）。
2026-07-31 cs.SE
On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Queen’s University（女王大学）
本文研究了GitHub上代理编码生成的拉取请求的接受情况，发现83.8%的PR被合并，其中54.9%无需修改，剩余需人类修订。
2026-02-09 cs.SE
Human-Agent versus Human Pull Requests: A Testing-Focused Characterization and Comparison
Politecnico di Torino（都灵理工大学）；University of Molise（莫利塞大学）；University of Minnesota（明尼苏达大学）
本文研究了人类与智能体协作在软件测试中的影响，发现智能体协作能显著增加测试范围和新测试添加，但对测试质量无明显影响。
2026-01-29 cs.SE
Beyond the Prompt: Linking What Developers Ask, Do, and Understand with Coding Agents
Oregon State University, School of Electrical Engineering and Computer Science（俄勒冈州立大学电气与计算机工程学院）
本文提出“说、做、理解”工作流程，通过提示、屏幕活动和事后解释分析开发者与编程智能体的交互，并在十名开发者使用GitHub Copilot的研究中识别出四种人物画像，揭示了任务表现与理解之间的分歧。
2026-09-29 cs.SE
Rapid Development of Omics Data Analysis Applications through Vibe Coding
本文展示了通过“vibe coding”利用LLM和自主编码智能体，仅用四个自然语言提示在十分钟内零手动编码开发出功能齐全的蛋白质组学数据分析网站，大幅降低了计算生物学软件开发门槛。
2025-10-10 cs.SE q-bio.OT
AIDev: Studying AI Coding Agents on GitHub
Queen's University（女王大学）
AIDev是一个大规模数据集，包含来自五个AI代理的GitHub pull requests，用于研究AI在软件工程中的应用、开发者生产力及人机协作。
2026-02-09 cs.AI cs.SE
From Runnable to Shippable: Multi-Agent Test-Driven Development for Generating Full-Stack Web Applications from Requirements
Chinese University of Hong Kong（香港中文大学）；Columbia University in the City of New York（纽约哥伦比亚大学）；Singapore Management University（新加坡管理大学）
本文提出TDDev框架，通过三个阶段自动化测试驱动开发流程，提升Web应用生成质量，发现最佳协议取决于模型生成风格，且TDDev显著减少人工干预。
2026-09-17 cs.SE
An Exploratory Study of Agent Plans for Agentic AI Coding Tools in Open-Source Software
University of Bamberg（班贝格大学）；Heidelberg University（海德堡大学）；Singapore Management University（新加坡管理大学）；King’s College London（伦敦国王学院）
本文通过筛选36710个GitHub仓库识别出85个Markdown智能体计划文件，研究其支持的软件工程工作类型与提供的执行指导，明确其是研究人-智能体工作流任务意图的丰富工件。
2026-08-07 cs.SE
Disrupting Test Development with AI Assistants
Concora Credit Inc.（康科拉信贷公司）
本文利用测试金字塔概念，评估三种AI编码助手生成单元测试的能力，发现AI生成测试与原始测试质量相当，增进了对AI辅助工具在自动化测试中的理解。
2024-11-04 cs.AI cs.SE
SCATE: Learning to Supervise Coding Agents for Cost-Effective Test Generation
University of British Columbia（不列颠哥伦比亚大学）
研究针对编码代理惰性生成致代码覆盖不足问题，提出SCATE框架，将监督设为上下文博弈问题，依覆盖和可测试性指标选测试动作，集成不同编码代理，相比基线和其他方法有更高覆盖，能动态优化代理优势。
2026-07-13 cs.AI cs.SE
ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）；Beijing Institute of Technology, Beijing, China（北京理工大学）；University of California, Merced, CA, USA（加州大学默塞德分校）；Shanghai Innovation Institute, Shanghai, China（上海创新研究院）
ProjDevBench从端到端项目开发角度评估AI编程代理，通过系统架构设计、功能正确性和迭代优化三个维度，评估六种基于不同LLM的代理，发现其在复杂系统设计和资源管理方面存在不足。
2026-02-09 cs.AI cs.SE
HFuzzer: Testing Large Language Models for Package Hallucinations via Phrase-based Fuzzing
School of Software Technology, Zhejiang University, Ningbo, China（软件技术学院，浙江大学，宁波，中国）；The State Key Laboratory of Blockchain and Data Security, Zhejiang University, Hangzhou, China（区块链与数据安全国家重点实验室，浙江大学，杭州，中国）
针对大语言模型包幻觉安全风险缺乏专项检测的问题，提出基于短语的模糊测试框架HFuzzer，可生成多样相关编码任务，在多模型中触发幻觉，检测量达突变框架2.6倍，还发现GPT-4o在环境配置中也存在包幻觉。
2025-10-04 cs.AI cs.SE
Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories
本研究通过双智能体（Claude Code、Codex）的受控消融实验，发现上下文文件对编码智能体的正确性无显著提升，其失败源于实现技能而非知识缺失，还解释了过往研究矛盾的原因并公开了相关资源。
2026-07-31 cs.AI cs.SE
WitnessGym: Benchmarking Coding Agents on the Construction of Bug Witnesses
University of California, San Diego（加州大学圣地亚哥分校）；Purdue University（普渡大学）；National University of Singapore（新加坡国立大学）
WitnessGym通过错误注入自动构建错误验证基准，生成1,300个Java案例，评估显示编码智能体在见证构建任务上仍面临挑战。
2026-09-30 cs.AI cs.SE
o1-Coder: an o1 Replication for Coding
School of Computer Science and Technology（计算机科学与技术学院）；Beijing Jiaotong University（北京交通大学）
本文提出 O1-CODER，通过结合 RL、MCTS、TCG 与两阶段伪代码到代码的迭代微调，复现面向编程任务的 o1 式 System-2 推理模型，并开源代码、数据和模型。
2024-12-10 cs.AI cs.SE
Taming Scylla: Understanding the multi-headed agentic daemon of the coding seas
本文提出Scylla框架，用于评估代理编码工具，通过结构化消融研究量化复杂性和效率的权衡，表明架构复杂性不总是提升质量。
2026-02-09 cs.AI cs.SE
Examining the Use and Impact of an AI Code Assistant on Developer Productivity and Experience in the Enterprise
本研究通过调查和测试，考察了IBM内部署的LLM代码助手WCA对开发者生产力与体验的影响，发现该工具虽能提升净生产力，但并非所有用户均能受益。
2025-03-04 cs.HC cs.SE
Unified Software Engineering Agent as AI Software Engineer
National University of Singapore（新加坡国立大学）；Purdue University（普渡大学）
本文提出统一软件工程代理USEagent，旨在通过协调多种能力提升软件开发效率，通过USEbench验证其效果，发现其在复杂任务中表现优于现有代理。
2025-12-08 cs.AI cs.SE
Private GPTs for LLM-driven testing in software development and machine learning
Ambrosys Gmbh（Ambrosys公司）
本研究探究私有GPTs基于验收标准自动生成可执行测试代码的能力，对比直接生成与经Gherkin语法中间步骤的两步生成两种方式，发现两步法生成的测试在可读性与编码规范上更优，且结构化提示词能提升测试输出质量。
2025-07-31 cs.AI cs.SE
MET: Model Checking-Driven Explorative Testing of CRDT Designs and Implementations
互联网规模的分布式系统通常在多个地理位置复制数据，以提供低延迟和高可用性。无副本的复制数据类型（CRDT）是一个框架，它提供了一种原则性的方法来维护数据副本之间的最终一致性。众所周知，CRDT很难正确设计和实现。微妙的深层错误在于复杂而乏味的处理所有可能的冲突数据更新情况。我们认为，CRDT的设计应该正式指定和模型检查，以发现深层的错误。还需要对执行情况进行系统测试。一方面，测试需要继承模型检验的穷举性，保证测试的覆盖率;另一方面，预期测试将发现设计级验证无法检测到的编码错误。针对上述挑战，本文提出了模型检验驱动的探索性测试框架.在设计层面，MET使用TLA+来指定和模型检查CRDT设计。在实现级别，MET进行模型检验驱动的探索性测试，从这个意义上说，测试用例是自动生成的模型检验痕迹。系统执行被控制为确定性地进行，遵循模型检验跟踪。探索性测试系统地控制和置换所有不确定的消息重新排序。我们在CRDTs的实际开发中应用MET。发现了CRDT设计和实现中的缺陷，对于传统测试技术无法发现的缺陷，MET大大降低了修复缺陷的成本。此外，MET可以以合理的成本发现现有技术无法发现的细微的深层错误。我们进一步讨论MET如何为我们提供足够的信心，我们的CRDT设计和实现的正确性。
2022-04-29 cs.DC cs.SE
Trajectory-Level Security Debt in LLM Coding Agents
University of Luxembourg（卢森堡大学）
针对LLM编码智能体仅评估最终代码无法衡量安全问题演变的问题，提出安全债务线积分SDLI指标，结合多款SAST工具在多数据集上验证，为同步研究编码进展与安全风险提供新方法。
2026-09-28 cs.CR cs.SE
NaturalCodeBench: Examining Coding Performance Mismatch on HumanEval and Natural User Prompts
Tsinghua University（清华大学）
提出 NaturalCodeBench 真实编程基准及半自动化测试用例构建流水线，通过 39 个 LLM 实验揭示 HumanEval 分数相近模型的实际代码能力仍存在显著差距。
2024-05-07 cs.CL cs.LG cs.SE
Hybrid-Gym: Training Coding Agents to Generalize Across Tasks
Carnegie Mellon University（卡内基梅隆大学）
Hybrid-Gym通过设计合成任务训练编码代理，提升其跨任务泛化能力，在多个基准测试中取得显著效果。
2026-02-18 cs.CL cs.LG cs.SE
WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing
Northeastern University（东北大学）；Kuaishou Technology（快手科技）
本文提出WebTestBench基准，用于评估端到端自动化网页测试能力，揭示现有方法在测试完整性、检测瓶颈和长周期交互可靠性方面的不足。
2026-03-26 cs.AI cs.CL cs.MA
