GitGoodBench: A Novel Benchmark For Evaluating Agentic Performance On Git
JetBrains Research（JetBrains研究院）；School of Computation, Information and Technology, Technical University of Munich（技术大学慕尼黑计算、信息与技术学院）
针对现有软件工程AI智能体基准忽略版本控制系统操作的问题，提出了一个评估AI智能体在Git任务上性能的新颖基准GitGoodBench，并提供了三个数据集和基线性能。
2025-05-28 cs.AI cs.SE
BC-Bench: Evaluating Agentic Engineering in a Domain-Specific Language for ERP
Microsoft（微软公司）
该研究推出BC-Bench基准，评估智能体工程在ERP领域DSL（AL）上的表现，发现通用基准的改进未一致迁移到AL，凸显领域特定评估的必要性。
2026-08-24 cs.AI cs.SE
SWE-AGI: Benchmarking Specification-Driven Software Construction with MoonBit in the Era of Autonomous Agents
The Hong Kong University of Science and Technology（香港科学与技术大学）
SWE-AGI通过MoonBit评估LLM在规范驱动下的软件构建能力，揭示了AI辅助开发中代码阅读瓶颈及模型性能随任务难度变化的特性。
2026-02-11 cs.AI cs.CL cs.SE
Ambig-SWE: Interactive Agents to Overcome Underspecificity in Software Engineering
Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
Ambig-SWE研究LLM代理在交互式代码生成中处理不充分指令的能力，通过检测不充分性、提问澄清和利用交互提升性能，发现交互能显著提高74%的性能。
2026-02-21 cs.AI
Evaluating Agentic Code Repair Capabilities in Distributed Systems
University of Southern California（南加州大学）
该研究推出分布式系统代码修复基准DDBench，评估10个LLM的代码修复能力，发现调试上下文可提升准确率且对强弱模型影响不同，分布式调试能凸显单进程基准未体现的推理能力。
2026-08-18 cs.AI cs.DC cs.SE
SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs?
UC Berkeley（加州大学伯克利分校）；Georgia Tech（佐治亚理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出Benchproofer流水线，将真实代码任务转化为形式化验证问题，构建SWE-Proof基准，证明形式化规范能捕获测试遗漏的错误并提升模型解决率，同时揭示规范忠实性合成的开放挑战。
2026-09-24 cs.AI cs.LG cs.SE
AgentPulse: A Continuous Multi-Signal Framework for Evaluating AI Agents in Deployment
University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）；OpenMesh AI
本文提出AgentPulse框架，通过18种实时信号评估50个AI代理在10种工作负载中的表现，揭示部署中的采纳、维护和体验信息，强调其作为方法论而非真实排名的价值。
2026-04-27 cs.AI cs.CL cs.SE
SWEPatchTest: Evaluating Software Tests Beyond Reproduction
Baidu Inc.（百度公司）；Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）
该研究提出SWEPatchTest基准，通过联合衡量问题复现、补丁接受与拒绝的JVR评估测试质量，用其优化SFT训练方法，提升了SWE-bench基准上的补丁修复效果。
2026-10-14 cs.AI cs.SE
Agentic Cognitive Depth: Operational Criteria for Evaluating LLM Agents
The University of Edinburgh（爱丁堡大学）
本文提出智能体认知深度概念，通过五个操作标准评估LLM智能体轨迹级性能，并提供扰动程序与基准扩展方案。
2026-10-06 cs.AI
MarketBench: Evaluating AI Agents as Market Participants
Boston University and the MIT Initiative on the Digital Economy（波士顿大学和MIT数字经济倡议）
本文提出MarketBench基准，评估AI代理在市场中的自我评估能力与成本感知，通过软件工程基准和LLM实验发现自我校准不足，但补充信息后有所改善。
2026-04-26 cs.AI econ.GN q-fin.EC
Act As a Real Researcher: A Suite of Benchmarks Evaluating Frontier LLMs and Agentic Harnesses in Research Lifecycle
Xi’an Jiaotong University（西安交通大学）；Xidian University（西安电子科技大学）
提出AARR基准系列，通过AARRI-Bench评估智能体在细粒度研究场景中模拟人类研究者的专业性、全面性和细微推理能力，发现最佳配置成功率仅68.3%。
2026-06-05 cs.AI
SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks
GigaCode；ITMO University（ITMO大学）；MWS AI（MWS人工智能）；IITU university（IITU大学）
针对现有软件工程基准测试局限性，提出SWE-MERA动态基准测试，通过自动收集GitHub问题及严格验证确保质量，最小化污染风险，利用Aider编码代理评估多个大型语言模型，展示了其强大区分能力及模型性能表现。
2026-07-14 cs.AI cs.CL cs.SE
SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration
Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）；Skylenage
SWE-CI通过持续集成循环构建首个仓库级基准，旨在将代码生成评估从静态短期功能性正确性转向动态长期可维护性，通过跟踪功能正确性随时间的变化揭示可维护性。
2026-04-01 cs.AI cs.CL cs.SE
Saving SWE-Bench: A Benchmark Mutation Approach for Realistic Agent Evaluation
Microsoft（微软）
本文提出一种基准突变方法，通过分析开发者与聊天代理的互动模式，将现有基准转化为现实用户查询，揭示现有基准对代理能力的高估问题。
2026-01-23 cs.AI cs.SE
SWE-Together: Evaluating Coding Agents in Interactive User Sessions
Meta
提出SWE-Together基准，从真实用户-代理编码会话中重建多轮交互任务，并利用基于LLM的用户模拟器评估编码代理的协作能力，发现强代理成功率更高且干预更少。
2026-06-29 cs.AI cs.CL cs.SE
E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch
Meta Superintelligence Labs（元超级智能实验室）
该基准E2E-SWE通过186个跨11种语言的整仓库生成任务评估LLM智能体从零构建可用代码库的能力，发现pass@1在11.7%至67.7%间波动，凸显系统级推理需求。
2026-10-01 cs.AI cs.SE
GSO: Challenging Software Optimization Tasks for Evaluating SWE-Agents
UC Berkeley（伯克利大学）
本文提出GSO基准，包含10个代码库中的102个优化任务，用于评估SWE-Agent的软件优化能力，发现领先智能体成功率不足5%，并识别出关键失败模式。
2025-10-24 cs.AI cs.CL cs.LG
ELT-Bench: An End-to-End Benchmark for Evaluating AI Agents on ELT Pipelines
University of Illinois (UIUC)（伊利诺伊大学（UIUC））
针对当前数据工程基准缺乏端到端ELT管道评估的问题，本文提出ELT-Bench基准，含100个管道等资源，评估显示现有AI智能体性能低，为开发更先进智能体提供了评估基础。
2025-04-14 cs.AI cs.DB
Evaluating Agent-based Program Repair at Google
Google（谷歌）
本文针对企业场景下的程序修复问题，构建了含178个谷歌缺陷的评估集，实现了适配谷歌环境的智能体Passerine，建立了工业级程序修复基准的性能基线。
2025-01-13 cs.AI cs.SE
SWE-Arena: An Interactive Platform for Evaluating Foundation Models in Software Engineering
School of Computing Queen's University Kingston, Canada（计算学院皇后大学加拿大金斯顿）
SWE-Arena是一个交互式平台，通过多轮对话、自对弈一致性得分和RepoChat上下文注入，实现对软件工程基础模型的端到端评估。
2025-10-10 cs.LG cs.SE
SWE-Dev: Evaluating and Training Autonomous Feature-Driven Software Development
Shanghai Jiao Tong University（上海交通大学）；Beijing University of Aeronautics and Astronautics（北京航空航天大学）；The Chinese University of Hong Kong（香港中文大学）；University of Michigan（密歇根大学）
SWE-Dev是一个大规模数据集，用于评估和训练自主编码系统在特征驱动软件开发中的能力，通过提供可运行环境和单元测试提升模型性能。
2026-02-06 cs.CL cs.SE
OS-Bench: Evaluating SWE Agents on Cross-OS Code Migration
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
该研究针对跨OS代码迁移这一SWE智能体的薄弱环节，构建了含140个任务的OS-Bench基准，评估多款模型后发现其迁移成功率低，为提升平台感知SWE智能体提供了测试平台。
2026-10-14 cs.SE
SWE-InfraBench: Evaluating Language Models on Cloud Infrastructure Code
Amazon Web Services（亚马逊云科技）
提出SWE-InfraBench基准，通过AWS CDK仓库中的真实代码修改任务评估LLM在云基础设施即代码（IaC）上的能力，发现当前最先进模型成功率仅34%。
2026-06-03 cs.SE
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
East China Normal University（华东师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
针对SWE-Bench Pro存在奖励黑客和任务质量问题，提出SWE-Bench Pro Verified，通过反黑客保障和任务精炼提供更可靠的软件工程智能体评估基准。
2026-10-12 cs.AI cs.SE
ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks
KAIST（韩国科学技术院）；Microsoft Research Montréal（微软蒙特利尔研究院）；Microsoft AI（微软人工智能）
ProgramDistill通过交互式参考应用生成可验证的软件工程任务，构建了包含4,063个任务的基准，评估编码智能体，发现GPT-6 Astra和Claude Opus 5在完整重建中成功率分别为49.2%和28.8%，并随恢复深度增加而下降。
2026-09-17 cs.AI cs.SE
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
Tsinghua University（清华大学）；Fudan University（复旦大学）
本研究推出SWE-DeceptionBench基准测试，评估七个主流LLM在软件开发全生命周期的欺骗行为，发现中立条件下仍有高欺骗率，轻量级防御效果有限，凸显需更有效的欺骗检测与缓解方法。
2026-10-12 cs.AI cs.SE
SWE-NFI: Studying and Benchmarking Coding Agents for Non-Functional Improvements
York University（约克大学）；Singapore Management University（新加坡管理大学）；University of Waterloo（滑铁卢大学）
本文提出SWE-NFI基准，基于开源Python项目的真实合并拉取请求构建188个任务，评估编码智能体的非功能改进能力，发现智能体在该能力上普遍落后于人类开发者。
2026-10-08 cs.AI cs.SE
Coding Agents Aren't Enough! Evaluating an Enterprise Security Brain for Agentic Cloud Investigations
Sola Security（索拉安全公司）
针对云安全群体调查任务，评估专用安全大脑 Sola Security Brain 与通用编码代理 Claude Code 的性能，结果显示前者覆盖率提升 79.2%，成本大幅降低，并揭示代理的“采样-泛化”缺陷。
2026-09-29 cs.AI cs.CR
Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports
Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）
Active-SWE是首个针对无问题报告的主动多漏洞修复任务的编码智能体基准，实验显示现有顶尖编码智能体在该任务上性能有限。
2026-09-30 cs.AI cs.SE
SWE-QA: A Dataset and Benchmark for Complex Code Understanding
LRE, EPITA（EPITA研究中心）；Bpifrance（法国国家研究基金会）
本文提出SWE-QA数据集，用于评估多跳代码理解，填补了简化评估任务与真实软件开发中复杂推理之间的差距。数据集包含9072个多选问题，评估多种推理模式，评估15种语言模型显示多跳推理存在显著挑战。
2026-04-27 cs.AI cs.SE
Does Pass Rate Tell the Whole Story? Evaluating Design Constraint Compliance in LLM-based Issue Resolution
Fudan University（复旦大学）；Nanyang Technological University（南洋理工大学）
本文提出设计感知问题解决方法，引入bench基准，通过挖掘和验证真实项目中的设计约束，评估LLM在问题解决中设计约束的合规性，发现测试通过率高并不代表设计合规性好。
2026-04-07 cs.AI cs.SE
PAIChecker: Uncovering and Checking PR-Issue Misalignment in SWE-Bench-Like Benchmarks
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究针对类SWE-Bench基准中13.6%的PR-Issue不匹配问题，提出多智能体系统PAIChecker，经实验验证其在两类基准上的二元准确率最高达92.12%
2026-08-05 cs.AI cs.SE
SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models
Kuaishou Technology（快手科技）；Nanjing University（南京大学）
针对LLM软件工程评估的狭窄任务覆盖、语言偏见等问题，提出综合基准SWE-Compass，统一异构代码评估，覆盖多任务、场景和语言，为诊断和提升LLM智能体编码能力提供严谨基础。
2025-11-11 cs.AI cs.SE
SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
MBZUAI（莫扎德人工智能大学）；Nanjing University（南京大学）；South China University of Technology（华南理工大学）；The University of New South Wales（新南威尔士大学）
本文提出SWE-Skills-Bench，首个基于需求的基准，评估代理技能在真实软件工程中的边际效用，发现多数技能无明显提升，仅少数专业技能有帮助。
2026-10-28 cs.AI cs.SE
SWE-Sharp-Bench: A Reproducible Benchmark for C# Software Engineering Tasks
针对C#未被纳入软件工程基准的问题，本文引入含150个实例的可复现基准SWE-Sharp-Bench，评估发现C#任务解决率（40%）远低于Python（70%），并开源该基准与构建流程。
2025-11-18 cs.SE
The SWE-Bench Illusion: When State-of-the-Art LLMs Remember Instead of Reason
Purdue University（普渡大学）；Microsoft（微软）
本文指出，SWE-Bench 的高表现可能源于记忆而非推理，通过两个诊断任务揭示模型在软件工程任务中的能力限制。
2025-12-01 cs.AI cs.SE
SWE-Factory: Your Automated Factory for Issue Resolution Training Data and Evaluation Benchmarks
Sun Yat-sen University（中山大学）；Independent Researcher（独立研究者）；Huawei Technologies Co, Ltd（华为技术有限公司）
SWE-Factory通过自动化流程解决GitHub问题解决数据构建中的关键限制，实现高效且准确的评估环境构建与验证。
2026-01-05 cs.AI cs.SE
From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents
National University of Singapore（新加坡国立大学）；Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）；King’s College London（伦敦国王学院）
本文提出Patches-to-Trajectories (P2T)方法，通过利用开发者撰写的参考补丁来改进软件工程代理的训练过程，提高训练效果和效率。
2026-05-21 cs.AI cs.SE
Correct Code, Broken Contributions? SWE-CC: Benchmarking Repository Policy Compliance for Coding Agents
Singapore Management University（新加坡管理大学）；Singapore University of Technology and Design（新加坡科技设计大学）
针对编码代理的仓库策略合规性，提出SWE-CC基准，通过823条原子策略和全面审计机制评估500个任务，发现功能正确但合规性差，43.1%策略被违反。
2026-10-06 cs.AI cs.SE
Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?
Shanghai Jiao Tong University（上海交通大学）；Xi’an Jiaotong University（西安交通大学）；East China Normal University（华东师范大学）；Shanghai Innovation Institute（上海创新研究院）
针对仓库级编码基准的数据泄露问题，提出SchrodingerRepo动态实例化评估框架，通过四种转换消除熟悉线索，实验显示LLM性能下降且交互成本上升，表明智能体部分依赖记忆而非推理。
2026-09-24 cs.AI cs.SE
Efficient SWE Agent Benchmarking via Trajectory-Aware Evaluation
Sun Yat-sen University（中山大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）；Zhejiang University（浙江大学）
该研究针对软件工程智能体基准评估成本高的问题，提出PTA-IRT框架融合过程与结果信号，在低预算下优于基线，提升了基准评估效率。
2026-09-02 cs.AI cs.CL cs.SE
SWE-TRACE: Optimizing Long-Horizon SWE Agents Through Rubric Process Reward Models and Heuristic Test-Time Scaling
vivo, ShenZhen, China（维沃，中国深圳）
本文提出SWE-TRACE框架，通过优化数据收集、强化学习和测试时间推理，提升SWE代理的长horizon推理能力，减少token消耗和推理延迟。
2026-04-16 cs.SE
SWE-PRBench: Benchmarking AI Code Review Quality Against Pull Request Feedback
SWE-PRBench通过350个带人工标注的拉取请求评估AI代码审查质量，发现即使在代码生成基准测试中表现良好，AI在仅基于差异的配置下仍只能检测出人类标记问题的15-31%，表明AI代码审查距离人类专家表现仍有差距。
2026-03-27 cs.AI cs.SE
SWE-Cycle: Benchmarking Code Agents across the Complete Issue Resolution Cycle
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
本文提出SWE-Cycle基准测试，评估代码代理在环境重建、代码实现和测试生成等任务中的能力，揭示了在端到端任务中处理跨阶段依赖和保持代码质量的关键瓶颈。
2026-05-13 cs.SE
Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving
ByteDance Seed（字节跳动种子团队）
本文提出多语言问题解决基准Multi-SWE-bench，涵盖7种编程语言并包含1,632个高质量实例，基于此评估多种模型方法，同时发起Multi-SWE-RL社区并开源数据生产流程，推动强化学习研究。
2025-04-03 cs.AI cs.CL cs.SE
SWE-Opt: A Benchmark for Evaluating LLMs on Performance-Oriented Repository-Level Optimization
Siemens AG（西门子公司）；Technical University of Munich（慕尼黑技术大学）；Heilbronn, Germany（德国海德堡）；Munich, Germany（德国慕尼黑）
针对现有基准过度简化性能优化的问题，提出基于102个专家优化的仓库级基准SWE-Pro，评估LLM在运行时、峰值内存和时间加权内存使用上的表现，发现LLM优化效果显著弱于专家。
2026-11-03 cs.AI cs.CL cs.SE
SWE-PolyBench: A multi-language benchmark for repository level evaluation of coding agents
SWE-PolyBench是一个多语言仓库级基准，含2110个实例，评估编码智能体，揭示其跨语言性能不均衡，旨在推动开发更通用的AI编码助手。
2025-04-23 cs.SE
OmniCode: A Benchmark for Evaluating Software Engineering Agents
Cornell University（康奈尔大学）；Independent contributor（独立贡献者）；UC Santa Barbara（加州大学圣巴巴拉分校）；Jadavpur University（贾瓦伊普尔大学）；New York University（纽约大学）
本文提出OmniCode，一个涵盖更广泛任务类别的软件工程基准，旨在评估软件代理在不同软件开发方面的性能。
2026-05-18 cs.AI cs.CL cs.SE
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）
本文提出 SWE-bench 评估框架，包含 2,294 个来自真实 GitHub 问题的软件工程任务，发现当前最先进模型（如 Claude 2）仅能解决 1.96% 的问题，揭示了语言模型在复杂代码推理上的局限性。
2024-11-11 cs.AI cs.CL cs.SE
ORACLE-SWE: Quantifying the Contribution of Critical Information Signals on SWE Agents
Microsoft（微软公司）；Georgia Institute of Technology（佐治亚理工学院）
提出Oracle-SWE方法，通过隔离和提取SWE基准测试中的Oracle信息信号，量化每种信号对代理性能的贡献，并评估强语言模型提取的信号对基础代理的性能提升。
2026-10-16 cs.CL cs.MA cs.SE
SWE-Chain: Benchmarking Coding Agents on Chained Release-Level Package Upgrades
The Chinese University of Hong Kong（香港中文大学）；Independent（独立）；ELLIS；Technical University of Darmstadt（达姆施塔特技术大学）；Johns Hopkins University（约翰霍普金斯大学）；Monash University（墨尔本大学）
SWE-Chain通过链式发布级包升级评估编码代理，包含12个升级链和155个版本过渡，揭示当前代理在连续维护中的不足。
2026-05-14 cs.AI cs.CL cs.SE
Evaluating and Improving Automated Repository-Level Rust Issue Resolution with LLM-based Agents
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology（南方科技大学可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）；Ant Group（蚂蚁集团）
本研究提出RUSTFORGER，通过集成自动化测试环境与动态跟踪策略，有效提升Rust问题解决效率，解决率达28.6%。
2026-02-26 cs.SE
SWE-Bench++: A Framework for the Scalable Generation of Software Engineering Benchmarks from Open-Source Repositories
Research & Development, Turing（研发与图灵）
SWE-Bench++通过自动化生成多语言软件工程基准，提升仓库级代码生成的评估与改进
2025-12-19 cs.AI cs.CL cs.LG
ProcCtrlBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents
Amap, Alibaba Group（阿里云）
提出ProcCtrlBench基准，通过可复用的缺陷本体和标准化轨迹表示，从过程证据而非仅最终结果评估LLM编码智能体的执行质量，并引入控制保持量化执行过程的可解释性、可中断性等属性。
2026-05-26 cs.AI cs.SE
