GHIssuemarket: A Sandbox Environment for SWE-Agents Economic Experimentation
本文提出GHIssuemarket沙盒环境，用于研究软件工程智能体的经济可行性，通过模拟GitHub问题拍卖场景，支持实时通信、RAG决策和加密货币微支付，并开源工件以推动智能软件工程经济学（ISEE）领域发展。
2024-12-17 cs.SE
SWE-Cycle: Benchmarking Code Agents across the Complete Issue Resolution Cycle
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
本文提出SWE-Cycle基准测试，评估代码代理在环境重建、代码实现和测试生成等任务中的能力，揭示了在端到端任务中处理跨阶段依赖和保持代码质量的关键瓶颈。
2026-05-13 cs.SE
SWE-Refactor: A Repository-Level Benchmark for Real-World LLM-Based Code Refactoring
Concordia University（康考迪亚大学）
SWE-Refactor是一个面向真实世界的基于大语言模型的代码重构仓库级基准，通过1099个Java项目中的重构实例评估九种LLMs，揭示复杂重构的失败率较高。
2026-02-03 cs.SE
Are "Solved Issues" in SWE-bench Really Solved Correctly? An Empirical Study
本研究通过新颖的差分补丁测试技术PatchDiff，实证揭示SWE-bench验证机制存在缺陷，导致部分不正确补丁被误判为正确，从而高估了问题解决工具的实际性能。
2025-09-09 cs.SE
SWE-PolyBench: A multi-language benchmark for repository level evaluation of coding agents
SWE-PolyBench是一个多语言仓库级基准，含2110个实例，评估编码智能体，揭示其跨语言性能不均衡，旨在推动开发更通用的AI编码助手。
2025-04-23 cs.SE
OS-Bench: Evaluating SWE Agents on Cross-OS Code Migration
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
该研究针对跨OS代码迁移这一SWE智能体的薄弱环节，构建了含140个任务的OS-Bench基准，评估多款模型后发现其迁移成功率低，为提升平台感知SWE智能体提供了测试平台。
2026-10-14 cs.SE
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
East China Normal University（华东师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
针对SWE-Bench Pro存在奖励黑客和任务质量问题，提出SWE-Bench Pro Verified，通过反黑客保障和任务精炼提供更可靠的软件工程智能体评估基准。
2026-10-12 cs.AI cs.SE
SWE-bench-java: A GitHub Issue Resolving Benchmark for Java
Chinese Academy of Science（中国科学院）；Peking University（北京大学）；Huawei Co., Ltd.（华为公司）
为满足工业界对多编程语言支持的需求，本文开发了SWE-bench的Java版本SWE-bench-java，并发布数据集、基于Docker的评估环境和排行榜，通过实现SWE-agent并测试多个LLM验证了其可靠性。
2024-08-26 cs.AI cs.CL cs.SE
Saving SWE-Bench: A Benchmark Mutation Approach for Realistic Agent Evaluation
Microsoft（微软）
本文提出一种基准突变方法，通过分析开发者与聊天代理的互动模式，将现有基准转化为现实用户查询，揭示现有基准对代理能力的高估问题。
2026-01-23 cs.AI cs.SE
SWE Context Bench: A Benchmark for Context Learning in Coding
Independent Researcher（独立研究员）；University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）；Technical University of Munich（慕尼黑工业大学）；MemoraX AI；National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出SWE-ContextBench基准，用于评估编程代理的上下文重用能力，通过1100个基础任务和376个相关任务，从GitHub问题和拉取请求中挖掘真实依赖关系，评估预测准确度、时间效率和成本效率。
2026-03-27 cs.AI cs.SE
SWEeper-Bench: Can Agents Discover Bugs in Interactive Software?
Princeton University（普林斯顿大学）
SWEeper-Bench是含200项真实漏洞任务的基准，用于评估智能体发现交互式软件漏洞的能力，15个前沿智能体中最佳者仅完成59.0%任务，瓶颈为识别漏洞行为。
2026-10-14 cs.SE
From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents
NVIDIA（英伟达）
本文提出一种两阶段SFT方法，通过知识蒸馏实现SWE-bench的最佳性能，通过进化精炼策略提升代码语义和工程流程。
2026-04-02 cs.CL cs.SE
PAIChecker: Uncovering and Checking PR-Issue Misalignment in SWE-Bench-Like Benchmarks
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究针对类SWE-Bench基准中13.6%的PR-Issue不匹配问题，提出多智能体系统PAIChecker，经实验验证其在两类基准上的二元准确率最高达92.12%
2026-08-05 cs.AI cs.SE
Unlocking Model Potentials Through Adaptive Multi-Agent Scaffolding for Efficient Issue Resolution
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon AGI（亚马逊AGI）
提出icat-agent，一种去中心化多智能体脚手架，通过基于事件的消息传递和基于规则的质量检查策略，显著提升复杂软件问题解决效率，在SWE-bench基准上超越现有方法。
2026-06-25 cs.SE
SWE-bench Multimodal: Do AI Systems Generalize to Visual Software Domains?
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；University of Tübingen（蒂宾根大学）；Meta AI；Tübingen AI Center（蒂宾根人工智能中心）
针对现有SWE-bench基准仅覆盖Python文本类软件工程任务的局限，提出多模态基准SWE-bench M，测试AI系统在含视觉元素的JavaScript软件漏洞修复任务上的表现，发现顶尖系统存在能力短板，且SWE-agent凭借语言无关特性表现最优。
2024-10-04 cs.AI cs.CL cs.SE
Exploring the Potential of Conversational Test Suite Based Program Repair on SWE-bench
本研究针对会话式补丁生成在SWE-Bench上的潜力未被专门评估的问题，开展实验验证基于LLaMA 3.1 70B的简单会话流水线的修复效果，达到47%的有效补丁生成率，可媲美当前最优水平。
2024-10-06 cs.AI cs.MA cs.SE
SWE-PolyVision: Benchmarking Cross-Image Abductive Reasoning for Repository-Level Software Engineering
CosmosMind；Peking University（北京大学）；Tsinghua University（清华大学）；HKUST（香港科技大学）；ModCraft；Renmin University of China（中国人民大学）
提出 SWE-PolyVision 基准，含 92 个真实仓库任务和 402 张图像，评估 11 个编码模型在三种视觉访问模式下跨图像溯因推理能力，揭示视觉证据可用性与成功修复之间的差距。
2026-10-16 cs.SE
SPICE: An Automated SWE-Bench Labeling Pipeline for Issue Clarity, Test Coverage, and Effort Estimation
Center for Software Excellence, Huawei Canada（华为加拿大卓越软件中心）
SPICE通过上下文感知代码导航、理由驱动提示和多轮共识，自动为SWE-bench风格数据标注问题清晰度、测试覆盖与工作量，将千例标注成本从约10万美元降至5.10美元，并发布包含6,802个实例的SPICE Bench数据集。
2025-09-18 cs.AI cs.SE
The SWE-Bench Illusion: When State-of-the-Art LLMs Remember Instead of Reason
Purdue University（普渡大学）；Microsoft（微软）
本文指出，SWE-Bench 的高表现可能源于记忆而非推理，通过两个诊断任务揭示模型在软件工程任务中的能力限制。
2025-12-01 cs.AI cs.SE
SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
MBZUAI（莫扎德人工智能大学）；Nanjing University（南京大学）；South China University of Technology（华南理工大学）；The University of New South Wales（新南威尔士大学）
本文提出SWE-Skills-Bench，首个基于需求的基准，评估代理技能在真实软件工程中的边际效用，发现多数技能无明显提升，仅少数专业技能有帮助。
2026-10-28 cs.AI cs.SE
SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?
ScaleAI
本文推出面向长周期企业级软件工程任务的高难度基准SWE-Bench Pro，构建多分区真实任务集并分析现有智能体错误模式，提供抗污染测试床以推进专业级自主软件工程智能体研发。
2025-11-14 cs.CL cs.SE
RepoForge: Training a SOTA Fast-thinking SWE Agent with an End-to-End Data Curation Pipeline Synergizing SFT and RL at Scale
针对软件工程大模型训练的多重瓶颈，研究提出端到端自主流程RepoForge，整合自动化数据生成、高效评估与标注等技术，训练出8B参数量级的非思考型SWE智能体，在SWE-Bench-Verified基准上创下同规模模型新纪录。
2025-09-03 cs.SE
UTBoost: Rigorous Evaluation of Coding Agents on SWE-Bench
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出 UTGenerator 与 UTBoost 框架，通过自动增强真实 Python 项目的测试用例，发现 SWE-Bench 中大量误通过补丁并改变基准排名。
2025-06-10 cs.CL cs.SE
Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving
ByteDance Seed（字节跳动种子团队）
本文提出多语言问题解决基准Multi-SWE-bench，涵盖7种编程语言并包含1,632个高质量实例，基于此评估多种模型方法，同时发起Multi-SWE-RL社区并开源数据生产流程，推动强化学习研究。
2025-04-03 cs.AI cs.CL cs.SE
SWE-Bench++: A Framework for the Scalable Generation of Software Engineering Benchmarks from Open-Source Repositories
Research & Development, Turing（研发与图灵）
SWE-Bench++通过自动化生成多语言软件工程基准，提升仓库级代码生成的评估与改进
2025-12-19 cs.AI cs.CL cs.LG
Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills
AI Data, Alibaba Group（阿里云数据）；Shanghai Jiao Tong University（上海交通大学）
提出Socratic-SWE闭环自进化框架，通过将智能体历史求解轨迹蒸馏为结构化技能，生成针对性修复任务，实现编码智能体的持续自我改进。
2026-06-05 cs.AI cs.SE
SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）；Douyin Group（抖音集团）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）；Monash University（莫纳什大学）
该研究推出SWE-Bench ProMax多语言代码重构基准，含170个跨7种语言的大规模重构任务，经严格筛选后前沿模型仅达41.2%解决率，为AI编码智能体提供挑战性测试。
2026-10-30 cs.CL cs.SE
Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports
Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）
Active-SWE是首个针对无问题报告的主动多漏洞修复任务的编码智能体基准，实验显示现有顶尖编码智能体在该任务上性能有限。
2026-09-30 cs.AI cs.SE
SWE Atlas: Benchmarking Coding Agents Beyond Issue Resolution
SWE Atlas通过涵盖代码库问答、测试编写和重构三个软件工程流程，提供了一种新的基准测试套件，评估编码代理的正确性和工程质量。
2026-05-08 cs.LG cs.SE
SWE-QA: A Dataset and Benchmark for Complex Code Understanding
LRE, EPITA（EPITA研究中心）；Bpifrance（法国国家研究基金会）
本文提出SWE-QA数据集，用于评估多跳代码理解，填补了简化评估任务与真实软件开发中复杂推理之间的差距。数据集包含9072个多选问题，评估多种推理模式，评估15种语言模型显示多跳推理存在显著挑战。
2026-04-27 cs.AI cs.SE
Can Old Tests Do New Tricks for Resolving SWE Issues?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM（国际商业机器公司）
本文提出TestPrune，通过重用回归测试自动最小化测试套件，提升问题复现和修复效率，实验证明在多个基准测试中显著提高复现和修复率。
2026-05-08 cs.SE
TOM-SWE: User Mental Modeling For Software Engineering Agents
Language Technology Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
TOM-SWE通过双代理架构实现用户心理建模，提升软件工程代理的任务成功率和用户满意度。
2026-01-29 cs.AI cs.SE
SWE-Doctor: Guiding Software Engineering Agents with Runtime Diagnosis from Multi-Faceted Bug Reproduction Tests
提出SWE-Doctor，通过生成多面缺陷复现测试并执行调试，构建运行时诊断记录，结合定位信息指导补丁生成，在SWE-bench Verified和Pro上平均解决率分别达75.7%和59.4%。
2026-07-02 cs.AI cs.SE
SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks
GigaCode；ITMO University（ITMO大学）；MWS AI（MWS人工智能）；IITU university（IITU大学）
针对现有软件工程基准测试局限性，提出SWE-MERA动态基准测试，通过自动收集GitHub问题及严格验证确保质量，最小化污染风险，利用Aider编码代理评估多个大型语言模型，展示了其强大区分能力及模型性能表现。
2026-07-14 cs.AI cs.CL cs.SE
SWEPatchTest: Evaluating Software Tests Beyond Reproduction
Baidu Inc.（百度公司）；Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）
该研究提出SWEPatchTest基准，通过联合衡量问题复现、补丁接受与拒绝的JVR评估测试质量，用其优化SFT训练方法，提升了SWE-bench基准上的补丁修复效果。
2026-10-14 cs.AI cs.SE
Reproduction Test Generation for Java SWE Issues
IBM
本文针对Java企业软件中的SWE问题，提出首个Java仓库级再现测试基准TDD-Bench-Java和高绩效的e-Otter++工具，填补了Python以外语言的研究空白。
2026-05-07 cs.SE
SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios
FPT Software AI Center（FPT软件人工智能中心）；School of Computing and Information Systems（计算与信息系统学院）；University of Melbourne（墨尔本大学）；Center of AI Research（人工智能研究中心）；VinUniversity（文大学）
针对现有基准测试仅关注孤立单任务问题，提出SWE-EVO基准，包含48个需跨多文件多步骤修改的长周期任务，实验显示当前智能体在此类任务上表现显著不足。
2026-05-22 cs.AI cs.MA cs.SE
Dissecting the SWE-Bench Leaderboards: Profiling Submitters and Architectures of LLM- and Agent-Based Repair Systems
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文分析了SWE-Bench排行榜上的提交者和架构，揭示了专有LLM的主导地位及不同设计类型。
2026-02-05 cs.AI cs.CL cs.SE
SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
NVIDIA（英伟达）；University of California, Berkeley（加州大学伯克利分校）
SWE-Serve是面向生产推理服务的智能体基准，含53个SGLang任务，揭示本地完成与生产正确性差距，最佳配置平均pass@1为75%。
2026-09-23 cs.AI cs.SE
SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents
Bangladesh University of Engineering and Technology (BUET)（孟加拉国工程技术大学）
本文提出SWE-Shepherd框架，通过引入过程奖励模型为代码代理提供密集的步骤级监督，提升代码代理在大型代码库中的交互效率和动作质量。
2026-04-12 cs.SE
SWE-Explore: Benchmarking How Coding Agents Explore Repositories
Shanghai Jiao Tong University（上海交通大学）；Xinjiang University（新疆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Independent Researcher（独立研究者）；The Chinese University of Hong Kong（香港中文大学）
提出SWE-Explore基准，通过评估编码智能体在给定代码仓库和问题下返回相关代码区域排名列表的能力，衡量其仓库探索性能，覆盖10种编程语言和203个仓库的848个问题。
2026-06-05 cs.CL cs.SE
SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents
Nebius
针对真实世界SWE任务数据稀缺和静态基准易受污染的问题，提出自动化流水线构建了包含超2.1万个任务的SWE-rebench数据集和无污染评估基准，揭示了部分模型因污染导致性能虚高。
2025-11-04 cs.CL cs.SE
SWE-bench Goes Live!
Microsoft（微软）
针对现有 SWE-bench 基准更新滞后、覆盖面窄及依赖人工导致数据污染等问题，本文提出了可实时更新的基准 SWE-bench-Live 及其自动化整理流水线，基于最新 GitHub issues 构建任务，为评估 LLMs 和智能体提供了严格且抗污染的动态环境。
2025-06-01 cs.AI cs.CL cs.SE
SWE-Touch: Benchmarking Coding Agents When Users Touch the Code
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
SWE-Touch基准测试显示，编码智能体对共享工作空间的状态感知不足，反编辑使其解决率降低7.7个百分点，需优化相关协作能力。
2026-08-04 cs.AI cs.CL cs.SE
SWE-Perf: Can Language Models Optimize Code Performance on Real-World Repositories?
Xi’an Jiaotong University（西安交通大学）；TikTok（抖音（TikTok））；National University of Singapore（新加坡国立大学）；University of California San Diego（加州大学圣地亚哥分校）
提出SWE-Perf基准，用于系统评估LLM在真实仓库中的代码性能优化能力，通过140个实例评估发现现有模型与专家水平存在显著差距。
2026-07-02 cs.SE
Investigating Test Overfitting on SWE-bench
IBM；Institute for Clarity in Documentation（文献清晰研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕默研究实验室）
本文研究了在代码仓库问题解决中过度依赖测试导致的测试过拟合问题，分析了自动测试生成系统可能存在的缺陷及改进方法。
2026-04-03 cs.LG cs.SE
Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?
Singapore Management University（新加坡管理大学）；Shanghai Jiao Tong University（上海交通大学）
本研究审计了三个仓库级性能优化基准（GSO、SWE-Perf、SWE-fficiency），发现参考补丁的可复现性差、评分规则导致排名不一致，且多数任务已被公开提交解决，揭示了聚合排名掩盖的性能差距。
2026-07-17 cs.AI cs.SE
Automated Benchmark Generation for Repository-Level Coding Tasks
ETH Zurich（苏黎世联邦理工学院）
本文提出自动化系统 SetUpAgent 以解决仓库级编码基准构建依赖大量人工的问题，并基于其生成覆盖数百仓库的 SWEE-Bench 和面向应用的 SWA-Bench，揭示了现有基准存在显著分布偏差，导致智能体成功率最高下降 40%。
2025-03-10 cs.AI cs.SE
Training Software Engineering Agents and Verifiers with SWE-Gym
UC Berkeley（加州大学伯克利分校）；UIUC（伊利诺伊大学香槟分校）；CMU（卡内基梅隆大学）；Apple（苹果公司）
该研究推出包含2,438个真实Python任务的SWE-Gym训练环境，用于微调SWE智能体并训练基于轨迹的验证器，在SWE-Bench Verified与Lite上取得开放权重模型最先进结果。
2025-06-06 cs.CL cs.SE
Open-SWE-Traces: Advancing Dual-Mode Multilingual Distillation for Software Engineering Agents
NVIDIA（英伟达）
为解决软件工程智能体训练数据稀缺问题，构建包含20万条轨迹、覆盖9种编程语言的数据集，采用混合推理合成方法，微调Qwen3-30B-A3B系列模型，在SWE-bench基准上取得领先性能。
2026-06-16 cs.AI cs.SE
Correct Code, Broken Contributions? SWE-CC: Benchmarking Repository Policy Compliance for Coding Agents
Singapore Management University（新加坡管理大学）；Singapore University of Technology and Design（新加坡科技设计大学）
针对编码代理的仓库策略合规性，提出SWE-CC基准，通过823条原子策略和全面审计机制评估500个任务，发现功能正确但合规性差，43.1%策略被违反。
2026-10-06 cs.AI cs.SE
IndustryCode: A Benchmark for Industry Code Generation
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
本文提出IndustryCode基准，涵盖125个工业挑战和579个子问题，支持多种编程语言，评估大模型在工业场景中的代码生成能力。
2026-04-03 cs.AI cs.CL cs.SE
SWE-InfraBench: Evaluating Language Models on Cloud Infrastructure Code
Amazon Web Services（亚马逊云科技）
提出SWE-InfraBench基准，通过AWS CDK仓库中的真实代码修改任务评估LLM在云基础设施即代码（IaC）上的能力，发现当前最先进模型成功率仅34%。
2026-06-03 cs.SE
Efficient SWE Agent Benchmarking via Trajectory-Aware Evaluation
Sun Yat-sen University（中山大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）；Zhejiang University（浙江大学）
该研究针对软件工程智能体基准评估成本高的问题，提出PTA-IRT框架融合过程与结果信号，在低预算下优于基线，提升了基准评估效率。
2026-09-02 cs.AI cs.CL cs.SE
