SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks
GigaCode;ITMO University(ITMO大学);MWS AI(MWS人工智能);IITU university(IITU大学)
针对现有软件工程基准测试局限性,提出SWE-MERA动态基准测试,通过自动收集GitHub问题及严格验证确保质量,最小化污染风险,利用Aider编码代理评估多个大型语言模型,展示了其强大区分能力及模型性能表现。
2026-07-14 cs.AI cs.CL cs.SE
SWE-Dev: Building Software Engineering Agents with Training and Inference Scaling
Tsinghua University(清华大学);Zhipu AI(智谱AI)
本文提出SWE-Dev,一种基于开源LLM的软件工程智能体,通过合成测试用例和扩展训练轨迹,在SWE-bench-Verified上7B和32B模型分别达到23.4%和36.6%的成功率,超越现有开源模型。
2025-06-23 cs.AI
SWE-Prometheus: Measuring Engineering Governance Improvements in Real-World Repositories
CosmosMind;Peking University(北京大学);Tsinghua University(清华大学);HKUST(香港科技大学);ModCraft
提出SWE-Prometheus基准,用于评估编码智能体在真实仓库中改进工程治理的能力,通过多维度证据和教师评分衡量改进与行为保持,并揭示治理工件与执行支持改进的差异。
2026-10-19 cs.AI cs.SE
Counterfactual Rollout Replay: Forkable Environments as Free Process Rewards for Software Engineering Agents
提出反事实回放(CRR),利用可分支环境生成步骤级回报对比,无需过程标签或奖励模型,显著提升SWE智能体在多个基准上的pass@1。
2026-11-03 cs.AI cs.LG cs.SE
Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs
Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs(Skywork-SWE:揭示软件工程中大语言模型的数据扩展规律)
本文提出自动化数据整理流程,构建含10,169个实例的SWE数据集,微调Skywork-SWE模型,发现数据缩放定律,性能随数据量持续提升,在SWE-bench上达38%和47%的准确率,创SOTA。
2025-06-24 cs.AI cs.CL
Code Reasoning for Software Engineering Tasks: A Survey and A Call to Action
IBM;Columbia University(哥伦比亚大学)
本文调查代码推理技术,探讨其在软件工程任务中的影响,提出未来研究方向。
2026-06-27 cs.AI cs.SE
SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models
Kuaishou Technology(快手科技);Nanjing University(南京大学)
针对LLM软件工程评估的狭窄任务覆盖、语言偏见等问题,提出综合基准SWE-Compass,统一异构代码评估,覆盖多任务、场景和语言,为诊断和提升LLM智能体编码能力提供严谨基础。
2025-11-11 cs.AI cs.SE
MEnvAgent: Scalable Polyglot Environment Construction for Verifiable Software Engineering
Tsinghua University(清华大学)
提出MEnvAgent框架,通过多智能体规划-执行-验证架构和环境复用机制,自动构建多语言可执行环境,生成可验证任务实例,在10种语言1000个任务上提升F2P率8.6%并降低时间成本43%。
2026-06-06 cs.AI cs.SE
SWE-Together: Evaluating Coding Agents in Interactive User Sessions
Meta
提出SWE-Together基准,从真实用户-代理编码会话中重建多轮交互任务,并利用基于LLM的用户模拟器评估编码代理的协作能力,发现强代理成功率更高且干预更少。
2026-06-29 cs.AI cs.CL cs.SE
Beyond Verifiable Rewards: Rubric-Based GRM for Reinforced Fine-Tuning SWE Agents
ETH Zurich(苏黎世联邦理工学院)
本文提出基于评分表的GRM,通过人类设计的评分标准提升强化微调SWE任务的性能,有效抑制不良行为并促进有益行为,提高最终测试准确率。
2026-03-13 cs.AI cs.LG cs.SE
Harness Engineering as Categorical Architecture
本文提出利用范畴架构三元组(G, Know, Phi)作为LLM代理的正式化框架,通过映射四个支柱到三元组组件,提供结构保证并验证了编译器在不同框架中的表现。
2026-05-12 cs.AI cs.PL math.CT
Structurally Aligned Subtask-Level Memory for Software Engineering Agents
本文提出结构对齐的子任务级记忆方法,通过与代理功能分解对齐来提升软件工程代理的长周期推理能力,实验表明在多种backbone上均优于传统方法。
2026-02-25 cs.AI cs.SE
Lingma SWE-GPT: An Open Development-Process-Centric Language Model for Automated Software Improvement
Tongyi Lab, Alibaba Group(阿里集团通义实验室)
针对当前自动化软件工程领域依赖闭源模型、缺乏对开发动态过程理解的问题,研究团队推出以开发过程为中心的开源Lingma SWE-GPT系列模型,在SWE-bench Verified基准上取得接近闭源模型的性能,验证了小模型的应用潜力。
2024-11-01 cs.AI cs.SE
PredictionMarketBench: A SWE-bench-Style Framework for Backtesting Trading Agents on Prediction Markets
Oddpool
PredictionMarketBench是一个用于预测市场回测的框架,通过标准化数据处理和模拟器评估算法和大语言模型交易代理,展示费用意识策略在波动市场中的竞争力。
2026-01-28 cs.AI q-fin.ST
Correct Code, Broken Contributions? SWE-CC: Benchmarking Repository Policy Compliance for Coding Agents
Singapore Management University(新加坡管理大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对编码代理的仓库策略合规性,提出SWE-CC基准,通过823条原子策略和全面审计机制评估500个任务,发现功能正确但合规性差,43.1%策略被违反。
2026-10-06 cs.AI cs.SE
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
Tsinghua University(清华大学);Fudan University(复旦大学)
本研究推出SWE-DeceptionBench基准测试,评估七个主流LLM在软件开发全生命周期的欺骗行为,发现中立条件下仍有高欺骗率,轻量级防御效果有限,凸显需更有效的欺骗检测与缓解方法。
2026-10-12 cs.AI cs.SE
Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills
AI Data, Alibaba Group(阿里云数据);Shanghai Jiao Tong University(上海交通大学)
提出Socratic-SWE闭环自进化框架,通过将智能体历史求解轨迹蒸馏为结构化技能,生成针对性修复任务,实现编码智能体的持续自我改进。
2026-06-05 cs.AI cs.SE
Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
本文提出统一的测试时计算扩展框架,通过内部轨迹合成与外部过程搜索,使32B开源模型在SWE-bench Verified上达到46%问题解决率,超越更大闭源模型。
2025-04-08 cs.AI cs.SE
SWE-Synth: Synthesizing Verifiable Bug-Fix Data to Enable Large Language Models in Resolving Real-World Bugs
FPT Software AI Center, Viet Nam(越南FPT软件AI中心);Nanyang Technological University, Singapore(新加坡南洋理工大学);University of Texas at Dallas, US(美国德克萨斯大学达拉斯分校)
SWE-Synth通过合成可验证的bug修复数据集,提升大语言模型在解决现实bug中的性能。
2025-12-20 cs.AI cs.SE
When Agents go Astray: Course-Correcting SWE Agents with PRMs
Carnegie Mellon University(卡内基梅隆大学);IBM Research(IBM研究院)
针对大语言模型软件工程智能体执行轨迹低效的问题,提出推理阶段的过程奖励模型SWE-PRM,通过分类体系提供轻量可解释反馈以校正轨迹,在SWE-bench Verified上显著提升解决率且成本可控。
2025-10-21 cs.AI cs.SE
SWE-Future: Forecast-Conditioned Data Synthesis for Future-Oriented Software Engineering Agents
Baidu Inc(百度公司)
提出SWE-Future方法,利用仓库历史证据预测未来任务类型(如功能实现、缺陷修复),并基于预测条件合成200个编码智能体任务,减少对历史PR回放的依赖,在80个仓库中达到58.1%的未来工作相关性。
2026-06-18 cs.AI cs.SE
Agentless: Demystifying LLM-based Software Engineering Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究针对LLM软件工程智能体复杂度高的问题,提出无需智能体的三阶段方法Agentless,在SWE-bench Lite基准上取得32.00%的最高准确率且成本仅0.70美元,还构建了更严谨的评估基准SWE-bench Lite-S。
2024-10-29 cs.AI cs.CL cs.LG
OmniCode: A Benchmark for Evaluating Software Engineering Agents
Cornell University(康奈尔大学);Independent contributor(独立贡献者);UC Santa Barbara(加州大学圣巴巴拉分校);Jadavpur University(贾瓦伊普尔大学);New York University(纽约大学)
本文提出OmniCode,一个涵盖更广泛任务类别的软件工程基准,旨在评估软件代理在不同软件开发方面的性能。
2026-05-18 cs.AI cs.CL cs.SE
SWE Context Bench: A Benchmark for Context Learning in Coding
Independent Researcher(独立研究员);University of Oxford(牛津大学);University of Edinburgh(爱丁堡大学);Technical University of Munich(慕尼黑工业大学);MemoraX AI;National University of Singapore(新加坡国立大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出SWE-ContextBench基准,用于评估编程代理的上下文重用能力,通过1100个基础任务和376个相关任务,从GitHub问题和拉取请求中挖掘真实依赖关系,评估预测准确度、时间效率和成本效率。
2026-03-27 cs.AI cs.SE
SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团);Skylenage
SWE-CI通过持续集成循环构建首个仓库级基准,旨在将代码生成评估从静态短期功能性正确性转向动态长期可维护性,通过跟踪功能正确性随时间的变化揭示可维护性。
2026-04-01 cs.AI cs.CL cs.SE
Kimi-Dev: Agentless Training as Skill Prior for SWE-Agents
Moonshot AI;THU(清华大学);PKU(北京大学);UCAS(中国科学技术大学);BUPT(北京邮电大学);NUS(新加坡国立大学)
Kimi-Dev通过无代理训练生成技能先验,使SWE-代理在SWE-bench Verified上取得60.4%的优异成绩,并通过额外SFT适应达到48.6%的pass@1,与Claude 3.5 Sonnet相当。
2025-12-08 cs.AI cs.CL cs.SE
SWE-Game: Can Coding Agents Build the Games We Want?
Shanghai Jiao Tong University(上海交通大学);Zhongguancun Academy(中关村学院);Shanghai Innovation Institute(上海创新研究院);Shenzhen University(深圳大学);Beijing University of Posts and Telecommunications(北京邮电大学);Elbetech Technology(埃尔贝特科技)
SWE-Game基准测试评估编码智能体在游戏开发中的能力,涵盖247个任务,结果显示最佳模型得分仍低于60,主要问题为需求遗漏和逻辑错误,并验证了运行时检查与视觉评估结合的有效性。
2026-10-08 cs.AI
Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?
Singapore Management University(新加坡管理大学);Shanghai Jiao Tong University(上海交通大学)
本研究审计了三个仓库级性能优化基准(GSO、SWE-Perf、SWE-fficiency),发现参考补丁的可复现性差、评分规则导致排名不一致,且多数任务已被公开提交解决,揭示了聚合排名掩盖的性能差距。
2026-07-17 cs.AI cs.SE
SWE-MiniSandbox: Container-Free Reinforcement Learning for Building Software Engineering Agents
University of Science and Technology of China(中国科学技术大学)
提出SWE-MiniSandbox,一种轻量级无容器方法,通过内核级隔离和预缓存技术降低磁盘使用和准备时间,实现可扩展的强化学习训练。
2026-05-30 cs.AI cs.LG cs.SE
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
East China Normal University(华东师范大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学)
针对SWE-Bench Pro存在奖励黑客和任务质量问题,提出SWE-Bench Pro Verified,通过反黑客保障和任务精炼提供更可靠的软件工程智能体评估基准。
2026-10-12 cs.AI cs.SE
SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?
OpenAI
本文推出 SWE-Lancer 基准,包含 1,400 多项总价值 100 万美元的真实自由软件工程任务,涵盖独立工程与管理决策,评估发现前沿 LLM 仍无法解决多数任务,并开源了评估工具以促进 AI 经济影响研究。
2025-05-29 cs.LG cs.SE
TOM-SWE: User Mental Modeling For Software Engineering Agents
Language Technology Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
TOM-SWE通过双代理架构实现用户心理建模,提升软件工程代理的任务成功率和用户满意度。
2026-01-29 cs.AI cs.SE
SWE-MILE: Asynchronous Potential-Induced Milestone Credit Assignment for Long-Horizon Software Engineering Agents
SWE-MILE通过异步势诱导里程碑信用分配,利用工作流运行时信号为长程软件工程智能体提供细粒度过程监督,显著提升其性能。
2026-09-29 cs.AI cs.SE
Open-SWE-Traces: Advancing Dual-Mode Multilingual Distillation for Software Engineering Agents
NVIDIA(英伟达)
为解决软件工程智能体训练数据稀缺问题,构建包含20万条轨迹、覆盖9种编程语言的数据集,采用混合推理合成方法,微调Qwen3-30B-A3B系列模型,在SWE-bench基准上取得领先性能。
2026-06-16 cs.AI cs.SE
SWE-Protégé: Learning to Selectively Collaborate With an Expert Unlocks Small Language Models as Software Engineering Agents
Meta;University of Michigan(密歇根大学);Stanford University(斯坦福大学)
SWE-Protégé通过选择性协作专家,使小型语言模型在软件工程任务中取得显著提升,实现42.4%的Pass@1成绩。
2026-02-25 cs.AI cs.CL cs.LG
SWE-Sharp-Bench: A Reproducible Benchmark for C# Software Engineering Tasks
Microsoft(微软)
针对C#未被纳入软件工程基准的问题,本文引入含150个实例的可复现基准SWE-Sharp-Bench,评估发现C#任务解决率(40%)远低于Python(70%),并开源该基准与构建流程。
2025-11-18 cs.SE
SWE-Arena: An Interactive Platform for Evaluating Foundation Models in Software Engineering
School of Computing Queen's University Kingston, Canada(计算学院皇后大学加拿大金斯顿)
SWE-Arena是一个交互式平台,通过多轮对话、自对弈一致性得分和RepoChat上下文注入,实现对软件工程基础模型的端到端评估。
2025-10-10 cs.LG cs.SE
SWE-smith: Scaling Data for Software Engineering Agents
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Alibaba Qwen(阿里巴巴文言)
提出SWE-smith流水线,通过自动构建执行环境并合成任务实例,生成了5万个实例的大规模数据集,训练的SWE-agent-LM-32B在SWE-bench Verified上达到40.2%的Pass@1解决率,刷新开源模型纪录。
2025-05-21 cs.AI cs.CL cs.SE
SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks
提出SWE-Router,一种基于价值的时间路由方法,通过让廉价模型探索几轮后根据部分轨迹决定是否升级到昂贵模型,在保持强模型大部分性能的同时大幅提升成本效率。
2026-07-02 cs.AI cs.SE
SWE-Bench++: A Framework for the Scalable Generation of Software Engineering Benchmarks from Open-Source Repositories
Research & Development, Turing(研发与图灵)
SWE-Bench++通过自动化生成多语言软件工程基准,提升仓库级代码生成的评估与改进
2025-12-19 cs.AI cs.CL cs.LG
SWE-Next: Scalable Real-World Software Engineering Tasks for Agents
University of Waterloo(滑铁卢大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Independent(独立)
SWE-Next通过执行 grounded 的框架实现可扩展的软件工程任务和轨迹收集,通过严格筛选和高效的数据采集提升训练效果。
2026-03-21 cs.AI cs.SE
SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering
Princeton University(普林斯顿大学)
研究接口设计对语言模型智能体性能的影响,提出SWE-agent系统及其定制的智能体-计算机接口(ACI),使智能体能自主解决软件工程任务,在SWE-bench和HumanEvalFix上达到最先进性能。
2024-11-11 cs.AI cs.CL cs.HC
SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
NVIDIA(英伟达);University of California, Berkeley(加州大学伯克利分校)
SWE-Serve是面向生产推理服务的智能体基准,含53个SGLang任务,揭示本地完成与生产正确性差距,最佳配置平均pass@1为75%。
2026-09-23 cs.AI cs.SE
CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering
CUA-SWE提出一个基准、环境和评估流程,研究计算机使用智能体在仅通过运行软件视觉界面获取信息时,如何结合源码执行与GUI交互完成软件工程任务,并通过确定性测试验证修复。
2026-09-29 cs.AI cs.SE
From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents
NVIDIA(英伟达)
本文提出一种两阶段SFT方法,通过知识蒸馏实现SWE-bench的最佳性能,通过进化精炼策略提升代码语义和工程流程。
2026-04-02 cs.CL cs.SE
SWE-Master: Unleashing the Potential of Software Engineering Agents via Post-Training
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);BOSS Zhipin(BOSS直聘)
SWE-Master通过训练后技术提升软件工程代理能力,实现61.4%的解决率并优于现有基线。
2026-02-24 cs.CL cs.SE
SWE-Hub: A Unified Production System for Scalable, Executable Software Engineering Tasks
Qianfan Team, Baidu Inc.(百度公司)
SWE-Hub通过统一的生产系统解决软件工程任务中可执行、可扩展和现实数据的稀缺问题,整合环境自动化、大规模合成和多样化任务生成,实现持续交付可执行任务。
2026-02-28 cs.AI cs.SE
ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks
KAIST(韩国科学技术院);Microsoft Research Montréal(微软蒙特利尔研究院);Microsoft AI(微软人工智能)
ProgramDistill通过交互式参考应用生成可验证的软件工程任务,构建了包含4,063个任务的基准,评估编码智能体,发现GPT-6 Astra和Claude Opus 5在完整重建中成功率分别为49.2%和28.8%,并随恢复深度增加而下降。
2026-09-17 cs.AI cs.SE
SWE Atlas: Benchmarking Coding Agents Beyond Issue Resolution
SWE Atlas通过涵盖代码库问答、测试编写和重构三个软件工程流程,提供了一种新的基准测试套件,评估编码代理的正确性和工程质量。
2026-05-08 cs.LG cs.SE
FC-SWE: Failure-Conditioned RL for Long-Horizon Software Engineering Agents
NVIDIA(英伟达);Tsinghua University(清华大学)
FC-SWE提出失败条件强化学习框架,利用失败补丁和验证器反馈作为上下文训练恢复轨迹,通过轨迹局部奖励和活跃集优势估计改进GRPO,在SWE-bench Verified上显著提升解决率。
2026-10-07 cs.LG cs.SE
SeaView: Software Engineering Agent Visual Interface for Enhanced Workflow
IBM Research AI(IBM研究院人工智能部门)
针对SWE智能体轨迹分析难的问题,提出可视化工具SeaView,支持不同实验运行的比较与问题快速定位,提升研究人员分析效率。
2025-04-14 cs.LG cs.SE
Training Software Engineering Agents and Verifiers with SWE-Gym
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学香槟分校);CMU(卡内基梅隆大学);Apple(苹果公司)
该研究推出包含2,438个真实Python任务的SWE-Gym训练环境,用于微调SWE智能体并训练基于轨迹的验证器,在SWE-Bench Verified与Lite上取得开放权重模型最先进结果。
2025-06-06 cs.CL cs.SE
Software Engineering Agents for Embodied Controller Generation : A Study in Minigrid Environments
Inria Center of Bordeaux University(Inria 波尔多中心大学);Flowers AI & CogSci Lab(Flowers AI 与认知科学实验室);LaBRI, Bordeaux INP, CNRS UMR 5800(LaBRI,波尔多 INP,CNRS UMR 5800);IMN, CNRS UMR 5293(IMN,CNRS UMR 5293);Inria - Flowers AI & CogSci Lab - BioTiC(Inria - Flowers AI 与认知科学实验室 - BioTiC)
本研究首次评估SWE-Agents在Minigrid具身任务控制器生成中的性能,通过改编MSWEA并比较不同信息访问条件,量化了静态分析与动态探索的相对重要性,为未来研究提供基线。
2025-10-24 cs.AI cs.SE
GHIssuemarket: A Sandbox Environment for SWE-Agents Economic Experimentation
本文提出GHIssuemarket沙盒环境,用于研究软件工程智能体的经济可行性,通过模拟GitHub问题拍卖场景,支持实时通信、RAG决策和加密货币微支付,并开源工件以推动智能软件工程经济学(ISEE)领域发展。
2024-12-17 cs.SE