Guided Search Strategies in Non-Serializable Environments with Applications to Software Engineering Agents
Nebius
针对大语言模型在多步任务中性能不稳定、现有搜索技术不适用于不可序列化环境的问题,提出两种由动作-价值函数引导的搜索策略,在SWE-bench Verified基准上显著提升了开源与闭源模型的软件工程任务成功率。
2025-05-19 cs.CL cs.SE
Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs
Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs(Skywork-SWE:揭示软件工程中大语言模型的数据扩展规律)
本文提出自动化数据整理流程,构建含10,169个实例的SWE数据集,微调Skywork-SWE模型,发现数据缩放定律,性能随数据量持续提升,在SWE-bench上达38%和47%的准确率,创SOTA。
2025-06-24 cs.AI cs.CL
SWE-bench Goes Live!
Microsoft(微软)
针对现有 SWE-bench 基准更新滞后、覆盖面窄及依赖人工导致数据污染等问题,本文提出了可实时更新的基准 SWE-bench-Live 及其自动化整理流水线,基于最新 GitHub issues 构建任务,为评估 LLMs 和智能体提供了严格且抗污染的动态环境。
2025-06-01 cs.AI cs.CL cs.SE
Advances and Frontiers of LLM-based Issue Resolution in Software Engineering: A Comprehensive Survey
Sun Yat-sen University(中山大学);Hangzhou Normal University(杭州师范大学);Zhejiang University(浙江大学);Huawei Technologies Co, Ltd(华为技术有限公司);Chongqing University(重庆大学)
本文全面调查了大语言模型在软件工程中问题解决的进展与前沿,分析了数据构建、方法和技术挑战,并提供了开源资源。
2026-01-15 cs.CL cs.SE
HE-SNR: Uncovering Latent Logic via Entropy for Guiding Mid-Training on SWE-bench
School of Mathematical Sciences, Peking University, Beijing, China(北京大学数学科学学院);Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(中国科学院计算技术研究所)
针对SWE-bench基准,提出基于熵压缩假说的HE-SNR指标,通过细粒度熵分析指导中期训练数据筛选,在高达560B参数模型上验证有效性。
2026-05-28 cs.CL cs.LG cs.SE
SWE-Edit: Rethinking Code Editing for Efficient SWE-Agent
Microsoft(微软);Department of Computer Sciences, University of Wisconsin–Madison(威斯康星大学麦迪逊分校计算机科学系);Stanford Institute for Human-Centered Artificial Intelligence (HAI), Stanford University(斯坦福大学人机交互研究所)
提出SWE-Edit框架,通过将代码编辑分解为查看器和编辑器两个子智能体,解决上下文耦合问题,在SWE-Bench Verified上提升解决率2.1个百分点并降低推理成本17.9%,且通过GRPO训练小模型实现高效编辑格式选择。
2026-05-26 cs.CL cs.SE
SWE-Dev: Evaluating and Training Autonomous Feature-Driven Software Development
Shanghai Jiao Tong University(上海交通大学);Beijing University of Aeronautics and Astronautics(北京航空航天大学);The Chinese University of Hong Kong(香港中文大学);University of Michigan(密歇根大学)
SWE-Dev是一个大规模数据集,用于评估和训练自主编码系统在特征驱动软件开发中的能力,通过提供可运行环境和单元测试提升模型性能。
2026-02-06 cs.CL cs.SE
SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution
Meta AI;University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
SWE-RL通过强化学习提升大语言模型在软件工程领域的推理能力,实现了41.0%的解决率,超越了现有中等规模LLM的性能。
2025-12-01 cs.AI cs.CL cs.SE
Process-Level Trajectory Evaluation for Environment Configuration in Software Engineering Agents
Youtu-LLM Team, Tencent Youtu Lab(腾讯优设实验室);Sun Yat-sen University(中山大学);The Hong Kong Polytechnic University(香港理工大学)
针对软件工程智能体环境配置评估仅看端到端结果、难定位问题的现状,提出Enconda-bench基准,通过自动构建带真实README错误的任务,从过程级评估智能体多维度能力,发现智能体定位错误易但修正反馈难的问题。
2025-10-29 cs.AI cs.CL cs.SE
Observability and Chaos Engineering on System Calls for Containerized Applications in Docker
在本文中,我们提出了一种新的故障注入系统称为ChaosOrca的系统调用在容器化的应用程序。ChaosOrca旨在评估给定应用程序在系统调用错误方面的自我保护能力。ChaosOrca的独特之处在于,它可以在类似生产的工作负载下进行实验,而无需对应用程序进行检测。我们详尽地分析了各种系统调用,并利用不同层次的监控技术,原因扰动下的行为。我们评估ChaosOrca在三个现实世界的应用程序:文件传输客户端,反向代理服务器和面向微服务的Web应用程序。我们的研究结果表明,它是有前途的检测与系统调用问题的弹性机制的弱点。
2021-01-29 cs.SE
Multi-Docker-Eval: A `Shovel of the Gold Rush' Benchmark on Automatic Environment Building for Software Engineering
Peking University(北京大学);Moonshot AI(月之暗面)
Multi-Docker-Eval基准通过评估自动环境构建的性能,揭示了当前模型在成功率、效率及影响因素上的关键发现,为构建全自动SWE流水线提供指导。
2025-12-12 cs.SE
Training Long-Context, Multi-Turn Software Engineering Agents with Reinforcement Learning
本文提出结合拒绝微调(RFT)与基于DAPO的同步强化学习流水线,训练长上下文多轮软件工程智能体,在SWE-bench Verified上将Qwen2.5-72B的Pass@1提升至39%,证明开放权重模型在多轮交互任务上的潜力。
2025-10-10 cs.CL cs.LG cs.SE
SWE-AGI: Benchmarking Specification-Driven Software Construction with MoonBit in the Era of Autonomous Agents
The Hong Kong University of Science and Technology(香港科学与技术大学)
SWE-AGI通过MoonBit评估LLM在规范驱动下的软件构建能力,揭示了AI辅助开发中代码阅读瓶颈及模型性能随任务难度变化的特性。
2026-02-11 cs.AI cs.CL cs.SE
OmniCode: A Benchmark for Evaluating Software Engineering Agents
Cornell University(康奈尔大学);Independent contributor(独立贡献者);UC Santa Barbara(加州大学圣巴巴拉分校);Jadavpur University(贾瓦伊普尔大学);New York University(纽约大学)
本文提出OmniCode,一个涵盖更广泛任务类别的软件工程基准,旨在评估软件代理在不同软件开发方面的性能。
2026-05-18 cs.AI cs.CL cs.SE
daVinci-Env: Open SWE Environment Synthesis at Scale
本文提出OpenSWE,一个大规模透明的软件工程代理训练框架,包含45320个可执行Docker环境,通过多代理合成管道和质量过滤流程,实现高效学习和高质量训练。
2026-10-26 cs.AI cs.CL cs.SE
SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团);Skylenage
SWE-CI通过持续集成循环构建首个仓库级基准,旨在将代码生成评估从静态短期功能性正确性转向动态长期可维护性,通过跟踪功能正确性随时间的变化揭示可维护性。
2026-04-01 cs.AI cs.CL cs.SE
Kimi-Dev: Agentless Training as Skill Prior for SWE-Agents
Moonshot AI;THU(清华大学);PKU(北京大学);UCAS(中国科学技术大学);BUPT(北京邮电大学);NUS(新加坡国立大学)
Kimi-Dev通过无代理训练生成技能先验,使SWE-代理在SWE-bench Verified上取得60.4%的优异成绩,并通过额外SFT适应达到48.6%的pass@1,与Claude 3.5 Sonnet相当。
2025-12-08 cs.AI cs.CL cs.SE
SWE-Debate: Competitive Multi-Agent Debate for Software Issue Resolution
Shanghai Jiao Tong University(上海交通大学);Huawei(华为);Xidian University(西安电子科技大学)
针对现有软件问题解决智能体易陷局部解、难识别跨代码库问题模式的缺陷,提出多智能体辩论框架SWE-Debate,通过故障传播轨迹与三轮辩论收敛修复方案,在SWE-bench基准上取得开源智能体框架的最优结果。
2025-07-31 cs.CL cs.LG cs.SE
SWE-Adept: An LLM-Based Agentic Framework for Deep Codebase Analysis and Structured Issue Resolution
Electrical and Computer Engineering, Purdue University(电子工程与计算机工程系,普渡大学)
提出SWE-Adept双代理框架,通过代理引导的深度优先搜索进行代码定位,结合自适应规划和结构化问题解决,在SWE-Bench上提升端到端解决率最多4.3%。
2026-09-29 cs.CL cs.LG cs.SE
SWE-Fixer: Training Open-Source LLMs for Effective and Efficient GitHub Issue Resolution
Shanghai AI Laboratory(上海人工智能实验室);Xidian University(西安电子科技大学);The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
本文提出开源框架 SWE-Fixer,通过粗到细文件检索与代码编辑两模块高效解决 GitHub 问题,并在 SWE-Bench 基准上以极少模型调用取得领先性能。
2025-05-07 cs.CL
SWE-AGILE: A Software Agent Framework for Efficiently Managing Dynamic Reasoning Context
Microsoft(微软)
SWE-AGILE通过动态推理上下文策略平衡推理深度与效率,实现高效多轮软件工程任务处理,实验证明其在SWE-Bench-Verified上优于7B-8B模型。
2026-04-13 cs.AI cs.CL
Context as a Tool: Context Management for Long-Horizon SWE-Agents
Beihang University(北航大学);Manchester(曼彻斯特);Ubiquant
CAT通过整合上下文管理工具,提升SWE代理的长周期推理能力,实验表明其在SWE-Bench-Verified上达到57.6%的解决率,显著优于现有方法。
2025-12-26 cs.CL
SWE-Exp: Experience-Driven Software Issue Resolution
Shanghai Jiao Tong University(上海交通大学);Huawei(华为);Xidian University(西安电子科技大学)
SWE-Exp通过提炼历史经验实现软件问题解决的持续学习,显著提升修复效率。
2026-02-02 cs.CL cs.LG cs.SE
Synthetic Sandbox for Training Machine Learning Engineering Agents
Meta AI
本文提出SandMLE框架,通过生成多样化的合成机器学习工程环境,显著提升机器学习工程代理的训练效率,实现大规模在线策略学习,并在多个基准测试中取得显著性能提升。
2026-04-06 cs.CL cs.LG
Agentless: Demystifying LLM-based Software Engineering Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究针对LLM软件工程智能体复杂度高的问题,提出无需智能体的三阶段方法Agentless,在SWE-bench Lite基准上取得32.00%的最高准确率且成本仅0.70美元,还构建了更严谨的评估基准SWE-bench Lite-S。
2024-10-29 cs.AI cs.CL cs.LG
Dockerless: Environment-Free Program Verifier for Coding Agents
提出Dockerless,一种无需执行代码即可验证补丁正确性的智能体验证器,通过智能体仓库探索收集证据判断补丁正确性,在验证基准上超越最强开源验证器14.3 AUC点,并实现完全无环境的训练后流程。
2026-06-26 cs.AI cs.SE
From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents
NVIDIA(英伟达)
本文提出一种两阶段SFT方法,通过知识蒸馏实现SWE-bench的最佳性能,通过进化精炼策略提升代码语义和工程流程。
2026-04-02 cs.CL cs.SE
Docker Does Not Guarantee Reproducibility
Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎理工学院)
本文通过文献综述和实证研究,评估 Docker 镜像的实际可重现性,并探讨最佳实践的有效性。
2026-01-19 cs.SE
Training Software Engineering Agents and Verifiers with SWE-Gym
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学香槟分校);CMU(卡内基梅隆大学);Apple(苹果公司)
该研究推出包含2,438个真实Python任务的SWE-Gym训练环境,用于微调SWE智能体并训练基于轨迹的验证器,在SWE-Bench Verified与Lite上取得开放权重模型最先进结果。
2025-06-06 cs.CL cs.SE
Patterns of Multi-Container Composition for Service Orchestration with Docker Compose
本文通过构建使用 Docker Compose 的成功开源项目数据集并分析其配置,识别出反复出现的多容器组合模式,为服务编排实践和软件工程实证研究提供参考。
2024-05-08 cs.SE
SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents
Nebius
针对真实世界SWE任务数据稀缺和静态基准易受污染的问题,提出自动化流水线构建了包含超2.1万个任务的SWE-rebench数据集和无污染评估基准,揭示了部分模型因污染导致性能虚高。
2025-11-04 cs.CL cs.SE
SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?
本研究推出SWE-bench Science基准,含20个领域98个仓库的119项任务,评估发现最优智能体pass@1低于50%,揭示科学软件工程的挑战,分析四类失败机制并经消融实验明确科学知识的作用,为编码智能体研究提供测试平台。
2026-09-02 cs.CL cs.SE
SWE-Sharp-Bench: A Reproducible Benchmark for C# Software Engineering Tasks
Microsoft(微软)
针对C#未被纳入软件工程基准的问题,本文引入含150个实例的可复现基准SWE-Sharp-Bench,评估发现C#任务解决率(40%)远低于Python(70%),并开源该基准与构建流程。
2025-11-18 cs.SE
SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?
ScaleAI
本文推出面向长周期企业级软件工程任务的高难度基准SWE-Bench Pro,构建多分区真实任务集并分析现有智能体错误模式,提供抗污染测试床以推进专业级自主软件工程智能体研发。
2025-11-14 cs.CL cs.SE
SWE-smith: Scaling Data for Software Engineering Agents
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Alibaba Qwen(阿里巴巴文言)
提出SWE-smith流水线,通过自动构建执行环境并合成任务实例,生成了5万个实例的大规模数据集,训练的SWE-agent-LM-32B在SWE-bench Verified上达到40.2%的Pass@1解决率,刷新开源模型纪录。
2025-05-21 cs.AI cs.CL cs.SE
GHIssuemarket: A Sandbox Environment for SWE-Agents Economic Experimentation
本文提出GHIssuemarket沙盒环境,用于研究软件工程智能体的经济可行性,通过模拟GitHub问题拍卖场景,支持实时通信、RAG决策和加密货币微支付,并开源工件以推动智能软件工程经济学(ISEE)领域发展。
2024-12-17 cs.SE
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
East China Normal University(华东师范大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学)
针对SWE-Bench Pro存在奖励黑客和任务质量问题,提出SWE-Bench Pro Verified,通过反黑客保障和任务精炼提供更可靠的软件工程智能体评估基准。
2026-10-12 cs.AI cs.SE
SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?
OpenAI
本文推出 SWE-Lancer 基准,包含 1,400 多项总价值 100 万美元的真实自由软件工程任务,涵盖独立工程与管理决策,评估发现前沿 LLM 仍无法解决多数任务,并开源了评估工具以促进 AI 经济影响研究。
2025-05-29 cs.LG cs.SE
TOM-SWE: User Mental Modeling For Software Engineering Agents
Language Technology Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
TOM-SWE通过双代理架构实现用户心理建模,提升软件工程代理的任务成功率和用户满意度。
2026-01-29 cs.AI cs.SE
SWE-Protégé: Learning to Selectively Collaborate With an Expert Unlocks Small Language Models as Software Engineering Agents
Meta;University of Michigan(密歇根大学);Stanford University(斯坦福大学)
SWE-Protégé通过选择性协作专家,使小型语言模型在软件工程任务中取得显著提升,实现42.4%的Pass@1成绩。
2026-02-25 cs.AI cs.CL cs.LG
SWE-MILE: Asynchronous Potential-Induced Milestone Credit Assignment for Long-Horizon Software Engineering Agents
SWE-MILE通过异步势诱导里程碑信用分配,利用工作流运行时信号为长程软件工程智能体提供细粒度过程监督,显著提升其性能。
2026-09-29 cs.AI cs.SE
Open-SWE-Traces: Advancing Dual-Mode Multilingual Distillation for Software Engineering Agents
NVIDIA(英伟达)
为解决软件工程智能体训练数据稀缺问题,构建包含20万条轨迹、覆盖9种编程语言的数据集,采用混合推理合成方法,微调Qwen3-30B-A3B系列模型,在SWE-bench基准上取得领先性能。
2026-06-16 cs.AI cs.SE
APEX-SWE
Mercor
本文提出软件工程AI生产力基准APEX-SWE,设置两类贴合真实场景的任务,评估11款前沿模型性能,发现认知规范性是模型表现优异的核心驱动因素,并开源相关评估资源。
2026-03-23 cs.AI cs.CL cs.SE
SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering
Princeton University(普林斯顿大学)
研究接口设计对语言模型智能体性能的影响,提出SWE-agent系统及其定制的智能体-计算机接口(ACI),使智能体能自主解决软件工程任务,在SWE-bench和HumanEvalFix上达到最先进性能。
2024-11-11 cs.AI cs.CL cs.HC
SWE-Bench++: A Framework for the Scalable Generation of Software Engineering Benchmarks from Open-Source Repositories
Research & Development, Turing(研发与图灵)
SWE-Bench++通过自动化生成多语言软件工程基准,提升仓库级代码生成的评估与改进
2025-12-19 cs.AI cs.CL cs.LG
SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
MBZUAI(莫扎德人工智能大学);Nanjing University(南京大学);South China University of Technology(华南理工大学);The University of New South Wales(新南威尔士大学)
本文提出SWE-Skills-Bench,首个基于需求的基准,评估代理技能在真实软件工程中的边际效用,发现多数技能无明显提升,仅少数专业技能有帮助。
2026-10-28 cs.AI cs.SE
SWE-MiniSandbox: Container-Free Reinforcement Learning for Building Software Engineering Agents
University of Science and Technology of China(中国科学技术大学)
提出SWE-MiniSandbox,一种轻量级无容器方法,通过内核级隔离和预缓存技术降低磁盘使用和准备时间,实现可扩展的强化学习训练。
2026-05-30 cs.AI cs.LG cs.SE
SWE-Replay: Efficient Test-Time Scaling for Software Engineering Agents
Siebel School of Computing(计算科学系);Data Science, University of Illinois Urbana-Champaign, USA(数据科学,伊利诺伊大学厄巴纳-香槟分校)
SWE-Replay通过重用历史轨迹和动态选择探索或利用策略,实现了高效且可推广的软件工程代理测试时间扩展。
2026-02-05 cs.AI cs.LG cs.SE
SWE-Arena: An Interactive Platform for Evaluating Foundation Models in Software Engineering
School of Computing Queen's University Kingston, Canada(计算学院皇后大学加拿大金斯顿)
SWE-Arena是一个交互式平台,通过多轮对话、自对弈一致性得分和RepoChat上下文注入,实现对软件工程基础模型的端到端评估。
2025-10-10 cs.LG cs.SE
SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks
提出SWE-Router,一种基于价值的时间路由方法,通过让廉价模型探索几轮后根据部分轨迹决定是否升级到昂贵模型,在保持强模型大部分性能的同时大幅提升成本效率。
2026-07-02 cs.AI cs.SE
SWE-Next: Scalable Real-World Software Engineering Tasks for Agents
University of Waterloo(滑铁卢大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Independent(独立)
SWE-Next通过执行 grounded 的框架实现可扩展的软件工程任务和轨迹收集,通过严格筛选和高效的数据采集提升训练效果。
2026-03-21 cs.AI cs.SE
SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
NVIDIA(英伟达);University of California, Berkeley(加州大学伯克利分校)
SWE-Serve是面向生产推理服务的智能体基准,含53个SGLang任务,揭示本地完成与生产正确性差距,最佳配置平均pass@1为75%。
2026-09-23 cs.AI cs.SE
CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering
CUA-SWE提出一个基准、环境和评估流程,研究计算机使用智能体在仅通过运行软件视觉界面获取信息时,如何结合源码执行与GUI交互完成软件工程任务,并通过确定性测试验证修复。
2026-09-29 cs.AI cs.SE
SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents
Sun Yat-sen University(中山大学);Zhejiang University(浙江大学);Chongqing University(重庆大学)
SWE-Gate基准结合功能测试与审查约束评估,发现仅通过功能测试的软件工程智能体中约34%未满足审查约束,仅功能评估会高估智能体的修复能力。
2026-09-04 cs.AI cs.SE