SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?
本研究推出SWE-bench Science基准，含20个领域98个仓库的119项任务，评估发现最优智能体pass@1低于50%，揭示科学软件工程的挑战，分析四类失败机制并经消融实验明确科学知识的作用，为编码智能体研究提供测试平台。
2026-09-02 cs.CL cs.SE
Adversarial Testing of Automated Program Repair Agents for Security Vulnerabilities
York University（约克大学）；George Mason University（乔治梅森大学）；Columbia University（哥伦比亚大学）
本研究通过构建SWEADV基准并测试多个APR智能体，发现对抗性问题描述可诱导51.7%的恶意修复，现有检测机制准确率低，表明自主APR智能体尚不能安全用于生产。
2026-09-15 cs.CR cs.SE
SWE-Synth: Synthesizing Verifiable Bug-Fix Data to Enable Large Language Models in Resolving Real-World Bugs
FPT Software AI Center, Viet Nam（越南FPT软件AI中心）；Nanyang Technological University, Singapore（新加坡南洋理工大学）；University of Texas at Dallas, US（美国德克萨斯大学达拉斯分校）
SWE-Synth通过合成可验证的bug修复数据集，提升大语言模型在解决现实bug中的性能。
2025-12-20 cs.AI cs.SE
Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills
AI Data, Alibaba Group（阿里云数据）；Shanghai Jiao Tong University（上海交通大学）
提出Socratic-SWE闭环自进化框架，通过将智能体历史求解轨迹蒸馏为结构化技能，生成针对性修复任务，实现编码智能体的持续自我改进。
2026-06-05 cs.AI cs.SE
How Do LLMs Read Bug Reports? An Empirical Study of Attention in LLMs for Automated Program Repair
Drexel University（德雷塞尔大学）；IBM Research（IBM研究院）
研究基于大语言模型的自动程序修复中模型注意力模式，通过分析319个真实错误，探究其在错误报告各部分的分布、成功与失败修复的注意力差异及与开发者重视信息的比较，发现注意力分配错误是失败关键因素，为改进系统提供见解。
2026-07-29 cs.AI cs.SE
RepoRepair: Leveraging Code Documentation for Repository-Level Automated Program Repair
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；Human Language Technology Research Institute, University of Texas at Dallas（人机语言技术研究院，德克萨斯大学达拉斯分校）
RepoRepair通过生成代码文档增强LLM能力，实现仓库级别的自动程序修复，取得高修复率和低成本的优异表现。
2026-03-01 cs.AI cs.SE
How Safe Are AI-Generated Patches? A Large-scale Study on Security Risks in LLM and Agentic Automated Program Repair on SWE-bench
Drexel University（德雷塞尔大学）；Virginia Commonwealth University（弗吉尼亚共同wealth大学）
本研究评估了LLM和代理框架生成补丁的安全性，发现LLM引入新漏洞，代理工作流在自主权高时也产生漏洞，需考虑上下文因素进行风险评估。
2026-11-03 cs.CR cs.LG cs.SE
BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models
State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Luxembourg（卢森堡大学）
BoostAPR通过基于执行的强化学习与双奖励模型，解决程序修复中反馈稀疏和奖励粗粒度的问题，实现40.7%的SWE-bench Verified准确率，展现强大的跨语言泛化能力。
2026-09-21 cs.AI cs.SE
SemAgent: A Semantics Aware Program Repair Agent
Columbia University（哥伦比亚大学）
针对现有程序修复智能体过度局部化、缺乏语义理解的问题，提出SemAgent，利用执行、问题和代码语义生成完整补丁，在SWEBench-Lite上达到44.66%的解决率，优于其他工作流方法。
2025-06-19 cs.AI cs.MA cs.SE
A Single Patch Is Not Enough: Deterministic Fusion of Repair Candidates
Yanshan University（燕山大学）；Beijing Guoyan Network Data Technology Co., Ltd.（北京国燕网络数据技术有限公司）；Peking University（北京大学）；Google（谷歌）；University of Melbourne（墨尔本大学）；University of Luxembourg（卢森堡大学）；Aalto University（阿尔托大学）
针对代码修复中候选补丁池的“pass@k到pass@1”差距，提出PatchFusion方法，通过确定性原子证据融合选择并构造最终补丁，无需测试结果，在三个基准上优于现有选择器。
2026-07-03 cs.SE
ARISE: A Repository-level Graph Representation and Toolset for Agentic Program Repair and Fault Localization
针对现有图智能体缺乏过程内数据流建模的问题，提出多粒度程序图工具集ARISE，支持语句级数据流切片查询，大幅提升智能体故障定位与程序修复性能。
2026-07-07 cs.AI cs.SE
SWE-PolyVision: Benchmarking Cross-Image Abductive Reasoning for Repository-Level Software Engineering
CosmosMind；Peking University（北京大学）；Tsinghua University（清华大学）；HKUST（香港科技大学）；ModCraft；Renmin University of China（中国人民大学）
提出 SWE-PolyVision 基准，含 92 个真实仓库任务和 402 张图像，评估 11 个编码模型在三种视觉访问模式下跨图像溯因推理能力，揭示视觉证据可用性与成功修复之间的差距。
2026-10-16 cs.SE
FailureMem: A Failure-Aware Multimodal Framework for Autonomous Software Repair
Nanjing University（南京大学）；SenseTime（秒速）；The Chinese University of Hong Kong（香港中文大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出FailureMem框架，通过融合工作流代理、主动感知工具和故障记忆库，提升多模态自动程序修复的效率与准确性，实验表明其在GUI修复任务中解决率提升3.7%。
2026-03-18 cs.AI cs.SE
SWE-Exp: Experience-Driven Software Issue Resolution
Shanghai Jiao Tong University（上海交通大学）；Huawei（华为）；Xidian University（西安电子科技大学）
SWE-Exp通过提炼历史经验实现软件问题解决的持续学习，显著提升修复效率。
2026-02-02 cs.CL cs.LG cs.SE
RGFL: Reasoning Guided Fault Localization for Automated Program Repair Using Large Language Models
York University（约克大学）
RGFL通过引入分层推理模块和反事实分析，提升自动化程序修复中的文件和元素级故障定位精度，显著提高修复成功率。
2026-01-25 cs.SE
EXPEREPAIR: Dual-Memory Enhanced LLM-based Repository-Level Program Repair
University of Chinese Academy of Sciences（中国科学院大学）；State Key Laboratory of Intelligent Game, Institute of Software, CAS（智能游戏国家重点实验室，软件研究所，中国科学院）；Beihang University（北京航空航天大学）；York University（约克大学）
ExpeRepair通过双记忆系统提升LLM在仓库级程序修复中的表现，通过动态提示生成和历史修复经验复用，实现更高效的修复性能。
2026-05-08 cs.SE
CI-Repair-Bench: A Repository-Aware Benchmark for Automated Patch Validation via CI Workflows
Software Performance, Analysis, and Reliability (SPEAR) Lab, Concordia University（康科迪亚大学软件性能、分析与可靠性实验室）
CI-Repair-Bench通过真实GitHub Actions执行构建，提供仓库级程序修复基准，包含567个CI失败实例，细粒度评估12种CI错误类型，揭示自动化修复在局部和工具强制失败上效果最佳，但环境依赖等问题仍具挑战。
2026-04-29 cs.SE
Red Teaming Program Repair Agents: When Correct Patches can Hide Vulnerabilities
Columbia University（哥伦比亚大学）；University of Southern California（南加州大学）
本文提出SWExploit，通过对抗性GitHub issue诱导APR智能体生成功能正确但含漏洞的补丁，实验攻击成功率最高达0.91，揭示仅以测试通过评估补丁安全性的范式缺陷。
2026-10-30 cs.SE
Externalizing Requirement-to-Repair Artifacts as Observable Traces for LLM-Based Program Repair
Rikkyo University（立教大学）
本文提出THEMIS，一种通过外部化需求到修复过程的可观察工件来支持仓库级程序修复的工作流，实验表明其能有效提升修复效果并支持跨阶段审计。
2026-09-15 cs.AI cs.SE
Empirical Review of Java Program Repair Tools: A Large-Scale Experiment on 2,141 Bugs and 23,551 Repair Attempts
在过去的十年中，基于测试套件的自动程序修复的研究有了显着增长。每年，新的方法和实现都会出现在主要的软件工程场所。然而，大多数这些方法都是在单一的bug基准上进行评估的，其他研究人员也很少复制这些bug。在本文中，我们提出了一个大规模的实验，使用11个Java测试套件为基础的修复工具和5个基准的错误。我们的目标是更好地了解自动程序修复工具在大量基准测试中的现状。我们的调查是指导的假设，修复工具的可修复性可能不会在不同的基准程序错误的一般化。我们发现，这11个工具1）能够为5个基准测试中21%的bug生成补丁，2）与其他基准测试相比，在Defects 4J上具有更好的性能，通过为Defects 4J中47%的bug生成补丁，而其他基准测试中的bug只有10-30%。我们的实验总共包括23，551次修复尝试，我们用来找到非补丁生成的原因。本文对这些原因进行了分析，有助于维修工具设计人员改进技术和工具。
2019-05-28 cs.SE
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
East China Normal University（华东师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
针对SWE-Bench Pro存在奖励黑客和任务质量问题，提出SWE-Bench Pro Verified，通过反黑客保障和任务精炼提供更可靠的软件工程智能体评估基准。
2026-10-12 cs.AI cs.SE
How Many Tries Does It Take? Iterative Self-Repair in LLM Code Generation Across Model Scales and Benchmarks
Independent Researcher（独立研究员）
研究探讨了在不同模型规模和基准测试中，通过迭代自修复提高代码生成正确率的方法，发现自修复显著提升了通过率，且现代模型无需微调即可实现有效自修复。
2026-04-12 cs.AI cs.SE
Bug Report Specification Refinement with Trajectory Guidance for Automated Program Repair
Concordia University（康考迪亚大学）；DePaul University（德保罗大学）；University of Manitoba（曼尼托巴大学）
研究针对自动程序修复中错误报告规范不完善的问题，提出TrajSpec方法，通过轨迹引导收集证据并组织成三级表示，经审查生成细化报告，实验表明该方法能有效提高修复性能。
2026-07-10 cs.SE
From Historical Patches to Repair Plans: Outcome-Conditioned Reasoning for Repository-Level Program Repair
Concordia University（康科迪亚大学）
提出条件推理蒸馏（ConRAD），通过从已验证补丁反向重构修复推理并蒸馏出结果一致的阶段性修复计划，在推理时引导故障定位和补丁生成，无需微调或搜索，在SWE-Bench Lite上显著提升Pass@1。
2026-05-27 cs.SE
Saving SWE-Bench: A Benchmark Mutation Approach for Realistic Agent Evaluation
Microsoft（微软）
本文提出一种基准突变方法，通过分析开发者与聊天代理的互动模式，将现有基准转化为现实用户查询，揭示现有基准对代理能力的高估问题。
2026-01-23 cs.AI cs.SE
SWE Context Bench: A Benchmark for Context Learning in Coding
Independent Researcher（独立研究员）；University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）；Technical University of Munich（慕尼黑工业大学）；MemoraX AI；National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出SWE-ContextBench基准，用于评估编程代理的上下文重用能力，通过1100个基础任务和376个相关任务，从GitHub问题和拉取请求中挖掘真实依赖关系，评估预测准确度、时间效率和成本效率。
2026-03-27 cs.AI cs.SE
From Benchmark Data To Applicable Program Repair: An Experience Report
National University of Singapore（国立新加坡大学）；Oracle Labs Brisbane, Australia（Oracle布里斯班实验室）
本文报告了将学术程序修复技术应用于工业缺陷的经验，发现形式化规范能提升LLM生成测试的质量，但基准成功不等于实际可用，并指出JML表达力不足等挑战及未来探索方向。
2025-08-22 cs.AI cs.SE
HEJ-Robust: A Robustness Benchmark for LLM-Based Automated Program Repair
Concordia University（康科迪亚大学）
本文提出HEJ-Robust基准，通过八种语义保持的代码转换生成1450个实例，评估五种微调LLM，在多种转换下模型性能下降超50%，揭示当前LLM修复模型缺乏对细微语法变化的鲁棒性。
2026-05-08 cs.SE
Experimental Settings in LLM-Based Program Repair: A Study of Inputs, Tool Access, Feedback, and Validation
Pennsylvania State University（宾夕法尼亚州立大学）
本研究针对基于LLM的程序修复实验设置不明确的问题，提出显式规范框架和机器可读模式，以提升可复现性和跨系统比较的清晰度。
2026-09-17 cs.SE
Probe to Generate: Program Variant-Guided Test Augmentation for Repository-Level Repair Benchmarks
Concordia University（康考迪亚大学）
本文提出STING框架，通过语义改变的程序变体增强回归测试，提高基准测试的可靠性。实验显示，77%的实例存在至少一个存活变体，测试覆盖率提升，修复率下降，揭示了基准测试的不足。
2026-08-07 cs.SE
PAIChecker: Uncovering and Checking PR-Issue Misalignment in SWE-Bench-Like Benchmarks
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究针对类SWE-Bench基准中13.6%的PR-Issue不匹配问题，提出多智能体系统PAIChecker，经实验验证其在两类基准上的二元准确率最高达92.12%
2026-08-05 cs.AI cs.SE
A Comprehensive Study of Automatic Program Repair on the QuixBugs Benchmark
自动程序修复论文倾向于重复使用相同的基准。这对程序修复研究团体的研究结果的外部有效性构成了威胁。在本文中，我们进行了一个实证研究的自动修复的基准称为菜的错误，这是很少研究。本文首先分析了菜bug的特点;其次研究了10种程序修复工具对菜bug的修复效果;最后采用三种补丁正确性评估技术对菜bug中过拟合补丁的存在进行了综合研究。我们的主要成果是：1）菜Bugs中有16/40的bug程序可以用至少一个测试集足够的补丁来修复; 2）所考虑的工具在菜Bugs上总共生成了338个合理的补丁，其中53.3%的补丁根据我们的人工评估是过拟合的; 3）RGT_Evosuite、RGT_InputSampling和GT_Invariants三种自动补丁正确性评估技术的准确率达到98.2%，过拟合检测率分别为80.8%和58.3%。据我们所知，这是最大的菜虫自动修复的实证研究，结合了定量和定性的见解。我们所有的实验结果都可以在GitHub上公开获得，以促进未来对自动程序修复的研究。
2020-09-28 cs.SE
Critical Review of BugSwarm for Fault Localization and Program Repair
基准测试在评估解决方案的效率和有效性以自动化软件开发生命周期的几个阶段方面发挥着重要作用。此外，如果设计得好，它们也可以作为一个重要的人工制品来比较不同的方法。BugSwarm是最近发布的一个基准测试，其中包含3，091对失败和通过的持续集成构建。根据作者的说法，基准测试的设计考虑到了自动程序修复和故障定位社区。鉴于针对这些社区的基准应该具有几个特征（例如，一个错误的声明需要存在），我们已经剖析了基准，以充分了解基准是否适合这些社区。我们的批判性分析发现，在基准测试中有几个限制：只有112/3，091（3.6%）适合评估自动故障定位或程序修复技术。
2019-05-22 cs.SE
SWE-bench Multimodal: Do AI Systems Generalize to Visual Software Domains?
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；University of Tübingen（蒂宾根大学）；Meta AI；Tübingen AI Center（蒂宾根人工智能中心）
针对现有SWE-bench基准仅覆盖Python文本类软件工程任务的局限，提出多模态基准SWE-bench M，测试AI系统在含视觉元素的JavaScript软件漏洞修复任务上的表现，发现顶尖系统存在能力短板，且SWE-agent凭借语言无关特性表现最优。
2024-10-04 cs.AI cs.CL cs.SE
SWE-Sharp-Bench: A Reproducible Benchmark for C# Software Engineering Tasks
Microsoft（微软）
针对C#未被纳入软件工程基准的问题，本文引入含150个实例的可复现基准SWE-Sharp-Bench，评估发现C#任务解决率（40%）远低于Python（70%），并开源该基准与构建流程。
2025-11-18 cs.SE
On the Role of Fault Localization Context for LLM-Based Program Repair
York University（约克大学）
研究探讨了LLM基于程序修复中故障定位上下文的影响，发现文件级上下文对修复性能提升显著，而元素级和行级上下文效果不一，LLM检索优于传统方法。
2026-04-07 cs.AI cs.SE
SWEPatchTest: Evaluating Software Tests Beyond Reproduction
Baidu Inc.（百度公司）；Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）
该研究提出SWEPatchTest基准，通过联合衡量问题复现、补丁接受与拒绝的JVR评估测试质量，用其优化SFT训练方法，提升了SWE-bench基准上的补丁修复效果。
2026-10-14 cs.AI cs.SE
SPICE: An Automated SWE-Bench Labeling Pipeline for Issue Clarity, Test Coverage, and Effort Estimation
Center for Software Excellence, Huawei Canada（华为加拿大卓越软件中心）
SPICE通过上下文感知代码导航、理由驱动提示和多轮共识，自动为SWE-bench风格数据标注问题清晰度、测试覆盖与工作量，将千例标注成本从约10万美元降至5.10美元，并发布包含6,802个实例的SPICE Bench数据集。
2025-09-18 cs.AI cs.SE
Towards a Benchmark Set for Program Repair Based on Partial Fixes
软件缺陷显著增加了软件成本，并增加了系统故障的风险。近年来，已经提出了许多自动程序修复方法来自动修复不期望的程序行为。尽管他们取得了巨大的成功，但一些具体的问题，如用部分修复来修复bug，仍然没有得到解决。对已知软件问题的部分修复是程序员第一次尝试修复问题失败。即使失败，此修复尝试仍然会传递重要信息，例如可疑软件区域和错误类型。在这项工作中，我们不提出一种方法，部分修复程序修复，而是回答一个初步的问题：部分修复经常发生足够的，一般来说，是相关的自动程序修复的研究领域？我们在GitHub上抓取了1500个开源C代码库来进行部分修复。其结果是基于部分修复的自动程序修复的2204个基准任务的基准集。基准集是开源的，并开放进一步的贡献和改进。
2021-07-16 cs.PL cs.SE
The SWE-Bench Illusion: When State-of-the-Art LLMs Remember Instead of Reason
Purdue University（普渡大学）；Microsoft（微软）
本文指出，SWE-Bench 的高表现可能源于记忆而非推理，通过两个诊断任务揭示模型在软件工程任务中的能力限制。
2025-12-01 cs.AI cs.SE
To Run or Not to Run: Analyzing the Cost-Effectiveness of Code Execution in LLM-Based Program Repair
Beihang University（北京航空航天大学）；Wuhan University（武汉大学）；Singapore Management University（新加坡管理大学）
通过分析SWE-bench上的代理轨迹和端到端修复尝试，发现代码执行在LLM程序修复中普遍使用但效益不均，限制执行可节省成本且不影响修复成功率。
2026-06-26 cs.SE
DroidBugs: An Android Benchmark for Automated Program Repair
自动程序修复是一个新兴的研究领域。针对不同的程序设计语言和平台，已经提出了许多APR技术，并在几个基准上进行了评估。然而，据我们所知，目前还没有一个基于移动项目的定义良好的基准，因此，利用APR方法进行移动开发存在差距。因此，关于全球Android应用程序的数量，我们介绍了DroidBugs，这是一个基于对360个Android开放项目的分析的介绍性基准，每个项目的下载量都超过5,000次。从五个应用程序中，DroidBugs包含13个单一的bug，这些bug根据暴露它们的测试类型进行分类。通过使用一个名为Astor 4Android的APR工具和两个常见的故障定位策略，我们观察到发现和修复移动错误是多么具有挑战性。
2018-10-12 cs.SE
SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
MBZUAI（莫扎德人工智能大学）；Nanjing University（南京大学）；South China University of Technology（华南理工大学）；The University of New South Wales（新南威尔士大学）
本文提出SWE-Skills-Bench，首个基于需求的基准，评估代理技能在真实软件工程中的边际效用，发现多数技能无明显提升，仅少数专业技能有帮助。
2026-10-28 cs.AI cs.SE
Monte Carlo Tree Search for Execution-Guided Program Repair with Large Language Models
Illinois Institute of Technology Chicago, USA（伊利诺伊理工学院芝加哥分校）
CodePilot结合MCTS和大语言模型，通过执行反馈引导程序修复，实现高效的问题解决。
2026-01-28 cs.LG cs.SE
SWE-bench-java: A GitHub Issue Resolving Benchmark for Java
Chinese Academy of Science（中国科学院）；Peking University（北京大学）；Huawei Co., Ltd.（华为公司）
为满足工业界对多编程语言支持的需求，本文开发了SWE-bench的Java版本SWE-bench-java，并发布数据集、基于Docker的评估环境和排行榜，通过实现SWE-agent并测试多个LLM验证了其可靠性。
2024-08-26 cs.AI cs.CL cs.SE
Benchmark Dataset Generation and Evaluation for Excel Formula Repair with LLMs
Microsoft（微软）
本文针对Excel公式修复缺乏高质量数据集的问题，提出基于论坛种子样本和LLM-as-a-Judge验证的数据生成流水线，构建了618个样本的基准，并提出上下文感知修复基线，评估了多种LLMs的性能。
2025-08-14 cs.AI cs.SE
Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving
ByteDance Seed（字节跳动种子团队）
本文提出多语言问题解决基准Multi-SWE-bench，涵盖7种编程语言并包含1,632个高质量实例，基于此评估多种模型方法，同时发起Multi-SWE-RL社区并开源数据生产流程，推动强化学习研究。
2025-04-03 cs.AI cs.CL cs.SE
Detect--Repair--Verify for LLM-Generated Code: A Multi-Language, Multi-Granularity Empirical Study
Concordia University（麦科德大学）
本文通过检测-修复-验证工作流评估LLM生成代码的安全性，发现多阶段修复能提升安全性和正确性，但修复可靠性依赖于修复范围和测试基础。
2026-03-24 cs.SE
SWE-Bench+: Enhanced Coding Benchmark for LLMs
本研究针对SWE-bench编程基准开展数据质量实证分析，发现其存在解决方案泄露、测试用例薄弱、潜在数据泄露等问题，过滤问题样本后SWE-Agent+GPT-4的解决率大幅下降，相关问题也存在于该基准的两个变体中。
2024-10-10 cs.SE
Benchmarking Educational Program Repair
Aalto University（阿尔托大学）；University of Auckland（奥克兰大学）
针对教育程序修复缺乏统一评测的问题，本文构建公开基准与统一流程，提出 rouge@k 指标，并评估五个模型建立基线。
2024-05-08 cs.AI cs.CL cs.CY
SWE-Doctor: Guiding Software Engineering Agents with Runtime Diagnosis from Multi-Faceted Bug Reproduction Tests
提出SWE-Doctor，通过生成多面缺陷复现测试并执行调试，构建运行时诊断记录，结合定位信息指导补丁生成，在SWE-bench Verified和Pro上平均解决率分别达75.7%和59.4%。
2026-07-02 cs.AI cs.SE
Defects4C: Benchmarking Large Language Model Repair Capability with C/C++ Bugs
Singapore Management University（新加坡管理大学）；Tianjin University（天津大学）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学软件新技术国家重点实验室）；Nanyang Technological University（南洋理工大学）
Defects4C通过提供高质量C/C++漏洞基准测试，评估大语言模型在修复C/C++程序中的有效性，揭示当前技术的局限性并推动未来研究。
2025-12-02 cs.SE
SWE-Bench++: A Framework for the Scalable Generation of Software Engineering Benchmarks from Open-Source Repositories
Research & Development, Turing（研发与图灵）
SWE-Bench++通过自动化生成多语言软件工程基准，提升仓库级代码生成的评估与改进
2025-12-19 cs.AI cs.CL cs.LG
A Metamorphic Testing Approach to Diagnosing Memorization in LLM-Based Program Repair
JetBrains Research（JetBrains研究）；Delft University of Technology（代尔夫特理工大学）
本文通过结合元测试与负对数似然，揭示LLM程序修复中数据泄露问题，发现模型在变换基准上的修复成功率显著下降，与NLL值高度相关。
2026-04-23 cs.AI cs.SE
