AInsteinBench: Benchmarking Coding Agents on Scientific Repositories
Princeton University(普林斯顿大学)
AInsteinBench通过评估大型语言模型在科学计算开发中的能力,提供了一个基于真实科研软件生态系统的基准测试。
2025-12-24 cs.AI cs.PL cs.SE
Trustworthy Runtime Error Healing in Real-World Repositories: A Benchmark and Guardrail
Sun Yat-sen University(中山大学);Singapore Management University(新加坡管理大学);Monash University(莫纳什大学)
本文提出HealBench基准和HealGuard护栏,用于在真实仓库中安全地进行LLM运行时错误修复,实验显示现有智能体能修复部分崩溃,但HealGuard以较高误报率检测潜在风险。
2026-10-01 cs.AI cs.SE
EnvBench: A Benchmark for Automated Environment Setup
JetBrains Research(JetBrains研究院)
本文提出 EnvBench 基准,涵盖 994 个具有真实配置挑战的 Python 与 JVM 仓库,并以静态分析和编译检查自动评估多种 LLM 方法,结果显示当前环境配置成功率仍很低。
2025-03-18 cs.LG cs.SE
Vero: Can AI Agents Build Formally Verified Software Repositories?
University of Chicago(芝加哥大学);California Institute of Technology(加州理工学院);Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);Amazon Web Services(亚马逊云计算服务);Apodex
研究推出首个仓库级验证软件综合基准Vero,含43个多模块实例,评估发现前沿智能体仅解决27个实例,为相关研究提供测试平台。
2026-08-14 cs.AI cs.LG cs.LO
Automated Customization of LLMs for Enterprise Code Repositories Using Semantic Scopes
IBM Research Yorktown Heights New York, USA(IBM研究院扬斯敦高地新 York 美国)
本文提出基于语义范围的LLM企业代码仓库自动化定制方法,通过RAG和FT策略提升代码生成精度,提高开发者生产力。
2026-02-05 cs.AI cs.SE
SWE-Prometheus: Measuring Engineering Governance Improvements in Real-World Repositories
CosmosMind;Peking University(北京大学);Tsinghua University(清华大学);HKUST(香港科技大学);ModCraft
提出SWE-Prometheus基准,用于评估编码智能体在真实仓库中改进工程治理的能力,通过多维度证据和教师评分衡量改进与行为保持,并揭示治理工件与执行支持改进的差异。
2026-10-19 cs.AI cs.SE
SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
该研究推出首个评估LLM搭建执行研究仓库任务能力的基准SUPER,含三类问题集,实验发现GPT-4o等SOTA模型表现不佳,可为相关研究提供评估资源。
2024-09-11 cs.AI cs.CL cs.SE
CodexGraph: Bridging Large Language Models and Code Repositories via Code Graph Databases
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
研究旨在解决大型语言模型处理整个代码库的难题,提出通过将LLM代理与代码库图数据库接口集成的CodexGraph系统,利用图数据库特性实现精确上下文检索和代码导航,经多基准评估及实际应用开发,展现其在软件工程中的竞争力与潜力。
2026-07-28 cs.AI cs.CL cs.SE
eyeballvul: a future-proof benchmark for vulnerability detection in the wild
本研究推出eyeballvul漏洞检测基准,基于开源漏洞流每周更新,用LLM评分器评估模型长上下文漏洞检测能力,截至2024年7月已包含超2.4万个漏洞。
2024-07-13 cs.AI cs.CR cs.LG
SWE-Tester: Training Open-Source LLMs for Issue Reproduction in Real-World Repositories
SWE-Tester通过训练开源大语言模型生成问题重现测试,提高了在真实世界仓库中解决软件问题的效率和准确性。
2026-09-09 cs.LG cs.SE
RepoMaster: Autonomous Exploration and Understanding of GitHub Repositories for Complex Task Solving
UCAS(中国科学技术大学);CASIA(中国科学院自动化研究所);BUPT(北京邮电大学);PKU(北京大学);NUS(新加坡国立大学);StepFun;THU(清华大学);SCNU(华南师范大学);USTC(中国科学技术大学);SDU(山东大学)
针对代码智能体难以利用GitHub仓库解决复杂任务的问题,提出RepoMaster自主框架,通过构建函数调用图等识别核心组件并优化上下文,在两个基准测试中显著提升任务表现并降低token消耗。
2025-08-25 cs.AI cs.SE
RepoLaunch: Automating Build and Management of Code Repositories across Languages and Platforms
Microsoft(微软)
RepoLaunch通过自动化依赖解析、编译和测试结果提取,提升了多语言多平台代码仓库的构建效率,其构建成功率达78%,并展示了全自动SWE数据集创建流程。
2026-11-17 cs.LG cs.MA cs.SE
TypyBench: Evaluating LLM Type Inference for Untyped Python Repositories
University of Toronto(多伦多大学);Vector Institute(向量研究所);CIFAR AI Chair(CIFAR人工智能主席)
本研究推出评估大语言模型Python仓库类型推断能力的基准TypyBench,含TypeSim、TypeCheck两项新指标,实验发现LLM类型相似度尚可但嵌套类型处理与仓库级一致性不足,为相关研究指明新方向。
2025-07-28 cs.AI cs.PL cs.SE
ATime-Consistent Benchmark for Repository-Level Software Engineering Evaluation
本文提出时间一致性基准方法,通过冻结仓库时间点并利用历史代码知识评估未来任务,展示提示构造对软件工程评估的重要性。
2026-03-27 cs.AI cs.SE
AdaRepair-Mem: Adaptive Experience Orchestration for Repository-Level Program Repair
Zhejiang University(浙江大学);Tencent(腾讯)
针对仓库级程序修复中记忆不平衡、冗余和阶段错配问题,提出自适应经验检索框架,通过覆盖感知、质量选择和阶段路由提升修复性能。
2026-09-18 cs.AI cs.SE
Zero2Repo: Can Coding Agents Build Repositories from Scratch?
Gradient Data;McGill University(麦吉尔大学);Carnegie Mellon University(卡内基梅隆大学);University of The Cumberlands(坎伯兰大学);Queen’s University(女王大学);MIT(麻省理工学院);University College London, University of London(伦敦大学学院);University of California, San Diego(加州大学圣地亚哥分校)
本文提出Zero2Repo基准,用于评估编码智能体从零构建代码仓库的能力,通过语言无关流水线生成任务并验证,发现最强智能体在11个任务中仅解决10个,失败多源于规范细节遗漏。
2026-10-20 cs.AI cs.SE
A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents
Singapore Management University(新加坡管理大学);Monash University Malaysia(马来西亚莫纳什大学);Daegu Gyeongbuk Institute of Science and Technology (DGIST)(大邱庆北科学技术院);The Chinese University of Hong Kong(香港中文大学);North Carolina State University(北卡罗来纳州立大学);City University of Hong Kong(香港城市大学);The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
该研究推出SWE-RPG编码智能体基准,评估发现主流编码智能体在该基准上平均解决率仅31.5%,隐性需求恢复是主要瓶颈,为改进编码智能体提供了方向。
2026-08-11 cs.AI cs.SE
Towards Repository-Level Program Verification with Large Language Models
University of Toronto(多伦多大学)
针对现有LLM程序验证局限于函数级、难处理仓库级跨模块依赖的问题,提出首个仓库级验证基准RVBench与结合检索增强生成和上下文感知提示的RagVerus框架,显著提升证明通过率,提供可扩展高效的验证方案。
2025-08-31 cs.AI cs.PL cs.SE
Challenges and Pitfalls of Machine Learning Evaluation and Benchmarking
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
越来越复杂和多样化的机器学习(ML)模型以及硬件/软件堆栈(统称为“ML工件”)正在被提出-导致ML的多样化景观。提出的这些ML创新已经超过了研究人员分析,研究和适应它们的能力。这是加剧了复杂的,有时不可重现的ML评估程序。共享ML工件的一个常见做法是通过存储库,工件作者在存储库中发布临时代码和一些文档,但通常无法为其他人提供关键信息以重现其结果。这导致用户无法与工件作者的声明进行比较,或者使模型适应他/她自己的使用。本文讨论了ML评估和基准测试的常见挑战和陷阱,可用作ML模型作者共享ML工件时的指南,以及系统开发人员在基准测试或设计ML系统时的指南。
2019-06-25 cs.AI cs.LG cs.SE
Repo2Run: Automated Building Executable Environment for Code Repository at Scale
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));ByteDance, Beijing(字节跳动)
本文提出 Repo2Run,利用基于 LLM 的智能体迭代构建 Docker 镜像、运行测试并生成 Dockerfile,以大规模自动构建代码仓库可执行环境,在 420 个 Python 仓库上达到 86.0% 成功率。
2025-10-19 cs.AI cs.CL cs.LG
Skeleton-Guided-Translation: A Benchmarking Framework for Code Repository Translation with Fine-Grained Quality Evaluation
Microsoft(微软);Peking University(北京大学);Zhejiang University(浙江大学);Tongji University(同济大学)
针对现有代码翻译基准忽略仓库级复杂性的问题,提出基于骨架引导的Java到C#仓库翻译框架及细粒度评估基准TRANSREPO-BENCH,通过两步翻译和测试用例级指标提升评估准确性与自动化。
2025-01-27 cs.AI cs.SE
Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms
Intrinsec AI
本文提出CSTM-Bench基准数据集,通过信息瓶颈方法评估跨会话检测,并引入CSR_prefix指标,用于评估检测算法的召回率与服务稳定性。
2026-04-22 cs.AI cs.CL cs.CR
Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks
CISPA Helmholtz Center for Information Security(CISPA海德堡信息安全研究中心);University of Waterloo(滑铁卢大学);Flexera(Flexera公司)
本文通过系统研究31个LLM安全基准及382篇非基准论文,发现仅39%的基准仓库可直接运行,且缺乏伦理考量。研究揭示社区采用基准与作者声望和代码运行性相关,但与代码质量无关,指出安全基准可能存在安全隐患和不可比性问题。
2026-05-14 cs.AI cs.CR cs.SE
RepoRepair: Leveraging Code Documentation for Repository-Level Automated Program Repair
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);Human Language Technology Research Institute, University of Texas at Dallas(人机语言技术研究院,德克萨斯大学达拉斯分校)
RepoRepair通过生成代码文档增强LLM能力,实现仓库级别的自动程序修复,取得高修复率和低成本的优异表现。
2026-03-01 cs.AI cs.SE
CommitDistill: A Lightweight Knowledge-Centric Memory Layer for Software Repositories
Microsoft Corporation(微软公司)
本文提出CommitDistill,一种轻量级的知识导向内存层,通过确定性正则表达式从本地git历史中提取类型化知识单元,并通过TF-IDF检索器进行检索,以提高软件仓库中历史信息的利用率。
2026-05-18 cs.AI cs.SE
CRUST-Bench: A Comprehensive Benchmark for C-to-safe-Rust Transpilation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);New York University(纽约大学)
本研究推出包含100个C仓库及配套安全Rust接口、测试用例的CRUST-Bench基准,用于评估C到安全Rust的转译效果,实验发现前沿大语言模型在该任务上表现不佳,最佳模型单轮仅能解决15个任务。
2025-10-01 cs.CL cs.LG cs.SE
DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks
Datacurve
研究针对编码智能体评估,指出多数基准测试存在的问题。提出DeepSWE基准测试,其任务从零编写,用手写验证器评分,能避免相关问题,在区分智能体等方面表现出色,还发布了基准测试等相关内容。
2026-07-10 cs.LG cs.SE
HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases
HDLxGraph通过整合HDL图特性与RAG,提升LLM在HDL任务中的搜索、调试和完成准确率。
2026-03-09 cs.AR cs.CL cs.LG
E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch
Meta Superintelligence Labs(元超级智能实验室)
该基准E2E-SWE通过186个跨11种语言的整仓库生成任务评估LLM智能体从零构建可用代码库的能力,发现pass@1在11.7%至67.7%间波动,凸显系统级推理需求。
2026-10-01 cs.AI cs.SE
LEAN-GitHub: Compiling GitHub LEAN repositories for a versatile LEAN prover
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对形式化定理证明数据稀缺的问题,本文提出了从GitHub提取大规模数据的LEAN-GitHub数据集,并基于此微调InternLM-math-plus模型,在多个Lean 4基准测试上达到了最先进水平。
2024-07-24 cs.AI cs.CL
Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?
Department of Computer Science(计算机科学系);ETH Zurich(苏黎世联邦理工学院)
通过SWE-bench任务和开发者提交的上下文文件,评估发现上下文文件并未普遍提升编码助手的任务成功率,反而平均增加20%以上的推理成本。
2026-09-30 cs.AI cs.SE
Identifying Latent Declarative Representations of Code for Assisting Repository Migration
BITS Pilani(BITS Pilani( Pilani 理工学院));UNSW Sydney(新南威尔士大学悉尼分校)
该研究针对遗留代码仓库迁移难题,提出 ADFD-Migrate 方法,通过显式化代码的隐式声明式表示提升移植效果,在新基准 f2x50 上取得优于对比方法的移植正确性与完整性。
2026-08-26 cs.AI cs.SE
SWE-bench Goes Live!
Microsoft(微软)
针对现有 SWE-bench 基准更新滞后、覆盖面窄及依赖人工导致数据污染等问题,本文提出了可实时更新的基准 SWE-bench-Live 及其自动化整理流水线,基于最新 GitHub issues 构建任务,为评估 LLMs 和智能体提供了严格且抗污染的动态环境。
2025-06-01 cs.AI cs.CL cs.SE
LEGION: Harnessing Pre-trained Language Models for GitHub Topic Recommendations with Distribution-Balance Loss
Hanoi University of Science and Technology(河内理工大学);The University of Melbourne(墨尔本大学);Università degli studi dell’Aquila(拉奎拉大学)
针对GitHub代码仓库主题推荐现有方法语义理解不足的问题,提出结合预训练语言模型、分布平衡损失与过滤机制的Legion方法,在基准数据集上显著优于现有方法。
2024-03-09 cs.IR cs.LG cs.SE
RAG-Verus: Repository-Level Program Verification with LLMs using Retrieval Augmented Generation
University of Toronto(多伦多大学)
针对现有函数中心方法忽略的跨模块依赖与全局上下文挑战,提出RagVerus框架,结合检索增强生成与上下文感知提示实现多模块仓库自动证明合成,在新RepoVBench基准获27%相对提升,受限预算下将现有基准证明通过率提高三倍。
2025-02-07 cs.AI cs.SE
GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging
UCAS(中国科学技术大学);CASIA(中国科学院自动化研究所);BUPT(北京理工大学);NUS(新加坡国立大学);StepFun;HKUST(香港理工大学);SDU(山东大学);PINAI;USYD(悉尼大学);PKU(北京大学);USTC(中国科学技术大学)
本文提出 GitTaskBench 基准,通过涵盖 7 种模态和 7 个领域的 54 个真实任务及自动化评估工具,系统评估代码智能体利用大规模代码仓库解决实际问题的能力,并引入 alpha-value 指标量化经济效益,实验表明现有先进系统仍面临挑战,多因环境设置和依赖解析失败。
2025-09-14 cs.AI cs.SE
From Past to Present: A Survey of Malicious URL Detection Techniques, Datasets and Code Repositories
Hangzhou Institute of Technology,Xidian University,Hangzhou,310000,Zhejiang,China(杭州科技学院,西安电子科技大学,杭州,310000,浙江,中国)
本文综述了恶意URL检测技术,提出基于数据模态的新分类法,系统梳理传统方法到Transformer、GNNs和LLMs等深度学习方法,并整理公开数据集与开源实现,为标准化基准测试和未来研究提供指导。
2025-06-01 cs.CR cs.LG
AutoP2C: An LLM-Based Agent Framework for Code Repository Generation from Multimodal Content in Academic Papers
University of Science and Technology of China(中国科学技术大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出AutoP2C,一种基于LLM的多智能体框架,用于将学术论文的多模态内容自动转化为可执行代码仓库,在八篇论文基准上全部成功,优于OpenAI-o1和DeepSeek-R1。
2025-05-24 cs.AI cs.SE
FeatBench: Towards More Realistic Evaluation of Feature-level Code Generation
College of AI, Tsinghua University(清华大学人工智能学院);University of Electronic Science and Technology of China(电子科技大学);Nanjing University(南京大学)
FeatBench提出了一种新的特征级代码生成评估基准,通过真实任务输入和动态数据构建,解决现有基准的局限性,并揭示了代理在实现中的激进行为问题。
2026-02-18 cs.AI cs.CL cs.SE
CrossCodeEval: A Diverse and Multilingual Benchmark for Cross-File Code Completion
Columbia University(哥伦比亚大学);AWS AI Labs(亚马逊云科技AI实验室)
提出跨文件代码补全基准CrossCodeEval,基于多语言真实仓库,通过静态分析构造需跨文件上下文的示例,实验表明现有模型性能受限,可用于评估补全与检索能力。
2023-11-17 cs.CL cs.LG cs.SE
IDE-Bench: Evaluating Large Language Models as IDE Agents on Real-World Software Engineering Tasks
IDE-Bench通过IDE原生工具接口评估大型语言模型作为IDE代理在真实软件工程任务中的表现,提供首个系统性的多语言全栈环境评估框架。
2026-01-30 cs.LG cs.SE
Where are we now? A large benchmark study of recent symbolic regression methods
University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们提供了一个广泛的基准最近的遗传编程方法的背景下,最先进的机器学习方法的符号回归。我们使用了一组近100个回归基准测试问题,这些问题是从网络上的开源存储库中挑选出来的。我们对最近的四种符号回归方法以及scikit-learn的九种机器学习方法进行了严格的基准测试。结果表明,符号回归表现强劲相比,国家的最先进的梯度提升算法,虽然在运行时间是最慢的可用方法。我们详细讨论了结果,并指出未来的研究方向,可能会让符号回归获得更广泛的采用在机器学习社区。
2018-06-07 cs.LG cs.NE
SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents
SJTU(上海交通大学);XJTU(西安交通大学);NUS(新加坡国立大学);QuantaAlpha(量子Alpha);THU(清华大学);SUFE(上海财经大学);NTU(国立.ntu);PKU(北京大学);UCAS(中国科学技术大学)
本文提出SkillGenBench,一个用于评估LLM代理技能生成流水线的基准测试,通过统一可控的协议评估技能生成过程,涵盖任务条件生成和任务无关生成两种模式,以及基于仓库和文档的两种程序来源,揭示技能生成在不同数据源中的表现差异。
2026-05-18 cs.AI
GRASP: A Grid-Based Benchmark for Evaluating Commonsense Spatial Reasoning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
针对现有常识空间推理基准多评估文本解读而非规划生成的问题,本文构建了含16000个网格环境的大规模基准GRASP,对比经典方法与先进LLM的表现,发现先进LLM仍难持续得到满意解。
2025-01-17 cs.AI cs.CL
ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code
Nanjing University(南京大学);Peking University(北京大学);Yale University(耶鲁大学)
ML-Bench是一个基于真实仓库代码的基准,评估LLMs和智能体在机器学习任务上的表现,包含9,641个示例,发现GPT-4o在Pass@5上超过50%,但在智能体设置中达到76.47%的成功率。
2024-08-21 cs.AI cs.CL
DI-BENCH: Benchmarking Large Language Models on Dependency Inference with Testable Repositories at Scale
Microsoft(微软公司);Wuhan University(武汉大学);Tongji University(同济大学);Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学)
DI-BENCH是一个大规模基准,用于评估大语言模型在仓库依赖推断上的能力,包含581个仓库,最佳模型执行通过率仅42.9%,凸显改进空间。
2025-01-23 cs.CL cs.SE
PolyCodeEval: Benchmarking Multilingual Code Generation from Functions to Repositories
Tianjin University(天津大学)
PolyCodeEval是覆盖5种语言58个开源仓库的多粒度代码生成基准,评估前沿模型等发现现有方法生成正确函数等的比例有限,且性能随语言和粒度波动,相关函数上下文可提升函数生成正确性。
2026-10-09 cs.SE
YABLoCo: Yet Another Benchmark for Long Context Code Generation
Research Center of the Artificial Intelligence Institute(人工智能研究所);Innopolis University(因诺皮尔斯大学);St. Petersburg Department of the Steklov Institute of Mathematics(圣彼得堡斯捷克洛夫数学研究所部门);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出YABLoCo基准,用于评估LLM在C和C++大型代码仓库(200K至2,000K行代码)中的函数体生成能力,并提供可扩展评估流水线与可视化分析工具。
2025-05-07 cs.AI cs.CL cs.SE
RepoMasterEval: Evaluating Code Completion via Real-World Repositories
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳校区)
本文提出 RepoMasterEval 基准,基于真实代码库评估代码补全模型,利用变异测试增强测试套件,实证表明其能准确反映模型在实际场景中的性能差异并提供有效训练反馈。
2025-10-31 cs.AI cs.SE
DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories
School of Computer Science, Peking University(北京大学计算机学院);Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education(教育部高可信软件技术重点实验室(北京大学))
针对现有基准与真实代码仓库对齐度差的问题,提出手动标注的代码生成基准DevEval,包含1874个样本,并评估8个主流LLM,揭示了其在真实场景中的编码能力与不足。
2024-05-30 cs.CL cs.SE
ModBench: A Pipeline for Building Modelica Benchmark Datasets Mined from Library Repositories
Linköping University(林雪平大学);University of Murcia(穆尔西亚大学)
ModBench是用于构建Modelica基准数据集的流水线,经其处理Modelica标准库得到含85562个类快照的公开数据集,可支持模型演化分析等相关研究。
2026-08-18 cs.SE
RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories
Sun Yat-sen University(中山大学);Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);The State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室)
RealSec-bench是一个基于现实世界Java仓库构建的安全代码生成评估基准,通过多阶段流程和专家验证,评估5种LLM在功能正确性和安全性方面的表现。
2026-01-30 cs.CR cs.SE
SWE-fficiency: Can Language Models Optimize Real-World Repositories on Real Workloads?
Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学);Google(谷歌)
本文提出SWE-fficiency基准,评估语言模型在真实工作负载上优化软件仓库性能的能力,发现现有模型在定位优化机会和保持正确性方面表现不佳。
2026-06-27 cs.AI cs.PF cs.SE
SWE-Explore: Benchmarking How Coding Agents Explore Repositories
Shanghai Jiao Tong University(上海交通大学);Xinjiang University(新疆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Independent Researcher(独立研究者);The Chinese University of Hong Kong(香港中文大学)
提出SWE-Explore基准,通过评估编码智能体在给定代码仓库和问题下返回相关代码区域排名列表的能力,衡量其仓库探索性能,覆盖10种编程语言和203个仓库的848个问题。
2026-06-05 cs.CL cs.SE