Towards Repository-Level Program Verification with Large Language Models
University of Toronto(多伦多大学)
针对现有LLM程序验证局限于函数级、难处理仓库级跨模块依赖的问题,提出首个仓库级验证基准RVBench与结合检索增强生成和上下文感知提示的RagVerus框架,显著提升证明通过率,提供可扩展高效的验证方案。
2025-08-31 cs.AI cs.PL cs.SE
Beyond Code Snippets: Benchmarking LLMs on Repository-Level Question Answering
Department of Computer Science, Virginia Tech(弗吉尼亚理工大学计算机科学系)
本文提出StackRepoQA数据集,用于评估大语言模型在多项目仓库层面的问答能力,通过对比不同配置下的性能,揭示了模型在处理仓库级程序理解时的局限性。
2026-04-04 cs.AI cs.SE
Evaluating Repository-level Software Documentation via Question Answering and Feature-Driven Development
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Independent Researcher, China(独立研究者)
本文提出SWD-Bench基准,通过功能驱动的问答任务评估仓库级文档质量,揭示现有方法局限,并展示高质量文档对SWE-Agent问题解决率的提升。
2026-04-08 cs.AI cs.SE
Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark
York University(约克大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出SWE-Flux,一个包含480个实例的仓库级动态执行推理基准,通过自动采集黄金答案评估五个LLM,最佳准确率仅37%,并展示输入扰动可生成更具挑战性的变体。
2026-09-24 cs.AI cs.CL cs.SE
RepoProbe: Benchmarking Architecture-Aware Repository Comprehension with Checklists
Hunyuan, Tencent(腾讯混元);Zhejiang University(浙江大学);Ningbo Global Innovation Center, Zhejiang University(浙江大学宁波全球创新中心)
本研究推出RepoProbe基准,采用基于清单的验证协议,发现SOTA LLMs存在编辑偏差,且高清晰度与技术正确性间有差距,提升了代码仓库理解评估的可靠性。
2026-08-07 cs.AI cs.SE
Correct Code, Broken Contributions? SWE-CC: Benchmarking Repository Policy Compliance for Coding Agents
Singapore Management University(新加坡管理大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对编码代理的仓库策略合规性,提出SWE-CC基准,通过823条原子策略和全面审计机制评估500个任务,发现功能正确但合规性差,43.1%策略被违反。
2026-10-06 cs.AI cs.SE
RAG-Verus: Repository-Level Program Verification with LLMs using Retrieval Augmented Generation
University of Toronto(多伦多大学)
针对现有函数中心方法忽略的跨模块依赖与全局上下文挑战,提出RagVerus框架,结合检索增强生成与上下文感知提示实现多模块仓库自动证明合成,在新RepoVBench基准获27%相对提升,受限预算下将现有基准证明通过率提高三倍。
2025-02-07 cs.AI cs.SE
RepoBench: Benchmarking Repository-Level Code Auto-Completion Systems
University of California, San Diego(加州大学圣迭戈分校)
针对现有代码补全基准多聚焦单文件、缺乏真实多文件场景评估的问题,研究提出支持Python和Java的RepoBench基准,含检索、代码补全、流水线三项关联任务,可更全面评估仓库级代码补全系统性能。
2023-10-04 cs.AI cs.CL cs.SE
Persistent Cross-Attempt State Optimization for Repository-Level Code Generation
本文提出LiveCoder框架,通过跨尝试知识优化提升仓库级代码生成效率,通过保留任务特定状态提升生成效果,实验表明在RAL-Bench上功能得分提升22.94个百分点,仓库复用率提升至81.58%。
2026-04-04 cs.AI cs.SE
SWE-Opt: A Benchmark for Evaluating LLMs on Performance-Oriented Repository-Level Optimization
Siemens AG(西门子公司);Technical University of Munich(慕尼黑技术大学);Heilbronn, Germany(德国海德堡);Munich, Germany(德国慕尼黑)
针对现有基准过度简化性能优化的问题,提出基于102个专家优化的仓库级基准SWE-Pro,评估LLM在运行时、峰值内存和时间加权内存使用上的表现,发现LLM优化效果显著弱于专家。
2026-11-03 cs.AI cs.CL cs.SE
AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context
Southern Cross University, Gold Coast, Australia(南方十字大学);TRE, Alibaba Inc., Hangzhou, China(阿里云)
AACR-Bench通过综合仓库级上下文和专家验证流程,提升自动代码审查评估的准确性与全面性,揭示上下文粒度和检索方法对性能的影响。
2026-01-30 cs.AI cs.SE
A.S.E: A Repository-Level Benchmark for Evaluating Security in AI-Generated Code
Tencent(腾讯公司);Peking University(北京大学);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);Zhejiang University(浙江大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Singapore Management University(新加坡国立大学)
本文提出仓库级基准A.S.E以评估AI生成代码在实际编程场景中的安全性,发现当前LLMs在安全编码、处理仓库级复杂性及推理预算方面存在局限,为模型选择与改进提供了重要见解。
2025-09-18 cs.AI cs.SE
ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code
Nanjing University(南京大学);Peking University(北京大学);Yale University(耶鲁大学)
ML-Bench是一个基于真实仓库代码的基准,评估LLMs和智能体在机器学习任务上的表现,包含9,641个示例,发现GPT-4o在Pass@5上超过50%,但在智能体设置中达到76.47%的成功率。
2024-08-21 cs.AI cs.CL
A.S.E 2.0: Understanding How Repository Context Impacts the Security of LLM-Generated Code
Nanyang Technological University(南洋理工大学);Tencent(腾讯);Zhejiang University(浙江大学)
该研究构建CASE-Bench基准,对比多种上下文构建方法与LLM,发现仓库上下文对LLM生成代码的安全通过率影响显著,为安全感知的上下文构建提供依据。
2026-11-05 cs.AI cs.CR cs.SE
ReCUBE: Evaluating Repository-Level Context Utilization in Code Generation
Carnegie Mellon University(卡内基梅隆大学);Emory University(埃默里大学)
ReCUBE基准测试评估LLM在代码生成中利用仓库级上下文的有效性,通过重建掩码文件并使用依赖关系和文档作为上下文,发现即使先进模型在完整上下文设置下也仅达到37.57%的通过率,而引入Caller-Centric Exploration工具包可显著提升性能。
2026-03-26 cs.AI cs.SE
Beyond Function-Level Search: Repository-Aware Dual-Encoder Code Retrieval with Adversarial Verification
International Digital Economy Academy (IDEA)(国际数字经济学院);School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学);Shenzhen International Graduate School, Tsinghua University(深圳国际研究生院,清华大学)
针对传统函数级代码搜索无法处理跨组件变更意图的问题,提出首个仓库级代码检索基准RepoAlign-Bench与对抗反思增强的双塔架构ReflectCode,在Top-5准确率和召回率上显著优于现有基线。
2025-10-16 cs.AI cs.SE
CodeS: Natural Language to Code Repository via Multi-Layer Sketch
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Huawei Technologies Co., Ltd(华为技术有限公司);Chinese Academy of Sciences(中国科学院);Shandong University(山东大学);Funcun-wuyou Technologies Co., Ltd(Funcun-wuyou科技有限公司)
提出自然语言到代码仓库(NL2Repo)任务及框架CodeS,通过多层草图将其分解为生成目录结构、文件草图和函数细节三个子任务,并构建基准与插件验证了其有效性与实用性。
2024-03-25 cs.AI cs.CL cs.SE
GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging
UCAS(中国科学技术大学);CASIA(中国科学院自动化研究所);BUPT(北京理工大学);NUS(新加坡国立大学);StepFun;HKUST(香港理工大学);SDU(山东大学);PINAI;USYD(悉尼大学);PKU(北京大学);USTC(中国科学技术大学)
本文提出 GitTaskBench 基准,通过涵盖 7 种模态和 7 个领域的 54 个真实任务及自动化评估工具,系统评估代码智能体利用大规模代码仓库解决实际问题的能力,并引入 alpha-value 指标量化经济效益,实验表明现有先进系统仍面临挑战,多因环境设置和依赖解析失败。
2025-09-14 cs.AI cs.SE
Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks
CISPA Helmholtz Center for Information Security(CISPA海德堡信息安全研究中心);University of Waterloo(滑铁卢大学);Flexera(Flexera公司)
本文通过系统研究31个LLM安全基准及382篇非基准论文,发现仅39%的基准仓库可直接运行,且缺乏伦理考量。研究揭示社区采用基准与作者声望和代码运行性相关,但与代码质量无关,指出安全基准可能存在安全隐患和不可比性问题。
2026-05-14 cs.AI cs.CR cs.SE
Toward Executable Repository-Level Code Generation via Environment Alignment
本文提出EnvGraph框架,通过环境对齐问题解决仓库级代码生成中的可执行性挑战,实验显示其在功能正确性和非功能质量上均优于现有方法。
2026-04-04 cs.AI cs.SE
AdaRepair-Mem: Adaptive Experience Orchestration for Repository-Level Program Repair
Zhejiang University(浙江大学);Tencent(腾讯)
针对仓库级程序修复中记忆不平衡、冗余和阶段错配问题,提出自适应经验检索框架,通过覆盖感知、质量选择和阶段路由提升修复性能。
2026-09-18 cs.AI cs.SE
DeepDiscovery: A Location-Inference Framework for Task-Level Repository Understanding
AMAP, Alibaba Group(阿里集团AMAP);Nanyang Technological University(南洋理工大学);Nanjing University(南京大学);University of Cambridge(剑桥大学)
提出DeepDiscovery方法,通过两阶段定位-推理框架在预算约束下恢复任务级上下文,显著提升大型工业代码库的文件检索和下游软件工程任务性能。
2026-09-15 cs.AI cs.SE
ContextSniper: AntTrail's Token-Efficient Code Memory for Repository-Level Program Repair
Huawei(华为);HKUST(GZ)(香港科技大学(广州));Nanyang Technological University(南洋理工大学)
提出ContextSniper,一种令牌高效的代码记忆层,通过精准证据选择、混合检索排序和意图感知上下文门控,在SWE-bench Lite上减少51.5%令牌使用和36.4%成本,修复率仅轻微下降。
2026-08-20 cs.AI
RepoGraph: Enhancing AI Software Engineering with Repository-level Code Graph
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tencent AI Seattle Lab(腾讯AI西雅图实验室);Rice University(莱斯大学);University of Notre Dame(圣母大学)
针对现有方法缺乏仓库级代码理解的问题,提出插件模块RepoGraph作为全仓库导航工具,接入多类方法后在SWE-bench等基准上显著提升性能,刷新开源框架最优水平。
2025-03-18 cs.AI cs.CL cs.SE
AlignCoder: Aligning Retrieval with Target Intent for Repository-Level Code Completion
School of Software, Sun Yat-sen University(中山大学软件学院);Sun Yat-sen University(中山大学)
针对仓库级代码补全中检索与目标代码不匹配及无法利用推理信息的问题,提出AlignCoder框架,通过查询增强和基于强化学习的检索器训练,在CrossCodeEval上EM分数提升18.1%。
2026-06-16 cs.AI cs.SE
SWE-Prometheus: Measuring Engineering Governance Improvements in Real-World Repositories
CosmosMind;Peking University(北京大学);Tsinghua University(清华大学);HKUST(香港科技大学);ModCraft
提出SWE-Prometheus基准,用于评估编码智能体在真实仓库中改进工程治理的能力,通过多维度证据和教师评分衡量改进与行为保持,并揭示治理工件与执行支持改进的差异。
2026-10-19 cs.AI cs.SE
PerfAgent: Profiler-Guided Iterative Refinement for Repository-Level Code Optimization
Massachusetts Institute of Technology(麻省理工学院);Rensselaer Polytechnic Institute(罗切斯特理工学院);IBM(IBM公司);Michigan State University(密歇根州立大学)
研究针对仓库级代码优化难题,提出PerfAgent分析器引导迭代优化方法,该方法能让编码代理找到热点并改进,在两个优化基准测试中大幅提升专家匹配补丁率,且以低成本超越基线。
2026-07-23 cs.AI cs.SE
SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents
Sun Yat-sen University(中山大学);Zhejiang University(浙江大学);Chongqing University(重庆大学)
SWE-Gate基准结合功能测试与审查约束评估,发现仅通过功能测试的软件工程智能体中约34%未满足审查约束,仅功能评估会高估智能体的修复能力。
2026-09-04 cs.AI cs.SE
Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation
Concordia University(康科德大学)
本文构建真实世界类级别代码生成基准,发现LLMs从合成基准的84-89%正确率骤降至25-34%,并证明检索增强比完整文档更能提升性能,为生产代码辅助提供改进方向。
2026-11-17 cs.AI cs.LG cs.SE
Repository Structure-Aware Training Makes SLMs Better Issue Resolver
Microsoft(微软公司);Peking University(北京大学)
本文提出仓库结构感知训练方法 ReSAT,通过构建定位与代码编辑两类训练数据,有效提升小型语言模型在仓库级问题解决和长上下文理解上的能力。
2024-12-26 cs.AI cs.SE
Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究提出ReqClarifyBench基准,评估LLM在仓库级软件开发中通过交互将模糊用户意图转化为明确需求的能力,发现澄清效果与文档质量无必然关联,编码智能体工具未提升需求文档质量。
2026-10-12 cs.AI cs.SE
RepoRepair: Leveraging Code Documentation for Repository-Level Automated Program Repair
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);Human Language Technology Research Institute, University of Texas at Dallas(人机语言技术研究院,德克萨斯大学达拉斯分校)
RepoRepair通过生成代码文档增强LLM能力,实现仓库级别的自动程序修复,取得高修复率和低成本的优异表现。
2026-03-01 cs.AI cs.SE
Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion?
Northwestern University(西北大学);Alibaba Group(阿里巴巴集团);Tongyi Lab(通义实验室)
该研究通过分析工业代码补全数据并构建自动化 Codev-Agent,提出仓库级、以开发者为中心的 Codev-Bench,以更真实地评估 LLM 的即时意图理解与补全能力。
2024-10-24 cs.AI cs.SE
RepoAtlas: Guiding Coding Agents via Evolving Multimodal Repository Views
Beihang University(北京航空航天大学)
RepoAtlas是一个无需训练的模块,通过选择-投影-刷新循环维护演化多模态仓库视图,在SWE-bench Verified上将解决率提升2.4个百分点,同时减少输入令牌和模型调用。
2026-09-16 cs.AI cs.SE
MPC-Patch-Bench: Security-Aware LLM Code Patch for Multi-Party Computation
University of Central Florida(中央佛罗里达大学)
针对多方计算(MPC)软件缺乏仓库级代码修复基准的问题,提出MPC-Patch-Bench,包含数据筛选框架和MPC验证器,评估LLM在MPC仓库级修复中的安全性和数值保真度。
2026-06-11 cs.AI cs.CR
Automated Customization of LLMs for Enterprise Code Repositories Using Semantic Scopes
IBM Research Yorktown Heights New York, USA(IBM研究院扬斯敦高地新 York 美国)
本文提出基于语义范围的LLM企业代码仓库自动化定制方法,通过RAG和FT策略提升代码生成精度,提高开发者生产力。
2026-02-05 cs.AI cs.SE
Code Summarization Beyond Function Level
Innopolis University(因诺波利斯大学);AIRI;Research Center of the Artificial Intelligence Institute(人工智能研究所研究中心)
本研究探索超越函数级别的代码摘要,利用类和仓库上下文,通过微调CodeT5+及结合少样本学习和RAG的LLM,显著提升了摘要质量,并发布了相关基准和资源。
2025-02-23 cs.AI cs.CL
Adaptive Critical Token-Aware Retrieval for Repository-Level Code Generation
Sun Yat-sen University(中山大学);School of Artificial Intelligence, Sun Yat-sen University(中山大学人工智能学院);Monash University(莫纳什大学);CSIRO’s Data61(联邦科学与工业研究组织数据61研究所);Zhejiang University(浙江大学);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
针对仓库级代码生成中LLM输入长度受限及关键令牌易出错问题,提出ACToR框架,通过识别关键令牌触发针对性检索并采用位置感知加权,在RepoExec和CoderEval上较SOTA方法分别提升8.4%、15.4%
2026-09-02 cs.AI cs.CL cs.SE
CATCODER: Repository-Level Code Generation with Relevant Code and Type Context
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学)
CatCoder通过整合相关代码和类型上下文,提升仓库级代码生成的性能和可扩展性。
2025-11-21 cs.AI cs.SE
SetupX: Can LLM Agents Learn from Past Failures in Functionality-Correct Code Repository Setup?
Shanghai Jiao Tong University(上海交通大学);Beijing University of Posts and Telecommunications(北京邮电大学);Independent Researcher(独立研究者);Jinan Inspur Data Technology Co., Ltd.(济南 Inspur 数据技术有限公司)
提出SetupX框架,通过经验学习、推测执行和验证协议解决代码仓库设置中的跨仓库经验迁移、多步试错和鲁棒验证问题,在基准测试中达到92%通过率。
2026-05-27 cs.AI cs.CL cs.LG
Toward a Benchmark Repository for Software Maintenance Tool Evaluations with Humans
为了在与人类参与者的对照实验中评估软件维护技术和工具,研究人员目前使用的项目和任务是在临时的基础上选择的。这可能会不切实际地支持他们的工具,并使结果的比较变得困难。我们建议逐步创建一个基准库,其中包含与基于人类的研究相关的项目、任务和元数据。在本文中,我们讨论了这样一个存储库的要求和挑战,以及可能导致其建设的步骤。
2020-11-30 cs.PL cs.SE
VeriSoftBench: Repository-Scale Formal Verification Benchmarks for Lean
New York University(纽约大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
VeriSoftBench通过500个Lean 4证明义务评估LLM和证明器在仓库级形式验证中的表现,揭示了依赖闭包对证明成功率的影响。
2026-09-23 cs.CL cs.LG cs.PL
An Open Challenge Problem Repository for Systems Supporting Binders
各种逻辑框架支持使用高阶抽象语法来表示正式系统;然而,每个系统都有自己的基准集。更糟糕的是,一般的证明助手提供了处理绑定器的特殊库,对这些库的评估非常有限,并且给出的示例通常没有对绑定器存在时出现的关键方面进行练习和压力测试。在本文中,我们设计了一个开放的知识库ORBI(开放的挑战问题库系统支持推理与绑定)。我们相信,使用绑定器对语言进行推理的领域已经成熟,一组通用的基准测试为评估和定性比较支持绑定器的不同系统和库提供了重要的基础,这将有助于推动该领域的发展。
2015-07-29 cs.LO cs.PL
RepoCoder: Repository-Level Code Completion Through Iterative Retrieval and Generation
City University of Hong Kong(香港城市大学);Microsoft Corporation(微软公司);Wuhan University(武汉大学)
针对仓库级代码补全难以利用跨文件信息的问题,提出RepoCoder框架,通过结合相似性检索器与预训练代码语言模型的迭代检索-生成管道,有效利用仓库信息生成多粒度代码,并发布RepoEval基准,实验证明其性能显著优于基线方法。
2023-10-20 cs.AI cs.CL cs.PL
VHDL-REPOBENCH: A Repository-Level Benchmark for Evaluating Large Language Models on VHDL Design Generation
IBM Research(IBM研究院)
针对VHDL设计生成缺乏仓库级基准的问题,提出VHDL-REPOBENCH,包含约100个仓库、2.5k文件与500测试平台,评估多模型,发现多文件推理与层次设计仍是挑战。
2026-10-06 cs.AR cs.CL cs.PL
DeepRepoQA: Code Repository Question Answering with Deep Agent Exploration
Shanghai Jiao Tong University(上海交通大学);The Hong Kong University of Science and Technology(香港科技大学);University of California San Diego(加州大学圣迭戈分校)
针对现有代码仓库问答方法缺乏深度推理能力的问题,提出基于LLM智能体与蒙特卡洛树搜索的DeepRepoQA框架,在SWE-QA基准上实现了性能显著提升。
2026-08-26 cs.CL cs.PL cs.SE
SWE-QA: Can Language Models Answer Repository-level Code Questions?
Shanghai Jiao Tong University(上海交通大学)
本文提出SWE-QA基准,旨在研究自动化QA系统在真实代码环境中的能力,包含576个高质量问题对,涵盖意图理解、跨文件推理和多跳依赖分析,评估六种先进LLM在不同上下文增强策略下的表现。
2026-04-26 cs.CL cs.PL cs.SE