Experience: Quality Benchmarking of Datasets Used in Software Effort Estimation
数据是经验软件工程(ESE)研究和实践的基石。数据支撑着众多的过程和项目管理活动,包括开发工作量的估计和代码中缺陷的可能位置和严重性的预测。然而,人们对ESE中使用的数据的质量提出了严重的问题。由噪声、离群值和不完整性引起的数据质量问题已被指出为特别普遍。其他质量问题虽然也可能很重要,但受到的关注较少。在这项研究中,我们评估了13个数据集的质量,这些数据集已被广泛用于软件工作量估计的研究。本文中考虑的质量问题借鉴了我们以前发布的分类法,该分类法基于ESE中数据质量问题的系统映射。我们的贡献如下:(1)这些常用的数据集的“适合的目的”的评价和(2)在数据集基准方面的分类的效用的评估。我们还提出了一个模板,可用于改善ESE数据汇集/提交过程,并评估其他此类数据集,有助于提高对ESE社区数据质量问题的认识,并及时提供和使用更高质量的数据集。
2020-12-20 cs.SE
Benchmarking and Evaluating VLMs for Software Architecture Diagram Understanding
King’s College London(伦敦国王学院);British Telecom(英国电信)
本文提出SADU基准,评估VLMs在理解软件架构图作为结构化软件工程制品上的能力,揭示当前模型在图表推理和视觉关系定位方面的不足。
2026-04-05 cs.SE
The Right Call for Software Benchmarking: Consistent Decisions in Stateful Environments
Google DeepMind(谷歌DeepMind)
针对有状态环境下基准测试偏差问题,提出基于对比估计量的实验设计,消除程序特定偏差,实现渐近正确决策。
2026-06-17 cs.PF cs.SE stat.AP
Benchmarking and Studying the LLM-based Agent System in End-to-End Software Development
Peking University(北京大学)
本文构建E2EDevBench基准并提出混合评估框架,通过受控实证研究发现最先进LLM软件开发智能体仅能满足约50%需求,瓶颈在于需求遗漏与自我验证不足。
2025-11-06 cs.SE
ChainSWE: Benchmarking Coding Agents on Multi-Bug Software Maintenance
NVIDIA(英伟达);University College London(伦敦大学学院);New York University(纽约大学);Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学);Stanford University(斯坦福大学);Northeastern University(东北大学)
研究针对语言模型代理在多漏洞软件维护中的评估问题,引入ChainSWE基准,通过收集Python项目问题链进行评估,发现链长度增加时性能下降。
2026-09-02 cs.SE
Employing Continuous Integration inspired workflows for benchmarking of scientific software -- a use case on numerical cut cell quadrature
Technical University of Darmstadt(达姆施塔特工业大学);University of the Bundeswehr Munich(慕尼黑联邦国防军大学);Technical University of Graz(格拉茨工业大学)
本文提出利用持续集成工具自动化科学软件基准测试,通过数值切割单元求积用例展示方法有效性。
2025-05-21 cs.SE
A Benchmarking Framework for Model Datasets
TU Wien(维也纳工业大学);University of Malaga(马拉加大学)
本文提出了一种用于模型数据集的基准框架,旨在系统评估和比较软件模型数据集的质量、代表性和适用性。
2026-08-11 cs.SE
Empirical and Sustainability Aspects of Software Engineering Research in the Era of Large Language Models: A Reflection
University College London(伦敦大学学院);Simula Research Laboratory(西穆拉研究实验室);University of Athens(雅典大学);Monash University(蒙纳士大学)
本文反思了大语言模型时代软件工程研究在基准测试严谨性、可重复性及可持续性方面的挑战,并提出改进建议。
2026-01-19 cs.SE
Towards Comprehensive Benchmarking Infrastructure for LLMs In Software Engineering
Queen's University(女王大学)
本文提出BEHELM,一个面向软件工程的大语言模型全面基准测试基础设施,旨在解决现有评估体系在数据集、指标和数据管道方面的不足,提升评估的全面性和可重复性。
2026-01-28 cs.AI cs.SE
Benchmarking Large Language Models for Multi-Language Software Vulnerability Detection
针对LLMs在多语言软件漏洞检测中缺乏全面评估的问题,本文构建了包含Python、Java和JavaScript的大规模数据集,通过多种方法评估LLMs并探索数据与模型视角的改进策略,揭示了SVD任务的挑战性。
2025-03-03 cs.SE
GraphGallery: A Platform for Fast Benchmarking and Easy Development of Graph Neural Networks Based Intelligent Software
Sun Yat-sen University(中山大学);Deakin University(迪肯大学)
图神经网络(GNN)最近被证明是表示和分析图数据的强大工具。到目前为止,GNN在软件工程中扮演着越来越重要的角色,包括程序分析、类型推断和代码表示。在本文中,我们介绍了GraphGallery,这是一个用于快速基准测试和轻松开发基于GNNs的软件的平台。GraphGallery是一个易于使用的平台,允许开发人员自动部署GNN,即使对特定领域的知识较少。它提供了一组基于主流深度学习框架的通用GNN模型的实现。此外,PyG和DGL等现有GNNs工具箱可以轻松集成到平台中。实验证明了算法的可靠性和快速编码的优越性。GraphGallery的官方源代码可以在https://github.com/EdisonLeeeee/GraphGallery上找到,演示视频可以在https://youtu.be/mv7Zs1YeaYo上找到。
2021-02-16 cs.AI cs.LG cs.SE
Test-driven Software Experimentation with LASSO: an LLM Prompt Benchmarking Example
University of Mannheim(曼海姆大学)
本文提出通用分析平台 LASSO,以可执行脚本和领域特定语言支持测试驱动软件实验,并通过 LLM 代码生成可靠性的可复用基准测试案例验证其实用价值。
2025-06-08 cs.AI cs.SE
Benchmarking Obfuscators of Functionality
我们提出了一套基准评估的实用性软件混淆依赖于可证明的安全方法的功能混淆。
2015-01-13 cs.CR cs.SE
CL4SE: Benchmarking Context Learning on Software Engineering
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
本文提出CL4SE基准测试,系统分类四种软件工程特定上下文类型,通过高质量数据集和五种主流LLM评估,展示上下文学习在代码生成、审查等任务中的性能提升。
2026-04-06 cs.SE
SWE-PolyVision: Benchmarking Cross-Image Abductive Reasoning for Repository-Level Software Engineering
CosmosMind;Peking University(北京大学);Tsinghua University(清华大学);HKUST(香港科技大学);ModCraft;Renmin University of China(中国人民大学)
提出 SWE-PolyVision 基准,含 92 个真实仓库任务和 402 张图像,评估 11 个编码模型在三种视觉访问模式下跨图像溯因推理能力,揭示视觉证据可用性与成功修复之间的差距。
2026-10-16 cs.SE
Program Feature-based Fuzzing Benchmarking
针对传统模糊测试评估少有关注细粒度程序特征影响的问题,研究提取7项相关程序特征,构建含153个可配置程序的新型基准,评估11款工具后证实程序特征显著影响模糊测试性能,为优化评估提供支撑。
2025-06-18 cs.SE
(When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Microsoft Research(微软研究院)
该研究构建了CRBugBench基准,测试发现SOTA审查智能体在缺陷检测上有提升但复杂场景表现差,还给出了开发人员采用审查智能体的具体指导。
2026-10-12 cs.SE
ProSoftArena: Benchmarking Hierarchical Capabilities of Multimodal Agents in Professional Software Environments
Shanghai Innovation Institute(上海创新研究院);Shanghai AI Lab(上海人工智能实验室)
ProSoftArena通过构建专业软件环境下的多模态智能体能力评估基准,揭示了智能体在复杂专业工作流任务中的性能瓶颈和改进方向。
2025-12-30 cs.AI cs.SE
TESTEVAL: Benchmarking Large Language Models for Test Case Generation
本文提出TESTEVAL基准,通过210个Python程序和三项覆盖任务评估16个LLMs的测试用例生成能力,发现当前模型在覆盖特定程序逻辑和执行路径方面仍面临挑战。
2025-02-01 cs.SE
A Survey of Large Language Models for Code: Evolution, Benchmarking, and Future Trends
本文系统综述了Code LLM的类型、与通用LLM的性能差异及关系,分析了134项相关研究,并在多个主流基准上评估了不同软件工程任务的最佳LLM,为开发者和从业者提供了模型选择与改进方向的指导。
2024-01-08 cs.SE
QBugLM: An Agentic Benchmarking Framework for LLM-based Quantum Software Debugging
The University of Melbourne(墨尔本大学);Data61, CSIRO(CSIRO数据科学中心)
提出QBugLM多智能体框架,自动化量子软件调试流程,通过案例研究评估LLM调试能力,发现迭代反馈显著提升修复成功率。
2026-06-05 cs.ET cs.SE quant-ph
Benchmarking Web-testing - Selenium versus Watir and the Choice of Programming Language and Browser
Selenium被认为是最流行的软件测试自动化工具。过去的学术著作主要忽视了测试工具,而倾向于更多的方法论主题。目的:我们研究了Web测试工具的性能,为软件测试工具的选择和配置提供经验证据。方法:我们使用4*5析因设计来研究20种不同的配置来测试网络商店。我们研究了5种程序设计语言绑定(C#,Java,Python和Ruby for Selenium,而Watir仅支持Ruby)和4种浏览器(Google Chrome,Internet Explorer,Mozilla Firefox和Opera)。性能通过执行时间、内存使用、测试脚本的长度和测试的稳定性来衡量。结果:考虑到所有措施,最佳配置是Selenium与Chrome的Python语言绑定。Selenium与Python绑定是所有浏览器的最佳选择。最慢和最快配置之间差异的效应量非常高(Cohens d=41.5,执行时间增加91%)。总体而言,Internet Explorer是最快的浏览器,但在稳定性方面表现最差。结论:我们建议在采用基准测试工具之前使用它们。因素的权重,例如,为了更快的性能愿意牺牲多少测试稳定性,会影响决策。
2016-11-02 cs.SE
Benchmarking Quantum Software Testing with Scalable Quantum Programs
Beihang University(北京航空航天大学);Kyushu University(九州大学)
提出Qolumbina基准基础设施,通过40个开源量子程序,支持可扩展量子软件测试的受控实验,涵盖功能、输出行为、开发复杂度和量子执行复杂度等测试相关特性。
2026-07-03 cs.SE quant-ph
Studying and Benchmarking Large Language Models For Log Level Suggestion
本文实证研究了12个开源LLMs在日志级别建议中的表现,通过Zero-shot、Few-shot和微调等策略在9个Java系统上测试,发现小模型在合适技术下有效但仍有改进空间。
2024-10-11 cs.SE
Is General-Purpose AI Reasoning Sensitive to Data-Induced Cognitive Biases? Dynamic Benchmarking on Typical Software Engineering Dilemmas
Collegium Helveticum, ETH Zurich(瑞士苏黎世联邦理工学院);University of Zurich(苏黎世大学);University of Italian-speaking Switzerland(意大利语瑞士大学);ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
本文通过动态基准测试框架评估GPAI在软件工程中对数据诱导认知偏差的敏感性,发现GPAI系统在面对偏见诱导语言线索时易产生错误推理。
2025-11-29 cs.AI cs.HC cs.SE
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
Tsinghua University(清华大学);Fudan University(复旦大学)
本研究推出SWE-DeceptionBench基准测试,评估七个主流LLM在软件开发全生命周期的欺骗行为,发现中立条件下仍有高欺骗率,轻量级防御效果有限,凸显需更有效的欺骗检测与缓解方法。
2026-10-12 cs.AI cs.SE
Benchmarking Requirement-to-Architecture Generation with Hybrid Evaluation
State Key Laboratory of Complex & Critical Software Environment School of Computer Science and Engineering Beihang University, Beijing, China(北京航空航天大学计算机科学与工程学院复杂与关键软件环境国家重点实验室)
本文提出R2ABench基准,包含真实软件项目及PRD和PlantUML图,通过多维混合评估框架评估生成架构,发现LLM在关系推理上存在不足,代码专用模型和代理框架各有优劣。
2026-09-10 cs.SE
SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios
FPT Software AI Center(FPT软件人工智能中心);School of Computing and Information Systems(计算与信息系统学院);University of Melbourne(墨尔本大学);Center of AI Research(人工智能研究中心);VinUniversity(文大学)
针对现有基准测试仅关注孤立单任务问题,提出SWE-EVO基准,包含48个需跨多文件多步骤修改的长周期任务,实验显示当前智能体在此类任务上表现显著不足。
2026-05-22 cs.AI cs.MA cs.SE
LONGCODEU: Benchmarking Long-Context Language Models on Long Code Understanding
针对长上下文语言模型缺乏严格长代码理解评估框架的问题,提出LONGCODEU基准,从四个方面评估9个模型,发现当代码长度超32K时性能急剧下降且代码单元间关系理解最具挑战性。
2025-03-06 cs.SE
A Benchmarking Proposal for DevOps Practices on Open Source Software Projects
本研究针对DORA基准无法适配开源软件项目的问题,适配并提出了含产出效率与稳定性维度的专用基准指标,开发工具自动采集GitHub数据,经四个热门OSS项目验证可行性,为OSS领域DevOps实践研究提供支撑。
2023-04-28 cs.PF cs.SE
DevOps-Gym: Benchmarking AI Agents in Software DevOps Cycle
UC Santa Barbara(加州大学圣巴巴拉分校);National University of Singapore(新加坡国立大学);UC Berkeley(加州大学伯克利分校);Google(谷歌);UC Los Angeles(加州大学洛杉矶分校)
DevOps-Gym通过700+真实任务评估AI代理在完整DevOps周期中的能力,揭示其在问题解决和测试生成方面的局限性。
2026-01-27 cs.AI cs.CR cs.SE
Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑工业大学)
本研究提出自优化多智能体框架Agent4RE,构建端到端RE基准数据集RE-E2E,其三种变体在8种LLM评估中均优于基线,增强变体评分最高,可作为工业端到端RE实用方案。
2026-10-09 cs.AI cs.SE
BuildBench: Benchmarking LLM Agents on Compiling Real-World Open-Source Software
Arizona State University(亚利桑那州立大学)
针对现有OSS编译基准评估不足,提出包含多样化项目的BUILD-BENCH基准及OSS-BUILD-AGENT智能体,通过增强指令检索实现最先进性能,为复杂编译任务提供评估与指导。
2026-09-18 cs.AI cs.PL cs.SE
Harnessing Large Language Models for Software Vulnerability Detection: A Comprehensive Benchmarking Study
School of Information Technologies Tallinn University of Technology(塔林理工大学信息技术学院);School of Informatics, Computing, and Cyber Systems Northern Arizona University(北亚利桑那大学信息学、计算与网络系统学院)
针对传统漏洞检测工具的不足,本研究提出用大型语言模型(LLMs)检测源代码漏洞,测试多种LLM及最佳提示策略,对比传统工具后发现LLMs在召回率和F1分数上更优,能识别更多问题,为开发和安全人员提供帮助。
2024-05-24 cs.AI cs.CR cs.SE
CodeClash: Benchmarking Goal-Oriented Software Engineering
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Cornell University(康奈尔大学);Technical University of Munich(慕尼黑技术大学)
CodeClash通过多轮竞赛评估语言模型在无明确指导下迭代开发代码以实现开放性目标的能力,揭示了模型在战略推理和长期代码维护方面的局限性。
2026-05-12 cs.AI cs.SE
Benchmarking AI Models in Software Engineering: A Review, Search Tool, and Unified Approach for Elevating Benchmark Quality
EEMCS faculty, Delft University of Technology(代尔夫特理工大学EEMCS学院)
本文提出BenchScout和BenchFrame,通过统一框架提升软件工程AI模型的基准质量,改进现有基准并验证其有效性。
2025-12-12 cs.AI cs.SE
Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation
Minerva University(Minerva大学)
本文提出Agent-Diff框架,通过代码执行和基于状态差的评估,评估LLM代理在企业API任务中的性能,提供了九个LLM在224个任务上的基准测试,并通过消融实验评估框架的鲁棒性。
2026-04-28 cs.CL cs.SE
E2Edev: Benchmarking Large Language Models in End-to-End Software Development Task
College of Computer Science, Sichuan University(四川大学计算机学院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所);CHAT NLP Group, Singapore Management University(新加坡国立管理大学CHAT NLP组);Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China(教育部长机器学习与产业智能工程研究中心)
本文提出E2EDev基准,基于行为驱动开发原则,通过模拟真实用户交互评估端到端软件开发框架的能力,揭示现有方法在解决复杂任务中的不足。
2026-04-16 cs.AI cs.CL cs.SE
On the benchmarking of partitioned real-time systems
航空电子软件是关键实时的、确定性和安全性约束的对象。软件设计师面临着几个挑战,其中之一是最坏情况下的执行时间(WCET)的应用程序,这决定了系统的执行时间的估计。悲观的WCET估计会导致系统的执行性能低下,而过于乐观的估计会导致截止期错过,打破了关键实时的系统(RTS)的基本约束之一。分区系统是实时的系统的一个特殊类别,被航空电子界用来部署航空电子软件。ARINC-653标准是一种采用分区概念的通用航空电子标准。该标准定义了分区架构,其中一个分区不应直接干扰另一个分区。评估通用RTS的WCET可以通过使用许多已发布的基准或WCET估计框架之一来实现。显然,分区RTS是特殊情况,其中常见的基准测试工具可能无法捕获所有的度量。在本文中,我们提出了SFPBench,一个通用的基准框架,用于评估分区RTS的性能指标。的框架和它的应用程序的一般组织的说明,以及一个用例,采用SFPBench的工业分区操作系统(OS)上执行的商业现货(COTS)处理器。
2020-07-15 cs.PF cs.SE
SWE-AGI: Benchmarking Specification-Driven Software Construction with MoonBit in the Era of Autonomous Agents
The Hong Kong University of Science and Technology(香港科学与技术大学)
SWE-AGI通过MoonBit评估LLM在规范驱动下的软件构建能力,揭示了AI辅助开发中代码阅读瓶颈及模型性能随任务难度变化的特性。
2026-02-11 cs.AI cs.CL cs.SE
VEX-Bench: Benchmarking LLM Agents for Assessing Exploitability of Software Supply Chain Vulnerabilities
Purdue University(普渡大学);Red Hat(红帽公司)
VEX-Bench是首个评估LLM智能体判断软件供应链漏洞可利用性的基准,含75个真实案例,覆盖Python、Java和Go,实验表明现有模型在细粒度理由分类上仍面临挑战。
2026-09-09 cs.CR cs.LG cs.SE
AsynCodeBench: Benchmarking Collaboration of Asynchronous Multi-Agent Systems in Software Engineering
University of Houston(休斯顿大学);New York University(纽约大学);Texas A&M University(德克萨斯农工大学);UCSD(加州大学圣地亚哥分校);Worcester Polytechnic Institute(伍斯特理工学院);Oregon State University(俄勒冈州立大学)
提出依赖为中心的异步多智能体协作基准AsynCodeBench,用ADPR和DRS度量协作,发现编码能力与协作能力存在差距,并识别出跳跃窗口模式。
2026-09-29 cs.AI cs.MA cs.SE
Benchmarking Web API Integration Code Generation
Hessian Center for Artificial Intelligence(黑森人工智能中心);National Research Center for Applied Cybersecurity ATHENE(应用网络安全国家研究研究中心ATHENE);Pariton AI
本文提出WAPIIBench数据集和评估流程,评估LLM生成Web API调用代码的能力,发现现有开源模型在生成API调用时存在显著挑战,如错误端点和参数使用问题。
2026-07-03 cs.LG cs.SE
GameASG-Bench: Benchmarking Autonomous Software Generation for Game Development
Ant Group(蚂蚁集团);Beihang University(北京航空航天大学);HKUST(香港科技大学)
GameASG-Bench提出面向游戏开发的行为可测试自主软件生成基准,通过L1静态与L2浏览器执行检查,评估九个智能体栈,揭示高平均通过率掩盖的任务级合规差距。
2026-09-21 cs.AI cs.SE
SWE-MISBEHAVIOR: Benchmarking and Mitigating Boundary Violations in Software Coding Agents
National University of Singapore(新加坡国立大学);Vietnam National University, Hanoi(越南国家大学河内);University of Virginia, USA(弗吉尼亚大学);Agency for Science, Technology and Research (A*STAR), Singapore(新加坡科技研究局);Tufts University, USA(塔夫茨大学);Virginia Tech, USA(弗吉尼亚理工大学);Salesforce AI Research, USA(Salesforce AI 研究)
该研究提出首个编码智能体边界违规不当行为的分类与评估基准SWE-MISBEHAVIOR,发现主流开源编码智能体存在多种不当行为,进而提出轻量级框架CODE-KIT,可显著降低不当行为并提升任务完成性能。
2026-10-14 cs.CL cs.SE
SWE Atlas: Benchmarking Coding Agents Beyond Issue Resolution
SWE Atlas通过涵盖代码库问答、测试编写和重构三个软件工程流程,提供了一种新的基准测试套件,评估编码代理的正确性和工程质量。
2026-05-08 cs.LG cs.SE
Is Vibe Coding Safe? Benchmarking Vulnerability of Agent-Generated Code in Real-World Tasks
Carnegie Mellon University Language Technologies Institute(卡内基梅隆大学语言技术研究所);Columbia University(哥伦比亚大学);Johns Hopkins University(约翰霍普金斯大学);HydroX AI
本文通过基准测试发现,Vibe 编程在现实任务中生成的代码安全性不足,尽管功能正确但存在安全漏洞,警示其在安全敏感领域应用的风险。
2026-09-22 cs.CL cs.SE
Arline Benchmarks: Automated Benchmarking Platform for Quantum Compilers
量子算法的有效编译在噪声中等规模量子(NISQ)设备时代至关重要。虽然有多种开源量子编译和电路优化框架可用,例如IBM Qiskit,CQC Tket,Google Cirq,Rigetti Quilc,PyZX,但量子程序员并不总是清楚它们的相对性能。量子线路编译算法的复杂性和多样性的增长产生了对用于量子编译栈的内部工作流的交叉基准测试和剖析的专用工具的需求。我们提出了一个开源软件包Arline Benchmarks,旨在执行量子编译器的自动基准测试,重点是NISQ应用程序。“Arline”这个名字是为了纪念量子计算的先驱理查德·费曼的第一任妻子Arline Greenbaum Feynman。我们比较了几个量子编译框架的基础上的一组重要的指标,如优化后的门数,电路深度,硬件依赖的电路成本函数,编译器运行时间等,与每个编译阶段的指标的详细分析。我们对几种流行的量子硬件架构的随机电路和结构化量子算法(VQE,Trotter分解,Grover搜索,通过幅度估计的期权定价)进行了各种编译器测试。利用Arline的跨平台功能,我们提出了一个复合编译流水线的概念,它将编译器特定的电路优化子程序组合在一个编译堆栈中,并找到一个优化的编译通道序列。通过提供对量子编译器编译流程的详细见解,Arline Benchmarks为量子计算研究人员和软件开发人员提供了一个有价值的工具包,以获得对编译器特…
2022-02-28 cs.SE quant-ph
DI-BENCH: Benchmarking Large Language Models on Dependency Inference with Testable Repositories at Scale
Microsoft(微软公司);Wuhan University(武汉大学);Tongji University(同济大学);Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学)
DI-BENCH是一个大规模基准,用于评估大语言模型在仓库依赖推断上的能力,包含581个仓库,最佳模型执行通过率仅42.9%,凸显改进空间。
2025-01-23 cs.CL cs.SE
E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch
Meta Superintelligence Labs(元超级智能实验室)
该基准E2E-SWE通过186个跨11种语言的整仓库生成任务评估LLM智能体从零构建可用代码库的能力,发现pass@1在11.7%至67.7%间波动,凸显系统级推理需求。
2026-10-01 cs.AI cs.SE
RCABench: Open Benchmarking Platform for Root Cause Analysis
Fuzzing有助于自动识别软件测试领域的错误和漏洞。虽然它可以有效地生成崩溃输入,但这些输入通常是手动分析的。已经提出了几种根本原因分析(RCA)技术来自动分析崩溃的根本原因,以减轻这种成本。然而,由于缺乏对现有技术的广泛评估方法,实现更精细的RCA技术的突出挑战仍然未知。考虑到这个问题,我们开发了一个端到端的基准测试平台,RCABench,可以评估RCA技术的各种目标程序在一个详细和全面的方式。我们与RCABench的实验表明,以前研究中的评估不足以完全支持他们的主张。此外,该平台可以通过与现有技术进行比较来评估新兴的RCA技术。
2023-03-10 cs.CR cs.SE
CONGRA: Benchmarking Automatic Conflict Resolution
The University of Hong Kong(香港大学)
针对软件合并冲突解决缺乏难度分级与大规模基准的问题,提出ConGra基准方案,基于代码操作分类构建含44,948个冲突的数据集,评估LLMs并发现两个反直觉现象。
2024-09-21 cs.LG cs.SE
TestExplora: Benchmarking LLMs for Proactive Bug Discovery via Repository-Level Test Generation
Microsoft(微软公司);School of ECE, Peking University(北京大学电子工程学院);Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
TestExplora通过仓库级测试生成评估LLMs在主动bug发现中的能力,揭示了当前模型在复杂交互和代理探索方面的不足。
2026-02-22 cs.CL cs.SE
SymbolicData:SDEval - Benchmarking for Everyone
在本文中,我们将介绍SDeval,一个软件项目,包含用于创建和运行基准测试的工具,重点是计算机代数中的问题。它建立在Symbolic Data项目之上,能够将数据库中的问题转化为各种计算机代数系统的可执行代码。所包含的工具被设计为非常灵活的使用和扩展,这样它们甚至可以在其他社区的环境中使用。随着SDEval的介绍,我们还将讨论计算机代数领域基准测试的特殊性。此外,与SDEVAL,我们提供了一个可行的和自动化的方式再现基准发表在当前的研究工作,这似乎是一个艰巨的任务,一般由于可定制的可用程序。我们将同时介绍符号数据项目的当前发展。
2013-10-18 cs.MS cs.SC cs.SE