Continuous Performance Benchmarking Framework for ROOT
诸如ROOT之类的基础软件库面临着避免软件退化(包括性能退化)的巨大压力。作为持续集成和其他代码质量测试的一部分,持续性能基准测试是了解软件产品性能如何随时间演变的行业最佳实践。我们提出了一个框架,从行业最佳实践和工具,以帮助了解根代码的性能和监控的代码的效率为几个处理器架构。它还允许对ROOT I/O、向量化和并行化子系统进行历史性能测量。
2019-02-21 cs.SE
Experience: Quality Benchmarking of Datasets Used in Software Effort Estimation
数据是经验软件工程(ESE)研究和实践的基石。数据支撑着众多的过程和项目管理活动,包括开发工作量的估计和代码中缺陷的可能位置和严重性的预测。然而,人们对ESE中使用的数据的质量提出了严重的问题。由噪声、离群值和不完整性引起的数据质量问题已被指出为特别普遍。其他质量问题虽然也可能很重要,但受到的关注较少。在这项研究中,我们评估了13个数据集的质量,这些数据集已被广泛用于软件工作量估计的研究。本文中考虑的质量问题借鉴了我们以前发布的分类法,该分类法基于ESE中数据质量问题的系统映射。我们的贡献如下:(1)这些常用的数据集的“适合的目的”的评价和(2)在数据集基准方面的分类的效用的评估。我们还提出了一个模板,可用于改善ESE数据汇集/提交过程,并评估其他此类数据集,有助于提高对ESE社区数据质量问题的认识,并及时提供和使用更高质量的数据集。
2020-12-20 cs.SE
Benchmarking and Evaluating VLMs for Software Architecture Diagram Understanding
King’s College London(伦敦国王学院);British Telecom(英国电信)
本文提出SADU基准,评估VLMs在理解软件架构图作为结构化软件工程制品上的能力,揭示当前模型在图表推理和视觉关系定位方面的不足。
2026-04-05 cs.SE
The Right Call for Software Benchmarking: Consistent Decisions in Stateful Environments
Google DeepMind(谷歌DeepMind)
针对有状态环境下基准测试偏差问题,提出基于对比估计量的实验设计,消除程序特定偏差,实现渐近正确决策。
2026-06-17 cs.PF cs.SE stat.AP
ChainSWE: Benchmarking Coding Agents on Multi-Bug Software Maintenance
NVIDIA(英伟达);University College London(伦敦大学学院);New York University(纽约大学);Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学);Stanford University(斯坦福大学);Northeastern University(东北大学)
研究针对语言模型代理在多漏洞软件维护中的评估问题,引入ChainSWE基准,通过收集Python项目问题链进行评估,发现链长度增加时性能下降。
2026-09-02 cs.SE
Studying Attitudes and Social Norms in Agile Software Development
本文的目的是回顾态度和社会规范的研究,并将其连接到敏捷软件开发环境。此外,我还提出了来自社会心理学的其他理论(主要是计划行为理论和使用社会规范的内化程度),这些理论肯定会对敏捷团队中与人的因素相关的研究的进一步意义构建有用。
2019-04-05 cs.SE
Employing Continuous Integration inspired workflows for benchmarking of scientific software -- a use case on numerical cut cell quadrature
Technical University of Darmstadt(达姆施塔特工业大学);University of the Bundeswehr Munich(慕尼黑联邦国防军大学);Technical University of Graz(格拉茨工业大学)
本文提出利用持续集成工具自动化科学软件基准测试,通过数值切割单元求积用例展示方法有效性。
2025-05-21 cs.SE
Studying the Feasibility and Importance of Software Testing: An Analysis
软件测试是软件质量保证的关键要素,代表了对规格、设计和编码的最终审查。软件测试是通过运行软件来测试软件的功能性和正确性的过程。软件测试通常出于以下两个原因之一而执行:缺陷检测和可靠性评估。将软件测试应用于缺陷检测的问题在于,软件只能提示缺陷的存在,而不能提示缺陷的不存在(除非测试是详尽的)。将软件测试应用于可靠性估计的问题是用于选择测试用例的输入分布可能是有缺陷的。软件测试的关键是试图找到失败的模式-这需要在所有可能的输入上对代码进行详尽的测试。软件测试,取决于所采用的测试方法,可以在开发过程中的任何时候实施。
2010-01-23 cs.SE
A Benchmarking Framework for Model Datasets
TU Wien(维也纳工业大学);University of Malaga(马拉加大学)
本文提出了一种用于模型数据集的基准框架,旨在系统评估和比较软件模型数据集的质量、代表性和适用性。
2026-08-11 cs.SE
Empirical and Sustainability Aspects of Software Engineering Research in the Era of Large Language Models: A Reflection
University College London(伦敦大学学院);Simula Research Laboratory(西穆拉研究实验室);University of Athens(雅典大学);Monash University(蒙纳士大学)
本文反思了大语言模型时代软件工程研究在基准测试严谨性、可重复性及可持续性方面的挑战,并提出改进建议。
2026-01-19 cs.SE
Towards Comprehensive Benchmarking Infrastructure for LLMs In Software Engineering
Queen's University(女王大学)
本文提出BEHELM,一个面向软件工程的大语言模型全面基准测试基础设施,旨在解决现有评估体系在数据集、指标和数据管道方面的不足,提升评估的全面性和可重复性。
2026-01-28 cs.AI cs.SE
Benchmarking Large Language Models for Multi-Language Software Vulnerability Detection
针对LLMs在多语言软件漏洞检测中缺乏全面评估的问题,本文构建了包含Python、Java和JavaScript的大规模数据集,通过多种方法评估LLMs并探索数据与模型视角的改进策略,揭示了SVD任务的挑战性。
2025-03-03 cs.SE
GraphGallery: A Platform for Fast Benchmarking and Easy Development of Graph Neural Networks Based Intelligent Software
Sun Yat-sen University(中山大学);Deakin University(迪肯大学)
图神经网络(GNN)最近被证明是表示和分析图数据的强大工具。到目前为止,GNN在软件工程中扮演着越来越重要的角色,包括程序分析、类型推断和代码表示。在本文中,我们介绍了GraphGallery,这是一个用于快速基准测试和轻松开发基于GNNs的软件的平台。GraphGallery是一个易于使用的平台,允许开发人员自动部署GNN,即使对特定领域的知识较少。它提供了一组基于主流深度学习框架的通用GNN模型的实现。此外,PyG和DGL等现有GNNs工具箱可以轻松集成到平台中。实验证明了算法的可靠性和快速编码的优越性。GraphGallery的官方源代码可以在https://github.com/EdisonLeeeee/GraphGallery上找到,演示视频可以在https://youtu.be/mv7Zs1YeaYo上找到。
2021-02-16 cs.AI cs.LG cs.SE
Test-driven Software Experimentation with LASSO: an LLM Prompt Benchmarking Example
University of Mannheim(曼海姆大学)
本文提出通用分析平台 LASSO,以可执行脚本和领域特定语言支持测试驱动软件实验,并通过 LLM 代码生成可靠性的可复用基准测试案例验证其实用价值。
2025-06-08 cs.AI cs.SE
Studying and Benchmarking Large Language Models For Log Level Suggestion
本文实证研究了12个开源LLMs在日志级别建议中的表现,通过Zero-shot、Few-shot和微调等策略在9个Java系统上测试,发现小模型在合适技术下有效但仍有改进空间。
2024-10-11 cs.SE
Studying and Automating Issue Resolution for Software Quality
William & Mary(威廉与玛丽学院)
本研究通过提升issue报告质量、表征开发者工作流程和自动化解决任务,推动AI驱动的issue解决,提升软件质量。
2025-12-11 cs.SE
Benchmarking Obfuscators of Functionality
我们提出了一套基准评估的实用性软件混淆依赖于可证明的安全方法的功能混淆。
2015-01-13 cs.CR cs.SE
Studying the Role of Reusing Crowdsourcing Knowledge in Software Development
Omar Al-Mukhtar University(奥马尔·穆赫塔尔大学)
本研究探讨了重复利用众包知识对软件开发的影响,发现其在提升效率的同时也带来质量风险,通过持续集成等方法优化开发实践。
2025-12-08 cs.SE
CL4SE: Benchmarking Context Learning on Software Engineering
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
本文提出CL4SE基准测试,系统分类四种软件工程特定上下文类型,通过高质量数据集和五种主流LLM评估,展示上下文学习在代码生成、审查等任务中的性能提升。
2026-04-06 cs.SE
SWE-PolyVision: Benchmarking Cross-Image Abductive Reasoning for Repository-Level Software Engineering
CosmosMind;Peking University(北京大学);Tsinghua University(清华大学);HKUST(香港科技大学);ModCraft;Renmin University of China(中国人民大学)
提出 SWE-PolyVision 基准,含 92 个真实仓库任务和 402 张图像,评估 11 个编码模型在三种视觉访问模式下跨图像溯因推理能力,揭示视觉证据可用性与成功修复之间的差距。
2026-10-16 cs.SE
Program Feature-based Fuzzing Benchmarking
针对传统模糊测试评估少有关注细粒度程序特征影响的问题,研究提取7项相关程序特征,构建含153个可配置程序的新型基准,评估11款工具后证实程序特征显著影响模糊测试性能,为优化评估提供支撑。
2025-06-18 cs.SE
Beyond Agile: Studying The Participatory Process in Software Development
我们看到,软件开发的协作性和参与性的本质继续发展,塑造和被开发人员实践社区使用的沟通渠道所塑造--无论是传统的沟通渠道(例如,电话、亲自交互),以及可以是独立的或与其它开发工具集成的社交特征(例如,电子邮件、聊天和论坛)。在实践社区中,软件是外部化知识(例如,代码、文档、活动历史)以及驻留在社区成员头脑中的隐性知识(例如,什么时候使用API的经验,或者没有写下来的设计约束)。沟通渠道和开发工具支持开发人员以高度协作的方式形成和共享外部化和隐性知识。然而,不太了解这种参与性文化对软件开发实践和知识积累过程的影响。研究界一直在研究开发人员使用的工具和沟通渠道,以扩大我们的理解。但是,仅仅研究工具和渠道只能提供一个狭窄的视角。我们相信软件开发已经超越了敏捷过程,进入了一个渐进过程--一个知识构建过程,其特征在于(1)知识活动和行动,(2)利益相关者角色,(3)由社会增强的工具和沟通渠道支持。因此,重要的是要了解每个组件,以及这些组件相互作用和相互塑造的方式。
2017-05-15 cs.SE
(When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Microsoft Research(微软研究院)
该研究构建了CRBugBench基准,测试发现SOTA审查智能体在缺陷检测上有提升但复杂场景表现差,还给出了开发人员采用审查智能体的具体指导。
2026-10-12 cs.SE
ProSoftArena: Benchmarking Hierarchical Capabilities of Multimodal Agents in Professional Software Environments
Shanghai Innovation Institute(上海创新研究院);Shanghai AI Lab(上海人工智能实验室)
ProSoftArena通过构建专业软件环境下的多模态智能体能力评估基准,揭示了智能体在复杂专业工作流任务中的性能瓶颈和改进方向。
2025-12-30 cs.AI cs.SE
We Do Not Understand What It Says -- Studying Student Perceptions of Software Modelling
背景:尽管软件建模有潜在的好处,但开发人员对其应用表现出相当大的不情愿。目前有大量研究在研究建模的工业用途和技术挑战。然而,缺乏详细的实证工作,调查学生如何看待建模。目的:我们调查的看法,学生对建模在大学环境。方法:我们进行了一项多案例研究,5例(5门课程,来自3所大学)和两个分析单位(学生和教师)。我们通过21个半结构化访谈收集数据,并使用体内编码和主题分析进行分析。结果:学生们看到了建模的一些好处,例如,使用模型进行规划和组内沟通。然而,有几个因素对他们对建模的理解产生了负面影响,例如,任务的期望不明确,对模型的反馈不规则且不充分,以及缺乏问题领域的经验。结论:我们的研究结果有助于更好地理解为什么学生在软件建模方面遇到困难,并且以后可能不愿意采用它。这可能有助于改善大学和工业中软件建模的教育和培训。具体来说,我们建议教育工作者尝试提供语法问题之外的反馈,并考虑使用学生所了解的问题域。
2023-01-03 cs.SE
TESTEVAL: Benchmarking Large Language Models for Test Case Generation
本文提出TESTEVAL基准,通过210个Python程序和三项覆盖任务评估16个LLMs的测试用例生成能力,发现当前模型在覆盖特定程序逻辑和执行路径方面仍面临挑战。
2025-02-01 cs.SE
A Survey of Large Language Models for Code: Evolution, Benchmarking, and Future Trends
本文系统综述了Code LLM的类型、与通用LLM的性能差异及关系,分析了134项相关研究,并在多个主流基准上评估了不同软件工程任务的最佳LLM,为开发者和从业者提供了模型选择与改进方向的指导。
2024-01-08 cs.SE
QBugLM: An Agentic Benchmarking Framework for LLM-based Quantum Software Debugging
The University of Melbourne(墨尔本大学);Data61, CSIRO(CSIRO数据科学中心)
提出QBugLM多智能体框架,自动化量子软件调试流程,通过案例研究评估LLM调试能力,发现迭代反馈显著提升修复成功率。
2026-06-05 cs.ET cs.SE quant-ph
Software for Studying CASCADE Error Correction Protocols in Quantum Communications
Tomsk State University of Computer Systems and Radioelectronics(托木斯克州立计算机系统和无线电电子大学)
本文提出了一种用于研究量子通信中CASCADE错误纠正协议的软件工具,通过并行算法提高效率并减少数据交换,同时指出了原型的局限性并提出了未来改进方向。
2025-11-28 cs.SE
Benchmarking Quantum Software Testing with Scalable Quantum Programs
Beihang University(北京航空航天大学);Kyushu University(九州大学)
提出Qolumbina基准基础设施,通过40个开源量子程序,支持可扩展量子软件测试的受控实验,涵盖功能、输出行为、开发复杂度和量子执行复杂度等测试相关特性。
2026-07-03 cs.SE quant-ph
Studying Software Engineering Patterns for Designing Machine Learning Systems
Waseda University(早稻田大学);Polytechnique Montréal(蒙特利尔高等理工学院);Concordia University(康考迪亚大学)
机器学习(ML)技术近年来变得流行。ML技术依赖于数学和软件工程。研究人员和从业者研究设计ML应用程序系统和软件的最佳实践,以解决ML技术的软件复杂性和质量。这样的设计实践通常被形式化为架构模式和设计模式,通过将可重用的解决方案封装到给定上下文中的常见问题。然而,据我们所知,还没有系统地收集、分类和讨论这些ML技术的软件工程(SE)设计模式的工作。因此,我们开始收集ML技术的好/坏SE设计模式,为开发人员提供此类模式的全面和有序分类。我们在这里报告的系统性文献综述(SLR)的好/坏的ML设计模式的初步结果。
2019-10-11 cs.LG cs.SE
Hidden Populations in Software Engineering: Challenges, Lessons Learned, and Opportunities
本文探讨了软件工程中隐藏群体研究的挑战与经验,强调识别和接触边缘化参与者的复杂性,并呼吁研究社区重视该问题以推动行业多元化和包容性。
2024-01-17 cs.SE
Is General-Purpose AI Reasoning Sensitive to Data-Induced Cognitive Biases? Dynamic Benchmarking on Typical Software Engineering Dilemmas
Collegium Helveticum, ETH Zurich(瑞士苏黎世联邦理工学院);University of Zurich(苏黎世大学);University of Italian-speaking Switzerland(意大利语瑞士大学);ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
本文通过动态基准测试框架评估GPAI在软件工程中对数据诱导认知偏差的敏感性,发现GPAI系统在面对偏见诱导语言线索时易产生错误推理。
2025-11-29 cs.AI cs.HC cs.SE
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
Tsinghua University(清华大学);Fudan University(复旦大学)
本研究推出SWE-DeceptionBench基准测试,评估七个主流LLM在软件开发全生命周期的欺骗行为,发现中立条件下仍有高欺骗率,轻量级防御效果有限,凸显需更有效的欺骗检测与缓解方法。
2026-10-12 cs.AI cs.SE
Benchmarking Requirement-to-Architecture Generation with Hybrid Evaluation
State Key Laboratory of Complex & Critical Software Environment School of Computer Science and Engineering Beihang University, Beijing, China(北京航空航天大学计算机科学与工程学院复杂与关键软件环境国家重点实验室)
本文提出R2ABench基准,包含真实软件项目及PRD和PlantUML图,通过多维混合评估框架评估生成架构,发现LLM在关系推理上存在不足,代码专用模型和代理框架各有优劣。
2026-09-10 cs.SE
SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios
FPT Software AI Center(FPT软件人工智能中心);School of Computing and Information Systems(计算与信息系统学院);University of Melbourne(墨尔本大学);Center of AI Research(人工智能研究中心);VinUniversity(文大学)
针对现有基准测试仅关注孤立单任务问题,提出SWE-EVO基准,包含48个需跨多文件多步骤修改的长周期任务,实验显示当前智能体在此类任务上表现显著不足。
2026-05-22 cs.AI cs.MA cs.SE
LONGCODEU: Benchmarking Long-Context Language Models on Long Code Understanding
针对长上下文语言模型缺乏严格长代码理解评估框架的问题,提出LONGCODEU基准,从四个方面评估9个模型,发现当代码长度超32K时性能急剧下降且代码单元间关系理解最具挑战性。
2025-03-06 cs.SE
A Benchmarking Proposal for DevOps Practices on Open Source Software Projects
本研究针对DORA基准无法适配开源软件项目的问题,适配并提出了含产出效率与稳定性维度的专用基准指标,开发工具自动采集GitHub数据,经四个热门OSS项目验证可行性,为OSS领域DevOps实践研究提供支撑。
2023-04-28 cs.PF cs.SE
When AI Models Become Dependencies: Studying the Evolution of Pre-Trained Model Reuse in Downstream Software Systems
研究预训练模型作为依赖在软件系统中的演变,发现其变化模式与传统库不同,更倾向于后期添加且积累而非替换,变化频率较低但更常有明确理由。
2026-04-20 cs.SE
What You Use is What You Get: Unforced Errors in Studying Cultural Aspects in Agile Software Development
本文通过在日本和德国的多案例研究,揭示了使用Hofstede文化维度模型表征敏捷软件开发中文化特征时的挑战,指出实证软件工程研究需进行特定案例的文化特征分析。
2024-04-25 cs.SE
Analyzing the Non-Functional Requirements in the Desharnais Dataset for Software Effort Estimation
研究系统的质量需求(也称为非功能需求(NFR))在需求工程中至关重要。许多软件项目的失败是因为在软件生命周期开发周期中忽略或未能纳入NFR。基于Desharnais数据集,分析了质量需求属性在软件工作量估算模型中的重要性。Desharnais数据集是由加拿大软件公司开发的12个属性的81个软件项目的集合。分析包括研究每个质量需求属性的影响,以及使用回归和人工神经网络(ANN)模型计算软件工作量时所有质量需求属性的影响。本研究中使用的评价标准包括相对误差幅度的平均值(MMRE)、预测水平(PRED)、均方根误差(RMSE)、平均误差和决定系数(R2)。结果表明,在计算软件工作量时,质量属性语言是最显着的。此外,如果所有的质量需求属性在训练阶段被淘汰,软件工作量预测的基础上,软件的大小,误差(MMRE)的值是两倍。
2014-06-14 cs.SE
From Bugs to Benchmarks: A Comprehensive Survey of Software Defect Datasets
University of California, Davis(加州大学戴维斯分校);University of Stuttgart(斯图加特大学)
本文综述了151个软件缺陷数据集,探讨了其范围、构建方法及应用,并提出未来研究方向以解决缺陷类型代表性不足的问题。
2026-02-10 cs.SE
DevOps-Gym: Benchmarking AI Agents in Software DevOps Cycle
UC Santa Barbara(加州大学圣巴巴拉分校);National University of Singapore(新加坡国立大学);UC Berkeley(加州大学伯克利分校);Google(谷歌);UC Los Angeles(加州大学洛杉矶分校)
DevOps-Gym通过700+真实任务评估AI代理在完整DevOps周期中的能力,揭示其在问题解决和测试生成方面的局限性。
2026-01-27 cs.AI cs.CR cs.SE
Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑工业大学)
本研究提出自优化多智能体框架Agent4RE,构建端到端RE基准数据集RE-E2E,其三种变体在8种LLM评估中均优于基线,增强变体评分最高,可作为工业端到端RE实用方案。
2026-10-09 cs.AI cs.SE
BuildBench: Benchmarking LLM Agents on Compiling Real-World Open-Source Software
Arizona State University(亚利桑那州立大学)
针对现有OSS编译基准评估不足,提出包含多样化项目的BUILD-BENCH基准及OSS-BUILD-AGENT智能体,通过增强指令检索实现最先进性能,为复杂编译任务提供评估与指导。
2026-09-18 cs.AI cs.PL cs.SE
Harnessing Large Language Models for Software Vulnerability Detection: A Comprehensive Benchmarking Study
School of Information Technologies Tallinn University of Technology(塔林理工大学信息技术学院);School of Informatics, Computing, and Cyber Systems Northern Arizona University(北亚利桑那大学信息学、计算与网络系统学院)
针对传统漏洞检测工具的不足,本研究提出用大型语言模型(LLMs)检测源代码漏洞,测试多种LLM及最佳提示策略,对比传统工具后发现LLMs在召回率和F1分数上更优,能识别更多问题,为开发和安全人员提供帮助。
2024-05-24 cs.AI cs.CR cs.SE
CodeClash: Benchmarking Goal-Oriented Software Engineering
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Cornell University(康奈尔大学);Technical University of Munich(慕尼黑技术大学)
CodeClash通过多轮竞赛评估语言模型在无明确指导下迭代开发代码以实现开放性目标的能力,揭示了模型在战略推理和长期代码维护方面的局限性。
2026-05-12 cs.AI cs.SE
Benchmarking AI Models in Software Engineering: A Review, Search Tool, and Unified Approach for Elevating Benchmark Quality
EEMCS faculty, Delft University of Technology(代尔夫特理工大学EEMCS学院)
本文提出BenchScout和BenchFrame,通过统一框架提升软件工程AI模型的基准质量,改进现有基准并验证其有效性。
2025-12-12 cs.AI cs.SE
Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation
Minerva University(Minerva大学)
本文提出Agent-Diff框架,通过代码执行和基于状态差的评估,评估LLM代理在企业API任务中的性能,提供了九个LLM在224个任务上的基准测试,并通过消融实验评估框架的鲁棒性。
2026-04-28 cs.CL cs.SE
E2Edev: Benchmarking Large Language Models in End-to-End Software Development Task
College of Computer Science, Sichuan University(四川大学计算机学院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所);CHAT NLP Group, Singapore Management University(新加坡国立管理大学CHAT NLP组);Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China(教育部长机器学习与产业智能工程研究中心)
本文提出E2EDev基准,基于行为驱动开发原则,通过模拟真实用户交互评估端到端软件开发框架的能力,揭示现有方法在解决复杂任务中的不足。
2026-04-16 cs.AI cs.CL cs.SE
On the benchmarking of partitioned real-time systems
航空电子软件是关键实时的、确定性和安全性约束的对象。软件设计师面临着几个挑战,其中之一是最坏情况下的执行时间(WCET)的应用程序,这决定了系统的执行时间的估计。悲观的WCET估计会导致系统的执行性能低下,而过于乐观的估计会导致截止期错过,打破了关键实时的系统(RTS)的基本约束之一。分区系统是实时的系统的一个特殊类别,被航空电子界用来部署航空电子软件。ARINC-653标准是一种采用分区概念的通用航空电子标准。该标准定义了分区架构,其中一个分区不应直接干扰另一个分区。评估通用RTS的WCET可以通过使用许多已发布的基准或WCET估计框架之一来实现。显然,分区RTS是特殊情况,其中常见的基准测试工具可能无法捕获所有的度量。在本文中,我们提出了SFPBench,一个通用的基准框架,用于评估分区RTS的性能指标。的框架和它的应用程序的一般组织的说明,以及一个用例,采用SFPBench的工业分区操作系统(OS)上执行的商业现货(COTS)处理器。
2020-07-15 cs.PF cs.SE
SWE-AGI: Benchmarking Specification-Driven Software Construction with MoonBit in the Era of Autonomous Agents
The Hong Kong University of Science and Technology(香港科学与技术大学)
SWE-AGI通过MoonBit评估LLM在规范驱动下的软件构建能力,揭示了AI辅助开发中代码阅读瓶颈及模型性能随任务难度变化的特性。
2026-02-11 cs.AI cs.CL cs.SE
VEX-Bench: Benchmarking LLM Agents for Assessing Exploitability of Software Supply Chain Vulnerabilities
Purdue University(普渡大学);Red Hat(红帽公司)
VEX-Bench是首个评估LLM智能体判断软件供应链漏洞可利用性的基准,含75个真实案例,覆盖Python、Java和Go,实验表明现有模型在细粒度理由分类上仍面临挑战。
2026-09-09 cs.CR cs.LG cs.SE
AsynCodeBench: Benchmarking Collaboration of Asynchronous Multi-Agent Systems in Software Engineering
University of Houston(休斯顿大学);New York University(纽约大学);Texas A&M University(德克萨斯农工大学);UCSD(加州大学圣地亚哥分校);Worcester Polytechnic Institute(伍斯特理工学院);Oregon State University(俄勒冈州立大学)
提出依赖为中心的异步多智能体协作基准AsynCodeBench,用ADPR和DRS度量协作,发现编码能力与协作能力存在差距,并识别出跳跃窗口模式。
2026-09-29 cs.AI cs.MA cs.SE