FormulaCode: Evaluating Agentic Optimization on Large Codebases
The University of Texas at Austin(德克萨斯大学奥斯汀分校);California Institute of Technology(加州理工学院);Cornell University(康奈尔大学)
FormulaCode是一个评估大型真实代码库上代理优化能力的基准,包含957个从科学Python仓库挖掘出的性能瓶颈,配以专家撰写的补丁和平均264.6个社区维护的性能工作负载,揭示了前沿LLM代理在多目标优化上的重大挑战。
2026-07-21 cs.AI cs.CL cs.SE
RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment
Xiamen University(厦门大学);Nanyang Technological University(南洋理工大学);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
研究构建RoTA-Bench评估视觉-语言模型的3D空间推理能力,发现模型在投影对齐任务中表现远逊于人类,且图像与姿态空间进展易不一致,精细控制依赖交互历史。
2026-10-19 cs.AI
ProjectionBench: Evaluating Scientific Hypothesis Generation in LLMs Under Progressive Information Disclosure
Unreasonable Labs
提出ProjectionBench框架,通过渐进式信息揭示评估大语言模型在科学发现中的创新性和推理能力,实验表明GPT-5.4在最小上下文下仍保持0.7 F1分数与真实结论对齐。
2026-05-28 cs.AI
IFCMemoryBench: Evaluating Long-Term Memory of LLM-Based Agents in BIM Information Retrieval
Technical University of Munich(慕尼黑工业大学);Nemetschek Group(Nemetschek集团)
本文推出IFCMemoryBench基准,评估基于LLM的智能体在BIM信息检索中的长期记忆,发现现有通用记忆系统在该场景下表现差,存在领域迁移差距。
2026-07-30 cs.AI cs.IR
PCEval: A Benchmark for Evaluating Physical Computing Capabilities of Large Language Models
Department of Immersive Media Engineering(沉浸媒体工程系);Sungkyunkwan University(成均馆大学)
PCEval是一个评估大型语言模型物理计算能力的基准,通过自动评估电路生成和硬件交互能力,揭示LLMs在物理布局设计中的不足。
2025-12-31 cs.AI cs.CL
JavaBench: A Benchmark of Object-Oriented Code Generation for Evaluating Large Language Models
The Hong Kong University of Science and Technology(香港科技大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州香港科技大学霍英东研究院);Nanjing University(南京大学)
提出项目级Java基准JavaBench,包含4个项目、106个类和389个方法,评估LLM面向对象代码生成能力,发现LLM在项目级Java编程上远落后于本科生。
2024-10-11 cs.AI cs.LG cs.PL
GLoRE: Evaluating Logical Reasoning of Large Language Models
Hainan University(海南大学);Westlake University(西湖大学);ByteDance SG(字节跳动新加坡)
本文提出GLoRE,一个统一格式的逻辑推理评估平台,在零样本和少样本场景下评估大语言模型,实验显示大型推理模型(如QwQ-32B)性能显著提升,并持续整合新数据与模型。
2025-04-20 cs.AI cs.CL
WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing
Northeastern University(东北大学);Kuaishou Technology(快手科技)
本文提出WebTestBench基准,用于评估端到端自动化网页测试能力,揭示现有方法在测试完整性、检测瓶颈和长周期交互可靠性方面的不足。
2026-03-26 cs.AI cs.CL cs.MA
R-ConstraintBench: Evaluating LLMs on NP-Complete Scheduling
Labelbox
本文提出R-ConstraintBench基准框架,通过在NP完全的RCPSP调度问题中逐步增加优先、停机、时间窗口和析取约束,评估大语言模型在高约束推理下的可行性表现,发现约束交互是导致模型性能崩溃的主要瓶颈,且合成任务表现难以泛化到领域场景。
2025-08-21 cs.AI
SCHEDBench: A Benchmark for Evaluating LLM Constraint Faithfulness in Natural-Language Combinatorial Scheduling
University of California, Berkeley(加州大学伯克利分校)
SCHEDBench基准针对13个LLMs的测试表明,模型对同一调度问题的语义等价表述缺乏不变性,约束重排序引发的敏感性最为突出。
2026-08-27 cs.AI cs.CL
ORCA: Evaluating LLMs on Data Science Code Translation
The University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出ORCA基准评估大语言模型在数据科学代码翻译中的表现,发现现有模型性能有限,并提出意图增强方法,在ORCA-MAIN和ORCA-PROJECT上分别提升成功率4.80%和5.33%。
2026-09-28 cs.AI
MemSim: A Bayesian Simulator for Evaluating Memory of LLM-based Personal Assistants
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Huawei Technologies Ltd.(华为技术有限公司);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出MemSim贝叶斯模拟器,通过BRNet和因果生成机制自动构建可靠QA,并生成MemDaily数据集,为评估基于LLM的个人助手记忆能力提供基准。
2024-09-30 cs.AI cs.CL
Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages
The Assam Kaziranga University(阿萨姆卡齐兰加大学)
本文针对印度22种官方语言,评估12个大型语言模型的分词器性能,发现SUTRA分词器在14种语言中表现最优,强调需开发针对性分词策略以提升多语言模型效率。
2024-11-26 cs.AI cs.CL
StakeBench: Evaluating Language Understanding Grounded in Market Commitment
University of Bristol(布里斯托大学)
提出StakeBench框架,通过将市场评论与可验证的交易记录关联,从市场行为中自动生成监督信号,评估语言模型对市场承诺的理解能力。
2026-11-11 cs.AI cs.CL q-fin.GN
MirrorBench: Evaluating Self-centric Intelligence in MLLMs by Introducing a Mirror
Shanghai AI Lab(上海人工智能实验室)
MirrorBench通过引入镜像测试,系统评估多模态大语言模型的自中心智能,揭示其在基础视觉感知到高级自我表征方面的局限性。
2026-04-22 cs.AI
A Multi-Agent Pokemon Tournament for Evaluating Strategic Reasoning of Large Language Models
TuriLabs
本文提出 LLM Pokemon League,一个利用大语言模型作为智能代理进行宝可梦对战模拟的锦标赛系统,通过单淘汰赛制捕获决策日志,以评估和比较不同 LLM 在策略推理、适应性和战术深度上的表现,为 AI 策略研究提供新基准。
2025-08-03 cs.AI
FuzzingBrain-Bench V1: Evaluating Open-Ended Bug Discovery by LLMs
Texas A&M University(得克萨斯农工大学);University of Novi Sad(诺威萨大学)
本研究提出FuzzingBrain-Bench V1基准,评估Claude系列大模型的开源软件漏洞发现能力,其中Claude Opus 4.8表现最佳,在77项挑战中60项触发崩溃,得196分。
2026-08-27 cs.AI cs.CR cs.LG
PIVOTSBench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models
Sun Yat-sen University(中山大学);University of Michigan(密歇根大学);Tsinghua University(清华大学)
提出PIVOTS基准,基于Social-IQ 2.0和YouTube数据,评估多模态大语言模型在心理学研究基础上预测双向人际关系维度的能力,并包含辅助任务分析关键视觉线索。
2026-09-03 cs.CL
BEAMS: Benchmarking and Evaluating AI for Modeling and Simulation
提出BEAMS倡议,通过建立以人为本的基准测试框架,评估AI工具在建模与仿真中的表现,发现其在因果推理和定量修正方面存在不足。
2026-05-27 cs.AI
From Understanding to Generation: An Efficient Shortcut for Evaluating Language Models
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本研究通过将耗时的生成式任务(NLG)重新表述为计算成本更低的理解式任务(NLU),在4种能力和8个模型上验证了任务格式间的强相关性,实现了超过35倍的评估时间缩减,为LLM训练期间的能力监测提供了高效捷径。
2025-09-16 cs.CL
Polar: A Benchmark for Evaluating Political Bias in LLMs
Graduate School of Data Science, Seoul National University(首尔大学数据科学研究生院);Dept. of Computer Science and Engineering, Seoul National University(首尔大学计算机科学与工程系)
提出Polar基准,通过选项级似然度测量大语言模型的政治偏见,覆盖美国和韩国政治语境,发现偏见随语境、议题、模型组和语言变化。
2026-11-20 cs.CL cs.CY
Defining and Evaluating Physical Safety for Large Language Models
The Chinese University of Hong Kong(香港中文大学);IBM Research(IBM研究院)
本文提出了一种无人机控制的全面基准,评估大语言模型在物理安全方面的风险与权衡,揭示了模型在安全性和实用性之间的不理想平衡。
2026-02-19 cs.AI cs.CY cs.LG
Is PMBOK Guide the Right Fit for AI? Re-evaluating Project Management in the Face of Artificial Intelligence Projects
Intel Corporation(英特尔公司)
本文批判PMBOK指南在AI项目中的适用性,指出其在数据管理、迭代开发和伦理指导方面的不足,并提出整合数据生命周期管理、采用迭代式框架及嵌入伦理考量的改进建议。
2025-06-02 cs.CV cs.SE
Evaluating Random Mutant Selection at Class-Level in Projects with Non-Adequate Test Suites
变异测试是评估测试套件质量的标准技术。由于其计算密集的性质,已经提出了许多方法,使这种技术在实际情况下可行。在这些方法中,均匀随机突变体选择已被证明是简单和有前途的。然而,这方面的工作主要是在项目级分析突变样本的项目有足够的测试套件。在本文中,我们填补了这一缺乏经验验证分析类水平上的项目与不充分的测试套件的随机突变体选择。首先,我们证明了均匀随机突变体选择达不到预期的结果。然后,我们提出了一种新的方法称为加权随机突变体选择,产生更多的代表性突变体样本。最后,我们表明,具有代表性的突变体样本较大的项目具有高的测试充分性。
2016-07-08 cs.SE
Evaluating the Inclusiveness of Artificial Intelligence Software in Enhancing Project Management Efficiency -- A Review
International Zambia University(赞比亚国际大学);Hellenic College(希腊学院)
本文综述了人工智能技术在提升项目管理包容性与效率中的作用,提出了一套评估技术包容性和有效性的标准方法,强调在技术开发中平衡技术进步与伦理考量以防止加剧社会不平等。
2023-11-18 cs.CL cs.SE
Transforming Software Development: Evaluating the Efficiency and Challenges of GitHub Copilot in Real-World Projects
Security Business Group, Cisco Systems Inc(思科系统公司安全业务集团)
本研究评估了 AI 编码助手 GitHub Copilot 在真实项目中的效率与挑战,发现其在文档和重复性任务中可节省 30-50% 时间,但在复杂和 C/C++ 代码场景下表现不佳,预计云优先生命周期整体编码时间将减少 33-36%。
2024-06-25 cs.AI cs.SE
Evaluating prediction systems in software project estimation
背景:软件工程有一个问题,当我们经验性地评估相互竞争的预测系统时,我们会得到相互矛盾的结果。目的:减少验证研究结果之间的不一致性,并提供一个更正式的基础来解释结果,特别关注连续预测系统。方法:提出了一个新的框架,用于评估竞争的预测系统的基础上(1)一个无偏的统计,标准化的准确性,(2)测试结果的可能性相对于基线技术的随机“预测”,即猜测,(3)计算效果大小。结果:以前发表的预测系统的经验评估重新审查和原来的结论是不安全的。此外,即使是最强的结果显示,有不超过一个中等的效果大小相对于随机猜测。结论:不赞成使用MMRE等有偏差的准确性统计。相比之下,这种新的实证验证框架导致有意义的结果。这些步骤将有助于进行未来的荟萃分析,并为从业人员提供更有力和可用的建议。
2021-01-14 cs.SE
HackerRank-ASTRA: Evaluating Correctness & Consistency of Large Language Models on cross-domain multi-file project problems
针对现有基准忽视多文件场景及一致性评估的不足,本文提出HackerRank-ASTRA基准,通过多次运行和分类层级分析评估大模型在跨领域项目问题上的正确性与一致性,发现头部模型性能相当但Claude-3.5-Sonnet一致性最优。
2025-01-31 cs.LG cs.SE
Evaluating Maintainability Prejudices with a Large-Scale Study of Open-Source Projects
夸大或上下文的变化会使维护性经验变得有偏见。例如,JavaScript通常被视为最不优雅的语言,因此可维护性最低。这种偏见不应在事先没有经验验证的情况下指导决策。我们基于偏见制定了10个关于可维护性的假设,并在大量开源项目(6,897个GitHub存储库,4.02亿行,5种程序设计语言)中进行了测试。我们用五个静态分析度量来操作可维护性。我们发现,JavaScript代码并不比其他代码差,Java代码比C#代码具有更高的可维护性,C代码比其他代码具有更长的方法。Java代码中的接口文档的质量比其他代码中的要好。由团队开发的代码并不具有更高和更大的代码库,也不具有更低的可维护性。具有高可维护性的项目并不更受欢迎或更经常分叉。总体而言,大多数假设没有得到开放源数据的支持。
2018-06-12 cs.PL cs.SE
Evaluating LLMs Code Reasoning Under Real-World Context
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出R2Eval1基准测试,包含135个来自十个广泛使用的Python项目的代码推理问题,通过序列化复合和自定义类型,更真实地评估LLM的通用性。
2026-04-14 cs.SE
Attention Please: Consider Mockito when Evaluating Newly Proposed Automated Program Repair Techniques
自动程序修复(Automated program repair,APR)技术近年来引起了广泛的关注。与此同时,许多基准测试已经建立了评估APR技术的性能,其中Defects 4J是使用最广泛的基准测试之一。然而,在Mockito,一个项目中的缺陷增强后的版本的Defects 4J,没有得到太多的关注,最近的研究。在本文中,我们的目的是调查评估APR技术时考虑Mockito错误的必要性。我们的研究结果表明:1)与其他项目的bug相比,Mockito bug的修复并不复杂; 2)与修复Mockito bug所需的模式相比,最先进的工具修复的bug共享相同的修复模式;但是,在此情况下,3)最先进的工具在Mockito错误上表现不佳(Nopol只能正确修复一个bug,而SimFix和CapGen无法修复Mockito中的任何bug,即使所有bug位置都已暴露)。从这些结果中,我们得出结论,现有的APR技术可能是过拟合的评估科目,我们应该考虑Mockito,甚至更多的错误,从其他项目,当评估新提出的APR技术。我们进一步找出了一个独特的修复行动所需的修复Mockito错误命名为外部包添加。从与源代码相关联的测试代码中恢复外部包对于扩大搜索空间是可行的,并且该动作可以用现有的修复动作来增强以推进现有技术。
2019-01-08 cs.SE
Beyond pip install: Evaluating LLM Agents for the Automated Installation of Python Projects
针对现有LLM软件工程智能体缺失仓库级依赖安装任务的问题,构建含40个Python项目的安装任务基准,提出Installamatic智能体通过检索仓库文档完成安装验证,实验显示55%的仓库十次尝试中至少可成功安装一次,并分析了失败原因与挑战。
2024-12-09 cs.SE
FreshBrew: A Benchmark for Evaluating AI Agents on Java Code Migration
Google(谷歌);Max Planck Institut für Intelligente Systeme (MPI-IS)(马克斯·普朗克智能系统研究所);ELLIS Institute, Tübingen(图宾根ELLIS研究所);Salesforce;Gologic Inc(Gologic公司)
本文提出了FreshBrew基准,用于评估AI智能体在项目级Java代码迁移中的表现,发现最优模型Gemini 2.5 Flash能成功迁移52.3%的项目,并揭示了当前智能体方法的优势与局限。
2026-10-06 cs.AI cs.SE
From First Patch to Long-Term Contributor: Evaluating Onboarding Recommendations for OSS Newcomers
本文通过系统文献综述识别出15条面向OSS新手的入职推荐,并在五个Gerrit项目和1,155个GitHub项目上实证评估其有效性,发现部分推荐普遍有效、部分依赖情境、部分仅适用于新手阶段。
2025-03-09 cs.SE
Evaluating LLM Agents on Automated Software Analysis Tasks
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全中心);Imperial College London(伦敦帝国学院)
本文通过AnalysisBench评估四种LLM架构在自动化软件分析任务中的表现,发现AnalysisAgent在手动验证的成功率高达94%,而现有代理存在阶段混用、错误定位差等问题,且整程序分析和符号执行是最具挑战性的任务。
2026-07-31 cs.SE
Detecting and Evaluating Order-Dependent Flaky Tests in JavaScript
本文针对 JavaScript 项目中 Jest 测试框架的顺序依赖型不稳定测试,提出系统化随机化重排检测方法,在 81 个项目中识别出 55 个顺序依赖型测试,并发现共享模拟状态这一新成因。
2025-01-22 cs.SE
Evaluating software defect prediction performance: an updated benchmarking study
准确地预测错误的软件单元可以帮助从业者瞄准错误的单元,并优先考虑他们的工作,以保持软件质量。之前的研究使用机器学习模型来检测错误的软件代码。我们回顾过去的研究,并指出潜在的改进。我们的新研究提出了一个修订的基准配置。该配置考虑了许多新的维度,例如类分布抽样、评估指标和测试程序。这项新研究还包括新的数据集和模型。我们的研究结果表明,预测的准确性通常是好的。然而,预测能力受到评估指标和测试程序(频率论或贝叶斯方法)的严重影响。分类器的结果取决于软件项目。虽然很难选择最好的分类器,但研究人员应该考虑不同的维度来克服潜在的偏见。
2019-01-07 cs.SE
Evaluating Package-Level Scoping Strategies for Repository-Level Code Completion in Pharo
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 CRIStAL(里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、中央里尔学院、CRIStAL实验室);CIRAD, UMR SENS(法国农业研究国际合作中心);CNRS, University of Bordeaux, Bordeaux INP, LaBRI, UMR5800(法国国家科学研究中心、波尔多大学、波尔多理工学院、LaBRI实验室)
针对仓库级代码补全忽略包结构的问题,提出三种包感知启发式策略,其中直接包依赖显著提升类名和方法名补全的MRR,并被Pharo 13采用。
2026-09-18 cs.SE
Hold On! Is My Feedback Useful? Evaluating the Usefulness of Code Review Comments
本研究通过文本特征和无特征方法评估代码审查评论的有用性,实验表明GPT-4o和TF-IDF词袋方法最有效,显著提升预测性能。
2025-01-12 cs.SE
Evaluating Shaker for Flaky Test Detection in Python Projects
Centro de Informática Universidade Federal de Pernambuco(伯南布哥联邦大学计算机中心);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
首次实证评估 Shaker 在 Python 中的不稳定测试检测,发现其相对普通重执行无显著优势,并揭示跨环境重用真实数据集会降低工具召回率的风险。
2026-09-23 cs.SE
Evaluating the Impact of Pair Documentation on Requirements Quality and Team Productivity
本文通过对照实验比较结对文档与传统文档,发现两人协作编写需求可显著提升SRS质量与团队生产力,为组建高效需求工程团队提供依据。
2023-04-27 cs.SE
Exploring and Evaluating Personalized Models for Code Generation
McGill University(麦吉尔大学);Anthropic(Anthropic公司);Microsoft(微软公司)
大型Transformer模型在自然语言理解任务中达到了最先进的水平,并且越来越多地成为建模源代码的基线模型架构。Transformers通常在大型无监督语料库上进行预训练,学习与建模一般可用文本相关的令牌表示和转换,然后在特定的下游感兴趣的任务上进行微调。虽然微调是使模型适应新领域的可靠方法-例如,对给定主题的问答-但泛化仍然是一个持续的挑战。在本文中,我们探讨和评估Transformer模型微调个性化。在为Java方法生成单元测试的上下文中,我们使用几种个性化技术来评估学习个性化特定软件项目的能力。我们考虑三种关键方法:(i)自定义微调,允许调整所有模型参数;(ii)轻量级微调,冻结大部分模型参数,仅允许调整令牌嵌入和softmax层或仅调整最终层;(iii)前缀调整,保持模型参数冻结,但优化小的项目特定前缀向量。这些技术中的每一种都提供了总计算成本和预测性能的权衡,我们通过代码和特定于任务的指标,训练时间和总计算操作来评估。我们比较了这些用于代码生成的微调策略,并讨论了每种策略在各种部署场景中的潜在通用性和成本效益。
2022-09-20 cs.CL cs.LG cs.SE
A Dataset of Software Bill of Materials for Evaluating SBOM Consumption Tools
本文构建并公开了一个包含46个经自动与手动修正、符合SPDX Lite规范的Java项目SBOM数据集,用于评估SBOM消费工具并揭示生成工具问题。
2025-04-09 cs.SE
Presenting and Evaluating the Impact of Experiential Learning in Computing Accessibility Education
研究表明,今天创建的许多软件并不是所有用户都可以访问的,这表明开发人员认为没有必要投入足够的资源来创建可访问的软件。使这一问题更加复杂的是,缺乏强有力的、易于采用的教育无障碍材料,可供教师纳入其课程。为了解决这些问题,我们使用体验式学习结构创建了五个无障碍学习实验室(ALL)。这些实验室的目的是教育和创造在计算的可访问性需求的认识。这些实验室通过为教师提供完整的教育材料(包括讲座幻灯片、活动和测验),轻松实现课堂整合。实验室托管在我们的服务器上,只需要使用浏览器。为了证明我们的材料的好处和我们的体验式实验室格式与移情创建材料的潜在好处,我们进行了一项研究,涉及276名学生在10个部分的入门计算课程。我们的研究结果包括:(I)所提出的体验式学习形式和实验室的表现潜力在激励和教育学生关于无障碍的重要性方面是有效的(II)实验室在告知学生关于基本无障碍主题方面是有效的(III)移情创建材料被证明是计算无障碍教育的有益组成部分,支持学生更重视创建可访问软件的重要性。创建的实验室和项目材料可在项目网站上公开获取:http://all.rit.edu
2020-09-09 cs.HC cs.SE
Built to Last or Built Too Fast? Evaluating Prediction Models for Build Times
自动化构建是持续集成(CI)软件开发实践的组成部分。在CI中,鼓励开发人员尽早并经常进行集成。然而,当集成频繁时,长的构建时间可能是一个问题。这项研究的重点是在经常集成和保持开发人员的生产力之间找到平衡。我们提出并分析模型,可以预测一个工作的构建时间。这些模型可以帮助开发人员更好地管理他们的时间和任务。此外,项目经理可以探索不同的因素,以确定构建作业的最佳设置,从而将构建等待时间保持在可接受的水平。过渡到CI实践的软件组织可以在实施CI之前使用预测模型来预测构建时间。研究界可以修改我们的预测模型,以进一步了解影响构建时间的因素和关系。
2017-12-19 cs.SE
Evaluating Language Model Applications for Identifying Solution-Related Content in Issue Report Discussions
William & Mary(威廉玛丽学院)
本文利用语言模型自动识别问题讨论中的解决方案内容,通过三种应用(嵌入、提示、微调)评估不同分类器性能,发现微调大语言模型效果最佳,且模型迁移能提升其他项目的效果。
2026-03-23 cs.SE
Evaluating Classical Software Process Models as Coordination Mechanisms for LLM-Based Software Generation
Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT)(胡志明市理工大学计算机科学与工程系);Vietnam National University Ho Chi Minh City(越南国立大学胡志明市分校);FPT University(FPT大学);Department of Economics and IT, University of South Eastern Norway(挪威东南大学经济与信息技术系)
本研究探讨了将 Waterfall、V-Model 和 Agile 等经典软件过程模型适配为基于 LLM 的多智能体系统的协调机制,通过 132 次实验评估其对代码质量、成本和生产力的影响,发现不同过程在效率、代码质量和计算成本上存在显著权衡。
2025-09-17 cs.SE
Criteria Based Evaluation Framework for Service Oriented Methodologies
面向服务的软件工程基于构建复杂企业系统的概念和原则,其中服务作为系统的构建块分布在大型网络中。面向服务的方法的主要目标是定义一个基于服务的系统的开发和维护过程。与传统的面向对象或基于代理的软件开发方法相比,大多数面向服务的方法还不够成熟。因此,确定一个评价框架将有助于比较各种方法,以确定其优缺点,确定新的方法或扩展现有的面向服务的方法。目前,还没有一个完整的评估框架来评估面向服务的方法。本文的主要目的是介绍一个全面的评估框架,评估面向服务的方法。该评估工具适用于方法工程师开发新的方法,以及项目经理在特定项目中选择合适的方法。
2020-04-17 cs.SE
Challenges in Selecting Software to be Reused
这是一份关于合作科学工作中的资源共享、再利用和循环的立场文件,CSCW'14研讨会。它讨论了软件在NSF的CIF 21愿景和SI 2计划中的作用,该计划旨在支持这一目标。SI2主要支持响应招标而提出的软件项目,同行评审员和NSF在评估这些项目时使用的一些标准取决于预测科学影响。本文就如何改进科学影响力预测的一些思路进行了探讨。
2014-10-27 cs.SE
Evaluating LLM-Generated Code: A Benchmark and Developer Study
IU Internationale Hochschule Bad Honnef(德国国际高等教育学院)
本文提出了一种定制的树折评估方法,用于评估大语言模型生成的代码,弥补了现有基准在代码质量和可操作性方面的不足,并通过对比三个通用大语言模型展示了其有效性。
2026-06-11 cs.SE
The best defense is a good defense: adapting negotiation methods for tackling pressure over software project estimates
软件评估是软件项目成功的关键,也是一项具有挑战性的活动。我们认为,估计问题不仅限于产生的估计,而且还使用承诺建立:项目利益相关者的压力估计改变他们的估计或接受不切实际的承诺,以实现业务目标。在这项研究中,我们采用了设计科学研究(DSR)的方法来设计一个基于谈判方法的工件,使软件评估人员能够在面对压力时捍卫他们的估计和寻找不切实际的承诺的替代方案。该人工制品是在实践者中传播谈判软技能的具体步骤。我们提出了初步的结果,从一个焦点小组,表明从业者从软件行业可以使用的工件在一个具体的情况下,估计和建立有关软件项目的承诺。我们未来的步骤包括根据焦点小组参与者的建议改进工件,并在行业中的实际软件项目中对其进行经验评估。
2022-03-25 cs.SE
Evaluating Large Language Models in Detecting Test Smells
本研究评估了ChatGPT-4、Mistral Large和Gemini Advanced三种大型语言模型在七种编程语言代码库中自动检测30种测试坏味的能力,发现它们分别识别出21、15和17种,展现了作为测试坏味检测工具的潜力。
2024-07-30 cs.SE
IDE-Bench: Evaluating Large Language Models as IDE Agents on Real-World Software Engineering Tasks
IDE-Bench通过IDE原生工具接口评估大型语言模型作为IDE代理在真实软件工程任务中的表现,提供首个系统性的多语言全栈环境评估框架。
2026-01-30 cs.LG cs.SE
Implementing Software Project Control Centers: An Architectural View
在工业实践中,建立有效和高效的软件和系统开发项目控制机制仍然具有挑战性。一方面,往往缺乏必要的先决条件,如既定的发展进程、对相关指标的因果关系的理解以及衡量方案的充分可持续性。另一方面,有更根本的方法缺陷有关的控制过程本身和适当的工具支持。保证控制数据的有用性、完整性和精确性的其他活动普遍缺失。本文提出了一个所谓的软件项目控制中心(SPCC),解决这些挑战的概念架构。该架构包括获取足够准确和完整的数据以及支持不同利益攸关方信息需求的机制。此外,该体系结构的实现,所谓的镜面工程支持环境,勾勒,并从评估在工业环境中实现的结果。
2014-01-07 cs.SE