Assessing the Capability of Android Dynamic Analysis Tools to Combat Anti-Runtime Analysis Techniques
Nanjing University of Posts and Telecommunications（南京邮电大学）；Sun Yat-sen University（中山大学）
本文评估了Android动态分析工具对抗反运行时分析技术的能力，揭示了现有工具在应对ARA机制方面的不足，强调了改进方法的必要性。
2025-12-14 cs.SE
Assessing and Improving the Mutation Testing Practice of PIT
突变测试被广泛用于支持软件工程研究的实验。由于现代工具可以自动化整个突变分析过程，因此它可以应用于现实世界的项目。然而，流行的突变测试工具使用一组限制性的突变体，不符合突变测试文献所支持的社区标准。这可能是有问题的，因为突变的有效性取决于它的突变体。因此，我们研究如何有效的突变体的一个流行的突变测试工具，命名为PIT，相比全面的，从文献和个人经验。我们表明，全面的突变体是很难杀死和编码的故障没有被捕获的突变体的PIT的范围为11%至62%的Java类的考虑项目。
2016-01-11 cs.SE
A Tool for Benchmarking Large Language Models' Robustness in Assessing the Realism of Driving Scenarios
本文提出基准测试工具 DriveRLR，通过生成变异场景和提示来评估大语言模型判断驾驶场景真实性的鲁棒性，并在三个主流模型上验证了其有效性。
2025-11-06 cs.SE
Assessing UML Diagrams by GPT: Implications for Education
针对高校UML作业人工评阅耗时耗力的问题，本文提出含11项细则的UML图评估标准，通过40份学生作业实验测试GPT评估三类UML图的性能，明确其可用但暂无法替代人工的结论及评估优劣势。
2025-11-18 cs.SE
Binary-level Software Compatibility Tool Agreement
应用程序二进制接口（ABI）兼容性对于系统或软件更新至关重要，以确保库继续运行。因此，可以评估二进制或库ABI的工具可以用于预测兼容性，并通过通知开发人员和用户有关问题来预测下游错误。在这项工作中，我们有兴趣描述一套众所周知的工具，用于评估ABI，并测试他们在一个控制集的实验，以评估工具协议。我们在不同的工具中运行了7660个较小的实验（N=30,640个结果），不仅评估了预测结果，还评估了每个工具提供有关潜在问题细节的能力。在这项工作中，随着突出问题的评估ABI兼容性和批评的优点和缺点，目前可用的工具，我们提供了指导开发人员有兴趣测试ABI的基础上，我们的实证结果和建议，为未来的工作。
2023-02-01 cs.SE
Assessing the Exposure of Software Changes: The DiPiDi Approach
上下文：更改具有许多构建时配置设置的软件应用程序可能会引入意外的副作用。例如，旨在特定于平台的更改（例如，Windows）或产品配置（例如，社区版本）可能会影响其他平台或配置。此外，旨在应用于一组平台或配置的更改可能无意中被限制为子集。事实上，理解源代码变更的暴露是基于变更的开发方法中重要的风险缓解步骤。目的：在这个实验中，我们试图评估DiPiDi，我们的方法来评估暴露的源代码更改静态分析构建规范的原型实现。在评估源代码更改的暴露时，我们将评估重点放在开发人员的有效性和效率上。方法：我们将衡量开发人员在执行五项任务时的有效性和效率，在这些任务中，他们必须确定可交付成果和变更传播的条件。我们将参与者分为三组：没有明确的工具支持，由现有的影响分析工具支持，并支持DiPiDi。
2021-04-01 cs.SE
Quantitatively Assessing the Benefits of Model-driven Development in Agent-based Modeling and Simulation
Universidade do Estado de Santa Catarina (UDESC)（圣卡塔琳娜州立大学（UDESC））；Universidade Federal do Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学（UFRGS））
基于代理的建模与仿真（ABMS）范式已被用于分析，再现和预测与许多应用领域相关的现象。虽然有许多基于代理的平台支持仿真开发，但它们依赖于需要广泛编程知识的程序设计语言。模型驱动开发（MDD）已经被探索以通过高级建模语言来促进仿真建模，所述高级建模语言提供隐藏计算复杂性的可重用构建块和代码生成。然而，关于ABMS的MDD方法如何有助于提高开发生产力和质量的知识仍然有限。因此，在本文中，我们提出了一个实证研究，定量比较MDD和ABMS平台的使用，主要是在努力和开发人员的错误。我们的评估是使用MDD4ABMS和NetLogo进行的，MDD4ABMS是一种MDD方法，具有两个应用领域的核心和扩展，其中一个是为本研究开发的，NetLogo是一个广泛使用的平台。所获得的结果表明，MDD4ABMS需要更少的努力来开发类似（有时更好）的设计质量比NetLogo的模拟，给证据的好处，MDD可以提供ABMS。
2020-06-15 cs.AI cs.SE
Assessing usability of model driven development in industrial projects
模型驱动开发范例的整体使用会极大地影响和改变组织的软件开发部门。这种范式降低了一些任务的复杂性和成本，但也引入了新的任务，如果认真引入，会对软件开发过程中的活动和角色产生严重影响。随着模型成为最重要的开发工件，开发团队面临着新的挑战。G.评估模型的质量，分布式团队的模型划分和配置管理，构建管理的设置，工具链和通过各种工件跟踪信息。处理模型驱动开发的组织需要成功地引入新的工具和新的思维方式，他们在采用过程和培训员工方面面临挑战。本文介绍了一个正在进行的研究项目的可用性评估的建模和模型驱动的开发在一个全球性的工业组织，其总部设在德国。感兴趣的是通过完成经验的、定量的调查来分析建模（特别是使用UML）和模型驱动开发的可用性。
2014-09-22 cs.SE
Assessing User Interface Design Artifacts: A Tool-Supported Behavior-Based Approach
行为驱动开发（BDD）在过去几年中已经成为一种强大的方法，通过故事和场景来指定可测试和可执行的用户需求。在外部测试框架的支持下，BDD故事可以用于自动评估功能齐全的软件系统的行为。本文描述了一个工具集，扩展BDD的目的是提供自动化评估也为用户界面设计工件，以确保他们的一致性，从一个软件项目开始的用户需求。该方法已被评估利用以前指定的用户需求的Web系统预订商务旅行。这样的需求产生了一组BDD故事，这些故事已经被精炼并用于自动评估任务模型、图形用户界面（GUI）原型和系统的最终GUI的一致性。结果表明，我们的方法是能够识别不同类型的不一致的一组分析工件，并始终保持它们之间的语义痕迹。
2022-09-13 cs.HC cs.SE
Assessing the Business Process Modeling Competences of Large Language Models
本文提出BEF4LLM框架，从语法、语用、语义和有效性四个维度评估LLM生成的BPMN模型，发现LLM在语法和语用质量上表现优异，但语义和有效性仍需提升，为未来模型优化提供指导。
2026-06-29 cs.AI cs.SE
Self-Assessing Creative Problem Solving for Aspiring Software Developers: A Pilot Study
我们开发了一个自我评估工具，计算学生在高等教育，以衡量他们的创造性解决问题的能力。我们的调查包括7个方面的创造力，根据现有的验证规模和进行焦点小组。这些因素是：技术知识、沟通、约束、批判性思维、好奇心、创造性思维和创造性技术。主轴因子分析将维度分为三个总体结构：能力，心态和互动。一个试点研究（n = 269）的结果提供了证据的心理测量质量，使它成为一个有用的工具，教育研究者调查学生的创造性技能。
2022-03-25 cs.SE
Can Language Models Go Beyond Coding? Assessing the Capability of Language Models to Build Real-World Systems
Nankai University（南开大学）；Haihe Laboratory of Information Technology Application Innovation（海河信息技术应用创新实验室）；Key Laboratory of Data and Intelligent System Security, Ministry of Education（教育部数据与智能系统安全重点实验室）；Tianjin Key Laboratory of Software Experience and Human Computer Interaction（天津市软件体验与人机交互重点实验室）；Tsinghua University（清华大学）
本文提出Build-bench基准，评估语言模型在跨指令集架构迁移中修复构建失败的能力，发现当前模型最大成功率为63.19%，并揭示了不同模型在工具使用上的差异。
2026-05-08 cs.SE
Assessing the Linguistic Quality of REST APIs for IoT Applications
物联网（IoT）是一种不断发展的技术，它依赖于连接的“事物”，这些“事物”从对等设备收集数据并通过API（应用程序编程接口）将数据发送到服务器。这些API的设计质量直接影响其可理解性和可重用性。本研究重点关注面向物联网应用的REST API的语言设计质量，并通过检测面向物联网应用的REST API中的语言模式和反模式来评估其语言质量。语言反模式被认为是命名、记录和选择标识符方面的糟糕实践。相比之下，语言模式代表了API设计的最佳实践。因此，语言模式及其对应的反模式是对立的对。我们提出了SARAv 2（REST API第二版的语义分析）方法来执行IoT应用程序的REST API的语法和语义分析。基于SARAv 2方法，我们开发了REST-Ling工具，并对9个语言反模式的检测结果进行了实证验证。我们分析了物联网应用程序的19个REST API。我们的检测结果表明，语言反模式是普遍存在的，REST-Ling工具可以检测到用于物联网应用的REST API中的语言模式和反模式，平均准确率超过80%。此外，该工具平均以秒的量级执行语言反模式的检测，即，8.396秒。我们发现，API通常遵循良好的语言实践，尽管存在普遍的不良实践。
2022-05-13 cs.SE
Methodology for Assessing the State of the Practice for Domain X
要改进软件开发方法和工具，研究软件，我们首先需要了解实践的现状。因此，我们已经开发了一种方法来评估一个给定的研究软件领域的软件开发实践的状态。对于每个领域，我们希望回答这样的问题：i）什么工件（文档，代码，测试用例等）在场的？（二）使用了哪些工具？（三）采用了哪些原则、程序和方法？（四）开发者的痛点是什么？v）采取了哪些措施来提高可维护性和可再现性等质量？为了回答这些问题，我们的方法规定了以下步骤：i）识别域; ii）识别候选软件包的列表; iii）将列表过滤到大约30个软件包的长度; iv）收集每个软件包的源代码和文档; v）收集每个软件包的存储库相关数据，如星的数量、开放问题的数量、代码行数; vi）填写测量模板（该模板由108个问题组成，以评估9个质量（包括可安装性，可用性和可见性的质量））; vii）采访开发人员（采访由20个问题组成，大约需要一个小时）; viii）使用层次分析法（AHP）对软件进行排名;以及ix）分析数据以回答上述问题。在整个过程中，应该有一名领域专家参与，以确保有关该领域的隐含信息得到适当体现，并协助对30个选定软件包之间的共性和差异进行分析。使用我们的方法，电子表格模板和AHP工具，我们估计（根据我们使用该流程的经验）完成给定领域的评估所需的时间为173人小时。
2021-10-22 cs.SE
Assessing the Impact of Refactoring Energy-Inefficient Code Patterns on Software Sustainability: An Industry Case Study
本文通过大型应用行业案例研究，评估自动化工具识别并重构能源低效代码模式的效果，发现重构后每用户每月能耗降低29%。
2025-06-11 cs.SE
Update on the Verification and Validation Efforts for the Stakeholder Tool for Assessing Radioactive Transportation
本研究针对美国能源部的放射性运输决策支持工具START开展验证与确认工作，通过大地测量法核查关键输出、开发可复现的验证方法，测试超150组路线并比对新旧版本的路线长度结果，以提升工具输出的可信度。
2023-06-15 cs.SE nlin.AO
Assessing the Security of GitHub Copilot Generated Code -- A Targeted Replication Study
本文复制Pearce等人的研究，使用较新版本的Copilot和CodeQL检查Python代码安全漏洞，发现易受攻击代码建议占比从36.54%降至27.25%，但模型仍会建议不安全代码。
2023-11-18 cs.SE
Beyond Strict Rules: Assessing the Effectiveness of Large Language Models for Code Smell Detection
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；Universidade Federal de Ouro Preto（奥罗普雷托联邦大学）；University of Ottawa（渥太华大学）
本研究评估了四种大型语言模型（DeepSeek-R1、GPT-5 mini、Llama-3.3、Qwen2.5-Code）在30个Java项目中检测九种代码异味的效果，并提出了结合LLM与静态分析工具的检测策略，该策略在五个异味类型上F1分数优于单独使用LLM或工具。
2026-05-29 cs.SE
Assessing Validity of Static Analysis Warnings using Ensemble Learning
Cisco Systems（思科系统公司）
静态分析（SA）工具用于识别代码中的潜在弱点，并在代码开发过程中提前修复这些弱点。在具有高复杂性的遗留代码库中，这些基于规则的静态分析工具通常会在报告实际警告的同时报告大量错误警告。尽管SA工具发现了许多隐藏的错误，但它们被大量的虚假警告所掩盖。开发人员花费大量的时间和精力来识别真正的警告。除了影响开发人员的生产力外，由于这一挑战，真正的bug也会被遗漏。为了解决这个问题，我们提出了一个基于机器学习（ML）的学习过程，该过程使用源代码、历史提交数据和分类器集成来优先考虑给定警告列表中的True警告。该工具集成到开发工作流中，以过滤掉错误警告并优先考虑实际错误。我们评估了我们的方法对网络C代码，从一个大的数据池的静态分析警告报告的工具。开发人员会不时地处理这些警告，将其标记为真实的bug或假警报。ML模型在对代码功能进行全面监督的情况下进行训练。我们的研究结果证实，在传统的静态分析报告中应用深度学习是一种可以大幅降低误报率的可靠方法。
2021-04-21 cs.LG cs.SE
DeltaImpactFinder: Assessing Semantic Merge Conflicts with Dependency Analysis
在软件开发中，版本控制系统（VersionControlSystems，缩写为VCS）提供了分支和合并支持工具。这些工具在开发人员中很受欢迎，可以在单独的行中同时更改代码库，然后自动协调更改。但是，两个独立正确的更改在合并在一起时可能会引入错误。我们把这种语义合并冲突称为bug。变更影响分析（CIA）旨在评估代码库变更的影响。在本文中，我们提出了使用CIA检测语义合并冲突。在合并时，DELTAIMPACTFINDER分析并比较其源分支和目标分支中更改的影响。我们将这两种影响之间的差异称为delta影响。如果delta-impact为空，则没有语义合并冲突的指示符，合并可以自动继续。否则，三角洲影响包含了可能冲突的根源。
2015-09-14 cs.PL cs.SE
Assessing the Quality of Computational Notebooks for a Frictionless Transition from Exploration to Production
University of Bari（巴里大学）
将数据驱动的人工智能功能集成到传统软件系统中的大趋势正在引发新的有趣挑战。其中一个挑战是实现从机器学习项目的探索阶段（数据科学家在实验室中构建原型模型）到生产阶段（软件工程师将原型转化为生产就绪的AI组件）的平稳过渡。为了缩小这两个阶段之间的差距，数据科学家采用的工具和实践可能会通过整合软件工程解决方案来改进。特别是，计算笔记本在确定数据科学原型的质量方面发挥着重要作用。在我的研究项目中，我通过研究与计算笔记本协作的最佳实践来应对这一挑战，并提出概念验证工具来促进准则合规性。
2022-05-24 cs.LG cs.SE
Assessing LLM code generation quality through path planning tasks
Duke University（杜克大学）；George Mason University（乔治·玛莎姆大学）
研究通过让六个LLM生成三种路径规划算法代码并在三种难度地图上测试，发现其代码存在严重风险，不应在未经严格测试的安全关键场景中使用。
2025-04-30 cs.AI cs.SE
Quality Matters: Evaluating Synthetic Data for Tool-Using LLMs
Amazon（亚马逊）；Technion - Israel Institute of Technology（以色列理工学院）；Technology Innovation Institute（技术创新研究院）；OriginAI
提出两种评估方法（人类定义标准和模型驱动评估）来检验工具使用LLM的合成数据质量，实验证明高质量小数据训练优于未验证大数据，强调了数据可靠性评估的重要性。
2024-09-26 cs.CL cs.LG cs.SE
