The Impact of Operational-Data Fidelity when Assessing Safety-Critical Autonomous-Vehicle Software
Centre for Software Reliability, City St. George’s, University of London（伦敦大学城市圣乔治学院软件可靠性中心）
本文扩展保守贝叶斯推理技术，提出检查运营数据不足时可靠性断言稳健性的统计方法，阐明保守使用低保真数据的幼稚性，给出数据保真度对自动驾驶汽车安全评估影响的首批保守估计。
2026-10-08 cs.RO cs.SE
Propagation-Based Vulnerability Impact Assessment for Software Supply Chains
提出基于分层工作列表的算法和VPSS动态指标，实现全生态系统调用图级漏洞传播分析，并在Java Maven生态系统的100个真实漏洞上验证了有效性。
2025-10-09 cs.CR cs.SE
Towards an Improved Understanding of Software Vulnerability Assessment Using Data-Driven Approaches
The University of Adelaide（阿德莱德大学）；Centre for Research on Engineering Software Technologies (CREST)（工程软件技术研究中心（CREST））
本论文通过数据驱动方法，系统化知识并提供新技术与建议，以提升软件漏洞评估的理解与实践，促进更及时有效的修复规划。
2023-06-20 cs.CR cs.LG cs.SE
A Mapping Study on Software Process Self-Assessment Methods
评估过程是组织开始软件过程改进计划的最佳方法之一。寻求较轻评估方法的组织的一个替代办法是进行自我评估，组织可以进行自我评估，以评估自己的流程。在这种情况下，出现的问题是软件过程自我评估方法存在，以及它们提供的支持？为了回答这个问题，映射研究的软件过程自我评估方法进行。结果，共确定和分析了33种方法，综合了有关其测量框架、过程参考模型和评估过程的信息。我们观察到，大多数自我评估方法都是基于统一的模型，如CMMI或ISO/IEC 15504，并有专门为中小企业开发自我评估方法的趋势。一般而言，它们采用简化的评估程序，侧重于数据汇集和分析。大多数方法建议通过调查问卷收集数据，由管理人员或与被评估过程相关的其他团队成员回答。然而，我们注意到缺乏关于如何开发和验证大多数评估方法（AM）的信息，这使得它们的有效性受到质疑。我们的研究结果可以帮助从业者，有兴趣进行软件过程自我评估，选择一个自我评估方法。这项研究也与研究人员有关，因为它使人们更好地了解现有的自我评估方法及其优缺点。
2018-12-21 cs.SE
Impact assessment for vulnerabilities in open-source software libraries
针对开源软件库漏洞影响评估依赖专家、成本高且易错的问题，本文提出一种与漏洞类型和编程语言无关的实用方法，并通过 Java 概念验证和案例研究展示其可即时评估应用是否受影响。
2015-04-21 cs.CR cs.SE
The Unnecessity of Assuming Statistically Independent Tests in Bayesian Software Reliability Assessments
在评估基于软件的系统时，对运行测试数据进行贝叶斯统计推断的结果可以为软件可靠性声明提供强有力的支持。对于推理，通常假设这些数据（即软件成功和失败）出现在独立同分布（i.i.d.）方式在本文中，我们将展示如何保守的贝叶斯方法使这个假设不必要的，通过将一个人的怀疑的假设到评估。当操作测试显示没有故障时，我们推导出系统按需故障概率（pfd）的保守置信区间。的一般性和效用的置信区间的核电厂安全保护系统的评估中说明，根据不同程度的怀疑i.i.d.。假设分析表明，i.i.d.假设可以使贝叶斯可靠性评估非常乐观-这种评估没有明确说明软件如何在广泛的操作测试期间很可能不出现故障，尽管软件的PFD非常大。
2022-12-22 cs.SE
A Survey on Data-driven Software Vulnerability Assessment and Prioritization
The University of Adelaide（阿德莱德大学）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
软件漏洞（SV）的复杂性和规模不断增加，给许多软件系统带来了巨大的安全风险。在实践中，由于资源有限，SV评估和优先级帮助从业者设计最佳的SV缓解计划的基础上，各种SV的特点。SV数据源和数据驱动技术（如机器学习和深度学习）的激增将SV评估和优先级排序提升到了一个新的水平。我们的调查提供了过去研究工作的分类，并强调了数据驱动的SV评估和优先级排序的最佳实践。我们还讨论了目前的局限性，并提出了解决这些问题的潜在解决方案。
2022-04-04 cs.AI cs.CR cs.LG
Conservative Software Reliability Assessments Using Collections of Bayesian Inference Problems
本文通过贝叶斯推断问题集合确定软件无故障运行的最坏情况后验预测概率，推导其渐近性质并应用于安全关键软件评估，扩展了稳健与保守贝叶斯推断方法。
2025-11-10 cs.SE stat.AP
On the combination of static analysis for software security assessment -- a case study of an open-source e-government project
静态应用程序安全测试（SAST）是软件工程中一种流行的质量保证技术。然而，将SAST工具集成到行业级产品开发和安全评估中带来了各种技术和管理挑战。在这项工作中，我们报告了一个纵向的案例研究，采用SAST作为一个开源的电子政务项目的人驱动的安全评估的一部分。我们描述了SAST如何被选择，评估，并结合成一个新的方法进行软件安全评估。该方法进行了初步评估，使用半结构化访谈。我们的研究结果表明，（1）虽然一些SAST工具优于其他工具，它是可能的，以实现更好的性能，通过组合一个以上的SAST工具和（2）SAST工具应使用到一个实用的性能，并在现实世界的项目中结合三角形的方法，人为驱动的脆弱性评估。
2021-03-23 cs.SE
A Framework for Process Assessment of Software Product Line
软件产品线已经成为一个有吸引力的现象，在组织处理软件开发过程。它涉及从现有的核心资产（通常称为零部件）组装产品，并随着生产的进行，核心资产不断增长。组织试图将软件产品线的概念，以减少开发时间和成本，需要一定的规则，以遵循成功的开发和管理，他们还需要一个直接的过程来评估当前的成熟度水平的过程。提出了软件生产线开发和管理的若干原则。此外，在软件产品线过程评估规则的基础上，设计并实现了一个基于模糊逻辑的软件产品线过程评估工具SPLPAT。SPLPAT可以用来评估软件产品线的过程成熟度水平，它提供了一个机会来处理软件过程变量中存在的不精确性和不确定性。四个案例研究进行了验证框架，结果表明，SPLPAT提供了一个直接的机制，以评估当前的软件产品线过程成熟度水平在一个组织。开发的软件产品线过程评估方法的结果进行了比较，与现有的CMM水平的组织，以评估所提出的方法的可靠性，并找出如何有效地组织可以执行软件产品线过程时，它已经达到了一定的CMM水平。
2015-07-24 cs.SE
Automated Software Vulnerability Assessment with Concept Drift
软件工程研究人员越来越多地使用自然语言处理（NLP）技术来自动化软件漏洞（SV）评估使用的描述在公共存储库。然而，现有的基于NLP的方法遭受概念漂移。这个问题是由于缺乏对新的（词汇表外的）术语的适当处理而导致的，这些术语用于随着时间的推移评估看不见的SV。为了使用SV的描述进行具有概念漂移的自动SV评估，我们提出了一种结合字符和单词特征的系统方法。该方法被用来预测七个脆弱性特征（VC）。每个VC的最佳模型是使用我们定制的基于时间的交叉验证方法从八个NLP表示和六个著名的机器学习模型中选择的。我们已经使用所提出的方法在国家漏洞数据库（NVD）中的100，000多个SV上进行了大规模实验。结果表明，即使不重新训练模型，我们的方法也可以有效地解决NVD中2000年至2018年报告的SV描述的概念漂移问题。此外，我们的方法相比，现有的单词的方法具有竞争力。我们还研究如何构建具有更少特征的紧凑概念漂移感知模型，并就SV评估的分类器和NLP表示的选择给出一些建议。
2021-03-21 cs.CR cs.SE
Persona-based Assessment of Software Engineering Student Research Projects: An Experience Report
就读于软件工程学位的学生通常需要在最后一年进行一个研究项目，通过该项目，他们展示了在某个领域进行研究，交流成果和建立深入专业知识的能力。这些项目的评估通常包括通过论文或类似的工件来评估他们的研究成果。然而，这忽略了一系列其他因素，这些因素有助于培养成功的软件工程师和研究人员。将过程、态度、项目复杂性和监督支持等方面纳入评估，可以对绩效进行更全面的评估，从而更好地与预期的学习成果保持一致。在本文中，我们提出了我们的经验，采用创新的评估方法，以提高学习成果和研究绩效在我们的软件工程研究项目。我们的方法采用了一个以任务为导向的方法来组合评估，包括学生的人物角色，频繁的形成性反馈，延迟总结性评分，和标准一致的结果为基础的评估。我们报告我们在适应任务和标准，以解决评估学生研究项目的挑战不断改进的旅程。我们学到的教训证明了人物角色在指导整体规则开发方面的价值，赋予成绩意义，并将教职员工和学生的注意力集中在态度和技能上，而不仅仅是产品上。
2023-02-11 cs.SE
Potential Errors and Test Assessment in Software Product Line Engineering
软件产品线（SPL）是一种开发富变体软件系统的方法。与非变量系统相比，由于可能的产品数量越来越多，测试SPL是广泛的。存在不同的方法来测试SPL，但很少有研究评估这些测试的质量，通过错误检测能力。这种测试评估是基于错误注入到被测系统的正确版本。然而，据我们所知，在SPL工程的潜在错误从来没有被系统地确定之前。本文概述了现有的范例，指定软件产品线和错误，可能会发生在各自的规范过程。对于测试质量的评估，我们利用变异测试技术SPL工程和实现识别的错误作为变异算子。这使我们能够针对缺陷产品运行现有测试，以进行测试评估。从结果中，我们得出结论的错误倾向的调查SPL设计范式和如何SPL测试的质量可以提高。
2015-04-09 cs.SE
Opening the Software Engineering Toolbox for the Assessment of Trustworthy AI
Simula Research Laboratory（Simula研究实验室）
可信度是以人为中心的人工智能（AI）接受和成功的核心要求。要认为人工智能系统是值得信赖的，关键是要根据值得信赖的人工智能的黄金标准来评估其行为和特征，包括指导方针，要求或仅期望。虽然人工智能系统非常复杂，但它们的实现仍然基于软件。软件工程社区有一个长期建立的工具箱，用于评估软件系统，特别是在软件测试的背景下。在本文中，我们主张应用软件工程和测试实践来评估可信的人工智能。我们将欧盟委员会人工智能高级专家组定义的七个关键要求与软件工程的既定程序联系起来，并为未来的工作提出问题。
2020-08-30 cs.AI cs.CY cs.SE
Derivation of UML Based Performance Models for Design Assessment in a Reuse Based Software Development Approach
基于重用的软件开发为提高软件产品的质量和生产力提供了机会。软件系统质量的一个最关键的方面是它的性能。在整个开发过程中系统地应用软件性能工程技术，可以帮助确定设计替代方案，保留所需的质量，如可扩展性和可重用性，同时满足性能目标。在目前的情况下，大多数性能失败是由于在开发过程的早期，特别是在设计阶段，缺乏对性能问题的考虑。这些性能故障会导致客户关系受损、用户生产力损失、调整或重新设计导致的成本超支以及错过市场窗口。在本文中，我们提出了基于UML的性能模型的设计评估在一个基于重用的软件开发方案。
2009-05-29 cs.SE
Systems-theoretic Safety Assessment of Robotic Telesurgical Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Applied Dexterity（Applied Dexterity公司）；Rush University Medical Center（拉什大学医学中心）；Massachusetts Institute of Technology（麻省理工学院）
机器人手术系统是市场上最复杂的医疗网络物理系统之一，在过去十年中已用于超过175万例手术。尽管近年来机器人手术系统的设计有了显著改进，但在手术过程中仍不断发生对患者产生负面影响的安全事件。本文提出了一种基于软件故障注入的机器人手术系统的系统理论安全评估方法。我们使用系统理论危害分析技术（STPA）来识别RAVEN II机器人（一种开源机器人手术平台）中的潜在安全危害场景及其成因。我们将机器人控制软件与软件实现的故障注入引擎集成在一起，该引擎通过自动将故障插入机器人控制软件的不同部分来测量系统对已识别的安全危险场景的弹性。使用报告给美国食品药品监督管理局（FDA）MAUDE数据库的真实机器人手术事件的代表性危害场景来证明机器人手术系统基于安全设计的拟议方法的可行性。
2015-07-08 cs.CR cs.RO cs.SE
Software Quality Metrics for Geant4: An Initial Assessment
在屏蔽和辐射防护等关键应用中，确保其所依赖的仿真软件的质量至关重要。仿真软件质量的评估不仅对于确定其在实验应用中的采用非常重要，而且对于保证结果随着时间的推移的再现性也很重要。在这项研究中，我们提出了初步的结果，从正在进行的分析Geant 4代码的基础上建立的软件度量。该分析评估了代码的当前状态，以量化其与记录的质量标准相关的特性;进一步的评估涉及一系列发布版本的演变。我们描述了选定的度量，量化软件属性，从代码的复杂性，可维护性，并强调什么样的度量是最有效的评估辐射传输软件质量。软件的定量评估最初集中在一组Geant 4软件包，它在广泛的实验应用中发挥了关键作用，并代表了不同的软件开发过程。我们提供了一个解释所选择的Geant 4软件包的测量产生的数据，并讨论了改进它们的方法。这项工作可以作为一个基线，用于评估嵌入在Geant 4开发过程中的软件质量和基于Geant 4的应用程序所产生的模拟观测值之间的相关性。结果提供了建设性的指导，以改善关键的软件工具，如Geant 4，并估计其贡献的风险分析有关敏感的应用程序。
2016-08-05 cs.SE physics.comp-ph
An overview of metrics-based approaches to support software components reusability assessment
目的：介绍了基于度量的软件构件和构件组装质量评估的研究现状。方法：比较文献中可用的几种方法，使用包括几个方面的框架，如范围，意图，定义技术和成熟度。结果如下：识别当前方法的共同缺点，如定义的模糊性，缺乏足够的指定形式主义和当前的质量模型和度量的软件组件的验证不足。结论：组件和基于组件的基础设施的质量评估对实验软件工程社区提出了新的挑战。
2011-09-30 cs.SE
On the Use of Fine-grained Vulnerable Code Statements for Software Vulnerability Assessment Models
The University of Adelaide（阿德莱德大学）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
许多研究已经开发了机器学习（ML）方法来检测函数中的软件漏洞（SV）和导致此类SV的细粒度代码语句。然而，利用这些检测输出进行数据驱动的SV评估以提供有关SV的可利用性、影响和严重性的信息的工作很少。这些信息对于了解SV并确定其修复的优先级非常重要。使用来自200个真实项目中429个SV的1，782个功能的大规模数据，我们研究了用于自动化功能级SV评估任务的ML模型，即，预测七个通用漏洞评分系统（CVSS）指标。我们特别研究的价值和使用的脆弱的报表作为输入开发的评估模型，因为SV的功能起源于这些报表。我们发现，脆弱的报表是5.8倍小的大小，但表现出7.5-114.5%的评估性能（马修斯相关系数（MCC））比非脆弱的报表。消除易受攻击语句的上下文进一步提高了性能，最高可达8.9%（0.64 MCC和0.75 F1-Score）。总的来说，我们提供了初步的但有前途的ML为基础的基线功能级SV评估，铺平了道路，在这个方向上的进一步研究。
2022-03-16 cs.CR cs.LG cs.SE
Identifying Talented Software Engineering Students through Data-driven Skill Assessment
对于软件开发公司来说，最重要的目标之一是识别和获得有才华的软件工程师，以保持一支能够生产有竞争力产品的熟练团队。传统的发掘年轻软件工程师人才的途径主要是通过各种形式的程序设计竞赛，主要是测试参与者的程序设计技能。然而，成功的软件工程在实践中需要更广泛的技能，从团队成员，包括分析，设计，编程，测试，沟通，协作和自我管理等，在本文中，我们探讨潜在的方法来识别人才软件工程学生在数据驱动的方式，通过敏捷项目管理（APM）平台。通过我们提出的HASE在线APM工具，我们在2014年进行了一项研究，涉及21个由100多名本科软件工程学生组成的STEM团队，他们参加了为期数周的课程项目。在这项研究中，学生们进行了超过10，000个由HASE记录的ASD活动。我们展示了这一新的研究方向的可能性和潜力，并讨论了其对软件工程教育和行业招聘的影响。
2014-11-23 cs.SE
Recurrent Neural Networks to automate Quality assessment of Software Requirements
由于需求是用自然语言编写的，因此在需求获取和规格说明活动中会出现许多与需求质量相关的问题。语言的灵活性和固有特性使得需求容易出现不一致、冗余和歧义，从而对软件生存周期的后期阶段产生负面影响。为了解决这个问题，本文提出了一种创新的方法，结合自然语言处理技术和循环神经网络自动评估软件需求的质量。首先，分析IEEE 29148：2018标准中定义的奇异、完整、正确和适当的质量属性。所提出的神经模型是用由1000个软件需求组成的数据集训练的。该提案提供了75%的平均准确度。这些有希望的结果是一个动机，探索其应用于其他质量特性的评价
2021-05-13 cs.SE
The Replication Assessment Problem in Software Engineering
University College London（伦敦大学学院）；Brunel University of London（伦敦布鲁内尔大学）；Ministry of Justice（司法部）
该研究针对软件工程复制研究评估标准不明确不一致的问题，通过系统综述找到10项研究，分析发现显著异质性，进而提出基于多方面考量的有原则框架，能减少模糊性、提高可比性，助力可靠证据积累。
2026-07-16 cs.SE
ROBUST: 221 Bugs in the Robot Operating System
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Delft University of Technology（代尔夫特理工大学）；VORTEX CoLab（VORTEX联合实验室）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）；IT University of Copenhagen（哥本哈根IT大学）
该研究构建并复现了ROS生态中7个系统的221个真实bug数据集，结合Docker镜像与扎根理论分类故障、失效和修复，为机器人软件安全保障研究提供基准。
2024-04-04 cs.RO cs.SE
Document Retrieval Augmented Fine-Tuning (DRAFT) for safety-critical software assessments
Digital Transit Limited, 3M Buckley Innovation Centre, UK, HD1 3BD（数字交通有限公司，3M Buckley创新中心，英国，HD1 3BD）；Department of Computer Science, University of Huddersfield, UK, HD1 3DH（计算机科学系，赫德瑟菲尔德大学，英国，HD1 3DH）
本文提出DRAFT方法，通过引入双检索架构和半自动化数据集生成，提升大型语言模型在安全关键合规评估中的准确性与证据处理能力。
2025-05-02 cs.AI cs.SE
The Software Observatory: aggregating and analysing software metadata for trend computation and FAIR assessment
本文介绍OpenEBench的软件观测站，一个聚合软件元数据的Web门户，用于分析趋势、评估FAIR性并提供改进指导，以促进研究软件的最佳实践。
2025-10-07 cs.DL cs.SE q-bio.OT
Mitigating Data Imbalance for Software Vulnerability Assessment: Does Data Augmentation Help?
The University of Adelaide（阿德莱德大学）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
该研究针对软件漏洞评估中CVSS类别数据不平衡的问题，采用9种数据增强技术开展大规模实验，验证了缓解数据不平衡可显著提升模型预测性能，为该领域提供了首个有效的解决方案参考。
2024-07-15 cs.CR cs.LG cs.SE
Risk Assessment Techniques and Survey Method for COTS Components
RationalUnifiedProcess是一个软件工程过程，现在越来越流行. RUP为组件软件开发的生存周期提供了最佳的软件实践。软件开发的每一个阶段都存在着风险，忽视这些风险往往会阻碍软件的发展并导致负面的结果。为了提供适当的安全和保护级别，识别各种风险是非常重要的。因此，风险识别在基于组件的软件开发中起着非常关键的作用。本报告讨论了将基于组件的软件开发周期纳入RUP阶段，评估了基于组件的软件中遇到的几类风险。它还需要一种调查方法来识别风险因素，并根据风险评估组件软件开发的整体严重性。给出了确定风险防范成本和求出风险概率的公式。本文的总体目标是提供一个理论基础，促进对基于组件的系统开发风险的良好理解
2012-02-13 cs.SE
A Quality Assessment Instrument for Systematic Literature Reviews in Software Engineering
本研究以医疗领域成熟评估工具为基础，结合软件工程领域经验适配开发出含16个评估项的SLRs质量评估工具，经专家验证后可有效辅助评估人员开展相关质量评估工作。
2021-09-21 cs.SE
Towards Continuous Safety Assessment in Context of DevOps
传统上，在互联网公司的推动下，持续交付越来越吸引那些开发具有安全关键功能的系统的行业。由于安全关键系统必须满足法规要求，并且除了正常的开发步骤之外还需要特定的安全评估过程，因此在安全关键系统中实现软件的持续交付需要交付管道中安全评估过程的自动化。在本文中，我们概述了一个连续的交付管道，实现连续的安全评估，在软件密集型安全关键系统的基础上，基于模型的安全评估方法。
2021-06-14 cs.SE
Using Machine Learning Safely in Automotive Software: An Assessment and Adaption of Software Process Requirements in ISO 26262
University of Waterloo（滑铁卢大学）
机器学习（ML）的使用在软件开发的许多领域都在增加，汽车软件开发也不例外。特别是，高级驾驶辅助系统（ADAS）和自动驾驶系统（ADS）是ML发挥重要作用的两个领域。在汽车开发中，安全是一个至关重要的目标，ISO 26262等标准的出现有助于集中行业实践，以系统和一致的方式解决安全问题。不幸的是，这些标准并不是为了适应ML等技术或ADS提供的功能类型而设计的，这在创新需求和提高安全性需求之间产生了冲突。在本报告中，我们采取措施通过对ISO 26262进行详细的评估和调整来解决这一冲突，特别是在监督学习的背景下。首先，我们分析了作为冲突根源的关键因素。然后，我们评估每个软件开发过程要求（ISO 26262第6部分）对ML的适用性。在存在差距的地方，我们提出了新的要求来弥补差距。最后，我们将讨论第6部分的这个经过修改和扩展的变体在ML开发场景中的应用。
2018-08-05 cs.LG cs.SE stat.ML
Analyzing and Calibrating Risk Assessment by Software Developers
在软件项目管理中，风险管理是一个至关重要的因素。项目经理使用现有的风险列表或执行头脑风暴来识别风险。然而，客观地认识所有风险并不容易。因此，有些风险是基于主观印象来感知的，这导致了风险偏差。因此，我们的目标是（i）我们澄清的风险认知的开发人员，以提高头脑风暴的可靠性，（ii）我们校准的风险评估的基础上的数学模型，使更准确的风险列表。在分析中，我们通过问卷调查收集了69名专业软件开发人员的风险感知数据。这些专业人员的平均工作年限为18.3年。使用数据集，我们应用因子分析来阐明影响风险影响评估的因素。该问卷以Slovic的风险知觉理论为基础，其中“恐惧”和“未知”是风险知觉的主要因素。分析结果表明，（一）风险经验（即，开发人员是否实际面临风险）有时会影响风险评估（风险影响的评估），（ii）风险感知被认为是基于未知和可怕的因素，以及（iii）风险评估可以通过数学模型进行校准（平均绝对误差为0.20）。
2022-09-08 cs.SE
RUM: Rule+LLM-Based Comprehensive Assessment on Testing Skills
本文提出RUM方法，将规则与大语言模型结合，对测试用例、脚本和报告进行主客观综合评估，在软件测试竞赛中实现效率提升80.77%、成本降低97.38%，为测试技能评估和个性化教学提供新思路。
2025-08-18 cs.SE
Assessment of a hybrid software development process for student projects: a controlled experiment
近年来，人们对混合开发方法产生了浓厚的兴趣，因为实践者将各种方法结合起来进行软件创建，以提高生产率，产品质量和过程对变化的适应性。关于这一主题的科学论文激增，但在学术背景下对混合方法的有效性的评估尚未跟上。提出的工作调查，如果引入一个混合的方法为学生项目带来了附加值相比，迭代和顺序开发。在法国一所工程学校的本科生中进行了一项对照实验，以评估给定的开发方法对学生计算事业成功的影响。它的三个维度通过一组指标进行了检查：产品质量，团队生产力以及人为因素（团队合作质量和学习成果）。观察到几种模式，这可以提供一个起点，教育工作者和研究人员希望定制或设计一个软件开发过程的学术需求。
2021-03-05 cs.SE
Toward Optimal Psychological Functioning in AI-driven Software Engineering Tasks: The SEWELL-CARE Assessment Framework
本文提出SEWELL-CARE概念框架，从技术、心理和社会多维度评估AI驱动的软件工程任务，旨在提升开发者效率、福祉与心理功能，弥补现有评估忽视人文维度的不足。
2023-11-13 cs.SE
How Tertiary Studies perform Quality Assessment of Secondary Studies in Software Engineering
内容：高等教育在软件工程中越来越受欢迎，作为一种系统地综合研究主题证据的工具。为了理解这些研究结果并将其置于背景之中，必须评估所选次级研究的质量。目的：本文的目的是提供一个国家的艺术对中等研究的质量进行评估，在高等研究领域的软件工程，报告的框架作为工具，在这些框架中检查的方面，和质量评估的目的。方法：我们设计了这项研究作为一个系统的映射响应来自上述目标的四个研究问题。我们在Scopus数字图书馆中应用了严格的检索协议，在应用纳入和排除标准后得到了47篇论文。提取的数据进行了综合使用内容分析。结果：大多数三级研究进行质量评估。它通常不用于排除研究，而是用于支持某种调查。DARE质量评估框架是最常用的，在某些情况下可以进行定制以覆盖缺失的方面。我们概述了建立一个新框架以解决所发现的缺点的第一步。结论：本文是向前迈出的一步，以两种不同的方式为研究人员奠定了基础。作为三级研究的作者，了解他们可以对二级研究进行质量评估的不同可能性。作为读者，有一种工具来理解高等教育研究可能声称他们的发现的方法论的严谨性。
2021-10-07 cs.SE
EvalSVA: Multi-Agent Evaluators for Next-Gen Software Vulnerability Assessment
Harbin Institute of Technology（哈尔滨工业大学）；Fudan University（复旦大学）；Peng Cheng Laboratory（鹏城实验室）；Northwestern Polytechnical University（西北工业大学）
EvalSVA提出多智能体评估器框架，利用多个大语言模型协作，在有限数据下提升软件漏洞评估的准确率和F1分数，并构建多语言数据集以支持评估。
2024-12-11 cs.AI cs.SE
An Analysis of Research in Software Engineering: Assessment and Trends
Glass在二十年前发表了第一份关于系统和软件工程学者和机构评估的报告。对这一领域出版物的持续年度调查为基金经理、青年学者、研究生等提供了各种用途的有用信息。然而，由于评价方法的一些缺陷，这些研究受到了一些批评者的质疑。对学者和机构的这种评价，其实很难达成广泛认同的共识。针对软件工程中的评估和趋势分析问题，提出了一种模块化、自动化的评估和趋势分析方法。为了获得更合理的评价结果，我们考虑了更多高质量的出版物，分析的每篇出版物的排名，以及每篇论文中作者的不同角色。根据2008 - 2013年36种出版物发表的7638篇论文，研究对象的统计大致遵循幂律，隐含着有趣的马太效应。然后，我们确定了前20名的学者，机构和国家或地区的一个新的评价标准的基础上，经常使用的。排名最高的学者是英国伦敦大学学院的马克·哈曼，排名最高的机构是美国加州大学，排名最高的国家是美国。此外，我们还显示了基于EI分类系统和用户定义的非受控关键词的两个级别的趋势变化，以及特定研究领域值得注意的学者和机构。我们相信，我们的研究结果将提供一个有价值的洞察力，为年轻的学者和研究生寻找可能的潜在合作者和把握热门的研究课题在软件工程。
2014-07-18 cs.SE
Automated Code-centric Software Vulnerability Assessment: How Far Are We? An Empirical Study in C/C++
The University of Adelaide（阿德莱德大学）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
本文首次实证比较C/C++函数级漏洞评估中的多类ML与DL模型，并引入多任务学习，发现ML更高效，多任务DL可使MCC平均提升8-22%。
2024-08-03 cs.CR cs.LG cs.SE
Cybersecurity Awareness Platform with Virtual Coach and Automated Challenge Assessment
在过去的几年里，对工业控制系统的网络攻击数量一直在稳步增加。在众多因素中，适当的软件开发在保持这些系统安全方面起着至关重要的作用。为了实现安全的软件，开发人员需要了解安全编码指南和安全编码最佳实践。这项工作提出了一个面向软件开发人员的平台，旨在提高安全软件开发的意识。作者还介绍了一个交互式游戏组件，虚拟教练，它实现了一个简单的人工智能引擎的基础上阶梯技术的采访。通过一项调查，与现实世界的球员（来自学术界和工业界）实现工件的初步评估显示了开发的平台的积极接受。此外，玩家们一致认为该平台足以训练他们的安全编码技能。我们工作的影响是引入一种新的自动挑战评估方法以及虚拟教练，以改善现有的网络安全意识培训计划。这些培训讲习班可以很容易地远程或离线举行。
2021-02-20 cs.CR cs.SE
Engaging Software Engineering Students in Grading: The effects of peer assessment on self-evaluation, motivation, and study time
同伴评估是一种流行的技术，用于在小组项目中对单个学生进行更细粒度的评估。它对评价的影响是很好的研究。然而，它对学生学习能力的影响却常常被忽视。在本文中，我们探讨自我评价，动机和学习时间的学生在同行评价，作为一个正在进行的项目的一部分，在我们当地的工程技术学院。迄今为止，两年的综合测量结果表明：（1）学生在同行评估会议后，在评估他们自己的项目的一些标准上，但不是所有的标准上，都有了很大的提高;（2）学生在后续调查中报告说，他们更有动力去做他们的项目;（3）动机和花在项目上的时间之间的关系增加了。这些结果表明，同侪评分可以有积极的长期影响的反思，因此终身学习，学生的技能。更好地理解评估标准会导致更准确的自我和同伴成绩，强调在整个学期中正确定义和传达这些标准的重要性。
2020-12-07 cs.SE
Towards a corpus for credibility assessment in software practitioner blog articles
博客是灰色文献的一个来源，被软件从业者广泛采用来传播意见和经验。分析这些文章可以为软件工程研究的实践状态提供有用的见解。然而，在从大量可用的文章中确定更高质量的内容方面存在挑战。可信度评估可以帮助识别高质量的内容，尽管缺乏现有的语料库。可信度通常通过一系列概念标准来衡量，其中“论证”和“证据”是两个重要标准。我们创建了一个标记为论证和证据的语料库，可以帮助可信度社区。该语料库由来自单个软件从业者的博客的文章组成，并且是公开的。三个注释者用一系列概念可信度标准标记语料库，达到0.82（Fleiss' Kappa）的一致性。我们提出了初步的分析语料库，用它来调查索赔句子（我们的十个标签之一）的识别。我们训练四个系统（BERT，KNN，决策树和SVM）使用三个特征集（Bag of Words，Topic Modelling和InferSent），使用InferSent和线性SVM实现F1得分为0.64。我们的初步结果是有希望的，表明语料库可以帮助未来的研究在检测灰色文献的可信度。未来的研究将调查在何种程度上的句子水平的注释可以推断出整个文件的可信度。
2021-06-21 cs.SE
Continuous risk assessment in secure DevOps
本文提出将风险评估与威胁建模融入安全 DevOps 的路线图，通过案例研究论证如何在软件生命周期早期实施安全考量，以提升软件产品的整体安全质量。
2024-09-05 cs.CR cs.SE
Enhance accuracy in Software cost and schedule estimation by using "Uncertainty Analysis and Assessment" in the system modeling process
准确的软件成本和进度估计是软件项目成功的关键。由于其复杂性和不确定性，软件评估通常被称为“黑色艺术”，但它并不像人们想象的那样困难或令人困惑。事实上，一旦您了解了建模过程的不确定性强度和框架，生成准确的估计是很简单的。成功软件评估的奥秘：将学术信息和真实世界的经验提炼成软件专业人员的实用指南。而不是《双城之战》论文和僵化的建模技术，这将指导突出一组经过验证的程序，可理解的公式和技巧，个人和开发团队可以应用到他们的项目，以帮助实现估计熟练与选择适当的开发方法在软件生存周期的早期阶段，项目经理是低效的估计工作，进度，成本估算及其开发方法。这反过来又会使管理人员对软件项目进行有效的投标，并选择不正确的开发方法。这将直接影响生产力周期并增加不确定性。这成为项目失败的重要原因。因此，了解模型设计中不确定性的程度和来源，可以指导开发人员设计出准确的软件成本和进度估算，这对软件项目的成功至关重要。然而，一旦估计了所需的努力，几乎没有做任何工作来重新校准和减少初步估计的不确定性。
2012-01-13 cs.SE
Identification and Assessment of Software Design Pattern Violations
为了在快速开发环境中保存、扩展和重用软件项目，设计模式实现的验证以识别模式违反已经成为重新工程过程的一部分。如果设计模式实现不符合它们的定义，则会被视为违规。软件老化和开发人员缺乏经验是设计模式违反的根源。根据一些预定义的特征来检查设计模式实现的正确性以检测和纠正违规，从而降低成本是很重要的。目前，已经开发了几种工具来检测设计模式实例，但在创建一个自动化工具来识别和验证设计模式违规方面所做的工作很少。在本文中，我们提出了一个设计模式违规识别和评估（DPVIA）工具，它有能力识别软件设计模式违规，并报告模式实例实现的一致性得分对一组预定义的特征，任何设计模式定义，无论是Gang of Four（GoF）设计模式由Gamma等人[1];或自定义模式由软件开发人员。此外，我们已经验证了所提出的工具的有效性，使用两个评估实验和结果进行手动检查。最后，为了评估所提出的工具的功能，它进行了评估与数据集包含5，679，964行代码中的28，669在15个开源项目，与大小的开源项目，广泛和系统地采用设计模式，以确定设计模式的违规行为，并建议重构解决方案，从而保持软件进化的成本。软件架构师可以使用这些结果在使用设计模式的同时开发最佳实践。
2019-06-04 cs.SE
Graphical Visualization of Risk Assessment for Effective Risk Management during Software Development Process
任何IT行业的成功都取决于其项目的成功率，而项目的成功率又取决于成本、时间和资源可用性等几个因素。这些因素形成了风险领域，需要以积极主动的方式加以解决。风险管理的基本目标是通过识别风险、制定应急计划和缓解计划来规避风险发生的可能性，以减少风险的后果。因此，有效的风险管理成为任何组织的紧迫挑战之一，如果以适当的方式加以考虑，可以确保组织在高端竞争环境中的持续可持续性。本文通过一个图形化的模型提供了风险评估的可视化。此外，风险评估的矩阵表示有助于项目人员识别所有风险，了解其发生的频率和概率。此外，图形模型使人们能够分析已确定风险的影响，并据此分配其优先事项。这种风险评估因素的表示模式有助于组织准确预测项目的成功率。
2012-10-04 cs.SE
Hidden Ciphers and Where to Find Them: Static Discovery and Assessment of Cryptographic Assets in Software
XITASO GmbH（XITASO有限公司）；University of Applied Sciences Amberg-Weiden（安贝格魏登应用科学大学）
本文提出分类驱动的静态方法，可在不到6分钟处理57610个文件，发现370个密码资产（含6个CVE漏洞、52个后量子迁移候选），F1达0.75，助力密码资产发现与后量子迁移规划
2026-08-06 cs.CR cs.SE
Towards Deep Learning Enabled Cybersecurity Risk Assessment for Microservice Architectures
针对微服务架构安全风险评估效率低的问题，提出基于深度学习自然语言处理模型的CyberWise Predictor框架，通过分析漏洞描述预测漏洞指标，在自动预测新漏洞指标上达92%平均准确率，助力开发者识别和缓解安全风险。
2024-03-22 cs.SE
The Sustainability Assessment Framework Toolkit: A Decade of Modeling Experience
本文介绍了可持续性评估框架（SAF）工具包，该工具包基于与工业伙伴十余年的合作经验开发，旨在支持软件架构师和设计决策者将可持续性作为软件质量属性进行建模与测量，并总结了经验教训及未来扩展计划。
2024-10-19 cs.SE
How fair are we? From conceptualization to automated assessment of fairness definitions
提出MODNESS方法，允许用户通过建模环境自定义公平性概念并生成评估代码，覆盖更多应用领域并克服现有工具局限。
2025-01-28 cs.SE
The Unified Approach For Organizational Network Vulnerability Assessment
当前的业务网络基础设施随着最新的服务器、服务、连接和端口的频繁添加而快速变化，有时每天都在增加，并且笔记本电脑、存储介质和无线网络的流入无法控制。随着越来越多的漏洞和利用，再加上IT基础设施的不断发展，组织目前需要更多的漏洞评估。统一网络脆弱性评估过程（UnifiedProcessforNetworkVulnerabilityAssessments）是统一软件开发过程（UnifiedSoftwareDevelopmentProcess，简称UnifiedProcess）的一个重要分支，是一种流行的迭代式、增量式软件开发过程框架。
2013-10-09 cs.SE
An Assessment of the Consistency for Software Measurement Methods
一致性，定义为要求由不同的评级者使用相同的方法对同一项目进行的一系列测量应该产生类似的结果，是软件测量方法中要考虑的最重要的方面之一。尽管如此，人们普遍认为，许多测量方法在测量过程中引入了不受欢迎的主观性。这种认识促使一些组织对标准方法进行了修订，其主要目的是通过对那些被认为会引入更大程度的主观性的方面进行适当的修改来提高其一致性，必须对方法的每次修订进行经验评估，以确定在多大程度上实现了提高一致性的目标。在本文中，我们将定义一个同质统计量，用于描述方法的一致性水平，我们将开展统计分析，以得出结论，是否测量方法比其他方法更一致。
2002-04-09 cs.SE
Longitudinal Evaluation of Open-Source Software Maintainability
我们提出了一个纵向研究开源软件的可维护性的长期演变。质量评估仍然是软件研究和实践的前沿，随着时间的推移，提出和使用了许多模型和评估方法。他们中的一些人帮助创建和形成了ISO 9126和25010等标准，这些标准今天已经很好地建立起来。两者都是从可靠性、安全性或可维护性等特征方面描述软件质量的。一个重要的研究机构存在这些特点与软件度量，并提出了自动化质量评估的方法，将软件度量值聚合到更高级别的质量模型。我们采用维修性指数，技术负债率和维修性模型的基础上ARiSA纲要。我们的研究涵盖了整个18年的开发历史和三个复杂的开源应用程序的所有发布版本。我们确定每个版本的可维护性，使用建议的模型，我们比较得到的结果，并使用手动源代码检查，把它们放到上下文中。我们研究了目标应用程序的常见开发模式，并研究了重构和可维护性之间的关系。最后，我们研究了每一个可维护性模型的优点和缺点，使用手动源代码检查作为基线。
2020-03-01 cs.SE
Agility Measurements Mismatch: A Validation Study on Three Agile Team Assessments in Software Engineering
已经创建了许多工具来测量软件团队的敏捷性，因此在该领域中产生了饱和。选择了三种敏捷测量工具，以验证它们是否产生相似的结果。对A公司的团队（N = 30）进行了工具调查。这些问题被分组为敏捷实践，并检查其相关性，以建立收敛有效性。此外，我们还检查了在这些工具中确定为相同的问题是否会得到受访者的相同答复。我们不能建立收敛效度，因为收集的数据的相关性非常少和低。此外，被确定为在各种工具中具有相同含义的问题，答复者的答案并不相同。我们的结论是，敏捷性的测量领域仍然是不成熟的，需要做更多的工作。并不是所有的工具都适用于每个团队，但它们应该根据团队如何过渡到敏捷来选择。
2019-04-04 cs.SE
ReproScore: Separating Readiness from Outcome in Research Software Reproducibility Assessment
Chemnitz University of Technology（开姆尼茨工业大学）；FIZ Karlsruhe — Leibniz Institute for Information Infrastructure（卡尔斯鲁厄FIZ——莱布尼茨信息基础设施研究所）；Friedrich Schiller University, Jena（耶拿弗里德里希·席勒大学）
本文提出ReproScore框架，通过分离可重复性准备度（RRS）与可重复性结果（ROS），结合成覆盖适应性复合评分（RCS），以解决现有工具将静态仓库完整性误认为执行成功的缺陷。
2026-05-13 cs.SE
