arXiv 1802.073242018-02-20cs.SE

利用半监督学习预测变形关系

Using Semi-Supervised Learning for Predicting Metamorphic Relations

Bonnie Hardin, Upulee Kanewala

摘要：

软件测试很难自动化，尤其是在没有oracle或确定哪个输出是正确的方法的程序中。变形测试是解决这一问题的一种方法。变形测试使用变形关系来定义测试用例和预期输出。领域专家需要大量的时间来确定哪些变形关系可以用于测试给定的程序。变形关系预测消除了对这种专家的需求。我们提出了一种方法，使用半监督机器学习来检测变形关系适用于一个给定的代码库。我们将这种半监督模型与监督模型进行比较，并表明未标记数据的加入提高了MR预测模型的分类精度。

英文摘要：

Software testing is difficult to automate, especially in programs which have no oracle, or method of determining which output is correct. Metamorphic testing is a solution this problem. Metamorphic testing uses metamorphic relations to define test cases and expected outputs. A large amount of time is needed for a domain expert to determine which metamorphic relations can be used to test a given program. Metamorphic relation prediction removes this need for such an expert. We propose a method using semi-supervised machine learning to detect which metamorphic relations are applicable to a given code base. We compare this semi-supervised model with a supervised model, and show that the addition of unlabeled data improves the classification accuracy of the MR prediction model.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

矩阵计算程序的变形关系预测

Predicting Metamorphic Relation for Matrix Calculation Programs

矩阵通常代表科学应用中的重要信息，并参与执行复杂的计算。但是由于oracle问题，系统地测试这些应用程序是很困难的。变形测试是一种有效的方法来测试这样的应用程序，因为它使用变形关系来确定测试用例是否通过或失败。变形关系通常是在领域专家的帮助下识别的，并且是一项劳动密集型任务。在这项工作中，我们使用基于图核的机器学习方法来预测矩阵计算程序的变形关系。以前，这种基于图核的机器学习方法被用于成功地预测执行数值计算的程序的变形关系。研究结果表明，该方法也可用于预测矩阵计算程序的变形关系。

2018-02-19cs.SE

基于Source Code的方法级变形关系预测

Using Source Code Metrics for Predicting Metamorphic Relations at Method Level

变形测试（TM）检查测试运行的输入和输出之间的关系。这些关系被称为变形关系（MR）。目前，MR是精心挑选的，需要深入了解被测系统（SUT）及其问题域。因此，识别和选择高质量的MR是一项挑战。\citeauthor{PMR1}建议使用预测变形关系（PMR）方法自动预测从预定义列表中挑选的适用MR。PMR基于支持向量机（SVM）模型，该模型使用从100种Java方法的控制流图（CFG）中导出的特征。\citeauthor{PMR1}的最初研究显示了令人鼓舞的结果，但从CFG相关特征开发分类模型的成本很高。在本文中，我们的目标是开发一个PMR的方法，是成本较低，而不会失去性能。我们补充了原来的PMR的方法，考虑以外的CFG相关功能。我们定义了21个可以直接从源代码中提取的特征，并构建了几个分类器，包括SVM模型。我们的研究结果表明，使用原始的基于CFG的方法级特征，特别是具有随机游走核（RWK）的SVM，对于大多数候选MR，在AUC-ROC方面实现了比我们的模型更好的预测。然而，对于其中一个候选MR，使用源代码功能实现了最佳AUC-ROC结果（大于0.8）。

2022-05-31cs.SE

用于监督分类器测试的变形关系的故障检测有效性

Fault Detection Effectiveness of Metamorphic Relations Developed for Testing Supervised Classifiers

在机器学习中，监督分类器用于通过使用标记数据推断预测函数来获得对未标记数据的预测。监督分类器广泛应用于计算生物学、计算物理学和医疗保健等领域，以做出关键决策。然而，由于期望的答案是未知的，因此通常很难测试监督分类器。这通常被称为\emph{oracle problem}，变形测试（MT）已被用于测试这样的程序。在机器翻译中，变形关系（MR）是从被测软件（SUT）的内在特征发展而来的。这些MR用于生成测试数据，并在不存在测试预言的情况下验证测试结果的正确性。MT的有效性在很大程度上取决于用于测试的MR。在本文中，我们已经进行了广泛的实证研究，以评估故障检测的有效性MR已被用于多个以前的研究，以测试监督分类。我们的研究共使用了709个可达突变体产生的多个突变引擎，并使用具有不同特征的数据集来测试SUT。我们的研究结果表明，只有14.8%的这些突变体被检测到使用MR和故障检测的有效性，这些MR不规模与突变体的数量增加时，在以前的研究中报道的相比。

2019-04-15cs.SE

预测单元测试级变形关系的复制研究

A Replication Study on Predicting Metamorphic Relations at Unit Testing Level

变形测试（MT）通过检查测试执行的输入和输出之间的关系来解决测试预言问题。这种关系被称为变形关系（MR）。在目前的实践中，识别和选择合适的MR通常是一项具有挑战性的手动任务，需要彻底掌握SUT及其应用领域。因此，Kanewala等人提出了预测变形关系（PMR）方法，以从六个预定义MR的列表中自动建议MR，用于测试新开发的方法。PMR基于一个分类模型，该模型是根据从100个Java方法的控制流图（CFG）中提取的特征进行训练的。在我们的复制研究中，我们探讨了PMR的普遍性。首先，我们重建了整个预处理和训练管道，并在一个紧密的复制中重复原始研究，以验证报告的结果，并为进一步的实验奠定基础。第二，我们执行概念复制，以探索在第一步中从Java方法训练的PMR模型的可重用性，用于在Python和C++中实现功能相同的方法。最后，我们从Python和C++方法的CFG上重新训练模型，以研究对程序设计语言和实现细节的依赖性。我们能够成功地复制原始研究，实现Java方法集的可比结果。然而，基于Java的分类器的预测性能显着降低时，应用到功能等效的Python和C++方法，尽管只使用CFG功能，从语言细节抽象。由于性能再次提高时，分类器上写在Python和C++的方法的CFG进行再训练，我们得出结论，PMR的方法可以推广，但只有当分类器的开发从使用的程序设计语言中的代码文物开始。

2022-05-31cs.SE

使用变形测试测试Ocean软件

Testing Ocean Software with Metamorphic Testing

海洋科学的进步对世界的发展产生了重大影响，从船舶的安全航行到维护健康和多样化的海洋生态系统。各种海洋软件系统已被广泛用于不同的目的，例如，预测每小时跨越海岸线的海平面上升，模拟大规模的海洋环流，以及将其纳入地球系统模型用于天气预报和气候预测。无论其重要性如何，保证海洋软件和建模系统的可靠性是一项长期挑战。海洋软件测试中存在大量的“预言机问题”，即由于多个物理变量的非线性相互作用和计算的高度复杂性而导致测试预言机的缺失。在海洋中，观测到的潮汐信号被不确定的物理变量所扭曲，阻碍了我们了解时间序列中存在的“真实”天文潮汐分量。在本文中，我们介绍了如何基于变形测试（MT）来测试潮汐分析和预测（TAP）软件，变形测试（MT）是一种简单而有效的Oracle问题测试方法。特别地，我们从天文潮汐的周期性构造变形关系，然后使用它们成功地检测到一个开源TAP软件中的一个实际缺陷。我们还进行了一系列的实验，以进一步证明MT在TAP软件测试的适用性和有效性。我们的研究不仅证明了MT在测试更复杂的海洋软件和建模系统方面的潜力，而且还可以扩展到评估和提高更广泛的科学模拟软件系统的质量。

2022-06-11cs.SE

用于蛋白质功能预测工具质量保证的变形测试

Metamorphic Testing for Quality Assurance of Protein Function Prediction Tools

蛋白质是生命的主力，了解它们的功能对于药物设计等应用至关重要。然而，蛋白质功能的实验验证是高度消耗资源的。因此，最近，使用机器学习的自动蛋白质功能预测（AFP）获得了极大的兴趣。这些AFP工具中的许多都是基于使用现有的黄金标准功能注释训练的监督学习模型，这些注释已知是不完整的。与对AFP软件进行系统测试相关的主要挑战是缺乏测试预言机，该测试预言机确定测试用例的通过或失败;不幸的是，由于黄金标准数据的不完整性，AFP任务的确切预期结果没有很好地定义。因此，AFP工具面向\emph{oracle problem}。在这项工作中，我们使用变形测试（MT）来测试九个国家的最先进的AFP工具，通过定义一组变形关系（MR），将输入转换到蛋白质序列。根据我们的研究结果，我们观察到，几个AFP工具失败的所有测试用例引起关注的质量，他们的预测。

2019-04-16cs.SEq-bio.QM

更多相关论文收起更多论文

临床机器学习模型的变质测试：框架建议与初步研究

Metamorphic Testing for Clinical ML Models: A Framework Proposal and Pilot Study

Michigan Technological University（密歇根理工大学）

研究针对临床机器学习模型，提出用变质测试评估其行为正确性，无需真实标签。设计12个候选变质关系目录及五层验证策略，在UCI心脏病数据集评估，发现临床模型有MT违反率，证明变质测试可补充传统指标评估临床预测模型。

2026-07-28cs.LGcs.SE

多模态人类轨迹预测的蜕变测试

Metamorphic Testing of Multimodal Human Trajectory Prediction

Simula Research Laboratory（Simula研究实验室）

本研究针对多模态人类轨迹预测（HTP）模型缺乏测试预言机的问题，提出基于蜕变测试（MT）的系统方法，设计了五种蜕变关系及概率违规标准，实现了无需真实轨迹即可评估模型鲁棒性的测试框架。

2025-09-01cs.ROcs.SE

有监督机器学习算法在预测软件重构中的有效性

The Effectiveness of Supervised Machine Learning Algorithms in Predicting Software Refactoring

重构是在不改变软件外部行为的情况下改变软件内部结构以提高其质量的过程。经验研究一再表明，重构对软件系统的可理解性和可维护性有积极的影响。然而，在执行重构活动之前，开发人员需要识别重构机会。目前，重构机会识别严重依赖于开发人员的专业知识和直觉。在本文中，我们调查的有效性机器学习算法在预测软件重构。更具体地说，我们训练了六种不同的机器学习算法（即，逻辑回归，朴素贝叶斯，支持向量机，决策树，随机森林和神经网络），数据集包含来自Apache，F-Droid和GitHub生态系统的11，149个真实项目的超过200万次重构。结果模型预测了类、方法和变量级别的20种不同重构，准确率通常高于90%。我们的研究结果表明，（i）随机森林是预测软件重构的最佳模型，（ii）过程和所有权度量似乎在创建更好的模型中发挥了至关重要的作用，（iii）模型在不同的环境中推广良好。

2020-09-11cs.SE

基于监督学习的离岸软件维护外包客户报价预测

Offshore Software Maintenance Outsourcing Predicting Clients Proposal using Supervised Learning

Universiti Malaysia Terengganu（马来西亚登嘉楼大学）；The University of Lahore（拉合尔大学）；Bahria University（巴里亚大学）

在软件工程中，软件维护是软件产品交付给客户后，对其进行修正、更新和改进的过程。通过离岸软件维护外包，客户可以获得降低成本、节省时间、提高质量等优势。在大多数情况下，OSMO供应商会产生可观的收入。然而，在多个客户端中选择合适的建议是OSMO供应商的关键问题之一。本文的目的是提出一种有效的机器学习技术，可用于OSMO供应商评估或预测OSMO客户端的建议。该数据集是通过对在发展中国家工作的OSMO供应商的调查生成的。结果表明，基于监督学习的分类器，如朴素贝叶斯，SMO，物流分别获得69.75%，81.81%和87.27%的测试准确率。本研究的结论是，监督学习是最合适的技术来预测OSMO客户的建议。

2021-03-01cs.LGcs.SE

InferCode：通过预测子树实现代码表示的自监督学习

InferCode: Self-Supervised Learning of Code Representations by Predicting Subtrees

Singapore Management University（新加坡管理大学）；The Open University（开放大学）

在源代码上构建深度学习模型已经在许多软件工程应用中取得了成功，如代码搜索、代码注释生成、bug检测、代码迁移等，然而，当前的学习技术存在一个主要缺点，即这些模型大多是在标记为特定下游任务的数据集上训练的，代码表示可能不适合其他任务。虽然一些技术从未标记的代码中产生表示，但当应用于下游任务时，它们远远不能令人满意。尽管某些技术在应用于下游任务时从未标记的代码生成表示，但它们远不能令人满意。本文提出的InferCode通过采用自监督学习机制来建立源代码模型，以克服这一局限性。关键的新颖之处在于通过预测自动识别的子树从AST的上下文中训练代码表示。AST中的子树被InferCode视为训练代码表示的标签，而无需任何人工标记工作或昂贵的图形构造开销，并且训练的表示不再与任何特定的下游任务或代码单元绑定。我们使用基于树的CNN作为大量Java代码的编码器训练了一个InferCode模型实例，并将其应用于下游无监督任务，如代码聚类，代码克隆检测，跨语言代码搜索或在迁移学习方案下重用，以继续训练有监督任务的模型权重，如代码分类和方法名称预测。与以前的代码学习技术应用于相同的下游任务，如Code2Vec，Code2Seq，ASTNN相比，使用我们的预训练的InferCode模型实现了更高的性能结果，对于大多数任务，包括涉及不同程序设计语言的任务，具有显着的裕度。

2020-12-15cs.AIcs.LGcs.PL