Improving The Effectiveness of Automatically Generated Test Suites Using Metamorphic Testing
自动化测试生成有助于降低软件测试的成本。然而，为这些自动生成的测试输入开发有效的测试预言机是一项具有挑战性的任务。因此，大多数自动化测试生成工具使用的是一些琐碎的预言机，这些预言机降低了这些自动生成的测试用例的故障检测效率。在这项工作中，我们提供了一个实证研究的结果表明，利用变形关系可以提高自动生成的测试用例的故障检测效率。
2020-04-18 cs.SE
Prioritization of Metamorphic Relations to reduce the cost of testing
oracle是一种机制，用于确定程序执行测试用例的输出是否正确。对于机器学习程序，这样的预言是不可用的或太难应用。变形测试是一种使用变形关系的测试方法，变形关系是被测软件的必要属性，有助于验证程序的正确性。变形关系的优先级有助于降低变形测试的成本[1]。然而，基于代码覆盖率对变形关系进行优先级排序对于为机器学习程序对MR进行优先级排序通常不是有效的，因为机器学习模型的决策逻辑是从训练数据中学习的，并且可以利用单个测试输入容易地实现100%代码覆盖率。为此，在这项工作中，我们提出了一个具有成本效益的方法的基础上的多样性的来源和后续数据集的优先级的变形关系的机器学习程序。我们表明，所提出的基于数据多样性的优先级排序方法相比，基于代码覆盖率的方法，故障检测的有效性提高了40%，并减少了29%的时间来检测故障时相比，随机执行的MR。总体而言，我们的方法导致节省时间和成本在测试过程中。
2022-09-01 cs.SE
Using Semi-Supervised Learning for Predicting Metamorphic Relations
软件测试很难自动化，尤其是在没有oracle或确定哪个输出是正确的方法的程序中。变形测试是解决这一问题的一种方法。变形测试使用变形关系来定义测试用例和预期输出。领域专家需要大量的时间来确定哪些变形关系可以用于测试给定的程序。变形关系预测消除了对这种专家的需求。我们提出了一种方法，使用半监督机器学习来检测变形关系适用于一个给定的代码库。我们将这种半监督模型与监督模型进行比较，并表明未标记数据的加入提高了MR预测模型的分类精度。
2018-02-20 cs.SE
Metamorphic Coverage
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
研究针对变质测试中代码覆盖不准确、变异测试成本高的问题，提出变质覆盖（MC）度量。在五种变质测试方法上评估MC，发现其与错误修复位置重叠度高，比行覆盖更敏感且耗时少，用于反馈指导时比代码覆盖能多发现错误，可广泛应用于评估和改进测试。
2026-07-17 cs.SE
A Sequential Metamorphic Testing Framework for Understanding Automated Driving Systems
自动驾驶系统（ADS）预计将在广泛的驾驶场景中保持可靠和稳健。他们的决定首先必须得到很好的理解。理解ADS做出的决策是一个巨大的挑战，因为它不是直接告诉决策是否正确，以及如何系统地验证它。本文基于变形测试这一软件测试的主流方法，提出了一种顺序变形测试智能框架。在变胞测试中，根据所谓的变胞关系选择多个输入来构造变胞组，这些变胞关系基本上是系统的必要属性;一些相应的变胞组违反某些关系意味着检测到错误的系统行为。所提出的框架利用变形组序列来理解ADS行为，并且不需要地面实况数据集即可适用。为了证明其有效性，该框架被应用于测试三个ADS模型，这些模型在不同的场景中驾驶一辆自动驾驶汽车，另一辆汽车要么在前面领先，要么在相反的方向接近。所进行的实验揭示了这些场景中排名靠前的深度学习模型中的大量不良行为。这些违反直觉的行为与ADS的核心模型如何响应附近其他汽车的不同位置，方向和属性有关。对结果的进一步分析有助于确定影响ADS决策的关键因素，从而表明该框架可用于在部署前全面了解ADS
2022-06-07 cs.SE
Metamorphic Security Testing for Web Systems
安全测试验证软件系统的数据和资源是否受到攻击者的保护。不幸的是，它遭受了甲骨文问题，这是指在给定系统输入的情况下，区分正确和不正确行为的挑战。在测试潜在漏洞的许多情况下，测试预言机可能不存在，或者由于必须定义特定预言机的许多输入而不切实际。在本文中，我们提出了一种变形测试方法，解决了安全测试中的预言问题。它使工程师能够指定变形关系（MR），捕捉系统的安全属性。这样的MR然后用于自动化测试和检测漏洞。我们提供了一个目录的22个系统无关的MR自动化Web系统中的安全测试。我们的方法的目标是39%的OWASP安全测试活动没有自动化的国家的最先进的技术。它自动检测到12个漏洞中的10个，这些漏洞影响两个广泛使用的系统，一个是商业系统，另一个是开源系统（Jenkins）。
2019-12-11 cs.SE
Metamorphic Relation Generation: State of the Art and Visions for Future Research
由于变形测试在揭示各种软件系统中的真实缺陷方面取得了巨大的成功，变形测试已经成为解决软件测试中臭名昭著的oracle问题的主流技术。变质关系作为变质测试的核心组成部分，一直吸引着学术界和工业界的研究兴趣。在过去的十年中，已经进行了大量的研究，以系统地生成各种来源和不同的应用领域的变质关系。本文在对变形关系生成技术进行系统综述的基础上，对变形关系识别和构造的理论和技术的进一步发展进行了总结和展望，并讨论了相关领域的潜在研究趋势。
2024-06-11 cs.SE
A Declarative Metamorphic Testing Framework for Autonomous Driving
自动驾驶已经引起了工业界和学术界的广泛关注。目前，深度神经网络（DNN）被广泛用于自动驾驶中的感知和控制。然而，自动驾驶汽车引发的几起致命事故引发了人们对自动驾驶车型的严重安全担忧。最近的一些研究已经成功地使用变形测试技术来检测一些常用的自动驾驶模型中的数千个潜在问题。然而，先前的研究仅限于一小部分变形关系，这些变形关系不能反映丰富的真实交通场景，也不能自定义。本文提出了一种新的基于规则的声明式变形测试框架RMT。RMT提供了一个具有自然语言语法的规则模板，允许用户基于真实世界的流量规则和领域知识灵活地指定丰富的测试场景集。RMT使用基于NLP的规则解析器参考本体列表自动将人类编写的规则解析为变形关系，并使用各种图像转换引擎生成测试用例。我们在三个自动驾驶模型上评估了RMT。通过丰富的变形关系集，RMT检测到大量先前工作未检测到的异常模型预测。通过对Amazon Mechanical Turk的大规模人体研究，我们进一步证实了RMT生成的测试用例的真实性和检测到的异常模型预测的有效性。
2022-09-23 cs.SE
Object-based Metamorphic Testing through Image Structuring
The University of Electro-Communications（电气通信大学）；School of Informatics and Engineering（信息工程学院）
由于需要大量生产测试用例并为其提供测试预言机，测试软件的成本通常很高，这通常被称为预言机问题。已经提出的一种方法，以减轻预言的问题是变形测试。变形测试通过改变现有的测试用例来产生新的测试用例，并利用被测系统（SUT）的输入输出之间的变形关系来预测所产生的测试用例的期望输出。变形测试通常用于图像处理软件，其中对图像的属性进行更改以创建具有与原始图像相同的注释的新测试用例。我们把这种现有的方法称为基于图像的变形测试。在本研究中，我们提出了一个基于对象的变形测试和一个复合变形测试，它结合了不同的变形测试方法，以相对增加测试覆盖率。
2020-02-12 cs.LG cs.SE
Input Relation Prompting for Metamorphic Testing on Query-Based Systems
National Cheng Kung University（国立成功大学）
针对查询系统测试难题，提出通过提示输入输出关系的变质关系识别方法，不依赖预定义测试用例或基本事实，可结合其他测试方法，经案例研究验证其适用性与潜力，推动变质测试发展，提高测试效率。
2026-07-29 cs.SE
Predicting Metamorphic Relation for Matrix Calculation Programs
矩阵通常代表科学应用中的重要信息，并参与执行复杂的计算。但是由于oracle问题，系统地测试这些应用程序是很困难的。变形测试是一种有效的方法来测试这样的应用程序，因为它使用变形关系来确定测试用例是否通过或失败。变形关系通常是在领域专家的帮助下识别的，并且是一项劳动密集型任务。在这项工作中，我们使用基于图核的机器学习方法来预测矩阵计算程序的变形关系。以前，这种基于图核的机器学习方法被用于成功地预测执行数值计算的程序的变形关系。研究结果表明，该方法也可用于预测矩阵计算程序的变形关系。
2018-02-19 cs.SE
Explanation-Guided Metamorphic Testing of Specialized Language Models: An Empirical Study
Technical University of Munich（慕尼黑工业大学）；fortiss（福蒂斯研究所）
本文通过在三个数据集、四种模型架构下的20种配置开展实证研究，发现解释引导式变异测试生成的经验证故障诱导测试用例是启发式变异策略的2.30倍，可有效评估专用语言模型的鲁棒性。
2026-08-10 cs.SE
Optimizing Metamorphic Testing: Prioritizing Relations Through Execution Profile Dissimilarity
针对机器学习程序判定器缺失及现有蜕变关系优先排序成本高或不准确的问题，提出一种基于语句中心性并利用执行剖面多样性的MR优先排序方法，显著提升了故障检测有效性与测试效率。
2024-11-14 cs.SE
MorphQ: Metamorphic Testing of the Qiskit Quantum Computing Platform
MorphQ提出首个针对量子计算平台的蜕变测试方法，通过程序生成器和量子蜕变关系缓解预言机问题，在Qiskit上两天生成超8000个程序对，发现13个错误，其中9个已确认。
2023-02-09 cs.SE
Quality Assurance of Bioinformatics Software: A Case Study of Testing a Biomedical Text Processing Tool Using Metamorphic Testing
生物信息学软件在许多领域（包括医学和卫生保健）的关键决策中发挥着非常重要的作用。然而，大多数研究都是针对开发工具，很少有时间和精力花在测试软件，以确保其质量。在测试中，测试预言用于确定测试在测试过程中是通过还是失败，不幸的是，对于大多数生物信息学软件来说，确切的预期结果并没有很好地定义。因此，与对生物信息学软件进行系统测试相关的主要挑战是Oracle问题。变形测试（MT）是一种用于测试面临预言机问题的程序的技术。MT使用变形关系（MR）来确定测试是通过还是失败，并根据对输入的特定更改指定输出应如何更改。在这项工作中，我们使用MT来测试LingPipe，这是一种使用计算语言学处理文本的工具，通常用于生物信息学中从生物医学文献中识别生物实体。首先，我们确定一组MR用于测试任何生物实体识别程序。然后，我们开发了一组测试用例，可用于测试LingPipe的生物实体识别功能，使用这些MR。为了评估这个测试过程的有效性，我们自动生成一组LingPipe的错误版本。根据我们对实验结果的分析，我们观察到我们的MR可以检测到这些错误版本中的大多数，这表明了这种测试技术在生物信息学软件质量保证中的实用性。
2018-02-20 cs.SE
Metamorphic Testing for Web System Security
安全测试旨在验证软件是否符合其安全属性。然而，在现代Web系统中，这通常需要验证在使用非常大的输入集运行系统时生成的输出。因此，需要完全自动化来降低成本并提高安全测试的有效性。不幸的是，为了实现这种自动化，除了自动导出测试输入的策略之外，我们还需要解决Oracle问题，这是指在给定系统输入的情况下，区分正确行为和不正确行为的挑战。在本文中，我们提出了变形的Web交互安全测试（MST-WI），一种变形测试方法，集成了测试输入生成策略的启发突变模糊化和解释的预言问题在安全测试。它使工程师能够指定变形关系（MR），捕获Web系统的许多安全属性。为了方便这种MR的规范，我们提供了一个领域特定的语言，伴随着Eclipse编辑器。MST-wi自动收集输入数据，并将MR转换为可执行的Java代码，以自动执行安全测试。它自动测试Web系统，以根据关系和收集的数据检测漏洞。我们提供了一个目录的76个系统无关的MR自动化Web系统中的安全测试。它涵盖了39%的OWASP安全测试活动，这些活动不是通过最先进的技术自动进行的;此外，我们的MR可以自动发现102种不同类型的漏洞，根据MITRE CWE数据库，这些漏洞对应于违反安全设计原则的漏洞的45%。我们还定义了一些指导原则，使测试工程师能够根据我们的方法提高被测系统的可测性。
2023-03-07 cs.SE
When Knowledge Changes: Metamorphic Testing of RAG Systems with Mutations
Università della Svizzera italiana（瑞士意大利语大学）
针对现有RAG系统评估方法无法检测语料库演变带来的故障问题，提出含11个变异算子的体态测试框架，实验显示其F1分数远优于RAGAS，可有效评估RAG系统在语料库变化下的一致性。
2026-07-30 cs.SE
Towards a Complete Metamorphic Testing Pipeline
本研究针对蜕变测试中MR生成、选择与违规理解的全自动化挑战，开发了利用领域特定语言自动生成MR、定义适用性约束并提供可解释性的方法，旨在推进回归测试中的自动化与有效应用。
2023-09-30 cs.SE
Unveiling Hidden DNN Defects with Decision-Based Metamorphic Testing
当代DNN测试工作经常使用变形测试（MT）进行。一般来说，事实上的MT框架使用语义保留突变来改变DNN输入图像，并确定DNN是否可以产生一致的预测。然而，我们发现DNN可能依赖于错误的决策（DNN输入上的某些组件）来进行预测，这可能仍然会偶然保留输出。现有的MT框架会忽略这种DNN缺陷。然而，错误的决定可能会导致对现实生活中可能存在的各种图像的连续错误预测。这项研究旨在揭示由不正确的DNN决策引起的隐藏DNN缺陷的普遍性（但保留一致的DNN预测）。为此，我们定制和优化了现代可解释AI（XAI）技术，以识别表示DNN进行预测的输入图像中的区域的视觉概念。然后，我们扩展了现有的基于MT的DNN测试框架，以检查DNN在测试输入及其突变输入上做出的决策的一致性。我们的评估表明，现有的MT框架忽略了由错误决策引起的大量DNN缺陷。我们进行人体评估，以证明我们发现的有效性并阐明其特征。通过DNN基于决策的变形关系的镜头，我们重新审视现有MT框架提出的变形转换的有效性。我们总结了这项研究的经验教训，可以为未来的DNN测试提供见解和指导。
2022-10-10 cs.SE
Testing Ocean Software with Metamorphic Testing
海洋科学的进步对世界的发展产生了重大影响，从船舶的安全航行到维护健康和多样化的海洋生态系统。各种海洋软件系统已被广泛用于不同的目的，例如，预测每小时跨越海岸线的海平面上升，模拟大规模的海洋环流，以及将其纳入地球系统模型用于天气预报和气候预测。无论其重要性如何，保证海洋软件和建模系统的可靠性是一项长期挑战。海洋软件测试中存在大量的“预言机问题”，即由于多个物理变量的非线性相互作用和计算的高度复杂性而导致测试预言机的缺失。在海洋中，观测到的潮汐信号被不确定的物理变量所扭曲，阻碍了我们了解时间序列中存在的“真实”天文潮汐分量。在本文中，我们介绍了如何基于变形测试（MT）来测试潮汐分析和预测（TAP）软件，变形测试（MT）是一种简单而有效的Oracle问题测试方法。特别地，我们从天文潮汐的周期性构造变形关系，然后使用它们成功地检测到一个开源TAP软件中的一个实际缺陷。我们还进行了一系列的实验，以进一步证明MT在TAP软件测试的适用性和有效性。我们的研究不仅证明了MT在测试更复杂的海洋软件和建模系统方面的潜力，而且还可以扩展到评估和提高更广泛的科学模拟软件系统的质量。
2022-06-11 cs.SE
Metamorphic Testing of Transpilers via Mutation Consistency of Programs
University of Milano-Bicocca（米兰比可卡大学）
本文针对转译器测试难题，提出基于转译后程序突变一致性的变形测试技术，实现工具MCP-Tester，案例研究显示其能发现纯模糊测试漏检的故障。
2026-08-03 cs.SE
Improving Deep Learning Framework Testing with Model-Level Metamorphic Testing
本文提出ModelMeta，一种模型级蜕变测试方法，通过四个面向模型结构的蜕变关系和QR-DQN策略生成多样化测试输入，并细粒度分析训练损失、资源使用等指标，以突破现有方法在测试输入多样性和缺陷检测范围上的局限。
2025-07-06 cs.SE
Constrained Co-evolutionary Metamorphic Differential Testing for Autonomous Systems with an Interpretability Approach
School of EECS, University of Ottawa（渥太华大学电气与计算机工程学院）；Lero SFI centre for Software Research, University of Limerick（利默里克大学Lero软件研究中心）；Waterloo Research Center of Huawei Technologies Canada Co., Ltd.（华为技术有限公司加拿大分公司滑铁卢研发中心）
本文提出CoCoMagic方法，结合元形测试、差分测试和先进搜索技术，通过约束共进化搜索生成可解释的测试用例，有效识别自主系统版本间的行为差异。
2026-05-14 cs.SE
Metamorphic Testing for Smart Contract Validation:A Case Study of Ethereum-Based Crowdfunding Contracts
针对智能合约测试中的预言机难题，本研究将蜕变测试应用于以太坊众筹智能合约验证，设计专属蜕变关系并生成用例，经Vertigo工具突变测试验证其可有效检测合约故障，保障区块链智能合约的可靠性与质量。
2025-01-17 cs.SE
AutoMT: A Multi-Agent LLM Framework for Automated Metamorphic Testing of Autonomous Driving Systems
针对自动驾驶系统蜕变测试依赖人工、自动化不足的问题，提出由LLM驱动的多智能体框架AutoMT，可自动提取蜕变关系、生成测试用例，测试多样性和违规检测率均优于人工基线，可集成工业流程覆盖关键场景。
2025-10-22 cs.SE
Fault Detection Effectiveness of Metamorphic Relations Developed for Testing Supervised Classifiers
在机器学习中，监督分类器用于通过使用标记数据推断预测函数来获得对未标记数据的预测。监督分类器广泛应用于计算生物学、计算物理学和医疗保健等领域，以做出关键决策。然而，由于期望的答案是未知的，因此通常很难测试监督分类器。这通常被称为\emph{oracle problem}，变形测试（MT）已被用于测试这样的程序。在机器翻译中，变形关系（MR）是从被测软件（SUT）的内在特征发展而来的。这些MR用于生成测试数据，并在不存在测试预言的情况下验证测试结果的正确性。MT的有效性在很大程度上取决于用于测试的MR。在本文中，我们已经进行了广泛的实证研究，以评估故障检测的有效性MR已被用于多个以前的研究，以测试监督分类。我们的研究共使用了709个可达突变体产生的多个突变引擎，并使用具有不同特征的数据集来测试SUT。我们的研究结果表明，只有14.8%的这些突变体被检测到使用MR和故障检测的有效性，这些MR不规模与突变体的数量增加时，在以前的研究中报道的相比。
2019-04-15 cs.SE
From Untestable to Testable: Metamorphic Testing in the Age of LLMs
University of Auckland（奥克兰大学）
本文探讨了在日益集成AI和大语言模型功能的软件系统测试中的挑战。通过将多个测试执行之间的关系转化为可执行测试或acles，元测试解决了标签地面真实数据难以扩展的问题。
2026-03-25 cs.AI cs.SE
Testing Multiple Linear Regression Systems with Metamorphic Testing
回归是最常用的统计技术之一。然而，测试回归系统是一个巨大的挑战，因为缺乏测试预言一般。在本文中，我们表明，变形测试是一种有效的方法来测试多个线性回归系统。在此过程中，我们确定内在的数学性质的线性回归，然后提出11个变形关系用于测试。他们的有效性进行检查，使用突变分析与一系列不同的回归程序。我们进一步研究如何以更有效的方式采用测试。我们的工作是适用于检查预测系统的可靠性的基础上回归，已被广泛应用于经济，工程和科学，以及统计用户操纵的回归计算。
2021-08-17 cs.SE stat.ME
PSALM: applying Proportional SAmpLing strategy in Metamorphic testing
PSALM 是一种在变异测试中应用比例采样策略的改进方法，通过理论证明和实证研究展示了其在源测试用例和变异组选择上的有效性。
2025-12-15 cs.SE
MTGP: Combining Metamorphic Testing and Genetic Programming
遗传编程是一种进化方法，以其在程序合成中的性能而闻名。然而，它还不够成熟，无法在现实世界的软件开发中实际使用，因为通常需要许多训练用例来生成推广到未见过的测试用例的程序。由于在实践中，训练案例必须由用户手工标记，因此我们需要一种方法来检查具有较少数量训练案例的程序行为。变形测试不需要标记的输入/输出示例。相反，程序被执行多次，首先是给定的（随机生成的）输入，然后是相关的输入，以检查观察到的输出之间是否存在某些用户定义的关系。在这项工作中，我们建议MTGP，它结合了变形测试和遗传编程，并研究其性能和生成的程序的通用性。此外，我们分析了泛化能力如何取决于给定的标记训练案例的数量。我们发现，在几乎所有的研究配置中，使用变形测试与标记的训练案例相结合，导致更高的泛化率比单独使用标记的训练案例。因此，我们建议研究人员在他们的系统中使用变形测试，如果标记的训练数据是昂贵的。
2023-01-20 cs.NE cs.SE
Bidirectional Empowerment of Metamorphic Testing and Large Language Models: A Systematic Survey
Beihang University（北京航空航天大学）；Tiangong University（天津工业大学）；Swinburne University of Technology（斯威本科技大学）
本文系统综述了93项研究，探讨变形测试与大语言模型之间的双向赋能关系，提出分类框架，分析其在验证、评估和自动化测试中的应用。
2026-05-12 cs.SE
Delta Debugging in the Absence of Test Oracles Through Metamorphic Testing
Zhejiang Sci-Tech University（浙江理工大学）；Monash University（莫纳什大学）；Swinburne University of Technology（斯威本科技大学）
提出DDMT方法，利用蜕变测试替代测试预言，使Delta调试适用于缺乏测试预言的程序，实验表明能保持或提升约简效果与查询效率。
2026-07-02 cs.SE
Metamorphic Testing in Autonomous System Simulations
University of Innsbruck（因斯布鲁克大学）
变形测试在许多领域的测试用例生成和故障检测中被证明是有效的。它是一种软件测试策略，使用程序的输入输出对之间的某些关系，称为变形关系。这种方法在自治系统领域是相关的，因为它有助于在给定测试输入的结果可能难以确定的情况下。因此，在本文中，我们提供了一个变形测试的概述，以及在自治系统域的实现。我们利用GNC API在Gazebo中进行模拟，在自主无人机中实现障碍物检测和规避任务。特别是，我们描述的属性和最佳实践是至关重要的发展有效的变质关系。我们还展示了两个变质关系的变形测试的单个和多个无人机，分别。我们的关系揭示了几个属性和一些弱点的实施和避免算法的光变测试。结果表明，变形测试在自治系统领域有很大的潜力，应该考虑在这个领域的质量保证。
2022-09-22 cs.MA cs.RO cs.SE
AIM: Automated Input Set Minimization for Metamorphic Security Testing
针对蜕变安全测试因输入集规模大导致测试效率低的问题，提出AIM方法，通过聚类、遗传算法和问题约简实现输入集最小化，在Jenkins和Joomla上可缩短80%以上测试时间且保持检测能力，漏洞覆盖率优于现有基线。
2024-10-24 cs.CR cs.SE
Metamorphic Testing of Image Captioning Systems via Image-Level Reduction
本文提出REIC方法，通过图像级缩减变换对图像描述系统进行蜕变测试，无需预标注信息即可生成真实后续图像并有效检测大量违规。
2024-10-04 cs.SE
A Replication Study on Predicting Metamorphic Relations at Unit Testing Level
变形测试（MT）通过检查测试执行的输入和输出之间的关系来解决测试预言问题。这种关系被称为变形关系（MR）。在目前的实践中，识别和选择合适的MR通常是一项具有挑战性的手动任务，需要彻底掌握SUT及其应用领域。因此，Kanewala等人提出了预测变形关系（PMR）方法，以从六个预定义MR的列表中自动建议MR，用于测试新开发的方法。PMR基于一个分类模型，该模型是根据从100个Java方法的控制流图（CFG）中提取的特征进行训练的。在我们的复制研究中，我们探讨了PMR的普遍性。首先，我们重建了整个预处理和训练管道，并在一个紧密的复制中重复原始研究，以验证报告的结果，并为进一步的实验奠定基础。第二，我们执行概念复制，以探索在第一步中从Java方法训练的PMR模型的可重用性，用于在Python和C++中实现功能相同的方法。最后，我们从Python和C++方法的CFG上重新训练模型，以研究对程序设计语言和实现细节的依赖性。我们能够成功地复制原始研究，实现Java方法集的可比结果。然而，基于Java的分类器的预测性能显着降低时，应用到功能等效的Python和C++方法，尽管只使用CFG功能，从语言细节抽象。由于性能再次提高时，分类器上写在Python和C++的方法的CFG进行再训练，我们得出结论，PMR的方法可以推广，但只有当分类器的开发从使用的程序设计语言中的代码文物开始。
2022-05-31 cs.SE
Evaluating Human Trajectory Prediction with Metamorphic Testing
Simula Research Laboratory（西姆拉研究实验室）；LIRMM, University of Montpellier, CNRS（蒙彼利埃大学计算机科学、机器人学、微电子与微电子实验室、法国国家科学研究中心）
本研究针对人类轨迹预测缺乏明确测试标准的问题，提出应用蜕变测试，并引入Wasserstein违反准则以统计方式评估后续测试用例是否违反保持标签的蜕变关系。
2024-07-26 cs.AI cs.SE
Application of property-based testing tools\\ for metamorphic testing
变形测试（Metamorphic Testing，MT）是一种通用的软件系统测试方法，它适用于“非可测试”的软件系统，而"经典“测试方法在这种系统中很难应用。机器翻译是解决测试预言问题和测试用例生成问题的有效方法。测试预言问题是当很难确定一个特定测试用例的正确预期输出或确定实际输出是否与预期结果一致时。MT的核心概念是变形关系（MR），它提供了被测系统的形式化规格说明。MT中的一个挑战是\emph{effective test generation}。基于属性的测试（PBT）是一种测试方法，其中测试用例是根据软件的期望属性生成的。在某种意义上，MT可以被看作是PBT的一种非常特殊的类型。在本文中，我们展示了如何使用PBT工具自动测试生成和验证的MT。除了自动化的好处，所提出的方法显示了如何结合通用PBT与MT在相同的测试框架。
2022-11-22 cs.FL cs.SE
DeepRoad: GAN-based Metamorphic Autonomous Driving System Testing
虽然深度神经网络（DNN）已经建立了基于DNN的自动驾驶系统的基础，但它们可能会表现出错误的行为并导致致命的事故。为了解决自动驾驶系统的安全问题，最近已经设计了一组测试技术来自动生成测试用例，例如，从原始图像变换的新输入图像。不幸的是，许多这样生成的输入图像通常呈现较差的真实性，缺乏驾驶场景的准确语义信息，因此损害了所得的功效和可靠性。在本文中，我们提出了DeepRoad，这是一个无监督的框架，可以自动生成大量准确的驾驶场景，以测试基于DNN的自动驾驶系统在不同场景中的一致性。特别是，DeepRoad通过应用生成对抗网络（GANs）以及相应的现实世界天气场景，提供具有各种天气条件（包括极端条件）的驾驶场景。此外，我们已经实施了DeepRoad来测试三个公认的基于DNN的自动驾驶系统。实验结果表明，DeepRoad可以检测到这些系统中成千上万的行为不一致。
2018-03-07 cs.SE
MeTMaP: Metamorphic Testing for Detecting False Vector Matching Problems in LLM Augmented Generation
本文提出蜕变测试框架MeTMaP，通过从六个NLP数据集推导八个蜕变关系并生成句子三元组，在203种向量匹配配置上检测LLM增强生成中的错误向量匹配问题，揭示了最高准确率仅41.51%的普遍性缺陷。
2024-02-22 cs.SE
Identifying Implementation Bugs in Machine Learning based Image Classifiers using Metamorphic Testing
Accenture Technology Labs（埃森哲技术实验室）
我们最近见证了机器学习（ML）在实际应用中的巨大成功。计算机视觉、语音识别和语言翻译都达到了接近人类水平的性能。我们预计，在不久的将来，大多数商业应用程序都将具有某种形式的ML。然而，测试这样的应用程序是非常具有挑战性的，如果我们遵循今天的方法，将是非常昂贵的。在这项工作中，我们提出了在测试基于ML的应用程序的挑战。然后，我们提出了我们的解决方案的方法，基于变形测试的概念，其目的是识别基于ML的图像分类器中的实现错误。我们已经为基于支持向量机的应用程序和基于深度学习的应用程序开发了变形关系。经验验证表明，我们的方法能够捕获ML应用程序中71%的实现错误。
2018-08-16 cs.LG cs.SE
Search-Based Metamorphic Testing of Vision-Language Models in Autonomous Underwater Robotic Software
Simula Research Laboratory（Simula 研究实验室）；Oslo Metropolitan University（奥斯陆都市大学）；Mondragon University（蒙德拉贡大学）；National Institute of Informatics（国立情报学研究所）；Group Research and Development, DNV AS（DNV AS 集团研发部）
提出基于搜索的蜕变测试方法MetaVLM，通过最小图像变换揭示水下场景中VLM的失败，评估BLIP和CLIP，为AUR软件质量保证提供经验。
2026-09-16 cs.SE
Metamorphic Testing of a Deep Learning based Forecaster
Accenture Labs（埃森哲实验室）；Accenture（埃森哲）
在本文中，我们介绍了一个基于深度学习的预测应用程序的变形测试。该应用程序查看过去的系统特征数据（例如“内存分配”），以预测未来的中断。我们重点关注两个基于统计/机器学习的组件-- a）检测系统特征之间的相关性，以及b）使用LSTM（一种深度学习架构）估计系统特征的未来值。总共有19种变形关系已经被开发出来，我们在适用的地方提供了证明和算法。我们通过两个设置来评估我们的方法。首先，我们在实际应用中执行了这些关系，发现了8个以前不知道的问题。其次，我们通过突变测试在基于LSTM的预测器的参考实现上生成了假设的错误，并发现65.9%的错误是通过关系捕获的。
2019-07-13 cs.LG cs.SE
A Two-phase Metamorphic Approach for Testing Industrial Control Systems
我们详细介绍了一种用于测试工业控制系统的变形方法。所提出的方法包括两个阶段：一个探索阶段，我们了解故障模式的测试下的系统和开发阶段，观察到的故障模式用于有针对性的测试。我们的方法提取的变形关系和输入空间的系统从它的要求。用于测试的种子输入从系统的执行日志中提取，并用于自动生成源测试和后续测试。变形的输入基于种子输入来构造，并使用一组约束来细化。以位置控制系统为例，结果表明该方法能有效地发现故障，提高了系统的自动化水平。
2022-08-19 cs.SE cs.SY eess.SY
Test Adequacy for Metamorphic Testing: Criteria, Measurement, and Implication
本文针对变质测试缺乏充分性评估准则的问题，从被测软件必要性质的角度提出新的测试充分性准则和度量方法，实验证明该度量能有效反映测试套件的缺陷检测能力，为构建高质量 MT 测试套件提供指导。
2024-12-30 cs.SE
MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models with Metamorphic Testing
Hong Kong University of Science and Technology（香港科技大学）
Text-to-SQL是从人类话语生成SQL查询的任务。然而，由于自然语言的变异性，两个语义等价的话语在词汇层面上可能会出现不同的表现。同样，用户偏好（例如，范式的选择）在表达概念上相同的模式时可能导致表结构的显著变化。设想文本到SQL模型的一般困难，以保持预测的一致性对语言和模式的变化，我们提出了MT-Teql，一个基于变形测试的框架，系统地评估和增强的一致性TEXT到SQL模型。受软件变形测试原理的启发，MT-Teql提供了一个与模型无关的框架，该框架实现了一组全面的变形关系（MR），以进行对话语和模式的语义保持转换。当原始输入和转换后的输入导致不同的SQL查询时，可能会暴露模型不一致性。此外，我们利用转换后的输入来重新训练模型，以进一步提高模型的鲁棒性。我们的实验表明，我们的框架暴露了SOTA模型的数千个预测错误，并按数量级丰富了现有数据集，消除了超过40%的不一致性错误，而不影响标准准确性。
2020-12-21 cs.CL cs.SE
Multi-Agent LLM-based Metamorphic Testing for REST APIs
Åbo Akademi University（阿博阿卡迪米大学）
提出ARMeta方法，利用基于LLM的多智能体工作流自动识别蜕变测试场景并生成可执行测试，以解决REST API测试中的预言问题。
2026-05-27 cs.AI cs.SE
MORTAR: Multi-turn Metamorphic Testing for LLM-based Dialogue Systems
Faculty of Information Technology, Monash University（墨尔本大学信息科技学院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；School of Science, Computing and Emerging Technologies, Swinburne University of Technology（斯威本理工大学科学、计算与新兴技术学院）
提出MORTAR方法，通过多轮蜕变关系自动化生成测试用例，解决LLM对话系统多轮测试中的预言问题，相比单轮测试每个用例发现更多且更高质量的缺陷。
2026-06-18 cs.CL cs.SE
Hallucination Detection for LLM-based Text-to-SQL Generation via Two-Stage Metamorphic Testing
Beijing Forestry University（北京林业大学）；Nanyang Technological University（南洋理工大学）
通过双阶段元测试方法检测基于大语言模型的文本到SQL生成中的幻觉，无需地面真实数据，提升检测性能。
2025-12-24 cs.SE
GenMorph: Automatically Generating Metamorphic Relations via Genetic Programming
本文提出GenMorph技术，利用进化算法和双适应度函数为Java方法自动生成蜕变关系，有效缓解预言机问题，并在多项实验中显著提升了软件故障检测能力，优于现有工具。
2024-06-05 cs.SE
Metamorphic Relation Prioritization for Effective Regression Testing
Montana State University（蒙大拿州立大学）；University of North Florida（北佛罗里达大学）
变形测试（MT）被广泛用于测试面临预言机问题的程序。它使用一组变形关系（MR），这是多个输入之间的关系，并相应的输出，以确定是否被测程序是错误的。典型地，MR在它们检测被测程序中的故障的能力方面变化，并且一些MR倾向于检测相同的故障集合。在本文中，我们提出了优先考虑MR的方法，以提高回归测试的MT的效率和有效性。我们提出了两种MR优先级排序方法：（1）基于故障和（2）基于覆盖率。为了评估这些MR优先化方法，我们在三个复杂的开源软件系统上进行实验。我们的研究结果表明，我们开发的MR优先级的方法显着优于目前的做法，执行的源和后续测试用例的MR在一个特设的方式在故障检测的有效性。此外，基于故障的MR优先化导致减少需要执行的源和后续测试用例的数量，以及减少检测故障所花费的平均时间，这将导致在测试过程期间节省时间和成本。
2021-09-20 cs.LG cs.SE
Towards Automated Metamorphic Test Identification for Ocean System Models
变形测试试图在没有测试神谕的情况下验证软件。我们的应用领域是海洋系统建模，测试预言机很少存在，但模拟的物理系统的对称性是已知的。由于应用领域的要求，输入数据集很大。本文介绍了使用机器学习自动生成变形测试场景的工作进展。我们扩展了我们以前提出的方法[1]，以降低计算复杂性来识别变形关系。最初，我们表示变形关系的身份映射。我们构造了一个成本函数，最小化识别的变形关系正交以前发现的变形关系和处罚的身份映射。一个机器学习算法被用来识别所有可能的变形关系最小化定义的成本函数。我们建议应用降维技术来识别输入中的属性，这些属性在所识别的变形关系中具有高方差。我们应用突变这些选定的属性，以确定不同的变形关系，降低计算复杂性。对于实验评估，我们提出的方法，提出使用变形关系来测试这两个应用程序的实现的海洋建模应用程序的两个实现。
2021-03-17 cs.SE
Exploring and Lifting the Robustness of LLM-powered Automated Program Repair with Metamorphic Testing
本文提出蜕变测试框架MT-LAPR，通过九种蜕变关系生成语义等价的测试用例，系统评估并暴露LAPR技术的不稳定性，进而训练基于CodeT5的代码可读性增强模型作为预处理步骤，显著提升LAPR鲁棒性最高达49.32%。
2025-03-09 cs.SE
Metamorphic Testing for Quality Assurance of Protein Function Prediction Tools
蛋白质是生命的主力，了解它们的功能对于药物设计等应用至关重要。然而，蛋白质功能的实验验证是高度消耗资源的。因此，最近，使用机器学习的自动蛋白质功能预测（AFP）获得了极大的兴趣。这些AFP工具中的许多都是基于使用现有的黄金标准功能注释训练的监督学习模型，这些注释已知是不完整的。与对AFP软件进行系统测试相关的主要挑战是缺乏测试预言机，该测试预言机确定测试用例的通过或失败;不幸的是，由于黄金标准数据的不完整性，AFP任务的确切预期结果没有很好地定义。因此，AFP工具面向\emph{oracle problem}。在这项工作中，我们使用变形测试（MT）来测试九个国家的最先进的AFP工具，通过定义一组变形关系（MR），将输入转换到蛋白质序列。根据我们的研究结果，我们观察到，几个AFP工具失败的所有测试用例引起关注的质量，他们的预测。
2019-04-16 cs.SE q-bio.QM
