基于图像结构的对象变形测试

基于可解释AI的敏感区域变形测试框架

Sensitive Region-based Metamorphic Testing Framework using Explainable AI

AGEST, Inc.（AGEST公司）

深度学习是机器学习中最热门的研究课题之一，由深度学习驱动的图像识别系统发展迅速。最近的研究采用变形测试（MT）来检测错误分类的图像。他们大多数讨论变质关系（MR），与有限的关注给予哪些地区应该被改造。我们专注于这样一个事实，即有敏感区域，即使是小的变换也可以很容易地改变预测结果，并提出了一个MT框架，通过变换这些敏感区域来有效地测试容易发生错误分类的区域。我们的评估表明，敏感区域可以由可解释AI（XAI）指定，并且我们的框架可以有效地检测故障。

2023-03-30cs.CVcs.LG

LGMT：基于逻辑的蜕变测试用于评估LLMs的推理可靠性

LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs

School of Automation Science and Electrical Engineering, Beihang University（自动化科学与电气工程学院，北京航空航天大学）

提出LGMT框架，利用一阶逻辑推导蜕变关系，通过一致性检查评估LLM推理的鲁棒性，揭示传统评估忽略的隐藏缺陷。

2026-07-03cs.AIcs.LGcs.SE

从知识蒸馏的角度看代码语言模型的元测试：学生是否深度模仿教师？

A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?

Department of Computer Science, University of Saskatchewan（萨斯喀彻温大学计算机科学系）

本文从元测试角度探讨代码语言模型知识蒸馏中的行为一致性问题，提出MetaCompress框架以评估学生模型对教师模型的深度模仿程度，揭示传统准确性评估的局限性。

2026-05-11cs.LGcs.SE

使用变形关系验证和增强Artcode分类

Using Metamorphic Relations to Verify and Enhance Artcode Classification

University of Cambridge（剑桥大学）；University of Nottingham Ningbo China（宁波诺丁汉大学）；University of Nottingham（诺丁汉大学）；University of Wollongong（伍伦贡大学）；Swinburne University of Technology（斯威本科技大学）

软件测试经常在不可能或不切实际地确定被测软件（SUT）的行为或输出的正确性的情况下受到阻碍，这种情况被称为Oracle问题。面临预言问题的一个领域的例子是自动图像分类，使用机器学习将输入图像分类为一组预定义类别中的一个。一种解释oracle问题的软件测试方法是变形测试（MT）。传统的软件测试只检查单个测试用例的正确性，而MT则检查多个测试用例的执行及其输出之间的关系。这些关系被称为变形关系（MR）：如果发现MR被违反，则SUT中必须存在故障。本文研究了包含视觉隐藏标记（称为Artcodes）的图像分类问题，并应用MT来验证和增强训练的分类器。本文进一步研究了两个MR，分离和闭塞，并报告他们的能力，在验证图像分类，使用单向方差分析（ANOVA）结合其他三个统计分析方法：t检验（不等方差），Kruskal-Wallis检验，和Dunnett检验。除了我们以前研究的分类器，使用随机森林，我们引入了一个新的分类器，使用支持向量机，并提出其MR增强版本。实验结果表明，增强分类器比非增强分类器具有更好的性能。本文还分析了如何获得增强的性能。

2021-08-05cs.LGcs.SE

LLMORPH：大型语言模型的自动化形变测试

LLMORPH: Automated Metamorphic Testing of Large Language Models

University of Auckland（奥克兰大学）

LLMORPH通过形变测试技术自动检测大型语言模型输出不一致问题，无需人工标注数据，适用于多种NLP任务和模型评估。

2026-03-24cs.AIcs.CLcs.LG

研究DNN变形测试用例可能性的计算剖面模型

Models of Computational Profiles to Study the Likelihood of DNN Metamorphic Test Cases

Polytechnique Montreal（蒙特利尔综合理工学院）

神经网络测试用例是为了在一个体系结构中执行不同的推理路径，并用于验证预测结果。在本文中，我们引入“计算配置文件”作为神经元激活水平的向量。我们调查的分布计算配置文件可能性的变形测试用例的训练，测试和错误控制的情况下的可能性分布。我们估计每个不同的输出类的神经元激活水平的非参数概率密度。概率仅使用训练案例进行推断，而不需要任何关于变形测试案例的额外知识。实验通过训练网络上的MNIST时尚图像库和比较预测的可能性与从错误控制数据和变形测试用例中获得的。实验结果表明，训练集和测试集的计算轮廓似然分布具有一定的相似性，而随机噪声控制数据的分布总是显著低于训练集和测试集的观测分布。相比之下，变形测试用例显示出预测可能性，该预测可能性位于相对于训练、测试和随机噪声的扩展范围内。此外，所提出的方法允许独立评估不同的训练类和实验表明，一些类是更敏感的错误分类变形测试用例比其他类。总之，变形测试用例代表了对神经网络架构的非常积极的测试。此外，由于变形测试用例迫使网络对那些可能性与训练用例相似的输入进行错误分类，因此它们也可以被视为对抗攻击，从而逃避基于计算轮廓可能性评估的防御。

2021-07-28cs.LGcs.SE

使用对象相关的变形关系测试图像分析的深度学习模型

Testing Deep Learning Models for Image Analysis Using Object-Relevant Metamorphic Relations

Hong Kong University of Science and Technology（香港科技大学）；Rutgers University（罗格斯大学）；Southern University of Science and Technology（南方科技大学）；Purdue University（普渡大学）

深度学习模型广泛用于图像分析。虽然它们在准确性方面提供了很高的性能，但人们担心这些模型是否会不适当地使用不相关的特征进行推断，这些特征不是从给定图像中的目标对象编码的。为了解决这个问题，我们提出了一个变形测试方法，评估如果一个给定的推断是基于不相关的功能。具体来说，我们提出了两个新的变形关系来检测这种不适当的推论。我们将我们的方法应用于10个图像分类模型和10个目标检测模型，具有三个大数据集，即，ImageNet、COCO和Pascal VOC。在图像分类模型做出的前5个正确预测中，超过5.3%的预测受到使用不相关特征的不适当推断的影响。目标检测模型的对应率超过8.5%。基于这些发现，我们进一步设计了一种新的图像生成策略，可以有效地攻击现有的模型。与基线方法相比，我们的策略可以使攻击成功率提高一倍。

2021-05-24cs.CVcs.LGeess.IV

基于域有效性门控的科学机器学习代理模型蜕变测试

Domain-Validity-Gated Metamorphic Testing of Scientific ML Surrogates

School of Computing, University of South China（南方大学计算机学院）；Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment（湖南软件评估与测试研究中心）；CNNC Key Laboratory on High Trusted Computing（中核高可信计算重点实验室）

针对科学机器学习代理模型缺乏真实输出的问题，提出域有效性筛选方法将候选蜕变关系转化为可执行测试资产，并在多种代理模型上验证了其有效性。

2026-06-17cs.CEcs.LG

基于仿射变换的深度学习模型中敌对样本的变形检测

Metamorphic Detection of Adversarial Examples in Deep Learning Models With Affine Transformations

Fraunhofer CESE（弗劳恩霍夫实验软件工程中心）

对抗攻击是小的、精心制作的扰动，肉眼无法察觉;当添加到图像中时，会导致深度学习模型对图像进行错误分类，从而产生潜在的有害结果。随着人工智能模型在消费者安全和安全密集型行业（如自动驾驶汽车、摄像头监控和人脸识别）中的兴起，越来越需要防范对抗攻击。在本文中，我们提出了一种方法，使用变形测试的原则，自动检测这样的对抗攻击。该方法可以检测到图像操作是如此之小，他们是不可能检测到的人类通过视觉检查。通过应用基于距离比保持仿射图像变换的变形关系，比较原始图像和变换后图像的行为，我们表明，我们提出的方法可以确定输入图像是否具有高精度的对抗性。

2019-07-10cs.CVcs.LGeess.IV

NOETHER：从算子代数中构造性地发现元模式的框架

NOETHER: A Constructive Framework for Metamorphic Pattern Discovery from Operator Algebras

School of Computing, University of South China（南华大学计算机学院）；Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment（湖南软件测评与智能设备工程研究中心）；CNNC Key Laboratory on High Trusted Computing（中核集团高可信计算重点实验室）

本文提出NOETHER框架，通过从程序诱导的算子代数到元模式集的机械且可证明的下游步骤，解决元模式关系识别中的基础问题，同时通过三个算子代数领域验证了该框架的代数闭包和多项式时间可判定性。

2026-05-17cs.LGcs.LOcs.SE

测试深度学习模型：多种测试技术的首次比较研究

Testing Deep Learning Models: A First Comparative Study of Multiple Testing Techniques

Simula Research Laboratory（西穆拉研究实验室）

深度学习（DL）彻底改变了基于视觉的系统（VBS）在自动驾驶、机器人手术、关键基础设施监控、空中和海上交通控制等关键应用中的能力。通过分析图像、语音、视频或任何类型的复杂信号，DL大大提高了这些系统的态势感知能力。与此同时，在越来越多地依赖于训练的DL模型的同时，VBS的可靠性和鲁棒性也受到了挑战，彻底测试这些模型以评估其能力和潜在错误变得至关重要。为了发现DL模型中的错误，现有的软件测试方法已经被相应地调整和改进。在这篇文章中，我们提供了这些软件测试方法，即差分，变形，突变和组合测试，以及对抗性扰动测试的概述，并审查了一些挑战，在他们的部署，以提高感知系统中使用的VBS。我们还提供了第一个实验比较研究的经典基准VBS中使用，并讨论其结果。

2022-02-24cs.LGcs.SE

机器学习中的Oracle问题综述

A Review on Oracle Issues in Machine Learning

INESC TEC（INESC TEC（葡萄牙工程与系统技术研究所））

机器学习与传统的软件开发不同，因为预言是数据，而数据并不总是机器学习试图建模的问题的正确表示。我们对机器学习中发现的Oracle问题进行了调查，并提出了处理这些问题的最先进的解决方案。其中包括差分测试、变形测试和测试覆盖率的研究路线。我们还回顾了最近在建模过程中对鲁棒性的一些改进，这些改进减少了Oracle问题的影响，以及用于帮助测试和发现特定于数据集的问题的工具和框架。

2021-05-04cs.LG

SINVAD：用于DNN图像分类器测试输入生成的基于搜索的图像空间导航

SINVAD: Search-based Image Space Navigation for DNN Image Classifier Test Input Generation

KAIST（韩国科学技术院）；Chalmers University（查尔姆斯理工大学）

随着深度神经网络（DNN）被安全关键系统广泛采用，DNN的测试变得越来越重要。虽然已经提出了许多测试充分性标准，但许多类型的DNN的自动测试输入生成仍然是一个挑战，因为原始输入空间太大，无法随机采样或导航和搜索合理的输入。因此，当前DNN的测试技术基于变形测试原理，依赖于对现有输入的小的局部扰动。我们提出了新的方法来搜索不是在整个图像空间，而是在一个合理的输入空间，类似于真正的训练分布。这个空间是使用变分自编码器（VAE）构造的，并通过它们的潜在向量空间进行导航。我们表明，这个空间有助于有效地产生测试输入，这些输入可以揭示DNN在处理现实测试时的鲁棒性信息，从而通过高度结构化的图像空间进行有意义的探索。

2020-05-19cs.LGcs.SE

DiverGet：一种基于搜索的深度神经网络Quantization评估软件测试方法

DiverGet: A Search-Based Software Testing Approach for Deep Neural Network Quantization Assessment

当在嵌入式系统或手机上部署经过训练的深度神经网络（DNN）模型时，量化是应用最广泛的DNN压缩策略之一。这是由于其简单性和对广泛应用和环境的适应性，而不是通常仅为某些特定硬件（例如，Google Coral Edge TPU）。随着对量化的需求不断增长，确保该策略的可靠性正成为一个关键挑战。传统的测试方法收集越来越多的真实数据以进行更好的评估，但由于输入空间很大以及原始DNN与量化DNN之间的高度相似性，因此通常不实用。因此，先进的评估战略变得至关重要。在本文中，我们提出了DiverGet，基于搜索的量化评估的测试框架。DiverGet定义了一个变形关系的空间，模拟输入上自然发生的扭曲。然后，它最佳地探索这些关系，以揭示不同算法精度的DNN之间的分歧。我们评估了DiverGet在应用于高光谱遥感图像的最先进DNN上的性能。我们选择了遥感DNN，因为它们越来越多地部署在边缘（例如，高升力无人机）在气候变化研究和天文学等关键领域。我们的研究结果表明，DiverGet成功地挑战了现有量化技术对自然发生的移位数据的鲁棒性，并优于其最新的并发DiffChaser，成功率（平均）高出四倍。

2022-07-13cs.AIcs.LGcs.SE

大语言模型基于知识的一致性测试

Knowledge-based Consistency Testing of Large Language Models

Singapore University of Technology and Design, Singapore（新加坡科技设计大学）；Royal Holloway, University of London, UK（伦敦大学皇家霍洛威学院）

本文提出自动化测试框架KonTest，利用知识图谱构建测试用例，通过语义等价查询和测试预言机探测大语言模型的不一致性，并采用加权模型集成缓解知识差距，实验证明其能有效发现并降低模型的错误与知识差距。

2025-08-14cs.AIcs.CLcs.LG