首页/论文/2303.07580

arXiv 2303.075802023-03-30cs.LGcs.CV

基于可解释AI的敏感区域变形测试框架

Sensitive Region-based Metamorphic Testing Framework using Explainable AI

AGEST, Inc.（AGEST公司）

Yuma Torikoshi, Yasuharu Nishi, Juichi Takahashi

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

深度学习是机器学习中最热门的研究课题之一，由深度学习驱动的图像识别系统发展迅速。最近的研究采用变形测试（MT）来检测错误分类的图像。他们大多数讨论变质关系（MR），与有限的关注给予哪些地区应该被改造。我们专注于这样一个事实，即有敏感区域，即使是小的变换也可以很容易地改变预测结果，并提出了一个MT框架，通过变换这些敏感区域来有效地测试容易发生错误分类的区域。我们的评估表明，敏感区域可以由可解释AI（XAI）指定，并且我们的框架可以有效地检测故障。

英文摘要：

Deep Learning (DL) is one of the most popular research topics in machine learning and DL-driven image recognition systems have developed rapidly. Recent research has employed metamorphic testing (MT) to detect misclassified images. Most of them discuss metamorphic relations (MR), with limited attention given to which regions should be transformed. We focus on the fact that there are sensitive regions where even small transformations can easily change the prediction results and propose an MT framework that efficiently tests for regions prone to misclassification by transforming these sensitive regions. Our evaluation demonstrated that the sensitive regions can be specified by Explainable AI (XAI) and our framework effectively detects faults.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于图像结构的对象变形测试

Object-based Metamorphic Testing through Image Structuring

The University of Electro-Communications（电气通信大学）；School of Informatics and Engineering（信息工程学院）

由于需要大量生产测试用例并为其提供测试预言机，测试软件的成本通常很高，这通常被称为预言机问题。已经提出的一种方法，以减轻预言的问题是变形测试。变形测试通过改变现有的测试用例来产生新的测试用例，并利用被测系统（SUT）的输入输出之间的变形关系来预测所产生的测试用例的期望输出。变形测试通常用于图像处理软件，其中对图像的属性进行更改以创建具有与原始图像相同的注释的新测试用例。我们把这种现有的方法称为基于图像的变形测试。在本研究中，我们提出了一个基于对象的变形测试和一个复合变形测试，它结合了不同的变形测试方法，以相对增加测试覆盖率。

2020-02-12cs.LGcs.SE

基于变形测试的机器学习图像分类器实现缺陷识别

Identifying Implementation Bugs in Machine Learning based Image Classifiers using Metamorphic Testing

Accenture Technology Labs（埃森哲技术实验室）

我们最近见证了机器学习（ML）在实际应用中的巨大成功。计算机视觉、语音识别和语言翻译都达到了接近人类水平的性能。我们预计，在不久的将来，大多数商业应用程序都将具有某种形式的ML。然而，测试这样的应用程序是非常具有挑战性的，如果我们遵循今天的方法，将是非常昂贵的。在这项工作中，我们提出了在测试基于ML的应用程序的挑战。然后，我们提出了我们的解决方案的方法，基于变形测试的概念，其目的是识别基于ML的图像分类器中的实现错误。我们已经为基于支持向量机的应用程序和基于深度学习的应用程序开发了变形关系。经验验证表明，我们的方法能够捕获ML应用程序中71%的实现错误。

2018-08-16cs.LGcs.SE

基于深度学习的预测器的变形测试

Metamorphic Testing of a Deep Learning based Forecaster

Accenture Labs（埃森哲实验室）；Accenture（埃森哲）

在本文中，我们介绍了一个基于深度学习的预测应用程序的变形测试。该应用程序查看过去的系统特征数据（例如“内存分配”），以预测未来的中断。我们重点关注两个基于统计/机器学习的组件-- a）检测系统特征之间的相关性，以及b）使用LSTM（一种深度学习架构）估计系统特征的未来值。总共有19种变形关系已经被开发出来，我们在适用的地方提供了证明和算法。我们通过两个设置来评估我们的方法。首先，我们在实际应用中执行了这些关系，发现了8个以前不知道的问题。其次，我们通过突变测试在基于LSTM的预测器的参考实现上生成了假设的错误，并发现65.9%的错误是通过关系捕获的。

2019-07-13cs.LGcs.SE

使用对象相关的变形关系测试图像分析的深度学习模型

Testing Deep Learning Models for Image Analysis Using Object-Relevant Metamorphic Relations

Hong Kong University of Science and Technology（香港科技大学）；Rutgers University（罗格斯大学）；Southern University of Science and Technology（南方科技大学）；Purdue University（普渡大学）

深度学习模型广泛用于图像分析。虽然它们在准确性方面提供了很高的性能，但人们担心这些模型是否会不适当地使用不相关的特征进行推断，这些特征不是从给定图像中的目标对象编码的。为了解决这个问题，我们提出了一个变形测试方法，评估如果一个给定的推断是基于不相关的功能。具体来说，我们提出了两个新的变形关系来检测这种不适当的推论。我们将我们的方法应用于10个图像分类模型和10个目标检测模型，具有三个大数据集，即，ImageNet、COCO和Pascal VOC。在图像分类模型做出的前5个正确预测中，超过5.3%的预测受到使用不相关特征的不适当推断的影响。目标检测模型的对应率超过8.5%。基于这些发现，我们进一步设计了一种新的图像生成策略，可以有效地攻击现有的模型。与基线方法相比，我们的策略可以使攻击成功率提高一倍。

2021-05-24cs.CVcs.LGeess.IV

有效回归测试的变形关系优先级划分

Metamorphic Relation Prioritization for Effective Regression Testing

Montana State University（蒙大拿州立大学）；University of North Florida（北佛罗里达大学）

变形测试（MT）被广泛用于测试面临预言机问题的程序。它使用一组变形关系（MR），这是多个输入之间的关系，并相应的输出，以确定是否被测程序是错误的。典型地，MR在它们检测被测程序中的故障的能力方面变化，并且一些MR倾向于检测相同的故障集合。在本文中，我们提出了优先考虑MR的方法，以提高回归测试的MT的效率和有效性。我们提出了两种MR优先级排序方法：（1）基于故障和（2）基于覆盖率。为了评估这些MR优先化方法，我们在三个复杂的开源软件系统上进行实验。我们的研究结果表明，我们开发的MR优先级的方法显着优于目前的做法，执行的源和后续测试用例的MR在一个特设的方式在故障检测的有效性。此外，基于故障的MR优先化导致减少需要执行的源和后续测试用例的数量，以及减少检测故障所花费的平均时间，这将导致在测试过程期间节省时间和成本。

2021-09-20cs.LGcs.SE

使用Rashomon集的蜕变测试：机器学习中的解释忠实性

Metamorphic Testing with the Rashomon Set: Explanation Faithfulness in Machine Learning

Norwegian Ministry of Education and Research（挪威教育与研究部）

针对机器学习中因Rashomon效应导致解释不可靠的问题，提出基于蜕变测试的框架，通过后验解释方法评估特征归因的忠实性，无需真实标签。

2026-06-04cs.AIcs.LGcs.SE

更多相关论文收起更多论文

临床机器学习模型的变质测试：框架建议与初步研究

Metamorphic Testing for Clinical ML Models: A Framework Proposal and Pilot Study

Michigan Technological University（密歇根理工大学）

研究针对临床机器学习模型，提出用变质测试评估其行为正确性，无需真实标签。设计12个候选变质关系目录及五层验证策略，在UCI心脏病数据集评估，发现临床模型有MT违反率，证明变质测试可补充传统指标评估临床预测模型。

2026-07-28cs.LGcs.SE

LLMORPH：大型语言模型的自动化形变测试

LLMORPH: Automated Metamorphic Testing of Large Language Models

University of Auckland（奥克兰大学）

LLMORPH通过形变测试技术自动检测大型语言模型输出不一致问题，无需人工标注数据，适用于多种NLP任务和模型评估。

2026-03-24cs.AIcs.CLcs.LG

LGMT：基于逻辑的蜕变测试用于评估LLMs的推理可靠性

LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs

School of Automation Science and Electrical Engineering, Beihang University（自动化科学与电气工程学院，北京航空航天大学）

提出LGMT框架，利用一阶逻辑推导蜕变关系，通过一致性检查评估LLM推理的鲁棒性，揭示传统评估忽略的隐藏缺陷。

2026-07-03cs.AIcs.LGcs.SE

海洋模拟应用的变质试验方案的自动识别

Automated identification of metamorphic test scenarios for an ocean-modeling application

GEOMAR, Helmholtz Centre for Ocean Research（亥姆霍兹海洋研究中心）；Kiel University（基尔大学）

变形测试试图在没有测试预言机的情况下验证软件。我们的应用领域是海洋建模，测试预言机往往不存在，但在模拟的物理系统的对称性是已知的。在这篇简短的论文中，我们提出了正在进行的工作，使用机器学习自动生成的变形测试场景。变形测试可以表示为f（g（X））=h（f（X）），其中f是被测应用，具有输入数据X，并且具有变形关系（g，h）。自动生成的变形关系可用于构造回归测试，以及用于比较同一软件应用程序的不同版本。这里，我们限制h为恒等映射。然后，构建测试的任务意味着找到我们使用机器学习算法处理的不同g。这些算法通常最小化成本函数。由于已知一个可能的g是恒等映射，为了找到第二个可能的g，我们构造了代价函数，以最小化g是变态关系，并惩罚g是恒等映射。在识别出第一变形关系之后，利用与先前找到的变形关系正交的代价函数来奖励g，重复该过程。为了进行实验评估，两个实现的海洋建模应用程序将受到所提出的方法与变形关系的使用，以测试应用程序的实现的目的。

2020-09-03cs.LGcs.SE

利用变形关系作为知识载体训练深度神经网络

Use of Metamorphic Relations as Knowledge Carriers to Train Deep Neural Networks

Swinburne University of Technology（斯威本科技大学）；Central Queensland University（中央昆士兰大学）；Hefei University of Technology（合肥工业大学）；Beihang University（北京航空航天大学）

训练多层深度神经网络（DNN）是困难的。使用大量样本进行训练的标准做法通常不会将DNN的性能提高到令人满意的水平。因此，需要有系统的培训方法。为了满足这一需求，我们引入了一种创新的方法，使用变形关系（MR）作为“知识载体”训练DNN。基于变形测试和MR（在软件测试中扮演测试预言机的角色）的概念，我们利用输入的变形组的概念作为MR（知识的抽象）的具体实例，以系统和有效的方式训练DNN。为了验证我们的训练方法的可行性，我们进行了一个初步的实验，以比较两个DNN的性能：一个训练与MR和其他训练没有MR。我们发现，与MR训练的DNN提供了更好的性能，从而证实，我们的方法使用MR作为知识载体训练DNN是有前途的。然而，还需要更多的工作和研究来巩固和利用这种方法，对有效的DNN培训产生广泛的影响。

2021-05-11cs.LG

HOMRS：深度神经网络的高阶变形关系模型

HOMRS: High Order Metamorphic Relations Selector for Deep Neural Networks

Polytechnique Montréal（蒙特利尔理工学院）

深度神经网络（DNN）应用正日益成为我们日常生活的一部分，从医疗应用到自动驾驶汽车。DNN的传统验证依赖于准确性度量，然而，对抗性示例的存在突出了这些准确性度量的局限性，特别是当DNN集成到安全关键系统中时，引起了人们的担忧。在本文中，我们提出了HOMRS，一种方法来提高变质测试自动建立一个小的优化的一组高阶变质关系，从一个初始的一组基本的变质关系。HOMRS的主干是一个多目标搜索;它利用了传统系统测试的思想，如代码覆盖率，测试用例，路径多样性以及输入验证。我们应用HOMRS MNIST/LeNet和SVHN/VGG，我们报告的证据表明，它建立了一个小的，但有效的高阶变换，以及推广到输入数据分布。此外，与类似的生成技术（如DeepXplore）相比，我们表明我们基于分布的方法更有效，从不确定性量化的角度生成有效的转换，同时通过利用该方法的泛化能力，需要更少的计算时间。

2021-12-21cs.LGcs.SE

基于仿射变换的深度学习模型中敌对样本的变形检测

Metamorphic Detection of Adversarial Examples in Deep Learning Models With Affine Transformations

Fraunhofer CESE（弗劳恩霍夫实验软件工程中心）

对抗攻击是小的、精心制作的扰动，肉眼无法察觉;当添加到图像中时，会导致深度学习模型对图像进行错误分类，从而产生潜在的有害结果。随着人工智能模型在消费者安全和安全密集型行业（如自动驾驶汽车、摄像头监控和人脸识别）中的兴起，越来越需要防范对抗攻击。在本文中，我们提出了一种方法，使用变形测试的原则，自动检测这样的对抗攻击。该方法可以检测到图像操作是如此之小，他们是不可能检测到的人类通过视觉检查。通过应用基于距离比保持仿射图像变换的变形关系，比较原始图像和变换后图像的行为，我们表明，我们提出的方法可以确定输入图像是否具有高精度的对抗性。

2019-07-10cs.CVcs.LGeess.IV

从知识蒸馏的角度看代码语言模型的元测试：学生是否深度模仿教师？

A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?

Department of Computer Science, University of Saskatchewan（萨斯喀彻温大学计算机科学系）

本文从元测试角度探讨代码语言模型知识蒸馏中的行为一致性问题，提出MetaCompress框架以评估学生模型对教师模型的深度模仿程度，揭示传统准确性评估的局限性。

2026-05-11cs.LGcs.SE

使用变形关系验证和增强Artcode分类

Using Metamorphic Relations to Verify and Enhance Artcode Classification

University of Cambridge（剑桥大学）；University of Nottingham Ningbo China（宁波诺丁汉大学）；University of Nottingham（诺丁汉大学）；University of Wollongong（伍伦贡大学）；Swinburne University of Technology（斯威本科技大学）

软件测试经常在不可能或不切实际地确定被测软件（SUT）的行为或输出的正确性的情况下受到阻碍，这种情况被称为Oracle问题。面临预言问题的一个领域的例子是自动图像分类，使用机器学习将输入图像分类为一组预定义类别中的一个。一种解释oracle问题的软件测试方法是变形测试（MT）。传统的软件测试只检查单个测试用例的正确性，而MT则检查多个测试用例的执行及其输出之间的关系。这些关系被称为变形关系（MR）：如果发现MR被违反，则SUT中必须存在故障。本文研究了包含视觉隐藏标记（称为Artcodes）的图像分类问题，并应用MT来验证和增强训练的分类器。本文进一步研究了两个MR，分离和闭塞，并报告他们的能力，在验证图像分类，使用单向方差分析（ANOVA）结合其他三个统计分析方法：t检验（不等方差），Kruskal-Wallis检验，和Dunnett检验。除了我们以前研究的分类器，使用随机森林，我们引入了一个新的分类器，使用支持向量机，并提出其MR增强版本。实验结果表明，增强分类器比非增强分类器具有更好的性能。本文还分析了如何获得增强的性能。

2021-08-05cs.LGcs.SE

基于域有效性门控的科学机器学习代理模型蜕变测试

Domain-Validity-Gated Metamorphic Testing of Scientific ML Surrogates

School of Computing, University of South China（南方大学计算机学院）；Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment（湖南软件评估与测试研究中心）；CNNC Key Laboratory on High Trusted Computing（中核高可信计算重点实验室）

针对科学机器学习代理模型缺乏真实输出的问题，提出域有效性筛选方法将候选蜕变关系转化为可执行测试资产，并在多种代理模型上验证了其有效性。

2026-06-17cs.CEcs.LG

NOETHER：从算子代数中构造性地发现元模式的框架

NOETHER: A Constructive Framework for Metamorphic Pattern Discovery from Operator Algebras

School of Computing, University of South China（南华大学计算机学院）；Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment（湖南软件测评与智能设备工程研究中心）；CNNC Key Laboratory on High Trusted Computing（中核集团高可信计算重点实验室）

本文提出NOETHER框架，通过从程序诱导的算子代数到元模式集的机械且可证明的下游步骤，解决元模式关系识别中的基础问题，同时通过三个算子代数领域验证了该框架的代数闭包和多项式时间可判定性。

2026-05-17cs.LGcs.LOcs.SE

多任务驱动下基于胸部X线影像的COVID-19可解释性诊断

Multi-Task Driven Explainable Diagnosis of COVID-19 using Chest X-ray Images

IIIT-Delhi（印度德里信息技术学院）；IIT Jodhpur（印度焦特布尔理工学院）；Ashwini Hospital（阿什维尼医院）；Ramakant Heart Care Centre（拉马坎特心脏护理中心）；TeleRadiology Solutions（远程放射学解决方案公司）

随着全球COVID-19病例的增加，所有国家都在增加检测数量。虽然RT-PCR试剂盒在几个国家有足够的数量，但其他国家面临着偏远地区检测试剂盒和处理中心有限的挑战。这促使研究人员寻找可靠、易于获得和更快的替代测试方法。胸部X光检查是一种正在被接受的筛查方式。朝着这个方向，本文有两个主要贡献。首先，我们介绍COVID-19多任务网络，这是一个用于COVID-19筛查的自动化端到端网络。所提出的网络不仅预测CXR是否具有COVID-19特征，还对感兴趣区域进行语义分割，以使模型可解释。其次，在医疗专业人员的帮助下，我们手动注释了从ChestXray-14，CheXpert和合并的COVID-19数据集拍摄的9000张正面胸片的肺部区域。此外，还对200张与COVID-19患者有关的胸片进行了注释，以进行语义分割。该数据库将向研究界公布。

2020-08-03cs.CVcs.LGeess.IV

测试深度学习模型：多种测试技术的首次比较研究

Testing Deep Learning Models: A First Comparative Study of Multiple Testing Techniques

Simula Research Laboratory（西穆拉研究实验室）

深度学习（DL）彻底改变了基于视觉的系统（VBS）在自动驾驶、机器人手术、关键基础设施监控、空中和海上交通控制等关键应用中的能力。通过分析图像、语音、视频或任何类型的复杂信号，DL大大提高了这些系统的态势感知能力。与此同时，在越来越多地依赖于训练的DL模型的同时，VBS的可靠性和鲁棒性也受到了挑战，彻底测试这些模型以评估其能力和潜在错误变得至关重要。为了发现DL模型中的错误，现有的软件测试方法已经被相应地调整和改进。在这篇文章中，我们提供了这些软件测试方法，即差分，变形，突变和组合测试，以及对抗性扰动测试的概述，并审查了一些挑战，在他们的部署，以提高感知系统中使用的VBS。我们还提供了第一个实验比较研究的经典基准VBS中使用，并讨论其结果。

2022-02-24cs.LGcs.SE

使用基于智能体的模型（ABM）和可解释人工智能（XAI）模拟社会行为与政策干预场景：爱尔兰私人水井用户案例研究

Using agent-based models and EXplainable Artificial Intelligence (XAI) to simulate social behaviors and policy intervention scenarios: A case study of private well users in Ireland

Technological University (TU), Dublin（都柏林理工大学）；University College Dublin (UCD), Dublin（都柏林大学学院）

针对爱尔兰私人水井用户检测率低致水传播疾病高发问题，结合ABM模拟政策干预并利用XAI解释决策，发现免费检测相关政策大幅提升参与率，证明该框架在公共卫生政策评估中的价值。

2025-02-08cs.CYcs.LG

EVHA：硬件测试和保证的可解释视觉系统--综述

EVHA: Explainable Vision System for Hardware Testing and Assurance -- An Overview

Florida Institute for Cybersecurity Research（佛罗里达网络安全研究所）；University of Florida（佛罗里达大学）

由于不同行业对电子芯片的需求不断增长，半导体公司已被要求将其制造工艺离岸化。这种不必要的事情使他们制造的芯片的安全性和可信性受到关注，并导致硬件攻击的产生。在这种情况下，半导体供应链中的不同实体可以恶意行事，并对从设备到系统的设计计算层执行攻击。我们的攻击是在不受信任的代工厂中的掩模生成/制造期间插入的硬件特洛伊木马。特洛伊木马通过添加、删除或更改设计单元在制造中留下足迹。为了解决这个问题，我们提出了可解释的视觉系统的硬件测试和保证（EVHA）在这项工作中，可以检测到最小的可能变化，以低成本，准确，快速的方式设计。该系统的输入是从被检查的集成电路（IC）获取的扫描电子显微镜（SEM）图像。系统输出是根据通过在单元级的设计单元中添加、删除或改变而具有任何缺陷和/或硬件木马的IC状态的确定。本文概述了我们的防御系统的设计、开发、实施和分析。

2022-07-20cs.AIcs.CRcs.CV

ImagenWorld: 通过可解释的人类评估对图像生成模型进行压力测试，针对开放性现实任务

ImagenWorld: Stress-Testing Image Generation Models with Explainable Human Evaluation on Open-ended Real-World Tasks

University of Waterloo（滑铁卢大学）；G-G-G；Comfy Org；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Independent（独立研究者）

ImagenWorld通过3600个条件集评估14个模型，揭示编辑任务比生成任务更难，艺术和照片实感领域表现优异，但符号和文本密集领域表现较差，现代VLM指标在Kendall准确性上达0.79，但无法实现细粒度可解释性误差归因。

2026-03-29cs.AIcs.CVcs.GR

SINVAD：用于DNN图像分类器测试输入生成的基于搜索的图像空间导航

SINVAD: Search-based Image Space Navigation for DNN Image Classifier Test Input Generation

KAIST（韩国科学技术院）；Chalmers University（查尔姆斯理工大学）

随着深度神经网络（DNN）被安全关键系统广泛采用，DNN的测试变得越来越重要。虽然已经提出了许多测试充分性标准，但许多类型的DNN的自动测试输入生成仍然是一个挑战，因为原始输入空间太大，无法随机采样或导航和搜索合理的输入。因此，当前DNN的测试技术基于变形测试原理，依赖于对现有输入的小的局部扰动。我们提出了新的方法来搜索不是在整个图像空间，而是在一个合理的输入空间，类似于真正的训练分布。这个空间是使用变分自编码器（VAE）构造的，并通过它们的潜在向量空间进行导航。我们表明，这个空间有助于有效地产生测试输入，这些输入可以揭示DNN在处理现实测试时的鲁棒性信息，从而通过高度结构化的图像空间进行有意义的探索。

2020-05-19cs.LGcs.SE

一种基于可解释人工智能的MALDI-ToF质谱COVID-19诊断方法

An Explainable-AI approach for Diagnosis of COVID-19 using MALDI-ToF Mass Spectrometry

Northern Illinois University（北伊利诺伊大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Intel Corporation（英特尔公司）

本文提出一种基于可解释人工智能和MALDI-ToF质谱的COVID-19诊断方法，在人类漱口液样本上取得94.12%准确率，并通过局部与全局可解释性揭示生物学相关特征，增强AI临床诊断可信度。

2023-05-23cs.AIcs.LG

ST-ResGAT：用于道路状况预测和优先级驱动维护的可解释时空图神经网络

ST-ResGAT: Explainable Spatio-Temporal Graph Neural Network for Road Condition Prediction and Priority-Driven Maintenance

Shahjalal University of Science and Technology（沙赫拉尔科学与技术大学）；University of Oklahoma（俄克拉荷马大学）

本文提出ST-ResGAT，一种融合残差图注意力编码与GRU时间聚合的时空残差图注意力网络，用于预测道路损坏并生成ASTM合规的维护优先级，实验显示其预测精度高且具有可解释性。

2026-03-14cs.AIcs.CEcs.ET