Metamorphic Relation Prioritization for Effective Regression Testing
Montana State University(蒙大拿州立大学);University of North Florida(北佛罗里达大学)
变形测试(MT)被广泛用于测试面临预言机问题的程序。它使用一组变形关系(MR),这是多个输入之间的关系,并相应的输出,以确定是否被测程序是错误的。典型地,MR在它们检测被测程序中的故障的能力方面变化,并且一些MR倾向于检测相同的故障集合。在本文中,我们提出了优先考虑MR的方法,以提高回归测试的MT的效率和有效性。我们提出了两种MR优先级排序方法:(1)基于故障和(2)基于覆盖率。为了评估这些MR优先化方法,我们在三个复杂的开源软件系统上进行实验。我们的研究结果表明,我们开发的MR优先级的方法显着优于目前的做法,执行的源和后续测试用例的MR在一个特设的方式在故障检测的有效性。此外,基于故障的MR优先化导致减少需要执行的源和后续测试用例的数量,以及减少检测故障所花费的平均时间,这将导致在测试过程期间节省时间和成本。
2021-09-20 cs.LG cs.SE
Adaptive Metamorphic Testing with Contextual Bandits
变形测试是一种软件测试范式,其目的是利用被测系统的必要属性(称为变形关系)来检查其预期输出或生成新的测试用例。变形测试已经成功地测试程序,其中一个完整的预言是不可用的,或测试程序,有不确定性的预期输出,如学习系统。在这篇文章中,我们提出了自适应变形测试作为一个简单而强大的强化学习技术,即上下文强盗,选择一个程序可用的多个变形关系的推广。通过使用上下文强盗,自适应变形测试学习哪些变形关系可能改变源测试用例,从而具有更高的发现错误的机会。我们目前的实验结果在机器学习的两个主要案例研究,即图像分类和目标检测,并确定弱点和鲁棒性边界。自适应变形测试有效地识别了源测试用例中被测系统的弱点。
2020-03-13 cs.SE
A Two-phase Metamorphic Approach for Testing Industrial Control Systems
我们详细介绍了一种用于测试工业控制系统的变形方法。所提出的方法包括两个阶段:一个探索阶段,我们了解故障模式的测试下的系统和开发阶段,观察到的故障模式用于有针对性的测试。我们的方法提取的变形关系和输入空间的系统从它的要求。用于测试的种子输入从系统的执行日志中提取,并用于自动生成源测试和后续测试。变形的输入基于种子输入来构造,并使用一组约束来细化。以位置控制系统为例,结果表明该方法能有效地发现故障,提高了系统的自动化水平。
2022-08-19 cs.SE cs.SY eess.SY
Identifying Implementation Bugs in Machine Learning based Image Classifiers using Metamorphic Testing
Accenture Technology Labs(埃森哲技术实验室)
我们最近见证了机器学习(ML)在实际应用中的巨大成功。计算机视觉、语音识别和语言翻译都达到了接近人类水平的性能。我们预计,在不久的将来,大多数商业应用程序都将具有某种形式的ML。然而,测试这样的应用程序是非常具有挑战性的,如果我们遵循今天的方法,将是非常昂贵的。在这项工作中,我们提出了在测试基于ML的应用程序的挑战。然后,我们提出了我们的解决方案的方法,基于变形测试的概念,其目的是识别基于ML的图像分类器中的实现错误。我们已经为基于支持向量机的应用程序和基于深度学习的应用程序开发了变形关系。经验验证表明,我们的方法能够捕获ML应用程序中71%的实现错误。
2018-08-16 cs.LG cs.SE
Quality Assurance of Bioinformatics Software: A Case Study of Testing a Biomedical Text Processing Tool Using Metamorphic Testing
生物信息学软件在许多领域(包括医学和卫生保健)的关键决策中发挥着非常重要的作用。然而,大多数研究都是针对开发工具,很少有时间和精力花在测试软件,以确保其质量。在测试中,测试预言用于确定测试在测试过程中是通过还是失败,不幸的是,对于大多数生物信息学软件来说,确切的预期结果并没有很好地定义。因此,与对生物信息学软件进行系统测试相关的主要挑战是Oracle问题。变形测试(MT)是一种用于测试面临预言机问题的程序的技术。MT使用变形关系(MR)来确定测试是通过还是失败,并根据对输入的特定更改指定输出应如何更改。在这项工作中,我们使用MT来测试LingPipe,这是一种使用计算语言学处理文本的工具,通常用于生物信息学中从生物医学文献中识别生物实体。首先,我们确定一组MR用于测试任何生物实体识别程序。然后,我们开发了一组测试用例,可用于测试LingPipe的生物实体识别功能,使用这些MR。为了评估这个测试过程的有效性,我们自动生成一组LingPipe的错误版本。根据我们对实验结果的分析,我们观察到我们的MR可以检测到这些错误版本中的大多数,这表明了这种测试技术在生物信息学软件质量保证中的实用性。
2018-02-20 cs.SE
Efficient Fairness Testing in Large Language Models: Prioritizing Metamorphic Relations for Bias Detection
Computer Science Department East Carolina University(东卡罗来纳大学计算机科学系);Computer Science Department University of North Florida(北佛罗里达大学计算机科学系)
本文提出基于句子多样性的蜕变关系优先排序方法,以提升大型语言模型公平性测试效率,实验表明其显著提高故障检测率并降低计算成本。
2025-05-09 cs.AI cs.CL cs.SE
A Replication Study on Predicting Metamorphic Relations at Unit Testing Level
变形测试(MT)通过检查测试执行的输入和输出之间的关系来解决测试预言问题。这种关系被称为变形关系(MR)。在目前的实践中,识别和选择合适的MR通常是一项具有挑战性的手动任务,需要彻底掌握SUT及其应用领域。因此,Kanewala等人提出了预测变形关系(PMR)方法,以从六个预定义MR的列表中自动建议MR,用于测试新开发的方法。PMR基于一个分类模型,该模型是根据从100个Java方法的控制流图(CFG)中提取的特征进行训练的。在我们的复制研究中,我们探讨了PMR的普遍性。首先,我们重建了整个预处理和训练管道,并在一个紧密的复制中重复原始研究,以验证报告的结果,并为进一步的实验奠定基础。第二,我们执行概念复制,以探索在第一步中从Java方法训练的PMR模型的可重用性,用于在Python和C++中实现功能相同的方法。最后,我们从Python和C++方法的CFG上重新训练模型,以研究对程序设计语言和实现细节的依赖性。我们能够成功地复制原始研究,实现Java方法集的可比结果。然而,基于Java的分类器的预测性能显着降低时,应用到功能等效的Python和C++方法,尽管只使用CFG功能,从语言细节抽象。由于性能再次提高时,分类器上写在Python和C++的方法的CFG进行再训练,我们得出结论,PMR的方法可以推广,但只有当分类器的开发从使用的程序设计语言中的代码文物开始。
2022-05-31 cs.SE
Bug or not Bug? Analysing the Reasons Behind Metamorphic Relation Violations
本文针对蜕变测试中MR违反原因难以判断的问题,开发了一种利用关联规则挖掘(ARM)技术细化MR的方法,以区分违反是由Bug引起还是MR不匹配,并通过概念验证证明了该方法能有效加强回归测试的测试套件。
2023-05-16 cs.SE
Using Metamorphic Relations to Verify and Enhance Artcode Classification
University of Cambridge(剑桥大学);University of Nottingham Ningbo China(宁波诺丁汉大学);University of Nottingham(诺丁汉大学);University of Wollongong(伍伦贡大学);Swinburne University of Technology(斯威本科技大学)
软件测试经常在不可能或不切实际地确定被测软件(SUT)的行为或输出的正确性的情况下受到阻碍,这种情况被称为Oracle问题。面临预言问题的一个领域的例子是自动图像分类,使用机器学习将输入图像分类为一组预定义类别中的一个。一种解释oracle问题的软件测试方法是变形测试(MT)。传统的软件测试只检查单个测试用例的正确性,而MT则检查多个测试用例的执行及其输出之间的关系。这些关系被称为变形关系(MR):如果发现MR被违反,则SUT中必须存在故障。本文研究了包含视觉隐藏标记(称为Artcodes)的图像分类问题,并应用MT来验证和增强训练的分类器。本文进一步研究了两个MR,分离和闭塞,并报告他们的能力,在验证图像分类,使用单向方差分析(ANOVA)结合其他三个统计分析方法:t检验(不等方差),Kruskal-Wallis检验,和Dunnett检验。除了我们以前研究的分类器,使用随机森林,我们引入了一个新的分类器,使用支持向量机,并提出其MR增强版本。实验结果表明,增强分类器比非增强分类器具有更好的性能。本文还分析了如何获得增强的性能。
2021-08-05 cs.LG cs.SE
Alteron: A Tool for Behavioral Regression Testing Across NLP Classifier Versions
University of Dhaka(达卡大学)
该研究提出工具Alteron,通过变形测试检测NLP分类器版本间的行为回归,在评估中识别出16个行为回归,其中11个为发布阻塞性问题,可揭示基准指标遗漏的故障。
2026-08-03 cs.SE
MarMot: Metamorphic Runtime Monitoring of Autonomous Driving Systems
本文提出基于蜕变关系的在线监控框架MarMot,通过运行时不确定性估计识别自动驾驶系统的内外部异常,并在实体与仿真系统上验证其检测效果优于或接近现有监控方法。
2024-09-06 cs.SE
Metamorphic Testing of Large Language Models for Natural Language Processing
University of Auckland(奥克兰大学)
本文提出了一种针对大型语言模型的变形测试方法,通过收集和实验191个变形关系,评估了变形测试在自然语言处理任务中的有效性与局限性。
2025-11-03 cs.AI cs.SE
Input Relation Prompting for Metamorphic Testing on Query-Based Systems
National Cheng Kung University(国立成功大学)
针对查询系统测试难题,提出通过提示输入输出关系的变质关系识别方法,不依赖预定义测试用例或基本事实,可结合其他测试方法,经案例研究验证其适用性与潜力,推动变质测试发展,提高测试效率。
2026-07-29 cs.SE
Assessing Behavioral Validation in UI Component Test Suites Using Inferred Metamorphic Relations
University of Luxembourg(卢森堡大学);Kyungpook National University(庆北国立大学)
该研究提出基于推断变形关系(MR)的框架,可补充执行类指标,用于评估UI组件测试套件的行为验证,发现现有测试存在行为缺口,且MR覆盖率具备实际应用价值。
2026-08-05 cs.SE
Test Adequacy for Metamorphic Testing: Criteria, Measurement, and Implication
本文针对变质测试缺乏充分性评估准则的问题,从被测软件必要性质的角度提出新的测试充分性准则和度量方法,实验证明该度量能有效反映测试套件的缺陷检测能力,为构建高质量 MT 测试套件提供指导。
2024-12-30 cs.SE
AutoMT: A Multi-Agent LLM Framework for Automated Metamorphic Testing of Autonomous Driving Systems
School of Computing, Macquarie University(麦考瑞大学计算学院);Automotive Engineering Research Institute, Jiangsu University(江苏大学汽车工程研究院);School of Science, Computing and Emerging Technologies, Swinburne University of Technology(斯威本科技大学科学、计算与新兴技术学院)
针对自动驾驶系统蜕变测试依赖人工、自动化不足的问题,提出由LLM驱动的多智能体框架AutoMT,可自动提取蜕变关系、生成测试用例,测试多样性和违规检测率均优于人工基线,可集成工业流程覆盖关键场景。
2025-10-22 cs.SE
Metamorphic Testing of Transpilers via Mutation Consistency of Programs
University of Milano-Bicocca(米兰比可卡大学)
本文针对转译器测试难题,提出基于转译后程序突变一致性的变形测试技术,实现工具MCP-Tester,案例研究显示其能发现纯模糊测试漏检的故障。
2026-08-03 cs.SE
Using Source Code Metrics for Predicting Metamorphic Relations at Method Level
变形测试(TM)检查测试运行的输入和输出之间的关系。这些关系被称为变形关系(MR)。目前,MR是精心挑选的,需要深入了解被测系统(SUT)及其问题域。因此,识别和选择高质量的MR是一项挑战。\citeauthor{PMR1}建议使用预测变形关系(PMR)方法自动预测从预定义列表中挑选的适用MR。PMR基于支持向量机(SVM)模型,该模型使用从100种Java方法的控制流图(CFG)中导出的特征。\citeauthor{PMR1}的最初研究显示了令人鼓舞的结果,但从CFG相关特征开发分类模型的成本很高。在本文中,我们的目标是开发一个PMR的方法,是成本较低,而不会失去性能。我们补充了原来的PMR的方法,考虑以外的CFG相关功能。我们定义了21个可以直接从源代码中提取的特征,并构建了几个分类器,包括SVM模型。我们的研究结果表明,使用原始的基于CFG的方法级特征,特别是具有随机游走核(RWK)的SVM,对于大多数候选MR,在AUC-ROC方面实现了比我们的模型更好的预测。然而,对于其中一个候选MR,使用源代码功能实现了最佳AUC-ROC结果(大于0.8)。
2022-05-31 cs.SE
PSALM: applying Proportional SAmpLing strategy in Metamorphic testing
PSALM 是一种在变异测试中应用比例采样策略的改进方法,通过理论证明和实证研究展示了其在源测试用例和变异组选择上的有效性。
2025-12-15 cs.SE
Metamorphic Testing for Smart Contract Validation:A Case Study of Ethereum-Based Crowdfunding Contracts
针对智能合约测试中的预言机难题,本研究将蜕变测试应用于以太坊众筹智能合约验证,设计专属蜕变关系并生成用例,经Vertigo工具突变测试验证其可有效检测合约故障,保障区块链智能合约的可靠性与质量。
2025-01-17 cs.SE
Metamorphic Testing in Autonomous System Simulations
University of Innsbruck(因斯布鲁克大学)
变形测试在许多领域的测试用例生成和故障检测中被证明是有效的。它是一种软件测试策略,使用程序的输入输出对之间的某些关系,称为变形关系。这种方法在自治系统领域是相关的,因为它有助于在给定测试输入的结果可能难以确定的情况下。因此,在本文中,我们提供了一个变形测试的概述,以及在自治系统域的实现。我们利用GNC API在Gazebo中进行模拟,在自主无人机中实现障碍物检测和规避任务。特别是,我们描述的属性和最佳实践是至关重要的发展有效的变质关系。我们还展示了两个变质关系的变形测试的单个和多个无人机,分别。我们的关系揭示了几个属性和一些弱点的实施和避免算法的光变测试。结果表明,变形测试在自治系统领域有很大的潜力,应该考虑在这个领域的质量保证。
2022-09-22 cs.MA cs.RO cs.SE
Robustness Evaluation of Stacked Generative Adversarial Networks using Metamorphic Testing
Monash University Malaysia(莫纳什大学马来西亚分校)
从自然语言中合成具有真实感的图像是计算机视觉的一个挑战性问题。在过去的十年中,已经提出了许多方法,其中改进的堆栈生成对抗网络(StackGAN-v2)已被证明能够生成反映输入文本描述中指定细节的高分辨率图像。在本文中,我们的目标是通过引入训练数据的变化来评估StackGAN-v2模型的鲁棒性和容错能力。但由于生成对抗网络(GAN)的工作原理,当训练数据被修改时,很难预测模型的输出。因此,在这项工作中,我们采用变形测试技术来评估模型的鲁棒性与各种意想不到的训练数据集。因此,我们首先实现StackGAN-v2算法,并测试原作者提供的预训练模型,为我们的实验建立基础事实。然后,我们确定一个变形关系,从测试用例生成。根据试验结果的观察,推导出了变形关系式。最后,我们综合了所有变形关系的实验结果,发现StackGAN-v2算法容易受到带有突出对象的输入图像的影响,即使它与主要对象的重叠最小,这是StackGAN-v2模型的作者和用户没有报道的。所提出的变形关系可以应用到其他文本到图像的合成模型,不仅验证了鲁棒性,而且还帮助研究人员理解和解释的结果由机器学习模型。
2021-10-02 cs.CV cs.SE
GenFair: Systematic Test Generation for Fairness Fault Detection in Large Language Models
针对现有LLM公平性测试方法多样性不足、难以检测交叉性偏见的问题,本文提出GenFair框架,通过等价类划分、变异算子和边界值分析生成测试用例,并结合蜕变关系与语气比较检测公平性违规,在GPT-4.0和LLaMA-3.0上取得了优于基线方法的故障检测率与测试多样性。
2025-06-03 cs.SE
Combining LLM and Dynamic Analysis for Universal Testing of Static Application Security Testing Tools
The University of Hong Kong(香港大学);the Hong Kong Polytechnic University(香港理工大学);Concordia University(康考迪亚大学)
本文提出LLM4SAST框架,结合LLM与动态分析测试SAST工具,可高效检测SAST工具故障,减少误报,检测故障数量为现有方法3.4倍,仅需39.8%的变体,66个故障中32个获开发者确认修复。
2026-10-16 cs.CR cs.SE
Metamorphic Testing for Clinical ML Models: A Framework Proposal and Pilot Study
Michigan Technological University(密歇根理工大学)
研究针对临床机器学习模型,提出用变质测试评估其行为正确性,无需真实标签。设计12个候选变质关系目录及五层验证策略,在UCI心脏病数据集评估,发现临床模型有MT违反率,证明变质测试可补充传统指标评估临床预测模型。
2026-07-28 cs.LG cs.SE
Are We Lost in the Woods? Detecting Silent Semantic Faults for Random Forest Classifiers with Data-informed Static Analysis
Linköping University(林雪平大学)
提出一种数据驱动的静态分析技术,通过提取ML流水线为有向无环图并对照形式化API契约评估,以检测随机森林分类器中的静默语义故障,实现高精度(91%)和亚秒级运行时开销。
2026-06-05 cs.SE
Metamorphic Testing for Pose Estimation Systems
1 SFI Lero \& School of Computer Science;2 School of Computing Dublin City University - Dublin, Ireland
针对姿态估计系统测试中人工标注成本高且数据难复用的问题,提出蜕变测试框架 MET-POSE,无需人工标注即可评估系统性能,实验证明其能高效发现系统故障并支持规则定制。
2025-02-13 cs.AI cs.CV cs.SE
LLMORPH: Automated Metamorphic Testing of Large Language Models
University of Auckland(奥克兰大学)
LLMORPH通过形变测试技术自动检测大型语言模型输出不一致问题,无需人工标注数据,适用于多种NLP任务和模型评估。
2026-03-24 cs.AI cs.CL cs.LG
Metamorphic Detection of Repackaged Malware
基于机器学习的恶意软件检测系统通常容易受到规避攻击,在规避攻击中,恶意软件开发者操纵他们的恶意软件,使得其被错误地分类为良性的。这样的软件隐藏了真实类的一些属性,或者通过应用小的扰动来采用不同类的一些属性。一个特殊的情况下,规避恶意软件隐藏通过重新包装一个真正的良性移动应用程序包含恶意软件除了原来的功能的应用程序,从而保留了大部分的良性属性的原始app.We提出了一种新的恶意软件检测系统的基础上变形测试的原则,可以检测到这样的良性看似恶意软件的应用程序。我们将变形测试应用于移动应用程序的功能表示,而不是应用程序本身。也就是说,源输入是应用的原始特征向量,而派生输入是移除了所选特征的向量。如果应用程序最初被分类为良性并且确实是良性的,则源和派生输入的输出应该是相同的类,即,良性的,但如果它们不同,那么应用程序被暴露为可能的恶意软件。最初被归类为恶意软件的恶意软件应用程序应保留该分类,因为只有良性应用程序中普遍存在的功能才会被删除。这种方法使机器学习模型能够以合理的较少的假阴性和假阳性对重新打包的恶意软件进行分类。我们的训练管道比许多现有的基于ML的恶意软件检测方法更简单,因为网络是端到端训练的,可以学习适当的特征并执行分类。我们在从广泛使用的AndroZoo数据集中收集的300万个应用程序上预训练了我们的分类器模型。我们对其他公开数据集进行了广泛的研究,以显示我们的方法在检测重新包装…
2021-04-27 cs.CR cs.SE
Fault-Class-Matched Test Oracles for Output-Invisible Quantum Transpiler Regressions
City University of Science and Information Technology (CUSIT)(城市科学与技术大学);National University of Computer and Emerging Sciences (FAST-NUCES)(国家计算机与新兴科学大学)
针对量子转译器回归中输出不可见故障,提出故障类别匹配的预言机家族,涵盖布局元数据、全局相位和可重复性,在真实回归和突变体上达到高敏感性与特异性,且成本低。
2026-09-22 cs.SE quant-ph
A semantic mutation metric for metamorphic relation adequacy in scientific computing programs
School of Computing, University of South China(南华大学计算机学院);Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment(湖南软件测评与智能设备工程研究中心);CNNC Key Laboratory on High Trusted Computing(中核集团高可信计算重点实验室)
本文提出了一种基于领域语义操作符的语义突变度量(SMS),旨在解决传统突变度量在科学计算中忽略领域语义的问题,通过引入五个领域语义操作符,提高了对元突变关系充分性的评估能力。
2026-07-08 cs.LG cs.SE
Combining Spreadsheet Smells for Improved Fault Prediction
电子表格通常在组织中用作与业务相关的计算和决策的编程工具。由于电子表格中的错误可能会对业务产生严重影响,因此近年来,通用软件工程中的许多方法已应用于电子表格,其中包括代码气味的概念。气味尤其可以用于故障预测的任务。然而,对现有电子表格气味的分析显示,单个气味的预测能力可能是有限的。因此,在这项工作中,我们提出了一种基于机器学习的方法,它结合了使用AdaBoost集成分类器的个人气味的预测。在两个包含真实电子表格故障的公共数据集上的实验表明,该方法在故障预测准确性方面有显着提高。
2018-05-26 cs.SE
Generative Adversarial Network-based Cross-Project Fault Prediction
背景:在软件开发生存周期的早期阶段进行缺陷预测,可以减少测试工作量,保证软件质量。由于缺乏同一项目内的历史数据,跨项目缺陷预测(CPDP)已成为研究人员的热门研究课题。CPDP训练的分类器基于一个项目的标记数据集来预测另一个项目中的故障。目标:软件缺陷预测(SDP)数据集由手动设计的静态特征组成,这些特征是软件度量。在CPDP中,源项目和目标项目数据的差异是实现高性能的主要挑战。在本文中,我们提出了一种基于生成对抗网络(GAN)的数据转换,以减少源项目和目标项目之间的数据分歧。方法:我们采用生成对抗方法,其中标签数据集被选择为真实数据,而目标数据集被选择为假数据。判别器试图通过损失函数来衡量领域自适应的完善程度。通过生成器,目标数据集尝试适应源项目域,并且最后应用机器学习分类器(即,Naive Bayes)来对错误模块进行分类。结果:我们的研究结果表明,它是可能的预测缺陷的基础上生成的对抗方法。当我们选择JDT作为目标数据集时,我们的模型在跨项目环境中表现得很好。然而,所有选择的数据集都面临着一个大的类不平衡问题,这影响了我们的模型的性能。
2021-05-15 cs.SE
SINVAD: Search-based Image Space Navigation for DNN Image Classifier Test Input Generation
KAIST(韩国科学技术院);Chalmers University(查尔姆斯理工大学)
随着深度神经网络(DNN)被安全关键系统广泛采用,DNN的测试变得越来越重要。虽然已经提出了许多测试充分性标准,但许多类型的DNN的自动测试输入生成仍然是一个挑战,因为原始输入空间太大,无法随机采样或导航和搜索合理的输入。因此,当前DNN的测试技术基于变形测试原理,依赖于对现有输入的小的局部扰动。我们提出了新的方法来搜索不是在整个图像空间,而是在一个合理的输入空间,类似于真正的训练分布。这个空间是使用变分自编码器(VAE)构造的,并通过它们的潜在向量空间进行导航。我们表明,这个空间有助于有效地产生测试输入,这些输入可以揭示DNN在处理现实测试时的鲁棒性信息,从而通过高度结构化的图像空间进行有意义的探索。
2020-05-19 cs.LG cs.SE
Minimum Complete MR Subsets under Semantic-Mutation Fault Models: A Support-Set Domination Boundary
School of Computing, University of South China(南华大学计算机学院);Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment(智能装备软件评测与测试湖南省工程研究中心);CNNC Key Laboratory on High Trusted Computing(中核集团高可信计算重点实验室)
本文提出基于变异覆盖的层相对完整性准则,通过支持集支配边界确定何时类级抽象安全、何时需要变异级MR最小化,并证明Min-MR-Complete问题等价于集合覆盖问题。
2026-06-06 cs.DS cs.SE
Design and implementation for automated network troubleshooting using data mining
鉴于依赖移动网络的用户数量和这些网络的重要性,对移动网络进行高效和有效的监测至关重要。本文的目的是提出一个监测方案的移动网络的基础上使用规则和决策树数据采掘分类器,以提高故障检测和处理。我们的目标是优化规则,提高异常检测。此外,监测计划,依赖于贝叶斯分类器也实施了故障隔离和定位的目的。本文中描述的数据采掘技术旨在允许系统被训练以实际学习网络故障规则。测试结果表明,这些规则对于改进网络故障排除非常有效。
2015-05-30 cs.NI cs.SE
Fault Localization with Code Coverage Representation Learning
在本文中,我们提出了DeepRL 4FL,这是一种深度学习故障定位(FL)方法,通过将FL视为图像模式识别问题,在语句和方法级别定位错误代码。DeepRL 4FL通过新的代码覆盖表示学习(RL)和程序语句的数据依赖RL来实现这一点。这两种基于代码覆盖矩阵中的动态信息的强化学习也与基于通常可疑源代码的静态信息的代码表示学习相结合。这种组合受到犯罪现场调查的启发,在犯罪现场调查中,调查人员分析犯罪现场(失败的测试案例和语句)和相关人员(具有依赖关系的语句),同时检查过去犯下类似罪行的常见嫌疑人(训练数据中类似的错误代码)。对于代码覆盖率信息,DeepRL 4FL首先对测试用例进行排序,并标记错误代码语句,期望模型能够识别出区分错误和非错误语句/方法的模式。对于语句之间的依赖关系,除了语句本身之外,还考虑到对执行中的其他语句和数据流的数据依赖关系,可以看出语句的可疑性。最后,代码覆盖矩阵,语句之间的数据依赖关系,和源代码的矢量表示相结合,并作为一个分类器的输入,从卷积神经网络检测错误的语句/方法。我们的实证评估表明,DeepRL 4FL将最先进的语句级FL基线的前1结果从173.1%提高到491.7%。它还将现有方法级FL基线的前1结果从15.0%提高到206.3%。
2021-02-27 cs.SE
MultiTest: Physical-Aware Object Insertion for Testing Multi-sensor Fusion Perception Systems
本文提出MultiTest,一种物理感知的适应度引导蜕变测试方法,通过在多传感器融合感知系统的图像和点云中插入逼真多模态对象来生成测试用例,实验证明其能有效检测大量故障并提升系统鲁棒性。
2024-01-25 cs.SE
RiskBlend: A Multi-Signal Framework for Test Input Prioritization in Machine Learning Regression Testing
East Carolina University(东卡罗来纳大学)
RiskBlend是一种多信号优先级排序框架,融合四类跨版本风险信号,在1200种实验配置下于所有80种组合中均获最高平均APFD,可高效检测机器学习回归故障。
2026-08-31 cs.AI cs.LG cs.SE
Manifold-based Test Generation for Image Classifiers
University of Minnesota(明尼苏达大学);Carnegie Mellon University(卡内基梅隆大学);Collins Aerospace(柯林斯航空航天公司)
在关键应用中用于图像分类任务的神经网络必须用足够的真实数据进行测试,以确保其正确性。为了有效地测试图像分类神经网络,必须获得足够真实的测试数据,以激发对隐式需求和学习模型之间的差异将被暴露的信心。这就提出了两个挑战:第一,必须仔细选择数据点的适当子集,以激发信心;第二,必须将隐含要求有意义地外推到显式训练集中的数据点以外的数据点。本文提出了一个新的框架来应对这些挑战。我们的方法是基于这样的前提下,在一个大的输入数据空间的模式可以有效地捕获在一个较小的流形空间,从类似的,但新颖的测试用例-输入和标签-可以采样和生成。条件变分自编码器(CVAE)的一个变体用于捕获具有生成函数的该流形,并且在该流形空间上应用搜索技术以有效地找到故障揭示输入。实验表明,这种方法可以生成数以千计的现实,但故障揭示有效的测试用例,即使是良好的训练模型。
2020-02-15 cs.LG cs.SE stat.ML
Latent Regularization in Generative Test Input Generation
North Carolina State University(北卡罗来纳州立大学);Technical University of Munich(慕尼黑技术大学);fortiss GmbH(fortiss公司)
本研究提出通过潜在空间正则化提升生成测试输入质量的方法,通过比较两种截断策略,发现潜在代码混合能提高故障检测、多样性和有效性。
2026-02-17 cs.LG cs.SE