Comparing Offline and Online Testing of Deep Neural Networks: An Autonomous Car Case Study
University of Luxembourg(卢森堡大学);University of Ottawa(渥太华大学)
关于开发深度神经网络(DNN)测试技术的研究越来越多。我们区分了DNN的两种一般测试模式:离线测试,其中DNN作为单独的单元进行测试,基于独立于测试中的DNN获得的测试数据集,以及在线测试,其中DNN嵌入到特定的应用程序中,并在与应用程序环境交互的闭环模式下进行测试。此外,我们确定了生成DNN测试数据集的两个来源:从现实生活中获得的数据集和模拟器生成的数据集。虽然离线测试可以使用从任何一个来源获得的数据集,但在线测试在很大程度上限于使用模拟器,因为在现实生活中的应用程序中进行在线测试可能耗时,昂贵和危险。在本文中,我们研究了以下两个重要问题,旨在比较DNN的测试数据集和测试模式:第一,为了DNN测试的目的,我们能否使用模拟器生成的数据作为真实数据的可靠替代品?二是线上线下检测结果如何区别和互补?虽然这些问题通常与所有自主系统相关,但我们在自动驾驶系统的背景下研究它们,作为研究对象,我们使用DNN自动化汽车转向执行器的端到端控制。我们的研究结果表明,模拟器生成的数据集能够产生DNN预测误差,这些误差与使用真实数据集测试DNN所获得的误差相似。此外,离线测试比在线测试更乐观,因为在线测试识别的许多安全违规无法通过离线测试识别,而离线测试产生的大预测误差总是导致在线测试可检测到的严重安全违规。
2019-11-28 cs.LG cs.SE
DeepOrder: Deep Learning for Test Case Prioritization in Continuous Integration Testing
Simula Research Laboratory(西穆拉研究院);Cisco Systems(思科系统公司)
持续集成测试是现代软件工程生存周期中的重要步骤。测试优先级排序是通过在每个周期的早期阶段选择能够检测出故障的测试用例来提高持续集成测试效率的一种方法。由于持续集成测试产生大量的测试执行数据,测试历史是测试优先级排序中常用的工件。然而,现有的持续集成的测试优先级技术要么不能处理大量的测试历史,要么是使用有限数量的历史测试周期进行优化。我们发现,这样的限制,可以降低故障检测的有效性优先测试套件。这项工作介绍了DeepOrder,这是一种基于深度学习的模型,它基于回归机器学习。DeepOrder根据任何数量的先前测试周期的测试执行历史记录对测试用例进行排名。DeepOrder根据多个因素学习失败的测试用例,包括测试用例的持续时间和执行状态。我们的实验表明,深度神经网络,作为一个简单的回归模型,可以有效地用于测试用例优先级在持续集成测试。DeepOrder在时间有效性和故障检测有效性方面与行业实践和最先进的方法进行了比较。结果表明,DeepOrder在这两个指标方面优于行业实践和最先进的测试优先级排序方法。
2021-10-14 cs.LG cs.SE
DeepEvolution: A Search-Based Testing Approach for Deep Neural Networks
Polytechnique Montréal(蒙特利尔高等理工学院)
深度学习(DL)模型越来越多地应用于安全关键系统(如自动驾驶汽车)中,导致了基于多模型的DL测试技术的发展。这些测试技术的一个共同点是测试用例的自动生成,例如,从原始训练数据转换的新输入,目的是优化某些测试充分性准则。到目前为止,这些方法的有效性受到了阻碍,因为它们依赖于随机模糊或转换,这些转换并不总是产生具有良好多样性的测试用例。为了克服这些限制,我们提出了DeepEvolution,一种新的基于搜索的方法来测试DL模型,该模型依赖于元分析来确保生成的测试用例的最大多样性。我们评估了DeepEvolution在测试计算机视觉DL模型方面的有效性,发现它显著增加了生成的测试用例的神经元覆盖率。此外,使用DeepEvolution,我们可以成功地找到几种极端情况下的行为。最后,DeepEvolution在检测模型量化过程中引入的潜在缺陷方面优于Tensorfuzz(由Google Brain开发的覆盖引导模糊工具)。这些结果表明,基于搜索的方法可以帮助建立有效的测试工具,DL系统。
2019-09-05 cs.CV cs.LG stat.ML
Concolic Testing on Individual Fairness of Neural Network Models
National ChengChi University(国立中正大学)
本文提出PyFair框架,通过锥形测试工具PyCT生成公平性特定路径约束,系统探索DNN行为,采用双网络架构实现全面公平性评估并保证部分网络类型的完整性。
2026-05-01 cs.LG cs.SE
Testing Deep Learning Models: A First Comparative Study of Multiple Testing Techniques
Simula Research Laboratory(西穆拉研究实验室)
深度学习(DL)彻底改变了基于视觉的系统(VBS)在自动驾驶、机器人手术、关键基础设施监控、空中和海上交通控制等关键应用中的能力。通过分析图像、语音、视频或任何类型的复杂信号,DL大大提高了这些系统的态势感知能力。与此同时,在越来越多地依赖于训练的DL模型的同时,VBS的可靠性和鲁棒性也受到了挑战,彻底测试这些模型以评估其能力和潜在错误变得至关重要。为了发现DL模型中的错误,现有的软件测试方法已经被相应地调整和改进。在这篇文章中,我们提供了这些软件测试方法,即差分,变形,突变和组合测试,以及对抗性扰动测试的概述,并审查了一些挑战,在他们的部署,以提高感知系统中使用的VBS。我们还提供了第一个实验比较研究的经典基准VBS中使用,并讨论其结果。
2022-02-24 cs.LG cs.SE
Testing the Channels of Convolutional Neural Networks
Hanyang University(汉阳大学)
神经网络具有复杂的结构,因此很难理解其内部工作并确保正确性。为了理解和调试卷积神经网络(CNN),我们提出了测试CNN通道的技术。我们设计了Ft GAN,它是GAN的扩展,可以生成具有不同强度的测试数据(即,神经元的总和)。我们还提出了一个通道选择算法,以找到有代表性的通道进行测试。为了有效地检查目标CNN的推理计算,我们定义了意外分数,它估计测试数据的推理计算与训练数据的推理计算的相似程度。我们使用五个公共数据集评估了FtGAN,并表明我们的技术成功地识别了五个不同CNN模型中的缺陷通道。
2023-03-06 cs.AI cs.LG cs.SE
Testing Neural Program Analyzers
University of Houston(休斯顿大学);Visa Research(Visa研究院)
深度神经网络越来越多地用于软件工程和程序分析任务。他们通常采取一个程序,并作出一些预测,例如,bug预测我们称这些模型为神经程序分析器。神经程序的可靠性可能会影响包含分析的可靠性。在本文中,我们描述了我们正在努力开发有效的测试神经程序的技术。我们讨论了开发这些工具所面临的挑战和我们未来的计划。在我们对文献中最近提出的神经模型进行的初步实验中,我们发现该模型非常脆弱,输入中的简单扰动可能导致模型在预测中出错。
2019-09-25 cs.LG cs.PL cs.SE
A Generative Neural Network Framework for Automated Software Testing
基于搜索的软件测试(SBST)是一种流行的自动化测试技术,它使用反馈机制来搜索软件中的错误。尽管它很受欢迎,但它在设计、构建和解释反馈方面存在根本性的挑战。近年来,神经网络(NN)在广泛的任务中非常受欢迎。我们认为,它们可以解决共同的SBST方法所固有的许多问题。不幸的是,神经网络需要大量具有代表性的训练数据集。在这项工作中,我们提出了一个SBST框架的基础上,去卷积生成神经网络。它不仅保留了使NN适合SBST任务的有益品质,而且还产生了自己的训练数据,从而避免了获取限制NN使用的训练数据集的问题。我们通过一系列的实验证明,这种架构是可能的和实用的。它生成多样化的,合理的程序输入,同时探索程序行为的空间。它还创建了一个有意义的程序行为排序,并能够找到崩溃的执行。这一切都是在没有任何程序知识的情况下完成的。我们相信这个概念证明为SBST和神经网络的交叉点的未来工作开辟了新的方向。
2020-06-29 cs.LG cs.SE
Distribution-Aware Testing of Neural Networks Using Generative Models
University of Virginia(弗吉尼亚大学)
鉴于越来越多的关键应用部署了深度神经网络(DNN),因此,具有深度神经网络(DNN)作为组件的软件的可靠性在今天变得非常重要。对可靠性的需求提出了对这些系统的安全性和可靠性进行严格测试的需要。在过去的几年里,有许多研究工作集中在测试DNN上。然而,目前提出的测试生成技术缺乏检查,以确定他们正在生成的测试输入是否有效,从而产生无效的输入。为了说明这种情况,我们探讨了三种最近的DNN测试技术。使用基于深度生成模型的输入验证,我们证明了所有这三种技术都会生成大量的无效测试输入。我们进一步分析了DNN测试技术生成的测试输入所实现的测试覆盖率,并展示了无效的测试输入如何错误地夸大测试覆盖率指标。为了克服测试中包含无效输入的问题,我们提出了一种技术,将测试中的DNN模型的有效输入空间纳入测试生成过程。我们的技术使用基于模型的深度生成算法来仅生成有效输入。我们的实证研究结果表明,我们的技术是有效的,在消除无效的测试和提高有效的测试输入生成的数量。
2021-02-26 cs.LG cs.SE
Hardware/Software Codesign for Training/Testing Multiple Neural Networks on Multiple FPGAs
大多数用于FPGA的神经网络设计是不灵活的。在本文中,我们提出了一个灵活的VHDL结构,将允许任何神经网络在多个FPGA上实现。此外,VHDL结构允许测试以及训练多个神经网络。VHDL设计由多个处理器组组成。有两种类型的处理器组:迷你向量机处理器组和激活处理器组。每个处理器组由单独的迷你向量机和激活处理器组成。迷你向量机将向量运算应用于数据,而激活处理器将激活函数应用于数据。实现了一个环形缓冲区来连接各个处理器组。
2020-03-23 cs.AR cs.LG cs.SE
Differential testing for machine learning: an analysis for classification algorithms beyond deep learning
TU Clausthal(克劳斯塔尔工业大学);University of Goettingen(哥廷根大学)
内容:差分测试是一种有用的方法,它使用相同算法的不同实现并比较软件测试的结果。近年来,这种方法被成功地用于深度学习框架的测试活动。目的:除了深度学习之外,对差分测试的应用知之甚少。在本文中,我们希望缩小分类算法的这一差距。方法:我们使用Scikit-learn、Weka、Spark MLlib和Caret进行了一个案例研究,其中我们通过考虑哪些算法在多个框架中可用来确定差分测试的潜力,通过识别应该表现出相同行为的算法对来确定可行性,以及通过对识别出的算法对执行测试并分析偏差来确定有效性。结果如下:虽然我们发现了流行算法的巨大潜力,但可行性似乎有限,因为通常不可能确定其他框架中相同的配置。可行性测试的执行表明,分数和类别存在大量偏差。只有基于类的统计显著性的宽松方法才不会导致大量的测试失败。结论:深度学习之外的差异测试的潜力似乎有限,无法研究机器学习库的质量。如果从业者对实现有深入的了解,他们仍然可以使用这种方法,特别是如果一个只考虑类的显着差异的粗略预言就足够了。
2022-07-25 cs.LG cs.SE
TESTSGD: Interpretable Testing of Neural Networks Against Subtle Group Discrimination
Singapore Management University(新加坡管理大学);Zhejiang University(浙江大学)
许多机器学习应用中都存在歧视现象,这就要求在将其部署到人脸识别、医疗诊断和刑事判决等道德相关领域之前进行充分的公平性测试。现有的公平测试方法大多是为了识别个人歧视而设计的,即,歧视个人。然而,作为另一种广泛关注的歧视类型,针对群体歧视的测试,大多是隐藏的,研究得少得多。为了解决这一差距,在这项工作中,我们提出了TESTSGD,一个可解释的测试方法,系统地识别和测量隐藏的(我们称之为“微妙的”组歧视}的神经网络的特征是条件的敏感功能的组合。具体来说,给定一个神经网络,TESTSGD首先自动生成一个可解释的规则集,将输入空间分为两组,暴露模型的组歧视。此外,TESTSGD还根据对输入空间的采样提供了一个估计的群体公平性分数,以衡量所识别的微妙群体歧视的程度,该分数保证在误差范围内是准确的。我们评估TESTSGDon多个神经网络模型训练流行的数据集,包括结构化数据和文本数据。实验结果表明,TESTSGD是有效的,有效地识别和测量这种微妙的群体歧视,从来没有被揭示出来。此外,我们表明,测试结果的TESTSGD可以指导生成新的样本,以减轻这种歧视,通过重新训练,可以忽略不计的准确性下降。
2022-08-24 cs.CY cs.LG cs.SE
An Overview of Structural Coverage Metrics for Testing Neural Networks
University of Texas, Austin(德克萨斯大学奥斯汀分校);University of Manchester(曼彻斯特大学);KBR(KBR公司);Princeton University(普林斯顿大学);Palo Alto High School(帕洛阿尔托高中)
深度神经网络(DNN)模型,包括那些用于安全关键领域的模型,需要进行彻底的测试,以确保它们在不同的场景中能够可靠地表现良好。在本文中,我们概述了用于测试DNN模型的结构覆盖度量,包括神经元覆盖(NC),k-多节神经元覆盖(kMNC),前k神经元覆盖(TKNC),神经元边界覆盖(NBC),强神经元激活覆盖(SNAC)和修改的条件/决策覆盖(MC/DC)。我们评估了用于感知任务的现实DNN模型(包括LeNet-1,LeNet-4,LeNet-5和ResNet 20)以及用于自治的网络(TaxiNet)的指标。我们还提供了一个工具DNNCov,它可以测量所有这些指标的测试覆盖率。DNNCov输出信息丰富的覆盖报告,使研究人员和从业人员能够评估DNN测试的充分性,比较不同的覆盖措施,并在测试期间更方便地检查模型的内部结构。
2022-08-05 cs.AI cs.LG cs.SE
DeepKnowledge: Generalisation-Driven Deep Learning Testing
University of York(约克大学);CEA List;Université Paris-Saclay(巴黎萨克雷大学)
提出基于知识泛化理论的DNN测试方法DeepKnowledge,通过Transfer Knowledge神经元和泛化感知测试充分性标准评估模型鲁棒性,在多个基准上检测对抗攻击的改进达10个百分点。
2024-03-25 cs.AI cs.LG cs.SE
Metamorphic Testing of a Deep Learning based Forecaster
Accenture Labs(埃森哲实验室);Accenture(埃森哲)
在本文中,我们介绍了一个基于深度学习的预测应用程序的变形测试。该应用程序查看过去的系统特征数据(例如“内存分配”),以预测未来的中断。我们重点关注两个基于统计/机器学习的组件-- a)检测系统特征之间的相关性,以及b)使用LSTM(一种深度学习架构)估计系统特征的未来值。总共有19种变形关系已经被开发出来,我们在适用的地方提供了证明和算法。我们通过两个设置来评估我们的方法。首先,我们在实际应用中执行了这些关系,发现了8个以前不知道的问题。其次,我们通过突变测试在基于LSTM的预测器的参考实现上生成了假设的错误,并发现65.9%的错误是通过关系捕获的。
2019-07-13 cs.LG cs.SE
Testing for context-dependent changes in neural encoding in naturalistic experiments
Georgia Tech University(佐治亚理工学院);National Institute of Mental Health(美国国家精神卫生研究所)
我们提出了一种基于解码的方法来检测纵向神经记录数据中的神经代码的上下文效应。这种方法不知道信息是如何在神经活动中编码的,并且可以控制数据中存在的各种可能的混淆因素。我们证明了我们的方法,确定是否有可能解码位置编码从小鼠的前额叶皮层,并进一步测试是否编码的变化,由于任务的参与。
2022-11-17 cs.LG stat.ML
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University(中山大学);University of Oxford(牛津大学)
提出了一种权值相似性度量方法,可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性,我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值,该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法,研究了多层感知器(MLP)、卷积神经网络(CNN)和递归神经网络(RNN)的权值相似性度量,发现用随机梯度下降(SGD)算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
DeepPerform: An Efficient Approach for Performance Testing of Resource-Constrained Neural Networks
UT Dallas(德克萨斯大学达拉斯分校);UC Riverside(加州大学河滨分校)
如今,越来越多的自适应深度神经网络(AdNN)被用于资源受限的嵌入式设备。我们观察到,类似于传统的软件,冗余计算存在于AdNN,导致相当大的性能下降。性能下降取决于输入,被称为输入相关性能瓶颈(IDPB)。为了确保AdNN满足资源受限应用的性能要求,必须进行性能测试以检测AdNN中的IDPB。现有的神经网络测试方法主要关注正确性测试,而不涉及性能测试。为了填补这一空白,我们提出了DeepPerform,这是一种可扩展的方法来生成测试样本,以检测AdNN中的IDPB。我们首先演示了如何生成性能测试样本检测IDPB的问题可以制定为一个优化问题。接下来,我们将展示DeepPerform如何通过学习和估计AdNN的计算消耗分布来有效地处理优化问题。我们在三个广泛使用的数据集上对五个流行的AdNN模型进行了DeepPerform评估。结果表明,DeepPerform生成的测试样本会导致更严重的性能下降(FLOPs:增加到552%)。此外,DeepPerform在生成测试输入方面比基线方法更有效(运行时开销:仅6-10毫秒)。
2022-10-20 cs.CL cs.LG cs.SE
Stock Price Forecasting and Hypothesis Testing Using Neural Networks
Rice University(莱斯大学);Department of Economics(经济学系)
在这项工作中,我们使用递归神经网络和多层感知器从历史数据中预测纽约证券交易所,纳斯达克和美国证券交易所的股票价格。我们使用不同的架构进行实验,并比较数据规范化技术。然后,我们利用这些发现,通过正式的统计检验来质疑有效市场假说。
2019-08-28 cs.LG econ.EM q-fin.ST
testRNN: Coverage-guided Testing on Recurrent Neural Networks
University of Liverpool(利物浦大学);Queen’s University Belfast(贝尔法斯特女王大学);Defence Science and Technology Laboratory (Dstl)(国防科学技术实验室(Dstl))
循环神经网络(RNN)已被广泛应用于诸如文本处理、视频识别和分子性质预测的各种顺序任务。我们介绍了第一个覆盖率引导的测试工具,创造了testRNN,用于验证和验证一个主要类别的RNN,长短期记忆网络(LSTM)。该工具实现了一种通用的基于变异的测试用例生成方法,并使用三种新的LSTM结构测试覆盖度量来经验性地评估网络的鲁棒性。此外,它还能够帮助模型设计者完成LSTM层的内部数据流处理。该工具可通过https://github.com/TrustAI/testRNN在BSD 3-Clause许可证下获得。
2019-06-20 cs.LG cs.NE cs.SE
deep-significance - Easy and Meaningful Statistical Significance Testing in the Age of Neural Networks
IT University of Copenhagen(哥本哈根信息技术大学);Technical University of Denmark(丹麦技术大学)
许多机器学习(ML)和深度学习(DL)研究都是经验性的。然而,统计显著性检验(SST)尚未得到广泛应用。这会危及真正的进步,因为表面上超过基线的改进可能是统计上的侥幸,导致后续研究误入歧途,同时浪费人力和计算资源。在这里,我们提供了一个易于使用的软件包,包含不同的显著性测试和实用功能,专门针对研究需求和可用性。
2022-04-14 cs.LG
Towards Testing of Deep Learning Systems with Training Set Reduction
Simula Research Laboratory(Simula研究实验室)
测试深度学习系统及其训练例程的实现对于维护可靠的代码库至关重要。现代软件开发采用诸如持续集成之类的过程,在该过程中,对软件的更改被频繁地集成和测试。然而,测试训练例程需要运行它们,并且当使用完整的数据集时,完全训练深度学习模型可能是资源密集型的。仅使用训练数据的子集可以缩短测试运行时间,但也会降低其有效性。我们评估了不同的训练集缩减方法及其利用原始完整数据集模仿模型训练特征的能力。我们的研究结果强调了训练集减少的有用性,特别是在资源受限的环境中。
2019-01-14 cs.LG cs.NE cs.SE
Importance-Driven Deep Learning System Testing
University of York(约克大学);MPI-SWS(马克斯·普朗克软件系统研究所);Bogazici University(博阿齐奇大学)
深度学习(DL)系统能够解决图像识别和机器翻译等复杂任务,因此是工程智能应用的关键推动因素。然而,在安全和安全关键应用中使用DL系统需要为其可靠运行提供测试证据。最近在这个方向的研究集中在适应测试标准,从传统的软件工程作为一种手段,增加信心,他们的正确行为。然而,它们不足以捕捉这些系统所表现出的内在特性。我们通过引入DeepImportance来弥合这一差距,DeepImportance是一种系统化的测试方法,伴随着DL系统的重要性驱动(IDC)测试充分性标准。应用IDC能够建立对DL系统组件重要性的逐层功能理解,并使用此信息来评估测试集的语义多样性。我们对多个DL系统,多个DL数据集和最先进的对抗生成技术进行的实证评估表明了DeepImportance的有用性和有效性,以及它支持更强大的DL系统工程的能力。
2020-02-09 cs.AI cs.LG cs.SE
DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars
University of Virginia(弗吉尼亚大学);Columbia University(哥伦比亚大学)
深度神经网络(DNN)的最新进展已经导致了DNN驱动的自动驾驶汽车的发展,这些汽车使用相机、激光雷达等传感器,可以在没有任何人为干预的情况下驾驶。包括特斯拉、通用、福特、宝马和Waymo/谷歌在内的大多数主要制造商都在致力于制造和测试不同类型的自动驾驶汽车。包括加利福尼亚州,德克萨斯州和纽约州在内的几个州的立法者已经通过了新的立法,以快速跟踪自动驾驶汽车在道路上的测试和部署过程。然而,尽管DNN取得了惊人的进步,但与传统软件一样,DNN经常表现出不正确或意外的极端情况行为,这些行为可能导致潜在的致命冲突。已经发生了几起涉及自动驾驶汽车的真实事故,其中一起导致了死亡。用于DNN驱动车辆的大多数现有测试技术严重依赖于在不同驾驶条件下手动收集测试数据,随着测试条件的数量增加,这些测试数据变得非常昂贵。在本文中,我们设计,实现和评估DeepTest,这是一种系统测试工具,用于自动检测可能导致致命车祸的DNN驱动车辆的错误行为。首先,我们的工具旨在自动生成测试用例,利用真实世界中驾驶条件的变化,如雨,雾,照明条件等,DeepTest通过生成最大化激活神经元数量的测试输入,系统地探索DNN逻辑的不同部分。DeepTest在不同的实际驾驶条件下发现了数千种错误行为(例如,模糊、雨、雾等)其中许多导致了Udacity自动驾驶汽车挑战赛中三个表现最好的DNN的潜在致命事故。
2018-03-20 cs.AI cs.LG cs.SE
Simulation-Aided Deep Learning for Laser Ultrasonic Visualization Testing
Gunma University(群马大学)
针对激光超声可视化检测图像数据稀缺问题,本文提出仿真生成加风格迁移的数据增强方法,实验证明其比直接使用原始仿真图像更能提升缺陷预测性能。
2023-05-30 cs.CV cs.LG eess.IV
BEDS: Bagging ensemble deep segmentation for nucleus segmentation with testing stage stain augmentation
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
减少结果方差是基于深度学习的医学图像分析中的一项重要任务。Bootstrap聚合,也称为bagging,是一种典型的集成算法,用于聚合弱学习器成为强学习器。随机森林是深度学习时代之前最强大的机器学习算法之一,其优越的性能是由拟合袋装决策树(弱学习器)驱动的。受随机森林技术的启发,本文提出了一种简单的装袋集成深度分割(BEDs)方法,利用部分训练数据训练多个U-网来分割病理图像上的密集细胞核。本研究的贡献是三方面的:(1)开发一个自集成学习框架的细胞核分割;(2)聚合测试阶段增强与自集成学习;(3)阐明的想法,自我集成和测试阶段染色增强是一个优越的分割性能的互补策略。实施细节:https://github.com/xingli1102/BEDs。
2021-02-17 cs.AI cs.CV cs.LG
Hawkeye: Change-targeted Testing for Android Apps based on Deep Reinforcement Learning
ByteDance(字节跳动);University of Edinburgh(爱丁堡大学)
针对Android应用更新测试效率低的问题,提出基于深度强化学习的Hawkeye定向测试方法,优先执行与代码变更相关的GUI操作,实验证明其优于现有工具并适用于商业应用冒烟测试。
2023-09-04 cs.LG cs.SE
GPU Temperature Simulation-Based Testing for In-Vehicle Deep Learning Frameworks
State Key Laboratory for Novel Software Technology Nanjing University China(新型软件技术国家重点实验室 南京大学 中国);University of Massachusetts Amherst United States(马萨诸塞大学阿姆赫斯特分校 美国)
针对车载深度学习框架在温度变化环境下因GPU频率调整导致的质量问题,提出首个测试方法ThermalGuardian,通过模型变异、温度仿真和频率控制来检测缺陷。
2025-09-26 cs.LG cs.SE
Deep-testing: the case of dependence detection
School of Mathematics and statistics(数学与统计学学院)
本文提出深度测试方法,利用深度学习进行假设检验,通过深度神经网络学习模拟数据构建高效检验统计量,在大规模模拟中表现出色。
2026-04-29 cs.LG stat.ME stat.ML
Meta Input: How to Leverage Off-the-Shelf Deep Neural Networks
KAIST(韩国科学技术院)
近年来,虽然深度神经网络(DNN)在广泛的研究领域取得了令人瞩目的进展,但由于存在环境差异问题,其在实际应用中缺乏适应性。这样的问题源于训练和测试环境之间的差异,并且众所周知,当预训练的DNN模型应用于新的测试环境时,它会导致严重的性能下降。因此,在本文中,我们介绍了一种新的方法,允许最终用户在自己的测试环境中利用预训练的DNN模型,而无需修改模型。为此,我们提出了一个\textit{meta input},这是一个额外的输入转换测试数据的分布与训练数据对齐。该方法只需考虑测试输入数据与其输出预测之间的关系,就可以用少量的测试数据对Meta输入进行优化。此外,它不需要任何知识的网络的内部架构和修改其权重参数。然后,将获得的Meta输入添加到测试数据中,以将测试数据的分布转移到原始使用的训练数据的分布。因此,最终用户可以在自己的测试环境中利用经过良好训练的模型,这些测试环境可能与训练环境不同。我们通过各种任务的综合实验,验证了所提出的Meta输入的有效性和通用性,显示出对环境差异的鲁棒性。
2022-10-21 cs.AI cs.CV cs.LG
Generating Realistic, Diverse, and Fault-Revealing Inputs with Latent Space Interpolation for Testing Deep Neural Networks
The University of Queensland(昆士兰大学);University of Virginia(弗吉尼亚大学)
针对现有DNN测试方法生成的对抗样本真实性不足、故障暴露概率低的问题,提出黑盒测试方法ARGUS,通过潜在空间插值等技术生成优质对抗样本,性能优于基线方法且可用于提升模型分类准确率。
2025-03-22 cs.LG cs.SE
Recurrent Neural Networks for Fuzz Testing Web Browsers
University of Glasgow(格拉斯哥大学)
基于生成的模糊测试是一种软件测试方法,能够发现软件中不同类型的错误和漏洞。然而,它是已知的是非常耗时的设计和微调经典的模糊,以实现可接受的覆盖范围,即使是小规模的软件系统。为了解决这个问题,我们研究了一种基于机器学习的模糊测试方法,在该方法中,我们概述了一系列基于循环神经网络(RNN)的测试用例生成器,并训练那些现成的数据集上的测试用例生成器,其中最少的人为微调。与以前的工作相比,所提出的生成器不依赖于启发式采样策略,而是从预测分布中进行有原则的采样。我们提供了一个详细的分析,以证明在一个具有挑战性的Web浏览器测试场景的特点和有效性的建议发电机。实验结果表明,基于RNN的生成器能够提供更好的覆盖率比基于变异的方法,并能够发现路径没有发现一个经典的模糊。我们的研究结果补充了其他领域的研究结果,表明基于RNN的模糊生成是一种可行的途径,可以在使用合适的模型选择/分析程序的条件下提高软件质量。
2018-12-12 cs.CR cs.LG cs.SE
Testing match-3 video games with Deep Reinforcement Learning
测试视频游戏是制作过程中的关键步骤,需要花费大量的时间和资源。一些软件公司正试图使用人工智能来减少对人力资源的需求,使用能够取代人类代理的系统。我们研究了使用深度强化学习在match-3视频游戏中自动化测试过程的可能性,并建议在Dueling Deep Q-Network范式的框架中解决这个问题。我们在Jelly Juice游戏上测试了这种网络,这是一款由RedBit Games开发的匹配3视频游戏。网络从游戏环境中提取基本信息,并推断下一步行动。我们将结果与随机玩家的表现进行比较,发现网络显示出最高的成功率。在大多数情况下,结果与真实用户获得的结果相似,随着时间的推移,网络也成功地学习了区分游戏级别的不同特征,并使其策略适应日益增加的难度。
2020-11-24 cs.LG cs.SE stat.ML
Input Prioritization for Testing Neural Networks
University of Minnesota(明尼苏达大学);Collins Aerospace, Inc.(柯林斯航空航天公司)
深度神经网络(DNN)越来越多地被用于各种安全和关键任务系统的传感和控制功能,如自动驾驶汽车、自动驾驶飞机、医疗诊断和工业机器人。这些系统的故障可能导致生命或财产损失,这需要严格的验证和确认以提供高保证。虽然形式化验证方法正在研究中,但测试仍然是评估此类系统可靠性的主要技术。由于DNN处理的任务的性质,获得测试Oracle数据的成本--预期输出,也就是标签,对于一个给定的输入-是高的,这显著地影响了可以执行的测试的数量和质量。因此,以有意义的方式对用于测试DNN的输入数据进行优先级排序以降低标记成本可以大大提高测试效率。本文建议使用从模型执行的计算中得出的DNN情绪的衡量标准,作为识别可能揭示弱点的输入的一种手段。我们实证评估了三个这样的情绪措施的优先级-信心,不确定性和惊喜-的有效性,并比较他们的故障揭示能力和再培训的有效性。结果表明,情感度量可以有效地标记暴露不可接受的DNN行为的输入。对于MNIST模型,正确标记的输入的平均百分比范围为88%至94.8%。
2019-01-11 cs.LG cs.SE stat.ML
Mutation Testing of Deep Reinforcement Learning Based on Real Faults
Polytechnique Montréal(蒙特利尔工程学院)
测试深度学习(DL)系统是一项复杂的任务,因为它们的行为与传统系统不同,特别是因为它们的随机性。尽管如此,能够使现有的测试技术(如突变测试(MT))适应DL设置将大大提高其潜在的可验证性。虽然已经做出了一些努力来将MT扩展到监督学习范式,但很少有工作将其扩展到强化学习(RL),RL也是DL生态系统的重要组成部分,但其行为与SL非常不同。本文建立在现有的MT方法,以提出一个框架,RLMutation,MT应用于RL。值得注意的是,我们使用现有的故障分类法来构建一组与RL相关的变异算子,并使用一个简单的启发式算法来生成RL的测试用例。这使我们能够比较基于现有方法的不同突变杀死定义,以及分析所获得的突变算子及其称为高阶突变(HOM)的潜在组合的行为。我们发现,突变杀死定义的设计选择可以影响是否突变被杀死以及生成的测试用例。此外,我们发现,即使有一个相对较少的测试用例和运营商,我们管理生成HOM有趣的属性,可以提高RL系统的测试能力。
2023-01-13 cs.LG cs.SE
Excitement Surfeited Turns to Errors: Deep Learning Testing Framework Based on Excitable Neurons
Zhejiang University of Technology(浙江工业大学);Huawei International(华为国际);National University of Defense Technology(国防科技大学);Beihang University(北京航空航天大学)
尽管深度神经网络(DNN)具有令人印象深刻的能力和出色的性能,但由于其频繁发生的错误行为,其安全问题引起了越来越多的公众关注。因此,在将DNN部署到实际应用之前,有必要对DNN进行系统的测试。现有的测试方法已经提供了基于神经元覆盖的细粒度度量,并提出了各种方法来改进这些度量。然而,已经逐渐认识到,较高的神经元覆盖率确实必然表示\textit{not}在识别导致错误的缺陷方面的更好的能力。此外,覆盖率引导的方法不能捕捉错误,由于错误的训练过程。因此,通过这些测试示例进行再训练来提高DNN的鲁棒性并不令人满意。为了应对这一挑战,我们引入了基于Shapley值的可兴奋神经元的概念,并为DNN设计了一个新的白盒测试框架,即DeepSensor。这是由我们的观察所激发的,即由于小扰动而对模型损失变化具有较大责任的神经元更可能与由于潜在缺陷而导致的不正确的角点情况相关。通过最大化模型各种错误行为的可兴奋神经元数量,DeepSensor可以生成测试示例,有效地触发更多由于对抗性输入、污染数据和不完整训练而导致的错误。在图像分类模型和说话人识别模型上进行的大量实验证明了DeepSensor的优越性。
2022-11-20 cs.AI cs.CR cs.CV
Fairness Testing of Deep Image Classification with Adequacy Metrics
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学)
作为深度图像分类应用,例如,人脸识别在我们的日常生活中越来越普遍,其公平性问题也越来越受到关注。因此,在部署之前全面测试这些应用程序的公平性至关重要。现有的公平性测试方法存在以下局限性:1)适用性,即,它们仅适用于结构化数据或文本,而不处理用于图像分类应用的语义级中的高维和抽象域采样; 2)功能性,即,它们产生不公平的样本,而没有提供测试标准来表征模型的公平充分性。为了填补这一空白,我们提出了DeepFAIT,这是一个专门为深度图像分类应用设计的系统公平性测试框架。DeepFAIT由几个重要组件组成,可以对深度图像分类应用进行有效的公平性测试:1)用于识别公平性相关神经元的神经元选择策略; 2)用于评估模型公平性的一组多粒度充分性度量; 3)用于有效解决公平性问题的测试选择算法。我们已经对广泛采用的大规模人脸识别应用进行了实验,即,VGGFace和FairFace。实验结果表明,该方法可以有效地识别公平性相关的神经元,表征模型的公平性,并选择最有价值的测试用例,以减轻模型的公平性问题。
2021-12-01 cs.LG
DeepXplore: Automated Whitebox Testing of Deep Learning Systems
Columbia University(哥伦比亚大学);Lehigh University(理海大学)
深度学习(DL)系统越来越多地部署在安全和安全关键领域,包括自动驾驶汽车和恶意软件检测,在这些领域,系统行为的正确性和可预测性对于极端情况输入非常重要。现有的DL测试严重依赖于手动标记的数据,因此通常无法暴露罕见输入的错误行为。我们设计,实现和评估DeepXplore,这是第一个用于系统测试真实世界DL系统的白盒框架。首先,我们引入神经元覆盖系统测量的部分DL系统行使测试输入。接下来,我们利用多个具有类似功能的DL系统作为交叉引用Oracle,以避免手动检查。最后,我们展示了如何找到DL系统的输入,既触发许多差分行为,实现高神经元覆盖率可以表示为一个联合优化问题,并有效地解决基于梯度的搜索技术。DeepXplore有效地发现了数千种不正确的极端情况行为(例如,自动驾驶汽车撞上护栏和伪装成良性软件的恶意软件),在最先进的DL模型中,数千个神经元在五个流行的数据集上训练,包括ImageNet和Udacity自动驾驶挑战数据。对于所有测试的DL模型,平均而言,DeepXplore在一秒钟内生成了一个测试输入,证明了仅在商用笔记本电脑上运行时的错误行为。我们进一步表明,DeepXplore生成的测试输入也可以用于重新训练相应的DL模型,以将模型的准确度提高3%。
2017-09-24 cs.CR cs.LG cs.SE
Robust Nonparametric Hypothesis Testing to Understand Variability in Training Neural Networks
Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对深度神经网络训练因随机性产生的模型变异性,提出基于阈值前输出、依托鲁棒非参数假设检验框架的模型相近度衡量指标,可适配多种模型导出量。
2023-10-01 cs.LG stat.ML
Adversarial Sample Detection for Deep Neural Network through Model Mutation Testing
Singapore University of Technology and Design(新加坡科技设计大学);Zhejiang University(浙江大学)
深度神经网络(DNN)已被证明在广泛的应用中是有用的。然而,它们也容易受到对抗性样本的影响。通过用一些精心设计的人类难以察觉的扰动来转换正常样本,即使是高度准确的DNN也会做出错误的决定。已经提出了多种防御机制,旨在阻止这种对抗性样本的生成。然而,最近的一项研究表明,其中大多数是无效的。在这项工作中,我们提出了一种在运行时检测对抗样本的替代方法。我们的主要观察结果是,如果我们对DNN施加随机突变,对抗样本比正常样本更敏感。因此,我们首先提出了一个衡量的“敏感性”,并显示经验,正常样本和对抗样本具有可区分的敏感性。然后,我们整合统计假设检验和模型突变检验,通过测量其敏感性来检查输入样本在运行时是否可能是正常的或敌对的。我们在MNIST和CIFAR10数据集上评估了我们的方法。实验结果表明,该方法能够有效、准确地检测到由最先进的攻击方法生成的对抗样本。
2019-01-18 cs.LG cs.SE stat.ML
Contexts Matter: An Empirical Study on Contextual Influence in Fairness Testing for Deep Learning Systems
University of Birmingham(伯明翰大学)
本文通过涵盖10,800个案例的实证研究,考察超参数、数据偏差和标注偏差等情境对深度学习公平性测试的影响,并借助适应度景观分析揭示其显著改变测试结果的机制。
2024-08-12 cs.CY cs.LG cs.SE
Automated Testing for Deep Learning Systems with Differential Behavior Criteria
GEICO Headquarter(GEICO总部);Clemson University(克莱姆森大学)
在这项工作中,我们进行了一项研究,建立一个自动化测试系统的深度学习系统的基础上,差分行为准则。通过联合优化两个目标函数来实现自动化测试目标:最大化被测模型的差异行为和最大化神经元覆盖率。通过在每次测试迭代期间观察来自三个预训练模型的差异行为,触发错误反馈的输入图像被注册为角情况。生成的角点情况可以用于检查DNN的鲁棒性,从而提高模型的准确性。一个名为DeepXplore的项目也被用作基线模型。在我们完全实现和优化基线系统之后,我们探索了它作为新生成的角落案例的增强训练数据集的应用。使用GTRSB数据集,通过基于自动生成的角点案例重新训练模型,三种通用模型的准确率分别提高了259.2%,53.6%和58.3%。此外,为了扩展自动化测试的能力,我们探索了基于差分行为标准的其他方法,以生成用于深度学习系统的照片般逼真的图像。一种方法是对深度学习框架的种子图像应用各种变换。另一种方法是利用生成对抗网络(GAN)技术,该技术在MNIST和Driving数据集上实现。已经观察到风格转移能力在添加额外的视觉效果、替换图像元素和风格转换(虚拟图像到真实图像)方面非常有效。基于GAN的测试样本生成系统被证明是深度学习系统自动化测试的下一个前沿。
2019-12-31 cs.LG stat.ML
DeepCruiser: Automated Guided Testing for Stateful Deep Learning Systems
Nanyang Technological University(南洋理工大学);Harbin Institute of Technology(哈尔滨工业大学);Kyushu University(九州大学)
深度学习(DL)定义了一种数据驱动的编程范式,该范式可以从训练数据自动组成系统决策逻辑。在过去的十年中,随着数据爆炸和硬件加速,DL在许多前沿应用中取得了巨大的成功。然而,即使是最先进的DL系统仍然受到质量和可靠性问题的困扰。直到最近,在测试前馈DL系统方面才取得了一些初步进展。与前馈DL系统相比,递归神经网络(RNN)遵循非常不同的架构设计,用循环和内部状态实现时间行为和记忆。RNN的这种状态性质有助于其成功处理音频,自然语言和视频处理等顺序输入,但也为质量保证提出了新的挑战。在本文中,我们开始了测试基于RNN的有状态DL系统的第一步。我们将RNN建模为一个抽象的状态转换系统,并在此基础上定义了一组针对有状态DL系统的测试覆盖标准。此外,我们提出了一个自动化测试框架,DeepCruiser,它系统地生成大规模的测试,以发现有状态DL系统的缺陷与覆盖率的指导。我们在一个国家的最先进的语音到文本DL系统的深入评估表明,我们的技术在提高质量和可靠性的有状态DL系统的有效性。
2018-12-13 cs.AI cs.CR cs.LG
A Novel Approach for Testing Water Safety Using Deep Learning Inference of Microscopic Images of Unincubated Water Samples
Eastlake High School(东湖高中)
本文提出DeepScope方法,通过显微图像深度学习实现快速、低成本的水安全检测,准确率达93%。
2026-02-20 cs.CV cs.CY cs.LG
RBT4DNN: Requirements-based Testing of Neural Networks
Department of Computer Science, University of Virginia(计算机科学系,弗吉尼亚大学);Department of Computer Engineering, University of Virginia(计算机工程系,弗吉尼亚大学)
针对DNN功能需求难形式化、现有基于需求的测试方法无法适用的问题,提出RBT4DNN方法,利用自然语言需求构建语义特征空间,微调生成模型产出符合需求前置条件的测试用例,可用于故障检测与模型行为探索,效果良好。
2025-09-03 cs.AI cs.LG cs.SE
Full Bayesian Significance Testing for Neural Networks
Beihang University(北京航空航天大学);Tsinghua University(清华大学)
提出面向神经网络的全贝叶斯显著性检验框架 nFBST,利用贝叶斯神经网络计算证据值,支持全局、局部及逐实例显著性检验,并通过模拟与真实数据实验验证其优势。
2024-01-24 cs.AI cs.LG stat.ML
Testing Conditional Mean Independence Using Generative Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Maryland, College Park(马里兰大学帕克分校);Washington University in St Louis(圣路易斯华盛顿大学)
本文提出一种基于深度生成式神经网络和自举法的条件均值独立性(CMI)检验方法,通过精心构造检验统计量克服非参数估计误差影响,在高维及多元响应场景中表现出色且保持非平凡势。
2025-01-28 cs.LG stat.ML
Implicit Hypothesis Testing and Divergence Preservation in Neural Network Representations
German Aerospace Center, Institute for Space Research(德国航空航天中心,空间研究研究所);Technical University of Berlin(柏林技术大学)
研究神经分类器的训练动态,通过二元假设检验重新形式化分类为类条件分布间的二元测试,证明泛化能力强的网络在训练过程中逐渐接近Neyman-Pearson最优决策规则,并定义信息平面评估收敛性。
2026-05-15 cs.IT cs.LG math.IT
DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems
Harbin Institute of Technology(哈尔滨工业大学);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学);Kyushu University(九州大学);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Monash University(莫纳什大学)
深度学习(DL)定义了一种新的数据驱动编程范式,通过一组训练数据构建精心制作的神经元网络的内部系统逻辑。我们已经看到DL在许多安全关键场景中的广泛采用。然而,大量的研究表明,国家的最先进的DL系统遭受各种漏洞,这可能会导致严重的后果时,应用到现实世界的应用程序。目前,DL系统的测试充分性通常由测试数据的准确性来衡量。考虑到可获得的高质量测试数据的局限性,对测试数据的良好准确性很难为DL系统的测试充分性和通用性提供信心。与具有清晰和可控逻辑和功能的传统软件系统不同,深度学习系统中缺乏可解释性使得系统分析和缺陷检测变得困难,这可能会阻碍其在现实世界中的部署。在本文中,我们提出了DeepGauge,一组多粒度的测试标准DL系统,其目的是呈现多方面的写照的测试床。我们提出的测试标准的深入评估证明了两个著名的数据集,五个DL系统,并与四个国家的最先进的对抗攻击技术对DL。DeepGauge的潜在用途为构建更通用和更强大的DL系统提供了帮助。
2018-08-14 cs.CR cs.LG cs.SE
Testing for Normality with Neural Networks
University of Belgrade(贝尔格莱德大学)
在本文中,我们把正态性检验的问题作为一个二元分类问题,并构造了一个前馈神经网络,可以成功地检测正态分布,通过检查他们的小样本。在不超过100个元素的小样本上进行的数值实验表明,我们训练的神经网络比最常用和最强大的标准正态性检验更准确,更强大:Shapiro-Wilk,Anderson-Darling,Lilliefors和Jarque-Berra,以及拟合优度的核检验。神经网络的AUROC分数几乎为1,这对应于完美的二元分类器。此外,在一组包含250-1000个元素的较大样本上,网络的准确率高于96%。由于数据的正态性是许多分析和推理技术的假设,因此本研究中构建的神经网络在科学和工业中的统计,数据分析和机器学习的日常实践中具有非常高的潜力。
2020-10-07 cs.LG stat.ME stat.ML
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)(SEED - 艺电公司)
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习(DRL),我们将自学习机制引入游戏测试框架。通过DRL,该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果,测试覆盖率增加,并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中,我们表明,DRL可以用来增加测试覆盖率,发现漏洞,测试地图的难度,并检测常见的问题,出现在第一人称射击(FPS)游戏的测试。
2021-03-29 cs.AI cs.LG
EREBA: Black-box Energy Testing of Adaptive Neural Networks
The University of Texas at Dallas(得克萨斯大学达拉斯分校)
最近,已经提出了各种深度神经网络(DNN)模型,用于具有严格能量约束的嵌入式系统等环境。与基于准确度的鲁棒性相比,确定DNN相对于其能量消耗的鲁棒性(能量鲁棒性)的基本问题相对未被探索。这项工作研究了自适应神经网络(AdNN)的能量鲁棒性,AdNN是一种针对许多能量敏感领域提出的节能DNN,最近获得了关注。我们提出EREBA,第一个黑盒测试方法,用于确定的AdNN的能量鲁棒性。EREBA探索和推断AdNN的输入和能量消耗之间的关系,以生成能量激增样本。使用三个国家的最先进的AdNN的广泛实施和评估表明,EREBA产生的测试输入可能会大大降低系统的性能。与原始输入相比,EREBA生成的测试输入可以将AdNN的能耗增加2,000%。我们的研究结果还表明,通过EREBA产生的测试输入是有价值的检测能量浪涌输入。
2022-02-12 cs.LG
DRIFT: Deep Reinforcement Learning for Functional Software Testing
Microsoft Research(微软研究院)
高效的软件测试对于高效的软件开发和可靠的用户体验至关重要。由于人工测试效率低且成本高,因此需要自动化的软件测试。在这项工作中,我们提出了一个强化学习(RL)框架的功能软件测试命名为DRIFT。DRIFT对用户界面的符号表示进行操作。它通过Batch-RL使用Q学习,并使用图神经网络对状态-动作价值函数进行建模。我们将DRIFT应用于测试Windows 10操作系统,并表明DRIFT可以以完全自动化的方式稳健地触发所需的软件功能。我们的实验测试的能力,在不同的应用程序中执行单个和组合的任务,表明我们的框架可以有效地测试软件的测试目标范围很大。
2020-07-16 cs.AI cs.LG stat.ML
Coverage Guided Testing for Recurrent Neural Networks
University of Liverpool(利物浦大学);Queen’s University Belfast(贝尔法斯特女王大学);Defence Science and Technology Laboratory(国防科学技术实验室);University of Exeter(埃克塞特大学);Loughborough University(拉夫堡大学)
循环神经网络(RNN)已经被应用于广泛的应用,包括自然语言处理、药物发现和视频识别。它们对输入扰动的脆弱性也是已知的。从软件缺陷检测的角度出发,本文旨在开发一种覆盖引导的测试方法,系统地利用RNN的内部行为,期望这种测试可以检测出高可能性的缺陷。在技术上,长短期记忆网络(LSTM),一个主要类别的RNN,进行了深入研究。设计了一个由三个测试指标组成的测试指标族,不仅用于量化值,还用于量化LSTM处理输入时所表现出的时间关系(包括逐步和有界长度)。采用遗传算法高效地生成测试用例。测试指标和测试用例生成算法被实现到一个工具TestRNN中,然后在一组LSTM基准上进行评估。实验证实,TestRNN比最先进的工具DeepStellar和基于攻击的缺陷检测方法具有优势,因为它使用更精细的时间语义并考虑了输入扰动的自然性。此外,TestRNN能够收集和展示有意义的信息,以供用户理解测试结果,这是迈向可解释神经网络测试的重要一步。
2021-05-13 cs.LG cs.NE