Learning from Failure: Training Debiased Classifier from Biased Classifier
KAIST(韩国科学技术院)
神经网络经常学习做出过度依赖于数据集中存在的虚假相关性的预测,这会导致模型有偏差。虽然以前的工作通过在虚假相关的属性上使用明确的标签或假设特定的偏见类型来解决这个问题,但我们利用了一种更便宜但通用的人类知识形式,它可以广泛适用于各种类型的偏见。我们首先观察到,神经网络只有在学习伪相关性比所需知识“更容易”学习时,才会学习依赖伪相关性,并且这种依赖在训练的早期阶段最为突出。基于观察,我们提出了一个基于故障的去偏方案,同时训练一对神经网络。我们的主要思想是双重的;(a)我们通过反复放大第一网络的“偏见”,有意地训练第一网络使其有偏见,以及(b)我们通过关注与(a)中有偏见的网络的偏见相反的样本,来消除第二网络的训练的偏见。大量的实验表明,我们的方法显着改善了网络的训练,以对抗合成和真实世界数据集中的各种类型的偏见。令人惊讶的是,我们的框架甚至偶尔优于去偏置方法,需要明确的监督虚假相关的属性。
2020-11-23 cs.LG stat.ML
The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents
Delft University of Technology(代尔夫特理工大学)
针对深度强化学习智能体测试中失败场景缺乏多样性的问题,提出多目标进化搜索方法INDAGO-Nexus,联合优化失败概率与场景多样性,在三个智能体上相比INDAGO显著提升独特失败发现率并缩短失败时间。
2025-10-16 cs.LG
Unleashing the Power of Extra-Tree Feature Selection and Random Forest Classifier for Improved Survival Prediction in Heart Failure Patients
Bangladesh Atomic Energy Regulatory Authority(孟加拉国原子能监管局);Northumbria University(诺森比亚大学);Summit Communications Limited(顶峰通信有限公司)
本文提出结合额外树特征选择与随机森林分类器,在UCL心力衰竭生存数据集上实现98.33%的最高生存预测准确率。
2023-08-09 cs.AI cs.LG
Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models
University of Cambridge(剑桥大学)
针对现有机器学习测试仅依赖数据、忽略上下文信息的局限,提出上下文感知测试(CAT)新范式,构建首个系统SMART Testing,利用大语言模型结合自证伪机制查找模型失效,实验证明其效果优于现有方法。
2024-10-31 cs.LG
Multi-class Classifier based Failure Prediction with Artificial and Anonymous Training for Data Privacy
International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院);Tejas Networks Ltd(泰贾斯网络有限公司)
本文提出一种非侵入式故障预测方法,利用人工匿名数据训练多类分类器,解耦训练与实际数据,结合遗传算法等,实现高准确率预测,并支持分类即服务。
2024-09-19 cs.AI cs.CR cs.LG
What Does Rotation Prediction Tell Us about Classifier Accuracy under Varying Testing Environments?
Australian National University(澳大利亚国立大学)
在新环境下理解分类器决策是社区的核心,通常的做法是在标记的测试集上评估它。然而,在现实世界的测试中,图像注释是困难和昂贵的获得,特别是当测试环境是不断变化的。一个很自然的问题出现了:给定一个训练好的分类器,我们能在不同的未标记测试集上评估它的准确性吗?在这项工作中,我们训练语义分类和旋转预测在多任务的方式。在一系列数据集上,我们报告了一个有趣的发现,即,语义分类准确率与旋转预测任务的准确率呈现出很强的线性关系(Pearson相关系数r > 0.88)。这一发现使我们能够利用线性回归来估计分类器的性能,从旋转预测的准确性,可以通过自由生成的旋转标签在测试集上获得。
2021-06-10 cs.CV cs.LG
Discovering Boundary Values of Feature-based Machine Learning Classifiers through Exploratory Datamorphic Testing
Oxford Brookes University(牛津布鲁克斯大学)
测试被广泛认为是人工智能应用的难点。本文提出了一套测试策略测试机器学习应用程序的数据变形测试方法的框架。在这些策略中,测试旨在探索分类或聚类应用程序的数据空间,以发现机器学习应用程序定义的类之间的边界。这使测试人员能够准确地理解被测软件的行为和功能。在本文中,提出了三种不同的探索性策略的算法中实现的自动数据变形测试工具Morphy。这些算法的正确性得到了形式化的证明。他们的能力和成本发现类之间的边界进行评估,通过一组控制实验与手动设计的主题和一组案例研究与真正的机器学习模型。
2022-01-26 cs.LG cs.SE
A Novel Multiple Classifier Generation and Combination Framework Based on Fuzzy Clustering and Individualized Ensemble Construction
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
多分类器系统(MCS)已成为提高分类性能的一个成功的选择。然而,研究表明不同MCS的结果不一致,并且通常很难预测哪种MCS算法在特定问题上效果最好。我们认为,MCS的两个关键步骤-基于分类器的生成和多个分类器的组合,需要协调设计,以产生鲁棒的结果。在这项工作中,我们表明,对于不同的测试实例,更好的分类器可以从训练实例的不同子域,包括,例如,测试实例的相邻实例,甚至远离测试实例的实例进行训练。为了利用这种直觉,我们提出了个性化分类器Ensemination(ICE)。ICE将训练数据分组到重叠的集群中,为每个集群构建分类器,然后将每个训练实例与性能最好的模型相关联,同时考虑模型类型和频率。在测试中,ICE为测试实例找到k个最相似的训练实例,然后通过对与这些训练实例相关联的模型的预测进行平均来预测测试实例的类标签。对49个基准测试的评估结果表明,与现有的MCS方法相比,ICE在很大一部分数据集上有稳定的改进。ICE提供了一种新的选择,利用内部模式之间的实例,以提高分类,并可以很容易地与各种分类模型相结合,并应用于许多应用领域。
2019-07-31 cs.LG stat.ML
Failure Prediction in Production Line Based on Federated Learning: An Empirical Study
Beihang University(北京航空航天大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
跨组织的数据保护限制了集中式学习(CL)技术的应用。联邦学习(FL)使多个参与者能够在不共享数据的情况下构建学习模型。然而,目前在智能制造领域中对模糊逻辑的研究还很少。本文对基于FL的生产线故障预测进行了实证研究,分别针对水平FL和垂直FL设计了联邦支持向量机(FedSVM)和联邦随机森林(FedRF)算法,并给出了FL和CL算法有效性的实验过程;(3)发现FL和CL的性能分别在全局测试数据、随机部分测试数据和估计未知Bosch数据上没有显著差异。事实上,测试数据是异质性增强了我们的发现。我们的研究表明,FL可以取代CL的故障预测。
2021-01-25 cs.LG
Identifying Implementation Bugs in Machine Learning based Image Classifiers using Metamorphic Testing
Accenture Technology Labs(埃森哲技术实验室)
我们最近见证了机器学习(ML)在实际应用中的巨大成功。计算机视觉、语音识别和语言翻译都达到了接近人类水平的性能。我们预计,在不久的将来,大多数商业应用程序都将具有某种形式的ML。然而,测试这样的应用程序是非常具有挑战性的,如果我们遵循今天的方法,将是非常昂贵的。在这项工作中,我们提出了在测试基于ML的应用程序的挑战。然后,我们提出了我们的解决方案的方法,基于变形测试的概念,其目的是识别基于ML的图像分类器中的实现错误。我们已经为基于支持向量机的应用程序和基于深度学习的应用程序开发了变形关系。经验验证表明,我们的方法能够捕获ML应用程序中71%的实现错误。
2018-08-16 cs.LG cs.SE
Testing robustness of predictions of trained classifiers against naturally occurring perturbations
Know-Center GmbH(知识中心有限公司);Institute of Interactive Systems and Data Science(交互系统与数据科学研究所);Graz University of Technology(格拉茨工业大学);Department of Geography and Regional Science(地理与区域科学系);University of Graz(格拉茨大学)
正确量化机器学习模型的鲁棒性是判断其是否适合特定任务的核心方面,并最终产生对它们的信任。我们解决的问题,找到个人预测的鲁棒性。我们从理论上和经验的例子表明,一种基于反事实的方法,以前提出的是不够的,因为它不是一个有效的度量确定的鲁棒性对扰动发生“自然”,特定的对抗攻击的情况。我们提出了一种灵活的方法,模型可能的扰动输入数据单独为每个应用程序。然后将其与概率方法相结合,该方法计算"真实世界“扰动将改变预测的可能性,从而给出训练的机器学习模型的个体预测的鲁棒性的定量信息。该方法不需要访问分类器的内部,因此原则上适用于任何黑盒模型。然而,它是基于蒙特卡罗采样,因此只适合于小尺寸的输入空间。我们说明了我们的方法的虹膜和电离层数据集,在机场预测雾的应用程序,并解析可解的情况下。
2023-02-09 cs.LG
Testing DNN Image Classifiers for Confusion & Bias Errors
Columbia University(哥伦比亚大学);University of Virginia(弗吉尼亚大学)
图像分类器是当今软件的重要组成部分,从消费者和商业应用到安全关键领域。深度神经网络(DNN)的出现是这种广泛成功背后的关键催化剂。然而,广泛采用伴随着对依赖DNN进行图像分类的软件系统的鲁棒性的严重担忧,因为在敏感和关键的情况下已经报告了几个严重的错误行为。我们认为,开发人员需要严格测试他们的软件的图像分类器和延迟部署,直到可以接受。我们提出了一种方法来测试图像分类器的鲁棒性类属性侵犯的基础上。我们发现,在流行的DNN图像分类器中,许多报告的错误案例都是因为训练的模型将一个类与另一个类混淆,或者对某些类表现出偏见。这些bug通常会违反一个或多个类的某些类属性。大多数DNN测试技术都专注于每个图像的违规行为,因此无法检测类级别的混淆或偏见。我们开发了一种测试技术来自动检测DNN驱动的图像分类软件中基于类的混淆和偏差错误。我们评估了我们的实现,DeepInspect,在几个流行的图像分类器上,精度高达100%(平均值)。72.6%)的混淆错误,高达84.3%(平均~ 66.8%)的偏差误差。DeepInspect在广泛使用的模型中发现了数百个分类错误,其中许多错误表明存在混淆或偏见。
2020-02-11 cs.CV cs.LG cs.SE
Testing Neural Networks via Bayesian-Guided Exploration of Decision Landscapes
School of Electrical Engineering and Computer Science, The University of Queensland, Australia(昆士兰大学电子工程与计算机科学学院);College of Information and Communications Technology, Central Queensland University, Australia(中央昆士兰大学信息与通信技术学院)
提出BayesWarp框架,利用可解释显著性技术识别决策关键区域,并通过不确定性感知的贝叶斯优化自适应引导测试,在保持数据分布和语义接近性的同时高效发现多样化故障。
2026-06-03 cs.LG cs.SE
ASNM Datasets: A Collection of Network Traffic Features for Testing of Adversarial Classifiers and Network Intrusion Detectors
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院)
在本文中,我们提出了三个数据集,已建成的网络流量跟踪使用ASNM功能,设计在我们以前的工作。第一个数据集是使用最先进的数据集CDX 2009构建的,而其余两个数据集分别是我们在2015年和2018年收集的。这两个数据集包含几种对抗性混淆技术,这些技术在执行特定TCP网络连接期间应用于恶意和合法流量样本。对抗性混淆技术被用于规避基于机器学习的网络入侵检测分类器。此外,我们表明,这样的分类器的性能可以得到改善时,部分增加其训练数据的样本从混淆技术。详细地说,我们利用HTTP(S)协议中的隧道混淆和基于非有效载荷的混淆来修改网络流量的各种属性,例如,据我们所知,这是第一个包含对抗技术的网络流量元数据集合,用于基于非有效载荷的网络入侵检测和对抗分类。所提供的数据集使得能够测试使用ASNM特征的任意分类器的逃避抗性。
2019-10-23 cs.CR cs.LG
Testing the Robustness of a BiLSTM-based Structural Story Classifier
University of Houston(休斯顿大学)
互联网上越来越多的虚假新闻引起了人们对机器学习社区中快速和可扩展的虚假新闻检测的极大兴趣。虽然已经出现了几种用于此目的的机器学习技术,但我们观察到需要评估噪声对这些技术性能的影响,其中噪声构成被错误地标记为假(或真)的新闻文章。这项工作在这个方向上迈出了一步,我们研究了噪声对最先进的结构模型的影响,该模型基于BiLSTM(双向长短期模型)用于假新闻检测,Karimi和Tang的用于假新闻检测的分层话语级结构(参考文献9)。
2022-05-18 cs.CL cs.LG
Finding Failures in High-Fidelity Simulation using Adaptive Stress Testing and the Backward Algorithm
Stanford University(斯坦福大学);NVIDIA(英伟达)
验证自治系统的安全性通常需要使用高保真模拟器,以充分捕捉真实世界场景的变化。然而,它通常是不可行的,彻底搜索空间的仿真场景的故障。自适应压力测试(AST)是一种使用强化学习来发现系统最可能出现故障的方法。具有深度强化学习求解器的AST已被证明在发现一系列不同系统的故障方面是有效的。这种方法通常涉及运行许多模拟,当使用高保真模拟器时,这可能非常昂贵。为了提高效率,我们提出了一种方法,首先发现故障在低保真度的模拟器。然后,它使用反向算法,该算法使用单个专家演示来训练深度神经网络策略,以使低保真度故障适应高保真度。我们已经创建了一系列自动驾驶汽车验证案例研究,这些案例研究代表了低保真和高保真模拟器的一些不同之处,例如时间离散化。我们在各种案例研究中证明,这种新的AST方法能够找到故障,与直接以高保真度运行AST时所需的高保真度仿真步骤相比,所需的高保真度仿真步骤明显减少。作为概念验证,我们还在NVIDIA的DriveSim模拟器上演示了AST,这是一款业界最先进的高保真模拟器,可用于查找自动驾驶汽车中的故障。
2021-07-27 cs.LG stat.ML
MemFail: Stress-Testing Failure Modes of LLM Memory Systems
University of California, Berkeley(加州大学伯克利分校)
提出MemFail基准测试,通过形式化记忆系统为摘要、存储和检索三个操作并构建对抗性数据集,系统性地评估和诊断LLM记忆系统的故障模式。
2026-05-26 cs.AI cs.LG
Testing Rare Downstream Safety Violations via Upstream Adaptive Sampling of Perception Error Models
University of Edinburgh(爱丁堡大学)
在模拟中测试黑盒感知控制系统面临两个困难。首先,仿真中的感知输入缺乏真实世界传感器输入的保真度。其次,对于一个相当准确的感知系统,遇到罕见的故障轨迹可能需要运行不可行的许多模拟。本文结合感知误差模型-代理人的传感器为基础的检测系统-与状态相关的自适应重要性采样。这使我们能够有效地评估罕见的故障概率为现实世界中的感知控制系统的模拟。我们的实验与自主制动系统配备了RGB障碍物检测器表明,我们的方法可以计算准确的故障概率与廉价的模拟数量。此外,我们展示了如何选择的安全度量可以影响的过程中学习的建议分布能够可靠地抽样高概率故障。
2023-02-03 cs.LG cs.RO
DreamTest: World-Model Surrogates for Search-Based Testing of Deep Reinforcement Learning Agents
Lero Research Centre(莱罗研究中心);University of Limerick(利默里克大学);University of Ottawa(渥太华大学)
提出DreamTest世界模型代理,通过想象回合预测DRL智能体失败,指导搜索测试,在多个基准上显著提升失败预测精度和多样性。
2026-10-06 cs.LG cs.SE
Can Search-Based Testing with Pareto Optimization Effectively Cover Failure-Revealing Test Inputs?
fortiss GmbH;Technical University of Munich(慕尼黑工业大学);University of Ottawa(渥太华大学)
本文通过理论和实证研究证明,基于Pareto优化的搜索式测试(如NSGA-II和OMOPSO)在覆盖深度学习系统揭示失效的测试输入方面,并不比简单随机搜索基线更有效。
2024-10-16 cs.AI cs.LG cs.SE
Adaptive Stress Testing of Trajectory Predictions in Flight Management Systems
Stanford University(斯坦福大学);NASA Ames Research Center(NASA艾姆斯研究中心);GE Aviation(通用电气航空);GE Global Research(通用电气全球研究中心)
为了发现飞行关键系统中的故障事件及其可能性,我们研究了一种称为自适应压力测试的先进黑盒压力测试方法的使用。我们分析了一个轨迹预测器,从一个发展中的商业飞行管理系统,作为输入的横向航路点和航路环境条件的集合。我们的目的是寻找故障事件的预测横向轨迹的不一致。这项工作的目的是找到可能的故障,并将其报告给开发人员,以便他们能够在部署之前解决系统的缺陷。为了提高搜索性能,这项工作扩展了自适应压力测试配方更普遍地应用于序列决策问题与情节奖励收集状态转换过程中的搜索和评估结束时的模拟推出。我们使用一个改进的蒙特卡罗树搜索算法与渐进扩大作为我们的对抗强化学习。性能进行比较,直接蒙特卡罗模拟和交叉熵方法作为一种替代重要性采样基线。目标是发现潜在的问题,否则传统的基于需求的测试无法发现。结果表明,我们的自适应压力测试方法发现更多的失败,并发现失败的可能性更高,相对于基线方法。
2020-11-04 cs.AI cs.LG
Interpretable, Multidimensional, Multimodal Anomaly Detection with Negative Sampling for Detection of Device Failure
Google(谷歌)
复杂的设备每天都在连接,并急切地生成大量的多维状态测量。这些设备通常基于外部条件(白天/夜晚、占用/空闲等)以不同的模式操作,并且为了防止系统完全或部分中断,我们希望在这些设备开始在正常模式之外操作时尽可能早地识别。不幸的是,使用规则或监督机器学习来预测故障通常是不切实际或不可能的,因为故障模式太复杂,设备太新,无法在特定环境中充分表征,或者环境变化使设备处于不可预测的状态。我们提出了一种无监督的异常检测方法,该方法从观察到的阳性样本中创建阴性样本,并训练分类器来区分阳性和阴性样本。使用收缩原理,我们解释了为什么这样的分类器应该建立适当的正常和异常区域之间的决策边界,并显示如何集成的异常可以属性异常的异常状态向量内的特定变量。我们已经证明,使用随机森林或神经网络分类器的负采样比隔离森林,一类SVM和深度SVDD产生更高的AUC分数,针对(a)维度范围在2和128之间的合成数据集,具有1,2和3个模式,以及有和没有噪声维度;(b)四个标准基准数据集;以及(c)来自真实气候控制装置的多维多模态数据集。最后,我们描述了如何使用神经网络分类器进行负采样,并在145个Google办公楼的15,000多个气候控制和电表设备中成功地大规模部署,以实时预测故障。
2020-07-12 cs.LG eess.SP
Adaptive Stress Testing for Adversarial Learning in a Financial Environment
Stanford University(斯坦福大学)
我们展示了自适应压力测试的使用,以检测和解决金融环境中的潜在漏洞。我们开发了一个简化的信用卡欺诈检测模型,该模型利用基于历史支付交易数据的线性回归分类器,再加上业务规则。然后,我们应用被称为自适应压力测试的强化学习模型来训练一个可以被认为是潜在欺诈者的代理,以找到最有可能导致系统故障的路径-成功地欺骗系统。我们展示了这个最有可能的故障路径和分类器的限制之间的联系,并讨论了如何进一步增强欺诈检测系统的业务规则,以减轻这些故障模式。
2021-07-08 cs.AI cs.LG q-fin.CP
Adaptive Stress Testing with Reward Augmentation for Autonomous Vehicle Validation
Stanford University(斯坦福大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
确定可能的故障场景是评估自动驾驶汽车系统的关键步骤。真实世界的车辆测试通常用于自动驾驶车辆验证,但成本和时间要求很高。因此,模拟驱动的方法,如自适应压力测试(AST)已被提出来帮助验证。AST将寻找最可能的故障场景的问题表述为马尔可夫决策过程,可以使用强化学习来解决。在实践中,AST倾向于发现故障不可避免的场景,并且倾向于重复发现系统的相同类型的故障。这项工作解决了这些问题,通过编码域相关的信息到搜索过程中。通过这种修改,AST方法发现了一个更大的和更有表现力的子集的故障空间相比,原来的AST制定。我们表明,我们的方法是能够识别有用的自动驾驶汽车政策的失败场景。
2019-08-06 cs.AI cs.LG cs.RO
A method for classification of data with uncertainty using hypothesis testing
Fukuoka University(福冈大学)
本文提出一种基于两类假设检验的决策方法,利用训练数据特征值经验分布量化不确定性,并以α分位数确定阈值,从而在二分类中有效识别重叠区域的模糊数据和分布外数据,避免传统分类器的过度自信预测。
2025-03-12 cs.LG
From Imbalance to Evidence: Deep Nonparametric Testing for Complex Data under Severe Sample Imbalance
University of Notre Dame(圣母大学)
针对严重样本不平衡下复杂数据的分布比较问题,提出EIAD-C2ST框架,将样本不平衡转化为检验证据来源,通过理论保证和实证验证实现了更有效的分布比较。
2026-10-12 cs.LG stat.ME stat.ML
Testing of Deep Reinforcement Learning Agents with Surrogate Models
Università della Svizzera italiana(瑞士意大利语区大学)
本研究提出基于搜索的DRL智能体测试方法,通过工具Indago训练分类器作为代理模型预测失败概率,引导生成失败环境配置,相比现有技术多发现50%的失败,且失败及对应行为多样性分别提升78%、74%。
2023-11-11 cs.AI cs.LG cs.SE
Instance-Based Classification through Hypothesis Testing
Dalian University of Technology(大连理工大学);University of Electronic Science and Technology of China(电子科技大学)
分类是机器学习和数据采掘中的一个基本问题。在过去的几十年中,已经提出了许多基于不同原则的分类方法。然而,大多数现有的分类器将分类问题视为优化问题,并且不解决统计显著性问题。在本文中,我们制定的二元分类问题作为一个两个样本的测试问题。更准确地说,我们的分类模型是一个通用框架,由两个步骤组成。在第一步中,计算测试实例和每个训练实例之间的距离以导出两个距离集。在第二步中,在零假设下进行双样本检验,即两组距离来自相同的累积分布。在这两个步骤之后,每个测试实例有两个p值,测试实例被分配给与较小p值相关联的类。本质上,所提出的分类方法可以被看作是一个基于实例的分类器基于假设检验。在40个真实数据集上的实验结果表明,该方法能够达到与现有分类器相同的性能水平,并且比现有的基于测试的分类器具有更好的性能。此外,我们可以处理离群的实例,并控制错误发现率的测试实例分配给同一框架下的每个类。
2019-04-22 cs.LG stat.ML
Selective Probabilistic Classifier Based on Hypothesis Testing
Tampere University(坦佩雷大学);Visy Oy(维西公司)
在本文中,我们提出了一个简单而有效的方法来处理违反封闭世界假设的分类器。以前的工作往往适用于阈值的分类分数或损失函数拒绝违反假设的输入。然而,这些方法不能实现安全应用中所需的低假阳性率(FPR)。该方法是一种基于概率网络假设检验的拒绝选项。使用概率网络,可以估计结果的分布,而不是单个输出。该方法通过对每个类别的均值和标准差进行Z检验,估计网络确定性的统计显著性,并剔除不确定输出。所提出的方法进行了实验与不同配置的COCO和CIFAR数据集。所提出的方法的性能进行比较与Softmax响应,这是一个已知的最高性能的方法。结果表明,与替代方案相比,所提出的方法可以实现更广泛的操作范围并覆盖更低的FPR。
2021-05-11 cs.AI cs.CV cs.LG
Fundamental Limits of Deep Learning-Based Binary Classifiers Trained with Hinge Loss
École de Technologie Supérieure (ETS)(高等技术学院(École de Technologie Supérieure));University of Oulu(奥卢大学)
针对深度学习(DL)实证成功的理论基础不明问题,本文推导并验证了基于铰链损失训练的深度ReLU前馈神经网络及结合ReLU与Tanh激活的深度FNN二分类器的渐近测试性能极限。
2025-04-15 cs.AI cs.LG
A multimodal slice discovery framework for systematic failure detection and explanation in medical image classification
Department of Computing, Imperial College London, UK(帝国理工学院 computing 部,英国);Aival, London, UK(Aival,伦敦,英国)
该研究提出了一种多模态切片发现框架,用于医学图像分类中的系统性故障检测与解释,展示了其在故障发现和解释生成方面的有效性。
2026-02-27 cs.CV cs.LG
Adaptive Stress Testing without Domain Heuristics using Go-Explore
Stanford University(斯坦福大学)
最近,强化学习(RL)已被用作发现自治系统中的故障的工具。在执行过程中,RL代理通常依赖于某些特定领域的启发式奖励来引导它们找到失败,但构建这样的启发式可能很困难或不可行。如果没有启发式,智能体可能只在失败时获得奖励,甚至是引导它远离失败的奖励。例如,有些方法会奖励采取更有可能的行动,因为我们希望找到更有可能的失败。然而,代理可能会学习只采取可能的行动,并且可能根本无法找到失败。因此,这个问题变成了一个难以探索的问题,奖励并不能帮助探索。一种新的算法,go-explore(GE),最近在硬探索领域的基准测试中创造了新的记录。我们将GE应用于自适应压力测试(AST),这是基于RL的证伪方法的一个例子,该方法提供了一种搜索最有可能的故障场景的方法。我们模拟了一个场景,其中自动驾驶汽车在行人过马路时行驶。我们证明了GE能够在没有特定于领域的算法的情况下找到故障,例如汽车和行人之间的距离,其他RL技术无法解决的情况。此外,受GE鲁棒化阶段的启发,我们证明了向后算法(BA)改进了其他RL技术发现的故障。
2020-06-18 cs.LG cs.SY eess.SY
Evaluating LLM Safety Under Repeated Inference via Accelerated Prompt Stress Testing
Independent Researcher(独立研究者)
本文提出APST框架,通过重复推理测试揭示模型在持续使用下的失败模式,展示单次评估无法反映实际可靠性差异。
2026-04-28 cs.AI cs.LG
Consistent Prompting for Rehearsal-Free Continual Learning
School of Artificial Intelligence, Sun Yat-sen University(中山大学人工智能学院);Cheng Kar-Shun Robotics Institute, The Hong Kong University of Science and Technology(香港科技大学郑家纯机器人研究院);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室)
提出一致提示(CPrompt)方法,通过分类器一致性和提示一致性学习,解决训练与测试不一致问题,在多个持续学习基准上达到最先进性能。
2024-03-14 cs.CV cs.LG
FuzzingRL: Reinforcement Fuzz-Testing for Revealing VLM Failures
University of Southern California(南加州大学);Toyota Research Institute(丰田研究机构)
FuzzingRL通过强化模糊测试生成挑战性问题,揭示视觉语言模型的故障点并降低其准确性。
2026-02-17 cs.AI cs.LG
Breaking hypothesis testing for failure rates
Microsoft(微软)
我们描述了点过程和失效率的效用,以及用于建模失效率的最常见的点过程,泊松点过程。接下来,我们描述了一致最强大的测试比较率的两个泊松点过程的单侧测试(以下简称为“率测试”)。反对使用此测试的一个常见论点是,真实世界的数据很少遵循泊松点过程。因此,我们调查发生了什么事时,分布假设的测试,如这些被违反和测试仍然适用。我们发现一个非病理的例子(使用率测试的复合泊松分布与二项式复合),违反率测试的分布假设,使其表现更好(较低的错误率)。我们还发现,如果我们用任何其他任意分布替换原假设下的检验统计量的分布,检验的性能(用假阴性率与假阳性率的权衡来描述)仍然完全相同。接下来,我们将速率检验的性能与为负二项点过程定制的Wald检验的性能进行比较,发现它的性能非常相似,但更通用和通用。最后,我们讨论了Microsoft Azure的应用程序。所有实验的代码都是开源的,并在介绍中链接。
2020-01-13 cs.LG stat.AP
From Particles to Perils: SVGD-Based Hazardous Scenario Generation for Autonomous Driving Systems Testing
Macquarie University(麦考瑞大学);Swinburne University of Technology(斯威本理工大学)
本文提出PtoP框架,结合自适应随机种子生成与Stein Variational Gradient Descent,生成多样化的初始条件以发现自动驾驶系统中的故障场景,提升测试安全性与场景多样性。
2026-04-20 cs.LG cs.SE
Quantum adiabatic machine learning
University of Southern California(南加州大学)
我们通过量子绝热演化开发了一种机器学习和异常检测的方法。在训练阶段,我们确定一个最佳的弱分类器集,形成一个单一的强分类器。在测试阶段,我们在输入的叠加上绝热地进化一个或多个强分类器,以便在分类空间中找到某些异常元素。训练和测试阶段都通过量子绝热演化来执行。我们应用这种方法,并详细说明了软件验证和确认的问题。
2011-09-01 cs.LG quant-ph
SINVAD: Search-based Image Space Navigation for DNN Image Classifier Test Input Generation
KAIST(韩国科学技术院);Chalmers University(查尔姆斯理工大学)
随着深度神经网络(DNN)被安全关键系统广泛采用,DNN的测试变得越来越重要。虽然已经提出了许多测试充分性标准,但许多类型的DNN的自动测试输入生成仍然是一个挑战,因为原始输入空间太大,无法随机采样或导航和搜索合理的输入。因此,当前DNN的测试技术基于变形测试原理,依赖于对现有输入的小的局部扰动。我们提出了新的方法来搜索不是在整个图像空间,而是在一个合理的输入空间,类似于真正的训练分布。这个空间是使用变分自编码器(VAE)构造的,并通过它们的潜在向量空间进行导航。我们表明,这个空间有助于有效地产生测试输入,这些输入可以揭示DNN在处理现实测试时的鲁棒性信息,从而通过高度结构化的图像空间进行有意义的探索。
2020-05-19 cs.LG cs.SE
Optimized Sequential Testing for Binary Ensemble Classifiers
Tel Aviv University(特拉维夫大学)
提出一种序贯测试方法,通过提前停止基模型评估来降低二元集成分类器的计算成本,同时控制与完整集成的不一致率,并利用线性规划求解最优停止策略。
2026-08-12 cs.LG stat.ME stat.ML
Mitigating Evasion Attacks to Deep Neural Networks via Region-based Classification
Duke University(杜克大学)
深度神经网络(DNN)已经改变了几个人工智能研究领域,包括计算机视觉、语音识别和自然语言处理。然而,最近的研究表明,DNN在测试时容易受到对抗性操纵。具体来说,假设我们有一个测试示例,其标签可以被DNN分类器正确预测。攻击者可以在测试示例中添加一个精心制作的小噪声,这样DNN分类器就会预测出一个不正确的标签,其中精心制作的测试示例被称为对抗性示例。这种攻击称为逃避攻击。规避攻击是在自动驾驶汽车等安全关键应用中部署DNN的最大挑战之一。在这项工作中,我们开发了新的方法来抵御逃避攻击。我们的关键观察是,对抗性样本接近分类边界。因此,我们提出基于区域的分类对对抗性示例具有鲁棒性。对于良性/对抗性测试示例,我们将信息集成在以示例为中心的超立方体中以预测其标签。相比之下,传统的分类器是基于点的分类,即,在给定测试示例的情况下,分类器仅基于测试示例来预测其标签。我们对MNIST和CIFAR-10数据集的评估结果表明,我们基于区域的分类可以显着减轻规避攻击,而不会牺牲良性示例的分类准确性。具体来说,我们的基于区域的分类实现了相同的分类精度测试良性的例子,基于点的分类,但我们的基于区域的分类是显着更强大的比基于点的分类各种规避攻击。
2019-12-31 cs.CR cs.LG stat.ML
DiG-IN: Diffusion Guidance for Investigating Networks -- Uncovering Classifier Differences Neuron Visualisations and Visual Counterfactual Explanations
Tübingen AI Center – University of Tübingen(蒂宾根大学蒂宾根人工智能中心)
该研究提出DiG-IN扩散引导框架,通过生成优化分类器目标的图像,开展视觉反事实解释、分类器差异分析与神经元可视化,验证已有结论并发现新失效模式,且VCEs性能更优、通用性更强。
2024-07-12 cs.AI cs.CV cs.LG
Learning Failure-Inducing Models for Testing Software-Defined Networks
University of Luxembourg(卢森堡大学);Lero centre, University of Limerick(利默里克大学莱罗中心);University of Ottawa(渥太华大学)
本文提出机器学习引导的模糊测试方法FuzzSDN,同时生成诱发SDN故障的测试数据并学习故障条件模型,实验表明其故障发现能力和模型精确率、召回率均显著优于现有方法。
2024-01-08 cs.CR cs.LG cs.NI
How Do We Fail? Stress Testing Perception in Autonomous Vehicles
Stanford University(斯坦福大学)
自动驾驶汽车(AV)依赖于环境感知和行为预测来推理周围的智能体。这些感知系统必须对雨、雾和雪等不利天气具有鲁棒性。然而,这些系统的验证是具有挑战性的,由于其复杂性和依赖于观察历史。本文提出了一种用于表征基于LiDAR的感知系统在恶劣天气条件下的故障的方法。我们开发了一种基于强化学习的方法来发现由于干扰序列而导致的对象跟踪和轨迹预测中可能的失败。我们采用基于物理的数据增强技术来模拟在恶劣天气条件下的激光雷达点云。在来自真实驾驶数据集的各种驾驶场景中进行的实验表明,与基线相比,我们提出的方法可以在较小的输入干扰下发现高可能性故障,同时保持计算上的易处理性。识别出的故障可以为未来开发用于AV的鲁棒感知系统提供信息。
2022-03-26 cs.AI cs.LG cs.RO
Learning to classify with possible sensor failures
University of Michigan(密歇根大学);West Virginia University(西弗吉尼亚大学)
在本文中,我们提出了一个通用的框架来学习一个强大的大利润率的二元分类器时,损坏的测量,称为异常,传感器故障可能会出现在训练集中。我们的目标是最大限度地减少泛化误差的分类器上的非损坏的测量,同时控制与异常样本相关联的误报率。通过结合基于经验熵估计的非参数正则化器,我们提出了一种几何熵最小化正则化最大熵判别(GEM-MED)方法来学习以联合方式分类和检测异常。我们证明使用模拟数据和一个真正的多模态数据集。我们的GEM-MED方法可以产生比以前的强大的分类方法在分类精度和异常检测率方面的性能提高。
2016-02-22 cs.IT cs.LG math.IT
FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems
Macau University of Science and Technology(澳门科技大学)
针对多智能体强化学习系统公平性测试缺失的问题,提出基于搜索的FairTest方法,结合三适应度引导与优先级排序,在三个环境上检测到最多公平性故障,故障数平均超最强基线221%。
2026-09-24 cs.LG cs.SE
Counterfactual Situation Testing: Uncovering Discrimination under Fairness given the Difference
Scuola Normale Superiore, University of Pisa(比萨高等师范学校,比萨大学);University of Pisa(比萨大学)
本文提出因果数据挖掘框架CST,通过基于因果知识生成申诉人反事实并构建对照与测试组来检测分类器个体歧视,实验表明其即使在反事实公平条件下也能发现更多案例。
2023-10-16 cs.CY cs.LG stat.ML
Efficient Black-box Assessment of Autonomous Vehicle Safety
Trustworthy AI(可信人工智能公司)
虽然自动驾驶汽车(AV)技术已经取得了长足的进步,但我们仍然缺乏严格和可扩展的测试工具。真实世界的测试,即$\textit{de-facto}$评估方法,对公众是危险的。此外,由于故障的罕见性,需要数十亿英里的驾驶来统计验证性能声明。因此,该行业已在很大程度上转向模拟来评估AV系统。然而,仅仅拥有一个模拟堆栈并不是一个解决方案。一个仿真测试框架需要优先考虑运行哪些场景,了解所选场景如何提供故障模式的覆盖,并按照重要性对故障场景进行排序。我们实现了一个模拟测试框架,评估整个现代AV系统作为一个黑盒子。该框架估计了在控制标准交通行为的基本分布下的事故概率。为了加速稀有事件概率评估,我们有效地学习通过自适应重要性抽样方法来识别和排序故障场景。使用这个框架,我们对全栈商业AV系统Comma AI的OpenPilot进行了第一次独立评估。
2020-06-06 cs.LG cs.RO stat.ML
Finding Patterns in Ambiguity: Interpretable Stress Testing in the Decision~Boundary
针对深度学习黑盒模型决策过程难理解的问题,提出从决策边界选取原型并结合模型后解释算法的方法,经2D可视化和GradientSHAP验证可捕捉低置信度决策特征,助力可靠ML系统的负责任开发。
2024-08-12 cs.CV cs.LG
Automatic Fairness Testing of Neural Classifiers through Adversarial Sampling
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学);Huawei International Pte. Ltd.(华为国际私人有限公司);National University of Singapore(新加坡国立大学)
尽管深度学习在许多应用中表现出惊人的性能,但人们仍然担心它的可靠性。具有社会影响的深度学习应用的一个期望属性是公平性(即,不歧视)。不幸的是,由于训练数据中的歧视,歧视可能固有地嵌入到模型中。作为一种对策,公平性测试系统地识别歧视性样本,可以用来重新训练模型,提高模型的公平性。然而,现有的公平性测试方法有两个主要的局限性。首先,它们只在传统的机器学习模型上工作得很好,性能很差(例如,深度学习模型的有效性和效率。其次,它们只适用于简单的结构化(例如,表格)数据,并且不适用于文本等域。在这项工作中,我们通过提出一种可扩展的有效方法来弥补这一差距,该方法用于系统地搜索歧视性样本,同时扩展现有的公平性测试方法以解决更具挑战性的领域,即,文本分类与最先进的方法相比,我们的方法只采用轻量级的过程,如梯度计算和聚类,这是显着更具可扩展性和有效性。实验结果表明,平均而言,我们的方法更有效地探索搜索空间(9.62和2.38倍以上的最先进的方法分别对表格和文本数据集),并产生更多的歧视性样本(24.95和2.68倍)在相同的合理时间。此外,重新训练的模型平均分别减少了57.2%和60.2%的歧视。
2021-07-29 cs.AI cs.CY cs.LG
Machine Learning Testing in an ADAS Case Study Using Simulation-Integrated Bio-Inspired Search-Based Testing
RISE Research Institutes of Sweden(瑞典RISE研究院);Universidade da Beira Interior(贝拉内格罗大学);Mälardalen University(梅拉达伦大学)
本文扩展 Deeper,集成 GA、ES 与 PSO 等仿生搜索算法及领域定制遗传操作,为 DNN 车道保持系统生成多样且高严重度的故障揭示场景,并经 SBST 2021 竞赛对比验证其有效性与效率。
2023-06-07 cs.AI cs.LG cs.NE
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore(印度理工学院印多尔分校)
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中,基于核岭回归(KRR)的一类分类器(KOC)已被扩展为使用特权信息的学习(LUPI)。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征,但仅用于训练(不用于测试)。KOC+通过使用所谓的校正功能,与正常特征信息相比,以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能,这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明,KOC+算法优于KOC算法和基于支持向量机(SVM)的单类分类器。
2019-04-13 cs.LG stat.ML
A Versatile Approach to Evaluating and Testing Automated Vehicles based on Kernel Methods
University of Michigan(密歇根大学);Columbia University(哥伦比亚大学)
复杂控制系统的评估和验证是保证可用性和安全性的关键。通常,故障发生在一些很少遇到的情况下,但一旦触发,后果是灾难性的。加速评估是一种通过智能采样测试用例有效测试那些罕见但关键的故障的方法。抽样中使用的分布对该方法的性能至关重要,但构建合适的分布需要逐个分析。提出了一种利用核方法构造抽样分布的通用方法。该方法使用统计学习工具来近似的关键事件集和构造分布的基础上的高斯分布的独特属性。我们应用该方法来评估自动驾驶汽车。数值实验表明,该方法可以鲁棒地识别罕见故障,并显着减少评估时间。
2017-10-01 cs.LG cs.RO stat.ML
Discovering Avoidable Planner Failures of Autonomous Vehicles using Counterfactual Analysis in Behaviorally Diverse Simulation
Preferred Networks, Inc.(Preferred Networks公司);Preferred Networks America, Inc.(Preferred Networks美国公司);Toyota Research Institute(丰田研究院)
自动驾驶汽车需要在模拟中进行详尽的测试,以便在部署到公共道路上之前检测尽可能多的安全关键故障。在这项工作中,我们专注于自主机器人的核心决策组成部分:他们的规划算法。我们引入了一个规划测试框架,利用最近的进展,在模拟行为上不同的交通参与者。使用大规模搜索,我们生成,检测和表征动态场景导致碰撞。特别是,我们提出的方法来区分不可避免的和可避免的事故,特别侧重于自动查找计划特定的缺陷,必须在部署前纠正。通过实验,在复杂的多智能体交叉口的情况下,我们表明,我们的方法确实可以找到广泛的关键规划失败。
2020-11-24 cs.LG cs.RO