iDECODe: In-distribution Equivariance for Conformal Out-of-distribution Detection
University of Pennsylvania(宾夕法尼亚大学);SRI International(斯坦福国际研究院);Georgia Institute of Technology(佐治亚理工学院)
诸如深度神经网络(DNN)之类的机器学习方法尽管在不同领域取得了成功,但已知它们经常在其训练分布之外的输入上生成具有高置信度的不正确预测。在安全关键域中部署DNN需要检测分发外(OOD)数据,以便DNN可以避免对这些数据进行预测。最近已经开发了许多用于OOD检测的方法,但仍有改进的空间。我们提出了新的方法iDECODe,利用分布等方差共形OOD检测。它依赖于一种新的基础非一致性措施和一种新的聚合方法,用于感应共形异常检测框架,从而保证有界的误检率。我们通过在图像和音频数据集上的实验证明了iDECODe的有效性,获得了最先进的结果。我们还表明,iDECODe可以检测对抗性的例子。
2022-01-07 cs.LG
Understanding Failures in Out-of-Distribution Detection with Deep Generative Models
New York University(纽约大学)
深度生成模型(DGMs)似乎很适合检测分布外(OOD)输入,但此类模型已被证明为OOD图像分配的概率或密度高于来自训练分布的图像。在这项工作中,我们解释了为什么这种行为应归因于模型的错误估计。我们首先证明,没有任何方法可以保证超出随机机会的性能,而不假设外分布相关。然后,我们询问典型集假设,声称相关的外分布可以位于数据分布的高似然区域,并且OOD检测应该基于数据分布的典型集来定义。我们强调的后果,假设支持重叠之间的分布和分布,以及任意性的OOD检测的典型集合。我们的研究结果表明,估计误差是一个更合理的解释,而不是基于似然的OOD检测和感兴趣的外分布之间的不一致,我们说明了即使是最小的估计误差也会导致OOD检测失败,这对深度生成建模和OOD检测的未来工作产生了影响。
2021-07-16 cs.LG
When and How Does In-Distribution Label Help Out-of-Distribution Detection?
UW-Madison(威斯康星大学麦迪逊分校)
本文从图论与谱分解角度理论分析了分布内标签对分布外检测的影响,推导出比较有无标签性能的可证明误差界限,并通过模拟与真实数据实验验证了理论保证。
2024-05-28 cs.LG
Evaluation of Out-of-Distribution Detection Performance of Self-Supervised Learning in a Controllable Environment
KAIST(韩国科学技术院);Korea University(高丽大学);Humelo(休梅洛(Humelo))
我们评估的分布(OOD)检测性能的自监督学习(SSL)技术与一个新的评估框架。与以前的评估方法不同,该框架调整了OOD样本与分布样本的距离。我们评估了广泛的OOD检测算法的三个不同的实现所提出的框架,使用模拟样本,图像和文本的组合。SSL方法在所有评估设置中一致地证明了改进的OOD检测性能。
2021-10-18 cs.LG
Likelihood-based Out-of-Distribution Detection with Denoising Diffusion Probabilistic Models
University of Bath(巴斯大学)
本文提出复杂度校正似然比,将基于似然的分布外检测扩展到去噪扩散概率模型,利用不同加噪水平下的证据下界评估构建似然比,取得与最先进生成模型方法相当的结果。
2023-10-26 cs.LG
Runtime Monitoring for Out-of-Distribution Detection in Object Detection Neural Networks
AUDI AG(奥迪股份公司);Technical University of Munich(慕尼黑工业大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
在工业中使用的真实神经网络的设置中,神经网络监控提供了一种更现实和适用的替代验证。它对于检测分布外(OOD)输入特别有用,因为网络没有经过训练,可能会产生错误的结果。我们扩展了以前提出的分类网络的感知系统能够识别和定位多个对象的运行时监控方法。此外,我们分析其充分性实验上不同种类的OOD设置,记录我们的方法的整体疗效。
2022-12-15 cs.LG
Beyond Binary Out-of-Distribution Detection: Characterizing Distributional Shifts with Multi-Statistic Diffusion Trajectories
Goethe University(弗赖堡大学);University of Bremen(不莱梅大学)
本文提出DISC方法,通过扩散模型的迭代去噪过程提取多维特征向量,表征多噪声水平下的统计差异,实现对分布外数据类型的分类,突破传统二元检测的局限。
2026-04-27 cs.LG
Learning to Augment Distributions for Out-of-Distribution Detection
Hong Kong Baptist University(香港浸会大学);University of Technology Sydney(悉尼科技大学);The University of Melbourne(墨尔本大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出分布增强OOD学习(DAL),通过构建Wasserstein球内的OOD分布集来缩小辅助与真实OOD数据分布差异,提升开放世界OOD检测性能。
2023-12-25 cs.LG
CODiT: Conformal Out-of-Distribution Detection in Time-Series Data
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院);SRI International(斯坦福国际研究院)
机器学习模型容易对远离训练分布的输入做出错误的预测。这阻碍了它们在自动驾驶汽车和医疗保健等安全关键应用中的部署。检测单个数据点的训练分布的变化已经引起了人们的注意。已经提出了许多用于这种分布外(OOD)检测的技术。但在许多应用中,机器学习模型的输入形成时间序列。用于时间序列数据中的OOD检测的现有技术要么不利用序列中的时间关系,要么不提供检测上的任何保证。我们提出使用偏离分布时间等方差作为时间序列数据OOD检测的共形异常检测框架中的非一致性度量,基于所提出的度量计算来自多个共形检测器的独立预测,并通过Fisher方法组合这些预测,从而得到所提出的检测器CODiT,该检测器具有对时间序列数据的错误检测的保证。我们通过在自动驾驶中的计算机视觉数据集上实现最先进的结果来说明CODiT的功效。我们还表明,CODiT可以用于OOD检测在非视觉数据集上进行实验的生理GAIT感官数据集。代码、数据和训练模型可在https://github.com/kaustubhsridhar/time-series-OOD上获得。
2022-07-24 cs.LG
ReAct: Out-of-distribution Detection With Rectified Activations
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Facebook AI Research(Facebook人工智能研究院)
由于其在增强神经网络安全部署方面的实际重要性,分发外(OOD)检测近来受到了广泛关注。主要挑战之一是模型通常对OOD数据产生高度自信的预测,这破坏了OOD检测中的驱动原则,即模型应该只对分布样本有信心。在这项工作中,我们提出了ReAct-一种简单有效的技术,用于减少OOD数据上的模型过度自信。我们的方法的动机是新的分析内部激活的神经网络,它显示了高度独特的签名模式的OOD分布。我们的方法可以有效地推广到不同的网络架构和不同的OOD检测分数。我们经验证明,ReAct在一套全面的基准数据集上实现了具有竞争力的检测性能,并对我们的方法的有效性进行了理论解释。在ImageNet基准测试中,与之前的最佳方法相比,ReAct将假阳性率(FPR 95)降低了25.05%。
2021-11-24 cs.LG
Tree-based Ensemble Learning for Out-of-distribution Detection
University of Georgia(佐治亚大学);U.S. Food and Drug Administration(美国食品药品监督管理局);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出基于树的分布外检测机制 TOOD,通过树集成模型嵌入的成对汉明距离判断样本分布差异,在表格、图像和文本数据上优于现有方法。
2024-05-05 cs.LG
Class Distribution Monitoring for Concept Drift Detection
Politecnico di Milano(米兰理工大学)
我们介绍类分布监测(CDM),一个有效的概念漂移检测计划,监测类条件分布的数据流。特别是,我们的解决方案利用了基于QuantTree的在线和非参数变化检测算法的多个实例。CDM在检测到任何类别中的分布变化之后报告概念漂移,从而识别哪些类别受到概念漂移的影响。这可能是诊断和适应的宝贵信息。我们对合成数据流和真实数据流的实验表明,当概念漂移影响少数几个类时,CDM优于监控整体数据分布的算法,而当漂移影响所有类时,CDM实现了类似的检测延迟。此外,CDM优于监测分类误差的可比方法,特别是当变化不是很明显时。最后,我们证明了CDM继承了底层变化检测器的属性,从而有效地控制了误报前的预期时间或平均运行长度(ARL $_0$)。
2022-10-16 cs.LG
DICE: Leveraging Sparsification for Out-of-Distribution Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
检测分发外(OOD)输入是在现实世界中安全部署机器学习模型的核心挑战。以前的方法通常依赖于从超参数化的权重空间导出的OOD分数,而在很大程度上忽略了稀疏化的作用。在本文中,我们揭示了重要的见解,依赖于不重要的权重和单位可以直接归因于OOD检测的脆性。为了缓解这个问题,我们提出了一个基于稀疏化的OOD检测框架,称为DICE。我们的核心思想是根据贡献的度量对权重进行排名,并选择性地使用最突出的权重来导出OOD检测的输出。我们提供了经验和理论的见解,表征和解释DICE提高OOD检测的机制。通过修剪噪声信号,DICE可证明降低了OOD数据的输出方差,从而使输出分布更清晰,与ID数据的分离性更强。我们证明了基于稀疏化的OOD检测在几个基准上的有效性,并建立了具有竞争力的性能。
2022-07-17 cs.LG
The Challenge of Out-Of-Distribution Detection in Motor Imagery BCIs
Department of Artificial Intelligence, University of Groningen(格罗宁根大学人工智能系)
本文研究了运动想象脑机接口中分布外检测的挑战,通过训练模型并观察对未知类别的检测能力,发现高不确定性影响检测效果,MC Dropout表现最佳,高分类准确率可提升检测鲁棒性。
2026-11-17 cs.LG
Out-of-Distribution Detection on Graphs: A Survey
Zhejiang Normal University(浙江师范大学);Huzhou University(湖州师范学院);Griffith University(格里菲斯大学);Zhejiang Institute of Optoelectronics(浙江光电研究院)
本文针对图机器学习中分布偏移导致模型性能下降的问题,给出GOOD检测的严格定义,将现有方法分为四类并分析其原理,明确与相关领域的区别,还讨论应用、理论基础及未来方向。
2025-02-12 cs.LG
Out-of-Distribution Detection for Medical Applications: Guidelines for Practical Evaluation
Pacmed BV(Pacmed公司);Amsterdam UMC, Vrije Universiteit(阿姆斯特丹自由大学阿姆斯特丹医学中心)
实时检测分布外(OOD)样本是在医疗领域部署机器学习模型的关键安全检查。尽管不确定度量化技术越来越多,但在实践中如何选择OOD检测方法缺乏评价指南。这一差距阻碍了OOD检测方法在实际应用中的实现。在这里,我们提出了一系列实际考虑和测试,以选择特定医疗数据集的最佳OOD检测器。这些指导方针在电子健康记录(EHR)的实际使用案例中得到了说明。我们的研究结果可以作为在临床实践中实施OOD检测方法的指南,减轻与医疗保健中使用机器学习模型相关的风险。
2022-05-05 cs.LG
ReMaD: Tuning-free Domain Adaptation for Classification and Out-of-Distribution Detection
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出ReMaD方法,利用降秩马氏距离对预训练模型进行无需微调的域自适应,在分类和分布外检测中取得竞争性能。
2026-10-06 cs.LG
A Closer Look at the Learnability of Out-of-Distribution (OOD) Detection
University of California - San Diego(加州大学圣地亚哥分校)
本研究针对OOD检测现有理论结果悲观的问题,基于PAC学习理论区分一致与非一致可学习性,刻画其可学习条件,证明非一致可学习性可将部分负面结果转为正面,并给出对应学习算法与样本复杂度分析。
2025-01-15 cs.LG
Robust Anomaly Detection Under Normality Distribution Shift in Dynamic Graphs
Kyoto University(京都大学)
针对动态图中正常行为随时间演变导致的正态分布偏移问题,本文提出无监督方法WhENDS,通过分布统计估计与白化变换对齐正常边嵌入,在四个数据集上超越九个基线,取得最优异常检测性能。
2025-09-22 cs.LG
Benchmark for Out-of-Distribution Detection in Deep Reinforcement Learning
Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用技术大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
基于强化学习(RL)的解决方案正被广泛应用于机器人、医疗保健和工业自动化等领域。大多数关注的是这些解决方案何时工作得很好,但当它们与分布输入一起出现时就会失败。RL策略与大多数机器学习模型有相同的缺点。RL的分布外检测在文献中通常没有很好地涵盖,并且缺乏该任务的基准。在这项工作中,我们提出了一个基准来评估OOD检测方法在强化学习设置,通过修改非视觉标准环境的物理参数或损坏的视觉环境的状态观察。我们讨论了如何生成自定义RL环境,可以产生OOD数据,并评估三个不确定性方法的OOD检测任务。我们的研究结果表明,集成方法具有最好的OOD检测性能,在多个环境中具有较低的标准差。
2021-12-05 cs.LG
Out of Distribution Data Detection Using Dropout Bayesian Neural Networks
Laboratory for Physical Sciences(物理科学实验室);Booz Allen Hamilton(博思艾伦汉密尔顿);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们探讨了实用的信息包含在一个辍学的贝叶斯神经网络(BNN)的任务检测出分布(OOD)的数据。我们首先展示了以前的尝试如何利用由辍学BNN的中间层引起的随机嵌入,由于使用的距离度量而失败。我们介绍了一种替代方法来测量嵌入的不确定性,证明其使用理论上,并演示了如何将嵌入的不确定性提高OOD数据识别在三个任务:图像分类,语言分类和恶意软件检测。
2022-02-18 cs.LG
Robustness to Spurious Correlations Improves Semantic Out-of-Distribution Detection
Center for Data Science, New York University(纽约大学数据科学中心);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
利用预测模型的输出或特征表示的方法已经成为图像输入的分布外(OOD)检测的有前途的方法。然而,这些方法难以检测与分布中输入共享滋扰值(例如,背景)的OOD输入。在现实世界的应用中,对共享的干扰分布外(SN-00 D)输入的检测是特别相关的,因为异常和分布内输入往往在部署期间在相同的设置中被捕获。在这项工作中,我们提供了一个可能的解释SN-OOD检测失败,并提出滋扰感知OOD检测来解决这些问题。滋扰感知OOD检测替代了通过经验风险最小化和交叉熵损失训练的分类器,1。是在一个分布下训练的,其中滋扰标签关系被打破,2。产生独立于该分布下的干扰的表示,无论是边缘的还是以标签为条件的。我们可以训练一个分类器来实现这些目标,使用滋扰随机蒸馏(NuRD),一个算法开发的OOD泛化虚假相关。基于输出和特征的滋扰感知OOD检测的性能明显优于其原始对应物,即使在基于领域泛化算法的检测未能提高性能时也能成功。
2023-02-08 cs.AI cs.LG
YolOOD: Utilizing Object Detection Concepts for Multi-Label Out-of-Distribution Detection
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Fujitsu Limited(富士通有限公司)
本文提出YolOOD方法,利用目标检测模型的固有区分能力,通过微小改动将其转换为图像分类器,从而在多标签分类任务中实现高效的分布外检测,性能优于现有方法。
2023-11-21 cs.CV cs.LG
Unsupervised Out-of-Distribution Detection with Batch Normalization
Stanford University(斯坦福大学)
来自生成模型的似然比是用于检测分布外(OoD)样本的自然统计量。然而,与来自训练分布的样本相比,生成模型已被证明为OoD样本分配更高的可能性,从而防止简单的基于阈值的检测规则。我们证明,OoD检测失败,即使使用更复杂的统计数据的基础上的个人样本的可能性。为了解决这些问题,我们提出了一种新的方法,利用批量归一化。我们认为,生成模型的批量归一化挑战了传统的独立同分布。数据假设,并改变相应的最大似然目标。基于这一见解,我们建议利用批量依赖关系进行OoD检测。实证结果表明,这导致更强大的检测高维图像。
2019-10-21 cs.LG stat.ML
Thinkback: Task-SpecificOut-of-Distribution Detection
Huawei Technologies(华为技术有限公司)
深度学习(DL)的日益成功最近引发了许多不同行业领域的DL模型的大规模部署。然而,监督模型的一个关键弱点是处理分布外样本的固有困难,即,属于在训练时未呈现给模型的类的样本。本文提出了一种新的方法来制定的分布外检测问题,适合DL模型。我们的方法不需要对训练数据进行微调处理,但对于分布外检测,比现有技术更准确。
2021-07-13 cs.AI cs.LG
Hypercone Assisted Contour Generation for Out-of-Distribution Detection
AI Research, J.P. Morgan Chase & Co.(摩根大通公司人工智能研究部门)
针对分布外检测中分布感知利用不足的问题,提出不做分布假设且自动适应数据分布的HAC$_k$-OOD方法,通过构建超锥近似ID数据轮廓,在CIFAR-100基准上实现近、远OOD检测的SOTA性能。
2025-02-17 cs.CV cs.LG
Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon Web Services(亚马逊云科技)
现有的分布外(OOD)检测方法通常在具有平衡类分布的训练集上进行基准测试。然而,在实际应用中,训练集通常具有长尾分布。在这项工作中,我们首先证明了现有的OOD检测方法通常遭受显着的性能下降时,训练集是长尾分布。通过分析,我们认为这是因为模型很难区分少数尾类分布样本,从真正的OOD样本,使尾类更容易被错误地检测为OOD。为了解决这个问题,我们提出了部分和非对称监督对比学习(PASCL),它明确鼓励模型区分尾类分布样本和OOD样本。为了进一步提高分布内分类的准确性,我们提出了辅助分支微调,它使用BN和分类层的两个独立分支分别进行异常检测和分布内分类。直觉是,分布内和OOD异常数据具有不同的潜在分布。我们的方法优于以前的国家的最先进的方法,$1.29\%$,$1.45\%$,$0.69\%$异常检测假阳性率(FPR)和$3.24\%$,$4.06\%$,$7.89\%$在分布分类准确性分别在CIFAR 10-LT,CIFAR 100-LT和ImageNet-LT。代码和预训练模型可在https://github.com/amazon-research/long-tailed-ood-detection上获得。
2022-07-04 cs.CV cs.LG
Out of Distribution Detection on ImageNet-O
Courant, NYU(纽约大学库朗研究所)
分布外(OOD)检测是使机器学习系统健壮的关键部分。ImageNet-O数据集是测试ImageNet训练的深度神经网络鲁棒性的重要工具,这些网络广泛用于各种系统和应用程序。我们的目标是在ImageNet-O上对OOD检测方法进行比较分析,ImageNet-O是第一个具有与ImageNet不同的标签分布的数据集,它是为了帮助ImageNet模型的OOD检测研究而创建的。由于这个数据集是相当新的,我们的目标是提供一个全面的基准测试的一些最先进的OOD检测方法在这个新的数据集。这个基准测试涵盖了各种模型架构,我们可以事先访问OOD数据的设置,以及基于预测分数的方法,OOD检测的深度生成方法等等。
2022-01-23 cs.CV cs.LG
Out-of-Distribution Detection Without Class Labels
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
分布外检测旨在识别新奇的、偏离标准的样本。已经发现该任务相当具有挑战性,特别是在正常数据分布由多个语义类组成的情况下(例如,多个对象类别)。为了克服这一挑战,目前的方法需要在训练期间提供的正常图像的手动标记。在这项工作中,我们解决了没有类标签的多类新奇检测。我们简单但有效的解决方案包括两个阶段:首先使用无监督聚类发现“伪类”标签。然后使用这些伪类标签,我们能够使用标准的监督分布外检测方法。我们通过与最先进技术的有利比较来验证我们的方法的性能,并提供广泛的分析和消融。
2022-09-22 cs.CV cs.LG
Mining In-distribution Attributes in Outliers for Out-of-distribution Detection
University of Electronic Science and Technology of China(电子科技大学)
本文发现OOD数据常含显著ID属性,提出结构化多视图MVOL框架合理利用而非抑制这些属性,理论验证有效性,实验证明优于现有方法。
2024-12-16 cs.LG stat.ML
Towards In-distribution Compatibility in Out-of-distribution Detection
Zhejiang University(浙江大学);Tencent Data Platform(腾讯数据平台部);Ningbo Zhoushan Port Group Co.,Ltd.(宁波舟山港集团有限公司)
深度神经网络尽管具有区分目标分布内样本的显著能力,但在检测异常分布外数据时表现不佳。为了解决这个缺陷,最先进的解决方案选择在离群值的辅助数据集上训练深度网络。基于启发式直觉,提出了这些辅助离群值的各种训练标准。然而,我们发现这些直观设计的离群值训练标准可能会损害分布内学习并最终导致较差的性能。为此,我们确定了三个原因的分布不相容:矛盾梯度,假似然,和分布偏移。基于我们的新认识,我们提出了一种新的分布外检测方法,通过调整深度模型的顶层设计和损失函数。我们的方法实现了在分布的兼容性,通过追求较少的干扰分布特征的概率特性。在几个基准测试中,我们的方法不仅达到了最先进的分布外检测性能,而且提高了分布内的准确性。
2022-08-29 cs.CV cs.LG
Learning Confidence for Out-of-Distribution Detection in Neural Networks
University of Guelph(圭尔夫大学);Vector Institute(向量研究所)
现代神经网络是非常强大的预测模型,但它们通常无法识别它们的预测何时可能是错误的。与此密切相关的是分布外检测的任务,其中网络必须确定输入是否在预期安全执行的集合之外。为了共同解决这些问题,我们提出了一种学习神经网络的置信度估计的方法,该方法易于实现并产生直观可解释的输出。我们证明,在任务的分布检测,我们的技术优于最近提出的技术,构建信心的基础上,网络的输出分布,而不需要任何额外的标签或访问的分布外的例子。此外,我们解决的问题,校准的分布检测器,在那里我们证明,错误分类的分布的例子可以用作代理的分布的例子。
2018-02-13 cs.LG stat.ML
Partial Wasserstein and Maximum Mean Discrepancy distances for bridging the gap between outlier detection and drift detection
MathInf GmbH(MathInf有限公司)
随着机器学习和基于深度学习的应用在实践中的兴起,监控(即验证这些在规范内操作)已成为重要的实际问题。这种监测的一个重要方面是检查输入(或中间体)是否偏离了它们被验证的分布,这可能使测试期间获得的性能保证无效。对此有两种常见的方法。也许,更经典的是离群值检测或新颖性检测,其中,对于单个输入,我们询问它是否是离群值,即极不可能源自参考分布。第二种方法,可能是最近的方法,是考虑大量的输入,并将其分布与参考分布(例如在测试期间采样)进行比较。这在标签漂移检测下完成。在这项工作中,我们通过将给定数量的输入与自动选择的参考分布部分进行比较,弥合了离群值检测和漂移检测之间的差距。
2021-06-28 cs.LG stat.ML
Out-of-Distribution Detection with Deep Nearest Neighbors
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
分发外(OOD)检测是在开放世界中部署机器学习模型的关键任务。基于距离的方法已被证明是有希望的,其中如果测试样品相对远离分布(ID)数据,则将其检测为OOD。然而,现有的方法强加了一个强大的分布假设的基础特征空间,这可能并不总是成立。在本文中,我们探讨了非参数最近邻距离OOD检测,这在很大程度上被忽视的文献中的功效。与以前的工作,我们的方法不施加任何分布假设,因此提供了更强的灵活性和通用性。我们证明了最近邻为基础的OOD检测的有效性在几个基准,并建立优越的性能。在ImageNet-1 k上训练的相同模型下,与强基线SSD+相比,我们的方法将假阳性率(FPR@TPR95)大幅降低了24.77%,SSD+在检测中使用参数化方法Mahalanobis距离。代码可用:https://github.com/deeplearning-wisc/knn-ood。
2022-12-08 cs.CV cs.LG
Meta OOD Learning for Continuously Adaptive OOD Detection
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
本文提出持续自适应分布外检测(CAOOD)设定,并设计元OOD学习(MOL)方法,通过训练阶段学习良好初始化模型,使OOD检测器能在部署时以少量样本快速适应持续偏移的新分布,同时保持ID分类准确率和OOD检测性能。
2023-09-21 cs.CV cs.LG
Model-agnostic out-of-distribution detection using combined statistical tests
Technical University of Denmark(丹麦技术大学);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Corti AI;CEA(法国原子能和替代能源委员会)
我们提出了简单的方法,使用训练生成模型的分布检测。这些技术,基于经典的统计测试,是模型不可知的意义上说,他们可以应用于任何可微生成模型。我们的想法是结合一个经典的参数测试(饶氏评分测试)与最近推出的典型性测试。这两个检验统计量在理论上都是有根据的,并且基于典型性检验的可能性和分数检验的梯度利用不同的信息源。我们表明,使用Fisher方法将它们结合起来,总体上会导致更准确的分布外检验。我们还讨论了铸造的分布检测作为一个统计测试问题的好处,特别注意到,假阳性率控制可以是有价值的实际分布检测。尽管它们的简单性和通用性,这些方法可以与模型特定的分布外检测算法竞争,而无需对分布外进行任何假设。
2022-03-02 cs.LG stat.ML
SIO: Synthetic In-Distribution Data Benefits Out-of-Distribution Detection
Duke University(杜克大学);Air Force Research Laboratory(空军研究实验室)
构建可靠的分布外(OOD)检测器具有挑战性,通常需要在训练期间使用OOD数据。在这项工作中,我们开发了一种数据驱动的方法,该方法与现有的方法不同,并且是对现有方法的补充:我们不使用外部OOD数据,而是通过利用生成模型来充分利用内部分布(ID)训练集来生成额外的合成ID图像。然后,使用一种新的目标来训练分类器,该目标计算真实和合成ID样本的加权损失。我们的训练框架,这是所谓的SIO,作为一个“即插即用”的技术,旨在与现有的和未来的OOD检测算法,包括那些利用现有的OOD训练数据兼容。我们在CIFAR-10、CIFAR-100和ImageNet变体上的实验表明,SIO始终如一地提高了几乎所有最先进的(SOTA)OOD检测算法的性能。例如,在具有挑战性的CIFAR-10与在CIFAR-100检测问题上,SIO将现有的18种方法的平均OOD检测AUROC从86.25%提高到89.04%,达到了OpenOOD基准测试的92.94%的新SOTA。代码可在https://github.com/zjysteven/SIO上获得。
2023-03-25 cs.CV cs.LG
A Benchmark for Out of Distribution Detection in Point Cloud 3D Semantic Segmentation
Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用技术大学);University of Groningen(格罗宁根大学)
自动驾驶等安全关键型应用使用深度神经网络(DNN)进行目标检测和分割。DNN无法预测何时观察到导致灾难性后果的分布外(OOD)输入。现有的OOD检测方法被广泛研究的图像输入,但没有探索太多的激光雷达输入。因此,在这项研究中,我们提出了两个数据集的基准OOD检测在三维语义分割。我们使用了最大Softmax概率和熵得分,这些得分是使用RandLA-Net的深度集成和Flipout版本生成的。我们观察到Deep Ensembles在OOD检测中执行Flipout模型,两个数据集的AUROC得分都更高。
2022-11-11 cs.CV cs.LG
Exploring Covariate and Concept Shift for Detection and Calibration of Out-of-Distribution Data
Georgia Institute of Technology(佐治亚理工学院);Samsung Research America(三星美国研究院)
超越对分布内数据的测试,对分布外(OOD)检测的工作最近越来越受欢迎。最近尝试对OOD数据进行分类,引入了近和远OOD检测的概念。具体而言,现有的作品定义的OOD数据的检测难度方面的特点。我们建议使用两种类型的分布偏移来表征OOD数据的频谱:协变量偏移和概念偏移,其中协变量偏移对应于风格的变化,例如,噪音和概念转移表明语义的变化。这种特性表明,对每种类型的偏移的灵敏度对于OOD数据的检测和置信度校准是重要的。因此,我们研究了捕获对每种类型的数据集偏移的敏感性的评分函数以及改进它们的方法。为此,我们从理论上推导出两个得分函数OOD检测,协变量偏移得分和概念偏移得分,基于KL-分歧的分解,这两个得分,并提出了一个几何启发的方法(几何ODIN),以提高OOD检测下的两个移位,只有在分布数据。此外,所提出的方法自然会导致一个富有表现力的事后校准函数,该函数在分布内和分布外数据上都具有最先进的校准性能。我们是第一个提出一种方法,以及在OOD检测和校准,并根据不同类型的变化。在https://sites.google.com/view/geometric-decomposition上查看项目页面。
2021-11-21 cs.CV cs.LG
Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities
University of Tübingen(图宾根大学)
在可信机器学习中,识别与分布任务无关的分布外输入是一个重要问题。近年来提出了许多分布外检测方法。本文的目标是识别共同的目标,以及确定不同的OOD检测方法的隐式评分功能。我们专注于在训练过程中使用替代OOD数据的方法的子类,以学习在测试时推广到新的看不见的外分布的OOD检测分数。我们表明,二进制歧视和(不同的)外分布相当于几个不同的配方的OOD检测问题。当使用标准分类器以共享方式进行训练时,该二进制分类器达到了与离群值暴露类似的OOD检测性能。此外,我们证明了离群值暴露所使用的置信度损失具有隐式评分函数,该函数在训练和测试外分布相同的情况下以非平凡的方式不同于理论上的最佳评分函数,这再次类似于训练基于能量的OOD检测器或添加背景类时所使用的评分函数。在实践中,当以完全相同的方式训练时,所有这些方法的表现都是相似的。
2022-06-20 cs.CV cs.LG
Robust Out-of-distribution Detection for Neural Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google(谷歌)
检测分发外(OOD)输入对于在现实世界中安全部署深度学习模型至关重要。现有的方法,用于检测OOD的例子工作时,良性的分布和OOD样本进行评估。然而,在本文中,我们表明,现有的检测机制可以是非常脆弱的评估时,在分布和OOD输入与最小的对抗扰动,不改变其语义。形式上,我们广泛研究了常见OOD检测方法上的鲁棒分布外检测问题,并表明通过向分布内和OOD输入添加小扰动,可以很容易地欺骗最先进的OOD检测器。为了应对这些威胁,我们提出了一种名为ALOE的有效算法,该算法通过将模型暴露给对抗性制作的内点和离群点示例来进行鲁棒训练。我们的方法可以灵活地与现有的方法相结合,并使其具有鲁棒性。在常见的基准数据集上,我们表明ALOE大大提高了最先进的OOD检测的鲁棒性,在CIFAR-10上AUROC提高了58.4%,在CIFAR-100上提高了46.59%。
2021-12-09 cs.LG stat.ML
Topology-Matching Normalizing Flows for Out-of-Distribution Detection in Robot Learning
Technical University of Munich (TUM)(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出一种基于类条件基分布与信息论目标训练的拓扑匹配归一化流方法,用于机器人学习中的分布外检测,在密度估计和2D目标检测基准上优于基线,并验证了真实机器人部署的可行性。
2023-11-11 cs.LG cs.RO
Out-of-distribution detection using normalizing flows on the data manifold
针对归一化流因维数灾难在分布外检测中易失败的问题,提出结合低维流形距离与数据复杂度似然度量的新准则,无需修改模型或引入辅助数据即显著提升检测能力。
2025-01-29 cs.CV cs.LG
Riemannian geometry for Compound Gaussian distributions: application to recursive change detection
University Savoie Mont-Blanc(萨瓦大学-勃朗峰大学);CentraleSupelec(巴黎中央理工-高等电力学院);University of Bordeaux(波尔多大学);CNRS(法国国家科学研究中心)
提出了一种新的复合高斯分布的黎曼几何。特别是,获得了费舍尔信息度量以及相应的测地线和距离函数。这种新的几何应用于多变量图像时间序列的变化检测问题:基于黎曼优化的递归方法。如模拟数据所示,它可以达到最佳性能,同时在计算上更有效。
2020-05-20 cs.LG stat.ML
Sparse Autoencoders for Interpretable Out-of-Distribution Detection
Purdue University(普渡大学);EPFL(洛桑联邦理工学院)
研究如何可靠检测分布外样本,利用稀疏自编码器从神经网络中间激活中学习可解释特征,通过余弦相似度得出OOD分数,该方法在检测基准上性能领先且能提供可解释见解。
2026-07-15 cs.AI cs.LG
WOOD: Wasserstein-based Out-of-Distribution Detection
University of Michigan(密歇根大学)
基于深度神经网络的分类器的训练和测试数据通常被假设为从相同的分布中采样。当测试样本的一部分从与训练样本的分布足够远的分布中提取时(也称为分布外(OOD)样本),训练的神经网络具有对这些OOD样本进行高置信度预测的趋势。在训练用于图像分类、目标检测等的神经网络时,OOD样本的检测是至关重要的。它可以增强分类器对无关输入的鲁棒性,并提高系统在不同形式的攻击下的弹性和安全性。OOD样本的检测具有三个主要挑战:(i)所提出的OOD检测方法应当与分类器的各种架构(例如,DenseNet,ResNet),而不会显着增加模型的复杂性和对计算资源的要求;(ii)OOD样本可能来自多个分布,其类标签通常不可用;(iii)需要定义一个评分函数,以有效地将OOD样本与分布内(InD)样本分开。为了克服这些挑战,我们提出了一种基于Wasserstein的分布外检测(WOOD)方法。其基本思想是定义一个基于Wasserstein距离的分数,该分数评估测试样本与InD样本分布之间的相异性。一个优化问题,然后制定和解决建议的评分函数的基础上。研究了该方法的统计学习界,以保证经验优化器获得的损失值接近全局最优值。比较研究结果表明,提出的WOOD始终优于其他现有的OOD检测方法。
2021-12-13 cs.LG stat.ML
On the Impact of Spurious Correlation for Out-of-distribution Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现代神经网络可以为来自训练分布外部的输入分配高置信度,从而对现实世界部署中的模型构成威胁。虽然许多研究的重点放在设计新的OOD检测方法上,但OOD的精确定义往往是模糊的,并且与现实中所期望的OOD概念不符。在本文中,我们提出了一个新的形式化和模型的数据转移,同时考虑到不变和环境(虚假)的功能。在这种形式化下,我们系统地研究了训练集中的虚假相关性如何影响OOD检测。我们的研究结果表明,当训练集中虚假特征和标签之间的相关性增加时,检测性能会严重恶化。我们进一步展示了更有效地减少虚假相关影响的检测方法的见解,并提供了理论分析为什么依赖环境特征导致高OOD检测错误。我们的工作旨在促进更好地理解OOD样本及其形式化,以及探索增强OOD检测的方法。
2021-09-12 cs.AI cs.LG
Understanding the properties and limitations of contrastive learning for Out-of-Distribution detection
University of Bristol(布里斯托大学)
最近流行的一种用于分布外(OOD)检测的方法是基于被称为对比学习的自监督学习技术。对比学习有两个主要的变体,即实例和类区分,前者可以区分不同实例的目标特征,后者可以区分不同的类。在本文中,我们的目的是了解现有的对比学习方法的有效性和局限性,面向对象的检测。我们从三个方面着手。首先,我们系统地研究了在不同的OOD检测设置下,实例判别和监督对比学习变体之间的性能差异。第二,我们研究的分布(ID)类OOD数据往往被分类。最后,我们研究了不同的对比学习方法的光谱衰减特性,并研究了它与OOD检测性能的关系。在ID和OOD数据集彼此足够不同的情况下,我们看到在没有微调的情况下,实例歧视与OOD检测中的监督方法具有竞争力。我们看到,OOD样本倾向于被分类到具有与整个数据集的分布类似的分布的类中。此外,我们表明,对比学习学习的特征空间,包含奇异向量,包含几个方向具有高方差,这可能是有害的或有益的OOD检测取决于所使用的推理方法。
2022-11-06 cs.CV cs.LG
Contrastive Training for Improved Out-of-Distribution Detection
Google Health(谷歌健康);DeepMind
可靠地检测分布外(OOD)输入越来越被理解为部署机器学习系统的先决条件。本文提出并研究了使用对比训练来提高OOD检测性能。与领先的OOD检测方法不同,我们的方法不需要访问明确标记为OOD的示例,这在实践中可能很难收集。我们在大量的实验中表明,对比训练显着有助于OOD检测性能的一些常见的基准。通过引入和采用混淆对数概率(CLP)得分,通过捕获内点和离群点数据集的相似性来量化OOD检测任务的难度,我们表明我们的方法特别提高了“近OOD”类的性能-这是以前方法的一个特别具有挑战性的设置。
2020-07-10 cs.LG stat.ML
Soft Labeling Affects Out-of-Distribution Detection of Deep Neural Networks
Pohang University of Science and Technology(浦项科技大学);Kakao Brain
软标记成为深度神经网络泛化和模型压缩的常用输出正则化。然而,软标记对分布外(OOD)检测的影响,这是机器学习安全的一个重要课题,没有被探索。在这项研究中,我们表明,软标记可以确定OOD检测性能。具体来说,如何通过软标记来正则化不正确类的输出可以恶化或改善OOD检测。基于实证结果,我们假设了OOD鲁棒DNN的未来工作:通过软标记进行适当的输出正则化可以构建OOD鲁棒DNN,而无需额外训练OOD样本或修改模型,同时提高分类精度。
2020-07-07 cs.LG stat.ML
Distribution-free changepoint localization after sequential change detection
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种无分布框架,在停止顺序变化检测程序后构建变化点的后检测置信集,无需任何分布假设,并保证了有限样本覆盖率和渐近有界期望大小。
2026-07-08 cs.LG stat.ME stat.ML
Out-of-Distribution Detection using Multiple Semantic Label Representations
Bar-Ilan University(巴伊兰大学)
深度神经网络是强大的模型,在各种任务上都取得了显著的成果。当训练和测试数据来自同一分布时,这些模型被证明是非常有效的。然而,目前尚不清楚当网络被提供了一个分布外的例子时,它将如何行动。本文研究了神经网络中的分布外检测问题。我们建议使用多个语义密集表示而不是稀疏表示作为目标标签。具体来说,我们建议使用从不同的语料库或架构中获得的几个单词表示作为目标标签。我们评估了所提出的模型对计算机视觉和语音命令检测任务,并将其与以前的方法进行了比较。结果表明,我们的方法与以前的工作相比,毫不逊色。此外,我们提出了我们的方法检测错误分类和对抗性的例子的效率。
2019-01-10 cs.LG stat.ML
Class-wise Thresholding for Robust Out-of-Distribution Detection
University of California, Berkeley(加州大学伯克利分校);EURECOM(欧洲通信学院);University of Chicago(芝加哥大学)
我们考虑了使用深度神经网络时检测OoD(Out-of-Distribution)输入数据的问题,并提出了一种简单而有效的方法来提高几种流行的OoD检测方法对标签偏移的鲁棒性。我们的工作是出于观察,大多数现有的OoD检测算法考虑所有的训练/测试数据作为一个整体,无论哪个类条目每个输入激活(类间差异)。通过广泛的实验,我们发现这种做法导致检测器的性能是敏感的,易受标签偏移。为了解决这个问题,我们提出了一个类的阈值方案,可以适用于大多数现有的OoD检测算法,并可以保持类似的OoD检测性能,即使在测试分布中存在标签偏移。
2022-07-01 cs.AI cs.LG
Is Out-of-Distribution Detection Learnable?
University of Technology Sydney(悉尼科技大学);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Hong Kong Baptist University(香港浸会大学);ETH Zurich(苏黎世联邦理工学院);University of Melbourne(墨尔本大学)
监督学习的目标是在假设训练数据和测试数据来自相同分布的情况下训练分类器。为了缓解上述假设,研究人员研究了一种更现实的设置:分布外(OOD)检测,其中测试数据可能来自训练期间未知的类(即,OOD数据)。由于面向对象数据的不可获得性和多样性,良好的泛化能力是有效的面向对象检测算法的关键。为了研究面向对象检测的泛化问题,本文研究了面向对象检测的可能近似正确(PAC)学习理论。首先,我们找到了OOD检测的可学习性的必要条件。然后,利用这个条件,我们证明了几个不可能定理的学习OOD检测在某些情况下。虽然不可能性定理是令人沮丧的,我们发现,这些不可能性定理的某些条件可能不成立,在某些实际情况下。基于这一观察,我们接下来给出了几个充分必要条件来描述OOD检测在一些实际场景中的可学习性。最后,本文还对几个典型的面向对象检测工作提供了理论支持。
2023-02-23 cs.LG stat.ML