Mahalanobis-Guided Latent OOD Detection for Hybrid ES-DRL Control in Time-Varying Systems
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of New Mexico(新墨西哥大学)
针对时变系统中强化学习控制器性能下降问题,提出基于变分自编码器潜在空间马氏距离的分布外检测方法,实现与极值搜索控制器的自适应切换,并在粒子加速器控制中验证有效性。
2026-06-16 cs.LG cs.SY eess.SY
No True State-of-the-Art? OOD Detection Methods are Inconsistent across Datasets
Stanford University(斯坦福大学)
分布外检测是可靠ML系统的重要组成部分。现有文献已经提出了各种方法(例如,MSP(Hendrycks & Gimpel,2017),ODIN(Liang等人,2018)、Mahalanobis(Lee等人,2018)),声称它们是最先进的,通过显示它们在选定的一组分布内(ID)和分布外(OOD)数据集上优于以前的方法。在这项工作中,我们表明,没有这些方法是固有的更好地在OOD检测比其他标准化的一组16(ID,OOD)对。我们给出了可能的解释,这些不一致的简单的玩具数据集,其中一种方法是否优于另一种方法取决于结构的ID和OOD数据集的问题。最后,我们表明,一个方法优于另一个在一定的(ID,OOD)对可能不会这样做,在低数据制度。在低数据的制度,我们提出了一种基于距离的方法,成对OOD检测(POD),这是基于暹罗网络和Mahalanobis通过回避昂贵的协方差估计步骤。我们的研究结果表明,OOD检测问题可能过于广泛,我们应该考虑更具体的杠杆结构。
2021-09-12 cs.LG
Don't Collapse Your Features: Why CenterLoss Hurts OOD Detection and Multi-Scale Mahalanobis Wins
Department of Electronics and Electrical Engineering(电子与电气工程系)
本文提出GOEN方法,通过多尺度特征、L2归一化、Mahalanobis距离和校准头来提升OOD检测性能,发现CenterLoss会降低OOD检测性能,而GOEN-NoCenterLoss在CIFAR-10基准上表现优于其他基线方法。
2026-04-10 cs.AI cs.CV cs.LG
ReMaD: Tuning-free Domain Adaptation for Classification and Out-of-Distribution Detection
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出ReMaD方法,利用降秩马氏距离对预训练模型进行无需微调的域自适应,在分类和分布外检测中取得竞争性能。
2026-10-06 cs.LG
A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection
Electrical and Computer Engineering Department(电气与计算机工程系);Duke University(杜克大学);Statistics Department(统计学系);Stanford University(斯坦福大学);Wu Tsai Neurosciences Institute(吴泰教授神经科学研究所)
本文通过建立贝叶斯非参数模型与相对马氏距离评分(RMDS)之间的形式关系,提出具有分层先验的贝叶斯非参数混合模型来推广RMDS,并在OpenOOD基准上证明其在训练类协方差结构不同且每类数据点较少时优于现有方法。
2026-05-27 cs.LG stat.ML
Gradient-based Novelty Detection Boosted by Self-supervised Binary Classification
Arizona State University(亚利桑那州立大学);Oak Ridge National Laboratory(橡树岭国家实验室);Pacific Northwest National Laboratory(太平洋西北国家实验室)
新颖性检测的目的是自动识别出的分布(OOD)的数据,没有任何先验知识。它是数据监控、行为分析和其他应用程序的关键步骤,有助于在该领域实现持续学习。传统的OOD检测方法对数据或特征的集合进行多变量分析,通常采用OOD数据的监督来提高准确性。实际上,这种监督是不切实际的,因为人们无法预测异常数据。在本文中,我们提出了一种新的,自我监督的方法,不依赖于任何预定义的OOD数据:(1)新方法评估的Mahalanobis距离之间的梯度分布和OOD数据。(2)它是由一个自监督的二元分类器辅助,以指导标签选择产生的梯度,并最大化马氏距离。在使用CIFAR-10,CIFAR-100,SVHN和TinyImageNet等多个数据集进行评估时,所提出的方法在接收器操作特征下的区域(AUROC)和精确度-召回曲线下的区域(AUPR)度量方面始终优于最先进的监督和无监督方法。我们进一步证明,该检测器是能够准确地学习一个OOD类在持续学习。
2021-12-18 cs.LG
MaRS: Robust Out-of-Distribution Detection via Mahalanobis Residual Scoring
xAILab Bamberg, University of Bamberg, Germany(班贝格大学 xAILab 班贝格实验室,德国)
提出MaRS方法,利用轻量自编码器学习分布内流形,通过马氏距离度量重建残差,实现方差感知的分布外检测,在多种医学影像模态和分布偏移下优于现有基线。
2026-06-29 cs.CV cs.LG eess.IV
Mahalanobis-Aware Training for Out-of-Distribution Detection
Northeastern University(东北大学);STR(STR公司)
本文提出马氏距离感知的新型损失函数与训练方案,以增强网络基于密度的 OOD 敏感性,并在 CIFAR-10 的 far-OOD 任务上将相对马氏距离方法误报率降低逾 50%。
2023-11-01 cs.LG
Gaussian Latent Representations for Uncertainty Estimation using Mahalanobis Distance in Deep Classifiers
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Georgia Tech Europe(佐治亚理工学院欧洲校区);Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人学与控制论研究所);Czech Technical University in Prague(布拉格捷克理工大学)
针对基于马氏距离的不确定性与 OOD 检测,本文提出自监督多高斯潜在表示正则化方法,以极小架构和推理开销取得最先进 OOD 检测及有竞争力的校准效果。
2023-09-29 cs.CV cs.LG
Is Complex Training Necessary for Long-Tailed OOD Detection? A Re-think from Feature Geometry
Nanjing Normal University(南京师范大学)
本文重新审视长尾分布外检测问题,提出通过特征几何方法简化检测过程,改进Mahalanobis距离计算,提升检测性能。
2026-05-18 cs.CV cs.LG
Toxicity Assessment in Preclinical Histopathology via Class-Aware Mahalanobis Distance for Known and Novel Anomalies
Tübingen AI Center, University of Tübingen(图宾根大学图宾根人工智能中心);Boehringer Ingelheim Pharma GmbH and Co.(勃林格殷格翰制药有限公司);Boehringer Ingelheim GmbH(勃林格殷格翰公司)
提出基于AI的异常检测框架,利用类别感知马氏距离和LoRA微调DINOv2,在啮齿动物肝脏全切片图像中识别健康组织、已知病理和分布外异常,实现像素级检测,降低假阴性和假阳性率。
2026-07-01 cs.AI cs.CV cs.LG
Learning Hyperspherical Time-Frequency Representations for Time-Series Out-of-Distribution Detection
Technology Innovation Institute(技术创新研究所);Khalifa University(哈利法大学)
本文提出一种基于超球面嵌入的表示学习方法,通过von Mises-Fisher目标函数结合时频域编码器,实现时间序列的分布外检测,在UCR和UEA数据集上优于对比学习和后处理方法。
2026-05-29 cs.LG
Why Out-of-distribution Detection in CNNs Does Not Like Mahalanobis -- and What to Use Instead
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
应用于真实世界分类任务的卷积神经网络需要识别相对于已知或训练数据远离或分布外(OoD)的输入。为了实现这一点,许多方法估计类条件后验概率,并使用从后验分布获得的置信度得分。最近的工作提出使用多变量高斯分布作为CNN的不同层处的后验分布的模型(即,对于低级和高级特征),这导致基于Mahalanobis距离的置信度分数。然而,这个过程涉及到使用不足够数量的观测值来估计高维数据中的概率密度(例如,ResNet-101模型中最后两层的特征维数分别为2048和1024,约为1024)。用于估计密度的每类1000个观测值)。在这项工作中,我们希望解决这个问题。我们发现,在许多高维数据的OoD研究中,基于LOF(局部离群因子)的方法优于基于参数的马氏距离方法。这促使我们提出了非参数的,基于LOF的方法来生成CNN的置信度得分。我们进行了几项可行性研究,涉及ResNet-101和EffcientNet-B3,基于CIFAR-10和ImageNet(作为已知数据),以及CIFAR-100,SVHN,ImageNet 2010,Places 365或ImageNet-O(作为离群值)。我们证明,非参数LOF的置信估计可以改善目前基于马氏SOTA或以更简单的方式获得类似的性能。
2021-10-13 cs.CV cs.LG
Uncertainty quantification for multiclass data description
University of Florida(佛罗里达大学)
本文提出了一种基于核马氏距离的多类数据描述模型(MDD-KM),该模型具有自适应超参数设置。MDD-KM提供了不确定性量化,并可用于为测试数据中存在分布外(OOD)样本的实际情况构建分类系统。给定测试信号,计算与信号和每个训练类之间的经验核Mahalanobis距离相关的量。由于这些量对应于相同的再生核希尔伯特空间,它们是可量化的,因此可以容易地被视为分类分数,而无需进一步应用融合技术。为了设置内核参数,我们利用的事实,即预测方差根据高斯过程(GP)是经验内核马氏距离时,使用集中式内核,并建议使用GP的负似然函数作为成本函数。我们对鸟类音符分类的实际问题进行了实验。我们报告了一个原型分类系统的基础上的层次线性动力系统MDD-KM作为一个组件。我们的分类系统不需要声音事件检测作为预处理步骤,并且能够在测试音频剪辑中的OOD样本(对应于不感兴趣的未知音符)中找到具有不同长度的训练鸟类音符的实例。利用领域知识从原始分类分数中做出明确的决策。我们证明了MDD-KM优于可能性K-最近邻的性能。
2021-08-29 cs.LG
MM++: Post-Hoc Scale-Invariant Multilayer OOD Detection via Top-K Gated Feature Fusion
School of Computing, State University of New York at Binghamton(纽约州立大学宾汉姆顿分校计算机学院)
提出MM++框架,通过熵密度下降识别判别性中间层,结合Ledoit-Wolf正则化协方差矩阵实现无监督、后处理、尺度不变的多层OOD检测,在近/远OOD场景中表现鲁棒。
2026-09-03 cs.CV cs.LG
Iterative Deployment Exposure for Unsupervised Out-of-Distribution Detection
University of Bern(伯恩大学);University of Bonn(波恩大学)
针对现有无监督分布外检测方法忽略部署后积累特定任务OOD样本的问题,提出更贴合实际的迭代部署暴露设置与CSO方法,结合马氏距离、最近邻及置信度缩放少样本检测器,在三种医学影像模态上显著优于强基线。
2025-05-19 cs.CV cs.LG
Out-of-Distribution Detection with Deep Nearest Neighbors
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
分发外(OOD)检测是在开放世界中部署机器学习模型的关键任务。基于距离的方法已被证明是有希望的,其中如果测试样品相对远离分布(ID)数据,则将其检测为OOD。然而,现有的方法强加了一个强大的分布假设的基础特征空间,这可能并不总是成立。在本文中,我们探讨了非参数最近邻距离OOD检测,这在很大程度上被忽视的文献中的功效。与以前的工作,我们的方法不施加任何分布假设,因此提供了更强的灵活性和通用性。我们证明了最近邻为基础的OOD检测的有效性在几个基准,并建立优越的性能。在ImageNet-1 k上训练的相同模型下,与强基线SSD+相比,我们的方法将假阳性率(FPR@TPR95)大幅降低了24.77%,SSD+在检测中使用参数化方法Mahalanobis距离。代码可用:https://github.com/deeplearning-wisc/knn-ood。
2022-12-08 cs.CV cs.LG
Out-of-Distribution Detection via Channelwise Feature Aggregation in Neural Network-Based Receivers
Nokia Networks(诺基亚网络);Nokia Bell Labs(诺基亚贝尔实验室);University of Eastern Finland(东芬兰大学)
本文提出基于通道特征聚合的神经网络接收机分布外检测方法,通过逐层分析提升检测性能,尤其在高延迟OOD检测中表现优异,但高速度检测仍面临挑战。
2026-01-14 cs.LG eess.SP
Improving Out-of-Distribution Detection in Echocardiographic View Classication through Enhancing Semantic Features
Ontact Health(昂泰克健康);Yonsei University College of Medicine(延世大学医学院);CONNECT-AI Research Center, Yonsei University College of Medicine(延世大学医学院CONNECT-AI研究中心);Seoul National University Bundang Hospital(首尔大学盆唐医院);Severance Cardiovascular Hospital, Yonsei University Health System(延世大学医疗系统世福兰斯心血管医院)
针对超声心动图视图分类中分布外数据检测难题,提出利用标签平滑增强语义特征表示,并结合马氏距离方法,显著提升了近OOD实例检测的准确性并建立新基准。
2023-11-24 cs.HC cs.LG eess.SP
Bounding Box Anomaly Scoring for simple and efficient Out-of-Distribution detection
Université Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、 Grenoble INP、LJK实验室)
本文提出BBAS方法,通过边界框抽象实现分布外检测,利用区间超限、适应卷积层的变量和解耦聚类与框构建,提供更丰富的多层表示,实现在保持简洁性和紧凑性的同时有效分离分布内和分布外样本。
2026-03-24 cs.LG
Evaluating Reliability in Medical DNNs: A Critical Analysis of Feature and Confidence-Based OOD Detection
University of Oxford(牛津大学);Imperial College London(伦敦帝国学院);University of Birmingham(伯明翰大学)
本文通过构建含伪影的医学OOD基准,发现OOD伪影可能提高模型置信度,解释了基于特征的方法在OOD检测上优于基于置信度的方法,并建议在DNN流程中结合两者以弥补各自不足。
2024-08-30 cs.CV cs.LG
Distance-based detection of out-of-distribution silent failures for Covid-19 lung lesion segmentation
Darmstadt University of Technology(达姆施塔特工业大学);Uniklinik Frankfurt(法兰克福大学医院)
在胸部计算机断层扫描(CT)扫描中自动分割毛玻璃样阴影和实变,可能会在资源利用率高的时候减轻放射科医生的负担。然而,深度学习模型在临床常规中不受信任,因为它会在分发外(OOD)数据上悄无声息地失败。我们提出了一种轻量级的OOD检测方法,该方法利用特征空间中的Mahalanobis距离,并无缝集成到最先进的分割管道中。这种简单的方法甚至可以通过临床相关的不确定性量化来增强预训练模型。我们通过四个胸部CT分布变化和两个磁共振成像应用(即海马和前列腺的分割)验证了我们的方法。我们的研究结果表明,该方法有效地检测远和近OOD样本在所有探索的情况。
2022-08-05 cs.CV cs.LG eess.IV
Task Agnostic and Post-hoc Unseen Distribution Detection
KAIST(韩国科学技术院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
尽管最近在分布外(OOD)检测、异常检测和不确定性估计任务方面取得了进展,但不存在任务不可知和事后方法。为了解决这一限制,我们设计了一种新的基于聚类的集成方法,称为任务不可知和事后不可见分布检测(TAPUDD),该方法利用从特定任务训练的模型中提取的特征。它由TAP-Mahalanobis组成,它对训练数据集的特征进行聚类,并确定测试样本与所有聚类的最小Mahalanobis距离。此外,我们提出了Ensembling模块,聚合不同数量的集群的迭代TAP-Mahalanobis的计算,以提供可靠和高效的集群计算。通过对合成数据集和真实数据集的广泛实验,我们观察到我们的方法可以在不同的任务中有效地检测看不见的样本,并且表现得更好或与现有基线相当。为此,我们消除了确定聚类数的最佳值的必要性,并证明了我们的方法对于大规模分类任务更可行。
2022-07-26 cs.AI cs.CV cs.LG
Outlier Exposure with Confidence Control for Out-of-Distribution Detection
University of Southern California(南加州大学)
深度神经网络在过去几年中在分类任务中取得了巨大成功。然而,通往人工智能的道路的一个主要问题是神经网络不能准确地从新的类分布中检测样本,因此,大多数现有的分类算法假设所有类在训练阶段之前都是已知的。在这项工作中,我们提出了一种方法来训练一个神经网络,使其能够有效地检测出的分布(OOD)的例子,而不损害其分类精度的测试样本从已知的类。我们提出了一种新的损失函数,产生了一种新的方法,离群暴露与置信度控制(OECC),它实现了卓越的结果,在OOD检测与OE的图像和文本分类任务,而不需要访问OOD样本。此外,我们通过实验表明,OECC与最先进的训练后OOD检测方法(如Mahalanobis检测器(MD)和Gramian矩阵(GM)方法)相结合,进一步提高了它们在OOD检测任务中的性能,展示了将训练和训练后方法相结合进行OOD检测的潜力。
2021-02-02 cs.CV cs.LG stat.ML
Scaling Pretrained Representations Enables Label-Free Out-of-Distribution Detection Without Fine-Tuning
Department of Electrical and Computer Engineering(电气与计算机工程系);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Computer Science(计算机科学系);Cornell University(康奈尔大学);Department of Aerospace Engineering and Engineering Mechanics(航空航天工程与工程力学系)
本文研究了通过扩展预训练表示实现无需微调的无标签分布外检测,展示了冻结表示的几何结构对检测性能的影响,证明了在不同任务中,表示质量提升可提高检测效果。
2026-05-07 cs.LG
MGSB: Manifold Gated Signature Branch Pressure-Domain Baseline Architecture for Two-Phase Pipeline Flows Under Distributional Shift
针对多相管道泄漏检测模型在流型转换时性能下降的问题,提出MGSB架构,结合流型条件特征融合等技术,在分布偏移下的泄漏检测性能优于基线模型,为工业多相管道鲁棒泄漏检测提供可行路径。
2026-08-06 cs.LG
The Invisible Gorilla Effect in Out-of-distribution Detection
Department of Engineering Science, University of Oxford(工程科学系,牛津大学)
本文发现分布外检测中存在隐形大猩猩效应,即当异常检测对象与模型感兴趣区域在视觉上相似时,检测性能会提高,揭示了OOD检测中的潜在失败模式。
2026-02-23 cs.CV cs.LG
Out of Distribution Detection and Adversarial Attacks on Deep Neural Networks for Robust Medical Image Analysis
African Institute for Mathematical Sciences(非洲数学科学研究所);Stanford University(斯坦福大学)
深度学习模型已成为医学图像分析的热门选择。然而,深度学习模型的泛化性能较差,限制了它们在现实世界中的部署,因为鲁棒性对于医疗应用至关重要。例如,最先进的卷积神经网络(CNN)无法检测对抗样本或在统计上远离训练分布的样本。在这项工作中,我们实验评估的鲁棒性的Mahalanobis距离为基础的置信分数,一个简单而有效的方法来检测异常的输入样本,在分类疟疾寄生细胞和未感染的细胞。结果表明,Mahalanobis置信分数检测器表现出深度学习模型的性能和鲁棒性的改进,并在分布外(OOD)和对抗样本上实现了最先进的性能。
2021-07-10 cs.CV cs.LG eess.IV
Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks
Google Research, Brain Team(谷歌研究院,Brain团队)
现代神经网络中预测不确定性的准确估计对于实现良好校准的预测和检测分布外(OOD)输入至关重要。最有前途的方法主要集中在改善模型不确定性(例如深度集合和贝叶斯神经网络)和OOD检测的后处理技术(例如ODIN和Mahalanobis距离)。然而,有相对较少的调查如何参数化的概率在判别分类器影响的不确定性估计,和占主导地位的方法,softmax交叉熵,导致误导性的高置信度OOD数据和下协变量偏移。我们研究了使用(1)一对一的公式来捕捉“以上都没有”的概念,以及(2)基于距离的logit表示来将不确定性编码为到训练流形的距离的函数来制定概率的替代方法。我们表明,一对多的公式可以提高图像分类任务的校准,同时匹配softmax的预测性能,而不会产生任何额外的训练或测试时间复杂度。
2020-07-10 cs.LG stat.ML
Uncertainty Estimation and Out-of-Distribution Detection for LiDAR Scene Semantic Segmentation
Institute of Cartography and Geoinformatics, Leibniz University Hannover(汉诺威莱布尼茨大学制图与地理信息研究所);Institute of Photogrammetry and GeoInformation, Leibniz University Hannover(汉诺威莱布尼茨大学摄影测量与地理信息研究所)
提出一种基于单一确定性模型特征空间拟合GMM的方法,通过马氏距离检测OOD样本并量化认知与偶然不确定性,性能优于深度集成等方法。
2024-10-11 cs.CV cs.LG
Geometrically Constrained Outlier Synthesis
AXA AI Research(AXA人工智能研究);EPFL, Lausanne, Switzerland(瑞士洛桑联邦理工学院);Polish Academy of Science, IBS PAN, Warsaw, Poland(波兰科学院,IBS PAN,华沙,波兰)
提出几何约束异常合成(GCOS)方法,通过在隐藏特征空间中生成受几何约束的虚拟异常样本,结合对比正则化,提升图像分类模型对分布外样本的鲁棒性。
2026-05-26 cs.AI cs.LG
Out-of-distribution detection algorithms for robust insect classification
Iowa State University(爱荷华州立大学)
针对真实农田中分布外图像易导致昆虫分类错误的问题,研究评估了三种外置式OOD检测算法在昆虫分类器上的性能,从基础模型准确率、领域差异度、数据不平衡三个维度展开测试。
2023-05-02 cs.CV cs.LG
A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection
BrainChip Inc.(脑芯片公司)
研究一种新型对抗样本,通过在MNIST、CIFAR-10和ImageNet上实验,回答人类与模型差距、OOD检测工具及现有防御能否应对该样本三个问题,发现人类表现比模型差,现有检测工具失效,经典防御无效,且攻击对低层次纹理破坏更快。
2026-07-28 cs.AI cs.CV cs.LG
Detecting when pre-trained nnU-Net models fail silently for Covid-19 lung lesion segmentation
Darmstadt University of Technology(达姆施塔特工业大学);University Hospital Frankfurt(法兰克福大学医院)
计算机断层扫描中肺部病变的自动分割有可能在新冠肺炎大流行期间减轻临床医生的负担。然而,预测性深度学习模型在临床常规中不受信任,因为它在分发外(OOD)数据中会默默失败。我们提出了一个轻量级的OOD检测方法,利用特征空间中的马氏距离。所提出的方法可以无缝集成到最先进的分割管道中,而不需要改变模型架构或训练过程,因此可以用于评估预训练模型对新数据的适用性。我们使用基于补丁的nnU-Net架构验证了我们的方法,该架构使用多机构数据集进行训练,并发现它可以有效地检测模型错误分割的样本。
2021-07-14 cs.CV cs.LG eess.IV
Generative Adversarial Evasion and Out-of-Distribution Detection for UAV Cyber-Attacks
Faculty of Engineering and Applied Sciences, Cranfield University(工程与应用科学学院,克兰菲尔德大学)
本文提出基于cGAN的框架,用于生成隐蔽的对抗攻击以逃避IDS,并利用CVAE实现对分布外攻击的高效检测。
2026-02-04 cs.AI cs.LG
Optimizing Latent Dimension Allocation in Hierarchical VAEs: Balancing Attenuation and Information Retention for OOD Detection
University of Virginia(弗吉尼亚大学)
本研究针对分层变分自编码器潜在维度分配随意导致的表征无效或后验坍缩问题,提出基于信息论的优化框架,证明固定预算下存在最优分配比例,实验验证其能提升OOD检测性能,为潜在结构设计提供指导。
2025-06-11 cs.LG
In or Out? Fixing ImageNet Out-of-Distribution Detection Evaluation
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
针对 ImageNet-1K 的 OOD 测试集普遍混入 ID 样本、导致评估失真的问题,本文构建经逐样本核验的 NINCO 数据集并结合合成单元测试,系统评估多种架构与方法,揭示模型弱点及预训练影响。
2023-06-01 cs.CV cs.LG
Evaluation of Out-of-Distribution Detection Performance on Autonomous Driving Datasets
Semcon AB(Semcon公司);University of Gothenburg(哥德堡大学);Lund University(隆德大学)
该研究针对高维深度神经网络缺乏验证方法的问题,采用基于马氏距离的分布外分数评估语义分割模型的输出拒识效果,实验证实可在未见过的数据集上以像素覆盖率为代价大幅降低分类风险,为汽车感知领域的DNN安全应用提供支撑。
2024-01-30 cs.CV cs.LG
AHA: Human-Assisted Out-of-Distribution Generalization and Detection
University of Wisconsin Madison(威斯康星大学麦迪逊分校)
本文提出人类辅助框架AHA,通过带噪二分搜索在最大消歧区域内标注数据,同时解决OOD泛化与检测问题,仅需数百标注即显著优于现有无人类辅助方法。
2024-10-10 cs.LG
SSD: A Unified Framework for Self-Supervised Outlier Detection
Princeton University(普林斯顿大学);Purdue University(普渡大学)
我们提出以下问题:设计有效的离群值/分布外(OOD)检测器需要什么训练信息,即,检测远离训练分布的样本?由于许多应用程序都可以轻松访问未标记的数据,因此最引人注目的方法是仅基于未标记的分布数据开发检测器。然而,我们观察到,大多数现有的基于未标记数据的检测器表现不佳,通常相当于随机预测。相比之下,现有的最先进的OOD检测器实现了令人印象深刻的性能,但需要访问细粒度的数据标签进行监督训练。我们提出了SSD,一个离群检测器的基础上,只有未标记的分布数据。我们使用自监督表示学习,然后在特征空间中进行基于马氏距离的检测。我们证明,SSD优于大多数现有的检测器的基础上未标记的数据由一个很大的利润。此外,SSD甚至达到了与基于监督训练的检测器相当的性能,有时甚至更好。最后,我们扩展我们的检测框架与两个关键的扩展。首先,我们制定了Few-Shot OOD检测,其中检测器只能访问目标OOD数据集的每个类中的一到五个样本。其次,我们扩展我们的框架,将训练数据标签,如果可用的话。我们发现,我们的新的检测框架的基础上SSD显示增强的性能与这些扩展,并实现了最先进的性能。我们的代码可在https://github.com/inspire-group/SSD上公开获取。
2021-03-22 cs.AI cs.CV cs.LG
Falsehoods that ML researchers believe about OOD detection
University of Cambridge(剑桥大学)
检测分布外(OOD)数据的一种直观方法是通过拟合概率生成模型的密度函数:密度低的点可以被归类为OOD。但在深度学习环境中,这种方法被发现是失败的。在本文中,我们列出了一些机器学习研究人员认为基于密度的OOD检测的错误。许多最近的作品提出了似然比为基础的方法来“修复”的问题。我们提出了一个框架,面向对象的代理框架,统一这些方法,我们认为,似然比是一个原则性的方法,面向对象的检测,而不仅仅是一个“修复”。最后,我们讨论了领域区分与语义的关系。
2022-11-01 cs.AI cs.LG stat.ML
Augmentation by Counterfactual Explanation -- Fixing an Overconfident Classifier
University of Pittsburgh(匹兹堡大学);Meta AI;University of Crete(克里特大学)
高度准确但过于自信的模型不适合部署在医疗保健和自动驾驶等关键应用中。分类结果应反映接近决策边界的模糊分布内样本的高度不确定性。模型还应该避免对远离其训练分布、远离分布(far-OOD)的样本或来自靠近其训练分布(near-OOD)的新类别的未见过样本做出过度自信的决策。本文提出了反事实解释在确定一个过于自信的分类器中的应用。具体来说,我们建议使用反事实解释器(ACE)的增强来微调给定的预训练分类器,以修复其不确定性特征,同时保留其预测性能。我们进行了大量的实验,检测远OOD,近OOD,和模糊的样本。我们的实证结果表明,修正后的模型有改进的不确定性措施,其性能是有竞争力的国家的最先进的方法。
2022-10-21 cs.CV cs.LG
Energy-bounded Learning for Robust Models of Code
在程序设计中,学习代码表示有着广泛的应用,包括代码分类、代码搜索、注释生成、错误预测等。已经提出了各种代码表示,如标记、语法树、依赖图、代码导航路径或它们的变体的组合,然而,现有的香草学习技术在鲁棒性方面有很大的局限性,即,当输入以微妙的方式改变时,模型很容易做出不正确的预测。为了增强鲁棒性,现有方法专注于识别对抗样本,而不是落在给定分布之外的有效样本,我们称之为分布外(OOD)样本。识别这样的OOD样本是本文研究的新问题。为此,我们建议首先用分布外的样本来增强分布内的数据集,这样,当一起训练时,它们将增强模型的鲁棒性。我们建议使用一个能量有界的学习目标函数分配一个较高的分数分布样本和一个较低的分数分布外的样本,以便将这样的分布外的样本到源代码模型的训练过程中。在OOD检测和对抗样本检测方面,我们的评估结果表明,现有的源代码模型在识别OOD数据时变得更准确,同时更能抵抗对抗攻击。此外,所提出的能量有界分数优于所有现有的OOD检测分数,包括softmax置信度分数,Mahalanobis分数和ODIN。
2022-05-09 cs.AI cs.LG cs.PL
Controlling Neural Collapse Enhances Out-of-Distribution Detection and Transfer Learning
Rochester Institute of Technology(罗切斯特技术学院);University of Rochester(罗切斯特大学)
本文揭示了神经坍缩程度与OOD检测和泛化之间的反向权衡关系,提出通过熵正则化和固定ETF投影器在不同网络层控制神经坍缩,从而同时提升OOD检测与泛化性能。
2025-09-22 cs.LG
Latent-space metrics for Complex-Valued VAE out-of-distribution detection under radar clutter
本文提出复值VAE中的潜在空间度量用于雷达杂波中的分布外检测,比较了CVAE-MSE、马哈拉诺夫距离和KLD等方法与ANMF-FP的性能。
2025-11-25 cs.LG eess.SP stat.ML
Rethinking Graph Out-Of-Distribution Generalization: A Learnable Random Walk Perspective
Beijing Institute of Technology(北京理工大学);Jilin University(吉林大学);Ant Group(蚂蚁集团)
本文提出 LRW-OOD 方法,将可学习随机游走作为图分布外泛化中的不变知识,通过参数化转移矩阵和基于核密度估计的互信息损失提升 GNN 在分布偏移下的性能,并取得 3.87% 的准确率提升。
2025-05-09 cs.LG
Why is the Mahalanobis Distance Effective for Anomaly Detection?
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
基于Mahalanobis距离的置信度得分是最近提出的用于预训练神经分类器的异常检测方法,在分布外(OoD)和对抗性示例检测方面都达到了最先进的性能。这项工作分析了为什么这种方法在实际环境中表现出如此强大的性能,同时施加了一个难以置信的假设;即,预训练特征的条件分布类具有关联协方差。虽然Mahalanobis距离为基础的方法被认为是由分类预测的信心,我们发现,其优越的性能源于信息对分类没有用。这表明Mahalanobis置信度评分如此有效的原因是错误的,并且使用了来自ODIN的不同信息,ODIN是另一种基于预测置信度的流行OoD检测方法。这一观点促使我们将这两种方法结合起来,组合检测器表现出更好的性能和鲁棒性。这些发现提供了对神经分类器响应异常输入的行为的洞察。
2020-04-30 cs.CV cs.LG stat.ML
Dimensionality Reduction for Improving Out-of-Distribution Detection in Medical Image Segmentation
The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心);Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
本研究针对医学图像分割模型在分布外数据上失效的问题,通过对Swin UNETR模型的瓶颈特征应用Mahalanobis距离并利用主成分分析降维,实现了高性能且低计算开销的OOD图像检测。
2023-10-19 cs.AI cs.CV cs.LG
Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios
City University of Hong Kong(香港城市大学);The Hong Kong Polytechnic University(香港理工大学);Baidu Research(百度研究院)
基于池的主动学习(AL)通过从大型未标记数据池中顺序选择信息丰富的未标记样本并从oracle/注释器查询它们的标签,在最小化标记成本方面取得了巨大的成功。然而,现有的AL采样策略可能无法很好地工作在分布外(OOD)的数据场景,其中未标记的数据池包含一些不属于目标任务的类的数据样本。由于AL采样策略和OOD样本检测之间的自然冲突,在OOD数据场景下实现良好的AL性能是一项具有挑战性的任务。AL选择难以被当前基本分类器分类的数据(例如,其预测类概率具有高熵的样本),而OOD样本倾向于具有更均匀的预测类概率(即,更高熵)。在本文中,我们提出了一个抽样方案,蒙特卡洛帕累托优化主动学习(POAL),它选择最佳子集的未标记的样本与固定批量大小的未标记的数据池。我们将AL采样任务转换为多目标优化问题,并且因此我们基于两个冲突目标利用帕累托优化:(1)正常AL数据采样方案(例如,最大熵),以及(2)不是OOD样本的置信度。实验结果表明,它对经典的机器学习(ML)和深度学习(DL)任务的有效性。
2022-07-04 cs.LG
Layer Adaptive Deep Neural Networks for Out-of-distribution Detection
University of Texas at Dallas(德克萨斯大学达拉斯分校)
在深度神经网络(DNN)的前向传递过程中,输入逐渐从低级特征转换为高级概念标签。虽然不同层的特征可以概括不同层次输入的重要因素,但现代的分布外(OOD)检测方法主要集中在利用其结束层特征。在本文中,我们提出了一种新的层自适应OOD检测框架(LA-OOD)的DNN,可以充分利用中间层的输出。具体来说,我们不是在固定的结束层训练统一的OOD检测器,而是在中间层同时训练多个One-Class SVM OOD检测器,以利用在DNN的不同深度编码的全谱特征。我们开发了一个简单而有效的层自适应的政策,以确定最好的层检测每个潜在的OOD的例子。LA-OOD可以应用于任何现有的DNN,并且在训练期间不需要访问OOD样本。使用三个不同深度和架构的DNN,我们的实验表明,LA-OOD对不同复杂度的OOD具有鲁棒性,并且在一些真实世界的数据集上可以大幅超越最先进的竞争对手。
2022-03-01 cs.AI cs.LG
Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks
University of British Columbia(不列颠哥伦比亚大学);Google Research(谷歌研究院)
在本文中,我们研究了神经算法推理任务的OOD泛化,其目标是学习算法(例如,排序、广度优先搜索和深度优先搜索)。首先,我们认为,在这种情况下,面向对象的泛化是显着不同的普通OOD设置。例如,在OOD的图像分类,如\emph{accuracy on the line}一般化的一些现象,这里没有观察到,和技术,如数据增强方法没有帮助的假设,许多增强技术往往被违反。其次,我们分析了主要挑战(例如,输入分布偏移、非代表性数据生成和无信息的验证度量),即,CLRS \citep{deepmind2021clrs},包含30个算法推理任务。我们提出了几种解决方案,包括一个简单而有效的修复输入分布偏移和改进的数据生成。最后,我们提出了一个基于注意力的2 WL-图神经网络(GNN)处理器,它补充了消息传递GNN,因此它们的组合在所有算法上平均优于最先进的模型3%。我们的代码可在:\url{https://github.com/smahdavi4/clrs} .
2023-03-18 cs.LG
Useful Features, Backward Scores: OOD in Language-Model Trajectories
Independent Researcher(独立研究者)
本文提出双路径框架以识别真实分布外信号,通过嵌入和处理轨迹分析不同OoD类型,展示嵌入路径在词汇区分上的优势,轨迹特征在隐含意图检测中的有效性。
2026-10-05 cs.CL cs.LG
Bayesian Autoencoders: Analysing and Fixing the Bernoulli likelihood for Out-of-Distribution Detection
University of Cambridge(剑桥大学)
在自动编码器(AE)已经学会重建一个数据集之后,可以预期分布外(OOD)输入的可能性将很低。这已经被研究作为一种方法来检测OOD输入。最近的工作表明,这种直观的方法可能会失败的数据集对FashionMNIST与MNIST。本文认为这是由于使用了伯努利似然法,并分析了为什么会出现这种情况,提出了两个解决方案:1)使用贝叶斯版本的AE计算似然估计的不确定性。2)使用替代分布对可能性进行建模。
2021-07-28 cs.LG stat.ML
OOD-DiskANN: Efficient and Scalable Graph ANNS for Out-of-Distribution Queries
Microsoft Research India(微软印度研究院);Microsoft(微软公司)
用于近似最近邻搜索(ANNS)的最先进算法(例如,MANN、FAISS-IVF和HNSW)通过过度拟合索引数据分布来构建数据相关索引,其提供比数据不可知索引更好的准确性和搜索效率。当查询数据是从不同的分布中提取时-例如,当索引表示图像嵌入而查询表示文本嵌入时,这种算法失去了这种性能优势的大部分。在各种数据集上,对于固定的召回目标,与分布内(ID)查询相比,分布外(OOD)查询的延迟要差一个数量级或更多。在这项工作中,我们解决的问题是,如果索引建设是访问这些查询的一个小样本集,人工神经网络算法是否可以有效的OOD查询。我们积极回答,提出OOD-CANN,它使用了一个备用样本(索引集大小的1%)的OOD查询,并提供了高达40%的改进,平均查询延迟超过SoTA算法的类似的内存占用。OOD-ANN是可扩展的,并且具有基于图的ANNS索引的效率。我们的一些贡献可以提高查询效率的ID查询。
2022-11-30 cs.IR cs.LG