Feed Two Birds with One Scone: Exploiting Function-Space Regularization for Both OOD Robustness and ID Fine-Tuning Performance
Xi’an Jiaotong University（西安交通大学）
针对鲁棒微调中OOD鲁棒性与ID性能难以兼得的问题，提出函数空间正则化约束微调与预训练模型距离，并辅以一致性正则化，在多种CLIP骨干上同时提升ID微调性能与OOD鲁棒性。
2025-08-31 cs.CV cs.LG
Out-of-Distribution (OOD) Detectors for Open-Set RF Fingerprinting
University of Michigan（密歇根大学）
针对开放集射频指纹识别中未知发射机与时间漂移引起的分布偏移问题，引入基于信息论的OOD检测统一框架，并采用无需OOD调优数据的方法，在POWDER数据集上验证其性能接近有真实OOD数据的基线。
2026-06-12 cs.LG eess.SP
Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对OOD检测是否需要微调的疑问，本文证明直接利用预训练语言模型进行基于距离的检测即可在领域变化时实现近乎完美的性能，大幅优于微调版本，并揭示了如何平衡ID准确率与OOD检测性能。
2023-05-22 cs.CL cs.LG
Improved OOD Generalization via Adversarial Training and Pre-training
University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，学习一个模型，推广良好的分布外（OOD）数据引起了极大的关注，在机器学习社区。在本文中，通过Wasserstein距离定义OOD推广后，我们从理论上证明了对输入扰动鲁棒的模型在OOD数据上推广得很好。受先前发现对抗训练有助于提高输入鲁棒性的启发，我们从理论上证明了对抗训练模型在OOD数据上收敛了超额风险，并在图像分类和自然语言理解任务上进行了实证验证。此外，在第一次预训练，然后微调的范例中，我们从理论上表明，一个预训练的模型，是更强大的输入扰动提供了一个更好的初始化下游OOD数据的泛化。从经验上讲，经过微调后，这个来自对抗性预训练的更好初始化的模型也具有更好的OOD泛化能力。
2021-05-24 cs.LG
Can OOD Object Detectors Learn from Foundation Models?
The University of Hong Kong（香港大学）
针对开集OOD数据缺失问题，本文提出SyncOOD数据整理方法，利用基础模型从文本到图像生成模型中提取并合成OOD样本，训练轻量级即插即用检测器，在多个基准上以最少合成数据达到新SOTA。
2024-09-08 cs.CV cs.LG
Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
Shanghai Jiao Tong University（上海交通大学）；KU Leuven（鲁汶大学）
本文从损失景观视角重新审视深度集成用于分布外检测，发现独立模式在OoD数据上损失景观差异大，提出模式集成方法提升检测性能并降低方差。
2024-07-16 cs.LG
Training OOD Detectors in their Natural Habitats
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
分发外（OOD）检测对于部署在野外的机器学习模型很重要。最近的方法使用辅助离群数据来正则化模型，以改进OOD检测。然而，这些方法做出了很强的分布假设，即辅助离群值数据与分布（ID）数据完全分离。在本文中，我们提出了一个新的框架，利用野生混合数据，自然包括ID和OOD样本。这样的野生数据是丰富的，并且在它们的自然栖息地中部署机器学习分类器时自由产生。我们的主要思想是制定一个约束优化问题，并显示如何tractably solvedit.OOD检测率最大化，受约束的分类错误的ID数据和OOD出错率的ID的例子。我们广泛评估我们的方法对常见的OOD检测任务，并表现出卓越的性能。
2022-06-28 cs.AI cs.LG
ReMaD: Tuning-free Domain Adaptation for Classification and Out-of-Distribution Detection
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出ReMaD方法，利用降秩马氏距离对预训练模型进行无需微调的域自适应，在分类和分布外检测中取得竞争性能。
2026-10-06 cs.LG
Unsupervised Energy-based Out-of-distribution Detection using Stiefel-Restricted Kernel Machine
KU Leuven（鲁汶大学）
检测分发外（OOD）样本是在现实世界中部署机器学习系统的基本要求。到目前为止，对基于能量的OOD检测器的研究主要集中在来自可访问类标签的预训练神经网络分类器的softmax置信度分数上。相比之下，我们提出了一个无监督的基于能量的OOD检测器，利用Stiefel限制内核机（St-RKM）。训练需要最小化具有自动编码器损失项和RKM能量的目标函数，其中互连矩阵位于Stiefel流形上。此外，我们概述了多个能量函数的定义的基础上RKM框架，并讨论其效用。在标准数据集上的实验中，该方法改进了现有的基于能量的OOD检测器和深度生成模型。通过几个烧蚀研究，我们进一步说明了每一个建议的能量函数的优点上OOD检测性能。
2021-02-16 cs.LG
Improving Out-of-Distribution Detection with Markov Logic Networks
University of Magdeburg（马格德堡大学）
本文提出利用马尔可夫逻辑网络为现有分布外检测器引入可解释的概率逻辑推理，并给出逻辑约束学习算法，在多个数据集上显著提升检测性能且保持计算效率。
2025-05-28 cs.LG
FOOD: Fast Out-Of-Distribution Detector
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
深度神经网络（DNN）在对与它们所训练的类相关的输入进行分类方面表现良好，这些输入被称为分布输入。然而，分布外（OOD）输入对DNN构成了巨大的挑战，因此在安全关键系统中实现DNN时会带来重大风险。在面向对象检测领域已经进行了广泛的研究。然而，用于OOD检测的当前最先进的方法遭受以下限制中的至少一个：（1）增加的推理时间-这限制了现有方法对许多现实世界应用的适用性，以及（2）对OOD训练数据的需要-这样的数据可能难以获取并且可能不够有代表性，因此限制了OOD检测器的概括能力。在本文中，我们提出了FOOD -- Fast Out-Of-Distribution detector --一种扩展的DNN分类器，能够以最小的推理时间开销有效地检测OOD样本。我们的架构具有最终高斯层结合对数似然比统计测试的DNN和用于OOD检测的额外输出神经元。而不是使用真实的OOD数据，我们使用了一种新的方法，工艺人工OOD样本的分布数据，这是用来训练我们的OOD检测器神经元。我们评估了FOOD在SVHN、CIFAR-10和CIFAR-100数据集上的检测性能。我们的研究结果表明，除了实现最先进的性能，食物是快速和适用于现实世界的应用程序。
2021-02-23 cs.LG stat.ML
How Does Fine-Tuning Impact Out-of-Distribution Detection for Vision-Language Models?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文全面研究微调对视觉语言模型少样本下游任务分布外检测的影响，发现合理选择OOD分数至关重要，且最大概念匹配分数与提示学习结合可实现最优检测性能。
2024-07-29 cs.CV cs.CY cs.LG
Evaluating Out-of-Distribution Detectors Through Adversarial Generation of Outliers
Seoul National University（首尔国立大学）；Kakao Enterprise（Kakao企业）；Hanyang University（汉阳大学）；Korea Institute for Advanced Study（韩国高等研究院）；Saige Research（赛奇研究院）
一个可靠的评估方法是必不可少的，以建立一个强大的分布外（OOD）检测器。目前OOD检测器的鲁棒性评估协议依赖于对离群数据的扰动。然而，扰动不太可能自然发生或与数据内容无关，因此对稳健性的评估有限。在本文中，我们提出了评估通过生成OOD检测器（EvG），一个新的协议，调查的鲁棒性OOD检测器在更现实的模式下的异常值的变化。EvG利用生成模型来合成合理的离群值，并采用MCMC采样来找到被检测器错误分类为具有最高置信度的分布中的离群值。我们使用EvG对最先进的OOD检测器的性能进行了全面的基准比较，发现了以前被忽视的弱点。
2022-08-20 cs.CR cs.LG
Know Your Space: Inlier and Outlier Construction for Calibrating Medical OOD Detectors
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Labs（劳伦斯利弗莫尔国家实验室）；Microsoft（微软）
本文研究医学图像 OOD 检测器校准，发现内点与外点的合成空间至关重要，并提出潜空间内点结合多样化像素空间外点的方案，AUROC 较 SOTA 提升 15%–35%。
2023-04-22 cs.CV cs.LG
Concept-based Explanations for Out-Of-Distribution Detectors
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
针对 OOD 检测器决策难解释的问题，提出检测完备性与概念可分性指标及无监督概念学习框架，为多种现成检测器提供基于概念的解释和决策推理。
2023-06-06 cs.CV cs.LG
Exploring Vicinal Risk Minimization for Lightweight Out-of-Distribution Detection
Purdue University（普渡大学）
深度神经网络在解决从图像识别到自然语言处理的复杂任务方面得到了广泛的应用。然而，当这些网络呈现不属于训练分布的数据时，即分布外（OoD）样本时，这些网络会做出自信的错误预测。在本文中，我们探讨是否属性的邻近风险最小化（VRM），以顺利地插在不同的类边界之间，有助于训练更好的OoD检测器。我们应用VRM现有的OOD检测技术，并显示其改进的性能。我们观察到，现有的OoD检测器有显着的内存和计算开销，因此，我们利用VRM开发一个OoD检测器与最小的偷听。我们的检测方法引入了一个辅助类分类OoD样本。我们以两种方式利用混淆来实现邻域风险最小化。首先，我们在同一个类中执行mixup，其次，我们在训练辅助类时使用高斯噪声执行mixup。与现有的OoD检测技术相比，我们的方法实现了接近竞争力的性能，计算和内存开销显着减少。这有助于在边缘设备上部署OoD检测，并扩展了我们对用于训练OoD检测器的邻近风险最小化的理解。
2020-12-15 cs.CV cs.LG
Optimizing Three Critical Factors for Practical and Effective OOD Detection Fine-Tuning
Seoul National University（首尔国立大学）；RideFlux Inc.（RideFlux公司）
本文通过优化模型提醒、数据采样和表示学习三个关键因素，提出SKD、SOS和OSCL方法，在提升OOD检测性能的同时保持分类准确率，尤其在长尾场景中表现优异。
2026-09-11 cs.AI cs.CV cs.LG
Your Classifier Can Be Secretly a Likelihood-Based OOD Detector
Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对判别式分类器缺乏显式输入似然的问题，本文提出INK，利用恒定范数超球面嵌入将分类器潜在表征解释为内在似然，并在OpenOOD的far/near-OOD设置中取得最先进性能。
2024-08-09 cs.LG stat.ML
Fast Decision Boundary based Out-of-Distribution Detector
MIT（麻省理工学院）；UC Santa Barbara（加州大学圣巴巴拉分校）
本文提出一种无需辅助模型且计算高效的分布外检测器，通过闭式估计样本到决策边界的特征距离并结合特征偏差正则化，在匹配或超越现有方法有效性的同时显著降低了推理开销。
2024-06-04 cs.LG eess.IV
Feature Protection For Out-of-distribution Generalization
Department of Computer Science（计算机科学系）；Cranberry-Lemon University（蔓越莓柠檬大学）；Department of Computational Neuroscience（计算神经科学系）；University of the Witwatersrand（威特沃特斯兰德大学）
本文针对微调预训练模型时分布外泛化性能下降的问题，提出保护预训练特征以增强鲁棒性，并通过CLIP在ImageNet和DomainNet上的实验验证了有效性。
2024-05-25 cs.LG
Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution
Stanford University（斯坦福大学）
当将预训练模型转移到下游任务时，两种流行的方法是完全微调（更新所有模型参数）和线性探测（仅更新最后一个线性层-“头部”）。众所周知，微调导致更好的精度分布（ID）。然而，在本文中，我们发现，当预训练的特征很好并且分布偏移很大时，微调可以达到比线性探测分布外（OOD）更差的准确性。在10个分布偏移数据集（Breeds-Living 17，Breeds-Brachty 30，DomainNet，CIFAR $\to$ STL，CIFAR10.1，FMoW，ImageNet V2，ImageNet-R，ImageNet-A，ImageNet-Sketch）上，与线性探测相比，微调平均获得了2%的高精度ID，但7%的低精度OOD。我们从理论上证明，即使在一个简单的设置中，ID和OOD精度之间的这种权衡也会出现：微调过参数化的双层线性网络。我们证明，当我们初始化一个固定的或随机的头部时，微调的OOD误差很高-这是因为当微调学习头部时，神经网络的下层同时改变并扭曲预训练的特征。我们的分析表明，线性探测然后完全微调（LP-FT）的简单两步策略，有时用作微调启发式，结合了微调和线性探测的优点。从经验上讲，LP-FT在上述数据集上的表现优于微调和线性探测（比完全微调好1%的ID，好10%的OOD）。
2022-02-21 cs.CV cs.LG
GOLD: Graph Out-of-Distribution Detection via Implicit Adversarial Latent Generation
The University of Queensland（昆士兰大学）
GOLD框架通过隐式对抗潜在生成，在不依赖预训练生成模型和真实OOD数据的情况下合成伪OOD实例，用于图神经网络的分布外检测，并在多个基准数据集上取得优于现有方法的性能。
2025-04-10 cs.LG
Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection
Hong Kong Baptist University（香港浸会大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Shanghai Jiao Tong University（上海交通大学）
提出自我校准调优（SCT）框架，通过调制因子校准OOD正则化影响，利用少量ID数据提升基于CLIP的分布外检测性能。
2024-11-05 cs.AI cs.CV cs.LG
SPK: Eliciting Structured Prior Knowledge for Interpretable Out-of-Distribution Detection in Real-Time Object Detection
本研究提出SPK框架，从预训练目标检测器中引出结构化先验知识，构建五维表示实现最先进的分布外检测，揭示预训练检测器蕴含丰富潜在知识，为提升目标检测器可靠性提供新路径。
2026-08-20 cs.CV cs.LG
Out-of-Distribution Detection with Overlap Index
NYU Tandon School of Engineering（纽约大学坦登工程学院）
针对现有OOD检测器存在的成本高、可解释性差或准确率低等问题，提出基于重叠指数（OI）的非参数轻量可解释OOD检测方法，在多数据集上准确率达SOTA水平且成本更低，还继承了OI的鲁棒等优良特性。
2024-12-09 cs.LG stat.ML
Out-of-distribution Detection with Implicit Outlier Transformation
Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The University of Sydney（悉尼大学）
离群值暴露（OE）在分布外（OOD）检测中是强大的，通过使用替代OOD数据进行模型微调来增强检测能力。然而，替代数据通常偏离测试OOD数据。因此，当面对看不见的OOD数据时，OE的性能可能会减弱。为了解决这个问题，我们提出了一种新的OE为基础的方法，使该模型表现良好的看不见的OOD的情况下，即使是看不见的OOD的情况下。它导致了一个最小最大的学习计划-搜索合成OOD数据，导致最坏的判断和学习，从这样的OOD数据在OOD检测的统一性能。在我们的实现中，这些最坏的OOD数据合成通过转换原始的替代。具体来说，相关的转换函数是基于我们的新见解，即模型扰动导致数据转换，隐式地学习的。我们的方法提供了一种有效的方式来合成OOD数据，这可以进一步有利于检测模型，除了代理OOD数据。我们在各种OOD检测设置下进行了广泛的实验，证明了我们的方法对先进同行的有效性。
2023-03-09 cs.LG
Image-based OoD-Detector Principles on Graph-based Input Data in Human Action Recognition
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IOSB（弗劳恩霍夫IOSB研究所）
生活在像我们这样的复杂世界中，机器学习系统的实际实现假设一个封闭的世界是不可接受的。因此，对于现实世界环境中的这种基于学习的系统来说，有必要意识到其自身的能力和限制，并且能够区分推断的置信和不置信结果，特别是如果样本不能由潜在分布解释。这些知识在安全关键环境和任务中尤其重要，例如自动驾驶汽车或医疗应用。为此，我们将基于图像的分布（OoD）方法转移到基于图形的数据，并显示其在动作识别中的适用性。这项工作的贡献是（i）检查最近的基于图像的OoD检测器的可移植性，基于图形的输入数据，（ii）基于度量学习的方法来检测OoD样本，以及（iii）引入一种新的半合成动作识别数据集。评估表明，基于图像的OoD方法可以应用于基于图形的数据。此外，在类内和数据集内结果的性能之间存在差距。第一种方法作为检查基线或ODIN提供合理的结果。与基于图像的应用相比，更复杂的网络架构在数据集内比较中被超越，甚至导致分类精度降低。
2020-03-03 cs.CV cs.LG eess.IV
Both Topology and Text Matter: Revisiting LLM-guided Out-of-Distribution Detection on Text-attributed Graphs
Sun Yat-sen University（中山大学）；Shandong University（山东大学）
针对文本属性图分布外检测中拓扑与文本信息利用不足的问题，提出LG-Plug框架，通过对齐拓扑与文本表示并利用聚类迭代LLM提示生成共识驱动的OOD样本，有效提升检测性能。
2026-05-31 cs.LG
Prioritizing Corners in OoD Detectors via Symbolic String Manipulation
Fraunhofer IKS（弗劳恩霍夫认知系统研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
为了保证深度神经网络（DNN）的安全性，分布外（OoD）监控技术是必不可少的，因为它们过滤了远离训练数据集的虚假输入。本文研究了系统地测试OoD监视器的问题，以避免输入数据点被监视器测试为分布内，但DNN产生虚假输出预测的情况。我们考虑的定义，“分布”的特征在于在特征空间中的一个联盟的超矩形从训练数据集学习。因此，测试被简化为在特征空间中寻找远离可用训练数据的超矩形中的角。具体地说，我们将每个数据点的抽象位置编码为有限长度的二进制字符串，并使用二进制决策图（BDD）将所有二进制字符串的并集压缩存储。我们演示了如何使用BDD象征性地提取远离训练集中所有数据点的角点。除了测试用例生成之外，我们还解释了如何使用建议的角点来微调DNN，以确保它不会过度自信地预测。结果进行评估的例子，如数字和交通标志识别。
2022-05-16 cs.LG cs.SE
Detecting Out-of-Distribution Through the Lens of Neural Collapse
MIT（麻省理工学院）；UC Santa Barbara（加州大学圣巴巴拉分校）
受神经坍缩现象启发，提出一种通用高效的分布外检测方法，利用特征与权重向量的邻近度及特征范数过滤OOD样本，在多场景下展现鲁棒性且推理延迟极低。
2025-04-03 cs.LG eess.IV
LAPT: Label-driven Automated Prompt Tuning for OOD Detection with Vision-Language Models
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
针对视觉语言模型OOD检测依赖手动提示工程的问题，提出仅需分布内类名即可自动构建提示、完成训练的LAPT框架，性能优于人工提示，还提升了分类准确率与泛化鲁棒性。
2024-07-12 cs.AI cs.CV cs.LG
Layer Adaptive Deep Neural Networks for Out-of-distribution Detection
University of Texas at Dallas（德克萨斯大学达拉斯分校）
在深度神经网络（DNN）的前向传递过程中，输入逐渐从低级特征转换为高级概念标签。虽然不同层的特征可以概括不同层次输入的重要因素，但现代的分布外（OOD）检测方法主要集中在利用其结束层特征。在本文中，我们提出了一种新的层自适应OOD检测框架（LA-OOD）的DNN，可以充分利用中间层的输出。具体来说，我们不是在固定的结束层训练统一的OOD检测器，而是在中间层同时训练多个One-Class SVM OOD检测器，以利用在DNN的不同深度编码的全谱特征。我们开发了一个简单而有效的层自适应的政策，以确定最好的层检测每个潜在的OOD的例子。LA-OOD可以应用于任何现有的DNN，并且在训练期间不需要访问OOD样本。使用三个不同深度和架构的DNN，我们的实验表明，LA-OOD对不同复杂度的OOD具有鲁棒性，并且在一些真实世界的数据集上可以大幅超越最先进的竞争对手。
2022-03-01 cs.AI cs.LG
Iterative Deployment Exposure for Unsupervised Out-of-Distribution Detection
University of Bern（伯恩大学）；University of Bonn（波恩大学）
针对现有无监督分布外检测方法忽略部署后积累特定任务OOD样本的问题，提出更贴合实际的迭代部署暴露设置与CSO方法，结合马氏距离、最近邻及置信度缩放少样本检测器，在三种医学影像模态上显著优于强基线。
2025-05-19 cs.CV cs.LG
A Critical Evaluation of Open-World Machine Learning
Princeton University（普林斯顿大学）
开放世界机器学习（ML）将在分布内数据上训练的封闭世界模型与分布外（OOD）检测器相结合，其目的是检测和拒绝OOD输入。以前关于开放世界ML系统的工作通常无法在各种可能的对抗条件下测试其可靠性。因此，在本文中，我们试图了解最先进的开放世界ML系统对系统组件变化的弹性如何？通过对6个OOD检测器的评估，我们发现分布数据、模型架构和OOD数据的选择对OOD检测性能有很大影响，导致误报率超过$70\%$。我们进一步表明，具有22个无意损坏或对抗性扰动的OOD输入使开放世界ML系统无法使用，误报率高达$100\%$。为了提高开放世界ML的弹性，我们将鲁棒分类器与OOD检测技术相结合，并揭示了OOD检测和鲁棒性之间的新权衡。
2020-07-08 cs.CR cs.LG
Out-of-distribution materials property prediction using adversarial learning based fine-tuning
University of South Carolina（南卡罗来纳大学）
针对材料属性预测模型在分布外样本上泛化能力不足的问题，提出CAL算法及基于对抗学习的定向微调方法，有效提升了小样本下的预测效果，为分布外材料属性预测提供了新方向。
2024-08-17 cond-mat.mtrl-sci cs.LG
A Geometry-Based View of Mahalanobis OOD Detection
Department of Artificial Intelligence, Wrocław University of Science and Technology（人工智能系，沃斯克拉大学）
本文提出基于几何视角的马哈拉诺布斯OOD检测方法，通过调整径向缩放归一化参数β，改进了检测器对分布内几何结构的适应性。
2026-03-03 cs.CV cs.LG
Out-of-Distribution Detection for Medical Applications: Guidelines for Practical Evaluation
Pacmed BV（Pacmed公司）；Amsterdam UMC, Vrije Universiteit（阿姆斯特丹自由大学阿姆斯特丹医学中心）
实时检测分布外（OOD）样本是在医疗领域部署机器学习模型的关键安全检查。尽管不确定度量化技术越来越多，但在实践中如何选择OOD检测方法缺乏评价指南。这一差距阻碍了OOD检测方法在实际应用中的实现。在这里，我们提出了一系列实际考虑和测试，以选择特定医疗数据集的最佳OOD检测器。这些指导方针在电子健康记录（EHR）的实际使用案例中得到了说明。我们的研究结果可以作为在临床实践中实施OOD检测方法的指南，减轻与医疗保健中使用机器学习模型相关的风险。
2022-05-05 cs.LG
Out-of-distribution Detection in Classifiers via Generation
University of Waterloo（滑铁卢大学）
通过设计，区分训练的神经网络分类器仅对分布内样本产生可靠的预测。对于他们的实际部署，检测分发外（OOD）样本至关重要。假设OOD在分布的闭合边界之外，典型的神经分类器在推理期间不包含用于OOD检测的该边界的知识。最近已经有一些方法通过使用接近分布边界的OOD样本显式地训练分类器来向分类器灌输这种知识。然而，这些生成的样本未能有效地覆盖整个分布边界，从而导致次优OOD检测器。在本文中，我们分析了这种方法的可行性，通过调查的复杂性，产生这样的“有效”的OOD样本。我们还提出了一种新的算法来生成这样的样本使用流形学习网络（例如，变分自编码器），然后训练用于OOD检测的n+1分类器，其中$n+1^{th}$类表示OOD样本。我们比较我们的方法对最近几个基于分类器的OOD检测器MNIST和时尚MNIST数据集。总的来说，所提出的方法始终比其他方法表现得更好。
2019-10-09 cs.LG stat.ML
Using Semantic Information for Defining and Detecting OOD Inputs
PRECISE Lab Computer and Information Science Dept. University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系PRECISE实验室）；Dermatology Dept. University of Pennsylvania（宾夕法尼亚大学皮肤科）
随着机器学习模型在不同任务中不断取得令人印象深刻的性能，对此类模型进行有效异常检测的重要性也在增加。众所周知，即使是经过良好训练的模型也会失去对分布外输入有效运行的能力。因此，分布外（OOD）检测最近受到了一些关注。在绝大多数情况下，它使用训练数据集估计的分布进行OOD检测。不幸的是，我们证明了当前的检测器继承了训练数据集中的偏差。这是一个严重的障碍，可能会限制训练模型的实用性。这可以使得当前OOD检测器对位于训练分布之外但具有相同语义信息（例如，训练类标签）的输入不可渗透。为了纠正这种情况，我们首先定义什么应该被理想地视为OOD，通过连接输入与它们的语义信息内容。我们执行OOD检测的语义信息提取的训练数据的MNIST和COCO数据集，并表明它不仅减少了误报，但也显着提高了OOD输入的检测与虚假功能的训练数据。
2023-02-21 cs.CV cs.LG
FodFoM: Fake Outlier Data by Foundation Models Creates Stronger Visual Out-of-Distribution Detector
Peng Cheng Laboratory（鹏城实验室）；Key Laboratory of Machine Intelligence and Advanced Computing（机器智能与先进计算重点实验室）；China United Network Communications Corporation Limited Guangdong Branch（中国联合网络通信有限公司广东省分公司）
针对现有视觉OOD检测方法依赖高成本辅助数据或假设简化的问题，提出FodFoM框架，结合多类基础模型生成两种伪造离群图像用于训练，在多个基准上取得当前最优检测性能。
2024-11-22 cs.CV cs.LG
Masked Images Are Counterfactual Samples for Robust Fine-tuning
Sun Yat-sen University（中山大学）
针对微调大型预训练模型时分布内性能与分布外鲁棒性之间的权衡问题，提出基于因果分析的微调方法，利用类激活图掩码图像生成反事实样本进行特征蒸馏，有效打破虚假相关性并提升OOD鲁棒性。
2023-04-02 cs.CV cs.LG
Reject option models comprising out-of-distribution detection
Czech Technical University in Prague（布拉格捷克理工大学）
本文提出三种分布外拒识选项模型并证明其共享同一类最优策略，进而设计双分数OOD方法，实验表明其性能优于现有方法，同时提出更可靠的新评估指标。
2023-07-11 cs.LG
Adversarial vulnerability of powerful near out-of-distribution detection
Stanford University（斯坦福大学）
最近，在检测神经网络中的分布外（OOD）输入方面取得了重大进展，主要是由于使用了在大型数据集上预训练的大型模型，以及多模态的新兴使用。我们显示了一个严重的对抗性漏洞，即使是最强的当前OOD检测技术。通过对输入像素进行小的有针对性的扰动，我们可以轻松地将图像分配从内分布更改为外分布，反之亦然。特别是，我们在具有挑战性的近OOD CIFAR-100与CIFAR-10任务以及远OOD CIFAR-100与SVHN上表现出严重的对抗性脆弱性。我们研究了几种后处理技术的对抗鲁棒性，包括最大软最大概率（MSP）的简单基线，Mahalanobis距离，以及新提出的\textit{Relative} Mahalanobis距离。通过比较OOD检测性能在不同扰动强度的损失，我们证明了使用OOD检测器的合奏的有益效果，并使用\textit{Relative} Mahalanobis距离超过其他后处理方法。此外，我们表明，即使是强大的zero-shot OOD检测使用CLIP和多模态遭受严重缺乏对抗性的鲁棒性。我们的代码可在https://github.com/stanislavfort/adversaries_to_OOD_detection上获得
2022-01-18 cs.LG
Optimizing Latent Dimension Allocation in Hierarchical VAEs: Balancing Attenuation and Information Retention for OOD Detection
University of Virginia（弗吉尼亚大学）
本研究针对分层变分自编码器潜在维度分配随意导致的表征无效或后验坍缩问题，提出基于信息论的优化框架，证明固定预算下存在最优分配比例，实验验证其能提升OOD检测性能，为潜在结构设计提供指导。
2025-06-11 cs.LG
CODiT: Conformal Out-of-Distribution Detection in Time-Series Data
University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；SRI International（斯坦福国际研究院）
机器学习模型容易对远离训练分布的输入做出错误的预测。这阻碍了它们在自动驾驶汽车和医疗保健等安全关键应用中的部署。检测单个数据点的训练分布的变化已经引起了人们的注意。已经提出了许多用于这种分布外（OOD）检测的技术。但在许多应用中，机器学习模型的输入形成时间序列。用于时间序列数据中的OOD检测的现有技术要么不利用序列中的时间关系，要么不提供检测上的任何保证。我们提出使用偏离分布时间等方差作为时间序列数据OOD检测的共形异常检测框架中的非一致性度量，基于所提出的度量计算来自多个共形检测器的独立预测，并通过Fisher方法组合这些预测，从而得到所提出的检测器CODiT，该检测器具有对时间序列数据的错误检测的保证。我们通过在自动驾驶中的计算机视觉数据集上实现最先进的结果来说明CODiT的功效。我们还表明，CODiT可以用于OOD检测在非视觉数据集上进行实验的生理GAIT感官数据集。代码、数据和训练模型可在https://github.com/kaustubhsridhar/time-series-OOD上获得。
2022-07-24 cs.LG
Scaling Pretrained Representations Enables Label-Free Out-of-Distribution Detection Without Fine-Tuning
Department of Electrical and Computer Engineering（电气与计算机工程系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；Department of Aerospace Engineering and Engineering Mechanics（航空航天工程与工程力学系）
本文研究了通过扩展预训练表示实现无需微调的无标签分布外检测，展示了冻结表示的几何结构对检测性能的影响，证明了在不同任务中，表示质量提升可提高检测效果。
2026-05-07 cs.LG
Graph Out-of-Distribution Detection via Test-Time Calibration with Dual Dynamic Dictionaries
BaCa通过双动态字典校准测试时间图域外分布检测，无需微调预训练模型，有效提升OOD检测性能。
2025-11-23 cs.LG
A noisy elephant in the room: Is your out-of-distribution detector robust to label noise?
Aalborg University（奥尔堡大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
本文系统评估了20种最先进OOD检测方法在训练标签含噪声场景下的性能，通过多数据集、多噪声类型与水平、多架构及检查点策略实验，揭示了错误分类的ID样本与OOD样本分离度差是现有方法被忽视的关键局限。
2024-04-02 cs.AI cs.CV cs.LG
ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong Baptist University（香港浸会大学）；Kyung-Hee University（庆熙大学）；Beijing Normal University（北京师范大学）
大规模预训练的最新进展已经显示出利用大量预训练模型（PTM）来改善分布外（OoD）泛化的巨大潜力，其目标是在对多个训练域进行微调后，在可能的未知域上表现良好。然而，最大限度地利用PTM的动物园是具有挑战性的，因为微调PTM的所有可能组合在计算上是禁止的，而PTM的准确选择需要解决OoD任务的可能数据分布偏移。在这项工作中，我们提出了ZooD，PTM排名和集成与特征选择的范例。我们提出的度量排名PTM通过量化类间区分度和域间稳定性的功能提取的PTM在留一域交叉验证的方式。然后为目标OoD任务聚合排名前K的模型。为了避免模型集成引起的噪声积累，我们提出了一种有效的变分EM算法来选择信息特征。我们在一个由35个模型组成的不同模型动物园上评估了我们的范例，并证明了：（i）模型排名与微调排名的相关性比以前的方法更好，比暴力微调快9859倍;（ii）具有特征选择的模型集成后的OoD泛化优于当前状态，在最具挑战性的任务DomainNet上，准确率从46.5%提高到50.6%。此外，我们还提供了35个PTM在7个OoD数据集上的微调结果，希望对模型动物园和OoD泛化的研究有所帮助。代码将在https://gitee.com/mindspore/models/tree/master/research/cv/zood上提供。
2022-10-17 cs.AI cs.CV cs.LG
Novelty Detection Via Blurring
Korea Advanced Institute of Science and Technology（韩国科学技术院）；School of Electrical Engineering（电气工程学院）
已经观察到基于变分自编码器或随机网络蒸馏（RND）的常规分布外（OOD）检测方案向OOD分配比目标分布更低的不确定性。在这项工作中，我们发现，这种传统的新奇检测方案也容易受到模糊图像。基于观察，我们构建了一种新的基于RND的OOD检测器SVD-RND，该检测器在训练过程中利用模糊图像。我们的检测器是简单的，有效的测试时间，并优于基线OOD检测器在各个领域。进一步的结果表明，SVD-RND学习更好的目标分布表示比基线RND算法。最后，结合几何变换的SVD-RND在CelebA数据集上实现了近乎完美的检测精度。
2020-03-03 cs.CV cs.LG eess.IV
MCROOD: Multi-Class Radar Out-Of-Distribution Detection
Technical University of Munich（慕尼黑工业大学）；Infineon Technologies AG（英飞凌科技股份公司）
由于在安全部署现代深度学习（DL）架构方面的关键作用，分发外（OOD）检测最近受到了特别关注。这项工作提出了一种基于重建的多类OOD检测器，对雷达距离多普勒图像（RDIs）。该检测器旨在将除了坐着、站着或行走的人之外的任何移动对象分类为OOD。我们还提供了一种简单而有效的预处理技术来检测轻微的人体运动，如呼吸。这个简单的想法被称为呼吸检测器（CNOD），它简化了OOD检测，特别是对于人类坐着和站着上课。在我们通过60GHz短距离FMCW雷达收集的数据集上，我们分别实现了坐着，站立和步行类的97.45%，92.13%和96.58%的AUROC。我们进行了广泛的实验，并表明我们的方法优于国家的最先进的（SOTA）OOD检测方法。此外，我们的管道执行速度比第二好的方法快24倍，非常适合实时处理。
2023-03-10 cs.CV cs.LG eess.SP
AutoFT: Learning an Objective for Robust Fine-Tuning
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
AutoFT提出一种数据驱动的鲁棒微调方法，通过双层优化搜索目标函数和超参数以增强分布外泛化，在九个自然偏移上超越现有方法，并在WILDS iWildCam和FMoW基准上取得新最先进结果。
2024-03-07 cs.CV cs.LG
Anomaly-Aware Semantic Segmentation via Style-Aligned OoD Augmentation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）；University of Siegen（锡根大学）
针对自动驾驶开放场景下语义分割模型的异常感知需求，提出风格对齐的OoD数据增强方法缩小域差距，并结合简单微调损失，使预训练模型仅需少量微调即可实现异常分割且保留原任务性能。
2023-08-19 cs.AI cs.CV cs.LG
Calibrated Language Model Fine-Tuning for In- and Out-of-Distribution Data
Georgia Institute of Technology（佐治亚理工学院）
由于过度参数化，微调的预训练语言模型可能会遭受分布内和分布外（OOD）数据的严重误校准。为了缓解这个问题，我们提出了一种正则化的微调方法。我们的方法引入了两种类型的正则化来更好地校准：（1）流形上正则化，它通过在数据流形内插值来生成伪流形上样本。使用这些伪样本进行增强训练会施加平滑正则化以改善分布内校准。(2)非流形正则化，鼓励模型输出伪非流形样本的均匀分布，以解决OOD数据的过度置信问题。我们的实验表明，所提出的方法优于现有的校准方法的文本分类的期望校准误差，误分类检测，和OOD检测六个数据集。我们的代码可以在https://github.com/Lingkai-Kong/Calibrated-BERT-Fine-Tuning上找到。
2020-10-22 cs.AI cs.CL cs.LG
