Exploring Vicinal Risk Minimization for Lightweight Out-of-Distribution Detection
Purdue University(普渡大学)
深度神经网络在解决从图像识别到自然语言处理的复杂任务方面得到了广泛的应用。然而,当这些网络呈现不属于训练分布的数据时,即分布外(OoD)样本时,这些网络会做出自信的错误预测。在本文中,我们探讨是否属性的邻近风险最小化(VRM),以顺利地插在不同的类边界之间,有助于训练更好的OoD检测器。我们应用VRM现有的OOD检测技术,并显示其改进的性能。我们观察到,现有的OoD检测器有显着的内存和计算开销,因此,我们利用VRM开发一个OoD检测器与最小的偷听。我们的检测方法引入了一个辅助类分类OoD样本。我们以两种方式利用混淆来实现邻域风险最小化。首先,我们在同一个类中执行mixup,其次,我们在训练辅助类时使用高斯噪声执行mixup。与现有的OoD检测技术相比,我们的方法实现了接近竞争力的性能,计算和内存开销显着减少。这有助于在边缘设备上部署OoD检测,并扩展了我们对用于训练OoD检测器的邻近风险最小化的理解。
2020-12-15 cs.CV cs.LG
Fast Decision Boundary based Out-of-Distribution Detector
MIT(麻省理工学院);UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出一种无需辅助模型且计算高效的分布外检测器,通过闭式估计样本到决策边界的特征距离并结合特征偏差正则化,在匹配或超越现有方法有效性的同时显著降低了推理开销。
2024-06-04 cs.LG eess.IV
Out-of-Distribution (OOD) Detectors for Open-Set RF Fingerprinting
University of Michigan(密歇根大学)
针对开放集射频指纹识别中未知发射机与时间漂移引起的分布偏移问题,引入基于信息论的OOD检测统一框架,并采用无需OOD调优数据的方法,在POWDER数据集上验证其性能接近有真实OOD数据的基线。
2026-06-12 cs.LG eess.SP
Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon Web Services(亚马逊云科技)
现有的分布外(OOD)检测方法通常在具有平衡类分布的训练集上进行基准测试。然而,在实际应用中,训练集通常具有长尾分布。在这项工作中,我们首先证明了现有的OOD检测方法通常遭受显着的性能下降时,训练集是长尾分布。通过分析,我们认为这是因为模型很难区分少数尾类分布样本,从真正的OOD样本,使尾类更容易被错误地检测为OOD。为了解决这个问题,我们提出了部分和非对称监督对比学习(PASCL),它明确鼓励模型区分尾类分布样本和OOD样本。为了进一步提高分布内分类的准确性,我们提出了辅助分支微调,它使用BN和分类层的两个独立分支分别进行异常检测和分布内分类。直觉是,分布内和OOD异常数据具有不同的潜在分布。我们的方法优于以前的国家的最先进的方法,$1.29\%$,$1.45\%$,$0.69\%$异常检测假阳性率(FPR)和$3.24\%$,$4.06\%$,$7.89\%$在分布分类准确性分别在CIFAR 10-LT,CIFAR 100-LT和ImageNet-LT。代码和预训练模型可在https://github.com/amazon-research/long-tailed-ood-detection上获得。
2022-07-04 cs.CV cs.LG
Compressing VAE-Based Out-of-Distribution Detectors for Embedded Deployment
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学)
本文研究在嵌入式系统上压缩基于VAE的分布外检测器,提出结合量化、剪枝和知识蒸馏的设计方法,在Jetson Nano上将GPU和CPU推理时间分别降低20%和28%且AUROC保持在基线5%以内。
2024-09-02 cs.LG
SPK: Eliciting Structured Prior Knowledge for Interpretable Out-of-Distribution Detection in Real-Time Object Detection
本研究提出SPK框架,从预训练目标检测器中引出结构化先验知识,构建五维表示实现最先进的分布外检测,揭示预训练检测器蕴含丰富潜在知识,为提升目标检测器可靠性提供新路径。
2026-08-20 cs.CV cs.LG
M3OOD: Automatic Selection of Multimodal OOD Detectors
University of Southern California(南加州大学)
M3OOD通过元学习框架自动选择多模态OOD检测器,有效提升不同分布偏移下的检测性能。
2026-02-20 cs.LG
Novelty Detection Via Blurring
Korea Advanced Institute of Science and Technology(韩国科学技术院);School of Electrical Engineering(电气工程学院)
已经观察到基于变分自编码器或随机网络蒸馏(RND)的常规分布外(OOD)检测方案向OOD分配比目标分布更低的不确定性。在这项工作中,我们发现,这种传统的新奇检测方案也容易受到模糊图像。基于观察,我们构建了一种新的基于RND的OOD检测器SVD-RND,该检测器在训练过程中利用模糊图像。我们的检测器是简单的,有效的测试时间,并优于基线OOD检测器在各个领域。进一步的结果表明,SVD-RND学习更好的目标分布表示比基线RND算法。最后,结合几何变换的SVD-RND在CelebA数据集上实现了近乎完美的检测精度。
2020-03-03 cs.CV cs.LG eess.IV
Training OOD Detectors in their Natural Habitats
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
分发外(OOD)检测对于部署在野外的机器学习模型很重要。最近的方法使用辅助离群数据来正则化模型,以改进OOD检测。然而,这些方法做出了很强的分布假设,即辅助离群值数据与分布(ID)数据完全分离。在本文中,我们提出了一个新的框架,利用野生混合数据,自然包括ID和OOD样本。这样的野生数据是丰富的,并且在它们的自然栖息地中部署机器学习分类器时自由产生。我们的主要思想是制定一个约束优化问题,并显示如何tractably solvedit.OOD检测率最大化,受约束的分类错误的ID数据和OOD出错率的ID的例子。我们广泛评估我们的方法对常见的OOD检测任务,并表现出卓越的性能。
2022-06-28 cs.AI cs.LG
phepy: Visual benchmarks and improvements for out-of-distribution detectors
Department of Mathematics, Saarland University(萨尔兰大学数学系);Institute for Atmospheric and Earth System Research, University of Helsinki(赫尔辛基大学大气与地球系统研究所);School of Engineering Sciences, LUT University(卢霍斯大学工程科学学院)
提出包含三个可视化玩具示例的OOD检测基准,评估现有方法,并引入t-poking和OOD样本加权改进监督式检测器在ID-OOD边界上的精度。
2026-06-08 cs.LG
Detecting Out-of-Distribution Through the Lens of Neural Collapse
MIT(麻省理工学院);UC Santa Barbara(加州大学圣巴巴拉分校)
受神经坍缩现象启发,提出一种通用高效的分布外检测方法,利用特征与权重向量的邻近度及特征范数过滤OOD样本,在多场景下展现鲁棒性且推理延迟极低。
2025-04-03 cs.LG eess.IV
FOOD: Fast Out-Of-Distribution Detector
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
深度神经网络(DNN)在对与它们所训练的类相关的输入进行分类方面表现良好,这些输入被称为分布输入。然而,分布外(OOD)输入对DNN构成了巨大的挑战,因此在安全关键系统中实现DNN时会带来重大风险。在面向对象检测领域已经进行了广泛的研究。然而,用于OOD检测的当前最先进的方法遭受以下限制中的至少一个:(1)增加的推理时间-这限制了现有方法对许多现实世界应用的适用性,以及(2)对OOD训练数据的需要-这样的数据可能难以获取并且可能不够有代表性,因此限制了OOD检测器的概括能力。在本文中,我们提出了FOOD -- Fast Out-Of-Distribution detector --一种扩展的DNN分类器,能够以最小的推理时间开销有效地检测OOD样本。我们的架构具有最终高斯层结合对数似然比统计测试的DNN和用于OOD检测的额外输出神经元。而不是使用真实的OOD数据,我们使用了一种新的方法,工艺人工OOD样本的分布数据,这是用来训练我们的OOD检测器神经元。我们评估了FOOD在SVHN、CIFAR-10和CIFAR-100数据集上的检测性能。我们的研究结果表明,除了实现最先进的性能,食物是快速和适用于现实世界的应用程序。
2021-02-23 cs.LG stat.ML
Evaluating Out-of-Distribution Detectors Through Adversarial Generation of Outliers
Seoul National University(首尔国立大学);Kakao Enterprise(Kakao企业);Hanyang University(汉阳大学);Korea Institute for Advanced Study(韩国高等研究院);Saige Research(赛奇研究院)
一个可靠的评估方法是必不可少的,以建立一个强大的分布外(OOD)检测器。目前OOD检测器的鲁棒性评估协议依赖于对离群数据的扰动。然而,扰动不太可能自然发生或与数据内容无关,因此对稳健性的评估有限。在本文中,我们提出了评估通过生成OOD检测器(EvG),一个新的协议,调查的鲁棒性OOD检测器在更现实的模式下的异常值的变化。EvG利用生成模型来合成合理的离群值,并采用MCMC采样来找到被检测器错误分类为具有最高置信度的分布中的离群值。我们使用EvG对最先进的OOD检测器的性能进行了全面的基准比较,发现了以前被忽视的弱点。
2022-08-20 cs.CR cs.LG
Iterative Deployment Exposure for Unsupervised Out-of-Distribution Detection
University of Bern(伯恩大学);University of Bonn(波恩大学)
针对现有无监督分布外检测方法忽略部署后积累特定任务OOD样本的问题,提出更贴合实际的迭代部署暴露设置与CSO方法,结合马氏距离、最近邻及置信度缩放少样本检测器,在三种医学影像模态上显著优于强基线。
2025-05-19 cs.CV cs.LG
Skeleton-OOD: An End-to-End Skeleton-Based Model for Robust Out-of-Distribution Human Action Detection
Monash University(莫纳什大学);University of Melbourne(墨尔本大学)
提出端到端基于骨架的模型Skeleton-OOD,在确保分布内动作识别准确性的同时提升分布外检测有效性,在多个数据集上优于现有方法。
2024-12-19 cs.CV
OOD-Speech: A Large Bengali Speech Recognition Dataset for Out-of-Distribution Benchmarking
SUST(苏斯特大学);Brac University(BRAC大学);Vanderbilt University(范德堡大学);RPI(伦斯勒理工学院);Rice University(莱斯大学)
提出了首个孟加拉语自动语音识别的分布外基准测试数据集OOD-Speech,包含1177.94小时众包训练数据和23.03小时多源测试数据,以评估ASR框架对分布偏移的鲁棒性。
2023-05-15 cs.CL cs.LG eess.AS
A Geometry-Based View of Mahalanobis OOD Detection
Department of Artificial Intelligence, Wrocław University of Science and Technology(人工智能系,沃斯克拉大学)
本文提出基于几何视角的马哈拉诺布斯OOD检测方法,通过调整径向缩放归一化参数β,改进了检测器对分布内几何结构的适应性。
2026-03-03 cs.CV cs.LG
Using Semantic Information for Defining and Detecting OOD Inputs
PRECISE Lab Computer and Information Science Dept. University of Pennsylvania(宾夕法尼亚大学计算机与信息科学系PRECISE实验室);Dermatology Dept. University of Pennsylvania(宾夕法尼亚大学皮肤科)
随着机器学习模型在不同任务中不断取得令人印象深刻的性能,对此类模型进行有效异常检测的重要性也在增加。众所周知,即使是经过良好训练的模型也会失去对分布外输入有效运行的能力。因此,分布外(OOD)检测最近受到了一些关注。在绝大多数情况下,它使用训练数据集估计的分布进行OOD检测。不幸的是,我们证明了当前的检测器继承了训练数据集中的偏差。这是一个严重的障碍,可能会限制训练模型的实用性。这可以使得当前OOD检测器对位于训练分布之外但具有相同语义信息(例如,训练类标签)的输入不可渗透。为了纠正这种情况,我们首先定义什么应该被理想地视为OOD,通过连接输入与它们的语义信息内容。我们执行OOD检测的语义信息提取的训练数据的MNIST和COCO数据集,并表明它不仅减少了误报,但也显着提高了OOD输入的检测与虚假功能的训练数据。
2023-02-21 cs.CV cs.LG
FARE: A Deep Learning-Based Framework for Radar-based Face Recognition and Out-of-distribution Detection
Technical University of Munich(慕尼黑工业大学);Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与机器智能研究所)
本研究提出基于深度学习的FARE框架,利用短程FMCW雷达的距离-多普勒图像,通过主路径加中间路径的两阶段训练实现人脸识别与分布外检测,在自研数据集上取得99.30%的分类准确率和96.91%的检测AUROC。
2025-01-14 cs.AI cs.CV cs.LG
Design Methodology for Deep Out-of-Distribution Detectors in Real-Time Cyber-Physical Systems
Nanyang Technological University(南洋理工大学)
当机器学习(ML)模型被提供了训练分布之外的数据时,它们更有可能做出不准确的预测;在网络物理系统(CPS)中,这可能导致灾难性的系统故障。为了减轻这种风险,一个分发外(OOD)检测器可以与ML模型并行运行,并标记可能导致不良结果的输入。虽然OOD检测器在准确性方面已经得到了很好的研究,但对资源受限的CPS的部署关注较少。在这项研究中,提出了一种设计方法来调整深OOD检测器,以满足嵌入式应用的精度和响应时间的要求。该方法使用遗传算法来优化检测器的预处理流水线,并选择一种平衡鲁棒性和响应时间的量化方法。它还确定了机器人操作系统(ROS)下的几个候选任务图,用于部署选定的设计。两个变分自编码器基于OOD检测器的文献上的两个嵌入式平台上的方法进行了演示。洞察到设计过程中发生的权衡,它示出,这种设计方法可以导致大幅减少响应时间相对于未优化的OOD检测器,同时保持相当的精度。
2022-07-29 cs.LG
FodFoM: Fake Outlier Data by Foundation Models Creates Stronger Visual Out-of-Distribution Detector
Peng Cheng Laboratory(鹏城实验室);Key Laboratory of Machine Intelligence and Advanced Computing(机器智能与先进计算重点实验室);China United Network Communications Corporation Limited Guangdong Branch(中国联合网络通信有限公司广东省分公司)
针对现有视觉OOD检测方法依赖高成本辅助数据或假设简化的问题,提出FodFoM框架,结合多类基础模型生成两种伪造离群图像用于训练,在多个基准上取得当前最优检测性能。
2024-11-22 cs.CV cs.LG
Your Classifier Can Be Secretly a Likelihood-Based OOD Detector
Stanford University(斯坦福大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对判别式分类器缺乏显式输入似然的问题,本文提出INK,利用恒定范数超球面嵌入将分类器潜在表征解释为内在似然,并在OpenOOD的far/near-OOD设置中取得最先进性能。
2024-08-09 cs.LG stat.ML
Latent Uncertainty Representations for Video-based Driver Action and Intention Recognition
Volvo Car Corporation(沃尔沃汽车公司)
针对基于视频的驾驶员动作与意图识别任务中现有最后层概率深度学习方法分布外检测性能波动的问题,提出潜在不确定性表示方法,在保证分类性能的同时提升了检测效率与调优便捷性,还补充了NuScenes数据集的标注。
2025-10-06 cs.CV cs.LG
A noisy elephant in the room: Is your out-of-distribution detector robust to label noise?
Aalborg University(奥尔堡大学);University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
本文系统评估了20种最先进OOD检测方法在训练标签含噪声场景下的性能,通过多数据集、多噪声类型与水平、多架构及检查点策略实验,揭示了错误分类的ID样本与OOD样本分离度差是现有方法被忽视的关键局限。
2024-04-02 cs.AI cs.CV cs.LG
Out-of-Distribution Detection with Overlap Index
NYU Tandon School of Engineering(纽约大学坦登工程学院)
针对现有OOD检测器存在的成本高、可解释性差或准确率低等问题,提出基于重叠指数(OI)的非参数轻量可解释OOD检测方法,在多数据集上准确率达SOTA水平且成本更低,还继承了OI的鲁棒等优良特性。
2024-12-09 cs.LG stat.ML
MCROOD: Multi-Class Radar Out-Of-Distribution Detection
Technical University of Munich(慕尼黑工业大学);Infineon Technologies AG(英飞凌科技股份公司)
由于在安全部署现代深度学习(DL)架构方面的关键作用,分发外(OOD)检测最近受到了特别关注。这项工作提出了一种基于重建的多类OOD检测器,对雷达距离多普勒图像(RDIs)。该检测器旨在将除了坐着、站着或行走的人之外的任何移动对象分类为OOD。我们还提供了一种简单而有效的预处理技术来检测轻微的人体运动,如呼吸。这个简单的想法被称为呼吸检测器(CNOD),它简化了OOD检测,特别是对于人类坐着和站着上课。在我们通过60GHz短距离FMCW雷达收集的数据集上,我们分别实现了坐着,站立和步行类的97.45%,92.13%和96.58%的AUROC。我们进行了广泛的实验,并表明我们的方法优于国家的最先进的(SOTA)OOD检测方法。此外,我们的管道执行速度比第二好的方法快24倍,非常适合实时处理。
2023-03-10 cs.CV cs.LG eess.SP
Revisiting Deep Ensemble for Out-of-Distribution Detection: A Loss Landscape Perspective
Shanghai Jiao Tong University(上海交通大学);KU Leuven(鲁汶大学)
本文从损失景观视角重新审视深度集成用于分布外检测,发现独立模式在OoD数据上损失景观差异大,提出模式集成方法提升检测性能并降低方差。
2024-07-16 cs.LG
Unsupervised Energy-based Out-of-distribution Detection using Stiefel-Restricted Kernel Machine
KU Leuven(鲁汶大学)
检测分发外(OOD)样本是在现实世界中部署机器学习系统的基本要求。到目前为止,对基于能量的OOD检测器的研究主要集中在来自可访问类标签的预训练神经网络分类器的softmax置信度分数上。相比之下,我们提出了一个无监督的基于能量的OOD检测器,利用Stiefel限制内核机(St-RKM)。训练需要最小化具有自动编码器损失项和RKM能量的目标函数,其中互连矩阵位于Stiefel流形上。此外,我们概述了多个能量函数的定义的基础上RKM框架,并讨论其效用。在标准数据集上的实验中,该方法改进了现有的基于能量的OOD检测器和深度生成模型。通过几个烧蚀研究,我们进一步说明了每一个建议的能量函数的优点上OOD检测性能。
2021-02-16 cs.LG
FOODER: Real-time Facial Authentication and Expression Recognition
Technical University of Munich(慕尼黑工业大学)
FOODER利用雷达数据实现实时面部认证与细粒度表情识别,通过多编码器多解码器架构和MobileViT网络在保持隐私的同时提升准确率。
2025-12-19 cs.AI cs.CV cs.LG
In or Out? Fixing ImageNet Out-of-Distribution Detection Evaluation
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
针对 ImageNet-1K 的 OOD 测试集普遍混入 ID 样本、导致评估失真的问题,本文构建经逐样本核验的 NINCO 数据集并结合合成单元测试,系统评估多种架构与方法,揭示模型弱点及预训练影响。
2023-06-01 cs.CV cs.LG
Unified Classification and Rejection: A One-versus-All Framework
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出一对其余统一框架,将 K 类开放集识别建模为仅用已知类训练的 (K+1) 类问题,并结合 OVA 与交叉熵损失,在单一分类器上兼顾闭集分类、OOD 检测和误分类检测。
2024-08-04 cs.CV cs.LG
SSD: A Unified Framework for Self-Supervised Outlier Detection
Princeton University(普林斯顿大学);Purdue University(普渡大学)
我们提出以下问题:设计有效的离群值/分布外(OOD)检测器需要什么训练信息,即,检测远离训练分布的样本?由于许多应用程序都可以轻松访问未标记的数据,因此最引人注目的方法是仅基于未标记的分布数据开发检测器。然而,我们观察到,大多数现有的基于未标记数据的检测器表现不佳,通常相当于随机预测。相比之下,现有的最先进的OOD检测器实现了令人印象深刻的性能,但需要访问细粒度的数据标签进行监督训练。我们提出了SSD,一个离群检测器的基础上,只有未标记的分布数据。我们使用自监督表示学习,然后在特征空间中进行基于马氏距离的检测。我们证明,SSD优于大多数现有的检测器的基础上未标记的数据由一个很大的利润。此外,SSD甚至达到了与基于监督训练的检测器相当的性能,有时甚至更好。最后,我们扩展我们的检测框架与两个关键的扩展。首先,我们制定了Few-Shot OOD检测,其中检测器只能访问目标OOD数据集的每个类中的一到五个样本。其次,我们扩展我们的框架,将训练数据标签,如果可用的话。我们发现,我们的新的检测框架的基础上SSD显示增强的性能与这些扩展,并实现了最先进的性能。我们的代码可在https://github.com/inspire-group/SSD上公开获取。
2021-03-22 cs.AI cs.CV cs.LG
Improving Out-of-Distribution Detection with Markov Logic Networks
University of Magdeburg(马格德堡大学)
本文提出利用马尔可夫逻辑网络为现有分布外检测器引入可解释的概率逻辑推理,并给出逻辑约束学习算法,在多个数据集上显著提升检测性能且保持计算效率。
2025-05-28 cs.LG
FOOD: Facial Authentication and Out-of-Distribution Detection with Short-Range FMCW Radar
Technical University of Munich(慕尼黑工业大学);Infineon Technologies AG(英飞凌科技股份公司)
本文提出FOOD框架,利用60 GHz短程FMCW雷达实现人脸认证与分布外检测,通过重建式编码器-多解码器架构取得98.07%分类准确率和98.50% AUROC,优于现有OOD检测方法。
2024-06-06 cs.CV cs.LG eess.SP
Prioritizing Corners in OoD Detectors via Symbolic String Manipulation
Fraunhofer IKS(弗劳恩霍夫认知系统研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
为了保证深度神经网络(DNN)的安全性,分布外(OoD)监控技术是必不可少的,因为它们过滤了远离训练数据集的虚假输入。本文研究了系统地测试OoD监视器的问题,以避免输入数据点被监视器测试为分布内,但DNN产生虚假输出预测的情况。我们考虑的定义,“分布”的特征在于在特征空间中的一个联盟的超矩形从训练数据集学习。因此,测试被简化为在特征空间中寻找远离可用训练数据的超矩形中的角。具体地说,我们将每个数据点的抽象位置编码为有限长度的二进制字符串,并使用二进制决策图(BDD)将所有二进制字符串的并集压缩存储。我们演示了如何使用BDD象征性地提取远离训练集中所有数据点的角点。除了测试用例生成之外,我们还解释了如何使用建议的角点来微调DNN,以确保它不会过度自信地预测。结果进行评估的例子,如数字和交通标志识别。
2022-05-16 cs.LG cs.SE
Detecting Out-of-Distribution Objects through Class-Conditioned Inpainting
The Ohio State University(俄亥俄州立大学);Cornell University(康奈尔大学);FPT Software AI Center(FPT软件人工智能中心);VinUniversity(文理大学)
针对目标检测器在实际部署中对分布外(OOD)目标过度自信的问题,提出利用Stable Diffusion等文本到图像生成模型,通过类别条件补全测量重建误差检测OOD目标,实验表明其持续优于现有方法,提升了动态环境中系统的稳健性。
2025-11-18 cs.CV cs.LG
On the use of Mahalanobis distance for out-of-distribution detection with neural networks for medical imaging
University of Oxford(牛津大学);Imperial College London(帝国理工学院);University of Birmingham(伯明翰大学)
本文挑战马氏距离OOD检测存在最优层的假设,证明最优层随OOD类型变化,并验证多检测器策略可增强鲁棒性,为医学影像OOD检测提供最佳实践。
2023-09-04 cs.CV cs.LG
Dataset Identity, Not Novelty: The Source of an Inflated OOD Detection Gain
Hongik University(弘益大学)
该研究揭示OOD检测中报告的增益主要源于数据集身份识别而非新颖性,通过留出整个OOD数据集测量膨胀,并提供闭式解以预测哪些拟合会虚高。
2026-10-02 cs.CV cs.LG
Open-Set Semi-Supervised Object Detection
Georgia Tech(佐治亚理工学院);Meta
半监督目标检测(SSOD)的最新发展已经显示出利用未标记数据来改进目标检测器的前景。然而,到目前为止,这些方法都假设未标记的数据不包含分布外(OOD)类,这对于大规模的未标记数据集是不现实的。在本文中,我们考虑一个更实际的,但具有挑战性的问题,开集半监督目标检测(OSSOD)。我们首先发现现有的SSOD方法在开集条件下获得了较低的性能增益,这是由语义扩展引起的,其中分散注意力的OOD对象被误预测为半监督训练的分布伪标签。为了解决这个问题,我们考虑在线和离线OOD检测模块,这是集成SSOD方法。随着广泛的研究,我们发现,利用基于自监督视觉Transformer的离线OOD检测器由于其对伪标记干扰的鲁棒性而优于在线OOD检测器。在实验中,我们提出的框架有效地解决了语义扩展问题,并在许多OSSOD基准测试中显示出一致的改进,包括大规模的COCO-OpenImages。我们还验证了我们的框架的有效性,在不同的OSSOD条件下,包括不同数量的分布类,不同程度的监督,和不同的组合的未标记集。
2022-08-29 cs.CV cs.LG
Is Complex Training Necessary for Long-Tailed OOD Detection? A Re-think from Feature Geometry
Nanjing Normal University(南京师范大学)
本文重新审视长尾分布外检测问题,提出通过特征几何方法简化检测过程,改进Mahalanobis距离计算,提升检测性能。
2026-05-18 cs.CV cs.LG
Evaluating and Improving the Robustness of Speech Command Recognition Models to Noise and Distribution Shifts
本研究探究音频语音命令识别模型中分布内与分布外准确率的关联,通过基准测试不同神经架构,用公平性与鲁棒性指标量化噪声影响,发现噪声感知训练可在部分配置下提升模型鲁棒性。
2025-07-30 cs.LG
Layer Adaptive Deep Neural Networks for Out-of-distribution Detection
University of Texas at Dallas(德克萨斯大学达拉斯分校)
在深度神经网络(DNN)的前向传递过程中,输入逐渐从低级特征转换为高级概念标签。虽然不同层的特征可以概括不同层次输入的重要因素,但现代的分布外(OOD)检测方法主要集中在利用其结束层特征。在本文中,我们提出了一种新的层自适应OOD检测框架(LA-OOD)的DNN,可以充分利用中间层的输出。具体来说,我们不是在固定的结束层训练统一的OOD检测器,而是在中间层同时训练多个One-Class SVM OOD检测器,以利用在DNN的不同深度编码的全谱特征。我们开发了一个简单而有效的层自适应的政策,以确定最好的层检测每个潜在的OOD的例子。LA-OOD可以应用于任何现有的DNN,并且在训练期间不需要访问OOD样本。使用三个不同深度和架构的DNN,我们的实验表明,LA-OOD对不同复杂度的OOD具有鲁棒性,并且在一些真实世界的数据集上可以大幅超越最先进的竞争对手。
2022-03-01 cs.AI cs.LG
A Critical Evaluation of Open-World Machine Learning
Princeton University(普林斯顿大学)
开放世界机器学习(ML)将在分布内数据上训练的封闭世界模型与分布外(OOD)检测器相结合,其目的是检测和拒绝OOD输入。以前关于开放世界ML系统的工作通常无法在各种可能的对抗条件下测试其可靠性。因此,在本文中,我们试图了解最先进的开放世界ML系统对系统组件变化的弹性如何?通过对6个OOD检测器的评估,我们发现分布数据、模型架构和OOD数据的选择对OOD检测性能有很大影响,导致误报率超过$70\%$。我们进一步表明,具有22个无意损坏或对抗性扰动的OOD输入使开放世界ML系统无法使用,误报率高达$100\%$。为了提高开放世界ML的弹性,我们将鲁棒分类器与OOD检测技术相结合,并揭示了OOD检测和鲁棒性之间的新权衡。
2020-07-08 cs.CR cs.LG
Revisiting Out-of-Distribution Detection in LiDAR-based 3D Object Detection
Ulm University(乌尔姆大学);Robert Bosch GmbH(罗伯特·博世有限公司);Institute of Measurement, Control, and Microtechnology(测量、控制与微技术研究所)
针对基于LiDAR的3D目标检测中分布外目标检测研究不足的问题,提出通过扰动已知类别生成合成OOD数据,并利用预训练检测器特征训练MLP进行ID与OOD分类,同时提出无需修改点云的新评估协议,在nuScenes OOD基准上验证有效。
2024-04-24 cs.CV cs.LG
When and how CNNs generalize to out-of-distribution category-viewpoint combinations
Harvard University(哈佛大学);MIT(麻省理工学院);Fujitsu Laboratories Ltd.(富士通研究所)
物体识别和视点估计是视觉理解的核心。最近的研究表明,卷积神经网络(CNN)无法推广到分布外(OOD)的类别-视点组合,即。在训练中看不到的组合。在本文中,我们研究了何时以及如何通过评估训练用于对OOD组合的对象类别和3D视点进行分类的CNN来实现这种OOD泛化,并识别促进这种OOD泛化的神经机制。我们表明,增加分布组合的数量(即。数据多样性)实质上改进了对OOD组合的泛化,即使具有相同量的训练数据。我们比较了在独立和共享网络架构中的学习类别和观点,并观察到在分布和OOD组合上完全不同的趋势,即。虽然共享网络在分发中是有帮助的,但是在OOD组合中,单独的网络显著优于共享网络。最后,我们证明,这种面向对象的泛化是促进专业化的神经机制,即。出现了两种类型的神经元--对类别有选择性的神经元和对观点无变化的神经元,反之亦然。
2021-11-17 cs.CV cs.LG
COOD: Combined out-of-distribution detection using multiple measures for anomaly & novel class detection in large-scale hierarchical classification
Intel Benelux BV(英特尔比荷卢公司);Naturalis Biodiversity Center(自然生物多样性中心);HTC(宏达国际电子股份有限公司);University of Twente(特温特大学)
针对大规模层次化物种识别中的异常与新类别检测,本文提出 COOD 框架,用监督模型融合多种现有及新型 OOD 度量,并在三个 50 万图以上数据集上显著提升检测性能。
2024-03-11 cs.CV cs.LG
Improving Out-of-Distribution Detection by Combining Existing Post-hoc Methods
DEEL, IRT Saint Exupery(DEEL,IRT圣埃克苏佩里);Institut Intelligence des Données, Université de Laval(拉瓦尔大学数据智能研究所)
该研究聚焦于结合现有后处理OOD检测方法提升性能,提出四种多分数整合策略,扩展评估指标并在基准上验证,还给出无已知OOD数据时的检测器组合选择准则。
2024-07-09 cs.AI cs.CV cs.LG
Out-of-distribution Detection in Classifiers via Generation
University of Waterloo(滑铁卢大学)
通过设计,区分训练的神经网络分类器仅对分布内样本产生可靠的预测。对于他们的实际部署,检测分发外(OOD)样本至关重要。假设OOD在分布的闭合边界之外,典型的神经分类器在推理期间不包含用于OOD检测的该边界的知识。最近已经有一些方法通过使用接近分布边界的OOD样本显式地训练分类器来向分类器灌输这种知识。然而,这些生成的样本未能有效地覆盖整个分布边界,从而导致次优OOD检测器。在本文中,我们分析了这种方法的可行性,通过调查的复杂性,产生这样的“有效”的OOD样本。我们还提出了一种新的算法来生成这样的样本使用流形学习网络(例如,变分自编码器),然后训练用于OOD检测的n+1分类器,其中$n+1^{th}$类表示OOD样本。我们比较我们的方法对最近几个基于分类器的OOD检测器MNIST和时尚MNIST数据集。总的来说,所提出的方法始终比其他方法表现得更好。
2019-10-09 cs.LG stat.ML
Knowledge-Guided Failure Prediction: Detecting When Object Detectors Miss Safety-Critical Objects
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);Fraunhofer IOSB(弗劳恩霍夫光电、系统技术及图像处理研究所)
本文提出KGFP框架,通过检测内部特征与视觉基础模型嵌入之间的语义偏差来识别对象检测器的故障,提升安全关键对象的召回率。
2026-03-26 cs.CV cs.LG
A Closer Look at In-Distribution vs. Out-of-Distribution Accuracy for Open-Set Test-time Adaptation
University of British Columbia and Vector Institute(不列颠哥伦比亚大学和向量研究所)
本文通过基准测试和提出新基线,揭示了当前开放集测试时自适应方法在平衡分布内准确率和分布外检测能力上的不足。
2026-06-01 cs.CV cs.LG
Mixture Outlier Exposure: Towards Out-of-Distribution Detection in Fine-grained Environments
Duke University(杜克大学);Air Force Research Laboratory(空军研究实验室)
部署基于DNN的识别系统的许多现实场景具有固有的细粒度属性(例如,鸟类识别、医学图像分类)。除了实现可靠的准确性,这些模型的一个关键子任务是检测出的分布(OOD)的输入。考虑到部署环境的性质,人们可能期望这样的OOD输入也是细粒度的w.r.t.已知的类(例如,一种新的鸟类),因此极难识别。不幸的是,细粒度场景中的OOD检测仍然在很大程度上未被探索。在这项工作中,我们的目标是填补这一空白,首先仔细构建四个大规模的细粒度的测试环境,在现有的方法被证明有困难。特别是,我们发现,即使在训练过程中显式地结合一组不同的辅助离群数据,也不能在细粒度OOD样本所在的广泛区域提供足够的覆盖范围。然后,我们提出了混合离群值暴露(MixOE),它将ID数据和训练离群值混合在一起,以扩大不同OOD粒度的覆盖范围,并训练模型,使预测置信度随着输入从ID过渡到OOD而线性衰减。大量的实验和分析表明,MixOE的有效性,建立面向对象的检测器在细粒度的环境。该代码可在https://github.com/zjysteven/MixOE上获得。
2022-10-20 cs.LG
Towards Robust Multimodal Emotion Recognition under Missing Modalities and Distribution Shifts
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院)
针对多模态情感识别中模态缺失与分布偏移的双重挑战,提出融合自蒸馏与因果推断的CIDer框架,在两类场景下均以更少参数实现更优鲁棒性能。
2025-06-12 cs.CL cs.CV cs.LG
Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities
University of Tübingen(图宾根大学)
在可信机器学习中,识别与分布任务无关的分布外输入是一个重要问题。近年来提出了许多分布外检测方法。本文的目标是识别共同的目标,以及确定不同的OOD检测方法的隐式评分功能。我们专注于在训练过程中使用替代OOD数据的方法的子类,以学习在测试时推广到新的看不见的外分布的OOD检测分数。我们表明,二进制歧视和(不同的)外分布相当于几个不同的配方的OOD检测问题。当使用标准分类器以共享方式进行训练时,该二进制分类器达到了与离群值暴露类似的OOD检测性能。此外,我们证明了离群值暴露所使用的置信度损失具有隐式评分函数,该函数在训练和测试外分布相同的情况下以非平凡的方式不同于理论上的最佳评分函数,这再次类似于训练基于能量的OOD检测器或添加背景类时所使用的评分函数。在实践中,当以完全相同的方式训练时,所有这些方法的表现都是相似的。
2022-06-20 cs.CV cs.LG
GOLD: Graph Out-of-Distribution Detection via Implicit Adversarial Latent Generation
The University of Queensland(昆士兰大学)
GOLD框架通过隐式对抗潜在生成,在不依赖预训练生成模型和真实OOD数据的情况下合成伪OOD实例,用于图神经网络的分布外检测,并在多个基准数据集上取得优于现有方法的性能。
2025-04-10 cs.LG