Theoretical Grounding of Out-Of-Distribution Detection With Reinforcement Learning Optimizer
San Diego State University(圣地亚哥州立大学)
本文提出一种强化学习引导的优化器,通过修正梯度下降更新来降低语义分布外误报率,理论分析了模型变化和环境变化对泛化误差的影响。
2026-06-17 cs.CV cs.LG
YolOOD: Utilizing Object Detection Concepts for Multi-Label Out-of-Distribution Detection
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Fujitsu Limited(富士通有限公司)
本文提出YolOOD方法,利用目标检测模型的固有区分能力,通过微小改动将其转换为图像分类器,从而在多标签分类任务中实现高效的分布外检测,性能优于现有方法。
2023-11-21 cs.CV cs.LG
RankFeat: Rank-1 Feature Removal for Out-of-distribution Detection
University of Trento(特伦托大学)
分发外(OOD)检测任务对于在现实环境中部署机器学习模型至关重要。在本文中,我们观察到分布(ID)和OOD特征的奇异值分布是完全不同的:OOD特征矩阵倾向于具有比ID特征更大的主导奇异值,并且OOD样本的类预测在很大程度上由其决定。这种观察促使我们提出\texttt{RankFeat},通过从高级特征中去除由最大奇异值和相关奇异向量组成的秩1矩阵(\emph{i.e.,} $\mathbf{X}{-} \mathbf{s}_{1}\mathbf{u}_{1}\mathbf{v}_{1}^{T}$),用于OOD检测的简单而有效的\texttt{post hoc}方法。\texttt{RankFeat}达到了\emph{state-of-the-art}的性能,与以前的最佳方法相比,平均误报率(FPR 95)降低了17.90%.广泛的消融研究和全面的理论分析,以支持实证结果。
2022-09-18 cs.CV cs.LG
Robustness Is a Function, Not a Number: A Factorized Comprehensive Study of OOD Robustness in Vision-Based Driving
University of Haifa(海法大学)
本文研究了基于视觉的驾驶OOD鲁棒性,通过因素分解发现ViT策略比CNN更鲁棒,季节和时间变化显著影响性能,FM特征在延迟成本下表现最佳,多环境训练能提升弱案例表现。
2026-02-09 cs.AI cs.CV cs.LG
Norm-Scaling for Out-of-Distribution Detection
Purdue University(普渡大学)
分布外(OoD)输入是不属于数据集真实底层分布的示例。研究表明,深度神经网络对OoD输入进行了自信的错误预测。因此,识别OoD输入对于安全可靠地部署深度神经网络至关重要。通常在相似性分数上应用阈值来检测OoD输入。一个这样的相似性是角度相似性,其是潜在表示与平均类表示的点积。角度相似性对不确定性进行编码,例如,如果角度相似性较小,则不太确定输入属于该类别。然而,我们观察到,不同的类有不同的角相似性分布。因此,对所有类别应用单个阈值是不理想的,因为相同的相似性分数表示不同类别的不同不确定性。在本文中,我们提出了规范尺度,规范化的logits分别为每个类。这确保了单个值一致地表示各种类别的类似不确定性。我们表明,当与最大softmax概率检测器一起使用时,与以前最先进的方法相比,norm-scaling在AUROC中实现了9.78%的改进,在AUPR中实现了5.99%的改进,在FPR 95度量中降低了33.19%。
2022-05-06 cs.CV cs.LG
Toward a Realistic Benchmark for Out-of-Distribution Detection
Politecnico di Torino(都灵理工大学)
针对现有OOD检测基准多基于远分布外样本、缺乏真实场景复杂度的问题,研究提出基于ImageNet和Places365、按语义相似度划分分布内外类别的综合基准,实验表明检测效能受基准选择影响,置信度方法在近OOD样本上表现更优。
2024-04-16 cs.CV cs.LG
PixMix: Dreamlike Pictures Comprehensively Improve Safety Measures
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);Harvard University(哈佛大学)
在机器学习的实际应用中,可靠和安全的系统必须考虑超出标准测试集精度的性能度量。这些其他目标包括分布外(OOD)鲁棒性,预测一致性,对对手的弹性,校准的不确定性估计以及检测异常输入的能力。然而,提高这些目标的性能通常是一种平衡行为,当今的方法无法在不牺牲其他安全轴性能的情况下实现。例如,对抗训练提高了对抗鲁棒性,但严重降低了其他分类器的性能指标。类似地,强大的数据增强和正则化技术通常会提高OOD的鲁棒性,但会损害异常检测,从而提出了一个问题,即是否可以对所有现有的安全措施进行帕累托改进。为了应对这一挑战,我们设计了一种新的数据增强策略,利用分形等图像的自然结构复杂性,其性能优于众多基线,接近帕累托最优,并全面提高了安全措施。
2022-03-29 cs.CV cs.LG
Robust Out-of-distribution Detection for Neural Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google(谷歌)
检测分发外(OOD)输入对于在现实世界中安全部署深度学习模型至关重要。现有的方法,用于检测OOD的例子工作时,良性的分布和OOD样本进行评估。然而,在本文中,我们表明,现有的检测机制可以是非常脆弱的评估时,在分布和OOD输入与最小的对抗扰动,不改变其语义。形式上,我们广泛研究了常见OOD检测方法上的鲁棒分布外检测问题,并表明通过向分布内和OOD输入添加小扰动,可以很容易地欺骗最先进的OOD检测器。为了应对这些威胁,我们提出了一种名为ALOE的有效算法,该算法通过将模型暴露给对抗性制作的内点和离群点示例来进行鲁棒训练。我们的方法可以灵活地与现有的方法相结合,并使其具有鲁棒性。在常见的基准数据集上,我们表明ALOE大大提高了最先进的OOD检测的鲁棒性,在CIFAR-10上AUROC提高了58.4%,在CIFAR-100上提高了46.59%。
2021-12-09 cs.LG stat.ML
NERO: Explainable Out-of-Distribution Detection with Neuron-level Relevance
NepAl Applied Mathematics and Informatics Institute for research(尼泊尔应用数学与信息技术研究所);West Virginia University(西弗吉尼亚大学);University of Aberdeen(阿伯丁大学)
本文提出NERO,一种基于神经元级相关性的OOD检测评分机制,通过聚类质心和相关性距离度量增强可分离性,并在胃肠道影像基准上超越现有方法。
2025-09-24 cs.CV cs.LG
How Does Fine-Tuning Impact Out-of-Distribution Detection for Vision-Language Models?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文全面研究微调对视觉语言模型少样本下游任务分布外检测的影响,发现合理选择OOD分数至关重要,且最大概念匹配分数与提示学习结合可实现最优检测性能。
2024-07-29 cs.CV cs.CY cs.LG
DAVIS: OOD Detection via Dominant Activations and Variance for Increased Separation
University of Southern California(南加州大学)
DAVIS利用激活图的通道方差和主导激活进行领域外检测,通过增强特征向量减少信息损失,提升检测性能,在多个基准上显著降低误报率。
2026-04-22 cs.CV
TS-OOD: Evaluating Time-Series Out-of-Distribution Detection and Prospective Directions for Progress
University of California, San Diego(加利福尼亚大学圣迭戈分校);Intel Labs(英特尔实验室)
本文系统评估了模态无关的OOD检测算法在多元时间序列数据上的表现,发现多数现有方法性能有限,而基于深度特征建模的方法更具优势,为未来时间序列OOD检测算法指明了发展方向。
2025-02-21 cs.LG
ImageNet-OOD: Deciphering Modern Out-of-Distribution Detection Algorithms
Princeton University(普林斯顿大学)
本文提出ImageNet-OOD数据集以解耦语义与协变量偏移,发现现有OOD检测器对协变量偏移更敏感,且最新算法在语义偏移检测上收益甚微,为未来设计提供指导。
2024-03-18 cs.CV
Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技)
本文提出以掩码图像建模作为预训练任务的MOOD框架,用重建式先验替代识别式特征学习,在不使用任何OOD样本的情况下显著超越此前最优的OOD检测方法。
2023-04-11 cs.CV
Leveraging Intermediate Representations for Better Out-of-Distribution Detection
Institute of Visual Computing, TU Graz(格拉茨技术大学视觉计算研究所);SAL Dependable Embedded Systems, Silicon Austria Labs(奥地利硅谷实验室SAL可靠嵌入式系统部)
针对当前OoD检测方法少用中间层信息的问题,该研究分析中间层判别能力,提出用基于能量的对比损失正则化中间层并聚合多层响应,经多数据集评估证明能提升OoD检测性能。
2025-02-18 cs.CV cs.LG
Provable Guarantees for Understanding Out-of-distribution Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
分布外(OOD)检测对于在现实世界中部署机器学习模型非常重要,因为在现实世界中,来自偏移分布的测试数据可能会自然出现。虽然最近出现了大量的算法方法用于OOD检测,但在理论理解方面仍然存在关键差距。在这项工作中,我们开发了一个分析框架,其特点和统一的理论理解OOD检测。我们的分析框架激发了一种新的面向对象检测方法的神经网络,GEM,这表明了理论和经验的优越性。特别是,在CIFAR-100作为分销数据时,我们的方法比竞争基线高出16.57%(FPR 95)。最后,我们正式提供可证明的保证和全面的分析,我们的方法,支持数据分布的各种属性如何影响OOD检测的性能。
2021-12-01 cs.LG
The Signal in the Noise: OOD Detection Through Goodness-of-Fit Testing in Factorised Latent Spaces
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本文提出了一种基于因子化潜在空间中拟合性检验的分布外检测方法SITN,该方法无需访问分布外数据,计算开销小,并能严格控制误报率。
2026-05-21 cs.LG
Joint Distribution across Representation Space for Out-of-Distribution Detection
State Key Lab of Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
深度神经网络(DNN)已经成为许多现代软件应用的关键部分。经过训练和验证后,DNN被部署为不可撤销的组件,并应用于实际场景。尽管大多数DNN都是用大量的训练数据精心构建的,但真实世界中的数据仍然不为DNN模型所知,这导致了运行时分布外(OOD)检测的关键要求。然而,许多现有的方法1)需要OOD数据用于分类器训练或参数调整,或者2)简单地将每个隐藏层的分数组合为用于OOD检测的特征的集合。在本文中,我们提出了一种新的观点,在分布数据的生成方式,它把他们的潜在功能产生的每个隐藏层作为一个联合分布跨表示空间。由于只有分布内的潜在特征在表示空间中被全面理解,因此分布内数据和面向对象数据之间的内在差异可以在没有任何面向对象数据干预的情况下自然地被揭示。具体来说,我们构建了一个生成模型,称为潜在序列高斯混合(LSGM),以描述分布内潜在特征是如何根据DNN在表示空间中的推理轨迹生成的。我们首先构造高斯混合模型(GMM)的基础上,分布潜在的功能,为每个隐藏层,然后连接GMM通过转移概率的推理痕迹。通过对主流OOD数据集和模型的实验评估,验证了该方法在OOD检测中的优越性。
2021-03-30 cs.CV cs.LG
Spurious-Aware Prototype Refinement for Reliable Out-of-Distribution Detection
TU Darmstadt(图宾根大学);Sharif University of Technology(谢赫·穆罕默德·卡齐姆大学)
针对OOD检测中伪相关性导致鲁棒性下降的问题,提出后处理原型精炼方法SPROD,无需额外数据或调参,在多个基准上平均AUROC提升4.8%,FPR@95提升9.4%。
2025-10-26 cs.CV cs.LG
Reliability in Semantic Segmentation: Can We Use Synthetic Data?
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(LIGM、巴黎路桥学校、古斯塔夫·埃菲尔大学、法国国家科学研究中心);kyutai(Kyutai公司);Sorbonne Université(索邦大学)
本文首次提出利用域内数据微调Stable Diffusion生成合成OOD数据,以全面评估语义分割模型在现实世界中的鲁棒性,并证明其与真实OOD数据评估结果高度相关,同时可增强模型校准与OOD检测能力。
2024-09-24 cs.CV cs.LG
Generating Out-Of-Distribution Scenarios Using Language Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UMass Amherst(马萨诸塞大学阿默斯特分校);TRI(丰田研究所);MIT LIDS(麻省理工学院决策与控制系统实验室)
本文提出利用大型语言模型构建分支树来生成多样化分布外驾驶场景,并在CARLA中仿真验证,同时引入OOD-ness指标和视觉语言模型导航评估,以提升自动驾驶安全测试的可靠性。
2024-11-25 cs.CV cs.LG
OpenMIBOOD: Open Medical Imaging Benchmarks for Out-Of-Distribution Detection
OTH Regensburg(雷根斯堡应用技术大学)
本文提出OpenMIBOOD,一个包含14个数据集、评估24种后处理方法的医学影像OOD检测基准框架,发现自然图像基准结论不适用于医学领域,旨在推动可靠AI系统发展。
2025-10-23 cs.CV cs.LG
Out-Of-Distribution Generalization on Graphs: A Survey
Tsinghua University(清华大学)
图机器学习在学术界和工业界都得到了广泛的研究。尽管随着大量新兴方法和技术的出现而蓬勃发展,但大多数文献都建立在分布假设的基础上,即,测试和训练图数据是相同分布的。然而,在许多真实世界的图形场景中,当测试和训练图形数据之间存在分布偏移时,模型性能大大降低时,这种分布内假设很难得到满足。为了解决这一关键问题,图的分布外推广(out-of-distribution generalization,OOD)超越了分布内假设,取得了很大的进展,引起了研究界越来越多的关注。本文对图上的面向对象的推广进行了全面的综述,并对这一领域的最新进展进行了详细的回顾。首先,我们提供了一个正式的问题定义的图上的OOD推广。其次,我们从概念上不同的角度将现有的方法分为三类,即,数据、模型和学习策略,基于它们在图机器学习管道中的位置,然后对每个类别进行详细讨论。我们还回顾了与图上的OOD推广相关的理论,并介绍了常用的图数据集进行全面评估。最后,我们分享了我们对未来研究方向的见解。本文是第一个系统的和全面的审查图上的OOD推广,尽我们所知。
2022-12-29 cs.LG
Model-free Test Time Adaptation for Out-Of-Distribution Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Alibaba Group(阿里巴巴集团);Peking University(北京大学);Meta
本文提出非参数测试时自适应框架 AdaOOD,利用在线测试样本进行模型自适应并将检测到的 OOD 实例纳入决策,显著降低 OOD 检测假阳性率。
2023-11-28 cs.CV cs.LG
ReAct: Out-of-distribution Detection With Rectified Activations
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Facebook AI Research(Facebook人工智能研究院)
由于其在增强神经网络安全部署方面的实际重要性,分发外(OOD)检测近来受到了广泛关注。主要挑战之一是模型通常对OOD数据产生高度自信的预测,这破坏了OOD检测中的驱动原则,即模型应该只对分布样本有信心。在这项工作中,我们提出了ReAct-一种简单有效的技术,用于减少OOD数据上的模型过度自信。我们的方法的动机是新的分析内部激活的神经网络,它显示了高度独特的签名模式的OOD分布。我们的方法可以有效地推广到不同的网络架构和不同的OOD检测分数。我们经验证明,ReAct在一套全面的基准数据集上实现了具有竞争力的检测性能,并对我们的方法的有效性进行了理论解释。在ImageNet基准测试中,与之前的最佳方法相比,ReAct将假阳性率(FPR 95)降低了25.05%。
2021-11-24 cs.LG
Reject option models comprising out-of-distribution detection
Czech Technical University in Prague(布拉格捷克理工大学)
本文提出三种分布外拒识选项模型并证明其共享同一类最优策略,进而设计双分数OOD方法,实验表明其性能优于现有方法,同时提出更可靠的新评估指标。
2023-07-11 cs.LG
Graph Synthetic Out-of-Distribution Exposure with Large Language Models
University of Southern California(南加州大学);University of Maryland, College Park(马里兰大学学院 park 分校);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);Arizona State University(亚利桑那州立大学)
针对图OOD检测中真实OOD样本获取难的问题,提出GOE-LLM框架,通过大语言模型生成伪OOD节点实现OOD暴露,性能媲美使用真实OOD标签的方法。
2025-05-17 cs.LG
GAFD-CC: Global-Aware Feature Decoupling with Confidence Calibration for OOD Detection
Sun Yat-sen University(中山大学)
针对现有事后OOD检测方法忽略特征与logits相关性的问题,提出GAFD-CC方法,通过全局感知特征解耦提取正负相关特征,并自适应融合多尺度置信度,显著提升了检测性能与泛化能力。
2025-11-04 cs.CV
Advancing Out-of-Distribution Detection through Data Purification and Dynamic Activation Function Design
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学);Zhejiang University(浙江大学)
针对分布外样本检测难题,研究提出降噪数据集OOD-R与动态激活函数ActFun,分别优化数据质量与模型响应,显著提升OOD检测性能并凸显数据集完整性的重要性。
2024-03-06 cs.CV cs.LG
Entropy Maximization and Meta Classification for Out-Of-Distribution Detection in Semantic Segmentation
University of Wuppertal(伍珀塔尔大学)
用于图像的语义分割的深度神经网络(DNN)通常被训练为在预定义的对象类的封闭集合上操作。这与DNN被设想部署到的“开放世界”设置形成对比。从功能安全的角度来看,检测所谓的“分发外”(OoD)样本的能力,即,DNN语义空间之外的对象,对于自动驾驶等许多应用至关重要。OoD检测的一种自然基线方法是对逐像素softmax熵进行阈值处理。我们提出了一个两步的程序,显着改善这种方法。首先,我们利用来自COCO数据集的样本作为OoD代理,并引入第二个训练目标来最大化这些样本的softmax熵。从预训练的语义分割网络开始,我们在不同的分布数据集上重新训练了一些DNN,并在完全不相交的OoD数据集上进行评估时,一致地观察到OoD检测性能的改善。其次,我们执行一个透明的后处理步骤,通过所谓的“Meta分类”来丢弃假阳性OoD样本。为此,我们将线性模型应用于从DNN的softmax概率中导出的一组手工度量。在我们的实验中,我们始终观察到OoD检测性能的明显额外增益,当将最佳基线与我们的结果进行比较时,检测错误的数量减少了52%。我们实现了这一改进牺牲只有轻微的原始分割性能。因此,我们的方法有助于更安全的DNN,具有更可靠的整体系统性能。
2021-07-27 cs.CV cs.LG
Full-Spectrum Out-of-Distribution Detection
Nanyang Technological University(南洋理工大学)
现有的分布外(OOD)检测文献明确定义语义转变为OOD的一个标志,但没有一个共识的协变量偏移。经历协变量偏移但未经历语义变化的样本要么被排除在测试集中,要么被视为OOD,这与机器学习的主要目标相矛盾--能够泛化到训练分布之外。在本文中,我们考虑到这两种类型的转变,并引入全谱OOD(FS-OOD)检测,一个更现实的问题设置,既考虑检测语义转变和容忍协变量偏移,并设计了三个基准。这些新的基准测试具有更细粒度的分布分类(即,训练ID、协变量移位ID、近OOD和远OOD),以便更全面地评估算法的优缺点。为了解决FS-OOD检测问题,我们提出了SEM,一个简单的基于特征的语义评分函数。SEM主要由两种概率度量组成:一种是基于包含语义和非语义信息的高层特征,另一种是基于仅捕获非语义图像风格的低层特征统计。通过简单的组合,非语义部分被抵消,这在SEM中只留下语义信息,可以更好地处理FS-OOD检测。在三个新基准上的大量实验表明,SEM显著优于当前最先进的方法。我们的代码和基准测试在https://github.com/Jingkang50/OpenOOD上发布。
2022-04-11 cs.AI cs.CV cs.LG
Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization
Texas A&M University(得克萨斯农工大学)
本文提出一种非欧几里得空间线性外推的数据增强方法,同时外推图结构与特征空间来生成针对特定偏移的OOD样本,在不破坏因果机制的前提下提升图分布外泛化性能。
2024-06-05 cs.LG
One Model, Many Behaviors: Training-Induced Effects on Out-of-Distribution Detection
Institute of Visual Computing, Graz University of Technology(视觉计算研究所,格拉茨技术大学);KESTRELEYE GmbH(KESTRELEYE公司)
本文研究了训练对分布外检测性能的影响,发现准确性与检测性能之间存在非单调关系,并揭示了训练策略与检测方法间的强相关性。
2026-01-15 cs.CV
Mitigating the Likelihood Paradox in Flow-based OOD Detection: An Entropic Perspective
University of Yonsei(延世大学)
本文通过熵操控缓解基于流的分布外检测中的可能性悖论,利用语义相似性调整输入熵以提高检测性能。
2026-10-30 cs.AI cs.LG
DAFT: Distilling Adversarially Fine-tuned Models for Better OOD Generalization
Google Research India(谷歌印度研究院);Indian Institute of Science, Bangalore(印度科学学院班加罗尔分院)
我们考虑面向对象的推广问题,其目标是训练一个模型,该模型在与训练分布不同的测试分布上表现良好。众所周知,深度学习模型对这种变化很脆弱,即使测试分布略有不同,也会出现大幅准确度下降。我们提出了一种新的方法- DAFT -基于直觉,对抗强大的组合大量丰富的功能应该提供OOD的鲁棒性。我们的方法仔细地从一个强大的教师那里提取知识,该教师使用标准训练学习几个区分特征,同时使用对抗训练将它们结合起来。对标准对抗训练程序进行了修改,以产生能够更好地指导学生的教师。我们在DomainBed框架中的标准基准上评估DAFT,并证明DAFT比当前最先进的OOD泛化方法取得了显着的改进。DAFT的性能始终优于经过良好调整的ERM和蒸馏基线,最高可达6%,对于较小的网络来说,收益更为明显。
2022-08-19 cs.LG
MOODv2: Masked Image Modeling for Out-of-Distribution Detection
The Chinese University of Hong Kong (CUHK)(香港中文大学);SmartMore
本研究提出基于掩码图像建模的OOD检测框架MOODv2,通过重建预训练获取稳健的分布内表示,显著提升检测性能并缩小不同评分函数间的差距,在ImageNet和CIFAR-10上均取得优异的AUROC结果。
2024-01-05 cs.CV
Out-of-Distribution Detection in LiDAR Semantic Segmentation Using Epistemic Uncertainty from Hierarchical GMMs
Leibniz University Hannover(莱布尼茨汉诺威大学)
提出基于层次贝叶斯GMM认知不确定性的无监督OOD检测方法,无需辅助数据,在SemanticKITTI上显著提升AUROC、AUPRC并降低FPR95。
2025-10-08 cs.CV cs.LG
Linking Neural Collapse and L2 Normalization with Improved Out-of-Distribution Detection in Deep Neural Networks
Simon Fraser University(西蒙弗雷泽大学);Digitalist Group Canada(加拿大Digitalist集团);MetaOptima(MetaOptima公司)
我们对标准ResNet架构提出了一个简单的修改-在特征空间上进行L2归一化-这大大提高了先前提出的深度确定性不确定性(DDU)基准测试的分布外(OoD)性能。我们发现,这种变化也会导致早期神经崩溃(NC),这种效应与更好的OoD性能有关。我们的方法在基准测试的一小部分训练时间内实现了相当或更好的OoD检测分数和分类准确性。此外,它大大提高了多个随机初始化模型的最坏情况OoD性能。虽然我们并不认为NC是深度神经网络(DNN)中OoD行为的唯一机制或全面解释,但我们相信NC简单的数学和几何结构可以为未来工作中分析这种复杂现象提供一个框架。
2023-01-11 cs.LG
Near OOD Detection for Vision-Language Prompt Learning with Contrastive Logit Score
Monash University(莫纳什大学)
本文提出对比logit分数方法,用于提升预训练视觉-语言提示学习模型的近分布外检测性能,无需修改模型结构或重新训练,实验显示在AUROC上提升11.67%。
2026-04-11 cs.CV
Gradient Short-Circuit: Efficient Out-of-Distribution Detection via Feature Intervention
Nanjing University of Science and Technology(南京理工大学);Great Bay University(大湾区大学)
本文利用ID与OOD样本周围梯度方向一致性的差异,提出在推理阶段对特征坐标进行梯度短路干预,并用一阶近似避免额外前向计算,以轻量方式显著提升OOD检测性能。
2025-07-04 cs.CV cs.LG
OpenOOD: Benchmarking Generalized Out-of-Distribution Detection
Nanyang Technological University(南洋理工大学);Beijing University of Posts and Telecommunications(北京邮电大学);Queen Mary University of London(伦敦玛丽女王大学);SenseTime Research(商汤科技研究院);Peking University(北京大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Berkeley(加州大学伯克利分校)
分发外(OOD)检测对于安全关键型机器学习应用至关重要,因此已被广泛研究,文献中开发了大量方法。然而,该领域目前缺乏一个统一的、严格制定的、全面的基准,这往往导致不公平的比较和不确定的结果。从问题设置的角度来看,OOD检测与相邻领域密切相关,包括异常检测(AD),开集识别(OSR)和模型不确定性,因为为一个领域开发的方法通常相互适用。为了帮助社区提高评估和进步,我们建立了一个统一的,结构良好的代码库称为OpenOOD,它实现了相关领域开发的30多种方法,并在最近提出的广义OOD检测框架下提供了一个全面的基准。通过对这些方法的全面比较,我们很高兴该领域在过去几年中取得了显着进展,其中预处理方法和正交事后方法都显示出强大的潜力。
2022-10-13 cs.AI cs.CV cs.LG
Vision Transformer Neural Architecture Search for Out-of-Distribution Generalization: Benchmark and Insights
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学)
本文提出OoD-ViT-NAS基准,基于3000个ViT架构和8个OoD数据集评估架构设计与免训练NAS方法,发现ID性能不能可靠预测OoD性能,简单计算量代理反而更优。
2025-01-07 cs.LG
Models Out of Line: A Fourier Lens on Distribution Shift Robustness
UC Berkeley(加州大学伯克利分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
提高深度神经网络(DNN)对分布外(OOD)数据的准确性对于在现实世界应用中接受深度学习(DL)至关重要。已经观察到,分布(ID)与OOD数据的准确性遵循线性趋势,并且优于该基线的模型非常罕见(并被称为“有效稳健”)。最近,已经开发了一些有前途的方法来提高OOD的鲁棒性:模型修剪,数据增强,以及集成或zero-shot评估大型预训练模型。然而,仍然没有明确的理解OOD数据的条件和模型属性,需要观察有效的鲁棒性。我们通过对各种方法进行全面的实证研究来解决这个问题,这些方法已知会对CIFAR-10和ImageNet的广泛自然和合成分布偏移产生影响。特别是,我们认为“有效的鲁棒性难题”,通过傅立叶透镜,并询问光谱特性的模型和OOD数据如何影响相应的有效的鲁棒性。我们发现这个傅立叶透镜提供了一些见解,为什么某些强大的模型,特别是那些从CLIP家庭,实现OOD的鲁棒性。然而,我们的分析也清楚地表明,没有任何已知的度量标准是OOD鲁棒性的最佳解释(甚至是强有力的解释)。因此,为了帮助未来对OOD难题的研究,我们通过引入一组具有不同OOD鲁棒性水平的预训练模型-RobustNets-来解决具有有效鲁棒性的公开模型中的差距。
2022-07-08 cs.LG
OpenCIL: Benchmarking Out-of-Distribution Detection in Class-Incremental Learning
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);Jiangxi Research Institute, Beihang University(北京航空航天大学江西研究院)
针对类增量学习(CIL)场景下缺乏分布外(OOD)检测基准的问题,研究构建了OpenCIL基准,集成多类模型与检测方法形成基线,发现开放环境下CIL模型存在偏向性,并提出双向能量正则化方法缓解该问题。
2024-07-09 cs.CV
T2FNorm: Extremely Simple Scaled Train-time Feature Normalization for OOD Detection
NepAl Applied Mathematics and Informatics Institute (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII));University College London(伦敦大学学院);West Virginia University(西弗吉尼亚大学);University of Aberdeen(阿伯丁大学)
本文提出T2FNorm,在训练时将特征缩放归一化到超球空间、评分时使用原始空间,从而在不降低ID准确率的前提下增强多种事后OOD检测。
2023-06-08 cs.CV
Can Dense Connectivity Benefit Outlier Detection? An Odyssey with NAS
Duke University(杜克大学)
提出基于NAS的离群点检测器密集连接搜索范式DCSOD,通过分层搜索空间探索CNN密集连接,并引入演化蒸馏提升评估稳定性,在CIFAR基准上实现SOTA性能。
2024-06-04 cs.CV cs.LG
LAION-C: An Out-of-Distribution Benchmark for Web-Scale Vision Models
Max Planck Institute for Intelligent Systems, Tübingen, Germany(马克斯·普朗克智能系统研究所,图宾根,德国);ELLIS Institute Tübingen(图宾根ELLIS研究所);Tübingen AI Center(图宾根人工智能中心);Google DeepMind(谷歌DeepMind)
本文提出LAION-C作为ImageNet-C的替代基准,旨在评估网络级数据集下的分布外鲁棒性,通过引入六种新的分布外扰动类型,发现现代模型在这些扰动下的表现显著提升,甚至超过人类观察者。
2026-05-19 cs.CV cs.LG
Average of Pruning: Improving Performance and Stability of Out-of-Distribution Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
在开放世界中,检测分布外(OOD)输入一直是神经网络的关键问题。然而,OOD检测在训练过程中沿着优化轨迹的不稳定行为尚未被清楚地探索。在本文中,我们首先发现OOD检测的性能在训练过程中受到过拟合和不稳定性的影响:1)当训练误差接近零时,性能可能会下降,2)在训练的最后阶段,性能会急剧变化。基于我们的研究结果,我们提出了平均修剪(AoP),包括模型平均和修剪,以减轻不稳定的行为。具体而言,模型平均可以通过平滑景观来帮助实现稳定的性能,并且修剪被证明可以通过消除冗余特征来消除过拟合。在各种数据集和架构上进行了全面的实验,以验证我们的方法的有效性。
2023-03-02 cs.CV cs.LG
Adaptive Calibrator Ensemble for Model Calibration under Distribution Shift
The Hong Kong Polytechnic University(香港理工大学);The Australian National University(澳大利亚国立大学)
模型校准通常需要优化一些参数(例如,温度)相对于目标函数(例如,负对数似然)。在本文中,我们报告了一个简单的,重要的,但往往被忽视的事实,即目标函数的影响,校准集的困难,即,分类错误的样本数与分类正确的样本数之比。如果测试集与校准集具有显著不同的难度水平,则两个数据集的最佳校准参数将不同。换句话说,在校准集上最优的校准器在OOD测试集上将是次优的,并且因此具有降级的性能。有了这些知识,我们提出了一个简单而有效的方法称为自适应校准集成(ACE)来校准OOD数据集的难度通常高于校准集。具体来说,训练两个校准函数,一个用于分布数据(低难度),另一个用于严重OOD数据(高难度)。为了在新的OOD数据集上实现理想的校准,ACE使用自适应加权方法,该方法在两个极端函数之间取得平衡。当插入时,ACE通常会在一系列OOD基准测试中提高一些最先进的校准方案的性能。重要的是,这种改进不会以分销中校准精度为代价。
2023-03-09 cs.CV cs.LG
Diffusion for Out-of-Distribution Detection on Road Scenes and Beyond
University of Freiburg(弗莱堡大学)
本文提出基于扩散分数匹配的DOoD方法及ADE-OoD基准,将语义分割的分布外检测从道路场景扩展到高语义多样性的自然图像,性能优于现有方法。
2024-07-22 cs.AI cs.CV cs.LG
Deep Metric Learning-Based Out-of-Distribution Detection with Synthetic Outlier Exposure
本文提出结合深度度量学习与扩散模型生成合成离群点数据的方法,通过标签混合策略训练OOD检测模型,实验表明其性能优于softmax及强基线。
2024-05-01 cs.CV
Open-Set Semi-Supervised Object Detection
Georgia Tech(佐治亚理工学院);Meta
半监督目标检测(SSOD)的最新发展已经显示出利用未标记数据来改进目标检测器的前景。然而,到目前为止,这些方法都假设未标记的数据不包含分布外(OOD)类,这对于大规模的未标记数据集是不现实的。在本文中,我们考虑一个更实际的,但具有挑战性的问题,开集半监督目标检测(OSSOD)。我们首先发现现有的SSOD方法在开集条件下获得了较低的性能增益,这是由语义扩展引起的,其中分散注意力的OOD对象被误预测为半监督训练的分布伪标签。为了解决这个问题,我们考虑在线和离线OOD检测模块,这是集成SSOD方法。随着广泛的研究,我们发现,利用基于自监督视觉Transformer的离线OOD检测器由于其对伪标记干扰的鲁棒性而优于在线OOD检测器。在实验中,我们提出的框架有效地解决了语义扩展问题,并在许多OSSOD基准测试中显示出一致的改进,包括大规模的COCO-OpenImages。我们还验证了我们的框架的有效性,在不同的OSSOD条件下,包括不同数量的分布类,不同程度的监督,和不同的组合的未标记集。
2022-08-29 cs.CV cs.LG
Predicted Embedding Power Regression for Large-Scale Out-of-Distribution Detection
Rochester Institute of Technology(罗切斯特理工学院)
分发外(OOD)输入可能会损害现实世界机器学习系统的性能和安全性。虽然存在许多用于OOD检测的方法,并且在具有较低分辨率和较少类别的小规模数据集上工作良好,但是很少有方法被开发用于大规模OOD检测。现有的大规模方法通常依赖于最大分类概率,例如最先进的分组softmax方法。在这项工作中,我们开发了一种新的方法,该方法基于在训练过程中学习到的标签分布来计算预测类标签的概率。我们的方法比当前最先进的方法性能更好,计算成本只有微不足道的增加。我们在$14$数据集上对我们的方法进行了评估,并在AUROC(84.2 vs 82.4)和AUPR(96.2 vs 93.7)方面取得了统计学显著的改善。
2023-03-14 cs.CV cs.LG
Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization
SUN YAT-SEN University(中山大学);Qiyuan Lab(启元实验室);JD AI Research(京东人工智能研究院)
异常值检测任务在人工智能安全中发挥着关键作用。处理这项任务是一项巨大的挑战。观察表明,深度神经网络分类器通常倾向于以高置信度将分布外(OOD)输入错误地分类到分布内类中。现有的作品试图解决这个问题,明确施加不确定性的分类时,OOD输入暴露在训练过程中的分类。在本文中,我们提出了一种替代的概率范式,这是实际上有用的和理论上可行的OOD检测任务。特别是,我们在训练过程中对内点和离群点数据之间施加统计独立性,以确保内点数据在训练过程中向深度估计器透露很少关于OOD数据的信息。具体来说,我们通过Hilbert-Schmidt独立性准则(HSIC)估计内点和离群点数据之间的统计依赖性,并在训练过程中惩罚这种度量。我们还将我们的方法与一种新的统计测试在推理时间加上我们的原则性动机。实验结果表明,我们的方法是有效的和鲁棒的OOD检测在各种基准。与SOTA模型相比,我们的方法在FPR 95,AUROC和AUPR指标方面取得了显着的改进。代码可用:\url{https://github.com/jylins/hood}。
2022-09-26 cs.CV cs.LG