Towards Robust Out-of-Distribution Generalization Bounds via Sharpness
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究院);Department of Computer Science & Technology, Tsinghua University(清华大学计算机科学与技术系)
本文研究锐度与域迁移稳健性的理论联系,提出纳入稳健性的基于锐度 OOD 泛化界,证明其比非稳健界更紧,并由岭回归和深度分类实验支持。
2024-03-11 cs.LG
Coverage-Guaranteed Prediction Sets for Out-of-Distribution Data
Wuhan University(武汉大学)
本文针对分布外场景中分裂共形预测因可交换性假设失效而无法保证覆盖的问题,提出一种新的置信预测集构造方法,并给出理论证明和模拟实验验证。
2024-03-29 cs.LG
Deep Neural Networks with Efficient Guaranteed Invariances
Robert Bosch GmbH(罗伯特·博世有限公司);University of Lübeck(吕贝克大学)
我们通过强制和保证对称变换的不变性,而不是从数据中学习,来解决提高深度神经网络的性能,特别是样本复杂度的问题。群等变卷积是获得等变表示的一种流行方法。然后使用池化操作来施加期望的对应不变性。对于旋转,已经表明使用不变积分而不是池化进一步提高了样本复杂度。在这方面的贡献,我们首先扩大不变量积分超越旋转翻转和缩放变换。然后,我们解决的问题,将多个所需的不变性到一个单一的网络。为此,我们提出了一种多流架构,其中每个流对于不同的变换是不变的,使得网络可以同时受益于多个不变性。我们证明了我们的方法与成功的实验缩放MNIST,SVHN,CIFAR-10和STL-10。
2023-03-02 cs.CV cs.LG
Out-of-Distribution Detection by Leveraging Between-Layer Transformation Smoothness
TakeLab;Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算机学院);Technical University of Darmstadt(达姆施塔特工业大学)
针对现有OOD检测方法依赖训练数据或需干预训练的局限,提出基于Transformer层间变换平滑性的检测方法BLOOD,无需训练数据即可用于预训练模型,在文本分类任务上性能优于同资源需求的方法。
2024-03-11 cs.CL cs.LG
SEE-OoD: Supervised Exploration For Enhanced Out-of-Distribution Detection
University of Michigan(密歇根大学);University of Michigan Transportation Research Institute(密歇根大学交通研究所);American University of Beirut(贝鲁特美国大学)
针对现有OoD检测方法过拟合或特征重叠失效的问题,提出基于Wasserstein分数的生成对抗训练方案,在有限OoD样本监督下同时进行数据增强与探索,提升检测精度并具备良好泛化性。
2023-10-12 cs.LG
Adaptive Residual Transformation for Enhanced Feature-Based OOD Detection in SAR Imagery
Next Generation Defence Multidisciplinary Technology Research Center, Pohang University of Science and Technology(浦项科技大学下一代国防多学科技术研究中心);Pohang University of Science and Technology(浦项科技大学)
针对SAR图像中未知目标OOD检测受噪声、杂波干扰且决策边界难确定的问题,提出自适应残差变换方法,将特征级OOD检测转为类别局部特征残差框架,提升了真实SAR场景下的检测稳定性与鲁棒性。
2024-11-01 cs.CV cs.LG eess.IV
Task-Driven Detection of Distribution Shifts with Statistical Guarantees for Robot Learning
Princeton University(普林斯顿大学);NVIDIA(英伟达)
该研究针对机器人学习中的分布偏移检测问题,基于PAC-贝叶斯理论与统计技术提出任务驱动的OOD检测方法,具备假阳性和假阴性率的统计保证,少量试验即可在抓取、避障任务中生效。
2023-11-06 cs.LG cs.RO stat.AP
Disentangled and Distilled Encoder for Out-of-Distribution Reasoning with Rademacher Guarantees
School of Computer Science and Engineering(计算机科学与工程学院);Nanyang Technological University(南洋理工大学);Energy Research Institute(能源研究研究所)
本文提出了解耦压缩编码器框架,通过约束优化保持解耦性,以减少模型大小用于资源受限设备的分布外推理。
2025-12-11 cs.LG
Sparse Data Augmentation for Optimization with Provable Guarantees
Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
针对几何机器学习中数据增强计算昂贵的问题,提出用固定稀疏变换样本近似完全增强,证明梯度下降在更少查询下达到ε-稳定点,优于完全增强GD和group-SGD。
2026-09-18 cs.AI cs.LG math.OC
Understanding Failures in Out-of-Distribution Detection with Deep Generative Models
New York University(纽约大学)
深度生成模型(DGMs)似乎很适合检测分布外(OOD)输入,但此类模型已被证明为OOD图像分配的概率或密度高于来自训练分布的图像。在这项工作中,我们解释了为什么这种行为应归因于模型的错误估计。我们首先证明,没有任何方法可以保证超出随机机会的性能,而不假设外分布相关。然后,我们询问典型集假设,声称相关的外分布可以位于数据分布的高似然区域,并且OOD检测应该基于数据分布的典型集来定义。我们强调的后果,假设支持重叠之间的分布和分布,以及任意性的OOD检测的典型集合。我们的研究结果表明,估计误差是一个更合理的解释,而不是基于似然的OOD检测和感兴趣的外分布之间的不一致,我们说明了即使是最小的估计误差也会导致OOD检测失败,这对深度生成建模和OOD检测的未来工作产生了影响。
2021-07-16 cs.LG
Towards a Theoretical Framework of Out-of-Distribution Generalization
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
对分布外数据的泛化是现代机器学习的核心问题之一。最近,有一个浪潮的尝试提出的算法,主要建立在提取不变特征的想法。虽然直观上是合理的,但对什么样的不变性可以保证OOD推广的理论理解仍然有限,并且推广到任意的分布外显然是不可能的。在这项工作中,我们迈出了严格和定量定义的第一步:1)什么是OOD; 2)什么是OOD问题是可学习的。我们还引入了一个新的概念的扩展函数,它的特点是在多大程度上的方差被放大的测试域的训练域,从而给出了一个定量的意义上的不变特征。在此基础上,我们证明了OOD的泛化误差界。结果表明,OOD推广在很大程度上取决于扩展函数。正如Gulrajani和Lopez-Paz(2020)最近指出的那样,任何没有模型选择模块的OOD学习算法都是不完整的。我们的理论自然地归纳出一个模型选择标准。在基准OOD数据集上的大量实验表明,我们的模型选择标准比基线具有显着的优势。
2021-11-08 cs.LG
CODiT: Conformal Out-of-Distribution Detection in Time-Series Data
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院);SRI International(斯坦福国际研究院)
机器学习模型容易对远离训练分布的输入做出错误的预测。这阻碍了它们在自动驾驶汽车和医疗保健等安全关键应用中的部署。检测单个数据点的训练分布的变化已经引起了人们的注意。已经提出了许多用于这种分布外(OOD)检测的技术。但在许多应用中,机器学习模型的输入形成时间序列。用于时间序列数据中的OOD检测的现有技术要么不利用序列中的时间关系,要么不提供检测上的任何保证。我们提出使用偏离分布时间等方差作为时间序列数据OOD检测的共形异常检测框架中的非一致性度量,基于所提出的度量计算来自多个共形检测器的独立预测,并通过Fisher方法组合这些预测,从而得到所提出的检测器CODiT,该检测器具有对时间序列数据的错误检测的保证。我们通过在自动驾驶中的计算机视觉数据集上实现最先进的结果来说明CODiT的功效。我们还表明,CODiT可以用于OOD检测在非视觉数据集上进行实验的生理GAIT感官数据集。代码、数据和训练模型可在https://github.com/kaustubhsridhar/time-series-OOD上获得。
2022-07-24 cs.LG
Safety Monitoring for Learning-Enabled Cyber-Physical Systems in Out-of-Distribution Scenarios
University of Pennsylvania(宾夕法尼亚大学);SRI;University of British Columbia(不列颠哥伦比亚大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对学习型信息物理系统因深度神经网络对OOD输入的脆弱性导致的安全问题,提出结合自适应保形预测与增量学习、基于未来轨迹预测安全规范违反的鲁棒安全监测方法,在OOD场景下实现高召回率和及时性,性能优于替代方法。
2025-04-18 cs.LG
Out-of-distribution Generalization with Causal Invariant Transformations
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在现实世界的应用程序中,学习在分发外(OOD)数据上表现良好的模型非常重要且可取。最近,因果关系已成为一个强大的工具,以解决面向对象的泛化问题,其思想依赖于因果机制,是跨领域的利益不变。为了利用通常未知的因果机制,现有的作品假设因果特征的线性形式,或者需要足够多和不同的训练域,这在实践中通常是限制性的。在这项工作中,我们将这些假设和解决OOD问题,而不显着恢复的因果功能。我们的方法基于修改非因果特征但保持因果部分不变的转换,这可以从先验知识中获得,也可以从多域场景中的训练数据中学习。在不变因果机制的设置下,我们从理论上证明了,如果所有这样的转换是可用的,那么我们可以学习一个极小极大最优模型跨域仅使用单域数据。注意到,知道这些因果不变变换的完整集合可能是不切实际的,我们进一步表明,它足以知道这些变换的一个子集。基于理论研究结果,提出了一种正则化的训练过程,以提高OOD的泛化能力。在人工和真实数据集上的大量实验结果验证了该算法的有效性,即使只有几个因果不变变换。
2022-03-24 cs.LG stat.ML
Problem Space Transformations for Out-of-Distribution Generalisation in Behavioural Cloning
Department of Computer Science at ETH Zürich(苏黎世联邦理工学院计算机科学系)
本文提出通过问题空间变换提升行为克隆在分布外泛化中的性能,通过实验验证了姿态等价性和局部性对动作预测的改进作用。
2026-01-27 cs.LG cs.RO
An Algorithm for Out-Of-Distribution Attack to Neural Network Encoder
University of Miami(迈阿密大学)
深度神经网络(DNN),特别是卷积神经网络,在图像分类任务上取得了优异的性能。然而,只有当训练模型的输入与训练样本相似时,才能保证这种性能,即,输入遵循训练集的概率分布。分布外(OOD)样本不遵循训练集的分布,因此OOD样本上的预测类标签变得毫无意义。已经提出了基于分类的方法用于OOD检测;然而,在这项研究中,我们表明这种类型的方法没有理论保证,并且由于DNN模型中的降维,我们的OOD攻击算法实际上是可破坏的。我们还表明,辉光似然为基础的OOD检测是易碎的。
2021-01-27 cs.CV cs.LG eess.IV
A View on Out-of-Distribution Identification from a Statistical Testing Theory Perspective
The Alan Turing Institute(阿兰·图灵研究所)
本文从统计检验理论重新表述监督与无监督场景下的 OOD 检测问题,给出可识别条件,并分析基于 Wasserstein 距离的 OOD 检验的收敛保证及实证结果。
2024-05-10 cs.LG
WeShort: Out-of-distribution Detection With Weak Shortcut structure
神经网络已经在与训练集相同的分布中的数据上取得了令人印象深刻的性能,但对于这些网络从未见过的数据,可能会产生过度自信的错误结果。因此,为了保证部署在现实世界中的神经网络的安全性,必须检测输入是否来自分布外(OOD)。在本文中,我们提出了一个简单而有效的事后技术,WeShort,以减少OOD数据的神经网络的过度自信。我们的方法的灵感来自于内部残留结构的观察,它显示了在捷径层中OOD和分布(ID)数据的分离。我们的方法是兼容不同的OOD检测分数,可以推广到不同的网络架构。我们在各种OOD数据集上展示了我们的方法,以显示其竞争力,并提供合理的假设来解释为什么我们的方法有效。在ImageNet基准测试中,Wesperson在post-hoc方法家族的假阳性率(FPR 95)和接收器操作特征下的面积(AUROC)方面达到了最先进的性能。
2022-08-19 cs.LG
When and How Does In-Distribution Label Help Out-of-Distribution Detection?
UW-Madison(威斯康星大学麦迪逊分校)
本文从图论与谱分解角度理论分析了分布内标签对分布外检测的影响,推导出比较有无标签性能的可证明误差界限,并通过模拟与真实数据实验验证了理论保证。
2024-05-28 cs.LG
Neural Proposals, Symbolic Guarantees: Neuro-Symbolic Graph Generative Modeling
McGill University(麦吉尔大学);University of Toronto(多伦多大学)
本文提出NSGGM框架,结合神经网络和符号方法生成分子图,通过硬约束确保生成分子的正确性和可控性,同时引入逻辑约束基准评估可控性。
2026-09-29 cs.LG
Rethinking Test-time Likelihood: The Likelihood Path Principle and Its Application to OOD Detection
University of Toronto(多伦多大学);Vector Institute(向量研究所);Borealis AI
针对深度生成模型似然估计在OOD检测中失效的问题,提出似然路径(LPath)原理及算法,利用最小充分统计量提供首个可证明的无监督OOD检测保证,并在小型VAEs上实现SOTA性能。
2024-01-10 cs.LG stat.ML
Breaking Diversity Collapse in Spiking Pseudo-Ensembles for Efficient OOD Detection in Remote Sensing
该研究针对遥感系统的OOD检测难题,提出带“同意-不同意”目标的脉冲伪集成方法,破解多样性崩溃问题,以低部署成本实现了优于深度集成的检测性能。
2026-08-04 cs.LG
How Does Unlabeled Data Provably Help Out-of-Distribution Detection?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Technology Sydney(悉尼科技大学);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所)
本文提出SAL框架,通过分离无标签数据中的候选异常值并训练OOD分类器,从理论和实证两方面证明无标签数据可有效提升分布外检测性能。
2024-02-05 cs.LG stat.ML
Benign Overfitting in Out-of-Distribution Generalization of Linear Models
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
本文研究了协变量偏移下过参数化线性模型的分布外泛化中的良性过拟合现象,证明了标准岭回归在特定结构条件下可实现良性过拟合,并发现主成分回归在更一般协方差矩阵下能达到更快的过剩风险收敛速率。
2024-12-19 cs.LG stat.ML
Certifiably Adversarially Robust Detection of Out-of-Distribution Data
University of Tübingen(蒂宾根大学)
众所周知,深度神经网络在应用于明显不属于任何类的分布外(OOD)输入时会过度自信。这在安全关键应用中是一个问题,因为分类器的不确定性的可靠评估是一个关键属性,允许系统触发人为干预或转换到安全状态。在本文中,我们的目标是可证明的最坏情况下保证OOD检测不仅在OOD点,而且在$l_\infty$ -球周围的低置信度。为此,我们使用区间边界传播(IBP)的上限最大置信度在$l_\infty$ -球,并在训练时间内最小化这个上限。我们表明,在训练时看到的OOD数据集之外的OOD数据概括的置信度的非平凡界限是可能的。此外,与通常伴随着预测性能显著损失的认证对抗鲁棒性相比,最坏情况OOD检测的认证保证是可能的,而不会损失太多的准确性。
2021-03-10 cs.CV cs.LG stat.ML
Certified Adversarial Defenses Meet Out-of-Distribution Corruptions: Benchmarking Robustness and Simple Baselines
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Michigan(密歇根大学);Tulane University(杜兰大学);IBM Research(IBM研究院);UC Berkeley(加州大学伯克利分校)
认证的鲁棒性保证衡量模型对测试时攻击的鲁棒性,并可以评估模型在现实世界中部署的准备情况。在这项工作中,我们批判性地研究了当最先进的可证明的鲁棒模型遇到分布外(OOD)数据时,基于随机平滑的认证方法的对抗鲁棒性保证如何变化。我们的分析表明,这些模型对低频OOD数据(如与天气相关的损坏)存在以前未知的脆弱性,使这些模型不适合在野外部署。为了缓解这个问题,我们提出了一种新的数据增强计划,FourierMix,产生增强,以提高频谱覆盖的训练数据。此外,我们提出了一个新的正则化,鼓励一致的预测噪声扰动的增强数据,以提高平滑模型的质量。我们发现,FourierMix增强有助于消除光谱偏差的证明强大的模型,使他们能够实现显着更好的鲁棒性保证一系列的OOD基准。我们的评估还揭示了当前OOD基准在突出模型的光谱偏差方面的无能。为此,我们提出了一个全面的基准套件,包含腐败从不同地区的频谱域。对使用流行的增强方法训练的模型进行评估,突出了它们的频谱偏差,并确定了FourierMix训练模型在整个频谱上OOD偏移下实现更好的认证鲁棒性保证的优越性。
2021-12-01 cs.AI cs.CR cs.LG
Towards Robust Learning to Optimize with Theoretical Guarantees
CUHK(香港中文大学);HKBU(香港浸会大学)
针对现有学习优化(L2O)方法缺乏分布外场景理论保障的问题,本文给出鲁棒L2O模型收敛性证明,提出仅梯度特征与梯度历史建模的L2O模型,实验显示其在分布内外均优于基线,收敛提速最高10倍。
2025-06-17 cs.LG math.OC
Out-of-Distribution Detection Should Use Conformal Prediction (and Vice-versa?)
IRT Saint Exupery(圣埃克苏佩里IRT研究院);Artificial and Natural Intelligence Toulouse Institute(图卢兹人工与自然智能研究所);SNCF(法国国家铁路公司);Mathematical Institute of Toulouse(图卢兹数学研究所)
本文提出将保形预测用于分布外检测评分评估,定义保形AUROC和FRP@TPR95指标以提供保守性保证,并在OpenOOD和ADBench基准上验证,同时反向利用OOD评分改进CP方法,揭示两领域内在关联。
2024-03-18 cs.CV cs.LG stat.ML
Your Classifier Can Be Secretly a Likelihood-Based OOD Detector
Stanford University(斯坦福大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对判别式分类器缺乏显式输入似然的问题,本文提出INK,利用恒定范数超球面嵌入将分类器潜在表征解释为内在似然,并在OpenOOD的far/near-OOD设置中取得最先进性能。
2024-08-09 cs.LG stat.ML
Federated Adapter on Foundation Models: An Out-Of-Distribution Approach
University of Technology Sydney(悉尼技术大学);University of Maryland(马里兰大学);Data61, CSIRO(数据61,澳大利亚联邦科学与工业研究组织)
针对联邦基础模型中的分布外泛化挑战,提出FedOA方法,利用基于适配器的参数高效微调与特征距离正则化对齐分布,理论上证明其能增强个性化模型的OOD泛化并保证收敛,实验验证了其有效性。
2025-05-02 cs.LG
ODP-Bench: Benchmarking Out-of-Distribution Performance Prediction
Department of Computer Science, Tsinghua University(清华大学计算机系);School of Information, Renmin University of China(中国人民大学信息学院)
针对分布外性能预测评估不一致且覆盖有限的问题,提出综合基准ODP-Bench,包含常用OOD数据集、现有算法及预训练模型,提供公平比较平台并深入分析算法能力边界。
2025-10-31 cs.LG
Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs
The Chinese University of Hong Kong(香港中文大学);Hong Kong Baptist University(香港浸会大学);Tencent AI Lab(腾讯人工智能实验室);The University of Sydney(悉尼大学)
尽管最近成功地将不变性原理用于欧几里德数据的分布外(OOD)推广(例如,图像),对图形数据的研究仍然有限。与图像不同,图形的复杂性对采用不变性原理提出了独特的挑战。特别是,图上的分布偏移可以以属性和结构等多种形式出现,使得难以识别不变性。此外,域或环境分区,这往往是需要的OOD方法对欧几里德数据,可能是非常昂贵的获得图。为了弥补这一差距,我们提出了一个新的框架,称为因果启发不变图学习(CIGA),捕捉各种分布偏移下的保证OOD推广的图的不变性。具体来说,我们的特点潜在的分布偏移图与因果模型,得出结论,OOD泛化图是可以实现的,当模型只集中在子图包含最多的信息标签的原因。因此,我们提出了一个信息理论的目标,以提取所需的子图,最大限度地保持不变的类内信息。使用这些子图进行学习不受分布偏移的影响。在16个合成或真实世界的数据集上进行了广泛的实验,包括一个具有挑战性的设置-来自AI辅助药物发现的DrugOOD,验证了CIGA的卓越OOD性能。
2022-10-11 cs.LG
Continual Contrastive Learning on Tabular Data with Out of Distribution
Indonesia Endowment Fund for Education Agency (LPDP)(印度尼西亚教育基金机构(LPDP));School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);The University of Queensland(昆士兰大学);Department of Computing(计算机系);The Hong Kong Polytechnic University(香港理工大学)
针对表格数据分布外预测难的问题,提出融合对比学习与持续学习的三组件TCCL框架,在8个数据集上对比14种基线模型,验证其在分布外分类、回归任务及分布偏移处理上的性能优势。
2025-03-19 cs.LG
Can We Ignore Labels In Out of Distribution Detection?
Rochester Institute of Technology(罗切斯特理工大学)
本文从信息论角度证明,当学习目标与分布内标签零互信息时,无标签OOD检测必然失败,并定义邻近OOD检测任务以弥补安全缺口,实验验证了现有方法的失效。
2025-10-06 cs.AI cs.LG cs.SY
iDECODe: In-distribution Equivariance for Conformal Out-of-distribution Detection
University of Pennsylvania(宾夕法尼亚大学);SRI International(斯坦福国际研究院);Georgia Institute of Technology(佐治亚理工学院)
诸如深度神经网络(DNN)之类的机器学习方法尽管在不同领域取得了成功,但已知它们经常在其训练分布之外的输入上生成具有高置信度的不正确预测。在安全关键域中部署DNN需要检测分发外(OOD)数据,以便DNN可以避免对这些数据进行预测。最近已经开发了许多用于OOD检测的方法,但仍有改进的空间。我们提出了新的方法iDECODe,利用分布等方差共形OOD检测。它依赖于一种新的基础非一致性措施和一种新的聚合方法,用于感应共形异常检测框架,从而保证有界的误检率。我们通过在图像和音频数据集上的实验证明了iDECODe的有效性,获得了最先进的结果。我们还表明,iDECODe可以检测对抗性的例子。
2022-01-07 cs.LG
Multiple Testing Framework for Out-of-Distribution Detection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);SRI International(斯坦福国际研究院)
本文提出一个形式化OOD检测框架,通过多重假设检验和保形p值组合多种统计量,在不同数据集和神经网络上实现一致且可靠的分布外检测。
2023-09-16 cs.LG stat.ML
GAIA: Delving into Gradient-based Attribution Abnormality for Out-of-distribution Detection
Huazhong University of Science and Technology(华中科技大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
本文提出GAIA方法,通过分析梯度归因中的零收缩异常和通道平均异常来检测分布外样本,在CIFAR和ImageNet-1k上显著降低了FPR95。
2024-01-16 cs.LG
Mixture Data for Training Cannot Ensure Out-of-distribution Generalization
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Chongqing Jiaotong University(重庆交通大学);Hong Kong Baptist University(香港浸会大学);National University of Defense Technology(国防科技大学);The University of Sydney(悉尼大学)
本文指出增加混合训练数据无法确保OOD泛化,通过将OOD数据定量定义为位于混合训练数据凸包外的样本,建立了新的泛化误差界限,解释了非单调误差趋势,并启发了一种有效的数据选择策略。
2024-04-23 cs.LG
SFP: Spurious Feature-targeted Pruning for Out-of-Distribution Generalization
The Hong Kong Polytechnic University(香港理工大学);Xi’an Jiaotong University(西安交通大学)
本文提出SFP框架,通过任务损失识别ID数据中的虚假特征并剪除强依赖分支,从而学习不变子结构以提升OOD泛化,性能显著超过现有SOTA。
2023-06-02 cs.LG
Why Normalizing Flows Fail to Detect Out-of-Distribution Data
New York University(纽约大学)
检测分布外(OOD)数据对于健壮的机器学习系统至关重要。规范化流是一种灵活的深度生成模型,通常令人惊讶地无法区分分布内和分布外的数据:在服装图片上训练的流将更高的可能性分配给手写数字。我们调查为什么正常化流程执行不良OOD检测。我们证明了流学习局部像素相关性和通用图像到潜在空间的转换,这不是特定于目标图像数据集。我们表明,通过修改流耦合层的架构,我们可以偏向于学习目标数据的语义结构,提高OOD检测流。我们的调查表明,使流生成高保真图像的属性可能会对OOD检测产生不利影响。
2020-06-15 cs.LG stat.ML
BootOOD: Self-Supervised Out-of-Distribution Detection via Synthetic Sample Exposure under Neural Collapse
NYU Shanghai Center for Data Science(纽约市立大学上海中心数据科学研究所);Intercom;Leonard N. Stern School of Business, New York University(纽约大学莱曼·N·斯特恩商学院)
BootOOD通过自监督学习和神经崩溃特性,实现高效分布外检测,在保持ID准确性的同时超越现有方法。
2025-12-27 cs.CV cs.LG
Provably Robust Detection of Out-of-distribution Data (almost) for free
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
机器学习在安全关键系统中的应用需要对不确定性进行可靠的评估。然而,已知深度神经网络对分布外(OOD)数据产生高度过度自信的预测。即使被训练为对OOD数据不自信,人们仍然可以对抗性地操纵OOD数据,使得分类器再次为操纵的样本分配高置信度。我们发现,两个以前公布的防御可以打破更好的适应攻击,突出了OOD数据的鲁棒性保证的重要性。由于这项任务的现有方法是很难训练,并显着限制精度,我们构建了一个分类器,可以同时实现可证明的对抗强大的OOD检测和高清洁精度。此外,通过稍微修改分类器的架构,我们的方法可证明避免了标准神经网络的渐近过度自信问题。我们为所有实验提供代码。
2022-10-18 cs.AI cs.CV cs.LG
Tri-Level Navigator: LLM-Empowered Tri-Level Learning for Time Series OOD Generalization
Tongji University(同济大学)
该研究提出面向时间序列分布外泛化的三级学习框架TTSO,结合样本与组级不确定性,设计分层定位算法并证明收敛性与迭代复杂度,通过真实数据集实验验证了方法有效性,为时间序列OOD泛化提供新理论视角。
2024-11-02 cs.AI cs.LG
Likelihood Ratios for Out-of-Distribution Detection
Google Research(谷歌研究院);DeepMind(深度思维)
判别式神经网络在部署在与训练分布不是由相同过程生成的数据上时提供很少或没有性能保证。在这种分布外(OOD)输入上,预测不仅可能是错误的,而且可能是自信的,从而限制了分类器在现实世界应用中的安全部署。其中一个具有挑战性的应用是基于基因组序列的细菌识别,这有望早期检测疾病,但需要一个模型,该模型可以输出来自训练数据中不存在的新细菌的OOD基因组序列的低置信度预测。我们引入了一个基因组学数据集OOD检测,使其他研究人员在这个重要问题上的基准进展。我们研究了基于深度生成模型的OOD检测方法,并观察到可能性得分受到人口水平背景统计的严重影响。我们提出了一种用于深度生成模型的似然比方法,该方法有效地纠正了这些混淆的背景统计数据。我们将所提出的方法的OOD检测性能与基因组学数据集上的现有方法进行了基准测试,并表明我们的方法达到了最先进的性能。我们证明了所提出的方法的通用性,表明它显着提高OOD检测时,应用于图像的深度生成模型。
2019-12-05 cs.LG stat.ML
WOOD: Wasserstein-based Out-of-Distribution Detection
University of Michigan(密歇根大学)
基于深度神经网络的分类器的训练和测试数据通常被假设为从相同的分布中采样。当测试样本的一部分从与训练样本的分布足够远的分布中提取时(也称为分布外(OOD)样本),训练的神经网络具有对这些OOD样本进行高置信度预测的趋势。在训练用于图像分类、目标检测等的神经网络时,OOD样本的检测是至关重要的。它可以增强分类器对无关输入的鲁棒性,并提高系统在不同形式的攻击下的弹性和安全性。OOD样本的检测具有三个主要挑战:(i)所提出的OOD检测方法应当与分类器的各种架构(例如,DenseNet,ResNet),而不会显着增加模型的复杂性和对计算资源的要求;(ii)OOD样本可能来自多个分布,其类标签通常不可用;(iii)需要定义一个评分函数,以有效地将OOD样本与分布内(InD)样本分开。为了克服这些挑战,我们提出了一种基于Wasserstein的分布外检测(WOOD)方法。其基本思想是定义一个基于Wasserstein距离的分数,该分数评估测试样本与InD样本分布之间的相异性。一个优化问题,然后制定和解决建议的评分函数的基础上。研究了该方法的统计学习界,以保证经验优化器获得的损失值接近全局最优值。比较研究结果表明,提出的WOOD始终优于其他现有的OOD检测方法。
2021-12-13 cs.LG stat.ML
Text Meets Topology: Rethinking Out-of-distribution Detection in Text-Rich Networks
The University of Queensland(昆士兰大学)
针对富文本网络中现有OOD检测方法忽略文本-结构多样性的问题,提出TextTopoOOD多场景评估框架与融合文本拓扑的TNT-OOD模型,实验验证了该评估任务的复杂性及方法的有效性。
2025-09-02 cs.CL cs.LG
Perturbations in the Orthogonal Complement Subspace for Efficient Out-of-Distribution Detection
School of Mathematics and Statistics(数学与统计学学院);Guangdong University of Technology(广东技术大学)
本文提出P-OCS方法,通过在分布内样本定义的主子空间的正交补中施加单一投影扰动,在保持表示几何结构的同时增强ID与OOD样本的区别,实现了无需重新训练且计算成本可忽略的最先进OOD检测。
2025-11-02 cs.LG stat.ML
Towards Principled Disentanglement for Domain Generalization
Carnegie Mellon University(卡内基梅隆大学);Chinese Academy of Science(中国科学院);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Alan Turing Institute(艾伦·图灵研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
机器学习模型的一个基本挑战是推广到分布外(OOD)数据,部分原因是虚假相关。为了解决这个问题,我们首先将OOD泛化问题形式化为约束优化,称为解纠缠约束领域泛化(DDG)。我们放松这个非平凡的约束优化问题,以一个易于处理的形式与有限维参数化和经验近似。然后从理论上分析了上述变换偏离原问题的程度。在此基础上,我们提出了一种联合表示解纠缠和领域泛化的原-对偶算法。与基于领域对抗训练和领域标签的传统方法相比,DDG联合学习语义和变异编码器以解纠缠,从而实现对训练数据的灵活操作和增强。DDG的目的是学习固有的表示的语义概念是不变的滋扰因素和跨域的推广。在流行的基准测试上的综合实验表明,DDG可以实现有竞争力的OOD性能,并发现数据中可解释的显着结构。
2022-10-19 cs.CV cs.LG
Out-of-Distribution-Aware Electric Vehicle Charging
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
针对电动汽车充电调度在分布外数据下难以兼顾平均性能与最坏情况保证的问题,提出基于TD误差动态调整感知半径的OOD-Charging算法,在真实OOD场景中可靠提升调度奖励。
2024-08-07 cs.LG cs.SY eess.SY
Offline RL with Smooth OOD Generalization in Convex Hull and its Neighborhood
School of Mathematical Sciences, Beihang University(北京航空航天大学数学科学学院);School of Physics, Beihang University(北京航空航天大学物理学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Key Laboratory of Mathematics, Informatics and Behavioral Semantics, MoE, Beihang University(北京航空航天大学数学、信息学与行为语义重点实验室);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University(北京未来区块链与隐私计算先进创新中心);Zhongguancun Laboratory(中关村实验室);Hangzhou International Innovation Institute of Beihang University(杭州北京航空航天大学国际创新研究院)
针对离线 RL 中 OOD 动作 Q 值高估及约束过强问题,提出基于 CHN 的 SBO 与 SQOG 算法,通过邻域样本内 Q 值平滑实现更准确的 Q 值估计,并在 D4RL 上提升性能与效率。
2025-06-10 cs.AI cs.LG
Taming False Positives in Out-of-Distribution Detection with Human Feedback
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Pennsylvania(宾夕法尼亚大学)
针对OOD检测中因设定固定阈值导致假阳性率过高的问题,提出一种利用专家反馈动态更新阈值的数学框架,在保证满足FPR约束的同时最小化人类反馈,且兼容任意评分函数,能将FPR维持在5%以下并最大化TPR。
2024-04-25 cs.AI cs.LG stat.ML
A statistical framework for efficient out of distribution detection in deep neural networks
Technion(以色列理工学院);Habana Labs - An Intel company(Habana实验室——英特尔旗下公司);Tel Aviv University(特拉维夫大学)
背景通常,深度神经网络(DNN)可以很好地概括从与训练集相似的分布中提取的样本。然而,当测试样本来自不同的分布时,DNN的预测是脆弱和不可靠的。这是在现实世界应用中部署的一个主要问题,其中这种行为可能会带来相当大的成本,例如工业生产线,自动驾驶汽车或医疗保健应用。捐款.我们将DNN中的分布外(OOD)检测视为统计假设检验问题。在我们提出的框架内生成的测试结合了来自整个网络的证据。与以前的OOD检测方法不同,这个框架为每个测试样本返回一个$p$值。保证保持测试数据的I类错误(T1 E-错误预测实际分销样品的OOD)。此外,这允许在保持T1 E的同时组合多个检测器。在此框架的基础上,我们提出了一种新的面向对象的过程的基础上低阶统计。我们的方法在公认的OOD基准测试上取得了与最先进的方法相当或更好的结果,而无需重新训练网络参数或假设测试分布的先验知识-并且计算成本仅为计算成本的一小部分。
2022-03-31 cs.LG stat.ML
OOD Detection with immature Models
University of Heidelberg(海德堡大学);Interdisciplinary Center for Scientific Computing(跨学科科学计算中心)
针对深度生成模型在OOD检测中似然分配反直觉且依赖完全收敛模型成本高的问题,提出利用训练早期停止的未成熟模型,发现其能取得与成熟模型相当甚至更优的检测效果,并通过支持重叠概念解释了该现象。
2025-02-02 cs.CV cs.LG
Beyond Penalization: Diffusion-based Out-of-Distribution Detection and Selective Regularization in Offline Reinforcement Learning
School of Computer Science and Technology, Tongji University, Shanghai, China(同济大学计算机科学与技术学院,上海,中国);MOE Key Lab of Embedded System and Service Computing, Tongji University, Shanghai, China(教育部嵌入式系统与服务计算重点实验室,同济大学,上海,中国);Shanghai Innovation Institute(上海创新研究院)
本文提出DOSER框架,通过扩散模型捕捉行为策略和状态分布,利用单步去噪重构误差检测分布外动作,并通过评估预测转移区分有益与有害动作,提供理论保证和实验验证。
2026-05-06 cs.AI cs.LG