Improved OOD Generalization via Adversarial Training and Pre-training
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近,学习一个模型,推广良好的分布外(OOD)数据引起了极大的关注,在机器学习社区。在本文中,通过Wasserstein距离定义OOD推广后,我们从理论上证明了对输入扰动鲁棒的模型在OOD数据上推广得很好。受先前发现对抗训练有助于提高输入鲁棒性的启发,我们从理论上证明了对抗训练模型在OOD数据上收敛了超额风险,并在图像分类和自然语言理解任务上进行了实证验证。此外,在第一次预训练,然后微调的范例中,我们从理论上表明,一个预训练的模型,是更强大的输入扰动提供了一个更好的初始化下游OOD数据的泛化。从经验上讲,经过微调后,这个来自对抗性预训练的更好初始化的模型也具有更好的OOD泛化能力。
2021-05-24 cs.LG
ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google(谷歌)
检测分发外(OOD)输入对于在开放世界环境中安全部署深度学习模型至关重要。然而,现有的OOD检测解决方案在开放世界中可能很脆弱,面临各种类型的对抗性OOD输入。虽然已经出现了利用辅助OOD数据的方法,但我们对启发性示例的分析揭示了一个关键见解,即大多数辅助OOD示例可能不会有意义地改善甚至损害OOD检测器的决策边界,这也在真实数据的经验结果中观察到。在本文中,我们提供了一个理论上的动机的方法,对抗训练与信息离群挖掘(ATOM),提高了OOD检测的鲁棒性。我们发现,通过挖掘信息丰富的辅助OOD数据,可以显着提高OOD检测性能,并有点令人惊讶的是,推广到看不见的对抗攻击。ATOM在广泛的经典和对抗性OOD评估任务下实现了最先进的性能。例如,在CIFAR-10分布数据集上,ATOM在对抗性OOD输入下将FPR(TPR 95%)降低了57.99%,大大超过了之前的最佳基线。
2021-06-30 cs.LG stat.ML
Towards a Theoretical Framework of Out-of-Distribution Generalization
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
对分布外数据的泛化是现代机器学习的核心问题之一。最近,有一个浪潮的尝试提出的算法,主要建立在提取不变特征的想法。虽然直观上是合理的,但对什么样的不变性可以保证OOD推广的理论理解仍然有限,并且推广到任意的分布外显然是不可能的。在这项工作中,我们迈出了严格和定量定义的第一步:1)什么是OOD; 2)什么是OOD问题是可学习的。我们还引入了一个新的概念的扩展函数,它的特点是在多大程度上的方差被放大的测试域的训练域,从而给出了一个定量的意义上的不变特征。在此基础上,我们证明了OOD的泛化误差界。结果表明,OOD推广在很大程度上取决于扩展函数。正如Gulrajani和Lopez-Paz(2020)最近指出的那样,任何没有模型选择模块的OOD学习算法都是不完整的。我们的理论自然地归纳出一个模型选择标准。在基准OOD数据集上的大量实验表明,我们的模型选择标准比基线具有显着的优势。
2021-11-08 cs.LG
In-N-Out: Pre-Training and Self-Training using Auxiliary Information for Out-of-Distribution Robustness
Stanford University(斯坦福大学)
考虑一个预测设置,其中包含很少的分布内标记示例和许多分布内和分布外(OOD)的未标记示例。我们的目标是学习一个模型,该模型在分布和OOD方面都表现良好。在这些设置中,辅助信息通常可以便宜地用于每个输入。我们应该如何最好地利用这些辅助信息来完成预测任务?在三个图像和时间序列数据集上,从理论上讲,在多任务线性回归设置中,我们表明:(i)使用辅助信息作为输入特征可以改善分布误差,但可能会损害OOD误差;但是(ii)使用辅助信息作为辅助预训练任务的输出可以改善OOD误差。为了两全其美,我们引入了In-N-Out,它首先用辅助输入训练一个模型,并用它来伪标记所有的分布输入,然后在OOD辅助输出上预训练一个模型,并用伪标记(自训练)微调这个模型。我们从理论和经验上表明,在N-输出优于辅助输入或输出单独在分布和OOD错误。
2021-04-07 cs.LG stat.ML
On the Benefits of Over-parameterization for Out-of-Distribution Generalization
The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了在良性过拟合条件下过参数化模型对OOD泛化的影响,发现增加参数化或模型集成可通过提升长尾特征正交性来降低OOD损失。
2024-03-26 cs.LG stat.ML
Is Out-of-Distribution Detection Learnable?
University of Technology Sydney(悉尼科技大学);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Hong Kong Baptist University(香港浸会大学);ETH Zurich(苏黎世联邦理工学院);University of Melbourne(墨尔本大学)
监督学习的目标是在假设训练数据和测试数据来自相同分布的情况下训练分类器。为了缓解上述假设,研究人员研究了一种更现实的设置:分布外(OOD)检测,其中测试数据可能来自训练期间未知的类(即,OOD数据)。由于面向对象数据的不可获得性和多样性,良好的泛化能力是有效的面向对象检测算法的关键。为了研究面向对象检测的泛化问题,本文研究了面向对象检测的可能近似正确(PAC)学习理论。首先,我们找到了OOD检测的可学习性的必要条件。然后,利用这个条件,我们证明了几个不可能定理的学习OOD检测在某些情况下。虽然不可能性定理是令人沮丧的,我们发现,这些不可能性定理的某些条件可能不成立,在某些实际情况下。基于这一观察,我们接下来给出了几个充分必要条件来描述OOD检测在一些实际场景中的可学习性。最后,本文还对几个典型的面向对象检测工作提供了理论支持。
2023-02-23 cs.LG stat.ML
Being a Bit Frequentist Improves Bayesian Neural Networks
University of Tübingen(图宾根大学);MPI for Intelligent Systems, Tübingen(图宾根智能系统研究所)
尽管贝叶斯神经网络(BNN)具有令人信服的理论特性,但在基于分类的不确定性量化(UQ)任务(如分布外(OOD)检测)中,BNN往往比频率论方法表现更差。在本文中,基于先前工作中的实证研究结果,我们假设这个问题是因为即使是最近的贝叶斯方法也从未在其训练过程中考虑过OOD数据,即使这种“OOD训练”技术是最先进的频率论UQ方法的一个组成部分。为了验证这一点,我们将OOD数据作为BNN训练中的一等公民,通过探索四种不同的方式将OOD数据纳入贝叶斯推理。我们在大量的实验中表明,OOD训练的BNN与最近的频率主义基线相比具有竞争力。因此,这项工作为贝叶斯UQ的未来工作提供了强有力的基线。
2022-02-02 cs.LG stat.ML
LoD: Loss-difference OOD Detection by Intentionally Label-Noisifying Unlabeled Wild Data
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);Department of Computer Science, Hong Kong Baptist University(香港 Baptist 大学计算机科学系);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(信息产业部模式分析与机器智能重点实验室)
针对现有利用含分布内外数据的未标注野生数据做分布外检测存在的拟合偏差、阈值难选问题,提出故意加噪的损失差检测框架LoD,用聚类无阈值筛选OOD样本,有理论支撑且实验效果更优。
2025-05-19 cs.LG stat.ML
Theoretical Grounding of Out-Of-Distribution Detection With Reinforcement Learning Optimizer
San Diego State University(圣地亚哥州立大学)
本文提出一种强化学习引导的优化器,通过修正梯度下降更新来降低语义分布外误报率,理论分析了模型变化和环境变化对泛化误差的影响。
2026-06-17 cs.CV cs.LG
Out-of-Distribution Learning with Human Feedback
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);NIWC Pacific(美国海军信息作战司令部太平洋分部)
针对传统分布外学习依赖统计方法与预定义假设、泛化和检测效果受限的问题,提出结合人类反馈的新型框架,通过标注野外少量有价值样本训练分类器与检测器,经理论验证和实验证明性能显著优于现有最优方法。
2024-08-14 cs.LG stat.ML
Provable Guarantees for Understanding Out-of-distribution Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
分布外(OOD)检测对于在现实世界中部署机器学习模型非常重要,因为在现实世界中,来自偏移分布的测试数据可能会自然出现。虽然最近出现了大量的算法方法用于OOD检测,但在理论理解方面仍然存在关键差距。在这项工作中,我们开发了一个分析框架,其特点和统一的理论理解OOD检测。我们的分析框架激发了一种新的面向对象检测方法的神经网络,GEM,这表明了理论和经验的优越性。特别是,在CIFAR-100作为分销数据时,我们的方法比竞争基线高出16.57%(FPR 95)。最后,我们正式提供可证明的保证和全面的分析,我们的方法,支持数据分布的各种属性如何影响OOD检测的性能。
2021-12-01 cs.LG
Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness
University of Southern California(南加州大学)
针对神经网络简单性偏差导致OOD泛化差的问题,提出通过正则化条件互信息鼓励模型使用多样特征,从而提升OOD泛化、子群鲁棒性和公平性,并辅以理论分析。
2023-10-09 cs.LG stat.ML
Bridging AI and Clinical Practice: Integrating Automated Sleep Scoring Algorithm with Uncertainty-Guided Physician Review
University of Bern(伯尔尼大学);University of Applied Sciences and Arts of Southern Switzerland(瑞士南部应用科学与艺术大学);Inselspital, Bern University Hospital(伯尔尼大学医院);Ohio Sleep Medicine Institute(俄亥俄睡眠医学研究所)
本研究将不确定性估计融入自动睡眠分期算法U-Sleep,通过医师审查少量不确定时段即可达到高一致性,显著降低临床工作负担。
2023-12-22 cs.AI cs.LG eess.SP
The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection
Tianjin University(天津大学);Tencent AI Lab(腾讯AI实验室);A*STAR(新加坡科技研究局)
本文揭示了OOD检测与泛化之间的“敏感-鲁棒”困境,提出基于贝叶斯视角解耦不确定性学习目标的算法,在不牺牲泛化能力下实现双重最优的检测性能。
2024-10-12 cs.LG stat.ML
Regularization Penalty Optimization for Addressing Data Quality Variance in OoD Algorithms
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai Jiao Tong University(上海交通大学)
由于传统的经验风险最小化(ERM)算法在分布偏移情况下泛化性能较差,分布外(OoD)泛化算法受到越来越多的关注。然而,OoD泛化算法忽略了训练数据质量的巨大差异,这大大损害了这些方法的准确性。本文从理论上揭示了训练数据质量与算法性能之间的关系,分析了Lipschitz正则化不变风险最小化的最优正则化方案。在此基础上,提出了一种新的算法,从样本级和域级两个方面来减轻低质量数据的影响。在回归和分类基准上的实验验证了该方法的有效性,具有统计显著性。
2022-06-12 cs.LG
Can We Ignore Labels In Out of Distribution Detection?
Rochester Institute of Technology(罗切斯特理工大学)
本文从信息论角度证明,当学习目标与分布内标签零互信息时,无标签OOD检测必然失败,并定义邻近OOD检测任务以弥补安全缺口,实验验证了现有方法的失效。
2025-10-06 cs.AI cs.LG cs.SY
Double Descent Meets Out-of-Distribution Detection: Theoretical Insights and Empirical Analysis on the role of model complexity
U2IS Lab ENSTA Paris(ENSTA巴黎大学U2IS实验室);Safran Tech(萨弗兰技术)
本文研究模型容量与 post-hoc OOD 检测性能的关系,实证发现 Double Descent 现象确实存在,并提供理论解释,同时提出识别最优检测区域的方法。
2025-11-03 cs.AI cs.CV cs.LG
A Closer Look at the Learnability of Out-of-Distribution (OOD) Detection
University of California - San Diego(加州大学圣地亚哥分校)
本研究针对OOD检测现有理论结果悲观的问题,基于PAC学习理论区分一致与非一致可学习性,刻画其可学习条件,证明非一致可学习性可将部分负面结果转为正面,并给出对应学习算法与样本复杂度分析。
2025-01-15 cs.LG
Bridging the Theoretical Gap in Randomized Smoothing
Foxstream(福克斯崔姆);Université Paris-Dauphine(巴黎多芬大学);PSL(巴黎文理大学);ESPCI PSL(巴黎文理大学物理与化学工业学院)
本文提出利用Lipschitz连续性和更少保守的置信区间计算方法来弥合随机平滑中理论认证鲁棒性与经验鲁棒准确率之间的差距,并通过实验验证其能提高鲁棒准确率。
2025-04-08 cs.LG stat.ML
Understanding and Improving Feature Learning for Out-of-Distribution Generalization
The Chinese University of Hong Kong(香港中文大学);RIKEN AIP(日本理化学研究所先进智能研究中心);Tencent AI Lab(腾讯AI实验室);Hong Kong Baptist University(香港浸会大学)
本文从理论上分析了ERM同时学习虚假特征与不变特征但虚假特征学习更快的问题,并提出特征增强训练FeAT,通过迭代保留与增强特征来提升分布外泛化性能。
2023-10-29 cs.LG stat.ML
When and How Does In-Distribution Label Help Out-of-Distribution Detection?
UW-Madison(威斯康星大学麦迪逊分校)
本文从图论与谱分解角度理论分析了分布内标签对分布外检测的影响,推导出比较有无标签性能的可证明误差界限,并通过模拟与真实数据实验验证了理论保证。
2024-05-28 cs.LG
Risk Variance Penalization
分布外推广的关键是将不变性从训练域推广到目标域。方差风险外推(V-REx)是一种实用的面向对象方法,它依赖于领域级正则化,但缺乏理论验证其动机和实用性。本文通过研究一个基于方差的正则化器,提供了对V-REx的理论见解。我们提出了风险方差惩罚(RVP),它稍微改变了V-REx的正则化,但解决了V-REx的理论问题。我们提供了理论解释和理论启发的调整计划的正则化参数的RVP。我们的研究结果指出,RVP发现一个强大的预测。最后,我们的实验表明,建议的正则化可以找到一个不变的预测在一定条件下。
2021-04-09 cs.LG stat.ML
Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection
Google Research(谷歌研究院)
在许多应用程序中,检测分发外(OOD)示例至关重要。我们提出了一种无监督的方法来检测OOD样本使用$k$ -NN密度估计相对于一个分类模型的中间激活分布样本。我们利用最近的洞察标签平滑,我们称之为\emph{Label Smoothed Embedding Hypothesis},并表明其中一个影响是,$k$ -NN密度估计器作为OOD检测方法在理论上和经验上都表现得更好,当模型训练标签平滑。最后,我们表明,我们的建议优于许多OOD基线,也提供了新的有限样本的高概率统计结果的$k$ -NN密度估计的能力,以检测OOD的例子。
2021-02-09 cs.AI cs.LG stat.ML
Rethinking Test-time Likelihood: The Likelihood Path Principle and Its Application to OOD Detection
University of Toronto(多伦多大学);Vector Institute(向量研究所);Borealis AI
针对深度生成模型似然估计在OOD检测中失效的问题,提出似然路径(LPath)原理及算法,利用最小充分统计量提供首个可证明的无监督OOD检测保证,并在小型VAEs上实现SOTA性能。
2024-01-10 cs.LG stat.ML
Mining In-distribution Attributes in Outliers for Out-of-distribution Detection
University of Electronic Science and Technology of China(电子科技大学)
本文发现OOD数据常含显著ID属性,提出结构化多视图MVOL框架合理利用而非抑制这些属性,理论验证有效性,实验证明优于现有方法。
2024-12-16 cs.LG stat.ML
Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning
The Hong Kong Polytechnic University(香港理工大学)
最近的研究表明,即使是高度偏置的稠密网络也包含一个无偏的子结构,可以实现比原始模型更好的分布外(OOD)泛化。现有的工作通常使用模块化风险最小化(MRM)与域外数据搜索的不变子网络。这样的范例可能会带来两个潜在的弱点:1)不公平,由于在训练期间对域外数据的观察不足;以及2)次优OOD泛化,由于对整个数据分布的特征非目标模型修剪。在本文中,我们提出了一种新的虚假目标模型剪枝框架,称为SFP,自动探索不变的子结构,而不涉及上述弱点。具体来说,SFP在训练过程中使用我们理论上验证的任务丢失来识别分布(ID)特征,在此基础上,SFP可以执行ID目标模型修剪,删除对ID特征具有强依赖性的分支。值得注意的是,通过衰减虚假特征到模型空间的投影,SFP可以将模型学习推向不变特征,并将其从环境特征中提取出来,从而设计出最佳的OOD泛化。此外,我们还进行了详细的理论分析,提供了合理性保证和证明框架的OOD结构通过模型稀疏性,并首次揭示了如何高度偏置的数据分布影响模型的OOD推广。在各种面向对象数据集上的大量实验表明,SFP可以显著优于基于结构和非结构的面向对象泛化SOTA,准确率分别提高了4.72%和23.35%。
2022-12-19 cs.AI cs.LG stat.ML
Kernel PCA for Out-of-Distribution Detection
Shanghai Jiao Tong University(上海交通大学);KU Leuven(鲁汶大学);China Mobile Shanghai ICT Co., Ltd(中国移动上海 ICT 有限公司)
本文提出利用核主成分分析(KPCA)框架进行分布外检测,通过任务特定非线性核与显式特征映射提升分布内与分布外数据的可分离性,并实现高效重构误差计算,在多个数据集和网络结构上取得最先进检测性能。
2025-01-03 cs.LG stat.ML
MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse
Department of Industrial Engineering(工业工程系);Yonsei University(延世大学)
本文提出MahaVar方法,利用类内马哈拉诺斯距离方差作为分布外检测指标,在CIFAR-100和ImageNet上取得最佳性能。
2026-10-30 cs.AI cs.LG
SEE-OoD: Supervised Exploration For Enhanced Out-of-Distribution Detection
University of Michigan(密歇根大学);University of Michigan Transportation Research Institute(密歇根大学交通研究所);American University of Beirut(贝鲁特美国大学)
针对现有OoD检测方法过拟合或特征重叠失效的问题,提出基于Wasserstein分数的生成对抗训练方案,在有限OoD样本监督下同时进行数据增强与探索,提升检测精度并具备良好泛化性。
2023-10-12 cs.LG
Perturbations in the Orthogonal Complement Subspace for Efficient Out-of-Distribution Detection
School of Mathematics and Statistics(数学与统计学学院);Guangdong University of Technology(广东技术大学)
本文提出P-OCS方法,通过在分布内样本定义的主子空间的正交补中施加单一投影扰动,在保持表示几何结构的同时增强ID与OOD样本的区别,实现了无需重新训练且计算成本可忽略的最先进OOD检测。
2025-11-02 cs.LG stat.ML
Towards Robust Out-of-Distribution Generalization Bounds via Sharpness
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究院);Department of Computer Science & Technology, Tsinghua University(清华大学计算机科学与技术系)
本文研究锐度与域迁移稳健性的理论联系,提出纳入稳健性的基于锐度 OOD 泛化界,证明其比非稳健界更紧,并由岭回归和深度分类实验支持。
2024-03-11 cs.LG
OOD-Chameleon: Is Algorithm Selection for OOD Generalization Learnable?
EPFL(瑞士联邦理工学院);Idiap Research Institute(IDIAP研究所)
本文提出OOD-Chameleon,将OOD泛化的训练算法选择建模为多标签分类,通过数据集特征在无需训练模型的情况下预测高性能算法,为算法选择和适用性提供了新见解。
2025-05-31 cs.LG
Tri-Level Navigator: LLM-Empowered Tri-Level Learning for Time Series OOD Generalization
Tongji University(同济大学)
该研究提出面向时间序列分布外泛化的三级学习框架TTSO,结合样本与组级不确定性,设计分层定位算法并证明收敛性与迭代复杂度,通过真实数据集实验验证了方法有效性,为时间序列OOD泛化提供新理论视角。
2024-11-02 cs.AI cs.LG
DICE: Leveraging Sparsification for Out-of-Distribution Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
检测分发外(OOD)输入是在现实世界中安全部署机器学习模型的核心挑战。以前的方法通常依赖于从超参数化的权重空间导出的OOD分数,而在很大程度上忽略了稀疏化的作用。在本文中,我们揭示了重要的见解,依赖于不重要的权重和单位可以直接归因于OOD检测的脆性。为了缓解这个问题,我们提出了一个基于稀疏化的OOD检测框架,称为DICE。我们的核心思想是根据贡献的度量对权重进行排名,并选择性地使用最突出的权重来导出OOD检测的输出。我们提供了经验和理论的见解,表征和解释DICE提高OOD检测的机制。通过修剪噪声信号,DICE可证明降低了OOD数据的输出方差,从而使输出分布更清晰,与ID数据的分离性更强。我们证明了基于稀疏化的OOD检测在几个基准上的有效性,并建立了具有竞争力的性能。
2022-07-17 cs.LG
Analysis of Confident-Classifiers for Out-of-distribution Detection
University of Waterloo(滑铁卢大学)
只有当输入数据来自训练分布(分布内)时,区分训练的神经分类器才是可信的。因此,检测分布外(OOD)样本对于避免分类错误非常重要。在用于图像分类的OOD检测的上下文中,最近的方法之一提出通过最小化分布内样本上的标准交叉熵损失以及最小化分布内的低密度区域中的OOD样本的预测分布与均匀分布之间的KL发散(最大化输出的熵)来训练被称为“置信度分类器”的分类器。因此,如果样本具有低置信度或高熵,则可以将其检测为OOD。在本文中,我们分析了这种设置从理论和实验。我们的结论是,由此产生的置信度分类器仍然产生任意高的置信度OOD样本远离分布。相反,我们建议通过为OOD样本添加一个显式的“拒绝”类来训练分类器。
2019-04-27 cs.CV cs.LG stat.ML
Benign Overfitting in Out-of-Distribution Generalization of Linear Models
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
本文研究了协变量偏移下过参数化线性模型的分布外泛化中的良性过拟合现象,证明了标准岭回归在特定结构条件下可实现良性过拟合,并发现主成分回归在更一般协方差矩阵下能达到更快的过剩风险收敛速率。
2024-12-19 cs.LG stat.ML
ID and OOD Performance Are Sometimes Inversely Correlated on Real-world Datasets
Idiap Research Institute(伊迪亚普研究所);Hong Kong University of Science and Technology(香港科技大学);University of Tübingen(图宾根大学);University of Adelaide(阿德莱德大学)
本文表明真实世界数据中ID与OOD性能常呈负相关,理论解释了其成因及以往研究遗漏的原因,并指出仅用ID性能进行模型选择会错过最佳OOD模型。
2023-05-19 cs.CV cs.LG
AOE: Exhaustive Out-of-Distribution Detection via Recalibrating Outlier Labels
School of Computer Science and Engineering(计算机科学与工程学院);Nanjing University of Science and Technology(南京理工大学)
提出自适应置信度异常暴露(AOE)方法,通过温度缩放重新校准异常标签,利用自适应软目标保留分布外样本与分布内类别的语义关系,从而扩大分离边界并提升分布外检测性能。
2026-07-21 cs.LG
Spurious Feature Diversification Improves Out-of-distribution Generalization
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Fudan University(复旦大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究探究权重空间集成方法WiSE-FT的分布外泛化机制,发现虚假特征多样化可提升OOD性能,提出BANG平均方法显著增强WiSE-FT的OOD表现。
2024-07-14 cs.LG
WeiPer: OOD Detection using Weight Perturbations of Class Projections
Institute for Computer Science(计算机科学研究所);Free University of Berlin(柏林自由大学)
WeiPer通过在最终全连接层引入类投影权重扰动,增强特征表示,提升多种OOD检测方法性能,并在OpenOOD基准上达到最先进结果,尤其对接近训练分布的困难OOD样本有效。
2024-05-28 cs.LG
Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization
Texas A&M University(得克萨斯农工大学)
本文提出一种非欧几里得空间线性外推的数据增强方法,同时外推图结构与特征空间来生成针对特定偏移的OOD样本,在不破坏因果机制的前提下提升图分布外泛化性能。
2024-06-05 cs.LG
Out-of-distribution Generalization with Causal Invariant Transformations
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在现实世界的应用程序中,学习在分发外(OOD)数据上表现良好的模型非常重要且可取。最近,因果关系已成为一个强大的工具,以解决面向对象的泛化问题,其思想依赖于因果机制,是跨领域的利益不变。为了利用通常未知的因果机制,现有的作品假设因果特征的线性形式,或者需要足够多和不同的训练域,这在实践中通常是限制性的。在这项工作中,我们将这些假设和解决OOD问题,而不显着恢复的因果功能。我们的方法基于修改非因果特征但保持因果部分不变的转换,这可以从先验知识中获得,也可以从多域场景中的训练数据中学习。在不变因果机制的设置下,我们从理论上证明了,如果所有这样的转换是可用的,那么我们可以学习一个极小极大最优模型跨域仅使用单域数据。注意到,知道这些因果不变变换的完整集合可能是不切实际的,我们进一步表明,它足以知道这些变换的一个子集。基于理论研究结果,提出了一种正则化的训练过程,以提高OOD的泛化能力。在人工和真实数据集上的大量实验结果验证了该算法的有效性,即使只有几个因果不变变换。
2022-03-24 cs.LG stat.ML
On the Learnability of Out-of-distribution Detection
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of Melbourne(墨尔本大学);Hong Kong Baptist University(香港浸会大学)
本文研究分布外检测的 PAC 可学习性,给出必要条件与不可能性定理,并在实际条件下提出充要刻画及代表性方法的理论支撑。
2024-04-07 cs.CV cs.LG stat.ML
Invariant Random Forest: Tree-Based Model Solution for OOD Generalization
Renmin University of China(中国人民大学);City University of Hong Kong(香港城市大学)
针对决策树模型缺乏 OOD 泛化方法的问题,本文提出 IDT 及其集成 IRF,通过惩罚跨环境不稳定分裂提升泛化,并在合成与真实数据上验证其优势。
2024-01-18 cs.LG
Taming False Positives in Out-of-Distribution Detection with Human Feedback
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Pennsylvania(宾夕法尼亚大学)
针对OOD检测中因设定固定阈值导致假阳性率过高的问题,提出一种利用专家反馈动态更新阈值的数学框架,在保证满足FPR约束的同时最小化人类反馈,且兼容任意评分函数,能将FPR维持在5%以下并最大化TPR。
2024-04-25 cs.AI cs.LG stat.ML
Mitigating the Likelihood Paradox in Flow-based OOD Detection: An Entropic Perspective
University of Yonsei(延世大学)
本文通过熵操控缓解基于流的分布外检测中的可能性悖论,利用语义相似性调整输入熵以提高检测性能。
2026-10-30 cs.AI cs.LG
$Δ\mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出ΔEnergy分数,通过重新对齐视觉-语言模态时的能量变化来同时提升分布外检测和分布外泛化性能,并基于此开发了统一微调框架EBM。
2026-05-25 cs.CV cs.LG
ReAct: Out-of-distribution Detection With Rectified Activations
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Facebook AI Research(Facebook人工智能研究院)
由于其在增强神经网络安全部署方面的实际重要性,分发外(OOD)检测近来受到了广泛关注。主要挑战之一是模型通常对OOD数据产生高度自信的预测,这破坏了OOD检测中的驱动原则,即模型应该只对分布样本有信心。在这项工作中,我们提出了ReAct-一种简单有效的技术,用于减少OOD数据上的模型过度自信。我们的方法的动机是新的分析内部激活的神经网络,它显示了高度独特的签名模式的OOD分布。我们的方法可以有效地推广到不同的网络架构和不同的OOD检测分数。我们经验证明,ReAct在一套全面的基准数据集上实现了具有竞争力的检测性能,并对我们的方法的有效性进行了理论解释。在ImageNet基准测试中,与之前的最佳方法相比,ReAct将假阳性率(FPR 95)降低了25.05%。
2021-11-24 cs.LG
Distilling the Unknown to Unveil Certainty
School of Computer Science and Engineering, Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, Sun Yat-sen University(计算机科学与工程学院,人工智能与先进计算重点实验室,教育部,中山大学);School of Computing, Macquarie University(计算学院,麦考瑞大学);Statistics and Data Science, Southeast University(统计与数据科学,东南大学);School of Computer Science and Engineering, Sun Yat-sen University(计算机科学与工程学院,中山大学)
本文提出一种灵活的OOD知识蒸馏框架,通过引入Confidence Amendment方法逐步修正预测置信度并合成样本,训练出在有无训练数据场景下均能有效区分ID与OOD样本的二分类器。
2025-06-27 cs.LG
Optimizing Latent Dimension Allocation in Hierarchical VAEs: Balancing Attenuation and Information Retention for OOD Detection
University of Virginia(弗吉尼亚大学)
本研究针对分层变分自编码器潜在维度分配随意导致的表征无效或后验坍缩问题,提出基于信息论的优化框架,证明固定预算下存在最优分配比例,实验验证其能提升OOD检测性能,为潜在结构设计提供指导。
2025-06-11 cs.LG
Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection
ITU Copenhagen(哥本哈根信息技术大学);Pacmed BV
可靠部署安全关键型应用程序的深度学习模型的一个关键要求是能够识别分布外(OOD)数据点,即与训练数据不同的样本,以及模型可能表现不佳的样本。以前的工作试图解决这个问题,使用不确定性估计技术。然而,有经验证据表明,一个大家庭的这些技术不检测OOD可靠的分类任务。本文对上述实验结果给出了理论解释,并用合成数据加以说明。我们证明,这样的技术是不能够可靠地识别OOD样本的分类设置,因为他们的信心水平是广义的特征空间看不见的领域。这一结果源于ReLU网络作为分段仿射变换的表示,softmax等激活函数的饱和性质以及最广泛使用的不确定性度量之间的相互作用。
2021-06-10 cs.AI cs.LG
NECO: NEural Collapse Based Out-of-distribution detection
ENSTA Paris(巴黎国立高等先进技术学院);SafranTech(赛峰科技)
本文提出NECO方法,利用神经坍缩的几何特性与主成分空间进行分布外检测,在多种规模和架构下取得最先进结果,并给出理论解释。
2024-02-27 cs.AI cs.CV cs.LG
Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities
University of Tübingen(图宾根大学)
在可信机器学习中,识别与分布任务无关的分布外输入是一个重要问题。近年来提出了许多分布外检测方法。本文的目标是识别共同的目标,以及确定不同的OOD检测方法的隐式评分功能。我们专注于在训练过程中使用替代OOD数据的方法的子类,以学习在测试时推广到新的看不见的外分布的OOD检测分数。我们表明,二进制歧视和(不同的)外分布相当于几个不同的配方的OOD检测问题。当使用标准分类器以共享方式进行训练时,该二进制分类器达到了与离群值暴露类似的OOD检测性能。此外,我们证明了离群值暴露所使用的置信度损失具有隐式评分函数,该函数在训练和测试外分布相同的情况下以非平凡的方式不同于理论上的最佳评分函数,这再次类似于训练基于能量的OOD检测器或添加背景类时所使用的评分函数。在实践中,当以完全相同的方式训练时,所有这些方法的表现都是相似的。
2022-06-20 cs.CV cs.LG
A Multi-dimensional Semantic Surprise Framework Based on Low-Entropy Semantic Manifolds for Fine-Grained Out-of-Distribution Detection
提出基于低熵语义流形的多维语义惊奇框架,将OOD检测从二分类扩展为ID/Near-OOD/Far-OOD三元分类,通过层级原型网络和语义惊奇向量实现细粒度风险分层,在LSUN等基准上假阳性率降低超60%。
2025-10-15 cs.AI cs.LG stat.ML