Out-of-Distribution Detection via Channelwise Feature Aggregation in Neural Network-Based Receivers
Nokia Networks(诺基亚网络);Nokia Bell Labs(诺基亚贝尔实验室);University of Eastern Finland(东芬兰大学)
本文提出基于通道特征聚合的神经网络接收机分布外检测方法,通过逐层分析提升检测性能,尤其在高延迟OOD检测中表现优异,但高速度检测仍面临挑战。
2026-01-14 cs.LG eess.SP
Both Topology and Text Matter: Revisiting LLM-guided Out-of-Distribution Detection on Text-attributed Graphs
Sun Yat-sen University(中山大学);Shandong University(山东大学)
针对文本属性图分布外检测中拓扑与文本信息利用不足的问题,提出LG-Plug框架,通过对齐拓扑与文本表示并利用聚类迭代LLM提示生成共识驱动的OOD样本,有效提升检测性能。
2026-05-31 cs.LG
Out-Of-Distribution Detection With Subspace Techniques And Probabilistic Modeling Of Features
Intel Labs(英特尔研究院)
本文提出了一种在深度神经网络(DNN)中检测分布外(OOD)样本的原理性方法。对深度特征的概率分布建模最近已经成为一种有效的,但计算成本低廉的方法来检测DNN中的OOD样本。然而,DNN在任何给定层产生的特征都不会完全占据相应的高维特征空间。我们应用线性统计降维技术和非线性流形学习技术的高维特征,以捕捉真正的子空间所跨越的功能。我们假设这种低维特征嵌入可以减轻维数灾难,并增强任何基于特征的方法,以获得更高效和更有效的性能。在不确定性估计和OOD的上下文中,我们表明,从这个低维子空间上学习的分布获得的对数似然分数对于OOD检测更具鉴别力。我们还表明,特征重建误差,这是$L_2$规范的原始特征和其嵌入的前图像之间的差异,是非常有效的OOD检测,在某些情况下优于对数似然分数。通过检测OOD图像,在常用的图像数据集(如CIFAR10,CIFAR100和SVHN)上使用流行的DNN架构,在图像特征上展示了我们方法的优势。
2020-12-08 cs.LG
Mind the Label Shift of Augmentation-based Graph OOD Generalization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ShanghaiTech University(上海科技大学)
分布外泛化是图神经网络的一个重要问题。最近的工作采用不同的图形版本来生成增强环境,并学习一个不变的GNN进行泛化。然而,由于图的结构化编辑不可避免地要改变图的标号,所以在扩充过程中经常会发生标签偏移。这带来了增强环境之间的不一致的预测关系,这是有害的泛化。为了解决这个问题,我们提出了\textbf{LiSA},它产生标签不变的扩增,以促进图OOD推广。LiSA利用训练图的\textbf{L} abel- \textbf{i} nvariant \textbf{S}子图来构造\textbf{A}增强环境,而不是诉诸图版本。具体来说,LiSA首先设计了变分子图生成器,以有效地提取局部预测模式并构造多个标签不变子图。然后,收集由不同生成器产生的子图,以构建不同的增强环境。为了促进增强环境之间的多样性,LiSA进一步引入了一种易于处理的基于能量的正则化,以扩大环境分布之间的成对距离。通过这种方式,LiSA生成具有一致预测关系的各种增强环境,并有助于学习不变的GNN。在节点级和图级OOD基准测试上的大量实验表明,LiSA在不同的GNN主干上实现了令人印象深刻的泛化性能。代码可在\url{https://github.com/Samyu0304/LiSA}上获得。
2023-03-27 cs.AI cs.LG
HAct: Out-of-Distribution Detection with Neural Net Activation Histograms
RTX Technology Research Center(RTX技术研究中心)
本文提出 HAct 激活直方图描述符用于神经网络分布外检测,在图像分类基准上以 95% TPR 和 0.03% FPR 超越现有方法,且高效易实现。
2023-10-17 cs.LG
Towards Consistent Predictive Confidence through Fitted Ensembles
University of Central Florida(中佛罗里达大学)
深度神经网络是最近机器学习应用中许多成功的背后。然而,这些模型在遇到分布外(OOD)示例或做出错误预测时可能会产生过度自信的决策。这种不一致的预测置信度限制了独立训练的学习模型集成到更大的系统中。本文引入了可分离的概念学习框架,以现实地衡量存在OOD的例子分类器的性能。在这种设置中,分类器的几个实例在类集合的分区的不同部分上训练。随后,在单独的测试集上评估这些模型的组合的性能。与当前的OOD检测技术不同,该框架不需要辅助OOD数据集,也不将分类与检测性能分开。此外,我们提出了一个新的强基线,用于在深度模型中实现更一致的预测置信度,称为拟合集合,其中过度自信的预测通过原始分类任务的转换版本进行纠正。拟合集成可以自然地检测OOD的例子,而不需要辅助数据,通过观察其组件之间的矛盾预测。在MNIST、SVHN、CIFAR-10/100和ImageNet上的实验表明,拟合集成在OOD示例上的性能明显优于传统集成,并且可以扩展。
2021-06-22 cs.AI cs.CV cs.LG
Coarse-to-Fine Open-Set Graph Node Classification with Large Language Models
本文提出CFC框架,利用大语言模型实现图节点的粗到细开放式分类,提升OOD检测和分类性能。
2025-12-21 cs.AI cs.LG
Multi-layer Aggregation as a key to feature-based OOD detection
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inserm(法国国家健康与医学研究院);Grenoble Institut Neurosciences(格勒诺布尔神经科学研究所);Pixyl(Pixyl公司);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
本研究在20种约7800个3D MRI的大范围OOD数据上比较了多种基于特征的OOD检测方法,发现多层方法始终优于单层方法,且检测性能高度依赖于底层神经网络架构。
2023-07-28 cs.CV cs.LG eess.IV
GradOrth: A Simple yet Efficient Out-of-Distribution Detection with Orthogonal Projection of Gradients
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
提出GradOrth方法,通过计算梯度在分布内数据重要子空间上的正交投影范数来识别分布外数据,显著降低了FPR95。
2023-08-01 cs.CV cs.LG
Principled Out-of-Distribution Generalization via Simplicity
Department of Operations Research and Financial Engineering, Princeton University(运筹学与金融工程系,普林斯顿大学);Department of Electrical and Computer Engineering, Princeton University(电气与计算机工程系,普林斯顿大学)
本文研究扩散模型组合泛化能力,提出基于简单性的OOD泛化理论框架,在常数间隙和消失间隙两种设置下,为正则化最大似然估计器建立了首个精确样本复杂度保证。
2025-05-28 cs.LG math.ST stat.ML
Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon Web Services(亚马逊云科技)
现有的分布外(OOD)检测方法通常在具有平衡类分布的训练集上进行基准测试。然而,在实际应用中,训练集通常具有长尾分布。在这项工作中,我们首先证明了现有的OOD检测方法通常遭受显着的性能下降时,训练集是长尾分布。通过分析,我们认为这是因为模型很难区分少数尾类分布样本,从真正的OOD样本,使尾类更容易被错误地检测为OOD。为了解决这个问题,我们提出了部分和非对称监督对比学习(PASCL),它明确鼓励模型区分尾类分布样本和OOD样本。为了进一步提高分布内分类的准确性,我们提出了辅助分支微调,它使用BN和分类层的两个独立分支分别进行异常检测和分布内分类。直觉是,分布内和OOD异常数据具有不同的潜在分布。我们的方法优于以前的国家的最先进的方法,$1.29\%$,$1.45\%$,$0.69\%$异常检测假阳性率(FPR)和$3.24\%$,$4.06\%$,$7.89\%$在分布分类准确性分别在CIFAR 10-LT,CIFAR 100-LT和ImageNet-LT。代码和预训练模型可在https://github.com/amazon-research/long-tailed-ood-detection上获得。
2022-07-04 cs.CV cs.LG
Robustness May be More Brittle than We Think under Different Degrees of Distribution Shifts
Hong Kong University of Science and Technology(香港科技大学);National University of Singapore(新加坡国立大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
该研究针对现有基准分布偏移程度固定易导致OOD性能评估偏差的问题,提出覆盖多偏移程度的精细评估设置,发现模型鲁棒性在不同偏移下脆弱且不一致,CLIP等大模型对微小偏移敏感,呼吁未来开展更广范围的偏移评估。
2023-12-15 cs.LG
Quantifying Explanation Quality in Graph Neural Networks using Out-of-Distribution Generalization
University of Virginia(弗吉尼亚大学);Entalpic
本文提出EGS指标,用于量化图神经网络解释的因果相关性,通过分布外泛化评估解释的因果有效性。
2026-02-07 cs.LG
Taming False Positives in Out-of-Distribution Detection with Human Feedback
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Pennsylvania(宾夕法尼亚大学)
针对OOD检测中因设定固定阈值导致假阳性率过高的问题,提出一种利用专家反馈动态更新阈值的数学框架,在保证满足FPR约束的同时最小化人类反馈,且兼容任意评分函数,能将FPR维持在5%以下并最大化TPR。
2024-04-25 cs.AI cs.LG stat.ML
Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models
University of Technology Sydney(悉尼科技大学)
针对分布外检测中负标签的假阴性问题,提出通过间接近似负标签分布来校正采样偏差的理论框架,并转化为基于ID标签和未标注语料数据的蒙特卡洛采样方法,在多种OOD检测设置中达到新最优。
2026-05-22 cs.CV cs.LG
FOOD: Facial Authentication and Out-of-Distribution Detection with Short-Range FMCW Radar
Technical University of Munich(慕尼黑工业大学);Infineon Technologies AG(英飞凌科技股份公司)
本文提出FOOD框架,利用60 GHz短程FMCW雷达实现人脸认证与分布外检测,通过重建式编码器-多解码器架构取得98.07%分类准确率和98.50% AUROC,优于现有OOD检测方法。
2024-06-06 cs.CV cs.LG eess.SP
Probabilistic Trust Intervals for Out of Distribution Detection
Quansight;Indian Institute of Technology(印度理工学院)
本文提出一种基于概率信任区间的方法,通过在推理时采样网络权重并利用输出不一致性进行分布外检测,无需OOD样本即可在多个数据集上显著优于基线方法。
2024-12-23 cs.AI cs.LG
Norm-Scaling for Out-of-Distribution Detection
Purdue University(普渡大学)
分布外(OoD)输入是不属于数据集真实底层分布的示例。研究表明,深度神经网络对OoD输入进行了自信的错误预测。因此,识别OoD输入对于安全可靠地部署深度神经网络至关重要。通常在相似性分数上应用阈值来检测OoD输入。一个这样的相似性是角度相似性,其是潜在表示与平均类表示的点积。角度相似性对不确定性进行编码,例如,如果角度相似性较小,则不太确定输入属于该类别。然而,我们观察到,不同的类有不同的角相似性分布。因此,对所有类别应用单个阈值是不理想的,因为相同的相似性分数表示不同类别的不同不确定性。在本文中,我们提出了规范尺度,规范化的logits分别为每个类。这确保了单个值一致地表示各种类别的类似不确定性。我们表明,当与最大softmax概率检测器一起使用时,与以前最先进的方法相比,norm-scaling在AUROC中实现了9.78%的改进,在AUPR中实现了5.99%的改进,在FPR 95度量中降低了33.19%。
2022-05-06 cs.CV cs.LG
MaRS: Robust Out-of-Distribution Detection via Mahalanobis Residual Scoring
xAILab Bamberg, University of Bamberg, Germany(班贝格大学 xAILab 班贝格实验室,德国)
提出MaRS方法,利用轻量自编码器学习分布内流形,通过马氏距离度量重建残差,实现方差感知的分布外检测,在多种医学影像模态和分布偏移下优于现有基线。
2026-06-29 cs.CV cs.LG eess.IV
ASAT: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
ASAT是结合人类反馈的人机协作框架,可实时更新评分函数与阈值,在静态条件下控制FPR并最大化TPR,非静态条件下适应分布漂移,在OpenOOD基准上性能优于现有方法。
2026-08-07 cs.AI cs.LG
Variational Inference MPC using Normalizing Flows and Out-of-Distribution Projection
University of Michigan(密歇根大学)
我们提出了一个模型预测控制(MPC)方法,用于无碰撞导航,使用摊销变分推理近似分布的最优控制序列训练的一个规范化的流条件下的开始,目标和环境。这种表示使我们能够学习一种分布,这种分布既考虑了机器人的动力学,也考虑了复杂的障碍物几何形状。然后,我们可以从这个分布中采样,以产生控制序列,这些控制序列可能是目标导向和无冲突的,作为我们提出的基于FlowMPPI采样的MPC方法的一部分。然而,当部署这种方法时,机器人可能会遇到分布外(OOD)环境,即与训练中使用的环境完全不同的环境。在这种情况下,不能信任学习的流来产生低成本的控制序列。为了将我们的方法推广到OOD环境,我们还提出了一种方法,该方法作为MPC过程的一部分对环境的表示进行投影。该投影将环境表示改变为更加分布,同时还优化真实环境中的轨迹质量。我们在2D双积分器和3D 12DoF欠驱动四旋翼上的仿真结果表明,具有投影的FlowMPPI在分布和OOD环境(包括从真实世界数据生成的OOD环境)上的性能优于最先进的MPC基线。
2022-05-10 cs.LG cs.RO
DCV-ROOD Evaluation Framework: Dual Cross-Validation for Robust Out-of-Distribution Detection
本文提出DCV-ROOD双重交叉验证框架,通过分别划分ID和OOD数据并考虑类别层次,实现对分布外检测模型的鲁棒评估,并快速收敛至真实性能。
2025-09-06 cs.AI cs.LG stat.ML
Diversity-Driven Offline Multi-Objective Optimization via Nested Pareto Set Learning
Shanghai Institute of AI for Education(上海人工智能教育研究院);School of Computer Science(计算机科学学院);East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新研究院)
针对离线多目标优化中的分布外问题,提出DOMOO方法,通过累积风险控制、嵌套帕累托集学习和多样性驱动选择策略,在合成和真实基准上实现了收敛性和多样性的最佳平均排名。
2026-06-16 cs.LG
Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection
ServiceNow Research(ServiceNow研究院);Mila(米拉研究院);Université de Montréal(蒙特利尔大学);Autodesk(欧特克公司)
该研究划分五类分布偏移并发布 BROAD 基准,评估发现现有 OOD 方法仅擅长未知类别;通过高斯混合建模检测分数并构建集成方法,实现更稳定全面的广泛 OOD 检测。
2024-12-09 cs.AI cs.CV cs.LG
Image-based Outlier Synthesis With Training Data
Department of Computer Science(计算机科学系);Dartmouth College(达特茅斯学院)
针对OOD检测在细粒度、虚假关联场景下依赖外部数据的问题,本文提出无需外部数据的ASCOOD框架,从ID数据合成近流形虚拟异常值,在7个数据集上验证了其多场景下的检测优势。
2025-11-13 cs.CV cs.LG
NGC: A Unified Framework for Learning with Open-World Noisy Data
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Alibaba Group(阿里巴巴集团)
在机器学习系统的训练和测试阶段,噪声数据的存在都是普遍存在的,这必然导致模型性能的下降。在过去的十年中,已经有大量的工作集中在分布(IND)噪声标签的学习上,即,一些训练样本被分配了不对应于它们的真实类的不正确的标签。然而,在实际应用场景中,需要考虑分布外(OOD)样本的影响,即,不属于任何已知类别的样本,尚未得到充分探索。为了解决这个问题,我们研究了一个新的问题设置,即学习与开放世界的噪声数据(LOND)。LOND的目标是从具有混合IND和OOD噪声的数据集中同时学习分类器和OOD检测器。在本文中,我们提出了一个新的基于图的框架,即噪声图清洗(NGC),它收集干净的样本,利用数据的几何结构和模型预测的信心。在测试阶段,NGC可以直接基于学习到的类原型检测和拒绝OOD样本,而无需任何额外的训练工作。我们在具有不同类型噪声的多个基准上进行实验,结果表明我们的方法对最先进的方法具有优越的性能。
2021-08-25 cs.CV cs.LG
Mitigating Reward Over-Optimization in RLHF via Behavior-Supported Regularization
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);The State Key Lab of Brain-Machine Intelligence, Zhejiang University(浙江大学脑机智能国家重点实验室);LLM Safety Centre, Beijing Academy of Artificial Intelligence(北京人工智能研究院大语言模型安全中心);Center for AI Safety and Governance, Peking University(北京大学人工智能安全与治理中心)
针对RLHF中奖励模型评估分布外响应的外推误差引发的奖励过优化问题,提出行为支持策略优化方法,通过行为支持贝尔曼算子正则化价值函数,减少分布外响应生成,理论上保证策略单调收敛,实验表现优于基线。
2025-03-23 cs.AI cs.LG
ConjNorm: Tractable Density Estimation for Out-of-Distribution Detection
University of Technology Sydney(悉尼大学);The University of Queensland(昆士兰大学);Hong Kong Baptist University(香港 Baptist 大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出基于Bregman散度的理论框架,通过共轭约束设计密度函数,并利用蒙特卡洛重要性采样实现可处理归一化,在OOD检测中达到SOTA。
2026-05-22 cs.AI cs.LG
Out-of-Distribution Detection & Applications With Ablated Learned Temperature Energy
Cranberry-Lemon University(蔓越莓柠檬大学)
本文提出AbeT方法,通过消融学习温度能量实现分布外检测,在分类任务FPR@95降低43.43%,并在目标检测和语义分割中提升性能,仅需单阶段训练且无额外超参数。
2025-04-14 cs.CV cs.LG
ADMEOOD: Out-of-Distribution Benchmark for Drug Property Prediction
College of Informatics, Huazhong Agricultural University(华中农业大学信息学院);Shenzhen Institute of Nutrition and Health, Huazhong Agricultural University(华中农业大学深圳营养与健康研究院)
针对药物性质预测中分布外数据带来的鲁棒性问题,提出ADMEOOD基准,包含27个ADME性质及两种数据偏移,实验验证了其划分方法的有效性。
2023-10-11 cs.AI cs.LG q-bio.QM
A framework for benchmarking class-out-of-distribution detection and its application to ImageNet
Technion(以色列理工学院);Amazon(亚马逊)
当部署用于风险敏感型任务时,深度神经网络必须能够检测到带有标签的实例,这些标签来自它们所训练的分布之外。在本文中,我们提出了一个新的框架,以基准的图像分类器的能力,以检测类的分布实例(即,其真实标签不出现在训练分布中的实例)。我们将这种技术应用于ImageNet,并对525个预训练的、公开可用的ImageNet-1 k分类器进行了基准测试。为任何ImageNet-1 k分类器生成基准的代码,以及为上述525个模型准备的基准,可在https://github.com/mdabbah/COOD_benchmarking上获得。通过分析这些模型的测试结果,证明了该框架的有效性及其相对于现有基准测试的优势,这些结果揭示了许多新的观察结果,包括:(1)知识蒸馏一致地提高了分布外类(C-OOD)检测性能;(3)语言-视觉CLIP模型实现了良好的zero-shot检测性能,其最佳实例优于所有其他评估模型的96%;(4)准确度和分布内排名与C-OOD检测呈正相关;(5)我们比较了C-OOD检测的各种置信函数。我们的配套论文也发表在ICLR 2023(我们可以从523个Imagenet分类器的选择性预测和不确定性估计性能中学到什么),研究了这些分类器在分布环境中的不确定性估计性能(排名,校准和选择性预测性能)。
2023-02-23 cs.CV cs.LG
DSDE: Using Proportion Estimation to Improve Model Selection for Out-of-Distribution Detection
Beijing Normal University(北京师范大学);Shanghai Jiao Tong University(上海交通大学);Hunan University(湖南大学)
针对现有分布外检测模型选择缺乏不确定性量化、集成忽略假正例率的问题,提出基于比例估计与自动超参选择的DSDE方法,显著降低了检测假正例率。
2024-11-03 cs.CV cs.LG stat.ML
Known Unknowns: Out-of-Distribution Property Prediction in Materials and Molecules
MIT(麻省理工学院);Catholic Institute of Technology(天主教理工学院)
针对材料和分子发现中需识别性质值超已知分布极端情况的问题,提出转导式分布外(OOD)性质预测方法,大幅提升OOD分类的真阳性率与精度,能泛化至训练目标范围外且适用于多类相关任务。
2025-02-09 cond-mat.mtrl-sci cs.CE cs.LG
Characterizing Out-of-Distribution Error via Optimal Transport
Carnegie Mellon University(卡内基梅隆大学);Vanderbilt University(范德堡大学)
本文针对无标签OOD性能预测中误差被低估的问题,提出基于最优传输的COT及其阈值变体COTT,显著提升了多种分布偏移下的误差估计准确性。
2023-10-27 cs.CV cs.LG
Calibrating Deep Neural Network Classifiers on Out-of-Distribution Datasets
UC Riverside(加州大学河滨分校)
为了提高深度神经网络(DNN)分类器的可信度,表示正确性真实可能性的准确预测置信度至关重要。为此,已经提出了许多事后校准方法来利用轻量级模型将目标DNN的输出层映射到校准的置信度。尽管如此,在实践中,在分布外(OOD)数据集上,目标DNN通常会以高置信度对样本进行错误分类,这对现有的校准方法产生准确的置信度带来了重大挑战。在本文中,我们提出了一种新的事后置信度校准方法,称为CCAC(带有辅助类的置信度校准),用于OOD数据集上的DNN分类器。CCAC的关键新颖之处在于校准模型中的一个辅助类,它将错误分类的样本与正确分类的样本分开,从而有效地减轻了目标DNN的错误。我们还提出了一个简化版本的CCAC,以减少自由参数,并促进转移到一个新的看不见的数据集。我们在不同DNN模型,数据集和应用程序上的实验表明,CCAC可以始终优于先前的事后校准方法。
2020-06-16 cs.LG stat.ML
VNDUQE: Information-Theoretic Novelty Detection using Deep Variational Information Bottleneck
1 Nondestructive Evaluation Lab, Department of Electrical;Computer Engineering Michigan State University East Lansing, MI Email;2 Department of Electrical
本文提出VNDUQE方法,利用深度变分信息瓶颈进行新颖性检测和不确定性量化,通过KL散度和预测熵实现对Out-of-distribution样本的检测,实验结果显示其在新颖性检测和不确定性估计方面优于基线MSP方法。
2026-05-12 cs.CV cs.IT cs.LG
C3R: Channel Conditioned Cell Representations for unified evaluation in microscopy imaging
University of Surrey(萨里大学)
针对IHC图像通道不一致导致跨数据集评估困难的问题,提出基于上下文-概念原则的C3R框架,通过通道自适应编码器和掩码知识蒸馏,实现ID和OOD统一评估并超越现有基准。
2025-05-24 cs.CV cs.LG q-bio.QM
Assessing the Robustness of Climate Foundation Models under No-Analog Distribution Shifts
Centre for Artificial Intelligence(人工智能中心);Department of Computer Science(计算机科学系);University College London(伦敦大学学院);Division of Emerging Interdisciplinary Areas(新兴交叉学科领域);Hong Kong University of Science and Technology(香港科技大学);University of Oxford(牛津大学)
本文研究了在无类比分布偏移下气候基础模型的鲁棒性,通过时间外推和跨情景驱动偏移评估三种模型,发现ClimaX模型在绝对误差最低但分布偏移下稳定性较差。
2026-04-22 cs.AI cs.LG
Compositional Generalization via Forced Rendering of Disentangled Latents
Massachusetts Institute of Technology(麻省理工学院);University of Cambridge(剑桥大学);NTT Research(NTT研究)
本研究通过二维高斯凸起生成任务,发现标准生成模型在OOD区域因重新纠缠潜在表示而失败,而强制将解缠因子渲染到像素空间可实现高效稳健的组合泛化。
2025-05-24 cs.AI cs.LG stat.ML
Identifying Incorrect Classifications with Balanced Uncertainty
Tianjin University(天津大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
不确定性估计对于成本敏感的深度学习应用(即疾病诊断)至关重要。这是非常具有挑战性的,部分原因是大多数数据集中的不确定性地面实况不可访问。以往的研究提出了从softmax校正、Monte Carlo抽样、主观逻辑等方面估计不确定度,但这些方法往往对预测结果过于自信,总体不确定度低得不合理,这源于正样本(正确分类)和负样本(错误分类)之间的不平衡。针对这一问题,我们首先提出了分布不平衡,将不确定性估计中的不平衡建模为两种分布偏差,然后提出了平衡真类概率(Balanced True Class Probability,BTCP)框架,该框架学习了一种具有新的分布焦点损失(Distributional Focal Loss,DFL)目标的不确定性估计器。最后,我们评估BTCP的故障预测和分布(OOD)检测多个数据集。实验结果表明,BTCP优于其他不确定性估计方法,特别是在识别错误的分类。
2021-10-15 cs.LG
Semantic segmentation of surgical hyperspectral images under geometric domain shifts
German Cancer Research Center (DKFZ)(德国癌症研究中心);Heidelberg University(海德堡大学);National Center for Tumor Diseases (NCT)(国家肿瘤疾病中心);Heidelberg University Hospital(海德堡大学医院)
本文首次系统分析几何分布外数据下手术场景语义分割网络的性能下降问题,并提出“器官移植”增强技术,在RGB和高光谱数据上显著提升泛化性能。
2023-09-18 cs.CV cs.LG eess.IV
WiCompass: Oracle-driven Data Scaling for mmWave Human Pose Estimation
School of Computer Science, Peking University(北京大学计算机科学系);University of Electronic Science and Technology of China(电子科技大学);University of Pittsburgh(匹兹堡大学);Electrical Engineering and Computer Science, Massachusetts Institute of Technology(麻省理工学院电子工程与计算机科学系);Key Laboratory of High Confidence Software Technologies, Ministry of Education (PKU)(教育部高可信软件技术重点实验室(北京大学))
WiCompass通过构建通用姿态空间oracle,实现基于覆盖意识的数据采集,提升毫米波人体姿态估计在分布偏移下的鲁棒性与泛化能力。
2026-03-02 cs.CV cs.LG
Boosting Out-of-Distribution Detection with Multiple Pre-trained Models
Hunan University(湖南大学);Beijing Normal University(北京师范大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
分发外(OOD)检测,即,识别输入是否是从不同于训练分布的新分布中采样的是在开放世界中安全地部署机器学习系统的关键任务。最近,利用预训练模型的事后检测已经显示出有前途的性能,并且可以扩展到大规模的问题。这一进展提出了一个自然的问题:我们能否利用多个预训练模型的多样性来提高事后检测方法的性能?在这项工作中,我们提出了一种检测增强方法,通过集成来自动物园的预训练模型的多个检测决策。我们的方法使用p值而不是常用的硬阈值,并利用多个假设检验的基本框架来控制分销(ID)数据的真阳性率。我们专注于模型动物园的使用,并提供系统的经验比较与当前国家的最先进的方法对各种OOD检测基准。与单模型检测器相比,所提出的集成方案显示出一致的改进,并且显著优于当前的竞争方法。在CIFAR10和ImageNet基准测试中,我们的方法将相对性能大幅提高了65.40%和26.96%。
2023-01-12 cs.AI cs.CV cs.LG
Can GRPO Help LLMs Transcend Their Pretraining Origin?
cs.unc.edu(北卡罗来纳大学教堂山分校计算机科学系)
本文从数据分布视角理论并实证分析 GRPO,证明其只是受基模型约束的保守重加权方法,只能锐化预训练偏置,难以发现全新解法。
2025-10-14 cs.AI cs.CL cs.LG
On Information-Theoretic Measures of Predictive Uncertainty
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);NXAI GmbH(NXAI有限责任公司)
本研究提出预测不确定性的信息论度量框架,按预测模型和真实分布近似两个因素分类推导含新度量的度量集,经多任务评估明确各度量适用条件及ID、OOD数据下的特性与关系。
2025-06-16 cs.AI cs.LG stat.ML
Deep Neural Network Identification of Limnonectes Species and New Class Detection Using Image Data
Harvard University(哈佛大学);Virginia Tech(弗吉尼亚理工大学);Mary Baldwin University(玛丽鲍德温大学)
本研究利用深度神经网络解决物种复合体中已知物种识别和新物种检测问题,通过分类和分布外检测方法,在东南亚溪流蛙复合体上验证了有效性。
2023-11-15 cs.CV cs.LG eess.IV
F-Fidelity: A Robust Framework for Faithfulness Evaluation of Explainable AI
Florida International University(佛罗里达国际大学);NEC Laboratories America(美国NEC实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出 F-Fidelity 评估框架,通过解释无关微调和随机掩码解决信息泄漏与分布外问题,在多种数据模态上验证其能更准确地恢复 XAI 解释器的真实排名并估计真实解释规模。
2025-03-06 cs.AI cs.LG
TrojanDam: Detection-Free Backdoor Defense in Federated Learning through Proactive Model Robustification utilizing OOD Data
Southeast University(东南大学);HKUST(GZ)(香港科技大学(广州));Nanyang Technological University(南洋理工大学)
提出TrojanDam,一种联邦学习后门防御机制,通过利用OOD数据主动激活模型冗余神经元以抵消后门更新,无需检测,实验证明优于现有SOTA方法。
2025-04-22 cs.CR cs.LG
Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU Models
Texas A&M University(德克萨斯A&M大学);Adobe Research(Adobe研究院);Adobe Document Cloud(Adobe文档云)
最近的研究表明,NLU模型倾向于依赖快捷功能进行预测,而无法实现真正的语言理解。因此,这些模型无法推广到真实世界的分布外数据。在这项工作中,我们证明了NLU训练集中的单词可以建模为长尾分布。有两个发现:1)NLU模型对位于长尾分布头部的特征有很强的偏好,2)在模型训练的早期几次迭代中,会提取出非线性特征。这两个观察进一步制定一个测量,可以量化每个训练样本的捷径程度。基于这种捷径度量,我们提出了一个捷径缓解框架LTGR,以抑制模型对具有大捷径度的样本进行过度自信的预测。三个NLU基准测试的实验结果表明,我们的长尾分布解释准确地反映了NLU模型的捷径学习行为。实验分析进一步表明,LTGR可以提高OOD数据的泛化精度,同时保持分布数据的精度。
2021-04-13 cs.CL cs.LG
V-ECE: Estimating General Expected Calibration Errors
INRIA;Ecole Normale Supérieure, PSL Research University(巴黎高等师范学院,PSL研究大学);UC Berkeley(加州大学伯克利分校)
本文提出了一种基于变分框架的$L_p$校准误差估计方法,能够区分过高和过低自信,并避免过估计,通过实验验证其有效性。
2026-10-09 cs.LG stat.ML
Semi-supervised novelty detection using ensembles with regularized disagreement
ETH Zurich(苏黎世联邦理工学院)
深度神经网络通常以高置信度预测样本,即使它们来自看不见的类,也应该被标记以供专家评估。当前的新颖性检测算法不能可靠地识别这样的近OOD点,除非它们能够访问与这些新颖样本相似的标记数据。在本文中,我们开发了一种新的基于集成的半监督新奇检测(SSND)程序,成功地利用了未标记的ID和新奇类样本的混合物,以实现良好的检测性能。特别是,我们展示了如何使用早期停止正则化仅在OOD数据上实现分歧。虽然我们证明了这一事实的一个简单的数据分布,我们广泛的实验表明,它适用于更复杂的情况:我们的方法显着优于最先进的SSND方法对标准图像数据集(SVHN/CIFAR-10/CIFAR-100)和医学图像数据集,只有一个微不足道的增加计算成本。
2022-03-10 cs.LG
Deconstructing Distributions: A Pointwise Framework of Learning
Harvard(哈佛大学);UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);UC San Diego(加州大学圣地亚哥分校)
在机器学习中,我们传统上评估单个模型的性能,对测试输入集合进行平均。在这项工作中,我们提出了一种新的方法:我们衡量的性能时,一个$\textit{single input point}$模型的集合进行评估。具体来说,我们研究了一个点的$\textit{profile}$:模型在测试分布上的平均性能和它们在这个单独点上的逐点性能之间的关系。我们发现,配置文件可以产生新的见解模型和数据的结构-在和分布。例如,我们凭经验表明,真实数据分布由具有定性不同轮廓的点组成。一方面,在逐点和平均表现之间存在具有强相关性的“兼容”点。另一方面,存在弱相关甚至$\textit{negative}$相关的点:在这些输入上,提高整体模型精度实际上是提高了$\textit{hurts}$性能。我们证明,这些实验观察与先前工作中提出的几个简化的学习模型的预测是不一致的。作为一个应用程序,我们使用配置文件来构建一个数据集,我们称之为CIFAR-10-NEG:CINIC-10的一个子集,对于标准模型,CIFAR-10-NEG的准确性是$\textit{negatively correlated}$,CIFAR-10测试的准确性。这是第一次展示了一个完全颠倒“在线准确性”的OOD数据集(Miller,Taori,Raghunathan,Sagawa,Koh,Shankar,Liang,Carmon和Schmidt …
2022-06-07 cs.AI cs.CV cs.LG
Dealing with the Unknown: Pessimistic Offline Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)已被证明是有效的,在这些领域中,代理可以通过主动与其操作环境交互来学习策略。然而,如果我们将RL方案更改为离线设置,其中代理只能通过静态数据集更新其策略,则出现离线强化学习中的一个主要问题,即分布偏移。我们提出了一种Pessiphon离线强化学习(PessORL)算法,通过操纵价值函数,主动引导智能体回到它熟悉的区域。我们专注于由分布外(OOD)状态引起的问题,并故意惩罚训练数据集中不存在的状态处的高值,以便学习到的悲观价值函数在状态空间内的任何地方都有真实值的下限。我们评估的PessORL算法在各种基准任务,在那里我们表明,我们的方法获得更好的性能显式处理OOD状态相比,这些方法只考虑OOD行动。
2021-11-09 cs.LG cs.RO
Consistency-Guided Temperature Scaling Using Style and Content Information for Out-of-Domain Calibration
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Purdue University(普渡大学)
本文提出一致性引导温度缩放(CTS),利用源域样本在风格和内容上的一致性相互监督来提升域外校准性能,在多个数据集上优于现有方法且不损失精度。
2024-02-22 cs.AI cs.LG stat.ML