Bottom-up Hierarchical Classification Using Confusion-based Logit Compression
Ohio State University（俄亥俄州立大学）；AFRL/RYAP（美国空军研究实验室/赖特-帕特森空军基地研究部）
在这项工作中，我们提出了一种方法来有效地计算标签后验的基本平面分类器中存在的几个验证的例子内自自底向上的【形】的分层推理框架。独立的验证集（不用于训练基本分类器）对于后验估计是优选的，以避免过拟合基本分类器，然而，小的验证集限制了可以有效使用的特征的数量。我们提出了一个简单的，但强大的，logit向量压缩方法的基础上广义logits和标签混淆的任务标签后验估计的上下文中的分层分类。在多个大小的验证集上提供了与其他压缩技术的广泛比较实验，并与相关的分层分类方法进行了比较。所提出的方法缓解了没有足够的验证实例进行可靠的后验估计的问题，同时保持强大的分层分类性能。
2021-10-05 cs.CV cs.LG
ZClassifier: Temperature Tuning and Manifold Approximation via KL Divergence on Logit Space
Shim Soon Yong（独立研究者）
提出 ZClassifier 分类框架，用对角高斯分布的 logits 替代确定性 logits，通过最小化 KL 散度统一解决温度调节与流形近似问题，在 CIFAR-10/100 上提升了鲁棒性、校准和潜在分离表现。
2025-08-11 cs.LG
Fast Single-Class Classification and the Principle of Logit Separation
University of Augsburg（奥格斯堡大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Imperial College London（伦敦帝国学院）
我们考虑神经网络训练，在应用程序中，有许多可能的类，但在测试时，任务是一个二元分类任务，确定给定的例子是否属于一个特定的类，其中感兴趣的类可以是不同的每次应用分类器。例如，这是实时图像搜索的情况。我们定义了单Logit分类（SLC）任务：训练网络，以便在测试时，可以仅基于该类的输出logit，以计算高效的方式准确识别示例是否属于给定类。我们提出了一个自然的原则，Logit分离原则，作为选择和设计适合SLC的损失的指导方针。我们表明，交叉熵损失函数不符合Logit分离原理。相比之下，有已知的损失函数，以及我们提出的新的批量损失函数，这是符合这一原则。我们总共研究了七个损失函数。我们的实验表明，实际上在几乎所有情况下，与不符合Logit分离原理的损失相比，符合Logit分离原理的损失在SLC任务中获得至少20%的相对准确度提高，有时甚至更多。此外，我们表明，快速SLC不会导致任何下降，在二进制分类的准确性相比，标准的分类，其中所有的logits计算，并产生一个加速增长的类的数量。例如，当类的数量为400，000时，我们演示了10倍的加速。用于优化新批次损失的Tensorflow代码可在https://github.com/cruvadom/Logit Separation上公开获取。
2018-09-17 cs.LG stat.ML
Class-Level Logit Perturbation
National Center for Applied Mathematics, Tianjin University（天津大学国家应用数学中心）；University of Southern Queensland（南昆士兰大学）
特征、logits和标签是样本通过深度神经网络时的三个主要数据。特征扰动和标签扰动是近年来研究的热点。它们已被证明在各种深度学习方法中非常有用。例如，（对抗性）特征扰动可以提高学习模型的鲁棒性甚至泛化能力。然而，有限的研究已经明确探讨了罗吉特向量的扰动。这项工作讨论了现有的几种方法有关的类级logit扰动。建立了正、负数据增强与logit扰动引起的损失变化之间的统一观点。一个理论分析，以阐明为什么类水平的logit扰动是有用的。因此，提出了新的方法来明确学习扰动logits单标签和多标签分类任务。在基准图像分类数据集及其长尾版本上的大量实验表明，我们的学习方法具有竞争力的性能。由于它只对logit进行扰动，因此它可以作为一个插件与任何现有的分类算法融合。所有代码都可以在https://github.com/limengyang1992/lpl上找到。
2022-09-26 cs.AI cs.LG
Calibration of Model Uncertainty for Dropout Variational Inference
Leibniz Universität Hannover（汉诺威莱布尼茨大学）
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。本文将不同的logit标度方法推广到dropout变分推断中，对模型的不确定性进行重新校正。期望不确定度校准误差（UCE）被提出作为衡量误校准的度量。在CIFAR-10/100和SVHN上评估了最近CNN架构的重新校准的有效性。实验结果表明，通过UCE，logit缩放可以显着减少误校准。良好校准的不确定性可以可靠地拒绝不确定的预测和可靠地检测分布外的数据。
2020-06-20 cs.LG stat.ML
FeNeC: Enhancing Continual Learning via Feature Clustering with Neighbor- or Logit-Based Classification
Faculty of Mathematics and Computer Science Jagiellonian University（雅盖隆大学数学与计算机科学学院）；Secondary School No 2 in Nowy Targ（新塔尔格第二中学）；Upper-Secondary Schools of Communications in Cracow（克拉科夫高等通信学校）
针对深度学习模型的持续学习需求，提出FeNeC及其变体FeNeC-Log，通过数据聚类捕捉类内变异性，利用马氏距离实现邻居或对数似然分类，在任务身份未知场景中性能优异且在多基准上达SOTA。
2025-04-14 cs.LG
Adaptive Adversarial Logits Pairing
Beijing Jiaotong University（北京交通大学）；University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
对抗性实例为理解图像分类系统提供了机会，也提出了挑战。基于对对抗性训练解决方案Adversarial Logits Pairing（ALP）的分析，我们在这项工作中观察到：（1）与脆弱的特征相比，对抗性鲁棒模型的推理倾向于依赖较少的高贡献特征。(2)ALP算法的训练目标对部分样本的拟合效果不佳，过分强调了logits配对损失，阻碍了分类损失的最小化。受这些观察的启发，我们通过修改ALP的训练过程和训练目标，设计了自适应对抗性对数配对（AALP）解决方案。具体来说，AALP由一个自适应特征优化模块和一个自适应样本加权模块组成，该自适应特征优化模块具有Guided Dropout以系统地追求较少的高贡献特征，该自适应样本加权模块通过设置样本特定的训练权重来平衡logits配对损失和分类损失。所提出的AALP解决方案在多个数据集上表现出优异的防御性能，并进行了大量的实验。
2021-04-16 cs.CV cs.LG
Logit Disagreement: OoD Detection with Bayesian Neural Networks
University of Ottawa（渥太华大学）
针对贝叶斯神经网络中互信息分数用于OoD检测表现不佳的问题，本文提出基于修正logits不一致性的认知不确定性度量，在多个实验中性能优于互信息、与预测熵基准相当。
2025-02-21 cs.CV cs.LG stat.ML
ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent Training
AWS AI Labs（亚马逊云科技人工智能实验室）
针对模型更新引入负翻转的问题，提出ELODI方法，通过将同质集成蒸馏为单模型并引入LDI目标仅惩罚高logit类别差异，在单模型推理成本下实现高准确率与低负翻转率。
2024-04-20 cs.CV cs.LG
Logit-Based Ensemble Distribution Distillation for Robust Autoregressive Sequence Uncertainties
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
本文研究了大规模自然语言序列到序列任务中的集成分布蒸馏（EDD），提出通过对集成logits而非softmax概率进行建模，显著提升了学生模型的不确定性估计性能，并在分布外检测上超越Deep Ensembles约10% AUROC。
2023-05-17 cs.CL cs.LG
BeeTLe: An Imbalance-Aware Deep Sequence Model for Linear B-Cell Epitope Prediction and Classification with Logit-Adjusted Losses
Georgia Institute of Technology, Atlanta, USA（佐治亚理工学院）
BeeTLe通过深度学习模型和对数调整损失技术，解决线性B细胞表位预测与分类中的类别不平衡问题，提升预测性能。
2025-12-09 cs.LG q-bio.QM
Mitigating Measurement-Induced Training Instability in Hybrid Quantum Neural Networks for Protein Classification
University Medical Center Göttingen（哥廷根大学医学中心）
针对混合量子神经网络中测量引起的对数收缩导致训练不稳定的问题，提出可学习的量子测量温度（QMT）参数，在训练前重缩放测量输出以增强梯度，实验证明其能稳定训练并提升分类精度。
2026-06-23 cs.CV cs.LG
API Is Enough: Conformal Prediction for Large Language Models Without Logit-Access
Zhejiang University - University of Illinois Urbana-Champaign Institute（浙江大学-伊利诺伊大学厄巴纳-香槟分校研究所）；University of Illinois Chicago（芝加哥大学伊利诺伊分校）
针对仅能通过 API 访问、无法获取 logit 的大语言模型，提出融合样本频率与语义相似性的保形预测方法，以更小预测集实现用户指定覆盖率保证，并在问答任务上优于基于 logit 的基线。
2024-04-04 cs.AI cs.CL cs.LG
Leveraging Label Non-Uniformity for Node Classification in Graph Neural Networks
Nanyang Technological University（南洋理工大学）；Jiangnan University（江南大学）
该研究针对图神经网络节点分类任务，提出标签非均匀性概念，通过理论分析其分布规律给出提升性能的策略，可轻松集成到基础模型中并提升多种基准模型的分类效果。
2023-04-29 cs.LG eess.SP
Few-Shot Open-Set Audio Classification via Transductive Prototype Refinement and Class Logit Enhancement
针对小样本开放集音频分类的原型易受未知类别污染问题，提出两阶段直推式方法，结合内类度加权与解耦评分，在三个音频数据集上取得最优结果。
2026-08-25 cs.LG cs.SD
How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks
Department of Electrical and Electronic Engineering Federal University of Santa Catarina (UFSC)（电子与电气工程系联邦圣卡塔琳娜大学（UFSC））
本文通过事后方法修复深度神经网络中损坏的置信度估计器，提出对logits进行p-范数归一化后取最大logit作为置信度估计，显著提升选择性分类性能，使其几乎完全由准确率决定。
2024-05-24 cs.LG
Logits are predictive of network type
Quintic AI（昆蒂克人工智能公司）
我们证明，预测哪个深度网络生成了给定的logit向量是可能的，其准确性远远高于偶然性。我们在数据集上使用了许多网络，这些网络使用随机权重或预训练权重进行初始化，以及微调网络。然后在该数据集的训练集的logit向量上训练分类器，以将logit向量映射到生成它的网络索引。然后在数据集的测试集上评估分类器。随机初始化网络的结果更好，但也适用于预训练网络和微调网络。使用非标准化logits的分类精度高于标准化logits。我们发现，当将分类器应用于相同的网络但具有不同的权重集时，几乎没有转移。除了帮助更好地理解深度网络及其编码不确定性的方式外，我们预计我们的发现在某些应用中是有用的（例如，为某种类型的网络定制对抗攻击）。代码可在https://github.com/aliborji/logits上获得。
2022-11-04 cs.AI cs.CV cs.LG
Evidential Transformation Network: Turning Pretrained Models into Evidential Models for Post-hoc Uncertainty Estimation
Korea University（高丽大学）；Konkuk University（建国大学）
本文提出ETN，一种轻量级模块，将预训练模型转换为证据模型，以提升不确定性估计，同时保持精度并增加极小计算开销。
2026-04-09 cs.AI cs.LG
Logit Attenuating Weight Normalization
LinkedIn Corporation（领英公司）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
使用基于梯度的优化器训练的过度参数化深度网络是解决分类和排名问题的流行选择。在没有适当调整的$\ell_2$正则化或权重衰减的情况下，这样的网络往往会使输出分数（logits）和网络权重变大，导致训练损失变得太小，网络在参数空间中失去自适应性（移动能力）。虽然正则化通常是从过拟合的角度来理解的，但我们强调了它在使网络更具自适应性方面的作用，并使其能够更容易地从泛化能力差的权重中逃脱。为了提供这样的能力，我们提出了一种称为Logit衰减权重归一化（LAWN）的方法，该方法可以堆叠到任何基于梯度的优化器上。LAWN通过约束最终齐次子网络中各层的权重范数来控制logits。从经验上讲，我们证明了优化器的LAWN变体使深度网络更适合在大规模图像分类和推荐系统上找到具有出色泛化性能的最小值。虽然LAWN在改进Adam方面特别令人印象深刻，但当用于大批量时，它极大地改进了所有优化器
2021-08-12 cs.AI cs.CV cs.LG
Post-hoc Selective Classification for Reliable Synthetic Image Detection
University of Waterloo（滑铁卢大学）；Reality Defender
本文提出ReSIDe框架，通过改进选择性分类策略提升合成图像检测在协变量偏移下的可靠性，实验显示其在常见偏移下显著提升性能。
2026-05-09 cs.CV cs.LG
Sample Margin-Aware Recalibration of Temperature Scaling
School of Computer Science University of Sydney（悉尼大学计算机科学学院）；Department of Computer Science City University of Hong Kong（香港城市大学计算机科学系）
针对神经网络过度自信的校准困境，提出轻量高效的SMART方法，基于logit间隙缩放logit，用SoftECE平衡偏差方差，在少数据下实现最优校准性能。
2026-08-27 cs.AI cs.CV cs.LG
Taxlifier: Leveraging Disease Taxonomy for Enhanced Multi-Label Classification in Chest Radiography
Dept. of Electrical and Computer Engineering, The University of Arizona（电气与计算机工程系，亚利桑那大学）
研究针对胸部X光片多种病变分类难的问题，提出基于损失和逻辑的分层多标签分类技术，利用疾病层次关系应对挑战，经三个数据集评估，相比基线方法，准确率、AUC和F1分数显著提高，还验证了技术的稳健性和可靠性。
2026-07-08 cs.CV cs.LG
Ordinal-ResLogit: Interpretable Deep Residual Neural Networks for Ordered Choices
Ryerson University（瑞尔森大学）
本研究提出了一个有序版本的残差Logit（Ordinal-ResLogit）模型来研究有序响应。我们将标准ResLogit模型集成到CORAL框架中，归类为二进制分类算法，以开发完全可解释的基于深度学习的有序回归模型。由于Ordinal-ResLogit模型的公式化具有残差神经网络概念，因此我们提出的模型解决了机器学习算法的主要约束，称为黑盒。此外，Ordinal-ResLogit模型作为有序数据的二进制分类框架，保证了二进制分类器之间的一致性。我们表明，由此产生的公式能够从数据中捕获潜在的未观察到的异质性，并且是一个可解释的基于深度学习的模型。配方的市场份额，替代模式和弹性。我们比较了有序-ResLogit模型与有序Logit模型的性能，该模型使用行人等待时间的陈述偏好（SP）数据集和行驶距离的显示偏好（RP）数据集。我们的研究结果表明，Ordinal-ResLogit优于传统的有序回归模型的两个数据集。此外，从Ordinal-ResLogit RP模型得到的结果表明，出行属性，如驾驶和运输成本有显着的影响，选择非强制性的行程的位置。在Ordinal-ResLogit SP模型方面，我们的研究结果强调，道路相关的变量和交通状况是影响行人等待时间预测的因素，使得混合交通状况显着增加选择更长等待时间的概率。
2022-04-24 cs.LG
Identifying Incorrect Classifications with Balanced Uncertainty
Tianjin University（天津大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
不确定性估计对于成本敏感的深度学习应用（即疾病诊断）至关重要。这是非常具有挑战性的，部分原因是大多数数据集中的不确定性地面实况不可访问。以往的研究提出了从softmax校正、Monte Carlo抽样、主观逻辑等方面估计不确定度，但这些方法往往对预测结果过于自信，总体不确定度低得不合理，这源于正样本（正确分类）和负样本（错误分类）之间的不平衡。针对这一问题，我们首先提出了分布不平衡，将不确定性估计中的不平衡建模为两种分布偏差，然后提出了平衡真类概率（Balanced True Class Probability，BTCP）框架，该框架学习了一种具有新的分布焦点损失（Distributional Focal Loss，DFL）目标的不确定性估计器。最后，我们评估BTCP的故障预测和分布（OOD）检测多个数据集。实验结果表明，BTCP优于其他不确定性估计方法，特别是在识别错误的分类。
2021-10-15 cs.LG
UPL: Uncertainty-aware Pseudo-labeling for Imbalance Transductive Node Classification
Sharif University of Technology（谢里夫理工大学）；Alan Turing Institute（阿兰·图灵研究所）
针对图结构数据的类别不平衡导致节点分类困难的问题，提出不确定性感知伪标签标注算法UPL，通过为无标签节点分配伪标签并利用不确定性方法降低训练噪声，有效提升了分类准确率，性能优于现有最先进方法。
2025-02-02 cs.LG
Logical Activation Functions: Logit-space equivalents of Probabilistic Boolean Operators
Dalhousie University（达尔豪斯大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
激活函数的选择及其动机是神经网络社区中的一个长期存在的问题。人工神经网络内的神经元表示通常被理解为logit，表示刺激内特征存在的对数几率分数。我们推导出的逻辑空间运营商相当于概率布尔逻辑门与，或，和XNOR的独立概率。这些理论对于形式化真实神经元中更复杂的树突操作是重要的，并且这些操作可以用作神经网络内的激活函数，引入概率布尔逻辑作为神经网络的核心操作。由于这些函数涉及采用多个指数和多项式，因此它们在计算上是昂贵的，并且不太适合直接在神经网络内使用。因此，我们构建了高效的近似$\text{AND}_\text{AIL}$（独立Logits的AND运算近似），$\text{OR}_\text{AIL}$和$\text{XNOR}_\text{AIL}$，它们只利用比较和加法运算，具有良好的梯度，并且可以部署为神经网络中的激活函数。像MaxOut一样，$\text{AND}_\text{AIL}$和$\text{OR}_\text{AIL}$是ReLU到二维的推广。虽然我们的主要目标是在逻辑空间概率布尔框架内形式化树突计算，但我们单独和联合部署了这些新的激活函数，以证明它们对各种任务的有效性，包括图像分类，迁移学习，抽象推理和组合零样本学习。
2022-11-29 cs.AI cs.CV cs.LG
Towards Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It
Imperial College London（帝国理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；ONERA（法国航空航天研究院）
本文揭示标签平滑因梯度效应扰乱正确与错误预测的不确定性排序而持续损害选择性分类，并提出可用事后 logit 归一化恢复性能。
2025-02-20 cs.AI cs.CV cs.LG
Improved Balanced Classification with Theoretically Grounded Loss Functions
Google Research（谷歌研究院）；CIMS（数学科学研究所）
本文提出两种改进的平衡分类损失函数，通过理论分析和实验验证，证明其在类别不平衡场景下具有更强的理论保证和更好的性能表现。
2025-12-30 cs.LG stat.ML
Confidence Regulation Neurons in Language Models
ETH Zürich（苏黎世联邦理工学院）；University of Sheffield（谢菲尔德大学）；MIT（麻省理工学院）；Technion（以色列理工学院）
本研究揭示了语言模型中熵神经元和词元频率神经元对下一词元预测不确定性的调节机制，并首次描述了词元频率神经元，通过案例展示了熵神经元在归纳任务中的置信度管理作用。
2024-11-08 cs.AI cs.CL cs.LG
Embedded Self-Distillation in Compact Multi-Branch Ensemble Network for Remote Sensing Scene Classification
Beihang University（北京航空航天大学）
由于不同地理要素特征的干扰，遥感影像场景分类面临着许多挑战。为了解决这个问题，我们提出了一个多分支集成网络，通过融合最终输出logits和中间特征图中的特征来增强特征表示能力。然而，简单地增加分支会增加模型的复杂性，降低推理效率。在这个问题上，我们嵌入了自蒸馏（SD）方法，将知识从集成网络传递到主分支，通过SD优化，主分支将具有接近集成网络的性能。在推理过程中，我们可以削减其他分支来简化整个模型。在本文中，我们首先设计紧凑的多分支集成网络，它可以在一个端到端的方式进行训练。然后，我们在输出logits和特征图上插入SD方法。与以前的方法相比，我们提出的架构（ESD-MBENet）具有紧凑的设计，在分类精度上表现出色。在三个基准RS数据集AID，NWPU-RESISC 45和UC-Merced上进行了大量的实验，使用三个经典的基线模型VGG 16，ResNet 50和DenseNet 121。结果证明，我们提出的ESD-MBENet可以实现更好的准确性比以前的国家的最先进的（SOTA）复杂的模型。此外，丰富的可视化分析，使我们的方法更有说服力和可解释性。
2021-04-01 cs.CV cs.LG
Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks
Google Research, Brain Team（谷歌研究院，Brain团队）
现代神经网络中预测不确定性的准确估计对于实现良好校准的预测和检测分布外（OOD）输入至关重要。最有前途的方法主要集中在改善模型不确定性（例如深度集合和贝叶斯神经网络）和OOD检测的后处理技术（例如ODIN和Mahalanobis距离）。然而，有相对较少的调查如何参数化的概率在判别分类器影响的不确定性估计，和占主导地位的方法，softmax交叉熵，导致误导性的高置信度OOD数据和下协变量偏移。我们研究了使用（1）一对一的公式来捕捉“以上都没有”的概念，以及（2）基于距离的logit表示来将不确定性编码为到训练流形的距离的函数来制定概率的替代方法。我们表明，一对多的公式可以提高图像分类任务的校准，同时匹配softmax的预测性能，而不会产生任何额外的训练或测试时间复杂度。
2020-07-10 cs.LG stat.ML
Exploiting the Logits: Joint Sign Language Recognition and Spell-Correction
University of Siegen（锡根大学）
机器学习技术在图像的自动语义分析方面表现出色，在具有挑战性的基准测试中达到了人类水平的表现。然而，视频的语义分析仍然具有挑战性，这分别是由于输入数据的维度显著更高，对带注释的训练样本的需求显著更高。通过研究德国手语视频的自动识别，我们证明，在相对稀缺的2800个视频的训练数据上，用于视频分析的现代深度学习架构（如ResNeXt）以及大型手势识别任务的迁移学习可以实现约75%的字符准确率。考虑到这给我们留下了低于25%的概率，一个5个字母的单词拼写正确，拼写校正系统是至关重要的生产可读的输出。本文的贡献是提出了一个用于拼写校正的卷积神经网络，该网络期望字符识别网络的softmax输出（而不是拼写错误的单词）作为输入。我们证明，纯粹的softmax输入结合稀缺的训练数据学习会产生过拟合，因为网络学习输入的心脏。相比之下，在分类输出的对数的几个变体上训练网络，即通过常数因子缩放、添加随机噪声、混合softmax和hardmax输入或纯粹在hardmax输入上训练，导致更好的泛化，同时受益于隐藏在这些输出中的重要信息（具有98%的前5名准确度），尽管字符准确度很低，但仍然产生可读的文本。
2020-07-01 cs.CV cs.LG
Uncertainty-based Network for Few-shot Image Classification
Nanjing University（南京大学）
在少样本学习任务中，直推推理是一种有效的技术，查询集通过更新原型来改进自己。然而，这些方法通过仅考虑查询实例的分类分数作为置信度而忽略这些分类分数的不确定性来优化模型。本文提出了一种新的方法，称为基于不确定性的网络，该方法借助互信息对分类结果的不确定性进行建模。具体来说，我们首先对查询实例进行数据扩充和分类，并计算这些分类得分的互信息。然后，利用互信息作为不确定性为分类得分分配权重，并在原型优化中采用基于分类得分和不确定性的迭代更新策略为查询实例分配最优权重。在四个基准测试上的广泛结果表明，与最先进的方法相比，基于不确定性的网络在分类精度方面取得了相当的性能。
2022-05-17 cs.CV cs.LG
Experimental Comparison of Classification Uncertainty for Randomised and Bayesian Decision Tree Ensembles
在本文中，我们实验比较的分类不确定性的随机决策树（DT）集成技术和贝叶斯DT技术与重新启动策略上的合成数据集，以及在机器学习社区常用的一些数据集。对于分类不确定性的定量评估，我们使用不确定性包络处理类后验分布和给定的置信概率。计数的分类器的结果，这种技术产生的分类不确定性的可行的评估。在我们的实验中使用这种技术，我们发现贝叶斯DT技术优于随机DT集成技术。
2005-04-11 cs.AI cs.LG
Fast Predictive Uncertainty for Classification with Bayesian Deep Networks
University of Tübingen（图宾根大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在贝叶斯深度学习中，分类神经网络输出的分布通常通过首先在权重上构建高斯分布来近似，然后从中采样以接收softmax输出的分布。这是昂贵的。我们重新考虑旧的工作（拉普拉斯桥）来构建这个softmax输出分布的Dirichlet近似，它产生了logit空间中的高斯分布和输出空间中的Dirichlet分布（分类分布之前的共轭）之间的解析映射。重要的是，香草拉普拉斯桥有一定的局限性。我们分析了这些，并提出了一个简单的解决方案，相比其他常用的估计的softmax-Gaussian积分。我们证明了由此产生的Dirichlet分布具有多种优势，特别是更有效地计算不确定性估计和扩展到大型数据集和网络，如ImageNet和DenseNet。我们进一步证明了这种Dirichlet近似的有用性，使用它来构建ImageNet的轻量级不确定性感知输出排名。
2022-05-31 cs.LG stat.ML
Energy-based Epistemic Uncertainty for Graph Neural Networks
Munich Data Science Institute（慕尼黑数据科学研究所）
提出GEBM，一种基于能量的后处理方法，通过聚合图扩散中不同结构层次的能量来量化GNN的认知不确定性，并在多种分布偏移下实现最佳分离性能。
2025-02-26 cs.LG stat.ML
SALSA: Single-pass Autoregressive LLM Structured Classification
Dream Security Ltd.（Dream Security有限公司）
SALSA通过结构化提示、类别到令牌映射和参数高效微调，实现单次前向传播的高效准确文本分类，在多个基准上达到最先进水平。
2025-10-26 cs.CL cs.LG
Uncertainty-aware deep learning methods for robust diabetic retinopathy classification
Department of Computer Science, Aalto University（阿尔托大学计算机科学系）；The Alan Turing Institute（艾伦图灵研究所）；University of Warwick（华威大学）；University College London（伦敦大学学院）；Department of Electrical Engineering and Automation, Aalto University（阿尔托大学电气工程与自动化系）；Central Finland Health Care District（芬兰中部医疗保健区）
使用深度神经网络对视网膜图像中的糖尿病视网膜病变进行自动分类已经得到了广泛的研究，并取得了令人印象深刻的结果。然而，临床上需要估计分类中的不确定性，这是现代神经网络的缺点。最近，已经提出了用于该任务的近似贝叶斯深度学习方法，但这些研究仅考虑了应用于基准数据集的二进制可识别/不可识别糖尿病视网膜病变分类。除了基准数据集和二进制分类方案外，我们还通过系统地研究临床数据集和临床相关的5类分类方案提出了新的结果。此外，我们推导出的不确定性措施和分类器的风险之间的连接，从我们开发了一个新的不确定性措施。我们观察到，以前提出的基于熵的不确定性度量推广到临床数据集的二进制分类方案，但不是5类方案，而我们的新的不确定性度量推广到后一种情况。
2022-02-02 cs.CV cs.LG
Uncertainty Propagation in Node Classification
NEC Laboratories Europe（NEC欧洲实验室）
针对图神经网络节点分类中消息传递的确定性问题，提出贝叶斯不确定性传播方法，通过贝叶斯建模框架和高斯模型启发的不确定性传播机制量化预测不确定性，并引入不确定性损失函数，在预测可靠性和OOD预测上表现优越。
2023-04-03 cs.LG stat.ML
Uncertainty Quantification for cross-subject Motor Imagery classification
University of Groningen（格罗宁根大学）
本研究将多种不确定性量化方法应用于运动想象脑机接口，以预测因被试间变异性导致的错误分类，发现深度集成性能最佳，而标准CNN优于部分先进方法。
2024-03-14 cs.CV cs.LG
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich（慕尼黑工业大学）
图中节点之间的相互依赖性是改进节点上的类预测的关键，并用于标签传播（LP）或图神经网络（GNN）等方法。尽管如此，非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中，我们从三个方面探索了节点分类的不确定性量化：（1）我们导出了三个公理，明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络（GPN），明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线，包括异常特征的检测和遗漏类的检测。在实验中，GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Revisiting Softmax for Uncertainty Approximation in Text Classification
University of Copenhagen（哥本哈根大学）
针对文本分类中MC Dropout不确定性近似计算成本高的问题，本文通过多数据集多架构实证对比，发现低成本的softmax的不确定性估计效果具竞争力，可作为计算资源受限时的替代方案。
2023-07-19 cs.CL cs.LG
Quantifying Intrinsic Uncertainty in Classification via Deep Dirichlet Mixture Networks
University of California, Davis（加州大学戴维斯分校）；New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）
随着深度神经网络在科学和技术领域的广泛成功，量化深度学习产生的预测的不确定性变得越来越重要。在本文中，我们介绍了一种新的方法，该方法使用深度神经网络将显式不确定性声明附加到分类的概率上。准确地说，我们认为分类概率是从一个未知的分布中采样的，我们建议通过狄利克雷混合来学习这个分布，狄利克雷混合足够灵活，可以近似单纯形上的任何连续分布。然后，我们从学习的分布中构造可信区间，以评估分类概率的不确定性。我们的方法易于实现，计算效率高，并且可以与任何深度神经网络架构相结合。我们的方法利用了关键的观察，在许多分类应用程序，如医疗诊断，一个以上的类标签可用于每个观察单位。我们证明了我们的方法的有用性，通过模拟和一个真实的数据例子。
2019-08-14 cs.LG stat.ML
On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation
Ecole Polytechnique（巴黎综合理工学院）；Google Brain（谷歌大脑）；Google Brain Zürich（苏黎世谷歌大脑）
深度学习的不确定性量化是一个具有挑战性的开放问题。贝叶斯统计提供了一个数学基础的框架，原因的不确定性;然而，现代神经网络的近似后验仍然需要高昂的计算成本。我们提出了一个家庭的算法分为两个阶段：表示学习和不确定性估计的分类任务。我们比较了四个具体的情况下，不确定性估计是通过一个合奏的随机梯度下降或随机梯度朗之万动力学快照，一个合奏的自举逻辑斯谛回归，或通过一些蒙特卡罗辍学通过。我们评估了它们在\emph{selective}分类（风险覆盖率）方面的性能，以及它们检测分布外样本的能力。我们的实验表明，在深度分类器中添加多个不确定性层的价值有限，我们观察到这些简单的方法在一些复杂的基准测试中（如ImageNet）远远优于普通点估计SGD。
2020-01-22 cs.LG stat.ML
An Uncertainty Framework for Classification
我们定义了一个广义似然函数的不确定性措施的基础上，并表明，最大限度地提高这样的似然函数不同的措施，诱导不同类型的分类。在概率框架中，我们获得了优化交叉熵函数的分类器。在可能性框架中，我们得到的分类器，最大限度地提高类间的利润。此外，我们表明，支持向量机是这些最大间距分类器的子类。
2013-01-16 cs.LG stat.ML
Improve Uncertainty Estimation for Unknown Classes in Bayesian Neural Networks with Semi-Supervised /One Set Classification
虽然深度神经网络（DNN）已经取得了许多最先进的结果，估计DNN模型和数据中存在的不确定性是一项具有挑战性的任务。与不确定性相关的问题，例如将未知类别（未出现在训练数据中的类别）数据分类为具有高置信度的已知类别，在安全域领域（例如，自动驾驶、医疗诊断）中受到严重关注。在本文中，我们表明，单独应用当前的贝叶斯神经网络（BNN）技术不能有效地捕捉不确定性。为了解决这个问题，我们引入了一种简单的方法来改进BNN，通过使用一个类分类（在本文中，我们使用术语“集合分类”代替）。我们经验性地显示了我们的方法在实验上的结果，该实验涉及三个数据集：MNIST，notMNIST和FMNIST。
2018-05-16 cs.LG stat.ML
On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification
New York University（纽约大学）
随机不确定性捕获数据的固有随机性，例如测量噪声。在贝叶斯回归中，我们经常使用高斯观测模型，其中我们用噪声方差参数控制任意不确定性的水平。相比之下，对于贝叶斯分类，我们使用分类分布，没有机制来表示我们对任意不确定性的信念。我们的工作表明，明确说明任意的不确定性显着提高贝叶斯神经网络的性能。我们注意到许多标准基准，例如CIFAR，基本上没有任意的不确定性。此外，我们表明，近似推理中的数据增强具有软化可能性的效果，导致信心不足，并深刻地歪曲了我们对任意不确定性的诚实信念。因此，我们发现，一个冷后验，由一个权力大于1，往往更诚实地反映了我们的信念，任意的不确定性比没有回火-提供了一个明确的联系之间的数据增强和冷后验。我们表明，我们可以匹配或超过后回火的性能，通过使用狄利克雷观测模型，在那里我们明确地控制任意的不确定性的水平，而不需要任何回火。
2022-03-30 cs.LG stat.ML
An uncertainty-aware Bayesian framework for machine learning classification models: A case study in land cover classification
National Physical Laboratory, Teddington, UK（英国国家物理实验室，Teddington）；Department of Data Science（数据科学系）；Department of Thermal & Radiometric Metrology（热学与辐射计量学系）；School of Geography, Geology & the Environment（地理、地质与环境学院）
提出一种考虑输入测量不确定性的贝叶斯生成式分类模型框架，通过贝叶斯二次判别分析模型在土地覆盖数据集上验证，该模型在可解释性、不确定性建模和计算效率方面优于随机森林和神经网络。
2026-05-26 cs.CV cs.LG stat.ML
Uncertainty-Based Out-of-Distribution Classification in Deep Reinforcement Learning
LMU Munich（慕尼黑大学）；MaibornWolff
对分布外（OOD）数据的鲁棒性是构建可靠的机器学习系统的重要目标。特别是在自治系统中，OOD输入的错误预测可能导致安全关键情况。作为解决方案的第一步，我们考虑在基于值的深度强化学习（RL）设置中检测此类数据的问题。建模这个问题作为一类分类问题，我们提出了一个框架，基于不确定性的OOD分类：UBOOD。它是基于这样的效果，即代理的认知不确定性在训练期间遇到的情况（分布）减少，因此低于未遇到的情况（OOD）。由于对用于估计认知不确定性的方法不可知，因此可以组合不同的不确定性估计方法，例如近似贝叶斯推理方法或集成技术。我们进一步提出了第一个可行的解决方案，用于计算动态分类阈值，基于训练数据的不确定性分布。评估表明，该框架产生可靠的分类结果时，结合基于集合的估计，而与具体的辍学为基础的估计相结合，无法可靠地检测OOD的情况。总之，UBOOD提出了一种可行的方法，OOD分类在深度RL设置利用认知的不确定性代理的价值函数。
2019-12-31 cs.AI cs.LG stat.ML
Quantifying Classification Uncertainty using Regularized Evidential Neural Networks
UT Dallas（德克萨斯大学达拉斯分校）；US Army Research Lab（美国陆军研究实验室）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
传统的深度神经网络（NN）在各种应用中的分类任务中表现出了最先进的性能。然而，NN没有考虑与类别概率相关的任何类型的不确定性，以最大限度地降低由于现实生活中不确定性下的错误分类而导致的风险。与贝叶斯神经网络通过权重不确定性间接推断不确定性不同，证据神经网络（ENN）最近被提出来支持类概率的不确定性的显式建模。它将NN的预测视为主观意见，并通过从数据中收集确定性NN导致这些意见的证据来学习函数。然而，ENN被训练成一个黑盒，而没有明确考虑不同类型的固有数据不确定性，例如空洞（由于缺乏证据而导致的不确定性）或不和谐（由于证据冲突而导致的不确定性）。本文提出了一种新的方法，称为{\em正则化ENN}，学习ENN的基础上的正则化相关的固有数据不确定性的不同特征。通过对合成数据集和真实数据集的实验，我们证明了所提出的正则化ENN可以更好地学习ENN对分类任务的类概率中不同类型的不确定性进行建模。
2019-10-15 cs.AI cs.CV cs.LG
Probabilistic Object Classification using CNN ML-MAP layers
Aston University（阿斯顿大学）
深度网络目前是自动驾驶和机器人技术中最先进的感官感知。然而，深度模型通常会产生过度自信的预测，从而排除了正确的概率解释，我们认为这是由于SoftMax层的性质。为了在不影响分类性能的情况下减少过度自信，我们引入了一种基于网络Logit层中计算的分布的CNN概率方法。该方法通过ML和MAP层实现贝叶斯推理。校准和建议的预测层的实验进行对象分类使用的数据从KITTI数据库。结果报告相机（$RGB$）和激光雷达（范围视图）的方式，其中新的方法显示出有前途的性能相比，SoftMax。
2020-08-24 cs.CV cs.LG stat.ML
A Simple Framework to Quantify Different Types of Uncertainty in Deep Neural Networks for Image Classification
Shiraz University（设拉子大学）
量化模型预测中的不确定性非常重要，因为它可以通过以知情的方式对模型的输出采取行动来提高AI系统的安全性。这对于错误成本高的应用至关重要，例如自动驾驶汽车控制、医学图像分析、财务估算或法律领域。深度神经网络是强大的预测器，最近在广泛的任务上实现了最先进的性能。量化DNN中的预测不确定性是一个具有挑战性的问题。在本文中，我们提出了一个完整的框架来捕获和量化DNN中三种已知类型的不确定性，用于图像分类任务。该框架包括用于模型不确定性的CNN集合，用于捕获分布不确定性的监督重建自动编码器，以及使用网络最后一层中的激活函数的输出来捕获数据不确定性。最后，我们证明了我们的方法对流行的图像数据集进行分类的效率。
2021-05-28 cs.CV cs.LG cs.NE
Classification Uncertainty of Deep Neural Networks Based on Gradient Information
Technische Universität Dortmund（多特蒙德工业大学）；Bergische Universität Wuppertal（伍珀塔尔大学）
研究了基于梯度度量的卷积神经网络不确定性量化问题。与经典的softmax熵不同，这种度量从CNN的所有层收集信息。我们表明，对于EMNIST数字数据集，对于几个这样的指标，我们实现了相同的Meta分类精度-即在不知道实际标签的情况下将预测分类为正确或不正确的任务-作为熵阈值。我们将Meta分类应用于未知概念（分布样本）- EMNIST/Omniglot字母，CIFAR 10和噪声-并证明当使用熵与几个基于梯度的度量作为Meta分类器的输入量时，未知概念的Meta分类率可以增加。Meta分类器仅在已知概念的不确定性度量上训练，即EMNIST数字，通常对于所有未知概念都表现得不一样好。然而，如果我们允许Meta分类器在一些分布外样本的不确定性度量上进行训练，则远离EMNIST数字（然后称为已知未知数）的概念的Meta分类可以得到相当大的改进。
2018-07-26 cs.AI cs.CV cs.LG
Leveraging Uncertainty in Deep Learning for Selective Classification
Arizona State University（亚利桑那州立大学）
从业者广泛而快速地采用深度学习在许多情况下带来了意想不到的后果，例如臭名昭著的Google Photos种族主义图像识别算法;因此，有必要为每个预测使用量化的不确定性。最近已经有了对传统深度学习方法中的不确定性进行量化的努力（例如，然而，它们在决策中的最佳使用往往被忽视和研究不足。在这项研究中，我们提出了一个混合整数规划框架的分类拒绝选项（也称为选择性分类），调查和结合模型的不确定性和预测均值，以确定最佳的分类和拒绝区域。我们的研究结果表明，我们的框架在几个公开可用的数据集上的非拒绝精度和拒绝质量方面都具有优异的性能。此外，我们将我们的框架扩展到成本敏感的设置，并表明我们的方法在现实世界的在线欺诈管理中显着优于行业标准方法。
2019-05-23 cs.AI cs.LG math.OC
