Requirements for Developing Robust Neural Networks
CCDC Army Research Laboratory（美国陆军研究实验室（CCDC））；Oak Ridge Associated Universities（橡树岭联合大学）
验证准确性是衡量神经网络分类器质量的必要但不充分的指标。开发过程中的高验证准确度并不能保证模型没有严重的缺陷，例如易受对抗攻击的攻击，或者倾向于错误分类（高置信度）它没有训练的数据。模型也可能是人类无法理解的，或者基于不合理的标准做出决策。这些问题，这不是唯一的分类器，一直是大量的最近的研究的焦点。然而，在模型开发过程中，它们并没有被优先考虑，这几乎总是优化验证准确性，而排除其他一切。这种方法的产品很可能在培训环境之外以意想不到的方式失败。我们认为，除了验证准确性之外，模型开发过程还必须增加其他性能指标的权重，例如可解释性，对对抗攻击的抵抗力以及对分布外数据的过度自信。
2019-10-04 cs.LG
'In-Between' Uncertainty in Bayesian Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）
我们描述了平均场变分推理（MFVI），贝叶斯神经网络的一种流行的近似推理方法的预测不确定性估计的表达能力的限制。特别是，MFVI未能在不同的观测区域之间提供校准的不确定性估计。这可能会导致灾难性的过度自信的预测时，测试分布外的数据。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反，我们发现，一个经典的技术，线性化的拉普拉斯近似，可以处理"之间"的不确定性更好地为小型网络架构。
2019-06-27 cs.AI cs.LG stat.ML
WeShort: Out-of-distribution Detection With Weak Shortcut structure
神经网络已经在与训练集相同的分布中的数据上取得了令人印象深刻的性能，但对于这些网络从未见过的数据，可能会产生过度自信的错误结果。因此，为了保证部署在现实世界中的神经网络的安全性，必须检测输入是否来自分布外（OOD）。在本文中，我们提出了一个简单而有效的事后技术，WeShort，以减少OOD数据的神经网络的过度自信。我们的方法的灵感来自于内部残留结构的观察，它显示了在捷径层中OOD和分布（ID）数据的分离。我们的方法是兼容不同的OOD检测分数，可以推广到不同的网络架构。我们在各种OOD数据集上展示了我们的方法，以显示其竞争力，并提供合理的假设来解释为什么我们的方法有效。在ImageNet基准测试中，Wesperson在post-hoc方法家族的假阳性率（FPR 95）和接收器操作特征下的面积（AUROC）方面达到了最先进的性能。
2022-08-19 cs.LG
ReAct: Out-of-distribution Detection With Rectified Activations
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Facebook AI Research（Facebook人工智能研究院）
由于其在增强神经网络安全部署方面的实际重要性，分发外（OOD）检测近来受到了广泛关注。主要挑战之一是模型通常对OOD数据产生高度自信的预测，这破坏了OOD检测中的驱动原则，即模型应该只对分布样本有信心。在这项工作中，我们提出了ReAct-一种简单有效的技术，用于减少OOD数据上的模型过度自信。我们的方法的动机是新的分析内部激活的神经网络，它显示了高度独特的签名模式的OOD分布。我们的方法可以有效地推广到不同的网络架构和不同的OOD检测分数。我们经验证明，ReAct在一套全面的基准数据集上实现了具有竞争力的检测性能，并对我们的方法的有效性进行了理论解释。在ImageNet基准测试中，与之前的最佳方法相比，ReAct将假阳性率（FPR 95）降低了25.05%。
2021-11-24 cs.LG
Detecting Adversarial Examples and Other Misclassifications in Neural Networks by Introspection
AXA Services（安盛服务）
尽管现代神经网络对于各种各样的任务具有优异的性能，但其不能提供允许检测错误分类的可靠置信度值。这种限制是所谓的对抗性示例的核心，在这种示例中，网络对稍微修改的图像提供了与强置信度相关的错误预测。此外，这种过度自信的问题也被观察到的规则错误和分布外的数据。我们通过所谓的内省来解决这个问题，即使用已经预先训练好的神经网络的logits提供的信息。我们表明，通过训练一个简单的3层神经网络上的logit激活，我们能够检测到错误分类在一个有竞争力的水平。
2019-05-22 cs.CR cs.LG stat.ML
Uncertainty Calibration in Bayesian Neural Networks via Distance-Aware Priors
AWS（亚马逊云科技）；Amazon（亚马逊）
当我们远离数据时，预测的不确定性应该增加，因为各种各样的解释与很少的可用信息是一致的。我们引入了距离感知先验（DAP）校准，这是一种在训练域之外纠正贝叶斯深度学习模型过度自信的方法。我们将DAP定义为模型参数的先验分布，这些参数通过测量输入与训练集的距离来依赖于输入。DAP校准对于后验推断方法是不可知的，并且它可以作为后处理步骤来执行。我们在各种分类和回归问题中证明了它对几个基线的有效性，包括旨在测试远离数据的预测分布质量的基准。
2022-07-17 cs.AI cs.LG stat.ML
FedLAS: Feature-Modulated Bidirectional Label Smoothing for Neural Network Calibration
The University of Melbourne（墨尔本大学）
提出FedLAS算法，通过特征范数置信度指标和双向校准门控模块，动态调整每个样本的标签平滑程度，同时解决过自信和欠自信问题，提升神经网络校准性能。
2026-06-26 cs.AI cs.CV cs.LG
QuickNets: Saving Training and Preventing Overconfidence in Early-Exit Neural Architectures
College of Computer and Information Sciences（计算机与信息科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
深度神经网络具有较长的训练和处理时间。添加到神经网络的早期退出允许网络在时间敏感的应用中使用网络中的中间激活来进行早期预测。然而，提前退出增加了神经网络的训练时间。我们介绍QuickNets：一种新的级联训练算法，用于神经网络的快速训练。QuickNet以逐层的方式进行训练，使得每个连续层仅在不能被先前层正确分类的样本上进行训练。我们证明了QuickNets可以动态分布学习，并且与标准反向传播相比，具有更低的训练成本和推理成本。此外，我们还引入了承诺层，通过识别过度自信的预测来显着改善早期退出，并证明其成功。
2022-12-25 cs.AI cs.LG cs.NE
On double-descent in uncertainty quantification in overparametrized models
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；École Normale Supérieure - PSL（巴黎高等师范学院-巴黎文理研究大学）；CNRS（法国国家科学研究中心）
本文在随机特征模型中对比了二元分类的不确定性度量，揭示了最优正则化估计器的校准曲线存在双重下降行为，并发现经验贝叶斯方法在过参数化下依然校准良好。
2023-05-23 cs.LG
Uncertainty-Estimation with Normalized Logits for Out-of-Distribution Detection
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）
分发外（OOD）检测对于防止深度学习模型做出错误预测以确保人工智能系统的安全性至关重要。特别是在医疗诊断和自动驾驶等安全关键型应用中，错误决策的成本通常难以承受。然而，神经网络经常遭受过度自信的问题，使得在训练过程中从未见过的OOD数据的高置信度，并且可能与训练数据无关，即在分布（ID）数据。确定预测的可靠性仍然是一项困难和具有挑战性的任务。在这项工作中，我们提出了不确定性估计与归一化对数（UE-NL），一个强大的学习方法OOD检测，它有三个主要的好处。(1)基于UE-NL的神经网络通过预测输入数据的不确定性得分来平等对待每个ID样本，并将不确定性添加到softmax函数中，以在训练阶段调整简单样本和困难样本的学习强度，使模型具有鲁棒性和准确性。(2)UE-NL在logits上强制一个恒定的向量范数，以解耦优化过程中不断增加的输出范数的影响，这在一定程度上导致了过度自信问题。(3)UE-NL提供了一种新的度量标准，不确定性分数的大小，以检测OOD数据。实验表明，UE-NL在常见的OOD基准测试中获得了最佳性能，并且对可能被其他方法误判为OOD数据的噪声ID数据更具鲁棒性。
2023-02-15 cs.CV cs.LG
Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning
University of Tübingen（图宾根大学）；University of Cambridge（剑桥大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
深度神经网络倾向于对离群值进行过度自信的预测。贝叶斯神经网络和深度集成都被证明可以在一定程度上缓解这个问题。在这项工作中，我们的目标是结合这两种方法的优点，提出用高斯混合模型后验进行预测，该模型由独立训练的深度神经网络的拉普拉斯近似的加权和组成。该方法可以与任何一组预先训练的网络一起使用，并且与常规集成相比只需要很小的计算和内存开销。我们从理论上验证，我们的方法减轻过度自信“远离”的训练数据和经验比较对国家的最先进的基线标准的不确定性量化基准。
2021-11-05 cs.LG stat.ML
Uncertainty Quantification in Deep Neural Networks through Statistical Inference on Latent Space
Humboldt-Universität zu Berlin（柏林洪堡大学）
针对深度神经网络分类器过度自信的问题，提出一种利用网络正确分类的训练集部分生成的潜在空间表示构建统计模型的算法，以评估预测准确性和似然，从而有效检测分布外数据点并辅助自动发现异常值。
2023-05-18 cs.AI cs.LG
Comparison of Uncertainty Quantification with Deep Learning in Time Series Regression
University of Groningen（格罗宁根大学）
越来越多的高风险决策是使用神经网络来进行预测的。具体来说，气象学家和对冲基金将这些技术应用于时间序列数据。在预测方面，机器学习模型存在一定的局限性（例如缺乏表达能力，域转移的脆弱性和过度自信），可以使用不确定性估计来解决。关于不确定性应该如何“表现”，有一套期望。例如，更宽的预测范围应该导致更多的不确定性，或者模型的置信度应该与其准确性成正比。本文比较了不同的不确定性估计方法对气象时间序列数据的预测，并对这些期望进行了评价。结果显示了每种不确定性估计方法在预测任务中的表现，这部分地评估了预测不确定性的鲁棒性。
2022-11-11 cs.LG
Feature Clipping for Uncertainty Calibration
University of Sydney（悉尼大学）；City University of Hong Kong（香港城市大学）
针对深度神经网络过度自信导致的校准失效，论文提出事后特征裁剪 FC，通过阈值化特征降低高误差样本自信度，并在多数据集与模型上验证其优于现有校准方法。
2024-10-16 cs.CV cs.LG
Learning for Single-Shot Confidence Calibration in Deep Neural Networks through Stochastic Inferences
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
我们提出了一个通用框架，通过随机推理来校准深度神经网络中预测的准确性和置信度。我们解释随机正则化使用贝叶斯模型，并分析网络的预测不确定性和方差的预测得分的随机推断获得的单个例子之间的关系。我们的实证研究表明，预测的准确性和得分是高度相关的多个随机推断的随机深度或辍学的方差。基于这一观察结果，我们设计了一种新的方差加权置信度集成损失函数，该函数由两个关于地面真值和均匀分布的交叉熵损失项组成，它们由随机预测分数的方差来平衡。提出的损失函数使我们能够学习深度神经网络，这些网络使用单个推理来预测置信度校准分数。该算法在多个模型和数据集上结合两种流行的随机正则化技术--随机深度和dropout--，表现出出色的置信度校准性能，提高了分类精度;通过训练网络，使预测精度与预测置信度成正比，显著改善了深度神经网络中的过度自信问题。
2019-04-24 cs.LG stat.ML
Being Bayesian about Categorical Probability
ESTsoft
神经网络利用softmax作为分类任务的构建块，其包含过度自信问题并且缺乏不确定性表示能力。作为softmax的贝叶斯替代方案，我们考虑类标签上分类概率的随机变量。在这个框架中，先验分布显式地对观察到的标签中固有的假定噪声进行建模，这在多个具有挑战性的任务中提供了一致的泛化性能增益。该方法继承了贝叶斯方法的优点，实现了更好的不确定性估计和模型校准。我们的方法可以实现为一个即插即用的损失函数，与具有交叉熵损失函数的softmax相比，其计算开销可以忽略不计。
2020-06-29 cs.LG stat.ML
NECO: NEural Collapse Based Out-of-distribution detection
ENSTA Paris（巴黎国立高等先进技术学院）；SafranTech（赛峰科技）
本文提出NECO方法，利用神经坍缩的几何特性与主成分空间进行分布外检测，在多种规模和架构下取得最先进结果，并给出理论解释。
2024-02-27 cs.AI cs.CV cs.LG
Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence
Brigham Young University（Brigham Young 大学）
本文提出条件一致性及其度量CCE，用于评估神经回归器在任意输入点的概率拟合，弥补校准指标仅能边际评估的不足，并在高维回归中验证了其正确性、单调性、可靠性和鲁棒性。
2025-10-22 cs.LG stat.ML
OrthoGrad Improves Neural Calibration
University of Denver（丹佛大学）
本研究提出几何感知优化方法 OrthoGrad，通过正交化梯度更新约束下降方向，在不改架构下降低过度自信，提升校准与不确定性估计，且开销极小。
2025-09-26 cs.LG stat.ML
Effective Out-of-Distribution Detection in Classifier Based on PEDCC-Loss
Shanghai University（上海大学）
深度神经网络在开放世界中存在过度自信的问题，这意味着分类器可能会对分布外（OOD）样本产生自信而不正确的预测。因此，基于人工智能的安全考虑，检测这些远离训练分布的样本是一个紧迫而具有挑战性的任务。目前许多基于神经网络的方法主要依赖于复杂的处理策略，如温度定标和输入预处理，以获得令人满意的结果。在本文中，我们提出了一个有效的算法，检测出的分布的例子，利用PEDCC损失。我们从数学上分析了PEDCC（预定义均匀分布类质心）分类器输出的置信度分数的性质，然后构建了一个更有效的评分函数来区分分布内（ID）和分布外。该方法不需要对输入样本进行预处理，减少了算法的计算量。实验结果表明，该方法能获得较好的OOD检测性能.
2022-04-10 cs.CV cs.LG
Provably Robust Detection of Out-of-distribution Data (almost) for free
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
机器学习在安全关键系统中的应用需要对不确定性进行可靠的评估。然而，已知深度神经网络对分布外（OOD）数据产生高度过度自信的预测。即使被训练为对OOD数据不自信，人们仍然可以对抗性地操纵OOD数据，使得分类器再次为操纵的样本分配高置信度。我们发现，两个以前公布的防御可以打破更好的适应攻击，突出了OOD数据的鲁棒性保证的重要性。由于这项任务的现有方法是很难训练，并显着限制精度，我们构建了一个分类器，可以同时实现可证明的对抗强大的OOD检测和高清洁精度。此外，通过稍微修改分类器的架构，我们的方法可证明避免了标准神经网络的渐近过度自信问题。我们为所有实验提供代码。
2022-10-18 cs.AI cs.CV cs.LG
Beyond Accuracy: Reliability and Uncertainty Estimation in Convolutional Neural Networks
Department of Economics, Lund University, Sweden（瑞典 Lund 大学经济学系）；Department of Statistics, Lund University, Sweden（瑞典 Lund 大学统计学系）
本文比较了两种不确定性量化方法，发现GoogLeNet在不确定性估计上表现更优，强调了在深度学习中评估模型可靠性的重要性。
2026-03-11 cs.LG stat.ML
SLOVA: Uncertainty Estimation Using Single Label One-Vs-All Classifier
Jagiellonian University（雅盖隆大学）
深度神经网络表现出令人印象深刻的性能，但它们无法可靠地估计其预测置信度，限制了它们在高风险领域的适用性。我们发现，应用多标签的一对所有损失揭示了分类模糊性，并降低了模型的过度自信。引入的SLOVA（单标签一对所有）模型将典型的一对所有预测概率重新定义为单标签情况，其中只有一个类别是正确答案。建议的分类是有信心的，只有当一个单一的类有很高的概率和其他概率可以忽略不计。与典型的softmax函数不同，如果所有其他类的概率都很小，SLOVA自然会检测出分布外的样本。该模型还通过指数校准进行了微调，这使我们能够精确地将置信度得分与模型准确度进行对齐。我们在三个任务上验证我们的方法。首先，我们证明了SLOVA与最先进的分布校准具有竞争力。其次，SLOVA的性能在数据集移动下是鲁棒的。最后，我们的方法在检测分布外样本方面表现非常好。因此，SLOVA是一种工具，可用于需要不确定性建模的各种应用中。
2022-06-28 cs.LG
On Mixup Training: Improved Calibration and Predictive Uncertainty for Deep Neural Networks
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Washington（华盛顿大学）
Mixup~ \cite{zhang2017mixup}是最近提出的一种用于训练深度神经网络的方法，其中在训练期间通过凸组合随机图像对及其相关标签来生成额外的样本。虽然实现简单，但它已被证明是一种令人惊讶的有效的图像分类数据增强方法：使用mixup训练的DNN在许多图像分类基准上显示出明显的分类性能增益。在这项工作中，我们讨论了mixup训练的一个迄今为止尚未触及的方面-使用mixup训练的模型的校准和预测不确定性。我们发现，用mixup训练的DNN的校准效果要好得多，也就是说，预测的softmax分数是正确预测的实际可能性的更好指标-比以常规方式训练的DNN更好。我们对许多图像分类架构和数据集进行了实验-包括像ImageNet这样的大规模数据集-并发现情况确实如此。此外，我们发现，仅仅混合特征并不会产生相同的校准益处，并且混合训练中的标签平滑在改善校准方面起着重要作用。最后，我们还观察到，混合训练的DNN不太容易对分布外和随机噪声数据进行过度自信的预测。我们的结论是，在神经网络中看到的典型过度自信，即使是在分布数据上，也可能是使用硬标签训练的结果，这表明混合可以用于预测不确定性是一个重要问题的分类任务。
2020-01-07 cs.LG stat.ML
Quantifying Calibration Error in Neural Networks Through Evidence-Based Theory
Huawei Technologies Munich, Germany（华为技术（慕尼黑，德国））；Ulm University, Institute of Distributed Systems（乌尔姆大学分布式系统研究所）
针对传统性能指标无法体现神经网络可信性、易出现过自信的问题，本文将主观逻辑引入ECE评估，提出新的可信性量化框架，经MNIST和CIFAR-10实验验证可提升模型可信性，适用于敏感领域。
2025-09-04 cs.AI cs.LG math.LO
Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit
Google Brain（谷歌大脑（Google Brain））
现代深度学习模型在许多数据模式的预测准确性方面取得了巨大成功。然而，他们的应用到许多现实世界的任务是限制了穷人的不确定性估计，如过度自信的分布外（OOD）数据和不优雅的失败下分布的转变。以前的基准测试已经发现，神经网络（NN）的集合通常是OOD数据的最佳校准模型。受此启发，我们利用最新的理论进展，其特征的功能空间前的合奏无限宽的神经网络作为一个高斯过程，称为神经网络高斯过程（NNGP）。我们使用带有softmax链接函数的NNGP来构建多类分类的概率模型，并对潜在高斯输出进行边缘化以从后验中采样。这使我们更好地理解了函数空间上的隐式先验NN，并允许直接比较NNGP及其有限宽度模拟的校准。我们还研究了以前的方法与NNGP分类的校准，将分类问题视为回归到一个热标签。在这种情况下，贝叶斯后验是精确的，我们比较了几个分类来生成类的分类分布。我们发现这些方法在分布偏移下得到了很好的校准。最后，我们考虑一个无限宽度的最终层与一个预先训练好的嵌入。这复制了迁移学习的重要实际用例，并允许扩展到更大的数据集。除了实现有竞争力的预测精度外，这种方法比其有限宽度模拟更好地校准。
2020-10-14 cs.LG stat.ML
Explainability through uncertainty: Trustworthy decision-making with neural networks
Ghent University（根特大学）；Flanders Make（佛兰德制造机构）
本文提出一个通用不确定性框架，将不确定性估计定位为可解释AI技术，结合带拒绝的分类引入专家循环，并在教育数据挖掘的神经网络案例中验证，以提高模型在分布偏移下的可信度和决策稳健性。
2024-03-15 cs.CY cs.LG stat.ML
Reducing conversational agents' overconfidence through linguistic calibration
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook AI Research（脸书人工智能研究院）
虽然提高神经对话代理的事实准确性是许多研究的目标，但在神经对话的设置中研究较少的另一个重要方面是对无知的透明度。在这项工作中，我们分析了在何种程度上最先进的聊天模型是语言校准的意义上，他们的口头表达的怀疑（或信心）匹配的可能性，模型的反应是事实上不正确的（或正确的）。我们发现，这些模型校准不良，但我们表明，正确性的可能性可以准确地预测。通过将这样的元认知功能到一个可控的生成模型的训练，我们得到了一个对话代理，大大提高了语言校准。虽然提高神经对话代理的事实准确性是许多研究的目标，但在神经对话的设置中研究较少的另一个重要方面是对无知的透明度。在这项工作中，我们分析了在何种程度上最先进的聊天模型是语言校准的意义上，他们的口头表达的怀疑（或信心）匹配的可能性，模型的反应是事实上不正确的（或正确的）。我们发现，这些模型校准不良，但我们表明，正确性的可能性可以准确地预测。通过将这样的元认知功能到一个可控的生成模型的训练，我们得到了一个对话代理，大大提高了语言校准。
2022-06-26 cs.AI cs.CL cs.LG
A Primer on Bayesian Neural Networks: Review and Debates
Centre Inria de l’Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学国家信息与自动化研究所中心）；Criteo AI Lab（Criteo人工智能实验室）；Helmholtz AI（亥姆霍兹人工智能研究所）
本文系统综述贝叶斯神经网络的基础、先验、训练推断及前沿争论，面向统计与机器学习读者，强调其不确定性估计能力与应用前景。
2023-09-28 cs.LG math.ST stat.CO
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer
the University of Sydney（悉尼大学）；JD Explore Academy, JD.com Inc.（京东探索研究院）；University of Social Sciences（社会科学大学）；Systems Research Institute of the Polish Academy of Sciences（波兰科学院系统研究所）；Tsinghua University（清华大学）
贝叶斯神经网络（BNN）已经成为减轻深度学习中过度自信预测的主要方法，但是由于大量的分布参数，它们经常遭受缩放问题。在本文中，我们发现深度网络的第一层在单独重新训练时具有多个不同的最优值。这表明当第一层被贝叶斯层改变时，后验方差很大，这促使我们设计时空融合BNN（STF-BNN）以有效地将BNN扩展到大模型：（1）首先从零开始正常训练神经网络以实现快速训练;（2）第一层转换为贝叶斯并采用随机变分推理进行推断，而其他层是固定的。与普通的BNN相比，我们的方法可以大大减少训练时间和参数的数量，这有助于有效地扩展BNN。进一步对STF-BNN的泛化能力和抑制过度自信的能力提供了理论保证。综合实验表明，STF-BNN（1）在预测和不确定性量化方面达到了最先进的性能;（2）显着提高了对抗鲁棒性和隐私保护;（3）大大减少了训练时间和内存成本。
2021-12-12 cs.AI cs.LG stat.ML
NNrepair: Constraint-based Repair of Neural Network Classifiers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；KBR Inc.（KBR公司）；NASA Ames（美国国家航空航天局艾姆斯研究中心）；Queen’s University Belfast（贝尔法斯特女王大学）；National University of Singapore（新加坡国立大学）
我们提出了NN修复，一个基于约束的技术修复神经网络分类器。该技术旨在将网络的逻辑固定在中间层或最后一层。NNrepair首先使用故障定位来找到潜在故障的网络参数（例如权重），然后使用约束求解来执行修复，以对参数进行小的修改以弥补缺陷。我们提出了新的策略，使精确而有效的修复，如推断的正确性规范作为中间层修复的预言机，并为每个类的专家一代。我们在三种不同的场景中演示了该技术：（1）提高模型的整体准确性，（2）修复由训练数据中毒引起的安全漏洞，（3）提高网络对对抗攻击的鲁棒性。我们对MNIST和CIFAR-10模型的评估表明，NN修复可以在中毒数据上提高45.56个百分点，在对抗数据上提高10.40个百分点。NNrepair还在模型的整体准确性方面提供了小的改进，而不需要新的数据或重新训练。
2021-06-15 cs.AI cs.LG
Bayesian Inference on Binary Spiking Networks Leveraging Nanoscale Device Stochasticity
King's College London（伦敦国王学院）
针对传统贝叶斯神经网络硬件实现资源消耗大的问题，提出基于相变存储器的二进制突触BNN硬件架构，通过独立权重与噪声平面利用器件固有随机性采样，性能与8位定点方案相当且核心晶体管数省9倍以上。
2023-02-02 cs.AR cs.ET cs.LG
An Underexplored Dilemma between Confidence and Calibration in Quantized Neural Networks
Imperial College London（伦敦帝国学院）；Arm ML Research Lab（Arm机器学习研究实验室）
众所周知，现代卷积神经网络（CNN）在对看不见的输入数据进行校准方面过于自信。也就是说，他们比他们更有信心。如果预测的概率将用于下游决策制定，则这是不期望的。当考虑准确性时，CNN对压缩技术（如量化）也具有惊人的鲁棒性，这些压缩技术旨在降低计算和内存成本。我们表明，这种鲁棒性可以部分地由现代CNN的校准行为来解释，并且可以通过过度自信来改善。这是由于一个直观的结果：低置信度预测更有可能在量化后改变，同时不太准确。高置信度的预测将更准确，但更难以改变。因此，导致量化后精度的最小下降。这在神经网络设计中提出了一个潜在的冲突：来自过度自信的更差的校准可能导致对量化的更好的鲁棒性。我们在CIFAR-100和ImageNet数据集上对各种CNN进行了训练后量化的实验。
2021-12-02 cs.CV cs.LG
Density-Informed Pseudo-Counts for Calibrated Evidential Deep Learning
Department of Statistics and Data Sciences（统计与数据科学系）
针对证据深度学习在分布外输入上过度自信的问题，提出密度信息伪计数EDL（DIP-EDL），通过分离条件标签分布和边际协变量密度来解耦认知不确定性和偶然不确定性，实现校准的不确定性估计。
2026-07-20 cs.LG stat.ML
Out-of-distribution Detection and Generation using Soft Brownian Offset Sampling and Autoencoders
University of Kassel（卡塞尔大学）
深度神经网络通常会受到过度自信的影响，这可以通过改进的分布外检测来部分弥补。为此，我们提出了一种新的方法，允许基于给定的分布数据集生成分布外数据集。然后，可以使用该新数据集来改进给定数据集的分布外检测和手头的机器学习任务。该数据集中的样本相对于接近分布数据集的特征空间，因此是真实和合理的。因此，该数据集还可以用于保护神经网络，即，以验证泛化性能。我们的方法首先使用自动编码器生成分发数据集的合适表示，然后使用我们新提出的软布朗偏移方法对其进行变换。在变换之后，自动编码器的解码器部分允许生成这些隐式分布外样本。然后，这个新生成的数据集允许与其他数据集混合，从而改进分布外分类器的训练，提高其性能。实验上，我们表明，我们的方法是有前途的时间序列使用合成数据。使用我们的新方法，我们还表明，在定量的案例研究，我们可以提高分布外检测的MNIST数据集。最后，我们提供了另一个案例研究的合成生成的分布外的轨迹，它可以用来验证自动驾驶的轨迹预测算法。
2021-05-04 cs.AI cs.LG
Balancing Two Classifiers via A Simplex ETF Structure for Model Calibration
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；CSIRO’s Data61（联邦科学与工业研究组织Data61研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对深度神经网络的校准问题（尤其忽略信心不足误差），提出BalCAL方法，通过平衡可学习分类器与ETF分类器、引入信心可调模块和动态调整，在保持预测准确率的同时显著提升校准性能，优于现有技术。
2025-04-14 cs.CV cs.LG
Possibilistic Predictive Uncertainty for Deep Learning
University of Cambridge（剑桥大学）；National University of Singapore（新加坡国立大学）；University of Warsaw（华沙大学）
提出基于可能性理论的Dirichlet近似可能性后验预测（DAPPr）框架，通过投影-近似策略实现高效且原则性的认知不确定性量化，在多个基准上达到竞争性能。
2026-06-12 cs.AI cs.CV cs.LG
DOMINO: Domain-aware Model Calibration in Medical Image Segmentation
University of Florida（佛罗里达大学）；Herbert Wertheim College of Engineering（赫伯特·韦特海姆工程学院）；McKnight Brain Institute（麦克奈特脑研究所）；College of Public Health and Health Professions（公共卫生与健康职业学院）；College of Medicine（医学院）；United States Air Force Research Laboratory（美国空军研究实验室）
模型校准测量预测概率估计值与真实正确性可能性之间的一致性。正确的模型校准对于高风险应用至关重要。不幸的是，现代深度神经网络的校准很差，影响了可信度和可靠性。由于组织边界的自然不确定性，医学图像分割特别受到这种影响。这是激怒了他们的损失函数，这有利于过度自信的大多数类。我们解决这些挑战与DOMINO，域感知模型校准方法，利用类标签之间的语义混淆性和层次相似性。我们的实验表明，我们的DOMINO校准的深度神经网络在头部图像分割方面优于未校准的模型和最先进的形态测量方法。我们的研究结果表明，我们的方法可以始终实现更好的校准，更高的准确性，更快的推理时间比这些方法，特别是在罕见的类。这种性能归功于我们的域感知正则化，以通知语义模型校准。这些发现表明了类标签之间的语义联系在建立深度学习模型的信心方面的重要性。该框架有可能提高通用医学图像分割模型的可信度和可靠性。这篇文章的代码可以在https://github.com/lab-smile/DOMINO上找到。
2022-09-13 cs.CV cs.LG eess.IV
Scale redundancy and soft gauge fixing in positively homogeneous neural networks
King Juan Carlos University, Facuty of Experimental Sciences and Technology, Department of Applied Physics（金 Juan 卡洛斯大学，实验科学与技术学院，应用物理系）
该研究通过引入规范适应坐标和软轨道选择功能，揭示了正齐次神经网络中尺度冗余与优化条件之间的联系，提升了模型的稳定性与学习效率。
2026-02-16 cs.AI cs.LG
Cautious Deep Learning
Department of Statistics and Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
大多数分类器通过选择条件分布$p(y|x)$的估计的最大值来操作，其中$x$代表要分类的实例的特征，并且$y$表示其标签。这通常会导致{ \em傲慢偏见}：在指定明确标签时过度自信。通常，观察结果集中在一个小体积上，但分类器为整个空间提供明确的预测。我们建议构造包含一组标签而不是单个标签的共形预测集。这些共形预测集包含概率为$1-α$的真标签。我们的构造是基于$p(x|y)$而不是$p(y|x)$，这导致了一个非常谨慎的分类器：当对象与训练示例不相似时，它输出空集合--意思是“我不知道”。我们的方法的一个重要特性是，对抗性攻击很可能被预测为空集，或者也包括真实标签。我们使用从最先进的卷积神经网络获得的高维特征，在ImageNet ILSVRC数据集和CelebA和IMDB-Wiki面部数据集上展示了性能。
2019-02-27 cs.AI cs.CV cs.LG
Fixing the problems of deep neural networks will require better training data and learning algorithms
Brown University（布朗大学）；Carney Institute for Brain Science（卡尼脑科学研究所）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工与自然智能研究所）
本文指出随着 DNN 规模扩大和准确率提升，其与人类视觉策略差异的问题加剧，并提出构建可靠生物视觉模型的方法。
2023-09-26 cs.AI cs.CV cs.LG
Repairing Neural Networks by Leaving the Right Past Behind
Microsoft Health Futures（微软健康未来部门）；Imperial College London（帝国理工学院）
机器学习模型的预测失败通常源于训练数据中的缺陷，例如不正确的标签、离群值和选择偏差。然而，导致给定故障模式的这种数据点通常先验未知，更不用说用于修复故障的机制了。这项工作借鉴了持续学习的贝叶斯观点，并为两者开发了一个通用框架，识别导致目标失败的训练样本，并通过删除有关它们的信息来修复模型。这个框架自然允许利用持续学习的最新进展来解决模型修复的新问题，同时将影响函数和数据删除的现有工作作为具体实例。实验上，所提出的方法优于基线识别有害的训练数据和修复模型故障，在一个通用的方式。
2022-11-09 cs.LG
Improving Uncertainty Calibration via Prior Augmented Data
KAIST（韩国科学技术院）；AITRICS（AITRICS公司）
神经网络已被证明是成功的学习复杂的数据分布作为通用函数逼近。然而，他们往往对自己的预测过于自信，这导致不准确和错误校准的概率预测。过度自信的问题在测试时的数据分布与训练时的数据分布不同的情况下变得特别明显。我们提出了一个解决这个问题的方法，通过寻找特征空间的区域，其中模型是不可否认的过度自信，并有条件地提高这些预测的熵对标签的先验分布。我们的方法产生了一个更好的校准网络，并且对底层模型结构不可知，因此它可以应用于任何产生概率密度作为输出的神经网络。我们证明了我们的方法的有效性，并验证其性能的分类和回归问题，将其应用到最近的概率神经网络模型。
2021-02-22 cs.LG
Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences
Romanian Institute of Science and Technology（罗马尼亚科学技术研究院）
贝叶斯神经网络（BNN）在训练后往往会导致未校准，通常倾向于过度自信。因此，设计在计算复杂性方面具有低影响的有效校准方法是中心兴趣。在本文中，我们提出了校准方法的BNN的基础上的α发散信息几何。我们比较了在训练和校准中使用alpha发散，并展示了如何在校准中使用alpha发散为特定的alpha选择提供更好的校准不确定性估计，并且特别是对于复杂的网络架构更有效。我们经验证明的优势，阿尔法校准回归问题，涉及参数估计和推断输出不确定性之间的相关性。
2020-08-15 cs.LG stat.ML
Normalized AOPC: Fixing Misleading Faithfulness Metrics for Feature Attribution Explainability
Corti；University of Copenhagen（哥本哈根大学）；IT University of Copenhagen（哥本哈根技术大学）；LUT University（拉普兰大学）
针对AOPC指标在跨模型比较中的误导性问题，提出归一化AOPC（NAOPC），实现一致的忠实度评估，并质疑早期研究结论，提供更稳健的框架。
2025-05-23 cs.LG
GETS: Ensemble Temperature Scaling for Calibration in Graph Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；The Chinese University of Hong Kong（香港中文大学）；Singapore-MIT Alliance for Research and Technology (SMART)（新加坡-麻省理工研究与技术联盟）；University of Florida（佛罗里达大学）
针对图神经网络校准不佳的问题，提出GETS框架，结合输入与模型集成策略，在10个基准数据集上将期望校准误差降低25%。
2025-02-27 cs.LG
Probabilistic Weight Fixing: Large-scale training of neural network weight uncertainties for quantization
School of Electronics & Computer Science（电子与计算机科学学院）；University of Southampton（南安普顿大学）
针对现有权重量化共享方法忽略权重位置作用的问题，提出基于贝叶斯神经网络的概率框架与变分松弛方法，结合新初始化设置和正则化项，提升了模型抗噪性与可压缩性，在多个架构上准确率和压缩效果均优于现有最优方法。
2023-10-03 cs.AI cs.LG
Learning by Fixing: Solving Math Word Problems with Weak Supervision
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
以前的数学应用题（MWP）神经解决器是在完全监督下学习的，无法生成多样化的解决方案。在本文中，我们解决这个问题，通过引入一个\textit{weakly-supervised}范式学习MWPs。我们的方法只需要最终答案的注释，可以为单个问题生成各种解决方案。为了增强弱监督学习，我们提出了一种新的\textit{learning-by-fixing}（LBF）框架，它通过符号推理纠正了神经网络的误解。具体地，对于由神经网络生成的不正确的解决方案树，\textit{fixing}机制将错误从根结点传播到叶节点，并推断可以被执行以获得期望的答案的最可能的修复。为了生成更多样化的解决方案，应用\textit{tree regularization}来指导解决方案空间的有效收缩和探索，并且设计\textit{memory buffer}来跟踪和保存针对每个问题发现的各种修复。在Math23 K数据集上的实验结果表明，该LBF框架在弱监督学习中的性能明显优于强化学习基线。此外，它实现了与完全监督方法相比相当的前1和更好的前3/5答案准确度，证明了其在产生不同解决方案方面的实力。
2021-08-03 cs.AI cs.CL cs.LG
Quantifying constraint hierarchies in Bayesian PINNs via per-constraint Hessian decomposition
School of Mathematical Sciences（数学科学学院）；STAG Research Centre, University of Southampton（STAG研究中心，南安普顿大学）
为阐明单个物理约束对贝叶斯物理信息神经网络的塑造作用，提出一种可扩展无矩阵拉普拉斯框架，通过逐约束Hessian分解量化各约束相对影响，在Van der Pol方程上验证了其可追踪约束对网络几何的塑造及权重调整的曲率重分布效应。
2025-09-28 cs.AI cs.LG
Simultaneous Learning of the Inputs and Parameters in Neural Collaborative Filtering
Rakuten Group, Inc.（乐天集团）
基于神经网络的协同过滤系统的重点是设计网络架构，以学习更好的表示，同时固定的输入到用户/项目交互向量和/或ID。在本文中，我们首先表明，非零元素的输入是可学习的参数，确定在结合用户/项目嵌入的权重，并固定它们限制了在学习表示的模型的力量。然后，我们建议学习的非零元素的输入值与神经网络参数。我们分析了模型的复杂性和我们的方法的经验风险，并证明了学习输入导致更好的泛化界。我们在几个真实世界数据集上的实验表明，我们的方法优于最先进的方法，即使使用具有较少层数和参数的浅层网络结构。
2022-03-14 cs.IR cs.LG
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）
本文将门控 ReLU 网络的凸规划解释为带加权数据掩码的 MKL，证明其特定核等价于 NTK，并通过迭代重加权获得等价于精确凸解的最优核。
2023-09-26 cs.LG stat.ML
MaxSup: Overcoming Representation Collapse in Label Smoothing
University of Mannheim（曼海姆大学）；University of Washington（华盛顿大学）；Meta AI；CISPA Helmholtz Center for Information Security（信息安全霍普夫研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
MaxSup通过惩罚top-1 logit解决标签平滑中的表征崩溃问题，恢复类内多样性并增强类间边界。
2026-02-05 cs.AI cs.CV cs.LG
Neural Transfer Learning for Repairing Security Vulnerabilities in C Code
KTH Royal Institute of Technology（瑞典皇家理工学院）；Colorado State University（科罗拉多州立大学）
在本文中，我们解决了深度学习自动修复软件漏洞的问题。数据驱动漏洞修复的主要问题是，已知已确认漏洞的少数现有数据集仅包含几千个示例。然而，训练一个深度学习模型通常需要数十万个示例。在这项工作中，我们利用直觉，错误修复任务和漏洞修复任务是相关的，从错误修复学到的知识可以转移到修复漏洞。在机器学习社区中，这种技术被称为迁移学习。本文提出了一种基于迁移学习的安全漏洞修复方法VRepair。VRepair首先在一个大型的bug修复语料库上进行训练，然后在一个小一个数量级的漏洞修复数据集上进行调整。在我们的实验中，我们证明了只在bug修复语料库上训练的模型已经可以修复一些漏洞。然后，我们证明了迁移学习提高了修复脆弱C函数的能力。我们还表明，迁移学习模型的性能优于使用去噪任务训练并在漏洞修复任务上进行微调的模型。总之，本文表明，与在小数据集上学习相比，迁移学习在修复C中的安全漏洞方面效果良好。
2022-01-04 cs.CR cs.LG cs.SE
Let's Agree to Agree: Neural Networks Share Classification Order on Real Datasets
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
研究发现深度神经网络在训练和测试集上按相似顺序学习示例，该现象跨架构存在，并受数据与学习范式影响，反映网络发现自然数据结构的方式。
2020-07-20 cs.LG stat.ML
