A Free Lunch From ANN: Towards Efficient, Accurate Spiking Neural Networks Calibration
University of Electronic Science and Technology of China(电子科技大学);Yale University(耶鲁大学);Harvard University(哈佛大学);SenseTime Research(商汤科技研究院)
脉冲神经网络(SNN)被认为是下一代神经网络的代表。传统上,SNN可以从预先训练的ANN转换,只需将ReLU激活替换为尖峰激活,同时保持参数不变。也许令人惊讶的是,在这项工作中,我们表明,在ANN到SNN的转换过程中,一种适当的方法来校准参数可以带来显着的改善。我们介绍SNN校准,一种廉价但非常有效的方法,利用预先训练的人工神经网络(ANN)内的知识。从理论上分析了转换误差及其在各层间的传播,提出了逐层校正误差的校正算法。校准只需要少量的训练数据和几分钟就可以完成。此外,我们的校准算法可以在大规模ImageNet数据集上生成具有最先进架构的SNN,包括MobileNet和RegNet。大量的实验证明了该算法的有效性和效率。例如,在ImageNet上转换MobileNet时,与基线相比,我们的高级管道可以提高高达69%的top-1准确率。代码发布于https://github.com/yhhhli/SNN_Calibration。
2021-06-13 cs.LG
A Large-Scale Study of Probabilistic Calibration in Neural Network Regression
University of Mons(蒙斯大学)
针对神经网络回归的概率校准问题,本文开展大规模实证研究,比较再校准、共形与正则化方法,并提出可微方法,揭示正则化的校准—锐度权衡及共形预测的覆盖优势。
2023-06-07 cs.LG
GETS: Ensemble Temperature Scaling for Calibration in Graph Neural Networks
Massachusetts Institute of Technology(麻省理工学院);The Chinese University of Hong Kong(香港中文大学);Singapore-MIT Alliance for Research and Technology (SMART)(新加坡-麻省理工研究与技术联盟);University of Florida(佛罗里达大学)
针对图神经网络校准不佳的问题,提出GETS框架,结合输入与模型集成策略,在10个基准数据集上将期望校准误差降低25%。
2025-02-27 cs.LG
Adaptive Temperature Scaling for Robust Calibration of Deep Neural Networks
Universidad Autónoma de Madrid(马德里自治大学)
在本文中,我们研究了现代神经网络的事后校准,这是一个近年来引起广泛关注的问题。许多不同复杂性的校准方法已被提出的任务,但没有共识如何表达这些应该是。我们专注于置信度缩放的任务,特别是推广温度缩放的事后方法,我们称之为自适应温度缩放家族。我们分析表达功能,提高校准,并提出可解释的方法。我们表明,当有大量的数据复杂的模型,如神经网络产生更好的性能,但容易失败时,数据量是有限的,在某些事后校准应用程序,如医疗诊断的常见情况。我们研究了表达方法在理想条件下学习的函数,并设计了更简单的方法,但对这些性能良好的函数有很强的归纳倾向。具体地说,我们提出了基于熵的温度标度,这是一种简单的方法,根据熵来衡量预测的置信度。结果表明,与其他方法相比,我们的方法获得了最先进的性能,并且与复杂模型不同,它对数据稀缺具有鲁棒性。此外,我们提出的模型能够更深入地解释校准过程。
2022-07-31 cs.LG
Rethinking Calibration for Early-Exit Neural Networks
Jagiellonian University(雅盖隆大学);Warsaw University of Technology(华沙理工大学);IDEAS Research Institute(IDEAS研究院);Johns Hopkins University(约翰霍普金斯大学);Doctoral School of Exact and Natural Sciences(精确与自然科学博士学院)
本文质疑校准对早退神经网络性能的充分性,提出早退失败预测(EEFP)以同时考虑预测正确性和计算成本,并设计轻量级改进方法,实现更优的成本-准确率权衡。
2026-05-27 cs.LG
Deep Neural Network Calibration by Reducing Classifier Shift with Stochastic Masking
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);CSIRO's Data61 and Monash University (adjunct)(CSIRO的数据61与墨尔本大学(兼职));King Abdullah University of Science and Technology(国王阿卜杜勒阿齐兹科技大学)
针对DNNs校准不良及现有方法忽略信心不足误差的问题,提出基于掩码的分类器校准方法MaC-Cal,利用随机稀疏性动态调整掩码保留率,实现卓越的校准性能与鲁棒性。
2025-08-12 cs.LG
When does distribution shift break graph neural networks calibration?
Computer Science and Applied Mathematics Laboratory (LIMA), Faculty of Science and Technology, Chadli Bendjedid University(计算机科学与应用数学实验室(LIMA),科学与技术学院,查德利·本杰迪德大学)
研究分布偏移对图神经网络校准的影响,给出校准的闭式理论表征,据此提出无源无标签校准方法STAC,实验证明其在校准上有改进,但无目标标签时可靠校准仍具挑战。
2026-07-14 cs.LG
Airborne Magnetic Anomaly Navigation with Neural-Network-Augmented Online Calibration
本文提出一种基于神经网络增强的在线校准航空磁异常导航方法,通过自适应卡尔曼滤波器实时补偿飞机磁干扰,实现高精度导航性能。
2026-03-09 cs.LG
APIC: Amortized Physics-Informed Calibration using Neural Processes
Computer Vision Group, Friedrich Schiller University Jena(耶纳弗里德里希-施莱尔大学计算机视觉组)
提出APIC框架,通过神经过程实现群体级贝叶斯推断,利用两分支潜在架构分离实例特定物理参数与共享结构差异,实现从稀疏观测中快速校准并量化不确定性。
2026-06-02 cs.LG
MTNet: A Multi-Task Neural Network for On-Field Calibration of Low-Cost Air Monitoring Sensors
Beijing Jiaotong University(北京交通大学);Michigan State University(密歇根州立大学)
传感器技术的进步使人们能够通过广泛分布的低成本传感器来监测空气质量。然而,这些传感器的测量通常会遇到高偏差,需要校准步骤才能在下游分析任务中达到可接受的性能。大多数现有的校准方法一次校准一种类型的传感器,我们称之为单任务校准。尽管这种单任务模式很受欢迎,但它可能会忽略不同传感器的校准任务之间的相互作用,这些任务包含促进校准性能的基本信息。在本文中,我们提出了一个多任务校准网络(MTNet)来校准多个传感器(例如,一氧化碳和氮氧化物传感器),对任务之间的交互进行建模。MTNet由一个共享模块和多个特定任务模块组成。具体而言,在共享模块中,我们扩展了多门混合专家结构,以协调不同任务之间的任务冲突和相关性;在每个特定任务模块中,我们引入了一个特征选择策略,以定制特定任务的输入。这些改进允许MTNet学习跨不同任务共享的交互信息,以及每个校准任务的特定任务信息。我们在三个真实世界的数据集上评估了MTNet,并将其与几个已建立的基线进行了比较。实验结果表明,MTNet达到了最先进的性能。
2021-05-10 cs.LG
Accurate Calibration of Agent-based Epidemiological Models with Neural Network Surrogates
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
根据观察到的数据校准复杂的流行病学模型是提供对当前疾病动态的洞察的关键一步,即通过估计再生数,以及提供可靠的预测和情景探索。在这里,我们提出了一种新的方法来校准一个基于代理的模型- EpiCast -使用一个大的模拟合奏为美国不同的主要大都市地区。我们特别建议:一种新的基于神经网络的代理模型,能够同时仿真所有不同的位置;以及一种新的后验估计,其不仅提供所有参数的更准确的后验估计,而且能够跨区域联合拟合全局参数。
2020-10-13 cs.LG
Deterministic and statistical calibration of constitutive models from full-field data with parametric physics-informed neural networks
Institute of Applied Mechanics(应用力学研究所);Technische Universität Braunschweig(Braunschweig技术大学);Clausthal University of Technology(克莱斯特哈大学);Institute for Acoustics and Dynamics(声学与动力学研究所);Eidgenössische Technische Hochschule Zürich(苏黎世联邦理工学院)
本文提出利用参数化物理信息神经网络(PINNs)从全场位移数据校准本构模型,通过离线训练与在线替代实现了近实时的高精度确定性校准与贝叶斯不确定性量化。
2025-06-02 cs.LG
Ga$_2$O$_3$ TCAD Mobility Parameter Calibration using Simulation Augmented Machine Learning with Physics Informed Neural Network
San Jose State University(圣何塞州立大学);University of Hong Kong(香港大学)
本文提出利用模拟增强的机器学习与物理信息神经网络,实现Ga₂O₃ TCAD迁移参数的自动校准与提取。
2025-11-27 cs.LG
Outliers and Calibration Sets have Diminishing Effect on Quantization of Modern LLMs
University College London(伦敦大学学院);Cohere(Cohere公司)
本文通过分析校准集对不同开源LLMs隐藏激活和离群值的影响,发现现代模型对量化中的离群值具有较强鲁棒性,建议PTQ策略应从保留离群值转向优化推理速度。
2024-06-05 cs.AI cs.CL cs.LG
SAUC: Sparsity-Aware Uncertainty Calibration for Spatiotemporal Prediction with Graph Neural Networks
Massachusetts Institute of Technology(麻省理工学院);University of Florida(佛罗里达大学);Florida State University(佛罗里达州立大学)
针对时空预测中不确定性被忽略、稀疏数据带来额外挑战的问题,提出事后稀疏感知不确定性校准框架SAUC,通过改造确定性ST-GNN为概率型并结合分位数校准,在真实数据集上有效降低零值校准误差,填补相关研究空白。
2024-09-13 cs.LG
Supervised Deep Neural Networks (DNNs) for Pricing/Calibration of Vanilla/Exotic Options Under Various Different Processes
Shanghai Advanced Institute of Finance(上海高级金融学院);Orient Securities(东方证券);Cubist Systematic Strategies(库比斯特系统策略公司)
我们应用有监督的深度神经网络(DNN)对具有和不具有随机波动率的扩散和纯跳跃过程下的普通期权和奇异期权进行定价和校准。我们训练我们的神经网络模型在不同的层数,每层的神经元,和各种不同的激活函数,以找到哪些组合更好地工作经验。对于训练,我们考虑各种不同的损失函数和优化例程。我们证明,与常用的期权定价方法相比,深度神经网络以指数方式加快了期权定价,从而使校准和参数估计超快。
2019-02-15 cs.LG q-fin.PR
When and How Mixup Improves Calibration
Rutgers University(罗格斯大学);Harvard University(哈佛大学);National University of Singapore(新加坡国立大学);Stanford University(斯坦福大学)
在许多机器学习应用中,模型提供准确捕获其预测不确定性的置信度分数是重要的。虽然现代学习方法在预测准确性方面取得了巨大成功,但生成校准的置信度分数仍然是一个重大挑战。Mixup是一种流行而简单的数据增强技术,它基于对训练样本进行凸组合,已被经验性地发现可以显着提高跨不同应用的置信度校准。然而,Mixup何时以及如何帮助校准仍然是一个谜。在本文中,我们从理论上证明了Mixup提高校准\textit{high-dimensional}设置通过调查自然的统计模型。有趣的是,Mixup的校准优势随着模型容量的增加而增加。我们支持我们的理论与常见的架构和数据集上的实验。此外,我们研究了Mixup如何在半监督学习中改进校准。虽然合并未标记的数据有时会使模型校准得更少,但添加Mixup训练可以缓解这个问题,并可证明可以改善校准。我们的分析为理解混淆和校准提供了新的见解和框架。
2022-07-10 cs.LG
Toward Optimal Run Racing: Application to Deep Learning Calibration
Google Brain(谷歌大脑);TAU;Inria Saclay IDF(法国国家信息与自动化研究所萨克雷法兰西岛分部)
本文旨在研究深度神经网络的一次性学习,其中考虑高度并行的设置来解决算法校准问题-选择最佳神经架构并根据手头的数据集学习超参数值。通过检测和提前停止非最佳运行,以最佳方式减少了众所周知的昂贵校准问题。理论上的贡献考虑多假设检验框架内的最优性保证。在Cifar 10、PTB和Wiki基准测试上的实验证明了该方法的相关性,它在没有额外超参数的情况下对最先进的技术进行了原则性和一致性的改进。
2017-06-20 cs.LG
Navigating Noise: A Study of How Noise Influences Generalisation and Calibration of Neural Networks
University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学);Samsung AI Center Cambridge(三星剑桥人工智能中心)
本文系统比较不同噪声来源、类型和放置位置对神经网络在分布内与分布外场景下泛化及校准的影响,发现组合噪声和域内超参数迁移有效,但跨域迁移及联合优化仍具挑战。
2024-04-03 cs.LG
Calibration of Neural Networks
Lomonosov Moscow State University(莫斯科国立大学)
解决现实问题的神经网络通常不仅需要做出准确的预测,而且还需要在预测中提供置信度。模型的校准表明估计的置信度与真实概率的接近程度。本文提出了一个调查的背景下,神经网络的置信度校准问题,并提供了一个实证比较校准方法。我们分析问题陈述,校准定义和不同的评估方法:可视化和标量测量,估计模型是否校准良好。我们回顾现代校准技术:基于后处理或需要改变培训。实证实验涵盖了各种数据集和模型,根据不同的标准比较校准方法。
2023-03-19 cs.AI cs.LG cs.NE
Calibration of Deep Probabilistic Models with Decoupled Bayesian Neural Networks
Universitat Politècnica de València(瓦伦西亚理工大学);Universidad Autónoma de Madrid(马德里自治大学)
深度神经网络(DNN)在许多任务中已经实现了最先进的准确性性能。然而,最近的工作指出,这些模型提供的输出没有得到很好的校准,严重限制了它们在关键决策场景中的使用。在这项工作中,我们建议使用一个解耦的贝叶斯阶段,实现了贝叶斯神经网络(BNN),映射由DNN提供的未校准的概率校准,不断提高校准。我们的研究结果表明,纳入不确定性提供了更可靠的概率模型,实现良好的校准的关键条件。我们报告了在标准化图像分类基准测试中使用高精度DNN的大量实验结果,显示了我们的方法相对于几种最先进的校准方法的良好性能,灵活性和鲁棒性。提供了再现性代码。
2020-02-28 cs.LG stat.ML
Calibrating a Deep Neural Network with Its Predecessors
University of Sydney(悉尼大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
针对早停法无法有效校准网络的问题,提出前驱组合搜索(PCS)正则化方法,通过搜索早期训练阶段的模块前驱组合来改善校准,在多数据集上实现SOTA性能并提升模型鲁棒性。
2023-05-23 cs.LG
On Deep Neural Network Calibration by Regularization and its Impact on Refinement
深度神经网络已经被证明是高度错误的。他们往往对自己的预测过于自信。它对安全关键系统提出了一个重大挑战,即可靠地利用深度神经网络(DNN)。许多最近提出的缓解这种情况的方法已经证明在改进DNN校准方面取得了实质性进展。然而,他们几乎没有触及细化,这在历史上一直是校准的一个重要方面。细化表示网络正确和不正确预测的可分性。本文提出了一个理论和实证支持的论述,审查校准模型的完善。首先,我们将预期校准误差(ECE)分解为预测置信度和过度自信预测假设下的细化。其次,与此结果相联系,我们强调基于正则化的校准只关注于天真地降低模型的置信度。从逻辑上讲,这对模型的改进有严重的不利影响,因为正确和不正确的预测变得紧密耦合。最后,连接细化与ECE也提供了支持现有的细化为基础的方法,提高校准,但不解释背后的推理it. We支持我们的主张,通过严格的经验评估,许多国家的最先进的校准方法广泛使用的数据集和神经网络。我们发现,许多校准方法,如标签平滑,混合等,通过降低DNN的精度来降低其有用性。即使在自然数据偏移下,这种校准-细化权衡也适用于大多数校准方法。
2022-05-04 cs.CV cs.LG
SAMix: Calibrated and Accurate Continual Learning via Sphere-Adaptive Mixup and Neural Collapse
本文提出SAMix方法,通过球形自适应混合策略提升持续学习模型的校准与性能,减少过自信并提高准确性。
2026-04-22 cs.LG
Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration
Beijing University of Posts and Telecommunications(北京邮电大学)
尽管图神经网络(GNN)已经取得了显著的准确性,但其结果是否值得信赖仍然是未知的。以前的研究表明,许多现代神经网络对预测过于自信,然而,令人惊讶的是,我们发现GNN主要是在相反的方向,即,GNN信心不足。因此,非常需要GNN的置信度校准。在本文中,我们提出了一种新的可信GNN模型,通过设计一个拓扑感知的事后校准功能。具体来说,我们首先验证了图中的置信分布具有同质性,这一发现启发我们设计了一个校准GNN模型(CaGCN)来学习校准函数。CaGCN能够获得从GNN的logits到每个节点的校准置信度的唯一转换,同时,这种转换能够保持类之间的顺序,满足精度保持属性。此外,我们将校准GNN应用于自训练框架,表明可以使用校准的置信度获得更值得信赖的伪标签,并进一步提高性能。大量的实验证明了我们提出的模型在校准和精度方面的有效性。
2022-01-04 cs.AI cs.LG
Confidence Calibration with Bounded Error Using Transformations
University of Pennsylvania(宾夕法尼亚大学)
随着机器学习技术在新的领域中被广泛采用,特别是在安全关键系统(如自动驾驶汽车)中,提供准确的输出不确定性估计至关重要。因此,已经提出了许多方法来校准神经网络以准确地估计误分类的可能性。然而,虽然这些方法实现了低校准误差,但仍有进一步改进的空间,特别是在ImageNet等高维设置中。在本文中,我们介绍了一种校准算法,名为Hoki,它的工作原理是通过应用随机变换的神经网络logits。我们提供了一个充分条件,完美的校准的基础上应用变换后观察到的标签预测变化的数量。我们在多个数据集上进行了实验,结果表明,该方法在多个数据集和模型上的性能通常优于最先进的校准算法,特别是在具有挑战性的ImageNet数据集上。最后,Hoki也是可扩展的,因为它需要与温度缩放相当的执行时间。
2021-12-23 cs.LG
Bayesian Neural Network Versus Ex-Post Calibration For Prediction Uncertainty
Monash University(莫纳什大学)
来自神经网络的概率预测在分类期间解释预测不确定性,这在许多现实世界和高影响决策制定设置中是至关重要的。然而,在实践中,大多数数据集都是在非概率神经网络上训练的,默认情况下,这些神经网络不捕获这种固有的不确定性。这个众所周知的问题导致了事后校准程序的发展,例如普拉特缩放(逻辑),等渗和β校准,将分数转换为校准良好的经验概率。校准方法的一个合理替代方案是使用贝叶斯神经网络,它直接对预测分布进行建模。虽然它们已被应用于图像和文本数据集,但它们在表格和小数据领域的应用有限。在本文中,我们证明了贝叶斯神经网络产生竞争力的性能相比,校准的神经网络,并在广泛的数据集进行实验。
2022-09-29 cs.AI cs.LG stat.ML
An Underexplored Dilemma between Confidence and Calibration in Quantized Neural Networks
Imperial College London(伦敦帝国学院);Arm ML Research Lab(Arm机器学习研究实验室)
众所周知,现代卷积神经网络(CNN)在对看不见的输入数据进行校准方面过于自信。也就是说,他们比他们更有信心。如果预测的概率将用于下游决策制定,则这是不期望的。当考虑准确性时,CNN对压缩技术(如量化)也具有惊人的鲁棒性,这些压缩技术旨在降低计算和内存成本。我们表明,这种鲁棒性可以部分地由现代CNN的校准行为来解释,并且可以通过过度自信来改善。这是由于一个直观的结果:低置信度预测更有可能在量化后改变,同时不太准确。高置信度的预测将更准确,但更难以改变。因此,导致量化后精度的最小下降。这在神经网络设计中提出了一个潜在的冲突:来自过度自信的更差的校准可能导致对量化的更好的鲁棒性。我们在CIFAR-100和ImageNet数据集上对各种CNN进行了训练后量化的实验。
2021-12-02 cs.CV cs.LG
Improved Trainable Calibration Method for Neural Networks on Medical Imaging Classification
University of Kentucky(肯塔基大学)
最近的工作表明,深度神经网络可以在医学成像领域的广泛图像分类任务中实现超人的性能。然而,这些工作主要集中在分类精度,忽略了不确定性量化的重要作用。从经验上讲,神经网络经常在预测中被错误校准和过度自信。这种误校准在任何自动决策系统中都可能存在问题,但我们专注于医学领域,其中神经网络误校准有可能导致重大的治疗错误。我们提出了一种新的校准方法,保持整体分类精度,同时显着提高模型校准。所提出的方法是基于预期的校准误差,这是一个共同的度量量化误校准。我们的方法可以很容易地集成到任何分类任务中作为辅助损失项,因此不需要明确的训练轮进行校准。我们表明,我们的方法在各种架构和数据集上显着降低了校准误差。
2020-09-09 cs.CV cs.LG eess.IV
NCTV: Neural Clamping Toolkit and Visualization for Neural Network Calibration
National Tsing Hua University(国立清华大学);MediaTek Inc.(联发科技股份有限公司);IBM Research(IBM研究院);The Chinese University of Hong Kong(香港中文大学)
随着深度学习技术的进步,神经网络已经在许多任务中展示了其提供准确预测的出色能力。然而,缺乏对神经网络校准的考虑将不会获得人类的信任,即使是对于高精度模型。在这方面,模型预测的置信度与实际正确性可能性之间的差距必须弥合,以导出校准良好的模型。在本文中,我们介绍了神经箝位工具包,这是第一个开源框架,旨在帮助开发人员采用最先进的模型不可知校准模型。此外,我们在演示中提供动画和交互部分,以使研究人员熟悉神经网络中的校准。还介绍了使用我们的工具包的Colab教程。
2022-11-29 cs.AI cs.HC cs.LG
Meta-Calibration: Learning of Model Calibration Using Differentiable Expected Calibration Error
The University of Edinburgh(爱丁堡大学);Queen Mary University of London(伦敦玛丽女王大学);Samsung AI Center Cambridge(三星人工智能中心剑桥)
针对现代神经网络校准难的问题,提出含可微分期望校准误差代理(DECE)与元学习框架的新方案,可直接优化校准质量,性能比肩现有方法,为该领域研究提供新思路。
2023-08-25 cs.LG stat.ML
On Calibration of Mixup Training for Deep Neural Networks
PRHLT Research Center, Universitat Politècnica de València(PRHLT研究中心,瓦伦西亚理工大学);AUDIAS - Audio, Data Intelligence and Speech, Universidad Autónoma de Madrid(AUDIAS - 音频、数据智能与语音,马德里自治大学)
深度神经网络(DNN)代表了许多任务的最新技术水平。然而,由于其overparameterization,他们的泛化能力是值得怀疑的,仍然是一个正在研究的领域。因此,DNN可能会过拟合并分配过度自信的预测--这些效应已被证明会影响分配给不可见数据的置信度的校准。数据增强(DA)策略已被提出来正则化这些模型,Mixup是最流行的策略之一,因为它能够提高DNN的准确性、不确定性量化和校准。然而,在这项工作中,我们认为,并提供经验证据表明,由于其基本原理,Mixup不一定改善校准。根据我们的观察,我们提出了一个新的损失函数,它可以提高用这种DA技术训练的DNN的校准,有时还可以提高精度。我们的损失受到贝叶斯决策理论的启发,并引入了一个新的训练框架来设计概率建模的损失。我们提供最先进的精度,并持续改进校准性能。附录和代码在这里提供:https://github.com/jmaronas/calibration_MixupDNN_ARCLoss.pytorch.git
2021-01-28 cs.LG stat.ML
Slumbering to Precision: Enhancing Artificial Neural Network Calibration Through Sleep-like Processes
Department of Computer Science \& Engineering, University of California, San Diego, La Jolla, California, USA;ARTISAN, Georgia Institute of Technology, Atlanta, Georgia, USA;Department of Medicine, University of California, San Diego, La Jolla, California, USA
通过睡眠样过程提出SRC方法,有效提升神经网络校准,与温度缩放结合在AlexNet和VGG19上表现最佳。
2026-03-09 cs.AI cs.LG
Calibration of Encoder Decoder Models for Neural Machine Translation
University of California Berkeley(加州大学伯克利分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们研究了几个国家的最先进的神经机器翻译(NMT)系统的基于注意力的编码器-解码器模型的校准。对于像NMT中的结构化输出,校准不仅对于预测的可靠置信度很重要,而且对于波束搜索推理的正确功能也很重要。我们发现,大多数现代NMT模型是令人惊讶的错误校准,即使在真正的以前的令牌的条件。我们的调查导致两个主要原因-EOS(序列结束标记)的严重误校准和抑制的注意不确定性。我们根据这些信号设计了重新校准方法,并证明了更高的准确性,更好的序列级校准,以及更直观的波束搜索结果。
2019-03-03 cs.CL cs.LG stat.ML
Soft Calibration Objectives for Neural Networks
Google Research(谷歌研究院)
最优决策要求分类器产生与其经验准确性一致的不确定性估计。然而,深度神经网络往往对自己的预测信心不足或过度自信。因此,已经开发了方法来改进训练期间和事后的预测不确定性的校准。在这项工作中,我们提出了可微的损失,以改善校准的基础上的软(连续)版本的分仓操作流行的校准误差估计。当纳入训练时,这些软校准损失在多个数据集上实现了最先进的单模型ECE,准确度下降不到1%。例如,我们观察到ECE降低了82%(相对于事后重新缩放的ECE为70%),以换取相对于CIFAR-100上的交叉熵基线的准确性相对降低了0.7%。当结合后训练时,基于软分箱的校准误差目标改进了温度缩放,这是一种流行的重新校准方法。总的来说,跨损失和数据集的实验表明,使用校准敏感的程序产生更好的不确定性估计下的数据集移位比使用交叉熵损失和事后重新校准方法的标准实践。
2021-12-07 cs.AI cs.LG
Posterior Probability Matters: Doubly-Adaptive Calibration for Neural Predictions in Online Advertising
Alibaba Group(阿里巴巴集团)
针对在线广告中预测概率校准问题,提出双重自适应校准方法AdaCalib,利用后验统计指导等温函数族学习并设计字段自适应机制,显著提升校准性能并已在线部署。
2024-05-25 cs.IR cs.LG
Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization
University at Buffalo(布法罗大学);Penn State Erie(宾夕法尼亚州立大学伊利分校)
深度神经网络(DNN)尽管近年来取得了巨大的成功,但由于其学习过程中固有的不确定性,仍然可能对其预测产生怀疑。Enhancement技术和事后校准是两种类型的方法,它们分别在改善DNN的不确定性校准方面表现出了希望。然而,这两类方法的协同效应尚未得到很好的探索。在本文中,我们提出了一个真理发现框架,集成基于集合和事后校准方法。使用集合候选的几何方差作为样本不确定性的一个很好的指标,我们设计了一个保持精度的真值估计,可证明没有精度下降。此外,我们还表明,事后校准也可以通过真理发现正则化优化来增强。在包括CIFAR和ImageNet在内的大规模数据集上,我们的方法在基于直方图和基于内核密度的评估指标上显示出与最先进的校准方法一致的改进。我们的代码可在https://github.com/horsepurve/truly-uncertain上获得。
2022-03-01 cs.AI cs.LG
Structured Neural SDEs for Functional Calibration
本文提出SLiSDE,一种基于结构化线性随机层的神经SDE模型,通过门控堆叠和Girsanov倾斜实现高效并行模拟与稳定重要性采样,在功能校准任务中优于全神经基线。
2026-09-29 cs.LG math.PR
Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences
Romanian Institute of Science and Technology(罗马尼亚科学技术研究院)
贝叶斯神经网络(BNN)在训练后往往会导致未校准,通常倾向于过度自信。因此,设计在计算复杂性方面具有低影响的有效校准方法是中心兴趣。在本文中,我们提出了校准方法的BNN的基础上的α发散信息几何。我们比较了在训练和校准中使用alpha发散,并展示了如何在校准中使用alpha发散为特定的alpha选择提供更好的校准不确定性估计,并且特别是对于复杂的网络架构更有效。我们经验证明的优势,阿尔法校准回归问题,涉及参数估计和推断输出不确定性之间的相关性。
2020-08-15 cs.LG stat.ML
Neural Geometric Parser for Single Image Camera Calibration
Kookmin University(国民大学);Adobe Research(Adobe研究院);Intel(英特尔)
我们提出了一个神经几何解析器学习单图像摄像机校准人造场景。与以前的神经方法,仅依赖于从神经网络获得的语义线索,我们的方法同时考虑语义和几何线索,从而显着提高精度。拟议的框架由两个网络组成。第一个网络使用图像的线段作为几何线索,估计天顶消失点,并生成由相机旋转和焦距组成的几个候选点。第二个网络根据给定的图像和几何线索评估每个候选人,其中人造场景的先验知识用于评估。通过监督由图像的水平线和焦距组成的数据集,我们的网络可以被训练来估计相同的相机参数。基于曼哈顿世界假设,我们可以以弱监督的方式进一步估计相机旋转和焦距。实验结果表明,我们的神经方法的性能显着高于现有的国家的最先进的相机校准技术的室内和室外场景的单张图像。
2020-07-24 cs.CV cs.LG
Converting Artificial Neural Networks to Spiking Neural Networks via Parameter Calibration
University of Electronic Science and Technology of China(电子科技大学);Yale University(耶鲁大学);Harvard University(哈佛大学)
脉冲神经网络(SpikingNeuralNetwork,SNN)起源于生物学中的神经行为,被认为是下一代神经网络。传统上,SNN可以通过从预先训练的人工神经网络(ANN)转换来获得,通过用尖峰神经元替换非线性激活而不改变参数。在这项工作中,我们认为,简单地复制和粘贴ANN的权重到SNN不可避免地导致激活失配,特别是对于用批量归一化(BN)层训练的ANN。为了解决激活失配问题,我们首先通过将局部转换误差分解为限幅误差和地板误差来提供理论分析,然后使用二阶分析定量测量该误差如何在整个层中传播。受理论结果的启发,我们提出了一套逐层参数校准算法,该算法调整参数以最小化激活失配。在现代架构和大规模任务(包括ImageNet分类和MS COCO检测)上对所提出的算法进行了广泛的实验。我们证明,我们的方法可以处理SNN转换与批量归一化层,并有效地保持高精度,即使在32个时间步。例如,在转换VGG-16和BN层时,我们的校准算法可以将精度提高高达65%。
2022-05-06 cs.LG cs.NE
Probabilistic Calibration by Design for Neural Network Regression
University of Mons(蒙斯大学)
针对神经网络回归的校准问题,提出端到端的分位数重校准训练方法,在57个数据集上提升预测精度并保持校准。
2024-03-18 cs.LG stat.ML
Calibration of Neural Networks using Splines
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织 Data61);Google Research(谷歌研究院)
校准神经网络是最重要的,当采用它们在安全关键的应用程序,下游决策取决于预测的概率。测量校准误差相当于比较两个经验分布。在这项工作中,我们引入了一个免费的binning校准措施的灵感来自经典的Kolmogorov-Smirnov(KS)统计检验,其主要思想是比较各自的累积概率分布。由此,通过使用样条函数的可微函数来近似经验累积分布,我们获得了一个重新校准函数,该函数将网络输出映射到实际(校准)的类分配概率。使用保持的校准集进行脊柱拟合,并在看不见的测试集上评估所获得的重新校准函数。我们在各种图像分类数据集上测试了我们的方法与现有的校准方法,并且我们基于样条的重新校准方法在KS误差以及其他常用校准措施上始终优于现有方法。我们的代码可在https://github.com/kartikgupta-at-anu/spline-calibration上获得。
2021-12-29 cs.CV cs.LG stat.ML
Taking a Step Back with KCal: Multi-Class Kernel-Based Calibration for Deep Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度神经网络(DNN)分类器通常过于自信,产生错误校准的类概率。在医疗保健等高风险应用中,从业人员需要$\textit{fully calibrated}$概率预测来进行决策。也就是说,以预测$\textit{vector}$为条件,$\textit{every}$类的概率应该接近预测值。大多数现有的校准方法要么缺乏产生校准输出的理论保证,降低分类精度的过程中,或只校准预测类。本文提出了一种新的基于核的校准方法KCal。与现有的校准程序不同,KCal不直接对DNN的logits或softmax输出进行操作。相反,KCal在倒数第二层潜在嵌入上学习度量空间,并使用校准集上的核密度估计生成预测。我们首先从理论上分析KCal,表明它享有可证明的$\textit{full}$校准保证。然后,通过在各种数据集上进行广泛的实验,我们表明KCal始终优于基线,这是通过校准误差和适当的评分规则(如Brier Score)来衡量的。
2022-12-08 cs.LG stat.ME stat.ML
Neural calibration of hidden inhomogeneous Markov chains -- Information decompression in life insurance
University of Applied Sciences Ruhr West(鲁尔西应用科学大学)
马尔可夫链在包括人寿保险数学在内的许多领域中发挥着关键作用。标准精算量作为保费价值可以被解释为压缩,关于潜在的马尔可夫过程的有损信息。我们介绍了一种方法来重建潜在的马尔可夫链给定的集体信息的投资组合的合同。我们的神经架构通过明确提供一步转移概率来描述这个过程。此外,我们提供了一个内在的,经济的模型验证,以检查信息解压的质量。最后,我们的方法成功地测试了一个现实的数据集的德国定期寿险合同。
2022-01-07 cs.LG q-fin.ST
Learn to Communicate with Neural Calibration: Scalability and Generalization
The Hong Kong University of Science and Technology(香港科技大学)
无线通信系统的常规设计通常依赖于捕获不同通信模块的特性的所建立的数学模型。不幸的是,这样的设计不能容易地和直接地应用于未来的无线网络,其特征将是大规模的超密集网络,其设计复杂性与网络规模成指数级。此外,这种网络将以显著的方式动态变化,这使得开发全面的分析模型变得困难。最近,基于深度学习的方法已经成为设计复杂和动态无线系统的潜在替代方案。然而,现有的基于学习的方法具有有限的能力来扩展问题的大小和概括不同的网络设置。在本文中,我们提出了一个可扩展的和可推广的神经校准框架,为未来的无线系统设计,神经网络是通过校准传统的基于模型的算法的输入。具体而言,传统时间高效算法的主干与深度神经网络集成,以实现高计算效率,同时享受增强的性能。由无线系统的拓扑结构进行的置换等变性性质,进一步利用开发一个可推广的神经网络结构。建议的神经校准框架,以解决具有挑战性的资源管理问题,在大规模多输入多输出(MIMO)系统。仿真结果表明,与现有的基于学习的方法相比,所提出的神经元校准方法具有显著的可扩展性和泛化能力。
2021-10-01 cs.LG eess.SP
Semantic-Aware Gaussian Process Calibration with Structured Layerwise Kernels for Deep Neural Networks
Next Generation Defence Multidisciplinary Technology Research Center, Pohang University of Science and Technology(下一代国防多学科技术研究中心,POSTECH大学);Department of Electrical Engineering, Pohang University of Science and Technology(电气工程系,POSTECH大学)
本文提出语义感知逐层高斯过程(SAL-GP)框架,通过结构化多层核耦合各层局部校准校正,以捕捉深度网络的层次语义依赖并一致传播预测不确定性,从而提升置信度校准的可解释性与可靠性。
2025-07-21 cs.CV cs.LG
Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks
ANU(澳大利亚国立大学);ACRV(澳大利亚机器人视觉中心);Georgia Tech(佐治亚理工学院);Microsoft Research(微软研究院);Google Research(谷歌研究院);University of Washington(华盛顿大学)
预测多类深度网络的校准置信度得分对于避免罕见但代价高昂的错误非常重要。一种常见的方法是学习事后校准函数,该函数将原始网络的输出转换为校准的置信度分数,同时保持网络的准确性。然而,先前的事后校准技术仅适用于简单的校准函数,可能缺乏足够的表示来校准深度网络的复杂函数景观。在这项工作中,我们的目标是学习可以保留任何深度网络的top-k预测的一般事后校准函数。我们称这类函数为内部保序函数。我们提出了一种新的神经网络架构,表示一类内部保序功能,通过结合常见的神经网络组件。此外,我们引入了顺序不变和对角子族,当训练数据很小时,它们可以作为正则化以获得更好的泛化能力。我们在广泛的数据集和分类器中显示了所提出的方法的有效性。我们的方法优于国家的最先进的事后校准方法,即温度缩放和狄利克雷校准,在几个评估指标的任务。
2020-10-23 cs.CV cs.LG stat.ML
Achieving Well-Informed Decision-Making in Drug Discovery: A Comprehensive Calibration Study using Neural Network-Based Structure-Activity Models
KU Leuven(鲁汶大学);AstraZeneca(阿斯利康);Chalmers University of Technology(查尔姆斯理工大学)
本研究针对药物发现中神经网络预测模型校准不良的问题,提出贝叶斯线性探测(BLP)方法,结合事后校准与不确定性量化,提升模型校准和准确性,实现明智决策。
2024-07-19 cs.LG stat.ML
Expectation consistency for calibration of neural networks
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);École Normale Supérieure - PSL(巴黎高等师范学院-PSL大学);CNRS(法国国家科学研究中心)
本文提出期望一致性(EC)校准方法,通过重缩放末层权重使验证置信度与正确率一致,性能与温度缩放相当,但基于Nishimori恒等式更具原则性,并在某些目标函数下显著优于温度缩放。
2023-08-05 cs.LG stat.ML
CLUE: Neural Networks Calibration via Learning Uncertainty-Error alignment
Software and Societal Systems Department, Carnegie Mellon University(卡内基梅隆大学软件与社会系统部门);INESC-ID and Instituto Superior Técnico, Universidade de Lisboa(里斯本大学INESC-ID和理工学院)
提出CLUE方法,通过在训练中显式对齐预测不确定性与观测误差并联合优化预测与校准,实现了跨领域、低开销且校准质量优越的神经网络不确定性估计。
2025-05-28 cs.AI cs.LG
Calibration in One Go: Jointly Learning Accurate and Calibrated Neural Networks
Saarland University(萨尔大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文提出通过双层Stackelberg公式将标准校准器与神经网络骨干端到端联合训练,以实现准确且校准良好的模型,该方法复杂度低、性能优于SOTA校准器,可避免单独校准组件的开销。
2026-10-12 cs.AI cs.LG stat.ML
Neural Calibration for Scalable Beamforming in FDD Massive MIMO with Implicit Channel Estimation
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
信道估计和波束形成在频分双工(FDD)大规模多输入多输出(MIMO)系统中起着关键作用。然而,这两个模块已被视为两个独立的组件,这使得很难实现全局系统最优。在本文中,我们提出了一种基于深度学习的方法,该方法根据接收到的上行链路导频直接优化基站处的波束成形器,从而绕过显式信道估计。与现有的完全数据驱动的方法不同,其中所有模块都被深度神经网络(DNN)取代,提出了一种神经校准方法,以提高端到端设计的可扩展性。特别是,传统的时间有效算法的骨干,即,最小二乘(LS)信道估计器和迫零(ZF)波束形成器被保留,并且DNN被利用来校准它们的输入以获得更好的性能。然后确定所制定的资源分配问题的置换等方差属性,以设计一个低复杂度的神经网络架构。仿真结果将显示所提出的神经校准方法的优越性,在大规模无线网络的频谱效率和可扩展性方面的基准计划。
2021-08-03 cs.LG eess.SP
The Over-Certainty Phenomenon in Modern Test-Time Adaptation Algorithms
针对测试时自适应中因降低熵导致的过度确定性现象,提出基于骨干熵与logit范数的确定性正则化器,在保持精度的同时提升校准性能。
2025-09-07 cs.AI cs.LG stat.ML