Quantile Regularization: Towards Implicit Calibration of Regression Models
CSE Department, IIT Kanpur(印度理工学院坎普尔分校计算机科学与工程系)
最近的研究表明,大多数深度学习模型通常校准得很差,即,他们可能会产生错误的过度自信的预测。因此,期望具有产生可靠的预测不确定性估计的模型。最近已经提出了几种方法来校准分类模型。然而,校准回归模型的工作相对较少。我们提出了一种基于新的分位数正则化定义为两个CDF之间的累积KL分歧的回归模型的校准方法。与大多数现有的校准回归模型的方法不同,这些方法基于模型输出的事后处理,需要额外的数据集,我们的方法可以以端到端的方式进行训练,而不需要额外的数据集。所提出的正则化器可以与任何回归训练目标一起使用。我们还表明,事后校准方法,如等渗校准,有时复合误校准,而我们的方法提供了一贯更好的校准。我们提供的实证结果表明,所提出的分位数正则化器显着改善了使用Dropout VI和Deep Ensembles等方法训练的回归模型的校准。
2020-02-28 cs.LG stat.ML
Calibrating Adaptive Smoothing Methods for Freeway Traffic Reconstruction
Department of Civil and Environmental Engineering, Vanderbilt University(范德比尔特大学土木与环境工程系);Institute for Software Integrated Systems, Vanderbilt University(范德比尔特大学软件集成系统研究所);Virginia Tech Transportation Institute (VTTI), Virginia Polytechnic Institute and State University(弗吉尼亚理工大学交通研究所)
本文提出了一种基于Python的自适应平滑方法实现,通过端到端校准提升高速公路交通重建的准确性,并探讨了其在多个路段的应用及局限性。
2026-08-20 cs.LG cs.SY eess.SY
Calibrating for the Future:Enhancing Calorimeter Longevity with Deep Learning
HSE University(高等经济大学)
本研究提出基于Wasserstein GAN的深度学习校准方法,以更少资源高效修正量热计老化偏差,延长其寿命并保障长期数据准确性。
2024-11-06 cs.LG
A non-cooperative meta-modeling game for automated third-party calibrating, validating, and falsifying constitutive laws with parallelized adversarial attacks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Columbia University(哥伦比亚大学)
本构模型的评估,特别是对于高风险和高遗憾的工程应用,需要有效和严格的第三方校准,验证和证伪。虽然在开发验证模型的范例和标准程序方面作出了许多努力,但由于普遍采用的校准和验证过程具有顺序性、手工性和往往带有偏见的性质,因此可能会出现困难,从而减缓数据收集的速度,阻碍在发现新物理学方面取得进展,增加费用,并可能导致对拟议模型的可信度和适用范围的误解。这项工作试图引入博弈论和机器学习技术的概念,以克服许多现有的困难。我们引入了一个自动元建模游戏,其中两个相互竞争的AI代理系统地生成实验数据来校准给定的本构模型并探索其弱点,以通过竞争来改善实验设计和模型鲁棒性。两个智能体在没有人为干预的情况下,在对抗性强化学习框架中自动搜索元建模博弈的纳什均衡。通过将实验室实验的所有可能的设计选项捕获到单个决策树中,我们将实验的设计重新塑造为组合移动的游戏,可以通过两个竞争玩家的深度强化学习来解决。我们的对抗性框架模拟了研究人员之间理想化的科学合作和竞争,以更好地理解所学习的材料定律的应用范围,并防止传统的基于人工智能的第三方验证引起的误解。
2020-04-13 cs.AI cs.LG eess.SP
Calibrating LLMs with Information-Theoretic Evidential Deep Learning
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对微调大语言模型(LLMs)过度自信、校准性差的问题,提出IB-EDL方法,通过信息瓶颈正则化证据深度学习(EDL)缓解过拟合,提升不确定性估计准确性,实验表明其优于现有方法,增强LLMs可信度以促进广泛应用。
2025-02-11 cs.LG
Calibrating Deep Convolutional Gaussian Processes
EURECOM(欧洲通信学院);University of New South Wales(新南威尔士大学);Columbia University(哥伦比亚大学)
卷积神经网络(CNN)在不确定性决策是基础的应用中的广泛采用,引起了人们对这些模型准确量化其预测中的不确定性的能力的极大关注。以前将CNN与高斯过程(GP)相结合的工作是在假设这些模型的预测概率经过良好校准的情况下开发的。在本文中,我们表明,事实上,目前CNN和GP的组合是错误的。我们提出了一种新的组合,大大优于以前的方法在这方面,同时实现最先进的图像分类任务的性能。
2018-05-26 cs.LG stat.ML
Uncertainty Quantification and Deep Ensembles
National University of Singapore(新加坡国立大学)
众所周知,深度学习方法存在校准问题:它们通常会产生过于自信的估计。这些问题在低数据制度下更加严重。虽然概率模型的校准得到了很好的研究,但在低数据状态下校准极度过度参数化的模型提出了独特的挑战。我们表明,深合奏不一定会导致改进的校准性能。事实上,我们证明了标准的集成方法,当与现代技术(如混合正则化)结合使用时,可能会导致校准较少的模型。本文探讨了在数据稀缺时利用深度学习的三种最简单、最常用的方法之间的相互作用:数据增强、集成和后处理校准方法。虽然标准的合奏技术肯定有助于提高准确性,我们证明,深合奏的校准依赖于微妙的权衡。我们还发现,当使用深度集成时,需要稍微调整温度缩放等校准方法,并且至关重要的是,需要在平均过程之后执行。我们的模拟表明,这种简单的策略可以减半的预期校准误差(ECE)的一系列基准分类问题相比,在低数据制度的标准深度合奏。
2021-11-02 cs.LG stat.ML
Calibrating Healthcare AI: Towards Reliable and Interpretable Deep Predictive Models
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);IBM Research AI(IBM研究AI部门);Arizona State University(亚利桑那州立大学)
表示学习技术在临床决策制定中的广泛采用强烈强调了表征模型可靠性和实现模型行为的严格内省的需要。虽然前一个需求往往是通过纳入不确定性量化策略来解决的,后一个挑战是使用广泛的可解释性技术来解决的。在本文中,我们认为,这两个目标不一定是不同的,并建议利用预测校准,以满足这两个目标。更具体地说,我们的方法是由校准驱动的学习方法,这也是用来设计一个基于反事实推理的可解释性技术。此外,我们介绍了\textit{reliability plots},一个整体的模型可靠性评估机制。使用皮肤镜图像的病变分类问题,我们证明了我们的方法的有效性,并推断出有趣的见解模型的行为。
2020-04-27 cs.LG stat.ML
Non-collective Calibrating Strategy for Time Series Forecasting
Ocean University of China(中国海洋大学);Southwest Jiaotong University(西南交通大学);JD Intelligent Cities Research(京东智能城市研究院);JD iCity, JD Technology, China(京东i城,京东科技,中国);Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence(北京交通数据挖掘与具身智能重点实验室)
本文提出Socket+Plug(SoP)非集体校准策略,通过冻结骨干网络并为每个预测目标配备独立优化器和早停监控器,解决多目标学习冲突,以极低资源成本提升任意已训练深度时间序列预测模型的性能,实验最高提升22%。
2025-07-02 cs.LG
Attended Temperature Scaling: A Practical Approach for Calibrating Deep Neural Networks
Petrobras(巴西石油公司)
最近,深度神经网络(DNN)在广泛的任务上取得了令人印象深刻的结果。然而,它们因校准不当而受到影响。在自动驾驶或医疗诊断等决策应用中,深度网络的可信度在为系统带来信任和可靠性方面发挥着重要作用。为了校准深度网络的置信度,提出了许多概率和基于测量的方法。温度定标(TS)是一种基于测量的校准方法,具有时间和内存复杂度低,以及有效性的最新技术。在本文中,我们研究TS,并表明它不能正常工作时,TS用于校准的验证集的大小很小,或包含噪声标记的样本。TS也不能校准高精度网络以及非高精度网络。因此,我们提出了Attended Temperature Scaling(ATS),它保留了TS的优点,同时在上述具有挑战性的情况下改善了校准。我们为ATS提供了理论依据,并评估了其在广泛的深度模型和数据集上的有效性。我们还比较了TS和ATS在皮肤病变检测应用中的校准结果,作为一个实际问题,校准良好的系统可以在决策中发挥重要作用。
2019-05-08 cs.LG stat.ML
Calibrating Deep Neural Networks using Focal Loss
University of Oxford(牛津大学);FiveAI Ltd.(FiveAI有限公司);The Alan Turing Institute(艾伦·图灵研究所)
深度神经网络(DNN)的误校准(模型的置信度和正确性之间的不匹配)使得其预测难以依赖。理想情况下,我们希望网络准确、校准和自信。我们表明,相对于标准的交叉熵损失,焦点损失[Lin et.例如,2017]允许我们学习已经非常好校准的模型。当与温度缩放相结合时,在保持精度的同时,它会产生最先进的校准模型。我们提供了一个彻底的分析的因素,造成误校准,并使用我们从中收集的见解,以证明经验的优异性能的焦点损失。为了便于在实际中使用的焦点损失,我们还提供了一个原则性的方法来自动选择的超参数涉及的损失函数。我们对各种计算机视觉和NLP数据集以及各种网络架构进行了广泛的实验,并表明我们的方法在几乎所有情况下都实现了最先进的校准而不会影响准确性。代码可在https://github.com/torrvision/focal_calibration上获得。
2020-10-26 cs.CV cs.LG stat.ML
Investigation of Uncertainty of Deep Learning-based Object Classification on Radar Spectra
Bosch Center for Artificial Intelligence(博世人工智能中心);Institute of Signal Processing and System Theory, University of Stuttgart(斯图加特大学信号处理与系统理论研究所)
近年来,深度学习(Deep Learning,DL)在提高汽车雷达目标类型分类方面引起了越来越多的关注。除了高精度外,评估预测的可靠性对于自动驾驶汽车的决策至关重要;然而,DL网络的决策是不透明的。目前的DL研究已经调查了如何量化预测的不确定性,在这篇文章中,我们评估了这些方法对安全汽车雷达感知的潜力。特别是,我们评估如何不确定性量化可以支持雷达感知下(1)域偏移,(2)输入信号的腐败,(3)在未知物体的存在。我们发现,与文献中观察到的现象一致,深度雷达分类器过于自信,即使在他们错误的预测中。这引起了人们对在不确定情况下使用置信度值进行决策的担忧,因为模型无法在无法处理未知情况时发出通知。准确的置信度值将允许多个信息源的最佳整合,例如经由传感器融合。我们表明,通过应用最先进的事后不确定性校准,可以显着提高置信度的质量,从而部分解决过度自信的问题。我们的调查表明,进一步研究训练和校准DL网络是必要的,并提供了巨大的潜力,安全的汽车目标分类雷达传感器。
2021-06-01 cs.AI cs.LG
Calibrating the Rigged Lottery: Making All Tickets Reliable
Texas A&M University(得克萨斯农工大学);North Carolina State University(北卡罗来纳州立大学);Purdue University(普渡大学)
尽管稀疏训练已成功用于各种资源有限的深度学习任务中,以节省内存,加速训练并减少推理时间,但所产生的稀疏模型的可靠性仍未得到探索。以前的研究表明,深度神经网络往往过于自信,我们发现稀疏训练加剧了这个问题。因此,校准稀疏模型对于可靠的预测和决策至关重要。在本文中,我们提出了一种新的稀疏训练方法,以产生稀疏模型与改进的置信度校准。与以前只使用一个掩码来控制稀疏拓扑的研究相比,我们的方法使用两个掩码,包括确定性掩码和随机掩码。前者通过利用权重和梯度的大小有效地搜索和激活重要权重。而后者带来了更好的探索,并通过随机更新找到更合适的权重值。理论上,我们证明了我们的方法可以被看作是一个概率深高斯过程的分层变分逼近。在多个数据集、模型结构和稀疏性上的大量实验表明,该方法将ECE值降低了47.8%,同时保持甚至提高了准确性,而计算和存储负担仅略有增加。
2023-03-01 cs.AI cs.CV cs.LG
Physics-informed Machine Learning for Calibrating Macroscopic Traffic Flow Models
C2SMART Center(C2SMART中心);Tandon School of Engineering, New York University(纽约大学坦登工程学院)
针对宏观交通流模型校准问题,提出融合交通流物理模型与深度及去噪自动编码器的学习方法,可处理缺失数据,并在 I-210 E 案例中达到优于优化方法的效果。
2023-07-12 cs.LG
Does deep learning model calibration improve performance in class-imbalanced medical image classification?
National Library of Medicine, National Institutes of Health(美国国立卫生研究院国家医学图书馆);Stanford University(斯坦福大学)
在医学图像分类任务中,经常会发现正常样本的数量远远超过异常样本的数量。在这种类不平衡的情况下,深度神经网络的可靠训练仍然是一个重大挑战。在这些情况下,预测的类概率可能偏向多数类。有人建议进行校准,以减轻其中一些影响。然而,没有足够的分析解释何时以及是否校准模型将有利于提高性能。在这项研究中,我们使用各种深度学习分类器主干,系统地分析了模型校准对其在两种医学图像模式(即胸部X光和眼底图像)上的性能的影响。为此,我们研究了以下变化:(i)用于训练的数据集的不平衡程度;(ii)校准方法;以及(iii)两个分类阈值,即默认决策阈值0.5,以及精确度-召回率曲线的最佳阈值。我们的结果表明,在默认操作阈值0.5时,通过校准实现的性能显著优于(p <0.05)使用未校准的概率。然而,在PR引导的阈值下,这些增益没有显著差异(p> 0.05)。这一发现适用于两种图像模式和不同程度的不平衡。
2021-10-11 cs.CV cs.LG eess.IV
Calibrating Multivariate Lévy Processes with Neural Networks
Stanford University(斯坦福大学)
校准Lévy过程通常需要描述其跳跃分布。传统上,这个问题可以解决与非参数估计使用经验特征函数(ECF),假设一定的规律性,和结果大多是在一维。对于多变量Lévy过程和不太光滑的Lévy密度,由于ECFs衰减缓慢并且由于有限的观测而具有很大的不确定性,因此问题变得具有挑战性。我们解决这个问题的近似Lévy密度与参数化的功能形式,然后估计使用数值积分的特征函数。在我们的基准测试中,我们使用了深度神经网络,发现它们是鲁棒的,可以捕捉Lévy密度的急剧变化。它们的性能优于分段线性函数和径向基函数。这里开发的方法和技术适用于许多其他问题,涉及嵌入在系统模型中的功能的非参数估计。
2019-09-27 cs.LG stat.ML
Calibrating multi-dimensional complex ODE from noisy data via deep neural networks
Biogen Inc(渤健公司);Worcester Polytechnic Institute(伍斯特理工学院);Texas Tech University(得克萨斯理工大学);Eli Lilly and Company(礼来公司);New Jersey Institute of Technology(新泽西理工学院)
本文提出一种两阶段非参数方法,先用边界核方法从含噪数据中提取去噪数据及高阶导数,再输入稀疏连接的ReLU深度神经网络,从而在避免维度灾难的情况下校准复杂ODE系统,并在美国50个州的新冠疫情数据上验证了其有效性。
2023-09-19 cs.LG stat.ME stat.ML
Calibrating constitutive models with full-field data via physics informed neural networks
Sandia National Laboratories(桑迪亚国家实验室)
用全场实验数据标定固体本构模型是一个长期存在的挑战,特别是在经历大变形的材料中。在本文中,我们提出了一个基于物理的深度学习框架,用于在给定全场位移数据和全局力-位移数据的情况下发现本构模型参数化。与该领域最近的大多数文献相反,我们使用弱形式的控制方程而不是强形式来对神经网络预测施加物理约束。本文提出的方法是计算效率高,适用于不规则的几何域,并容易摄取位移数据,而不需要插值到计算网格。选择典型的超弹性材料模型适合于不同的材料类别被认为是包括新Hookean,根特,和Blatz-Ko本构模型作为范例,一般的超弹性行为,聚合物行为与锁定,和可压缩泡沫行为分别。我们证明,物理学通知机器学习是一种使能技术,并可能改变如何利用全场实验数据来校准有限变形下的本构模型的范式。
2022-03-30 cs.LG
Calibrating the Adaptive Learning Rate to Improve Convergence of ADAM
University of Connecticut(康涅狄格大学)
自适应梯度方法(AGM)在深度学习领域的非凸优化问题中得到了广泛的应用。我们重新审视AGM,并确定AGM使用的自适应学习率(A-LR)在不同时期的问题维度上变化很大(即,各向异性尺度),这可能导致收敛和泛化方面的问题。所有现有的修改后年度股东大会实际上都代表了修改A-LR的努力。在理论上,我们提供了一种新的方法来分析AGM的收敛性,并证明了\textsc{Adam}的收敛速度也依赖于它的超参数$ε$,这是以前被忽视的。基于这两个事实,我们提出了一个新的AGM校准A-LR与激活({ \em softplus})功能,导致\textsc{Sadam}和\textsc{SAMSGrad}方法\footnote{Code is available at https://github.com/neilliang90/Sadam.git.}。我们进一步证明了这些算法在非凸、非强凸和Polyak-Projojasiewicz条件下比\textsc{Adam}具有更好的收敛速度。实证研究支持我们对各向异性A-LR的观察,并表明所提出的方法优于现有的AGM,并且在多个深度学习任务中比S-Momentum更好地推广。
2019-09-11 cs.LG math.OC stat.ML
Annealing Double-Head: An Architecture for Online Calibration of Deep Neural Networks
University of California, Santa Cruz(加州大学圣克鲁兹分校);Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);National University of Singapore(新加坡国立大学)
模型校正是关于模型正确预测的频率,它不仅在统计模型设计中起着重要的作用,而且在实际应用中也有着重要的意义,如现实世界中的最优决策。但人们发现,现代深度神经网络由于预测置信度的高估(或低估),通常校准较差,这与过拟合密切相关。在本文中,我们提出了Annealing Double-Head,这是一种易于实现但非常有效的架构,用于在训练期间校准DNN。准确地说,我们在正态模型中的最后一个潜在层之上构建了一个额外的校准头(一个通常具有一个潜在层的浅层神经网络),以将logits映射到对齐的置信度。此外,一个简单的退火技术,动态缩放的logits校准头在训练过程中,以提高其性能。在分布式和分布式移位的情况下,我们在多对当代DNN架构以及视觉和语音数据集上详尽地评估了我们的退火双头架构。我们证明,我们的方法实现了最先进的模型校准性能,而无需后处理,同时提供了可比的预测精度相比,其他最近提出的校准方法在一系列的学习任务。
2023-01-16 cs.AI cs.CV cs.LG
Diversity regularization in deep ensembles
Computer Vision and Systems Laboratory / REPARTI and Big Data Research Centre(计算机视觉与系统实验室/REPARTI与大数据研究中心);Université Laval(拉瓦尔大学)
校准监督学习模型的置信度对于预测的确定性应该是可靠的各种上下文是重要的。然而,据报道,深度神经网络模型通常校准得太差,无法实现在其预测中需要可靠的不确定性估计的复杂任务。在这项工作中,我们提出了一种使用多样性函数正则化训练深度集合的策略,该策略在保持相似预测精度的同时提高了校准性能。
2018-02-22 cs.LG
Calibrating Biophysical Models for Grape Phenology Prediction via Multi-Task Learning
提出结合多任务学习与循环神经网络参数化可微生物物理模型的方法,通过跨品种共享学习提升葡萄物候预测的鲁棒性和准确性,优于传统模型和基线深度学习方法。
2026-06-29 cs.AI cs.LG
Calibrating Tabular Anomaly Detection via Optimal Transport
University of Auckland(奥克兰大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
CTAD通过最优传输距离校准提升表格异常检测性能,适用于多种数据集和检测方法。
2026-02-06 cs.LG
SWAT Watershed Model Calibration using Deep Learning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
流域模型,如土壤和水评估工具(SWAT)包括高维物理和经验参数。这些参数需要准确地校准模型,以产生可靠的预测流量,蒸散,雪水当量,营养负荷。现有的参数估计方法是耗时的,低效的,计算密集的,在估计高维参数时精度降低。在本文中,我们提出了一种快速,准确,可靠的方法来校准SWAT模型(即,21个参数)使用深度学习(DL)。我们开发了基于卷积神经网络的DL启用的逆模型来摄取径流数据并估计SWAT模型参数。执行超参数调整以识别最佳神经网络架构和九个下一个最佳候选者。我们使用集合SWAT仿真来训练、验证和测试上述DL模型。我们使用观测数据估计SWAT模型的实际参数。我们测试和验证拟议的DL方法对美国河流域,位于太平洋西北部的亚基马河流域。结果表明,基于DL模型的标定方法优于传统的参数估计方法,如广义似然不确定性估计(GLUE)。由DL估计的行为参数集具有比GLUE更窄的范围,并且即使在高的相对观测误差下也在采样范围内产生值。这个狭窄的参数范围显示了所提出的工作流程的可靠性,即使在噪声下也能准确地估计敏感参数。由于其快速和合理准确的估计过程参数,建议DL工作流程是有吸引力的校准集成水文模型的大空间尺度的应用。
2021-10-06 cs.AI cs.LG physics.app-ph
Context-Aware Selective Label Smoothing for Calibrating Sequence Recognition Model
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Alibaba Group(阿里巴巴集团)
尽管深度神经网络(DNN)在顺序数据上取得了成功(即,场景文本和语音)识别,它遭受过度置信问题,主要是由于训练中的过度拟合以及交叉熵损失,这可能使决策不太可靠。置信度校准是解决这一问题的有效方法之一。然而,大多数现有的置信度校准方法针对非序列数据,这是有限的,如果直接应用于序列数据,因为序列中的内在上下文依赖性或类特定的统计先验很少被利用。最后,我们提出了一种上下文感知的选择性标签平滑(CASLS)方法来校准序列数据。CASLS充分利用序列中的上下文依赖性,构造不同类别的上下文预测统计的混淆矩阵。然后使用类特定的出错率来调整平滑强度的权重,以实现自适应校准。在场景文本识别和语音识别等序列识别任务上的实验结果表明,该方法具有较好的性能。
2023-03-13 cs.AI cs.LG
In-n-Out: Calibrating Graph Neural Networks for Link Prediction
Federal Institute of Ceará(塞阿拉联邦学院);Getulio Vargas Foundation(热图利奥·瓦加斯基金会);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
针对链路预测中图神经网络正负预测校准表现不一的问题,提出基于边标签与预测一致性对应嵌入波动幅度的IN-N-OUT方法,显著提升了链路预测的GNN校准效果,优于现有非专用基线。
2024-03-08 cs.LG
An Empirical Study Into What Matters for Calibrating Vision-Language Models
The Australian National University(澳大利亚国立大学);Curtin University(科廷大学);University of Óbuda(欧布达大学)
本文实证研究不同架构、数据集与训练策略下 VLM 的不确定性校准,发现 temperature scaling 即使面对分布和标签集变化也能稳定提升校准,且只需少量样本。
2024-06-14 cs.CV cs.LG
Online Adaptation of Parameters using GRU-based Neural Network with BO for Accurate Driving Model
IBM Research(IBM研究院)
在不同地区测试自动驾驶汽车需要周围的汽车具有相应的不同驾驶风格,例如激进或保守的风格。需要一种数字测量和区分人类驾驶风格以创建具有某种驾驶风格的虚拟驾驶员的方法。然而,大多数用于测量人类驾驶风格的方法需要阈值或标签来对驾驶风格进行分类,并且一些方法需要额外的驾驶员关于其驾驶态度的问卷。这些限制不适合创建大型虚拟测试环境。驾驶模型(DM)模拟人类的驾驶风格。标定DM使模拟的驾驶行为更接近人类驾驶行为,并实现人类驾驶汽车的模拟。传统的DM校准方法没有考虑DM中的参数在驾驶时变化。这些“固定的”校准方法不能反映实际的交互式驾驶场景。在本文中,我们提出了一种测量人类驾驶风格的DM校准方法,以更准确地再现真实的跟车行为。该方法包括1)用于测量和聚类人类驾驶风格的客观熵权方法,以及2)通过结合贝叶斯优化(BO)和门控递归单元神经网络基于深度学习的DM参数的在线自适应。我们进行了实验,以评估所提出的方法,结果表明,它可以很容易地用来衡量人类驾驶员的风格。实验还表明,我们可以校准相应的DM在虚拟测试环境中高达26%以上的准确性比固定的校准方法。
2021-09-24 cs.LG
Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?
Qilu Institute of Technology, School of Software Engineering(齐鲁理工学院软件工程学院)
研究通过概率校准评估器的成对判断来缓解LLM智能体反馈回路中的偏好耦合,实验表明校准将耦合系数降低20-49%,JS散度降低45-67%。
2026-07-01 cs.AI cs.CL cs.LG
Calibration of Machine Reading Systems at Scale
ETH Zürich(苏黎世联邦理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在典型的机器学习系统中,预测概率的估计用于评估系统对预测的置信度。这种置信度通常是未经校准的;即,系统对预测的置信度与预测输出的真实概率不匹配。在本文中,我们提出了一个调查校准开放设置机器阅读系统,如开放域问答和索赔验证系统。我们表明,校准这种复杂的系统,其中包含离散检索和深度阅读组件是具有挑战性的,目前的校准技术未能扩展到这些设置。我们提出了简单的扩展现有的校准方法,使我们能够适应这些设置。我们的实验结果表明,该方法工作良好,并可以是有用的选择性预测答案时,问答系统提出了不可回答的或出的训练分布的问题。
2022-05-23 cs.CL cs.LG
Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks
Department of Mathematics & Nonlinear Dynamics and Mathematical Application Center, Kyungpook National University(数学与非线性动力学系及数学应用中心,庆北国立大学)
针对深度ReLU网络权重初始化不当易引发死亡ReLU与梯度不稳定的问题,提出在Stiefel流形上优化的正交初始化方法,推导闭式解与采样方案,理论和实验均验证其能稳定深度网络训练且效果优于现有方法。
2026-10-21 cs.LG
DeepSentiBank: Visual Sentiment Concept Classification with Deep Convolutional Neural Networks
Columbia University(哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校)
介绍了一种基于深度卷积神经网络(CNN)的视觉情感概念分类方法。视觉情感概念是从网络照片的标签中自动发现的形容词名词对(ANP),并且可以用作检测图像中描绘的情感的有效统计线索。下载了近一百万张带有这些ANP标记的Flickr图像,以训练概念的分类器。我们采用了流行的深度卷积神经网络模型,该模型最近在分类大规模基于Web的图像数据集(如ImageNet)方面表现出了很大的性能改进。我们的深度CNN模型是基于Caffe训练的,Caffe是一个新开发的深度学习框架。为了处理仅包含具有强烈情感的图像的有偏训练数据并防止过拟合,我们使用ImageNet训练的模型权重初始化模型。性能评估显示,新训练的深度CNN模型SentiBank 2.0(或称为DeepSentiBank)与主要使用二进制SVM分类模型的前辈相比,在注释准确性和检索性能方面都有显着提高。
2014-10-30 cs.CV cs.LG cs.MM
ReZero is All You Need: Fast Convergence at Large Depth
UC San Diego(加州大学圣地亚哥分校)
由于信号传播效率低下,深度网络通常会出现梯度消失或爆炸,导致训练时间长或收敛困难。各种架构设计、复杂的残差型网络和初始化方案已被证明可以改善深度信号传播。最近,Pennington等人使用自由概率理论证明了动态等距在有效的深度学习中起着不可或缺的作用。我们发现,最简单的架构变化门每个剩余的连接使用一个单一的零初始化参数满足初始动态等距,并优于更复杂的方法。虽然比它的前辈简单得多,但这个门可以训练成千上万个完全连接的层,具有快速收敛和更好的测试性能,适用于在CIFAR-10上训练的ResNet。我们将这种技术应用于语言建模,发现我们可以很容易地训练120层的Transformers。当应用于12层Transformers时,它在enwiki 8上的收敛速度快了56%。
2020-06-25 cs.CL cs.LG stat.ML
A temporal deep learning framework for calibration of low-cost air quality sensors
ETSI Aeronáutica y del Espacio, Universidad Politécnica de Madrid(航空航天工程学院,马德里理工大学);Air Quality Consultants Ltd.(空气质量咨询有限公司)
本文提出基于LSTM网络的时间深度学习框架,用于校准PM2.5、PM10和NO2的低成本传感器,通过捕捉时间依赖性和延迟环境效应,提高校准效果和合规性。
2026-04-23 cs.LG
Bayesian Deep Learning and a Probabilistic Perspective of Generalization
New York University(纽约大学)
贝叶斯方法的关键区别属性是边缘化,而不是使用单一的权重设置。贝叶斯边缘化可以特别提高现代深度神经网络的准确性和校准,这些网络通常被数据低估,并且可以代表许多引人注目但不同的解决方案。我们发现,深合奏提供了一个有效的机制近似贝叶斯边缘化,并提出了一个相关的方法,进一步提高了预测分布的边缘化盆地内的吸引力,没有显着的开销。我们还研究了先验函数隐含的模糊分布在神经网络权重,解释了这样的模型的泛化性能从概率的角度来看。从这个角度来看,我们解释了神经网络泛化的神秘和独特的结果,例如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程再现。我们还表明,贝叶斯模型的平均简化了双下降,从而在单调的性能改善,增加了灵活性。最后,我们提供了一个贝叶斯的角度来看,回火校准预测分布。
2022-03-30 cs.LG stat.ML
Putting An End to End-to-End: Gradient-Isolated Learning of Representations
AMLab;University of Amsterdam(阿姆斯特丹大学)
我们提出了一种用于局部自监督表示学习的新型深度学习方法,该方法不需要标签,也不需要端到端反向传播,而是利用数据中的自然顺序。受生物神经网络似乎在没有反向传播全局错误信号的情况下进行学习的观察的启发,我们将深度神经网络拆分为梯度隔离模块的堆栈。每个模块都经过训练,以使用Oord et al. [2018]的InfoNCE界限最大限度地保留其输入的信息。尽管有这种贪婪的训练,我们证明了每个模块都改进了其前任的输出,并且顶部模块创建的表示在音频和视觉领域的下游分类任务中产生了非常有竞争力的结果。该提案能够异步优化模块,允许在未标记的数据集上对非常深的神经网络进行大规模分布式训练。
2020-01-27 cs.AI cs.LG stat.ML
SenDaL: An Effective and Efficient Calibration Framework of Low-Cost Sensors for Daily Life
Inha University(仁荷大学);Chungbuk National University(忠北国立大学)
本文提出 SenDaL 神经网络框架,通过自底向上训练与自顶向下推理融合线性和深度学习模型,为资源受限的低成本 IoT 传感器提供高精度、低延迟且节能的校准方案。
2025-02-12 cs.LG
Zero Time Waste: Recycling Predictions in Early Exit Neural Networks
Jagiellonian University(雅盖隆大学);Warsaw University of Technology(华沙理工大学);Tooploox
减少大型深度学习模型的处理时间的问题是许多现实世界应用中的基本挑战。早期退出方法通过将额外的内部分类器(IC)附加到神经网络的中间层来努力实现这一目标。IC可以快速返回简单示例的预测,从而减少整个模型的平均推理时间。然而,如果一个特定的IC没有决定提前返回答案,它的预测就会被丢弃,计算就会被浪费掉。为了解决这个问题,我们引入了零时间浪费(ZTW),这是一种新的方法,其中每个IC通过(1)在IC之间添加直接连接以及(2)以类似集成的方式组合先前的输出来重用其前任返回的预测。我们在各种数据集和架构上进行了广泛的实验,以证明ZTW比其他最近提出的早期退出方法实现了更好的准确性与推理时间的权衡。
2021-12-05 cs.LG
$Π-$nets: Deep Polynomial Neural Networks
Imperial College London(帝国理工学院);Department of Computing, Imperial College London, UK(帝国理工学院计算机系)
深度卷积神经网络(DCNN)目前是计算机视觉和机器学习中生成学习和判别学习的首选方法。DCNN的成功可以归因于对其构建块的仔细选择(例如,残余块、整流器、复杂的归一化方案,仅举几例)。在本文中,我们提出了$Π$ -Nets,一类新的DCNN。$Π$ -网络是多项式神经网络,即,输出是输入的高阶多项式。$Π$ -网络可以使用特殊类型的跳跃连接来实现,它们的参数可以通过高阶张量来表示。我们凭经验证明,$Π$ -Nets比标准DCNN具有更好的表示能力,并且它们甚至在大量任务和信号中不使用非线性激活函数的情况下产生良好的结果,即,图像、图表和音频。当与激活函数结合使用时,$Π$ -Nets可在具有挑战性的任务(如图像生成)中产生最先进的结果。最后,我们的框架阐明了为什么最近的生成模型,如StyleGAN,改进了他们的前辈,例如,ProGAN。
2020-03-26 cs.CV cs.LG stat.ML
Unified Data Collection for Visual-Inertial Calibration via Deep Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
视觉惯性传感器在机器人领域有着广泛的应用。然而,良好的性能往往需要不同的复杂的运动例程,以准确地校准相机的内在和传感器间的外在。这项工作提出了一种新的配方,学习的运动策略上执行的机器人手臂自动数据汇集校准内在和外在的联合。我们的方法使用无模型深度强化学习对校准过程进行了建模,以导出一种策略,该策略指导持有传感器的机器人手臂的运动,以有效地收集可用于相机内部校准和相机IMU外部校准的测量值。给定当前姿态和收集的测量值,学习策略生成优化传感器校准精度的后续变换。在模拟和一个真正的机器人系统的评估表明,我们学到的政策产生有利的运动轨迹,并有效地收集足够的测量,产生所需的内在和外在的短路径长度。在模拟中,我们能够以比手工制定的策略快10倍的速度执行校准,这比人类专家快3倍。
2021-09-30 cs.LG cs.RO
Benchmark Tests of Convolutional Neural Network and Graph Convolutional Network on HorovodRunner Enabled Spark Clusters
eHealth, Inc.(eHealth公司)
分布式深度学习任务快速迭代的自由对于小公司从大型科技巨头那里获得竞争优势和市场份额至关重要。HorocompetRunner将这一过程带到相对容易获得的火花簇。然而,没有对Horovod Runner本身进行基准测试,也没有专门针对图卷积网络(GCN,以下简称)的基准测试,并且对Horovod(需要定制GPU集群的前身)进行的可扩展性基准测试非常有限。这是第一次,我们表明,对于基于卷积神经网络(CNN,以下简称CNN)的GPU和CPU集群上的任务,Databricks的HoroRounner实现了显著的扩展效率提升,但不是原始的GCN任务。我们还首次在HorocomputRunner中实现了Rectified Adam优化器。
2020-05-12 cs.DC cs.LG
Semantic-Aware Gaussian Process Calibration with Structured Layerwise Kernels for Deep Neural Networks
Next Generation Defence Multidisciplinary Technology Research Center, Pohang University of Science and Technology(下一代国防多学科技术研究中心,POSTECH大学);Department of Electrical Engineering, Pohang University of Science and Technology(电气工程系,POSTECH大学)
本文提出语义感知逐层高斯过程(SAL-GP)框架,通过结构化多层核耦合各层局部校准校正,以捕捉深度网络的层次语义依赖并一致传播预测不确定性,从而提升置信度校准的可解释性与可靠性。
2025-07-21 cs.CV cs.LG
GA-DRL: Graph Neural Network-Augmented Deep Reinforcement Learning for DAG Task Scheduling over Dynamic Vehicular Clouds
Xiamen University(厦门大学);University at Buffalo-SUNY(纽约州立大学布法罗分校);Jimei University(集美大学);North Carolina State University(北卡罗来纳州立大学)
针对动态车载云上的DAG任务调度问题,提出GA-DRL方案,采用多头图注意力网络双向聚合拓扑特征并引入非均匀邻域采样,结合双深度Q网络实现子任务到车辆的分配,有效缩短了任务完成时间。
2023-07-03 cs.AI cs.LG
A Hybrid Deep Learning Model for Predictive Flood Warning and Situation Awareness using Channel Network Sensors Data
University of Delaware(特拉华大学);Texas A&M University(德克萨斯A&M大学)
本研究的目的是创建和测试一个混合深度学习模型FastGRNN-FCN(快速、准确、稳定和微小的门控递归神经网络-全卷积网络),用于使用通道网络传感器数据进行城市洪水预测和态势感知。该研究使用得克萨斯州哈里斯县作为试验台,并从三个历史洪水事件(例如,2016年纳税日洪水、2016年阵亡将士纪念日洪水和2017年哈维飓风洪水),用于训练和验证混合深度学习模型。洪水数据被分成一个多变量的时间序列,并作为模型的输入。每个输入包括九个变量,包括所研究的信道传感器及其在信道网络中的前趋和后继传感器的信息。采用查准率-查全率曲线和F-测度来确定最优模型参数集。通过对不同的权值和阈值的考察,经过100次迭代,得到了权值为1、临界阈值为0.59的最优模型。测试准确率和F-测度最终分别达到97.8%和0.792。然后,该模型在预测2019年休斯顿伊梅尔达洪水中进行了测试,结果显示与经验洪水非常匹配。结果表明,该模型能够准确预测洪水的时空传播和衰退,并提供了一个预测性的洪水预警工具,优先洪水响应和资源分配策略的应急响应官员。
2020-09-08 cs.LG eess.SP stat.ML
Meta-learning to Calibrate Gaussian Processes with Deep Kernels for Regression Uncertainty Estimation
NTT Communication Science Laboratories, NTT Corporation(NTT集团NTT通信科学实验室);NTT Computer and Data Science Laboratories, NTT Corporation(NTT集团NTT计算机与数据科学实验室)
针对深度核高斯过程在少样本回归任务中不确定性估计性能不佳的问题,提出一种端到端元学习校准方法,通过任务共享GP编码器和任务特定GMM变换实现无迭代校准,在真实数据集上兼顾了回归精度与不确定性估计性能。
2023-12-13 cs.AI cs.LG stat.ML
Two-stage WECC Composite Load Modeling: A Double Deep Q-Learning Networks Approach
GEIRI North America(北美GEIRI研究院);Southern Methodist University(南卫理公会大学)
随着现代电力系统复杂性的增加,传统的动态负荷模型与ZIP和感应电动机(ZIP + IM)不再足以解决当前的负荷特性的转变。近年来,WECC复合负荷模型(WECC CLM)在各种稳定性研究和事故分析中显示出比传统负荷模型更有效地捕捉动态负荷响应。然而,详细的WECC CLM模型通常具有高度的复杂性,具有超过一百个参数,并且没有系统的方法来识别和校准这些参数。通过PMU和高级深度学习算法的广泛部署,本文提出了一种基于双深度Q学习网络(DDQN)的WECC CLM两阶段负载建模框架。这种两阶段方法分解了复杂的WECC CLM,以实现更有效的识别,并且不需要明确的模型细节。在第一阶段,DDQN代理确定准确的负载组成。在第二阶段中,WECC CLM的参数是从一组Monte-Carlo模拟中选择的。所选的负载参数集预期最接近真实的瞬态响应。所提出的框架进行了验证,使用IEEE 39总线测试系统的商业仿真平台。
2020-04-15 cs.LG cs.SY eess.SP
Designing Accurate Emulators for Scientific Processes using Calibration-Driven Deep Models
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Arizona State University(亚利桑那州立大学)
准确模拟复杂科学过程的预测模型可以在数值模拟器或实验上实现指数加速,同时为改进后续分析提供替代。因此,最近出现了利用现代机器学习(ML)方法(例如深度神经网络)来构建数据驱动仿真器的热潮。虽然大多数现有的努力都集中在定制现成的ML解决方案,以更好地适应手头的科学问题,但我们研究了一个经常被忽视但很重要的问题,即选择损失函数来衡量观测数据与模型预测之间的差异。由于缺乏对期望残差结构的更好的先验,在实践中,做出简单的选择,例如均方误差和平均绝对误差。然而,固有的对称噪声的假设,这些损失函数,使他们不适当的情况下,数据是异构的或噪声分布是不对称的。我们提出了校准学习(LbC),这是一种基于区间校准的新型深度学习方法,用于设计科学应用中的仿真器,即使使用异构数据也有效,并且对离群值具有鲁棒性。使用大量的用例,我们表明LbC在广泛采用的损失函数选择上提供了泛化误差的显着改进,即使在小数据情况下也能实现高质量的仿真器,更重要的是,在没有任何显式先验的情况下恢复了固有的噪声结构。
2020-05-05 cs.LG physics.data-an stat.ML
Graph Neural Networks for Node-Level Predictions
JKU - Institute of Computational Perception(JKU - 计算感知研究所)
深度学习的成功彻底改变了许多研究领域,包括计算机视觉、文本和语音处理领域。大量的研究工作已经产生了许多能够有效分析数据的方法,特别是在欧几里得空间中。然而,许多问题提出了在非欧域建模为一般图与复杂的连接模式。问题复杂性的增加和计算能力的限制限制了静态和小尺寸图的早期方法。近年来,人们对图结构数据的机器学习的兴趣日益浓厚,同时也伴随着克服其前辈局限性的改进方法。这些方法为处理大规模和时间动态图形铺平了道路。这项工作的目的是提供一个早期和现代的图神经网络为基础的机器学习方法的节点级预测任务的概述。在文献中已经建立的分类法的保护伞下,我们解释了核心概念,并为具有强大影响力的卷积方法提供了详细的解释。此外,我们还介绍了常见的基准测试,并介绍了来自各个领域的选定应用程序。最后,我们讨论了进一步研究的开放问题。
2020-06-22 cs.LG stat.ML
A Markerless Deep Learning-based 6 Degrees of Freedom PoseEstimation for with Mobile Robots using RGB Data
Technical University of Berlin(柏林工业大学)
增强现实由于其增强人机交互和理解的能力而在行业内受到各种集成努力。神经网络在计算机视觉领域取得了显著的成果,这在帮助和促进增强的增强现实体验方面具有巨大的潜力。然而,大多数神经网络是计算密集型的,并且需要巨大的处理能力,因此不适合部署在增强现实设备上。在这项工作中,我们提出了一种方法来部署最先进的神经网络的实时三维物体定位的增强现实设备。因此,我们提供了一种更自动化的方法来校准具有移动机器人系统的AR设备。为了加速校准过程并增强用户体验,我们专注于快速2D检测方法,该方法仅使用2D输入快速准确地提取物体的3D姿态。结果实现到一个增强现实应用程序直观的机器人控制和传感器数据可视化。对于2D图像的6D注释,我们开发了一个注释工具,据我们所知,这是第一个可用的开源工具。我们实现了可行的结果,这是普遍适用于任何AR设备,从而使这项工作有前途的进一步研究,在结合高要求的神经网络与物联网设备。
2020-01-16 cs.CV cs.LG cs.RO
From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks
本文面向哲学、认知科学等领域读者,综述机器学习领域关于组合性的实证研究,介绍赋予神经网络组合泛化能力的两种方法,指出LLM预训练可视为元学习并带来该能力,探讨其对人类认知研究的启示与未来方向。
2025-09-04 cs.AI cs.LG cs.NE
A Deep Risk Estimator for Known Operator Learning
Pattern Recognition Lab(模式识别实验室);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学)
本文提出一种深度风险估计器,用于估计包含学习和已知算子的深度网络的统计风险,通过分解总风险并分析各层贡献,验证了替换学习层为已知算子可降低界,并应用于CT重建和物理引导神经网络。
2026-05-08 cs.CV cs.LG physics.med-ph