Recalibration of Predictive Models as Approximate Probabilistic Updates
预测模型的输出通常通过将低水平的预测与在更高水平的聚合中定义的已知导出量进行协调来重新校准。例如,可以调整预测美国选举中个人投票率概率的模型,使其聚合与每个州的观察到的投票总数相匹配,从而产生更好的校准预测。在本研究报告中,我们为最常用的重新校准策略之一提供了理论基础,俗称为“logit偏移”。“通常作为启发式优化问题(由此找到调整,使其最大限度地减少聚合预测和目标总数之间的差异),我们表明,logit偏移实际上提供了一个快速准确的近似原则,但通常计算不切实际的调整策略:计算后验预测概率,以目标总数为条件。在推导出近似质量的解析界后,我们使用蒙特卡罗模拟说明了该方法的准确性。模拟还证实了有关简单logit偏移用户可以期望其表现最佳的场景的分析结果--即,当聚合目标由许多个体预测组成时,以及当真实概率的分布对称且紧密地围绕0.5时。
2021-12-10 math.ST stat.AP stat.ME
Model-Free Local Recalibration of Neural Networks
University of Brasília(巴西利亚大学);National University of Singapore(新加坡国立大学);University of New South Wales, Sydney(新南威尔士大学(悉尼))
针对人工神经网络预测不确定性量化难、现有校准方法存在局限的问题,提出基于隐藏层降维表征的局部重校准方法,经模拟和真实数据集验证有效提升了预测与不确定性量化效果。
2024-03-09 cs.LG stat.ME
Reconciliation of probabilistic forecasts with an application to wind power
提出了新的方法来调整概率预测,以确保与时间层次结构中固有的聚合约束的一致性。嵌套在这个框架中的不同方法包括利用层次结构的所有级别的信息的方法,以及基于交叉验证的新方法。该方法进行评估,使用真实的数据从两个风电场在克里特岛,应用程序,它是必要的最佳决策相关的电网运营和投标策略的基础上连贯的概率预测的风力发电。经验证据也表明,概率预测和解提高点预测和概率预测的准确性。
2018-08-08 stat.ME
Tail calibration of probabilistic forecasts
针对现有概率预测评估方法不适用于尾部特性评估的问题,提出概率预测尾部校准的通用概念,探究其与标准校准概念的关联及和极值理论超阈值峰模型的联系,还提出诊断工具并应用于欧洲降水预测案例。
2025-05-22 stat.ME
Nonlinear Probabilistic Forecast Reconciliation
SUPSI, Institute for Applied Sustainability in the Built Environment(应用建筑环境可持续发展研究所);IDSIA (USI-SUPSI), Dalle Molle Institute for Artifical Intelligence(达勒莫勒人工智能研究所)
本文首次提出处理非线性约束的概率预测协调方法,通过投影和条件化两种方法提升预测准确性,UKF方法在速度和性能上表现最佳。
2026-09-18 stat.ME
An Interval-Score ROC Curve for Assessment, Calibration and Ensembling of Probabilistic Forecasts
University of Pavia(帕维亚大学)
该研究针对概率预测评估的多目标特性,提出IS-ROC曲线框架,结合几何方法实现预测校准与集成,为预测比较等提供了实用方案。
2026-07-31 stat.ME
Calibrated Multivariate Regression with Localized PIT Mappings
National University of Singapore(新加坡国立大学);University of Brasília(巴西利亚大学);University of New South Wales(新南威尔士大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出一种新颖的后验校准方法,通过构建边际概率积分变换向量与观测空间的局部映射,解决潜在不规范模型的多元校准问题,适用于连续、离散和混合响应。
2024-09-17 stat.ME stat.ML
End-to-end probabilistic hierarchical forecasting of large hierarchies via probabilistic top-down
SUPSI, Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(瑞士应用科学与艺术大学,达勒·莫莱人工智能研究学院)
提出e2eTD方法,仅预测少量聚合序列,通过概率自上而下采样传播到底层,实现大规模层次时间序列的快速、可扩展概率一致预测,在M5和Favorita数据集上取得最优加权缩放分位数损失。
2026-07-31 stat.AP stat.ME
Cross-calibration of probabilistic forecasts
当为不确定的未来事件提供概率预测时,通常会努力进行校准预测,即预测分布应该与观察到的结果兼容。在单一预报员的情况下,有几种校准概念,以及诊断工具和统计检验,以评估实际校准情况。通常,有不止一个预报员提供预测,这些预报员可能使用其他人的信息,因此相互影响。我们扩展了常见的校准概念,每个预报员单独分析,交叉校准的概念,每个预报员分析相对于其他预报员在一个自然的方式。理论和模拟研究表明,交叉校准比校准对预报员的要求更高。类似于个别预报员的校准,我们提供诊断工具和统计测试,以评估预报员的交叉校准。该方法在模拟的例子中示出,并适用于概率预测通货膨胀率的英格兰银行。
2015-05-20 math.ST stat.ME stat.TH
Assessing the calibration of multivariate probabilistic forecasts
本文提出简单预秩函数方法,使预报员能根据所需信息灵活评估多元概率预报的位置、尺度和相依结构,并利用e值进行多元校准性检验,在风速预报应用中验证其有效性。
2023-07-11 stat.AP stat.ME
Probabilistic forecasting of heterogeneous consumer transaction-sales time series
我们提出了新的贝叶斯方法的消费者销售预测。重点是多步提前预测的日常销售的许多超市项目,我们适应动态计数混合模型来预测个人客户的交易,并引入新的动态二进制级联模型来预测每笔交易的项目计数。这些交易-销售模型可以结合随时间变化的趋势、季节、价格、促销、随机效应和针对单个项目的其他特定于出口的预测因素。序贯贝叶斯分析涉及对解耦项集的快速、并行过滤,并且可跨可能表现出广泛变化的特征的项进行适应性调整。多尺度方法允许随着时间的推移在具有相关模式的项目之间共享信息,以提高预测,同时保持对许多项目的可伸缩性。一个激励性的案例研究,在多项目,多周期,多步提前超市销售预测提供的例子,证明提高预测精度在多个指标,并说明了预测精度评估和比较的全概率模型的好处。保留字:贝叶斯预测去耦/重新耦合;动态二元级联预报校正;间歇性需求;多尺度预测;预测罕见事件;每笔交易的销售额;超市销售预测
2018-08-20 stat.AP stat.ME
Optimal probabilistic forecasts: When do they work?
适当的评分规则用于评估概率预测的样本外准确性,不同的评分规则奖励预测性能的不同方面。在这里,我们重新调查的做法,使用适当的评分规则,以产生概率预测是“最佳”根据给定的分数,并评估其样本外的准确性优于替代预测,根据该分数。特别注意的是相对的预测性能下的预测模型的误指定。使用数字插图,我们记录了几个新的发现,在这个范例中,突出了真实的数据生成过程,假设的预测模型和评分规则之间的重要相互作用。值得注意的是,我们表明,只有当一个预测模型与真实过程充分兼容,允许一个特定的评分标准来奖励它的设计奖励,这种预测方法才能获得好处。然而,受这种兼容性的影响,最佳预测的优越性将更大,错误设定的程度越大。我们在一系列不同的场景下探索这些问题,并使用人工模拟和经验数据。
2020-09-21 econ.EM stat.ME
Sequential Aggregation of Probabilistic Forecasts -- Applicaton to Wind Speed Ensemble Forecasts
在数值天气预报(NWP)领域中,大气未来状态的概率分布是用类似蒙特卡罗的模拟进行采样的,称为集合。这些集合有缺陷(如条件偏差),可以通过统计后处理方法进行纠正。存在几个集合,可以用不同的统计方法进行校正。进一步的步骤是组合这些原始或后处理的集合。专家建议的预测理论使我们能够构建具有预测性能理论保证的组合算法。本文将这一理论应用于以逐步累积分布函数(CDF)形式发布的概率预测。该理论应用于风速预测,通过结合几个原始或后处理的合奏,被认为是CDF。本研究的第二个目标是探索两个预测性能标准的使用:连续排名概率得分(CRPS)和Jolliffe-Primo检验。比较这两个标准得到的结果导致重新考虑通常的方式来建立熟练的概率预测,最小化的CRPS的基础上。根据Jolliffe-Primo检验,最小化CRPS并不一定会产生可靠的预测。Jolliffe-Primo检验通常选择可靠的预测,但可能导致发布CRPS方面的次优预测。建议使用这两个标准,以实现可靠和熟练的概率预测。
2020-05-07 stat.AP stat.ME stat.ML
Orbit: Probabilistic Forecast with Exponential Smoothing
时间序列预测是学术界和工业界的一个活跃的研究课题。虽然我们看到越来越多的机器学习方法被用于解决其中一些预测挑战,但统计方法在处理低粒度数据时仍然很强大。本文介绍了一种改进的贝叶斯指数平滑模型的帮助下,概率编程语言,包括斯坦。我们的模型改进包括额外的全球趋势,乘法形式的转换,噪声分布和先验的选择。一个基准研究进行了一组丰富的时间序列数据集,我们的模型以及其他知名的时间序列模型。
2021-01-22 stat.CO stat.ME
Probabilistic Forecasting for Daily Electricity Loads and Quantiles for Curve-to-Curve Regression
电力负荷曲线的概率预测对于在日益波动和竞争激烈的能源市场中进行有效的调度和决策至关重要。我们提出了一种新的方法来构建概率预测曲线(PPC),这导致了一个自然的和新的分位数的定义曲线到曲线线性回归的上下文中。PPC有三种类型:预测集、预测带和预测分位数,所有这些都是在预先指定的名义概率水平上定义的。在仿真研究中,PPC在多种数据生成机制下都能获得较好的覆盖概率。在法国日负荷曲线的一天前预测中,PPC在预测精度、覆盖率和预测带平均长度方面优于几种最先进的预测方法。预测分位数曲线提供了有见地的信息,这是高度相关的电力供应管理中的对冲风险。
2020-11-11 stat.AP stat.ME
Evaluating real-time probabilistic forecasts with application to National Basketball Association outcome prediction
出于评估在国家篮球协会的主队获胜概率的实时预测的目标,我们开发了新的工具来衡量不断更新的概率预测的质量。这包括引入校准表面图,和简单的图形摘要,以评估一目了然是否给定的连续更新的概率预测方法是良好的校准,以及开发统计测试和图形工具,以评估技能,或相对性能,两个竞争的连续更新的预测方法。通过模拟篮球比赛的蒙特卡罗模拟研究来研究这些工具,并在应用程序中演示,以评估总部位于美国的跨国体育网络ESPN在其主要网页{ \tt espn.com}上发布的不断更新的预测。这个应用程序提供了统计证据,表明那里发布的预测是经过良好校准的,并且表现出比几个简单模型更高的技能,但并没有证明比简单的逻辑斯谛回归模型有显著提高的技能,这些模型仅仅基于对每个团队的相对实力的测量,以及整个游戏中不断变化的得分差异。
2020-10-02 stat.AP stat.ME
Neural Network Middle-Term Probabilistic Forecasting of Daily Power Consumption
中期(数月至一年)的电力消耗预测是能源行业的主要挑战,特别是在考虑概率预测时。我们提出了一种新的建模方法,将趋势,季节性和天气条件,解释变量在一个浅神经网络与自回归功能。我们获得了良好的结果,密度预测的一年的测试集,将其应用于美国新英格兰地区的每日用电量。所实现的电力消耗概率预测的质量已得到验证,一方面,将结果与其他标准模型进行密度预测,另一方面,考虑到能源部门经常使用的措施,如弹球损失和CI回测。
2022-01-02 eess.SP stat.ME stat.ML
Adaptive Probabilistic Forecasting of Electricity (Net-)Load
本文提出基于 Kalman filter、残差分位数回归与在线专家聚合的自适应概率电力负荷预测方法,并在英国净负荷和美国七城需求数据上验证其显著提升点预测与概率预测性能。
2023-04-24 stat.AP stat.ME stat.ML
A review of machine learning concepts and methods for addressing challenges in probabilistic hydrological post-processing and forecasting
National Technical University of Athens(雅典国立技术大学);Hellenic Air Force(希腊空军)
概率预报在包括水文学在内的各种应用领域中日益受到重视。几个机器学习概念和方法对于解决形式化和优化概率预测实现的主要挑战以及识别这些实现中最有用的实现的同样重要的挑战是显著相关的。尽管如此,注重实际的审查,这些概念和方法,以及如何可以有效地利用这些在上述基本的努力,目前失踪的概率水文预报文献。尽管在同一文献中,从机器学习中受益的研究工作明显加强,但这种缺乏仍然存在。尽管最近出现了实质性的相关进展,特别是在概率水文后处理领域,传统上为水文学家提供概率水文预报实施,但它也成立。我们的目标是填补这一空白。在我们的审查中,我们强调可以导致有效普及的关键思想和信息,因为这种强调可以支持未来的成功实施和进一步的科学发展。在同一个前瞻性的方向,我们确定开放的研究问题,并提出想法,在未来进行探索。
2022-10-30 cs.LG stat.AP stat.ME
An intuitive rearranging of the Yates covariance decomposition for probabilistic verification of forecasts with the Brier score
Methods of Plasticity Research, Department of Psychology, University of Zurich(塑性研究方法、心理学系、苏黎世大学)
提出Brier评分Yates协方差分解的简单代数重排,得到三个独立非负项,揭示完美预报的最优条件。
2026-06-23 cs.LG stat.AP stat.ME
Sequentially valid inference for probabilistic inflation forecasts
University of St. Gallen(圣加仑大学);ETH Zürich, KOF Swiss Economic Institute(苏黎世联邦理工学院,KOF瑞士经济研究所);ETH Zürich, Seminar for Statistics(苏黎世联邦理工学院,统计学系)
本研究针对概率预测校准的序贯评估难题,提出基于e-value的序贯检验方法,将其应用于美、欧元区、瑞士的通胀预测,可捕捉静态检验遗漏的结构断裂期校准问题,为宏观经济预测校准评估提供实用方法。
2026-08-25 econ.EM stat.AP stat.ME
Quantile Regression for Qualifying Match of GEFCom2017 Probabilistic Load Forecasting
我们提出了一种简单的基于分位数回归的预测方法,并将其应用于2017年全球能源预测竞赛(GEFCom 2017)的概率负荷预测框架中。每小时负荷数据经过对数转换并分为长期趋势分量和剩余项。关键的预测要素是剩余期的分位数回归方法,该方法考虑到每周和每年的季节性,例如它们的相互作用。温度信息仅用于稳定长期趋势分量的预测。公众假期信息被忽略。尽管如此,预测方法在开放数据跟踪中排名第二,在确定数据跟踪中排名第四,这是显着的模型简单。该方法也始终优于Vanilla基准。
2018-09-10 stat.AP stat.CO stat.ME
Deep Generative Spatiotemporal Engression for Probabilistic Forecasting of Epidemics
Safir, Sorbonne University Abu Dhabi, United Arab Emirates(萨菲尔,索邦大学阿布扎赫德分校,阿联酋);SCAI, Sorbonne Université, Paris, France(SCAI,索邦大学巴黎分校,法国)
针对复杂时空依赖的流行病预测难题,提出深度时空回归法,通过轻量级生成架构内量化不确定性,经采样生成概率预测,在多数据集表现优,还探索了可解释性以助公共卫生干预。
2026-07-07 cs.LG stat.ME stat.ML
Probabilistic water demand forecasting using quantile regression algorithms
University of Patras(帕特雷大学);Roma Tre University(罗马第三大学);National Technical University of Athens(雅典国立技术大学)
机器和统计学习算法可以可靠地自动化并大规模应用。因此,它们可以成为设计实用预测系统的重要资产,例如与城市用水需求有关的预测系统。分位数回归算法是一种统计和机器学习算法,可以以简单的方式提供概率预测,迄今为止尚未应用于城市需水量预测。在这项工作中,我们的目标是填补这一空白,自动化和广泛比较几个基于分位数回归的实用系统的概率提前一天的城市用水量预测。为了设计实际的系统,我们使用五个单独的算法(即,分位数回归、线性提升、广义随机森林、梯度提升机和分位数回归神经网络算法),它们的均值组合器和中值组合器。比较是通过利用一个大型的城市水流量数据集,以及几种类型的水文气象时间序列(被认为是预测设置中的外生预测变量)。结果大多有利于使用线性升压算法设计的实际系统,可能是由于城市水流量时间序列中存在的趋势。平均值和中位数组合的预测也被发现是熟练的一般条款。
2021-04-16 cs.LG stat.ME stat.ML
ProbRes: Volatility Learning for Probabilistic Time-Series Forecasting
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
提出ProbRes,一种事后概率校准方法,通过显式学习波动率动态来改进概率预测,有效处理异方差数据,并在理论和实验上验证其有效性。
2026-06-01 cs.LG stat.ME stat.ML
A Worrying Analysis of Probabilistic Time-series Models for Sales Forecasting
NAVER CLOVA;NAVER AI LAB(NAVER人工智能实验室)
概率时间序列模型在预测领域变得流行,因为它们有助于在不确定性下做出最优决策。尽管兴趣越来越大,但缺乏彻底的分析阻碍了选择值得申请的任务。在本文中,我们分析了三个突出的概率时间序列模型的销售预测的性能。为了消除随机机会对体系结构性能的影响,我们提出了两个实验原则:1)具有各种交叉验证集的大规模数据集。2)标准化训练和超参数选择。实验结果表明,一个简单的多层感知器和线性回归优于RMSE的概率模型,没有任何特征工程。总的来说,概率模型在点估计方面,如RMSE和MAPE,未能达到比简单基线更好的性能。我们分析和讨论概率时间序列模型的性能。
2020-11-21 cs.AI cs.LG stat.CO
Proper Scoring Rules for Multivariate Probabilistic Forecasts based on Aggregation and Transformation
本文提出基于聚合与变换构建多元恰当评分规则的框架,以可解释方式刻画预测的特定特征,并通过文献示例和数值实验验证其优势及连接空间验证工具的价值。
2024-06-30 math.ST stat.AP stat.ME
Deep Distributional Time Series Models and the Probabilistic Forecasting of Intraday Electricity Prices
本文基于回声状态网络提出两种深度时间序列概率模型,并利用贝叶斯MCMC方法估计,在澳大利亚国家电力市场数据上实现了高精度的日内电价短期概率预测,其中隐式Copula模型表现最优。
2021-05-27 econ.EM stat.AP stat.CO
Evaluating probabilistic forecasts of extremes using continuous ranked probability score distributions
极端事件的概率预测是一个非常活跃的研究领域,因为大众媒体和公众舆论自然会关注极端事件,并且很容易得出有偏见的结论。在这种情况下,为极端事件定制的经典验证方法,如阈值和加权评分规则,具有无法缓解的不良特性,众所周知的连续排名概率得分(CRPS)也不例外。在本文中,我们定义了一个正式的框架来评估极端事件的预测评估程序的行为,我们用它来证明,评估的基础上期望一个适当的分数是不适合极端。另外,我们建议研究的CRPS作为一个随机变量的属性,通过使用极值理论来解决极端事件验证。引入了一个指数来比较校准的预测,它总结了概率预测预测极端的能力。这种方法的优点和局限性进行了讨论,使用理论论证和模拟。
2023-02-08 math.ST stat.AP stat.ME