An Interval-Score ROC Curve for Assessment, Calibration and Ensembling of Probabilistic Forecasts
University of Pavia（帕维亚大学）
该研究针对概率预测评估的多目标特性，提出IS-ROC曲线框架，结合几何方法实现预测校准与集成，为预测比较等提供了实用方案。
2026-07-31 stat.ME
Likelihood Inference for Models with Unobservables: Another View
统计学家之间一直存在争议：（i）模型是什么;（ii）如何从不可观测的模型中进行推断。一个这样的争议涉及的差异估计方法的边际手段不一定有一个概率的基础和统计模型具有不可观测的概率基础。另一个问题涉及基于似然性的推断与不可观测的统计模型。这需要一个扩展的可能性框架，我们将展示如何这样一个扩展，分层的可能性，允许这样做。对不可观测量的建模导致了丰富的新概率模型，从这些模型中可以自然地用分层似然法进行似然型推断。
2010-10-06 stat.ME
Population Calibration using Likelihood-Free Bayesian Inference
在本文中，我们开发了一种无似然性的人口校准方法，它涉及到找到模型参数的分布时，通过模型产生一组输出，匹配现有的人口数据。与大多数其他方法人口校准，我们的方法产生的不确定性量化的估计分布。此外，该方法可以应用于任何群体校准问题，无论感兴趣的模型是确定性的还是随机的，或者无论群体数据是在有或没有测量误差的情况下观察到的。我们演示了几个例子，包括一个真实的数据的方法。我们还讨论了该方法的计算限制。这里开发的方法立即应用于医学研究的许多领域，包括癌症，COVID-19，药物开发和心脏病学。
2022-02-04 stat.CO stat.ME
Cross-calibration of probabilistic forecasts
当为不确定的未来事件提供概率预测时，通常会努力进行校准预测，即预测分布应该与观察到的结果兼容。在单一预报员的情况下，有几种校准概念，以及诊断工具和统计检验，以评估实际校准情况。通常，有不止一个预报员提供预测，这些预报员可能使用其他人的信息，因此相互影响。我们扩展了常见的校准概念，每个预报员单独分析，交叉校准的概念，每个预报员分析相对于其他预报员在一个自然的方式。理论和模拟研究表明，交叉校准比校准对预报员的要求更高。类似于个别预报员的校准，我们提供诊断工具和统计测试，以评估预报员的交叉校准。该方法在模拟的例子中示出，并适用于概率预测通货膨胀率的英格兰银行。
2015-05-20 math.ST stat.ME stat.TH
Soft Mean Expected Calibration Error (SMECE): A Calibration Metric for Probabilistic Labels
本文提出SMECE，用于处理概率性质的标签，改进了传统ECE在处理概率标签时的不足，通过替换硬标签分数为样本平均概率标签，实现了更准确的校准度量。
2026-03-14 cs.LG stat.ME
Hypothesis testing for two population means: parametric or non-parametric test?
参数Welch $t$检验和非参数Wilcoxon-Mann-Whitney检验是最常用的两个独立样本均值检验。最近的检验方法包括非参数、经验似然和指数经验似然。然而，这些非参数似然检验程序的适用性是有限的，部分原因是它们倾向于在小样本中夸大第一类错误。为了规避第一类错误的问题，我们提出了简单的校准使用的$t$分布和自举。然后将两种非参数似然检验程序（有和无这些校准）与Wilcoxon-Mann-Whitney检验和Welch $t$检验进行比较。通过广泛的蒙特卡罗模拟的理由，第一类错误和权力的小/中等大小的样本中产生的各种非正态人群的比较。模拟研究清楚地表明：a）$t$校准改善了经验似然的I类误差，b）自助校准改善了两种非参数似然的I类误差，c）有或没有自助校准的Welch $t$检验达到了第一类错误，并产生了与前一种检验程序相似的功效水平，以及d）Wilcoxon-Mann-Whitney检验产生膨胀的第一类错误，而在存在与离散数据的关系的情况下，精确p值的计算是不可行的。此外，一个应用程序，以真正的基因表达数据说明了计算成本高，因此不切实际的非参数似然。总体而言，韦尔奇t检验，这是高度计算效率和易于解释，被证明是最好的方法时，测试两个人口的平均值相等。
2019-10-04 stat.ME
Inference from Sampling with Response Probabilities Estimated via Calibration
Institut de Statistique, Université de Neuchâtel（纳沙泰尔大学统计研究所）
该研究构建通用框架比较校准法与极大似然法估计响应概率的抽样推断效果，证明校准法所得估计量渐近无偏、具双重稳健性且有效率增益，还分析了相关估计问题并通过模拟验证。
2023-10-26 stat.ME
Generalized probabilistic principal component analysis of correlated data
主成分分析（PCA）是机器学习和数据处理中的成熟工具。假设潜在因子独立分布为标准正态分布，主成分分析中的主轴等价于潜在因子模型中因子载荷矩阵的最大边际似然估计。然而，独立性假设可能是不切实际的许多情况下，如建模多个时间序列，空间过程和功能数据，其中的结果是相关的。本文引入广义概率主成分分析（GPPCA）研究多个相关结果的潜在因素模型，其中每个因素都由一个高斯过程建模。我们的方法概括了以前的概率PCA（PPCA）的制定，通过提供封闭形式的最大边际似然估计的因素负荷和其他参数。基于我们推导出的精度矩阵在边缘似然中的显式表达式，计算操作的数量与输出变量的数量成线性关系。此外，当均值结构中包含其他协变量时，我们还给出了边际似然的封闭形式。我们强调GPPCA的优势，在实际的相关性，估计精度和计算方便。模拟和真实数据的数值研究证实了所提出的方法的优秀的有限样本性能。
2019-10-24 stat.ME
Adjusted composite likelihood for robust Bayesian meta-analysis
复合似然是一种非真实似然函数，它允许对模型的有限方面进行推断，例如边际或条件分布。复合似然不是正确的似然，因此需要从频率论和贝叶斯的角度对其在推断中的使用进行校准。复合似然的最大化可以作为一个估计量，其方差通过适当定义的三明治矩阵进行评估。在贝叶斯设置中，复合似然可以通过幅度和曲率方法进行调整。幅度方法意味着将可能性提高到一个常数，而曲率方法意味着通过平移、重新缩放和旋转参数向量来评估不同点处的可能性。一些作者认为曲率方法总体上更可靠，但其他人证明幅度方法足以恢复例如检验统计量的零分布。我们提出了一个简单的校准的边缘后验分布的标量参数的兴趣，这是不变的单调和光滑的变换。例如，在医学统计学中，这就足够了，其中单个标量效应度量通常是目标。
2021-04-05 stat.ME
Scalable calibration of individual-based epidemic models through categorical approximations
University of Bristol（布里斯托大学）；Lancaster University（兰卡斯特大学）；Imperial College London（帝国理工学院）
本文提出了一种基于分类分布的确定性方法，用于近似个体基础流行病模型的似然，从而实现高效的参数估计和大规模应用。
2026-01-26 stat.ME
Pathwise Shrinkage and Probabilistic Calibration of the Multiplicative Half-Cauchy Process
Bristol Myers Squibb（百时美施贵宝）
该研究刻画乘法半柯西过程的性质，推导半解析校准规则，建立其收缩、扩张等特性，关联可解释先验概率与尺度参数。
2026-10-16 cs.LG math.PR math.ST
Copula Calibration
我们提出了校准的概念一般多变量量的概率预测。概率copula校准是单变量设置中概率校准的自然模拟。它可以通过检查Copula概率积分变换（CopPIT）的均匀性来进行经验评估，CopPIT在预测分布和结果的坐标排列和坐标严格单调变换下是不变的。CopPIT直方图可以被解释为多变量秩直方图的推广和变体，多变量秩直方图已被用于检查集合预报的校准。气候copula校准是单变量设置中的边际校准的类似物。方法和工具的说明，在模拟研究和应用比较原始的数值模式和统计后处理集合预报的双变量风矢量。
2013-07-29 math.ST stat.ME stat.TH
Assessing the calibration of multivariate probabilistic forecasts
本文提出简单预秩函数方法，使预报员能根据所需信息灵活评估多元概率预报的位置、尺度和相依结构，并利用e值进行多元校准性检验，在风速预报应用中验证其有效性。
2023-07-11 stat.AP stat.ME
Assessing the calibration of high-dimensional ensemble forecasts using rank histograms
任何依赖于对未来事件的概率性预测的决策过程都需要校准预测。本文提出了新的方法，经验评估预测校准在多元设置的概率预测是由一个合奏的同等可能的预测方案。多变量属性通过预排名函数映射到单个维度，随后通过观察的预排名的排名直方图对校准进行视觉评估。平均排序根据平均单变量排序分配一个预排序，而波段深度排序采用功能波段深度的概念，评估预报集合中观测的中心性。几个模拟例子和德国柏林泰格尔机场的温度预测轨迹的案例研究表明，这两种多变量排名方法可以成功地检测到各种来源的误校准和规模有效地高维设置。
2014-06-30 stat.ME
Sample Empirical Likelihood Methods for Causal Inference
本文提出基于两样本经验似然函数的平均处理效应估计与推断框架，开发两种引入倾向得分的方法，所得估计量具双重稳健性，并推导了统计量极限分布以支持置信区间构建和假设检验。
2024-03-24 stat.ME
Calibration Scoring Rules for Practical Prediction Training
在对预测者的概率预测质量进行评分的情况下，标准做法是使用“适当的”评分规则进行评分。这些规则是可取的，因为它们没有激励预测者在概率信念上撒谎。然而，在创建旨在帮助人们通过预测实践改进校准的培训计划的现实世界背景下，评分规则有各种超出适当性的理想特征。这些可能会对用户体验、程序的可用性或学习效率产生重大影响。适当的评分规则的空间太宽，在这个意义上，大多数适当的评分规则缺乏这些其他期望的属性。另一方面，适当的评分规则的空间也可能太窄，在这个意义上，我们有时可能会选择放弃适当性，当它与其他属性相冲突时，从可用性和有效培训的角度来看，这些属性甚至更可取。我们引入了一类评分规则，我们称之为“实用”的评分规则，旨在直观的情况下，用户的“正确”与“错误”的概率预测。我们还介绍了两个具体的评分规则的预测区间，“距离”和“数量级”规则。这些规则旨在满足基于用户测试的各种属性，我们认为这些属性对于应用校准训练是理想的。
2020-08-23 stat.ME
Probabilistic Gradients for Fast Calibration of Differential Equation Models
The Alan Turing Institute（阿兰·图灵研究所）；Imperial College London（帝国理工学院）
根据观测或实验数据对大规模微分方程模型进行校准是应用科学和工程领域的一个普遍挑战。现有技术校准方法中的关键瓶颈是局部灵敏度的计算，即损失函数相对于估计参数的导数，这通常需要对偏微分方程或常微分方程的基础系统进行若干数值求解。在本文中，我们提出了一种新的概率方法来计算局部灵敏度。所提出的方法有几个优点，比经典的方法。首先，它在一个受约束的计算预算内运行，并提供了一个概率量化的不确定性引起的敏感性，从这个约束。其次，来自先前灵敏度估计的信息可以在后续计算中回收，从而减少了基于迭代梯度的校准方法的总体计算工作量。所提出的方法被应用到两个具有挑战性的测试问题，并与经典的方法进行比较。
2021-02-22 cs.LG cs.NA math.NA
Regularized Bayesian calibration and scoring of the WD-FAB IRT model improves predictive performance over marginal maximum likelihood
项目反应理论（IRT）是一种统计学范式，它是测试反应的主要生成概率模型家族的基础，用于量化个体相对于目标人群的特质。分级反应模型（Graded Response Model，GRM）是一种特殊的IRT模型，用于有序多分类测试反应。GRM和其他IRT模型的开发和应用都需要统计决策。为了制定这些模型（校准），需要决定项目选择，推理和正则化的方法。为了应用这些模型（测试评分），人们需要做出类似的决定，通常优先考虑计算的易处理性和/或可解释性。在许多应用中，例如在工作障碍功能评估组合（WD-FAB）中，易处理性意味着使用均值和方差的估计来近似个人的分数分布，并且仅根据校准模型的点估计来获得该分数。在本文中，我们使用贝叶斯交叉验证评估了这种常见用例下模型的校准和评分。应用于WD-FAB响应收集的美国国立卫生研究院，我们评估的预测能力的实现GRM的基础上，他们的能力，产生，验证集的受访者，能力估计是最预测的项目响应模式。我们的主要发现表明，正则化贝叶斯校准的GRM优于正则化的经验贝叶斯边际极大似然的过程。我们还鼓励在测试评分中使用compensation支持的先验。
2021-12-02 stat.AP stat.ME
Assessing the conditional calibration of interval forecasts using decompositions of the interval score
针对区间预测条件校准评估方法缺失的问题，提出基于等渗分布回归的区间得分分解方法，该方法在理论和实践中均具备理想特性，可准确评估条件校准，其有效性在模拟数据及三个基准回归数据集应用中得到验证。
2025-08-25 stat.ME
Amortized ratio-estimation importance sampling and localized simulation-based calibration for intractable likelihoods
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
针对不可处理似然模型，提出基于高斯混合专家的序贯后验估计与局部摊销比率估计重要性采样校正，并引入局部化基于仿真的校准，在三个案例中验证有效性。
2026-10-15 stat.CO stat.ME stat.ML
Calibration of the rating transition model for high and low default portfolios
本文针对信用评级转移模型校准问题，提出基于拉普拉斯近似结合卡尔曼滤波的高违约组合校准算法，以及基于粒子滤波和高斯过程回归的低违约组合校准算法，实验验证了两种算法的有效性和准确性。
2024-05-01 q-fin.RM stat.ME
Sequentially valid inference for probabilistic inflation forecasts
University of St. Gallen（圣加仑大学）；ETH Zürich, KOF Swiss Economic Institute（苏黎世联邦理工学院，KOF瑞士经济研究所）；ETH Zürich, Seminar for Statistics（苏黎世联邦理工学院，统计学系）
本研究针对概率预测校准的序贯评估难题，提出基于e-value的序贯检验方法，将其应用于美、欧元区、瑞士的通胀预测，可捕捉静态检验遗漏的结构断裂期校准问题，为宏观经济预测校准评估提供实用方法。
2026-08-25 econ.EM stat.AP stat.ME
A note on joint calibration estimators for totals and quantiles
本研究结合总量与分位数校准方法、扩展伪经验似然法，提出带分位数约束的联合校准估计法，可一步改进多类估计，适用于无应答等场景，经模拟验证且有开源实现。
2023-08-25 stat.AP stat.ME
I-trustworthy Models. A framework for trustworthiness evaluation of probabilistic classifiers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出I-trustworthy框架，通过局部校准误差（LCE）和基于核的假设检验统计量KLCE评估概率分类器可信度，提供理论收敛界限与偏差诊断工具，并证明现有重校准方法不足以实现该可信度。
2025-05-01 cs.LG stat.ME stat.ML
Calibration-Free Robust Bayesian Inference for Discrete Unnormalized Models
Texas A&M University（得克萨斯农工大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出DFD-BETEL，一种无需标定的半参数贝叶斯框架，通过离散Fisher散度矩条件实现非归一化离散模型的鲁棒推断，保证渐近校准的不确定性量化。
2026-10-08 stat.AP stat.ME
Calibration for multivariate Lévy-driven Ornstein-Uhlenbeck processes with applications to weak subordination
考虑一个多变量Lévy驱动的Ornstein-Uhlenbeck过程，其中平稳分布或背景驱动Lévy过程来自一个参数族。我们推导出似然函数假设的新息项是绝对连续的。详细研究了两个例子：平稳分布或背景驱动Lévy过程的过程是由弱方差α-伽马过程给出的，这是使用弱从属创建的方差伽马过程的多变量概括。在前一种情况下，我们给出了一个明确的表示的背景驱动Lévy过程，导致一个创新的长期，这是离散和连续的混合物，允许的过程的精确模拟，和一个单独的似然函数。在后一种情况下，我们证明了新息项是绝对连续的。仿真研究的结果表明，最大似然数值计算使用傅立叶逆可以应用于准确地估计参数在这两种情况下。
2021-08-31 math.PR math.ST stat.ME
Random forward models and log-likelihoods in Bayesian inverse problems
我们考虑使用随机正向模型和对数似然内的贝叶斯方法来反问题。当使用更便宜的随机替代来近似计算上昂贵的模型时，如在高斯过程仿真（克里金法）中或在概率数值方法领域中，自然会出现对精确正演模型或对数似然的这种随机近似。我们证明了精确和近似贝叶斯后验之间的Hellinger距离是由真实和近似对数似然之间的差异的矩所限定的。这些稳定性结果的应用实例给出随机失配模型在大数据应用和概率解的常微分方程。
2018-09-28 cs.NA math.NA math.PR
Diagnosing model misspecification and performing generalized Bayes' updates via probabilistic classifiers
模型误设是贝叶斯推断框架的一个长期存在的谜，因为后验者倾向于过度集中于对大样本限制的不知情的参数值。在存在模型错误指定的情况下，可能性的缓和已经被确定为从之前到之后进行更新的更安全的方式。在一个极端，调和可以完全忽略数据，而在另一个极端，当假设不存在错误指定时，它提供标准贝叶斯更新。然而，如何在没有真实生成模型的情况下最好地识别错误规范并选择合适的回火级别是一个悬而未决的问题。在这里，我们将展示如何使用概率分类器来解决这个问题。通过训练概率分类器来区分模拟数据和观察数据，在分类器的区分能力内，提供了模型似然性与未观察到的真实生成过程下的数据的似然性之间的比率的估计。相对于数据生成过程的比率的对数的期望给出了统计生成模型和真实生成分布之间的负库尔贝克-莱布勒散度的估计。使用一组典型的例子，我们表明，这种分歧提供了一个有用的误指定诊断，模型比较工具，和一种方法来通知广义贝叶斯更新的存在误指定的可能性为基础的模型。
2019-12-12 math.ST stat.ME stat.ML
Unifying Likelihood-free Inference with Black-box Optimization and Beyond
Mila；University of Montreal（蒙特利尔大学）；CIFAR Fellow（CIFAR研究员）
用于生物序列设计的黑箱优化配方最近引起了人们的关注，因为它们对制药工业有着广阔的潜在影响。在这项工作中，我们建议统一两个看似不同的世界：无可能性推理和黑盒优化，在一个概率框架。在串联，我们提供了一个配方构建各种序列设计方法的基础上，这个框架。我们展示了如何以前的优化方法可以在我们的框架中“改造”，并进一步提出新的概率黑箱优化算法。序列设计应用的广泛实验说明了所提出的方法的好处。
2022-02-08 cs.AI cs.LG q-bio.BM
Metrics of calibration for probabilistic predictions
预测通常是概率;例如，预测可能是明天的降水，但只有30%的可能性。鉴于这种概率预测与实际结果，“可靠性图”有助于检测和诊断预测与结果之间的统计学显著差异-所谓的“误校准”。规范可靠性图将预测的观测值和期望值进行直方图表示;用软核密度估计代替硬直方图分箱是另一种常见的做法。但是，什么样的箱或核的宽度是最好的？观察值和期望值之间的累积差异图通过将误校准直接显示为图形的割线的斜率，在很大程度上避免了这个问题。斜率很容易以定量精度感知，即使割线的恒定偏移不相关;不需要分箱或执行核密度估计。现有的标准度量的误校准，每个总结作为一个单一的标量统计的可靠性图。累积图自然会导致累积差异图偏离零的标量度量;良好的校准对应于偏离零很小的水平平坦图。累积方法目前是非常规的，但提供了许多有利的统计特性，通过严格的证明和说明性的数值例子支持的数学理论保证。特别地，基于分箱或核密度估计的度量必然必须权衡统计置信度，以解决作为预测概率的函数的变化的能力，反之亦然。加宽箱或核平均掉随机噪声，同时放弃一些分辨率。缩小箱或核增强了分辨能力，同时不会平均掉同样多的噪声。
2022-06-12 cs.LG math.ST stat.ME
An analysis of binary isotonic regression: degrees of freedom and implications for calibration
University of Chicago（芝加哥大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Michigan（密歇根大学）
本研究分析二元保序回归的自由度，推导改进的精确自由度界，得出首个无分布的保序回归预期校准误差保证，为概率预测校准提供理论支撑。
2026-07-31 cs.LG stat.ME stat.ML
