Evaluating probabilistic forecasts of football matches: The case against the Ranked Probability Score
评分规则是概率预测和用于评估预测性能的相应结果的函数。随着时间的推移,已经定义了各种各样的评分规则,并且对于哪些规则最适合用于评估体育赛事预测的表现存在一些争论。本文主要研究足球比赛结果的预测。排名概率得分(RPS)经常被推荐,因为它“对距离敏感”,也就是说,它考虑到了结果的顺序(例如,主场胜利比客场胜利更接近平局)。在本文中,这种推理是有争议的基础上,它没有增加任何方面的实际目的使用评分规则。评分规则的一个相关属性是局部性。一个评分规则是局部的,如果它只考虑结果的概率。在足球比赛的背景下进行了两个模拟实验,以比较RPS的性能,这是非本地的和距离敏感,Brier分数,这是非本地的和距离不敏感,和无知的分数,这是本地的和距离不敏感。无知分数被发现优于RPS和Brier分数,在这种情况下,作为评分规则的属性的非局部性和对距离的敏感性的值投下怀疑。
2019-08-23 stat.AP
Ranking earthquake forecasts using proper scoring rules: Binary events in a low probability environment
在地震序列期间,用于风险管理和通信的业务地震预报取决于我们选择最佳预报模型的能力。为此,我们需要在前瞻性预测模式下比较竞争模型的性能,并使用公平,可重复和可靠的方法对它们的性能进行排名。地震可预报性研究合作实验室(CSEP)在全球范围内进行这种前瞻性的地震预报实验。已经提出的一个度量标准是Parimutuel赌博得分,它的优点是允许基于警报的(分类)预测与概率预测进行比较。在这里,我们检查这个分数的排名竞争性地震预报的适用性。首先,我们通过分析证明,这个分数通常是不正确的,这意味着,平均而言,它不喜欢生成数据的模型。即使在它是适当的特殊情况下,我们仍然可以以不适当的方式使用它。然后,我们将其性能与两种常用的适当分数(Brier和对数分数)进行比较,同时考虑到观察到的平均分数的不确定性。我们估计预期得分差异的置信区间,这使我们能够定义模型是否以及何时可以首选。我们的研究结果表明,Parimutuel赌博分数不应该用来区分多个竞争性预测。它们还可以采用更严格的方法来区分候选预测的预测技能以及它们的排名。
2021-09-10 stat.AP
Propensity Score Methods for Local Test Score Equating: Stratification and Inverse Probability Weighting
Lancaster University(兰卡斯特大学);Umeå University(于默奥大学)
本文提出两种基于倾向评分的局部等效方法,通过分层和逆概率加权处理非等价测试组差异,提升测验分数可比性。
2026-04-09 stat.AP stat.ME
Analysis of survival data with non-proportional hazards: A comparison of propensity score weighted methods
当存在混杂因素时,研究人员比较不同治疗的生存结局的最常见方法之一是使用Cox回归。这种模式受到其潜在的比例风险假设的限制;在某些情况下,可能会发生重大违规行为。在这里,我们提出和比较的方法,试图解决这个问题,包括Cox模型随时间变化的风险比;参数加速失效时间模型; Kaplan-Meier曲线;和伪观测。为了调整治疗组之间的差异,我们使用基于倾向得分的治疗权重逆概率。我们检查了可以计算并直接比较每种方法的具有临床意义的结局指标,即T时的生存概率、中位生存期和限制平均生存期。我们在一系列场景下进行模拟研究,并确定每种方法的平均处理效应的偏倚、覆盖率和标准误。然后,我们将这些方法应用于两项已发表的癌症治疗后生存观察研究。第一个研究了肉瘤的化疗,最初的生存率非常相似,但两年后化疗组显示出获益。另一项研究是比较肾癌的手术技术,随着时间的推移,生存差异会减弱。
2021-01-29 stat.AP
Addressing Extreme Propensity Scores in Estimating Counterfactual Survival Functions via the Overlap Weights
逆概率加权方法是观察性研究中评价处理效应的常用方法,但极端的倾向得分可能会使估计量产生偏倚,并导致过度的方差。最近,已经提出了重叠加权方法来缓解这个问题,它平滑地降低了具有极端倾向得分的受试者的权重。尽管重叠加权的优势已在连续和二元结局的文献中得到广泛证实,但关于其与至事件发生时间或生存结局的性能的研究有限。在这篇文章中,我们提出了两个加权估计,结合倾向得分加权和逆概率截尾加权估计的反事实生存函数。这些估计适用于一般类别的平衡权重,其中包括逆概率加权,修剪和重叠加权作为特殊情况。我们进行模拟,以检查这些估计与不同的加权方案的经验性能的偏差,方差和95%的置信区间覆盖率,在不同程度的协变量重叠治疗组和删失率。我们证明,重叠加权始终优于逆概率加权和相关的修剪方法的偏差,方差和覆盖的时间到事件的结果,和优势增加的程度,治疗组之间的协变量重叠减少。
2022-06-20 stat.AP stat.ME
Clustering Informed Inverse Probability Weighting Strategies for Causal Effect Estimation in Observational Studies
Northwestern University(西北大学);Moffitt Cancer Center and Research Institute(莫菲特癌症中心与研究所)
该研究提出两种聚类指导的IPW策略,通过模拟和乳腺癌患者数据验证,可改善倾向得分设定错误的稳健性,其性能取决于亚组结构、样本量和推断优先级。
2026-08-11 stat.AP stat.ME
Evaluating probabilistic forecasts of extremes using continuous ranked probability score distributions
极端事件的概率预测是一个非常活跃的研究领域,因为大众媒体和公众舆论自然会关注极端事件,并且很容易得出有偏见的结论。在这种情况下,为极端事件定制的经典验证方法,如阈值和加权评分规则,具有无法缓解的不良特性,众所周知的连续排名概率得分(CRPS)也不例外。在本文中,我们定义了一个正式的框架来评估极端事件的预测评估程序的行为,我们用它来证明,评估的基础上期望一个适当的分数是不适合极端。另外,我们建议研究的CRPS作为一个随机变量的属性,通过使用极值理论来解决极端事件验证。引入了一个指数来比较校准的预测,它总结了概率预测预测极端的能力。这种方法的优点和局限性进行了讨论,使用理论论证和模拟。
2023-02-08 math.ST stat.AP stat.ME
Real-time Win Probability and Latent Player Ability via STATS X in Team Sports
Waseda University(早稻田大学)
本文提出基于统计框架的实时胜率评估和球员能力分析方法,引入T分数和STATS X指数,实现对团队和球员的结构化评估。
2026-10-30 stat.AP stat.ML
The Brier Score under Administrative Censoring: Problems and Solutions
University of Oslo(奥斯陆大学)
Brier评分通常用于评估概率预测。在生存分析中,使用事件时间的右删失观察值,该评分可以通过逆删失概率(IPCW)进行加权,以保留其原始解释。通常的做法是使用卡普兰-迈耶估计量估计删失分布,即使它假设删失分布与协变量无关。本文讨论了布里尔分数的截尾估计的一般影响,并表明截尾分布的估计可能是有问题的。特别是,当可以从协变量中确定删失时间时,IPCW评分不再有效。对于行政审查的数据,潜在的审查时间是已知的所有个人,我们提出了一个替代版本的Brier评分。该管理Brier评分不需要估计删失分布,即使可以从协变量中确定删失时间,也是有效的。
2019-12-18 cs.LG stat.AP stat.ML
Interaction Models and Generalized Score Matching for Compositional Data
诸如微生物组数据分析的应用已经引起了对组成数据的统计方法的新兴趣,即,以包含相对比例的概率向量形式的多变量数据。特别是,有相当大的兴趣,在这种相对比例之间的相互作用建模。为此,我们提出了一类指数族模型,适应一般模式的两两相互作用,同时支持的概率单纯形。特殊情况包括狄利克雷分布族以及艾奇逊的加性逻辑正态分布。通常,我们考虑的分布具有难以计算归一化常数的密度。为了规避这个问题,我们设计了有效的估计方法的基础上广义版本的分数匹配。我们的估计方法的高维分析表明,单纯形域的处理效率与以前研究的全维域。
2021-09-10 stat.AP stat.ME stat.ML
Models for the Propensity Score that Contemplate the Positivity Assumption and their Application to Missing Data and Causality
通常假设广义线性模型拟合倾向得分,用于计算逆概率加权(IPW)估计。为了得到IPW估计量的渐近性质,假定倾向得分是有界远离cero的。这个条件在文献中称为严格正性(或正性假设),在实践中,当它不成立时,IPW估计量非常不稳定,并且具有很大的可变性。虽然经常假设严格的正性,但当某些协变量是连续的时,它并不成立。在这项工作中,我们试图调和严格的积极性条件和广义线性模型的理论,通过纳入一个额外的参数,这导致在一个明确的下限的倾向得分。
2017-04-23 stat.AP stat.ME
Generalised Score Distribution: Underdispersed Continuation of the Beta-Binomial Distribution
一类离散概率分布包含有限支持度的分布。一个典型的例子是李克特量表的一些变体,其响应映射到$\{1, 2, \ldots, 5\}$或$\{-3, -2, \ldots, 2, 3\}$集。有限支撑离散分布的一个有趣的子类是仅限于两个参数的分布,并且概率单调性的变化不超过一个。本文的主要贡献是提出了一个家庭的分布拟合上述描述,我们称之为广义分数分布(GSD)类。建议的GSD类涵盖了所有可能的均值和方差,任何固定和有限的支持。此外,GSD类可以被视为重新参数化的beta-二项分布的欠分散延续。GSD类参数是直观的,可以很容易地估计的矩量法。我们还提供了一个极大似然估计(MLE)算法的GSD类和证据表明,类正确地描述响应分布来自24个多媒体质量评估实验。最后,我们证明了GSD类可以表示为二分0 - 1随机变量的和,这表明了一个有趣的解释类。
2022-04-22 cs.MM stat.AP
A generalized bootstrap procedure of the standard error and confidence interval estimation for inverse probability of treatment weighting
在倾向得分分析中,通常使用治疗加权逆概率(IPTW)方法来推断回归模型中的因果效应。由于过大的IPTW权重和与倾向得分估计相关的误差,IPTW方法可能低估因果效应的标准误误差。为了弥补这一点,引导标准误差已被推荐来取代IPTW标准误,但普通的引导(OB)程序仍然可能会导致低估的标准误,因为它的效率低下的抽样算法和不稳定的权重。在本文中,我们开发了一个广义自助(GB)的程序估计的标准误的IPTW方法。与OB方法相比,GB方法低估标准误的风险要低得多,并且对于点估计和标准误估计都更有效。GB程序也有较小的标准误低估的风险比普通的Bootstrap程序与修剪的权重,具有可比的效率。我们通过模拟研究和国家教育纵向研究-1988(NELS-88)的数据集证明了GB程序的有效性。
2021-09-01 econ.EM stat.AP stat.ME
Generalized Score Matching
本文提出广义分数匹配的统一渐近理论,适用于连续与离散响应数据,解决归一化常数难处理时的估计问题,并通过真实数据与模拟验证其强实际性能。
2024-04-21 math.ST stat.AP stat.CO
Deep Neural Networks for Doubly Robust Estimation with Nonprobability Survey Samples
Jiangxi University of Finance and Economics(江西财经大学);University of Calgary(卡尔加里大学);University of Toronto(多伦多大学);Wilfrid Laurier University(韦仕敦·劳里埃大学)
提出一种深度神经网络辅助的双重稳健框架,结合非概率样本和概率样本估计有限总体均值,通过伪似然估计非参数采样得分,并证明一致性和收敛速度。
2026-05-27 math.ST stat.AP stat.CO