Local proper scoring rules of order two
评分规则通过基于预测分布和实现的事件或值分配数值分数来评估概率预测的质量。如果评分规则鼓励真实的报告,那么它就是适当的。它是局部的顺序$k$,如果分数取决于预测密度仅通过其值和其导数的值的顺序高达$k$在实现事件。补充基本最近的工作帕里,Dawid和Lauritzen,我们的特点是当地适当的评分规则的顺序2相对于广泛的一类勒贝格密度的真正的线,使用不同的方法。在一个数据示例中,我们使用本地和非本地适当的评分规则来评估统计后处理的集合天气预报。
2012-05-31 math.ST stat.TH
Proper local scoring rules
我们研究了实数线上连续分布的适当评分规则。众所周知,对数分数是唯一这样的规则,它仅通过其在实现结果时的值来依赖引用密度。在这里,我们允许进一步依赖于一个有限数量的$m$的衍生物的密度的结果,并描述了一大类这样的$m$ -本地适当的评分规则:这些存在于所有偶数$m$,但没有奇数$m$。我们进一步表明,对于$m\geq2$,所有这样的$m$ -本地规则可以计算,而不知道的归一化常数的分布。
2012-05-31 math.ST stat.TH
A simple integral representation of single-event scoring rules
Baylor University(贝勒大学)
本文提出了一种不依赖导数或连续性假设的单事件评分规则的积分表示方法。
2026-02-28 math.PR math.ST stat.TH
Proper local scoring rules on discrete sample spaces
评分规则是一个损失函数,根据$X$的实现结果$x$,衡量随机变量$X$的引用概率分布$Q$的质量;如果在$X$的任何分布$P$下,通过引用$Q=P$使期望得分最小化,则是适当的。利用有限样本空间${\mathcal{X}}$上的任何可微的适当评分规则是凹齐次函数的梯度这一事实,我们考虑这样的规则何时可以是局部的,在这个意义上,仅取决于$x$的指定邻域中的点的概率。在温和的条件下,我们刻画了这样一个适当的局部评分规则的齐次函数的集合上的团的无向图空间${\mathcal{X}}$。这样的规则的有用属性是所引用的分布$Q$仅需要知道到比例因子。使用这种评分规则的例子包括Besag的伪似然和Hyvärinen的比率匹配方法。
2012-05-31 math.ST stat.TH
Proper scoring rules for survival times
本文提出一种适用于右删失生存数据的适当评分规则一般形式,无需删失过程假设。
2026-10-20 math.ST stat.TH
A Note on Bayesian Model Selection for Discrete Data Using Proper Scoring Rules
我们考虑的问题之间的选择参数模型的离散观察,采用贝叶斯方法,其中模型内的先验分布是允许不适当的。为了避免这种情况下边缘似然函数的模糊性,我们采用了齐次评分规则。对于区分泊松和负二项模型的特定情况下,我们进行模拟表明,应用prequentially,该方法将始终选择真正的模型。
2017-03-09 math.ST stat.TH
Proper Scoring Rules and Bregman Divergences
我们重新审视了适当的评分规则(PSR)和布雷格曼分歧的数学基础,并在一个统一的理论框架中提出了它们的特性。在许多情况下,最好不要直接从单位单形上的凸熵生成PSR,而是通过熵到正正交的次线性扩展来生成PSR。这使得评分规则简单地作为扩展熵的次梯度,从而允许更优雅的理论。其他凸扩展的熵生成仿射扩展的评分规则,并诱导类功能Bregman分歧。我们讨论了PSR和Bregman分歧之间的关系的几何性质,并推广和统一了现有的部分结果。我们还探讨了熵函数的可微性问题。并非所有的熵都具有函数导数,但它们在几乎每个方向上都具有方向导数。依靠准内部的概念的一个凸集量化后者的属性,我们正式在什么条件下PSR可以被认为是唯一确定的熵。
2015-09-10 math.ST stat.TH
Bayesian Model Selection Based on Proper Scoring Rules
贝叶斯模型选择与不适当的先验是没有很好的定义,因为依赖于模型内先验密度的任意缩放常数的边际似然。我们展示了如何可以通过用一个均匀的适当的评分规则,这是不敏感的缩放常数取代边际对数似然来规避这个问题。适当地应用,这通常将使得能够一致地选择真实模型。
2015-05-08 math.ST stat.TH
Proper scoring rules for estimation and forecast evaluation
ETH Zurich(苏黎世联邦理工学院)
本文综述了适当评分规则的数学基础,探讨其在统计和机器学习中的估计与预报评估作用,并评论了其在应用中的新发展。
2026-05-10 math.ST stat.ML stat.TH
Local scale invariance and robustness of proper scoring rules
通常使用适当的评分规则来对概率预测进行排名。在许多情况下,这些平均值中的个别项是基于不同分布的观测和预测。我们发现,一些最流行的适当的评分规则,如连续排名概率得分(CRPS),给予更大的不确定性,这可能会导致不直观的排名观察的重要性。为了描述这个问题,我们定义了评分规则的局部尺度不变性的概念。本文导出了一类新的广义恰当核评分规则,并提出了尺度CRPS(SCRPS)。这种新的适当的评分规则是局部尺度不变的,因此在变化的不确定性的情况下工作。像CRPS一样,它可以计算集合预报的输出,并且不需要评估预报密度的能力。我们进一步定义了评分规则的鲁棒性,说明了为什么这也是平均得分的一个重要概念,并推导出新的适当的评分规则,对离群值是鲁棒的。从空间统计,随机波动模型,计数数据回归三个不同的应用程序中说明的理论研究结果。
2022-03-26 math.ST stat.ME stat.TH
Graph-based Composite Local Bregman Divergences on Discrete Sample Spaces
最常用的统计推断方法之一是最大似然估计(MLE)。最大似然估计需要计算统计模型中的归一化常数,这往往是棘手的。使用未归一化的统计模型并用其他评分规则替换可能性是规避这种高计算成本的好方法,其中评分规则测量模型与观察样本的拟合优度。评分规则与Bregman散度密切相关,Bregman散度是两个概率分布之间的差异度量。在本文中,目的是提供一个一般的框架,统计推断使用离散样本空间上的非规范化统计模型。评分规则的本地化版本是重要的,以获得计算效率的估计。我们发现,当地的评分规则有关的Bregman分歧的本地化版本。通过局部Bregman分歧,我们研究了局部评分规则的统计一致性。证明了一致性是由离散样本空间上邻域系统的结构决定的。此外,我们还展示了一种将局部评分规则应用于分类问题的方法。在数值实验中,我们研究了邻域系统与估计精度之间的关系。
2016-04-25 math.ST stat.TH
Existence and Uniqueness of Proper Scoring Rules
为了讨论正确的评分规则的存在性和唯一性,需要将相关的熵函数作为次线性函数扩展到预测集的圆锥壳。在某些自然函数空间中,如$\mathbb R^d$上的Lebesgue $L^p$ -空间,正锥内部是空的。定义在这种锥上的熵函数只有方向导数。某些熵可以进一步连续扩展到包含符号密度的赋范空间中的开锥。扩展的密度是Gâteaux可微的,除了在一个可忽略的集合上,并且由于支撑超平面定理而处处具有连续的次梯度。我们介绍了必要的框架,从分析和代数,使我们能够给一个肯定的答案的名义问题的文件。作为一个结果,我们给出了一个正式的意义,其中熵函数有唯一相关的适当的评分规则。我们通过研究以下三个原型熵的导数和次梯度来说明我们的框架:香农熵,Hyvärinen熵和二次熵。
2015-09-10 math.ST stat.TH
Rejoinder to "Bayesian Model Selection Based on Proper Scoring Rules"
我们非常感谢编辑玛丽娜·瓦努奇主动要求对我们的文件进行讨论,并非常感谢所有讨论者提出的富有洞察力和发人深思的意见。我们按字母顺序对讨论作出回应[arXiv:1409.5291]。
2015-05-11 math.ST stat.TH
Proper Scoring Rules for Multivariate Probabilistic Forecasts based on Aggregation and Transformation
本文提出基于聚合与变换构建多元恰当评分规则的框架,以可解释方式刻画预测的特定特征,并通过文献示例和数值实验验证其优势及连接空间验证工具的价值。
2024-06-30 math.ST stat.AP stat.ME
Objective Bayesian inference with proper scoring rules
当完全似然性以及完全后验分布过于复杂且难以指定时,或者如果需要对数据或模型错误指定的稳健性,则可能难以执行标准贝叶斯分析。在这些情况下,我们建议根据适当的评分规则,对感兴趣的参数采用后验分布。评分规则是一种损失函数,设计用于测量随机变量的概率分布的质量(给定其观测值)。重要的例子是Tsallis评分和Hyvärinen评分,它们允许我们处理模型错误指定或复杂模型。此外,完全似然和合成似然都是评分规则的特殊实例。该文致力于研究两个问题.首先,我们讨论了在贝叶斯公式中使用评分规则来计算一个后验分布,称为SR-后验分布,并推导了它的渐近正态性。其次,我们提出了一个为感兴趣的未知参数建立默认先验的过程,该过程可以用于更新SR-后验分布中的评分规则所提供的信息。特别地,通过最大化来自SR-后验分布的平均$α-$散度来获得参考先验.对于$0 \leq |α|<1$,结果是Jeffreys型先验,其与关联于评分规则的Godambe信息矩阵的行列式的平方根成比例。文中还讨论了一些实例。
2019-01-06 math.ST stat.ME stat.TH
Optimal Scoring Rule Design under Partial Knowledge
Harvard University(哈佛大学);George Mason University(乔治梅森大学)
本文研究委托人仅部分知道代理人信号分布时的最优适当评分规则设计,提出最大最小优化框架及高效算法,并证明常用规则在部分知识下远非最优。
2024-10-11 cs.GT cs.LG math.ST
Impossibility results for equating the Youden Index with average scoring rules and Tjur $R^2$-like metrics
本研究证明Youden指数无法等同于任何平均评分规则或基于二元结果平均的度量,揭示了诊断评估中不同度量的独特作用。
2025-02-24 math.PR math.ST stat.OT
Locally tail-scale invariant scoring rules for evaluation of extreme value forecasts
本文提出局部尾部尺度不变评分规则及尺度化加权连续排名概率分数(swCRPS),用于在极端事件尺度变化的区域公平评估极值预报,并推导其在广义极值分布下的显式公式,通过模拟和实际应用验证其有效性。
2024-02-21 math.ST stat.ME stat.TH
Conditional Forecasts and Proper Scoring Rules for Reliable and Accurate Performative Predictions
University of Amsterdam(阿姆斯特丹大学)
本研究证明,通过将预测条件化于分离协变量可实现预测不变性,并利用适当评分规则的无偏散度估计,解决执行性预测中的正确估计问题,提供可靠预测的新工具。
2025-10-24 math.ST stat.ML stat.TH
Scoring Rules and Calibration for Imprecise Probabilities
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
本研究将严格评分规则与校准概念推广至不精确概率场景,结合数据模型与决策问题构建理论框架,关联分布鲁棒性范式并揭示两类目标在不精确场景下的不一致性,还在机器学习实践中验证了相关洞见。
2024-10-30 cs.LG math.ST stat.TH
Learning high-dimensional graphical models with regularized quadratic scoring
成对马尔可夫随机场(MRF)或无向图形模型是联合概率分布的简约表示。变量对应于图的节点,节点之间的边对应于条件依赖性。不幸的是,基于似然的学习和推理受到难以计算的归一化常数的阻碍。本文考虑了对数似然的另一种评分规则,它避免了需要计算分布的归一化常数。我们表明,该规则是一个二次函数的自然参数。我们优化这个评分规则和稀疏诱导正则化的总和。对于一般的连续值指数族,我们给出了参数和边相容性的理论结果。作为特例,我们详细介绍了一种新的稀疏精度矩阵估计方法,其理论保证与Yuan和Lin(2007)的图形套索相匹配,计算性能比Yuan(2010)的glasso算法更快。然后,我们描述了使用指数序列的非参数成对图模型中的模型选择结果。正则化分数匹配问题被证明是一个凸规划;我们提供了基于乘法器的共识交替方向法(Boyd et al.(2011))和坐标下降的可扩展算法。
2018-09-15 math.ST stat.TH
Generative Adversarial Nets for Robust Scatter Estimation: A Proper Scoring Rule Perspective
University of Chicago(芝加哥大学);Hong Kong University of Science and Technology(香港科技大学)
稳健散布估计是统计学中的一项基本任务。Gao et al.(2018)最近关于鲁棒估计和生成对抗网络(GANs)之间的联系的发现表明,可以使用优化GANs的类似技术来计算类似深度的鲁棒估计器。在本文中,我们介绍了一个一般的学习通过分类框架的基础上适当的评分规则的概念。这个框架允许我们通过$f$的变分近似的透镜来理解矩阵深度函数和各种GANs-由适当的评分规则引起的发散。然后,我们提出了一类新的强大的散布估计在这个框架中仔细构造鉴别器与适当的神经网络结构。在Huber污染模型下,证明了这些估计量能达到极小极大散布率估计.我们的数值结果表明,在各种设置下对文献中的竞争对手的良好性能。
2019-03-05 cs.LG math.ST stat.ML
Proper Scoring Rules, Gradients, Divergences, and Entropies for Paths and Time Series
许多预测不是由点预测组成的,而是关注数量的演变。例如,中央银行可能预测下一季度的利率,流行病学家可能预测感染率的轨迹,临床医生可能预测第二天医学标志物的行为,等等。形式上,这种预测可以被看作是路径模时间参数化的等价类空间上的概率测度。我们利用适当的评分规则与经典的数学结果的统计框架,得出这样的预测决策的原则性方法。特别是,我们引入梯度,熵和发散度的概念,是量身定制的尊重底层的非欧几里德结构。
2021-11-11 math.PR math.ST stat.ME
Sequential Scoring Rule Evaluation for Forecast Method Selection
本文将序贯统计方法推广到基于评分规则的预测方法选择,提出SSRE的大偏差结果与广义e值序贯检验框架,并通过模拟证明其在常用方法失效时更有效。
2025-05-14 econ.EM math.ST stat.ME
On loss functions and regret bounds for multi-category classification
我们开发了新的方法,在多类设置,构建适当的评分规则和铰链样损失,并建立相应的遗憾界相对于0 - 1或成本加权分类损失。我们的建设损失涉及到新的逆映射,从凹广义熵损失通过使用一个凸相异度函数的多分布$f$发散。此外,我们确定了新的多类适当的评分规则,这也恢复和揭示了目前使用的各种复合损失之间的有趣的关系。我们建立了新的分类遗憾界一般多类适当的评分规则,利用Bregman分歧的相关广义熵,并作为应用程序,提供简单有意义的遗憾界两个特定类别的适当的评分规则。最后,我们推导出新的铰链状凸损失,这是更严格的凸扩展比相关的铰链状损失和几何更简单,更少的不可微的边缘,同时实现类似的遗憾界。我们还建立了一个一般的分类遗憾界的所有损失,导致相同的广义熵的零-一损失。
2021-05-15 math.ST stat.ME stat.TH
Scores for Multivariate Distributions and Level Sets
University of Sussex(萨塞克斯大学);University of Oxford(牛津大学);University of Mons(蒙斯大学);Shanghai Jiao Tong University(上海交通大学)
本文提出了一种多变量分布评分规则的理论框架,用于生成针对密度和累积分布水平集的评分函数,并提出计算方法和应用实例。
2023-06-21 math.ST q-fin.ST stat.ME
Robust Estimation under Heavy Contamination using Enlarged Models
在数据分析中,异常值的污染是不可避免的,因此对稳健的统计方法提出了更高的要求。在本文中,我们关注的是开发一种新的方法,强大的数据分析的基础上评分规则。评分规则是评估概率预测质量的差异度量。我们提出了一种简单的方法,不仅估计统计模型中的参数,而且估计离群值的污染率。估计污染率是重要的,因为人们可以基于估计的污染率从训练样本中检测出离群值。为此,我们使用评分规则与扩展的统计模型,即所谓的扩大模型。此外,还考虑了回归问题。研究了一类复杂的非均匀污染问题,其中因变量中的异常值污染率可能依赖于自变量。本文提出了一种在非均匀污染下获得稳健回归估计的简单方法。此外,我们表明,我们的方法也提供了一个估计的预期污染率,可用于检测训练样本的离群值。数值实验表明,我们的方法相比,传统的估计的有效性。
2013-11-21 math.ST stat.TH
When Are Scoring Rules Proper? Bridging Theory and Practice in Survival Model Evaluation
Department of Cancer Genetics, Institute for Cancer Research, Oslo University Hospital(癌症遗传学系,癌症研究所,奥斯陆大学医院);Department of Biostatistics, Faculty of Medicine, Oslo Centre for Biostatistics and Epidemiology (OCBE), University of Oslo, Norway(生物统计学系,医学学院,奥斯陆生物统计与流行病学中心(OCBE),奥斯陆大学,挪威);OSPO Now, London, UK(伦敦,英国OSPO Now);Department of Mathematics, Faculty of Mathematics and Natural Sciences, University of Oslo, Norway(数学系,数学与自然科学学院,奥斯陆大学,挪威);Department of Statistics, LMU Munich, Germany(统计学系,慕尼黑大学);Munich Center for Machine Learning (MCML), LMU Munich, Germany(慕尼黑机器学习中心(MCML),慕尼黑大学,德国);Statistical Consulting Unit (StaBLab), LMU Munich, Germany(统计咨询单位(StaBLab),慕尼黑大学,德国);Leibniz Institute for Prevention Research and Epidemiology - BIPS, Bremen, Germany(预防研究与流行病学研究所—BIPS,不莱梅,德国);Faculty of Mathematics and Computer Science, University of Bremen, Germany(数学与计算机科学学院,不莱梅大学,德国)
研究生存分析中评分规则在删失情况下的行为,引入边际恰当性概念,通过模拟实验对比SBS、ISBS和RCLL,揭示理论不恰当性对模型比较的影响,强调生存模型评估需进一步方法开发。
2026-07-22 cs.LG math.ST stat.AP