Updating Probabilities
CWI（荷兰国家数学与计算机科学研究所）；Cornell University（康奈尔大学）
正如Monty Hall难题这样的例子所显示的那样，应用条件作用来更新"天真空间“上的概率分布，而不考虑所使用的协议，往往会导致违反直觉的结果。在这里，我们研究为什么。在统计学文献中，一个被称为CAR（随机粗化）的标准描述了在天真空间中“天真”条件作用的特征。我们表明，CAR条件持有，而很少。然后，我们考虑更广义的更新概念，如杰弗里条件和最小化相对熵（MRE）。我们给出了一个概括的CAR条件的特点时，杰弗里条件导致适当的答案，但没有这样的条件MRE。这概括和互连以前的结果在CAR和MRE的文献中获得的。
2014-07-27 cs.AI
Weighted Sets of Probabilities and Minimax Weighted Expected Regret: New Approaches for Representing Uncertainty and Making Decisions
Cornell University（康奈尔大学）
我们考虑一个设置代理的不确定性是由一组概率措施，而不是一个单一的措施。在获取新信息时对这样的一组度量进行逐个度量更新是众所周知的，存在问题;代理并不总是能够适当地学习。为了处理这些问题，我们建议使用加权概率集：一种表示，其中每个度量都与权重相关联，该权重表示其重要性。我们描述了一个自然的方法来更新在这种情况下，一个自然的方法来确定权重。然后，我们将展示如何使用这种表示在决策中，通过修改一个标准的决策方法-最小化预期遗憾-获得极大极小加权预期遗憾（MWER）。我们提供了一个公理化的特点，在静态和动态的情况下，由MWER引起的偏好。
2013-02-21 cs.AI cs.GT
Conditionals Based on Selection Functions, Modal Operators and Probabilities
Department of Philosophy University of Turin Turin, Italy（哲学系 特里尼蒂大学 特里尼蒂，意大利）
本文研究了条件句与概率更新方法之间的关系，旨在通过一般性结果揭示两者之间的联系。
2025-11-27 cs.AI cs.DM cs.LO
Updating Probabilities
正如Monty Hall难题这样的例子所显示的那样，应用条件作用来更新“朴素空间”上的概率分布，而不考虑所使用的协议，往往会导致违反直觉的结果。在这里，我们研究为什么。在统计学文献中，一个被称为CAR（“随机粗化”）的标准描述了在天真空间中“天真”条件作用的特征。我们表明，CAR条件持有，而不经常，我们提供了一个程序的特点，它，通过给一个随机算法，生成所有和唯一的分布，CAR持有。这基本上扩展了先前对CAR的表征。我们还考虑更广义的更新概念，如杰弗里条件和最小化相对熵（MRE）。我们给出了一个概括的CAR条件的特点时，杰弗里条件导致适当的答案，并表明存在一些非常简单的设置中，MRE基本上从来没有给出正确的结果。这概括和互连以前的结果在CAR和MRE的文献中获得的。
2003-06-23 cs.AI
Entropy, Information, and the Updating of Probabilities
University at Albany-SUNY（纽约州立大学奥尔巴尼分校）
本文是一个审查的一个特定的方法，最大熵的方法作为一个一般框架的推理。讨论强调了推导中的语用因素。一个知识概念的信息定义在其关系的贝叶斯信念的理想理性代理。通过淘汰归纳法设计了先验概率分布更新到后验概率分布的方法。对数相对熵被挑选出来作为更新的独特工具，（a）具有普遍适用性;（b）承认先验信息的价值;（c）承认科学独立性概念所发挥的特权作用。由此产生的框架-ME方法-可以处理任意先验和任意约束。它包括MaxEnt和贝叶斯规则作为特殊情况，因此，它将熵和贝叶斯方法统一为一个单一的一般推理方案。ME方法超越了仅仅选择一个单一的后验概率，但也解决了其他分布的可能性有多大的问题，这为波动和大偏差理论提供了一个直接的桥梁。
2021-07-09 cs.AI physics.data-an stat.ME
Weighted Sets of Probabilities and MinimaxWeighted Expected Regret: New Approaches for Representing Uncertainty and Making Decisions
Cornell University（康奈尔大学）
我们考虑一个设置代理的不确定性是由一组概率措施，而不是一个单一的措施。在获取新信息时对这样一组措施进行逐个措施更新是众所周知的问题;代理并不总是能够适当地学习。为了处理这些问题，我们建议使用加权概率集：一种表示，其中每个度量都与权重相关联，该权重表示其重要性。我们描述了一个自然的方法来更新在这种情况下，一个自然的方法来确定权重。然后，我们将展示如何使用这种表示在决策中，通过修改一个标准的决策方法，最小化预期遗憾，以获得最小最大加权预期遗憾（MWER）。我们提供了一个公理化的特点，在静态和动态的情况下，由MWER诱导的偏好。
2012-10-16 cs.AI cs.GT q-fin.TR
Belief Updating by Enumerating High-Probability Independence-Based Assignments
Air Force Institute of Technology（空军理工学院）；Ben Gurion University of the Negev（内盖夫本-古里安大学）
基于独立性（IB）的贝叶斯信念网络分配最初被提出作为溯因解释。IB分配分配更少的变量在溯因解释比计划分配值的所有证据支持的变量。我们使用IB分配来近似贝叶斯信念网络中的边缘概率。最近的工作在贝叶斯网络的信念更新试图近似后验概率找到一个小数目的最高概率完成（或可能证据支持）的分配。在某些假设下，这些赋值的并集中的概率质量足以获得良好的近似。这种方法对于高度连接的网络特别有用，其中最大团大小或割集大小使标准算法难以处理。由于IB作业包含较少的分配变量，因此每个作业中的概率质量大于相应的完整作业。因此，更少的IB赋值就足够了，并且可以更有效地获得良好的近似。IB分配可以用于有效地近似后验节点概率，即使在不遵守先前研究中使用的相当严格的偏度假设的情况下。提出了两种寻找高概率IB分配的算法：一种是最佳优先启发式搜索算法，另一种是专用整数线性规划算法。实验结果表明，该方法对高度连通的信度网络是可行的。
2013-02-27 cs.AI
Text-to-SQL Calibration: No Need to Ask -- Just Rescale Model Probabilities
UC San Diego（加州大学圣迭戈分校）；IIT Bombay（印度理工学院孟买分校）
针对Text-to-SQL任务中LLM生成SQL的置信度校准问题，研究表明基于模型全序列概率的简单基线方法优于依赖后续提示的最新方法，并通过两个基准和多架构评估提供了校准策略有效性的见解。
2024-11-23 cs.AI cs.DB cs.IR
Obtaining Calibrated Probabilities with Personalized Ranking Models
Pohang University of Science and Technology（浦项科技大学）
对于个性化的排序模型，校准好的被用户偏好的项目的概率具有很大的实用价值。虽然现有的工作在图像分类中显示出有希望的结果，但是概率校准对于个性化排名还没有太多的探索。在本文中，我们的目标是估计校准的概率有多大可能用户会喜欢一个项目。我们研究了各种参数分布，并提出了两种参数校准方法，即高斯校准和伽玛校准。每种方法都可以被看作是一个后处理函数，它将预先训练的模型的排名分数映射到校准良好的偏好概率，而不会影响推荐性能。我们还设计了无偏的经验风险最小化框架，指导校准方法从有偏的用户-项目交互数据集学习真实偏好概率。在真实世界数据集上使用各种个性化排名模型进行的广泛评估表明，所提出的校准方法和无偏经验风险最小化显著提高了校准性能。
2022-04-26 cs.AI cs.IR cs.LG
Obtaining Accurate Probabilistic Causal Inference by Post-Processing Calibration
University of Pittsburgh（匹兹堡大学）；Harvard University（哈佛大学）
从观测数据中发现准确的因果贝叶斯网络结构在许多科学领域都很有用。发现往往是在不确定的情况下做出的，这种不确定性可以用概率来表示。为了指导这些发现的使用，包括指导进一步的调查，必须对这些概率进行良好的校准。在本文中，我们引入了一个新的框架，从观测数据中获得校准的因果关系的概率。该框架由三个部分组成：（1）用于为每对变量生成边缘类型的初始概率估计的近似方法，（2）在真实状态已知的网络中相对少量的因果关系的可用性，我们称之为校准训练集，以及（3）校准方法，用于使用近似概率估计和校准训练集来为许多剩余的变量对生成校准概率。我们还介绍了一种新的校准方法的基础上浅神经网络。我们的模拟数据的实验支持，所提出的方法提高了因果边缘预测的校准。结果还支持该方法通常提高预测的精确度和召回率。
2017-12-22 cs.AI cs.LG stat.ML
Multiclass Local Calibration with the Jensen-Shannon Distance
University of Trento（特伦托大学）；University of Pisa（比萨大学）；Meta；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出多类局部校准概念，通过 Jensen-Shannon 距离改进神经网络的局部校准能力，解决现有方法在稀疏区域的校准偏差问题。
2026-04-21 cs.AI cs.LG
Good Rankings, Wrong Probabilities: A Calibration Audit of Multimodal Cancer Survival Models
研究评估了多模态癌症生存模型的校准性，发现其生存概率未经过校准，提出通过Post-hoc Platt缩放可减少误校准，但不改变区分能力。
2026-04-05 cs.AI cs.LG q-bio.QM
Calibrating Verbalized Probabilities for Large Language Models
Amazon（亚马逊）
该研究针对大语言模型言语化概率校准问题，识别出重softmax问题并提出逆softmax技巧估计logit，经三个数据集验证，证实了LLM生成类别分布的稳健性与该技巧的有效性，助力黑盒LLM输出的可靠评估与利用。
2024-10-09 cs.AI cs.CL
Calibration Error Estimation Using Fuzzy Binning
Purdue University（普渡大学）
针对硬分箱校准误差指标受概率偏斜影响的问题，提出基于模糊分箱的 FCE 指标，并证明其在多类别场景下比 ECE 估计更准确。
2023-05-08 cs.AI cs.LG cs.NE
Decision Principles to justify Carnap's Updating Method and to Suggest Corrections of Probability Judgments (Invited Talks)
University of Amsterdam（阿姆斯特丹大学）
本文使用决策理论的原则，以获得新的见解的评估和更新的概率。首先，给出了贝叶斯主义的一个新基础。它不像Savage的经典结果那样需要无限的无原子不确定性，因此可以应用于任何有限的贝叶斯网络，它也不像de Finetti的经典结果那样需要线性效用，因此允许经验和规范上期望的风险转移。我们的结果可以很容易地应用于确定r n概率更新的方法，从而为Rudolf Carnap提出的计算效率高的归纳推理方法提供了决策理论基础，最后，本文讨论了r n概率评估的最新经验发现，并提出了r n修正概率评估中的偏差的建议，以及对Dempster - Shafer信念函数的替代，以避免在多次更新后退化为r n。
2012-12-12 cs.AI
On the calibration of survival models with competing risks
Inria de Saclay（法国国家信息与自动化研究所萨克雷中心）；Drees（法国研究、调查、评估与统计局）
本文提出了一种针对竞争风险设置的生存模型校准框架，引入了两个新的校准度量以提高概率估计的准确性，同时保持模型的判别能力。
2026-01-30 cs.AI math.ST stat.ME
A betting interpretation for probabilities and Dempster-Shafer degrees of belief
至少有两种方法可以解释投注中的数字信念程度：（1）你可以按照信念程度定义的赔率下注，或者（2）你可以判断，利用这种投注机会的策略不会使其风险资本乘以一个很大的因子。这两种解释都可以应用于普通的加性概率，并用于证明条件更新。只有第二个可以适用于Dempster-Shafer程度的信念，并用于证明Dempster的规则的组合。
2010-01-11 cs.AI math.ST stat.TH
Measuring multi-calibration
Central Applied Science at Meta and Fundamental Artificial Intelligence Research at Meta（Meta 应用科学中心和 Meta 基础人工智能研究）
本文提出一种新的度量方法，用于评估多校准性能，该方法基于Kuiper统计量，考虑不同子群体的信噪比，避免了传统分箱或核密度估计的缺点。
2026-04-15 cs.AI cs.LG stat.ME
Spline-Based Probability Calibration
Lucena Consulting（Lucena咨询公司）
在许多分类问题中，希望输出不同类别的校准好的概率。我们提出了一个强大的，非参数的校准概率的方法称为SplineCalibb，利用平滑样条来确定校准函数。我们演示了如何将某些转换作为校准过程的一部分来应用，以提高深度学习和其他得分往往“过于自信”的领域中的问题的性能。我们适应的方法，多类问题，发现更好的校准可以提高精度，以及更好地解决不确定的情况下，日志丢失。最后，我们提出了一个交叉验证的方法来校准保存数据。在几个不同的问题上显示了对对数损失和准确性的显着改善。我们还介绍了ml-insights python包，其中包含SplineCalib算法的实现。
2018-09-20 cs.AI cs.LG math.PR
ProbabilityBench: Model Evaluation and Calibration with Exact Ground-Truth Uncertainty
Florida State University（佛罗里达州立大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）；The University of Osaka（大阪大学）
针对真实数据模型不确定性评估难题，提出含三个文本模拟领域的ProbabilityBench基准，可精确计算类别概率与贝叶斯误差，用于16个模型的概率质量测量及校准指标等的元评估。
2026-10-14 cs.AI cs.LG stat.ML
Fast Belief Update Using Order-of-Magnitude Probabilities
Rockwell Science Center（罗克韦尔科学中心）
我们提出了一个算法，称为预测，更新因果网络量化的数量级概率的信念。该算法利用了网络的结构和量化，并提出了一个多项式渐近复杂性。预测表现出保守的行为，因为它总是合理的，但并不总是完整的。我们提供了充分的条件，完整性和目前的算法来测试这些条件和计算一套完整的似是而非的值。我们提出预测作为一种有效的方法来估计概率值，并说明其使用结合两个已知的概率推理算法。最后，我们描述了一个应用程序的预测计划评估，目前的实验结果，并讨论了有关其使用的问题与条件逻辑的信念，并在表征无关。
2013-02-20 cs.AI
Beyond Calibration: Do a Typed-Decision Model's Probabilities Obey the Probability Axioms?
本文提出无需标签的逻辑关联问题测试，发现类型化决策模型Jev和Qwen3.8-27B的概率违反概率公理，且不一致性随置信度变化，暴露了校准无法发现的系统偏差。
2026-09-29 cs.AI cs.CL cs.LG
UAC: Uncertainty-Aware Calibration of Neural Networks for Gesture Detection
Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；Schindler EPFL Lab（迅达-洛桑联邦理工学院实验室）
本文提出UAC方法，通过不确定性感知网络架构预测并校准手势概率，结合熵加权期望提升准确率，解决了基于IMU手势识别中分布外数据鲁棒性与概率校准问题。
2025-04-02 cs.AI cs.CV
TypedBench: A Benchmark for Calibration, Framing Sensitivity, and Cost in System One Decision Models
DFKI GmbH（德国人工智能研究中心）；RPTU Kaiserslautern（凯泽斯劳滕工业大学）；Imperial College London（伦敦帝国学院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
研究人员构建TypedBench基准评估第一类决策模型，发现托管模型受措辞影响且置信不足，解码器路由准确但随选项增多变慢，需联合评估模型多方面性能。
2026-10-12 cs.AI stat.AP
Distribution-free binary classification: prediction sets, confidence intervals and calibration
Carnegie Mellon University（卡内基梅隆大学）
我们研究了三个概念的不确定性量化-校准，置信区间和预测集-二进制分类的分布自由设置，即不作任何分布假设的数据。随着对校准的重点，我们建立了一个“三脚架”的定理，连接这三个概念的分数为基础的分类。一个直接的含义是，分布免费校准是唯一可能的，甚至渐近，使用评分函数的水平集划分的特征空间至多可数许多集。参数校准方案，如普拉特缩放的变体不满足这一要求，而非参数方案的基础上分仓。为了闭合循环，我们推导出固定宽度和均匀质量分箱的分箱概率的无分布置信区间。作为我们的“三脚架”定理的结果，这些分组概率的置信区间导致无分布校准。我们还推导出扩展设置流数据和协变量移位。
2022-02-16 cs.AI cs.LG math.ST
IDEA: An Interpretable and Editable Decision-Making Framework for LLMs via Verbal-to-Numeric Calibration
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Huawei Technologies Co.,Ltd（华为技术有限公司）
IDEA通过EM联合学习、相关采样和数学保证的参数编辑，实现LLM决策的校准概率与量化人机协作，实验显示其在五个数据集上优于其他模型。
2026-04-14 cs.AI
Distilling Calibration via Conformalized Credal Inference
1 King's Communications, Learning \& Information Processing (KCLIP) lab Centre for Intelligent Information Processing Systems (CIIPS), King’s College London, London, UK
针对边缘设备AI模型的复杂度约束与可靠性能平衡难题，提出CD-CI低复杂度方法，离线利用云端模型预测概率设阈值，运行时构建含云端预测的credal集，实验显示其校准性能优于低复杂度贝叶斯方法，适用于边缘AI部署。
2025-10-01 cs.AI cs.LG eess.SP
Stop Measuring Calibration When Humans Disagree
University of Amsterdam（阿姆斯特丹大学）；IT University of Copenhagen（哥本哈根信息技术大学）；MCML Munich（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
校准是一种流行的框架，用于评估分类器是否知道它何时不知道-即，其预测概率是预测正确的可能性的良好指示。正确性通常是针对人类多数阶级来估计的。最近，对人类多数的校准已经在人类固有地不同意哪个类适用的任务上进行了测量。我们表明，考虑到固有的分歧，测量校准到人类大多数在理论上是有问题的，在ChaosNLI数据集上经验性地证明了这一点，并推导出几个实例级的校准措施，这些措施捕获了人类判断的关键统计特性-类频率，排名和熵。
2022-11-30 cs.AI cs.CL cs.LG
Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration
Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；Stanford University（斯坦福大学）；Fundamental Technologies（基础技术公司）；Haute Autorité de Santé（法国国家卫生管理局）
该研究量化了批量二元决策中使用近似后验概率的超额风险，给出校准误差遗憾值的解析式与校准分类器遗憾值的上下界，可识别校准的作用场景，且相关量可实际估算，实验验证其能判断后训练收益，还指出多重校准的替代潜力。
2025-03-23 cs.AI cs.LG stat.ML
Token-based Decision Criteria Are Suboptimal in In-context Learning
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；RIKEN（理化学研究所）
本文提出隐藏校准方法，用语言模型最后隐藏状态上的最近质心分类替代传统基于标签令牌概率的决策标准，在多个模型和数据集上显著提升上下文学习分类性能并揭示其内在原理。
2025-02-05 cs.AI cs.CL cs.LG
A New Approach to Updating Beliefs
IBM Almaden Research Center（IBM阿尔马登研究中心）
我们定义了一个新的概念，条件信念，它扮演着相同的作用，Dempster-Shafer信念函数的条件概率概率的概率函数。我们的定义不同于Dempster给出的标准定义，并且避免了该定义的许多众所周知的问题。正如条件概率Pr（lB）是一个概率函数，它是条件B为真的结果，所以我们的条件信念函数Bel（lB）也是一个信念函数，它是条件B为真的结果。我们将条件信念定义为一个条件概率函数族的下包络（即inf），并提供了一个封闭形式的表达式，通过考虑早期论文[Fagin和Halpern，1989]中的思想，我们将信念函数与内部测度联系起来，提供了理解条件信念定义的另一种方式。特别是，我们在这里展示了如何将条件概率的定义扩展到不可测集，以获得内部和外部条件概率的概念，考虑到我们缺乏信息，这些条件概率可以被视为真实条件概率的最佳近似。我们对条件信念的定义与我们对内部条件概率的定义完全相似。
2013-03-27 cs.AI cs.LO
Calibration-First Cross-Cohort Multimodal Temporal Learning for Transferable Asthma-Risk Forecasting
Superior University Lahore（拉合尔卓越大学）
针对跨队列哮喘风险预测中模型校准不佳的问题，提出校准优先的多模态时序框架CALIBRA，通过可靠性门控和分层校准提升可迁移性，在半合成基准上验证了有效性。
2026-09-30 cs.AI cs.LG
Learning with Calibration: Exploring Test-Time Computing of Spatio-Temporal Forecasting
INTR \& DSA Thrust, The Hong Kong University of Science
针对时空预测中信号异常、分布偏移等问题，提出带校准的测试时计算范式ST-TTC，通过谱域校准器和快速更新机制实现实时偏差校正，兼具高效性与泛化性，经实验验证效果优异。
2025-10-29 cs.AI cs.ET cs.LG
