Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
University of Southern California（南加州大学）；AWS AI Labs（AWS AI实验室）
本文提出一种校准感知强化学习方法，通过调整决策标记概率，在保持准确性的同时减少过度自信，提升决策LLM的校准性能。
2026-01-19 cs.LG
Evaluating Posterior Probabilities: Decision Theory, Proper Scoring Rules, and Calibration
Instituto de Ciencias de la Computación（计算机科学研究所）；Universidad de Buenos Aires - CONICET（布宜诺斯艾利斯大学 - 阿根廷国家科学与技术研究理事会）；Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
本文针对机器学习后验概率评估中误用ECE等校准指标的问题，基于贝叶斯决策理论论证应使用归一化期望PSR，并提出源自PSR分解的校准损失作为更优诊断指标。
2024-08-05 cs.LG stat.ML
Truthfulness of Decision-Theoretic Calibration Measures
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一种新的校准度量 $\mathsf{StepCE}^{\textsf{sub}}$，它同时满足决策论含义和真实性，解决了现有度量只能满足其一的问题，并证明了完备的决策论校准度量在非平滑设置中必然不连续且非真实。
2025-03-04 cs.LG
Achieving Well-Informed Decision-Making in Drug Discovery: A Comprehensive Calibration Study using Neural Network-Based Structure-Activity Models
KU Leuven（鲁汶大学）；AstraZeneca（阿斯利康）；Chalmers University of Technology（查尔姆斯理工大学）
本研究针对药物发现中神经网络预测模型校准不良的问题，提出贝叶斯线性探测（BLP）方法，结合事后校准与不确定性量化，提升模型校准和准确性，实现明智决策。
2024-07-19 cs.LG stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Right Decisions from Wrong Predictions: A Mechanism Design Alternative to Individual Calibration
Stanford University（斯坦福大学）
决策者往往需要依赖不完美的概率预测。虽然平均性能指标通常是可用的，但很难评估单个预测和相应实用程序的质量。为了向决策者传达个人预测的信心，我们提出了一种补偿机制，确保预测效用与实际应计效用相匹配。虽然可以利用一个天真的计划来补偿决策者的预测错误，但从长远来看可能是不可持续的，我们提出了一种基于公平赌注和在线学习的机制，可以证明这是不能利用的。我们展示了一个应用程序，显示乘客如何自信地优化个人旅行计划的基础上，由航空公司估计的航班延误概率。
2021-03-02 cs.GT cs.LG math.PR
Calibration vs Decision Making: Revisiting the Reliability Paradox in Unlearned Language Models
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎浦尔学院（IIT坎浦尔））
本文研究了生成语言模型中校准与决策可靠性之间的差距，通过TOFU基准测试中的多项选择问答评估协议，发现经过微调的模型在校准误差较低，而未学习后的模型在校准误差仍低，但依赖于相关性特征的决策规则增加，扩展了可靠性悖论到机器未学习领域。
2026-05-20 cs.AI cs.CL cs.LG
Hierarchical Utility Calibration for Structured Multiclass Decisions
The University of Osaka（大阪大学）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心（AIP））；Mila – Quebec AI Institute（米拉——魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Nagoya University（名古屋大学）
针对多类概率预测中的效用校准问题，提出分层效用校准（HUC）方法，通过分解标签树内部节点贡献并逐节点校准，解决了层次结构中效用误差抵消问题，并给出有限样本评估与理论保证。
2026-09-30 cs.LG stat.ML
Calibration and Risk-Budgeted Decisions with System One Models
Heudiasyc - UMR CNRS 7253；Université de Technologie de Compiègne（贡比涅技术大学）
该研究针对LLM智能体的二元决策场景，提出基于系统一模型的风险预算决策方法，通过Learn Then Test（LTT）控制漏检风险，在六个数据集上验证其比朴素基线更优。
2026-10-15 cs.LG stat.ML
Testable and Actionable Calibration for Full Swap Regret
Department of Computer Science, Aarhus University（阿arhus大学计算机科学系）；Khoury College of Computer Sciences, Northeastern University（东北大学计算机科学学院）；Northeastern University（东北大学）
本文提出了一种新的校准度量标准SCDL，该度量标准在不削弱任何要求的前提下，既可操作又可检验，同时具备连续性和一致性等理想特性，并通过实验验证了其在实际中的优越性能。
2026-11-03 cs.LG stat.ML
Inference-Time Decision Calibration for Temporal Classification
Department of Computer Science (DCC), Universidade Federal de Minas Gerais (UFMG)（米纳斯吉拉斯联邦大学计算机科学系）
提出将时序分类错误分解为表征错误和决策错误，通过冻结原生分类器并添加残差多尺度分支与事后分支感知校准器，在不重训练骨干网络的情况下区分缺失时序证据与未充分利用的决策级证据。
2026-06-16 cs.LG
Estimating Expected Calibration Errors
EURA NOVA
当模型用于支持人类决策时，在更广泛的概率管道中或必须采取敏感的自动决策时，概率分类器预测的不确定性是一个关键问题。研究表明，大多数模型本质上都没有很好的校准，这意味着它们的决策得分与后验概率不一致。因此，能够校准这些模型，或在学习它们的同时执行校准，在最近的文献中重新引起了人们的兴趣。在这方面，适当评估校准对于量化处理校准问题的新贡献至关重要。然而，常用的度量标准还有改进的余地，更深入的分析可能会使校准评估受益。因此，本文的重点是在分类的背景下，校准指标的实证评估。更具体地说，它评估不同的估计的预期校准误差（$ECE$），其中传统的估计和一些新的，本文提出的。我们建立了一个实证程序来量化这些$ECE$估计的质量，并使用它来决定在实践中应使用的估计不同的设置。
2021-09-08 cs.LG
Hidden Heterogeneity: When to Choose Similarity-Based Calibration
Oregon State University（俄勒冈州立大学）
值得信赖的分类器对于在许多现实环境中采用机器学习预测至关重要。可能结果的预测概率可以为高风险决策提供信息，特别是在评估替代决策的预期价值或不良结果的风险时。这些决策需要经过良好校准的概率，而不仅仅是对最有可能的类别的正确预测。黑盒分类器校准方法可以提高分类器输出的可靠性，而不需要重新训练。然而，这些方法无法检测校准也可以提高预测精度的亚群。这样的亚群被认为表现出“隐藏的异质性”（HH），因为原始分类器没有检测到它们。本文提出了一个量化的措施，HH。它还介绍了两种相似性加权校准方法，可以通过本地适应每个测试项目来解决HH：SWC通过与测试项目的相似性对校准集进行加权，SWC-HH显式地结合隐藏的异质性来过滤校准集。实验表明，通过基于相似性的校准方法实现的校准中的改进与HH存在的量相关，并且在给定足够的校准数据的情况下，通常超过通过全局方法实现的校准。因此，HH可以作为一种有用的诊断工具，用于识别本地校准方法何时会有益。
2023-02-20 cs.LG
Sim2Act: Robust Simulation-to-Decision Learning via Adversarial Calibration and Group-Relative Perturbation
Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆森大学）；University of Kansas（堪萨斯大学）；RMIT University（皇家墨尔本理工大学）；NEC Laboratories America（NEC美国实验室）；Drexel University（德雷塞尔大学）
Sim2Act通过对抗校准和组相对扰动提升仿真到决策学习的鲁棒性，提高仿真保真度与决策影响的一致性，并在多种供应链基准中展示更稳定的决策性能。
2026-03-10 cs.AI cs.LG
Post-hoc Calibration of Neural Networks by g-Layers
Australian National University（澳大利亚国立大学）；Google Research（谷歌研究院）；DATA61, CSIRO（澳大利亚联邦科学与工业研究组织DATA61）
当将机器学习模型结合到现实世界的决策系统中时，神经网络的校准是需要考虑的一个关键方面，在现实世界的决策系统中，决策的置信度与决策本身同样重要。近年来，对神经网络校准的研究激增，并且大多数工作可以被归类为事后校准方法，其被定义为学习附加函数以校准已经训练好的基础网络的方法。在这项工作中，我们打算从理论的角度来理解事后校准方法。特别是，众所周知，如果达到全局最优，最小化负对数似然（NLL）将导致训练集上的校准网络（Bishop，1994）。然而，目前尚不清楚以事后的方式学习额外的功能是否会导致理论意义上的校准。为此，我们证明，即使基础网络（$f$）不导致全局最优的NLL，通过添加额外的层（$g$）和最小化NLL通过优化参数的$g$之一，可以得到一个校准的网络$g \circ f$。这不仅提供了一个不太严格的条件，以获得一个校准的网络，但也提供了一个事后校准方法的理论依据。我们在各种图像分类基准上的实验证实了这一理论。
2022-02-21 cs.CV cs.LG stat.ML
Decoupling Decision-Making in Fraud Prevention through Classifier Calibration for Business Logic Action
Mercado Libre（美卡多自由市场（拉美电商平台））；ICMC/Universidade de São Paulo（圣保罗大学计算机与数学科学学院）
本文提出通过分类器校准实现欺诈预防中ML分类器与业务逻辑动作的解耦，并在真实业务场景中比较多种校准策略，发现Isotonic和Beta校准在训练与测试数据分布偏移时表现更优。
2024-02-21 cs.LG
Dynamic Trust Calibration Using Contextual Bandits
Thayer School of Engineering（泰勒工程学院）；Dartmouth College（达特茅斯学院）
针对人机信任校准缺乏客观标准的问题，提出基于Contextual Bandits的动态指标，在三个数据集上使奖励提升10%至38%。
2025-09-27 cs.AI cs.HC cs.LG
Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration
Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；Stanford University（斯坦福大学）；Fundamental Technologies（基础技术公司）；Haute Autorité de Santé（法国国家卫生管理局）
该研究量化了批量二元决策中使用近似后验概率的超额风险，给出校准误差遗憾值的解析式与校准分类器遗憾值的上下界，可识别校准的作用场景，且相关量可实际估算，实验验证其能判断后训练收益，还指出多重校准的替代潜力。
2025-03-23 cs.AI cs.LG stat.ML
Inverse Active Sensing: Modeling and Understanding Timely Decision-Making
University of Cambridge（剑桥大学）；UCLA（加州大学洛杉矶分校）
基于证据的决策需要收集（昂贵的）关于感兴趣的潜在现象的观察结果，然后根据积累的证据做出（知情的）决定。在这种情况下，主动感知是目标导向的问题，有效地选择哪些收购，以及何时和什么决定解决。作为其补充，反向主动感知试图揭示代理的偏好和策略，给出他们的可观察的决策行为。在本文中，我们开发了一个表达，统一的框架，一般设置的证据为基础的决策下内生的，上下文相关的时间压力-这需要谈判（主观）之间的权衡准确性，快速性和成本的信息。使用这种语言，我们演示了它如何使建模直观的概念，惊喜，悬念和最优决策策略（前向问题）。最后，我们说明了如何通过量化所观察到的决策策略（逆问题）中隐含的偏好来理解决策行为。
2020-06-25 cs.LG stat.ML
A Review of Causal Decision Making
Amazon（亚马逊）；University of California, Irvine（加州大学尔湾分校）；North Carolina State University（北卡罗来纳州立大学）
本文综述从因果视角探讨决策制定的三大核心问题：因果结构学习、因果效应学习和因果策略学习，并讨论挑战与未来研究方向。
2025-02-22 cs.LG stat.ML
Epidemiological Model Calibration via Graybox Bayesian Optimization
Texas A&M University（德克萨斯农工大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
针对计算昂贵的仓室流行病学模型，提出利用函数结构的灰盒贝叶斯优化及解耦决策校准方法，在合成与COVID-19数据上提升精度并加快收敛。
2024-12-10 cs.LG stat.ML
Does Calibration Affect Human Actions?
Ariel University（阿利尔大学）；Carnegie Mellon University（卡内基梅隆大学）
通过人机交互实验研究校准对非专家决策与信任的影响，发现仅校准不足，前景理论修正对提升决策与预测相关性至关重要。
2025-08-23 cs.AI cs.HC cs.LG
Variational Bayesian Decision-making for Continuous Utilities
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）
贝叶斯决策理论概述了一个严格的框架，使最佳决策的基础上最大限度地提高预期效用的模型后验。然而，从业者往往没有获得完整的后验和诉诸近似推理策略。在这种情况下，在执行推理时考虑最终的决策任务允许校准后验近似以最大化效用。我们提出了一个自动流水线，co-opts连续效用到变分推断算法，占决策。我们提供了实用的策略，近似和最大化的增益，并根据经验证明一致的改进时，校准近似特定的实用程序。
2019-10-27 cs.LG stat.ML
Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems
Vector Institute（向量研究所）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Brain（谷歌大脑）；UT Austin（德克萨斯大学奥斯汀分校）
基于机器学习的决策系统越来越多地影响人类。在这种决策系统下，个人可能会遭受不希望的结果（例如拒绝信贷），而不管决策是否公平或准确。个人追索权涉及提供一套可操作的改变，一个人可以采取，以改善其结果的问题。我们提出了一个追索算法，模型的基础数据分布或流形。然后，我们提供了一种机制，以产生最小的变化集，这将改善个人的结果。这种机制可以很容易地用于为任何基于可微机器学习的决策系统提供资源。此外，所得到的算法被证明是适用于监督分类和因果决策系统。我们的工作试图填补现有的公平性文献，主要集中在发现和/或算法上执行决策系统的公平性约束的空白。这项工作也提供了一种替代方法来产生反事实的解释。
2019-07-22 cs.LG stat.ML
Calibrating Where It Matters: Constrained Temperature Scaling
School of Science and Engineering（科学与工程学院）；University of Dundee（邓迪大学）
针对诊断决策中训练时成本函数未知的问题，本文提出约束温度缩放，重点优化概率单纯形中影响决策区域的校准，并在皮肤镜图像卷积分类器上验证其效果。
2024-06-17 cs.CV cs.LG
Uncertainty-Aware Post-Hoc Calibration: Mitigating Confidently Incorrect Predictions Beyond Calibration Metrics
本文提出基于保形预测分组与双重等张回归的事后校准框架，在无需重训的情况下减少自信错误预测并改善不确定性决策。
2025-10-19 cs.AI cs.LG cs.NE
Token-based Decision Criteria Are Suboptimal in In-context Learning
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；RIKEN（理化学研究所）
本文提出隐藏校准方法，用语言模型最后隐藏状态上的最近质心分类替代传统基于标签令牌概率的决策标准，在多个模型和数据集上显著提升上下文学习分类性能并揭示其内在原理。
2025-02-05 cs.AI cs.CL cs.LG
Human-Aligned Calibration for AI-Assisted Decision Making
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Department of Biosystems Science and Engineering, ETH Zurich（苏黎世联邦理工学院生物系统科学与工程系）
本文研究AI辅助决策中置信度值为何难以被人类有效利用，提出置信度应与决策者自身置信度对齐，并证明多重校准是实现对齐的充分条件，实验表明对齐可改善人类决策质量。
2024-02-23 cs.CY cs.HC cs.LG
Internal Regret with Partial Monitoring. Calibration-Based Optimal Algorithms
Centre de Mathématiques et de Leurs Applications（数学及其应用中心）；École Normale Supérieure（巴黎高等师范学院）
我们提供了一致的随机算法的顺序决策下部分监控，即当决策者不观察的结果，而是接收随机反馈信号。这些算法没有内在的遗憾，因为在决策者根据给定的法则选择行动的阶段集合上，平均收益不可能通过使用任何其他固定的法则而得到平均改善。它们基于校准的一般化，不再用沃罗诺伊图定义，而是用拉盖尔图（一个更一般的概念）。这使我们能够在这个一般框架中第一次将$n$阶段的预期平均内部-以及通常的外部-遗憾限制在$O(n^{-1/3})$，这是已知的最佳值。
2011-02-22 cs.GT cs.LG math.OC
Calibration Meets Reality: Making Machine Learning Predictions Trustworthy
Independent Researcher（独立研究者）
本文理论分析 Platt scaling 与 isotonic regression，并结合合成及真实数据集实验，揭示特征信息量对校准稳健性的影响，给出方法选择指南。
2025-09-28 cs.AI cs.IT cs.LG
On The Statistical Complexity of Offline Decision-Making
Johns Hopkins University（约翰斯·霍普金斯大学）
该研究针对带函数逼近的离线决策，建立了随机上下文赌博机与马尔可夫决策过程的（近）极小极大最优速率，提出严格涵盖既往数据覆盖概念的行为策略新刻画，并验证了离线数据在多类在线决策场景中的近最优效益。
2025-01-10 cs.AI cs.LG stat.ML
Modeling and Interpreting Real-world Human Risk Decision Making with Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）；Huntington Medical Research Institutes（亨廷顿医学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
为了更好地理解人类在风险环境下的决策行为，我们采用逆向强化学习（IRL）对人类在风险环境下的决策行为进行建模。据我们所知，这是第一个应用IRL揭示人类风险决策中的隐性奖励函数，并解释风险倾向和风险厌恶决策政策的工作。我们假设状态历史（例如，以前试验中的奖励和决策）与人类奖励功能有关，这导致了风险规避和风险倾向的决策。我们设计的功能，反映这些因素的奖励功能的IRL和学习相应的权重，这是解释为功能的重要性。研究结果证实了个性化奖励函数下人类驱动的风险相关决策的次优性。特别是，风险偏好者倾向于根据当前的泵数量做出决定，而风险厌恶者则依赖于之前试验的突发信息和平均最终状态。我们的研究结果表明，IRL是一个有效的工具来模拟人类的决策行为，以及帮助解释人类的心理过程中的风险决策。
2019-06-13 cs.LG q-bio.NC stat.ML
Targeted Active Learning for Bayesian Decision-Making
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
在监督学习中，主动学习通常用于获取信息数据点的标签，以样本有效的方式最大限度地提高准确性。然而，当结果用于决策时，例如在个性化医疗或经济学中，最大限度地提高准确性并不是最终目标。我们认为，当连续获取样本时，分离学习和决策是次优的，我们引入了一个主动学习策略，该策略考虑到了线下决策问题。具体来说，我们引入了一种新的主动学习标准，最大限度地提高预期的信息增益的后验分布的最优决策。我们将我们的目标主动学习策略与模拟和真实数据上的现有替代方案进行了比较，并在决策准确性方面表现出更好的性能。
2021-10-20 cs.AI cs.LG stat.ML
AIMER: Calibration-Free Task-Agnostic MoE Expert Pruning
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出AIMER方法，通过专家权重的集中度模式识别独特专家，实现免校准的任务无关MoE专家剪枝，在7B至47B模型上优于现有方法。
2026-11-02 cs.LG
The Reliability Paradox: Exploring How Shortcut Learning Undermines Language Model Calibration
Purdue University（普渡大学）
本文探究了语言模型校准与捷径学习的关系，发现校准更优的模型反而包含更多不可泛化的决策规则，揭示了校准良好不等于本质可靠，呼吁开发兼顾泛化的综合框架。
2024-12-17 cs.AI cs.CL cs.LG
QA-Calibration of Language Model Confidence Scores
University of Amsterdam（阿姆斯特丹大学）；Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
本文提出QA-calibration概念及离散化事后校准方案，确保生成式问答系统置信度分数在不同问答组间校准，并在多基准和LLMs上验证其有效性。
2025-03-01 cs.CL cs.LG
Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference
Chongqing Key Laboratory of Secure Computing for Biology（重庆生物安全计算重点实验室）；Chongqing Institute of Green and Intelligent Technology（重庆绿色智能技术研究所）；Chinese Academy of Sciences（中国科学院）；Department of Industrial and Systems Engineering（工业与系统工程系）
针对同态加密推理中ReLU替换问题，提出一种决策感知的二次多项式替换方法，通过几何框架保证校准集决策不变，并利用软间隔松弛处理边界样本，在CKKS下实现3.7-4.1倍激活模块加速和1.18-1.68倍端到端加速。
2026-05-22 cs.CR cs.LG
Rethinking Post-Hoc Calibration in Semantic Segmentation
ICube Laboratory, CNRS UMR 7357, University of Strasbourg（斯特拉斯堡大学ICube实验室，CNRS UMR 7357）；CLCC Institut Strauss（斯特劳斯研究所）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；Faculty of Mathematics and Computer Science, University of Heidelberg（海德堡大学数学与计算机科学学院）；Medical Faculty Heidelberg, Heidelberg University（海德堡大学医学院）；Pattern Analysis and Learning Group, Dept. of Radiation Oncology, Heidelberg University Hospital（海德堡大学医院放射肿瘤科模式分析与学习组）
针对语义分割中事后校准存在的平移不变性和决策保持问题，提出平移不变校准器和决策保持校准器，在保持校准性能的同时避免分割退化。
2026-09-23 cs.CV cs.LG
Task-Aware Calibration: Provably Optimal Decoding in LLMs
School of Computation, Information & Technology, Technical University of Munich（慕尼黑技术大学计算、信息与技术学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Amsterdam（阿姆斯特丹大学）
本文提出任务感知校准方法，通过在任务诱导的潜在空间中校准模型预测分布，实现更可靠的解码策略，提升生成质量。
2026-05-11 cs.CL cs.LG
Is calibration a fairness requirement? An argument from the point of view of moral philosophy and decision theory
Politecnico di Milano（米兰理工大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）
在本文中，我们对机器学习文献中争论的两个统计公平性标准进行了道德分析：1）组间校准和2）组间假阳性率和假阴性率相等。在我们的论文中，我们专注于支持这两种措施的道德论据。群体校准与假阳性和假阴性率平等之间的冲突是从业者之间关于群体公平性定义争论的核心问题之一。对于任何彻底的道德分析，公平一词的含义必须明确和适当定义。在我们的论文中，我们将公平等同于（非）歧视，这是对群体公平讨论的合理理解。更具体地说，我们把它等同于表面上的错误歧视，就像Lippert-Rasmussen教授在处理这一定义时所使用的那样。在本文中，我们认为，违反团体校准可能是不公平的，在某些情况下，但在其他人不公平。这与文献中已经提出的主张一致，即算法公平性应该以对上下文敏感的方式定义。最重要的实际含义是，基于公平性要求组间校准或假阳性/假阴性率相等的例子的论点并不普遍。因为在一种情况下，群体校准可能是公平的要求，但在另一种情况下则不是。
2022-06-19 cs.CY cs.LG
Post-Calibration Reliability Reranking of Relevance Decisions via Label-wise Monotone Projection
UNIST（蔚山科学技术院）；LinqAlpha（林克阿尔法）
针对检索系统校准后仍存在的标签依赖可靠性差异，提出逐标签单调可靠性投影（MRP）方法，通过残余风险重排序提升重排序效果与弃权效用，同时保持准确率与ECE。
2026-08-12 cs.IR cs.LG
Augmenting Organizational Decision-Making with Deep Learning Algorithms: Principles, Promises, and Challenges
ETH Zurich（苏黎世联邦理工学院）
当前人工智能在管理和组织研究中的理论和研究的扩展使组织决策的理论和研究重新焕发了活力。特别是，深度学习（DL）算法的最新进展有望为组织内的决策带来好处，例如帮助员工进行信息处理，从而增强他们的分析能力，并可能帮助他们过渡到更具创造性的工作。
2020-11-02 cs.LG
Paradoxes in Fair Computer-Aided Decision Making
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
计算机辅助决策--人类决策者在做出决策时得到计算分类器的帮助--正变得越来越普遍。例如，至少有九个州的法官在判决、假释或保释决定中使用算法工具来确定刑事被告的“累犯风险评分”。最近争论的一个主题是，这种算法工具是否“公平”，因为它们不歧视某些群体（例如，种族）的人。我们的主要结果表明，对于“非平凡”的计算机辅助决策，要么分类器必须是歧视性的，或者一个理性的决策者使用的分类器的输出是被迫歧视。我们进一步提供了一个完整的表征的情况下，公平的计算机辅助决策是可能的。
2018-01-31 cs.CY cs.LG
TDM: Trustworthy Decision-Making via Interpretability Enhancement
Auburn University（奥本大学）；NVIDIA Corporation（英伟达公司）；University at Buffalo（布法罗大学）
人机交互决策越来越普遍，信任是决定自主性依赖的一个影响因素。然而，信任超出我们理解范围的系统是不合理的，典型的机器学习和数据驱动决策是黑盒范例，阻碍了可解释性。因此，建立由可解释性感知策略增强的计算可信决策机制至关重要。为此，我们提出了一个可信的决策（TDM）框架，它集成了符号规划到顺序决策。该框架学习可解释的子任务，导致一个复杂的，更高层次的复合任务，可以正式评估使用建议的信任度量。TDM通过设计实现了子任务级的可解释性，并从学习的子任务收敛到最佳符号计划。此外，一个基于TDM的算法被引入到演示符号规划与其他顺序决策算法的统一，收获两者的好处。实验结果验证了基于信任分数的规划方法的有效性，同时提高了子任务的可解释性。
2021-08-13 cs.LG
Binary Agreement for Efficient Unsupervised Confidence Calibration of Reasoning LLMs
Columbia University（哥伦比亚大学）
本文提出一种无监督置信度校准方法，通过单次生成数据提升推理语言模型的置信度估计，经多任务评估显著优于基线方法，提升下游任务表现。
2026-10-21 cs.LG
Decision Making in Changing Environments: Robustness, Query-Based Learning, and Differential Privacy
研究时变环境下的交互式决策问题，提出hybrid DMSO框架以统一分析LDP决策、SQ学习及鲁棒决策，并基于DEC变体推导界，揭示其与SQ维度等概念的关联，应用于上下文赌博机。
2025-01-24 cs.AI cs.IT cs.LG
Forecast Skill Is Not Decision Skill: Evidence from Weather-Dependent Decision Tasks
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
从决策者角度评估天气预报，发现预报性能在决策层面与预报层面不一致，需采用新的评估框架来选择最优模型。
2026-09-07 cs.LG stat.AP
Social-Inverse: Inverse Decision-making of Social Contagion Management with Task Migrations
University of Delaware（特拉华大学）
考虑两个决策任务$A$和$B$，每个都希望为给定的\textit{query} $X$计算有效的\textit{decision} $Y$，{我们可以通过使用$A$的查询-决策对$(X, Y)$来解决任务$B$而不知道潜在的决策模型吗？}这种问题，称为\textit{inverse decision-making with task migrations}，感兴趣的是，现实世界中的应用程序的复杂性和随机性往往会阻止代理完全知道底层系统。在本文中，我们介绍了这样一个新的问题与正式的配方，并提出了一个通用的框架，以解决决策任务的社会传染管理。在理论方面，我们提出了一个泛化分析证明我们的框架的学习性能。在实证研究中，我们进行了合理性检查，并与其他可能的基于学习和基于图的方法比较所提出的方法。我们已经获得了令人鼓舞的实验结果，首次证实了通过使用与另一个相关联的解决方案来解决一个决策任务是可能的。
2022-09-21 cs.LG cs.SI
Calibration-Aided Edge Inference Offloading via Adaptive Model Partitioning of Deep Neural Networks
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
移动设备可以将基于深度神经网络（DNN）的推理卸载到云端，克服本地硬件和能源限制。然而，卸载增加了通信延迟，从而增加了总体推理时间，因此应该仅在需要时使用。解决这个问题的一种方法是使用基于早期退出DNN的自适应模型划分。因此，推断在移动终端处开始，并且中间层估计准确度：如果估计的准确度足够，则设备采取推断决策;否则，DNN的其余层在云中运行。因此，只有当设备不能以高置信度对样本进行分类时，才将推断卸载到云。这种卸载需要在设备处进行正确的准确度预测。然而，DNN通常是错误的，提供过度自信的决策。这项工作表明，通过模型划分使用一个错误校准的早期退出DNN进行卸载可以显着降低推理精度。相比之下，我们认为，在部署之前实施校准算法可以解决这个问题，允许更可靠的卸载决策。
2021-01-28 cs.LG cs.NI
End-to-End Conformal Calibration for Optimization Under Uncertainty
Department of Computing and Mathematical Sciences（计算与数学科学部）；California Institute of Technology（加州理工学院）
本文提出端到端符合校准框架，用于在不确定性下优化，通过下游决策损失指导不确定性学习，提升能源存储和投资组合优化性能。
2026-02-01 cs.LG math.OC
FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models
FAIR
针对扩散大语言模型训练后量化中前沿决策易翻转并永久锁定放大的问题，提出两阶段PTQ框架FAIR-Calib，通过前沿命中与掩码阶段可靠性估计位置先验，并利用重加权隐状态MSE校准优先保护脆弱前沿状态，理论证明其作为输出KL散度代理，实验显著优于基线。
2026-07-21 cs.AI cs.LG
DeLLMa: Decision Making Under Uncertainty with Large Language Models
University of Southern California（南加州大学）
本文提出DeLLMa框架，通过整合推理时计算扩展、决策理论与效用理论的多步推理过程，提升大型语言模型在不确定性环境下的决策准确性，实现高达40%的准确率提升。
2024-10-11 cs.AI cs.CL cs.LG
Developing moral AI to support antimicrobial decision making
Imperial College London（伦敦帝国理工学院）；National Institute for Health Research（国家健康研究所）
人工智能（AI）协助抗生素处方引发了重大的道德问题。利用道德框架和人工智能驱动的系统，同时考虑感染的具体复杂性，可以支持道德决策，以解决抗生素耐药性问题。
2022-08-12 cs.AI cs.CY cs.LG
Fairness and Sequential Decision Making: Limits, Lessons, and Opportunities
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
随着自动决策和决策辅助系统在日常生活中变得越来越普遍，关于预防或减轻这些系统所做决策产生的潜在危害的研究也越来越多。然而，不同的研究团体已经独立地对这些危害进行了概念化，设想了潜在的应用，并提出了干预措施。其结果是一个有点破碎的文学景观一般集中在确保决策算法“做正确的事情”。在本文中，我们比较和讨论的工作在两个主要子集的文献：算法公平性，主要集中在预测系统，道德决策，主要集中在顺序决策和规划。我们探讨这些设置如何表达其规范性的问题，这些不同的设置不同的技术的可行性，以及如何从每个设置的想法可能有其他的效用。
2023-01-13 cs.AI cs.CY cs.LG
