Double-Calibration: Towards Reliable LLMs via Calibrating Knowledge and Reasoning Confidence
School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou, China(中山大学计算机科学与工程学院,广州,中国);Department of Computing, The Hong Kong Polytechnic University, Hong Kong SAR(香港理工大学计算机系,香港特别行政区);School of Science and Technology, Hong Kong Metropolitan University, Hong Kong SAR(香港 Metropolitan 大学科技学院,香港特别行政区)
本文提出双重校准框架,通过校准知识和推理置信度提升LLM的可靠性,实验表明其在保持低token成本的同时显著提高准确性和置信度校准。
2026-05-16 cs.AI cs.CL
When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment
University of Central Florida(中佛罗里达大学)
本文研究了如何通过校准LLM评分器的置信度来提高自动评估的可靠性,比较了三种置信度估计方法在不同规模的LLM上的表现,发现自报置信度在所有条件下均表现最佳,且大模型在不同数据集上具有更好的校准效果。
2026-03-31 cs.CL cs.CY
Calibrating Large Language Models Using Their Generations Only
Parameter Lab(参数实验室);IT University of Copenhagen(哥本哈根信息技术大学);Pioneer Centre for Artificial Intelligence(人工智能先锋中心);NAVER AI Lab(NAVER人工智能实验室);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
针对仅能通过生成文本交互的大语言模型校准难题,提出APRICOT方法训练额外模型基于文本输入输出预测置信度,在闭卷问答的白盒黑盒场景校准误差表现具竞争力,可检测错误答案。
2024-03-09 cs.AI cs.CL cs.LG
Calibrating Uncertainty Quantification of Multi-Modal LLMs using Grounding
Georgia State University(佐治亚州立大学);Computer Science Lab, SRI(SRI计算机科学实验室);Army Cyber Institute, United States Military Academy(美国陆军网络学院)
本文提出利用跨模态接地与温度缩放相结合的方法来校准多模态大语言模型的不确定性量化,并在医学问答和视觉问答任务上验证了其显著提升校准效果的有效性。
2025-04-30 cs.AI cs.CL cs.CV
Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
National University of Singapore(新加坡国立大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);The Hong Kong University of Science and Technology(香港科技大学)
本研究提出一个系统框架,通过提示策略、采样方法和聚合技术,在黑盒LLM中引导置信度,并在多个数据集和模型上评估,发现LLM过度自信,但所提策略可缓解,且与白盒方法差距小。
2024-03-17 cs.CL
Calibrating LLMs with Semantic-level Reward
Department of Computer Science and Engineering, University of California San Diego, La Jolla, California, USA(加州大学圣地亚哥分校计算机科学与工程系,拉贾尔,加利福尼亚州,美国);Halıcıoğlu Data Science Institute, University of California San Diego, La Jolla, California, USA(加州大学圣地亚哥分校Halıcıoğlu数据科学研究所,拉贾尔,加利福尼亚州,美国);Department of Statistics, Stanford University, Stanford, California, USA(斯坦福大学统计学系,斯坦福,加利福尼亚州,美国)
本文提出了一种新的校准框架CSR,通过在语义空间中直接校准语言模型,避免了传统方法中因词汇化置信度导致的不一致问题,实验显示CSR在多个数据集上均能有效降低ECE并提高AUROC。
2026-05-20 cs.CL cs.LG
Confidence Calibration and Rationalization for LLMs via Multi-Agent Deliberation
University of British Columbia(不列颠哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
针对LLM校准差、过度自信的问题,提出无需训练的多智能体协作校准策略Collaborative Calibration,通过群体审议提升生成式问答的置信度校准与预测可靠性。
2024-05-10 cs.CL
Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
OpenAI
该研究针对超人类模型难以被人类可靠监督的对齐难题,提出弱到强泛化现象,通过实验验证弱模型监督可使强模型表现优于监督者,还发现辅助置信度损失等方法能提升该泛化效果,为超人类模型对齐研究提供了实证可行的方向。
2023-12-14 cs.CL
Calibrating Long-form Generations from Large Language Models
Duke University(杜克大学);Yale University(耶鲁大学)
针对长文本生成只能部分正确、二元校准失效的问题,提出将正确性与置信度视为分数分布的统一框架、三项指标及两种置信度诱导方法,并验证模型级联等改进策略。
2024-10-25 cs.AI cs.CL cs.LG
An Analysis of Training-Free Self-Reported Confidence in Language Models
DreamAI
本研究分析语言模型免训练置信度信号,发现直接口头表达优于多样本一致性,且自报告对提示方式、相关错误和基准噪声敏感。
2026-09-18 cs.CL
CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction
Cornelia Caragea(卡伦·卡雷亚);Mohammad Anas Jawad(穆罕默德·安斯·贾瓦德)
提出CaliDist方法,通过测量和惩罚模型对语义干扰的敏感性来校准LLM,在7个NLU基准上平均将ECE从23%降至7%。
2026-08-05 cs.CL cs.LG
Calibrating LLMs for Text-to-SQL Parsing by Leveraging Sub-clause Frequencies
Carnegie Mellon University(卡内基梅隆大学);Bloomberg(彭博)
本文针对LLM在Text-to-SQL解析中自信出错的问题,提出利用SQL结构化特性的“子句频率”(SCF)分数,并通过多元Platt scaling(MPS)将其组合,有效提升了查询正确性置信度的校准与错误检测效果。
2025-09-17 cs.AI cs.CL cs.LG
Calibrating Verbalized Probabilities for Large Language Models
Amazon(亚马逊)
该研究针对大语言模型言语化概率校准问题,识别出重softmax问题并提出逆softmax技巧估计logit,经三个数据集验证,证实了LLM生成类别分布的稳健性与该技巧的有效性,助力黑盒LLM输出的可靠评估与利用。
2024-10-09 cs.AI cs.CL
Enhancing Healthcare LLM Trust with Atypical Presentations Recalibration
Université de Montréal(蒙特利尔大学);Mila(米拉研究所);CRCHUM(蒙特利尔大学中心医院研究中心)
本文针对黑盒大语言模型在医疗场景中的过度自信问题,提出利用非典型表现调整置信度估计的重校准方法,在三个医学问答数据集上将校准误差降低约60%,显著优于现有方法。
2024-09-05 cs.CL
GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models
Queen Mary University of London(伦敦玛丽女王大学)
本文提出GrACE,一种生成方法,用于改进大语言模型的置信度 elicitation 和测试时的高效扩展,通过实时计算隐藏状态与特殊标记嵌入的相似性,实现可靠且可扩展的置信度评估。
2026-04-07 cs.CL
Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation
Stanford University(斯坦福大学)
本研究提出结合语言询问与代理模型概率的方法,以估计无法访问softmax概率的LLM(如GPT-4)的置信度,在12个问答数据集上达到84.6%的平均AUC,优于单独方法。
2023-11-15 cs.CL cs.LG
SimLens for Early Exit in Large Language Models: Eliciting Accurate Latent Predictions with One More Token
Institute of Neuroscience, State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心神经科学研究所,脑认知与脑启发智能技术国家重点实验室,脑科学与智能技术卓越创新中心);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院)
本文提出SimLens,一种无需训练的解码器,通过保留起始标记和候选答案标记进行轻量级延续,提升潜在预测准确性。结合线性SimLens和SimExit机制,在多个数据集上实现更高的准确性和更快的推理速度。
2026-08-27 cs.CL cs.PF
Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models
Brock University(布洛克大学);Nazarbayev University(纳扎尔巴耶夫大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出置信度-概率对齐性概念,通过多种提示技术探究LLM内部token概率置信度与显式表达置信度的一致性,发现GPT-4对齐性最强,为LLM风险评估与可信度研究提供支持。
2024-06-15 cs.AI cs.CL cs.LG
Confidence Should Be Calibrated More Than One Turn Deep
Queen Mary University of London(伦敦玛丽女王大学);Xi’an Jiaotong University(西安交通大学)
本文提出多轮校准任务,解决多轮对话中置信度动态校准问题,通过MTCal和ConfChat提升模型在多轮交互中的事实性和一致性。
2026-04-07 cs.CL
A Survey of Confidence Estimation and Calibration in Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Technical University of Darmstadt(达姆施塔特工业大学)
本文综述了大语言模型的置信度估计与校准研究,梳理了相关挑战、近期技术进展及应用,并提出未来研究方向。
2024-03-25 cs.AI cs.CL
Calibrating Language Models with Adaptive Temperature Scaling
Stanford University(斯坦福大学)
本文提出自适应温度缩放(ATS)方法,通过为每个token预测温度参数来修复RLHF微调后LLMs的校准退化问题,在三个自然语言基准上提升校准性能10-50%且不影响RLHF性能收益。
2024-09-29 cs.AI cs.CL cs.LG
Fact-Level Confidence Calibration and Self-Correction
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Penn State University(宾夕法尼亚州立大学)
本文提出事实级置信度校准框架,并基于此开发ConFix方法,利用高置信度事实改进低置信度事实,在无需外部知识源的情况下有效缓解LLM幻觉。
2024-11-20 cs.AI cs.CL
Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?
Qilu Institute of Technology, School of Software Engineering(齐鲁理工学院软件工程学院)
研究通过概率校准评估器的成对判断来缓解LLM智能体反馈回路中的偏好耦合,实验表明校准将耦合系数降低20-49%,JS散度降低45-67%。
2026-07-01 cs.AI cs.CL cs.LG
Beyond Confidence: Rethinking Self-Assessments for Performance Prediction in LLMs
Department of Computer Science and Engineering, College of Engineering, The Pennsylvania State University(计算机科学与工程系,工程学院,宾夕法尼亚州立大学)
本文提出基于认知评估理论的多维自我评估框架,通过六个评估维度和置信度预测模型失败,发现能力相关维度在多数场景中表现更优,且努力维度在推理任务中更具预测性。
2026-05-08 cs.AI cs.CL cs.LG
Synergy-of-Thoughts: Eliciting Efficient Reasoning in Hybrid Language Models
Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
受双过程理论启发,本文提出SoT框架,利用小模型生成直觉思维并交叉评估,冲突时调用大模型反思纠正,在保证准确率与多样性的同时大幅降低API成本。
2024-08-24 cs.AI cs.CL cs.LG
Self-Calibrating Language Models via Test-Time Discriminative Distillation
本文提出SECL方法,利用模型在回答正确性问题时的真实概率与声明置信度之间的差距进行无监督训练,有效降低校准误差,优于现有方法。
2026-03-18 cs.CL cs.LG
ConfTuner: Training Large Language Models to Express Their Confidence Verbally
National University of Singapore(新加坡国立大学)
ConfTuner通过引入标记化布里尔分数损失函数,有效提升大型语言模型的置信度校准能力,适用于多种推理任务并泛化至黑盒模型。
2025-11-25 cs.AI cs.CL
Calibrating Reasoning in Language Models with Internal Consistency
Shanghai Jiao Tong University(上海交通大学);Adobe Research(奥多比研究院);The University of Hong Kong(香港大学)
本文提出用中间层潜在预测的内部一致性衡量 LLM 推理置信度,并据此上调高一致性推理路径权重,从而有效区分推理正误并提升性能。
2024-12-05 cs.AI cs.CL
Calibrating Semantic Uncertainty from Observable Language-Model Probabilities
Artificial Intelligence Finance Institute (AIFI)(人工智能金融研究所);Quiota LLC(Quiota公司)
研究如何从语言模型概率校准语义不确定性,引入语义映射方法,经测试该方法在处理专业市场文本和模拟时,语言衍生概率表现良好,能恢复后验且稳定,语义映射将问题转化为可测试统计问题并产生可审计后验估计。
2026-08-05 cs.CL math.ST stat.ME
RL-ARC: Calibrating Large Reasoning Models via Reasoning-guided Uncertainty
Korea University(高丽大学)
RL-ARC是一种校准感知训练框架,联合利用推理与答案置信度,可改善推理模型校准效果,缓解分布偏移下的过度自信问题,且不大幅牺牲推理性能。
2026-10-09 cs.AI cs.CL cs.LG
Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts
University of Science and Technology of China(中国科学技术大学);Qwen Business Unit of Alibaba(阿里巴巴通义千问事业部);National University of Singapore(新加坡国立大学)
针对RLVR模型过度自信问题,提出CREDO方法,用可微读出替代文本采样置信度,并通过回归训练及加权轨迹,在数学和代码推理中同时提升准确性与校准度。
2026-09-29 cs.AI cs.CL cs.LG
CALIBER: Calibrating Confidence Before and After Reasoning in Language Models
Cohere Labs(Cohere 实验室)
提出CALIBER方法,在推理前和推理后分别估计置信度,并匹配相应的监督目标,显著降低期望校准误差(ECE)并提升校准性能。
2026-06-24 cs.AI cs.CL
Vulnerability of LLMs' Stated Beliefs? LLMs Belief Resistance Check Through Strategic Persuasive Conversation Interventions
Indiana University Bloomington(印第安纳大学布卢明顿分校)
研究通过战略性说服对话干预评估LLMs在不同领域中的信念稳定性,发现小模型易受说服影响,而自信提示反而加剧了脆弱性,揭示了模型依赖性的鲁棒性限制。
2026-10-06 cs.AI cs.CL
Beyond Accuracy: The Role of Calibration in Self-Improving Large Language Models
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Arizona State University(亚利桑那州立大学)
本文研究了自我改进LLMs中的置信度校准问题,发现迭代自我改进会导致系统性过度自信,并提出在每个自我改进步骤中迭代应用校准是降低期望校准误差的最有效策略,为平衡模型性能与可靠性提供了新见解。
2025-04-03 cs.AI cs.CL
Estimating Uncertainty from Reasoning: A Large-Scale Study of Multi- and Crosslingual MCQA Performance in LLMs
INSAIT(萨格勒布信息与智能技术研究所);Amazon(亚马逊)
研究对22种语言的不确定性估计方法进行大规模评估,使用两个人工整理的问答数据集,比较不同模型和架构下的UE方法。发现促使模型用英语推理可提升UE性能,缩小不同资源语言间的性能差距,且UE方法选择取决于模型规模,还给出了选择性预测阈值选择的分析。
2026-09-07 cs.AI cs.CL
MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools
CMU LTI(卡内基梅隆大学语言技术研究所);Microsoft(微软公司)
本文提出模型内部置信度估计器MICE,通过logitLens解码中间层并计算相似度输入分类器,有效提升工具调用智能体的置信度校准与决策效用。
2025-04-28 cs.AI cs.CL cs.LG
To Trust or Not to Trust? Enhancing Large Language Models' Situated Faithfulness to External Contexts
Duke University(杜克大学)
本文研究 LLM 在 RAG 等场景中盲目信任错误外部上下文的问题,提出 SCR、RCR 及 CR-DPO 微调方法,以根据内外部知识置信度动态解决冲突并提升问答准确性。
2025-03-17 cs.AI cs.CL
Calibrating Structured Output Predictors for Natural Language Processing
我们解决的问题,校准预测置信度的输出实体感兴趣的自然语言处理(NLP)的应用。重要的是,诸如命名实体识别和问答之类的NLP应用程序为其预测生成校准的置信度分数,特别是如果系统要部署在安全关键领域(如医疗保健)中。然而,这样的结构化预测模型的输出空间通常太大而不能直接适应二进制或多类校准方法。在这项研究中,我们提出了一个通用的校准方案,在基于神经网络的结构化预测模型的输出实体的兴趣。我们提出的方法可以用于任何二进制类校准方案和神经网络模型。此外,我们还表明,我们的校准方法也可以用作不确定性感知的实体特定解码步骤,以提高底层模型的性能,而无需额外的训练成本或数据要求。我们表明,我们的方法优于目前的校准技术命名实体识别,部分的语音和问答。我们还通过多个任务和基准数据集的解码步骤来提高模型的性能。我们的方法也提高了域外测试场景的校准和模型性能。
2020-05-05 cs.CL cs.LG
Generalized Correctness Models: Learning Calibrated and Model-Agnostic Correctness Predictors from Historical Patterns
UNC Chapel Hill(北卡罗来纳大学教堂山分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出广义正确性模型(GCM),通过注入历史正确性模式实现模型无关且可泛化的置信度估计,实验证明该方法优于自我内省,并提升校准性能。
2026-09-15 cs.AI cs.CL
Calibration of Machine Reading Systems at Scale
ETH Zürich(苏黎世联邦理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在典型的机器学习系统中,预测概率的估计用于评估系统对预测的置信度。这种置信度通常是未经校准的;即,系统对预测的置信度与预测输出的真实概率不匹配。在本文中,我们提出了一个调查校准开放设置机器阅读系统,如开放域问答和索赔验证系统。我们表明,校准这种复杂的系统,其中包含离散检索和深度阅读组件是具有挑战性的,目前的校准技术未能扩展到这些设置。我们提出了简单的扩展现有的校准方法,使我们能够适应这些设置。我们的实验结果表明,该方法工作良好,并可以是有用的选择性预测答案时,问答系统提出了不可回答的或出的训练分布的问题。
2022-05-23 cs.CL cs.LG
Theorem-of-Thought: A Multi-Agent Framework for Abductive, Deductive, and Inductive Reasoning in Language Models
Texas A&M University(德克萨斯大学);Hamad Bin Khalifa University(哈马德·本·卡伊夫大学)
针对大语言模型推理鲁棒性差、缺乏逻辑结构校验的问题,提出模拟三类推理模式的多智能体框架ToTh,通过贝叶斯信念传播评估推理一致性,在多个基准上优于现有提示技术,可生成可解释的逻辑推理链。
2025-07-31 cs.AI cs.CL
Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models
Tsinghua University(清华大学);Pazhou Lab(琶洲实验室)
本文研究微调语言模型的校准问题,发现灾难性遗忘损害校准性,并提出通过辅助语言建模保留预训练特征的方法,在多个NLU任务上取得最低期望校准误差。
2023-05-30 cs.CL cs.LG
Enhancing Language Model Factuality via Activation-Based Confidence Calibration and Guided Decoding
University of Michigan(密歇根大学)
本文提出基于激活的校准方法ActCab和置信度引导解码策略CoDec,通过在LM最后一层激活上训练线性层捕捉知识表示,并利用置信度信号引导生成高置信度真实答案,在多个QA基准上显著降低校准误差并提升事实性。
2024-11-12 cs.CL
MMBoundary: Advancing MLLM Knowledge Boundary Awareness through Reasoning Step Confidence Calibration
Hong Kong University of Science and Technology(香港科技大学);UMass Amherst(马萨诸塞大学阿姆赫斯特分校);University of Southern California(南加州大学)
本文提出 MMBoundary 框架,通过结合文本与跨模态自奖励信号估计每个推理步骤的置信度,并利用监督微调与强化学习校准置信度,有效提升了 MLLM 的知识边界感知与任务性能。
2025-06-27 cs.CL
How to Estimate Whether You Have Found Several Needles in a Haystack: Measuring Calibration in Multi-Label Text Classification
针对多标签分类中校准度量未充分探索且现有分箱方案有缺陷的问题,提出对正负标签分配赋予同等权重的新分箱方案,以提供可信的标签级校准误差估计,并揭示大模型多标签校准的开放挑战。
2026-09-23 cs.CL
How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院)
最近的工作表明,语言模型(LM)捕捉不同类型的知识,关于事实或常识。但是,由于没有一个模型是完美的,它们在许多情况下仍然无法提供适当的答案。在本文中,我们提出了这样一个问题:“我们如何知道语言模型何时知道某个特定查询的答案?“我们从校准的角度来研究这个问题,概率模型的预测概率的属性实际上与正确性的概率密切相关。我们研究了三个强大的生成模型- T5,BART和GPT-2 -并研究其QA任务的概率是否得到了很好的校准,发现答案是一个相对简单的否定。然后,我们研究了校准这些模型的方法,使其置信度得分更好地与正确性的可能性相关,通过微调,事后概率修改,或调整预测的输出或输入。在不同数据集上的实验证明了我们方法的有效性。我们还进行了分析,研究这些方法的优势和局限性,揭示了进一步的改进,可以在校准LM的方法。我们已经在https://github.com/jzbjyb/lm-calibration上发布了代码。
2021-05-20 cs.CL
Self-Knowledge Distillation for Learning Ambiguity
Nota Inc.(Nota公司);School of Computing, KAIST(韩国科学技术院计算机学院)
本文提出自知识蒸馏方法,利用模型低层知识学习标签分布并重新校准高度模糊样本的置信度,在多个 NLU 基准上缓解错误预测的过度自信问题,且训练更高效。
2024-06-14 cs.AI cs.CL