From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
研究基于语言的定量预测中模型易出错问题,提出CARE-PPO强化学习框架,通过建立损失预测与近端策略优化微调的联系,联合学习数值估计与置信度信号,在多任务和模型规模上提升预测性能与置信度估计,减少过拟合。
2026-07-15 cs.AI cs.CL
Confidence-Calibrated Small-Large Language Model Collaboration for Cost-Efficient Reasoning
Amazon Web Services(亚马逊网络服务);Tsinghua University(清华大学)
COREA通过结合小型和大型语言模型,利用置信度校准提升推理效率,降低21.5%-16.8%成本,同时保持高准确率。
2026-03-04 cs.AI cs.CL
Confidence-Aware Routing for Large Language Model Reliability Enhancement: A Multi-Signal Approach to Pre-Generation Hallucination Mitigation
AI Safety Research(人工智能安全研究);Convai Innovations(Convai创新)
针对大语言模型的幻觉问题,提出融合三类信号的置信度感知路由系统,生成前主动评估不确定性并分流查询,在知识密集型问答基准上显著提升幻觉检测效果与F1分数,同时降低计算成本。
2025-09-23 cs.AI cs.CL
Multi-Perspective Consistency Enhances Confidence Estimation in Large Language Models
Meituan(美团);Beijing University of Posts and Telecommunications(北京邮电大学)
针对大型语言模型对错误答案过度自信的问题,本文提出多视角一致性(MPC)方法,利用模型内部和跨模型的互补见解进行缓解,在八个数据集上达到SOTA性能且具备良好扩展性。
2024-02-17 cs.AI cs.CL
Shared Doubt: Zero-Shot Cross-Lingual Confidence Estimation for Language Models
ILLC, University of Amsterdam(阿姆斯特丹大学ILLC);ILCC, University of Edinburgh(爱丁堡大学ILCC)
研究多语言大语言模型是否编码共享的、可跨语言迁移的置信度特征,通过轻量级线性探针从中间表示直接预测答案正确性,实现零样本跨语言泛化,并发现置信度特征集中在中间层。
2026-09-29 cs.AI cs.CL cs.LG
ConfTuner: Training Large Language Models to Express Their Confidence Verbally
National University of Singapore(新加坡国立大学)
ConfTuner通过引入标记化布里尔分数损失函数,有效提升大型语言模型的置信度校准能力,适用于多种推理任务并泛化至黑盒模型。
2025-11-25 cs.AI cs.CL
A Survey of Confidence Estimation and Calibration in Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Technical University of Darmstadt(达姆施塔特工业大学)
本文综述了大语言模型的置信度估计与校准研究,梳理了相关挑战、近期技术进展及应用,并提出未来研究方向。
2024-03-25 cs.AI cs.CL
REHEARSE: Experiential Rehearsal for Verbal Confidence Calibration in Large Language Models
University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学);University of Illinois Chicago(伊利诺伊大学香槟分校)
针对大语言模型置信度与实际正确性不匹配的问题,提出无训练的Rehearse方法,通过置信度校准博弈的反馈生成校准信号,在多模型多基准实验中显著降低了预期校准误差并提升准确率。
2026-08-14 cs.AI cs.CL
Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors
ToppyMicroServices OÜ
本研究提出稳定校准误差概念,结合两类诊断方法,发现自我批判提示可降低模型隐藏状态敏感性,但高置信度错误未必是推理脆弱,部分或为稳定校准不当。
2026-08-17 cs.AI cs.CL
Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models
Brock University(布洛克大学);Nazarbayev University(纳扎尔巴耶夫大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出置信度-概率对齐性概念,通过多种提示技术探究LLM内部token概率置信度与显式表达置信度的一致性,发现GPT-4对齐性最强,为LLM风险评估与可信度研究提供支持。
2024-06-15 cs.AI cs.CL cs.LG
MlingConf: A Comprehensive Study of Multilingual Confidence Estimation on Large Language Models
本文提出MlingConf基准,系统研究大语言模型在多语言置信度估计中的表现,发现英语在语言无关任务中占主导,而语言特定任务中相关语言提示更优,并提出母语语气提示策略以提升可靠性。
2024-10-18 cs.CL
Can You Trust the Confidence? ConfBench for Vision-Language Models on Document Extraction
Amazon Web Services(亚马逊网络服务)
该研究针对视觉语言模型的文档提取任务推出校准专用基准ConfBench,评估多类VLM的置信度估计方法,揭示模态、模型能力等对置信度的影响,发布相关指标以助力可信IDP部署。
2026-08-04 cs.AI cs.CL
MlingConf: A Comprehensive Study of Multilingual Confidence Estimation on Large Language Models
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);Singapore University of Technology and Design(新加坡科技设计大学);MoE Key Laboratory of High Confidence Software Technologies(高可信软件技术MoE重点实验室)
该研究提出MlingConf基准,系统评估LLMs在多语言置信度估计中的表现,发现英语在语言无关任务中占主导,而语言特定任务中采用母语提示可提升可靠性与准确性。
2025-05-23 cs.CL
Calibrating the Confidence of Large Language Models by Eliciting Fidelity
School of Computer Science, Fudan University(复旦大学计算机科学学院);Meituan(美团)
针对对齐后大语言模型过度自信、置信度与正确率校准不佳的问题,将置信度分解为问题不确定性与答案保真度,提出即插即用的置信度估计方法,经多模型多数据集验证有效,还提出新校准指标并探讨真正良好校准的置信度,可作为该领域基线。
2024-10-09 cs.CL
Contextualized Sequence Likelihood: Enhanced Confidence Scores for Natural Language Generation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carle’s Illinois College of Medicine, University of Illinois at Urbana-Champaign(卡尔伊利诺伊医学院,伊利诺伊大学厄巴纳-香槟分校)
本文提出上下文序列似然(CSL),通过利用基础LLM的注意力值对不同token加权,显著提升了生成序列置信度评估的可靠性。
2024-06-03 cs.AI cs.CL
Generalization of Fine-Tuned Uncertainty Communication and Metacognition in Large Language Models
Department of Cognitive Sciences, University of California, Irvine, United States(认知科学系,加州大学伊文斯顿分校,美国);Department of Computer Science, University of California, Irvine, United States(计算机科学系,加州大学伊文斯顿分校,美国)
研究通过监督微调提升大语言模型不确定性沟通能力,发现领域内校准和判别改善,但任务间迁移有限,多任务训练可促进泛化。
2026-06-23 cs.AI cs.CL
Calibration Meets Explanation: A Simple and Effective Approach for Model Confidence Estimates
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
校准通过对给定示例进行更准确的置信度估计来增强黑盒模型的可信度。然而,很少有人知道,如果模型解释可以帮助信心校准。直觉上,人类会查看重要的特征属性,并决定模型是否值得信赖。同样,解释可以告诉我们模型何时可能知道或可能不知道。受此启发,我们提出了一种名为CME的方法,该方法利用模型解释使模型对非归纳属性不那么自信。这个想法是,当模型不是高度自信时,很难识别任何类别的强烈迹象,因此令牌对任何类别都没有高的归因分数,反之亦然。我们在六个数据集上进行了广泛的实验,其中两个流行的预训练语言模型在域内和域外设置。结果表明,CME提高了所有设置中的校准性能。当与温度缩放结合时,预期的校准误差进一步减小。我们的研究结果强调,模型解释可以帮助校准后验估计。
2022-11-06 cs.AI cs.CL
Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学)
该研究发现大语言模型自我纠错中置信度是关键潜在因素,提出IoE提示框架引导模型评估自身置信度以实现内在纠错,实验证明该方法能持续提升纠错后回答的准确率。
2024-05-13 cs.AI cs.CL
Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models
University of Southern California(美国南加州大学)
本研究探讨了大型语言模型中的过度自信问题,通过引入干扰项显著改善校准,提出针对性的改进策略以提升模型可靠性。
2025-12-12 cs.AI cs.CL
PaCoST: Paired Confidence Significance Testing for Benchmark Contamination Detection in Large Language Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Foreign Languages, Peking University(北京大学外国语学院)
针对LLM基准污染导致评测失真的问题,提出PaCoST配对置信度显著性检验方法,通过同分布对应项与置信度统计分析检测污染,并在开源模型和基准上验证。
2025-03-18 cs.AI cs.CL
The Role of Model Confidence on Bias Effects in Measured Uncertainties for Vision-Language Models
University of Rochester(罗切斯特大学);Johns Hopkins University(约翰霍普金斯大学)
本研究通过VQA实验发现,缓解提示偏差可改善GPT-4o的不确定性量化,且无偏差置信度越低,偏差对认知和偶然不确定性的影响越大,并导致认知不确定性被低估和过度自信。
2025-10-09 cs.AI cs.CL
On the attribution of confidence to large language models
Google Research(谷歌研究院)
针对大型语言模型置信度归因理论基础不明确的问题,我们从语义、形而上学和认识论三方面论证:归因应字面解读,其存在合理但证据不足,且现有评估技术或导致归因普遍错误。
2024-07-11 cs.AI cs.CL
Calibrating Verbalized Confidence with Self-Generated Distractors
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究提出DINCO方法,通过自生成干扰项和归一化置信度校准,提升大型语言模型的置信度估计准确性。
2026-02-27 cs.AI cs.CL
Direct Confidence Alignment: Aligning Verbalized Confidence with Internal Confidence In Large Language Models
Algoverse AI Research(Algoverse AI研究院)
本文提出直接置信对齐方法,通过优化使LLM的 verbalized 置信度与内部置信度对齐,提升模型透明度和可靠性。
2025-12-12 cs.CL
VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning
Zhejiang University(浙江大学)
本文提出VL-Calibration,通过强化学习框架解耦视觉和推理置信度,提升大视觉-语言模型的校准与视觉推理准确率。
2026-04-10 cs.AI cs.CL cs.CV
Confidence Reasoning Graphs: Structured Confidence Estimation for LLM Agents
University of California, Santa Cruz(加州大学圣克鲁兹分校);Megagon Labs(Megagon 实验室)
提出置信推理图(CRG),一种无需特权模型访问或训练数据的推理时框架,通过将任务声明分解为子声明并聚合置信度,在多个基准上实现更优的校准置信度与风险感知决策。
2026-10-07 cs.AI cs.CL
Label-Confidence-Aware Uncertainty Estimation in Natural Language Generation
Beijing University of Posts and Telecommunications(北京邮电大学);QuanCheng Laboratory(泉城实验室)
本文提出标签置信度感知不确定性量化(LCA-UQ)方法,基于逐点KL散度弥合全局熵与候选答案局部置信度之间的差距,在多种LLMs和NLP数据集上验证了其提升不确定性估计可靠性与稳定性的有效性。
2026-09-17 cs.AI cs.CL
Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space
Cognizant AI Labs(高知特人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有大语言模型不确定性量化方法的诸多局限,提出语义密度框架,从语义空间概率分布提取回复置信度,不受任务限制且开箱即用,实验验证其性能与鲁棒性优于现有方法。
2024-11-01 cs.AI cs.CL
Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision
本文发现仅用标量置信度标签微调即可让大语言模型涌现自我验证行为,并提出基于校准不确定性的测试时扩展方法,在多个推理基准上同时提升校准性、准确性和可解释性。
2025-06-04 cs.AI cs.CL
Revisiting Epistemic Markers in Confidence Estimation: Can Markers Accurately Reflect Large Language Models' Uncertainty?
Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)
研究探讨了大语言模型中置信度标记是否能准确反映其不确定性,通过多数据集评估发现标记在同分布下表现稳定,但异分布下存在不一致,质疑了置信度标记的可靠性。
2026-04-11 cs.CL
Large Language Model Confidence Estimation via Black-Box Access
IBM Research Yorktown Heights(IBM研究院纽约高地分部);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Microsoft New York(微软纽约分公司)
本文提出一种基于黑盒访问和可解释逻辑回归的简单框架,通过设计新颖特征估计大语言模型响应置信度,在多个问答与摘要基准上超越基线,并发现置信度模型可跨 LLM 零样本泛化。
2025-07-01 cs.AI cs.CL cs.LG
ORCE: Order-Aware Alignment of Verbalized Confidence in Large Language Models
Stony Brook University(石溪大学);Massachusetts General Hospital and Harvard Medical School(麻省总医院和哈佛医学院);Morgan Stanley(摩根大通)
本文提出一种解耦且顺序感知的明确自信度校准框架,通过分离自信度估计与答案生成过程,提升校准和失败预测性能,同时保持答案准确性。
2026-05-12 cs.CL cs.LG
Are Large Language Models More Honest in Their Probabilistic or Verbalized Confidence?
University of Chinese Academy of Sciences(中国科学院大学)
本文比较了LLMs对知识边界的概率感知与语言化感知,发现概率感知更准确但需域内验证集调阈值,两者在低频问题上表现更佳,且模型难以用自然语言准确表达内部置信度。
2024-08-19 cs.CL
The Mirage of Calibrated Confidence: Trajectory-Independence of Verbalized Confidence in Vision-Language Models
Chung-Ang University(中央大学);Van Lang University(文朗大学)
本研究揭示视觉语言模型的言语化置信度与推理轨迹无关,提出轨迹接地分数(TGS)及TGS-Bench基准,以检测并弥补现有校准评估的盲点。
2026-09-17 cs.AI
The Dunning-Kruger Effect in Large Language Models: An Empirical Study of Confidence Calibration
Cognizant Technology Solutions(Cognizant技术解决方案)
本研究发现大型语言模型在置信度校准上存在类似邓宁-克鲁格效应的过度自信现象,通过实验证明低性能模型更易高估自身能力。
2026-02-12 cs.AI cs.CL
Confidence over Time: Confidence Calibration with Temporal Logic for Large Language Model Reasoning
University of Florida(佛罗里达大学);University of Mannheim(曼海姆大学)
本文提出基于时序逻辑的大型语言模型推理信心校准方法,通过STL挖掘和参数超网络提升信心评估的准确性。
2026-01-19 cs.CL cs.LG
GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models
Queen Mary University of London(伦敦玛丽女王大学)
本文提出GrACE,一种生成方法,用于改进大语言模型的置信度 elicitation 和测试时的高效扩展,通过实时计算隐藏状态与特殊标记嵌入的相似性,实现可靠且可扩展的置信度评估。
2026-04-07 cs.CL
Confidence Calibration in Large Language Models
U.C. Berkeley(伯克利大学);University of Southern California(南加州大学)
通过预注册研究,发现大型语言模型(LLMs)的置信度普遍高于准确率,且存在显著的难易效应:困难测试中过度自信,简单测试中信心不足,并提出了LifeEval测试用于评估不同难度下的模型校准。
2026-04-03 cs.AI cs.LG
CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
CARE-RFT通过引入置信度锚定的正则化方法,在保持大语言模型推理能力的同时提升其可信度和校准性能。
2026-01-22 cs.AI cs.CL cs.LG
Graph-based Confidence Calibration for Large Language Models
Department of Computer Science Tufts University(塔夫茨大学计算机科学系);Department of Computer Science Virginia Tech(弗吉尼亚理工大学计算机科学系);Department of Computer Science Virginia Tech, University of California, Davis(弗吉尼亚理工大学计算机科学系,加州大学戴维斯分校计算机科学系)
针对大型语言模型置信度估计不可靠的问题,提出基于自一致性构建一致性图并用图神经网络评估响应正确性的方法,在多个基准上校准性能强且泛化良好。
2025-05-22 cs.AI cs.CL cs.IR
Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback
Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文评估了从RLHF微调的语言模型中提取置信度的方法,发现口头化置信度比模型条件概率校准更好,在多个基准上将预期校准误差相对降低50%。
2023-10-24 cs.CL
CritiCal: Can Critique Help LLM Uncertainty or Confidence Calibration?
Department of Computer Science and Engineering, HKUST(计算机科学与工程系,香港科技大学)
针对大语言模型置信度校准难题,提出基于自然语言批判的Self-Critique和CritiCal训练方法,明确不同任务适配的批判对象,实验证明CritiCal性能优异且泛化性强,提升了模型可靠性。
2025-10-28 cs.CL
Calibrating Large Language Models Using Their Generations Only
Parameter Lab(参数实验室);IT University of Copenhagen(哥本哈根信息技术大学);Pioneer Centre for Artificial Intelligence(人工智能先锋中心);NAVER AI Lab(NAVER人工智能实验室);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
针对仅能通过生成文本交互的大语言模型校准难题,提出APRICOT方法训练额外模型基于文本输入输出预测置信度,在闭卷问答的白盒黑盒场景校准误差表现具竞争力,可检测错误答案。
2024-03-09 cs.AI cs.CL cs.LG
An Analysis of Training-Free Self-Reported Confidence in Language Models
DreamAI
本研究分析语言模型免训练置信度信号,发现直接口头表达优于多样本一致性,且自报告对提示方式、相关错误和基准噪声敏感。
2026-09-18 cs.CL
Recurrent Confidence Chain: Temporal-Aware Uncertainty Quantification in Large Language Models
University of Florida(佛罗里达大学)
本文提出递归置信链方法,通过跨步骤注意力和隐藏置信机制,提升大型语言模型在不确定性量化中的性能。
2026-01-19 cs.CL cs.LG
Can Confidence Estimates Decide When Chain-of-Thought Is Necessary for LLMs?
School of Computer Science, University of Sheffield(计算机科学学院,谢菲尔德大学)
研究通过置信度门控CoT技术,探讨如何根据置信度估计决定是否需要链式推理,以优化大语言模型的计算资源使用。
2026-01-08 cs.CL
Confidence Calibration in Large Language Model-Based Entity Matching
Bernoulli Institute, University of Groningen(格罗宁根大学伯努利研究所)
本研究实证比较了RoBERTa及多种校准方法在实体匹配中的置信度,发现改进模型存在轻微过度自信,温度缩放可有效降低期望校准误差达23.83%。
2025-10-15 cs.CL cs.LG
Confidence in the Reasoning of Large Language Models
Karolinska Institutet(卡罗林斯卡学院);Oxford University(牛津大学)
本文通过定性坚持度和定量自报分数评估LLMs的置信度,发现模型存在过度自信且重答准确率下降,表明其缺乏内在连贯的置信度感。
2024-12-19 cs.CL cs.LG
Coling-UniA at SciVQA 2025: Few-Shot Example Retrieval and Confidence-Informed Ensembling for Multimodal Large Language Models
University of Augsburg(奥格斯堡大学)
本文提出一种面向科学视觉问答的多模态大语言模型集成方法,通过少样本示例检索、按图表与问题类型选择模型,并结合置信度选择答案,在 SciVQA 2025 盲测中排名第三。
2025-07-03 cs.CL
Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations
Faculty of Computer Science, UniVie Doctoral School Computer Science(计算机科学系,维也纳大学计算机科学博士学院);Faculty of Philological and Cultural Studies, University of Vienna, Austria(文学与文化研究系,维也纳大学,奥地利);ILLC, University of Amsterdam, Netherlands(阿姆斯特丹大学ILLC,荷兰);Khoury College of Computer Sciences, Northeastern University, USA(东北大学计算机科学学院,美国);LMU Munich, Munich Center for Machine Learning (MCML), Germany(慕尼黑大学,慕尼黑机器学习中心(MCML),德国)
提出一个基于鲁棒性、稳定性和敏感性的新评估框架,揭示现有置信度估计方法在区分语义不同答案方面的不足。
2026-09-25 cs.CL
Confidence Estimation for Text-to-SQL in Large Language Models
针对大语言模型Text-to-SQL无真实答案时的查询可靠性评估问题,探索黑盒(一致性方法)与白盒(SQL语法感知方法)置信度估计策略,结合执行接地信号提升效果,在跨域基准验证了方法优势。
2025-08-08 cs.CL cs.DB
Towards interfacing large language models with ASR systems using confidence measures and prompting
Idiap Research Institute(伊迪亚普研究所);UniDistance Suisse(瑞士UniDistance大学)
本研究探讨用大型语言模型对ASR转录文本进行事后校正,提出基于置信度的过滤方法以避免引入新错误,实验表明该方法能提升较弱ASR系统的性能。
2024-07-31 cs.CL eess.AS
Enhancing Confidence Expression in Large Language Models Through Learning from Past Experience
Shanghai Institute of Artificial Intelligence for Education(上海教育人工智能研究院);East China Normal University(华东师范大学);Fudan University(复旦大学)
针对 LLM 自信输出错误信息的问题,本文提出受认知诊断启发的 LePe 三阶段方法,通过经验学习提升并评估其置信度表达能力。
2024-04-16 cs.CL
Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation
Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学)
本文提出MedConf框架,通过证据引导的语言自评估方法,在医疗咨询中提升大语言模型的信心估计精度与可靠性。
2026-09-11 cs.CL