Atomic Calibration of LLMs in Long-Form Generations
University of Cambridge(剑桥大学);Fudan University(复旦大学);Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出原子校准方法,用于改进大语言模型在长文本生成中的校准能力,揭示置信度方法与生成过程中置信度变化的关联。
2025-11-20 cs.AI cs.CL
Evaluating Role-Consistency in LLMs for Counselor Training
Technische Hochschule Nürnberg Georg Simon Ohm(图林根应用技术大学纽伦堡乔治·西蒙·奥姆学院)
本文通过引入对抗性数据集评估LLM在辅导培训中的角色一致性,比较了Vicuna与其他开源模型的表现。
2026-01-13 cs.AI cs.CL
Learning to Route LLMs with Confidence Tokens
Rice University(里士大学);Apple, Inc.(苹果公司)
本文提出Self-REF方法,通过引入置信度令牌训练LLM可靠表达答案置信度,从而提升下游路由和拒绝学习任务的准确率。
2025-06-19 cs.AI cs.CL cs.LG
On the Robustness of Verbal Confidence of LLMs in Adversarial Attacks
Department of Electrical and Computer Engineering(电气与计算机工程系);Ingenuity Labs Research Institute(创新实验室研究所);Queen’s University(皇后大学)
本文研究了大语言模型在对抗攻击下的语言自信度鲁棒性,发现现有防御技术效果有限,需设计更稳健的自信表达机制。
2025-12-18 cs.CL
Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学)
该研究发现大语言模型自我纠错中置信度是关键潜在因素,提出IoE提示框架引导模型评估自身置信度以实现内在纠错,实验证明该方法能持续提升纠错后回答的准确率。
2024-05-13 cs.AI cs.CL
How do LLMs Compute Verbal Confidence
Google DeepMind(谷歌DeepMind)
研究探讨了大型语言模型如何内部生成言语自信评分,通过实验发现自信评分在回答生成后被缓存并用于后续输出,揭示了模型自我评估的机制。
2026-09-21 cs.AI cs.CL cs.LG
Confidently Deceptive: On the Relationship Between Confidence and Deception in LLMs
研究大语言模型欺骗问题,通过多种方式衡量信心,发现其会产生高信心欺骗性回答,错位微调加剧问题,模型能识别自身欺骗性输出却不避免,指出自信的欺骗是独特风险,需综合评估欺骗、信心与意识。
2026-09-29 cs.AI cs.CL
Combining Confidence Elicitation and Sample-based Methods for Uncertainty Quantification in Misinformation Mitigation
McGill University(麦吉尔大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
针对虚假信息治理中大语言模型的幻觉与过度自信问题,提出结合置信度提取与样本一致性的混合不确定性量化框架,经多组对比实验验证可提升模型可靠性。
2024-01-30 cs.AI cs.CL
SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales
Purdue University(普渡大学);NVIDIA(英伟达公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加利福尼亚大学)
SaySelf框架通过自我反思性理由生成与强化学习校准,使大语言模型能够输出细粒度置信度并解释不确定性,从而降低校准误差并保持任务性能。
2024-10-04 cs.AI cs.CL cs.LG
Fact-Checking with Large Language Models via Probabilistic Certainty and Consistency
Emory University(埃默里大学)
PCC通过概率确定性与一致性框架,自适应决定LLM是否依赖内部知识或启动检索,以提升事实核查的准确性和效率。
2026-01-05 cs.AI cs.CL
Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B
Independent Researcher, Melbourne, Australia(墨尔本独立研究者)
研究发现,小规模指令微调LLM在最小激发下产生退化言语自信,通过自我一致性衍生目标的自信条件监督微调未能缩小内部信息与言语输出间的差距,但事后去除过滤器后在TriviaQA上提升了AUROC2至0.774,支持目标依赖性解释。
2026-04-27 cs.AI cs.CL
Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs
Ewha Womans University(成均馆大学)
本文提出Cleanse方法,通过聚类分析LLM隐藏嵌入的语义一致性来量化不确定性,从而检测幻觉,并在多个模型和问答基准上验证了其有效性。
2025-07-19 cs.AI cs.CL
ClimateX: Do LLMs Accurately Assess Human Expert Confidence in Climate Statements?
Stanford University(斯坦福大学)
本文构建了包含8094条IPCC气候陈述的ClimateX数据集,发现大语言模型在少样本下最多只能以47%的准确率分类专家置信度,且普遍对低中置信度陈述过度自信。
2023-11-28 cs.AI cs.CL cs.CY
Beyond Self-Consistency: Ensemble Reasoning Boosts Consistency and Accuracy of LLMs in Cancer Staging
College of Computing & Informatics, Drexel University(德雷塞尔大学计算与信息学院);Sidney Kimmel Cancer Center, Thomas Jefferson University(托马斯杰斐逊大学西德尼·基梅尔癌症中心)
本研究提出一种集成推理方法,利用开放获取的临床大型语言模型从真实病理报告中确定癌症分期,有效提升了模型生成的一致性和准确性,展现了在临床等高可靠性要求领域的应用潜力。
2024-04-19 cs.AI cs.CL
When to Trust LLMs: Aligning Confidence with Response Quality
Alibaba Group(阿里巴巴集团)
本文提出CONQORD方法,通过双组件奖励函数引导强化学习,使LLM的置信度与响应质量顺序对齐,从而提升模型可信度并指导外部知识检索时机。
2024-09-29 cs.CL
Path-Consistency with Prefix Enhancement for Efficient Inference in LLMs
Shanghai Jiao Tong University(上海交通大学);Microsoft Corporation(微软公司)
本文提出path-consistency方法,利用早期答案置信度选择最优前缀指导后续分支生成,减少自一致性的采样冗余,在保持任务准确性的同时将推理延迟提升达40.5%。
2025-11-04 cs.AI cs.CL
Can LLMs Use Linguistic Uncertainty Markers to Reliably Reflect Intrinsic Confidence?
Yale University(耶鲁大学)
本研究首次系统探究大语言模型(LLMs)是否能够稳定且泛化地将其语言置信度标记与内在置信度关联,并评估上下文特征的影响,通过提出7个指标分析标记内在置信度的稳定性,发现LLMs即使在模型中心解释下也存在忠实校准偏差。
2026-05-27 cs.CL
How Reliable are LLMs as Knowledge Bases? Re-thinking Facutality and Consistency
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Huawei Edinburgh Research Centre(华为爱丁堡研究中心)
本文重新定义LLM作为知识库的评估标准,提出事实性与一致性两个关键维度,并引入UnseenQA数据集及新指标,在26个LLM上揭示可靠性挑战。
2024-12-16 cs.AI cs.CL
Confident RAG: Enhancing the Performance of LLMs for Mathematics Question Answering through Multi-Embedding and Confidence Scoring
Faculty of Education, The University of Hong Kong(香港大学教育学院);Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology(香港科学与技术大学土木与环境工程系)
Confident RAG通过多嵌入和置信度评分提升LLM在数学问题回答中的性能,实验表明其在准确率上比普通LLMs和RAG分别提升10%和5%。
2025-11-30 cs.AI cs.CL
Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs
University of Virginia(弗吉尼亚大学)
研究探讨了大语言模型中过度自信的机制,发现中间层的MLP块和注意力头会生成自信信号,并通过干预提升校准性。
2026-07-28 cs.CL
AXCEL: Automated eXplainable Consistency Evaluation using LLMs
Amazon(亚马逊公司)
本文提出AXCEL,一种基于LLM的自动化可解释一致性评估指标,通过详细推理和定位不一致文段提供解释,无需修改提示即可泛化至多任务,在摘要、自由文本生成和数据到文本转换任务上分别超越SOTA指标8.7%、6.2%和29.4%。
2024-09-25 cs.AI cs.CL
Calibrating Verbalized Confidence with Self-Generated Distractors
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究提出DINCO方法,通过自生成干扰项和归一化置信度校准,提升大型语言模型的置信度估计准确性。
2026-02-27 cs.AI cs.CL
All Roads Lead to Rome: Graph-Based Confidence Estimation for Large Language Model Reasoning
University of Cambridge(剑桥大学);Monash University(墨尔本大学)
针对现有置信度估计方法难以泛化至推理任务的问题,提出无需训练的基于图的置信度估计方法,将推理路径建模为有向图并利用图属性估计置信度,有效提升了估计效果及下游任务性能。
2025-09-16 cs.AI cs.CL
A Calibrated Reflection Approach for Enhancing Confidence Estimation in LLMs
本研究提出一种结合结构化推理与感知距离校准技术的校准反思方法,通过三项创新提升LLM置信度估计,在多数据集上验证了其在两类任务中的有效性,助力LLM可靠置信度估计的发展。
2026-09-07 cs.CL
Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space
Cognizant AI Labs(高知特人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有大语言模型不确定性量化方法的诸多局限,提出语义密度框架,从语义空间概率分布提取回复置信度,不受任务限制且开箱即用,实验验证其性能与鲁棒性优于现有方法。
2024-11-01 cs.AI cs.CL
Confidence Estimation in Automatic Short Answer Grading with LLMs
DIPF | Leibniz Institute for Research and Information in Education(莱布尼茨教育研究与信息研究所);Faculty of Computer Science, Goethe University Frankfurt(弗赖堡大学计算机科学系);Chemnitz University of Technology(化学工业大学)
本文研究了基于大语言模型的自动简答评分中的置信度估计,结合模型内置置信信号和数据集衍生的不确定性,提出混合置信框架以提升评分选择性。
2026-05-13 cs.CL
SteerConf: Steering LLMs for Confidence Elicitation
The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
提出SteerConf框架,通过引导提示、一致性度量和校准方法,无需训练即可提升LLM置信度校准,在七个基准上显著优于现有方法。
2025-05-23 cs.CL cs.LG
The Confidence Trap: Gender Bias and Predictive Certainty in LLMs
本研究探讨大语言模型在性别偏见任务中的置信度校准问题,提出Gender-ECE指标以评估公平性差异,发现Gemma-2在性别偏见基准中校准最差。
2026-01-12 cs.CL cs.LG
Self-Evaluating LLMs for Multi-Step Tasks: Stepwise Confidence Estimation for Failure Detection
Dyania Health(Dyania健康)
本文研究多步推理任务中大语言模型的失败检测问题,提出并比较整体评分与逐步评分两种自评估置信度估计方法,实验表明逐步评估在AUC-ROC上最高相对提升15%,为复杂推理中的可信度估计提供了实用框架。
2025-11-10 cs.AI cs.CL cs.LG
Beyond Confidence: Rethinking Self-Assessments for Performance Prediction in LLMs
Department of Computer Science and Engineering, College of Engineering, The Pennsylvania State University(计算机科学与工程系,工程学院,宾夕法尼亚州立大学)
本文提出基于认知评估理论的多维自我评估框架,通过六个评估维度和置信度预测模型失败,发现能力相关维度在多数场景中表现更优,且努力维度在推理任务中更具预测性。
2026-05-08 cs.AI cs.CL cs.LG
CGES: Confidence-Guided Early Stopping for Efficient and Accurate Self-Consistency
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
提出贝叶斯框架CGES,通过自适应停止采样减少自一致性推理调用次数,在5个推理基准上平均减少58%调用且精度损失仅0.4个百分点。
2026-06-09 cs.CL
Confidence-Weighted Token Set Cover for Early Hypothesis Pruning in Self-Consistency
IBM Research AI(IBM人工智能研究院)
本研究提出一种基于模型置信度和词汇覆盖的加权集合覆盖算法,用于自一致性推理中的早期假设剪枝,在三个数学基准上对五个大语言模型实现了10-35%的令牌效率提升。
2025-08-06 cs.CL
HyperLens: Quantifying Cognitive Effort in LLMs with Fine-grained Confidence Trajectory
IIIS, Tsinghua University(清华大学信息学院);Shanghai Qi Zhi Institute(上海启智研究院)
HyperLens通过分析大语言模型推理过程中的置信轨迹,量化认知努力,揭示复杂任务对更高认知努力的需求,并诊断监督微调对领域任务性能的影响。
2026-05-07 cs.AI
The Non-Determinism of Small LLMs: Evidence of Low Answer Consistency in Repetition Trials of Standard Multiple-Choice Benchmarks
IBM Research Brazil(IBM巴西研究院)
本研究探讨了小型 LLM 在多选基准重复试验中的答案一致性,发现小型模型在低温度下一致性仅为 50%-80%,而中型模型一致性更高,并提出新分析工具评估准确性与一致性的权衡。
2025-09-05 cs.AI cs.CL
Does Alignment Tuning Really Break LLMs' Internal Confidence?
University of Seoul(首尔大学)
本文从模型、指标、任务和置信度提取四个维度分析了对齐调优对LLMs校准的影响,发现在严格条件下对齐过程始终损害校准,并呼吁更谨慎的校准测量方法和兼顾指令遵循与校准的新算法。
2025-02-08 cs.CL cs.LG
Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen
Independent Researcher(独立研究员)
研究测试了七种指令微调的开放权重模型在最小数值提示下产生言语化自信是否满足最低效度标准,发现所有模型在数值自信上无效,且类别提示未能恢复效度。
2026-04-24 cs.AI cs.CL
Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·泽亚德人工智能大学)
本文提出通过最小贝叶斯风险连接模型置信度与输出一致性,改进大语言模型的不确定性量化方法。
2025-12-09 cs.CL
Lost in Stories: Consistency Bugs in Long Story Generation by LLMs
Microsoft(微软公司);Singapore University of Technology and Design(新加坡科技设计大学)
ConStory-Bench通过评估长篇故事生成中的叙述一致性,揭示了LLMs在事实和时间维度上的不一致错误趋势。
2026-03-06 cs.AI cs.CL
Examining Inter-Consistency of Large Language Models Collaboration: An In-depth Analysis via Debate
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学)
本文探索多个LLM协作的相互一致性,引入正式辩论框架FORD进行三阶段辩论实验,发现LLM能有效协作达成共识但存在能力失衡主导问题,利用GPT-4作为裁判可提升性能,为未来协作方法奠定基础。
2023-10-18 cs.AI cs.CL
InternalInspector $I^2$: Robust Confidence Estimation in LLMs through Internal States
Virginia Tech(弗吉尼亚理工大学);Meta AI
针对大语言模型易产生高置信度幻觉的问题,提出基于全层内部状态对比学习的InternalInspector框架,在多类NLP任务及HaluEval基准上,置信度估计准确率和校准误差表现均优于现有方法。
2024-06-17 cs.CL
Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
National University of Singapore(新加坡国立大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);The Hong Kong University of Science and Technology(香港科技大学)
本研究提出一个系统框架,通过提示策略、采样方法和聚合技术,在黑盒LLM中引导置信度,并在多个数据集和模型上评估,发现LLM过度自信,但所提策略可缓解,且与白盒方法差距小。
2024-03-17 cs.CL
Are Large Language Models More Honest in Their Probabilistic or Verbalized Confidence?
University of Chinese Academy of Sciences(中国科学院大学)
本文比较了LLMs对知识边界的概率感知与语言化感知,发现概率感知更准确但需域内验证集调阈值,两者在低频问题上表现更佳,且模型难以用自然语言准确表达内部置信度。
2024-08-19 cs.CL
Confidence Calibration and Rationalization for LLMs via Multi-Agent Deliberation
University of British Columbia(不列颠哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
针对LLM校准差、过度自信的问题,提出无需训练的多智能体协作校准策略Collaborative Calibration,通过群体审议提升生成式问答的置信度校准与预测可靠性。
2024-05-10 cs.CL
Can Confidence Estimates Decide When Chain-of-Thought Is Necessary for LLMs?
School of Computer Science, University of Sheffield(计算机科学学院,谢菲尔德大学)
研究通过置信度门控CoT技术,探讨如何根据置信度估计决定是否需要链式推理,以优化大语言模型的计算资源使用。
2026-01-08 cs.CL
When Two LLMs Debate, Both Think They'll Win
School of Computing National University of Singapore(计算机学院新加坡国立大学)
本文通过 60 场十款先进 LLM 的多轮零和政策辩论,揭示模型普遍存在系统性过度自信、置信度升级、相互高估及私下推理与公开评级不一致等问题。
2025-06-09 cs.AI cs.CL cs.LG
Self-Consistency Boosts Calibration for Math Reasoning
School of Informatics, Xiamen University(厦门大学信息学院);Tencent AI Lab(腾讯AI实验室)
针对数学推理任务,提出基于自一致性的三种即插即用校准方法,在GSM8K和MathQA上优于现有p(True)或logit方法,更好桥接置信度与准确性。
2024-03-14 cs.AI cs.CL
ConfTuner: Training Large Language Models to Express Their Confidence Verbally
National University of Singapore(新加坡国立大学)
ConfTuner通过引入标记化布里尔分数损失函数,有效提升大型语言模型的置信度校准能力,适用于多种推理任务并泛化至黑盒模型。
2025-11-25 cs.AI cs.CL
Improving Score Reliability of Multiple Choice Benchmarks with Consistency Evaluation and Altered Answer Choices
IBM Research Brazil(IBM巴西研究院)
本文提出CoRA指标,通过一致性评估和改变答案选项提高LLM在多项选择基准中的评分可靠性。
2025-11-26 cs.AI cs.CL
Confidence, Not Perplexity: A Better Metric for the Creative Era of LLMs
University of California, San Diego(加州大学圣地亚哥分校)
针对自困惑度对创意文本生成的偏见,提出基于输出概率分布的置信度分数(CS),在gpt-4o-mini上显著更偏好新颖回答,并能区分任务难度,为现代LLM提供更平衡的评估。
2025-10-05 cs.CL
Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出了一种强化学习方法,通过直接微调大语言模型以实现校准的置信度表达,提升了模型的置信度校准能力和泛化能力。
2026-02-28 cs.AI cs.CL
Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators
Universitat Pompeu Fabra(庞培法布拉大学);AWS AI Labs(亚马逊云科技人工智能实验室)
针对LLMs回答事实性不可靠问题,本文综述并实证比较了现有事实置信度估计器,提出公平比较实验框架,发现训练后的隐藏状态探针最可靠,同时指出LLMs置信度在语义等价输入间不稳定,需提升参数化知识稳定性。
2024-06-19 cs.CL cs.LG
Confidence Estimation for LLM-Based Dialogue State Tracking
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文探索了基于LLM的对话状态跟踪置信度估计方法,评估四种置信度评估技术并引入自我探测机制,发现微调开放权重LLM能提升联合目标准确率与AUC校准性能。
2024-09-21 cs.AI cs.CL
When Quantization Affects Confidence of Large Language Models?
Université de Lyon(里昂大学)
本文研究量化对LLMs置信度的影响,发现GPTQ 4比特量化会降低模型对真实标签的置信度,且影响随模型类型和规模变化,并指出量化损失主要集中在全精度模型原本低置信的样本上。
2024-05-01 cs.AI cs.CL
Confidence Estimation for LLMs in Multi-turn Interactions
University of Cambridge(剑桥大学);Fudan University(复旦大学)
本文研究了多轮对话中大语言模型置信度估计的问题,提出了一种评估框架和新指标,发现传统方法在多轮对话中表现不佳,而新方法更有效。
2026-05-13 cs.CL