ConfTuner: Training Large Language Models to Express Their Confidence Verbally
National University of Singapore(新加坡国立大学)
ConfTuner通过引入标记化布里尔分数损失函数,有效提升大型语言模型的置信度校准能力,适用于多种推理任务并泛化至黑盒模型。
2025-11-25 cs.AI cs.CL
CleanMAP: Distilling Multimodal LLMs for Confidence-Driven Crowdsourced HD Map Updates
Tsinghua University(清华大学);Beihang University(北京航空航天大学)
针对众包高精地图更新中数据不可靠的问题,提出CleanMAP框架:基于MLLM蒸馏,通过车道可见性评分过滤数据并融合高置信度局部地图,实现0.28m更新误差(优于基线),且与人类评估对齐度达84.88%。
2025-04-14 cs.AI cs.CL cs.CV
Confidence Scoring Using Whitebox Meta-models with Linear Classifier Probes
Johns Hopkins University(约翰斯·霍普金斯大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了一种新的深度神经网络的信心评分机制的基础上,涉及一个基础模型和一个元模型的两个模型的范例。置信度得分是通过元模型观察基础模型在其任务中成功/失败来学习的。作为元模型的特征,我们研究了在基础模型的各个层之间插入的线性分类器探针。我们的实验表明,这种方法在过滤任务中优于各种基线,即,拒绝低置信度样本的任务。实验结果使用CIFAR-10和CIFAR-100数据集与无添加噪声。我们讨论了信心评分的重要性,以弥合实验和现实世界的应用程序之间的差距。
2019-03-14 cs.LG stat.ML
Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出了一种强化学习方法,通过直接微调大语言模型以实现校准的置信度表达,提升了模型的置信度校准能力和泛化能力。
2026-02-28 cs.AI cs.CL
Early-Token Confidence Predicts Reasoning Quality in Multi-Agent LLM Debate
University of California, Irvine(加州大学尔湾分校)
研究利用解码时令牌级对数概率作为置信度信号,预测多智能体LLM辩论中的推理质量,发现早期令牌置信度是最强预测因子。
2026-06-09 cs.CL
The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge
University of California, Irvine(加州大学伊文斯分校)
研究多智能体辩论中令牌级对数概率、LLM评判分数与任务准确性的关系,发现信心与推理质量在构造者上关联更强,且信心可检测关键推理失败。
2026-06-09 cs.AI cs.CL
LLM Essay Scoring Under Holistic and Analytic Rubrics: Prompt Effects and Bias
Faculty of Mathematics and Information Science, Warsaw University of Technology(华沙理工大学数学与信息科学学院);University of Wolverhampton(伍尔弗汉普顿大学)
研究评估了指令微调LLM在三种开放性作文评分数据集上的表现,发现整体评分与人类一致,但分析评分存在显著偏见,尤其在低阶关注点如语法上表现更严厉,且简洁提示优于长格式提示。
2026-03-31 cs.AI cs.CL
PiCSAR: Probabilistic Confidence Selection And Ranking for Reasoning Chains
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);UCL(伦敦大学学院)
PiCSAR通过联合对数似然度评估推理链和最终答案的置信度,无需训练即可提升大语言模型和推理模型的准确性,在多个基准测试中表现优异。
2026-07-14 cs.AI cs.CL
REHEARSE: Experiential Rehearsal for Verbal Confidence Calibration in Large Language Models
University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学);University of Illinois Chicago(伊利诺伊大学香槟分校)
针对大语言模型置信度与实际正确性不匹配的问题,提出无训练的Rehearse方法,通过置信度校准博弈的反馈生成校准信号,在多模型多基准实验中显著降低了预期校准误差并提升准确率。
2026-08-14 cs.AI cs.CL
Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs
Tsinghua University(清华大学);City University of Hong Kong(香港城市大学);University of Maryland(马里兰大学);Beijing Xicheng Educational Research Institute(北京市西城区教育科学研究院)
本研究针对二语学习者的作文反馈需求,提出基于双过程理论的开源LLM自动作文评分系统,验证其评分效果可比肩微调专有模型,且能辅助人类评分者提升表现与效率,展现教育领域人机协作潜力。
2024-06-15 cs.AI cs.CL
A Hierarchical Framework for Measuring Scientific Paper Innovation via Large Language Models
Shenzhen International Graduate School, Tsinghua University, Shenzhen 518055, China(清华大学深圳国际研究生院);Pengcheng Laboratory, Shenzhen, 518055, China(鹏城实验室)
提出HSPIM,一种基于大语言模型的层次化无训练框架,通过论文到章节到问答的分解和加权评分,有效度量科学论文创新性,优于基线方法。
2025-10-24 cs.CL
Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays
ELLIS Alicante(埃利斯阿尔瓦雷斯);Universitat d'Alacant(阿尔瓦雷斯大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出基于特征的自动论说作文评分方法,通过两种建模范式提升评分准确性,并展示小型LLM在无需微调下的竞争力。
2026-02-04 cs.CL
Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation
Shanghai Institute of Artificial Intelligence for Education(上海人工智能教育研究院);East China Normal University(华东师范大学);School of Data Science, Fudan University(复旦大学数据科学学院);College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Alibaba(阿里巴巴集团)
本文提出FineCE方法,通过构建捕捉LLM响应概率分布的训练流程和监督学习,结合后向置信度集成策略及最佳估计位置选择,在生成过程中实现细粒度、连续的置信度估计,并在多个基准上优于现有方法。
2025-08-16 cs.AI cs.CL
Extending Confidence-Based Text2Cypher with Grammar and Schema Aware Filtering
Neo4j(Neo4j公司)
本文研究如何在文本到Cypher推理中利用结构约束提高查询正确性,通过扩展置信度框架加入序列过滤过程,结合置信度评分、语法验证和模式约束,提升生成查询的可靠性。
2026-05-11 cs.CL
BAS: A Decision-Theoretic Approach to Evaluating Large Language Model Confidence
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford Suzhou Centre for Advanced Research(牛津大学苏州高等研究院)
本文提出BAS,一种基于决策理论的评估方法,用于评估大语言模型置信度在不同风险偏好下的决策支持能力,揭示置信度与决策可靠性之间的关系,并展示如何通过干预提升置信度可靠性。
2026-04-03 cs.CL
PACE-LM: Prompting and Augmentation for Calibrated Confidence Estimation with GPT-4 in Cloud Incident Root Cause Analysis
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软)
本文提出 PACE-LM,通过提示检索增强的 GPT-4 并结合事件判断与历史参考评分,为黑盒云事件根因预测生成校准置信度。
2023-09-29 cs.AI cs.CL cs.LG
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
The Hong Kong University of Science and Technology(香港科技大学);Northwestern Polytechnical University(西北工业大学);The Hong Kong Polytechnic University(香港理工大学)
针对扩散语言模型块解码中前瞻视野与提交数量耦合的问题,提出PACE-dLLM,通过闭式拟合置信度悬崖确定最优视野,在四个基准上取得最佳准确率并实现最高8.52倍加速。
2026-11-10 cs.CL
Beyond the Score: Uncertainty-Calibrated LLMs for Automated Essay Assessment
King’s College London(伦敦国王学院);Hosei University(Hosei大学);University of Sheffield(谢菲尔德大学)
本文首次将保形预测与UAcc结合用于自动作文评分,在三个语料库上微调并校准开源中等规模大语言模型,使其输出紧凑的集合预测并满足覆盖保证,从而支持教师参与的AES。
2025-09-19 cs.CL cs.LG
LLM Tree Search
Dartmouth College(达特茅斯学院)
本文提出受AlphaGo启发的LLM Tree Search,通过构建多路径补全搜索树并用模型置信度评分,以提升生成质量、减少复合错误并增强多样性。
2024-10-24 cs.CL cs.LG
Context-Aware Cluster Decoding: Semantic Anchor-Driven Coherence in dMLLMs
Sun Yat-sen University(中山大学);Shanghai Jiao Tong University(上海交通大学);University of Electronic Science and Technology of China(电子科技大学);Alibaba Group(阿里巴巴集团);Shanghai University(上海大学)
针对 dMLLMs 生成长文本时的语义漂移与重复问题,提出上下文感知集群解码方法,结合置信度与邻域邻近度评分,在多模型多基准上实现质量提升并减少幻觉。
2026-08-25 cs.CL
Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal
University of Liechtenstein(列支敦士登大学);University of the Republic of San Marino(圣马尔科共和国大学);University of Mauritius(毛里求斯大学);International University of Monaco(摩纳哥国际大学);University of Andorra(安道尔大学);University of Gibraltar(直布罗陀大学);University of the Faroe Islands(法罗群岛大学);Ilisimatusarfik (University of Greenland)(格陵兰岛研究所(格陵兰大学));University of Prizren(普里兹伦大学)
提出UniCR框架,融合多种不确定性证据为校准的正确概率,并通过原则性拒绝满足用户指定的错误预算,无需微调基础模型,在短问答、代码生成和检索增强长问答中提升校准指标并降低风险-覆盖曲线下面积。
2026-06-15 cs.CL
On the Efficacy of Generalization Error Prediction Scoring Functions
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文独立于机制选择系统评估了流行泛化误差预测评分函数,发现简单的模型一致性评分在分布偏移、数据损坏及训练数据受损等现实场景下优于基于置信度和平滑度的先进评分,并揭示了简单性偏置对 GEP 性能的不利影响。
2023-05-29 cs.LG stat.ML
Human-Aligned Calibration for AI-Assisted Decision Making
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Department of Biosystems Science and Engineering, ETH Zurich(苏黎世联邦理工学院生物系统科学与工程系)
本文研究AI辅助决策中置信度值为何难以被人类有效利用,提出置信度应与决策者自身置信度对齐,并证明多重校准是实现对齐的充分条件,实验表明对齐可改善人类决策质量。
2024-02-23 cs.CY cs.HC cs.LG
Do Large Language Models have Shared Weaknesses in Medical Question Answering?
Oxford Internet Institute(牛津互联网研究所);University of Oxford(牛津大学)
研究测试16个LLM在874道波兰医学考试题上的表现,发现模型准确率两两正相关且与人类表现相关,大模型表现更好但受训练等因素影响,揭示了跨模型共同弱点以指导安全应用。
2024-10-11 cs.CL
Do LLMs Fabricate Legal Citations? A Bilingual Benchmark on Saudi Data Protection Law and the GDPR
IT Department, King Abdulaziz University, Jeddah, Saudi Arabia(国王阿卜杜勒阿齐兹大学信息科技系)
研究大语言模型对法律引用的编造情况,通过120个双语问题的基准测试评估三个模型,发现对GDPR和沙特PDPL存在管辖权差距,编造与法律管辖权有关,模型置信度无法保障,提出用逐字验证保障合规筛选。
2026-07-14 cs.CL cs.CY
Cost-Effective Hallucination Detection for LLMs
Amazon Web Services(亚马逊网络服务);Amazon(亚马逊公司);Helsing(赫尔辛公司)
本文研究生产环境中 LLM 的事后幻觉检测,提出经属性校准并融合多种评分器的多评分框架,在问答、事实验证和摘要任务上以更低计算成本达到最优检测性能。
2024-08-09 cs.AI cs.CL cs.LG
Distribution-free binary classification: prediction sets, confidence intervals and calibration
Carnegie Mellon University(卡内基梅隆大学)
我们研究了三个概念的不确定性量化-校准,置信区间和预测集-二进制分类的分布自由设置,即不作任何分布假设的数据。随着对校准的重点,我们建立了一个“三脚架”的定理,连接这三个概念的分数为基础的分类。一个直接的含义是,分布免费校准是唯一可能的,甚至渐近,使用评分函数的水平集划分的特征空间至多可数许多集。参数校准方案,如普拉特缩放的变体不满足这一要求,而非参数方案的基础上分仓。为了闭合循环,我们推导出固定宽度和均匀质量分箱的分箱概率的无分布置信区间。作为我们的“三脚架”定理的结果,这些分组概率的置信区间导致无分布校准。我们还推导出扩展设置流数据和协变量移位。
2022-02-16 cs.AI cs.LG math.ST
ConfidenceBench: Evaluating Confidence Calibration in Large Language Models
ETH Zurich(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
研究针对大语言模型在特定场景下仅靠准确性不足的问题,提出ConfidenceBench校准基准,用Brier分数评估15个前沿LLMs口头置信度,经实验发现模型准确性与校准差异大,证明口头置信度校准是LLM可靠性重要维度,补充了基于准确性的评估。
2026-07-24 cs.AI cs.LG stat.ML
Confidence Diagram of Nonparametric Ranking for Uncertainty Assessment in Large Language Models Evaluation
Harvard Chan School of Public Health(哈佛陈曾熙公共卫生学院);Columbia University(哥伦比亚大学);Duke University(杜克大学);University of Miami(迈阿密大学)
本文针对大语言模型排序评估问题,提出基于非参数上下文排序的假设检验框架,并引入置信图概念以有向图形式刻画排序置信集,通过推广高斯乘子自助法证明其有效性,实验表明该方法能为不同医学领域中大语言模型的性能评估提供可靠洞见。
2025-02-10 cs.LG stat.ME stat.ML
Beyond calibration: estimating the grouping loss of modern neural networks
Inria(法国国家信息与自动化研究所)
本文针对校准无法刻画的分组损失问题,提出一种分组损失估计器,并揭示现代视觉与NLP神经网络在分布漂移下存在显著分组损失。
2023-04-27 cs.AI cs.LG stat.ML
The Behavioral Credibility Trilemma: When Calibrated Autonomy Becomes Impossible
Future Computing Group University of Oulu(奥卢大学未来计算组);Department of Computer Science University of Helsinki(赫尔辛基大学计算机科学系)
本文证明,在理性监督下,当某些任务超出智能体的可靠能力时,任何具有置信门控自主性的强化学习策略都无法同时实现最大帮助性、最优校准和完全自主性,即行为可信度三难困境。
2026-07-21 cs.GT cs.LG stat.ML