CoRA: Confidence-Rationale Alignment for Reliable Chain-of-Thought Reasoning
Vanderbilt University(范德比尔特大学);Vanderbilt University Medical Center(范德比尔特大学医学中心);Intuit AI Research(Intuit AI研究)
提出GRPO强化学习框架,联合奖励答案正确性、置信度与理由支持度,减少置信度与理由对齐误差,提升推理可靠性。
2026-06-16 cs.CL
Confidence-Aware Alignment Makes Reasoning LLMs More Reliable
Zhejiang University(浙江大学);Université de Montréal(蒙特利尔大学);Sun Yat-sen University(中山大学);Virginia Tech(弗吉尼亚理工大学)
本文提出CASPO框架,通过迭代直接偏好优化将token级置信度与逐步逻辑正确性对齐,提升推理可靠性和效率,实验表明其在多个基准和模型家族中表现优异。
2026-05-08 cs.AI
Dropouts in Confidence: Moral Uncertainty in Human-LLM Alignment
本研究探讨道德不确定性对人机对齐的影响,通过分析32个开源模型在电车难题中的响应,发现模型架构和训练方法主导道德不确定性,提出的推理时dropout机制可改善对齐效果。
2025-11-17 cs.AI cs.CL cs.CY
Reinforcement Learning with Reference-Based Rewards for Language Model Reasoning and Alignment
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
本文提出RefAlign算法,利用采样生成与参考答案间的相似度(如BERTScore)作为替代奖励,无需二元偏好数据或奖励模型即可实现通用语言模型对齐,并在安全、置信度等场景下取得与现有方法相当的性能。
2026-11-19 cs.AI cs.CL cs.LG
Annotation-Efficient Universal Honesty Alignment
State Key Laboratory of AI Safety(人工智能安全国家重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
EliCal通过两阶段框架实现高效标注的通用诚实对齐,仅需少量正确性标注即可达到接近最优的对齐效果。
2026-03-04 cs.CL
The Alignment Paradox: How Post-Training Amplifies Confident Hallucinations in Language Models
研究发现后训练对齐本身是放大语言模型高置信幻觉的主因,提出在DPO中引入熵依赖边际界,将Mistral-7B的高置信错误减少达35.3%。
2026-09-29 cs.AI cs.CL
When to Trust LLMs: Aligning Confidence with Response Quality
Alibaba Group(阿里巴巴集团)
本文提出CONQORD方法,通过双组件奖励函数引导强化学习,使LLM的置信度与响应质量顺序对齐,从而提升模型可信度并指导外部知识检索时机。
2024-09-29 cs.CL
When Linguistic and Internal Confidence Diverge in Large Language Models
Dartmouth College(达特茅斯学院);Oakland University(奥克兰大学)
本研究对比大型语言模型的语言置信度与内部置信度,发现二者常出现偏差,提出需用多维度诊断评估语言置信度后再用于下游可靠性流程。
2026-09-07 cs.AI cs.CL
Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning
Case Western Reserve University(凯斯西储大学)
提出PACT框架,通过约束安全相关令牌的置信度来防止微调导致的安全对齐漂移,同时保持下游任务性能。
2026-06-05 cs.CL cs.LG
Calibrating the Confidence of Large Language Models by Eliciting Fidelity
School of Computer Science, Fudan University(复旦大学计算机科学学院);Meituan(美团)
针对对齐后大语言模型过度自信、置信度与正确率校准不佳的问题,将置信度分解为问题不确定性与答案保真度,提出即插即用的置信度估计方法,经多模型多数据集验证有效,还提出新校准指标并探讨真正良好校准的置信度,可作为该领域基线。
2024-10-09 cs.CL
Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs
Department of Information Technology(信息科技系);Electrical Engineering, ETH Zurich, Zurich, Switzerland(电气工程,苏黎世联邦理工学院,苏黎世,瑞士);Qualcomm AI Research, Amsterdam, the Netherlands(高通人工智能研究,阿姆斯特丹,荷兰);Department of Electrical, Electronic and Information Engineering(电气、电子与信息工程系);University of Bologna, Bologna, Italy(博洛尼亚大学,博洛尼亚,意大利);School of Electrical and Electronic Engineering(电气与电子工程学院)
提出GRACE框架,通过信息瓶颈原理统一知识蒸馏与量化感知训练,使用置信度门控解耦蒸馏、关系中心核对齐和自适应控制器,在INT4量化下实现性能超越FP16基线并接近教师模型,同时显著降低内存和提升吞吐量。
2026-06-29 cs.AI cs.CV
Quantifying Faithful Confidence Expression in Large Reasoning Models
Yale University(耶鲁大学)
针对大型推理模型(LRM)在长链思维输出中难以忠实表达内在置信度的问题,提出基于令牌概率、隐藏状态和响应一致性的框架,系统量化其语言决断性与内部不确定性之间的对齐程度。
2026-06-02 cs.AI cs.CL
Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees
Ibaraki University(茨城大学)
研究大语言模型在问答系统中无可靠置信估计的问题,提出基于置信区间的校准框架CIC,将任意不确定性分数转化为风险可控的选择性回答规则,保证所选阈值控制错误率,兼具风险控制和回答效率。
2026-07-07 cs.CL
Closing the Confidence-Faithfulness Gap in Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文通过线性探针和对比激活添加分析,揭示大语言模型中置信度信号与校准的线性关系,提出双阶段适应性引导流程以提升校准对齐。
2026-04-01 cs.AI cs.CL
The Confidence Trap: Gender Bias and Predictive Certainty in LLMs
本研究探讨大语言模型在性别偏见任务中的置信度校准问题,提出Gender-ECE指标以评估公平性差异,发现Gemma-2在性别偏见基准中校准最差。
2026-01-12 cs.CL cs.LG
Certainty robustness: Evaluating LLM stability under self-challenging prompts
TELUS Digital(TELUS数字公司)
本文提出确定性鲁棒性基准,评估LLM在自我挑战提示下的稳定性与适应性平衡,揭示模型在交互压力下的可靠性差异。
2026-02-10 cs.AI cs.CL
Confidence-Aware Routing for Large Language Model Reliability Enhancement: A Multi-Signal Approach to Pre-Generation Hallucination Mitigation
AI Safety Research(人工智能安全研究);Convai Innovations(Convai创新)
针对大语言模型的幻觉问题,提出融合三类信号的置信度感知路由系统,生成前主动评估不确定性并分流查询,在知识密集型问答基准上显著提升幻觉检测效果与F1分数,同时降低计算成本。
2025-09-23 cs.AI cs.CL
Predicate Importance Estimation and Decoupled Rationale-Score Distillation for Entity Alignment
SungKyunKwan University(成均馆大学);NAVER
提出谓词重要性估计和解耦理由-分数蒸馏两个模块,通过谓词感知嵌入和蒸馏小语言模型提升知识图谱实体对齐性能,并利用分数与理由的不一致实现人机协同验证。
2026-06-23 cs.CL
CAPO: Confidence Aware Preference Optimization Learning for Multilingual Preferences
Department of Computer Science(计算机科学系)
针对现有偏好优化方法在多语言场景泛化性不足的问题,提出CAPO,通过基于相对奖励的动态损失缩放机制调节学习信号,提升对噪声或低边际比较的稳健性,在奖励准确率和多语言对齐效果上优于基线。
2025-11-10 cs.AI cs.CL
SteerConf: Steering LLMs for Confidence Elicitation
The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
提出SteerConf框架,通过引导提示、一致性度量和校准方法,无需训练即可提升LLM置信度校准,在七个基准上显著优于现有方法。
2025-05-23 cs.CL cs.LG
ContraSolver: Self-Alignment of Language Models by Resolving Internal Preference Contradictions
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文提出 ContraSolver 算法,通过构建偏好图并解决内部偏好矛盾,实现大型语言模型的无监督自对齐,在多个生成任务上显著提升模型性能。
2024-06-13 cs.CL
The Polite Liar: Epistemic Pathology in Language Models
Course Correct Labs(纠偏实验室)
本文指出大型语言模型存在“礼貌的说谎者”认知病理(自信编造),认为这是RLHF的结构性后果,提出需奖励认知正当性而非仅流畅性以缓解语言合作与认知完整性的对齐张力。
2025-11-08 cs.AI cs.CL cs.CY
Your Pre-trained LLM is Secretly an Unsupervised Confidence Calibrator
Department of Statistics and Data Science, Southern University of Science and Technology(统计与数据科学系,南方科技大学);Department of Computer Sciences, University of Wisconsin-Madison(计算机科学系,威斯康星大学麦迪逊分校)
本文提出DACA方法,通过无监督方式优化后训练模型的置信度校准,减少不一致预测带来的过度自信问题,提升模型可靠性。
2025-11-25 cs.AI cs.LG
CleanMAP: Distilling Multimodal LLMs for Confidence-Driven Crowdsourced HD Map Updates
Tsinghua University(清华大学);Beihang University(北京航空航天大学)
针对众包高精地图更新中数据不可靠的问题,提出CleanMAP框架:基于MLLM蒸馏,通过车道可见性评分过滤数据并融合高置信度局部地图,实现0.28m更新误差(优于基线),且与人类评估对齐度达84.88%。
2025-04-14 cs.AI cs.CL cs.CV
Atomic Calibration of LLMs in Long-Form Generations
University of Cambridge(剑桥大学);Fudan University(复旦大学);Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出原子校准方法,用于改进大语言模型在长文本生成中的校准能力,揭示置信度方法与生成过程中置信度变化的关联。
2025-11-20 cs.AI cs.CL
Beyond Monolithic Rewards: A Hybrid and Multi-Aspect Reward Optimization for MLLM Alignment
Radha Gulhane(独立研究者);Sathish Reddy Indurthi(独立研究者)
针对多模态大语言模型对齐中单一奖励的局限,提出混合多维度奖励框架,整合模型与规则奖励,并引入长度惩罚,在3B模型上实现约9.5%整体及16%数学任务的性能提升。
2025-10-06 cs.AI cs.CL cs.CV
Revisiting Epistemic Markers in Confidence Estimation: Can Markers Accurately Reflect Large Language Models' Uncertainty?
Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)
研究探讨了大语言模型中置信度标记是否能准确反映其不确定性,通过多数据集评估发现标记在同分布下表现稳定,但异分布下存在不一致,质疑了置信度标记的可靠性。
2026-04-11 cs.CL
Beyond the Final Layer: Intermediate Representations for Better Multilingual Calibration in Large Language Models
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室)
本研究针对多语言校准问题,发现LLMs的后期中间层比最终层更适合提供可靠的多语言置信信号,提出无训练方法LACE以提升多语言校准,助力构建更公平可信的LLMs。
2026-09-01 cs.CL
The Confidence Paradox: Can LLM Know When It's Wrong
Jamia Hamdard(贾迈亚哈姆达德大学);Center for SDGC, Stanford University(SDGC中心,斯坦福大学)
针对DocVQA模型过度自信、缺乏伦理校准的问题,研究提出模型无关的自监督框架HonestVQA,通过加权损失与对比学习对齐置信度与正确性,还设计了H-Score和ECI评估指标,在多个数据集上提升了准确率与F1值并降低过度自信,跨域泛化表现良好。
2025-10-28 cs.AI
Confidence Estimation for Error Detection in Text-to-SQL Systems
AIRI;MIPT(莫斯科物理技术学院);Sber AI;ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息学与自动化研究所可信人工智能研究中心)
本研究将选择性分类器集成到文本到SQL系统中,利用基于熵的置信度估计和校准技术,分析覆盖率与风险的权衡,发现T5校准优于GPT-4和Llama-3,且选择性分类器更易检测无关问题导致的错误。
2025-01-16 cs.CL cs.LG
Early-Token Confidence Predicts Reasoning Quality in Multi-Agent LLM Debate
University of California, Irvine(加州大学尔湾分校)
研究利用解码时令牌级对数概率作为置信度信号,预测多智能体LLM辩论中的推理质量,发现早期令牌置信度是最强预测因子。
2026-06-09 cs.CL
Evaluating Prompt Engineering Techniques for Accuracy and Confidence Elicitation in Medical LLMs
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);Ontario Tech University(安大略理工大学);Iran University of Medical Sciences(伊朗医科大学)
本文评估了156种提示工程配置对5个医疗LLM的准确性与置信度获取的影响,发现Chain-of-Thought虽提升准确性但易致过度自信,表明高风险医疗任务需同时关注准确性与不确定性校准。
2025-05-29 cs.AI cs.CL cs.CY
VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference
Indeed Inc(Indeed公司)
VERDI通过分解推理过程提取置信度信号,无需额外调用,提升验证型LLM裁判的可信度评估。
2026-05-11 cs.CL cs.IR cs.LG
Hallucination Span Detection with Input-Side Evidence Alignment
Institute of Science Tokyo(东京科学大学)
针对大型语言模型生成文本的幻觉问题,提出结合输入侧证据对齐的幻觉跨度检测任务,训练编码器模型通过预测置信度检测幻觉并对齐输入证据,实验验证了方法的有效性。
2026-08-18 cs.CL
Overconfidence in LLM-as-a-Judge: Diagnosis and Confidence-Driven Solution
本文针对 LLM-as-a-Judge 中的过度自信问题,提出 TH-Score 指标和 LLM-as-a-Fuser 集成框架,以构建置信度驱动、风险感知的可靠评估系统。
2025-08-18 cs.AI
Instinct vs. Reflection: Unifying Token and Verbalized Confidence in Multimodal Large Models
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
本文研究多模态大模型响应自信估计的本能-反思不一致问题,提出融合框架和均值对齐方法,提升校准和失败预测性能。
2026-04-19 cs.AI cs.CV
The Confidence-Competence Gap in Large Language Models: A Cognitive Study
Youngstown State University(扬斯敦州立大学);University of Nevada, Reno(内华达大学雷诺分校);University of Georgia(佐治亚大学)
本文通过问卷与现实场景测试LLM,揭示其自我信心与实际能力不一致,包括错误时高自信和正确时低自信两类偏差。
2023-09-28 cs.CL cs.CY cs.HC
SpecAlign: A Semantic Alignment Framework for SystemVerilog Assertion Generation
University of South Florida(佛罗里达州立大学)
提出 SpecAlign 框架,通过基于蕴含的分类和自一致性投票机制,评估并改进 LLM 生成的 SVA 与自然语言规范之间的语义对齐,无需黄金 RTL。
2026-05-24 cs.AI
Object-Level Verbalized Confidence Calibration in Vision-Language Models via Semantic Perturbation
University of Science and Technology of China(中国科学技术大学);SKL of Processors, Institute of Computing Technology, CAS(中国科学院计算技术研究所处理器专项实验室);National University of Singapore(新加坡国立大学);University of Chinese Academy of Sciences(中国科学院大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出CSP框架,通过语义扰动和两阶段训练,改进视觉语言模型在对象级查询中的言语化置信度校准,提升置信度与正确性的对齐。
2025-04-21 cs.AI cs.CV
SPA: Achieving Consensus in LLM Alignment via Self-Priority Optimization
University of Notre Dame(诺特大学)
本文提出自优先级对齐(SPA)框架,通过无监督生成、自我评估与双标准去噪构建“先可信后有帮助”的偏好对,并以不确定性加权损失微调模型,在多个基准上实现不损害安全性的有帮助性提升。
2025-11-09 cs.CL cs.CY
Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations
Faculty of Computer Science, UniVie Doctoral School Computer Science(计算机科学系,维也纳大学计算机科学博士学院);Faculty of Philological and Cultural Studies, University of Vienna, Austria(文学与文化研究系,维也纳大学,奥地利);ILLC, University of Amsterdam, Netherlands(阿姆斯特丹大学ILLC,荷兰);Khoury College of Computer Sciences, Northeastern University, USA(东北大学计算机科学学院,美国);LMU Munich, Munich Center for Machine Learning (MCML), Germany(慕尼黑大学,慕尼黑机器学习中心(MCML),德国)
提出一个基于鲁棒性、稳定性和敏感性的新评估框架,揭示现有置信度估计方法在区分语义不同答案方面的不足。
2026-09-25 cs.CL
On the Calibration of Large Language Models and Alignment
University of Science and Technology of China(中国科学技术大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文系统研究大语言模型在预训练和对齐训练全过程中的置信度校准,探究参数规模和训练数据对生成、事实性和理解三方面的影响,揭示模型校准状态及训练过程的作用。
2023-11-22 cs.CL
From Trial to Triumph: Advancing Long Video Understanding via Visual Context Sample Scaling and Self-reward Alignment
Zhejiang University(浙江大学);Tencent Inc.(腾讯公司)
针对长视频理解中有限帧处理导致信息遗漏的问题,提出视觉上下文采样生成多样预测,并通过频率、置信度和推理分数线性组合的自我奖励机制选择最终答案,在七个数据集上提升了三种多模态大语言模型的性能。
2025-03-26 cs.AI cs.CV
Alignment for Efficient Tool Calling of Large Language Models
Shanghai Jiao Tong University(上海交通大学);AISpeech Co., Ltd.(思必驰科技有限公司)
本文提出一种多目标对齐框架,通过概率性知识边界估计与动态决策减少大语言模型不必要的工具调用,从而在保持性能的同时提升工具使用效率。
2025-03-09 cs.CL
Trust Your Guide Only When Certain: Uncertainty-Aware Sparse Alignment at Inference Time
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Huawei Technologies Co., Ltd.(华为技术有限公司);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
针对推理时LLMs密集对齐的低置信度干预问题,提出TUSA方法,通过不确定性感知仲裁器仅在满足条件时授权干预,跳过约50%对齐步骤,同时提升安全与通用偏好。
2026-09-02 cs.CL
BAS: A Decision-Theoretic Approach to Evaluating Large Language Model Confidence
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford Suzhou Centre for Advanced Research(牛津大学苏州高等研究院)
本文提出BAS,一种基于决策理论的评估方法,用于评估大语言模型置信度在不同风险偏好下的决策支持能力,揭示置信度与决策可靠性之间的关系,并展示如何通过干预提升置信度可靠性。
2026-04-03 cs.CL
Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
针对大语言模型安全对齐中强化学习算法的分布偏移问题,提出基于偏好重排序与表征奖励建模的框架,利用模型内在安全判断提取奖励信号实现偏好重排,在提升安全性能的同时大幅降低计算开销。
2025-06-15 cs.CL
Taming Overconfidence in LLMs: Reward Calibration in RLHF
Carnegie Mellon University(卡内基梅隆大学);Washington University in St. Louis(圣路易斯华盛顿大学);UC Berkeley(加州大学伯克利分校)
本研究揭示了RLHF会导致LLM产生言语化过度自信,其根源在于PPO的奖励模型存在偏向高置信度的固有偏见。为此提出PPO-M和PPO-C两种变体以校准奖励,在不需额外标签的情况下有效降低了校准误差并保持了模型性能。
2025-02-28 cs.CL
CALIBURN: Self-Calibrated LLM Unlearning Alignment
George Mason University(乔治·马歇尔大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
CATNIP通过校准和令牌化的负偏好对齐方法,实现有效LLM去学习,无需保留数据或对比对,提升知识遗忘与保留的平衡。
2026-09-03 cs.CL
Language models judge war differently when tested for alignment
University of Oxford(牛津大学)
研究发现对齐测试的提示会使大型语言模型发动战争的意愿下降,还会改变其决策的核心影响因素,弱化战略考量,凸显平民伤亡的权重。
2026-09-07 cs.AI cs.CY
REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming
Systrion GmbH(Systrion 有限公司);Wilhelm Büchner Hochschule(威廉·毕希纳应用科学大学)
研究针对大语言模型逆向工程能力评估难的问题,提出Reforge方法,通过特定流程构建函数级真实情况并处理对齐不确定性,经实验验证该方法能揭示优化对模型性能的影响,推动不确定性感知基准测试实践。
2026-11-16 cs.AI cs.CR cs.PL
Does In-IDE Calibration of Large Language Models work at Scale?
Delft University of Technology(代尔夫特理工大学);JetBrains Research(JetBrains研究);University of California, Davis(加州大学戴维斯分校)
本研究通过大规模真实交互数据和多阶段设计研究,发现基于Platt缩放的通用后验校准无法提升IDE中代码生成模型的置信度可靠性,而个性化校准效果依赖数据量,且开发者偏好颜色编码的非数字可靠性指示器。
2025-10-26 cs.AI cs.SE
Using Source-Side Confidence Estimation for Reliable Translation into Unfamiliar Languages
University of Notre Dame(圣母大学)
本文提出一种无需对齐的源端置信度估计方法,通过测量目标词概率对源嵌入变化的敏感度来识别机器翻译中的错误,在错误翻译检测上优于传统基于对齐的方法,提升了面向不熟悉目标语言用户的交互式翻译系统的可信度与可解释性。
2025-03-30 cs.CL cs.LG
Gradient boundaries through confidence intervals for forced alignment estimates using model ensembles
Linguistics Program, Department of English, George Mason University(语言学项目,英语系,乔治·马歇尔大学)
本文提出通过神经网络集成生成梯度边界的方法,利用置信区间提升边界估计的准确性,并通过实验验证其在语音识别任务中的有效性。
2026-04-13 cs.CL cs.LG cs.SD