Confidence-Weighted Token Set Cover for Early Hypothesis Pruning in Self-Consistency
IBM Research AI(IBM人工智能研究院)
本研究提出一种基于模型置信度和词汇覆盖的加权集合覆盖算法,用于自一致性推理中的早期假设剪枝,在三个数学基准上对五个大语言模型实现了10-35%的令牌效率提升。
2025-08-06 cs.CL
Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·泽亚德人工智能大学)
本文提出通过最小贝叶斯风险连接模型置信度与输出一致性,改进大语言模型的不确定性量化方法。
2025-12-09 cs.CL
Self-Consistency Boosts Calibration for Math Reasoning
School of Informatics, Xiamen University(厦门大学信息学院);Tencent AI Lab(腾讯AI实验室)
针对数学推理任务,提出基于自一致性的三种即插即用校准方法,在GSM8K和MathQA上优于现有p(True)或logit方法,更好桥接置信度与准确性。
2024-03-14 cs.AI cs.CL
VecCISC: Improving Confidence-Informed Self-Consistency with Reasoning Trace Clustering and Candidate Answer Selection
Computer Science Department, Brandeis University(布拉德雷大学计算机科学系)
VecCISC通过推理轨迹聚类和候选答案筛选优化置信度引导的自一致性方法,减少计算开销并保持高精度。
2026-05-08 cs.AI
Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency
Zhejiang University(浙江大学);University of Edinburgh(爱丁堡大学)
本文提出邻域一致性信念(NCB)来评估LLM在上下文干扰下的信念鲁棒性,通过结构化测量提升模型在真实场景中的可靠性,并引入结构感知训练(SAT)减少知识脆性。
2026-04-07 cs.AI cs.CL cs.HC
Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Microsoft Research Asia(微软亚洲研究院)
针对代码生成单次尝试易错的问题,提出MPSC框架,从Solution、Specification和Test case三视角构建三部图并融合视角间与视角内一致性,显著提升ChatGPT在HumanEval、MBPP和CodeContests上的表现,甚至超过GPT-4。
2024-07-02 cs.AI cs.CL cs.SE
Consistency of Large Reasoning Models Under Multi-Turn Attacks
研究评估了多轮对抗攻击下九种前沿推理模型的鲁棒性,发现推理虽提供部分鲁棒性,但存在显著脆弱性,指出基于自信的防御需重新设计以适应推理模型。
2026-03-11 cs.AI cs.CL
Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs
University of Virginia(弗吉尼亚大学)
研究探讨了大语言模型中过度自信的机制,发现中间层的MLP块和注意力头会生成自信信号,并通过干预提升校准性。
2026-07-28 cs.CL
Mirror-Consistency: Harnessing Inconsistency in Majority Voting
Shanghai Jiaotong University(上海交通大学);Tiansuan Lab, Ant Group Co., Ltd.(蚂蚁集团天算实验室);SJTU Paris Elite Institute of Technology(上海交通大学巴黎精英理工学院)
针对Self-Consistency忽略少数不一致响应的问题,提出Mirror-Consistency方法,通过引入“反射镜”机制让模型审查生成不一致性,从而在提升推理准确率的同时增强置信度校准。
2025-09-17 cs.AI cs.CL
LoVeC: Reinforcement Learning for Better Verbalized Confidence in Long-Form Generations
University of Cambridge(剑桥大学)
本文提出LoVeC,一种基于强化学习的方法,通过在长文生成过程中实时附加数值自信度评分,提升事实性生成的可靠性。实验表明,该方法在多个长文问答数据集上实现了更好的校准和跨领域泛化能力,且效率显著高于传统自一致性方法。
2026-05-13 cs.AI cs.CL
A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models
CRUX是一种面向上下文的双指标框架,通过上下文熵减少和统一一致性检验提升大型语言模型的置信度估计效果。
2026-01-27 cs.CL cs.LG
Calibrating Large Language Models with Sample Consistency
University of Pennsylvania(宾夕法尼亚大学);ETH Zurich(苏黎世联邦理工学院);University of Washington(华盛顿大学);Allen Institute for AI(人工智能研究院)
通过样本一致性方法提升大型语言模型的校准效果,改进其预测置信度评估和性能表现。
2026-02-23 cs.CL
Zoom Consistency: A Free Confidence Signal in Multi-Step Visual Grounding Pipelines
Om Labs(Om实验室)
本文提出zoom一致性作为多步视觉定位流水线中的一种免费置信度信号,通过几何量在共享坐标空间中的比较,提升不同架构VLMs的预测准确性。
2026-04-15 cs.AI cs.CV
Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions
Carnegie Mellon University(卡内基梅隆大学)
本文针对大语言模型在多轮交互中的一致性问题,提出PWC评估指标、MT-Consistency基准数据集以及CARG生成框架,在不牺牲准确率的前提下显著提升响应稳定性。
2025-06-05 cs.AI cs.CL
When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals
University of Pennsylvania(宾夕法尼亚大学)
研究探讨大语言模型一致性与正确性的关系,通过大规模交叉运行研究,发现一致性是正确性的条件代理,对不饱和中层模型和计算分配较有用,对最一致的前沿模型存在过度自信问题,还公开了相关数据。
2026-07-30 cs.AI
The Consistency Hypothesis in Uncertainty Quantification for Large Language Models
Rensselaer Polytechnic Institute(拉特格斯理工学院);IBM Research(IBM研究院);Zalando
本文形式化了将生成一致性作为置信度代理的“一致性假设”,通过数学陈述与统计检验在多任务上验证其普遍性,并基于最具可操作性的“Sim-Any”假设提出无数据黑盒UQ方法,有效提升了置信度估计性能。
2025-06-27 cs.AI cs.CL cs.LG
DECK: A Consistency x Confidence Taxonomy of LLM Hallucinations
University of California, Berkeley(加州大学伯克利分校)
提出一种基于样本间一致性和词级置信度的2×2分类法(DECK),将LLM幻觉分为四个行为区域,每个区域对应可检测的评分器家族,并通过实验验证其有效性及识别出输出级不确定性评估的普遍盲点。
2026-10-02 cs.CL
Rethinking Label Consistency of In-Context Learning: An Implicit Transductive Label Propagation Perspective
本文从归纳标签传播视角重新思考上下文学习中的标签一致性问题,提出TopK-SD方法提升演示的一致性,优于传统TopK采样。
2025-12-13 cs.AI
ChainUQ: Reasoning Consistency-Aware Uncertainty Quantification for Large Language Models
Florida State University(佛罗里达州立大学)
ChainUQ提出推理一致性感知的不确定性量化框架,通过对齐感知轻量级模块和一致性校准器,提升LLM响应级置信度可靠性,在AUROC和ECE上显著改善且可迁移。
2026-09-23 cs.AI
Efficient Test-Time Scaling via Self-Calibration
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
针对LLMs测试时固定采样导致计算浪费或探索不足的问题,提出Self-Calibration方法将Self-Consistency导出的置信度蒸馏到模型中,实现单次前向传递的可靠置信度估计,并设计了基于置信度的高效测试时扩展策略,有效提升了推理效率与准确率。
2025-02-25 cs.AI cs.CL cs.LG
Graph-based Confidence Calibration for Large Language Models
Department of Computer Science Tufts University(塔夫茨大学计算机科学系);Department of Computer Science Virginia Tech(弗吉尼亚理工大学计算机科学系);Department of Computer Science Virginia Tech, University of California, Davis(弗吉尼亚理工大学计算机科学系,加州大学戴维斯分校计算机科学系)
针对大型语言模型置信度估计不可靠的问题,提出基于自一致性构建一致性图并用图神经网络评估响应正确性的方法,在多个基准上校准性能强且泛化良好。
2025-05-22 cs.AI cs.CL cs.IR
Reflective Confidence: Correcting Reasoning Flaws via Online Self-Correction
Sun Yat-sen University(中山大学)
本文提出反思性信心框架,通过在线自我纠正修正推理缺陷,提升数学推理任务的准确性。
2025-12-21 cs.AI
Beyond Single-Turn Confidence: Trajectory-Adapted Uncertainty Quantification for LLM Agents
本研究探讨单轮UQ方法能否迁移至LLM智能体的交互式轨迹场景,评估三类UQ方法在多轮工具使用数据集上的表现,发现黑盒自一致性通常最优,提示需在轨迹层面重新验证单轮UQ方法。
2026-08-13 cs.AI cs.CL cs.LG
Harnessing Consistency for Robust Test-Time LLM Ensemble
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
CoRE通过利用模型一致性提升LLM集成的鲁棒性,通过token和model级别的一致性改进集成性能。
2026-01-19 cs.AI cs.CL
An Interpretable Memory Decision Controller for LLM Agents Based on Three-Signal Complementarity: Decoupling Confidence and Consistency
Tianjin University of Technology(天津理工大学)
提出记忆决策层(MDL),通过三信号互补编码器解耦置信度与一致性,实现零参数白盒记忆信任决策,将冲突记忆下幻觉率降低56.04%,高风险场景接近零幻觉。
2026-09-21 cs.CL
Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals
The University of Sydney(悉尼大学);University of Technology Sydney(技术大学悉尼)
通过分析模型最终层隐藏状态轨迹中的多尺度结构信号,提出结构置信度方法,实现单次通过的高效、稳健置信度估计,适用于高社会影响和资源受限的LLM应用。
2026-02-01 cs.CL cs.LG
Calibrating Uncertainty Quantification of Multi-Modal LLMs using Grounding
Georgia State University(佐治亚州立大学);Computer Science Lab, SRI(SRI计算机科学实验室);Army Cyber Institute, United States Military Academy(美国陆军网络学院)
本文提出利用跨模态接地与温度缩放相结合的方法来校准多模态大语言模型的不确定性量化,并在医学问答和视觉问答任务上验证了其显著提升校准效果的有效性。
2025-04-30 cs.AI cs.CL cs.CV
Consistency Matters: Explore LLMs Consistency From a Black-Box Perspective
针对 LLM 研究与部署中的一致性问题,本文构建数据集与基线,并提出以传统 NLG 指标为特征的 LightGBM 黑盒评估方法,性能优于人工评估和 GPT3.5。
2024-03-02 cs.CL
When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment
University of Central Florida(中佛罗里达大学)
本文研究了如何通过校准LLM评分器的置信度来提高自动评估的可靠性,比较了三种置信度估计方法在不同规模的LLM上的表现,发现自报置信度在所有条件下均表现最佳,且大模型在不同数据集上具有更好的校准效果。
2026-03-31 cs.CL cs.CY
Future Confidence Distillation in Large Language Models
研究大语言模型置信度估计,通过比较解决问题前后的置信度,发现其在回答过程中演变。基于此引入未来置信度蒸馏,用解决问题后的置信度估计训练解决问题前隐藏表征的预测器,实现可靠且低成本的置信度估计。
2026-07-09 cs.AI cs.CL
How Uncertainty Estimation Scales with Sampling in Reasoning Models
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
研究推理模型中不确定性估计随采样规模变化的机制,通过平行采样方法分析自一致性与置信度信号的扩展链式推理表现,发现信号组合能显著提升AUROC性能,且领域依赖性明显。
2026-03-19 cs.AI cs.CL cs.LG
MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels
Arizona State University(亚利桑那州立大学);University of Chicago(芝加哥大学)
针对现有NLG置信度评估框架依赖有噪声、成本高的启发式正确性函数的问题,提出MCQA-Eval框架,利用多项选择数据集金标准标签实现白盒与黑盒置信度度量的统一高效可靠评估。
2025-02-20 cs.AI cs.CL
SteerConf: Steering LLMs for Confidence Elicitation
The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
提出SteerConf框架,通过引导提示、一致性度量和校准方法,无需训练即可提升LLM置信度校准,在七个基准上显著优于现有方法。
2025-05-23 cs.CL cs.LG
Instinct vs. Reflection: Unifying Token and Verbalized Confidence in Multimodal Large Models
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
本文研究多模态大模型响应自信估计的本能-反思不一致问题,提出融合框架和均值对齐方法,提升校准和失败预测性能。
2026-04-19 cs.AI cs.CV
Annotation-Efficient Universal Honesty Alignment
State Key Laboratory of AI Safety(人工智能安全国家重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
EliCal通过两阶段框架实现高效标注的通用诚实对齐,仅需少量正确性标注即可达到接近最优的对齐效果。
2026-03-04 cs.CL
Reconfidencing LLMs from the Grouping Loss Perspective
Inria Saclay(法国国家信息与自动化研究所萨克雷中心);Imperial College London(帝国理工学院);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院巴黎电信学院LTCI实验室)
本文从分组损失视角研究LLM置信度偏差问题,构建新评估数据集发现Mistral和LLaMA存在过度自信且在不同群体上程度不同,并提出同时消除校准误差和分组损失的置信度重构方法,改善了置信度与准确率的一致性。
2024-10-23 cs.CL
Calibrating Long-form Generations from Large Language Models
Duke University(杜克大学);Yale University(耶鲁大学)
针对长文本生成只能部分正确、二元校准失效的问题,提出将正确性与置信度视为分数分布的统一框架、三项指标及两种置信度诱导方法,并验证模型级联等改进策略。
2024-10-25 cs.AI cs.CL cs.LG
Reliability-Aware Adaptive Self-Consistency for Efficient Sampling in LLM Reasoning
IPAI, Seoul National University(首尔国立大学IPAI)
本文提出ReASC,通过将自适应采样从响应计数转向证据充分性,提升推理可靠性。在五个模型和四个数据集上,ReASC在准确率与成本之间取得最佳平衡,显著提升推理效率。
2026-04-20 cs.CL cs.LG
Extending Confidence-Based Text2Cypher with Grammar and Schema Aware Filtering
Neo4j(Neo4j公司)
本文研究如何在文本到Cypher推理中利用结构约束提高查询正确性,通过扩展置信度框架加入序列过滤过程,结合置信度评分、语法验证和模式约束,提升生成查询的可靠性。
2026-05-11 cs.CL
Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors
University of Sydney(悉尼大学);City University of Hong Kong(香港城市大学)
本文提出一致性校准(CC)方法,通过模型在扰动输入间的一致性调整置信度,无需额外数据或标签,在logit级别提升效率,并在多个标准及长尾数据集上达到最先进性能。
2024-10-16 cs.AI cs.CV cs.LG
Enhancing Self-Correction in Large Language Models through Multi-Perspective Reflection
University of Brasilia(巴西大学)
PR-CoT通过多视角反思提升大语言模型的自我纠正能力,有效增强推理的逻辑一致性和准确性,尤其在伦理决策等复杂领域表现突出。
2026-01-12 cs.CL
Latent Confidence Alignment for LLM Self-Assessment
Department of Information Management(信息管理系);National Sun Yat-Sen University(国立中山大学);Kaohsiung Medical University Hospital(高雄医学大学附设医院);Kaohsiung Medical University(高雄医学大学)
提出基于Rasch模型的潜在置信对齐误差(LCAE)来评估LLM自我评估与潜在错误概率的一致性,并引入项目难度作为外部信号,实验表明该方法在不影响模型能力的情况下提升自我评估质量。
2026-06-23 cs.AI cs.CL cs.CY
Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
National University of Singapore(新加坡国立大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);The Hong Kong University of Science and Technology(香港科技大学)
本研究提出一个系统框架,通过提示策略、采样方法和聚合技术,在黑盒LLM中引导置信度,并在多个数据集和模型上评估,发现LLM过度自信,但所提策略可缓解,且与白盒方法差距小。
2024-03-17 cs.CL
Persona Switch: Mixing Distinct Perspectives in Decoding Time
Seoul National University(首尔国立大学)
Persona Switch是一种在解码过程中动态结合零样本提示和角色扮演提示优势的新方法,通过比较输出置信度来提升模型性能。
2026-01-22 cs.CL
Semantic Calibration Prevails Where Token Confidence Fails: Benchmarking Long-Form Scientific QA
本研究提出首个大规模基准,评估大型语言模型在长格式问答中不确定性校准的可靠性,揭示了指令调优和推理过程对校准的影响及ECE指标的局限性。
2026-09-21 cs.CL cs.LG
Confidence Estimation for Text-to-SQL in Large Language Models
针对大语言模型Text-to-SQL无真实答案时的查询可靠性评估问题,探索黑盒(一致性方法)与白盒(SQL语法感知方法)置信度估计策略,结合执行接地信号提升效果,在跨域基准验证了方法优势。
2025-08-08 cs.CL cs.DB
Confidence Estimation in Automatic Short Answer Grading with LLMs
DIPF | Leibniz Institute for Research and Information in Education(莱布尼茨教育研究与信息研究所);Faculty of Computer Science, Goethe University Frankfurt(弗赖堡大学计算机科学系);Chemnitz University of Technology(化学工业大学)
本文研究了基于大语言模型的自动简答评分中的置信度估计,结合模型内置置信信号和数据集衍生的不确定性,提出混合置信框架以提升评分选择性。
2026-05-13 cs.CL
Taming Object Hallucinations with Verified Atomic Confidence Estimation
CMU(卡内基梅隆大学);The University of Tokyo(东京大学);The University of Toronto(多伦多大学)
针对多模态大语言模型的目标幻觉问题,提出TACO框架,通过原子查询分解、自验证和置信度校准(无需外部视觉专家),在五个基准上提升模型忠实性,优于现有方法。
2025-11-12 cs.CL cs.CV
CD4LM: Consistency Distillation and aDaptive Decoding for Diffusion Language Models
Princeton University(普林斯顿大学);Advanced Micro Devices, Inc(先进微器件公司)
CD4LM通过一致性蒸馏和自适应解码提升扩散语言模型的并行解码效率与生成质量。
2026-01-05 cs.CL
DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning
School of Mathematics, Jilin University(吉林大学数学学院);Leicester International Institute, Dalian University of Technology(大连理工大学莱斯特国际学院)
针对大语言模型数学推理中口头表述置信度难以校准的问题,提出DirEAG方法,将置信度观测值转换为校准软证据,在多个数据集和模型上验证其校准效果优于现有方法。
2026-08-24 cs.AI
VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images
New York University(纽约大学)
VB基准测试视觉-语言模型在图像可见性推理中的能力,通过可见性声明和置信度评分评估模型性能。
2026-03-03 cs.AI cs.CV
A Theoretical Study on Bridging Internal Probability and Self-Consistency for LLM Reasoning
State Key Laboratory of Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学,中国);Department of Computer Science, ETH Zurich, Switzerland(苏黎世联邦理工学院计算机科学系,瑞士);School of Intelligence Science and Technology, Nanjing University, China(智能科学与技术学院,南京大学,中国);School of Artifical Intelligence, Nanjing University, China(人工智能学院,南京大学,中国)
本文提出首个分析基于采样测试时扩展方法的理论框架,揭示自一致性与困惑度的局限,并引入混合方法RPC,通过困惑度一致性和推理剪枝将估计误差收敛速率从线性提升至指数级,在七个基准上实现同等推理性能且采样成本降低50%。
2025-10-17 cs.AI cs.LG
Temporalizing Confidence: Evaluation of Chain-of-Thought Reasoning with Signal Temporal Logic
University of Florida(佛罗里达大学);University of Mannheim(曼海姆大学)
本文提出用信号时序逻辑评估思维链推理中的逐步置信度,并通过不确定性重塑策略改善LLM数学推理的校准与可靠性。
2025-06-09 cs.AI cs.LG
Revisiting Self-Consistency from Dynamic Distributional Alignment Perspective on Answer Aggregation
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院);Xiaohongshu Inc(小红书公司)
该研究将自洽性视为动态分布对齐问题,提出置信度驱动的温度自适应校准机制,在有限样本下提升数学推理的平均与最佳性能。
2025-06-11 cs.AI cs.CL