Mind the Uncertainty in Human Disagreement: Evaluating Discrepancies between Model Predictions and Human Responses in VQA
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究聚焦VQA任务,基于人类分歧不确定性水平分类样本,采用新指标评估SOTA模型与人类回答分布的关联,发现普通校准会拉大差距,而人类校准可提升对齐效果,指出该对齐问题应成为未来研究重点。
2024-09-17 cs.AI cs.CL cs.CV
A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions
Princeton University(普林斯顿大学)
本文系统综述了大型语言模型不确定性量化方法,提出统一分类体系以整合现有方法,梳理其在文本与具身智能中的应用,并指出开放性挑战与未来方向。
2025-07-01 cs.AI cs.CL
Uncertainty Quantification in Large Language Models Through Convex Hull Analysis
University of Stavanger(斯塔万格大学);Old Dominion University(奥尔德尼自治领大学)
本文提出一种基于凸包分析的几何方法,通过BERT嵌入、PCA降维和DBSCAN聚类量化大语言模型输出不确定性,并发现不确定性受提示复杂度、模型及温度设置影响。
2024-06-28 cs.AI cs.CL
Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition
Arizona State University(亚利桑那州立大学);University of California, Riverside(加利福尼亚大学河滨分校)
本文提出MATU框架,通过张量分解量化多智能体系统中的不确定性,解决多步推理、通信路径变化和拓扑多样性等挑战,提供通用可靠性评估。
2026-04-09 cs.AI cs.CL cs.LG
MAQA: Evaluating Uncertainty Quantification in LLMs Regarding Data Uncertainty
KAIST(韩国科学技术院);Sogang University(西江大学);NAVER AI Lab(NAVER AI实验室)
本文提出多答案问答数据集MAQA以评估数据不确定性下LLMs的不确定性量化方法,发现基于熵和一致性的方法能有效估计模型不确定性。
2025-03-31 cs.AI cs.CL
LLM Uncertainty Quantification through Directional Entailment Graph and Claim Level Response Augmentation
Arizona State University(亚利桑那州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对LLM响应可信度问题,提出基于蕴含概率有向图与随机游走拉普拉斯特征值的不确定性量化方法,并结合声明级响应增强,实验验证其优越性。
2024-07-08 cs.CL
SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment
University of Notre Dame(圣母大学)
提出SAGE目标,通过答案条件不确定性几何从模型采样响应中构建群组级不确定性目标,结合GUPO训练框架优化言语不确定性表达,在多项推理任务中提升不确定性排序、降低校准误差和过度自信。
2026-06-11 cs.CL
Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space
Cognizant AI Labs(高知特人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有大语言模型不确定性量化方法的诸多局限,提出语义密度框架,从语义空间概率分布提取回复置信度,不受任务限制且开箱即用,实验验证其性能与鲁棒性优于现有方法。
2024-11-01 cs.AI cs.CL
LoGU: Long-form Generation with Uncertainty Expressions
Fudan University(复旦大学);University of Cambridge(剑桥大学);Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出LoGU任务,针对长文本生成中的不确定性抑制和不确定性错位问题,设计基于原子声明的精炼数据收集框架及SFT与DPO两阶段训练方法,在三个长文本指令遵循数据集上显著提升准确性并减少幻觉。
2025-06-04 cs.AI cs.CL
Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Robust Response Generation in the Wild
针对检索增强大语言模型的内外知识冲突问题,本研究从信息论视角揭示冲突信息差异对生成不确定性的影响,提出Swin-VIB框架适配检索信息差异,显著提升多项选择与开放式问答任务性能。
2025-11-16 cs.AI cs.CL
LUQ: Long-text Uncertainty Quantification for LLMs
University of Cambridge(剑桥大学);Amazon Alexa(亚马逊Alexa)
针对现有不确定性量化方法难以适配长文本生成的问题,本研究提出专门面向长文本的LUQ系列采样式UQ方法及集成变体,在事实性得分相关性上优于基线,且集成方法可显著提升LLM回复事实性。
2024-10-04 cs.CL
Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs
Ewha Womans University(成均馆大学)
本文提出Cleanse方法,通过聚类分析LLM隐藏嵌入的语义一致性来量化不确定性,从而检测幻觉,并在多个模型和问答基准上验证了其有效性。
2025-07-19 cs.AI cs.CL
Improving Instruction Following in Language Models through Proxy-Based Uncertainty Estimation
Samsung SDS Technology Research(三星SDS技术研究院)
针对语言模型指令响应质量评估困难的问题,提出基于贝叶斯近似的URM模型,通过评估响应不确定性优化数据筛选与策略目标,显著提升了模型指令遵循能力。
2025-01-31 cs.AI cs.CL cs.LG
TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning
Rutgers University(罗格斯大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊);Red Hat AI Innovation(红帽AI创新)
本文提出TokUR框架,通过引入低秩随机权重扰动生成令牌级不确定性分布,提升大语言模型在数学推理中的可靠性和可解释性。
2026-04-11 cs.AI cs.CL cs.LG
CSS: Contrastive Semantic Similarity for Uncertainty Quantification of LLMs
Knowledge Media Institute (KMi)(知识媒体研究所(KMi));The Open University(开放大学)
针对LLM生成不确定性量化中NLI分类器logits缺乏聚类特征信息的问题,提出基于CLIP的对比语义相似度模块提取文本对相似度特征,应用于选择性NLG以拒绝不可靠生成,实验证明其优于基线方法。
2024-06-05 cs.AI cs.CL
CoT-UQ: Improving Response-wise Uncertainty Quantification in LLMs with Chain-of-Thought
Purdue University(普渡大学)
本文提出CoT-UQ框架,将思维链推理中的关键词重要性信息聚合用于响应级不确定性量化,在Llama 8B至13B模型上较现有UQ方法平均提升5.9% AUROC。
2025-06-03 cs.CL cs.LG stat.ML
Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Ant Group(蚂蚁集团);Alibaba Group(阿里巴巴集团)
本研究揭示MLLMs存在响应不确定性现象,提出两阶段评估流程量化其受误导的脆弱性,构建了多模态不确定性基准MUB,并通过混合指令微调有效降低了模型的误导率。
2025-09-03 cs.AI cs.CL cs.LG
On Subjective Uncertainty Quantification and Calibration in Natural Language Generation
University of Oxford(牛津大学)
本文从贝叶斯决策理论出发,基于相似性度量提出对黑盒语言模型主观不确定性与认知不确定性的量化及校准方法,并在问答和机器翻译任务中验证其校准效果与在上下文学习数据获取中的延迟策略价值。
2024-10-18 cs.AI cs.CL cs.LG
Revisiting Hallucination Detection with Effective Rank-based Uncertainty
Peking University(北京大学)
本文提出一种基于有效秩的不确定性量化方法,通过分析多输出多层的隐藏状态谱特征来检测大语言模型幻觉,无需额外模块,兼具理论依据与实验验证,实现稳健的幻觉检测。
2025-10-09 cs.AI
Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation
Capital One
本文提出一种基于FFN激活的置信度估计方法,用于RAG系统,通过序列分类和Huber损失正则化,在金融客服场景中提升准确性和降低延迟,实现可信赖部署。
2025-10-16 cs.CL
Learning from Self-Generated Responses: Reliability--Uncertainty Self-Distillation for Reasoning
George Mason University(乔治梅森大学)
该研究提出RUSD方法,利用大语言模型自身的解题尝试,通过结合判定可靠性与学生预测不确定性加权蒸馏损失,在11个推理基准上显著提升了Qwen3系列模型的推理准确率。
2026-10-13 cs.AI
To Believe or Not to Believe Your LLM
Google DeepMind(谷歌DeepMind)
本文提出一种基于信息论的不确定性量化指标,通过迭代提示检测大语言模型在单答案和多答案场景中的幻觉,优于标准策略。
2024-07-17 cs.AI cs.CL cs.LG
Fine-Grained Uncertainty Quantification for Long-Form Language Model Outputs: A Comparative Study
CVS Health(CVS健康公司);Wellesley, MA(马萨诸塞州韦尔士利)
针对长文本生成,提出细粒度不确定性量化分类法,通过响应分解、单元级评分和响应级聚合三阶段区分方法,引入FactScore-STEM-Geo数据集,实验发现声明-响应蕴含评分优于复杂方法,声明级评分优于句子级,不确定性感知解码有效提升事实性。
2026-06-23 cs.AI cs.CL cs.LG
On Fact and Frequency: LLM Responses to Misinformation Expressed with Uncertainty
Centre for Language Studies(语言研究中心);iHub;Institute for Computing and Information Sciences(计算与信息科学研究所);Radboud University(拉德堡德大学)
研究GPT-4o等三种LLM对不确定性表达虚假信息的判断,发现转化为不确定陈述后25%被误判为非虚假,且事实判断与频率估计存在显著相关性。
2025-03-06 cs.CL cs.CY
The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation
研究发现对齐语言模型存在响应同质化现象,影响不确定性估计方法的效果,提出通过叠加不确定性信号提升模型性能。
2026-03-27 cs.AI cs.CL cs.LG
Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models
Ritual AI;Fudan University(复旦大学);Columbia University(哥伦比亚大学);University of Maryland(马里兰大学)
Pinocchio是一种外部校准器,通过一次前向传播为黑盒API模型提供不确定性估计,无需访问内部状态,在七个LLM上训练后达到0.862 AUROC并零样本迁移至十三个模型。
2026-09-23 cs.AI
Can Large Language Models Faithfully Express Their Intrinsic Uncertainty in Words?
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
研究提出基于模型内在信心与传达果断性差距的忠实回应不确定性指标,发现现代LLMs在知识密集型问答中表现不佳,需改进对齐以提升可信度。
2024-09-26 cs.CL
Leveraging Uncertainty Estimation for Efficient LLM Routing
University of Southern California(南加州大学);Amazon AI(亚马逊人工智能)
针对边缘云 LLM 部署中成本与响应质量难以兼顾的问题,提出基于不确定性估计的 Confidence-Driven LLM Router,并用 LLM-as-a-Judge 评估人类偏好,实验证明其优于现有路由方法。
2025-02-16 cs.CL cs.NI
Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty
University of Pennsylvania(宾夕法尼亚大学);AWS AI Labs(AWS人工智能实验室);Johannes Gutenberg University of Mainz(美因茨约翰内斯·古滕贝格大学);Oracle AI(Oracle人工智能)
针对现有黑盒LLM不确定性自一致性评估方法易受上下文偏差误导的问题,提出基于多智能体多样化查询交互的DiverseAgentEntropy方法,可更准确评估真实不确定性并提升幻觉检测性能。
2025-10-20 cs.CL
MARS: Meaning-Aware Response Scoring for Uncertainty Estimation in Generative LLMs
Amazon AI(亚马逊人工智能)
针对生成式LLM输出的不确定性估计问题,提出意义感知响应评分(MARS)函数替代长度归一化评分,在多数据集和多LLM上实验证明可显著提升UE性能,并在医学QA数据集验证有效性。
2024-06-08 cs.CL cs.LG
Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
Cimat(西马研究所)
研究针对大语言模型基准神经项目反应理论模型,提出拉普拉斯-PSN-IRT方法,通过近似贝叶斯后验推断增强模型,能恢复校准不确定性,可进行可信区间等分析,实验表明该方法在模型比较、信息稳定性及能力排名恢复等方面表现良好。
2026-07-29 cs.AI cs.LG stat.AP
Enhancing Trust in Large Language Models via Uncertainty-Calibrated Fine-Tuning
Capital One, AI Labs(Capital One人工智能实验室);Wayve Technologies(Wayve技术公司);Intel Corporation(英特尔公司)
本文提出一种不确定性感知微调方法,用于提升大语言模型在自然语言生成任务中的不确定性估计能力,从而提高生成响应的可信度并减少幻觉现象。
2026-04-19 cs.AI cs.CL cs.LG
Improving Medical Diagnostics with Vision-Language Models: Convex Hull-Based Uncertainty Analysis
University of Stavanger(斯塔万格大学);Old Dominion University(奥多明尼昂大学)
本文针对医疗 VQA 中 VLM 响应可靠性问题,提出基于凸包的不确定性分析方法,并通过 LLM-CXR 在五种温度下验证:温度越高,模型不确定性越显著。
2024-11-24 cs.AI cs.CV
BiG-SURE - Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs
Indian Institute of Science(印度科学学院)
BiG-SURE是一种基于跨温度语义一致性的二分图方法,用于黑盒LLMs/VLMs的语义不确定性与可靠性估计,在多类问答任务上提升了弃权AUROC性能。
2026-11-09 cs.AI cs.CL cs.LG
Calibrating Uncertainty Quantification of Multi-Modal LLMs using Grounding
Georgia State University(佐治亚州立大学);Computer Science Lab, SRI(SRI计算机科学实验室);Army Cyber Institute, United States Military Academy(美国陆军网络学院)
本文提出利用跨模态接地与温度缩放相结合的方法来校准多模态大语言模型的不确定性量化,并在医学问答和视觉问答任务上验证了其显著提升校准效果的有效性。
2025-04-30 cs.AI cs.CL cs.CV
Do not Abstain! Identify and Solve the Uncertainty
Gaoling School of Artificial Intelligence Renmin University of China(中国人民大学人工智能学院)
针对LLMs在不确定场景下过度自信且依赖回避性回答的问题,提出ConfuseBench基准评估并利用InteractDPO方法引导模型识别不确定性根源并生成询问加以解决。
2025-06-01 cs.AI
LLMs Uncertainty Quantification via Adaptive Conformal Semantic Entropy
Toronto Metropolitan University(多伦多 Metropolitan 大学);Vector Institute(向量研究所)
提出自适应共形语义熵(ACSE)方法,通过聚类语义熵并自适应调整不确定性分数,结合共形校准实现统计可靠的接受/弃权决策,在多个数据集上优于现有基线。
2026-05-23 cs.AI cs.LG
On Verbalized Confidence Scores for LLMs
ETH Zurich(苏黎世联邦理工学院)
本文研究大型语言模型的不确定性量化,提出让LLM以置信度分数言语化表达不确定性,通过基准测试发现其可靠性依赖于提示方法,证实了该方法未来作为通用不确定性量化手段的潜力。
2024-12-19 cs.CL
Semantic Volume: Quantifying and Detecting both External and Internal Uncertainty in LLMs
针对LLMs幻觉源于外部(查询模糊)和内部(知识缺失/冲突)不确定性的问题,提出语义体积度量方法,通过扰动嵌入计算Gram矩阵行列式检测不确定性,实验优于基线且有理论支撑,提升模型可靠性。
2025-11-11 cs.CL
Rethinking Prospect Theory for LLMs: Revealing the Instability of Decision-Making under Epistemic Uncertainty
Hong Kong University of Science and Technology(香港科技大学);Huazhong University of Science and Technology(华中科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文重新审视前景理论在大语言模型中的应用,发现其在认知不确定性下的决策稳定性存在问题,指出前景理论可能无法可靠地处理此类不确定性。
2026-09-29 cs.AI
How Many Human Survey Respondents is a Large Language Model Worth? An Uncertainty Quantification Perspective
Department of IEOR, Columbia University(哥伦比亚大学工业工程与运筹学系);Decision, Risk, and Operations Division, Columbia Business School(哥伦比亚商学院决策、风险与运营分校);Department of IEOR and Data Science Institute, Columbia University(哥伦比亚大学工业工程与运筹学系及数据科学研究所)
本文从不确定性量化角度出发,提出了一种框架,将LLM模拟的响应转换为人类响应总体参数的可靠置信集,通过量化人类-LLM不一致带来的不确定性。关键设计是模拟响应的数量:过多会导致置信集过窄且覆盖性差,过少则导致置信集过宽且信息不足。本文提出了一种数据驱动的方法,自适应选择模拟样本量以实现名义平均覆盖性,无论LLM的模拟保真度或置信集构建过程如何。所选样本量进一步反映了LLM能代表的有效人类人口规模,提供了其模拟保真度的定量度量。实验表明不同LLM和领域存在异质性模拟保真度。
2026-06-15 cs.AI cs.LG stat.ME
Community-Aligned Behavior Under Uncertainty: Evidence of Epistemic Stance Transfer in LLMs
University of Southern California(南加州大学);Aptima, Inc.(Aptima公司)
本研究通过删除事件知识验证LLMs在无知情况下仍能保持社区特定的行为模式,证明对齐编码了结构化且可推广的行为,推动更安全的LLM部署。
2025-11-14 cs.CL cs.SI
Revealing Epistemic Uncertainty in MLLMs via Causal-Invariant Masking
City University of Hong Kong(香港城市大学);Apple(苹果公司);Southeast University(东南大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Sydney(悉尼大学)
针对多模态大语言模型的幻觉问题,提出因果不变掩码(CIM)和语义散度度量认知不确定性,并引入快速代理指标EED,在多种基准上达到最先进性能且加速近50%。
2026-10-05 cs.AI cs.CV
Question Rephrasing for Quantifying Uncertainty in Large Language Models: Applications in Molecular Chemistry Tasks
Brandeis University(布兰迪斯大学);Argonne National Laboratory(阿贡国家实验室)
本文提出问题重述技术评估大语言模型输入不确定性,并与输出采样方法结合,在分子化学属性预测和反应预测任务中验证了更全面的不确定性量化效果。
2024-08-07 cs.CL cs.LG q-bio.QM
"None of the Above":Measure Uncertainty in Dialog Response Retrieval
Carnegie Mellon University(卡内基梅隆大学)
本文讨论了发现端到端对话任务中不确定性的重要性,并介绍了我们在Ubuntu Dialog语料库上进行不确定性分类的实验结果。我们表明,而不是重新训练模型,为这个特定的目的,原始的检索模型的最佳预测的基本信心,可以捕捉到微不足道的额外计算。
2020-05-15 cs.CL
Efficient Uncertainty Estimation with Gaussian Process for Reliable Dialog Response Retrieval
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
深度神经网络在基于检索的对话系统中取得了卓越的性能,但它们被证明是校准不良的。虽然像Monte Carlo Dropout和Entrance这样的基本校准方法可以很好地校准,但这些方法在训练或推理阶段非常耗时。为了应对这些挑战,我们提出了一种用于基于BERT的对话式搜索的高效不确定性校准框架GPF-BERT,该框架在BERT架构之上采用高斯过程层和焦点损失来实现高质量的神经排序器。大量的实验验证了该方法的有效性。与基本标定方法相比,GPF-BERT在三个域内数据集和分布移位任务中实现了最低的经验标定误差(ECE),而在大多数情况下产生了最高的$R_{10}@1$和MAP性能。在时间消耗方面,我们的GPF-BERT具有8 $\times$的加速比。
2023-03-15 cs.AI cs.CL
On the Calibration and Uncertainty with Pólya-Gamma Augmentation for Dialog Retrieval Models
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
深度神经检索模型已经充分证明了它们的能力,但估计它们预测的可靠性仍然具有挑战性。大多数对话响应检索模型输出一个关于它与给定问题的相关程度的响应的单个分数。然而,深度神经网络的不良校准导致单个分数的各种不确定性,使得不可靠的预测总是误导用户决策。为了研究这些问题,我们提出了一个有效的校准和不确定性估计框架PG-DRR的对话响应检索模型,它增加了一个高斯过程层的确定性深神经网络和恢复共轭易处理的后验推理Pólya-Gamma增强。最后,PG-DRR在保持$R_{10}@1$和MAP性能的同时,在域内数据集和分布移位任务中实现了最低的经验校准误差(ECE)。
2023-03-15 cs.AI cs.CL
Revisiting Uncertainty Quantification Evaluation in Language Models: Spurious Interactions with Response Length Bias Results
Apple(苹果公司)
本文揭示了UQ方法和正确性函数间的相互长度偏差会扭曲语言模型不确定性量化的AUROC评估,并发现LM-as-a-judge方法受长度偏差影响最小,是实现公平UQ评估的有前景路径。
2025-06-04 cs.AI cs.CL cs.LG
Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty
Stanford University(斯坦福大学);University of Southern California(南加利福尼亚大学);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所)
本研究揭示公开部署的语言模型不愿表达不确定性、显式提示后仍过度自信(置信回复平均错误率47%)的问题,通过人体实验证实用户高度依赖LM生成内容,发现偏好标注数据集存在不确定性偏见,提出人机交互安全的设计建议与缓解策略。
2024-07-09 cs.AI cs.CL cs.HC
When Guessing is Rewarded: Rethinking Language Model Evaluation with Distributional Uncertainty Scoring
Aleph Alpha Research(Aleph Alpha 研究所)
针对现有语言模型评估未完整考量概率分布的缺陷,提出分布正确性得分DCS以区分有害过度自信与合理弃权,实验显示多数被测模型在半数基准上呈负分,幻觉倾向显著。
2026-11-10 cs.CL
Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization
Department of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出多响应训练(MRT)方法,通过保留每个提示的多个有效响应来缓解传统单响应微调导致的“模式抽彩”问题,并从统计角度揭示了其提升分布泛化的原理和适用条件。
2026-05-30 cs.CL cs.LG
RT-LM: Uncertainty-Aware Resource Management for Real-Time Inference of Language Models
University of California, Riverside(加州大学河滨分校);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对语言模型推理延迟不确定问题,提出RT-LM资源管理系统,通过量化输入不确定性与输出长度关系,实现动态优先级排序与CPU卸载,显著降低响应时间并提升吞吐量。
2023-09-12 cs.CL cs.LG cs.SY
Conformal Linguistic Calibration: Trading-off between Factuality and Specificity
Johns Hopkins University(约翰霍普金斯大学)
本文提出共形语言校准(CLC)框架,通过答案集预测统一弃权与语言校准,实现对模型输出不精确度的控制,在保证事实准确性的同时平衡事实性与具体性。
2025-08-11 cs.CL cs.LG