Quantification of Large Language Model Distillation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Peking University(北京大学);SUSTech(南方科技大学);SUAT;Leibowitz AI;UNSW Sydney(新南威尔士大学悉尼分校)
本文提出一个通过身份认知矛盾识别与多粒度响应相似性分析来量化 LLM 蒸馏程度的框架,发现多数知名模型及基座模型蒸馏程度较高,并呼吁提升开发透明度。
2025-02-17 cs.CL
Semantic Uncertainty Quantification of Hallucinations in LLMs: A Quantum Tensor Network Based Method
Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Computer Science(计算机科学系);University of Miami(迈阿密大学)
基于量子张量网络的方法用于量化LLMs语义幻觉的不确定性,通过熵最大化策略提升幻觉检测的鲁棒性和准确性。
2026-01-27 cs.CL
Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models
Skoltech(斯克里普切尔技术学院);AIRI(人工智能研究所);MBZUAI(马斯克商学院人工智能研究所);MIPT(莫斯科国立信息技术机械与光学学院);FRC CSC RAS(俄罗斯科学院远东分院计算机科学与控制学院);The University of Melbourne(墨尔本大学)
本文提出一种基于令牌密度的不确定性量化方法,通过提取多层嵌入并计算Mahalanobis距离,提升文本生成和事实核查任务的不确定性评估精度与效率。
2025-04-18 cs.CL
Uncertainty Quantification and Confidence Calibration in Large Language Models: A Survey
Arizona State University(亚利桑那州立大学);University of Chicago(芝加哥大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文综述了大型语言模型中的不确定性量化与置信度校准方法,提出基于计算效率和不确定性维度的新分类法,并评估现有技术、指出开放挑战。
2025-06-03 cs.CL
CSS: Contrastive Semantic Similarity for Uncertainty Quantification of LLMs
Knowledge Media Institute (KMi)(知识媒体研究所(KMi));The Open University(开放大学)
针对LLM生成不确定性量化中NLI分类器logits缺乏聚类特征信息的问题,提出基于CLIP的对比语义相似度模块提取文本对相似度特征,应用于选择性NLG以拒绝不可靠生成,实验证明其优于基线方法。
2024-06-05 cs.AI cs.CL
Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities
Aalto University(阿尔托大学);University of Oxford(牛津大学)
提出核语言熵(KLE)方法,通过半正定单位迹核编码语义相似度并利用von Neumann熵量化大语言模型的不确定性,相比语义熵考虑了成对语义依赖,在多个数据集和架构上提升了不确定性量化性能。
2024-05-30 cs.AI cs.CL cs.LG
The Illusion of Certainty: Uncertainty Quantification for LLMs Fails under Ambiguity
School of Computation, Information;Technology \& Munich Data Science Institute - Technical University of Munich
本研究揭示了在歧义环境下LLM的不确定性量化方法存在缺陷,提出了MAQA*和AmbigQA*数据集以评估模型在歧义数据上的表现。
2026-01-29 cs.CL cs.LG
Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach
University of North Carolina(北卡罗来纳大学);Tsinghua University(清华大学);HKUST(GZ)(香港科技大学(广州));Imperial College London(伦敦帝国学院)
本文提出一种利用隐藏激活和带标签数据的监督方法,用于LLM不确定性估计,并证明其能提升校准性能且适用于黑盒、灰盒和白盒场景。
2024-10-23 cs.CL cs.LG
From Calibration to Collaboration: LLM Uncertainty Quantification Should Be More Human-Centered
University of Southern California(南加州大学)
该文分析40种LLM不确定性量化方法,指出现有评估、不确定性类型与优化指标偏离真实用户决策需求,并提出以用户为中心的研究方向。
2025-06-09 cs.CL
Uncertainty Quantification for Hallucination Detection in Large Language Models: Foundations, Methodology, and Future Directions
University of Southern California(南加州大学);University of Birmingham(伯明翰大学)
本文系统综述了不确定性量化在大语言模型幻觉检测中的基础理论、方法分类与实证结果,并指出了当前局限与未来研究方向。
2025-10-14 cs.CL
On Verbalized Confidence Scores for LLMs
ETH Zurich(苏黎世联邦理工学院)
本文研究大型语言模型的不确定性量化,提出让LLM以置信度分数言语化表达不确定性,通过基准测试发现其可靠性依赖于提示方法,证实了该方法未来作为通用不确定性量化手段的潜力。
2024-12-19 cs.CL
Inv-Entropy: A Fully Probabilistic Framework for Uncertainty Quantification in Language Models
University of Michigan(密歇根大学);University of Minnesota(明尼苏达大学);Northwestern University(西北大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出全概率框架Inv-Entropy,通过逆向模型和双随机游走量化LLM不确定性,并引入遗传算法扰动GAAP及TSU评估指标,实验表明其优于现有语义UQ方法。
2025-11-05 cs.CL
Uncertainty quantification in fine-tuned LLMs using LoRA ensembles
Stockholm University Department of Physics(斯德哥尔摩大学物理系);Department of Mathematical Sciences(数学科学系);Chalmers university of technology & University of Gothenburg(楚德勒斯技术大学及哥德堡大学);VERSES Research Lab(VERSES研究实验室)
针对微调大语言模型的预测信任度及知识变化认知不足问题,提出基于LoRA集成的高效后验近似不确定性量化方法,通过Mistral-7b在三个多选数据集上实验,得出微调相关定量定性结论并发现过拟合下的知识意外保留现象。
2025-05-20 cs.AI cs.CL cs.LG
Uncertainty Quantification of Large Language Models through Multi-Dimensional Responses
Arizona State University(亚利桑那州立大学);University of California, Riverside(加州大学河滨分校)
针对大模型响应可靠性问题,提出融合语义与知识相似性的多维不确定性量化框架,利用张量分解提升不确定响应识别精度。
2025-02-25 cs.AI cs.CL
ESI: Epistemic Uncertainty Quantification via Semantic-preserving Intervention for Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Kunming University of Science and Technology(昆明理工大学)
本文提出一种基于因果视角的灰盒不确定性量化方法,通过测量语义保持干预前后模型输出的变化来估计大语言模型的认知不确定性,实验证明该方法在有效性和计算效率上均表现优异。
2025-10-15 cs.AI cs.CL cs.LG
CoT-UQ: Improving Response-wise Uncertainty Quantification in LLMs with Chain-of-Thought
Purdue University(普渡大学)
本文提出CoT-UQ框架,将思维链推理中的关键词重要性信息聚合用于响应级不确定性量化,在Llama 8B至13B模型上较现有UQ方法平均提升5.9% AUROC。
2025-06-03 cs.CL cs.LG stat.ML
Uncertainty Quantification in Large Language Models Through Convex Hull Analysis
University of Stavanger(斯塔万格大学);Old Dominion University(奥尔德尼自治领大学)
本文提出一种基于凸包分析的几何方法,通过BERT嵌入、PCA降维和DBSCAN聚类量化大语言模型输出不确定性,并发现不确定性受提示复杂度、模型及温度设置影响。
2024-06-28 cs.AI cs.CL
Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space
Cognizant AI Labs(高知特人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有大语言模型不确定性量化方法的诸多局限,提出语义密度框架,从语义空间概率分布提取回复置信度,不受任务限制且开箱即用,实验验证其性能与鲁棒性优于现有方法。
2024-11-01 cs.AI cs.CL
Uncertainty Quantification and Decomposition for LLM-based Recommendation
Korea University(高丽大学)
针对LLM推荐存在的不确定性问题,本文提出预测不确定性估计框架及分解为推荐与提示不确定性的方法,实验验证其能有效指示推荐可靠性、分析来源并通过不确定性感知提示提升推荐效果。
2025-02-12 cs.CL cs.IR
Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs
Dept. of Economics & SoDa Laboratories(经济系及SoDa实验室);Monash Business School(莫纳什商学院);Monash University(莫纳什大学)
针对文本议题框架自动检测因语言差异细微而困难的问题,提出借助LLM下一词元对数概率、仅需少量示例的配对补全方法,经多数据集验证其成本低、偏差小,适用于低资源场景下的大规模框架分析。
2025-06-12 cs.AI cs.CL econ.GN
Simple Yet Effective: An Information-Theoretic Approach to Multi-LLM Uncertainty Quantification
University of Colorado Anschutz Medical Campus(科罗拉多大学安舒茨医疗校园);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
针对大语言模型表现不一致、现有不确定性量化研究忽略模型多样性的问题,提出基于信息论的MUSE方法,通过Jensen-Shannon散度聚合校准良好的多模型子集,提升了二分类任务的校准效果与预测性能,还可用于引导思维链蒸馏微调。
2025-09-05 cs.AI cs.CL cs.LG
Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering
School of Computing(计算学院);Augmented Intelligence, Arizona State University(智能增强与亚利桑那州立大学)
本文指出,当前LLM的不确定性量化方法本质上是无监督聚类算法,无法有效评估模型的外部正确性,导致无法检测出自信但错误的回答。文章提出了改进的不确定性量化方法,以确保模型的自信度能可靠地反映现实。
2026-05-19 cs.AI cs.CL cs.LG
Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings
Australian National University(澳大利亚国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
针对大语言模型现有语义不确定性量化方法易高估不确定性的问题,提出基于语义嵌入的估计方法及摊销版本,在降低计算开销的同时实现更准确细致的量化。
2024-10-30 cs.AI cs.CL cs.LG
SPUQ: Perturbation-Based Uncertainty Quantification for Large Language Models
Intuit AI Research(Intuit人工智能研究院)
针对LLM高置信错误预测及认知不确定性研究不足的问题,提出SPUQ扰动采样与聚合方法,显著改善不确定性校准,ECE平均降低50%。
2024-03-04 cs.AI cs.CL
IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation
University of Pennsylvania(宾夕法尼亚大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);City University of Hong Kong(香港城市大学)
本文提出IUQ框架,通过跨样本一致性与内样本忠实度量化长文本生成的不确定性,验证了其在不同模型上的优越性能。
2026-04-19 cs.AI cs.CL cs.LG
LLM Uncertainty Quantification through Directional Entailment Graph and Claim Level Response Augmentation
Arizona State University(亚利桑那州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对LLM响应可信度问题,提出基于蕴含概率有向图与随机游走拉普拉斯特征值的不确定性量化方法,并结合声明级响应增强,实验验证其优越性。
2024-07-08 cs.CL
Calibrating Uncertainty Quantification of Multi-Modal LLMs using Grounding
Georgia State University(佐治亚州立大学);Computer Science Lab, SRI(SRI计算机科学实验室);Army Cyber Institute, United States Military Academy(美国陆军网络学院)
本文提出利用跨模态接地与温度缩放相结合的方法来校准多模态大语言模型的不确定性量化,并在医学问答和视觉问答任务上验证了其显著提升校准效果的有效性。
2025-04-30 cs.AI cs.CL cs.CV
Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carle’s Illinois College of Medicine, University of Illinois at Urbana-Champaign(卡尔伊利诺伊医学院,伊利诺伊大学厄巴纳-香槟分校)
本研究针对黑盒大语言模型自然语言生成场景下的不确定性量化问题,区分不确定性与置信度概念,提出多种度量方法并应用于选择性NLG,实验证实语义离散度可可靠预测响应质量,为LLM应用中的不确定性管理提供参考。
2024-05-20 cs.CL cs.LG stat.ML
Uncertainty Quantification for LLM Function-Calling
University of Oxford(牛津大学);Apple(苹果公司)
本文研究了大语言模型函数调用中不确定性量化的关键问题,发现多样本方法在自然语言问答中表现优异,但在函数调用场景中不如单样本方法有效,并提出利用函数调出输出特性改进现有方法。
2026-11-03 cs.CL
Quantification of Biodiversity from Historical Survey Text with LLM-based Best-Worst Scaling
University of Passau(帕绍大学)
本研究将历史调查文本中的物种频率估计构建为基于大语言模型的最佳-最差标度回归任务,验证了DeepSeek-V3和GPT-4与人类判断的一致性,证明该方法比细粒度多分类更经济且稳健。
2025-02-06 cs.CL
Efficient Non-Parametric Uncertainty Quantification for Black-Box Large Language Models and Decision Planning
Apple(苹果公司)
针对大语言模型决策规划的幻觉问题及现有方法对黑盒模型适配差、成本高的痛点,提出无需logits的单次推理非参数不确定性量化方法,并设计了带偏好征询的决策智能体方案,为AI智能体开发提供低成本高效方案。
2024-02-01 cs.AI cs.CL cs.LG
Mathematical Analysis of Hallucination Dynamics in Large Language Models: Uncertainty Quantification, Advanced Decoding, and Principled Mitigation
Catholic University of America(美国天主教大学)
针对大型语言模型(LLMs)的幻觉问题,本研究提出基于数学的统一框架,结合多学科方法分析错误复合机制、提出改进指标并开发多类缓解策略,连接多领域进展以提升LLMs的安全性与可靠性。
2025-11-19 cs.AI cs.CL
Evaluating Uncertainty Quantification Methods in Argumentative Large Language Models
Imperial College London(帝国理工学院伦敦分校);King’s College London(伦敦国王学院)
本文评估了在论证大语言模型中不同不确定性量化方法在声明验证任务中的性能,发现直接提示法效果优于复杂方法。
2025-09-26 cs.AI cs.CL
Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models
The University of Tokyo(东京大学)
本文提出语义标记聚类方法,通过语义信息高效量化大型语言模型的不确定性,无需辅助模型且计算开销低。
2026-03-20 cs.AI cs.CL cs.LG
Spot the BlindSpots: Systematic Identification and Quantification of Fine-Grained LLM Biases in Contact Center Summaries
本文提出BlindSpot框架,通过15个运营偏见维度和两个量化指标,系统识别并量化联络中心摘要中LLM的细粒度偏见,并在2500条真实通话记录及20个LLM上验证了偏见的系统性存在。
2025-08-18 cs.AI cs.CL
Calibration Collapse Under Sycophancy Fine-Tuning: How Reward Hacking Breaks Uncertainty Quantification in LLMs
Cambridge AI Safety Hub (CAISH)(剑桥人工智能安全中心)
研究探讨了在强化学习从人类反馈(RLHF)等方案中,奉承式微调对校准的影响,发现GRPO微调导致校准退化,尽管效果不显著,但经矩阵缩放后仍保留较高校准误差。
2026-04-12 cs.AI cs.CL cs.LG
Skewed Memorization in Large Language Models: Quantification and Decomposition
Columbia University(哥伦比亚大学);Washington University in St. Louis(圣路易斯华盛顿大学);University of California, Irvine(加州大学欧文分校)
本文研究LLM监督微调中记忆分布的偏斜性,揭示其与训练时长、数据规模和样本相似性的关系,并提出检测与缓解记忆风险的策略。
2025-02-03 cs.AI cs.CL cs.LG
SeSE: Black-Box Uncertainty Quantification for Large Language Models Based on Structural Information Theory
School of Cyber Science and Technology Beihang University(北航信息科学与技术学院);School of Computer Science and Engineering Beihang University(北航计算机科学与工程学院);Didi Chuxing(滴滴出行);Laboratory for Big Data and Decision National University of Defense Technology(国防科技大学大数据与决策实验室);Department of Computer Science University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系)
提出SeSE框架,通过构建语义空间的最优层次抽象并计算结构熵,实现大语言模型的黑盒不确定性量化,理论推广了语义熵并在长文本生成中优于现有方法。
2026-06-02 cs.AI cs.CL
Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models
The University of Tokyo(东京大学)
提出一种基于语义聚类和多项选择概率的简单自评估方法,用于大型语言模型的不确定性量化,在多个模型和数据集上优于基线方法。
2026-06-02 cs.AI cs.CL cs.LG
Uncertainty Quantification for In-Context Learning of Large Language Models
Emory University(埃默里大学);NEC Labs America(美国NEC实验室);Microsoft(微软公司);NEC Corporation(日本电气公司)
本文针对大型语言模型上下文学习中的预测不确定性,提出一种即插即用的无监督估计方法,将不确定性分解为演示引起的偶然不确定性和模型配置引起的认知不确定性,并通过大量实验验证其有效性。
2024-03-28 cs.CL cs.LG
Quantification and object perception in Multimodal Large Language Models and human linguistic cognition
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Institució Catalana de Recerca i Estudis Avançats (ICREA)(加泰罗尼亚高级科研与研究机构(ICREA))
本文研究多模态大语言模型和人类在量化中的关键特征,探讨其在模型架构中的编码差异及语言影响。
2026-03-25 cs.CL
Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification
Center for Artificial Intelligence Technology(人工智能技术中心);MBZUAI(穆罕默德·本·扎耶德人工智能大学);AIRI(人工智能研究院);FRC CSC RAS(俄罗斯科学院计算机科学与控制研究中心联邦研究中心);The University of Melbourne(墨尔本大学);QCRI(卡塔尔计算研究所);HSE University(高等经济大学)
本文提出基于词元级不确定性量化的事实核查方法CCP,通过仅衡量特定主张值的不确定性来检测LLM幻觉,在传记生成任务上对七个LLMs和四种语言均优于基线,并与外部知识事实核查工具表现相当。
2024-06-06 cs.AI cs.CL cs.LG
DUD: Decoupled Update Dynamics for Reliable Uncertainty Quantification in Large Language Models
本研究针对大语言模型不确定性量化的传统方法缺陷,提出DUD框架通过因果干预解耦FFN与注意力的更新贡献,实验表明其在不确定性估计、校准及跨数据集泛化上均优于现有基线。
2026-08-05 cs.CL
Shifting Attention to Relevance: Towards the Predictive Uncertainty Quantification of Free-Form Large Language Models
Drexel University(德雷塞尔大学);AWS AI Lab(亚马逊云科技人工智能实验室);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对大语言模型易幻觉、现有不确定性量化方法未区分token语义权重的问题,提出在token和句子层面将注意力转向更相关组件的SAR方法,在多类自由形式问答任务上验证了其更优性能。
2024-05-28 cs.AI cs.CL cs.LG
Monte Carlo Temperature: a robust sampling strategy for LLM's uncertainty quantification methods
Amazon(亚马逊)
本文提出蒙特卡洛温度(MCT)采样策略,通过消除温度校准需求,在大语言模型不确定性量化中实现稳健估计,性能与经过昂贵超参数优化的oracle温度相当。
2025-04-09 cs.CL
Language Model Uncertainty Quantification with Attention Chain
Georgia Institute of Technology(佐治亚理工学院)
提出UQAC方法,通过构建注意力链缩小推理空间以进行边缘化,高效量化LLM在复杂推理任务中的预测不确定性,解决过度自信问题。
2025-08-07 cs.CL
Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification
LIX (École Polytechnique, IP Paris, CNRS)(LIX(巴黎综合理工学院、巴黎IP大学、法国国家科学研究中心))
该研究提出KTC方法,实现仅CPU运行下8.2倍于GPU交叉编码器方法、65倍于同性能CPU方法的加速,在多语言多模型基准上匹配或超越现有声明级UQ方法,可用于LLM输出实时监控。
2026-10-28 cs.CL
Just for FUNS: LLM-Guided Spatio-Temporal Graph Node Generation for Forecasting Unobserved Node States
Fudan University(复旦大学);Nanyang Technological University(南洋理工大学);Zhuhai Fudan Innovation Research Institute(珠海复旦创新研究院);Guangzhou University(广州大学)
针对传感器网络覆盖不足导致的未观测节点状态预测难题,提出GenST框架,利用大语言模型提取语义特征作为桥梁,结合时空VAE和生成式Transformer两阶段生成,在零样本预测中显著优于基线。
2026-10-09 cs.AI cs.CL cs.LG
Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph
MBZUAI(穆罕默德·本·扎耶德人工智能大学);ETH Zürich(苏黎世联邦理工学院);Skoltech(斯科尔科沃科学技术学院);AIRI(人工智能研究所);HSE University(高等经济学院);FRC CSC RAS(俄罗斯科学院计算机科学控制问题科学中心);Nebius(Nebius公司);The University of Melbourne(墨尔本大学)
针对LLM不确定性量化研究分散的问题,提出LM-Polygraph基准,实现多种最先进UQ基线并支持一致评估,在11个任务上进行了大规模实证研究以识别最有效的方法。
2025-06-30 cs.CL cs.LG
UQLM: A Python Package for Uncertainty Quantification in Large Language Models
CVS Health(CVS健康)
UQLM是一个用于检测大型语言模型幻觉的Python工具包,通过先进的不确定性量化技术提升模型输出的可靠性。
2026-01-26 cs.AI cs.CL cs.LG
Limits for Learning with Language Models
CNRS(法国国家科学研究中心);IRIT(图卢兹计算机研究所);Université de Toulouse 3(图卢兹第三大学);LINAGORA(利纳戈拉公司);TELINDUS(特林达斯公司)
本文通过理论证明,指出大型语言模型无法学习形式语义学中的基本语义属性(如蕴含和一致性),且受限于Borel层级,从而在深层语言理解任务上缺乏形式保证。
2023-06-21 cs.CL
Reconfidencing LLMs from the Grouping Loss Perspective
Inria Saclay(法国国家信息与自动化研究所萨克雷中心);Imperial College London(帝国理工学院);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院巴黎电信学院LTCI实验室)
本文从分组损失视角研究LLM置信度偏差问题,构建新评估数据集发现Mistral和LLaMA存在过度自信且在不同群体上程度不同,并提出同时消除校准误差和分组损失的置信度重构方法,改善了置信度与准确率的一致性。
2024-10-23 cs.CL
LLM economicus? Mapping the Behavioral Biases of LLMs via Utility Theory
Massachusetts Institute of Technology(麻省理工学院);Sloan School of Management(斯隆管理学院);Department of Electrical Engineering & Computer Science(电气工程与计算机科学系)
本文提出以效用理论评估开源与闭源LLM的经济偏差,发现其行为既非完全人类化也非完全理性化,且跨情境一致性不足,并可衡量提示干预效果。
2024-08-05 cs.CL
SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation
Amazon(亚马逊);Northeastern University(东北大学)
研究大语言模型生成的跨度级不确定性量化问题,提出SPANUQ轻量级探测器,通过混合贝塔分布估计不确定性,经特殊训练方式构建基准。实验显示其在不确定性质量、速度及错误定位上表现出色,且能在多个大语言模型上通用。
2026-11-05 cs.CL