Anatomy of an AI-powered malicious social botnet
Observatory on Social Media(社会媒体观测站);Indiana University, Bloomington(印第安纳大学伯明顿分校)
本文研究了使用ChatGPT生成类人内容的Twitter恶意僵尸网络,发现其通过协调模式可被检测,但现有LLM分类器难以将其与人类账户区分,凸显了AI社交机器人的威胁。
2023-07-30 cs.AI cs.CY cs.SI
MCA-RG: Enhancing LLMs with Medical Concept Alignment for Radiology Report Generation
Huazhong University of Science and Technology(华中科技大学)
本文提出MCA-RG框架,通过病理与解剖双概念库对齐视觉特征,结合对比学习、匹配损失和特征门控,提升大语言模型在放射学报告生成中的准确性与临床可用性。
2025-08-21 cs.AI cs.CV
CrossMed: A Multimodal Cross-Task Benchmark for Compositional Generalization in Medical Imaging
针对医学多模态LLM组合泛化能力未充分探索的问题,本文提出CrossMed基准,基于MAT模式重构四个数据集为VQA格式,评估模型在不同拆分下的性能,验证其对跨任务迁移及组合泛化评估的有效性。
2025-11-14 cs.AI cs.CV
Mapping Clinical Doubt: Locating Linguistic Uncertainty in LLMs
本研究探讨了大语言模型在医疗文本中对语言不确定性的表示敏感性,提出MSU指标以量化模型对不确定性的响应,揭示了认知信息在模型深度中的逐步编码过程。
2025-11-27 cs.AI cs.CL
MAQA: Evaluating Uncertainty Quantification in LLMs Regarding Data Uncertainty
KAIST(韩国科学技术院);Sogang University(西江大学);NAVER AI Lab(NAVER AI实验室)
本文提出多答案问答数据集MAQA以评估数据不确定性下LLMs的不确定性量化方法,发现基于熵和一致性的方法能有效估计模型不确定性。
2025-03-31 cs.AI cs.CL
PlanU: Large Language Model Reasoning through Planning under Uncertainty
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University(福建智慧城市感知与计算重点实验室,信息学院,厦门大学);Key Laboratory of Multimedia Trusted Perception and Efficient Computing, XMU(多媒体可信感知与高效计算重点实验室,XMU);School of Computer, National University of Defense Technology(计算机学院,国防科技大学)
针对LLM在不确定性下多步推理表现不佳的问题,提出基于MCTS的规划方法PlanU,通过分位数分布建模节点回报并引入UCC分数平衡探索与利用,有效提升了不确定性下的LLM推理性能。
2025-11-05 cs.AI
Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models
Ritual AI;Fudan University(复旦大学);Columbia University(哥伦比亚大学);University of Maryland(马里兰大学)
Pinocchio是一种外部校准器,通过一次前向传播为黑盒API模型提供不确定性估计,无需访问内部状态,在七个LLM上训练后达到0.862 AUROC并零样本迁移至十三个模型。
2026-09-23 cs.AI
Do LLMs estimate uncertainty well in instruction-following?
University of Cambridge(剑桥大学);Apple(苹果公司);National University of Singapore(新加坡国立大学)
本研究首次系统评估LLMs在指令遵循中的不确定性估计,发现现有方法在细微错误下表现不佳,提出受控评估框架以促进更可靠的AI代理。
2025-03-28 cs.AI cs.CL
From Answers to Interpretations: Rethinking Ambiguity-Induced Aleatoric Uncertainty Estimation in LLMs
Technion, Israel(以色列理工学院);Amazon Web Services(亚马逊网络服务);University of Bern(伯尔尼大学)
该研究针对LLM部署中歧义诱导的偶然不确定性估计问题,提出仅基于解释空间的直接方法,提升了AUROC并降低了计算成本,其效果优于现有依赖答案的方法。
2026-09-07 cs.AI
Do not Abstain! Identify and Solve the Uncertainty
Gaoling School of Artificial Intelligence Renmin University of China(中国人民大学人工智能学院)
针对LLMs在不确定场景下过度自信且依赖回避性回答的问题,提出ConfuseBench基准评估并利用InteractDPO方法引导模型识别不确定性根源并生成询问加以解决。
2025-06-01 cs.AI
Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs
Ewha Womans University(成均馆大学)
本文提出Cleanse方法,通过聚类分析LLM隐藏嵌入的语义一致性来量化不确定性,从而检测幻觉,并在多个模型和问答基准上验证了其有效性。
2025-07-19 cs.AI cs.CL
Comparative reversal learning reveals rigid adaptation in LLMs under non-stationary uncertainty
Insight Research Ireland Centre for Data Analytics, Ireland(爱尔兰洞察研究中心);School of Computing, Dublin City University, Ireland(都柏林城市大学计算机学院)
研究通过比较确定性固定转移循环与随机性随机调度,探讨LLMs在非平稳环境下的适应性,发现DeepSeek-V3.2表现出极端的固着现象,而Gemini-3和GPT-5.2适应更快但仍不如人类敏感。
2026-04-05 cs.AI
A Systematic Evaluation of Black-Box Uncertainty Estimation Methods for Large Language Models
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室)
系统评估了24种黑盒不确定性估计方法在4个模型和4个数据集上的表现,发现无单一方法普遍最优,但基于答案空间推理和比较的方法通常有效,混合方法在多数条件下表现良好。
2026-06-19 cs.AI
SymboUQ: Symbolic Uncertainty Quantification for Spatial Reasoning in LLMs
SymboUQ是面向LLMs空间推理的符号化不确定性量化框架,通过区分可符号性与语义确定性,整合三类分数估计最终答案可靠性,在五个空间推理基准的四个冻结LLM骨干上,使AUROC相对提升约8%、Brier损失相对降低7%。
2026-08-11 cs.AI
Examining LLMs' Uncertainty Expression Towards Questions Outside Parametric Knowledge
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究通过构建UnknownBench基准,系统评估LLMs在参数化知识外问题上的诚实性与有用性权衡,发现多数模型难以一致地表达不确定性或拒绝回答。
2024-02-16 cs.AI cs.CL cs.LG
Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models
KTH Royal Institute of Technology(皇家理工学院);QCRI, HBKU(哈马德 bin 玉素菲大学量子计算与人工智能研究所)
研究探讨了上下文信息如何影响模型行为,并提出利用token级不确定性来指导内部表示聚合的可靠性估计方法,通过实验发现正确上下文能提升回答准确性,而误导性上下文常导致自信错误响应。
2026-03-17 cs.AI cs.CL
TrAC: Trace-Conditioned Answer Consistency for Efficient Uncertainty Quantification in LLMs
Florida State University(佛罗里达州立大学)
针对大语言模型推理轨迹与答案不一致的问题,提出TrAC框架,结合主动与被动信号实现高效不确定性量化,在数学推理基准上提升了AUROC并降低了AURC。
2026-08-12 cs.AI
Extending Epistemic Uncertainty Beyond Parameters Would Assist in Designing Reliable LLMs
University of Oxford(牛津大学);National University of Singapore(新加坡国立大学)
本文提出采用 Bayesian Modeling of Experiments 框架管理 LLM 部署中的多源认知不确定性,支持澄清、检索和优化输入等主动应对方式,以提升系统可靠性与透明度。
2025-06-09 cs.AI cs.LG
A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions
Princeton University(普林斯顿大学)
本文系统综述了大型语言模型不确定性量化方法,提出统一分类体系以整合现有方法,梳理其在文本与具身智能中的应用,并指出开放性挑战与未来方向。
2025-07-01 cs.AI cs.CL
DAOpt: Modeling and Evaluation of Data-Driven Optimization under Uncertainty with LLMs
Zhejiang University(浙江大学);University of Toronto(多伦多大学);Peking University(北京大学)
针对大语言模型在不确定性优化场景应用研究不足的问题,本文提出DAOpt框架,配套数据集、决策模块与评估环境,结合领域知识少样本学习提升LLM的不确定性优化建模能力。
2025-09-24 cs.AI cs.LG
SELFDOUBT: Uncertainty Quantification for Reasoning LLMs via the Hedge-to-Verify Ratio
Independent Researcher(独立研究员);Zillow Group(Zillow集团)
SELFDOUBT是一种单次通过的不确定性框架,通过从推理轨迹中提取行为信号解决推理大语言模型的不确定性量化问题,其核心信号Hedge-to-Verify比率能检测推理轨迹中的不确定性标记及自我检查行为,适用于任何私有API的部署。
2026-04-07 cs.AI
Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities
Aalto University(阿尔托大学);University of Oxford(牛津大学)
提出核语言熵(KLE)方法,通过半正定单位迹核编码语义相似度并利用von Neumann熵量化大语言模型的不确定性,相比语义熵考虑了成对语义依赖,在多个数据集和架构上提升了不确定性量化性能。
2024-05-30 cs.AI cs.CL cs.LG
CSS: Contrastive Semantic Similarity for Uncertainty Quantification of LLMs
Knowledge Media Institute (KMi)(知识媒体研究所(KMi));The Open University(开放大学)
针对LLM生成不确定性量化中NLI分类器logits缺乏聚类特征信息的问题,提出基于CLIP的对比语义相似度模块提取文本对相似度特征,应用于选择性NLG以拒绝不可靠生成,实验证明其优于基线方法。
2024-06-05 cs.AI cs.CL
ChemAU: Harness the Reasoning of LLMs in Chemical Research with Adaptive Uncertainty Estimation
Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
针对大语言模型在化学推理中易产生幻觉且现有不确定性估计不够精确的问题,本文提出ChemAU框架,通过按推理步骤位置自适应估计不确定性,精准识别知识空白并借助领域模型补充化学专业知识,从而显著提升推理准确性与不确定性估计性能。
2025-06-01 cs.AI q-bio.QM
Pretrained LLMs Learn Multiple Types of Uncertainty
HPI / University of Potsdam(HPI/波茨坦大学);Tel Aviv University(特拉维夫大学)
本文研究了预训练LLM在没有显式训练的情况下捕捉多种类型不确定性的能力,发现将不确定性视为线性概念可被捕捉,且统一不确定性类型有助于提升模型的正确性预测。
2025-05-27 cs.AI cs.CL
Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations
Meta;Technical University of Munich(慕尼黑工业大学)
本研究针对大语言模型可靠性不足的问题,提出结合统计不确定性与对话内不确定性(InDU)的弃权(不执行)机制,在三类场景下显著提升模型正确率、减少幻觉并增强安全性,且几乎无额外计算开销。
2024-04-16 cs.AI cs.CL
Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty
Microsoft Research(微软研究院);KAIST(韩国科学技术院);Seoul National University(首尔国立大学)
本文提出一个信息论框架,将推理分解为程序推进和认知外化(不确定性标记级外化),证明零散外化能在无显式错误触发时恢复收敛,并通过实验表明小规模SFT即可调控该能力,从而将推理重新定义为不确定性下的策略信息分配。
2026-05-26 cs.AI cs.LG
LLMs Uncertainty Quantification via Adaptive Conformal Semantic Entropy
Toronto Metropolitan University(多伦多 Metropolitan 大学);Vector Institute(向量研究所)
提出自适应共形语义熵(ACSE)方法,通过聚类语义熵并自适应调整不确定性分数,结合共形校准实现统计可靠的接受/弃权决策,在多个数据集上优于现有基线。
2026-05-23 cs.AI cs.LG
Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models
The University of Tokyo(东京大学);University of Alberta(阿尔伯塔大学);The University of Sydney(悉尼大学);New York University(纽约大学)
本文通过在四类NLP任务及两个代码生成数据集上评估十二种不确定性估计方法与四个LLM,验证不确定性可揭示错误、非事实性输出及缺陷程序。
2025-01-05 cs.AI cs.CL cs.SE
Comparing Uncertainty Measurement and Mitigation Methods for Large Language Models: A Systematic Review
本文系统回顾了大型语言模型中不确定性测量与缓解方法的有效性,提出严谨的基准测试,并通过实验证明了现有方法的显著发现,为未来研究方向和开放挑战提供了展望。
2026-08-26 cs.AI cs.CL
Beyond Keywords: Leveraging Generative LLMs and Label Aggregation to Classify Economic Policy Uncertainty in News Articles
本研究利用生成式大语言模型和弱监督标签聚合技术,自动分类新闻中的经济政策不确定性,克服了关键词误报和人工标注成本高的局限,并支持多标签与层次分类。
2026-09-30 cs.AI cs.LG
When LLMs meet open-world graph learning: a new perspective for unlabeled data uncertainty
Department of Computer Science and Technology(计算机科学与技术系);Beijing Institude of Technology(北京理工大学);Ant Group(蚂蚁集团)
针对开放世界文本属性图学习中标签有限、未知类别节点处理不足及缺乏有效标注流程的问题,提出结合自适应标签可追溯性与图标注器的LLM框架OGA,经实验验证其有效且实用。
2025-05-21 cs.AI cs.LG
Improving Uncertainty Estimation through Semantically Diverse Language Generation
ELLIS Unit Linz and LIT AI Lab, Institute for Machine Learning, Johannes Kepler University Linz(林茨ELLIS单元和LIT AI实验室,机器学习研究所,林茨约瑟夫·胡纳克大学);NXAI GmbH(NXAI公司)
针对LLM因预测不确定性导致幻觉的问题,提出语义多样化语言生成(SDLG)方法,通过引导模型生成多样化替代文本来精确量化不确定性,在问答任务中性能优于现有方法且计算效率最高。
2025-11-04 cs.AI cs.LG
How Do Uncertainty Estimators Align with Hallucination Occurrence in LLMs?
CREST, ENSAE Institut Polytechnique de Paris(CREST,巴黎高等理工学院);Ekimetrics France(法国Ekimetrics);Centre Inria de l’Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学信息研究院)
通过系统实证研究,评估信息论、基于采样和反思性等不确定性估计器与LLM幻觉之间的关联,发现关联性高度可变且通常较弱,挑战了将不确定性作为幻觉直接信号的做法。
2026-10-14 cs.AI cs.CL cs.LG
Between the Layers Lies the Truth: Uncertainty Estimation in LLMs Using Intra-Layer Local Information Scores
Faculty of Data and Decision Sciences, Technion --- Israel Institute of Technology(数据与决策科学学院,技术离子研究所);Faculty of Computer Science, Technion --- Israel Institute of Technology(计算机科学学院,技术离子研究所);Faculty of Biomedical Engineering, Technion --- Israel Institute of Technology(生物医学工程学院,技术离子研究所)
本文提出一种轻量级方法,通过单次前向传递评估内部表示中的跨层一致模式,实现LLMs的不确定性估计,在跨数据集迁移中优于传统探针方法。
2026-03-17 cs.AI cs.LG
Integrating Local and Global Entropy for Uncertainty Quantification in LLMs
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出GLU方法,通过融合隐藏状态几何熵(全局)和token级熵(局部)来量化LLM不确定性,有效捕捉自信但错误的失败模式,无需额外训练。
2026-06-02 cs.AI cs.LG stat.ML
Representations of Fact, Fiction and Forecast in Large Language Models: Epistemics and Attitudes
University of Potsdam(波恩大学)
本文通过受控故事和认识情态类型学框架评估大型语言模型对不确定性语言知识的掌握,发现其生成认识情态表达的能力有限且不稳健,提出需丰富相关语义知识以构建不确定性感知模型。
2025-06-02 cs.AI cs.CL
Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs
Salesforce Research(Salesforce研究院)
本文针对检索增强生成中拼接方法易产生“未知”输出的问题,提出建模不确定性并以融合后回退为核心策略,通过单轮思维链与多轮反馈方法提升大语言模型的开放域问答能力。
2024-04-08 cs.AI cs.IR
Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space
Cognizant AI Labs(高知特人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有大语言模型不确定性量化方法的诸多局限,提出语义密度框架,从语义空间概率分布提取回复置信度,不受任务限制且开箱即用,实验验证其性能与鲁棒性优于现有方法。
2024-11-01 cs.AI cs.CL
BiG-SURE - Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs
Indian Institute of Science(印度科学学院)
BiG-SURE是一种基于跨温度语义一致性的二分图方法,用于黑盒LLMs/VLMs的语义不确定性与可靠性估计,在多类问答任务上提升了弃权AUROC性能。
2026-11-09 cs.AI cs.CL cs.LG
Knowledge of Knowledge: Exploring Known-Unknowns Uncertainty with Large Language Models
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文研究了大语言模型(LLM)在理解其知识和问题的不确定性方面的能力。具体来说,我们专注于解决已知-未知的问题,其特点是由于缺乏明确的答案而具有高度的不确定性。为了方便我们的研究,我们收集了一个新的数据集与已知未知的问题(KUQ),并建立了一个分类框架,以澄清在这种查询的不确定性的来源。随后,我们研究了开源LLM的性能,使用该数据集进行微调,在开放式问答场景中区分已知和未知查询。微调后的模型表现出显着的改善,实现了相当大的增加F1分数相对于他们的预微调状态。通过全面的分析,我们揭示了模型改进的不确定性表达及其在多主体辩论中的有效性。这些发现有助于我们了解LLM如何被训练来识别和表达不确定性,提高我们对他们如何理解和表达复杂或不清楚信息的了解。
2024-07-02 cs.AI cs.CL
Solomonoff-Inspired Hypothesis Ranking with LLMs for Prediction Under Uncertainty
Queensland University of Technology (QUT)(昆士兰理工大学)
本文提出一种基于大语言模型的索洛蒙启发方法,通过简洁性和预测适应性加权假设,以提高在不确定性下的预测可靠性。
2025-12-22 cs.AI cs.IT math.IT
Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering
School of Computing(计算学院);Augmented Intelligence, Arizona State University(智能增强与亚利桑那州立大学)
本文指出,当前LLM的不确定性量化方法本质上是无监督聚类算法,无法有效评估模型的外部正确性,导致无法检测出自信但错误的回答。文章提出了改进的不确定性量化方法,以确保模型的自信度能可靠地反映现实。
2026-05-19 cs.AI cs.CL cs.LG
Uncertainty Quantification of Large Language Models through Multi-Dimensional Responses
Arizona State University(亚利桑那州立大学);University of California, Riverside(加州大学河滨分校)
针对大模型响应可靠性问题,提出融合语义与知识相似性的多维不确定性量化框架,利用张量分解提升不确定响应识别精度。
2025-02-25 cs.AI cs.CL
OpenEstimate: Evaluating LLMs on Reasoning Under Uncertainty with Real-World Data
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出OpenEstimate基准测试,用于评估语言模型在不确定环境下进行数值估计的能力,发现模型的先验概率常不准确且过度自信,但通过改进不确定性引导方式可提升性能。
2026-04-22 cs.AI cs.LG
Grammars of Formal Uncertainty: When to Trust LLMs in Automated Reasoning Tasks
Case Western Reserve University(凯斯西储大学);Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
本文针对LLM生成形式化规范时的概率性与验证确定性之间的冲突,提出PCFG框架建模输出不确定性,并通过信号融合实现选择性验证,大幅降低错误率,推动可靠自动化推理。
2025-05-26 cs.AI cs.CL cs.LO
ESI: Epistemic Uncertainty Quantification via Semantic-preserving Intervention for Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Kunming University of Science and Technology(昆明理工大学)
本文提出一种基于因果视角的灰盒不确定性量化方法,通过测量语义保持干预前后模型输出的变化来估计大语言模型的认知不确定性,实验证明该方法在有效性和计算效率上均表现优异。
2025-10-15 cs.AI cs.CL cs.LG
Knowing When to Abstain: Medical LLMs Under Clinical Uncertainty
Manning College of Information and Computer Sciences, UMass Amherst, MA, USA(马萨诸塞大学阿姆赫斯特曼宁信息与计算机科学学院);Center for Healthcare Organization and Implementation Research, VA Bedford Health Care(医疗组织与实施研究中心);Miner School of Computer and Information Sciences, UMass Lowell, MA, USA(米纳尔计算机与信息科学学院)
本文提出MedAbstain基准,探讨医疗LLM在临床不确定性中的退避能力,发现显式退避选项能显著提升安全性,而模型规模和提示方法效果有限。
2026-01-22 cs.AI cs.CL
Revisiting Uncertainty Estimation and Calibration of Large Language Models
School of Computer Science University of Sydney(悉尼大学计算机科学学院);City University of Hong Kong(香港城市大学);Shanghai Jiao Tong University(上海交通大学);Department of Engineering Science University of Oxford(牛津大学工程科学系)
本研究全面评估了80个大型语言模型在MMLU-Pro基准上的不确定性估计与校准,发现语言语言不确定性(LVU)优于其他方法,且高准确率不等于可靠的不确定性,强调需多视角评估以提升模型可靠性。
2025-05-29 cs.AI cs.CL cs.LG
Estimating LLM Uncertainty with Evidence
Tianjin University(天津大学);Beijing University of Posts and Telecommunications(北京邮电大学);A*STAR(新加坡科技研究局)
本文针对大语言模型幻觉问题,提出LogTokU框架,通过证据建模估计解耦的token不确定性,无需多次采样即可实现实时估计并指导下游任务。
2025-05-09 cs.AI cs.CL
When Confidence Fails: Overconfidence in LLMs under Uncertainty and Missing Clinical Information
School of Computing, Macquarie University(麦考瑞大学计算学院)
本文针对临床信息不确定性下的LLMs开展行为分析,提出基于MedMCQA的评估框架,发现模型置信度与准确率不匹配、弃权能力差异大等关键局限,凸显需采用不确定性感知评估方法。
2026-08-11 cs.AI cs.CL cs.HC
Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings
Australian National University(澳大利亚国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
针对大语言模型现有语义不确定性量化方法易高估不确定性的问题,提出基于语义嵌入的估计方法及摊销版本,在降低计算开销的同时实现更准确细致的量化。
2024-10-30 cs.AI cs.CL cs.LG
Is Your Model Fairly Certain? Uncertainty-Aware Fairness Evaluation for LLMs
Carnegie Mellon University(卡内基梅隆大学);Apple Inc.(苹果公司)
提出不确定性感知公平性指标UCerF及含31,756样本的性别-职业数据集,评估十个开源LLM,揭示传统指标遗漏的模型内部偏见,推动透明AI系统发展。
2025-05-29 cs.AI cs.CL cs.LG
"I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust
Princeton University(普林斯顿大学);Microsoft(微软公司)
本研究通过404人参与的预注册实验发现,LLM的第一人称自然语言不确定性表达能有效减少用户对错误答案的过度依赖、提升任务准确率,通用视角表达效果较弱且不显著,凸显LLM部署前用户测试的重要性。
2024-05-15 cs.AI cs.HC