Do We Know What LLMs Don't Know? A Study of Consistency in Knowledge Probing
LMU Munich(慕尼黑莱布尼茨大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文通过输入变化和定量指标评估LLM知识探测方法,揭示了方法内(非语义扰动致方差)和跨方法(决策一致性低至7%)的不一致性,强调需开发抗扰动探测框架。
2025-05-30 cs.CL
What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"
NAVER CLOUD(NAVER云);Seoul National University(首尔国立大学);KAIST(韩国科学技术院)
本文提出一种基于知识加权的微调方法,通过估计实例级知识评分来提升模型在知识不足时的不确定性表达能力,同时保持对已知问题的准确性。
2026-08-25 cs.AI cs.CL
Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know"
Arizona State University(亚利桑那州立大学);University of Pennsylvania(宾夕法尼亚大学);Oracle AI
研究大语言模型在闭卷问答中识别知识局限的问题,评估三种提示方式在不同模型规模和多跳问答基准下的影响,利用提示方式间的分歧信号实现无训练弃权策略,提升模型可靠性。
2026-07-07 cs.CL
Do Large Language Models Know What They Don't Know?
Fudan University(复旦大学);National University of Singapore(新加坡国立大学)
本文通过构建SelfAware数据集并检测模型响应中的不确定性,评估了20个LLMs识别不可回答问题的自我知识能力,发现模型具有内在自我知识且可通过上下文学习和指令微调增强,但与人类水平仍有显著差距。
2023-05-30 cs.CL
Fine-Tuned LLMs Know They Don't Know: A Parameter-Efficient Approach to Recovering Honesty
针对监督微调削弱大语言模型诚实性的问题,提出参数高效的HCNR方法,通过恢复关键表达神经元修复诚实表达能力,实验证明其恢复效果、效率和数据利用率均优于基线。
2025-11-17 cs.CL
Tagging accurately -- Don't guess if you know
我们讨论结合知识为基础的(或基于规则的)和统计部分的语音标记。我们使用两个成熟的标签,ENGCG和Xerox Tagger,独立标记相同的文本,并结合结果,产生一个完全消歧的文本。在一个27000字的测试样本,从以前看不见的语料库,我们达到98.5%的准确率。本文详细介绍了数据。我们描述了我们在结合这两个标签的过程中遇到的问题,并讨论了评价标签的问题。
1994-08-16 cmp-lg cs.CL
For those who don't know (how) to ask: Building a dataset of technology questions for digital newcomers
Michigan Technological University(密歇根理工大学)
针对数字新手因词汇或概念障碍难以向LLM提出适当技术问题的问题,作者提出构建一个基于十年一对一辅导数据的技术问题数据集,并规划其潜在应用。
2024-03-26 cs.CL
Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty
Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China(计算机科学与技术系,人工智能研究院,清华大学,北京,中国);Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China(人工智能产业研究院(AIR),清华大学,北京,中国)
本文提出UA-Bench基准测试,评估LLM在区分数据不确定性和模型不确定性方面的能力,发现即使先进模型也难以可靠区分,并提出轻量数据合成与强化学习策略提升不确定性判断。
2026-04-19 cs.CL
Know What You Don't Need: Single-Shot Meta-Pruning for Attention Heads
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
深度预训练的Transformer模型在各种自然语言处理(NLP)任务中取得了最先进的结果。通过学习具有数百万个参数的丰富语言知识,这些模型通常是过度参数化的,并显着增加了应用程序中的计算开销。通过模型压缩来解决这个问题是直观的。在这项工作中,我们提出了一种名为Single-Shot Meta-Pruning的方法,用于在微调之前压缩深度预训练的Transformers。具体来说,我们专注于修剪不必要的注意头自适应不同的下游任务。为了测量注意头的信息量,我们训练我们的单镜头元修剪(SMP)与元学习范式,旨在保持修剪后的文本表示的分布。与现有的预训练模型压缩方法相比,我们的方法可以减少微调和推理的开销。实验结果表明,我们的修剪器可以选择性地修剪50%的注意力头,对下游任务的性能影响不大,甚至提供更好的文本表示。源代码将在未来发布。
2020-11-07 cs.CL
Can AI Assistants Know What They Don't Know?
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学)
针对大语言模型驱动的AI助手易产生事实性错误的问题,研究构建专属Idk数据集对助手对齐,验证其可学会对未知问题弃权(不执行)作答,且作答准确率显著提升,为减少模型幻觉、提升真实性提供可行路径。
2024-01-28 cs.AI cs.CL
Know What I don't Know: Handling Ambiguous and Unanswerable Questions for Text-to-SQL
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
针对text-to-SQL无法处理歧义和不可回答问题,研究总结了6类特征并提出反事实示例生成方法与弱监督DTE模型,实现错误检测、定位与解释,在真实和生成示例上均取得最佳效果。
2023-05-19 cs.CL
Can LLMs Ground when they (Don't) Know: A Study on Direct and Loaded Political Questions
Computational Linguistics, Department of Linguistics Bielefeld University(语言学计算系,语言学系比勒菲尔德大学)
本文通过直接政治知识问题与预设错误信息的诱导性问题,评估LLM能否主动锚定共同语境并纠正错误信念,发现其相关能力存在显著缺陷。
2025-06-11 cs.AI cs.CL
Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文通过引入一个明确分类不确定性来源的新数据集,系统评估了现有不确定性量化方法在不同不确定性来源下的表现,发现多数方法在模型知识局限下表现良好,但在其他来源下性能下降或产生误导。
2026-05-29 cs.CL
Do small language models know what they don't know?
本研究证明词元熵在小语言模型中失效,而语义熵可有效估计不确定性,据此将不确定查询路由至更大专家模型,最高提升准确率50个百分点,且跨家族路由效果更佳。
2026-09-21 cs.CL
Don't `Well, Actually' Me Unless You Know What You're Talking About: Weak Presupposition Verification Degrades General QA Performance
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(矢量研究所);Amii(阿尔伯塔机器智能研究所);CIFAR(加拿大高级研究所)
该研究指出假前提问答(FPQA)的弱事实核查模块会降低通用问答性能,发现FPQ性能更好的方法往往在正常问题(TPQ)上表现更差,呼吁开发适配现实场景的FPQA方法。
2026-08-10 cs.CL
EpiCaR: Knowing What You Don't Know Matters for Better Reasoning in LLMs
Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学);Department of Rural Systems Engineering, Seoul National University(农村系统工程系,首尔国立大学);Department of Aerospace Engineering, Seoul National University(航空航天工程系,首尔国立大学)
EpiCaR通过知识校准推理提升大语言模型的推理准确性和校准性,减少推理计算量。
2026-01-11 cs.CL
R-Tuning: Instructing Large Language Models to Say `I Don't Know'
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Hong Kong University of Science and Technology(香港科技大学)
本文提出R-Tuning方法,通过基于参数知识与指令数据知识交集构建拒答感知数据来微调大语言模型,使其能拒绝回答超出自身知识范围的问题,从而缓解幻觉并提升不确定性校准能力。
2024-06-07 cs.CL
Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations
Singapore Management University(新加坡管理大学);National University of Singapore(新加坡国立大学)
本文提出 Self-Align 自对齐框架,通过类别感知自增强与差异驱动自筛选生成并筛选未知问题回应数据,微调 LLM 使其在拒答时说明不可回答原因。
2024-10-02 cs.CL cs.LG
I Don't Know: Explicit Modeling of Uncertainty with an [IDK] Token
HPI;University of Potsdam(波茨坦大学);Tel Aviv University(特拉维夫大学)
为缓解大语言模型的幻觉问题,本研究提出通过添加[IDK]特殊token并设计对应目标函数的校准方法,让模型显式表达不确定性,在多架构多任务上验证有效且知识损失小,并开展了消融与权衡分析。
2024-12-09 cs.CL cs.LG
How to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking
University of Oslo(奥斯陆大学)
该研究针对基础语言模型基准测试的评估设置选择问题,研究8个评估维度,用三个元度量比较设置,在不同规模模型上实验后给出具体建议,为新场景评估设置选择提供框架。
2026-10-15 cs.CL
Don't lie to your friends: Learning what you know from collaborative self-play
Google DeepMind(谷歌DeepMind)
本文提出协作自博弈方法,通过多智能体群体奖励让智能体在异构检索协作中涌现元知识,并证明所得策略可迁移到独立部署场景以改进工具使用与选择性预测。
2025-08-28 cs.CL cs.LG
Do Retrieval Augmented Language Models Know When They Don't Know?
SMU(南密西西比大学)
本研究探讨检索增强语言模型(RALMs)的拒答能力,发现其存在过度拒答问题,通过上下文微调可缓解,但改进的拒答行为不一定提升校准质量,最后提出结合不确定性弃权(不执行)的机制以平衡拒答与正确回答。
2025-11-18 cs.AI cs.CL
You Don't Know My Favorite Color: Preventing Dialogue Representations from Revealing Speakers' Private Personas
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
社交聊天机器人,也被称为聊天聊天机器人,随着大型预训练语言模型的快速发展。尽管取得了巨大的进步,但最近出现了隐私问题:大语言模型的训练数据可以通过模型反演攻击提取。另一方面,用于训练聊天机器人的数据集包含两个人之间的许多私人对话。在这项工作中,我们进一步研究了通过语言建模训练的聊天机器人的隐藏状态的隐私泄漏,这还没有得到很好的研究。我们表明,说话人的人物角色可以推断,通过一个简单的神经网络与高精度。为此,我们提出了有效的防御目标,以保护隐藏状态的人物泄漏。我们进行了大量的实验,证明我们提出的防御目标可以大大降低攻击的准确性从37.6%到0.5%。同时,所提出的目标保留了语言模型强大的生成能力。
2022-04-26 cs.CL cs.CR cs.LG
Honest AI: Fine-Tuning "Small" Language Models to Say "I Don't Know", and Reducing Hallucination in RAG
Independent Researcher
提出 Honest AI 策略,通过微调参数少于 100 亿的“小”语言模型使其回答“我不知道”,并结合 RAG 等混合方法,有效减少幻觉,在 CRAG 基准和 Task 2 中取得最佳成绩。
2024-10-13 cs.AI cs.CL
The Missing "I Don't Know": Why Three Reasoning-Reliability Findings Converge on Calibrated Abstention
Amazon.com LLC(亚马逊公司)
三项独立研究发现大语言模型可靠性问题均指向缺失的校准弃权(不执行)能力,提出通过三重评分、弃权率报告等评估改革来弥合理论差距。
2026-09-17 cs.AI cs.CL cs.LG
Reasoning about Uncertainty: Do Reasoning Models Know When They Don't Know?
Princeton University(普林斯顿大学)
本文研究推理语言模型的不确定性量化,发现其普遍过度自信且推理越深越严重,并提出内省式UQ方法,证明部分模型可通过反思思维链改善校准。
2025-07-18 cs.AI cs.CL
Large Language Models Must Be Taught to Know What They Don't Know
New York University(纽约大学);Abacus AI;Cambridge University(剑桥大学);Columbia University(哥伦比亚大学)
本文证明仅靠提示不足以校准大语言模型的不确定性,提出用少量分级样本微调模型特征即可高效获得可靠且可泛化的不确定性估计,并验证其可跨模型通用及辅助人机协作。
2025-08-17 cs.AI cs.CL cs.LG
"Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学戴维·R·切里顿计算机科学学院);FEEC-Unicamp(坎皮纳斯州立大学电气工程与计算机科学学院)
本文构建了NoMIRACL多语言相关性评估数据集,覆盖18种语言,用于评估RAG中LLM的稳健性,发现多数模型在幻觉率与错误率间难以平衡,GPT-4表现最佳。
2024-11-10 cs.CL cs.IR
Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation
Stanford University(斯坦福大学)
本研究提出结合语言询问与代理模型概率的方法,以估计无法访问softmax概率的LLM(如GPT-4)的置信度,在12个问答数据集上达到84.6%的平均AUC,优于单独方法。
2023-11-15 cs.CL cs.LG
Why Models Know But Don't Say: Chain-of-Thought Faithfulness Divergence Between Thinking Tokens and Answers in Open-Weight Reasoning Models
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);DeepNeuro AI
研究探讨了12种开放权重推理模型在MMLU和GPQA问题中对误导提示的响应,发现思考令牌与答案之间的信念差异显著,且模型对提示的承认存在方向性差异。
2026-03-27 cs.AI cs.CL
Knowing You Don't Know: Learning When to Continue Search in Multi-round RAG through Self-Practicing
University of California Santa Cruz(加州大学圣克ruz分校);The Harker School(哈克尔学校)
提出SIM-RAG框架,通过自我练习生成合成数据训练轻量级评判器,在多轮检索中判断信息充分性以决定是否继续搜索,提升RAG自我意识,无需人工标注,实验验证有效。
2025-06-30 cs.AI cs.CL cs.IR
LLMs Don't Know Their Own Decision Boundaries: The Unreliability of Self-Generated Counterfactual Explanations
University of Oxford(牛津大学);Trinity College Dublin(都柏林三一学院)
本研究评估LLMs生成反事实解释的有效性与最小性,发现存在权衡且最小反事实常失败,表明其作为可解释性工具不可靠,需警惕高风险部署。
2025-09-11 cs.AI cs.CL cs.LG