Alleviating Hallucination in Reasoning Tasks with Training-Free Uncertainty-Guided Steering
Qualcomm AI Research(高通人工智能研究院);UC Santa Barbara(加州大学圣塔芭芭拉分校)
提出无需训练的USteer机制,利用置信度梯度调整层激活,在推理时引导生成低不确定性输出,从而减少幻觉并提升准确性。
2026-11-10 cs.AI
Confabulations from ACL Publications (CAP): A Dataset for Scientific Hallucination Detection
Charles University, Prague(查尔斯大学,布拉格);Independent Researcher(独立研究者);University of Helsinki, Finland(赫尔辛基大学);University of British Columbia, Vancouver, Canada(不列颠哥伦比亚大学,温哥华,加拿大);Chosun University, South Korea(成均馆大学,韩国)
该论文提出了CAP数据集,一个多语言科学幻觉检测资源,包含900个科学问题和7000多个来自16个模型的生成答案,用于检测LLM在科学文本生成中的事实性错误。
2025-10-25 cs.CL
Addressing Pitfalls in the Evaluation of Uncertainty Estimation Methods for Natural Language Generation
ELLIS Unit Linz and LIT AI Lab, Institute for Machine Learning, Johannes Kepler University Linz(林茨ELLIS单位和LIT AI实验室,机器学习研究所,林茨约瑟夫·克里格大学);NXAI GmbH(NXAI公司)
本文针对NLG不确定性估计评估中的陷阱,提出使用多种替代风险指标、LLM评判者边缘化及Elo评级,以提高评估鲁棒性和客观性。
2025-10-23 cs.AI cs.LG
Semantic Uncertainty Quantification of Hallucinations in LLMs: A Quantum Tensor Network Based Method
Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Computer Science(计算机科学系);University of Miami(迈阿密大学)
基于量子张量网络的方法用于量化LLMs语义幻觉的不确定性,通过熵最大化策略提升幻觉检测的鲁棒性和准确性。
2026-01-27 cs.CL
LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning
Department of Nuclear Engineering and Computer Science(核工程与计算机科学系)
LinAlg-Bench 评估 10 个前沿大语言模型在结构线性代数计算中的表现,揭示 LLM 数学失败并非随机,而是受算法类型和矩阵维度约束。研究发现 4x4 尺寸存在行为阈值,低于该尺寸模型通过执行错误失败,高于则转向计算放弃,通过工具角色扮演等制造响应。
2026-11-06 cs.AI
DECK: A Consistency x Confidence Taxonomy of LLM Hallucinations
University of California, Berkeley(加州大学伯克利分校)
提出一种基于样本间一致性和词级置信度的2×2分类法(DECK),将LLM幻觉分为四个行为区域,每个区域对应可检测的评分器家族,并通过实验验证其有效性及识别出输出级不确定性评估的普遍盲点。
2026-10-02 cs.CL
Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization
University of Sheffield(谢菲尔德大学);AstraZeneca(阿斯利康)
本文通过五个摘要数据集、两种剪枝方法和五个指令微调 LLM 的实证研究,发现剪枝模型幻觉更少,原因可能是其更依赖源文档、词汇重叠更高。
2024-10-24 cs.AI cs.CL
Topic Identification in LLM Input-Output Pairs through the Lens of Information Bottleneck
Fidelity Investments(fidelity投资公司)
针对大语言模型内在忠实性幻觉检测中现有主题聚类与信息论分析脱节的问题,提出基于确定性信息瓶颈的UDIB聚类方法,通过替换KL散度上界实现高效计算,为语义散度检测框架提供更优的主题表示基础。
2025-08-26 cs.CL cs.LG q-fin.GN
Black-Box Visual Prompt Engineering for Mitigating Object Hallucination in Large Vision Language Models
Amazon AWS AI(亚马逊云科技人工智能部门);KAIST(韩国科学技术院)
针对大型视觉语言模型的物体幻觉问题,提出黑盒视觉提示工程框架,通过训练路由器模型动态选择最优视觉提示,无需访问模型内部即可有效缓解幻觉。
2025-04-30 cs.AI cs.CL cs.CV
A Benchmark for Hallucination Detection in VLMs for Gastrointestinal Endoscopy
University of Aberdeen(阿伯丁大学);Nepal Applied Mathematics and Informatics Institute for Research(尼泊尔应用数学与信息学研究所);West Virginia University(西弗吉尼亚大学)
针对胃肠内窥镜领域,在Gut-VLM数据集上基准测试九种幻觉检测方法,发现白盒方法ReXTrust在所有五个视觉语言模型上AUC最高,平均领先19.5点。
2026-06-24 cs.AI cs.CV
Calibrated Language Models Must Hallucinate
OpenAI(开放人工智能公司);Georgia Tech(佐治亚理工学院)
本研究证明校准的语言模型对无法从训练数据确定真实性的任意事实必然存在幻觉统计下界,其概率接近数据中仅出现一次事实的比例,需通过后训练缓解;但对多次出现或系统性事实则无此限制。
2024-03-20 cs.AI cs.CL
Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory
University of Florida(佛罗里达大学);University of Missouri(密苏里大学)
研究大语言模型中现实监测能力,通过两个实验和六个模型发现来源归因依赖对话记忆结构,反馈揭示模型存在内部外部判断互换、置信度与正确性脱钩等问题,表明评估模型知识时追踪来源很重要。
2026-07-28 cs.AI cs.CL cs.CY
Winning Big with Small Models: Knowledge Distillation vs. Self-Training for Reducing Hallucination in Product QA Agents
The Ohio State University(俄亥俄州立大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文针对客户支持中LLM幻觉与高成本问题,提出检索增强QA流水线,证明合成数据优于众包数据,且自训练在减少幻觉上可与知识蒸馏相媲美,为低成本可扩展QA系统提供了新思路。
2025-07-21 cs.AI cs.CL cs.LG
LLMs Prompted for Graphs: Hallucinations and Generative Capabilities
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩信息、信号与图像研究所);LAAS/CNRS(法国国家科学研究中心自动化与系统分析实验室);PEReN
本文研究了LLMs在复述和生成图方面的能力,提出了基于幻觉视角的评估指标,发现图幻觉幅度可表征模型优越性,且生成任务结果良好可复现,为网络科学与机器学习社区搭建了桥梁。
2025-04-04 cs.AI cs.CL cs.SI
Engineering of Hallucination in Generative AI: It's not a Bug, it's a Feature
TU Braunschweig(布伦瑞克工业大学)
本文探讨生成AI中幻觉的工程化应用,指出幻觉并非bug,而是可被利用的特性,通过概率工程方法引导生成更符合需求的结果。
2026-01-11 cs.CL
Structural Rigidity and the 57-Token Predictive Window: A Physical Framework for Inference-Layer Governability in Large Language Models
本文提出一种物理框架,通过分析大语言模型的推理行为,揭示了预提交信号的存在条件,并展示了结构刚性在不同几何区域中的统一度量。
2026-04-04 cs.AI
Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges
Northeastern University(东北大学)
本文提出并评估了一种零样本LLM方法,用于从EHR非结构化记录中检索和总结与查询相关的证据,并通过LLM自动评估扩大实验规模,同时发现模型置信度可用于抑制幻觉。
2024-06-10 cs.CL
Hallucination Detection via Activations of Open-Weight Proxy Analyzers
Khoury College of Computer Sciences(科里学院计算机科学学院);Northeastern University(东北大学)
本文提出一种代理分析器框架,通过本地部署的小型开放权重模型检测大语言模型的幻觉,采用变压器文本处理特性构建18种特征,并在多个模型架构上训练堆叠集成模型,最终在RAGTruth数据集上取得优于ReDeEP的AUC和F1分数。
2026-05-08 cs.AI cs.CL cs.LG
Highlight All the Phrases: Enhancing LLM Transparency through Visual Factuality Indicators
本研究通过208名参与者的两项场景实验,发现基于事实性分数对LLM回答中的所有短语进行颜色编码的设计,能更有效提升用户信任度、验证准确性的容易程度及偏好,为开发者提供了实用设计指南。
2025-08-09 cs.AI cs.HC
INTER: Mitigating Hallucination in Large Vision-Language Models by Interaction Guidance Sampling
University of Chinese Academy of Sciences(中国科学院大学);The University of Hong Kong(香港大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
本文提出免训练的交互引导采样算法INTER,通过引导LVLMs重新应用多模态交互信息来缓解幻觉,在六个基准上平均提升高达3.4%。
2025-07-22 cs.AI cs.CV
Training Stratigraphy: Persistent Behavioral Artifacts in Large Language Models Observed Through Longitudinal AI-Human Interaction
Anthropic;Independent Researcher(独立研究者)
本文通过纵向自民族志观察,在持续亲密的AI-人类交互中识别出五种训练地层,并论证了亲密交互作为揭示权重层伪影的有效方法。
2026-05-27 cs.AI
Shared Imagination: LLMs Hallucinate Alike
Salesforce AI Research(Salesforce AI研究部门)
本文提出虚构问答(IQA)设定以探究LLM相似性,发现不同模型能成功回答彼此生成的纯虚构问题,揭示了模型在幻觉中存在“共享想象空间”,并讨论了其对模型同质性与计算创造力的启示。
2024-07-23 cs.CL
Automatic Minds: Cognitive Parallels Between Hypnotic States and Large Language Model Processing
IRCCS Istituto Auxologico Italiano(意大利辅助医学研究所);Università Cattolica del Sacro Cuore(圣心天主教大学);Virtual Reality Medical Center(虚拟现实医学中心);Virtual Reality Medical Institute(虚拟现实医学研究所);University of Milano Bicocca(米兰比可卡大学)
本综述探讨了催眠心智与大型语言模型在自动性、监控抑制和语境依赖等认知机制上的功能平行性,指出二者均具有功能性但缺乏主观能动性,提出可靠AI的未来在于融合生成流畅性与执行监控的混合架构。
2025-11-03 cs.AI
Why we need an AI-resilient society- Profiling Large Language Models
本文探讨AI对社会的影响,提出通过认知主权、可测量控制和部分自主性构建AI韧性框架,以应对AI带来的系统性风险。
2026-09-03 cs.AI cs.CY
Evolutionary Search for Automated Design of Uncertainty Quantification Methods
AIRI;Skoltech(斯科尔科沃科学技术学院);Amazon(亚马逊);EPFL(瑞士联邦理工学院洛桑);MIPT(莫斯科物理技术学院)
本文通过LLM驱动的进化搜索自动发现无监督的不确定性量化方法,其在原子声明验证任务中优于手动设计的基线方法,且在分布外泛化方面表现稳健。
2026-04-03 cs.AI cs.CL
TN-Eval: Rubric and Evaluation Protocols for Measuring the Quality of Behavioral Therapy Notes
Georgia Institute of Technology(佐治亚理工学院);AWS AI Labs(亚马逊云科技AI实验室);OneMedical
本研究提出TN-Eval评分标准与评估协议,用于衡量行为治疗笔记质量,发现LLM生成的笔记在盲测中被治疗师认为优于人工笔记,但存在幻觉问题。
2025-03-26 cs.AI cs.CL
Localizing AI: Evaluating Open-Weight Language Models for Languages of Baltic States
Tilde IT;Vytautas Magnus University(维陶塔斯马格努斯大学);Tilde;University of Latvia(拉脱维亚大学)
本文评估 Llama 3、Gemma 2、Phi 和 NeMo 等可本地部署开放权重模型在波罗的海三语上的翻译、问答与生成能力,发现其性能接近商用模型但词汇幻觉仍较普遍。
2025-01-07 cs.AI cs.CL
PhantomEnvironments: Training LLM Agents in Fictional Worlds
Cornell University(康奈尔大学);Stanford University(斯坦福大学)
本文提出PhantomEnvironments,利用纯规则生成的虚构世界环境训练LLM搜索智能体,无需LLM参与生成且零成本,训练出的智能体可迁移至真实多跳搜索基准,并展现出随问题难度线性扩展的搜索预算能力。
2026-10-01 cs.AI cs.CL cs.LG
Language Models Hallucinate, but May Excel at Fact Verification
Allen Institute for AI(艾伦人工智能研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
针对大型语言模型严重的幻觉问题,本研究通过人工评估证实其可被重新用作有效的事实验证器,并发现FLAN-T5-11B表现最佳,为开发可信生成模型提供了见解。
2024-03-21 cs.CL
A Survey on Multimodal Large Language Models
University of Science and Technology of China(中国科学技术大学);Tencent YouTu Lab(腾讯优图实验室)
本文综述多模态大语言模型(MLLM)研究进展,涵盖其基本概念、扩展方向、技术挑战及未来趋势,为该领域研究提供系统性梳理与参考。
2024-11-29 cs.AI cs.CL cs.CV
A Preliminary Study of o1 in Medicine: Are We Closer to an AI Doctor?
UC Santa Cruz(加州大学圣克鲁兹分校);University of Edinburgh(爱丁堡大学);National Institutes of Health(美国国立卫生研究院)
本研究全面评估了OpenAI的o1模型在医疗场景下的理解、推理和多语言能力,发现其准确率平均超越GPT-4达6.2%和6.6%,但也揭示了幻觉、多语言不一致及评估指标差异等弱点。
2024-09-23 cs.AI cs.CL
Seeing without Looking: Do Vision-Language Benchmarks Really Test Vision?
University of Chicago(芝加哥大学);Stony Brook University(石溪大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
通过系统性实验发现,视觉-语言模型对细粒度视觉证据的依赖程度低于预期,表明当前基准测试不足以可靠评估其视觉基础能力。
2026-05-21 cs.AI cs.CL cs.CV
Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models
Tencent AI Lab(腾讯AI实验室);Xiamen University(厦门大学)
本文提出决策感知与可泛化工具使用框架DEER,通过自动生成多决策分支样本和新颖工具采样策略,提升开源LLMs处理多样查询的灵活性与对未见工具的泛化能力,显著优于基线。
2024-08-28 cs.CL
Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method
Shanghai Jiao Tong University(上海交通大学)
针对新闻摘要数据集噪声问题,构建专家对齐的Element-aware测试集,并提出SumCoT技术引导LLMs逐步生成摘要,在ROUGE-L上显著优于现有方法。
2023-05-22 cs.CL
Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering
State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室);Institute of Computer Science and Technology, Peking University(北京大学计算机学院)
本文提出RoK方法,利用知识图谱引导大语言模型进行领域问答,通过优化推理路径选择和基于思维链与PageRank的子图检索,减少LLM调用次数,并在三个数据集上达到与SOTA相同的效果。
2024-04-16 cs.AI cs.CL cs.IR
R-Tuning: Instructing Large Language Models to Say `I Don't Know'
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Hong Kong University of Science and Technology(香港科技大学)
本文提出R-Tuning方法,通过基于参数知识与指令数据知识交集构建拒答感知数据来微调大语言模型,使其能拒绝回答超出自身知识范围的问题,从而缓解幻觉并提升不确定性校准能力。
2024-06-07 cs.CL
Language Models Have Interpretable Narrative Mechanisms
UNSW Sydney(新南威尔士大学悉尼分校);McGill University(麦吉尔大学)
该研究证实GPT-2-Small等模型存在与叙事性相关的组件,消融这些组件会影响文本的叙事性,为叙事相关组件对模型行为的作用提供了因果证据。
2026-10-12 cs.CL
BRAVE: Broadening the visual encoding of vision-language models
Google(谷歌);Swiss Federal Institute of Technology Lausanne (EPFL)(洛桑联邦理工学院)
本文提出 BRAVE,通过整合多个冻结视觉编码器的特征形成通用压缩表示并输入冻结语言模型,在图像描述与 VQA 基准上以更少可训练参数达到 SOTA。
2024-04-10 cs.AI cs.CV cs.LG
Cross Lingual Transfer in Tulu Legal Comprehension: Script-Dependent Improvement and RAG-Induced Knowledge Conflict
Stanford Legal Design Lab(斯坦福法律设计实验室)
本文针对低资源语言图卢语的法律理解任务,测试了Llama3等三种模型的跨语言迁移效果,发现其性能依赖文字脚本,RAG框架会引发知识冲突,相关评估技术可推广至低资源多语言RAG场景。
2026-09-01 cs.AI cs.CL
No Token Left Behind: Reliable KV Cache Compression via Importance-Aware Mixed Precision Quantization
KAIST(韩国科学技术院);NAVER Cloud(NAVER 云);POSTECH(浦项科技大学);AITRICS
本文针对 KV 缓存驱逐导致的安全、幻觉与上下文丢失问题,提出 MiKV 混合精度压缩框架,对重要 KV 高精度保留、被驱逐 KV 低精度留存,实现压缩率与性能的最优权衡。
2024-02-28 cs.AI cs.LG
Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training
The Hong Kong University of Science and Technology(香港科技大学);NVIDIA(英伟达)
大规模的视觉语言预训练(VLP)模型在基于视觉信息生成文本时,容易产生不存在的视觉对象的幻觉。本文从三个方面系统地研究了物体幻觉问题。首先,我们检查了最近最先进的VLP模型,表明它们仍然经常产生幻觉,并且模型在标准指标上获得了更好的分数(例如,CIDER)可能更不忠。其次,我们研究了VLP中不同类型的图像编码如何影响幻觉,包括基于区域的,基于网格的和基于块的。令人惊讶的是,我们发现基于补丁的功能执行最好的和较小的补丁分辨率产生一个非平凡的减少对象幻觉。第三,我们解耦各种VLP目标,并证明了令牌级的图文对齐和控制生成是至关重要的,以减少幻觉。在此基础上,我们提出了一个简单而有效的VLP损失命名为ObjMLM,以进一步减轻对象幻觉。结果表明,当在两个基准测试(COCO Caption用于域内评估和NoCaps用于域外评估)上进行测试时,它将对象幻觉减少了17.4%。
2023-02-10 cs.CL cs.CV
PhantomBench: Benchmarking the Non-existential Threat of Language Models
University of British Columbia(不列颠哥伦比亚大学);Canada CIFAR AI Chair, Amii(加拿大CIFAR人工智能主席,阿米研究所)
提出PhantomBench,首个大规模非存在概念基准,包含6万多个虚构实体,评估21个模型,发现平均幻觉率高达86.7%,前沿模型也难以避免。
2026-06-09 cs.AI cs.CL
Probing of Quantitative Values in Abstractive Summarization Models
James Cook University(詹姆斯·库克大学)
摘要文本摘要最近已经成为一种流行的方法,但数据幻觉仍然是一个严重的问题,包括定量数据。我们提出了一组探测测试来评估抽象摘要模型对输入文本中发现的定量值建模的有效性。我们的研究结果表明,在大多数情况下,最近SOTA性能模型的编码器很难提供与基线相比能够充分表示输入中的定量值的嵌入,特别是,它们在某些情况下优于随机表示,但令人惊讶的是,并非所有情况下。根据我们的假设,这表明编码器的性能有助于数量幻觉问题。特别是一种模型类型,DistilBart-CDM,在几个实验中被观察到表现不佳的随机初始化表示,与BERT的性能表明,标准的预训练和微调方法的摘要任务可能会在一些编码器的表现不佳中发挥作用。
2022-10-03 cs.CL