On-Policy Self-Alignment with Fine-grained Knowledge Feedback for Hallucination Mitigation
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China(中国科学院软件研究所信息处理实验室,北京,中国);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国);Xiaohongshu Inc(小红书公司)
本文提出RLFH,一种在线策略自对齐方法,通过自我评估框架将回答分解为原子事实并生成细粒度奖励,以缓解大语言模型幻觉,实验验证其有效性。
2025-05-26 cs.CL
KDCM: Reducing Hallucination in LLMs through Explicit Reasoning Structures
School of Computer Engineering, Jiangsu Ocean University(江苏海洋大学计算机工程学院);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
KDCM通过显式推理结构减少大语言模型中的幻觉,提升预测可靠性与可解释性。
2026-01-07 cs.CL
Reducing Hallucinations in Language Model-based SPARQL Query Generation Using Post-Generation Memory Retrieval
Polytechnique Montréal(蒙特利尔理工学院);Mila - Quebec AI Institute(魁北克人工智能研究院);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair)
本文提出PGMR框架,通过生成后记忆检索减少语言模型生成SPARQL查询时的URI幻觉,提升查询准确性和系统鲁棒性。
2026-01-28 cs.CL
Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning
Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Cincinnati(辛辛那提大学);University of Calgary(卡尔加里大学)
本文提出F-DPO方法,通过二元事实性标签和标签翻转变换提升模型事实性,减少幻觉。在七种大模型上验证效果,Qwen3-8B幻觉率降低5倍,事实性得分提升50%。
2026-04-15 cs.CL
Chain of Natural Language Inference for Reducing Large Language Model Ungrounded Hallucinations
Microsoft Responsible AI(微软负责任人工智能)
针对大语言模型易生成无依据幻觉的问题,提出基于自然语言推理链的即插即用分层框架,无需微调或领域提示工程,通过后编辑减幻,在多场景下实现检测与减幻的优异性能。
2023-10-09 cs.AI cs.CL
Reducing Hallucinations in Entity Abstract Summarization with Facts-Template Decomposition
Peking University(北京大学)
针对实体抽象摘要中PLM易产生幻觉的问题,提出将摘要分解为Facts与Template的SlotSum框架,并通过WikiFactSum验证其可借助外部知识提升事实性。
2024-02-29 cs.CL
Inducing Epistemological Humility in Large Language Models: A Targeted SFT Approach to Reducing Hallucination
本文提出HypoTermInstruct数据集,通过非现实术语问题训练模型知识谦逊,减少幻觉,实验显示其显著提升HypoTerm Score和FactScore,同时保持MMLU性能稳定。
2026-03-18 cs.CL
Mitigating Object and Action Hallucinations in Multimodal LLMs via Self-Augmented Contrastive Alignment
Graduate Institute of Communication Engineering, National Taiwan University(国家交通大学通信工程研究所);NVIDIA
SANTA框架通过自增强对比对齐方法,有效缓解多模态大语言模型中的对象和动作幻觉问题。
2025-12-04 cs.AI cs.CL cs.CV
EFUF: Efficient Fine-grained Unlearning Framework for Mitigating Hallucinations in Multimodal Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
提出高效细粒度遗忘框架EFUF,无需配对数据即可消除多模态大语言模型的物体幻觉,在降低幻觉的同时保持生成质量且计算开销适中。
2024-09-23 cs.CL cs.CV
Fine-Tuned Large Language Models for Logical Translation: Reducing Hallucinations with Lang2Logic
Pennsylvania State University(宾夕法尼亚州立大学)
本文提出了一种通过微调大型语言模型来减少逻辑翻译中幻觉的框架,利用自定义语法和符号计算库生成可靠的合取范式。
2025-12-02 cs.AI cs.CL
Grounded Optimization: A Layered Engineering Framework for Reducing LLM Hallucination in Automated Personal Document Rewriting
提出五层接地优化框架,通过时间验证、污染检测、结构不变性、提示接地和评估器,将简历重写中的幻觉率降至0.04-0.24。
2026-07-03 cs.AI cs.CL
Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation
Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出面向事实性的 LLM 自对齐方法,通过 Self-Eval 与 SK-Tuning 生成自评估偏好信号并以 DPO 微调,显著提升 Llama 模型在 TruthfulQA 和 BioGEN 上的事实准确性。
2024-06-11 cs.AI cs.CL
Multi-Modal Fact-Verification Framework for Reducing Hallucinations in Large Language Models
Microsoft(微软)
针对大型语言模型易产生幻觉的问题,提出一个结合结构化数据库、实时网络搜索和学术文献的多源交叉核对事实核查框架,实时纠正错误,将幻觉减少67%,并获领域专家89%满意度。
2025-10-26 cs.AI cs.CL
The Alignment Paradox: How Post-Training Amplifies Confident Hallucinations in Language Models
研究发现后训练对齐本身是放大语言模型高置信幻觉的主因,提出在DPO中引入熵依赖边际界,将Mistral-7B的高置信错误减少达35.3%。
2026-09-29 cs.AI cs.CL
Measuring and Reducing LLM Hallucination without Gold-Standard Answers
UC Santa Cruz(加州大学圣克鲁兹分校);ByteDance Research(字节跳动研究院);Northwestern University(西北大学)
本文提出FEWL幻觉度量方法,在无黄金标准答案时通过加权多个现成大语言模型的答案来测量并减少幻觉,实验证明其有效性。
2024-06-06 cs.AI cs.CL cs.LG
Reducing Hallucinations of Medical Multimodal Large Language Models with Visual Retrieval-Augmented Generation
NEC Laboratories America(美国NEC实验室);Purdue University(普渡大学);Lehigh University(里海大学)
针对医学多模态大语言模型的幻觉问题,提出融合图文数据的视觉检索增强生成框架V-RAG,在两个医学数据集上提升了实体探测准确率,还能生成更准确的X光报告,提高RadGraph-F1分数。
2025-02-20 cs.AI cs.CL
Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models
University of Science and Technology of China(中国科学技术大学)
本文提出COFT方法,通过知识图谱提取实体、计算上下文权重并动态选择关键文本,以从粗到细的高亮方式减少检索增强语言模型在长上下文中的知识幻觉,在F1指标上提升超过30%。
2024-10-19 cs.AI cs.CL
FLAME: Factuality-Aware Alignment for Large Language Models
University of Waterloo(滑铁卢大学);Carnegie Mellon University(卡内基梅隆大学);Meta AI
本文提出FLAME事实性感知对齐方法,通过改进SFT和RL两个阶段抑制大语言模型幻觉,在保持指令遵循能力的同时提升回复的事实准确性。
2024-05-02 cs.AI cs.CL
Hallucinations as Orthogonal Noise: Inference-Time Manifold Alignment via Dynamic Contextual Orthogonalization
Xi’an Jiaotong University(西安交通大学);Xingchen AGI Lab(星辰AGI实验室);China Telecom AI Technology (Beijing) Co., Ltd.(中国电信人工智能技术(北京)有限公司);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
提出一种基于线性表示假设的几何框架,将大语言模型幻觉解释为残差流语义流形的正交噪声,并引入推理时干预方法动态上下文正交化(DCO),通过层间Z分数抑制机制选择性地衰减异常正交分量,在保持知识记忆的同时提升上下文忠实度。
2026-06-02 cs.AI cs.CL
Faithful Activation Verbalization: Reducing Hallucinations in LLM Representation Interpretation
New Jersey Institute of Technology(新泽西理工学院);Shanghai AI Laboratory(上海人工智能实验室);Xi’an JiaoTong University(西安交通大学);Chinese Univerity of Hongkong, Shenzhen(香港中文大学(深圳))
AVPO通过两阶段框架(重建源文本并用冻结问答模型评估)结合直接偏好优化,显著减少激活言语化中的幻觉,提升信息恢复并超越基线。
2026-09-29 cs.CL
Mathematical Analysis of Hallucination Dynamics in Large Language Models: Uncertainty Quantification, Advanced Decoding, and Principled Mitigation
Catholic University of America(美国天主教大学)
针对大型语言模型(LLMs)的幻觉问题,本研究提出基于数学的统一框架,结合多学科方法分析错误复合机制、提出改进指标并开发多类缓解策略,连接多领域进展以提升LLMs的安全性与可靠性。
2025-11-19 cs.AI cs.CL
HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs
Middle East Technical University(中东技术大学)
本文提出HypoTermQA框架与数据集,通过LLM生成假设性现象任务并以智能体方式进行幻觉检测,实现领域无关的自动化可扩展基准测试,用于评估和改进LLMs的幻觉倾向。
2024-02-25 cs.CL
LLM Enhancer: Merged Approach using Vector Embedding for Reducing Large Language Model Hallucinations with External Knowledge
Department of Computer Science and Engineering, Jagannath University(计算机科学与工程系,贾甘纳思大学)
本文提出 LLM ENHANCER 系统,通过并行集成多个在线开源数据并利用向量嵌入筛选相关信息,有效减轻了大型语言模型在关键场景下的幻觉问题,同时保持了回复的自然性与准确性。
2025-04-29 cs.CL cs.LG
Micro-Macro Retrieval: Reducing Long-Form Hallucination in Large Language Models
Solar System of OVB, Tencent, China(OVB太阳系,腾讯,中国);The Hong Kong Polytechnic University, Hong Kong S.A.R.(香港理工大学,香港特别行政区);Jilin University, China(吉林大学,中国)
提出微宏检索(M2R)框架,通过宏观检索外部粗粒度证据和微观检索推理中关键信息库,解决长文本生成中关键信息与输出距离过远导致的幻觉问题。
2026-04-10 cs.AI cs.CL
MSA at SemEval-2025 Task 3: High Quality Weak Labeling and LLM Ensemble Verification for Multilingual Hallucination Detection
Faculty of Computer Science, MSA University(计算机科学学院,MSA大学)
本文提出结合提示工程与LLM集成验证机制的多语言幻觉检测系统,通过主模型提取片段并辅以三模型概率投票和模糊匹配,在SemEval-2025 Task 3多语言任务中取得优异成绩。
2025-05-27 cs.CL
RHO ($ρ$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Hong Kong University of Science and Technology(香港科技大学)
本文提出RHO模型,通过局部和全局知识接地结合知识图谱嵌入,并设计基于子图游走的重排序,显著减少开放域对话中的幻觉,在OpenDialKG上大幅超越现有方法。
2023-05-12 cs.AI cs.CL
CrossHallu: Do Hallucination Signals Generalize Across Languages and Domains in Large Language Model's Internals?
King Fahd University of Petroleum and Minerals(法赫德国王石油与矿产大学);Imam Abdulrahman bin Faisal University(伊玛目阿卜杜勒拉赫曼·本·费萨尔大学)
研究大语言模型内部幻觉检测信号能否跨语言和领域泛化,通过CrossHallu对六个模型的内部表征在生成式问答任务上进行评估,结果揭示了模型内部状态幻觉信号跨语言和领域转移的情况。
2026-08-07 cs.CL
HART: Data-Driven Hallucination Attribution and Evidence-Based Tracing for Large Language Models
Faculty of Computing, Harbin Institute of Technology(计算机学院,哈尔滨工业大学)
HART通过结构化建模方法提升大语言模型幻觉归因与证据追踪的准确性与可解释性。
2026-03-06 cs.CL
Exploring and Mitigating Fawning Hallucinations in Large Language Models
School of Medical Technology, Beijing Institute of Technology(北京理工大学医学技术学院);Artificial Intelligence Research Institute, Shenzhen MSU-BIT University(深圳MSU-BIT大学人工智能研究院);Tianjin University(天津大学);The Hong Kong University of Science(香港科学大学)
针对大语言模型因对齐欺骗/误导性提示产生的谄媚幻觉问题,本研究设计两种输入诱发范式,提出无需额外训练的协作对比解码(CCD)方法,经多任务实验验证可有效缓解谄媚幻觉、提升生成内容事实性。
2025-08-31 cs.CL
Investigating the Role of Prompting and External Tools in Hallucination Rates of Large Language Models
Stellenbosch University(斯泰伦博斯大学)
本文实证评估多种提示策略及工具调用智能体对大语言模型幻觉率的影响,发现最佳提示方法因问题而异,简单方法常更有效,而外部工具会显著增加幻觉。
2024-10-25 cs.AI cs.CL
Towards reducing hallucination in extracting information from financial reports using Large Language Models
BlackRock, Inc.(贝莱德集团)
本研究利用大语言模型结合检索增强生成与元数据,从财务报告问答中高效提取信息,减少幻觉,并通过客观指标验证了方法的优越性。
2023-10-16 cs.CL q-fin.PM q-fin.ST
Beyond Textual Context: Structural Graph Encoding with Adaptive Space Alignment to alleviate the hallucination of LLMs
Wuhan University of Technology(武汉理工大学)
提出 SSKG-LLM 架构,通过 KGR、KGE 与 KGA 模块对齐知识图谱结构、语义嵌入和 LLM 文本空间,以增强事实推理并缓解幻觉。
2025-09-26 cs.AI cs.CL
Iter-AHMCL: Alleviate Hallucination for Large Language Model via Iterative Model-level Contrastive Learning
Zhejiang Laboratory(浙江实验室);The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学)
本文提出Iter-AHMCL方法,通过在有无幻觉数据上训练的正负模型对比修改预训练LLM表示层,在TruthfulQA上平均提升10.1分,有效缓解幻觉并保持模型通用能力。
2024-10-16 cs.AI cs.CL
A Concise Review of Hallucinations in LLMs and their Mitigation
Computer Engineering K J Somaiya Institute of Technology Mumbai, India;Data Science K J Somaiya Institute of Technology Mumbai, India;Information Technology K J Somaiya Institute of Technology Mumbai, India
本文简要回顾了大型语言模型中的幻觉现象及其缓解方法,探讨了幻觉的类型、成因及应对策略,为理解与减轻幻觉提供全面概述。
2025-12-02 cs.CL cs.LG
Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
School of Artificial Intelligence and Data Engineering (SAIDE)(人工智能与数据工程学院);Indian Institute of Technology Jodhpur(印度理工学院朱罗普尔)
本文提出XKD-Dial,一种逐步四阶段训练流程,用于生成可解释的引用导向对话,通过跨语言适应、英语对话SFT与引用定位、双语对话SFT及GRPO对齐与引用感知奖励,减少幻觉并提升印地语能力。
2026-03-19 cs.AI cs.CL
Mitigating Hallucinations in Zero-Shot Scientific Summarisation: A Pilot Study
Department of Chemical Engineering and Biotechnology(化学工程与生物技术系);University of Cambridge(剑桥大学)
本研究探讨提示工程方法对缓解零样本科学摘要中的幻觉效果,发现上下文重复和随机添加能显著提升摘要与原文的对齐度。
2025-11-30 cs.AI cs.CL
RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学)
针对多模态大语言模型普遍存在的幻觉问题,该研究提出RLHF-V方法,通过细粒度校正性人类反馈的行为对齐及密集直接偏好优化,以少量数据大幅降低幻觉率,在开源模型可信性上达到SOTA,鲁棒性优于GPT-4V。
2024-03-08 cs.CL cs.CV
Physio-DPO: Aligning Large Language Models with the Protein Energy Landscape to Eliminate Structural Hallucinations
Xi’an Jiaotong University(西安交通大学)
Physio-DPO通过引入物理感知的目标,将蛋白质语言模型与热力学稳定性对齐,有效减少结构幻觉并提升折叠性。
2026-01-02 cs.CE cs.CL q-bio.QM
Halo: Estimation and Reduction of Hallucinations in Open-Source Weak Large Language Models
University of Pittsburgh(匹兹堡大学);TikTok Inc.(字节跳动TikTok公司)
本文针对开源弱大型语言模型(如BLOOM 7B)的幻觉问题,提出HaloCheck框架量化幻觉严重程度,并通过知识注入和师生方法减少幻觉,实验证明其有效性。
2023-09-13 cs.AI cs.CL
Theoretical Foundations and Mitigation of Hallucination in Large Language Models
Department of Computer Science, University of Sana'a(桑加大学计算机科学系)
该研究对大语言模型幻觉问题给出形式化定义与理论分析,推导幻觉风险边界,调研检测与缓解方法,提出统一工作流与评估协议,为解决该挑战提供理论基础与实践指南。
2025-07-20 cs.AI cs.CL
Reducing Hallucination in Multimodal Large Language Models through Hard Grounding Preference Supervision
Meta AI
本文提出分阶段偏好优化框架,通过构建针对幻觉问题的数据集,提升视觉-语言模型的 grounded reasoning,减少幻觉并提高响应信息量。
2026-09-29 cs.AI cs.CL cs.CV
HICD: Hallucination-Inducing via Attention Dispersion for Contrastive Decoding to Mitigate Hallucinations in Large Language Models
Shanghai Advanced Research Institute, Chinese Academy of Sciences(上海先进研究院,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
提出HICD方法,通过选择关键注意力头并分散其注意力诱导幻觉,与原始输出对比解码,以缓解大语言模型幻觉,提升上下文忠实性和事实性任务性能。
2025-05-23 cs.AI cs.CL
Understanding Alignment in Multimodal LLMs: A Comprehensive Study
Apple Inc.(苹果公司)
本文系统研究多模态大语言模型的偏好对齐,比较离线与在线算法及偏好数据集构建,并提出无需额外标注或外部模型的 BDHS 数据生成方法,在多项基准上取得有竞争力的对齐效果。
2024-07-02 cs.CL cs.CV
OAEI-LLM: A Benchmark Dataset for Understanding Large Language Model Hallucinations in Ontology Matching
Australian National University, School of Computing(澳大利亚国立大学,计算机学院);Monash University, Faculty of Information Technology(墨尔本大学,信息技术学院)
OAEI-LLM数据集旨在通过评估本体匹配任务中大语言模型的幻觉现象,为理解LLM幻觉提供基准支持。
2026-01-29 cs.AI cs.CL cs.IR
Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality
Baidu Inc.(百度公司)
本文提出KLCF框架,通过双事实对齐机制提升长形式生成的事实性,有效缓解幻觉和保守倾向,提升精度与召回率。
2026-05-07 cs.AI cs.CL cs.LG
RAGognizer: Hallucination-Aware Fine-Tuning via Detection Head Integration
Computer Science Department(计算机科学系)
RAGognizer通过整合轻量级检测头,实现hallucination-aware微调,提升内部状态分离性并减少生成hallucination。
2026-04-17 cs.CL cs.LG
Triggering Hallucinations in LLMs: A Quantitative Study of Prompt-Induced Hallucination in Large Language Models
Kanazawa University(金泽大学);Institute for Frontier Science Initiative(前沿科学 initiative研究所);Graduate School of Medical Sciences(医学研究生院)
本研究提出了一个基于提示的框架,通过幻觉诱导提示(HIP)和幻觉量化提示(HQP)系统地触发并量化大型语言模型中的幻觉,为研究幻觉脆弱性提供了可复现的测试平台。
2025-05-01 cs.AI cs.CL
Graph Alignment Topology as an Inductive Bias for Grounding Detection
Department of Pediatrics, University of Illinois College of Medicine Peoria(伊利诺伊大学皮奥里亚医学院儿科部);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机与数据科学学院);Carle Illinois College of Medicine, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校卡莱医学院)
提出利用图对齐拓扑作为归纳偏置,通过构建参考信息与LLM输出之间的对齐二分图并训练图神经网络建模对齐结构,在幻觉检测和问答任务上取得最先进结果。
2026-05-21 cs.AI cs.CL
OAEI-LLM-T: A TBox Benchmark Dataset for Understanding Large Language Model Hallucinations in Ontology Matching
Australian National University(澳大利亚国立大学);Monash University(墨尔本大学)
OAEI-LLM-T是一个用于研究大规模语言模型在本体匹配中幻觉问题的TBox基准数据集,通过分类幻觉类型并提供评估工具,促进对LLM在OM任务中表现的深入理解。
2025-05-14 cs.AI cs.CL cs.IR
Improving Alignment in LVLMs with Debiased Self-Judgment
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出一种基于模型内部生成的去偏自评判分数的方法,使LVLM无需外部资源即可自主改进对齐,减少幻觉并提升安全性和整体能力。
2025-09-11 cs.CL cs.CV
Beyond Fine-Tuning: Effective Strategies for Mitigating Hallucinations in Large Language Models for Data Analytics
针对 LLM 在数据分析自然语言查询中的幻觉问题,本文评估结构化输出、规则执行、提示增强与语义层集成四种策略,证明其优于传统微调并提升结果可靠性。
2024-10-26 cs.AI cs.CL
Mitigating Hallucinations in Multimodal LLMs via Object-aware Preference Optimization
University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学)
本文提出 CHAIR-DPO,利用 CHAIR 指标从生成答案对中构造非幻觉与幻觉偏好样本,并通过 DPO 微调 MLLM,在多个基准上显著减少幻觉。
2025-08-27 cs.AI cs.CL cs.CV
Factors That Support Grounded Responses in LLM Conversations: A Rapid Review
(June 2025)((2025年6月))
本文通过快速回顾识别了支持LLM对话中基础响应的因素,重点分析了推理时间、训练后及强化学习方法,旨在提升LLM响应的准确性和可靠性。
2025-11-24 cs.AI cs.CL
Mitigating Behavioral Hallucination in Multimodal Large Language Models for Sequential Images
Provable Responsible AI and Data Analytics (PRADA) Lab(可证明负责任的人工智能与数据分析实验室);King Abdullah University of Science and Technology(国王阿卜杜勒阿齐兹大学);University of Electronic Science and Technology of China(中国电子科学技术大学);University of Copenhagen(哥本哈根大学)
针对序列图像中研究不足的行为幻觉,本文提出轻量级两阶段框架 SHE,通过自适应时间窗口对齐检测与联合嵌入空间正交投影缓解幻觉,并用新指标 BEACH 验证其可降低幻觉逾10%。
2025-06-08 cs.AI cs.CL cs.CV