Hallucination Basins: A Dynamic Framework for Understanding and Controlling LLM Hallucinations
Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）；AI Innovation Institute, Stony Brook University（石溪大学人工智能创新研究所）
本文提出几何动态系统框架，通过分析潜在空间中的盆地结构来理解LLM幻觉现象，发现任务依赖性显著影响分离性，并通过任务复杂度和多盆地定理展示几何感知引导可降低幻觉概率。
2026-04-06 cs.AI cs.CL cs.SY
Controlling Conditional Language Models without Catastrophic Forgetting
University of Sussex（萨塞克斯大学）；Naver Labs Europe（Naver欧洲实验室）
机器学习正在转向通用的预训练生成模型，这些模型以自我监督的方式在大量数据上进行训练，然后可以应用于解决大量任务。然而，由于它们的通用训练方法，这些模型通常不能满足一些下游要求（例如，抽象概括中的幻觉或代码生成中的风格冲突）。这就提出了一个重要的问题，即如何在不破坏其一般能力（“灾难性遗忘“）的情况下调整预训练的生成模型以满足所有要求。最近的工作提出了解决这个问题，通过代表任务特定的要求，通过基于能量的模型（EBM）和近似这些EBM使用分布式策略梯度（DPG）。尽管其有效性，但这种方法仅限于无条件分配。在本文中，我们扩展了DPG的条件任务，提出了条件DPG（CDPG）。我们在三个任务（翻译，摘要和代码生成）和两个预训练模型（T5和GPT-Neo）的四个不同的控制目标上评估CDPG。我们的研究结果表明，使用CDPG进行微调可以使这些预训练模型更接近于满足控制目标，并且与基线方法相比，不会导致灾难性遗忘。
2022-06-20 cs.CL cs.LG
Controlling Extra-Textual Attributes about Dialogue Participants -- A Case Study of English-to-Polish Neural Machine Translation
University of Sheffield（谢菲尔德大学）
与英语不同，形态丰富的语言可以通过代词、词的形态结尾和句法来揭示说话者或其对话伙伴的特征，如性别和数量。当从英语翻译到这些语言时，机器翻译模型需要选择对文本上下文的某种解释，如果文本外信息不可用，则可能导致严重的翻译错误。我们在英语到波兰语方向调查这一挑战。我们专注于利用外部元数据在电视对话的自动翻译的研究不足的问题，提出了一个案例研究，在一个多属性的情况下，广泛的方法来控制翻译中的属性。最好的模型实现了+5.81 chrF++/+6.03 BLEU的改进，其他模型实现了具有竞争力的性能。我们还贡献了一个新的属性注释数据集的波兰电视对话和形态分析脚本用于评估模型中的属性控制。
2022-05-30 cs.AI cs.CL
Diffusion-LM Improves Controllable Text Generation
Stanford University（斯坦福大学）
在不重新训练的情况下控制语言模型（LM）的行为是自然语言生成中的一个主要开放问题。虽然最近的工作已经证明了控制简单句子属性的成功（例如，情绪），在复杂的细粒度控制（例如，句法结构）。为了解决这个问题，我们开发了一个新的非自回归语言模型的基础上连续扩散，我们称之为扩散LM。基于最近连续域中扩散模型的成功，Diffusion-LM迭代地将高斯向量序列去噪为词向量，产生中间潜变量序列。这些中间变量的连续性和层次性使得简单的基于梯度的算法能够执行复杂的可控生成任务。我们展示了成功的控制扩散LM六个具有挑战性的细粒度控制任务，显着优于以前的工作。
2022-05-27 cs.AI cs.CL cs.LG
Transformer Language Models Handle Word Frequency in Prediction Head
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究通过BERT和GPT-2实验揭示预测头偏置参数在反映词频中的关键作用，并证明控制偏置可在不降低文本质量的前提下提升生成多样性。
2023-05-29 cs.CL
Synthetic Fluency: Hallucinations, Confabulations, and the Creation of Irish Words in LLM-Generated Translations
Dublin City University（都柏林城市大学）；ADAPT Centre（ADAPT中心）
该研究分析LLM在爱尔兰语翻译中生成不存在新词的幻觉现象，分类其模式并比较GPT-4.o与Mini的频率差异，进而探讨其对低资源语言演变的潜在影响。
2025-04-10 cs.CL
Facts2Story: Controlling Text Generation by Key Facts
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
自我注意神经网络架构的最新进展提高了开放式文本生成的标准。然而，虽然目前的方法能够产生一个连贯的文本，这是几百个单词长，实现控制的内容，正在生成-以及评估它-仍然是悬而未决的问题。我们提出了一个受控的生成任务，这是基于扩展的事实序列，表示在自然语言，成为一个较长的叙述。我们为这项任务引入了基于人类的评估指标，以及一种用于导出大型训练数据集的方法。我们评估了三种基于微调预训练模型的方法。我们发现，虽然自回归，单向语言模型，如GPT 2产生更好的流畅性，他们努力坚持所要求的事实。我们提出了一个计划和完形填空模型（使用微调XLNet），产生竞争力的流畅性，同时坚持所要求的内容。
2020-12-08 cs.CL
PatentTransformer-2: Controlling Patent Text Generation by Structural Metadata
National Taiwan University（台湾大学）；Novatek Microelectronics Corp.（Novatek微電子股份有限公司）
PatentTransformer是我们基于Transformer模型的专利文本生成的代号。我们的目标是“增强发明”。“在第二个版本中，我们在专利中利用了更多的结构元数据。结构化元数据包括专利名称、摘要和从属权利要求，以及先前的独立权利要求。元数据控制模型生成哪种专利文本。此外，我们利用元数据之间的关系来构建文本到文本的生成流程，例如，从几个单词到标题，标题到摘要，摘要到独立权利要求，以及独立权利要求到多个从属权利要求。文本流可以向后移动，因为关系是双向训练的。我们发布了从头开始训练的GPT-2模型和推理代码，以便读者可以自己验证和生成专利文本。至于生成质量，我们用ROUGE和Google Universal Sentence Encoder来衡量。
2020-01-11 cs.CL
Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem
East China Normal University（华东师范大学）；Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
本研究构建含5200道题的UMWP不可解数学应用题数据集，提出结合文本相似度与数学表达式检测的评估方法，测试31个大语言模型，证实上下文学习与RLHF训练可显著提升模型避免幻觉的能力。
2024-03-06 cs.CL
Word Alignment as Preference for Machine Translation
The University of Tokyo（东京大学）；NTT Corporation（NTT公司）
本文提出将词对齐作为偏好信号，通过直接偏好优化引导基于大语言模型的机器翻译系统，以缓解幻觉和遗漏问题，并设计了基于GPT-4的评估方法进行验证。
2024-11-20 cs.AI cs.CL
Thutmose Tagger: Single-pass neural model for Inverse Text Normalization
NVIDIA（英伟达）
反向文本规范化（ITN）是自动语音识别（ASR）中必不可少的后处理步骤。它将数字、日期、缩写和其他符号类从ASR生成的口语形式转换为它们的书面形式。人们可以将ITN视为一个机器翻译任务，并使用神经序列到序列模型来解决它。不幸的是，这种神经模型容易产生幻觉，可能导致不可接受的错误。为了缓解这个问题，我们提出了一个单通道令牌分类器模型，将ITN作为一个标记任务。该模型为每个输入标记分配一个替换片段，或者将其标记为删除或复制而不进行更改。我们提出了一种基于ITN实例粒度对齐的数据集准备方法。所提出的模型是不太容易产生幻觉的错误。该模型在Google Text Normalization数据集上进行训练，并在英语和俄语测试集上达到最先进的句子准确度。标签和输入单词之间的一一对应提高了模型预测的可解释性，简化了调试，并允许后处理校正。该模型比序列到序列模型更简单，更容易在生产环境中优化。模型和准备数据集的代码作为NeMo项目的一部分发布。
2022-07-29 cs.AI cs.CL
OTTAWA: Optimal TransporT Adaptive Word Aligner for Hallucination and Omission Translation Errors Detection
University of Alberta（阿尔伯塔大学）
提出基于最优传输的词对齐器OTTAWA，通过引入“null”向量和单边约束设置显式建模缺失对齐，在HalOmi基准上有效检测机器翻译中的幻觉与漏译错误，且无需访问系统内部状态。
2024-06-04 cs.CL
Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文研究了通过片段级微调策略减少LLM生成式摘要中的幻觉问题，构建了含片段级标签的忠实与不忠实摘要数据集，并评估了梯度上升、不可能性训练和任务向量否定三种技术，发现不可能性训练效果最佳。
2025-10-10 cs.CL
On the Benefits of Fine-Grained Loss Truncation: A Case Study on Factuality in Summarization
Yale University（耶鲁大学）；Allen Institute for AI（艾伦人工智能研究所）
针对文本摘要模型的幻觉问题，研究发现现有Loss Truncation方法因假设局限效果有限，提出基于实体词级NLL的细粒度损失与数据清洗策略，有效减少部分数据集上的幻觉。
2024-03-09 cs.AI cs.CL
A Plug-and-Play Method for Controlled Text Generation
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
大型预训练的语言模型已经多次显示出它们生成流畅文本的能力。然而，即使从一个提示开始，生成也可以朝着许多看似合理的方向继续。当前的解码方法的目标是控制生成，例如，为了确保包括特定的单词，或者需要额外的模型或微调，或者当手头的任务在语义上不受约束时工作不佳，例如，故事世代在这项工作中，我们提出了一种即插即用的解码方法，用于控制语言生成，这是如此简单和直观，它可以用一句话来描述：给定一个主题或关键字，我们增加了一个转移到概率分布在我们的词汇语义相似的话。我们展示了如何退火这种分布可以用来强加硬约束语言生成，没有其他的即插即用的方法是目前能够与SOTA语言生成器。尽管这种方法很简单，但我们看到它在实践中表现得非常好：从GPT-2解码可以产生多样化和流畅的句子，同时保证给定引导词的外观。我们进行了两项用户研究，结果表明：（1）我们的方法在人类评估中优于竞争方法;（2）强制引导词出现在生成的文本中对生成的文本的流畅性没有影响。
2021-09-20 cs.AI cs.CL
Text Generation with Text-Editing Models
Google（谷歌）；McGill University（麦吉尔大学）；Mila（米拉研究所）
文本编辑模型最近已经成为seq 2seq模型的一个突出的替代品，用于单语文本生成任务，如语法错误纠正，简化和风格转换。这些任务有一个共同的特点-它们在源文本和目标文本之间表现出大量的文本重叠。文本编辑模型利用这种观察，并通过预测应用于源序列的编辑操作来学习生成输出。相比之下，seq 2seq模型从零开始逐字生成输出，从而使它们在推理时变慢。与seq 2seq模型相比，文本编辑模型提供了几个优点，包括更快的推理速度、更高的样本效率以及更好的输出控制和可解释性。本教程全面概述了文本编辑模型和当前最先进的方法，并分析了它们的优缺点。我们讨论了与生产化相关的挑战，以及如何使用这些模型来减轻幻觉和偏见，这两个都是文本生成领域的紧迫挑战。
2022-06-14 cs.CL
Information-Theoretic Text Hallucination Reduction for Video-grounded Dialogue
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Chung-Ang University（中央大学）
针对视频-grounded对话系统因学习虚假关联产生的文本幻觉问题，提出基于信息论度量的THAM框架，引入THR损失，在两个基准上验证有效且提升可解释性。
2022-12-12 cs.CL cs.CV
Controlling Topic-Focus Articulation in Meaning-to-Text Generation using Graph Neural Networks
University of Groningen（格罗宁根大学）
针对意义到文本生成中的主题-焦点表述控制问题，提出基于深度优先搜索的图神经网络节点聚合编码策略，在主被动转换任务上显著优于传统方法，通用生成性能达当前最优水平。
2023-10-03 cs.CL
Hallucination Detection for Grounded Instruction Generation
University of Maryland, College Park（马里兰大学学院公园分校）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
研究模拟住宅环境中导航指令生成的幻觉问题，提出利用在大量图文对上预训练的模型，并通过对比损失微调来检测幻觉引用，最终模型优于多个基线。
2023-10-23 cs.AI cs.CL cs.LG
IsoVec: Controlling the Relative Isomorphism of Word Embedding Spaces
Johns Hopkins University（约翰斯·霍普金斯大学）
IsoVec通过将同构性全局度量直接纳入Skip-gram损失函数，提升词嵌入空间的相对同构性，从而改善跨语言映射与双语词典归纳性能。
2023-07-04 cs.CL cs.LG
Length-controllable Abstractive Summarization by Guiding with Summary Prototype
NTT Media Intelligence Laboratories（日本电信电话公司媒体智能实验室）；NTT Corporation（日本电信电话公司）；Nara Institute of Science Technology（奈良先端科学技术大学院大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
提出了一种新的长度可控的摘要模型。最近的国家的最先进的抽象摘要模型的基础上的编码器-解码器模型生成每个源文本只有一个摘要。然而，摘要的可控性，尤其是摘要长度的可控性，是实际应用中的一个重要方面。以往的研究长度可控的摘要将长度嵌入的解码器模块控制摘要的长度。虽然长度嵌入可以控制在哪里停止解码，但它们并不决定在长度约束内哪些信息应该包括在摘要中。与以前的模型不同，我们的长度可控的抽象摘要模型在编码器-解码器模型中引入了一个词级提取模块，而不是长度嵌入。我们的模型通过两个步骤生成摘要。首先，我们的词级提取器提取一个序列的重要词（我们称之为“原型文本”）从源文本根据词级的重要性分数和长度约束。其次，原型文本被用作编码器-解码器模型的附加输入，该模型通过联合编码和复制来自原型文本和源文本的单词来生成摘要。由于原型文本是对摘要内容和长度的指导，因此我们的模型可以生成信息丰富且长度受控的摘要。使用CNN/Daily Mail数据集和NEWSROOM数据集的实验表明，我们的模型在长度控制设置中优于以前的模型。
2020-01-21 cs.CL
DetailVerifyBench: A Benchmark for Dense Hallucination Localization in Long Image Captions
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出 DetailVerifyBench，通过1000张高质量图像和密集的token级注释，评估长图像描述中hallucination的精确定位能力。
2026-04-07 cs.CL cs.CV cs.MM
RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models
NewsBreak（纽斯布雷克）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究构建了包含近1.8万条标注回复的RAGTruth幻觉语料库，用于RAG场景下的词级幻觉分析，基准测试了多模型幻觉频率，验证了用该语料微调小模型可达到媲美GPT-4提示方法的幻觉检测效果。
2024-05-17 cs.CL
Lowest Span Confidence: Zero-Shot Hallucination Detection from a Single LLM Response
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出了一种名为最低跨度置信度（LSC）的零样本度量，用于高效且黑盒检测大型语言模型中的幻觉问题。
2026-10-01 cs.CL
Hallucination of speech recognition errors with sequence to sequence learning
The Ohio State University（俄亥俄州立大学）
自动语音识别（ASR）是一个不完美的过程，当与纯书面文本或transmittance相比时，它会导致ASR输出文本中的某些不匹配。当纯文本数据被用于训练口语语言理解或ASR的系统时，减少所述失配并防止降级的经证实的策略是使ASR输出的内容产生幻觉，将被给予黄金转录。该领域的先前工作集中在语音级别的建模错误，同时使用词典将音素转换为单词，通常伴随着FST语言模型。我们提出了新的端到端模型，直接预测幻觉ASR单词序列输出，条件输入单词序列以及相应的音素序列。这改进了先前公布的结果，用于从域内ASR系统对未看见的数据的转录以及域外ASR系统对来自不相关任务的音频的转录中召回错误，同时另外探索当可获得来自测试ASR系统的有限表征数据时的中间场景。为了验证该方法的外在有效性，我们还使用我们的幻觉ASR错误来增强口语问题分类器的训练，发现当训练时特定于任务的音频很少或甚至为零时，它们能够对下游任务中的真实ASR错误具有鲁棒性。
2021-03-31 cs.CL cs.LG
Controlling Utterance Length in NMT-based Word Segmentation with Attention
LIMSI（法国计算机科学与自动化研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；LIG（格勒诺布尔信息学实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
计算语言文档（CLD）的基本任务之一是在未分割的音素流中识别单词边界。虽然文献中存在几种无监督单语分词算法，但它们在现实世界的CLD设置中受到少量可用数据的挑战。一种可能的补救办法是利用注释或翻译成资源丰富的外语，这类数据通常都有。在本文中，我们探索和比较的方法，利用神经机器翻译模型进行无监督的边界检测与双语信息，特别是引入了一个新的损失函数联合学习对齐和分割。我们的实验与实际的资源不足的语言，Mboshi，并表明，这些技术可以有效地控制输出分割长度。
2019-10-18 cs.CL
When Not to Answer: Evaluating Prompts on GPT Models for Effective Abstention in Unanswerable Math Word Problems
Islamic University of Technology（伊斯兰理工大学）；University of California, Riverside（加州大学河滨分校）
本文通过UWMP数据集和GPT模型API实验，评估提示方法对GPT在不可解答数学应用题中有效弃权（不执行）的作用，揭示其幻觉缺陷并提出改进方向。
2024-10-16 cs.CL cs.LG
Humpty Dumpty: Controlling Word Meanings via Corpus Poisoning
Tel Aviv University（特拉维夫大学）；MIT（麻省理工学院）；Cornell Tech（康奈尔科技学院）
词嵌入，即，诸如GloVe和SGNS的低维向量表示在词的向量之间的距离对应于它们的语义接近度的意义上对词“含义”进行编码。这使得能够对各种自然语言处理任务进行语义的迁移学习。词嵌入通常在大型公共语料库（如Wikipedia或Twitter）上进行训练。我们证明，攻击者谁可以修改的语料库上的嵌入训练可以控制“意义”的新的和现有的单词通过改变它们在嵌入空间中的位置。我们开发了一个明确的表达语料库功能，作为一个代理词之间的距离，并建立其值和嵌入距离之间的因果关系。然后，我们展示了如何将这种关系用于两个对抗目标：（1）使一个词成为另一个词的顶级邻居，以及（2）将一个词从一个语义集群移动到另一个。对嵌入的攻击可能会影响各种下游任务，这首次证明了数据投毒在迁移学习场景中的威力。我们使用这种攻击来操纵信息检索系统（如简历搜索）中的查询扩展，使某些名称或多或少对命名实体识别模型可见，并使新词被翻译为特定的目标词，而不管语言。最后，我们展示了攻击者如何生成语言上可能的语料库修改，从而欺骗防御，试图使用语言模型从语料库中过滤不可信的句子。
2020-01-14 cs.CL cs.CR cs.LG
CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training
Beijing Institute of Technology（北京理工大学）；Xiaomi AI Lab（小米人工智能实验室）
针对同声传译中因词序差异导致的幻觉问题，提出基于置信度的CBSiMT框架，通过词元级和句子级加权训练缓解干扰，在多语种任务中多数延迟区间提升翻译质量，低延迟下BLEU最高提2分。
2023-11-07 cs.CL
Valuable Hallucinations: Realizable Non-realistic Propositions
本文形式化定义 LLM 中有价值的幻觉，提出可实现非现实命题视角，并用 Qwen2.5、HalluQA 与 ReAct 提示在降低总体幻觉的同时提升有价值幻觉占比。
2025-02-18 cs.CL
Exploring Causal Effect of Social Bias on Faithfulness Hallucinations in Large Language Models
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
本研究利用结构因果模型和偏见干预数据集，首次探究并验证了社会偏见是导致大型语言模型产生忠实性幻觉的重要因果因素。
2025-08-11 cs.CL
Theory of Hallucinations based on Equivariance
The University of Tokyo Hospital（东京大学医学部附属医院）
本研究提出基于等变性的语言模型幻觉理论，开发交叉熵误差函数构建幻觉量表，并利用T5模型验证字符级等变性获取能力，发现相关缩放定律，为构建无幻觉超大规模语言模型提供方法。
2024-01-04 cs.CL cs.LG
Controlling Dialogue Generation with Semantic Exemplars
Carnegie Mellon University（卡内基梅隆大学）
用大语言模型预训练的对话系统生成局部连贯的响应，但缺乏对实现特定目标所需的响应的细粒度控制。一个有前途的方法来控制响应生成是基于范例的生成，其中模型编辑范例响应，从训练数据检索，或手写的战略地址话语级的目标，以适应新的对话上下文。但是，目前基于范例的方法往往过度复制的话从范例的反应，导致不连贯的答复。我们提出了一个基于范例的对话生成模型，EDGE，它使用的语义框架中存在的范例响应，以指导生成。我们表明，控制对话生成的基础上的语义框架的范例，而不是在范例本身的话，提高了生成的响应的一致性，同时保持语义意义和会话目标存在于范例响应。
2021-03-25 cs.AI cs.CL
HalOmi: A Manually Annotated Benchmark for Multilingual Hallucination and Omission Detection in Machine Translation
FAIR, Meta（Meta 基础人工智能研究院）
本文发布覆盖18个翻译方向、区分多类幻觉与句词级漏译的人工标注基准HalOmi，并通过大规模多语言评估修正既往结论、建立检测基线。
2023-12-06 cs.CL
Controlling Complexity in Part-of-Speech Induction
INESC-ID Lisboa（里斯本INESC-ID研究所）；Google Inc.（谷歌公司）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑的问题，完全无监督学习的语法（部分的语音）类别从无标签的文本。标准的最大似然隐马尔可夫模型执行此任务不佳，因为它的弱归纳偏差和大的模型容量。我们通过改进模型和修改学习目标来解决这个问题，以通过参数和非参数约束来控制其容量。我们的方法强制执行词类别关联稀疏，增加了形态和正字法的功能，并消除了难以估计的参数罕见的话。我们开发了一种高效的学习算法，它的计算强度并不比标准训练高。我们还提供了一个开源的算法实现。我们对五种不同语言（保加利亚语，丹麦语，英语，葡萄牙语，西班牙语）的实验与以前的方法相比，实现了显着的改善相同的任务。
2014-01-16 cs.CL cs.LG
NCL-UoR at SemEval-2025 Task 3: Detecting Multilingual Hallucination and Related Observable Overgeneration Text Spans with Modified RefChecker and Modified SeflCheckGPT
School of Computing, Newcastle University（新萨勒姆大学计算机学院）；Department of Computer Science, University of Reading（阅读大学计算机科学系）；Previously at School of Computing, Newcastle University（新萨勒姆大学计算机学院）
针对 SemEval-2025 Mu-SHROOM 的多语言幻觉及文本片段定位任务，提出改进的 RefChecker 与 SelfCheckGPT，通过声明式事实验证、外部知识和增强提示实现有效检测。
2025-05-12 cs.AI cs.CL
Mitigating Hallucinations in Large Vision-Language Models via Summary-Guided Decoding
IPAI, Seoul National University（首尔大学IPAI研究所）；Seoul National University（首尔大学）
针对 LVLM 因语言先验产生物体幻觉的问题，提出 SumGD，通过摘要压缩上下文并仅调控图像相关词性 token，在保持文本质量的同时取得最优幻觉缓解效果。
2025-02-19 cs.AI cs.CL cs.CV
ACL-Verbatim: hallucination-free question answering for research
TU Wien（维也纳技术大学）；KR Labs（KR实验室）
本研究提出ACL-Verbatim系统，通过提取式问答方法在科研论文中精准映射用户查询到相关文本片段，构建了新的真实数据集并训练评估了多种提取模型，最终通过150M参数的ModernBERT模型在词级F1得分上达到53.6，优于最强的LLM提取器。
2026-05-20 cs.AI cs.CL cs.SE
Detecting Hallucinated Content in Conditional Neural Sequence Generation
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
神经序列模型可以生成高度流畅的句子，但最近的研究也表明，它们也容易产生输入不支持的额外内容。这些流畅但错误的输出尤其成问题，因为用户不可能告诉他们正在呈现不正确的内容。为了检测这些错误，我们提出了一个任务来预测输出序列中的每个令牌是否是幻觉（不包含在输入中），并为此任务收集新的手动注释的评估集。我们还介绍了一种使用预训练的语言模型来学习检测幻觉的方法，该模型在合成数据上进行了微调，其中包括自动插入的幻觉。机器翻译（MT）和抽象摘要的实验表明，我们提出的方法在所有基准数据集上的表现始终优于强基线。我们进一步展示了如何使用标记级幻觉标签来定义低资源MT中目标序列的细粒度损失，并在强基线方法上实现显着改进。我们还将我们的方法应用于MT的字级质量估计，并在监督和无监督设置中显示其有效性。代码和数据可在https://github.com/violet-zct/fairseq-detect-hallucination上获得。
2021-06-02 cs.AI cs.CL
Detecting Hallucination and Coverage Errors in Retrieval Augmented Generation for Controversial Topics
Google Research（谷歌研究院）；UC San Diego（加州大学圣地亚哥分校）
本研究针对LLM聊天机器人处理争议话题，基于NPOV原则提出检索增强生成框架，并评估三种错误检测方法，其中基于LLM的分类器在幻觉和覆盖错误检测上分别达到95.3%和90.5%的ROC AUC。
2024-03-13 cs.CL
First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models
DGIST EECS（大邱庆北科学技术院电子工程与计算机科学系）
本文提出FLB方法，通过存储首个生成token的logit并加到后续预测中，缓解大视觉-语言模型中的长期衰减问题，有效减少物体幻觉并保持视觉信息。
2026-04-01 cs.AI cs.CL cs.CV
DAHRS: Divergence-Aware Hallucination-Remediated SRL Projection
University of Florida（佛罗里达大学）；IHMC（佛罗里达人文与机器认知研究所（IHMC））
针对大语言模型驱动的跨语言SRL投影存在幻觉标签的问题，提出融合语言学对齐修正与贪心分配策略的DAHRS方法，无需额外Transformer结构即可显著提升多语言词级与短语级SRL投影性能。
2025-03-19 cs.AI cs.CL
Injecting Word Information with Multi-Level Word Adapter for Chinese Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们提高汉语口语语言理解（SLU）的词信息注入。以往的汉语二语习得研究没有考虑词的信息，没有检测出有利于意图检测和槽填充的词边界。针对这一问题，本文提出了一种多级词适配器，用于为中文SLU注入词信息。该适配器由两部分组成：（1）词级词适配器，直接融合词信息和字符信息的句子表示来进行意图检测;（2）字符级词适配器，应用于每个字符，有选择地控制词信息和字符信息的权重。在两个中文SLU数据集上的实验结果表明，该模型能够有效地捕捉到有用的词汇信息，取得了较好的性能。
2022-03-28 cs.CL
LargePiG: Your Large Language Model is Secretly a Pointer Generator
Kuaishou Technology Co., Ltd.（快手科技有限公司）
提出LargePiG方法，将LLM转为指针生成器以分离内容与形式，有效缓解查询生成中的相关性幻觉和事实性幻觉，提升多场景任务准确率。
2024-10-15 cs.CL
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München（慕尼黑工业大学）；TUM（慕尼黑工业大学）；Siemens AG（西门子股份公司）；LMU（慕尼黑大学）
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而，传统的主题模型有几个局限性，包括：（1）词袋（BoW）假设，其中它们忽略了单词排序，（2）数据稀疏，其中由于有限的单词共现，主题模型的应用具有挑战性，导致不连贯的主题，以及（3）没有用于终身主题学习的持续学习框架，利用历史知识（或潜在主题）和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议：（1）结合主题和语言模型并引入语言结构（如词序、句法和语义特征等）的语境化主题模型在主题建模中，（2）将一种新的终身学习机制引入神经主题建模框架，以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外，我们执行一个选择性的数据增强，以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
Word-Level Style Control for Expressive, Non-attentive Speech Synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Samsung Electronics（三星电子）
本文提出了一种表达语音合成架构，用于在单词级别上建模和控制说话风格。它试图学习词级的风格和韵律表示的语音数据，与两个编码器的帮助。第一个模型通过为每个单词找到给定声学特征的风格标记的组合来建模风格，第二个模型输出仅以语音信息为条件的单词级序列，以便将其与风格信息分离。两个编码器输出与音素编码器输出对齐并连接，然后用非注意Tacotron模型解码。一个额外的先验编码器用于自回归地预测风格标记，以便模型能够在没有参考话语的情况下运行。我们发现，由此产生的模型，使两个字的水平和全球控制的风格，以及韵律传输能力。
2021-11-19 cs.CL cs.LG cs.SD
Vision Language Models Map Logos to Text via Semantic Entanglement in the Visual Projector
University of California, Merced（加州大学梅尔德分校）；vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司）；University of Queensland（昆士兰大学）；UCLA（加州大学洛杉矶分校）；University at Buffalo（布法罗大学）
本研究揭示视觉语言模型在标识幻觉中依赖符号先验而非字形感知，通过系统测量和嵌入分析定位投影器子空间为关键因素，并提出解缠与OCR引导解码的缓解方向。
2025-10-14 cs.CL cs.CV
Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models
University of Colorado（科罗拉多大学）
深度学习序列模型已成功应用于形态学拐点的任务。SIGMORPHON共享任务在过去几年中的结果表明，这样的模型可以表现良好，但前提是训练数据覆盖大量不同的引理，或者在训练中也可以看到在测试时发生变化的引理，就像这些任务中的情况一样。令人惊讶的是，标准模型，如Transformer，当被要求改变以前看不见的词元时，几乎完全无法概括变化模式-即在“wug测试”-类似的情况下。虽然建立的数据增强技术可以用来减轻这一缺点，通过引入复制偏见幻觉合成新词形式使用的字母在手头的语言，我们表明，为了更有效，幻觉过程需要注意的子串的音节长度，而不是个别字符或茎。我们报告了一个显着的性能改善与我们的基于子串的幻觉模型比以前的数据幻觉方法时，训练和测试数据不重叠，在他们的引理。
2021-04-13 cs.CL
Relational Graph Learning for Grounded Video Description Generation
Zhejiang University（浙江大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
接地视频描述（GVD）鼓励字幕模型关注适当的视频区域（例如，对象）并生成描述。这样的设置可以帮助解释字幕模型的决定，并防止模型在其描述中出现幻觉。然而，这样的设计主要集中在目标词生成，因此可能会忽略细粒度的信息，并遭受丢失的视觉概念。此外，关系词（例如，“向左或向右跳跃”）是通常的时空推断结果，即，这些词不能建立在特定的空间区域上。为了解决上述局限性，我们设计了一个新的关系图学习框架GVD，其中语言细化的场景图表示设计来探索细粒度的视觉概念。此外，细化图可以被视为关系归纳知识，以帮助字幕模型选择它需要生成正确的单词的相关信息。通过自动度量和人工评价验证了该模型的有效性，结果表明，该方法能够生成更细粒度、更准确的描述，在一定程度上解决了对象幻觉问题。
2021-12-02 cs.AI cs.CL cs.CV
Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework
ICT, CAS（中国科学院信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对RAG预测不确定性导致的风险失控问题，本文提出反事实提示框架，通过改变检索质量与利用方式评估模型置信度，并构建带弃权选项的基准和风险指标验证其有效性。
2024-12-04 cs.CL
Controlling Equational Reasoning in Large Language Models with Prompt Interventions
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）；National Biomarker Centre（国家生物标志物中心）；CRUK-MI（英国癌症研究中心曼彻斯特研究所）
本研究提出通过符号数据生成框架实施提示干预以控制LLM数学推理幻觉，实验发现T5-Large在相关任务上可超过GPT-4少样本表现，并结合多维度评估建立干预特征与推导质量的关联，为细粒度调控模型数学能力提供可能。
2025-01-13 cs.CL math.HO
Meaningless is better: hashing bias-inducing words in LLM prompts improves performance in logical reasoning and statistical learning
Prague University of Economics and Business（布拉格经济与商业大学）
提出用无意义哈希标识符遮蔽 LLM 提示词中诱发偏见的词语，并在 490 条提示词、五类模型上验证其可改善逻辑推理与统计学习，但效果因模型和任务而异。
2025-06-11 cs.AI cs.CL
Controlling Language Difficulty in Dialogues with Linguistic Features
Alibaba Group（阿里巴巴集团）
本文提出通过语言特征控制对话中语言难度的框架，利用可读性、句法和词汇特征提升语言生成的可控性和质量。
2026-01-26 cs.CL
Long-term Control for Dialogue Generation: Methods and Evaluation
ASAPP；Cornell（康奈尔大学）
当前用于控制对话响应生成的方法主要集中在诸如风格、情感或主题的高级属性上。在这项工作中，我们专注于受约束的长期对话生成，这涉及到更细粒度的控制，并需要一组给定的控制词出现在生成的响应。这种设置需要一个模型，不仅要考虑这些控制词在当前上下文中的生成，而且还要产生在（可能是遥远的）未来某个时间鼓励生成这些词的话语。我们定义的问题，约束的长期控制对话生成，确定目前的评估方法的差距，并提出新的指标，更好地衡量长期控制。我们还提出了一种检索增强的方法，通过logit修改技术，提高长期控制发电的性能。我们通过对三个面向任务的对话数据集的实验表明，我们的指标更好地评估对话控制相对于当前的替代方案，我们的方法优于最先进的约束生成基线。
2022-05-15 cs.AI cs.CL
