Retrieved but Not Read: Understanding Why Search-Augmented LLMs Fail to Use Available Evidence
Imperial College London(帝国理工学院)
该研究针对搜索增强型大语言模型存在的检索证据未被有效利用的问题,通过构建时间事实、评估不同模型配置,发现模型常基于搜索片段直接作答,即便证据影响内部预测仍可能偏向过时信息,相关发现可推动该领域研究。
2026-10-16 cs.AI cs.CL cs.IR
Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
研究大语言模型微调中记忆知识无法泛化的问题,用自修补技术监测知识渗透动态,发现与知识电路未对准假设一致,还设计启发式策略验证,跨域实验证明发现具稳健性。
2026-09-29 cs.AI cs.CL
Rethinking Thinking Tokens: Understanding Why They Underperform in Practice
IIIT Hyderabad(印度信息技术学院海得拉巴分校);Instituto Superior Técnico(高等技术学院);FEE, Czech Technical University in Prague(捷克技术大学电气工程学院)
本文揭示了思考令牌因依赖单一嵌入导致学习信号不一致和噪声梯度,在多个基准测试中表现不如思维链,并通过全面实证分析验证了该假设。
2024-11-18 cs.CL cs.LG
Why LLMs Hallucinate, and How to Get (Evidential) Closure: Perceptual, Intensional, and Extensional Learning for Faithful Natural Language Generation
UC Berkeley(加州大学伯克利分校)
本文指出LLM幻觉源于输出缺乏证据闭包,提出通过感知、外延和内涵学习约束模型输出,并设计Learn-Babble-Prune程序拒绝无证据同义输出以实现忠实生成。
2023-10-23 cs.AI cs.CL
Intermediate-Task Transfer Learning with Pretrained Models for Natural Language Understanding: When and Why Does It Work?
New York University(纽约大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
虽然像BERT这样的预训练模型在自然语言理解任务中表现出了很大的增益,但在对目标任务进行微调之前,可以通过在数据丰富的中间任务上进一步训练模型来提高它们的性能。然而,它仍然是知之甚少,以及为什么中间任务培训是有益的,为一个给定的目标任务。为了研究这一点,我们对预训练的RoBERTa模型进行了一项大规模研究,其中包含110个中间目标任务组合。我们通过25个探测任务进一步评估所有经过训练的模型,旨在揭示推动迁移的特定技能。我们观察到,需要高层次的推理和推理能力的中级任务往往效果最好。我们还观察到,目标任务的表现与更高层次的能力,如共指消解密切相关。然而,我们未能观察到探测和目标任务性能之间的更细粒度的相关性,突出了需要进一步的工作,广泛覆盖的探测基准。我们还观察到证据表明,在预训练过程中学习的知识的遗忘可能会限制我们的分析,强调需要在这些设置中进一步研究迁移学习方法。
2020-05-09 cs.CL
Why Are Parsing Actions for Understanding Message Hierarchies Not Random?
Preferred Networks, Inc.(Preferred Networks公司);The University of Tokyo(东京大学)
针对涌现通信中随机解析策略仍能实现高准确率的问题,本研究通过引入层级结构复杂输入并将惊异度相关项纳入目标函数,评估随机解析策略是否仍具优势。
2025-06-27 cs.CL
When and why vision-language models behave like bags-of-words, and what to do about it?
Stanford University(斯坦福大学)
尽管大型视觉和语言模型(VLM)在许多下游应用中取得了成功,但目前还不清楚它们对成分信息的编码效果如何。在这里,我们创建了归因、关系和顺序(ARO)基准,以系统地评估VLM理解不同类型的关系、属性和顺序的能力。ARO包括Visual Genome Attribution,用于测试对象属性的理解; Visual Genome Relation,用于测试关系理解;以及COCO & Flickr 30 k-Order,用于测试顺序敏感性。ARO比以前的组合性基准大几个数量级,有超过50,000个测试用例。我们展示了最先进的VLM的关系理解能力很差,在将对象链接到其属性时可能会出错,并且表现出严重缺乏顺序敏感性。VLM主要在图像和标题中具有丰富组成结构的大型数据集上进行训练和评估。然而,在这些数据集上的训练还不足以解决缺乏成分理解的问题,对这些数据集的评估也未能揭示这一缺陷。为了理解为什么这些限制会出现,而在标准测试中却没有表现出来,我们放大到评估和培训程序。我们证明,它是可能的,在现有的数据集上进行检索,而不使用的组成和顺序信息。鉴于对比预训练优化了具有类似快捷方式的数据集上的检索,我们假设这可以解释为什么模型不需要学习表示成分信息。这一发现提出了一个自然的解决方案:成分感知的硬负面挖掘。我们发现,一个简单的实施修改对比学习显着提高了性能的任务,需要理解的顺序和组合。
2023-03-23 cs.AI cs.CL cs.CV
Why is prompting hard? Understanding prompts on binary sequence predictors
Google DeepMind(谷歌DeepMind)
本文探讨了二进制序列预测器上提示的挑战,通过实验揭示了预训练分布对最优提示识别的影响,并分析了前沿模型中提示的统计和经验模式。
2026-05-11 cs.CL cs.LG stat.ML
Why does CTC result in peaky behavior?
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限责任公司)
CTC模型的峰值行为在实验上是众所周知的。然而,关于为什么会出现峰值行为以及这是否是一个好的属性的理解缺失。我们提供了一个正式的峰值行为和梯度下降收敛性能的CTC损失和相关的训练标准的分析。我们的分析提供了一个深刻的理解为什么峰值行为发生,当它是次优的。在一个简单的例子,这应该是微不足道的学习任何模型,我们证明了一个前馈神经网络训练与CTC从统一的初始化收敛到峰值的行为与100%的出错率。我们的分析进一步解释了为什么CTC只与空白标签一起工作。我们进一步证明,峰值行为不会发生在其他相关的损失,包括标签先验模型,这提高了收敛性。
2021-06-03 cs.AI cs.CL cs.LG
Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding
Salesforce AI Research(Salesforce AI研究院);UCLA(加州大学洛杉矶分校)
本研究探究视觉语言模型在视觉算术上的不足,提出基于皮亚杰认知发展理论的CogAlign后训练策略,通过识别视觉变换下的不变属性,显著提升模型在探测任务及图表、几何理解上的性能。
2025-05-24 cs.AI cs.CL cs.CV
Why self-attention is Natural for Sequence-to-Sequence Problems? A Perspective from Symmetries
Stanford University(斯坦福大学)
在本文中,我们表明,类似于自注意力的结构是很自然的,从对称性的角度来学习许多序列到序列的问题。受语言处理应用程序的启发,我们研究了seq 2seq函数与知识的正交等方差,这些函数具有两个输入-输入序列和“知识”-并输出另一个序列。知识由与输入序列相同的嵌入空间中的一组向量组成,包含用于处理输入序列的语言的信息。我们发现,在嵌入空间的正交等方差是自然的seq 2seq函数的知识,在这样的等方差的功能必须采取的形式接近的自注意力。这表明,类似于自注意力的网络结构是代表许多seq 2seq问题的目标函数的正确结构。如果考虑“有限信息原理”,或者输入序列的元素具有置换等方差,则可以进一步细化表示。
2022-10-13 cs.CL cs.LG
Why Braking? Scenario Extraction and Reasoning Utilizing LLM
CARIAD SE(CARIAD公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(弗劳恩霍夫信息技术研究中心)
本文针对ADAS数据中安全关键场景难以识别的问题,提出利用大语言模型进行场景理解与推理的双路径检索框架,并在Argoverse 2数据集上验证其优于规则基线且能泛化到分布外场景。
2025-07-17 cs.AI cs.CL
Understanding Why Language Models Hallucinate: Testing Reasoning Against Priors
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出推理错位假说,认为幻觉源于模型偏向统计显著的潜在关联而非遵循提示约束,并通过TrapQA测试集验证了两种偏差模式。
2026-10-05 cs.CL
A survey of diversity quantification in natural language processing: The why, what, where and how
France Université Paris-Saclay, CNRS, LISN(法国巴黎萨克雷大学,CNRS,LISN);Belgium FNRS - UCLouvain(比利时FNRS - 奥斯迪大学);Israel The Open University of Israel(以色列开放大学);Germany Heidelberg University(德国海德堡大学)
本文综述了自然语言处理中多样性的量化问题,提出四个视角分析其重要性、测量对象、测量地点及方法,提升多样性研究的可比性与指导性。
2026-10-26 cs.CL
"Why is this misleading?": Detecting News Headline Hallucinations with Explanations
Google Research(谷歌研究院);Google(谷歌)
自动标题生成使用户能够及时理解正在发生的新闻事件,近年来已成为Web挖掘和自然语言处理的一个重要任务。随着对新闻标题生成需求的不断增长,我们认为,幻觉问题,即生成的标题不受原始新闻故事的支持,是在网络规模系统中部署此功能的关键挑战。同时,由于幻觉案例的不常见以及评分员需要仔细阅读才能达成正确的共识,很难获得用于训练模型的大数据集以通过人工管理来检测这种幻觉。在这项工作中,我们提出了一个名为ExHalder的新框架来解决标题幻觉检测的挑战。ExHalder将来自公共自然语言推理数据集的知识适应到新闻领域,并学习生成自然语言句子来解释幻觉检测结果。为了评估模型的性能,我们仔细收集了一个包含6000多个标签<article,headline>对的数据集。在这个数据集和另外六个公共数据集上进行的大量实验表明,ExHalder可以准确地识别幻觉标题,并通过人类可读的自然语言解释证明其预测是正确的。
2023-02-12 cs.AI cs.CL cs.IR
Why Do Multilingual Reasoning Gaps Emerge in Reasoning Language Models?
Graduate School of Artificial Intelligence, POSTECH(浦项工业大学人工智能研究生院);Agentic AI Lab, KT(KT公司Agentic AI实验室);Department of Computer Science and Engineering, POSTECH(浦项工业大学计算机科学与工程系)
本文探讨了多语言推理模型中存在多语言推理差距的原因,发现语言理解失败是主因,并提出Selective Translation策略有效缓解了这一问题。
2026-04-13 cs.AI cs.CL cs.LG
Learning to Explain: Answering Why-Questions via Rephrasing
Stanford University(斯坦福大学)
对于基于语言的人机交互来说,提供合理的答案是一个具有挑战性但至关重要的目标。推理是具有挑战性的,因为它们需要许多不同形式的抽象知识和推理。以前的工作要么依赖于人工策划的结构化知识库,要么依赖于详细的领域表示来生成令人满意的解释。他们也往往局限于排名预先存在的解释选择。在我们的工作中,我们有助于生成自然语言解释一般现象的未开发领域。我们自动收集大量的解释-现象对数据集,这使我们能够训练序列到序列模型来生成自然语言解释。我们比较了不同的训练策略,并使用自动评分和人工评分来评估它们的性能。我们证明,与在不同数据集上训练的其他模型相比,我们的策略足以为一般开域现象产生高度合理的解释。
2019-06-04 cs.CL
The Good, The Bad, and Why: Unveiling Emotions in Generative AI
Microsoft Research(微软研究院);CAS(中国科学院);William & Mary(威廉玛丽学院);Beijing Normal University(北京师范大学);Hong Kong University of Science and Technology(香港科技大学)
本文通过引入心理学理论,提出EmotionPrompt、EmotionAttack和EmotionDecode三种方法,系统研究生成式人工智能模型中的情感理解机制,并证明情感刺激可提升或削弱模型表现。
2024-06-07 cs.AI cs.CL cs.HC
Understanding Emergent In-Context Learning from a Kernel Regression Perspective
Siebel School of Computing and Data Science(计算与数据科学学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出核回归视角解释Transformer语言模型的上下文学习机制,证明贝叶斯推断可渐近为核回归,并揭示注意力与隐藏特征匹配核回归行为,为ICL现象提供理论依据。
2025-09-12 cs.AI cs.CL cs.LG
Why Knowing Both Hops Is Not Enough: Understanding Two-Hop Generalization in Language Models
Xi’an Jiaotong University(西安交通大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究针对语言模型两跳查询失败问题,在受控环境训练Transformer,揭示其泛化规律与跨层不匹配机制,提出循环式训练策略以提升分布外两跳泛化能力。
2026-08-31 cs.CL
Reading Between the Lines: A dataset and a study on why some texts are tougher than others
University of Leeds(利兹大学)
本文针对智力障碍读者的文本可读性问题,构建了基于平行语料的困难标注数据集,并微调transformer模型预测简化策略,同时探索模型决策的可解释性。
2025-01-03 cs.CL
Understanding Fact Recall in Language Models: Why Two-Stage Training Encourages Memorization but Mixed Training Teaches Knowledge
RIKEN Center for Advanced Intelligence Project(日本理化学研究所高级智能项目中心);Tohoku University(东北大学);The University of Tokyo(东京大学);MBZUAI
通过比较2.8~4B语言模型中的两阶段训练与混合训练,发现混合训练通过联合优化目标实现存储与查询格式间的梯度一致性,驱动表征一致性并建立格式不变的检索过程,从而泛化回忆未见查询中的事实。
2026-05-28 cs.CL
Why Guided Dialog Policy Learning performs well? Understanding the role of adversarial learning and its alternative
AI Shift Inc.(AI Shift公司);CyberAgent Inc.(CyberAgent公司)
本文分析对抗学习在引导式对话策略学习中的作用,提出去除对抗学习但保留其优势的奖励估计与策略学习方法,并在MultiWOZ上评估。
2023-07-13 cs.CL cs.LG
Representation Learning for Natural Language Processing
本书旨在回顾和介绍NLP分布式表示学习的最新进展,包括为什么表示学习可以改善NLP,表示学习如何参与NLP的各种重要主题,以及分布式表示仍然没有很好地解决哪些挑战。
2021-02-07 cs.CL
Why is Winoground Hard? Investigating Failures in Visuolinguistic Compositionality
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的视觉语言学预训练模型在各种最终任务上显示出有希望的进展,例如图像检索和视频描述。然而,他们在最近提出的Winoground数据集上失败得很惨,该数据集挑战模型匹配配对图像和英文字幕,其中项目被构造为在词汇上重叠但含义不同(例如,“There is a mug in some grass”与“There is some grass in a mug”的对比)。通过使用新的细粒度标签注释数据集,我们表明解决Winoground任务不仅需要组合语言理解,而且还需要许多其他能力,如常识推理或在低分辨率图像中定位小的,焦点外的对象。在本文中,我们通过一系列相关任务(探测任务,图像检索任务),数据增强和手动检查数据集的实验来确定数据集的主要挑战。我们的分析表明,视觉语言学模型的一个主要挑战可能在于融合视觉和文本表征,而不是成分语言理解。我们在https://github.com/ajd12342/why-winoground-hard上发布我们的注释和代码。
2022-12-03 cs.CL cs.CV
Why is unsupervised alignment of English embeddings from different algorithms so hard?
University of Copenhagen(哥本哈根大学)
本文向社区提出了一个挑战:生成对抗网络(GANs)可以完全对齐使用相同算法诱导的独立英语词嵌入,仅基于分布信息;但对于两种不同的嵌入算法,却无法做到这一点。为什么会这样?我们相信理解为什么,是理解现代词嵌入算法和GANs的局限性和不稳定动态的关键。本文表明,(a)在所有这些情况下,对齐失败,两个嵌入之间存在线性变换(因此算法偏差不会导致非线性差异),以及(b)通过改变超参数不易获得类似的效果。基于我们最初的实验,一个合理的建议是,嵌入算法的归纳偏差的差异导致了一个充满局部最优值的优化景观,导致了一个非常小的收敛流域,但我们提出这更多的是一个挑战性的论文,而不是技术贡献。
2018-09-01 cs.CL