Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
研究大语言模型微调中记忆知识无法泛化的问题,用自修补技术监测知识渗透动态,发现与知识电路未对准假设一致,还设计启发式策略验证,跨域实验证明发现具稳健性。
2026-09-29 cs.AI cs.CL
Why Chain of Thought Fails in Clinical Text Understanding
Harvard Medical School(哈佛医学院);MIT(麻省理工学院);Broad Institute of MIT and Harvard(MIT与哈佛大学Broad研究所)
本研究发现链式思维在临床文本理解中导致性能下降,揭示了其在临床任务中可靠性与可解释性的矛盾。
2025-12-08 cs.AI cs.CL
Retrieved but Not Read: Understanding Why Search-Augmented LLMs Fail to Use Available Evidence
Imperial College London(帝国理工学院)
该研究针对搜索增强型大语言模型存在的检索证据未被有效利用的问题,通过构建时间事实、评估不同模型配置,发现模型常基于搜索片段直接作答,即便证据影响内部预测仍可能偏向过时信息,相关发现可推动该领域研究。
2026-10-16 cs.AI cs.CL cs.IR
Rethinking Thinking Tokens: Understanding Why They Underperform in Practice
IIIT Hyderabad(印度信息技术学院海得拉巴分校);Instituto Superior Técnico(高等技术学院);FEE, Czech Technical University in Prague(捷克技术大学电气工程学院)
本文揭示了思考令牌因依赖单一嵌入导致学习信号不一致和噪声梯度,在多个基准测试中表现不如思维链,并通过全面实证分析验证了该假设。
2024-11-18 cs.CL cs.LG
Why Didn't It Check? Unsupported Final Claims and Their Repair in Two Tool-Equipped Language Models
Corabo(科拉博公司)
该研究分析了配备工具的语言模型作出未获支持最终主张的问题,在 Qwen3-32B 上实现了 33/512 的发生率,提供证据可修复全部此类主张,而 Gemma 4 未出现该问题。
2026-08-31 cs.AI cs.CL
When and why vision-language models behave like bags-of-words, and what to do about it?
Stanford University(斯坦福大学)
尽管大型视觉和语言模型(VLM)在许多下游应用中取得了成功,但目前还不清楚它们对成分信息的编码效果如何。在这里,我们创建了归因、关系和顺序(ARO)基准,以系统地评估VLM理解不同类型的关系、属性和顺序的能力。ARO包括Visual Genome Attribution,用于测试对象属性的理解; Visual Genome Relation,用于测试关系理解;以及COCO & Flickr 30 k-Order,用于测试顺序敏感性。ARO比以前的组合性基准大几个数量级,有超过50,000个测试用例。我们展示了最先进的VLM的关系理解能力很差,在将对象链接到其属性时可能会出错,并且表现出严重缺乏顺序敏感性。VLM主要在图像和标题中具有丰富组成结构的大型数据集上进行训练和评估。然而,在这些数据集上的训练还不足以解决缺乏成分理解的问题,对这些数据集的评估也未能揭示这一缺陷。为了理解为什么这些限制会出现,而在标准测试中却没有表现出来,我们放大到评估和培训程序。我们证明,它是可能的,在现有的数据集上进行检索,而不使用的组成和顺序信息。鉴于对比预训练优化了具有类似快捷方式的数据集上的检索,我们假设这可以解释为什么模型不需要学习表示成分信息。这一发现提出了一个自然的解决方案:成分感知的硬负面挖掘。我们发现,一个简单的实施修改对比学习显着提高了性能的任务,需要理解的顺序和组合。
2023-03-23 cs.AI cs.CL cs.CV
Intermediate-Task Transfer Learning with Pretrained Models for Natural Language Understanding: When and Why Does It Work?
New York University(纽约大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
虽然像BERT这样的预训练模型在自然语言理解任务中表现出了很大的增益,但在对目标任务进行微调之前,可以通过在数据丰富的中间任务上进一步训练模型来提高它们的性能。然而,它仍然是知之甚少,以及为什么中间任务培训是有益的,为一个给定的目标任务。为了研究这一点,我们对预训练的RoBERTa模型进行了一项大规模研究,其中包含110个中间目标任务组合。我们通过25个探测任务进一步评估所有经过训练的模型,旨在揭示推动迁移的特定技能。我们观察到,需要高层次的推理和推理能力的中级任务往往效果最好。我们还观察到,目标任务的表现与更高层次的能力,如共指消解密切相关。然而,我们未能观察到探测和目标任务性能之间的更细粒度的相关性,突出了需要进一步的工作,广泛覆盖的探测基准。我们还观察到证据表明,在预训练过程中学习的知识的遗忘可能会限制我们的分析,强调需要在这些设置中进一步研究迁移学习方法。
2020-05-09 cs.CL
Why Are Parsing Actions for Understanding Message Hierarchies Not Random?
Preferred Networks, Inc.(Preferred Networks公司);The University of Tokyo(东京大学)
针对涌现通信中随机解析策略仍能实现高准确率的问题,本研究通过引入层级结构复杂输入并将惊异度相关项纳入目标函数,评估随机解析策略是否仍具优势。
2025-06-27 cs.CL
Do LLMs Understand Why We Write Diaries? A Method for Purpose Extraction and Clustering
European University at Saint Petersburg(圣彼得堡欧洲大学)
本文提出基于大语言模型的日记写作目的提取与聚类方法,并在Prozhito苏联日记语料上验证,发现GPT-4o和o1-mini性能最佳,同时分析了目的分布与模型错误类型。
2025-06-01 cs.CL
Why is prompting hard? Understanding prompts on binary sequence predictors
Google DeepMind(谷歌DeepMind)
本文探讨了二进制序列预测器上提示的挑战,通过实验揭示了预训练分布对最优提示识别的影响,并分析了前沿模型中提示的统计和经验模式。
2026-05-11 cs.CL cs.LG stat.ML
Fine-Tuning a KV Cache Concatenation-Aware Model or Recomputing KV Caches? Why Not Both?
Kioxia Corporation(铠侠公司)
本文提出结合微调感知KV缓存拼接与选择性重算KV缓存的方法,在RULER基准上提升长上下文准确性9.7分,同时减少80%的TTFT。
2026-09-10 cs.AI cs.CL cs.LG
Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding
Salesforce AI Research(Salesforce AI研究院);UCLA(加州大学洛杉矶分校)
本研究探究视觉语言模型在视觉算术上的不足,提出基于皮亚杰认知发展理论的CogAlign后训练策略,通过识别视觉变换下的不变属性,显著提升模型在探测任务及图表、几何理解上的性能。
2025-05-24 cs.AI cs.CL cs.CV
Understanding Why Language Models Hallucinate: Testing Reasoning Against Priors
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出推理错位假说,认为幻觉源于模型偏向统计显著的潜在关联而非遵循提示约束,并通过TrapQA测试集验证了两种偏差模式。
2026-10-05 cs.CL
Item-Mean Surrogates: Why Richer Personas Fail to Deliver Individual Fidelity in LLMs as Human Surrogates
University of Georgia(佐治亚大学);MIT Sloan School of Management(麻省理工学院斯隆管理学院);Boston University(波士顿大学)
该研究验证LLM作为人类替代物的前提,发现其仅能近似项目均值,无法捕捉受访者特异性偏差,且更丰富的角色数据等无法缩小差距,提出四项实证检验方法。
2026-11-03 cs.CL cs.CY cs.LG
Why Do Masked Neural Language Models Still Need Common Sense Knowledge?
Korea Advanced Institute of Science and Technology(韩国科学技术院);Ulsan National Institute of Science and Technology(蔚山国立科学技术院)
目前,语境化的单词表示是通过复杂的神经网络模型来学习的,例如掩蔽神经语言模型(MNLM)。新的表示方法显著提高了通过阅读段落进行自动问答的性能。然而,由于参数众多且相互混杂,很难确定在MNLM中培训的详细知识。本文提供了经验,但有见地的分析预训练MNLM方面的常识知识。首先,我们提出了一个测试,测量什么类型的常识知识做预训练MNLM理解。从测试中,我们观察到,MNLM部分理解各种类型的常识知识,但不准确理解关系的语义。此外,基于问答任务问题的难度,我们观察到预训练的基于MLM的模型仍然容易受到需要常识知识的问题的影响。我们还通过实验证明,我们可以通过结合外部常识库中的知识来提升现有的基于MNLM的模型。
2019-11-08 cs.CL
Learning to Explain: Answering Why-Questions via Rephrasing
Stanford University(斯坦福大学)
对于基于语言的人机交互来说,提供合理的答案是一个具有挑战性但至关重要的目标。推理是具有挑战性的,因为它们需要许多不同形式的抽象知识和推理。以前的工作要么依赖于人工策划的结构化知识库,要么依赖于详细的领域表示来生成令人满意的解释。他们也往往局限于排名预先存在的解释选择。在我们的工作中,我们有助于生成自然语言解释一般现象的未开发领域。我们自动收集大量的解释-现象对数据集,这使我们能够训练序列到序列模型来生成自然语言解释。我们比较了不同的训练策略,并使用自动评分和人工评分来评估它们的性能。我们证明,与在不同数据集上训练的其他模型相比,我们的策略足以为一般开域现象产生高度合理的解释。
2019-06-04 cs.CL
Why Knowing Both Hops Is Not Enough: Understanding Two-Hop Generalization in Language Models
Xi’an Jiaotong University(西安交通大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究针对语言模型两跳查询失败问题,在受控环境训练Transformer,揭示其泛化规律与跨层不匹配机制,提出循环式训练策略以提升分布外两跳泛化能力。
2026-08-31 cs.CL
Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers
Peking University(北京大学);Tsinghua University(清华大学);Microsoft Research(微软研究院)
本文提出语言模型作为元优化器,将上下文学习视为隐式微调,通过理论证明注意力与梯度下降的对偶关系,并实验验证其与显式微调相似,进而设计动量注意力以提升性能。
2023-05-15 cs.CL
Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization
Department of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出多响应训练(MRT)方法,通过保留每个提示的多个有效响应来缓解传统单响应微调导致的“模式抽彩”问题,并从统计角度揭示了其提升分布泛化的原理和适用条件。
2026-05-30 cs.CL cs.LG
Why is "Chicago" Predictive of Deceptive Reviews? Using LLMs to Discover Language Phenomena from Lexical Cues
Amazon(亚马逊);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文研究LLMs能否将微妙的词汇线索转化为人类可理解的语言现象,提出猜想-验证框架,证明其在数据上具有实证基础,可跨领域推广且比传统方法更有效。
2026-05-13 cs.CL cs.LG
Why is Winoground Hard? Investigating Failures in Visuolinguistic Compositionality
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的视觉语言学预训练模型在各种最终任务上显示出有希望的进展,例如图像检索和视频描述。然而,他们在最近提出的Winoground数据集上失败得很惨,该数据集挑战模型匹配配对图像和英文字幕,其中项目被构造为在词汇上重叠但含义不同(例如,“There is a mug in some grass”与“There is some grass in a mug”的对比)。通过使用新的细粒度标签注释数据集,我们表明解决Winoground任务不仅需要组合语言理解,而且还需要许多其他能力,如常识推理或在低分辨率图像中定位小的,焦点外的对象。在本文中,我们通过一系列相关任务(探测任务,图像检索任务),数据增强和手动检查数据集的实验来确定数据集的主要挑战。我们的分析表明,视觉语言学模型的一个主要挑战可能在于融合视觉和文本表征,而不是成分语言理解。我们在https://github.com/ajd12342/why-winoground-hard上发布我们的注释和代码。
2022-12-03 cs.CL cs.CV