Continuously Steering LLMs Sensitivity to Contextual Knowledge with Proxy Models
Xi’an Jiaotong University(西安交通大学)
针对大语言模型上下文知识敏感度难以持续调控的问题,提出CSKS框架,通过两个小型代理模型的输出分布差偏移大模型分布,无需修改大模型权重即可灵活调控其对上下文知识的敏感度。
2025-08-30 cs.CL
Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Amazon(亚马逊)
本文提出一种在推理时结合对比解码与对抗性不相关段落负样本的方法,以增强大语言模型在开放域问答中的上下文锚定能力,实验证明其优于现有方法且无需额外训练。
2024-05-04 cs.AI cs.CL
Do LLMs Know What Is Private Internally? Probing and Steering Contextual Privacy Norms in Large Language Model Representations
本文研究了大语言模型中上下文隐私规范的编码结构,通过探测和引导上下文隐私参数,揭示了模型在隐私保护上的不足,并展示了如何通过结构化控制减少隐私泄露。
2026-08-06 cs.CL
"Lost-in-the-Later": Framework for Quantifying Contextual Grounding in Large Language Models
Portland State University(波特兰州立大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出CoPE框架,发现LLM存在“迷失于后段”的位置偏差,即忽视上下文后部信息,并证明基于上下文知识的提示可改善事实锚定、减少幻觉。
2025-07-07 cs.AI cs.CL
Robust and Scalable Model Editing for Large Language Models
Tsinghua University(清华大学);Tencent Machine Learning Platform(腾讯机器学习平台);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究发现指令微调LLMs可通过提示方法受上下文知识控制并对不相关上下文鲁棒,据此提出EREN方法,通过上下文编辑提升模型编辑的可扩展性与鲁棒性,在新构建的高难度数据集上大幅超越现有方法。
2024-03-26 cs.CL cs.LG
Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团)
本文提出基于强化学习的 Trustworthy-Alignment 算法,使检索增强大语言模型仅依赖外部证据响应并抑制参数化知识干扰,从而缓解幻觉,实现无需显式监督的可信对齐。
2024-10-22 cs.CL
Large Language Models in Resolving Contextual Knowledge Conflicts
Northwestern University(西北大学);New York University(纽约大学);University of Florida(佛罗里达大学)
该研究针对上下文知识内部的冲突,构建了ContextConflict数据集,分析9种LLM的冲突处理能力,揭示其偏向早期证据的偏差,并提出无训练无标签的引导方法提升冲突解决效果。
2026-09-04 cs.CL
Complementary Roles of Activation and Parametric Memory in Few-Shot Learning
Northeastern University(东北大学);NiuTrans Research(NiuTrans 研究院)
本研究通过受控实验发现,大型语言模型在少样本学习中,激活记忆擅长事实回忆,参数化记忆并非始终更优,且复合任务需两者协同,神经元分析证实其互补性。
2026-09-24 cs.CL
Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
该研究发现Transformer类大语言模型注意力Q、K中的集中大数值是上下文知识理解的关键,其由RoPE从浅层引发,忽略会显著降低上下文任务性能,为模型机制理解和优化提供了新方向。
2025-05-20 cs.CL
Contextual Knowledge Pursuit for Faithful Visual Synthesis
Center for Innovation in Data Engineering and Science, University of Pennsylvania(宾夕法尼亚大学数据工程与科学创新中心)
本文提出上下文知识追求(CKPT)框架,结合外部检索与LLM参数化知识,通过上下文知识追求和过滤微调,减少文本到视觉生成中的幻觉,提升图像、3D和视频合成的忠实性与语义丰富度。
2024-11-05 cs.CL cs.CV cs.LG
Which Knowledge Should LLMs Trust? Uncovering a Generalizable Steering Direction Across Knowledge Conflicts
Peking University(北京大学);Southern University of Science and Technology(南方科技大学);YIXIN(亿信科技)
该研究揭示LLMs在知识冲突间存在可泛化的引导方向,沿此方向引导可提升模型对外部提示信息的使用效果,适用于多任务族与模型族。
2026-10-15 cs.AI cs.CL
When Context Leads but Parametric Memory Follows in Large Language Models
Portland State University(波特兰州立大学)
本文通过新数据集WikiAtomic研究九个LLM在知识一致场景下的知识分配,发现模型稳定依赖约70%上下文和30%参数知识,且增大上下文可减少幻觉,为优化上下文利用提供依据。
2024-11-21 cs.AI cs.CL
Context-faithful Prompting for Large Language Models
University of Southern California(南加州大学);Microsoft Research(微软研究院)
本文研究如何通过基于观点的提示和反事实演示两种无需额外训练的提示策略,提升大型语言模型在知识冲突和带弃权预测场景下的上下文忠实度,并在机器阅读理解和关系抽取任务上验证了其有效性。
2023-10-23 cs.CL
ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models
Adobe Research(Adobe研究)
ContextFocus通过轻量级激活引导方法提升大语言模型在知识冲突场景下的上下文忠实性,无需微调且高效,实验表明其在ConFiQA基准上显著优于基线方法。
2026-01-12 cs.AI cs.CL cs.LG
Contextual Image Attack: How Visual Context Exposes Multimodal Safety Vulnerabilities
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Xi’an Jiaotong University(西安交通大学);Renmin University of China(中国人民大学)
本文提出上下文图像攻击方法,通过多智能体系统和四种可视化策略,有效利用图像的上下文信息对多模态大语言模型进行劫持攻击,实验结果显示攻击效果优于现有方法。
2025-12-02 cs.CL cs.CR cs.CV
Deciphering the Interplay of Parametric and Non-parametric Memory in Retrieval-augmented Language Models
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本研究针对生成式语言模型处理小众专业知识的难题,采用因果中介分析与对照实验探究RAG模型Atlas对参数化记忆和非参数化记忆的选择机制,发现模型更依赖检索上下文,且存在相关性判断、支持复制的表征计算两类可检测机制。
2024-10-07 cs.CL
KnowPO: Knowledge-aware Preference Optimization for Controllable Knowledge Selection in Retrieval-Augmented Language Models
Big Data Technology Research Center, Nanhu Laboratory(大数据技术研究中心,南湖实验室)
针对检索增强语言模型知识整合中存在的冲突问题,提出知识感知偏好优化策略KnowPO,构建多类型知识冲突数据集并优化偏好平衡,显著提升知识选择效果与泛化能力。
2024-08-19 cs.AI cs.CL
Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict
Center for Language and Speech Processing, Data Science and AI Institute(语言与语音处理中心,数据科学与人工智能研究所)
研究探讨了任务类型如何影响LLM在上下文与记忆冲突中的表现,发现任务对知识的依赖和冲突合理性共同影响性能,提出任务感知方法以平衡上下文与记忆。
2026-04-19 cs.AI cs.CL
Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge
Johns Hopkins University(约翰斯·霍普金斯大学)
该研究提出信息丰度悖论,发现长上下文训练会使模型减少参数化知识编码、增加对上下文的依赖,预训练和微调中均存在性能先升后降或鲁棒性降低的现象,表明近无穷大上下文缩放并非仅靠更多数据。
2026-08-14 cs.AI cs.CL
IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
AI4Bharat, Indian Institute of Technology Madras, India(AI4Bharat,印度理工学院马德拉斯分校);Sarvam AI, India(Sarvam AI,印度)
提出IndicContextEval基准,包含8种印度语言555位说话人的56小时自然语音,通过7级提示框架评估音频大语言模型是否真正利用上下文而非依赖参数化知识。
2026-06-25 cs.CL eess.AS
DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering
The Hebrew University of Jerusalem(希伯来大学);Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
问答模型通常在推理时间期间访问两个“知识”源:(1)参数知识-在模型权重中编码的事实知识,以及(2)上下文知识-外部知识(例如,维基百科上的一段文章),以生成一个有根据的答案。将这两种知识来源纠缠在一起是生成QA模型的核心问题,因为不清楚答案是否源于给定的非参数知识。这种不明确性对信任、可解释性和真实性问题产生了影响。在这项工作中,我们提出了一个新的范例,其中QA模型进行训练,以解开这两个来源的知识。使用反事实数据增强,我们引入了一个模型,预测两个答案为一个给定的问题:一个基于给定的上下文知识和参数知识的基础上。我们在Natural Questions数据集上的实验表明,这种方法提高了QA模型的性能,使它们对两个知识源之间的知识冲突更加鲁棒,同时生成有用的解纠缠答案。
2022-11-10 cs.AI cs.CL cs.LG
Estimating Privacy Leakage of Augmented Contextual Knowledge in Language Models
University of Southern California(南加州大学);TikTok
本研究提出上下文影响指标,用于估算语言模型中增强上下文知识的隐私泄露,通过分析上下文与参数知识的分布差异来评估隐私风险。
2025-12-16 cs.CL cs.LG
Resisting Contextual Interference in RAG via Parametric-Knowledge Reinforcement
Baidu Inc.(百度公司);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
Knowledgeable-R1通过参数知识强化提升RAG在知识冲突和一般场景中的鲁棒性与推理准确性,反事实场景中表现优于现有基线。
2026-02-25 cs.AI cs.CL cs.IR
Taming Knowledge Conflicts in Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
本文发现语言模型注意力头存在上下文信息与参数记忆叠加现象,并提出测试时双运行干预方法 JuICE,在11个数据集和6种架构上实现知识冲突处理的新SOTA。
2025-06-06 cs.CL cs.LG
Harnessing the Unseen: The Hidden Influence of Intrinsic Knowledge in Long-Context Language Models
本文研究了长上下文语言模型中参数知识的影响,提出混合针在 haystack 测试以评估模型的双重能力,发现 Qwen-2.5 模型在结合多种能力方面表现更优。
2026-02-06 cs.CL
PAIRS: Parametric-Verified Adaptive Information Retrieval and Selection for Efficient RAG
PAIRS提出无需训练的自适应检索框架,通过双路径生成判断是否检索,并结合上下文引导检索与自适应选择,在六个QA基准上降低25%检索成本并提升准确率。
2025-08-06 cs.CL
On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models
Carnegie Mellon University, Language Technologies Institute(卡内基梅隆大学,语言技术研究所)
研究探讨了预训练、中训练和强化学习在推理语言模型中的相互作用,发现RL需预训练留有余地才能提升能力,中训练提升性能,过程级奖励提高推理准确性。
2025-12-08 cs.CL
On the Interplay Between Fine-tuning and Composition in Transformers
University of Chicago(芝加哥大学)
预训练的Transformer语言模型在各种NLP任务上表现出卓越的性能。然而,最近的研究表明,这些模型中的短语级表征反映了词汇内容的严重影响,但缺乏证据的复杂,成分短语信息。在这里,我们调查的影响微调的上下文嵌入捕捉词汇内容以外的短语含义信息的能力。具体来说,我们微调了具有高词汇重叠的对抗性释义分类任务和情感分类任务的模型。微调后,我们分析了短语表示在控制设置之前的工作。我们发现,微调在很大程度上未能使这些表示中的组合性受益,尽管对情绪的训练对某些模型产生了较小的局部益处。在后续分析中,我们确定了释义数据集中的混淆线索,这可能解释了该任务缺乏组合物的好处,我们讨论了情感训练的本地化好处的潜在因素。
2021-06-01 cs.CL
Adaptive Contrastive Decoding in Retrieval-Augmented Generation for Handling Noisy Contexts
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学);NAVER Cloud(NAVER云);KAIST AI(韩国科学技术院AI学院);NAVER AI LAB(NAVER AI实验室);Hanyang University(汉阳大学)
针对现有对比解码方法在检索增强生成中易受噪声上下文干扰的问题,提出自适应对比解码方法,有效利用上下文影响力,提升了开放域问答任务性能与抗噪声鲁棒性。
2024-10-07 cs.CL
CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts
Beihang University(北航大学)
CoRect通过上下文感知logit对比校正隐藏状态,解决模型内部参数化知识与检索证据之间的冲突,提升生成任务的忠实度和减少幻觉。
2026-02-09 cs.AI cs.CL
CROPE: Evaluating In-Context Adaptation of Vision and Language Models to Culture-Specific Concepts
Heriot-Watt University(赫瑞瓦特大学)
本文提出CROPE基准,用于评估视觉与语言模型对文化特定概念的知识掌握和通过上下文信息进行文化适应的能力,实验表明当前开源VLMs在文化概念上性能差距显著且多模态信息利用不足。
2025-02-05 cs.CL cs.CV
Quantifying Prior Dominance in RAG Systems
ArtificialGate Ltd.(ArtificialGate有限公司)
提出归一化上下文利用(NCU)指标,通过连续token对数概率严格量化RAG系统的上下文信息增益,发现小语言模型在严格事实提取中匹配或超越大模型,且先验主导性与模型规模及专有对齐相关。
2026-06-24 cs.AI cs.CL
Entity-Based Knowledge Conflicts in Question Answering
Apple(苹果公司);University of California, Irvine(加州大学尔湾分校)
知识依赖型任务通常使用两种知识来源:参数,在训练时学习,以及上下文,在推理时作为段落给出。为了理解模型如何一起使用这些资源,我们将知识冲突问题形式化,即上下文信息与学习信息相矛盾。通过分析流行模型的行为,我们测量了它们对记忆信息的过度依赖(幻觉的原因),并发现了加剧这种行为的重要因素。最后,我们提出了一种简单的方法来减轻对参数知识的过度依赖,该方法最大限度地减少了幻觉,并将分布外泛化提高了4%-7%。我们的研究结果证明了从业者评估模型倾向于产生幻觉而不是阅读的重要性,并表明我们的缓解策略鼓励对不断变化的信息进行概括(即,时间相关查询)。为了鼓励这些实践,我们发布了生成知识冲突的框架。
2022-01-12 cs.CL cs.LG
Capturing Structural Locality in Non-parametric Language Models
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
结构局部性是真实世界数据集的普遍特征,其中数据点被组织成局部层次结构。一些例子包括文本中的主题集群或源代码存储库中的项目层次结构。在本文中,我们探讨利用这种结构的局部性内的非参数语言模型,生成序列,引用检索到的例子从外部源。我们提出了一种简单而有效的方法,通过添加学习参数,提高从本地邻域检索示例的可能性,将局部信息添加到这样的模型中。在两个不同的领域,Java源代码和维基百科的文本,实验表明,局部性功能提高模型的效率模型没有访问这些功能,有趣的差异。我们还进行了分析,如何以及在何处局部性功能有助于提高性能,以及为什么传统上使用的上下文相似性度量不足以掌握的局部性结构。
2022-02-01 cs.CL cs.SE
CV-Probes: Studying the interplay of lexical and world knowledge in visually grounded verb understanding
Faculty of Informatics, Brno University of Technology(信息学院,布拉格技术大学);Kempelen Institute of Intelligent Technologies(智能技术研究所);Utrecht University(乌得勒支大学)
本文提出 CV-Probes 数据集,研究视觉-语言模型在动词短语 ground 中对上下文和世界知识的整合,发现模型在处理强依赖上下文的动词短语时存在困难且对动词 token 关注不足,指出需改进训练与评估方法。
2025-07-14 cs.CL
SUGAR: Leveraging Contextual Confidence for Smarter Retrieval
Korea University(高丽大学)
针对RAG统一检索导致的来源低效与噪声干扰问题,本文提出SUGAR,用基于上下文的熵自适应决定是否检索及单步或多步检索,从而提升问答性能和推理效率。
2025-01-09 cs.AI cs.CL
A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia
EPFL(洛桑联邦理工学院);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室);Microsoft Corporation(微软公司)
本文构建反事实数据集 Fakepedia,并提出 MGCT 因果中介分析方法,用于检测 LLM 在参数知识与上下文冲突时的接地机制,证明仅凭计算模式即可区分接地与未接地响应。
2024-06-11 cs.AI cs.CL cs.LG
Enhancing Cross-Modal Contextual Congruence for Crowdfunding Success using Knowledge-infused Learning
Georgia State University(佐治亚州立大学);Adobe MDSR;Wright State University(怀特州立大学);California Polytechnic State University(加州州立大学帕克校区)
本研究引入知识图谱的外部常识知识,结合紧凑型视觉语言模型增强多模态数据表征,以提升众筹活动成功预测性能,验证了跨模态上下文一致性对众筹成功的重要性。
2024-11-17 cs.AI cs.CL cs.CV
Uncertainty as Feature Gaps: Epistemic Uncertainty Quantification of LLMs in Contextual Question-Answering
University of Southern California(南加州大学);Capital One;University of California, Irvine(加州大学伊文斯顿分校)
本文提出一种基于理论的方法,通过将认知不确定性量化为模型隐藏表示中的特征差距,用于上下文问答,并利用上下文依赖、理解和诚实性三个特征集成,显著提升不确定性量化性能。
2025-10-23 cs.CL cs.LG
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University(萨尔兰大学)
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时,探测已经成为一种调查预训练模型捕获的语言知识的方法。然而,人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型:BERT、RoBERTa和AL BERT,并通过事件级探测来研究微调如何影响它们的表示。我们发现,对于一些探测任务,微调会导致准确性发生重大变化,这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而,这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明,虽然微调确实改变了预训练模型的表示,并且这些变化通常对于更高层来说更大,但只有在极少数情况下,微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果,我们认为,积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG