Large Language Models Are Semi-Parametric Reinforcement Learning Agents
Shanghai Jiao Tong University(上海交通大学);Suzhou Laboratory(苏州实验室)
本文提出 REMEMBERER 框架,通过为 LLM 配备长期经验记忆并结合 RLEM 更新机制,使智能体无需微调参数即可从成功与失败经验中持续演化,在两个 RL 任务集上成功率分别超越 SOTA 4% 和 2%。
2023-10-30 cs.AI cs.CL
UniMem: Complementary Episodic-to-Parametric Memory for Boundary-Agnostic Task Streams
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能国家重点实验室);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Meituan(美团);AI Centre, Department of Computer Science, University College London(伦敦大学学院计算机科学系人工智能中心)
研究针对大语言模型在无边界任务流部署的稳定性 - 可塑性困境,提出UniMem自路由框架,用可学习路由令牌协调互补记忆路径,能按需扩展记忆,实验证明其在长周期流任务序列中优于基线并保持执行保真度。
2026-07-29 cs.CL
Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);The Ohio State University(俄亥俄州立大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文首次系统研究了大型语言模型在外部证据与参数记忆冲突时的行为,发现LLMs既能接受连贯有说服力的冲突证据,也会因部分一致信息而表现出确认偏误,为工具增强LLMs的开发提供了重要启示。
2024-02-27 cs.AI cs.CL
ALLOT: Budgeted Hybrid-Memory Routing for Knowledge Updates in LLMs
ALLOT提出混合内存路由框架,分离写入优先级与参数预算,在低预算下实现高准确率并减少参数写入,支持按增量价值分配适配能力。
2026-09-29 cs.AI
MLP Memory: A Retriever-Pretrained Memory for Large Language Models
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);SJTU Paris Elite Institute of Technology(上海交通大学巴黎卓越工程师学院)
MLP Memory通过参数化学习检索模式,提升大语言模型的知识访问效率与准确性,实现更高效的推理和更少的幻觉。
2026-02-27 cs.CL
MemoReason: Evaluating the Effect of Parametric Memory on Contextual Reasoning in LLMs
BNP Paribas(法国巴黎银行);Sorbonne Université(索邦大学);Criteo AI Lab(Criteo AI实验室)
本研究提出MemoReason基准,通过配对事实与虚构推理任务,发现LLMs在虚构场景下性能显著下降(最高15.7%),表明参数记忆影响推理,但非直接捷径,而是更复杂机制。
2026-09-29 cs.CL
MemSFT: Mitigating Alignment Tax with an External Parametric Memory
Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学)
研究针对大语言模型应用于特定领域产生的对齐代价问题,提出MemSFT方法,通过参数内存解耦领域专业化与主干参数更新,经多领域多模型评估,能提升领域性能且通用性能下降小,实现通用与专业能力解耦。
2026-07-29 cs.CL cs.LG
TrustMargin: Training-Free Arbitration between Parametric Memory and Retrieved Evidence in Large Language Models
Peking University(北京大学)
针对大语言模型在知识问答中参数记忆与检索证据冲突的问题,提出无训练仲裁层TrustMargin,利用模型自身似然度评分选择更可信的答案,无需微调或外部评判。
2026-06-07 cs.CL cs.IR
Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict
Center for Language and Speech Processing, Data Science and AI Institute(语言与语音处理中心,数据科学与人工智能研究所)
研究探讨了任务类型如何影响LLM在上下文与记忆冲突中的表现,发现任务对知识的依赖和冲突合理性共同影响性能,提出任务感知方法以平衡上下文与记忆。
2026-04-19 cs.AI cs.CL
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
University College London(伦敦大学学院);Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));University of Edinburgh(爱丁堡大学)
对外部知识的访问对于许多自然语言处理任务(例如问答和对话)是必不可少的。现有的方法通常依赖于在其参数中存储知识的参数模型,或者使用可以访问外部知识源的检索增强模型。参数和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势,我们提出了高效内存增强的Transformer(EMAT)-它将外部知识编码到键值内存中,并利用快速最大内积搜索进行内存查询。我们还介绍了预训练任务,使EMAT编码信息的键值表示,并学习一个隐式的策略,将多个内存插槽到Transformer。在各种知识密集型任务(如问答和对话数据集)上的实验表明,使用我们的方法简单地增强参数模型(T5-base)会产生更准确的结果(例如,25.8- NQ上的44.3EM),同时保持高吞吐量(例如,1000查询/秒的NQ)。与检索增强模型相比,EMAT在WoW和ELI 5上运行速度更快,结果更准确。我们的代码和数据集可以在https://github上找到。com/uclnlp/EMAT。
2022-10-30 cs.AI cs.CL cs.LG
Parametric Multimodal User Memory: Storing What Captions Cannot Carry
Pine AI(派恩人工智能);University of Washington(华盛顿大学)
该研究提出参数化多模态用户记忆,结合视觉语言模型与专用编码器,解决传统文本用户记忆丢失感知信息的问题,在PerceptMem数据集上验证了其有效性与可推广性。
2026-09-01 cs.AI cs.CL cs.CV
Cortex: Consolidating Context into Parametric Memory
Zhejiang University(浙江大学);Tsinghua University(清华大学)
针对大语言模型移除上下文后性能增益丢失的问题,提出Cortex方法,通过生成前瞻性查询蒸馏上下文信息,在多规模多模态模型上实现了良好的巩固-保留平衡,在14B模型的50次顺序事实编辑任务中表现优异。
2026-10-15 cs.AI cs.CL cs.CV
From RAGs to rich parameters: Probing how language models utilize external knowledge over parametric information for factual queries
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Microsoft(微软公司);University of Maryland, College Park(马里兰大学帕克分校)
该研究通过因果中介分析、注意力贡献与敲除方法,探究RAG机制下语言模型的知识利用行为,发现模型强烈偏向依赖上下文信息、极少使用参数记忆,该捷径行为在LLaMa和Phi系列模型中均存在。
2024-06-18 cs.AI cs.CL
Latent learning: episodic memory complements parametric learning by enabling flexible reuse of experiences
Google DeepMind(谷歌DeepMind);Department of Psychology, Stanford University(斯坦福大学心理学系)
本文提出情景记忆可通过灵活重用经验来补充参数学习,提升泛化能力。
2025-12-23 cs.CL cs.LG
Reducing Hallucinations in Language Model-based SPARQL Query Generation Using Post-Generation Memory Retrieval
Polytechnique Montréal(蒙特利尔理工学院);Mila - Quebec AI Institute(魁北克人工智能研究院);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair)
本文提出PGMR框架,通过生成后记忆检索减少语言模型生成SPARQL查询时的URI幻觉,提升查询准确性和系统鲁棒性。
2026-01-28 cs.CL
Frozen Memory Is Not Enough: Rethinking External Memory as Extraction
该研究针对大语言模型知识利用的两类方法缺陷,探究Engram式哈希记忆跨模型迁移的关键因素,通过跨模型冻结记忆提取实验,提出双层四分支读取器,实现同模型与跨模型复用差距的缩小,证明Engram可作为可复用外部知识人工制品。
2026-10-27 cs.AI cs.CL
SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning
Nanyang Technological University(南洋理工大学);Amazon Web Services(亚马逊云科技)
预训练的大语言模型可以以自然的方式有效地插入人类书写的提示。多任务提示学习可以通过一次完成一组不同的任务来帮助概括,从而提高更有效的下游微调的潜力。为了在同一批中执行有效的多任务推理,已经提出了诸如提示微调的参数高效微调方法。然而,现有的提示微调方法可能缺乏通用性。我们提出了SPT,半参数提示微调方法多任务提示学习。SPT的新颖组件是一个存储体,从该存储体中基于离散提示检索存储器提示。大量的实验,如(i)微调一个完整的语言模型与SPT的31个不同的任务,从8个不同的领域和评估zero-shot泛化9 heldout数据集下的5个NLP任务类别和(ii)预训练SPT的GLUE数据集和评估微调SuperGLUE数据集,证明了SPT的有效性。
2022-12-21 cs.AI cs.CL cs.LG
Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models
University of Maryland(马里兰大学)
Omni2LoRA是一种保持一致性的参数化存储器压缩框架,通过优化秩分配策略提升全模态语言模型效率,在视听问答任务中优于多种基线,大幅缩短推理时间。
2026-08-11 cs.AI
Slow to See, Slow to Suppress: Understanding the Effects of Modality in Context-Memory Conflicts
Brown University(布朗大学)
该研究探究视觉语言模型处理上下文记忆冲突的不对称偏差,发现模型对文本实体偏好上下文信息、对图像实体偏好参数信息,思维链推理无法缩小该差距,增加视觉信息可产生效果,揭示多模态检索增强模型确保一致行为的复杂性。
2026-09-02 cs.CL
APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay
Amazon, AGI / Sunnyvale, USA(亚马逊 AGI / 美国森尼韦尔)
本文提出APEX-EM框架,通过结构化经验表示和PRGII工作流,实现自主代理的非参数在线学习,提升跨领域任务的性能。
2026-09-02 cs.AI cs.CL cs.IR
Rethinking Memory in LLM based Agents: Representations, Operations, and Emerging Topics
The Chinese University of Hong Kong Hong Kong China;The University of Edinburgh Edinburgh UK;The Hong Kong University of Science;Huawei Technologies Research \& Development (UK) Limited Edinburgh UK;The Chinese University of Hong Kong;The University of Edinburgh;Huawei Technologies Research \& Development (UK) Limited
本文提出基于大语言模型的智能体中记忆的分类框架,涵盖参数型与上下文型记忆,定义六个核心操作,并揭示四个关键研究方向。
2025-12-24 cs.CL
Investigating Tool-Memory Conflicts in Tool-Augmented LLMs
University of Massachusetts Lowell(马萨诸塞大学洛约拉分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出工具-记忆冲突的概念,发现现有LLMs在STEM任务中存在该问题,并评估了现有解决方法的不足。
2026-01-14 cs.AI cs.SE
Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models
Tencent AI Lab(腾讯人工智能实验室)
全参数语言模型通常需要大量的模型参数来存储用于在零/Few-Shot设置中解决多个自然语言任务的必要知识。此外,如果没有昂贵的模型再训练,很难适应不断变化的世界知识。在本文中,我们开发了一种新的半参数语言模型架构,知识的上下文(KiC),它赋予一个参数化的文本到文本的语言模型与知识丰富的外部存储器。具体来说,外部存储器包含六种不同类型的知识:实体、字典、常识、事件、脚本和因果关系知识。对于每个输入实例,KiC模型自适应地选择知识类型并检索最有用的知识。输入实例连同其知识扩充一起被馈送到文本到文本模型(例如,T5)生成输出答案,提示后输入和输出均为自然语言形式。有趣的是,我们发现,KiC可以被确定为一个特殊的混合专家(MoE)模型,其中的知识选择器起着路由器的作用,用于确定序列的专家分配在MoE。这个关键的观察启发我们开发一种新的算法,用于训练KiC与实例自适应知识选择器。作为一个知识丰富的半参数语言模型,KiC只需要一个小得多的参数部分,以实现卓越的zero-shot性能看不见的任务。通过对40多个不同的任务进行评估,我们发现具有770 M参数的KiC_Large很容易超过大语言模型(LM),后者大幅度增加了4- 39倍。我们还证明了KiC在一个小得多的模型规模相比,全参数模型表现出紧急的能力。
2023-03-27 cs.CL
Evaluating the External and Parametric Knowledge Fusion of Large Language Models
本研究针对LLMs外部与参数化知识融合问题,将融合解构为四种场景并构建系统化流水线进行实验,发现增强参数化知识能显著提升整合能力,但在记忆提取及边界确定上仍存挑战。
2024-05-29 cs.AI cs.CL cs.IR
MemOS: An Operating System for Memory-Augmented Generation (MAG) in Large Language Models
MemTensor (Shanghai) Technology Co., Ltd.(MemTensor(上海)技术有限公司);Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学);Research Institute of China Telecom(中国电信研究院)
针对LLM缺乏统一记忆架构的问题,提出记忆操作系统MemOS,通过标准化抽象MemCube实现参数化、激活和纯文本记忆的统一治理与跨任务追溯,填补了LLM基础设施空白。
2025-05-28 cs.CL
Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025
本文探讨大型语言模型在参数知识与上下文知识之间相互作用的重要性,通过评估知识、诊断冲突及分析上下文知识特征,揭示模型内部工作机制及知识更新挑战。
2026-03-10 cs.CL cs.IR
Steerable Instruction Following Coding Data Synthesis with Actor-Parametric Schema Co-Evolution
Yale University(耶鲁大学)
本文提出IFCodeEvolve框架,通过参数化函数模式库和MCTS采样生成指令跟随编码数据,提升模型性能并构建IFCodeBench基准。
2026-02-27 cs.AI cs.PL cs.SE
AInstein: Can LLMs Solve Research Problems From Parametric Memory Alone?
LIVIA, ÉTS Montréal(LIVIA,蒙特利尔工程学院);Mila – Quebec AI Institute(魁北克人工智能研究所);HEC Montréal(蒙特利尔HEC学院);ServiceNow Research(ServiceNow研究);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院);International Laboratory on Learning Systems (ILLS)(学习系统国际实验室)
本文提出AInstein框架,测试LLM能否通过迭代批评循环生成和改进解决方案。研究发现LLM在70%的问题上成功,但重新发现已发表方案的比例低于19%,表明真正的解决问题能力。但LLM在跨领域类比迁移时存在局限。
2026-04-28 cs.AI
WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
针对LLM终身模型编辑中可靠性、泛化性与局部性无法兼顾的“不可能三角”问题,提出WISE方法,通过双参数记忆方案与知识分片机制,在问答、幻觉及分布外等设置下成功克服该三角并超越现有方法。
2024-12-19 cs.AI cs.CL cs.CV
Internalizing Meta-Experience into Memory for Guided Reinforcement Learning in Large Language Models
通过将元经验内化到记忆中,MEL提升了大语言模型的强化学习效果,实现了更有效的知识重用和推理能力增强。
2026-02-10 cs.AI cs.LG
Memory-Driven Text-to-Image Generation
University of Oxford(牛津大学)
我们介绍了一种记忆驱动的半参数方法,文本到图像的生成,这是基于参数和非参数技术。非参数组件是从图像的训练集构造的图像特征的存储体。参数组件是一个生成对抗网络。在推理时给定新的文本描述,存储体用于选择性地检索作为目标图像的基本信息提供的图像特征,这使得生成器能够产生逼真的合成结果。我们还将内容信息与语义特征一起纳入预测模型,使预测模型能够做出更可靠的预测。实验结果表明,所提出的记忆驱动的半参数方法产生更真实的图像比纯参数的方法,在视觉保真度和文本图像语义一致性。
2022-08-15 cs.CL cs.CV cs.LG
DPPM: Dual-Path Parametric Memory for Personalized Language Models
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research Group(讯飞研究院)
针对个性化语言模型跨会话整合不足与循环更新削弱早期证据的问题,提出双路径参数记忆(DPPM),其含证据路径与增量路径,生成LoRA适配器,在PersonaMem-v2、PrefEval数据集上优于基线。
2026-10-09 cs.CL
Deciphering the Interplay of Parametric and Non-parametric Memory in Retrieval-augmented Language Models
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本研究针对生成式语言模型处理小众专业知识的难题,采用因果中介分析与对照实验探究RAG模型Atlas对参数化记忆和非参数化记忆的选择机制,发现模型更依赖检索上下文,且存在相关性判断、支持复制的表征计算两类可检测机制。
2024-10-07 cs.CL
Non-Parametric Memory Guidance for Multi-Document Summarization
LIRIS(里尔信息与信号处理实验室);Visiativ(维西阿蒂夫公司)
针对多文档摘要中源文档信息不足的问题,提出结合非参数记忆的检索器引导模型,利用ANN检索候选并融合复制机制生成摘要,在MultiXScience数据集上验证有效性。
2023-11-14 cs.CL
Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory
本研究将记忆解码器扩展至69亿参数并在3000亿token上预训练,通过分布式Faiss等技术解决索引瓶颈,发现独立扩展记忆可更高效提升语言模型性能,在多基准测试中验证了其优势。
2026-07-31 cs.CL
MoVE: Mixture of Value Embeddings -- A New Axis for Scaling Parametric Memory in Autoregressive Models
MoVE通过引入价值嵌入的混合机制,实现了自回归模型参数内存的独立扩展,提升了文本和图像生成任务的性能。
2026-01-30 cs.AI cs.CL cs.CV
A Parametric Memory Head for Continual Generative Retrieval
University of Amsterdam(阿姆斯特丹大学)
本文提出PAMT方法,通过参数化内存头解决连续生成检索中稳定性和可塑性之间的权衡问题,提升早期文档检索性能且对新增文档影响小。
2026-04-25 cs.AI cs.CL cs.IR
RING: Retrieval-Internalized Generation for Continual Large-Scale Knowledge Injection
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(中国科学院计算技术研究所人工智能安全国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Xiaohongshu Inc.(小红书科技有限公司)
RING是一种将检索内化的范式,通过三阶段训练学习参数化记忆的检索策略,在自主构建的News-2025基准上,其知识注入的准确性与效率优于或匹配现有方法。
2026-08-04 cs.AI cs.CL
Retro-li: Small-Scale Retrieval Augmented Generation Supporting Noisy Similarity Searches and Domain Shift Generalization
IBM Research – Zurich(IBM研究院苏黎世分部);ETH Zürich(苏黎世联邦理工学院)
本文提出Retro-li,一种小规模检索增强生成模型,通过语义相似性搜索和首次对非参数记忆的正则化,在噪声搜索和域偏移下提升性能,并支持模拟内存硬件实现。
2025-03-26 cs.AI cs.CL cs.IR
Reverse Image Retrieval Cues Parametric Memory in Multimodal LLMs
Stanford University(斯坦福大学)
本研究提出逆向图像检索(RIR)增强生成策略,显著提升多模态大模型在知识密集型视觉问答上的性能,并揭示其通过提供额外线索激发模型参数记忆的机制。
2024-05-29 cs.CL
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Facebook AI Research(Facebook AI研究院);University College London(伦敦大学学院);New York University(纽约大学)
大型预训练的语言模型已被证明可以在其参数中存储事实知识,并在对下游NLP任务进行微调时实现最先进的结果。然而,它们获取和精确操作知识的能力仍然有限,因此在知识密集型任务中,它们的性能落后于特定任务的架构。此外,为他们的决定提供出处和更新他们的世界知识仍然是开放的研究问题。具有显式非参数记忆的可微分访问机制的预训练模型可以克服这个问题,但到目前为止仅针对提取下游任务进行了研究。我们探索一个通用的微调配方检索增强生成(RAG)-模型结合了预先训练的参数和非参数的记忆语言生成。我们引入RAG模型,其中参数记忆是预训练的seq 2seq模型,非参数记忆是维基百科的密集向量索引,使用预训练的神经检索器访问。我们比较了两种RAG公式,一种是在整个生成的序列中以相同的检索通道为条件,另一种是每个标记可以使用不同的通道。我们在广泛的知识密集型NLP任务上微调和评估我们的模型,并在三个开放领域QA任务上设置最先进的模型,性能优于参数seq 2seq模型和特定于任务的检索和提取架构。对于语言生成任务,我们发现RAG模型比最先进的仅参数seq 2seq基线生成更具体,更多样和更真实的语言。
2021-04-12 cs.CL cs.LG
Taming Knowledge Conflicts in Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
本文发现语言模型注意力头存在上下文信息与参数记忆叠加现象,并提出测试时双运行干预方法 JuICE,在11个数据集和6种架构上实现知识冲突处理的新SOTA。
2025-06-06 cs.CL cs.LG
Adaptive Semiparametric Language Models
DeepMind(深度思维)
我们提出了一种语言模型,它结合了一个大的参数神经网络(即,Transformer)与集成架构中的非参数情景记忆组件。我们的模型通过缓存本地隐藏状态(类似于transformer-XL)来使用扩展的短期上下文,并通过在每个时间步检索一组最近邻居令牌来使用全局长期记忆。我们设计了一个门控函数来自适应地组合多个信息源来进行预测。这种机制允许模型根据上下文在特定的基础上使用本地上下文、短期记忆或长期记忆(或它们的任何组合)。基于单词和基于字符的语言建模数据集上的实验表明,与强基线相比,我们所提出的方法是有效的。
2021-02-04 cs.CL
Learn to Memorize: Scalable Continual Learning in Semiparametric Models with Mixture-of-Neighbors Induction Memory
State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机科学学院,北京大学);Microsoft(微软公司);Microsoft Research Asia(微软亚洲研究院)
研究半参数语言模型中记忆缺乏学习能力的问题,提出将非参数记忆重新概念化为可学习的邻居混合归纳记忆(MoNIM),融入模型信息流,经实验验证其能提升半参数语言模型的可扩展性和持续学习性能。
2026-07-20 cs.CL cs.LG
Locas: Your Models are Principled Initializers of Locally-Supported Parametric Memories
Tencent AI Lab(腾讯人工智能实验室)
Locas通过原理化初始化方法,实现参数记忆的高效持续学习,减少灾难性遗忘,提升模型泛化能力。
2026-02-04 cs.CL
Auditing Forgetting in Limited Memory Language Models
University of California, Berkeley(加州大学伯克利分校)
提出因果审计框架,通过改变推理时数据库状态分解删除后行为,发现参数泄漏接近零,残留主要来自近邻检索,遗忘边界主要由数据库管理员决定。
2026-07-02 cs.AI cs.CL cs.LG
Rethinking LoRA Memory Through the Lens of KV Cache Compression
Johns Hopkins University(约翰霍普金斯大学)
本文研究文档级问答中参数侧内存(LoRA适配器)与上下文侧内存(KV缓存)的交互,发现LoRA在KV缓存压缩严重时能显著提升性能,并建议将文档LoRA视为解码时的参数化内存而非文档编码器。
2026-06-04 cs.CL
A Storage-Retrieval Gap in Parametric Knowledge Graph Memory
Bosch Center for Artificial Intelligence(博世人工智能中心);LMU Munich(慕尼黑大学);University of Oslo(奥斯陆大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究提出将知识图谱编译为 LoRA 适配器库的参数化知识存储方案,发现其存在存储的知识无法通过语义相似性检索的差距,为参数化知识图谱记忆的应用提供了思路并指出核心开放问题。
2026-10-30 cs.CL cs.IR cs.LG
Quantifying reliance on external information over parametric knowledge during Retrieval Augmented Generation (RAG) using mechanistic analysis
Microsoft(微软公司);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);University of Maryland, College Park(马里兰大学帕克分校)
本文通过因果中介分析和注意力贡献与剔除等机制分析方法,揭示了RAG中语言模型存在强烈依赖检索上下文而非参数化知识的“捷径”效应,并在大、小语言模型上均得到验证。
2024-10-01 cs.CL
Pretraining with hierarchical memories: separating long-tail and common knowledge
Apple(苹果公司)
本文提出一种基于层次记忆的预训练方法,通过分离长尾知识与常识,提升模型性能。实验显示,使用内存银行可使小模型性能媲美大模型。
2026-03-23 cs.AI cs.CL cs.LG
When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively
University of Bozen-Bolzano(博尔扎诺大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Cohere(Cohere公司);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
本文提出 Adapt-LLM,利用开放域问答数据训练模型在不知道答案时生成 <RET> 触发检索,并在 PopQA 上优于始终检索、始终记忆和阈值检索策略。
2024-05-06 cs.CL cs.IR