Demystifying Verbatim Memorization in Large Language Models
Stanford University(斯坦福大学)
本研究开发受控框架探究LLM逐字记忆机制,发现其与模型通用能力深度交织,现有遗忘方法难以在不损害模型性能的前提下有效消除该现象。
2024-07-25 cs.CL cs.LG
PreCog: Exploring the Relation between Memorization and Performance in Pre-trained Language Models
University of Rome Tor Vergata(罗马第二大学);ART Group(ART团队)
提出PreCog度量,分析预训练记忆与BERT下游任务性能的关系,发现高度记忆的示例分类更好,表明记忆是BERT成功的关键。
2023-05-09 cs.AI cs.CL
A Multi-Perspective Analysis of Memorization in Large Language Models
The University of Tokyo(东京大学)
本研究从多视角全面分析大语言模型的记忆现象,揭示了记忆与模型规模、续写和上下文大小的关系,并通过嵌入分析、n-gram统计和熵解码动态发现边界效应,最终证明可通过上下文预测记忆。
2024-06-04 cs.AI cs.CL
Get Confused Cautiously: Textual Sequence Memorization Erasure with Selective Entropy Maximization
Queen Mary University of London(伦敦玛丽女王大学)
针对 LLM 逐字记忆训练文本的问题,本文提出 EMSO 框架,利用对比梯度度量选择性更新权重并最大化熵,从而在大规模遗忘请求下兼顾记忆擦除与模型能力。
2024-08-09 cs.CL
Reason to Rote: Rethinking Memorization in Reasoning
Department of ICS, Utrecht University(信息科学与计算系,乌特勒支大学);MaiNLP, Center for Information and Language Processing, LMU Munich(MaiNLP,信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Saarland Informatics Campus, Saarland University(萨尔兰州信息科学校区,萨尔兰州大学)
本研究通过FDA和THR两个带噪合成推理数据集,发现大语言模型对标签噪声的记忆建立在底层推理机制之上,通过分布式编码与异常值启发式实现,解释了良性记忆现象。
2025-10-02 cs.CL cs.LG
An Evaluation on Large Language Model Outputs: Discourse and Memorization
Microsoft Corporation(微软公司);University of York(约克大学)
本文评估了大型语言模型输出的质量,发现记忆内容与输出质量相关,并探讨了减少记忆输出的缓解策略。
2026-01-09 cs.AI cs.CL cs.LG
Extracting memorized pieces of (copyrighted) books from open-weight language models
Stanford University(斯坦福大学);Yale University(耶鲁大学);Cornell University(康奈尔大学);West Virginia University(西弗吉尼亚大学)
研究通过测量书籍在语言模型中的记忆程度,发现大多数模型不完整记忆书籍,但部分模型如Llama 3.1 70B能完整记忆某些书籍,对版权案件有重要影响。
2026-07-20 cs.CL cs.CY cs.LG
Private Memorization Editing: Turning Memorization into a Defense to Strengthen Data Privacy in Large Language Models
Human Centric ART, University of Rome Tor Vergata(罗马托尔维加塔大学人本艺术研究中心);Almawave S.p.A.(阿尔马韦斯公司)
本文提出私有记忆编辑(PME)方法,通过检测并编辑LLMs对训练数据中PII的记忆,将模型的记忆能力转化为隐私防御策略,在不影响底层语言模型的前提下有效降低隐私训练数据提取攻击的泄露量,甚至使攻击准确率降为零。
2025-06-09 cs.AI cs.CL cs.CR
Scaling Laws for Fact Memorization of Large Language Models
Fudan University(复旦大学);INTSIG
该研究分析大语言模型事实记忆的缩放定律及记忆特征,明确其容量与模型规模、训练轮数的关系,揭示记忆兼容性与偏好性问题,为事实知识增强提供方向。
2024-06-22 cs.CL
Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications
Yale University(耶鲁大学);Imperial College London(帝国理工学院);University of Texas Health Science at Houston(德克萨斯大学休斯顿健康科学中心);University of California, San Diego(加利福尼亚大学圣迭戈分校);National Library of Medicine, National Institutes of Health(美国国立卫生研究院国家医学图书馆);Vanderbilt University Medical Center(范德堡大学医学中心);Vanderbilt University(范德堡大学);National University of Singapore(新加坡国立大学)
本研究探讨医学领域大型语言模型的记忆现象,分析其普遍性、特征及对医疗应用的影响。
2026-08-06 cs.AI cs.CL
Positional Fragility in LLMs: How Offset Effects Reshape Our Understanding of Memorization Risks
ETH AI Center, ETH Zürich, Switzerland(苏黎世联邦理工学院人工智能中心);EPFL, Switzerland(瑞士联邦理工学院)
从头预训练1B/3B/8B模型发现偏移效应:逐字记忆由短前缀触发且随前缀长度增加而下降,前缀偏移导致召回率骤降,源于模型对早期tokens的位置脆弱性,将敏感数据移至窗口深处可抑制记忆风险。
2025-05-28 cs.CL
Mirage of Mastery: Memorization Tricks LLMs into Artificially Inflated Self-Knowledge
Pune, India(印度浦那)
本文研究LLMs将记忆误认为智能的问题,揭示其自我认知的不一致性和缺陷,提出需改进模型自我认知的平衡与一致性以提升AI可信度。
2025-12-22 cs.CL
Mitigating Memorization in LLMs using Activation Steering
University of Maryland(马里兰大学)
本文研究利用激活引导技术在减少大语言模型记忆化训练数据的同时保持泛化能力,通过在Gemma上的受控文学记忆基准实验证明该方法能有效抑制记忆内容且性能损失极小,并分析了抑制效果与语言流畅性之间的权衡。
2025-03-08 cs.CL
A Comparative Analysis of LLM Memorization at Statistical and Internal Levels: Cross-Model Commonalities and Model-Specific Signatures
Department of Computer Science, The University of Tokyo(东京大学计算机科学系);Research and Development Center for Large Language Models, National Institute of Informatics(信息学研究院大语言模型研究与开发中心)
本文通过分析多个模型系列的记忆行为,揭示了记忆率与模型规模的对数线性关系及序列压缩,同时发现不同模型在内部层面存在独特的解码过程和重要头部分布特征。
2026-03-23 cs.CL cs.LG
On Recipe Memorization and Creativity in Large Language Models: Is Your Model a Creative Cook, a Bad Cook, or Merely a Plagiator?
Brno University of Technology(布拉格技术大学)
本文研究大型语言模型生成食谱时的记忆、创造力与无意义内容,通过人工标注评估Mixtral的成分重用现象,并设计“LLM作为评判者”流水线实现大规模自动化评估,最佳模型在成分匹配上达78%准确率。
2025-06-30 cs.CL
Memorization in Fine-Tuned Large Language Models
PSL University(PSL大学);PRAIRIE Research Institute(PRAIRIE研究机构)
本研究通过成员推断攻击和生成任务,探讨微调LLM在医疗领域的记忆化机制,发现值/输出矩阵、低困惑度及高LoRA秩均增加记忆化,揭示了性能与隐私间的权衡。
2025-08-05 cs.AI cs.CL
Output Vector Editing for Memorization Mitigation in Large Language Models
Center for Information and Language Processing, LMU Munich(慕尼黑大学语言与信息处理中心);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);Munich Center for Machine Learning(慕尼黑机器学习中心);Pioneer Centre for AI(人工智能先锋中心)
提出输出向量编辑方法,通过约束优化修改MLP神经元输出向量引入干扰项,在不改变激活值的情况下抑制记忆化序列,在OLMo-7B上实现87.9%抑制率,并揭示MLP编辑的机制边界。
2026-10-22 cs.CL
Rethinking LLM Memorization through the Lens of Adversarial Compression
Carnegie Mellon University(卡内基梅隆大学)
本文提出对抗压缩率(ACR)作为评估大语言模型记忆化的新指标,通过计算比目标字符串更短的对抗提示词来判定记忆化,为监控去学习、合规性及数据使用条款提供实用工具。
2024-11-11 cs.CL cs.LG
The Mosaic Memory of Large Language Models
Imperial College London(伦敦帝国学院)
本文提出LLM的“马赛克记忆”现象,证明模型会整合相似序列信息且记忆主要是句法性的,模糊重复普遍存在并影响隐私与评估。
2025-05-15 cs.CL cs.LG
Memories Retrieved from Many Paths: A Multi-Prefix Framework for Robust Detection of Training Data Leakage in Large Language Models
Department of Computer Science, University of Central Florida(计算机科学系,中央佛罗里达大学)
本文提出多前缀框架,通过量化记忆的检索路径多样性,稳健检测大型语言模型中的训练数据泄露问题。
2025-11-25 cs.AI cs.CL cs.CR
Exploring Approaches for Detecting Memorization of Recommender System Data in Large Language Models
Politecnico di Bari(巴里理工大学)
本文提出三种方法探索大型语言模型中推荐系统数据记忆的检测,发现自动优化提示是提取记忆样本最有效的方法。
2026-01-05 cs.AI cs.CL cs.IR
Unveiling Over-Memorization in Finetuning LLMs for Reasoning Tasks
Southern University of Science and Technology(南方科技大学);Tsinghua University(清华大学);Shanghai University of Finance and Economics(上海财经大学)
本文揭示推理任务微调 LLM 时特定阶段的过度记忆现象,分析其诱因与危害,并提出检查点选择、合并及记忆感知重加权等缓解方法。
2025-09-28 cs.CL
Emergent and Predictable Memorization in Large Language Models
Booz Allen Hamilton(博思艾伦汉密尔顿);EleutherAI;Yale University(耶鲁大学);Ohio State University(俄亥俄州立大学);Stability AI;University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文研究 LLM 训练前的记忆预测问题,通过测量 Pythia 套件并拟合记忆缩放定律,利用低算力试运行外推完整训练时的记忆序列,并给出等算力下提升召回率的建议。
2023-05-31 cs.CL
SoK: Memorization in General-Purpose Large Language Models
EPFL(洛桑联邦理工学院);University of Virginia(弗吉尼亚大学);University of Florida(佛罗里达大学);Microsoft Research(微软研究院)
本文系统梳理了通用大语言模型中的记忆化现象,提出涵盖逐字文本、事实、算法、风格等类型的分类法,分析其对隐私、版权和审计的影响,并讨论检测与预防方法及未来研究方向。
2023-10-24 cs.CL cs.CR cs.LG
The Unreasonable Ineffectiveness of Nucleus Sampling on Mitigating Text Memorization
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本研究通过构建诊断数据集并微调GPT-Neo模型,发现nucleus sampling仅能适度减少LLMs的“硬”文本记忆,且模型仍会表现出非逐字重复的“软”记忆现象。
2024-08-29 cs.CL
Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
研究大语言模型微调中记忆知识无法泛化的问题,用自修补技术监测知识渗透动态,发现与知识电路未对准假设一致,还设计启发式策略验证,跨域实验证明发现具稳健性。
2026-09-29 cs.AI cs.CL
Quantifying and Analyzing Entity-level Memorization in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);University of Michigan(密歇根大学)
该研究针对现有大语言模型记忆量化方法的局限性,提出细粒度实体级记忆量化定义与敏感实体高效提取方法,实验证实模型实体级记忆能力强且能理解实体关联,为隐私风险防控提供依据。
2023-11-05 cs.CL
Measuring memorization in RLHF for code completion
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文研究代码补全模型在 RLHF 与直接偏好学习中的训练数据记忆,发现 RLHF 更能降低敏感偏好数据被复述的风险,且结论跨数据集、任务和模型规模稳健。
2024-10-25 cs.CL cs.LG cs.SE
MeMo: Towards Language Models with Associative Memory Mechanisms
Human-centric ART, University of Rome Tor Vergata(人文导向的ART,罗马大学Tor Vergata);University of Edinburgh(爱丁堡大学);Almawave S.p.A.(Almawave公司)
提出MeMo架构,通过分层联想记忆直接记忆文本,实现透明化和模型编辑,实验证明单层和多层配置的记忆能力。
2025-02-18 cs.AI cs.CL
Pruning as a Defense: Reducing Memorization in Large Language Models
Indian Institute of Technology, Roorkee(鲁尔基印度理工学院);Groq Inc(Groq公司)
针对大语言模型易记忆训练数据、易遭成员推理攻击的问题,研究发现简单剪枝技术可有效降低模型记忆程度,为缓解成员推理攻击提供了一种基础的防御思路。
2025-02-18 cs.AI cs.CL cs.LG
Mitigating Unintended Memorization with LoRA in Federated Learning for LLMs
Tune Insight SA;EPFL(苏黎世联邦理工学院);Yale University(耶鲁大学)
本文研究了在大语言模型联邦学习中使用LoRA技术有效降低模型对训练数据的记忆能力,并展示了其在不同领域和隐私保护技术中的应用效果。
2026-03-09 cs.AI cs.CL cs.LG
Detecting Memorization in Large Language Models
本文提出通过检查 LLM 神经元激活识别已记忆 token 的方法,训练探针实现近完美检测,并可干预激活以抑制记忆且不损害性能。
2024-12-02 cs.AI cs.CL cs.LG
Too Big to Think: Capacity, Memorization, and Generalization in Pre-Trained Transformers
Amazon(亚马逊)
本研究通过预训练容量受限的Transformer模型,发现模型容量在算术外推与事实记忆间存在权衡,且联合训练时无法外推,揭示了容量对学习模式的影响。
2025-06-17 cs.AI cs.CL cs.LG
Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts
National University of Singapore(新加坡国立大学);Apple(苹果公司)
本文从信息论角度研究训练数据分布对事实准确性的影响,提出基于训练损失的数据选择方案,提升事实记忆能力,实验表明剪枝后模型可更高效记忆事实。
2026-04-09 cs.CL stat.ML
Data Compressibility Quantifies LLM Memorization
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);University of Southern California(南加州大学);Meta
本文通过数据压缩性量化大语言模型的记忆性,发现集级别指标能揭示熵与记忆性之间的线性关系。
2026-04-20 cs.AI cs.CL
Hubble: a Model Suite to Advance the Study of LLM Memorization
University of Southern California(南加州大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本研究推出开源LLM记忆研究套件Hubble,含不同参数、训练语料及插入阶段的多类模型,揭示记忆风险与数据频率、训练阶段的关联,提出风险应对方案并提供多类记忆研究测试平台。
2025-10-22 cs.CL cs.LG
Unlocking Memorization in Large Language Models with Dynamic Soft Prompting
George Mason University(乔治梅森大学);GE Healthcare(GE医疗);University of Pittsburgh(匹兹堡大学);William and Mary(威廉玛丽学院);Southern University of Science and Technology(南方科技大学);Florida State University(佛罗里达州立大学)
提出一种基于动态软提示的LLM记忆能力估计方法,通过训练transformer生成器生成适应输入变化的软提示,更准确提取记忆数据,在文本和代码生成任务中分别实现112.75%和32.26%的最大相对改进。
2024-09-20 cs.AI cs.CL cs.CR
Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning
School of Information Science and Technology, VISTEC(信息科学与技术学院,VISTEC);College of Computing, Prince of Songkla University(颂克拉大学计算机学院)
本文研究联邦学习中大语言模型训练数据的记忆化问题,提出跨客户端记忆化测量框架,分析客户端间与客户端内记忆化差异及影响因素。
2026-05-07 cs.CL cs.LG
Large Language Models Could Be Rote Learners
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);State Key Laboratory of Transvascular Implantation Devices and TIDRI(血管植入设备国家重点实验室和TIDRI);Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence(浙江医学影像人工智能重点实验室);School of Data Science of Engineering, East China Normal University(华东师范大学工程数据科学学院);Second Affiliated Hospital and Liangzhu Laboratory, Zhejiang University School of Medicine(浙江大学医学院第二附属医院和良渚实验室);Alibaba Group(阿里巴巴集团)
本文研究大语言模型在基准测试中的可靠性问题,提出TrinEval框架以区分真实能力学习与机械记忆,发现主流模型在知识点上依赖机械记忆的比例高达19.6%。
2026-05-15 cs.AI cs.CL
An Empirical Study of Memorization in NLP
Singapore Management University(新加坡管理大学)
Feldman(2020)最近的一项研究提出了长尾理论来解释深度学习模型的记忆行为。然而,记忆并没有在NLP的背景下进行经验验证,这项工作解决了一个空白。在本文中,我们使用三个不同的NLP任务来检查长尾理论是否成立。我们的实验表明,排名靠前的记忆的训练实例可能是非典型的,和删除记忆的训练实例导致更严重的测试准确率下降相比,随机删除训练实例。此外,我们开发了一种归因方法,以更好地理解为什么一个训练实例被记住。我们的经验表明,我们的记忆归因方法是忠实的,并分享我们有趣的发现,即训练实例的顶部记忆部分往往是与类别标签负相关的特征。
2022-03-23 cs.CL
Data Contamination: From Memorization to Exploitation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
预训练的语言模型通常在大量基于Web的数据集上进行训练,这些数据集通常被下游测试集“污染”。目前尚不清楚模型在多大程度上利用了受污染的数据用于下游任务。我们提出了一个原则性的方法来研究这个问题。我们在维基百科的联合语料库和标记的下游数据集上预训练BERT模型,并在相关任务上对其进行微调。在预训练过程中比较可见和不可见样本的性能,使我们能够定义和量化记忆和利用的水平。两个模型和三个下游任务的实验表明,在某些情况下存在的剥削,但在其他情况下,模型记忆的污染数据,但不利用它。我们表明,这两种措施受到不同的因素,如污染数据的重复次数和模型的大小。我们的研究结果强调了分析大量网络规模数据集的重要性,以验证NLP的进步是通过更好的语言理解而不是更好的数据利用来获得的。
2022-03-15 cs.CL cs.LG
Memorization in In-Context Learning
University of Arizona(亚利桑那大学)
本研究首次揭示了上下文学习(ICL)通过引出训练数据记忆来提升大型语言模型性能,发现示例引出的记忆水平与下游任务性能存在强相关性,并质疑了模型成功的真正泛化程度。
2025-04-04 cs.AI cs.CL cs.LG
The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation
UC Berkeley(伯克利大学);Google DeepMind(谷歌DeepMind)
本文研究了LLM记忆现象的机制、测量方法及缓解策略,探讨了影响记忆的因素和检测技术,并分析了其法律伦理影响及缓解措施。
2025-12-12 cs.CL cs.CR cs.LG
Randomized Masked Finetuning: An Efficient Way to Mitigate Memorization of PIIs in LLMs
Khoury College of Computer Sciences, Northeastern University, Boston, MA, USA(东北大学科里学院计算机科学学院)
本文提出随机掩码微调方法,有效减少LLM中PII记忆,同时保持模型性能,通过实验验证其在隐私保护和效用之间的平衡。
2026-02-18 cs.CL cs.CR cs.LG
Mitigating Approximate Memorization in Language Models via Dissimilarity Learned Policy
University of Windsor(温莎大学)
针对大语言模型记忆训练数据引发的隐私风险,提出基于PPO强化学习、以负相似度得分为奖励的相异性策略框架,可在保持生成质量的同时有效缓解各类场景下的近似记忆问题。
2023-05-02 cs.CL cs.CR cs.LG
How much do language models memorize?
FAIR at Meta(Meta 的 FAIR 部门);Google DeepMind(谷歌DeepMind);Cornell University(康奈尔大学);NVIDIA(NVIDIA 公司)
提出估计模型对数据点了解程度的新方法,将记忆分解为非预期记忆与泛化,通过消除泛化测得GPT模型每参数约3.6比特容量,并发现记忆填满后出现顿悟、非预期记忆下降,训练数百个模型得出缩放定律。
2025-06-18 cs.CL
Localizing Paragraph Memorization in Language Models
ETH Zürich(苏黎世联邦理工学院);Google(谷歌公司)
本文通过梯度空间模式定位语言模型中段落记忆的关键权重和低层注意力头,发现记忆示例更难遗忘且更难被扰动破坏。
2024-03-28 cs.CL cs.CR cs.LG
ROME: Memorization Insights from Text, Logits and Representation
ROME研究通过分析日志和表示差异,揭示记忆机制,发现长词更难记忆,高置信度与记忆能力正相关。
2024-06-16 cs.AI cs.CL
Memory Dial: A Training Framework for Controllable Memorization in Language Models
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
Memory Dial通过调节记忆压力参数α,控制语言模型的记忆行为,实验显示α能有效调节记忆压力,大模型更敏感,常见序列更易记忆。
2026-04-06 cs.CL
Counterfactual Memorization in Neural Language Models
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind);ETH Zürich(苏黎世联邦理工学院)
提出反事实记忆概念,通过省略文档观察预测变化,识别标准数据集中的记忆示例,并估计其对验证集和生成文本的影响,为测试时记忆来源提供直接证据。
2023-10-13 cs.AI cs.CL cs.LG
What do Reward Models Memorize?
研究通过在两个人类偏好数据集上测量反事实记忆,探究判别训练的奖励模型记住了什么。发现奖励模型存在记忆分配错误、记住特定数据集捷径、过度概括简单启发式关联等问题,表明此类模型有偏差,无法在上下文相关场景中判断响应质量。
2026-10-08 cs.CL cs.LG
Memorization Dynamics in Knowledge Distillation for Language Models
Meta Superintelligence Labs(Meta超智能实验室);Meta Central Applied Science(Meta中央应用科学);FAIR at Meta(Meta的FAIR);Carnegie Mellon University(卡内基梅隆大学)
本研究探讨了知识蒸馏中语言模型的知识记忆动态,发现蒸馏模型比标准微调记忆更少,且硬蒸馏方法风险更高。
2026-08-11 cs.CL
NAMESAKES: Probing Identity Memorization in Text-to-Image Models
Carnegie Mellon University(卡内基梅隆大学);Tel Aviv University(特拉维夫大学);Cornell University(康奈尔大学)
提出一种黑盒行为探针,无需参考照片或训练数据,即可区分文本到图像模型生成的图像是记忆还是虚构,并在NAMESAKES数据集上验证其有效性。
2026-07-20 cs.CL cs.CV
Continual Memorization of Factoids in Language Models
Princeton Language and Intelligence (PLI), Princeton University(普林斯顿大学普林斯顿语言与智能研究所)
提出持续记忆任务,发现语言模型在后续微调中严重遗忘事实,并提出REMIX方法(混合随机词序列或预训练语料)缓解遗忘,优于回放等方法。
2026-06-29 cs.CL