Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy
Google Research(谷歌研究院);ETH Zurich(苏黎世联邦理工学院);Cornell University(康奈尔大学)
本文指出防止语言模型逐字记忆并不能真正保护隐私,提出并验证了可通过风格转换提示轻易绕过完美过滤器提取训练数据,强调需重新定义记忆以应对隐私风险。
2023-09-11 cs.CL cs.LG
LLMs Can Leak Training Data But Do They Want To? Evaluating Memorization Propensity in LLMs
University of Southern Denmark(南部丹麦大学)
提出 PropMe 框架,通过对比前缀攻击与非对抗评估,揭示 LLM 在非对抗设置下很少泄露训练数据,并引入 SimpleTrace 流水线进行归因和度量。
2026-10-28 cs.AI cs.CL
Elephants Never Forget: Testing Language Models for Memorization of Tabular Data
University of Tübingen(蒂宾根大学);Microsoft Research(微软研究院)
本文提出多种统计与记忆测试评估 LLM 对表格数据集的预训练污染,发现流行数据集可能被记忆或仅学到统计规律,并发布开源检测工具。
2024-03-11 cs.CL cs.LG
Data Compressibility Quantifies LLM Memorization
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);University of Southern California(南加州大学);Meta
本文通过数据压缩性量化大语言模型的记忆性,发现集级别指标能揭示熵与记忆性之间的线性关系。
2026-04-20 cs.AI cs.CL
Emergent and Predictable Memorization in Large Language Models
Booz Allen Hamilton(博思艾伦汉密尔顿);EleutherAI;Yale University(耶鲁大学);Ohio State University(俄亥俄州立大学);Stability AI;University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文研究 LLM 训练前的记忆预测问题,通过测量 Pythia 套件并拟合记忆缩放定律,利用低算力试运行外推完整训练时的记忆序列,并给出等算力下提升召回率的建议。
2023-05-31 cs.CL
The Unreasonable Ineffectiveness of Nucleus Sampling on Mitigating Text Memorization
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本研究通过构建诊断数据集并微调GPT-Neo模型,发现nucleus sampling仅能适度减少LLMs的“硬”文本记忆,且模型仍会表现出非逐字重复的“软”记忆现象。
2024-08-29 cs.CL
Beyond Math: Stories as a Testbed for Memorization-Constrained Reasoning in LLMs
Department of Computer Science and Electrical Engineering(计算机科学与电气工程系);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文通过故事测试平台探讨LLM在记忆受限推理中的表现,提出减少机械记忆的方法,发现记忆驱动性能下降,揭示现有基准测试的数据污染问题。
2026-04-24 cs.CL
Memorization or Interpolation ? Detecting LLM Memorization through Input Perturbation Analysis
ucl.ac.uk(伦敦大学学院)
本文提出PEARL框架,通过分析大语言模型对输入扰动的敏感度来检测记忆现象,无需访问模型内部,并在Pythia和GPT 4o上验证了其识别训练数据记忆的有效性。
2025-05-05 cs.AI cs.CL
Do LLMs Really Memorize Personally Identifiable Information? Revisiting PII Leakage with a Cue-Controlled Memorization Framework
Department of Computer Science(计算机科学系);Department of Electronic Systems(电子系统系)
本文通过提示控制框架重新评估LLMs的PII泄露现象,发现其泄露更多由提示驱动而非真实记忆,强调了提示控制在隐私保护中的重要性。
2026-01-07 cs.AI cs.CL
Be like a Goldfish, Don't Memorize! Mitigating Memorization in Generative LLMs
University of Maryland(马里兰大学);ELLIS Institute Tübingen(埃利斯研究所蒂宾根分支);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心)
针对大语言模型记忆训练数据引发的隐私版权风险,提出名为goldfish loss的微调训练目标,通过随机排除部分词元的损失计算缓解记忆,在十亿级Llama-2模型上验证可显著降低可提取记忆且几乎不影响下游性能。
2024-11-02 cs.CL
Generalization or Memorization: Dynamic Decoding for Mode Steering
Stanford University, Palo Alto, USA(斯坦福大学);Department of Computer Science, University of Wisconsin-Madison, Madison, USA(计算机科学系,威斯康星大学麦迪逊分校)
针对大模型泛化与记忆的不可预测性,提出基于信息瓶颈的理论框架及动态模式引导(DMS)推理算法,通过线性探针识别记忆依赖并动态引导激活,显著提升逻辑一致性与事实准确性。
2025-10-25 cs.CL
Extracting Training Data from Diffusion Language Models via Infilling
University of Waterloo(滑铁卢大学);KTH Royal Institute of Technology(皇家理工学院)
提出填充提取协议,利用扩散语言模型的双向去噪能力,通过任意二进制掩码参数化,揭示掩码几何形状控制提取能力,边缘条件掩码比前缀条件掩码多提取三倍逐字序列,且双向访问打开了自回归模型无法利用的通道。
2026-11-19 cs.AI cs.CL cs.CR
Retracing the Past: LLMs Emit Training Data When They Get Lost
Virginia Tech(弗吉尼亚理工大学);Cisco Research(思科研究)
本文提出混淆诱导攻击(CIA)框架,通过利用token级预测熵飙升现象并配合错配监督微调(SFT),在无需训练数据先验知识的情况下更有效地从对齐和未对齐大语言模型中提取记忆数据,揭示了持续存在的记忆风险。
2025-10-27 cs.AI cs.CL
Memorization: A Close Look at Books
School of Information and Computer Sciences University of California, Irvine(信息与计算机科学学院 加州大学伊维奇分校)
本文使用Llama 3 70B模型和前缀提示技术,发现能从LLMs中高相似度提取整本书籍,提取率与书籍流行度相关;并证实指令微调Llama 3.1的缓解措施被撤销,源于底层transformer块的微小权重变化。
2025-07-27 cs.AI cs.CL cs.LG
Memorization in Fine-Tuned Large Language Models
PSL University(PSL大学);PRAIRIE Research Institute(PRAIRIE研究机构)
本研究通过成员推断攻击和生成任务,探讨微调LLM在医疗领域的记忆化机制,发现值/输出矩阵、低困惑度及高LoRA秩均增加记忆化,揭示了性能与隐私间的权衡。
2025-08-05 cs.AI cs.CL
Position: Privacy Is Not Just Memorization!
Carnegie Mellon University(卡内基梅隆大学);Northeastern University(东北大学)
本立场论文指出大语言模型隐私研究过度聚焦训练数据记忆问题,构建全生命周期隐私风险分类,通过1322篇论文的纵向分析揭示紧迫危害存在于其他领域,呼吁转向跨学科的社会技术研究路径。
2025-10-02 cs.AI cs.CL cs.CR
SoK: Memorization in General-Purpose Large Language Models
EPFL(洛桑联邦理工学院);University of Virginia(弗吉尼亚大学);University of Florida(佛罗里达大学);Microsoft Research(微软研究院)
本文系统梳理了通用大语言模型中的记忆化现象,提出涵盖逐字文本、事实、算法、风格等类型的分类法,分析其对隐私、版权和审计的影响,并讨论检测与预防方法及未来研究方向。
2023-10-24 cs.CL cs.CR cs.LG
Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models
University of Tübingen(蒂宾根大学);Microsoft Research(微软研究院)
本文提出多种检测方法评估 LLM 是否记忆表格数据集,发现其逐字记忆常见数据并导致性能虚高,同时揭示少样本学习样本效率不足,并发布 Python 检测工具。
2024-12-04 cs.AI cs.CL cs.LG
Extracting memorized pieces of (copyrighted) books from open-weight language models
Stanford University(斯坦福大学);Yale University(耶鲁大学);Cornell University(康奈尔大学);West Virginia University(西弗吉尼亚大学)
研究通过测量书籍在语言模型中的记忆程度,发现大多数模型不完整记忆书籍,但部分模型如Llama 3.1 70B能完整记忆某些书籍,对版权案件有重要影响。
2026-07-20 cs.CL cs.CY cs.LG
Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots
该研究明确了大型语言模型中反事实记忆与自适应提取的差分隐私边界,发现二者互不控制,存在双向盲区,且在数十亿参数模型上依然存在。
2026-08-31 cs.CL cs.CR cs.LG
Get Confused Cautiously: Textual Sequence Memorization Erasure with Selective Entropy Maximization
Queen Mary University of London(伦敦玛丽女王大学)
针对 LLM 逐字记忆训练文本的问题,本文提出 EMSO 框架,利用对比梯度度量选择性更新权重并最大化熵,从而在大规模遗忘请求下兼顾记忆擦除与模型能力。
2024-08-09 cs.CL
Alignment Whack-a-Mole : Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models
Stony Brook University(石溪大学);Carnegie Mellon University(卡内基梅隆大学);Columbia Law School(哥伦比亚法学院)
研究显示微调可绕过安全对齐策略,使GPT-4o等模型能回忆85-90%的版权书籍,揭示模型权重存储版权作品的漏洞。
2026-09-16 cs.AI cs.CL cs.CY
Memories Retrieved from Many Paths: A Multi-Prefix Framework for Robust Detection of Training Data Leakage in Large Language Models
Department of Computer Science, University of Central Florida(计算机科学系,中央佛罗里达大学)
本文提出多前缀框架,通过量化记忆的检索路径多样性,稳健检测大型语言模型中的训练数据泄露问题。
2025-11-25 cs.AI cs.CL cs.CR
A Lightweight Method to Disrupt Memorized Sequences in LLM
UC San Diego(加州大学圣迭戈分校);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出轻量级事后防御方法 TokenSwap,通过在大小模型间选择性交换 token 概率,有效降低 LLM 逐字记忆复现倾向且保持任务性能。
2025-05-27 cs.CL cs.LG
Rote Learning Considered Useful: Generalizing over Memorized Data in LLMs
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Ruhr University Bochum(博德伦大学);UAR RC Trust(UAR RC信托)
本研究提出了一种两阶段框架,证明大语言模型可通过语义有意义的提示超越机械记忆数据,实现了有效的知识注入和潜在的风险。
2026-03-01 cs.CL
Memorization Dynamics of Fill-in-the-Middle Pretraining
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系)
通过对比 FIM 与标准 LTR 预训练,研究 FIM 对逐字记忆的影响,发现 FIM 更易恢复短片段或部分匹配,而 LTR 对长精确延续置信度更高,且 FIM 训练下的逐字提取随重复次数近似线性增长。
2026-05-21 cs.AI cs.CL cs.LG
Copyright Violations and Large Language Models
University of Copenhagen(哥本哈根大学);University of Electronic Science and Technology of China(电子科技大学)
本研究通过逐字记忆视角探讨大型语言模型的版权侵权问题,在多模型与流行书籍及编程问题集合上实验,保守表征了模型对受版权保护文本的再分发程度,强调需进一步审查以确保自然语言处理遵守版权法规。
2023-10-20 cs.AI cs.CL
SUV: Scalable Large Language Model Copyright Compliance with Regularized Selective Unlearning
Purdue University(普渡大学)
本文提出 SUV 选择性遗忘框架,通过侵权实例数据、DPO 替换逐字版权内容,并结合梯度投影与 Fisher 正则化保护通用能力,显著降低 LLM 版权风险。
2025-09-26 cs.AI cs.CL cs.CY
FictionalQA: A Dataset for Studying Memorization and Knowledge Acquisition
University of Maryland(马里兰大学);Carnegie Mellon University(卡内基梅隆大学)
FictionalQA数据集旨在研究语言模型在记忆事实和序列时的双重过程,通过合成的虚构事件文档和问题-答案对,探索不同形式的记忆机制及构建挑战。
2026-03-02 cs.CL cs.LG
Hallucinations in Bibliographic Recommendation: Citation Frequency as a Proxy for Training Data Redundancy
Meijo University(名古屋大学);RIKEN AIP(理化学研究所AIP)
本研究针对大语言模型在书目推荐中的论文幻觉问题,提出以引用频次作为训练数据冗余度代理指标,通过GPT-4.1实验验证了高被引论文幻觉率更低、被引超千次后近乎逐字记忆的结论,揭示了泛化到记忆的转变阈值。
2025-10-29 cs.AI cs.CL
Hallucinate or Memorize? The Two Sides of Probabilistic Learning in Large Language Models
Meijo University(名古屋大学)
针对LLM在引文推荐中存在虚构不存在论文的问题,本研究假设引文数量可代理训练数据冗余,通过GPT-4.1实验发现引文数量与事实准确性高度相关,超千次被引论文几乎被逐字记忆且相似内容会引发记忆干扰,揭示了LLM概率学习中生成与记忆的两面性。
2025-11-12 cs.AI cs.CL
Measuring Non-Adversarial Reproduction of Training Data in Large Language Models
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
本文研究了大型语言模型在自然良性提示下非对抗性复现训练数据的现象,发现模型输出与互联网文本重叠率高达15%,最坏情况达100%,远高于人类,且提示策略虽能平均降低复现但无法解决最坏情况,需更强防御。
2024-11-15 cs.CL cs.LG
Obliviate: Efficient Unmemorization for Protecting Intellectual Property in Large Language Models
Microsoft Azure(微软Azure);Microsoft(微软)
本研究提出轻量级训练后方法Obliviate,通过KL散度惩罚调整目标词元输出分布、非目标词元一致性损失,精准抑制大模型受版权文本的逐字复现,在多模型上实现逐字回忆量降两个数量级且下游性能下降不超1%,为LLM版权合规提供实用高保真方案。
2025-06-12 cs.AI cs.CL cs.CR
Behavioral Canaries: Auditing Private Retrieved Context Usage in RL Fine-Tuning
Google(谷歌)
本文提出 Behavioral Canaries 机制,用于审计 RL 微调过程中是否非法使用受保护的检索上下文,通过行为信号检测未经授权的文档条件训练,实现 67% 的检测率。
2026-08-07 cs.CL cs.CR
To Each (Textual Sequence) Its Own: Improving Memorized-Data Unlearning in Large Language Models
University of Warwick(华威大学)
本文提出按文本序列在LLM中的记忆程度差异化遗忘的新视角,贡献新评估指标、对抗攻击及两种遗忘方法,并通过大规模实验验证其效果。
2024-05-06 cs.AI cs.CL cs.LG
Are Large Language Models Truly Smarter Than Humans?
Applied AI Scientist, Health Vectors(应用人工智能科学家,健康向量);Senior AI Scientist, Intuit India(高级人工智能科学家,Intuit印度)
本文通过三个实验评估六种前沿大语言模型的评估数据污染问题,发现STEM领域污染率最高,且部分模型存在记忆偏差。
2026-03-17 cs.AI cs.CL
Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects
Aalborg University(奥尔堡大学)
本文研究了扩散语言模型的记忆化现象,提出通用概率提取框架并验证其理论,显示DLMs在记忆化信息泄露方面优于自回归模型。
2026-03-02 cs.CL
Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens
本文提出一种自适应预训练数据检测方法,通过定位并利用“意外词元”的预测概率来识别大语言模型是否见过某段数据,无需访问训练语料或额外训练,在多个基准上最大提升29.5%,并引入新基准Dolma-Book。
2024-07-30 cs.CL cs.CR cs.LG
Mitigating Memorization In Language Models
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Dartmouth College(达特茅斯学院);International Computer Science Institute(国际计算机科学研究所);University of California, Berkeley(加州大学伯克利分校)
本文研究了缓解语言模型记忆现象的方法,提出了基于正则化、微调和机器遗忘的多种策略,并引入了TinyMem模型套件。实验表明,基于遗忘的方法在速度和效果上均优于其他方法,特别是新提出的BalancedSubnet方法在移除记忆信息的同时保持了任务性能。
2026-10-01 cs.AI cs.CL cs.LG
No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models
Tel Aviv University(特拉维夫大学)
本文研究了基于输出分布的污染检测方法CDD在小语言模型中的有效性,发现其在多数情况下表现不佳,而基于概率的方法更优。
2026-03-10 cs.AI cs.CL
Extracting books from production language models
Stanford University(斯坦福大学);Yale University(耶鲁大学)
研究通过两阶段方法测试从生产LLM中提取书籍的可行性,发现部分模型可提取受版权保护文本,但需不同劫持策略,揭示生产LLM存在训练数据泄露风险。
2026-01-06 cs.AI cs.CL cs.LG
Apertus: Democratizing Open and Compliant LLMs for Global Language Environments
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院);CSCS(瑞士国家超级计算中心);HES-SO Valais-Wallis(瑞士西部应用科学与艺术大学瓦莱州分校);HSLU(卢塞恩应用科学与艺术大学);IST Austria(奥地利科学技术研究所);ZHAW(苏黎世应用科学大学);University of Zurich(苏黎世大学);University of Bern(伯尔尼大学);Vischer
Apertus通过开放且合规的大型语言模型,解决数据合规性和多语言表示问题,提供透明的开发资源以促进全球语言环境的应用。
2025-12-01 cs.AI cs.CL cs.LG
MUSE: Machine Unlearning Six-Way Evaluation for Language Models
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);University of Southern California(南加州大学);University of Chicago(芝加哥大学);Google Research(谷歌研究院)
针对现有语言模型机器遗忘算法评估范围狭窄的问题,提出包含六项评估维度的MUSE基准,测试8种算法在7B参数模型上的遗忘效果,发现多数算法存在隐私泄露、效用下降等问题。
2024-07-14 cs.AI cs.CL
Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents
Hostinger;Kaunas University of Technology(考纳斯理工大学);AI Insight Lab
本文通过心理计量学分析发现,虽LLMs可复现人类调查关系的定性方向,但其心理计量学相似性不及高斯copula基线,且存在默许偏移、预测效度下降等问题,无法作为人类调查数据的直接替代品。
2026-10-14 cs.AI cs.CL cs.CY
Personal Information Parroting in Language Models
Carnegie Mellon University - Language Technologies Institute(卡内基梅隆大学-语言技术研究所);University of Washington(华盛顿大学)
本研究开发了检测个人信息的正则表达式和规则套件,发现语言模型会记忆并重复个人信息,建议加强数据过滤和匿名化以降低隐私风险。
2026-02-24 cs.AI cs.CL cs.CR