Quantifying Generalization Complexity for Large Language Models
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta；University of Chicago（芝加哥大学）
提出 Scylla 动态评估框架，通过分布内与分布外任务解耦泛化和记忆，发现“泛化谷”与临界复杂度现象，并基于 28 个 LLMs 的基准测试揭示模型规模与泛化能力上界的关系。
2024-10-03 cs.CL
Quantifying Adaptability in Pre-trained Language Models with 500 Tasks
MIT（麻省理工学院）；Meta AI
当一个神经语言模型（LM）被用来执行一个新的任务时，任务的哪些方面预测了模型的最终性能？在自然语言处理中，LM推广到单个例子的系统特征得到了很好的表征，但是LM对新任务的适应性的系统方面还没有得到很好的理解。我们提出了一个大规模的实证研究LM适应性的功能和限制，使用一个新的基准，TaskBench 500，建立从500程序生成的序列建模任务。这些任务结合了语言处理的核心方面，包括词汇语义，序列处理，记忆，逻辑推理和世界知识。使用TaskBench 500，我们评估了适应性的三个方面，发现：（1）适应程序在记忆小数据集的能力方面存在显着差异;（2）在任务类型的子集内，适应程序表现出对复杂任务的组合适应性;（3）无法匹配训练标签分布的原因是预测单个标签的内在难度不匹配。我们的实验表明，适应新的任务，如泛化到新的例子，可以系统地描述和理解，我们的结论与讨论的其他方面的适应性，可以使用新的基准进行研究。
2022-05-04 cs.CL cs.LG
Memorization vs. Generalization: Quantifying Data Leakage in NLP Performance Evaluation
The University of Melbourne（墨尔本大学）；RMIT University（皇家墨尔本理工大学）
公共数据集通常用于评估自然语言处理（NLP）中许多任务的最新方法的有效性和可推广性。然而，在训练和测试数据集之间存在重叠可能导致夸大的结果，无意中评估模型的记忆能力并将其解释为泛化能力。此外，这样的数据集可能无法提供这些方法在现实世界场景中的性能的有效指标。我们在用于评估NLP任务（包括命名实体识别和关系抽取）的几个公开数据集上识别出训练数据泄漏到测试数据中，并对其进行研究，以评估泄漏对模型记忆与概括能力的影响。
2021-02-03 cs.CL cs.LG
Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs
University of Windsor（温莎大学）；Deakin University（迪肯大学）；University of Washington（华盛顿大学）；NVIDIA（英伟达）；Stanford University（斯坦福大学）
本文提出黑盒提示优化方法，通过攻击者LLM智能体以迭代拒绝采样生成低训练数据重叠、高受害模型输出重叠的指令提示，揭示更高程度的LLM记忆问题，为自动化攻击研究提供新方向。
2025-02-09 cs.CL
Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs
University of Science and Technology of China（中国科学技术大学）；University of Aberdeen（阿伯丁大学）；University of Birmingham（伯明翰大学）；Alibaba Group（阿里巴巴集团）
研究RLVR中虚假奖励导致模型依赖记忆而非推理的机制，发现锚定-适配器电路，并通过因果干预验证其作用。
2026-06-26 cs.CL cs.LG
Quantifying Contamination in Evaluating Code Generation Capabilities of Language Models
Yale University（耶鲁大学）
本研究针对代码生成基准的数据污染问题，通过表层与语义匹配量化其与预训练语料的重叠，发现存在大量重叠且模型在见过相似方案的子集上表现更优，还分析了影响记忆与泛化的因素并发布结果文件。
2024-03-06 cs.CL cs.LG cs.SE
Guess or Recall? Training CNNs to Classify and Localize Memorization in LLMs
本文针对大语言模型逐字记忆的机制分类问题，基于注意力权重训练CNN评估现有分类体系，提出新的三类记忆分类法，同时开发视觉可解释技术定位对应注意力区域。
2025-11-13 cs.CL
Memories Retrieved from Many Paths: A Multi-Prefix Framework for Robust Detection of Training Data Leakage in Large Language Models
Department of Computer Science, University of Central Florida（计算机科学系，中央佛罗里达大学）
本文提出多前缀框架，通过量化记忆的检索路径多样性，稳健检测大型语言模型中的训练数据泄露问题。
2025-11-25 cs.AI cs.CL cs.CR
What Should LLMs Forget? Quantifying Personal Data in LLMs for Right-to-Be-Forgotten Requests
TU Berlin（柏林技术大学）
本文提出WikiMem数据集和模型无关指标，通过校准负对数似然量化LLMs中个体事实关联，为被遗忘权请求动态构建遗忘集奠定基础。
2025-07-15 cs.CL cs.CY cs.LG
Quantifying Cross-Modality Memorization in Vision-Language Models
University of Maryland, College Park（马里兰大学学院公园分校）
本文系统研究视觉-语言模型中的跨模态记忆，通过合成人物数据集量化事实知识记忆与跨模态迁移，发现跨模态迁移存在显著差距，并提出一种缓解该问题的基线方法。
2025-06-05 cs.CV cs.LG
Quantifying Memorization and Parametric Response Rates in Retrieval-Augmented Vision-Language Models
Carnegie Mellon University（卡内基梅隆大学）
本研究针对检索增强视觉语言模型的记忆与检索依赖评估指标缺失问题，提出代理指标量化记忆程度，发现微调模型更依赖记忆且准确率更高，并首次实证对比文本与视觉模态的参数化效应，为多模态记忆与泛化研究提供参考。
2025-06-15 cs.AI cs.LG
Quantifying Memorization and Privacy Risks in Genomic Language Models
Case Western Reserve University（凯斯西储大学）；UTHealth（UT健康）；Rutgers University（罗格斯大学）
本文提出多向量隐私评估框架，量化基因组语言模型的记忆风险与隐私威胁，揭示不同架构和训练制度下的记忆差异。
2026-10-20 cs.CR cs.LG q-bio.GN
Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis
Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文提出通过关联分析结合幻觉水平量化与原因调查，建立LLMs幻觉率与风险因素的关系，揭示模型在常识记忆、关系推理和指令遵循上的潜在缺陷，为预训练和监督微调提供缓解幻觉的指导。
2023-09-11 cs.AI cs.CL
Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking
Princeton University（普林斯顿大学）
本研究通过384种配置的模算术MLP实验，量化了grokking中记忆化到泛化转变的标度律，发现数据复杂度是主导因素，并识别出权重衰减的尖锐相边界，为预测和调控过参数化网络的状态转变提供了定量基础。
2026-09-11 cs.AI cs.LG
Counterfactual Memorization in Neural Language Models
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）；ETH Zürich（苏黎世联邦理工学院）
提出反事实记忆概念，通过省略文档观察预测变化，识别标准数据集中的记忆示例，并估计其对验证集和生成文本的影响，为测试时记忆来源提供直接证据。
2023-10-13 cs.AI cs.CL cs.LG
Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy
Google Research（谷歌研究院）；ETH Zurich（苏黎世联邦理工学院）；Cornell University（康奈尔大学）
本文指出防止语言模型逐字记忆并不能真正保护隐私，提出并验证了可通过风格转换提示轻易绕过完美过滤器提取训练数据，强调需重新定义记忆以应对隐私风险。
2023-09-11 cs.CL cs.LG
Memorization in Graph Neural Networks
CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全中心）
该研究提出NCMemo框架量化图神经网络的标签记忆，揭示其与图同质性的反比关系及低同质性下的记忆机制，验证图重连可在不损性能的前提下减记忆、降隐私风险。
2025-09-03 cs.LG
Random Label Prediction Heads for Studying Memorization in Deep Neural Networks
University of Münster（明斯特大学）
该研究提出用随机标签预测头研究深度神经网络分类任务中的记忆，通过其性能估计拉德马赫复杂度，分析泛化与过拟合，还基于此提出正则化技术，挑战了过拟合等同于记忆的传统假设，揭示减少记忆对泛化的复杂影响。
2026-07-14 cs.LG
Koala: An Index for Quantifying Overlaps with Pre-training Corpora
Monash University（莫纳什大学）；University College London（伦敦大学学院）
在最近几年中，更多的注意力已经放在探测预训练数据在大语言模型（LLM）下游行为中的作用上。尽管重要性，有没有公共工具，支持这种分析的预培训语料库在大规模。为了帮助这一领域的研究，我们推出了Koala，这是一种针对大型预训练语料库的可搜索索引，使用具有高效压缩率和搜索支持的压缩后缀数组。在首个版本中，我们索引了OPT 175 B预训练数据的公开比例。Koala提供了一个框架，可以对当前和未来的基准进行法医分析，并评估LLM输出的记忆程度。Koala可在https://koala-index.erc.monash.edu/上供公众使用。
2023-03-26 cs.CL cs.LG
Finding Memo: Extractive Memorization in Constrained Sequence Generation Tasks
Microsoft Azure AI（微软Azure人工智能）
泛化对诸如神经机器翻译（NMT）的若干受约束的自然语言生成（NLG）任务提出了挑战，其中神经模型记忆噪声和非典型样本的倾向与噪声（网络爬行）数据集产生不利的反应。然而，以前的研究记忆的限制NLG任务只集中在反事实记忆，它与幻觉的问题。在这项工作中，我们提出了一个新的，廉价的算法提取记忆（准确的训练数据生成不足的情况下）在约束序列生成任务，并使用它来研究提取记忆及其影响NMT。我们表明，提取记忆NMT的可靠性构成了严重的威胁，定性和定量表征记忆的样本以及在他们附近的模型行为。基于经验观察，我们开发了一个简单的算法，elancement非记忆的翻译记忆样本从同一个模型，为大部分这样的样本。最后，我们证明了所提出的算法也可以通过微调来减轻模型中的记忆。我们已经在https://github.com/vyraun/Finding-Memo上发布了代码来重现我们的结果。
2022-10-24 cs.AI cs.CL cs.LG
ROTE: Benchmarking Neural Memorization on Complexity-Controlled Symbolic Sequences
ROTE基准通过LZW复杂度控制的符号序列，评估神经架构的精确记忆能力，揭示记忆质量、滚动稳定性与计算开销之间的权衡。
2026-09-29 cs.AI cs.LG
Generalizability of Memorization Neural Networks
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文首次对记忆神经网络的泛化能力展开理论分析，在i.i.d.数据假设下构建记忆网络，推导泛化所需网络宽度、样本复杂度及参数量的相关结论，并提出高效泛化记忆算法。
2024-11-01 cs.AI cs.LG
Understanding Feature Selection and Feature Memorization in Recurrent Neural Networks
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）
在本文中，我们提出了一个测试，称为标记1位（F1B）测试，研究循环神经网络在序列学习的内在能力。四个不同的经常性网络模型进行了研究，分析和实验使用此测试。我们的研究结果表明，在序列学习中，一般存在特征选择和特征记忆之间的冲突。这种冲突可以使用LSTM中的门控机制来解决，或者通过增加Vanilla RNN中的状态维度来解决。门控模型通过自适应地调整其状态更新方程来解决这种冲突，而Vanilla RNN通过分配不同的维度不同的任务来解决这种冲突。深入了解特征选择和记忆递归网络。
2019-03-03 cs.LG stat.ML
Quantifying the Effect of Test Set Contamination on Generative Evaluations
University of Oxford（牛津大学）；ServiceNow Research（ServiceNow研究院）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过语言模型生命周期量化测试集污染对生成评估的影响，发现污染可降低模型损失，进一步训练和采样温度调节影响记忆效果。
2026-09-29 cs.CL cs.LG
Provable Memorization via Deep Neural Networks using Sub-linear Parameters
Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Massachusetts Institute of Technology（麻省理工学院）
已知$O(N)$参数足以使神经网络记忆任意的$N$输入-标签对。利用深度，我们表明，$O(N^{2/3})$参数足以记忆$N$对，在一个温和的条件下，对输入点的分离。特别是，更深的网络（即使宽度为$3$）比浅网络记忆更多的对，这也与最近关于深度对函数逼近的好处的工作一致。我们还提供了实证结果，支持我们的理论研究结果。
2021-11-02 cs.LG
Memorization Capacity of Neural Networks with Conditional Computation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
许多实证研究已经证明了条件计算在神经网络中的性能优势，包括减少推理时间和功耗。我们从记忆能力的角度研究了神经条件计算的基本限制。对于没有条件计算的整流线性单元（ReLU）网络，已知的是，可以经由具有$O(\sqrt{n})$神经元的神经网络来完成记忆$n$输入-输出关系的集合。计算该神经网络的输出可以使用针对每个输入的加法、乘法和比较的$O(\sqrt{n})$基本算术运算来完成。使用条件ReLU网络，我们证明了每个输入仅使用$O(\log n)$操作就可以完成相同的任务。与没有条件计算的网络相比，这代表了几乎指数级的改进。我们还表明，$Θ(\log n)$率是最好的。我们的可扩展性结果利用了一种通用的方法，以计算效率高的方式从无条件网络中合成出一个条件网络，弥合了无条件和条件架构之间的差距。
2023-03-20 cs.LG
Memorization in Deep Neural Networks: Does the Loss Function matter?
Indian Institute of Science（印度科学学院）
深度神经网络，通常由于过度参数化，被证明能够准确地记忆甚至随机标记的数据。实证研究也表明，没有一种标准的正则化技术可以减轻这种过拟合。我们调查是否选择的损失函数可以影响这种记忆。我们的经验表明，与基准数据集MNIST和CIFAR-10，对称的损失函数，而不是交叉熵或平方误差损失，结果在网络的能力显着改善，以抵抗这种过拟合。然后，我们提供了一个正式的定义为记忆的鲁棒性，并提供了一个理论解释，为什么对称损失提供这种鲁棒性。我们的研究结果清楚地表明了损失函数在这种记忆现象中所起的作用。
2021-07-22 cs.CV cs.LG stat.ML
On the geometry of generalization and memorization in deep neural networks
Intel Labs（英特尔研究院）；Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
理解大型神经网络如何避免记忆训练数据是解释其高泛化性能的关键。为了研究记忆在深度网络中何时何地发生的结构，我们使用了最近开发的基于复制的平均场理论几何分析方法。我们发现所有层都优先从共享特征的示例中学习，并将此行为与泛化性能联系起来。由于减少了目标流形的半径和尺寸，湍流化主要发生在较深的层中，而早期的层受到的影响最小。这预示着泛化可以通过将最后几层权重恢复到发生显著记忆之前的较早时期来恢复，实验证实了这一点。此外，通过研究不同模型大小下的推广，我们揭示了双下降现象和底层模型几何之间的联系。最后，分析表明，网络在训练早期避免了记忆，因为接近初始化时，来自置换样本的梯度贡献很小。这些发现为深层神经网络各层的记忆结构、这种结构的驱动因素及其与多种几何属性的联系提供了定量证据。
2021-05-30 cond-mat.dis-nn cs.LG stat.ML
Memorization and Generalization in Neural Code Intelligence Models
University of Houston（休斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
深度神经网络（DNN）越来越多地用于软件工程和代码智能任务。这些都是强大的工具，能够通过数百万个参数从大型数据集中学习高度概括的模式。同时，它们的大容量可能使它们易于记忆数据点。最近的研究表明，当训练数据集是嘈杂的，涉及许多模糊或可疑的样本时，记忆风险表现得特别强烈，记忆是唯一的手段。本文的目的是评估和比较的程度记忆和泛化的神经代码智能模型。它旨在提供关于记忆如何影响代码智能系统中神经模型的学习行为的见解。为了观察模型中记忆的程度，我们将随机噪声添加到原始训练数据集中，并使用各种指标来量化噪声对训练和测试各个方面的影响。我们评估了几个基于Java、Python和Ruby代码库的最先进的神经代码智能模型和基准测试。我们的研究结果突出了重要的风险：数百万个可训练参数允许神经网络记住任何东西，包括噪声数据，并提供错误的泛化感。我们观察到所有模型都表现出某种形式的记忆。在大多数代码智能任务中，这可能会带来麻烦，因为它们依赖于相当容易产生噪音和重复的数据源，例如来自GitHub的代码。据我们所知，我们提供了第一个研究，以量化记忆效应领域的软件工程和代码智能系统。这项工作提高了人们的认识，并为在代码智能系统中训练神经模型的重要问题提供了新的见解，这些问题通常被软件工程研究人员忽视。
2022-09-12 cs.LG cs.PL cs.SE
Leveraging Unlabeled Data to Track Memorization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Google Research（谷歌研究院）
深度神经网络可能很容易记住现实世界数据中存在的噪声标签，这降低了它们的泛化能力。因此，重要的是跟踪和评估模型对噪声标签记忆的鲁棒性。我们提出了一个度量，称为敏感性，以衡量这样的记忆神经网络。敏感度是简单的，易于计算在训练过程中。此外，它不需要访问地面实况标签，只使用未标记的数据。我们凭经验证明了我们的度量在跟踪各种架构和数据集上的记忆方面的有效性，并为易感性度量的设计提供了理论见解。最后，我们通过对具有合成和真实世界标签噪声的数据集的广泛实验表明，可以利用敏感性和整体训练准确性来区分对训练集保持低记忆的模型，并很好地推广到看不见的干净数据。
2022-12-08 cs.LG
On the Optimal Memorization Power of ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了前馈ReLU神经网络的记忆能力。我们表明，这样的网络可以记住任何$N$点，满足一个温和的可分性假设使用$\tilde{O}\left(\sqrt{N}\right)$参数。已知的VC维上界意味着记忆$N$样本需要$Ω(\sqrt{N})$参数，因此我们的构造是最佳的对数因子。我们还给出了一个广义的网络结构的深度有界的$1 \leq L \leq \sqrt{N}$，记忆$N$样本使用$\tilde{O}(N/L)$参数。这个界限也是最佳的对数因子。我们的构造使用具有大比特复杂度的权重。我们证明，有这样一个大的位复杂度是必要的和足够的记忆与一个次线性数量的参数。
2021-10-07 cs.LG cs.NE stat.ML
Towards the Memorization Effect of Neural Networks in Adversarial Training
Michigan State University（密歇根州立大学）；TAL Education Group（好未来教育集团）
最近的研究表明，“记忆”是超参数化深度神经网络（DNN）实现最佳性能的一个重要因素。具体地说，完美拟合的DNN可以记住许多非典型样本的标签，推广它们的记忆，以正确分类测试非典型样本，并享有更好的测试性能。同时，通过对抗训练算法优化的DNN也可以通过记忆非典型样本的标签以及对抗扰动的非典型样本来实现完美的训练性能。然而，逆向训练模型的泛化能力总是很差，在测试集上的准确性和鲁棒性都相对较低。在这项工作中，我们研究了记忆在对抗训练DNN中的作用，并揭示了两个重要的发现：（a）对非典型样本进行分类只能有效提高DNN对干净非典型样本的准确性，但几乎不能提高其对抗鲁棒性;（b）对某些非典型样本进行分类甚至会损害DNN对典型样本的性能。基于这两个发现，我们提出了良性对抗训练（BAT），它可以促进对抗训练，以避免拟合“有害”的非典型样本，并尽可能拟合更多的“良性”非典型样本。在我们的实验中，我们验证了BAT的有效性，并表明它可以在CIFAR 100和Tiny~ImageNet等基准数据集中实现比基线方法更好的清洁精度与鲁棒性权衡。
2021-06-09 cs.LG
Memorization-Dilation: Modeling Neural Collapse Under Label Noise
LMU Munich（慕尼黑大学）；Technion（以色列理工学院）；Israel Institute of Technology（以色列理工学院）；Paderborn University（帕德博恩大学）；University of Tromsø（特罗姆瑟大学）
本文提出考虑网络有限表达能力的无约束特征表示变体，通过记忆膨胀模型揭示了不同损失函数在噪声数据上表现不同的机制，并从理论上证明标签平滑能提升分类泛化能力。
2023-04-04 cs.LG
Can Neural Network Memorization Be Localized?
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
该研究反驳了神经网络记忆仅存在于最后几层的观点，发现记忆局限于多层中少量神经元，提出样本绑定Dropout可精准调控记忆，大幅降低记忆样本准确率并缩小泛化差距。
2023-07-18 cs.CV cs.LG
Network size and weights size for memorization with two-layers neural networks
Microsoft Research（微软研究院）；Weizmann Institute（魏茨曼科学研究所）；University of Washington（华盛顿大学）
1988年，埃里克·B. Baum证明了具有阈值激活函数的两层神经网络仅使用$\ulcorner n/d \urcorner$神经元就可以完美地记忆$\mathbb{R}^d$中一般位置的$n$点的二元标签。我们观察到，使用ReLU网络，使用四倍的神经元，可以拟合任意真实标签。此外，对于直到错误$ε$的近似记忆，神经切线核也可以仅用$O\left(\frac{n}{d} \cdot \log(1/ε) \right)$神经元来记忆（假设数据也是很好地分散的）。然而，我们表明，这些结构产生的网络中的神经元的权重的大小是远远不是最佳的。相比之下，我们提出了一种新的ReLU网络训练过程，基于神经元的复杂（而不是真实）重组，我们展示了$O\left(\frac{n}{d} \cdot \frac{\log(1/ε)}ε\right)$神经元的近似记忆，以及接近最佳的权重大小。
2020-11-03 cs.LG stat.ML
The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）
本文描述了一种测试方法，用于定量评估生成序列模型（一种常见的机器学习模型）无意中记忆罕见或独特的训练数据序列的风险。因为这样的模型有时是在敏感数据上训练的（例如，用户的私人消息的文本），这种方法可以通过允许深度学习从业者选择最小化这种记忆的训练手段来有益于隐私。在实验中，我们表明，无意识的记忆是一个持久的，难以避免的问题，可能会产生严重的后果。具体来说，对于在不考虑记忆的情况下训练的模型，我们描述了新的，有效的程序，可以提取独特的，秘密的序列，如信用卡号码。我们表明，我们的测试策略是一个实用和易于使用的第一道防线，例如，通过描述其在谷歌智能撰写中定量限制数据暴露的应用，这是一个商业文本完成神经网络，经过数百万用户电子邮件的训练。
2019-07-16 cs.AI cs.CR cs.LG
Neural Network Memorization Dissection
The University of Munich（慕尼黑大学）；Siemens AG, Corporate Technology（西门子股份公司企业技术部）
深度神经网络（DNN）可以很容易地以零训练误差拟合训练数据的随机标记。用随机标签训练的DNN和用真实标签训练的DNN有什么区别？我们的论文回答了这个问题有两个贡献。首先，我们研究了DNN的记忆特性。我们的实证实验揭示了DNN如何优先考虑简单输入模式的学习。在第二部分中，我们建议测量不同DNN学习和记忆的内容之间的相似性。通过所提出的方法，我们分析和比较了在具有真实标签和随机标签的数据上训练的DNN。分析表明，DNN具有\textit{One way to Learn}和\textit{N ways to Memorize}。我们还使用梯度信息来理解分析结果。
2019-11-21 cs.LG stat.ML
Fisher information and the geometry of memorization in neural networks
Princeton University（普林斯顿大学）；University of Sydney（悉尼大学）；CUNY Graduate Center（纽约城市大学研究生中心）
该研究在受噪声训练的CIFAR-10视觉模型、小型Transformer及线性模型中，发现将权重投影到顶部费舍尔本征向量可解耦泛化与记忆，揭示费舍尔信息捕捉神经网络容量分配的几何结构。
2026-10-14 cond-mat.dis-nn cs.AI cs.LG
Detecting Learning vs Memorization in Deep Neural Networks using Shared Structure Validation Sets
Sage Bionetworks（Sage生物网络公司）
学习和记忆所扮演的角色是深度学习研究中的一个重要课题。最近关于这个主题的研究表明，在混洗标签上训练的DNN的优化行为与用真实标签训练的DNN有质的不同。在这里，我们提出了一种新的排列方法，可以区分记忆和学习，在深度神经网络（DNN）中像往常一样训练（即，使用真实的标签来指导学习，而不是混洗的标签）。对DNN是否已经学习和/或记忆的评估发生在一个单独的步骤中，在该步骤中，我们将使用DNN学习的特征训练的浅层分类器的预测性能与相同分类器的多个实例进行比较，这些分类器在相同输入上训练，但使用混洗标签作为输出。通过在与训练集共享结构的验证集中评估这些浅层分类器，我们能够区分学习和记忆。将我们的置换方法应用于在图像数据上训练的多层感知器和卷积神经网络，证实了其他小组的许多发现。最重要的是，我们的插图还揭示了关于DNN如何在越来越多的训练时期中记忆的有趣动态模式，并支持了令人惊讶的结果，即DNN在使用纯高斯噪声作为输入进行训练时仍然能够学习，而不仅仅是记忆。
2018-02-21 cs.LG stat.ML
Neural Networks Learning and Memorization with (almost) no Over-Parameterization
Hebrew University（希伯来大学）；Google（谷歌）
近年来的许多研究成果通过神经网络算法建立了各种模型的多项式时间可学习性。然而，除非模型是线性可分的，或者激活是一个多项式，否则这些结果需要非常大的网络--远远超过仅仅存在一个好的预测器所需要的网络。在本文中，我们证明了SGD深度2神经网络可以记住样本，学习多项式有界的权重，并学习一定的核空间，接近最佳的网络规模，样本复杂度，和运行时间。特别是，我们证明了具有$\tilde{O}\left(\frac{m}{d}\right)$隐藏神经元（以及$\tilde{O}(m)$参数）的深度二网络上的SGD可以记住$\mathbb{S}^{d-1}$中的$m$随机标记点。
2019-11-22 cs.LG stat.ML
Memorization capacity of deep ReLU neural networks characterized by width and depth
School of Mathematics (Zhuhai), Sun Yat-sen University, Zhuhai, China（中山大学数学学院（珠海）、中山大学珠海校区，中国）；School of Mathematics (Zhuhai) and Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University, Zhuhai, China（中山大学数学学院（珠海）和广东省计算科学重点实验室，中山大学珠海校区，中国）
本文通过分析深度ReLU神经网络的宽度和深度，确定了记忆容量的最优权衡关系。
2026-03-10 cs.LG cs.NA math.NA
Online Memorization of Random Firing Sequences by a Recurrent Neural Network
ETH Zürich（苏黎世联邦理工学院）
研究了循环神经网络模型通过简单的局部学习规则记忆随机动态放电模式的能力。考虑两种学习/记忆模式：第一种模式是严格在线的，通过数据进行单次传递，而第二种模式使用多次传递数据。在这两种模式下，学习都是严格局部的（准赫布）：在任何给定的时间步，只有在前一个时间步发射（或假设发射）的神经元和在当前时间步发射（或假设发射）的神经元之间的权重被修改。本文的主要结果是上界的概率，单遍记忆是不完美的。由此可见，这种模式下的记忆能力与经典Hopfield模型（相反，它记忆静态模式）的记忆能力类似。然而，多轮记忆被证明可以实现更高的容量（每个连接/突触的位数不为零）。这些数学发现可能有助于理解短期记忆和长期记忆在神经科学中的功能。
2020-01-09 cs.IT cs.LG cs.NE
Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting
The University of Tokyo（东京大学）；RIKEN Center for AIP（日本理化学研究所先进智能研究中心）；UBTECH Sydney AI Centre, The University of Sydney（悉尼大学优必选悉尼人工智能中心）
深度学习经常受到自然神经系统中很少存在的两个严重问题的批评：过度拟合和灾难性遗忘。它甚至可以记忆随机标记的数据，这些数据在实例-标签对背后几乎没有知识。当深度网络通过适应新任务不断学习时，它通常会快速覆盖从以前的任务中学到的知识。被称为{ \it神经变异性}，在神经科学中众所周知的是，即使在对相同刺激的响应中，人脑反应也表现出相当大的变异性。这种机制平衡了自然神经系统运动学习的准确性和可塑性/灵活性。因此，它促使我们设计一个类似的机制，命名为{ \it人工神经变异性}（ANV），它可以帮助人工神经网络从“自然”神经网络学习一些优点。我们严格证明了ANV作为训练数据和学习模型之间的互信息的隐式正则化。这一结果从理论上保证ANV严格改进的泛化能力，对标签噪声的鲁棒性，以及对灾难性遗忘的鲁棒性。然后，我们设计了一个{ \it神经变量风险最小化}（NVRM）框架和{ \it神经变量优化器}，以实现ANV的传统网络结构在实践中。实证研究表明，NVRM可以有效地缓解过拟合，标签噪声记忆，和灾难性遗忘在可以忽略不计的成本。\footnote {代码：\url{https://github.com/zeke-xie/artificial-neural-variability-for-deep-learning} .
2021-05-10 cs.LG
Encoding-based Memory Modules for Recurrent Neural Networks
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
学习使用循环模型解决序列任务需要记住长序列并从中提取任务相关特征的能力。本文从循环神经网络的设计和训练的角度研究记忆子任务。我们提出了一个新的模型，线性记忆网络，它具有一个基于编码的记忆组件，内置一个线性自动编码器的序列。我们扩展的记忆组件与模块化的存储器，在不同的采样频率编码的隐藏状态序列。此外，我们还提供了一种专门的训练算法，该算法可以有效地对网络的隐藏激活进行编码。合成和真实世界的数据集上的实验结果表明，专门的训练算法，训练记忆组件总是提高最终的性能时，记忆的长序列是必要的，以解决问题。
2020-01-31 cs.LG cs.NE stat.ML
The Rules-and-Facts Model for Simultaneous Generalization and Memorization in Neural Networks
Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院统计物理与计算实验室）
本文提出规则与事实模型，通过结合泛化和记忆的理论框架，探讨神经网络如何同时学习规则和记忆事实，分析过参数化对两者平衡的影响。
2026-09-09 cond-mat.dis-nn cs.LG stat.ML
Measures of Information Reflect Memorization Patterns
Delhi Technological University（德里理工大学）；Google Research India（谷歌研究院印度分部）；Amazon Web Services（亚马逊网络服务）；Technion – Israel Institute of Technology（以色列理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出神经元激活模式多样性反映模型泛化与记忆的假设，通过信息论度量量化激活多样性，在多模态任务实验中验证该假设，发现信息组织可识别两类记忆，且成果可应用于模型选择。
2024-02-01 cs.IT cs.LG math.IT
Beyond Frequency: The Role of Redundancy in Large Language Model Memorization
Semyung University（_semyung大学）；University of Copenhagen（哥本哈根大学）；University of Washington（华盛顿大学）；SAIBD, Hefei University（合肥大学）；School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）
本文通过前缀扰动的反事实分析揭示冗余对大语言模型记忆的关键作用，发现低冗余样本更易被记忆且更脆弱，为隐私保护和公平部署提供预处理思路。
2025-08-29 cs.AI cs.LG
Memorization With Neural Nets: Going Beyond the Worst Case
Mathematical Institute（数学研究所）；Utrecht University（乌得勒支大学）；Merantix Momentum GmbH
本文从实例特定视角研究神经网络插值，提出可在多项式时间内构造三层插值网络的随机算法，其参数需求取决于两类数据的几何结构，给出独立于样本数的保证，并在 MNIST 和 CIFAR-10 上验证。
2024-12-06 cs.LG math.ST stat.ML
The Curious Case of Benign Memorization
ETH Zürich（苏黎世联邦理工学院）
尽管深度学习在各种学习任务中取得了经验性的进步，但我们对其成功的理论理解仍然非常有限。其中一个关键的挑战是现代模型的过度参数化性质，即使标签是随机的，也可以实现数据的完全过度拟合，即网络可以完全\textit{memorize}所有给定的模式。虽然这样的记忆能力似乎令人担忧，但在这项工作中，我们表明，在包括\textit{data augmentation}的训练协议下，神经网络学习以一种良性的方式记忆完全随机的标签，即它们学习嵌入，导致最近邻探测下的高度非平凡性能。我们证明了深度模型具有惊人的能力，通过将记忆和特征学习的任务分配到不同的层来分离噪声和信号。因此，只有最后一层用于记忆，而前面的层编码性能特征，这些特征在很大程度上不受标签噪声的影响。我们探讨了用于训练的增强的复杂作用，并确定了记忆泛化权衡其多样性，标志着一个明确的区别，所有以前的作品。最后，我们给出了第一个解释良性记忆的出现表明，\textit{malign}记忆下数据增强是不可行的，由于容量不足的模型增加的样本量。因此，网络被迫利用增强的相关性质，从而学习有意义的特征。为了完成这幅图景，需要一个更好的深度神经网络特征学习理论来充分理解这一现象的起源。
2023-02-23 cs.LG
Understanding Memorization from the Perspective of Optimization via Efficient Influence Estimation
EPFL（洛桑联邦理工学院）
过度参数化的深度神经网络能够在保持小的泛化误差的同时实现出色的训练精度。人们还发现，它们能够适应任意的标签，这种行为被称为记忆现象。在这项工作中，我们研究了记忆与翻转脱落，一个有效的方法来估计影响和记忆的现象，为数据与真实标签（真实数据）和数据与随机标签（随机数据）。我们的主要发现是：（i）对于真实数据和随机数据，简单例子的优化（例如，真实数据）和困难的例子（例如，随机数据）由网络同时进行，简单的速度更快;（ii）对于真实数据，训练数据集中正确的困难示例比简单示例信息量更大。通过展示随机数据和真实数据记忆的存在，我们强调了它们之间关于优化的一致性，并强调了记忆在优化过程中的意义。
2021-12-16 cs.LG
Loss Curvature as a Sampling-Free Proxy for Memorization in Diffusion Models
Department of Mathematics, University of California, Los Angeles（加州大学洛杉矶分校数学系）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔默电气与计算机工程学院）
本文提出输入损失曲率作为扩散模型记忆的无采样代理，从模型和样本层面研究扩散模型的记忆机制，建立样本局部损失景观与生成可能性的理论联系并通过实验验证。
2026-10-15 cs.AI cs.LG stat.ML
On the Memorization Properties of Contrastive Learning
HSE University（高等经济大学）
深度神经网络（DNN）的学习研究有助于理解DNN学习什么模式以及如何学习，并激励DNN训练方法的改进。在这项工作中，我们研究了Simplified的记忆特性，Simplified是一种广泛使用的对比自监督学习方法，并将其与监督学习和随机标签训练的记忆进行了比较。我们发现，无论是训练对象和增强可能有不同的复杂性，在这个意义上Simplified如何学习它们。此外，我们还证明了Simplified在训练对象复杂度的分布方面与随机标签训练相似。
2021-07-21 cs.LG stat.ML
A Novel Metric for Detecting Memorization in Generative Models for Brain MRI Synthesis
University of Catania（卡塔尼亚大学）；University of Messina（梅西纳大学）
本文提出DeepSSIM，一种用于检测生成模型中记忆的新型自监督度量方法，通过学习嵌入空间和结构保持增强，有效提升记忆检测性能。
2025-12-27 cs.CV cs.LG
Counterfactual Influence as a Distributional Quantity
Imperial College London（帝国理工学院伦敦分校）；Google DeepMind（谷歌DeepMind）
本文将反事实影响视为分布量来研究模型记忆现象，发现仅看自影响会因近似重复样本的存在而严重低估实际风险，完整影响分布能更好地捕捉训练数据间的复杂交互。
2025-06-25 cs.AI cs.CL cs.CR
