Beyond Frequency: The Role of Redundancy in Large Language Model Memorization
Semyung University（_semyung大学）；University of Copenhagen（哥本哈根大学）；University of Washington（华盛顿大学）；SAIBD, Hefei University（合肥大学）；School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）
本文通过前缀扰动的反事实分析揭示冗余对大语言模型记忆的关键作用，发现低冗余样本更易被记忆且更脆弱，为隐私保护和公平部署提供预处理思路。
2025-08-29 cs.AI cs.LG
Detecting Memorization in Large Language Models
本文提出通过检查 LLM 神经元激活识别已记忆 token 的方法，训练探针实现近完美检测，并可干预激活以抑制记忆且不损害性能。
2024-12-02 cs.AI cs.CL cs.LG
Understanding the Interplay between Memorization and Learning in Large Language Models
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Boston University（波士顿大学）
本文重新审视大语言模型的记忆度量，提出上下文记忆概念，并通过18个模型实验表明最优学习无法完全避免记忆，且不同度量结果不一致，现有隐私威胁可能被夸大。
2026-10-14 cs.LG
Rethinking Federated Unlearning via the Lens of Memorization
Royal Melbourne Institute of Technology（皇家墨尔本理工学院）；Griffith University（格里菲斯大学）；Swinburne University of Technology（斯威本理工大学）
针对联邦学习中遗忘数据与保留数据重叠导致遗忘无效和客户端不公平的问题，提出基于分组记忆评估的联邦记忆剪枝方法，通过重置负责记忆的冗余参数实现高效遗忘。
2026-05-23 cs.AI cs.LG
Uncovering Memorization Effect in the Presence of Spurious Correlations
Yale University（耶鲁大学）；University of Utah（犹他大学）；Stony Brook University（石溪大学）
本文从记忆角度揭示虚假特征集中于少量神经元并导致群体性能不平衡，提出消除虚假记忆的新框架以改善少数群体表现。
2025-06-05 cs.AI cs.CV cs.LG
Extractable Memorization From First Principles
Yale（耶鲁大学）；AVERI（AVERI（未提及常见中文名，可直译为“应用价值与伦理研究所”之类，具体需结合实际背景））；Stanford（斯坦福大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Cornell（康奈尔大学）
研究大语言模型可提取记忆的有效性问题，提出通过匹配比较测量训练与非训练序列生成概率来判断记忆，形式化共形测试和普查两种匹配比较方式并揭示问题，完善可提取记忆定义，给出有效声明及现实预算下的生成要求。
2026-09-29 cs.CL cs.LG
Neural Network Memorization Dissection
The University of Munich（慕尼黑大学）；Siemens AG, Corporate Technology（西门子股份公司企业技术部）
深度神经网络（DNN）可以很容易地以零训练误差拟合训练数据的随机标记。用随机标签训练的DNN和用真实标签训练的DNN有什么区别？我们的论文回答了这个问题有两个贡献。首先，我们研究了DNN的记忆特性。我们的实证实验揭示了DNN如何优先考虑简单输入模式的学习。在第二部分中，我们建议测量不同DNN学习和记忆的内容之间的相似性。通过所提出的方法，我们分析和比较了在具有真实标签和随机标签的数据上训练的DNN。分析表明，DNN具有\textit{One way to Learn}和\textit{N ways to Memorize}。我们还使用梯度信息来理解分析结果。
2019-11-21 cs.LG stat.ML
A Prior-Aware Metric for Efficiently Distinguishing Memorization from Generalization in Large Language Models
Cornell University（康奈尔大学）；Boston University（波士顿大学）；NVIDIA（英伟达）
本文提出Prior-Aware Memorization，一种基于模型先验的轻量级度量标准，用于区分大语言模型中的真实记忆与统计上常见序列，揭示低频率不足以证明记忆，强调需考虑模型先验以评估数据泄露风险。
2026-08-14 cs.LG
The Curious Case of Benign Memorization
ETH Zürich（苏黎世联邦理工学院）
尽管深度学习在各种学习任务中取得了经验性的进步，但我们对其成功的理论理解仍然非常有限。其中一个关键的挑战是现代模型的过度参数化性质，即使标签是随机的，也可以实现数据的完全过度拟合，即网络可以完全\textit{memorize}所有给定的模式。虽然这样的记忆能力似乎令人担忧，但在这项工作中，我们表明，在包括\textit{data augmentation}的训练协议下，神经网络学习以一种良性的方式记忆完全随机的标签，即它们学习嵌入，导致最近邻探测下的高度非平凡性能。我们证明了深度模型具有惊人的能力，通过将记忆和特征学习的任务分配到不同的层来分离噪声和信号。因此，只有最后一层用于记忆，而前面的层编码性能特征，这些特征在很大程度上不受标签噪声的影响。我们探讨了用于训练的增强的复杂作用，并确定了记忆泛化权衡其多样性，标志着一个明确的区别，所有以前的作品。最后，我们给出了第一个解释良性记忆的出现表明，\textit{malign}记忆下数据增强是不可行的，由于容量不足的模型增加的样本量。因此，网络被迫利用增强的相关性质，从而学习有意义的特征。为了完成这幅图景，需要一个更好的深度神经网络特征学习理论来充分理解这一现象的起源。
2023-02-23 cs.LG
Probing Memorization of Tabular In-Context Learning
SAP SE（SAP公司）
提出ICLMEM框架探测表格基础模型在上下文学习中的参数记忆化，发现低基数任务中存在中等记忆信号，但实际训练条件下信号消失。
2026-07-01 cs.CR cs.LG
Secrets Everywhere: Auditing Memorization in Mobility Prediction Models
Inria（法国国家信息与自动化研究所）；TU Berlin（柏林工业大学）；BIFOLD（数据科学与人工智能柏林研究所）
本文首次系统审计移动性预测模型的记忆风险，提出框架量化不同粒度的移动性记忆，发现普遍记忆模式关联用户规律性并提升数据提取风险，呼吁开展强制性隐私审计。
2026-08-04 cs.LG
Detecting Learning vs Memorization in Deep Neural Networks using Shared Structure Validation Sets
Sage Bionetworks（Sage生物网络公司）
学习和记忆所扮演的角色是深度学习研究中的一个重要课题。最近关于这个主题的研究表明，在混洗标签上训练的DNN的优化行为与用真实标签训练的DNN有质的不同。在这里，我们提出了一种新的排列方法，可以区分记忆和学习，在深度神经网络（DNN）中像往常一样训练（即，使用真实的标签来指导学习，而不是混洗的标签）。对DNN是否已经学习和/或记忆的评估发生在一个单独的步骤中，在该步骤中，我们将使用DNN学习的特征训练的浅层分类器的预测性能与相同分类器的多个实例进行比较，这些分类器在相同输入上训练，但使用混洗标签作为输出。通过在与训练集共享结构的验证集中评估这些浅层分类器，我们能够区分学习和记忆。将我们的置换方法应用于在图像数据上训练的多层感知器和卷积神经网络，证实了其他小组的许多发现。最重要的是，我们的插图还揭示了关于DNN如何在越来越多的训练时期中记忆的有趣动态模式，并支持了令人惊讶的结果，即DNN在使用纯高斯噪声作为输入进行训练时仍然能够学习，而不仅仅是记忆。
2018-02-21 cs.LG stat.ML
How Much Training Data is Memorized in Overparameterized Autoencoders? An Inverse Problem Perspective on Memorization Evaluation
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文将训练图像恢复表述为带自编码器隐式正则化的逆问题，提出迭代估计未知退化算子的盲修复方法，显著提升自编码器记忆评估与训练数据恢复性能。
2024-06-13 cs.LG
A Closer Look at Memorization in Deep Networks
Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Jagiellonian University（雅盖隆大学）；McGill University（麦吉尔大学）；University of California, Berkeley（加州大学伯克利分校）；Polytechnique Montréal（蒙特利尔理工学院）；University of Bonn（波恩大学）
我们研究了记忆在深度学习中的作用，将其与能力、泛化和对抗鲁棒性联系起来。虽然深度网络能够记住噪声数据，但我们的研究结果表明，它们倾向于优先学习简单的模式。在我们的实验中，我们揭示了基于噪声与真实数据的深度神经网络（DNN）的梯度优化的质的差异。我们还证明，对于适当调整的显式正则化（例如，dropout），我们可以降低DNN在噪声数据集上的训练性能，而不会影响对真实数据的泛化。我们的分析表明，独立于数据集的有效容量的概念不太可能解释使用基于梯度的方法训练时深度网络的泛化性能，因为训练数据本身在确定记忆程度方面起着重要作用。
2017-07-01 cs.LG stat.ML
Identity Crisis: Memorization and Generalization under Extreme Overparameterization
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
我们研究了在单一训练样本和身份映射任务的极端情况下，过参数化网络的记忆和泛化之间的相互作用。我们研究了全连接和卷积网络（FCN和CNN），包括线性和非线性，随机初始化，然后训练以最小化重建误差。经过训练的网络通常采用两种形式之一：常数函数（记忆）和身份函数（泛化）。我们正式描述了单层FCN和CNN的泛化。我们的经验表明，不同的架构表现出显着不同的归纳偏见。例如，最多10层的CNN能够从单个示例中泛化，而FCN不能从60k个示例中可靠地学习恒等函数。更深的CNN经常失败，但仍然做了惊人的工作来记住训练输出：因为CNN偏差是位置不变的，模型必须通过许多层的协调从图像边界逐渐增长输出模式。我们的工作有助于量化和可视化的敏感性，诱导偏见的架构选择，如深度，内核宽度和通道数。
2020-01-09 cs.AI cs.LG stat.ML
Localizing Transfer Between Memorization Tasks
本研究通过随机映射记忆任务间的迁移实验，发现等价与非等价两种迁移模式，并定位其分别源于最后一层的幅度驱动和其他层的结构驱动效应，深化了对迁移学习机制的理解。
2026-10-02 cs.LG
Memorization and Generalization in Neural Code Intelligence Models
University of Houston（休斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
深度神经网络（DNN）越来越多地用于软件工程和代码智能任务。这些都是强大的工具，能够通过数百万个参数从大型数据集中学习高度概括的模式。同时，它们的大容量可能使它们易于记忆数据点。最近的研究表明，当训练数据集是嘈杂的，涉及许多模糊或可疑的样本时，记忆风险表现得特别强烈，记忆是唯一的手段。本文的目的是评估和比较的程度记忆和泛化的神经代码智能模型。它旨在提供关于记忆如何影响代码智能系统中神经模型的学习行为的见解。为了观察模型中记忆的程度，我们将随机噪声添加到原始训练数据集中，并使用各种指标来量化噪声对训练和测试各个方面的影响。我们评估了几个基于Java、Python和Ruby代码库的最先进的神经代码智能模型和基准测试。我们的研究结果突出了重要的风险：数百万个可训练参数允许神经网络记住任何东西，包括噪声数据，并提供错误的泛化感。我们观察到所有模型都表现出某种形式的记忆。在大多数代码智能任务中，这可能会带来麻烦，因为它们依赖于相当容易产生噪音和重复的数据源，例如来自GitHub的代码。据我们所知，我们提供了第一个研究，以量化记忆效应领域的软件工程和代码智能系统。这项工作提高了人们的认识，并为在代码智能系统中训练神经模型的重要问题提供了新的见解，这些问题通常被软件工程研究人员忽视。
2022-09-12 cs.LG cs.PL cs.SE
Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出RetroPrompt，通过构建开卷知识库并在输入、训练和推理中引入检索机制，将知识从记忆中解耦，从而在少样本和零样本场景下提升模型泛化能力并减少对记忆的依赖。
2023-09-19 cs.AI cs.CL cs.IR
Memorization vs. Reasoning: Updating LLMs with New Knowledge
Cornell University（康奈尔大学）
针对现有方法难以捕捉复杂现实知识更新、仅聚焦实体替换的问题，本文提出KUP自动管道模拟真实知识更新并构建含直接/间接探针的评估框架，同时提出MCT轻量方法，实验显示MCT显著优于CPT基线且KUP基准极具挑战性。
2025-04-16 cs.AI cs.CL cs.LG
Mitigating Unintended Memorization with LoRA in Federated Learning for LLMs
Tune Insight SA；EPFL（苏黎世联邦理工学院）；Yale University（耶鲁大学）
本文研究了在大语言模型联邦学习中使用LoRA技术有效降低模型对训练数据的记忆能力，并展示了其在不同领域和隐私保护技术中的应用效果。
2026-03-09 cs.AI cs.CL cs.LG
Memorize Early, Then Query: Inlier-Memorization-Guided Active Outlier Detection
IMBoost通过强化内群记忆效应，结合主动学习提升异常检测性能，实验表明其在准确性和效率上均优于现有方法。
2026-01-19 cs.LG stat.ML
Rethink the Connections among Generalization, Memorization and the Spectral Bias of DNNs
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）
具有足够记忆随机噪声能力的过参数化深度神经网络（DNN）可以实现出色的泛化性能，挑战经典学习理论中的偏差-方差权衡。最近的研究表明，DNN首先学习简单的模式，然后记住噪声;其他一些工作表明，DNN在训练过程中从低频到高频学习目标函数时存在频谱偏差。然而，我们发现学习偏差的单调性并不总是成立：在深度双下降的实验设置下，DNN的高频分量在训练的后期减少，导致测试误差的第二次下降。此外，我们发现DNN的谱可以用来指示测试误差的第二次下降，即使它是仅从训练集计算的。
2021-06-05 cs.AI cs.LG stat.ML
Learning to update Auto-associative Memory in Recurrent Neural Networks for Improving Sequence Memorization
IBM Research（IBM研究院）
学习记忆长序列仍然是循环神经网络的一项具有挑战性的任务。寄存器记忆和注意力机制都被提出来解决这个问题，要么高计算成本，以保持记忆的可微性，或通过折扣的RNN表示学习编码更短的本地上下文比鼓励长序列编码。联想记忆研究的是在一个固定大小的存储器中压缩多个模式，近年来很少被考虑。虽然最近的一些工作试图在RNN中引入联想记忆，并模仿Hopfield网络中的能量衰减过程，但它继承了基于规则的记忆更新的缺点，并且记忆容量有限。本文提出了一种结合任务目标学习记忆更新规则的方法，以提高对长序列的记忆能力。此外，我们提出了一个架构，使用多个这样的联想记忆更复杂的输入编码。与其他RNN架构相比，我们在一些经过充分研究的序列学习任务中观察到了一些有趣的事实。
2017-10-03 cs.AI cs.LG stat.ML
On the Memorization Behavior of LLMs in Generative Recommendation: Observations, Implications, and Training Strategies
KAIST（韩国科学技术院）；Sungkyunkwan University（成均馆大学）；Snap Inc.（Snap公司）
研究LLM在生成式推荐中的记忆倾向，发现其过度依赖一跳记忆，提出IIRG训练策略以学习多跳协同与语义关系，显著提升对非一跳记忆用户的推荐效果。
2026-06-23 cs.IR cs.LG
INN: A Method Identifying Clean-annotated Samples via Consistency Effect in Deep Neural Networks
Sungsin Women’s University（诚信女子大学）；Seoul National University（首尔大学）
在许多分类问题中，收集大量干净标注的数据是不容易的，因此人们做了大量的研究来处理带有噪声标签的数据。最近的最先进的解决方案，嘈杂的标签问题是建立在小损失的策略，利用记忆效应。虽然它是一个强大的工具，但记忆效应有几个缺点。性能对利用记忆效应所需的训练时期的选择很敏感。此外，当标签被严重污染或不平衡时，记忆效应可能不会发生，在这种情况下，基于小损失策略的方法无法识别干净的标记数据。我们引入了一种新的方法，称为INN（集成与最近邻），以改善清洁的标签数据从训练数据与噪声标签。所提出的方法是基于一个新的发现，在干净的标记数据的相邻区域的预测模式是一贯不同的噪声标记数据，无论训练时期。INN方法需要更多的计算，但比小损失策略更稳定和强大。通过进行各种实验，我们证明了INN方法成功地解决了记忆效应中的缺点，从而有助于使用带有噪声标签的训练数据构建更准确的深度预测模型。
2021-06-29 cs.LG stat.ML
Retrieval-augmented Prompt Learning for Pre-trained Foundation Models
MIIT Key Laboratory of Pattern Analysis and Machine Intelligence, College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（信息产业部模式分析与机器智能重点实验室，计算机科学与技术学院，南京航空航天大学）；Zhejiang University（浙江大学）；Hunan Vanguard Group Corporation Limited（湖南先锋集团有限公司）；National University of Singapore（新加坡国立大学）
RetroPrompt通过整合检索机制和知识库，提升预训练基础模型在少样本和零样本场景下的泛化能力与记忆平衡。
2025-12-23 cs.AI cs.CL cs.CV
Promise and Peril of Collaborative Code Generation Models: Balancing Effectiveness and Memorization
Centre for Research on Intelligent Software Engineering（智能软件工程研究中心）；School of Computing and Information Systems（计算与信息系统学院）；Singapore Management University（新加坡管理大学）
本研究探讨协作代码生成模型的有效性与记忆化风险，发现数据集大小和多样性是关键，联邦学习在保护数据方面优于集中式训练，但仍存在数据泄露风险，并提出了优化多源数据集的建议。
2024-09-18 cs.AI cs.LG cs.SE
What Drives the Inlier-Memorization Effect? A Theory of Outlier Detection via Early Training Dynamics
KAIST AI（韩国科学技术院人工智能实验室）；Department of Statistics Center for Data Science（统计系数据科学中心）；Sungshin Women’s University（顺天妇女大学）
本文从理论上分析了深度模型在早期训练中优先记忆内点而非异常点的内点记忆效应，揭示了其出现、强度与持久性依赖于数据分布和参数初始化，并据此提出数据预处理与初始化策略，在ADBench上取得最优性能。
2026-06-29 cs.AI cs.LG stat.ML
Counterfactual Influence as a Distributional Quantity
Imperial College London（帝国理工学院伦敦分校）；Google DeepMind（谷歌DeepMind）
本文将反事实影响视为分布量来研究模型记忆现象，发现仅看自影响会因近似重复样本的存在而严重低估实际风险，完整影响分布能更好地捕捉训练数据间的复杂交互。
2025-06-25 cs.AI cs.CL cs.CR
Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing
School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
提出一种两阶段样本评分函数，通过解耦核心特征与虚假特征的学习动态来识别并优先选择信息性样本，从而在仅需10%原始数据的情况下，使用标准ERM模型超越现有去偏技术。
2026-06-01 cs.LG math.OC
Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test
Department of Computer Science, University of Maryland, College Park（计算机科学系，马里兰大学，学院公园）
本文研究了LLM预训练中“Grokking”现象，通过分析训练数据路径的动态变化，提出两种新度量标准以监控模型泛化能力，无需额外成本。
2026-02-03 cs.LG
The Complexity Dynamics of Grokking
Department of Engineering Science, University of Oxford, Oxford, United Kingdom（牛津大学工程科学系）
本文通过率失真理论与柯尔莫哥洛夫复杂度构建复杂度度量框架，揭示 grokking 现象中的复杂度相变，并提出基于谱熵的正则化方法以促进网络学习低复杂度、可泛化的表示。
2025-08-21 cs.LG
Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
OpenAI；Google（谷歌）
在本文中，我们提出了研究小算法生成的数据集上的神经网络的推广。在这种情况下，关于数据效率，记忆，泛化和学习速度的问题可以非常详细地研究。在某些情况下，我们表明，神经网络通过“寻找”数据中的模式的过程来学习，将泛化性能从随机机会水平提高到完美的泛化，并且这种泛化性能的提高可以发生在过拟合点之后。我们还研究了泛化作为数据集大小的函数，发现较小的数据集需要增加泛化的优化量。我们认为，这些数据集为研究深度学习的一个知之甚少的方面提供了肥沃的土壤：超越有限训练数据集记忆的过度参数化神经网络的泛化。
2022-01-06 cs.LG
Noisy Concurrent Training for Efficient Learning under Label Noise
Advanced Research Lab, NavInfo Europe（NavInfo Europe 高级研究实验室）
深度神经网络（DNN）在标签噪声下无法有效学习，并且已被证明会记住影响其泛化性能的随机标签。我们认为孤立学习，使用独热编码标签作为唯一的监督来源，以及缺乏规则化来阻止记忆是标准训练程序的主要缺点。因此，我们提出了Noisy Concurrent Training（NCT），它利用协作学习来使用两个模型之间的共识作为额外的监督来源。此外，受大脑中试验间差异的启发，我们提出了一种反直觉的正则化技术，即目标差异，它需要随机改变每批训练样本中一定比例的标签，以防止DNN中的记忆和过度泛化。目标变异性独立应用于每个模型，以保持它们的差异并避免确认偏倚。由于DNN倾向于在记住噪声标签之前首先优先学习简单模式，因此我们采用了动态学习方案，随着训练的进行，两个模型越来越依赖于它们的共识。NCT还逐渐增加目标的可变性，以避免在后期阶段记忆。我们证明了我们的方法在合成和真实世界的噪声基准数据集的有效性。
2020-09-17 cs.CV cs.LG
Unified Regularity Measures for Sample-wise Learning and Generalization
Xi'an Jiaotong University（西安交通大学）
基础机器学习理论表明，不同的样本在学习和测试过程中的贡献是不平等的。DNN的当代研究表明，这种样本差异根源于内在模式信息的分布，即样本规则性。受最近发现的网络记忆和泛化的启发，我们提出了一对样本的规律性措施，这两个过程与配方一致的表示。具体来说，提出了累积二进制训练/泛化损失（CBTL/CBGL），即训练/测试样本在训练阶段内的正确分类的累积数量，以验证记忆泛化过程的稳定性;而遗忘/错误泛化事件，即，利用先前学习或广义样本的误分类来表示样本规则性相对于优化动态的不确定性。实验验证了所提方法在小批量SGD优化中的有效性和鲁棒性。进一步的训练/测试样本选择的应用表明，所提出的措施共享统一的计算过程，可以受益于这两个任务。
2021-08-09 cs.CV cs.LG
Learning explanations that are hard to vary
MPI for Intelligent Systems, Tübingen（蒂宾根智能系统研究所（MPI for Intelligent Systems, Tübingen））；ETH, Zürich（苏黎世联邦理工学院（ETH, Zürich））；MPI for Biological Cybernetics, Tübingen（蒂宾根生物控制论研究所（MPI for Biological Cybernetics, Tübingen））
在本文中，我们研究了在深度学习的背景下“好的解释很难改变”的原则。我们表明，平均梯度的例子-类似于一个逻辑或模式-可以有利于记忆和“拼凑”的解决方案，缝合在一起不同的策略，而不是确定不变。为了检验这一点，我们首先形式化的损失面的最小值的一致性的概念，它的措施，在何种程度上最小值出现时，只有汇集的例子。然后，我们提出并实验验证了一个简单的替代算法的基础上的逻辑与，专注于不变性和防止记忆在一组现实世界的任务。最后，使用一个明确区分不变和虚假机制的合成数据集，我们剖析了学习信号，并将这种方法与成熟的正则化器进行了比较。
2020-10-24 cs.LG stat.ML
Deep ReLU Networks Have Surprisingly Few Activation Patterns
Facebook AI Research（Facebook人工智能研究院）；Texas A&M University（得克萨斯农工大学）；University of Pennsylvania（宾夕法尼亚大学）
深度网络的成功部分归功于它们的表达能力：每个参数，深度网络可以近似比浅层网络更丰富的函数类。在ReLU网络中，激活模式的数量是表达能力的一个衡量标准;最大模式数量随着深度呈指数增长。然而，最近的研究表明，深度网络的实际表达能力--它们可以学习而不是表达的功能--往往远远没有达到理论上的最大值。在本文中，我们证明了ReLU网络在初始化时激活模式的平均数量受提升到输入维度的神经元总数的限制。我们的经验表明，这个界限，这是独立的深度，是紧在初始化和训练过程中，即使在记忆任务，应该最大限度地提高激活模式的数量。我们的工作表明，实现深度网络的完全表达能力在实践中可能是不可能的，至少用目前的方法是这样。
2019-10-20 cs.LG math.ST stat.ML
AdaCap: Adaptive Capacity control for Feed-Forward Neural Networks
Ecole Polytechnique（巴黎综合理工学院）；Université Paris Dauphine-PSL（巴黎多芬-PSL大学）
ML模型的容量是指该模型可以近似的函数范围。它既影响模型可以学习的模式的复杂性，也影响记忆，即模型适应任意标签的能力。我们提出了自适应容量（AdaCap），前馈神经网络（FFNN）的训练计划。AdaCap优化了FFNN的能力，因此它可以捕获手头问题的高级抽象表示，而无需记忆训练数据集。AdaCap是两个新成分的组合，正则化（MLR）损失的混淆标签和Tikhonov操作员培训计划。MLR损失利用随机生成的标签来量化模型的记忆倾向。我们证明了MLR损失是样本外泛化性能的准确样本内估计，并且它可以用于执行超参数优化，只要满足信噪比条件。Tikhonov算子训练方案以自适应、可微分和数据依赖的方式调制FFNN的能力。我们评估了AdaCap在DNN通常倾向于记忆、小表格数据集的环境中的有效性，并将其性能与流行的机器学习方法进行了基准测试。
2022-05-09 cs.LG
ResMem: Learn what you can and memorize the rest
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
本文提出ResMem算法，通过$k$近邻回归器拟合现有模型的残差以实现显式记忆，从而提升模型在视觉和自然语言处理基准上的泛化能力，并在理论上证明其测试风险优于基础预测器。
2023-10-20 cs.AI cs.LG stat.ME
Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出ExGRPO框架，通过生成解释性探测和强化学习提升蒸馏模型的推理能力和泛化能力，实验显示在12个数据集上显著提升性能。
2026-02-26 cs.AI cs.CL cs.LG
Memory Planning for Deep Neural Networks
The University of Chicago（芝加哥大学）
我们在大规模系统的背景下研究DNN在推理过程中的内存分配模式。我们观察到，这样的内存分配模式，在多线程的上下文中，受到高延迟，由于\texttt{mutex}争用系统内存分配器。由于这种\texttt{mutex}争用而引起的延迟在面向用户的服务中产生不期望的瓶颈。因此，我们提出了一个“记忆”为基础的技术，\texttt{MemoMalloc}，优化整体延迟，只有适度增加峰值内存使用。具体来说，我们的技术包括一个运行时组件，它捕获所有的分配，并唯一地将它们与他们的高层次的源操作，和一个静态分析组件，它构建了一个有效的分配“计划”。我们在PyTorch深度学习框架中实现了\texttt{MemoMalloc}，并在各种DNN架构上评估了内存消耗和执行性能。我们发现，\texttt{MemoMalloc}优于最先进的通用内存分配器，相对于DNN推理延迟，高达40%。
2022-02-23 cs.LG cs.PF
Neural Breadcrumbs: Membership Inference Attacks on LLMs Through Hidden State and Attention Pattern Analysis
本文提出memTrace框架，通过分析Transformer隐藏状态和注意力模式中的“神经面包屑”信号，在多个模型上实现平均AUC 0.85的成员推断攻击，揭示输出信号看似安全时内部表示仍可能泄露训练数据隐私。
2025-09-05 cs.AI cs.LG
Robust Data Watermarking in Language Models by Injecting Fictitious Knowledge
University of Southern California（南加州大学）
针对预处理过滤和 API-only 验证难题，本文提出向训练数据注入虚构实体知识的语言模型数据水印方法，并验证其可记忆性、微调鲁棒性及问答评估可行性。
2025-07-26 cs.CL cs.CR cs.LG
Making Coherence Out of Nothing At All: Measuring the Evolution of Gradient Alignment
Google AI（谷歌人工智能）
我们提出了一个新的度量（$m$ -coherence）来实验研究训练过程中每个示例梯度的对齐。直观地说，给定一个大小为$m$的样本，$m$ -相干性是样本中受益于任何一个样本平均梯度上的一小步的样本数量。我们表明，相比其他常用的指标，$m$ -一致性是更可解释的，更便宜的计算（$O(m)$而不是$O(m^2)$）和数学清洁。(We注意，$m$ -相干性与梯度多样性密切相关，梯度多样性是先前在某些理论界限中使用的量。使用$m$ -coherence，我们研究了ImageNet上ResNet和Inception模型中每个示例梯度对齐的演变以及带有标签噪声的几个变体，特别是从最近提出的相干相干性（CG）理论的角度来看，该理论为记忆和泛化提供了简单，统一的解释[Chatterjee，ICLR 20]。虽然我们有几个有趣的外卖，我们最令人惊讶的结果是关于记忆。人们可能会天真地认为，当使用完全随机的标签进行训练时，每个示例都是独立拟合的，因此$m$ -coherence应该接近1。然而，事实并非如此：$m$ -一致性在训练期间（100秒）达到了更高的值，表明过度参数化的神经网络即使在泛化不可能的情况下也能找到共同的模式。对这一现象的详细分析不仅提供了对CG的更深层次的确认，而且同时也揭示了该理论所缺失的东西，以便对神经网络中的泛化提供一个完整的解释。
2020-08-03 cs.LG stat.ML
Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes
Institute of Computer Science（计算机科学研究所）；Ruhr West University of Applied Science（鲁尔西应用科学大学）；Ruhr University Bochum（波鸿鲁尔大学）；Institute for Neural Computation（神经计算研究所）
本文提出利用随机过程框架对深度人工神经网络中阈值节点的激活模式进行建模，借鉴神经科学方法分析脉冲活动，发现记忆的稳定指标，为网络行为提供见解并可用于剪枝和迁移学习。
2023-08-01 cs.AI cs.CC cs.LG
Grokking as Dimensional Phase Transition in Neural Networks
Institute of High Energy Physics, Chinese Academy of Science（中国科学院高能物理研究所）
研究通过梯度雪崩动力学的有限尺寸标度分析，发现神经网络的Grokking现象是一种维度相变，有效维度从亚扩散到超扩散转变，揭示了过参数化网络的可训练性新见解。
2026-04-06 cond-mat.dis-nn cs.AI cs.LG
