尽管许多研究已经展示了 Large Language Models（LLMs，大语言模型）如何应用于多种多样的任务，但数据污染和记忆这两个关键问题往往被一笔带过。在本工作中，我们针对表格数据处理这一关切。我们从关于 LLM 是否知道特征名称和取值的简单定性测试开始，引入多种不同技术来评估污染程度，包括用于条件分布建模的统计检验，以及四项识别记忆的测试。我们的调查揭示，LLMs 在许多流行表格数据集上进行了预训练。这种暴露可能导致下游任务上的性能评估失效，因为 LLMs 实际上已经拟合了测试集。有趣的是，我们还识别出一种情形：语言模型能够复现数据的重要统计量，但无法逐字复现该数据集。在这些数据集上，尽管它们在训练期间被见过，但下游任务上的良好性能可能并非源于过拟合。我们的发现强调，在使用 LLMs 的机器学习任务中，需要确保数据完整性。为促进未来研究，我们发布了一个开源工具，可执行多种记忆测试：https://github.com/interpretml/LLM-Tabular-Memorization-Checker。
英文摘要：
While many have shown how Large Language Models (LLMs) can be applied to a diverse set of tasks, the critical issues of data contamination and memorization are often glossed over. In this work, we address this concern for tabular data. Starting with simple qualitative tests for whether an LLM knows the names and values of features, we introduce a variety of different techniques to assess the degrees of contamination, including statistical tests for conditional distribution modeling and four tests that identify memorization. Our investigation reveals that LLMs are pre-trained on many popular tabular datasets. This exposure can lead to invalid performance evaluation on downstream tasks because the LLMs have, in effect, been fit to the test set. Interestingly, we also identify a regime where the language model reproduces important statistics of the data, but fails to reproduce the dataset verbatim. On these datasets, although seen during training, good performance on downstream tasks might not be due to overfitting. Our findings underscore the need for ensuring data integrity in machine learning tasks with LLMs. To facilitate future research, we release an open-source tool that can perform various tests for memorization \url{https://github.com/interpretml/LLM-Tabular-Memorization-Checker}.
Don't Forget! Decomposing the Training Dynamics of Memorization in Language Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Mila – Quebec AI Institute（魁北克人工智能研究所）；University of Montreal（蒙特利尔大学）；Saarland University（萨尔大学）
Selective Forgetting: Advancing Machine Unlearning Techniques and Evaluation in Language Models
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Unlimidata Ltd（Unlimidata有限公司）；The Chinese University of Hong Kong（香港中文大学）；University of Calabria（卡拉布里亚大学）
SIGUA: Forgetting May Make Learning with Noisy Labels More Robust
Hong Kong Baptist University（香港浸会大学）；RIKEN（理化学研究所）；AAII, University of Technology Sydney（悉尼科技大学人工智能研究所）；Paradigm Inc. (Hong Kong)（第四范式（香港））；University of Queensland（昆士兰大学）；The University of Tokyo（东京大学）
Is Gradient Ascent Really Necessary? Memorize to Forget for Machine Unlearning
Sydney AI Centre, The University of Sydney（悉尼人工智能中心，悉尼大学）；Hong Kong Baptist University（香港 Baptist 大学）；RIKEN AIP（日本理化学研究所AIP）；University of Technology Sydney（悉尼技术大学）
From Anchors to Supervision: Memory-Graph Guided Corpus-Free Unlearning for Large Language Models
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Shanghai University of Electric Power（上海电力大学）；School of Information Science and Engineering, East China University of Science and Technology（东华大学信息科学与工程学院）
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）
大型Transformer模型在许多自然语言任务中取得了令人印象深刻的性能。特别地，基于Transformer的语言模型已经被证明在以其大量参数对事实知识进行编码方面具有很强的能力。虽然提高Transformers的记忆和概括能力的任务已经得到了广泛的研究，但如何使transformers忘记特定的旧事实并记住新事实还不太清楚。在本文中，我们提出了一个新的任务\emph{explicitly modifying specific factual knowledge in Transformer models while ensuring the model performance does not degrade on the unmodified facts}。此任务在许多情况下都很有用，例如更新陈旧的知识，保护隐私，以及消除存储在模型中的意外偏见。我们对几种方法进行了基准测试，这些方法在这项任务上提供了自然的基线性能。这导致了Transformer模型的关键组件的发现，这些组件对于知识修改特别有效。这项工作还提供了不同的训练阶段（如预训练和微调）对记忆和知识修改的作用的见解。
ToFU: Transforming How Federated Learning Systems Forget User Data
School of Computer Science（计算机科学学院）；Statistics, Trinity College Dublin, Ireland（统计学，都柏林信任学院，爱尔兰）；School of Computer Science, University College Dublin, Ireland（计算机科学学院，都柏林大学学院，爱尔兰）
Preserving Diversity in Supervised Fine-Tuning of Large Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Nanjing University（南京大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Pennsylvania（宾夕法尼亚大学）
