LLMSurgeon: 诊断大型语言模型的数据混合
LLMSurgeon: Diagnosing Data Mixture of Large Language Models
AI总结：
提出LLMSurgeon框架，通过逆问题方法从目标LLM生成文本中估计预训练语料的领域分布，实现无需训练数据的后验审计。
摘要：
大型语言模型（LLM）的预训练数据混合构成了它们的“数字DNA”，塑造了模型的行为、能力和失败模式。然而，这种组成很少被披露，使得事后审计数据组合或来源变得困难。在这项工作中，我们形式化了$ extbf{数据混合手术（DMS）}$：仅从目标LLM生成的文本中，在预定义分类法下估计其预训练语料的领域级分布。我们提出了$ extbf{LLMSurgeon}$，一个强大的框架，将DMS视为标签偏移假设下的逆问题。LLMSurgeon不是直接聚合分类器输出，而是估计一个校准的$ extit{软}$混淆矩阵，并解决一个约束逆问题以纠正系统性的领域混淆并恢复潜在的混合先验。为了评估，我们引入了$ extbf{LLMScan}$，一个基于具有透明预训练混合的开源LLM构建的配方可验证评估套件。在LLMScan上，LLMSurgeon在固定协议下以高保真度恢复了领域混合。我们的工作提出了一种实用的、事后审计基础模型数字DNA的方法，无需访问其训练数据。
英文摘要：
The pretraining data mixture of Large Language Models (LLMs) constitutes their "digital DNA", shaping model behaviors, capabilities, and failure modes. Yet this composition is rarely disclosed, making post-hoc auditing of data combination or provenance difficult. In this work, we formalize $\textbf{Data Mixture Surgery (DMS)}$: given only generated text from a target LLM, estimate the domain-level distribution of its pretraining corpus under a predefined taxonomy. We propose $\textbf{LLMSurgeon}$, a strong framework that casts DMS as an inverse problem under the label-shift assumption. Rather than directly aggregating classifier outputs, LLMSurgeon estimates a calibrated $\textit{soft}$ confusion matrix and solves a constrained inverse problem to correct systematic domain confusion and recover the latent mixture prior. To evaluate, we introduce $\textbf{LLMScan}$, a recipe-verifiable evaluation suite built from open-source LLMs with transparent pretraining mixtures. Across LLMScan, LLMSurgeon recovers domain mixtures with high fidelity under fixed protocols. Our work presents a practical, post-hoc approach for auditing the digital DNA of foundation models without access to their training data.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
