Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective
Horizon Robotics（地平线机器人）；University at Buffalo（布法罗大学）；Tsinghua University（清华大学）
知识蒸馏是一种有效的方法，利用一个训练有素的网络或他们的集合，命名为教师，指导训练的学生网络。教师网络的输出被用作软标签，用于监督新网络的训练。最近的研究\citep{muller2019does,yuan2020revisiting}揭示了软标签的一个有趣的特性，使标签变软可以作为学生网络的一个很好的正则化。从统计学习的角度来看，正则化的目的是减少方差，但是对于软标签训练，偏差和方差如何变化尚不清楚。在本文中，我们研究了软标签蒸馏带来的偏差-方差权衡。具体来说，我们观察到在训练过程中，偏差-方差权衡随样本而变化。此外，在相同的蒸馏温度设置下，我们观察到蒸馏性能与一些特定样本的数量负相关，这些特定样本被称为正则化样本，因为这些样本导致偏差增加和方差减小。然而，我们根据经验发现，完全过滤掉正则化样本也会降低蒸馏性能。我们的发现启发我们提出了新的加权软标签，以帮助网络自适应地处理样本偏差-方差权衡。在标准评测基准上的实验验证了该方法的有效性。我们的代码可在\url{https://github.com/bellymonster/Weighted-Soft-Label-Distillation}上找到。
2021-02-01 cs.CV cs.LG
Why does Knowledge Distillation Work? Rethink its Attention and Fidelity Mechanism
North China Electric Power University（华北电力大学）；Amazon（亚马逊公司）
本文通过实验揭示知识蒸馏中教师注意力多样性越高、学生-教师保真度越低反而越有利于学生泛化，并提出应增强数据增强与教师集成多样性、减少模仿行为来优化学生模型性能。
2024-04-30 cs.CV cs.LG eess.IV
Self-Distillation Amplifies Regularization in Hilbert Space
DeepMind；Google Research（谷歌研究）；EECS Dept., University of California at Berkeley（加州大学伯克利分校电气工程与计算机科学系）；University of California at Berkeley（加州大学伯克利分校）；Google（谷歌）
在深度学习上下文中引入的知识蒸馏是将知识从一个架构转移到另一个架构的方法。特别是，当架构相同时，这被称为自蒸馏。这个想法是将训练模型的预测作为重新训练的新目标值（并可能重复这个循环几次）。根据经验观察到，自蒸馏模型通常在保持的数据上实现更高的准确性。然而，为什么会发生这种情况一直是一个谜：自蒸馏动力学不会接收任何关于任务的新信息，并且仅仅通过循环训练来进化。据我们所知，对这一现象没有严格的理解。这项工作提供了第一个理论分析的自蒸馏。我们专注于拟合一个非线性函数的训练数据，其中的模型空间是希尔伯特空间和拟合是在这个函数空间$\ell_2$正则化。我们表明，自蒸馏迭代修改正则化逐步限制的基础函数，可以用来表示的解决方案的数量。这意味着（正如我们也通过经验验证的那样），虽然几轮自蒸馏可能会减少过度拟合，但更多轮可能会导致拟合不足，从而导致更差的性能。
2020-10-26 cs.LG stat.ML
Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Center of Data Science（数据科学中心）
该研究针对半监督分类问题，从理论上证明关系知识蒸馏（RKD）可转化为谱聚类并实现低聚类误差，提出聚类感知半监督学习框架，揭示了RKD与一致性正则化分别提供全局与局部视角。
2023-10-23 cs.LG stat.ML
Revisiting Intermediate Layer Distillation for Compressing Language Models: An Overfitting Perspective
KAIST（韩国科学技术院）
知识蒸馏（KD）是一种非常有前途的方法，用于减轻预训练语言模型（PLM）的计算问题。在各种KD方法中，中间层蒸馏（ILD）已成为NLP领域的事实标准KD方法。在本文中，我们发现现有的ILD方法容易过拟合训练数据集，尽管这些方法比原始KD传递更多的信息。接下来，我们提出了一些简单的观察来减轻ILD的过拟合：只提取最后一个Transformer层，并在补充任务上进行ILD。基于我们的两个发现，我们提出了一个简单而有效的一致性正则化ILD（CR-ILD），它可以防止学生模型过度拟合训练数据集。在GLUE基准数据集和多个合成数据集上提取BERT的大量实验表明，我们提出的ILD方法优于其他KD技术。我们的代码可在https://github.com/jongwooko/CR-ILD上获得。
2023-02-03 cs.AI cs.CL cs.LG
Rethinking Decoupled Knowledge Distillation: A Predictive Distribution Perspective
Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学）；Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学）；The Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）
从预测分布角度重新审视解耦知识蒸馏，提出更灵活的GDKD损失和高效算法，提升知识提取效果。
2025-12-04 cs.CV cs.LG
What Makes a "Good" Data Augmentation in Knowledge Distillation -- A Statistical Perspective
Northeastern University（东北大学）；MERL（三菱电机研究实验室）
知识蒸馏（KD）是一种通用的神经网络训练方法，它使用教师模型来指导学生模型。现有的工作主要从网络输出侧（例如，试图设计一个更好的KD损失函数），而很少有人试图从输入端理解它。特别是，它与数据增强（DA）的相互作用还没有得到很好的理解。在本文中，我们问：为什么有些DA方案（例如，CutMix）在KD中固有地表现得比其他人好得多？是什么让一个“好”的检察官在KD？我们的调查从统计的角度表明，一个好的DA计划应该减少师生交叉熵的协方差。一个实用的度量，教师的平均概率（T。stddev），进一步提出并充分证明经验。除了理论上的理解，我们还介绍了一个新的基于熵的数据混合DA计划，CutMixPick，进一步提高CutMix。广泛的实证研究支持我们的主张，并证明我们如何可以收获相当大的性能收益，只是通过使用一个更好的DA计划在知识蒸馏。
2023-02-21 cs.AI cs.CV cs.LG
The Bridge-Garden Dilemma in LLM Distillation: Why Mixing Hard and Soft Labels Works
School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学计算机科学与技术学院）；Alibaba Group, Hangzhou, China（阿里巴巴集团）；State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院人工智能安全国家重点实验室）；Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院）；Key Laboratory of Big Data Mining and Knowledge Management (BDKM), University of Chinese Academy of Sciences, Beijing, China（中国科学院大数据挖掘与知识管理重点实验室）
针对大语言模型知识蒸馏中硬标签与软标签的混合使用，提出桥园分解理论解释其降低暴露偏差的机制，并开发自适应混合监督方法，在多个模型上实现性能提升和9.7倍训练成本降低。
2026-05-25 cs.LG
Knowledge Distillation: A Survey
The University of Sydney（悉尼大学）；Birkbeck College, University of London（伦敦大学伯贝克学院）；UBTECH（优必选）
近年来，深度神经网络在工业界和学术界都取得了成功，特别是在计算机视觉任务方面。深度学习的巨大成功主要归功于其编码大规模数据和操纵数十亿模型参数的可扩展性。然而，在具有有限资源的设备上部署这些繁琐的深度模型是一个挑战，例如，移动电话和嵌入式设备，这不仅是因为高计算复杂性，而且还因为大的存储需求。为此，已经开发了各种模型压缩和加速技术。知识蒸馏作为一种典型的模型压缩和加速方法，有效地从大型教师模型中学习出小型学生模型。它受到了社会越来越多的关注。本文从知识分类、培训方案、师生结构、提炼算法、性能比较和应用等方面对知识蒸馏进行了全面的综述。最后，简要回顾了知识蒸馏面临的挑战，并对未来的研究方向进行了展望。
2021-05-20 cs.LG stat.ML
Supervision Complexity and its Role in Knowledge Distillation
USC Information Sciences Institute（南加州大学信息科学研究所）；Google Research（谷歌研究院）
尽管知识蒸馏很受欢迎，也很有效，但人们对它为什么有用的理解有限。为了研究一个蒸馏的学生的泛化行为，我们提出了一个新的理论框架，利用监督的复杂性：教师提供的监督和学生的神经切线核之间的对齐措施。该框架突出了教师的准确性，学生的利润率相对于教师的预测，和教师的预测的复杂性之间的微妙的相互作用。具体来说，它提供了一个严格的理由，在蒸馏的背景下，如早期停止和温度缩放的各种技术的效用。我们的分析进一步建议使用在线蒸馏，学生在培训的不同阶段接受教师越来越复杂的监督。我们证明了在线蒸馏的有效性，并验证了一系列图像分类基准和模型架构的理论研究结果。
2023-01-28 cs.LG
Federated Hybrid Training and Self-Adversarial Distillation: Towards Robust Edge Networks
Kyung Hee University（庆熙大学）；University of Houston（休斯顿大学）
本文提出 FedBAT 框架，将混合对抗训练与自对抗蒸馏融入联邦学习，以缓解数据异质性和对抗攻击影响，从而提升全局模型的鲁棒性与泛化能力。
2024-12-26 cs.CV cs.LG
Visualizing the embedding space to explain the effect of knowledge distillation
Korea University（高丽大学）
最近的研究发现，知识蒸馏可以有效地减少网络的规模和提高泛化能力。例如，一个预先训练好的大型教师网络被证明能够引导学生模型，最终在有限的标签环境中超过教师。尽管取得了这些进展，但仍然不清楚\emph{why}这种方法是否有效，也就是说，最终的学生模型做得“更好”。为了解决这个问题，我们利用两种非线性低维嵌入方法（t-SNE和IVIS）来可视化网络中不同层的表示空间。我们进行了一系列广泛的实验，不同的结构参数和蒸馏方法。由此产生的可视化和指标清楚地表明，与非蒸馏版本相比，蒸馏引导网络在早期层中找到更紧凑的表示空间，以获得更高的准确性。
2021-10-09 cs.CV cs.LG
A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?
Department of Computer Science, University of Saskatchewan（萨斯喀彻温大学计算机科学系）
本文从元测试角度探讨代码语言模型知识蒸馏中的行为一致性问题，提出MetaCompress框架以评估学生模型对教师模型的深度模仿程度，揭示传统准确性评估的局限性。
2026-05-11 cs.LG cs.SE
Deep Neural Compression Via Concurrent Pruning and Self-Distillation
University of Liverpool（利物浦大学）；Huawei Ireland Research Center（华为爱尔兰研究中心）
修剪的目的是减少参数的数量，同时保持性能接近原始网络。这项工作提出了一种新的\emph{self-distillation}为基础的修剪策略，从而修剪和未修剪的版本相同的网络之间的代表相似性最大化。与以前单独处理蒸馏和修剪的方法不同，我们使用蒸馏来通知修剪标准，而不需要像知识蒸馏那样使用单独的学生网络。我们表明，所提出的{ \em互相关目标自蒸馏修剪}隐含地鼓励稀疏的解决方案，自然补充幅度为基础的修剪标准。在GLUE和XGLUE基准测试上的实验表明，自提炼剪枝提高了单语言和跨语言语言模型的性能。自蒸馏修剪模型也优于具有相同数量参数的较小Transformers，并且与（6倍）较大的蒸馏网络竞争。我们还观察到自蒸馏（1）最大化类可分性，（2）提高信噪比，（3）在修剪步骤后收敛得更快，为自蒸馏修剪改善泛化提供了进一步的见解。
2021-09-30 cs.CL cs.LG
Knowledge Distillation Must Account for What It Loses
School of Future Technology, South China University of Technology, China（未来技术学院，华南理工大学，中国）
本文指出知识蒸馏需考虑其失去的内容，学生模型应不仅通过保留任务得分判断，还应保留教师能力以确保得分可靠性。提出蒸馏是教师行为的损失性投影，而非忠实复制，并提出场景特定的保留目标和蒸馏损失声明。
2026-04-28 cs.AI cs.LG
Knowledge Distillation with Adversarial Samples Supporting Decision Boundary
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；NAVER Corp（NAVER公司）；Clova AI Research（Clova人工智能研究院）
近年来，许多关于知识蒸馏的研究提供了一种新的方法来转移网络的知识，以改善新网络的学习过程，但如何找到一种好的知识蒸馏技术仍然是一个悬而未决的问题。在本文中，我们提供了一个新的视角的基础上的决策边界，这是一个最重要的组成部分的分类。分类器的泛化性能与其决策边界的充分性密切相关，因此一个好的分类器具有一个好的决策边界。因此，传递与决策边界密切相关的信息可以成为知识蒸馏的一种很好的尝试。为了实现这一目标，我们利用对抗攻击来发现支持决策边界的样本。基于这一思想，为了传递更准确的决策边界信息，该算法利用支持决策边界的对抗样本训练学生分类器。实验结果表明，该方法确实提高了知识蒸馏，达到了最先进的性能。
2018-12-14 cs.CV cs.LG stat.ML
Revisiting Knowledge Distillation: The Hidden Role of Dataset Size
ETH AI Center（苏黎世联邦理工学院人工智能中心）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；ELLIS Institute Tübingen（蒂宾根ELLIS研究所）
本研究从数据集大小维度重新审视知识蒸馏，发现其效果在低数据场景中被放大，提出数据效率属性，并反驳标签平滑假设，支持暗知识假设，揭示数据集大小是关键但被忽视的变量。
2025-10-17 cs.AI cs.LG
What Knowledge Gets Distilled in Knowledge Distillation?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对知识蒸馏领域对蒸馏过程本质认知不足的问题，通过全面研究验证现有知识蒸馏方法除提升任务性能外，还可间接蒸馏教师网络的目标定位、对抗样本敏感性、数据不变性等特性，并探究了成因与实际意义。
2023-11-06 cs.CV cs.LG
Autoregressive Knowledge Distillation through Imitation Learning
ASAPP, Inc.（ASAPP公司）
自回归模型在自然语言生成任务上的性能由于采用了深度、自我关注的架构而得到了显着提高。然而，这些收益是以阻碍推理速度为代价的，使得最先进的模型在现实世界中部署起来很麻烦，时间敏感的设置。我们开发了一种压缩技术的自回归模型，是由模仿学习的角度来看，知识蒸馏。该算法旨在解决曝光偏差问题。在原型语言生成任务，如翻译和摘要，我们的方法始终优于其他蒸馏算法，如序列级知识蒸馏。使用我们的方法训练的学生模型比从头开始训练的模型高出1.4到4.8个BLEU/ROUGE点，同时与教师模型相比，推理速度提高了14倍。
2020-10-29 cs.CL cs.LG
HYDRA-FL: Hybrid Knowledge Distillation for Robust and Accurate Federated Learning
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
针对基于知识蒸馏的联邦学习在数据异质性场景下易受模型投毒攻击放大影响的问题，提出HYDRA-FL混合蒸馏算法，通过辅助分类器卸载部分KD损失到浅层，在保持良性场景性能的同时提升攻击鲁棒性。
2024-10-07 cs.CR cs.LG
Decoupling Dark Knowledge via Block-wise Logit Distillation for Feature-level Alignment
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；ZJU-UIUC Institute, Zhejiang University（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院）
针对知识蒸馏中 logits 与特征路径难以取舍的问题，本文提出分块 logit 蒸馏框架，以教师块逐步构建垫脚石模型并实现隐式特征对齐，性能达到或超过现有最先进方法。
2024-12-03 cs.CV cs.LG
A Closer Look at Knowledge Distillation with Features, Logits, and Gradients
Samsung Research America（三星美国研究院）；Georgia Institute of Technology（佐治亚理工学院）
知识蒸馏（KD）是将学习到的知识从一个神经网络模型转移到另一个模型的实质性策略。已经为这一战略开发了大量的方法。虽然大多数方法设计了一种更有效的方式来促进知识转移，但很少注意比较知识源（如特征，logits和梯度）的效果。该工作提供了一个新的视角来激励一组知识蒸馏策略，通过近似经典的KL发散准则与不同的知识源，使得系统的比较可能在模型压缩和增量学习。我们的分析表明，logits通常是一个更有效的知识来源，并建议有足够的特征尺寸是至关重要的模型设计，有效的基于KD的迁移学习提供了一个实用的指导方针。
2022-03-18 cs.AI cs.CV cs.LG
Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation
Texas State University（德克萨斯州立大学）；Illinois Institute of Technology（伊利诺伊理工学院）
近年来，人工智能无处不在的部署在算法偏见、歧视和公平性方面引起了极大的关注。与人类造成的传统形式的偏见或歧视相比，人工智能产生的算法偏见更加抽象和不直观，因此更难以解释和减轻。在当前的文献中，关于评估和减轻修剪神经网络中的偏差存在明显的差距。在这项工作中，我们致力于解决具有挑战性的问题，评估，减轻和解释修剪神经网络中的诱导偏差。我们的论文有三个贡献。首先，我们提出了两个简单而有效的度量，组合误差方差（CEV）和对称距离误差（EFT），以定量评估修剪模型的诱导偏差预防质量。其次，我们证明了知识蒸馏可以减轻修剪神经网络中的诱导偏差，即使是不平衡的数据集。第三，我们揭示了模型相似性与修剪诱导的偏差有很强的相关性，这为解释为什么修剪后的神经网络会出现偏差提供了一个强有力的方法。我们的代码可在https://github.com/codestar12/pruning-distilation-bias上获得
2021-06-15 cs.AI cs.CV cs.LG
On the Impact of Knowledge Distillation for Model Interpretability
Seoul National University（首尔国立大学）；Seoul National University of Science and Technology（首尔科技大学）；ZIOVISION Inc.（ZIOVISION公司）
本文研究知识蒸馏除提升准确率外对模型可解释性的影响，发现教师模型传递的类别相似性信息能够增强学生模型的可解释性，并通过多数据集、多KD方法和多度量标准的实验验证了KD模型在各类应用中的可靠性。
2023-05-25 cs.AI cs.CV cs.LG
Knowledge Distillation $\approx$ Label Smoothing: Fact or Fallacy?
IBM Research AI（IBM研究院人工智能）
本文通过比较模型预测置信度，重新审视知识蒸馏与标签平滑的等价性，实验表明两者在多数设置下对模型置信度影响相反，且KD中学生模型同时继承教师的知识与置信度，验证了经典的知识转移观点。
2023-10-25 cs.CL cs.LG
Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias
China Mobile Information Technology Co.,Ltd.（中国移动信息技术有限公司）；Fudan University（复旦大学）
针对现有知识蒸馏忽略教师模型相对预测中的关系归纳偏置导致曝光偏差的问题，提出GRKD框架，通过组相对损失学习类别间相对排序，在分类基准上取得更优泛化能力。
2025-04-29 cs.AI cs.LG
Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study
CMU（卡内基梅隆大学）；HKUST（香港科技大学）；Peking University（北京大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
这项工作的目的是实证澄清最近发现的观点，标签平滑是不兼容的知识蒸馏。我们首先介绍如何提出这种不兼容性背后的动机，即，标签平滑擦除教师日志之间的相关信息。我们提供了一个新的连接标签平滑如何影响语义相似和不相似的类的分布。然后，我们提出了一个度量标准来定量衡量删除的信息在样本的表示的程度。然后，通过对图像分类、二进制网络和神经机器翻译的大量分析、可视化和综合实验，研究了不相容观的片面性和不完善性。最后，我们广泛地讨论了几种情况下，标签平滑确实会失去其有效性。项目页面：http://zhiqiangshen.com/projects/LS_and_KD/index.html。
2021-04-01 cs.AI cs.CL cs.CV
Why Are DMD Students Lazy? Understanding the Copying Behavior in Few-Step Distillation
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；AITHYRA, Research Institute for Biomedical AI（生物医学AI研究 institute）
本文研究分布匹配蒸馏（DMD）中高维学生模型自发复制教师噪声-数据配对的现象，通过几何自由度受限解释其成因。
2026-06-01 cs.LG
Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why
Apple（苹果公司）
研究探讨在线策略蒸馏在不同场景下的有效性，提出基于梯度对齐度的诊断方法，发现蒸馏信号在学生表现不佳时更有效，且最优上下文依赖学生模型能力和任务需求。
2026-09-09 cs.AI cs.LG
Why Alignment Must Precede Distillation: A Minimal Working Explanation
New York University（纽约大学）；Genentech（基因泰克）
本文指出参考模型分布召回率会根本约束偏好对齐，并通过高斯混合与 SmolLM2 实验证明 Align→KD 优于 KD→Align。
2025-09-28 cs.LG
Toward Understanding Adversarial Distillation: Why Robust Teachers Fail
School of Electrical Engineering, KAIST, Daejeon, Korea（韩国科学技术院电子工程学院）
本文研究了对抗蒸馏中鲁棒教师与学生鲁棒性之间的关系，揭示了教师监督信心与学生表示限制之间的不匹配导致鲁棒过拟合现象，并提出了理论框架和实验验证。
2026-05-21 cs.LG
Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?
Microsoft Research（微软研究院）；KAIST（韩国成均馆大学）；Seoul National University（首尔国立大学）
本文研究了自蒸馏在数学推理中降低大语言模型推理能力的原因，发现其通过抑制模型在推理过程中的不确定性表达，导致在未见过的问题上表现下降，强调了适当表达不确定性对鲁棒推理的重要性。
2026-08-19 cs.CL cs.LG
Why do Larger Models Generalize Better? A Theoretical Perspective via the XOR Problem
The Blavatnik School of Computer Science, Tel Aviv University（布拉瓦尼克计算机科学学院，特拉维夫大学）
经验证据表明，具有ReLU激活的神经网络在过度参数化的情况下泛化得更好。然而，目前还没有理论分析来解释这一观察结果。在这项工作中，我们提供了理论和经验证据，证明在某些情况下，由于初始化时权重聚类和特征探索之间的相互作用，过度参数化的卷积网络比小型网络更好地泛化。我们从理论上证明了这一点的3层卷积神经网络与最大池，在一个新的设置，扩展XOR问题。我们表明，这种相互作用意味着，与overparameterization，梯度下降收敛到全局极小值具有更好的泛化性能相比，小型网络的全局极小值。经验上，我们证明了这些现象的3层卷积神经网络的MNIST任务。
2019-01-29 cs.LG stat.ML
Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective
The University of Tokyo（东京大学）；CyberAgent
本文从实用角度重新审视链式思维蒸馏中的容量差距问题，提出更现实的评估协议，发现容量差距影响并非在所有任务和设置中主导，尤其当候选教师性能差异显著时，为选择合适的教师-学生对提供实践指导。
2026-09-30 cs.AI cs.CL cs.LG
Why Blocking Targeted Adversarial Perturbations Impairs the Ability to Learn
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
尽管它们的准确性，基于神经网络的分类器仍然倾向于通过对抗性扰动进行操纵。这些扰动被设计成被神经网络错误分类，同时在感知上与某些有效输入相同。绝大多数攻击方法依赖于白盒条件，其中攻击者完全了解被攻击网络的参数。这允许攻击者计算网络相对于某些有效输入的损失梯度，并使用该梯度来创建对抗性示例。事实证明，阻止白盒攻击的任务很难解决。虽然已经提出了大量的防御方法，但它们的成功有限。在这项工作中，我们研究这个困难，并试图理解它。我们系统地探讨了防御蒸馏的能力和局限性，迄今为止，为了理解防御挑战，我们提出了对抗性扰动的最有前途的防御机制之一。我们表明，与普遍持有的观点相反，绕过防御蒸馏的能力并不取决于攻击的复杂程度。事实上，简单的方法，如目标梯度符号法，能够有效地绕过防御蒸馏。我们证明了防御蒸馏是非常有效的非有针对性的攻击，但不适合有针对性的攻击。这一发现使我们意识到，有针对性的攻击利用了允许训练网络的相同输入梯度。这意味着阻止它们将需要失去网络的学习能力，这对研究界来说是一个不可能的权衡。
2019-07-11 cs.AI cs.LG stat.ML
Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe
Zhejiang University（浙江大学）；Shenzhen Loop Area Institute（深圳河套学院）；LLM Department, Tencent（腾讯大模型部门）
针对策略内蒸馏存在的信息状态探索不足、教师监督不可靠问题，提出跨大语言与多模态大模型的统一框架Uni-OPD，经多域实验验证其通用性与有效性。
2026-07-07 cs.LG
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals
University of Pennsylvania（宾夕法尼亚大学）；Tsinghua University（清华大学）；University of California, Riverside（加州大学河滨分校）；Marquette University（马凯特大学）
该研究探究在线策略蒸馏（OPD）失败的机制，发现大规模教师模型的OPD会出现早期损失平台，推测有限的表示适应可能导致学习信号崩溃，为理解OPD的性能差异提供了条件性解释。
2026-10-09 cs.CL cs.LG
Rethinking Backdoor Attacks on Dataset Distillation: A Kernel Method Perspective
National Taiwan University（台湾大学）；The Chinese University of Hong Kong（香港中文大学）；National Yang Ming Chiao Tung University（阳明交通大学）；IBM Research（IBM研究院）
本文从核方法理论视角重新审视数据集蒸馏上的后门攻击，提出两种理论驱动的触发器生成方法，并验证其能有效绕过传统检测与缓解机制，实现鲁棒的后门攻击。
2025-05-31 cs.CR cs.LG
A Kernel Perspective on Distillation-based Collaborative Learning
Department of Mathematical Sciences（数学科学系）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
该研究从核回归视角分析蒸馏式协同学习算法，首次证明其在分布式异构环境下的近极小极大最优性，还提出基于神经网络的实用算法，通过特征核匹配衔接理论与实践，经多回归任务验证了理论与算法可行性。
2024-10-30 cs.LG
Why does Deep Learning work? - A perspective from Group Theory
Intel Labs（英特尔实验室）；University of Utah（犹他大学）
为什么深度学习有效？它捕捉到了什么样的表征？高阶表征是如何出现的？我们从群论的角度研究这些问题，从而为深度学习理论开辟了一条新的途径。该主题最近重新兴起的一个因素是一个关键的算法步骤，称为预训练：首先为输入样本搜索一个良好的生成模型，然后一次重复一层。通过建立与轨道和群作用稳定器相互作用的联系，我们展示了这个简单原理的更深层次的含义。虽然神经网络本身可能不会形成组，我们表明存在的{ \em影子}组的元素作为密切的近似。在阴影组上，最初作为更好地初始化网络的机制引入的预训练步骤变得等同于搜索具有最小轨道的特征。直观地说，这些特性在某种程度上是{ \em最简单的}。这就解释了为什么深度学习网络首先学习简单的特征。接下来，我们将展示当在更深的层中重复相同的原理时，如何捕获更高阶的表示，以及为什么表示复杂性随着层的加深而增加。
2015-02-28 cs.LG cs.NE stat.ML
Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective
Huawei Noah’s Ark Lab（华为诺亚实验室）；Huawei R&D Munich（华为慕尼黑研发部）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
本文从约束马尔可夫决策过程视角研究LLM蒸馏，提出无需部署期访问教师模型或状态增强的奖励优化框架，在数学推理任务上提升约束满足率与推理能力。
2025-09-26 cs.AI cs.LG
Why is parameter averaging beneficial in SGD? An objective smoothing perspective
Agency for Science, Technology and Research（新加坡科技研究局）；Kyushu Institute of Technology（九州工业大学）；New York University（纽约大学）；Flatiron Institute（弗莱堡研究所）
本文从目标平滑角度证明平均SGD能优化平滑目标以避免尖锐局部最小值，并通过实验验证适当步长的参数平均显著提升SGD性能。
2024-05-26 cs.LG stat.ML
Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们提出了一个通用框架，用于提取深度神经网络分类器的贝叶斯后验分布的预期，扩展了贝叶斯暗知识框架的先前工作。建议的框架作为输入“教师”和学生模型架构和一般的后验期望的兴趣。蒸馏方法使用迭代生成的Monte Carlo样本对选定的后验期望进行在线压缩。我们专注于后验预测分布和期望熵作为蒸馏目标。我们调查了这个框架的几个方面，包括不确定性的影响和学生模型架构的选择。我们从速度-存储-准确性的角度研究学生模型架构搜索的方法，并利用熵蒸馏评估下游任务，包括不确定性排名和分布外检测。
2020-05-16 cs.LG stat.ML
Brewing Knowledge in Context: Distillation Perspectives on In-Context Learning
University of Chinese Academy of Sciences（中国科学院大学）；University of South Florida（佛罗里达州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Key Laboratory of System Software (Chinese Academy of Sciences)（中国科学院系统软件重点实验室）；State Key Laboratory of Computer Science (Institute of Software, Chinese Academy of Sciences)（中国科学院软件研究所计算机科学国家重点实验室）
该研究提出将上下文学习视为隐式知识蒸馏的新理论视角，推导泛化界并证明权重偏差与分布差异的线性关系，统一过往分析，为提示工程等提供理论支撑。
2025-06-13 cs.CL cs.LG
Why Code, Why Now: An Information-Theoretic Perspective on the Limits of Machine Learning
本文从信息结构角度探讨机器学习的限制，提出基于信息结构的五级可学习性层次，指出任务在该层次中的位置比模型属性更预测扩展效果。
2026-04-12 cs.CL cs.LG
Dataset Distillation as Data Compression: A Rate-Utility Perspective
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）
本文从速率-效用视角研究数据集蒸馏，提出联合优化量化潜码熵率与蒸馏损失的压缩方法，并用 bpc 统一衡量存储成本，在多个数据集上实现最高170倍压缩。
2025-07-23 cs.CV cs.LG
Understanding Why ViT Trains Badly on Small Datasets: An Intuitive Perspective
New York University（纽约大学）
视觉Transformer（ViT）是一种注意力神经网络架构，已被证明对计算机视觉任务有效。然而，与具有类似参数数量的ResNet-18相比，ViT在小数据集上训练时的评估准确性明显较低。为了方便相关领域的研究，我们提供了一个直观的帮助理解为什么会这样。我们首先比较了两个模型的性能，并确认在小数据集上训练时，ViT的准确性低于ResNet-18。然后，我们通过显示ViT的注意力地图可视化和ResNet-18的特征地图可视化来解释结果。通过表征相似性的角度进一步分析了差异。我们的结论是，在小数据集上训练的ViT的表示与在大数据集上训练的ViT有很大的不同，这可能是小数据集上性能下降的原因。
2023-02-07 cs.CV cs.LG
Why Do We Need Warm-up? A Theoretical Perspective
University of Basel（巴塞尔大学）
本文从理论角度探讨了学习率预热的必要性，提出了一种新的光滑性条件，并证明其能提升训练收敛速度。
2026-06-28 cs.LG math.OC stat.ML
Why Some Models Resist Unlearning: A Linear Stability Perspective
Purdue University（普渡大学）
本文从线性稳定性视角分析了机器遗忘的机制，揭示了数据一致性与遗忘能力之间的关系，表明高SNR环境下模型更难遗忘。
2026-02-03 cs.LG stat.ML
Why Federated Optimization Fails to Achieve Perfect Fitting? A Theoretical Perspective on Client-Side Optima
Beijing Institute of Technology（北京理工大学）
本文从理论视角解释了联邦优化在数据异构性下性能下降的原因，指出客户端局部最优解间的距离会提高全局目标下界并导致模型在末期振荡，从而无法完美拟合数据。
2025-11-01 cs.AI cs.LG stat.ML
Why Exposure Bias Matters: An Imitation Learning Perspective of Error Accumulation in Language Generation
Mila（米拉研究所）；McGill University（麦吉尔大学）；Borealis AI（Borealis人工智能公司）；Zalando SE（Zalando股份公司）
当前的语言生成模型存在重复、不连贯和幻觉等问题。一个经常被重复的假设是，生成模型的这种脆弱性是由训练和生成过程不匹配造成的，也称为暴露偏差。本文从模仿学习的角度对暴露偏差进行了分析，验证了这一假设。我们发现，曝光偏差导致积累的错误，分析为什么困惑未能捕捉这种积累，并实证表明，这种积累的结果在不良的一代质量。复制这些实验的源代码可在https://github.com/kushalarora/quantifying_exposure_bias上获得
2023-01-09 cs.AI cs.CL cs.LG
When and Why Does Unsupervised RL Succeed in Mathematical Reasoning? A Manifold Envelopment Perspective
Kyoto University（京都大学）
本文研究无监督强化学习在数学推理中的成功条件，提出通过流形包裹视角分析其稳定性与失效原因，设计内在奖励机制并揭示基础逻辑先验对性能的影响。
2026-03-17 cs.CL cs.LG
Why self-attention is Natural for Sequence-to-Sequence Problems? A Perspective from Symmetries
Stanford University（斯坦福大学）
在本文中，我们表明，类似于自注意力的结构是很自然的，从对称性的角度来学习许多序列到序列的问题。受语言处理应用程序的启发，我们研究了seq 2seq函数与知识的正交等方差，这些函数具有两个输入-输入序列和“知识”-并输出另一个序列。知识由与输入序列相同的嵌入空间中的一组向量组成，包含用于处理输入序列的语言的信息。我们发现，在嵌入空间的正交等方差是自然的seq 2seq函数的知识，在这样的等方差的功能必须采取的形式接近的自注意力。这表明，类似于自注意力的网络结构是代表许多seq 2seq问题的目标函数的正确结构。如果考虑“有限信息原理”，或者输入序列的元素具有置换等方差，则可以进一步细化表示。
2022-10-13 cs.CL cs.LG
