Improving Generalization of Metric Learning via Listwise Self-distillation
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);Wuhan University(武汉大学)
大多数深度度量学习(DML)方法采用一种策略,迫使所有正样本在嵌入空间中靠近,同时使它们远离负样本。然而,这样的策略忽略了正(负)样本的内部关系,往往导致过拟合,特别是在存在硬样本和错误标记的样本。在这项工作中,我们提出了一个简单而有效的正则化,即Listwise Self-Distillation(LSD),它逐步提取模型自己的知识,以自适应地为批量中的每个样本对分配更合适的距离目标。LSD鼓励在正(负)样本中进行更平滑的嵌入和信息挖掘,以减轻过度拟合,从而提高泛化能力。我们的LSD可以直接集成到一般的DML框架中。大量的实验表明,LSD一致地提高了多个数据集上各种度量学习方法的性能。
2022-06-17 cs.CV cs.LG
Cross-Domain Ensemble Distillation for Domain Generalization
POSTECH(浦项科技大学);NALBI Inc.(NALBI公司)
领域泛化是学习模型的任务,这些模型泛化到看不见的目标领域。我们提出了一个简单而有效的方法领域泛化,命名为跨域集成蒸馏(XDED),学习域不变的功能,同时鼓励模型收敛到平坦的最小值,这最近被证明是一个充分条件领域泛化。为此,我们的方法从具有相同标签但来自不同域的训练数据生成输出logits的集合,然后惩罚每个输出与集合的不匹配。此外,我们提出了一种去风格化技术,该技术对特征进行去风格化,以鼓励模型即使在任意目标域中也能产生风格一致的预测。我们的方法大大提高了跨域图像分类、跨数据集人员重新ID和跨数据集语义分割的公共基准测试中的泛化能力。此外,我们表明,通过我们的方法学习的模型对对抗攻击和图像损坏具有鲁棒性。
2022-11-25 cs.AI cs.CV cs.LG
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
KAIST AI(韩国科学技术院人工智能学院);Microsoft(微软公司);University of Toronto(多伦多大学);Mila(米拉计算科学研究所);Université de Montréal(蒙特利尔大学);CIFAR AI Chair(加拿大高级研究院人工智能主席项目机构)
提出在策略反向蒸馏(OPRD),通过评估教师策略偏移并放大验证器驱动的梯度分量,在弱到强泛化中加速学生优化并超越教师,且适用于多教师和强到弱蒸馏场景。
2026-10-20 cs.CL cs.LG
Improving Zero-shot Generalization of Learned Prompts via Unsupervised Knowledge Distillation
University of Florence(佛罗伦萨大学);University of Pisa(比萨大学)
本文提出基于无监督知识蒸馏的提示学习方法KDPL,无需标注样本即可集成至现有技术,在十多个基准上有效提升了VLMs的零样本泛化能力并实现知识迁移。
2024-07-30 cs.AI cs.CV cs.LG
Modality-Balanced Collaborative Distillation for Multi-Modal Domain Generalization
本文提出MBCD框架,通过自适应模态丢弃、梯度一致性约束和跨模态蒸馏,解决多模态领域泛化中模态不平衡问题,提升模型泛化能力。
2026-01-28 cs.CV cs.LG
Demystifying Low-Rank Knowledge Distillation in Large Language Models: Convergence, Generalization, and Information-Theoretic Guarantees
Department of Computer Science, University of Brasilia(巴西布拉兹利亚大学计算机科学系)
本文研究了大型语言模型中低秩知识蒸馏的理论基础,推导了收敛率、泛化界限及信息论分析,提出最优秩选择原则,并通过实验验证理论结果。
2026-03-22 cs.CL cs.LG stat.ML
Weight Averaging Improves Knowledge Distillation under Domain Shift
HSE University(高等经济学院)
本文研究领域偏移下的知识蒸馏问题,发现SWAD和SMA等权重平均技术可提升学生网络泛化能力,并提出无需验证评估的简化权重平均策略,最终形成WAKD方法。
2023-09-20 cs.CV cs.LG
Structured Distillation of Web Agent Capabilities Enables Generalization
Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所);McGill University(麦吉尔大学)
通过结构化轨迹生成框架,利用Gemini 3 Pro生成3000条轨迹并微调学生模型,实现WebArena 41.5%的性能,超越其他模型,且能力迁移至未见环境。
2026-04-09 cs.LG
Adaptive Distillation: Aggregating Knowledge from Multiple Paths for Efficient Distillation
WYZE Labs(WYZE实验室)
知识蒸馏是神经网络压缩算法中的主要趋势之一,以在较大教师模型的指导下提高较小学生模型的泛化性能。知识蒸馏应用的这一重大增长伴随着用于蒸馏知识的许多算法的引入,诸如软目标和提示层。尽管这种进步在不同的技术提取的知识,不同的蒸馏路径的聚合尚未得到全面研究。这一点特别重要,不仅因为不同的路径具有不同的重要性,而且还因为某些路径可能会对学生模型的泛化性能产生负面影响。因此,我们需要自适应地调整每条路径的重要性,以最大限度地提高蒸馏对学生模型的影响。在本文中,我们探讨了不同的方法来聚合这些不同的路径,并介绍了我们提出的自适应方法的基础上多任务学习方法。我们经验证明了所提出的方法的有效性,在分类,语义分割,和目标检测任务的应用程序的知识蒸馏的其他基线。
2021-10-24 cs.CV cs.LG
MTL-KD: Multi-Task Learning Via Knowledge Distillation for Generalizable Neural Vehicle Routing Solver
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Automation and Intelligent Manufacturing, Southern University of Science and Technology(南方科技大学自动化与智能制造学院);Guangdong Provincial Key Laboratory of Fully Actuated System Control Theory and Technology, Southern University of Science and Technology(广东省全驱动系统控制理论与技术重点实验室,南方科技大学);Department of Industrial Engineering and Innovation Sciences, Eindhoven University of Technology(埃因霍温理工大学工业工程与创新科学系)
本文提出MTL-KD方法,通过知识蒸馏将多个单任务强化学习模型的策略知识转移到单一重型解码器中,并引入R3C推理策略,实现了在多达1000个节点的多种VRP变体上具有强泛化能力的多任务求解。
2025-11-04 cs.LG
GOD: Enhancing Generalization via Deep Grafting for Sequential Recommendation
Pohang University of Science and Technology(浦项科技大学)
本文提出组件级蒸馏框架GOD,通过嫁接教师与学生模型组件提供组件级反馈,仅用学生模型推理,在三个真实数据集上较最优基线最高提升13.92%,解决序列推荐泛化能力弱的问题。
2026-08-26 cs.IR cs.LG
InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness
NavInfo Europe(四维图新欧洲)
与深度神经网络相比,人类对虚假相关性和琐碎线索(如纹理)的依赖更少,深度神经网络具有更好的泛化性和鲁棒性。它可以归因于先验知识或大脑中存在的高级认知归纳偏见。因此,向神经网络引入有意义的归纳偏差可以帮助学习更多的通用和高级表示,并减轻一些缺点。我们提出InBiaseD来提取归纳偏差,并为神经网络带来形状感知。我们的方法包括一个偏差对齐目标,该目标强制网络学习更通用的表示,这些表示不太容易受到数据中意外线索的影响,从而提高泛化性能。InBiaseD不太容易受到捷径学习的影响,并且还表现出较低的纹理偏差。更好的表示也有助于提高对对抗攻击的鲁棒性,因此我们将InBiaseD无缝地插入到现有的对抗训练方案中,以显示泛化和鲁棒性之间更好的权衡。
2022-06-12 cs.AI cs.CV cs.LG
Bidirectional Distillation: A Mixed-Play Framework for Multi-Agent Generalizable Behaviors
Zhejiang University(浙江大学)
针对多智能体强化学习中群体间泛化难题,提出双向蒸馏混合博弈框架,通过正反交替蒸馏拓展策略空间,无需存储历史策略,在多类任务中实现优异泛化效果。
2025-05-16 cs.AI cs.LG
Does Knowledge Distillation Really Work?
NYU(纽约大学);Google Research(谷歌研究院)
知识蒸馏是一种流行的技术,用于训练小型学生网络以模拟较大的教师模型,例如网络的集合。我们发现,虽然知识蒸馏可以提高学生的泛化能力,但它通常并不像人们通常理解的那样起作用:教师和学生的预测分布之间往往存在令人惊讶的巨大差异,即使在学生有能力完全匹配教师的情况下。我们确定优化的困难是学生无法与老师相匹配的关键原因。我们还展示了用于蒸馏的数据集的细节如何在学生与教师的匹配程度上发挥作用-并且更接近地匹配教师并不总是导致更好的学生概括。
2021-12-06 cs.LG stat.ML
Diffusion Models as Dataset Distillation Priors
Dept. of Comp. Sci. & Tech., BNRist Center, THU-Bosch ML Center, Tsinghua University(清华大学计算机科学与技术系、北京信息科学与技术国家研究中心、清华-博世机器学习中心);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Electronic Science and Technology of China(电子科技大学);South China University of Technology(华南理工大学)
本文提出Diffusion As Priors方法,通过量化合成与真实数据在特征空间的相似性提升数据集蒸馏的代表性,无需重新训练即可生成高质量数据集。
2026-04-03 cs.LG
An Empirical Analysis of the Impact of Data Augmentation on Knowledge Distillation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
使用经验风险最小化训练的深度学习模型的泛化性能可以通过使用数据增强策略(如简单转换)或使用混合样本来显著提高。我们试图实证分析的影响,这种策略的教师和学生之间的模型的蒸馏设置的泛化转移。我们观察到,如果教师使用任何混合样本增强策略(如MixUp或CutMix)进行训练,则从中提取的学生模型的泛化能力会受损。我们假设这样的策略限制了模型学习特定于示例的特征的能力,导致在蒸馏过程中监督信号的质量损失。我们提出了一种新的类歧视度量定量测量这种二分法的性能,并将其链接到网络的潜在空间上的不同策略引起的歧视能力。
2020-06-09 cs.AI cs.CV cs.LG
Representation Convergence: Mutual Distillation is Secretly a Form of Regularization
HKUST(GZ)(香港科技大学(广州));QLU(齐齐哈尔大学);ETH Zurich(苏黎世联邦理工学院);SCU(四川大学)
本文证明强化学习策略间的互蒸馏作为隐式正则化,防止过拟合无关特征,从而提升泛化性能,并在像素输入上自发涌现不变表示。
2025-09-24 cs.AI cs.LG
Supervision Complexity and its Role in Knowledge Distillation
USC Information Sciences Institute(南加州大学信息科学研究所);Google Research(谷歌研究院)
尽管知识蒸馏很受欢迎,也很有效,但人们对它为什么有用的理解有限。为了研究一个蒸馏的学生的泛化行为,我们提出了一个新的理论框架,利用监督的复杂性:教师提供的监督和学生的神经切线核之间的对齐措施。该框架突出了教师的准确性,学生的利润率相对于教师的预测,和教师的预测的复杂性之间的微妙的相互作用。具体来说,它提供了一个严格的理由,在蒸馏的背景下,如早期停止和温度缩放的各种技术的效用。我们的分析进一步建议使用在线蒸馏,学生在培训的不同阶段接受教师越来越复杂的监督。我们证明了在线蒸馏的有效性,并验证了一系列图像分类基准和模型架构的理论研究结果。
2023-01-28 cs.LG
Domain Generalization for Crop Segmentation with Standardized Ensemble Knowledge Distillation
Politecnico di Torino(都灵理工大学)
针对现有作物分割方法域泛化能力不足的问题,提出基于标准化集成知识蒸馏的新框架,搭配自建的超7万样本合成多域数据集,实现了性能提升与更优的仿真到真实泛化效果。
2024-04-14 cs.CV cs.LG
FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks
Zhejiang University, Hangzhou, China(浙江大学,杭州,中国);Zhejiang Rural Commercial United Bank Co.,Ltd., Hangzhou, China(浙江农村商业联合银行有限公司,杭州,中国)
本文提出基于三方生成对抗网络的无数据联邦知识蒸馏方法FedDTG,利用GAN生成伪造样本实现高效鲁棒的客户端互蒸馏,在保护隐私的同时获取全局知识,并在泛化能力上优于现有联邦蒸馏算法。
2025-06-28 cs.LG
Practical Policy Distillation for Reinforcement Learning in Radio Access Networks
本文提出两种策略蒸馏方法,用于在RAN中部署强化学习,以解决轻量模型性能不足与大规模模型资源需求之间的权衡问题。
2026-01-28 cs.LG
A Generalization Theory of Cross-Modality Distillation with Contrastive Learning
The Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出跨模态对比蒸馏(CMCD)框架,结合正负对应进行对比学习,并通过收敛性分析揭示模态间距离对下游任务测试误差的影响,实验证明其在多种模态和任务上优于现有算法2-3%。
2024-05-28 cs.CV cs.LG
Ensemble Knowledge Distillation for Learning Improved and Efficient Networks
IBM Research Australia(IBM澳大利亚研究院)
由深度卷积神经网络(CNN)组成的包围模型在模型泛化方面已经显示出显著的改进,但代价是大量的计算和存储器需求。在本文中,我们提出了一个学习紧凑的CNN模型的框架,具有改进的分类性能和模型泛化能力。为此,我们提出了一个紧凑的学生模型的CNN架构,该模型具有并行分支,这些分支使用地面真值标签和来自高容量教师网络的信息以集成学习的方式进行训练。我们的框架提供了两个主要的好处:i)将来自不同教师的知识提取到学生网络中,促进了学生网络不同分支的特征学习的异质性,并使网络能够学习目标问题的不同解决方案。ii)通过集成来耦合学生网络的分支,鼓励协作,并通过减少网络输出的方差来提高最终预测的质量。在成熟的CIFAR-10和CIFAR-100数据集上的实验表明,我们的Ensemble知识蒸馏(EKD)提高了分类精度和模型泛化能力,特别是在训练数据有限的情况下。实验还表明,我们的EKD为基础的紧凑型网络优于测试数据集的平均精度相比,最先进的知识蒸馏为基础的方法。
2020-04-02 cs.CV cs.LG
High-dimensional Analysis of Knowledge Distillation: Weak-to-Strong Generalization and Scaling Laws
University of Michigan(密歇根大学);Institute of Science and Technology Austria(奥地利科学技术研究所)
本文通过高维无脊回归的精确刻画,证明弱到强泛化中弱模型代理训练在相同数据预算下优于强标签训练,但无法改善数据缩放定律。
2025-02-27 cs.LG stat.ML
PracticalDG: Perturbation Distillation on Vision-Language Models for Hybrid Domain Generalization
The school of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Brunel University(布鲁内尔大学)
针对现有域泛化方法默认类别一致、大模型训练开销高的问题,提出将视觉语言模型知识蒸馏到轻量模型的SCI-PD方法,同时构建HDG基准和$H^{2}$-CV指标,有效提升了多场景尤其是数据稀缺时的模型鲁棒性。
2024-04-13 cs.CV cs.LG
On the Memorization of Consistency Distillation for Diffusion Models
School of Computing & Data Science, The University of Hong Kong(计算与数据科学学院,香港大学);School of Computing & Data Science and Institute of Data Science, The University of Hong Kong(计算与数据科学学院和数据科学研究所,香港大学)
研究探讨了蒸馏对扩散模型记忆性的影响,发现一致性蒸馏可减少记忆性的同时保持样本质量,理论分析表明其抑制不稳定特征方向,提升泛化能力。
2026-04-26 cs.AI cs.LG stat.ML
REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency
Department of Cybernetics FEE, Czech Technical University(控制系(FEE)捷克技术大学)
REDistill通过引入幂分歧损失,改进了知识蒸馏中教师噪声的处理,提高了学生模型的准确性和泛化能力。
2026-02-04 cs.CV cs.LG
VarDiU: A Variational Diffusive Upper Bound for One-Step Diffusion Distillation
University College London(伦敦大学学院);Imperial College London(伦敦帝国学院)
针对扩散蒸馏中基于DSM的梯度估计有偏问题,提出VarDiU变分扩散上界及无偏梯度估计器,相较Diff-Instruct提升生成质量并改善训练效率与稳定性。
2025-08-28 cs.LG
VISTA: Validation-Informed Trajectory Adaptation via Self-Distillation
VISTA通过验证引导的自蒸馏框架,在优化轨迹上强制一致性,提升模型鲁棒性和泛化能力,同时降低存储开销。
2026-09-17 cs.AI cs.LG
Multi-View Feature Representation for Dialogue Generation with Bidirectional Distillation
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
神经对话模型在实践中交互时会出现低质量的响应,这表明在训练数据之外的泛化方面存在困难。最近,知识蒸馏已被用于通过从教师转移知识来成功地规范学生。然而,教师和学生是在同一数据集上训练的,并且倾向于学习相似的特征表示,而最一般的知识应该通过差异来发现。单向蒸馏进一步阻碍了一般知识的发现,因为学生应该服从老师,可能会放弃一些真正普遍但被老师反驳的知识。为此,我们提出了一个新的训练框架,其中一般知识的学习更符合达成共识的想法,即,通过多样化的学习伙伴,找到对不同但所有数据集都有益的共同知识。具体地说,训练任务被分成一组学生人数相同的子任务。分配给一个子任务的每个学生不仅在所分配的子任务上被优化,而且还模仿从其他学生聚集的多视图特征表示(即,学生同伴),诱导学生在不同的子任务之间捕获共同的知识,并消除学生对分配的子任务的过度拟合。为了进一步提高泛化能力,我们将单向蒸馏扩展到双向蒸馏,鼓励学生及其学生同伴通过相互交换互补知识来共同进化。实验结果和分析表明,我们的训练框架有效地提高了模型的泛化能力,而不牺牲训练效率。
2021-02-22 cs.CL cs.LG
Efficient Scheduling of Data Augmentation for Deep Reinforcement Learning
NALBI;POSTECH(浦项科技大学)
在深度强化学习(RL)中,数据增强被广泛认为是一种工具,可以归纳出一组关于语义一致性的有用先验,提高样本效率和泛化性能。然而,即使先验知识对泛化有用,将其提取到RL代理通常会干扰RL训练并降低样本效率。同时,由于RL的非平稳性质,代理人会忘记先验知识。这些观察结果表明了两种极端的蒸馏时间表:(i)在整个培训期间;或(ii)仅在结束时。因此,我们设计了一个独立的网络蒸馏方法,在任何时候(即使在RL之后)注入一致性之前,以及一个简单而有效的框架来自动调度蒸馏。具体而言,所提出的框架首先专注于掌握训练环境,而不管泛化通过自适应地决定哪种{ \it或无}增强用于训练。在此之后,我们添加蒸馏以从所有增强中提取用于泛化的剩余益处,这不需要额外的新样本。在我们的实验中,我们展示了所提出的框架的实用性,特别是考虑将增强推迟到RL训练结束。
2022-10-19 cs.AI cs.LG
Geometric Self-Distillation for Reasoning Generalization
ILLC, University of Amsterdam(阿姆斯特丹大学伊利沙伯格学院);ILCC, University of Edinburgh(爱丁堡大学伊利沙伯格中心)
研究针对大语言模型特权上下文自蒸馏中监督难以信赖、导致分布外推理能力下降的问题,提出几何自蒸馏目标GeoSD,通过Hellinger损失和近端项对抗漂移,提升了模型分布外推理准确率。
2026-10-06 cs.CL cs.LG
Layerwise Bregman Representation Learning with Applications to Knowledge Distillation
Google Research(谷歌研究院)
在这项工作中,我们提出了一种新的方法分层表示学习的训练神经网络。特别是,我们形成了一个Bregman发散层的传递函数的基础上,并构建了一个扩展的原始Bregman PCA制定纳入一个平均向量和规范化的主方向相对于几何的局部凸函数周围的平均值。这种泛化允许将学习的表示导出为具有非线性的固定层。作为知识蒸馏的应用,我们将学生网络的学习问题转化为预测教师表示的压缩系数,这些压缩系数作为输入传递到导入层。我们的实证研究结果表明,我们的方法是更有效的网络之间的信息传输比典型的师生培训使用教师的倒数第二层表示和软标签。
2022-09-15 cs.LG
Efficient Scheduling of Data Augmentation for Deep Reinforcement Learning
NALBI;POSTECH(浦项科技大学)
在深度强化学习(RL)中,数据增强被广泛认为是一种工具,可以归纳出一组关于语义一致性的有用先验,提高样本效率和泛化性能。然而,即使先验知识对泛化有用,将其提取到RL代理通常会干扰RL训练并降低样本效率。同时,由于RL的非平稳性质,代理人会忘记先验知识。这些观察结果表明了两种极端的蒸馏时间表:(i)在整个培训期间;或(ii)仅在结束时。因此,我们设计了一个独立的网络蒸馏方法,在任何时候(即使在RL之后)注入一致性之前,以及一个简单而有效的框架来自动调度蒸馏。具体而言,所提出的框架首先专注于掌握训练环境,而不管泛化通过自适应地决定哪种{ \it或无}增强用于训练。在此之后,我们添加蒸馏以从所有增强中提取用于泛化的剩余益处,这不需要额外的新样本。在我们的实验中,我们展示了所提出的框架的实用性,特别是考虑将增强推迟到RL训练结束。
2023-03-01 cs.AI cs.LG
Right Time to Learn:Promoting Generalization via Bio-inspired Spacing Effect in Knowledge Distillation
Guanglong Sun(广龙Sun);Hongwei Yan(杨Hongwei);Liyuan Wang(王Liyuan);Qian Li(李Qian);Bo Lei(雷Bo);Yi Zhong(钟Yi)
受生物学习中间隔效应的启发,本研究提出Spaced KD策略,让学生模型从提前间隔训练的教师模型中蒸馏知识,通过收敛至更平坦损失曲面提升泛化性,在Tiny-ImageNet上较在线KD、自KD最高分别提升2.31%、3.34%的性能。
2025-05-19 cs.AI cs.LG
Solvable Model for Inheriting the Regularization through Knowledge Distillation
EPFL(洛桑联邦理工学院)
近年来,迁移学习与神经网络的经验成功,刺激了越来越多的兴趣,获得理论上的理解,其核心属性。使用较大神经网络的输出来训练较小神经网络的知识蒸馏是迁移学习的特别有趣的情况。在目前的工作中,我们引入了一个统计物理框架,允许浅神经网络的知识蒸馏(KD)的属性的分析表征。重点分析一个可解的模型,表现出非平凡的推广差距,我们调查KD的有效性。我们能够证明,通过KD,较大的教师模型的正则化属性可以被较小的学生继承,并且产生的泛化性能与教师的最优性密切相关并受到其限制。最后,我们分析了双下降现象,可能会出现在所考虑的KD设置。
2020-12-02 cond-mat.dis-nn cs.LG cs.NE
Federated Hybrid Training and Self-Adversarial Distillation: Towards Robust Edge Networks
Kyung Hee University(庆熙大学);University of Houston(休斯顿大学)
本文提出 FedBAT 框架,将混合对抗训练与自对抗蒸馏融入联邦学习,以缓解数据异质性和对抗攻击影响,从而提升全局模型的鲁棒性与泛化能力。
2024-12-26 cs.CV cs.LG
Distill-2MD-MTL: Data Distillation based on Multi-Dataset Multi-Domain Multi-Task Frame Work to Solve Face Related Tasksks, Multi Task Learning, Semi-Supervised Learning
Seoul National University(首尔大学)
提出了一种基于多任务学习和数据蒸馏的人脸相关任务半监督学习方法。所提出的方法利用具有不同标签的多个数据集来执行不同但相关的任务,例如同时进行年龄,性别,种族,面部表情估计。具体来说,当多个相关任务中只有少数标记良好的数据时,我们利用不同领域中其他相关任务的标签。我们的方法是由(1)一个新的MTL方法,可以处理弱标记的数据集,并同时执行多个任务,(2)MTL为基础的数据蒸馏框架,使网络泛化的训练和测试数据从不同的领域。实验表明,所提出的多任务系统执行每个任务比基线单任务。它还表明,使用不同的域数据集与主数据集可以提高网络的泛化能力,克服数据集之间的域差异。此外,比较基线和MTL框架上的数据蒸馏,后者对来自不同领域的未标记数据显示出更准确的预测。此外,通过提出一种新的学习率优化方法,我们提出的网络能够动态调整其学习率。
2019-07-09 cs.CV cs.LG
Regularizing Class-wise Predictions via Self-knowledge Distillation
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of California, Berkeley(加州大学伯克利分校)
具有数百万个参数的深度神经网络可能由于过拟合而具有较差的泛化能力。为了缓解这个问题,我们提出了一种新的正则化方法,惩罚相似样本之间的预测分布。特别是,我们在训练过程中提取了同一标签的不同样本之间的预测分布。这导致了对暗知识的正则化(即,关于错误预测的知识)(即,自我知识蒸馏),迫使它以类方式产生更有意义和一致的预测。因此,它减轻了过度自信的预测,并减少了类内变化。我们在各种图像分类任务上的实验结果表明,简单而强大的方法不仅可以显着提高现代卷积神经网络的泛化能力,但也校准性能。
2020-04-07 cs.CV cs.LG stat.ML
A System for Morphology-Task Generalization via Unified Representation and Behavior Distillation
The University of Tokyo(东京大学);Google Research(谷歌研究院)
自然语言和视觉中的通用大规模模型的兴起使我们期望大规模数据驱动的方法可以在其他领域实现更广泛的泛化,例如连续控制。在这项工作中,我们探索了一种学习单一策略的方法,该策略通过提取大量熟练的行为数据来操纵各种形式的代理来解决各种任务。为了使多个任务和不同的代理形态之间的输入-输出(IO)接口保持一致,同时保持基本的3D几何关系,我们引入形态任务图,它将观察,动作和目标/任务在一个统一的图形表示。我们还开发了MxT-Bench用于快速大规模行为生成,它支持以最小的蓝图和硬件加速模拟器程序生成不同的形态-任务组合。通过MxT-Bench上的高效表示和架构选择,我们发现与Transformer架构耦合的形态任务图表示与其他基线(包括最近的离散标记化)相比,提高了多任务性能,并为下游多任务模仿学习中的zero-shot传输或样本效率提供了更好的先验知识。我们的工作表明,大型不同的离线数据集,统一的IO表示,通过监督学习的策略表示和架构选择形成了一个有前途的方法,研究和推进形态任务泛化。
2023-02-04 cs.AI cs.LG cs.RO
Visualizing the embedding space to explain the effect of knowledge distillation
Korea University(高丽大学)
最近的研究发现,知识蒸馏可以有效地减少网络的规模和提高泛化能力。例如,一个预先训练好的大型教师网络被证明能够引导学生模型,最终在有限的标签环境中超过教师。尽管取得了这些进展,但仍然不清楚\emph{why}这种方法是否有效,也就是说,最终的学生模型做得“更好”。为了解决这个问题,我们利用两种非线性低维嵌入方法(t-SNE和IVIS)来可视化网络中不同层的表示空间。我们进行了一系列广泛的实验,不同的结构参数和蒸馏方法。由此产生的可视化和指标清楚地表明,与非蒸馏版本相比,蒸馏引导网络在早期层中找到更紧凑的表示空间,以获得更高的准确性。
2021-10-09 cs.CV cs.LG
KDSM: An uplift modeling framework based on knowledge distillation and sample matching
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Qunar Software Technology Co., Ltd(北京趣拿软件科技有限公司)
可说服性建模旨在估计个体的治疗效果,广泛应用于电子商务平台,以瞄准可说服的客户,并使营销活动的回报最大化。在现有的隆升建模方法中,基于树的方法在拟合增量和泛化能力方面较强,而基于神经网络的方法在预测绝对值和精度方面较强,这些优势尚未得到充分的挖掘和结合。此外,缺乏反事实样本对是隆起建模的根本挑战。提出了一种基于知识蒸馏和样本匹配的提升建模框架。教师模型是提升决策树(UpliftDT),其结构被用来构造反事实样本对,成对增量预测被视为学生模型的另一个目标。在多任务学习的思想下,学生模型可以在泛化上取得更好的表现,甚至超过教师。大量的离线实验验证了教师和学生模型的不同组合的普遍性和KDSM相对于基线测量的优越性。在在线A/B测试中,每增加一个房间夜晚的成本降低了6.5%。
2023-03-06 cs.AI cs.LG
Deep Neural Compression Via Concurrent Pruning and Self-Distillation
University of Liverpool(利物浦大学);Huawei Ireland Research Center(华为爱尔兰研究中心)
修剪的目的是减少参数的数量,同时保持性能接近原始网络。这项工作提出了一种新的\emph{self-distillation}为基础的修剪策略,从而修剪和未修剪的版本相同的网络之间的代表相似性最大化。与以前单独处理蒸馏和修剪的方法不同,我们使用蒸馏来通知修剪标准,而不需要像知识蒸馏那样使用单独的学生网络。我们表明,所提出的{ \em互相关目标自蒸馏修剪}隐含地鼓励稀疏的解决方案,自然补充幅度为基础的修剪标准。在GLUE和XGLUE基准测试上的实验表明,自提炼剪枝提高了单语言和跨语言语言模型的性能。自蒸馏修剪模型也优于具有相同数量参数的较小Transformers,并且与(6倍)较大的蒸馏网络竞争。我们还观察到自蒸馏(1)最大化类可分性,(2)提高信噪比,(3)在修剪步骤后收敛得更快,为自蒸馏修剪改善泛化提供了进一步的见解。
2021-09-30 cs.CL cs.LG
Self-Knowledge Distillation with Progressive Refinement of Targets
LG CNS AI Research(LG CNS人工智能研究院);Seoul National University of Science and Technology(首尔科学技术大学)
深度神经网络的泛化能力已经通过应用广泛的正则化方法得到了实质性的提高,例如,在这项工作中,我们提出了一种简单而有效的正则化方法,称为渐进式自知识蒸馏(PS-KD),它逐步提取模型自身的知识以软化硬目标(即,独热向量)。因此,它可以在知识蒸馏的框架内解释为学生成为教师本身。具体来说,通过结合地面实况和模型本身的过去预测来自适应地调整目标。我们表明,PS-KD提供了一个效果的硬例子挖掘重新调整梯度,根据分类的困难的例子。该方法适用于任何具有硬目标的监督学习任务,并且可以很容易地与现有的正则化方法相结合,以进一步提高泛化性能。此外,它被证实,PS-KD不仅实现了更好的准确性,但也提供了高质量的置信度估计的校准以及顺序排名。三个不同的任务,图像分类,目标检测和机器翻译,广泛的实验结果表明,我们的方法不断提高性能的最先进的基线。该代码可在https://github.com/lgcnsai/PS-KD-Pytorch上获得。
2021-10-07 cs.LG stat.ML
Why does Knowledge Distillation Work? Rethink its Attention and Fidelity Mechanism
North China Electric Power University(华北电力大学);Amazon(亚马逊公司)
本文通过实验揭示知识蒸馏中教师注意力多样性越高、学生-教师保真度越低反而越有利于学生泛化,并提出应增强数据增强与教师集成多样性、减少模仿行为来优化学生模型性能。
2024-04-30 cs.CV cs.LG eess.IV
OptSkills: Learning Generalizable Optimization Skills from Problem Archetypes via Cluster-Based Distillation
East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新研究院);Ant Group(蚂蚁集团)
提出OptSkills系统,通过聚类问题原型、蒸馏成功轨迹为可复用工作流技能,并动态扩展技能库,提升优化建模与求解的分布内和分布外泛化能力。
2026-09-03 cs.AI cs.LG
Wasserstein Contrastive Representation Distillation
Duke University(杜克大学);Microsoft Corporation(微软公司)
知识蒸馏(KD)的主要目标是将从教师网络学习到的模型信息封装到学生网络中,后者比前者更紧凑。现有工作,例如,使用Kullback-Leibler散度进行提取,可能无法捕获教师网络中的重要结构知识,并且通常缺乏特征泛化的能力,特别是在构建教师和学生以解决不同分类任务的情况下。我们提出了Wasserstein对比表示蒸馏(WCoRD),它利用原始和对偶形式的Wasserstein距离KD。对偶形式用于全局知识转移,产生最大化教师和学生网络之间的互信息的下界的对比学习目标。原始形式用于小批量内的局部对比知识转移,有效地匹配教师和学生网络之间的特征分布。实验结果表明,WCoRD方法在特权信息提取、模型压缩和跨模态传递等方面优于现有方法.
2021-03-29 cs.CV cs.LG
Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion
Arizona State University(亚利桑那州立大学);University of Virginia(弗吉尼亚大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出ExGRPO框架,通过生成解释性探测和强化学习提升蒸馏模型的推理能力和泛化能力,实验显示在12个数据集上显著提升性能。
2026-02-26 cs.AI cs.CL cs.LG
Even your Teacher Needs Guidance: Ground-Truth Targets Dampen Regularization Imposed by Self-Distillation
Aarhus University(奥胡斯大学)
知识蒸馏是一个经典的过程,其中一个神经网络是在另一个网络的输出以及原始目标上训练的,以便在体系结构之间传递知识。自蒸馏的特殊情况下,网络结构是相同的,已被观察到,以提高泛化精度。在本文中,我们考虑一个迭代的自蒸馏在核回归设置,其中连续的步骤将模型输出和真值的目标。这使我们能够提供第一个理论结果的重要性,使用加权的真值目标在自蒸馏。我们的重点是拟合非线性函数的训练数据与加权均方误差的目标函数适合蒸馏,受$\ell_2$正则化的模型参数。我们表明,任何这样的功能获得自蒸馏可以直接计算作为一个函数的初始拟合,无限蒸馏步骤产生相同的优化问题与原来的放大正则化。此外,我们提供了一个封闭形式的解决方案,在每一步的加权参数的最佳选择,并显示如何有效地估计这个加权参数的深度学习,并显着减少计算要求相比,网格搜索。
2021-10-15 cs.LG stat.ML
Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization
VUNO Inc.(VUNO公司);KAIST(韩国科学技术院)
针对半监督知识蒸馏中监督与蒸馏损失的梯度冲突,本文提出 DHO 双头优化,以极小开销稳定提升特征学习,并在 15 个数据集及 ImageNet 设置中达到最先进性能。
2026-11-17 cs.AI cs.CV cs.LG
Self Distillation via Iterative Constructive Perturbations
Techno India University(技术印度大学);DRDO Young Scientist Laboratory - Cognitive Technologies(DRDO年轻科学家实验室-认知技术)
针对深度神经网络训练中性能与泛化难以平衡的问题,提出基于迭代构造扰动的自蒸馏框架,通过循环优化模型与输入数据,有效弥合拟合与泛化差距,在多种训练场景下显著提升性能。
2025-05-20 cs.AI cs.ET cs.LG
Zero-Shot Knowledge Distillation in Deep Networks
Indian Institute of Science(印度科学学院);University of Edinburgh(爱丁堡大学);University of Lincoln(林肯大学)
知识蒸馏处理从高容量源模型(教师)训练较小模型(学生)以便保留其大部分性能的问题。现有方法使用训练数据或从中提取的元数据来训练学生。然而,如果数据集非常大或者存在隐私或安全问题(例如,生物测量或医学数据)。因此,在本文中,我们提出了一种新的无数据的方法来训练学生从教师。在不使用任何元数据的情况下,我们从复杂的教师模型中合成数据映像,并利用这些作为原始训练数据样本的替代品,通过知识蒸馏将其学习转移到学生身上。因此,我们将我们的方法称为“Zero-Shot知识蒸馏“,并证明我们的框架可以通过使用多个基准数据集上的实际训练数据样本进行蒸馏来实现具有竞争力的泛化性能。
2019-05-20 cs.CV cs.LG stat.ML
Cross-Layer Distillation with Semantic Calibration
Zhejiang University(浙江大学);Zhejiang University of Technology(浙江工业大学)
知识蒸馏是一种通过利用教师模型的输出来增强学生模型的泛化能力的技术。最近,基于特征图的变体探索了中间层中手动分配的师生对之间的知识转移,以进一步改进。然而,层语义可能在不同的神经网络和人工层关联的语义不匹配会导致性能退化,由于负正则化。为了解决这个问题,我们提出了语义校准跨层知识蒸馏(SemCKD),自动分配适当的目标层的教师模型为每个学生层的注意力机制。通过学习的注意力分布,每个学生层提取包含在多个教师层中的知识,而不是特定的中间层,以进行适当的跨层监督。我们进一步提供了理论分析的关联权重,并进行了广泛的实验,以证明我们的方法的有效性。代码可在\url{https://github.com/DefangChen/SemCKD}获得。
2021-08-29 cs.AI cs.CV cs.LG
Generalization in birdsong classification: impact of transfer learning methods and dataset characteristics
Naturalis Biodiversity Center(自然生物多样性中心);Xeno-Canto Foundation(异音基金会);Landesbund fur Vogel- und Naturschutz(鸟类与自然保护州联合会);Department of Cognitive Science and Artificial Intelligence, Tilburg University(蒂尔堡大学认知科学与人工智能系)
本研究探讨了迁移学习在大规模鸟类声音分类中的泛化能力,发现浅层微调在复杂声音景观中表现更优,并提倡更全面的标注实践以增强分类器的鲁棒性。
2024-09-21 cs.LG cs.SD eess.AS