Swapped Logit Distillation via Bi-level Teacher Alignment
Cyberlink（Cyberlink公司）
本文提出交换对数几率蒸馏（SLD），通过交换教师和学生输出并引入损失调度实现双层教师对齐，在图像分类任务上超越现有最先进方法。
2025-04-27 cs.LG eess.IV eess.SP
Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss
本研究针对大语言模型知识蒸馏成本高的问题，提出离线Top-K对数概率方法与融合分块KL损失，提升训练效率、降低内存占用，相关实现已开源。
2026-08-05 cs.AI cs.CL cs.LG
DistillLens: Symmetric Knowledge Distillation Through Logit Lens
Georgia State University（佐治亚州立大学）；Auburn University（阿肯色大学）
DistillLens通过Logit Lens对称对齐学生和教师模型的思维过程，提升知识蒸馏性能。
2026-02-14 cs.CL
AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition
研究针对设备端语音情感识别中大型模型成本高的问题，提出自适应多教师关系蒸馏方法。通过单类支持向量机分配教师权重，用关系蒸馏损失捕捉结构，在多数据集和学生架构上优于单教师蒸馏，两组件互补增益。
2026-07-29 cs.LG
Aligning Logits Generatively for Principled Black-Box Knowledge Distillation
School of Artificial Intelligence and Automation（人工智能与自动化学院）；Huazhong University of Science and Tech（华中科技大学）；DAMO Academy（达摩院）；Alibaba Group（阿里巴巴集团）
本文针对黑盒知识蒸馏中数据不可见与分布差异问题，提出映射仿真知识蒸馏（MEKD）方法，通过生成器仿真教师逆映射并基于高维图像点距离对齐低维logits，在多个基准上优于现有方法。
2024-03-30 cs.AI cs.CV cs.LG
Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head
Nanyang Technological University（南洋理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Southeast University（东南大学）
本文提出双头知识蒸馏方法，通过分离分类头和骨干网络，解决传统知识蒸馏中logit级损失与概率级损失结合导致的分类头崩溃问题，提升模型性能。
2025-05-28 cs.CV cs.LG
Communication-Aware Knowledge Distillation for Federated LLM Fine-Tuning over Wireless Networks
Department of Engineering, King’s College London（伦敦国王学院工程学院）
本文提出一种通信高效的联邦知识蒸馏方法，通过动态选择Top-k logits和自适应logits聚合方案，降低通信开销并提升蒸馏效果，实验显示在降低约50%通信开销的同时性能更优。
2025-09-30 cs.LG
Logits Poisoning Attack in Federated Distillation
Collaborative Innovation Center of Railway Traffic Safety, Beijing Jiaotong University（北京交通大学轨道交通运行安全协同创新中心）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文针对联邦蒸馏（FD）框架缺乏投毒攻击研究的问题，提出了 FDLA 攻击方法，通过操纵 logit 通信误导私有样本判别，显著降低客户端模型性能，实验证明其优于基线算法，凸显了 FD 需要防御机制。
2024-01-08 cs.LG
Logit-Based Losses Limit the Effectiveness of Feature Knowledge Distillation
University of Colorado Boulder（科罗拉多大学波得尔）
针对现有特征知识蒸馏采用logit损失限制效果的问题，本文提出仅用特征损失训练学生骨干的KD框架，结合知识质量度量筛选教师层，在多数据集、多架构师生配对上取得SOTA性能，最高提升top-1准确率15%。
2025-11-18 cs.AI cs.CV cs.LG
Parameter-Free Logit Distillation via Sorting Mechanism
Department of Electrical Engineering and Computer Science, National Yang Ming Chiao Tung University（电子工程与计算机科学系，国立阳明交通大学）
本文针对现有知识蒸馏方法忽视教师模型错误预测的问题，提出一种基于排序机制的无参数logit预处理方案，通过修正错误预测并按优先级重排分布，在CIFAR-100和ImageNet上验证了其有效性。
2025-08-22 cs.LG eess.IV eess.SP
Rethinking Decoupled Knowledge Distillation: A Predictive Distribution Perspective
Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学）；Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学）；The Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）
从预测分布角度重新审视解耦知识蒸馏，提出更灵活的GDKD损失和高效算法，提升知识提取效果。
2025-12-04 cs.CV cs.LG
Generative Dataset Distillation Based on Self-knowledge Distillation
Hokkaido University（北海道大学）
针对数据集蒸馏中预测 logits 对齐不精确的问题，提出融合自知识蒸馏并在分布匹配前标准化 logits 的生成式方法，实验证明其性能优于现有最先进方法。
2025-01-08 cs.AI cs.CV cs.LG
ALRA: Adaptive Local Relational Alignment for Logit-Based Pre-training Distillation of Autoregressive Language Models
VJ Technologies（VJ科技）；AJ Technologies（AJ科技）；Vietnam National University（越南国家大学）；University of Information Technology（信息技术大学）
针对自回归语言模型基于Logit的预训练蒸馏忽略令牌相对偏好的问题，提出ALRA框架，结合学生提议与教师指导，在The Pile数据集的9个零样本基准上提升了蒸馏模型的准确率。
2026-09-04 cs.CL cs.LG stat.ML
Efficient Logit-based Knowledge Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment
Zhejiang University（浙江大学）
针对SNNs因固定时间步导致的部署灵活性差与准确率下降问题，提出一种新型蒸馏框架，无需特定重训练即可优化全范围时间步性能，并在多个数据集上达到SOTA。
2025-05-28 cs.LG q-bio.NC
Short Data, Long Context: Distilling Positional Knowledge in Transformers
Meta Reality Labs（Meta现实实验室）
本文通过基于logit的知识蒸馏，在不使用长上下文预训练的情况下，实现了长上下文检索能力的转移，揭示了位置信息在模型中的传播机制及参数更新模式。
2026-04-07 cs.CL cs.LG
A Closer Look at Knowledge Distillation in Spiking Neural Network Training
针对脉冲神经网络训练中现有知识蒸馏忽略ANN与SNN输出分布差异的问题，本文提出SAMD和NLD两种蒸馏策略，通过激活图对齐与噪声平滑logits对齐提升训练效果，实验验证了方法有效性。
2025-11-14 cs.LG
Distillation of Large Language Models via Concrete Score Matching
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出具体分数蒸馏（CSD）目标，通过离散分数匹配克服softmax平滑和logit平移不变性限制，实现学生与教师模型间所有词汇对相对logit差异的灵活加权，在GPT-2、OpenLLaMA和GEMMA上优于现有蒸馏方法。
2026-05-30 cs.AI cs.LG
Consistently Informative Soft-Label Temperature for Knowledge Distillation
Rochester Institute of Technology（罗切斯特理工学院）；Oakland University（奥克兰大学）
本文提出CIST方法，通过为教师和学生分配样本级自适应温度，解决传统固定温度设计中教师软标签熵不一致和教师-学生logit尺度对齐过严的问题，从而提升知识蒸馏效果。
2026-05-19 cs.AI cs.LG
Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation
KAIST（韩国科学技术院）
知识蒸馏（KD），将知识从一个笨重的教师模型转移到一个轻量级的学生模型，已被研究设计有效的神经结构。通常，KD的目标函数是教师模型和学生模型的软化概率分布之间的Kullback-Leibler（KL）发散损失，其中温度标度超参数τ。尽管它被广泛使用，但很少有研究讨论这种软化对概括的影响。在这里，我们从理论上表明，KL发散损失集中在logit匹配时，τ增加和标签匹配时，τ去0和经验表明，logit匹配是正相关的性能改善一般。从这个观察，我们考虑一个直观的KD损失函数，即logit向量之间的均方误差（MSE），这样学生模型就可以直接学习教师模型的logit。MSE损失优于KL发散损失，这是由两种损失之间倒数第二层表示的差异解释的。此外，我们表明，顺序蒸馏可以提高性能，KD，特别是当使用KL发散损失与小τ，减轻标签噪声。复制实验的代码可在https://github.com/jhoon-oh/kd_data/在线公开获得。
2021-05-19 cs.CV cs.LG
iCD: A Implicit Clustering Distillation Mathod for Structural Information Mining
针对Logit知识蒸馏决策过程缺乏可解释性的问题，提出隐式聚类蒸馏方法iCD，利用Gram矩阵从logit中挖掘并迁移可解释的结构知识，在细粒度分类任务中较基线峰值提升达5.08%。
2025-09-16 cs.CV cs.LG
Learning to Reason: Temporal Saliency Distillation for Interpretable Knowledge Transfer
Department of Electrical and Electronic Engineering, University of Melbourne Parkville VIC 3052, Australia（墨尔本大学电子与电气工程系）
本文提出时间显著性蒸馏方法，通过扩展logit转移传递可解释知识，提升时间序列模型的可解释性和性能。
2026-01-07 cs.AI cs.LG
Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation
Beijing Institute of Technology（北京理工大学）；Baichuan Inc.（百川公司）
本文提出FSPAD方法，通过特征采样和部分对齐蒸馏两个组件，解决草稿模型特征对齐与logit置信度冲突，在多项任务和多种LLM上显著提升无损投机解码性能。
2024-08-28 cs.CL cs.LG
Steal the Knowledge, Inherit the Mark: TwinMark for Distillation Watermarking via Second Moments and Class Multiplexing
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；University of Technology Nürnberg (UTN)（纽伦堡工业大学）
TwinMark提出一种双通道水印方案，通过协方差投影和Fisher对齐线性载体读取共享秘密，在特征与logit蒸馏攻击下提供可证明的检测能力，并跨多种架构和任务验证其鲁棒性。
2026-10-01 cs.LG
X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation
NVIDIA
本文提出X-Token，一种通过投影引导的跨分词器知识蒸馏方法，解决传统方法在处理不同分词器间知识迁移时的不足，通过两个互补的损失函数改进知识蒸馏效果。
2026-05-20 cs.CL cs.LG
MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of British Columbia（英属哥伦比亚大学）
大规模预训练语言模型的出现促进了自然语言处理（NLP）领域的快速发展。虽然这些模型在标准基准测试中的性能随着规模的扩大而扩大，但知识蒸馏等压缩技术是使其实用化的关键。我们提出了一种新的基于文本的对抗训练算法MATE-KD，它提高了知识蒸馏的性能。MATE-KD首先训练一个基于掩码语言模型的生成器，通过最大化教师和学生logits之间的分歧来扰动文本。然后使用知识蒸馏，学生在原始和扰动的训练样本上进行训练。我们使用基于BERT的模型在GLUE基准测试中评估了我们的算法，并证明MATE-KD优于竞争对手的对抗性学习和数据增强基线。在GLUE测试集上，我们基于6层RoBERTa的模型优于BERT-Large。
2021-05-12 cs.CL cs.LG
CoDERT: Distilling Encoder Representations with Co-learning for Transducer-based Speech Recognition
Alexa Machine Learning, Amazon.com（亚马逊Alexa机器学习部门）
我们提出了一种简单而有效的方法来压缩RNN-传感器（RNN-T）通过著名的知识蒸馏范例。我们表明，换能器的编码器输出自然有一个高熵，并包含丰富的信息声学相似的词片混淆。当与较低熵解码器输出组合以产生联合网络对数时，该丰富信息被抑制。因此，我们引入了一个辅助损失，从教师换能器的编码器中提取编码器的logits，并探索这种编码器蒸馏有效工作的训练策略。我们发现，教师和学生的编码器与就地编码器蒸馏串联训练优于使用预先训练和静态教师换能器。我们还报告了一个有趣的现象，我们称之为隐式蒸馏，当教师和学生编码器共享相同的解码器时发生。我们的实验表明，5.37-8.4%的相对字出错率减少（WERR）的内部测试集，和5.05-6.18%的相对WERR LibriSpeech测试集。
2021-06-14 cs.CL cs.LG eess.AS
A Note on Knowledge Distillation Loss Function for Object Classification
Zhejiang University（浙江大学）
本文介绍了目标分类中的知识蒸馏损失函数，探讨其与logits匹配损失的联系，并将其视为输出正则化的一种形式，揭示了其与标签平滑及基于熵的正则化的关联。
2024-08-27 cs.AI cs.LG
A Controlled Study of Feature-Based Knowledge Distillation Across Student Designs
Georgia Institute of Technology（佐治亚理工学院）
该研究在CIFAR-100上对照分析不同特征知识蒸馏方法对不同学生模型的影响，发现FitNets弱于logit KD、注意力迁移效果因模型而异，固定辅助系数无法实现统一训练条件。
2026-08-11 cs.CV cs.LG
Knowledge Distillation Based on Transformed Teacher Matching
University of Waterloo（滑铁卢大学）
该研究提出变换教师匹配（TTM）知识蒸馏方法，取消学生侧温度缩放，利用目标函数中固有的Rényi熵正则化提升学生模型泛化性，进一步加入样本自适应权重的WTTM实现了最优准确率。
2024-03-07 cs.CV cs.LG
Hybrid Knowledge Transfer through Attention and Logit Distillation for On-Device Vision Systems in Agricultural IoT
School of Engineering and Technology, Soroti University（工程与技术学院，索里大学）
提出混合知识蒸馏框架，将Swin Transformer的注意力与逻辑知识迁移至MobileNetV3，在保持高精度的同时大幅降低计算开销，实现农业物联网端侧实时病害检测。
2025-04-21 cs.AI cs.CV cs.LG
Cross-Modal Knowledge Distillation for Acoustic Pedestrian Detection
Georgia Institute of Technology（佐治亚理工学院）
针对仅音频行人检测中跨模态蒸馏贡献不明的问题，提出信任过滤蒸馏（TFD），选择性抑制教师监督，实验表明其主要带来操作点偏移而非判别力提升。
2026-09-29 cs.LG cs.SD eess.AS
Enabling Weak Client Participation via On-device Knowledge Distillation in Heterogeneous Federated Learning
Inha University, South Korea（韩国庆熙大学）；University of Southern California, United States（美国南加州大学）
本文提出一种基于设备端知识蒸馏的异构联邦学习方法，利用小型辅助模型和资源强客户端提升模型准确性。
2026-01-08 cs.LG
Towards Resource-Efficient LLMs: End-to-End Energy Accounting of Distillation Pipelines
University of Toronto（多伦多大学）
本文研究了蒸馏流水线的端到端能源成本，揭示了传统方法的能耗问题，并提出开放源代码工具用于标准化蒸馏研究。
2026-05-13 cs.AI cs.LG
DistillCSE: Distilled Contrastive Learning for Sentence Embeddings
Nanyang Technological University（南洋理工大学）；City Univeristy of Hong Kong（香港城市大学）；Tencent AI Lab（腾讯人工智能实验室）
提出DistillCSE框架，通过自训练与知识蒸馏增强对比学习，针对高方差问题采用Group-P洗牌和logits平均化，在标准基准上达到新最优性能。
2023-10-30 cs.CL
REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency
Department of Cybernetics FEE, Czech Technical University（控制系（FEE）捷克技术大学）
REDistill通过引入幂分歧损失，改进了知识蒸馏中教师噪声的处理，提高了学生模型的准确性和泛化能力。
2026-02-04 cs.CV cs.LG
PLD: A Choice-Theoretic List-Wise Knowledge Distillation
School of Computer Science, Peking University（北京大学计算机科学学院）
本文提出PLD，一种基于Plackett-Luce模型的列表级知识蒸馏方法，通过将教师logits视为'价值'评分，直接优化教师最优排名，实现凸且平移不变的替代目标，涵盖加权交叉熵。
2025-10-23 cs.AI cs.CV cs.LG
Wasserstein Distance Rivals Kullback-Leibler Divergence for Knowledge Distillation
Dalian University of Technology（大连理工大学）
针对传统KL散度知识蒸馏缺乏跨类别比较、难处理中间层非重叠分布的问题，提出基于Wasserstein距离的WKD-L logit蒸馏与WKD-F特征蒸馏方法，在图像分类和检测任务上性能优于现有KL类及最优方法。
2024-12-11 cs.AI cs.CV cs.LG
Student Capacity Moderates Knowledge Distillation Effectiveness: A Systematic Study Across ResNet Teacher-Student Pairs on CIFAR-10
通过ResNet教师-学生对在CIFAR-10上的图像分类实验，系统研究学生容量如何调节知识蒸馏（KD）的有效性，发现学生容量是蒸馏增益的关键调节因素，并指出实现正确性和输入分辨率感知架构的重要性。
2026-07-14 cs.CV cs.LG
Multi-Level Optimal Transport for Universal Cross-Tokenizer Knowledge Distillation on Language Models
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）；Tencent YouTu Lab（腾讯优图实验室）；Zhejiang University of Technology（浙江工业大学）
提出多层级最优传输（MultiLevelOT）方法，在词元和序列级别对齐教师与学生模型的logit分布，实现无需相同分词器的通用知识蒸馏，在多项任务上超越现有方法。
2025-01-18 cs.CL
VideoAdviser: Video Knowledge Distillation for Multimodal Transfer Learning
KDDI Research（KDDI研究院）；Keio University（庆应义塾大学）
本文提出 VideoAdviser，通过 CLIP 教师到 RoBERTa 学生的两步视频知识蒸馏，使纯文本模型获得多模态知识，并在情感分析和音视频检索上显著提升性能。
2023-09-27 cs.CL cs.CV
Logits-Based Finetuning
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Hong Kong University of Science and Technology（香港科技大学）
提出融合教师 logits 与真实标签的微调框架，构建120万样本数据集训练科学模型，在多个数学基准上显著优于传统SFT。
2025-06-11 cs.LG
Multi-Label Knowledge Distillation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanyang Technological University（南洋理工大学）；RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能项目研究中心）；The University of Tokyo（东京大学）
针对多标签场景预测概率和不为1及特征图易忽略次要类别的问题，提出一种多标签知识蒸馏方法，通过将问题拆分为二元分类并利用标签级嵌入结构信息，有效避免标签间知识抵消并提升性能。
2023-08-12 cs.AI cs.CV cs.LG
Dynamic Influence-Weighted Distillation for Single-IMU Activity Recognition
South China Normal University（华南师范大学）
本研究针对单IMU活动识别的部署负担问题，提出动态影响加权（DIW）知识蒸馏方法，利用训练阶段的多IMU信息提升单IMU学生模型性能，在WEAR数据集上取得显著效果。
2026-08-27 cs.HC cs.LG
Breaching FedMD: Image Recovery via Paired-Logits Inversion Attack
The University of Tokyo（东京大学）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文发现 FedMD 范式存在隐私泄露风险，提出 PLI 攻击，恶意服务器通过训练反演神经网络利用模型间的置信度差距，仅用配对 logits 即可高成功率重建私有图像。
2023-07-01 cs.AI cs.CR cs.LG
Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study
CMU（卡内基梅隆大学）；HKUST（香港科技大学）；Peking University（北京大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
这项工作的目的是实证澄清最近发现的观点，标签平滑是不兼容的知识蒸馏。我们首先介绍如何提出这种不兼容性背后的动机，即，标签平滑擦除教师日志之间的相关信息。我们提供了一个新的连接标签平滑如何影响语义相似和不相似的类的分布。然后，我们提出了一个度量标准来定量衡量删除的信息在样本的表示的程度。然后，通过对图像分类、二进制网络和神经机器翻译的大量分析、可视化和综合实验，研究了不相容观的片面性和不完善性。最后，我们广泛地讨论了几种情况下，标签平滑确实会失去其有效性。项目页面：http://zhiqiangshen.com/projects/LS_and_KD/index.html。
2021-04-01 cs.AI cs.CL cs.CV
Subclass Knowledge Distillation with Known Subclass Labels
University of Toronto（多伦多大学）
这项工作介绍了一种新的知识蒸馏框架的分类任务，现有的子类信息是可用的，并考虑到。在具有少量类别或二进制检测的分类任务中，从教师传递到学生的信息量受到限制，从而限制了知识蒸馏的效用。可以通过利用类中可能的子类的信息来提高性能。为此，我们提出了所谓的子类知识蒸馏（SKD），一个将预测子类的知识从教师转移到较小学生的过程。不在教师的类逻辑中但存在于子类逻辑中的有意义的信息（例如，课程内的相似性）将通过SKD传达给学生，这将提高学生的表现。从分析上讲，我们衡量教师可以通过SKD为学生提供多少额外信息，以证明我们工作的有效性。在临床应用中，即大肠息肉二元分类的框架进行了评估。这是一个有两个类和每个类的子类数的实际问题。在该应用中，临床医生提供的注释用于基于注释标签在课程学习风格中的可变性来定义子类。使用SKD框架训练的轻量级，低复杂度的学生实现了85.05%的F1分数，比使用和不使用传统知识蒸馏训练的学生分别提高了1.47%和2.10%。接受SKD培训的学生和未接受SKD培训的学生之间的2.10% F1分数差距可以通过额外的子类知识来解释，即，在我们的实验中，教师可以传输每个样本额外的0.4656个标签位。
2022-07-17 cs.IT cs.LG math.IT
Hint-dynamic Knowledge Distillation
Xiamen University（厦门大学）
知识蒸馏（KD）是将知识从高能力教师模型转移到小规模学生模型。现有的努力通过匹配它们的预测逻辑、特征嵌入等来指导蒸馏，而留下如何有效地利用它们的较少探索的结。在本文中，我们提出了提示动态知识蒸馏，简称为HKD，它挖掘知识，从教师的提示，在一个动态的计划。知识提示的指导作用在不同的学习实例和学习阶段往往不同，这促使我们自适应地为每个实例定制特定的提示学习方式。具体地说，元权重网络被引入到学生模型的动态学习过程的感知中，以产生关于知识提示的实例权重系数。我们进一步提出了一个权重集成策略，以消除潜在的偏差系数估计利用历史静态。在CIFAR-100和Tiny-ImageNet标准基准测试上的实验表明，HKD能有效地提高知识蒸馏任务的效率.
2022-11-30 cs.CV cs.LG
Feature Affinity Assisted Knowledge Distillation and Quantization of Deep Neural Networks on Label-Free Data
University of California, Irvine（加州大学欧文分校）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
提出 FAQD 方法，用中间特征图的特征亲和性结合 logit 蒸馏，在无标签数据上增强量化学生网络的训练，并以低复杂度 FFA 损失加速高分辨率训练。
2023-08-18 cs.AI cs.IT cs.LG
Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs
Diabolocom（迪亚博洛科姆公司）；CentraleSupélec（中央高等电力学院）；Paris-Saclay University（巴黎-萨克雷大学）；University of Mons（蒙斯大学）
针对大语言模型跨分词器蒸馏难题，提出基于最优传输的通用逻辑蒸馏损失，实现不同架构与分词器模型间的有效知识迁移。
2025-01-27 cs.CL
Robust Knowledge Distillation from RNN-T Models With Noisy Training Labels Using Full-Sum Loss
Google（谷歌）
本文研究了知识蒸馏（KD）问题，并针对递归神经网络转换器（RNN-T）模型提出了知识蒸馏的约束条件。在硬蒸馏中，教师模型转录大量未标记的语音来训练学生模型。软蒸馏是另一种流行的KD方法，它提取教师模型的输出logits。由于RNN-T比对的性质，在具有不同后验分布的RNN-T架构之间应用软蒸馏是具有挑战性的。此外，高错字率的差教师会降低KD的效能。我们研究如何有效地提取知识的可变质量ASR教师，这还没有被研究之前，我们的知识。我们证明了序列级KD，全和蒸馏，优于RNN-T模型的其他蒸馏方法，特别是对于糟糕的教师。我们还提出了一个变种的全和蒸馏，蒸馏的顺序判别知识的老师，导致进一步改善WER。我们在公共数据集SpeechStew和LibriSpeech以及内部生产数据上进行实验。
2023-03-10 cs.CL cs.SD eess.AS
Two-stage Textual Knowledge Distillation for End-to-End Spoken Language Understanding
Clova AI
端到端方法通过减轻传统管道系统的缺点，为更准确和有效的口语语言理解（SLU）系统开辟了新的途径。以前的作品利用文本信息的SLU模型通过预训练与自动语音识别或微调与知识蒸馏。为了更有效地利用文本信息，本文提出了一种两阶段的文本知识蒸馏方法，该方法在预训练和微调期间依次匹配两种模态的话语级表示和预测逻辑。我们使用vq-wav 2 vec BERT作为语音编码器，因为它捕获了一般和丰富的功能。此外，我们提高了性能，特别是在低资源的情况下，与数据增强方法随机掩蔽离散音频令牌和上下文隐藏表示的跨度。因此，我们推动了Fluent Speech Commands的最新技术，在完整数据集设置中实现了99.7%的测试准确率，在10%子集设置中实现了99.5%的测试准确率。在整个消融研究中，我们经验性地验证了所有使用的方法对最终表现至关重要，为口语语言理解提供了最佳实践。代码可在https://github.com/clovaai/textual-kd-slu上获得。
2021-06-10 cs.CL cs.LG cs.SD
LIX: Implicitly Infusing Spatial Geometric Prior Knowledge into Visual Semantic Segmentation for Autonomous Driving
College of Electronics & Information Engineering, Tongji University（同济大学电子与信息工程学院）；University of Thessaloniki（塞萨洛尼基大学）；Shanghai Institute of Intelligent Science and Technology（上海智能科学技术研究院）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；Tongji University（同济大学）；Xi’an Jiaotong University（西安交通大学）
本文提出 LIX 知识蒸馏框架，通过动态 logit 权重和自适应特征重校准，将融合教师的空间几何先验隐式迁移给单模态学生，在多数据集上优于现有方法。
2025-03-14 cs.AI cs.CV cs.LG
On the Failure of Boundary-Seeking Distillation in Bottlenecked Generative Architectures
研究无数据知识蒸馏中边界寻求原则能否用于自动编码器蒸馏，通过在MNIST数据集实验发现其在瓶颈生成架构中不适定，CAKE方法会产生梯度冲突，流形感知合成绕过冲突，为无数据生成蒸馏建立有效基线。
2026-07-20 cs.AI cs.LG
Logit-Based Ensemble Distribution Distillation for Robust Autoregressive Sequence Uncertainties
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
本文研究了大规模自然语言序列到序列任务中的集成分布蒸馏（EDD），提出通过对集成logits而非softmax概率进行建模，显著提升了学生模型的不确定性估计性能，并在分布外检测上超越Deep Ensembles约10% AUROC。
2023-05-17 cs.CL cs.LG
