Transformer-based ASR Incorporating Time-reduction Layer and Fine-tuning with Self-Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
端到端自动语音识别(ASR)与传统的ASR不同,它不具有从语音编码器学习语义表示的模块。此外,语音表示的较高帧率阻碍了模型正确地学习语义表示。因此,在较低帧率下构建的语音编码器模型具有较好的性能。对于基于transformer的ASR,较低的帧速率不仅对于学习更好的语义表示很重要,而且对于降低计算复杂性也很重要,因为自注意力机制在训练和推理中都具有O(n^2)阶的复杂性。在本文中,我们提出了一个基于transformer的ASR模型的时间减少层,其中我们将时间减少层内的Transformer编码器层除了传统的子采样方法输入的功能,进一步降低帧速率。这可以帮助降低用于训练和推理的自注意过程的计算成本,同时提高性能。此外,我们引入了一个微调的预训练ASR模型使用自知识蒸馏(S-KD),进一步提高了我们的ASR模型的性能。LibriSpeech数据集上的实验表明,我们提出的方法优于所有其他基于transformer的ASR系统。此外,通过语言模型(LM)融合,我们在没有任何外部数据的情况下,仅用3000万个参数训练基于Transformer的ASR模型,就实现了新的最先进的单词出错率(WER)结果。
2021-03-17 cs.AI cs.LG
Knowledge distillation for optimization of quantized deep neural networks
Seoul National University(首尔大学)
知识蒸馏(KD)是一种非常流行的模型规模缩减方法。最近,该技术被用于量化深度神经网络(QDNNs)训练,作为恢复因减少字长而牺牲的性能的一种方式。然而,KD使用了额外的超参数,例如温度、系数和教师网络的大小来进行QDNN训练。我们用KD分析了这些超参数对QDNN优化的影响。我们发现这些超参数是相互关联的,并且还引入了一种简单有效的技术,可以在训练过程中减少\textit{coefficient}。KD采用所提出的超参数,我们在Resnet 20上分别对CIFAR-10和CIFAR-100数据集使用2位三进制权重实现了92.7%和67.0%的测试准确率。
2019-10-23 cs.LG stat.ML
Knowledge Distillation Performs Partial Variance Reduction
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所(ISTA))
本文从优化视角揭示KD机制,证明其在线性与深度线性模型中是一种部分随机方差缩减,并给出强凸与非凸损失下的收敛分析及实验验证。
2023-12-08 cs.LG math.OC
ReDistill: Residual Encoded Distillation for Peak Memory Reduction of CNNs
University of California Merced(加州大学默塞德分校);Case Western Reserve University(凯斯西储大学)
提出ReDistill残差编码蒸馏方法,通过激进池化构建低内存学生网络,在图像分类和扩散生成任务中实现4倍至5倍峰值内存降低且保持良好性能。
2025-04-25 cs.CV cs.LG
Knowledge Distillation of Russian Language Models with Reduction of Vocabulary
MIPT(莫斯科物理技术学院);AIRI
如今,Transformer语言模型作为大多数自然语言处理任务的核心组件。这种模型的工业应用需要最小化计算时间和内存占用。知识蒸馏是实现这一目标的途径之一。该领域中的现有方法主要集中在减少嵌入/隐藏表示的层数或维数上。另一种选择是减少词汇表中的标记数量,从而减少学生模型的嵌入矩阵。词汇量最小化的主要问题是输入序列与教师和学生模型的输出类分布之间的不匹配。因此,不可能直接应用基于KL的知识蒸馏。我们提出两个简单而有效的对齐技术,使知识蒸馏的学生减少词汇。对俄罗斯的一些常见基准,如俄罗斯SuperGLUE,SberQuAD,RuSentiment,ParaPhaser,Collection-3的蒸馏模型的评估表明,我们的技术允许实现从$17\times$到$49\times$的压缩,同时保持$1.7\times$压缩学生与全尺寸词汇的质量,但只减少了Transformer层的数量。我们提供我们的代码和提炼模型。
2022-05-04 cs.CL cs.LG
Interpreting Deep Classifier by Visual Distillation of Dark Knowledge
University of Edinburgh(爱丁堡大学);Huawei Research America(华为美国研究院);The Alan Turing Institute(艾伦·图灵研究所)
解释黑盒分类器(如深度网络)允许分析师在将分类器部署到高风险环境中之前对其进行验证。一个自然的想法是可视化深度网络的表示,以便“看到网络所看到的”。在本文中,我们证明了在这种情况下,标准的降维方法可以产生无信息甚至误导的可视化。相反,我们提出了DarkSight,它以一种受暗知识概念启发的方式直观地总结了分类器的预测。DarkSight将数据点嵌入到低维空间中,以便很容易将深度分类器压缩为更简单的分类器,本质上结合了模型压缩和降维。我们定性和定量地比较了DarkSight与t-SNE,证明DarkSight可视化信息量更大。我们的方法还通过量化给定预测向量的不寻常程度,基于暗知识产生了一个新的置信度。
2018-03-11 cs.LG stat.ML
RMT-KD: Random Matrix Theoretic Causal Knowledge Distillation
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
RMT-KD利用随机矩阵理论进行因果知识蒸馏,实现高达80%的参数减少,同时仅损失2%的精度,提升推理速度和能效。
2026-02-06 cs.LG
Variance Reduction for Gradients from Diffusion Teachers
NVIDIA;University of Toronto(多伦多大学);Princeton University(普林斯顿大学)
提出CARV框架,通过分层蒙特卡洛估计器(摊销上游计算、时间步重要性采样和分层逆CDF构造)降低扩散模型作为冻结教师时的梯度方差,在文本到3D和蒸馏实验中实现2-3倍有效计算乘数。
2026-11-11 cs.AI cs.CV cs.LG
RdimKD: Generic Distillation Paradigm by Dimensionality Reduction
bytedance(字节跳动)
针对现有知识蒸馏方法易限制学生网络或复杂度高、通用性差的问题,提出仅靠降维、仅微调L2损失的通用范式RdimKD,通过投影矩阵将师生特征映射到低维子空间训练,在多任务多架构下均有效。
2023-12-14 cs.CV cs.LG
MEDAL: Manifold Embedding Distillation via Autoencoder Learning
Department of Statistics, Columbia University(哥伦比亚大学统计学系);School of Data and Information Sciences, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校数据与信息科学学院);Irving Institute for Cancer Dynamics, Columbia University(哥伦比亚大学癌症动力学研究所);Center for Theoretical Neuroscience, Zuckerman Mind Brain Behavior Institute, Columbia University(哥伦比亚大学理论神经科学中心,Zuckerman心智-大脑-行为研究所)
提出MEDAL框架,通过约束自编码器将流形嵌入蒸馏为可复用的编码器-解码器模型,实现留出验证、超参数选择和分布偏移检测。
2026-05-22 cs.LG stat.ML
A Functional Perspective on Knowledge Distillation in Neural Networks
本文从功能角度研究知识蒸馏的压缩能力与知识传递,通过实验协议分析不同数据模态下的知识转移机制,发现知识蒸馏更像数据依赖的正则化方法,存在负向非对称转移风险。
2026-03-16 cs.AI cs.LG
Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction
提出LT-OPD框架,通过在线策略自蒸馏和预算课程,在极端视觉令牌缩减下恢复MLLM性能,平均保留性能从68.6%提升至82.3%,并显著降低KV缓存和预填充计算量。
2026-10-02 cs.CL cs.CV cs.LG
Knowledge Distillation with Feature Maps for Image Classification
National Tsing Hua University(国立清华大学)
简化复杂深度学习架构的计算成本和延迟的模型简化问题由于其在模型部署中的重要性而受到越来越多的研究。一种很有前途的方法是知识蒸馏(KD),它创建了一个快速执行的学生模型来模仿一个大型的教师网络。在本文中,我们提出了一种方法,称为KDFM(知识蒸馏与特征地图),它提高了KD的有效性,从教师网络学习的特征地图。KDFM中使用的两种主要技术是共享分类器和生成对抗网络。实验结果表明,KDFM可以使用四层CNN来模仿DenseNet-40,并使用MobileNet来模仿DenseNet-100。与CIFAR-100数据集的教师模型相比,两个学生网络的准确性损失都不到1%。学生网络的推理速度比教师模型快2-6倍,MobileNet的模型大小不到DenseNet-100的一半。
2018-12-03 cs.AI cs.CV cs.LG
Generalization bounds via distillation
Columbia University(哥伦比亚大学);University of Illinois(伊利诺伊大学)
本文从理论上研究了以下经验现象:给定一个具有较差泛化边界的高复杂度网络,可以将其提取为具有几乎相同预测但复杂度较低且泛化边界小得多的网络。主要贡献是分析表明,原始网络继承了这种良好的泛化范围,从它的蒸馏,假设使用良好的数据增强。这个界限以抽象和具体的形式呈现,后者由简化技术补充,以处理具有卷积层,全连接层和跳过连接的现代计算图,仅举几例。为了完成这个故事,一个(松散的)经典的一致收敛分析压缩,以及各种实验cifar和mnist证明类似的泛化性能之间的原始网络和它的蒸馏。
2021-04-12 cs.LG
Anti-Distillation: Improving reproducibility of deep networks
Google(谷歌)
深度网络在提高机器学习和人工智能系统的性能方面具有革命性意义。然而,它们的高预测准确性是以\emph{model irreproducibility\/}的非常高的水平为代价的,这在经典线性模型中是不会发生的。两个模型,即使它们被认为是相同的,具有相同的架构和相同的训练参数集,并且在相同的训练样本集上训练,同时可能提供相同的平均预测精度,也可能在单独的、先前看不见的样本上进行非常不同的预测。\emph{Prediction differences\/}可以与预测本身的数量级一样大。合奏已经被证明可以在一定程度上减轻这种行为,但如果没有额外的推动,可能无法充分发挥其潜力。在这项工作中,提出了一种新的方法,\emph{Anti-Distillation\/},以解决深度网络中的不可再现性,其中集成模型用于生成预测。Anti-Distillation通过在小批量的示例中去相关它们的输出等技术,迫使集成组件彼此远离,迫使它们变得更加不同和更加多样化。这样做增强了集成的好处,使最终的预测更具可重复性。实证结果表明,在基准数据集和真实数据集上,Anti-Distillation实现了显著的预测差异减少。
2020-10-19 cs.LG cs.NE stat.ML
A Closer Look at Deep Learning Heuristics: Learning rate restarts, Warmup and Distillation
EPFL(洛桑联邦理工学院);Salesforce Research(Salesforce研究院)
常见的深度学习模型的收敛速度和最终性能显著受益于诸如学习率调度、知识蒸馏、跳过连接和规范化层等算法。在缺乏理论基础的情况下,旨在解释这些策略的对照实验可以帮助我们理解深度学习的前景和训练动态。现有的实证分析方法依赖于线性插值和降维可视化工具,每个都有其局限性。相反,我们通过最近提出的损失表面和表示分析方法的镜头,即,模式连接性和典型相关分析(CCA),并假设的成功的原因的竞争力。特别是,我们使用模式连接性和CCA探索(cos)重启和预热的知识蒸馏和学习率启发式方法。我们的实证分析表明:(a)经常引用的余弦退火成功的原因在实践中并没有得到证明;(b)学习率预热的效果是防止更深层产生训练不稳定性;(c)教师共享的潜在知识主要分配给更深层。
2018-10-29 cs.LG stat.ML
Synthetic Adaptive Guided Embeddings (SAGE): A Novel Knowledge Distillation Method
University of North Texas(北卡罗来纳大学达顿分校)
针对传统知识蒸馏计算开销大、泛化有限的问题,提出SAGE框架,通过动态增强高损失区域数据、向量化蒸馏等方法,使66M参数学生模型在NLP基准上匹配或超越基线,提升模型压缩效率与效果。
2025-08-20 cs.LG
Eliminating Backdoor Triggers for Deep Neural Networks Using Attention Relation Graph Distillation
East China Normal University(华东师范大学)
随着人工智能(AI)技术的发展,越来越多的后门被攻击者用来攻击深度神经网络(DNN)。虽然最先进的神经注意力蒸馏(NAD)方法可以有效地清除DNN中的后门触发器,但它仍然存在不可忽视的攻击成功率(ASR)和分类准确率(ACC)降低的问题。由于NAD集中于使用注意力特征的后门防御(即,注意力地图)相同的顺序。在本文中,我们介绍了一种新的后门防御框架命名为注意力关系图蒸馏(ARGD),充分探讨了不同的顺序使用我们提出的注意力关系图(ARGs)之间的相关性的注意力特征。基于知识蒸馏过程中教师和学生模型之间的ARG对齐,ARGD可以比NAD消除更多的后门触发器。综合实验结果表明,在6种最新的后门攻击下,ARGD比NAD在ASR上降低了94.85%,而ACC可以提高3.23%。
2022-04-24 cs.LG
KDFP: A first-principles approach to knowledge distillation in large language models
University of Southern California(南加州大学)
该研究针对大语言模型通用知识蒸馏的空白,提出KDFP这一白盒通用知识蒸馏方法,在9个基准测试中性能优于现有方法1.6%-4.9%,训练效率最高提升99.1%。
2026-11-09 cs.LG
Variational Student: Learning Compact and Sparser Networks in Knowledge Distillation Framework
TCS Research(塔塔咨询服务公司研究院);IIT Kharagpur(印度理工学院克勒格布尔分校)
深入神经网络研究的圣杯是在嵌入式平台上移植内存和计算密集型网络模型,同时最大限度地降低模型精度。为此,我们提出了一种新的方法,称为变分学生,在那里我们获得的好处的压缩性的知识蒸馏(KD)框架,和稀疏诱导能力的变分推理(VI)技术。从本质上讲,我们建立了一个稀疏的学生网络,其稀疏性是通过优化基于VI的损失函数发现的变分参数引起的,利用了准确但复杂的预训练教师网络所学到的知识。此外,为了增强稀疏性,我们还在教师和学生网络权重的级联张量上采用了块稀疏正则化器。我们证明了KD和VI技术的婚姻继承了KD框架的压缩特性,并提高了VI方法的稀疏性水平,同时在模型精度方面具有最小的妥协。我们在LeNet MLP和VGGNet(CNN)上对我们的结果进行了基准测试,并在这些MLP和CNN变体上分别说明了64倍和213倍的内存占用减少,而无需重新训练教师网络。此外,在低数据状态下,我们观察到我们的方法在准确性方面优于最先进的贝叶斯技术。
2019-10-26 cs.LG stat.ML
Monitored Distillation for Positive Congruent Depth Completion
UCLA(加州大学洛杉矶分校);Chung-Ang University(中央大学);Yale University(耶鲁大学)
我们提出了一种方法来推断一个密集的深度图从一个单一的图像,它的校准,和相关的稀疏点云。为了利用现有的模型(教师),产生假定的深度图,我们提出了一个自适应的知识蒸馏的方法,产生一个积极的一致的训练过程中,其中的学生模型避免学习教师的错误模式。在没有模型选择和训练的基础事实的情况下,我们的方法,称为混合蒸馏,允许学生通过选择性地从最大限度地减少给定图像的重建误差的预测中学习来利用教师的盲集合。分层蒸馏产生一个蒸馏的深度图和一个置信度图,或“监视器”,用于确定特定教师的预测与观察到的图像的吻合程度。监视器自适应地对提取的深度进行加权,其中如果所有教师都表现出高残差,则标准无监督图像重建损失接管作为监督信号。在室内场景(VOID)中,我们的性能比盲集成基线高出17.53%,比无监督方法高出24.25%;我们拥有79%的模型大小减少,同时保持与最佳监督方法相当的性能。对于户外(KITTI),尽管没有使用地面实况,但我们在基准上并列第五。代码可在:https://github.com/alexklwong/mondi-python获得。
2022-10-25 cs.AI cs.CV cs.LG
Convergence Visualizer of Decentralized Federated Distillation with Reduced Communication Costs
Center for Spatial Information Science, The University of Tokyo(东京大学空间信息科学中心)
本研究针对基于共识的多跳联邦蒸馏(CMFD)的通信成本高、收敛不可视问题,提出动态通信成本降低方法减少数据传输量,同时提出函数空间模型距离可视化技术展现模型变化轨迹。
2023-12-19 cs.LG cs.NI
Post-Training Probability Manifold Correction via Structured SVD Pruning and Self-Referential Distillation
SparseTech
SparseKD通过结构化SVD剪枝与自参考知识蒸馏,在训练后实现模型压缩,有效提升模型质量并减少参数量。
2026-01-30 cs.AI cs.CL cs.LG
GUIDE: Guided Initialization and Distillation of Embeddings
Google Research(谷歌研究)
GUIDE通过引导初始化与参数空间蒸馏,在约200亿令牌上训练的大型学生模型中缩小教师-学生质量差距25%-26%,且无额外训练或推理开销。
2025-10-07 cs.LG
Leveraging Zero-Shot Prompting for Efficient Language Model Distillation
Humboldt-Universität zu Berlin(柏林洪堡大学);Bucharest University of Economic Studies(布加勒斯特经济研究大学)
本文提出一种利用零样本提示将LLM高效蒸馏为特定应用小模型的方法,通过多任务框架让学生模型模仿教师预测与自然语言理由,显著降低成本与人工干预。
2024-03-23 cs.AI cs.CL cs.LG
Explainability-Driven Leaf Disease Classification Using Adversarial Training and Knowledge Distillation
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特国立科技理工大学);National Institute for Research and Development in Informatics - ICI Bucharest(罗马尼亚国家信息研究与发展研究所(ICI布加勒斯特));Academy of Romanian Scientists(罗马尼亚科学家学院)
面向植物叶片病害分类,本文结合对抗训练、可解释性分析与知识蒸馏,在提升对抗鲁棒性和透明度的同时,以轻微性能损失获得15–25倍计算效率提升。
2024-01-23 cs.CV cs.LG
Activation Map Adaptation for Effective Knowledge Distillation
由于在嵌入式和移动设备上部署神经网络的需求,模型压缩成为最近的趋势。因此,准确性和效率都至关重要。为了寻求两者之间的平衡,本文提出了一种用于一般视觉表示学习的知识提取策略。它利用我们精心设计的激活图自适应模块来替换教师网络的一些模块,在训练过程中自适应地探索最合适的监督特征。利用教师隐层输出提示学生网络进行训练,传递有效的语义信息。实验结果表明,该方法可以使学生网络的准确率提高0.6%,损失减少6.5%,并显著提高了其训练速度。
2022-04-14 cs.CV cs.LG
Moonshine: Distilling with Cheap Convolutions
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
许多工程师希望在内存有限的环境中部署现代神经网络;但减少内存使用的灵活方法的开发仍处于起步阶段,并且对由此产生的成本效益知之甚少。我们提出了结构模型蒸馏的内存减少使用的策略,产生一个学生的架构,这是一个简单的教师架构的转换:不需要重新设计,可以使用相同的超参数。使用注意力转移,我们提供了帕累托曲线/表蒸馏的残留网络与四个基准数据集,表明内存与准确性的回报。我们表明,大量的内存节省是可能的,几乎没有损失的准确性,并确认蒸馏提供学生网络的性能,这是优于直接在数据上训练的学生架构。
2019-01-17 cs.CV cs.LG stat.ML
Scalable LLM Reasoning Acceleration with Low-rank Distillation
CMU Department of Electrical and Computer Engineering(卡内基梅隆大学电气与计算机工程系);Carnegie Mellon University(卡内基梅隆大学);Meta FAIR at Meta(Meta FAIR);CMU(卡内基梅隆大学)
Caprese通过低秩蒸馏方法恢复高效推理方法中丢失的数学推理能力,同时减少参数数量和延迟,提升响应效率。
2026-02-16 cs.AI cs.CL cs.LG
HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents
本文提出 HINT-SD,一种针对长 Horizon 智能体的定向 hindsight 自监督学习框架,通过全轨迹 hindsight 选择失败相关的动作,并仅在目标动作跨度上应用反馈条件自监督学习,实验表明该方法在 BFCL v3 和 AppWorld 上比密集的每回合反馈基线提高了 18.80 个百分点,同时训练时间降低 2.26 倍。
2026-10-05 cs.AI cs.CL cs.LG
Model compression via distillation and quantization
ETH Zürich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind);IST Austria(奥地利科学技术研究所)
深度神经网络(DNN)继续取得重大进展,解决从图像分类到翻译或强化学习的任务。该领域受到相当大关注的一个方面是在资源受限的环境中有效地执行深度模型,例如移动或嵌入式设备。本文针对这一问题,提出了两种新的压缩方法,它们联合利用权重量化和将较大的教师网络蒸馏成较小的学生网络。我们提出的第一种方法被称为量化蒸馏,并在训练过程中利用蒸馏,通过将蒸馏损失(相对于教师表示)纳入学生网络的训练中,该网络的权重被量化到有限的一组水平。第二种方法是可微分量化,通过随机梯度下降优化量化点的位置,以更好地拟合教师模型的行为。我们通过对卷积和递归架构的实验来验证这两种方法。我们表明,量化的浅学生可以达到类似的精度水平,全精度教师模型,同时提供数量级压缩,推理加速,是线性的深度减少。总之,我们的研究结果使DNN能够在资源受限的环境中利用在更强大的设备上开发的架构和准确性进步。
2018-02-15 cs.LG cs.NE
Winning Big with Small Models: Knowledge Distillation vs. Self-Training for Reducing Hallucination in Product QA Agents
The Ohio State University(俄亥俄州立大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文针对客户支持中LLM幻觉与高成本问题,提出检索增强QA流水线,证明合成数据优于众包数据,且自训练在减少幻觉上可与知识蒸馏相媲美,为低成本可扩展QA系统提供了新思路。
2025-07-21 cs.AI cs.CL cs.LG
Privacy-Preserving Federated Learning via Dataset Distillation
Nanjing University(南京大学)
针对联邦学习中用户共享知识失控致隐私风险的问题,提出融入最小权限原则的FLiP框架,通过局部-全局数据集蒸馏约简信息,在模型精度与隐私保护间实现良好平衡。
2024-11-04 cs.LG
Less is more: Faster and better music version identification with embedding distillation
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组);Dolby Laboratories(杜比实验室);European Commission, Joint Research Centre(欧盟委员会联合研究中心)
版本识别系统旨在检测相同基础音乐作品(松散地称为翻唱歌曲)的不同演奏。通过学习将整个记录编码为简单的向量嵌入,最近的系统在弥合准确性和可扩展性之间的差距方面取得了重大进展,这是近二十年来的一个关键挑战。在这项工作中,我们建议通过采用一组数据蒸馏技术来进一步缩小这一差距,这些技术可以减少预先训练的最先进模型的嵌入维数。我们比较了广泛的技术,并提出了新的,从经典的降维到更复杂的蒸馏方案。有了这些,我们获得了99%更小的嵌入,而且,准确率提高了3%。这样小的嵌入可能会对检索时间产生重要影响,直到在独立的笔记本电脑上实现真实世界的系统。
2020-10-07 cs.LG cs.SD eess.AS
Siamese Sleep Transformer For Robust Sleep Stage Scoring With Self-knowledge Distillation and Selective Batch Sampling
Korea University(高丽大学)
在本文中,我们提出了一个连体睡眠Transformer(SST),有效地提取功能,从单通道原始脑电图信号强大的睡眠阶段评分。尽管在过去几年中睡眠阶段评分有了显著的进步,但大多数主要集中在模型性能的增加上。然而,其他问题仍然存在:数据集中的标签的偏见和重复训练模型性能的不稳定性。为了缓解这些问题,我们提出了SST,一种新的睡眠阶段评分模型与选择性批量抽样策略和自我知识蒸馏。为了评估模型对标签偏差的鲁棒性,我们使用不同的数据集进行训练和测试:睡眠心脏健康研究和Sleep-EDF数据集。在这种情况下,SST在睡眠阶段评分中表现出竞争力。此外,我们证明了选择性批量抽样策略的有效性,通过重复训练降低了性能的标准差。这些结果表明,SST提取了有效的学习特征,克服了数据集标签的偏见,选择性批量抽样策略有助于模型在训练中的鲁棒性。
2022-12-12 cs.AI cs.HC cs.LG
Inference-Time Distillation: Cost-Efficient Agents Without Fine-Tuning or Manual Prompt Engineering
Stanford University(斯坦福大学)
本文提出通过推理时技术实现低成本高准确率的代理,无需微调或手动提示工程,在ALFWorld和AppWorld上分别实现2.5倍和3.5倍的成本降低,同时保持高准确率。
2026-04-20 cs.LG
KD-MRI: A knowledge distillation framework for image reconstruction and image restoration in MRI workflow
Indian Institute of Technology Madras(马德拉斯印度理工学院)
深度学习网络正在MRI工作流程的每个阶段中开发,并提供了最先进的结果。然而,这是以增加计算需求和存储为代价的。因此,在MRI工作流程的各个阶段用紧凑模型替换网络可以显著减少所需的存储空间并提供相当大的加速。在计算机视觉中,知识提取是一种常用的模型压缩方法。在我们的工作中,我们提出了一个知识蒸馏(KD)框架的图像到图像的MRI工作流程中的问题,以开发紧凑的,低参数的模型,而不会显着下降的性能。我们提出了基于注意力的特征提取方法和模仿损失的组合,并在流行的MRI重建架构DC-CNN上证明了其有效性。我们使用心脏、大脑和膝关节MRI数据集进行了广泛的实验,分别为4x、5x和8x加速度。我们观察到,使用我们提出的KD框架在教师的帮助下训练的学生网络在所有数据集和加速因子上都比在没有帮助的情况下训练的学生网络有了显着的改进。具体而言,对于Knee数据集,与教师相比,学生网络实现了$65\%$参数减少,CPU运行时间快2倍,GPU运行时间快1.5倍。此外,我们比较了我们的基于注意力的特征提取方法与其他特征提取方法。我们还进行了一项消融性研究,以了解基于注意力的蒸馏和模仿损失的意义。我们还扩展了我们的KD框架用于MRI超分辨率,并显示出令人鼓舞的结果。
2020-04-11 cs.CV cs.LG eess.IV
Improving Question Answering Performance Using Knowledge Distillation and Active Learning
Sharif University of Technology(谢里夫理工大学);University of Guilan(吉兰大学);University of Augsburg(奥格斯堡大学)
当代的问答(QA)系统,包括基于变换器的架构,遭受增加的计算和模型复杂性,这使得它们对于具有有限资源的现实世界应用是低效的。此外,训练甚至微调这些模型需要大量的标记数据,这些数据通常无法用于手头的任务。在本文中,我们对上述挑战进行了全面分析,并提出了适当的对策。我们提出了一种新的知识蒸馏(KD)的方法,以减少参数和模型的复杂性的预训练的BERT系统,并利用多个主动学习(AL)的策略,极大地减少注释工作。特别是,我们证明了我们的模型达到了6层TinyBERT和DistilBERT的性能,同时只使用了它们总参数的2%。最后,通过将我们的AL方法集成到BERT框架中,我们表明,当我们只使用20%的训练数据时,可以在SQuAD数据集上实现最先进的结果。
2021-09-26 cs.CL cs.IR cs.LG
Dataset Distillation for Quantum Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学);Cadence Design Systems(楷登电子科技公司)
本文提出量子神经网络的数据集蒸馏方法,采用含残差连接和可训练厄米观测量的量子LeNet模型,在MNIST和Cifar-10上实现接近经典性能的少样本训练,并引入非训练厄米量确保稳定性。
2025-03-25 cs.LG quant-ph
Distillation-Based Semi-Supervised Federated Learning for Communication-Efficient Collaborative Training with Non-IID Private Data
Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
本研究开发了一个联邦学习(FL)框架,克服了由于典型框架中模型大小而导致的大量增量通信成本,而不会影响模型性能。为此,基于利用未标记开放数据集的思想,我们提出了一种基于蒸馏的半监督FL(DS-FL)算法,该算法在移动设备之间交换本地模型的输出,而不是典型框架所采用的模型参数交换。在DS-FL中,通信成本仅取决于模型的输出尺寸,并且不根据模型大小按比例增加。交换的模型输出用于标记开放数据集的每个样本,这会创建一个额外标记的数据集。基于新的数据集,局部模型被进一步训练,并且由于数据增强效应,模型性能被增强。我们进一步强调,在DS-FL中,设备数据集的异质性导致每个数据样本的模糊性和训练收敛性的降低。为了防止这种情况,我们提出了熵减少平均,其中聚合的模型输出被有意地锐化。此外,大量的实验表明,DS-FL降低通信成本高达99%,相对于FL基准,同时实现类似或更高的分类精度。
2021-01-20 cs.DC cs.LG