CES-KD: Curriculum-based Expert Selection for Guided Knowledge Distillation
McGill University(麦吉尔大学)
知识蒸馏(KD)是压缩边缘设备深分类模型的有效工具。然而,KD的性能受到教师和学生网络之间的大容量差距的影响。最近的方法已经求助于KD的多教师助理(TA)设置,其顺序地减小教师模型的大小以相对地弥合这些模型之间的大小差距。本文提出了一种新的技术,称为课程专家选择知识蒸馏(CES-KD),有效地提高能力差距问题下的紧凑型学生的学习。这种技术是建立在这样的假设之上的,即学生网络应该使用分层教学课程来逐步引导,因为它从较低(较高)容量的教师网络中更好、更快地学习简单(硬)数据样本。具体来说,我们的方法是一个渐进的TA为基础的KD技术,选择一个单一的教师,每个输入图像的基础上,课程驱动的分类图像的难度。在这项工作中,我们根据经验验证了我们的假设,并对CIFAR-10、CIFAR-100、CINIC-10和ImageNet数据集进行了严格的实验,并在VGG类模型、ResNets和WideResNets架构上显示出更高的准确性。
2022-09-15 cs.CV cs.LG
Generalizable and Efficient Automated Scoring with a Knowledge-Distilled Multi-Task Mixture-of-Experts
UniMoE-Guided通过知识蒸馏多任务专家混合模型,实现高效且通用的自动评分,提升跨任务性能并减少资源消耗。
2025-11-18 cs.LG stat.ML
LeAct: Learning to Reason from Expert Actions
Princeton University(普林斯顿大学)
研究如何从专家行动中恢复思维链,提出LeAct方法,通过优化潜在变量,让学生为专家行动采样候选思维链并保留有效链。该方法在多个博弈和机器人基准测试中表现出色,使专家系统成为基础模型推理教师的新来源。
2026-07-27 cs.AI cs.CL cs.LG
Unlocking the Potential of Reverse Distillation for Anomaly Detection
Beihang University(北京航空航天大学);University of Science and Technology Beijing(北京科技大学);Beijing Jiaotong University(北京交通大学)
针对反向蒸馏异常检测中教师特征区分不足、学生无异常生成能力弱及细节丢失问题,提出带专家网络的反向蒸馏框架与引导信息注入机制,在多基准上取得更优性能,释放反向蒸馏潜力。
2024-12-10 cs.CV
Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);Aberystwyth University(阿伯里斯特威斯大学)
在现实世界中,数据往往呈现长尾分布,这增加了训练深度网络的难度。在本文中,我们提出了一种新的自定进度的知识蒸馏框架,称为多个专家学习(LFME)。我们的方法受到这样一种观察的启发,即在分布的不平衡子集上训练的网络通常比联合训练的网络具有更好的性能。我们将这些模型称为“专家”,并且所提出的LFME框架聚合来自多个“专家”的知识以学习统一的学生模型。具体而言,该框架涉及两个层次的自适应学习时间表:自定进度的专家选择和课程实例选择,使知识自适应地转移到“学生”。我们进行了广泛的实验,并证明我们的方法是能够实现优越的性能相比,国家的最先进的方法。我们还表明,我们的方法可以很容易地插入到国家的最先进的长尾分类算法进一步改进。
2020-09-21 cs.CV cs.LG stat.ML
Parameter-Efficient Quantized Mixture-of-Experts Meets Vision-Language Instruction Tuning for Semiconductor Electron Micrograph Analysis
TCS Research(塔塔咨询服务研究中心);IIT Dharwad(达瓦德印度理工学院);IIIT Pune(浦那印度信息技术学院)
本文提出专为半导体电子显微图像分析定制的小规模视觉-语言助手sLAVA,采用师生范式利用GPT-4生成多模态指令数据,在有限硬件上实现高效训练并保护知识产权,实验证明其超越传统方法且支持高通量筛选。
2024-08-27 cs.AI cs.CV cs.LG
Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts
Rice University(莱斯大学)
本文在软路由混合专家模型中,通过学生-教师框架证明联合训练收敛性,揭示路由器受专家引导的特征学习,并支持剪枝后微调达到全局最优。
2025-10-08 cs.LG math.OC
ME-D2N: Multi-Expert Domain Decompositional Network for Cross-Domain Few-Shot Learning
Fudan University(复旦大学)
近年来,跨领域少样本学习(Cross-Domain少样本学习,CD-FSL)研究受到越来越多的关注。CD-FSL的核心挑战在于源数据集和新目标数据集之间的域差距。虽然在模型训练过程中,人们已经对没有任何目标数据的CD-FSL进行了许多尝试,但巨大的领域差距使得现有的CD-FSL方法仍然难以达到非常满意的结果。另一方面,在以前的工作\cite{fu2021meta}中,提出了用较少的标记目标域数据来学习CD-FSL模型,这是更现实和更有前途的。因此,在本文中,我们坚持这种设置,并在技术上贡献了一种新的多专家域分解网络(ME-D2 N)。具体而言,为了解决样本量充足的源数据和样本量有限的辅助目标数据之间的数据不平衡问题,我们在多专家学习的框架下建立了模型。两个教师模型,可以被认为是在其相应的领域的专家,首先训练的源和辅助目标集,分别。然后,引入知识蒸馏技术,将两个教师的知识转化为统一的学生模型。更进一步,为了帮助我们的学生模型同时从不同领域的教师那里学习知识,我们进一步提出了一个新的域分解模块,它学习将学生模型分解为两个与域相关的子部分。这是通过一种新的特定于域的门来实现的,该门学习以可学习的方式将每个过滤器分配给一个特定的域。大量的实验证明了我们的方法的有效性。代码和模型可在https://github.com/lovelyqian/ME-D2N_for_CDFSL上获得。
2022-10-11 cs.CV
Teacher-Student Architecture for Knowledge Learning: A Survey
McGill University(麦吉尔大学);Northwest University(西北大学)
虽然深度神经网络(DNN)在许多领域显示出强大的解决大规模问题的能力,但这种具有大量参数的DNN很难在实时系统中部署。为了解决这个问题,教师-学生架构首先用于知识蒸馏,其中简单的学生网络可以实现与深度教师网络相当的性能。近年来,师生架构已被广泛应用于各种知识学习目标,包括知识蒸馏、知识扩展、知识适应和多任务学习。在师生架构的帮助下,目前的研究能够通过轻量级和有效的学生网络来实现多个知识学习目标。与现有的知识蒸馏调查不同,本调查详细讨论了具有多个知识学习目标的师生架构。此外,我们系统地介绍了知识学习过程中的知识构建和优化过程,然后分析了各种师生架构和有效的学习方案,已被利用来学习代表性和鲁棒性的知识。本文还总结了基于不同目的的师生体系结构的最新应用(即,分类、识别和生成)。最后,从师生结构设计、知识质量和回归学习理论研究三个方面探讨了知识学习的潜在研究方向。通过这项全面的调查,行业从业者和学术界都可以了解有关教师-学生架构的多个知识学习目标的有见地的指导方针。
2022-10-28 cs.CV cs.LG
Leveraging Expert Models for Training Deep Neural Networks in Scarce Data Domains: Application to Offline Handwritten Signature Verification
University of Patras(帕特雷大学);Democritus University of Thrace(德谟克利特色雷斯大学);University of West Attica(西阿提卡大学)
本文提出一种基于特征知识蒸馏的学生-教师框架,仅用手写文本数据训练卷积神经网络,有效解决了离线手写签名验证中的数据稀缺问题,并在三个数据集上达到与教师模型相当或更优的性能。
2023-08-02 cs.CV
A Question-centric Multi-experts Contrastive Learning Framework for Improving the Accuracy and Interpretability of Deep Sequential Knowledge Tracing Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Guangdong Institute of Smart Education, Jinan University(暨南大学广东智慧教育研究院);Halicioglu Data Science Institute, University of California, San Diego(加州大学圣地亚哥分校哈利奇奥格鲁数据科学学院)
针对深度知识追踪中问题个体信息建模不足和预测结果缺乏可解释性的问题,本文提出以问题为中心的多专家对比学习框架Q-MCKT,以提升知识追踪的准确性与可解释性。
2024-07-05 cs.AI cs.CY cs.LG
ConfusionBench: An Expert-Validated Benchmark for Confusion Recognition and Localization in Educational Videos
State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出ConfusionBench基准测试,通过多阶段过滤流程提升教育视频中混淆识别和定位的准确性,评估了两种模型在不同任务上的表现,并提供可视化工具支持教育干预决策。
2026-03-18 cs.CV
Switchable Online Knowledge Distillation
Hefei University of Technology(合肥工业大学);The University of Queensland(昆士兰大学)
在线知识蒸馏(OKD)通过充分利用教师和学生之间的差异来改进相关模型。它们之间的差距存在几个关键的瓶颈-例如,为什么以及何时大的差距会损害表现,特别是对学生来说?如何量化师生之间的差距?--得到了有限的正式研究。在本文中,我们提出了可切换的在线知识蒸馏(SwitOKD),回答这些问题。SwitOKD的核心思想是通过专家模式(暂停教师而保持学生学习)和学习模式(重新启动教师)两种模式之间的切换策略来自适应地校准训练阶段的间隙,即蒸馏间隙,而不是现有技术中的测试阶段的准确性间隙。为了具有适当的蒸馏间隙,我们进一步设计了一个自适应切换阈值,它提供了一个正式的标准,当切换到学习模式或专家模式,从而提高学生的表现。同时,教师受益于我们的自适应切换阈值,基本上与其他在线艺术保持一致。我们进一步扩展到多个网络的两个基本拓扑结构的SwitOKD。最后,大量的实验和分析验证了SwitOKD的优点,在国家的最先进的分类。我们的代码可在https://github.com/hfutqian/SwitOKD上获得。
2022-09-12 cs.CV
Fixing the Teacher-Student Knowledge Discrepancy in Distillation
SenseTime Research(商汤科技研究院);CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学)
在较大的教师网络的指导下训练较小的学生网络是促进学生成绩的有效途径。以往的知识蒸馏方法中,尽管教师和学生的类型不同,但用于蒸馏的引导知识对于不同的师生对总是保持不变的。然而,我们发现,具有不同网络或从不同初始化训练的教师和学生模型在不同通道之间可能具有不同的特征表示。(e.g.不同类别的高激活通道)。我们将这种渠道的不协调表征称为蒸馏过程中的师生知识差异。忽视教师和学生模型的知识差异问题,将使学生向教师学习更加困难。针对这一问题,本文提出了一种新的基于学生的蒸馏方法--知识一致性蒸馏,该方法使教师的知识与学生的知识更加一致,并为不同的学生网络提供最适合的知识进行蒸馏。在不同数据集(CIFAR 100,ImageNet,COCO)和任务(图像分类,目标检测)上的实验揭示了教师和学生之间普遍存在的知识差异问题,证明了该方法的有效性。我们的方法非常灵活,可以很容易地与其他最先进的方法相结合。
2021-03-31 cs.CV
Routing Distilled Knowledge via Mixture of LoRA Experts for Large Language Model based Bundle Generation
Yanshan University(燕山大学);Delft University of Technology(代尔夫特理工大学);Shanghai University of Finance and Economics(上海财经大学);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心);Nanyang Technological University(南洋理工大学)
针对大语言模型捆绑包生成计算成本高及知识蒸馏中知识冲突问题,提出RouteDK框架,通过LoRA专家混合架构路由高层与细粒度蒸馏知识,平衡专家贡献并增强推理,在效率与性能上优于现有方法。
2025-08-24 cs.CL cs.IR
JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition
University of Bucharest(布加勒斯特大学);Politehnica University of Bucharest(布加勒斯特理工大学);Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所)
JEDI提出一种多数据集半监督学习方法,通过联合端到端的学生-教师蒸馏框架融合多个专家知识,在四个视频动作识别数据集上显著提升了模型泛化性能。
2023-08-09 cs.CV cs.LG
Representation Consolidation for Training Expert Students
Amazon AWS Rekognition(亚马逊AWS图像识别服务)
传统上,蒸馏已被用于训练学生模型,以模仿教师的输入/输出功能。一个比仿真更有用的目标是让学生学习能够很好地转移到未来任务中的特征表示,但这一目标尚未得到充分探索。然而,我们观察到,对特定任务教师的标准蒸馏实际上 * 减少了 * 学生表征向下游任务的转移。我们表明,使用未标记代理数据集和通才教师的多头多任务蒸馏方法足以巩固特定任务教师的表示并提高下游性能,优于教师和ImageNet预训练特征的强基线。我们的方法还可以将在一个或多个领域上训练的多个教师的代表性知识结合到单个模型中,其代表性在所有教师的领域上得到改进。
2021-07-16 cs.CV cs.LG
Data augmentation for efficient learning from parametric experts
DeepMind(深度思维)
我们提出了一种简单而强大的数据增强技术,使数据有效的学习参数专家强化和模仿学习。我们专注于我们所谓的策略克隆设置,其中我们使用专家或专家策略的在线或离线查询来通知学生策略的行为。这种设置在许多问题中自然出现,例如作为行为克隆的变体,或作为其他算法(如DAGGER,策略蒸馏或KL正则化RL)的组件。我们的方法,增强的政策克隆(APC),使用合成状态,以诱导反馈敏感性在采样轨迹周围的区域,从而大大减少了成功克隆的专家所需的环境相互作用。对于高自由度的控制问题,我们实现了从专家到学生策略的高数据效率的行为转移。我们证明了我们的方法的好处,在几个现有的和广泛使用的算法,包括政策克隆作为一个组成部分的背景下。此外,我们强调了我们的方法在两个实际相关的设置中的好处:(a)专家压缩,即转移到具有较少参数的学生;(b)从特权专家转移,即专家具有与学生不同的观察空间,通常包括访问特权信息。
2022-05-23 cs.AI cs.LG
Training Specialist Models without Reasoning Trajectories for Domain Expert Distillation
University of British Columbia(不列颠哥伦比亚大学);University of Helsinki(赫尔辛基大学);ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究通过学生蒸馏作为探针,发现专家模型优化隐式选择潜在推理轨迹,且专家与学生的专业化-泛化特征强相关,调优选择可控制领域精度与通用能力的权衡。
2026-09-15 cs.CL cs.LG
LEAD: Minimizing Learner-Expert Asymmetry in End-to-End Driving
University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心);NVIDIA Research(英伟达研究院);KE:SAI
本文研究了仿真中专家示范与学生观测不一致对模仿学习的影响,提出TransFuser v6在CARLA等基准中取得新突破,提升驾驶性能。
2026-04-13 cs.AI cs.CV cs.LG
Becoming the Expert - Interactive Multi-Class Machine Teaching
University College London(伦敦大学学院)
与机器相比,人类非常擅长将图像分类,特别是当他们拥有手头类别的先验知识时。如果没有这种先验信息,则需要以教学图像的形式进行监督。为了更快地学习类别,人们应该首先看到重要的和有代表性的图像,然后是不太重要的图像-或者根本不看。然而,图像的重要性是个人特定的,即一个教学图像是重要的学生,如果它改变了他们的整体能力,区分类。此外,学生不断学习,因此,虽然图像的重要性取决于他们目前的知识,它也随着时间的推移而变化。在这项工作中,我们提出了一个交互式的机器教学算法,使计算机教具有挑战性的视觉概念的人。我们的自适应算法选择,在线,标记图像从教学集应该显示给学生,因为他们学习。我们表明,概率模型的学生的能力和进步,根据他们的正确和不正确的答案,产生更好的“专家”的教学策略。我们使用真实的人类参与者在几个不同的和具有挑战性的现实世界的数据集呈现结果。
2015-04-28 cs.CV cs.LG stat.ML
Generating and Evaluating Tests for K-12 Students with Language Model Simulations: A Case Study on Sentence Reading Efficiency
Stanford University(斯坦福大学)
本研究通过微调大型语言模型模拟学生回答,结合GPT-4生成和筛选项目,并采用最优传输技术生成平行测试,在234名2至8年级学生中验证了生成测试与专家编写测试的高相关性(r=0.93)。
2023-10-10 cs.CL cs.LG
Examining the Influence of Varied Levels of Domain Knowledge Base Inclusion in GPT-based Intelligent Tutors
Columbia University(哥伦比亚大学)
本研究探讨了在GPT-4智能导师中集成不同级别知识库对提升回答准确性和教学能力的影响,发现知识库访问能提高准确性,且在教师语言和学生理解方面优于专家,但帮助学生的能力仍显不足。
2024-07-15 cs.AI cs.CL cs.HC
The Importance of Socio-Cultural Differences for Annotating and Detecting the Affective States of Students
Intel Labs(英特尔实验室);Anticipatory Computing Lab(前瞻性计算实验室);University of Pennsylvania(宾夕法尼亚大学);Penn Center for Learning Analytics(宾夕法尼亚大学学习分析中心)
实时情感检测模型的开发通常依赖于通过采用人类专家来标记学生数据来获得用于监督学习的注释数据。在为情感检测注释情感数据中的一个开放性问题是标签器(即,人类专家)需要在社会文化上与被贴标签的学生相似,因为这会影响获得标签的成本可行性。在这项研究中,我们调查了以下研究问题:情感状态注释,如何社会文化背景的人类专家标注,相比的主题,影响程度的共识和情感状态的分布?其次,标签背景的差异如何影响使用这些标签训练的情感检测模型的性能?
2019-01-12 cs.HC cs.LG stat.ML
A Generalized Apprenticeship Learning Framework for Capturing Evolving Student Pedagogical Strategies
North Carolina State University(北卡罗来纳州立大学);IBM Research(IBM研究院)
本文提出了一种通用的模仿学习框架THEMES,通过捕捉专家学生学习过程的复杂性,有效诱导教学策略,实验显示其在预测学生教学决策方面表现优异。
2026-02-24 cs.AI cs.LG
Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Meituan(美团);Peking University(北京大学);University of Toronto(多伦多大学)
邻域在策略自蒸馏(N-OPSD)通过局部参数扰动构建专家池,在数学推理任务上利用参考对齐修正提升学生模型性能,在多个基准上超越标准OPSD。
2026-10-01 cs.CL cs.LG
Train4Merge: RL or SFT---Which Yields Better Teachers for OPD-Based Model Merging?
本研究通过受控单教师OPD比较RL与SFT教师,发现RL教师指导的学生在多个任务上表现更优,且RL教师更接近共享初始化,更易被学生跟随。
2026-10-26 cs.AI cs.LG
Wisdom of Committee: Diverse Distillation from Large Foundation Models and Domain Experts
Rice University(Rice大学);Google DeepMind(谷歌DeepMind);Google Inc(谷歌公司);University of California, Davis(加州大学戴维斯分校)
针对基础模型向紧凑领域模型蒸馏时能力、架构和模态差异大的问题,提出DiverseDistill框架,通过可学习的问答机制和对齐异构教师输出,在推荐和视觉任务上恢复73-114%的性能差距。
2026-06-19 cs.AI cs.LG
MAARTA:Multi-Agentic Adaptive Radiology Teaching Assistant
University of Houston(休斯顿大学);University of Arkansas(阿肯色大学);MD Anderson Cancer Center(MD安德森癌症中心)
针对放射学学生感知错误缺乏个性化指导的问题,提出多智能体框架MAARTA,通过分析注视模式动态选择智能体并提供逐步反馈,提升诊断推理能力。
2025-06-18 cs.CV cs.CY cs.LG
DE-RRD: A Knowledge Distillation Framework for Recommender System
POSTECH(浦项科技大学)
最近的推荐系统已经开始采用知识蒸馏,这是一种模型压缩技术,将知识从繁琐的模型(教师)提取到紧凑的模型(学生),以减少推理延迟,同时保持性能。最先进的方法只专注于使学生模型准确地模仿教师模型的预测。但它们的局限性在于预测结果不能完全反映教师的知识水平。在本文中,我们提出了一种新的知识蒸馏框架的推荐系统,称为DE-RRD,它使学生模型学习的潜在知识编码的教师模型,以及从教师的预测。具体地说,DE-RRD包括两种方法:1)蒸馏专家(DE),直接转移潜在的知识从教师模型。DE利用“专家”和一种新颖的专家选择策略,有效地将大量的教师知识提炼给能力有限的学生。2)放松排名蒸馏(RRD),考虑项目之间的放松排名顺序,转移教师预测中揭示的知识。我们广泛的实验表明,DE-RRD的性能优于最先进的竞争对手,并实现了与教师模型相当甚至更好的性能,具有更快的推理时间。
2020-12-08 cs.IR cs.LG
EnsemW2S: Enhancing Weak-to-Strong Generalization with Large Language Model Ensembles
本文提出EnsemW2S方法,通过token级迭代集成多个弱专家来提升其监督强模型的能力,在分布内和分布外数据集上均取得显著泛化性能改进。
2025-06-05 cs.CL cs.LG
Amalgamating Filtered Knowledge: Learning Task-customized Student from Multi-task Teachers
Zhejiang University(浙江大学);Stevens Institute of Technology(史蒂文斯理工学院);Alibaba Group(阿里巴巴集团)
许多训练有素的卷积神经网络(CNN)模型现在已经被开发人员在线发布,以便轻松复制。在本文中,我们将这种预先训练的网络视为教师,并探索如何使用处理不同任务的多个教师来学习目标学生网络以完成定制任务。我们假设没有人类标记的注释可用,每个教师模型可以是单任务或多任务网络,其中前者是后者的退化情况。学生模型根据定制的任务,学习从多个教师过滤的相关知识,并最终掌握所有教师的完整或子集的专业知识。为此,我们采用了分层的训练策略,将学生要学习的网络块与相应的教师纠缠在一起。正如几个基准测试所证明的那样,学习的学生网络取得了非常有希望的结果,甚至在定制任务上超过了教师。
2019-05-28 cs.LG
Based on Graph-VAE Model to Predict Student's Score
经合组织指出,让学生按时上学的最好方法是尽早干预[1]。利用教育大数据和深度学习预测学生成绩,为早期干预提供了新的资源和视角。以往的预测方案往往需要人工进行特征筛选,需要大量的先验知识和专家知识。深度学习可以自动提取特征,无需人工干预,实现更好的预测性能。本文提出的基于深度学习的图神经网络矩阵填充模型(Graph-VAE)可以在不需要大量先验知识的情况下自动提取特征。实验证明,在学生成绩数据集上,该模型优于传统的解决方案,更好地描述了学生与课程之间的相关性和差异性,并将降维后的编码结果向量可视化,聚类效果与真实数据分布聚类一致。此外,我们使用基于梯度的归因方法来分析影响绩效预测的关键因素。
2019-03-08 cs.CY cs.LG
Learning Student-Friendly Teacher Networks for Knowledge Distillation
DIT Center, Samsung Electronics(三星电子DIT中心);ECE & ASRI, Seoul National University(首尔大学电子与计算机工程系及自动化与系统研究所)
我们提出了一种新的知识蒸馏方法,以促进暗知识从教师到学生的转移。与大多数依赖于预先培训的教师对学生模型进行有效培训的现有方法相反,我们的目标是学习对学生友好的教师模型,从而更适合知识转移。换句话说,在优化教师模型的同时,该算法联合学习学生分支以获得学生友好的表示。由于我们的方法的主要目标在于训练教师模型和随后的知识蒸馏过程是简单的,大多数现有的知识蒸馏方法可以采用这种技术,以提高不同的学生模型的准确性和收敛速度方面的性能。该算法在几个著名的知识蒸馏技术与教师和学生模型的各种组合的情况下,即使在他们的架构是异构的,没有先验知识的学生模型在培训教师网络的时候,表现出突出的准确性。
2022-01-23 cs.LG