Quantum Privacy Aggregation of Teacher Ensembles (QPATE) for Privacy-preserving Quantum Machine Learning
Wells Fargo（富国银行）
本文首次将教师集成隐私聚合（PATE）技术应用于量子神经网络集成，提出 QPATE 方法，为量子机器学习模型提供隐私保护。
2024-01-15 cs.CR cs.LG quant-ph
AC-Teach: A Bayesian Actor-Critic Method for Policy Learning with an Ensemble of Suboptimal Teachers
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
深度强化学习（RL）代理使用的探索机制在确定其样本效率方面起着关键作用。因此，改进随机探索对于解决具有稀疏奖励的长时间任务至关重要。我们建议利用一个合奏的部分解决方案作为教师，指导代理人的探索与行动建议在整个培训。虽然以前已经研究过与教师一起学习的设置，但我们提出的方法- Actor-Critic with Teacher Ensembles（AC-Teach）-是第一个与次优教师的合奏一起工作的方法，这些教师可能只解决了问题的一部分或相互矛盾，形成了与广泛的教师合奏兼容的统一算法解决方案。AC-Teach利用教师和学生行为的预期结果的概率表示来指导探索，减少抖动，并适应学习者动态变化的质量。我们评估了一个变体的AC-教，指导学习贝叶斯DDPG代理的三个任务-路径跟踪，机器人拾取和放置，机器人立方体清扫使用钩子-并表明，它大大提高了采样效率在一组基线，无论是我们的目标场景不受约束的次优教师和更容易设置与最佳或单一的教师。更多结果和视频请访问https://sites.google.com/view/acteach/home。
2019-12-13 cs.AI cs.LG stat.ML
The Pupil Has Become the Master: Teacher-Student Model-Based Word Embedding Distillation with Ensemble Learning
Emory University（埃默里大学）；Visa Research（Visa研究院）
深度学习的最新进展促进了神经模型在实际应用中的需求。在实践中，这些应用程序通常需要在有限的资源下部署，同时保持高精度。本文涉及自然语言处理中神经模型的核心，词嵌入，并提出了一个新的嵌入蒸馏框架，显着降低了词嵌入的维数，而不影响准确性。还提出了一种新的蒸馏集成方法，使用多个教师模型训练高效的学生模型。在我们的方法中，教师模型只在训练过程中发挥作用，这样学生模型就可以在解码过程中独立运行，而不需要教师模型的支持，这使得它比其他典型的集成方法快80倍。所有模型在七个文档分类数据集上进行了评估，在大多数情况下，这些模型都比教师模型具有显着的优势。我们的分析描绘了深刻的转变词嵌入从蒸馏，并提出了一个未来的方向集成方法使用神经模型。
2019-05-31 cs.IR cs.LG stat.ML
A Fairness Analysis on Private Aggregation of Teacher Ensembles
Syracuse University（锡拉丘兹大学）
教师集合私有聚合（Private Aggregation of Teacher Ensembles，PATE）是一个重要的私有机器学习框架。它结合了多个学习模型作为教师的学生模型，学习预测教师之间的嘈杂投票选择的输出。由此产生的模型满足差分隐私，并已被证明有效地学习高质量的私人模型在半监督设置或当一个人希望保护数据标签。本文问这种隐私保护框架是否会引入或加剧偏见和不公平，并表明PATE可以引入个人和群体之间的准确性差距。本文分析了哪些算法和数据属性造成了不成比例的影响，为什么这些方面对不同群体的影响不成比例，并提出了减轻这些影响的指导方针。所提出的方法进行了评估，在几个数据集和设置。
2021-09-17 cs.AI cs.CR cs.LG
Adversarial Training via Adaptive Knowledge Amalgamation of an Ensemble of Teachers
University of Waterloo（滑铁卢大学）
本文提出AT-AKA方法，通过教师集成生成多样对抗样本并自适应融合其逻辑输出，训练广义鲁棒的学生模型，解决对抗训练中模型规模限制和对抗样本泛化差的问题。
2024-05-22 cs.AI cs.LG
BabyLlama-2: Ensemble-Distilled Models Consistently Outperform Teachers With Limited Data
University of Copenhagen（哥本哈根大学）；Niels Bohr Institute（尼尔斯·玻尔研究所）
提出BabyLlama-2模型，通过在1000万词语料上从两个教师模型蒸馏预训练，在BLiMP和SuperGLUE基准上超越基线和教师模型，证明蒸馏优势非超参数选择所致，强调数据受限下蒸馏技术的研究价值。
2024-09-25 cs.CL cs.LG
Adaptive Group Robust Ensemble Knowledge Distillation
ÉTS Montréal（蒙特利尔ÉTS）；Mila - Quebec AI Institute（魁北克AI研究所）；University of Calgary（卡尔加里大学）；CIFAR AI Chair（卡尔加里大学AI主席）
针对集成知识蒸馏中代表性不足子群体性能下降问题，提出AGRE-KD策略，利用有偏模型选择性加权教师，使蒸馏学生模型在最差子群体上表现优于传统集成蒸馏和多数投票集成。
2025-11-10 cs.LG
Learn From the Past: Experience Ensemble Knowledge Distillation
Tsinghua University（清华大学）；Tianjin University（天津大学）
传统的知识蒸馏将教师网络中的“暗知识”转移到学生网络中，忽略了教师在培训过程中的知识，即教师的经验。然而，在现实的教育场景中，学习体验往往比学习结果更重要。在这项工作中，我们提出了一种新的知识蒸馏方法，通过整合教师的经验知识转移，命名为经验集成知识蒸馏（EEKD）。我们从教师模型的训练过程中统一保存了适量的中间模型，然后通过集成技术将这些中间模型的知识进行集成。在知识转移过程中，自注意模块用于自适应地为不同的中间模型分配权重。从中间模型的质量、权重和数量三个方面探讨了构建EEKD的原则。一个令人惊讶的结论是，强大的合奏教师不一定产生强大的学生。在CIFAR-100和ImageNet上的实验结果表明，EEKD优于主流的知识蒸馏方法，达到了最新水平，特别是在节省训练成本的前提下，EEKD甚至超过了标准的集成蒸馏。
2022-02-25 cs.CV cs.LG
Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits
Yonsei University（延世大学）
本文提出了一种新的基于知识蒸馏的学习方法，以提高卷积神经网络（CNN）的分类性能，而无需预先训练的教师网络，称为出口集成蒸馏。我们的方法利用多出口架构，在传统的CNN中间添加辅助分类器（称为出口），通过它可以获得早期的推理结果。我们的方法的思想是训练网络使用出口的集合作为蒸馏目标，这大大提高了整个网络的分类性能。我们的方法提出了一个新的范式知识蒸馏，不像传统的蒸馏概念，教师只教学生，我们表明，学生也可以帮助其他学生，甚至教师学习得更好。实验结果表明，我们的方法在各种流行的CNN架构（VGG，ResNet，ResNeXt，WideResNet等）上实现了分类性能的显着改善。此外，所提出的方法可以加快学习的收敛速度，提高稳定性。我们的代码将在Github上提供。
2021-04-05 cs.AI cs.CV cs.LG
Decoupled and Distilled: Task-Adaptive LoRA-Teachers with Ensemble Knowledge Transfer for Few-Shot Class-Incremental Learning
Beihang University（北京航空航天大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
TALON通过为每个增量任务分配独立LoRA教师并蒸馏至统一学生，实现推理高效的少样本类增量学习，在四个基准上取得领先精度且大幅降低部署参数与推理时间。
2026-10-01 cs.LG
Knowledge Distillation via Weighted Ensemble of Teaching Assistants
Texas Tech University（德克萨斯理工大学）
机器学习中的知识蒸馏是将知识从称为教师的大型模型转移到称为学生的较小模型的过程。知识蒸馏是将大型网络（教师）压缩为可以部署在移动电话等小型设备中的较小网络（学生）的技术之一。当教师和学生之间的网络规模差距增加时，学生网络的性能下降。为了解决这个问题，在教师模型和学生模型之间采用了一个中间模型，称为教学助理模型，这反过来又弥合了教师和学生之间的差距。在这项研究中，我们已经表明，使用多个教学助理模型，学生模型（较小的模型）可以进一步改善。我们使用加权集成学习将这些多个教学辅助模型组合在一起，其中我们使用差分评估优化算法来生成权重值。
2022-06-23 cs.LG
Adaptive Weighting in Knowledge Distillation: An Axiomatic Framework for Multi-Scale Teacher Ensemble Optimization
本文提出了一种多尺度教师集合优化的公理框架，用于自适应加权的知识蒸馏，通过公理化方法解决多尺度下的鲁棒性、效率和安全性问题。
2026-01-25 cs.LG
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；NTNU（挪威科技大学）
我们提出了一个集成学习框架与泊松子采样，有效地训练一组教师模型，发出一些差分隐私（DP）的训练数据的保证。通过DP下的提升，从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制，即：（i）经由泊松子采样的隐私预算放大，以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型，以及（ii）子采样技术和总体师生学习框架的组合，该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练，以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明，我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
FEED: Feature-level Ensemble for Knowledge Distillation
Graduate School of Convergence Science and Technology（融合科学与技术研究生院）；Seoul National University（首尔国立大学）
知识蒸馏（KD）的目的是在教师-学生框架中传递知识，在训练阶段将教师网络的预测提供给学生网络，帮助学生网络更好地泛化。它可以使用具有高容量的教师或多个教师的集合。然而，后者是不方便的，当人们想要使用基于特征图的蒸馏方法。针对这一问题，提出了一种功能强大的特征级集成知识蒸馏（FEED）训练算法，该算法利用多个教师网络进行集成知识的传递。我们介绍了几个训练算法，将集成知识传递给特征图级别的学生。在基于特征图的蒸馏方法中，并行使用几个非线性变换来传递多个教师的知识有助于学生找到更一般化的解决方案。在CIFAR-100和ImageNet上的实验结果表明，该方法在测试时没有引入任何额外的参数或计算，具有明显的性能增强。我们还显示了实验结果，顺序喂养教师的信息给学生，因此名称顺序FEED，并讨论所获得的教训。此外，在特征图上测量重建误差的经验结果为增强提供了提示。
2019-09-24 cs.AI cs.CV cs.LG
Multi-teacher knowledge distillation as an effective method for compressing ensembles of neural networks
AGH University of Science and Technology（AGH科技大学）
近年来，深度学习为人工智能的许多成功做出了巨大贡献。如今，训练具有数千层和数千亿参数的模型已经成为可能。大规模深度模型已经取得了巨大的成功，但是巨大的计算复杂性和巨大的存储需求使得在实时应用中实现它们极其困难。另一方面，数据集的大小在许多领域仍然是一个真正的问题。数据往往缺失、过于昂贵或由于其他原因无法获得。包围学习部分解决了小数据集和过拟合的问题。然而，集成学习在其基本版本中与计算复杂性的线性增加相关联。我们分析了集成决策融合机制的影响，并检查了包括投票算法在内的各种决策共享方法。我们使用修改后的知识蒸馏框架作为决策融合机制，它允许另外压缩整个集成模型到一个单一的模型的权重空间。我们发现，知识蒸馏可以在一个学生模型中聚合来自多个教师的知识，并且在相同的计算复杂性下，与以标准方式训练的模型相比，获得性能更好的模型。我们已经开发出了自己的方法，可以同时模仿所有教师的反应。我们在几个基准数据集上测试了这些解决方案。最后，给出了多教师知识蒸馏框架的广泛应用。在第一个例子中，我们使用知识蒸馏来开发可以自动检测飞机机身腐蚀的模型。第二个例子描述了在观测摄像机上探测烟雾以对抗森林野火。
2023-02-14 cs.LG
Improving Ensemble Distillation With Weight Averaging and Diversifying Perturbation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Naver；AITRICS
深度神经网络的集合已经表现出优越的性能，但它们沉重的计算成本阻碍了它们在资源有限的环境中的应用。它激励将知识从集合教师提取到更小的学生网络中，对于这种集合提取有两个重要的设计选择：1）如何构建学生网络，以及2）在训练期间应该显示哪些数据。在本文中，我们提出了一种加权平均技术，其中具有多个子网络的学生被训练以吸收合奏教师的功能多样性，但随后这些子网络被适当地平均用于推理，从而提供了一个没有额外推理成本的单个学生网络。我们还提出了一个扰动策略，寻求输入，教师的diligence可以更好地转移到学生。结合这两个，我们的方法显着改善了以前的方法对各种图像分类任务。
2022-06-30 cs.LG
Diffusion Distillation for Efficient Weather Ensembles
University College London（伦敦大学学院）；University of Oxford（牛津大学）
该研究针对扩散模型生成天气集合时迭代采样成本高的问题，提出有监督能量距离蒸馏方法，将多步扩散教师模型压缩为单步学生模型，在全球预报和台风路径预测中表现优于现有方法。
2026-08-31 cs.LG stat.AP
Self Training with Ensemble of Teacher Models
Mastercard（万事达卡）
为了训练鲁棒的深度学习模型，需要大量的标记数据。然而，在没有如此大的标记数据存储库的情况下，可以利用未标记的数据进行同样的操作。半监督学习旨在利用这些未标记的数据来训练分类模型。基于自我训练的方法的最新进展在这一领域显示出了希望，这导致了我们利用集成方法进行同样的研究。任何半监督方法的副产品都可能是训练模型的校准丢失，特别是在未标记数据可能包含分布外样本的情况下，这导致了如何适应这种影响的研究。我们提出的算法仔细避免了利用未标记数据的常见陷阱，并导致一个更准确和校准的监督模型相比，香草自我训练为基础的学生-教师算法。我们在流行的STL-10数据库上进行了几次实验，然后对我们的方法进行了广泛的分析，并研究了它对模型精度和校准的影响。
2021-07-17 cs.CV cs.LG
Stochastic Precision Ensemble: Self-Knowledge Distillation for Quantized Deep Neural Networks
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
深度神经网络（QDNN）的量化已经被积极研究以用于在边缘设备中的部署。最近的研究采用知识蒸馏（KD）方法来提高量化网络的性能。在这项研究中，我们提出了QDNNs（SPEQ）的随机精度集成训练。SPEQ是一种知识蒸馏训练方案;然而，教师是通过共享学生网络的模型参数而形成的。我们通过改变前向传递计算的每一层的激活随机数的位精度来获得教师的软标签。学生模型使用这些软标签进行训练，以减少激活量化噪声。采用余弦相似性损失，而不是KL发散，用于KD训练。由于教师模型通过随机位精度分配连续变化，因此它利用了随机集成KD的效果。SPEQ在各种任务中优于现有的量化训练方法，例如图像分类，问答和迁移学习，而不需要繁琐的教师网络。
2020-09-30 cs.LG stat.ML
Physics-Informed Teacher-Student Ensemble Learning for Traffic State Estimation with a Varying Speed Limit Scenario
Department of Building, Civil and Environmental Engineering, Concordia University（康科迪亚大学建筑、土木和环境工程系）；Urban Artificial Intelligence Laboratory, University of Florida（佛罗里达大学城市人工智能实验室）；Department of Civil, Environmental and Construction Engineering, University of Central Florida（中央佛罗里达大学土木、环境和建设工程系）
本文提出一种融合物理信息的教师-学生集成学习框架，用于在变化速度限制场景下准确估计交通状态，通过局部编码流量守恒定律并利用多层感知器分类器提升性能。
2026-05-11 cs.AI cs.CE cs.LG
PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；NTNU（挪威科技大学）
我们提出使用对抗自动编码器（AAE），以取代生成对抗网络（GAN）的教师合奏（PATE）的私人聚合，解决方案，以确保差分隐私在语音应用中。AAE架构使我们能够获得良好的合成语音利用后的歧视性训练的潜在向量。当非敏感数据在公共领域中不充分可用时，这种合成语音用于构建隐私保护分类器。该分类器遵循PATE方案，该方案使用噪声输出的集合来标记合成样本，并在其导出的分类器上保证$\varepsilon$ -差分隐私（DP）。因此，我们提出的框架包括一个基于AAE的生成器和一个基于PATE的分类器（PATE-AAE）。在Google语音命令数据集版本II上进行评估，与其他隐私保护解决方案（即PATE-GAN和DP-GAN）相比，所提出的PATE-AAE分别将平均分类准确率提高了+ $2.11\%$和+ $6.60\%$，同时保持了$\varepsilon$ =0.01的强大隐私目标水平，固定$δ$ =10 $^{-5}$。
2021-06-15 cs.AI cs.LG cs.NE
An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊）
差分隐私（DP）是一种通过对隐私数据施加噪声失真来保护用于训练深度模型的用户信息的数据保护途径。这样的噪声扰动通常导致自动语音识别（ASR）中的严重性能降级，以便满足隐私预算$\varepsilon$。教师集成的私有聚合（PATE）利用集成概率来在处理由小的$\varepsilon$值控制的噪声效应时提高ASR精度。我们将PATE学习扩展到动态模式，即语音话语，并进行了第一次实验演示，它可以防止ASR训练中的声学数据泄漏。我们在开源LibriSpeech和TIMIT语料库上评估了三个端到端的深度模型，包括LAS、混合CTC/attention和RNN transducer。PATE学习增强的ASR模型优于基准DP-SGD机制，特别是在严格的DP预算下，对于使用LibriSpeech评估的RNN转换器模型，相对字出错率降低了26.2%至27.5%。我们还介绍了一个DP-preserving ASR解决方案，用于在公共语音语料库上进行预训练。
2022-10-13 cs.LG cs.NE cs.SD
Ensemble Knowledge Distillation for CTR Prediction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-Sen University（中山大学）
本文提出基于知识蒸馏的CTR预测训练策略，用教师集成、教师门控和蒸馏损失早停训练简化DNN学生模型，在三个工业数据集上验证其优于12个现有模型。
2023-07-05 cs.IR cs.LG
Efficient Knowledge Distillation from Model Checkpoints
Tsinghua University（清华大学）
知识蒸馏是在大而强的模型（教师）的指导下学习紧凑模型（学生）的有效途径。经验上，教师和学生模型的表现之间存在着很强的相关性，人们普遍认为，高绩效的教师是首选。因此，从业者倾向于使用一个训练有素的网络或他们的合奏作为老师。在本文中，我们做了一个有趣的观察，一个中间模型，即，与完全收敛模型相比，训练过程中间的检查点通常充当更好的教师，尽管前者的准确性要低得多。更令人惊讶的是，来自同一训练轨迹的几个中间模型的弱快照集合在用作教师时，可以胜过独立训练和完全收敛的模型的强集合。我们发现，这种现象可以部分解释的信息瓶颈原理：中间模型的特征表示可以有更高的互信息的输入，从而包含更多的“暗知识”的有效蒸馏。在此基础上，提出了一种基于任务相关互信息最大化的最优中间教师选择算法。实验验证了该方法的有效性和适用性。
2022-10-12 cs.AI cs.LG
SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles
Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）
数据驱动过程中的一个关键问题是建立模型，其结果不会歧视某些人口群体，包括性别，种族或年龄。为了确保在学习任务中不歧视，了解群体属性至关重要。然而，在实践中，由于法律和道德要求，这些属性可能不可用。为了应对这一挑战，本文研究了一种模型，该模型保护个人敏感信息的隐私，同时还允许它学习非歧视性的预测。所提出的模型的一个关键特征是，使通过关闭的自我和非私有的公平模型，以创建一个隐私保护和公平的模型。本文分析了准确性，隐私性和公平性之间的关系，实验评估说明了所提出的模型在几个预测任务上的好处。特别是，这个建议是第一个允许非常大的神经网络的私人和公平的模型的可扩展和准确的训练。
2022-04-11 cs.AI cs.LG
Optimizing Parking Space Classification: Distilling Ensembles into Lightweight Classifiers
Universidade Federal do Paraná（巴拉那联邦大学）；Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）
本文针对基于图像的停车位分类在边缘部署中的数据传输与算力挑战，提出将鲁棒分类器集成作为教师模型，并通过伪标签蒸馏出轻量级学生模型；实验表明学生模型参数量减少26倍，平均准确率达96.6%，优于教师模型的95.3%。
2024-10-07 cs.CV cs.LG
In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）
当从敏感数据中学习时，必须注意确保训练算法解决隐私问题。规范的教师集合的私有聚合（PATE）通过投票机制聚合（可能是分布式的）教师模型集合的预测来计算输出标签。该机制添加噪声以获得关于教师的训练数据的差分隐私保证。在这项工作中，我们观察到，这种使用噪声，这使得PATE预测随机，使新形式的泄漏的敏感信息。对于给定的输入，我们的对手利用这种随机性来提取潜在教师提交的投票的高保真直方图。从这些直方图中，对手可以了解输入的敏感属性，如种族，性别或年龄。虽然这种攻击并不直接违反差分隐私保证，但它显然违反了隐私规范和期望，如果不插入噪声以获得差分隐私，则根本不可能。事实上，与直觉相反，当我们添加更多噪声以提供更强的差分隐私时，攻击变得更容易。我们希望这能鼓励未来的工作从整体上考虑隐私，而不是将差分隐私视为灵丹妙药。
2022-09-22 cs.CR cs.LG
Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation
LIVIA, Dept. of Systems Engineering, ETS Montreal（LIVIA，系统工程系，蒙特利尔工程学院）；CentraleSupélec, Universite Paris Saclay（中央理工巴黎高等学院）；Aiim Lab, Queen’s University（人工智能实验室，皇后大学）
本文提出随机自蒸馏（SSD）策略，仅训练单一模型，通过蒸馏时dropout生成多样化教师表示，并利用学生引导的知识蒸馏（SGKD）过滤噪声，在不增加模型规模下提升性能，超越现有方法。
2025-06-23 cs.LG
Rethinking Teacher-Student Curriculum Learning through the Cooperative Mechanics of Experience
Mila, University of Montreal（蒙特利尔大学Mila研究所）；Google DeepMind（谷歌DeepMind）
该研究从数据中心视角出发，借助合作博弈理论分析师生课程学习（TSCL）的师生交互机制，证明TSCL问题存在等价合作博弈，通过多场景实验验证基于经验合作价值的课程构建方法的有效性，为TSCL研究提供新基础。
2024-09-12 cs.AI cs.GT cs.LG
Creating a Good Teacher for Knowledge Distillation in Acoustic Scene Classification
LIT Artificial Intelligence Lab, Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校LIT人工智能实验室）
针对声学场景分类的知识蒸馏，本文系统研究教师架构、模型规模、设备泛化方法及集成策略对低复杂度学生性能的影响，明确了构建优秀教师模型的关键因素。
2025-03-14 cs.LG cs.SD eess.AS
Dynamic Activation with Knowledge Distillation for Energy-Efficient Spiking NN Ensembles
University of Crete（克里特大学）；Foundation for Research & Technology-Hellas（希腊研究与技术基金会）；Athena Research Center（雅典娜研究中心）
本文提出Spiking Neural Ensemble（SNE），通过知识蒸馏、教师特征空间解耦和学生SNN子集动态激活，在CIFAR-10上以约2%精度损失降低至多20倍计算需求并提升噪声鲁棒性。
2025-02-19 cs.AI cs.CV cs.LG
MEAL: Multi-Model Ensemble via Adversarial Learning
Fudan University（复旦大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通常，表现最好的深度神经模型是多个基本级别网络的集合。不幸的是，存储这么多网络所需的空间以及在测试时执行它们所需的时间禁止它们在测试集很大的应用中使用（例如，ImageNet）。在本文中，我们提出了一种将大型复杂的训练集合压缩到单个网络中的方法，其中来自各种训练的深度神经网络（DNN）的知识被提取并转移到单个DNN。为了从不同的训练（教师）模型中提取不同的知识，我们建议使用基于对抗的学习策略，在该策略中，我们定义了一个分块训练损失来指导和优化预定义的学生网络，以恢复教师模型中的知识，并促进学习网络同时区分教师和学生特征。本文提出的基于对抗学习的知识集成方法（MEAL）具有三个重要的优点：（1）利用鉴别器学习知识的学生网络比原始模型更优化;（2）通过一次前向传递实现快速推理，性能甚至优于传统的多原始模型集成;（3）学生网络可以从具有任意结构的教师模型中学习提取的知识。在CIFAR-10/100、SVHN和ImageNet数据集上的大量实验证明了MEAL方法的有效性。在ImageNet上，我们基于ResNet-50的MEAL实现了top-1/5 21.79%/5.99%的val误差，比原始模型高出2.06%/1.14%。代码和模型可在https://github.com/AaronHeee/MEAL上获得
2019-07-25 cs.AI cs.CV cs.LG
On the Fairness Impacts of Private Ensembles Models
Syracuse University（雪城大学）；University of Virginia（弗吉尼亚大学）
本文探讨了私有集成模型（PATE）是否会导致不公平，发现其会在不同群体间引发准确率差异，并分析了相关算法与数据属性，最后提出了缓解建议。
2023-05-19 cs.AI cs.CY cs.LG
Towards Oracle Knowledge Distillation with Neural Architecture Search
Seoul National University（首尔国立大学）；POSTECH（浦项科技大学）
我们提出了一个新的框架，知识蒸馏，是能够学习强大而有效的学生模型，从合奏教师网络。我们的方法解决了教师和学生之间固有的模型能力问题，旨在通过减少他们的能力差距，最大限度地提高教师模型在蒸馏过程中的利益。具体来说，我们采用了神经架构搜索技术，以增加有用的结构和操作，搜索网络是适当的知识蒸馏对学生模型和自由的牺牲其性能通过固定的网络容量。我们还引入了一个甲骨文知识蒸馏损失，以方便模型搜索和蒸馏使用基于集成的教师模型，其中学生网络学习模仿甲骨文性能的教师。我们使用各种网络对图像分类数据集--CIFAR-100和TinyImageNet--进行了广泛的实验。我们还表明，搜索一个新的学生模型是有效的准确性和内存大小，搜索的模型往往优于他们的教师模型由于神经架构搜索与甲骨文知识蒸馏。
2019-11-29 cs.LG stat.ML
Knowledge Distillation of Uncertainty using Deep Latent Factor Model
Samsung Research（三星研究院）；Seoul National University（首尔大学）；Inha University（仁荷大学）
针对深度集成不确定性量化计算成本高的问题，提出高斯蒸馏方法，利用深度潜在因子模型压缩教师集成为学生分布，在多个基准上优于现有方法，并适用于语言模型微调和分布偏移。
2025-10-24 cs.LG stat.ME
Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks
Japan Science and Technology Agency（日本科学技术振兴机构）
当一个计算系统从不断变化的环境中不断学习时，它会迅速忘记过去的经验。这种现象被称为灾难性遗忘。虽然已经提出了一系列的研究，以避免灾难性的遗忘，大多数的方法是基于对现象的直观见解，其性能已通过使用基准数据集的数值实验进行了评估。因此，在本研究中，我们提供了一个理论框架来分析灾难性遗忘的师生学习。师生学习是一个框架，其中我们引入了两个神经网络：一个神经网络是监督学习中的目标函数，另一个是学习神经网络。为了分析教师-学生框架下的持续学习，我们引入了目标函数的输入分布相似性和输入-输出关系相似性作为任务相似性。在这个理论框架中，我们还提供了一个定性的理解如何单层线性学习神经网络忘记任务。通过分析发现，当输入分布之间的相似性较小，而目标函数的输入输出关系的相似性较大时，该网络能够避免灾难性遗忘。分析还表明，系统经常表现出一种称为过冲的特征现象，这意味着即使学习网络曾经经历过灾难性的遗忘，在进一步学习当前任务后，网络也可能表现得相当好。
2021-05-16 cs.LG stat.ML
Teacher-Student Structure for Domain Adaptation in Ensemble Audio-Visual Video Deepfake Detection
Department of Computer Engineering, Sharif University of Technology（谢里夫理工学院计算机工程系）
提出EAV-DFD方法，结合师生框架的领域适应机制，提升模型在未见领域上的泛化能力，在三个数据集上AUC分别提升4.09%、17.94%和0.5%。
2026-06-16 cs.AI cs.CV cs.LG
Scalable Private Learning with PATE
Pennsylvania State University（宾夕法尼亚州立大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
机器学习的快速采用增加了人们对在敏感数据（如医疗记录或其他个人信息）上训练的机器学习模型的隐私影响的担忧。为了解决这些问题，一种有前途的方法是教师集合的私人聚合，或PATE，它将“教师”模型集合的知识转移到“学生”模型中，通过在不相交的数据上训练教师提供直观的隐私，并通过教师答案的嘈杂聚合来保证强隐私。然而，到目前为止，PATE只在像MNIST这样的简单分类任务上进行了评估，因此在应用于大规模学习任务和真实世界数据集时，其效用尚不清楚。在这项工作中，我们展示了PATE如何扩展到具有大量输出类和未经策划的，不平衡的错误训练数据的学习任务。为此，我们引入了新的嘈杂的聚合机制，教师合奏，更具选择性，增加更少的噪音，并证明其更严格的差分隐私保证。我们的新机制建立在两个见解上：通过使用更集中的噪音来增加教师达成共识的机会，缺乏共识，不需要给学生答案。所使用的共识答案更有可能是正确的，提供更好的直观隐私，并产生更低的差异隐私成本。我们的评估表明，我们的机制在所有指标上都比原来的PATE有所改进，并且可以扩展到具有高实用性和非常强的隐私性（$\varepsilon$ < 1.0）的更大任务。
2018-02-24 cs.CR cs.LG stat.ML
Why does Knowledge Distillation Work? Rethink its Attention and Fidelity Mechanism
North China Electric Power University（华北电力大学）；Amazon（亚马逊公司）
本文通过实验揭示知识蒸馏中教师注意力多样性越高、学生-教师保真度越低反而越有利于学生泛化，并提出应增强数据增强与教师集成多样性、减少模仿行为来优化学生模型性能。
2024-04-30 cs.CV cs.LG eess.IV
Ensemble Knowledge Distillation for Learning Improved and Efficient Networks
IBM Research Australia（IBM澳大利亚研究院）
由深度卷积神经网络（CNN）组成的包围模型在模型泛化方面已经显示出显著的改进，但代价是大量的计算和存储器需求。在本文中，我们提出了一个学习紧凑的CNN模型的框架，具有改进的分类性能和模型泛化能力。为此，我们提出了一个紧凑的学生模型的CNN架构，该模型具有并行分支，这些分支使用地面真值标签和来自高容量教师网络的信息以集成学习的方式进行训练。我们的框架提供了两个主要的好处：i）将来自不同教师的知识提取到学生网络中，促进了学生网络不同分支的特征学习的异质性，并使网络能够学习目标问题的不同解决方案。ii）通过集成来耦合学生网络的分支，鼓励协作，并通过减少网络输出的方差来提高最终预测的质量。在成熟的CIFAR-10和CIFAR-100数据集上的实验表明，我们的Ensemble知识蒸馏（EKD）提高了分类精度和模型泛化能力，特别是在训练数据有限的情况下。实验还表明，我们的EKD为基础的紧凑型网络优于测试数据集的平均精度相比，最先进的知识蒸馏为基础的方法。
2020-04-02 cs.CV cs.LG
Generative Knowledge Transfer for Neural Language Models
Seoul National University（首尔大学）
在本文中，我们提出了一种生成式知识转移技术，该技术使用从先前训练的RNN（教师网络）生成的文本和输出概率来训练基于RNN的语言模型（学生网络）。文本生成可以由教师或学生网络进行。我们还可以通过从多个教师网络获得的软标签的集合来提高性能。该方法可以用于隐私意识语言模型自适应，因为没有用户数据直接用于训练。特别是，当多个设备的软标签通过可信的第三方聚合时，我们可以期待非常强大的隐私保护。
2017-02-28 cs.LG
Does Knowledge Distillation Really Work?
NYU（纽约大学）；Google Research（谷歌研究院）
知识蒸馏是一种流行的技术，用于训练小型学生网络以模拟较大的教师模型，例如网络的集合。我们发现，虽然知识蒸馏可以提高学生的泛化能力，但它通常并不像人们通常理解的那样起作用：教师和学生的预测分布之间往往存在令人惊讶的巨大差异，即使在学生有能力完全匹配教师的情况下。我们确定优化的困难是学生无法与老师相匹配的关键原因。我们还展示了用于蒸馏的数据集的细节如何在学生与教师的匹配程度上发挥作用-并且更接近地匹配教师并不总是导致更好的学生概括。
2021-12-06 cs.LG stat.ML
Distilling Knowledge from Ensembles of Acoustic Models for Joint CTC-Attention End-to-End Speech Recognition
University of Cambridge（剑桥大学）；Avignon University（阿维尼翁大学）；Samsung AI（三星人工智能）
知识蒸馏已被广泛用于压缩现有的深度学习模型，同时在广泛的应用中保持性能。在自动语音识别（ASR）的特定背景下，最近从声学模型的集合中提取在提高识别性能方面显示出有希望的结果。在本文中，我们提出了一个扩展的多教师蒸馏方法联合CTC注意端到端ASR系统。我们还介绍了三种新的蒸馏策略。他们背后的核心直觉是将出错率指标整合到教师选择中，而不是仅仅关注观察到的损失。通过这种方式，我们直接提取和优化学生对语音识别的相关度量。我们在不同的数据集（TIMIT，Librispeech，Common Voice）和各种语言（英语，法语，意大利语）上选择训练程序来评估这些策略。特别是，国家的最先进的出错率的共同语音法语，意大利语和TIMIT数据集的报告。
2021-07-04 cs.LG cs.SD eess.AS
Progressive Ensemble Distillation: Building Ensembles for Efficient Inference
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；Microsoft（微软）
提出B-DISTIL方法，将大型预训练教师模型分解为多个小型学生模型，通过中间激活的函数组合构建集成，实现运行时准确率与推理成本的灵活权衡，并在图像、语音和传感器数据集上验证了有效性，同时提供收敛性和泛化性的理论保证。
2023-11-09 cs.LG
Self-similarity Student for Partial Label Histopathology Image Segmentation
Taiwan AI Labs（台湾人工智能实验室）；National Taiwan University College of Medicine（台湾大学医学院）；Taipei Veterans General Hospital（台北荣民总医院）；Academia Sinica（中央研究院）
在数字病理学中，在千兆像素的全切片图像（WSIs）中描绘癌区域是一个重要的诊断过程。这个过程是耗时的，因为在千兆像素WSI中的大搜索空间，导致在不清楚的肿瘤病变处遗漏和误解的机会。为了解决这一问题，发展一种自动的癌区域分割方法势在必行。我们将此问题视为部分标签WSI的建模问题，其中一些癌性区域可能被错误分类为良性，反之亦然，产生带有噪声标签的补丁。为了从这些补丁中学习，我们提出了自相似性学生，将师生模型范式与相似性学习相结合。具体来说，对于每个补丁，我们首先根据空间距离对其相似和不相似的补丁进行采样。然后介绍了一个教师-学生模型，其特点是学生模型权重和教师预测集合的指数移动平均。当我们的学生模型采取补丁，教师模型采取所有相应的相似和不相似的补丁学习鲁棒表示对嘈杂的标签补丁。在这种相似性学习之后，我们的相似性集成将相似补丁的集成预测合并为给定补丁的伪标签，以抵消其噪声标签。在CAMELYON 16数据集上，我们的方法在不同程度的噪声中大大优于最先进的噪声感知学习方法5 $\%$和监督训练基线10 $\%$。此外，我们的方法优于TVGH TURP数据集的基线，具有2 $\%$改进，证明了对更多临床组织病理学分割任务的可推广性。
2020-07-19 cs.CV cs.LG eess.IV
Emergence of Structure in Ensembles of Random Neural Networks
MOX Laboratory, Department of Mathematics, Politecnico di Milano（米兰理工学院数学系MOX实验室）；Optopc SA（Optopc公司）；Rebel Dynamics Srl（Rebel Dynamics公司）
本文提出以分类损失为能量的 Gibbs 加权随机分类器集成模型，证明存在有限最优温度，并在教师感知机设定与 MNIST 实验中展示其普适性和自组织特征。
2025-05-15 cs.AI cs.LG
LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction
The Hong Kong University of Science and Technology（香港科技大学）；Shenzhen United Imaging Research Institute of Innovative Medical Equipment（深圳联合创新医疗装备研究院）；Huazhong University of Science and Technology（华中科技大学）；Tencent YouTu Lab（腾讯优图实验室）
针对放疗KBP集成学习依赖基学习器质量且集成复杂度高的问题，提出融合神经架构搜索与知识蒸馏的LENAS方法，搜索多样高性能架构并通过师生范式+混合损失蒸馏知识，在两个公开数据集上取得SOTA性能。
2024-05-13 cs.CV cs.LG eess.IV
