Iterative Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback
MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
提出耦合校准与学习（CCL）算法，通过令牌级分支耦合教师校准与学生更新，仅用源反馈，在理论上证明可消除教师偏差并收敛至最优学生，无需目标域奖励。
2026-10-30 cs.AI cs.LG math.ST
Noisy student-teacher training for robust keyword spotting
Google Inc.（谷歌公司）
我们提出了自训练与嘈杂的学生-教师的方法流关键字发现，可以利用大规模的未标记的数据和积极的数据增强。所提出的方法应用积极的数据增强（光谱增强）的学生和教师的输入，并利用未标记的数据在规模，这显着提高了学生的准确性，对具有挑战性的条件。当与带有硬标记数据的监督训练一起使用时，这种积极的增强通常会降低模型性能。实验表明，积极规范增强基线监督训练方法降低准确性，而提出的自我训练与嘈杂的学生-教师培训提高了一些困难的条件测试集的准确性高达60%。
2021-06-03 cs.LG stat.ML
Student-Teacher Learning from Clean Inputs to Noisy Inputs
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
基于学习的学生-教师学习是一种鼓励学生的隐藏特征模仿教师网络的训练方法，在将知识从预先训练的教师网络转移到学生网络方面取得了经验上的成功。此外，最近的实验结果表明，即使学生的输入样本被噪声破坏，教师的特征也可以提高学生网络的泛化能力。然而，有一个缺乏理论的见解，为什么以及何时这种方法的知识转移可以成功之间的异构任务。我们使用深度线性网络从理论上分析了这种方法，并使用非线性网络进行了实验。我们确定了该方法成功的三个关键因素：（1）学生是否被训练到零训练损失;（2）教师在干净输入问题上的知识水平;（3）教师如何将其知识分解为隐藏特征。这三个因素中的任何一个缺乏适当的控制都会导致师生学习方法的失败。
2021-03-13 cs.CV cs.LG stat.ML
Teacher-Class Network: A Neural Network Compression Mechanism
Rensselaer Polytechnic Institute（伦斯勒理工学院）
为了减少深度神经网络（DNN）的庞大规模，师生方法试图将知识从复杂的教师网络转移到简单的学生网络。相反，我们提出了一种称为教师类网络的新方法，该网络由单个教师和多个学生网络（即学生类）组成。该方法不是只将知识转移给一个学生，而是将一大块知识转移给每个学生。我们的学生没有接受针对特定问题的逻辑训练，他们被训练来模仿教师网络学习的知识（密集表示），因此学生班级学习的组合知识也可以用于解决其他问题。建议的教师级架构进行评估的几个基准数据集，如MNIST，时尚MNIST，IMDB电影评论，CAMVid，CIFAR-10和ImageNet的多个任务，包括图像分类，情感分类和分割。我们的方法优于国家的最先进的单学生的方法在精度以及计算成本，同时实现10-30倍的参数减少。
2021-10-29 cs.CV cs.LG stat.ML
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
虽然深度学习在各种任务中的表现优于其他方法，但解释其原因的理论框架尚未完全建立。为了解决这个问题，我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险，其中学生网络通过其输出学习未知的教师网络。特别地，我们考虑了与教师网络具有相同宽度的学生网络，并且在两个阶段进行训练：首先通过噪声梯度下降，然后通过香草梯度下降。我们的结果表明，学生网络可证明达到一个接近全局最优解，并优于任何核方法估计（更一般地说，线性估计），包括神经正切核方法，随机特征模型，和其他核方法，在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的，学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
On Learnability via Gradient Method for Two-Layer ReLU Neural Networks in Teacher-Student Setting
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
深度学习在许多应用中经验性地实现了高性能，但其训练动态在理论上尚未得到充分理解。在本文中，我们探索了在师生回归模型中训练两层ReLU神经网络的理论分析，其中学生网络通过其输出学习未知的教师网络。我们表明，通过特定的正则化和充分的过参数化，学生网络可以通过具有范数依赖步长的梯度下降以高概率识别教师网络的参数，即使目标函数是高度非凸的。关键的理论工具是测量表示的神经网络和一个新的应用程序的双证书参数稀疏估计的测量空间。在测度空间中分析了算法的全局极小性和全局收敛性。
2021-06-29 cs.LG stat.ML
Zero-shot Knowledge Transfer via Adversarial Belief Matching
University of Edinburgh（爱丁堡大学）
在现代深度学习应用中，从大型教师网络向较小的学生进行知识转移是一项受欢迎的任务。然而，由于不断增长的数据集大小和更严格的隐私法规，无法访问用于训练教师的数据的情况越来越普遍。我们提出了一种新的方法，该方法训练学生在不使用任何数据或元数据的情况下匹配老师的预测。我们通过训练一个对抗生成器来搜索学生与老师不匹配的图像，然后用它们来训练学生。我们得到的学生在SVHN等简单数据集上非常接近老师，而在CIFAR10上，我们改进了最先进的Few-Shot蒸馏（每类100张图像），尽管没有使用数据。最后，我们还提出了一个度量，以量化的程度，教师和学生之间的信念匹配的决策边界附近，并观察到一个显着更高的匹配我们的zero-shot学生和教师之间，比一个学生与真实数据和教师之间的蒸馏。代码可在：https://github.com/polo5/ZeroShotKnowledgeTransfer
2019-11-25 cs.LG stat.ML
Conditional Teacher-Student Learning
Microsoft Corporation（微软公司）
师生（T/S）学习已被证明是有效的各种问题，如领域自适应和模型压缩。T/S学习的一个缺点是，教师模型并不总是完美的，偶尔会以后验概率的形式产生错误的指导，将学生模型误导到次优的表现。为了克服这个问题，我们提出了一个有条件的T/S学习方案，其中一个“聪明”的学生模型选择性地选择从教师模型或地面真理标签学习，条件是教师是否可以正确地预测地面真理。与两个知识源的朴素线性组合不同，当教师模型的预测是正确的时，条件学习仅与教师模型进行，否则退回到基本事实。因此，学生模型能够有效地从老师那里学习，甚至有可能超越老师。我们研究了两个任务：领域自适应的CHiME-3数据集和微软短信听写数据集上的扬声器自适应的学习计划。该方法实现了9.8%和12.8%的相对字出错率减少，分别比T/S学习的环境适应和说话人无关模型的说话人自适应。
2019-04-28 cs.CL cs.LG cs.SD
Student-Teacher Curriculum Learning via Reinforcement Learning: Predicting Hospital Inpatient Admission Location
University of Oxford（牛津大学）；Oxford University Hospitals Trust（牛津大学医院信托）
由于临床环境中的资源限制和空间可用性，准确可靠地预测入院位置非常重要，特别是在处理来自急诊科的患者时。在这项工作中，我们提出了一个学生-教师网络通过强化学习来处理这个特定的问题。学生网络的权重表示被视为状态，并作为教师网络的输入。教师网络的动作是从根据熵排序的训练集中选择最合适的一批数据来训练学生网络。通过在三个数据集上进行验证，我们不仅表明我们的方法在表格数据上优于最先进的方法，在图像识别上具有竞争力，而且教师网络还学习了新的课程。我们通过实验证明，教师网络可以主动学习学生网络，并引导它实现比单独训练更好的性能。
2020-07-01 cs.CV cs.LG stat.ML
Does Knowledge Distillation Really Work?
NYU（纽约大学）；Google Research（谷歌研究院）
知识蒸馏是一种流行的技术，用于训练小型学生网络以模拟较大的教师模型，例如网络的集合。我们发现，虽然知识蒸馏可以提高学生的泛化能力，但它通常并不像人们通常理解的那样起作用：教师和学生的预测分布之间往往存在令人惊讶的巨大差异，即使在学生有能力完全匹配教师的情况下。我们确定优化的困难是学生无法与老师相匹配的关键原因。我们还展示了用于蒸馏的数据集的细节如何在学生与教师的匹配程度上发挥作用-并且更接近地匹配教师并不总是导致更好的学生概括。
2021-12-06 cs.LG stat.ML
STUDD: A Student-Teacher Method for Unsupervised Concept Drift Detection
University of Waikato（怀卡托大学）；Télécom ParisTech（巴黎高科电信学院）；Dalhousie University（达尔豪斯大学）
概念漂移检测是数据流演化环境中的一项重要任务。设计用于解决该问题的大多数最先进的方法监视预测模型的损失。然而，这种方法在许多现实世界的场景中是不够的，在这些场景中，真实的标签并不容易用于计算损失。在这种情况下，人们越来越关注以无监督方式执行概念漂移检测的方法，即，而无法接触到真正的标签。我们提出了一种新的方法，无监督的概念漂移检测的基础上，学生-教师学习范式。从本质上讲，我们创建了一个辅助模型（学生）来模仿主模型（教师）的行为。在运行时，我们的方法是使用教师预测新的实例，并监测模仿学生的概念漂移检测损失。在一组使用19个数据流的实验中，我们表明，所提出的方法可以检测概念漂移，并提出了一个竞争的行为相对于国家的最先进的方法。
2021-03-01 cs.LG stat.ML
Teacher-Student Compression with Generative Adversarial Networks
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
更精确的机器学习模型在测试时通常需要更多的计算和内存，这使得它们难以部署在CPU或内存受限的设备上。教师-学生压缩（TSC），也称为蒸馏，通过训练一个不太昂贵的学生模型来模仿昂贵的教师模型，同时保持大部分原始准确性，从而减轻了这一负担。然而，当新数据不可用于压缩任务时，教师的训练数据通常被重用，导致次优压缩。在这项工作中，我们建议增加压缩数据集与合成数据从生成对抗网络（GAN），旨在近似的训练数据分布。我们的GAN-assisted TSC（GAN-TSC）显著提高了昂贵模型（如大型随机森林和深度神经网络）在表格和图像数据集上的学生准确性。基于这些结果，我们提出了一个全面的度量-TSC得分-基于其诱导TSC性能来评估合成数据集的质量。TSC得分捕获数据多样性和类的亲和力，我们说明了它的好处超过流行的初始得分的背景下，图像分类。
2020-03-20 cs.LG stat.ML
Continual Learning in the Teacher-Student Setup: Impact of Task Similarity
Imperial College（帝国理工学院）；International School of Advanced Studies (SISSA)（国际高等研究学院（SISSA））；University of Oxford（牛津大学）；Facebook AI Research（脸书人工智能研究院）
连续学习--按顺序学习多项任务的能力--对于人工学习系统至关重要。然而，深度网络的标准训练方法经常遭受灾难性的遗忘，学习新任务会擦除早期任务的知识。虽然灾难性遗忘是这个问题的标志，但任务之间相互干扰的理论原因仍然不清楚。在这里，我们试图缩小理论和实践之间的差距，通过研究在师生设置的继续学习。我们扩展了以前的分析工作，在两层网络的教师-学生设置多个教师。使用每个教师代表一个不同的任务，我们调查教师之间的关系如何影响的遗忘量和转让时，学生所表现出的任务切换。在最近的工作，我们发现，当任务依赖于类似的功能，中间任务相似性导致最大的遗忘。然而，特征相似性只是任务可能相关的一种方式。教师-学生方法允许我们在读出（隐藏到输出权重）和特征（输入到隐藏权重）的水平上解开任务相似性。我们发现这两种类型的相似性，初始传输/遗忘率，最大传输/遗忘，和长期传输/遗忘之间的复杂的相互作用。总之，这些结果有助于阐明导致灾难性遗忘的各种因素。
2021-07-09 cond-mat.stat-mech cs.LG stat.ML
Dual Student: Breaking the Limits of the Teacher in Semi-supervised Learning
City University of Hong Kong（香港城市大学）；SenseTime Research（商汤科技研究院）
最近，基于一致性的方法在半监督学习（SSL）中取得了最新的成果。这些方法总是涉及两个角色，显式或隐式教师模型和学生模型，并通过一致性约束惩罚不同扰动下的预测。然而，这两个角色的权重是紧密耦合的，因为教师本质上是学生的指数移动平均值（EMA）。在这项工作中，我们表明，耦合EMA教师造成的性能瓶颈。为了解决这个问题，我们引入了双学生，用另一个学生代替老师。我们还定义了一个新的概念，稳定的样本，以下的稳定约束设计为我们的结构是可训练的。此外，我们还讨论了我们的方法的两个变体，它们可以产生更高的性能。大量的实验表明，我们的方法提高了分类性能显着几个主要的SSL基准。具体来说，它将13层CNN的出错率在具有1 k标签的CIFAR-10上从16.84%降至12.39%，在具有10 k标签的CIFAR-100上从34.10%降至31.56%。此外，我们的方法在领域自适应方面也有明显的改进。
2019-09-03 cs.CV cs.LG stat.ML
On student-teacher deviations in distillation: does it pay to disobey?
Google Research（谷歌研究院）
本文通过分析知识蒸馏中学生与教师概率偏差的精确性质，发现偏差源于置信度夸大和梯度下降隐式偏差的放大，并证明这种夸大同时带来更好的泛化，从而解释了学生超越教师的悖论。
2024-03-18 cs.AI cs.LG stat.ML
Should Under-parameterized Student Networks Copy or Average Teacher Weights?
NYU（纽约大学）；EPFL（洛桑联邦理工学院）
本文研究欠参数化学生网络逼近单隐藏层教师网络时，学生神经元应复制单个教师神经元还是平均多个教师神经元，证明并实验验证了复制-平均临界点结构及其在 erf 和 ReLU 激活下的通用性。
2024-01-16 cs.LG cs.NE stat.ML
Teacher-student training improves accuracy and efficiency of machine learning interatomic potentials
针对复杂机器学习原子间势计算与内存成本高难以用于大规模分子动力学模拟的问题，提出师生训练框架，用教师模型的原子能量知识增强轻量学生模型训练，实现速度更快、内存更低且精度反超的效果。
2025-06-12 physics.chem-ph stat.ML
Improving noise robustness of automatic speech recognition via parallel data and teacher-student learning
Brno University of Technology（布尔诺理工大学）；Amazon.com, Inc.（亚马逊公司）
对于现实世界的语音识别应用，噪声鲁棒性仍然是一个挑战。在这项工作中，我们采用了教师-学生（T/S）学习技术，使用一个平行的清洁和噪声语料库，以提高自动语音识别（ASR）的性能在多媒体噪声。最重要的是，我们应用了一种logits选择方法，该方法只保留k个最高值，以防止教师错误地强调知识，并减少传输数据所需的带宽。我们结合了多达8000小时的未转录数据进行训练，并在序列训练模型上展示了我们的结果，除了交叉熵训练的模型。最好的序列训练的学生模型产生相对字错误率（WER）减少约10.1%，28.7%和19.6%，分别对我们的清洁，模拟噪声和真实的测试集相比，序列训练的教师。
2019-03-15 cs.CL cs.LG cs.SD
