Variational Information Distillation for Knowledge Transfer
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）；École des Ponts ParisTech（巴黎高科桥路学院）；Amazon（亚马逊）
将知识从在相同或相似任务上预训练的教师神经网络转移到学生神经网络可以显著提高学生神经网络的性能。现有的知识转移方法匹配教师和学生网络的激活或相应的手工制作的功能。我们提出了一个信息理论框架的知识转移，制定知识转移最大限度地提高教师和学生网络之间的互信息。我们比较我们的方法与现有的知识转移方法的知识蒸馏和迁移学习任务，并表明我们的方法始终优于现有的方法。我们通过将知识从卷积神经网络（CNN）转移到CIFAR-10上的多层感知器（MLP），进一步证明了我们的方法在异构网络架构中的知识转移能力。由此产生的MLP显著优于最先进的方法，并且它实现了与具有单个卷积层的CNN相似的性能。
2019-04-11 cs.AI cs.CV cs.LG
Long-term Human Participation Assessment In Collaborative Learning Environments Using Dynamic Scene Analysis
University of New Mexico（新墨西哥大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对协作学习环境中学生自由移动导致的姿态变化和遮挡问题，提出基于多图像表示的小组检测方法和动态参与者跟踪系统，在真实长视频数据集上显著优于YOLO和现有方法。
2024-04-14 cs.CV eess.IV
Relational Representation Distillation
Imperial College London（伦敦帝国学院）
针对现有基于对比学习的知识蒸馏存在的类别碰撞问题，提出保留实例相对关系的双温度关系表示蒸馏（RRD）方法，理论上证明InfoNCE为其极限情况，实验显示在分类、检测任务上关系对齐和泛化性更优。
2026-09-01 cs.AI cs.CV
Cascaded channel pruning using hierarchical self-distillation
Imperial College London（帝国理工学院）
本文提出了一种基于教师、助教和学生框架的分层知识蒸馏过滤级剪枝方法。我们的方法利用教学助理在中间修剪水平，共享相同的架构和权重的目标学生。我们建议使用来自其对应老师的梯度信息来独立地修剪每个模型。通过考虑每个学生-教师对的相对大小，该公式提供了知识蒸馏的能力差距和过滤器显著性更新的偏差之间的自然权衡。我们的研究结果表明，使用VGG 16和ResNet 50架构的CIFAR 10和ImageNet分类任务在可达到的准确性和模型压缩方面有所改进。我们提供了一个广泛的评估，证明了使用不同数量的教学助理模型在不同大小的好处。
2020-08-16 cs.CV
Knowledge Distillation By Sparse Representation Matching
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
知识蒸馏是指将知识从教师网络转移到学生网络的一类方法。在本文中，我们提出了稀疏表示匹配（SRM），一种通过利用稀疏表示学习将从一个卷积神经网络（CNN）获得的中间知识转移到另一个的方法。SRM首先提取教师CNN的隐藏特征的稀疏表示，然后将其用于生成像素级和图像级标签，用于训练学生网络的中间特征图。我们将SRM制定为神经处理块，可以使用随机梯度下降进行有效优化，并以即插即用的方式集成到任何CNN中。我们的实验表明，SRM对教师和学生网络之间的架构差异具有鲁棒性，并且在多个数据集上优于其他KD技术。
2021-03-31 cs.CV
Learning curves of generic features maps for realistic datasets with a teacher-student model
École Fédérale Polytechnique de Lausanne (EPFL)（洛桑联邦理工学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris-Diderot（巴黎第七大学）；International School of Advanced Studies (SISSA)（国际高等研究院）
教师-学生模型提供了一个框架，在这个框架中，高维监督学习的典型案例表现可以以封闭的形式描述。高斯i.i.d.然而，作为规范教师-学生模型基础的输入数据可能被认为限制性太大，无法捕捉实际数据集的行为。在本文中，我们介绍了一个高斯协变量推广的模型，教师和学生可以在不同的空间，产生固定的，但通用的特征映射。虽然在封闭形式中仍然是可解的，但这种泛化能够捕获广泛的现实数据集的学习曲线，从而弥补了教师-学生框架的潜力。我们的贡献是双重的：首先，我们证明了渐近训练损失和泛化误差的严格公式。其次，我们提出了一些情况，其中模型的学习曲线捕获了通过内核回归和分类学习的现实数据集，具有开箱即用的特征映射，如随机投影或散射变换，或预先学习的特征-例如通过训练多层神经网络学习的特征。我们讨论的权力和框架的局限性。
2021-12-14 cond-mat.dis-nn cs.LG math.PR
S2P3: Self-Supervised Polarimetric Pose Prediction
Technical University of Munich（慕尼黑工业大学）
本文提出首个基于 RGB+偏振图像的自监督 6D 位姿预测方法，结合物理模型、知识蒸馏和可微渲染，在无纹理、反射及透明物体上取得显著性能提升。
2023-12-02 cs.CV
From perception to control: an autonomous driving system for a formula student driverless car
Beijing Institute of Technology（北京理工大学）
本文介绍了在2018年中国方程式学生自主驾驶比赛（FSAC）中获胜的“智能鲨鱼II”的自主驾驶系统。在这项比赛中，一辆自主赛车需要在未知的赛道上自主完成两圈。本文介绍了该赛车的自动驾驶软件结构，保证了车辆的高速性和安全性。关键部件保证了赛车的稳定行驶，基于LiDAR和视觉的圆锥检测提供了冗余感知;基于EKF的定位提供了高精度和高频率的状态估计;感知结果通过占用网格地图在时间和空间上积累。在得到运动轨迹后，采用模型预测控制算法对赛车的纵向和横向控制进行优化。最后，基于真实世界的数据的实验的性能。
2019-08-31 cs.CV cs.RO
Racing With ROS 2 A Navigation System for an Autonomous Formula Student Race Car
Queensland University of Technology（昆士兰科技大学）
本文提出基于 Robot Operating System 2 导航栈的开源方案，解决自动驾驶大学生方程式赛车高速导航挑战，通过对比现成库与定制程序降低准入门槛并作为教程。
2023-11-24 cs.CV cs.RO
Improving state-of-the-art in Detecting Student Engagement with Resnet and TCN Hybrid Network
Toronto Rehabilitation Institute（多伦多康复研究所）；University Health Network（大学健康网络）
自动检测学生在在线学习环境中的参与度是提高学习质量并向他们提供个性化学习材料的关键因素。学生在网上课堂上表现出的不同程度的参与是一种在空间和时间上发生的情感行为。因此，我们制定检测学生的参与度从视频作为一个时空分类问题。本文提出了一种新的端到端残差网络（ResNet）和时间卷积网络（TCN）混合神经网络架构，用于视频中学生参与度的检测。2D ResNet从连续的视频帧中提取空间特征，TCN分析视频帧中的时间变化以检测参与程度。混合网络的空间和时间臂在大型公开学生参与度检测数据集DAiSEE的原始视频帧上进行联合训练。我们在这个数据集上将我们的方法与几个竞争学生的参与度检测方法进行了比较。ResNet+TCN架构优于所有其他研究方法，提高了最先进的参与水平检测精度，并为未来的研究设定了新的基准。
2021-10-16 cs.CV cs.HC
DeSTSeg: Segmentation Guided Denoising Student-Teacher for Anomaly Detection
Tsinghua University（清华大学）；Apple（苹果公司）
视觉异常检测是计算机视觉中的一个重要问题，通常被表述为一类分类和分割任务。学生-教师（S-T）框架已被证明是解决这一挑战的有效方法。然而，以前的工作的基础上S-T只经验性地施加正常数据和融合的多层次信息的约束。在这项研究中，我们提出了一种名为DeSTSeg的改进模型，它将预训练的教师网络，去噪学生编码器-解码器和分割网络集成到一个框架中。首先，为了加强对异常数据的约束，我们引入了一个去噪过程，允许学生网络学习更鲁棒的表示。从合成损坏的正常图像，我们训练学生网络匹配教师网络的相同的图像没有损坏的功能。其次，为了自适应地融合多层次的S-T特征，我们训练一个分割网络，从合成的异常掩模丰富的监督，实现了实质性的性能改善。在工业检测基准数据集上的实验表明，我们的方法达到了最先进的性能，图像级AUC为98.6%，像素级平均精度为75.8%，实例级平均精度为76.4%。
2023-03-21 cs.CV
Student-Teacher Feature Pyramid Matching for Anomaly Detection
异常检测是一项具有挑战性的任务，通常被公式化为一类学习问题，用于异常的意外性。本文提出了一个简单而强大的方法来解决这个问题，这是实施在学生-教师框架的优点，但大大扩展了它的准确性和效率。给定一个在图像分类上预先训练的强模型作为老师，我们将知识提取到具有相同架构的单个学生网络中，以学习无异常图像的分布，并且这种一步转移尽可能多地保留了关键线索。此外，我们将多尺度特征匹配策略集成到框架中，这种分层特征匹配使学生网络能够在更好的监督下从特征金字塔接收多层次知识的混合，从而可以检测各种大小的异常。由两个网络生成的特征金字塔之间的差异用作指示异常发生的概率的评分函数。由于这样的操作，我们的方法实现了准确和快速的像素级异常检测。MVTec异常检测数据集提供了非常有竞争力的结果，优于最先进的结果。
2021-10-28 cs.CV
SE-SSD: Self-Ensembling Single-Stage Object Detector From Point Cloud
The Chinese University of Hong Kong（香港中文大学）
我们提出了自集成单级目标检测器（SE-SSD），用于在室外点云中准确有效地检测3D目标检测。我们的重点是利用软目标和硬目标与我们制定的约束，以共同优化模型，而不会在推理中引入额外的计算。具体来说，SE-SSD包含一对教师和学生SSD，其中我们设计了一个有效的基于IoU的匹配策略来过滤教师的软目标，并制定一致性损失，以使学生的预测与他们保持一致。此外，为了最大限度地提高教师的知识，我们设计了一个新的增强方案，以产生形状感知的增强样本训练学生，旨在鼓励它推断完整的对象形状。最后，为了更好地利用硬目标，我们设计了一个ODIoU损失，以监督学生的预测框中心和方向的约束。我们的SE-SSD与所有先前发表的作品相比达到最高性能。此外，它在KITTI基准测试中获得了汽车检测的最高精度（分别在BEV和3D排行榜上排名第一和第二），具有超高的推理速度。该代码可在https://github.com/Vegeta2020/SE-SSD上获得。
2021-04-20 cs.CV
