Qualcomm（高通）

Optimizing Teacher-Student Partitioning for Scalable Knowledge Distillation on HPC Systems

优化师生划分以实现 HPC 系统上的可扩展知识蒸馏

Adrian P. Dieguez, Victor Conchello Vendrell, Alex Batlle, Vinnam Kim, Jordi Ros-Giralt, Harris Teague

机构 * Qualcomm AI Research（高通AI研究） 纠错

AI总结 针对知识蒸馏中师生模型不对称性，提出 HPC 感知方法，通过解耦师生划分、避免冗余数据结构并选择最优拆分策略，在 HPC 集群上实现高达 67% 的吞吐量提升。