arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2007.06737cs.LGstat.ML
收藏

基于最优传输的表示迁移

Representation Transfer by Optimal Transport

Université de technologie de Compiègne(贡比涅技术大学);CNRS(法国国家科学研究中心);Baidu Research(百度研究院);Université Bretagne-Sud(南布列塔尼大学);IRISA(法国国家信息与自动化研究所雷恩-布勒斯特-南特研究所)

Xuhong Li, Yves Grandvalet, Rémi Flamary, Nicolas Courty, Dejing Dou

摘要:

使用深度网络学习通用表示需要大量训练样本和大量计算机资源。为了学习新的特定任务,一个重要的问题是将通用教师的表示转移到学生网络。在本文中,我们建议使用一个度量之间的表示,是基于神经元的功能视图。我们使用最优传输来量化两个表示之间的匹配,从而产生一个距离,该距离嵌入了深度网络表示所固有的一些不变性。这个距离定义了一个正则化子,它促进了学生的表示与教师的表示的相似性。我们的方法可以用于任何学习环境中的代表性转移是适用的。我们在这里实验两个标准设置:归纳迁移学习,其中教师的表示被转移到一个学生网络的相同架构的一个新的相关任务,和知识蒸馏,其中教师的表示被转移到一个学生的更简单的架构相同的任务(模型压缩)。我们的方法也适用于解决新的学习问题,我们证明了这一点,通过展示如何直接将教师的代表性,以一个简单的建筑学生的一个新的相关任务。

英文摘要:

Learning generic representations with deep networks requires massive training samples and significant computer resources. To learn a new specific task, an important issue is to transfer the generic teacher's representation to a student network. In this paper, we propose to use a metric between representations that is based on a functional view of neurons. We use optimal transport to quantify the match between two representations, yielding a distance that embeds some invariances inherent to the representation of deep networks. This distance defines a regularizer promoting the similarity of the student's representation with that of the teacher. Our approach can be used in any learning context where representation transfer is applicable. We experiment here on two standard settings: inductive transfer learning, where the teacher's representation is transferred to a student network of same architecture for a new related task, and knowledge distillation, where the teacher's representation is transferred to a student of simpler architecture for the same task (model compression). Our approach also lends itself to solving new learning problems; we demonstrate this by showing how to directly transfer the teacher's representation to a simpler architecture student for a new related task.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑