Transfer learning seeks to improve the generalization performance of a target task by exploiting the knowledge learned from a related source task. Central questions include deciding what information one should transfer and when transfer can be beneficial. The latter question is related to the so-called negative transfer phenomenon, where the transferred source information actually reduces the generalization performance of the target task. This happens when the two tasks are sufficiently dissimilar. In this paper, we present a theoretical analysis of transfer learning by studying a pair of related perceptron learning tasks. Despite the simplicity of our model, it reproduces several key phenomena observed in practice. Specifically, our asymptotic analysis reveals a phase transition from negative transfer to positive transfer as the similarity of the two tasks moves past a well-defined threshold.
Probabilistic Multi-Layer Perceptrons for Wind Farm Condition Monitoring
Department of Computer Science, University College London(计算机科学系,伦敦大学学院);Department of Statistical Science, University College London(统计科学系,伦敦大学学院);Department of Statistics, Athens University of Economics and Business(统计系,雅典经济与商业大学)
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);USDA ARS Global Change and Photosynthesis Research Unit(美国农业部农业研究局全球变化与光合作用研究所);National Center for Supercomputing Applications, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校国家超级计算应用中心)
植物表型分析(Guo et al. 2021; Pieruschka et al. 2019)专注于研究与植物生长相关的植物的各种性状。更具体地说,通过精确测量植物的解剖学、个体发育学、生理和生化特性,它可以识别植物在不同环境中生长的关键因素。一种常用的方法是使用高光谱反射率来预测植物的性状(Yendrek et al. 2017; Wang et al. 2021)。然而,高光谱反射率数据在植物表型分析中的数据分布在不同的环境中可能会有所不同。也就是说,在不同环境中为一个工厂单独学习机器学习模型将是计算上扩展的。为了解决这一问题,我们重点研究了现代机器学习模型在植物表型分析中的知识可移植性。更具体地说,这项工作旨在回答以下问题。(1)传统机器学习模型的性能如何,例如,偏最小二乘回归(PLSR),高斯过程回归(GPR)和多层感知器(MLP),植物表型的注释样本的数量的影响?(2)基于神经网络的迁移学习模型能否提高植物表型分析的性能?(3)基于神经网络的迁移学习是否可以通过使用无限宽度的隐藏层来改进植物表型?
Domain adaption and physical constrains transfer learning for shale gas production
National Key Laboratory of Oil and Gas Reservoir Geology and Exploitation(油气藏地质及开发工程国家重点实验室);School of Science, Southwest Petroleum University(西南石油大学理学院);Institute for Artificial Intelligence, Southwest Petroleum University(西南石油大学人工智能研究院)
Multi-gauge Hydrological Variational Data Assimilation: Regionalization Learning with Spatial Gradients using Multilayer Perceptron and Bayesian-Guided Multivariate Regression
INRAE(法国国家农业食品与环境研究院);Aix-Marseille Université(艾克斯-马赛大学);Institut de Mécanique des Fluides de Toulouse (IMFT)(图卢兹流体力学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
Learning curves for the multi-class teacher-student perceptron
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);Institut de physique théorique(理论物理研究所);Universidade de São Paulo(圣保罗大学);Instituto de Física(物理研究所);Laboratoire de Physique de l’Ecole Normale Supérieure(巴黎高等师范学院物理实验室);Université PSL(巴黎文理研究大学)
Grokking phase transitions in learning local rules with gradient descent
Faculty of computer and information science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Faculty of mathematics and physics, University of Ljubljana(卢布尔雅那大学数学与物理学院)
Snowflake: Scaling GNNs to High-Dimensional Continuous Control via Parameter Freezing
University of Oxford(牛津大学)
最近的研究表明,图神经网络(GNN)可以学习与典型的多层感知器(MLP)一样有效的运动控制策略,具有卓越的传输和多任务性能(Wang et al.,2018; Huang等人,2020年)。到目前为止,结果仅限于对小型代理的训练,随着传感器和执行器数量的增加,GNN的性能迅速恶化。在监督学习环境中使用GNN的一个关键动机是它们对大型图的适用性,但这种好处尚未实现运动控制。我们确定了导致这种不良伸缩性的常见GNN架构的弱点:网络中编码,解码和传播消息的MLP中的过拟合。为了解决这个问题,我们引入了Snowflake,这是一种用于高维连续控制的GNN训练方法,可以冻结网络中遭受过拟合的部分参数。Snowflake显著提高了GNN在大型代理上的运动控制性能,现在与MLP的性能相匹配,并且具有优异的传输特性。