We develop new transfer learning algorithms to accelerate prediction of material properties from ab initio simulations based on density functional theory (DFT). Transfer learning has been successfully utilized for data-efficient modeling in applications other than materials science, and it allows transferable representations learned from large datasets to be repurposed for learning new tasks even with small datasets. In the context of materials science, this opens the possibility to develop generalizable neural network models that can be repurposed on other materials, without the need of generating a large (computationally expensive) training set of materials properties. The proposed transfer learning algorithms are demonstrated on predicting the Gibbs free energy of light transition metal oxides.
Improving automatic endoscopic stone recognition using a multi-view fusion approach enhanced with two-step transfer learning
Tecnologico de Monterrey, School of Engineering and Sciences, Mexico（墨西哥蒙特雷科技大学工程与科学学院）；CRAN UMR 7039, Université de Lorraine and CNRS, Nancy, France（法国洛林大学CNRS CRAN UMR 7039研究中心）；CINVESTAV, Guadalajara, Mexico（墨西哥瓜达拉哈拉科学技术研究所）；CHRU Nancy, Service d’urologie de Brabois, Nancy, France（法国南锡布拉布瓦大学医院泌尿外科）
A Hybrid Approach of Transfer Learning and Physics-Informed Modeling: Improving Dissolved Oxygen Concentration Prediction in an Industrial Wastewater Treatment Plant
Improving Automatic Jazz Melody Generation by Transfer Learning Techniques
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Taiwan AI Labs（台湾人工智能实验室）；Research Center for IT Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
Adaptive Bi-Recommendation and Self-Improving Network for Heterogeneous Domain Adaptation-Assisted IoT Intrusion Detection
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Macau（澳门大学）；University of New Brunswick（新不伦瑞克大学）
Improving Botnet Detection with Recurrent Neural Network and Transfer Learning
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Texas A&M University-Commerce（德克萨斯A&M大学-康默斯分校）；KISTI（韩国科学技术信息研究院）
僵尸网络检测是阻止僵尸网络传播和防止恶意活动的关键步骤。然而，可靠的检测仍然是一个具有挑战性的任务，由于各种各样的僵尸网络涉及不断增加的设备和攻击载体的类型。最近采用机器学习（ML）的方法显示出比早期方法改进的性能，但是这些基于ML的方法仍然具有显著的局限性。例如，大多数机器学习方法不能结合序列模式分析技术来检测某些类别的僵尸网络。基于ML的方法的另一个常见缺点是需要重新训练神经网络，以便检测不断发展的僵尸网络;然而，训练过程是耗时的，并且需要大量的工作来标记训练数据。对于快速发展的僵尸网络，在僵尸网络再次发生变化之前，创建足够的训练样本可能需要太长的时间。为了解决这些挑战，我们提出了一种新的僵尸网络检测方法，建立在循环变分自编码器（RVAE），有效地捕捉僵尸网络活动的顺序特征。在实验中，这种半监督学习方法取得了更好的检测精度比同类的学习方法，特别是对难以检测类。此外，我们设计了一个迁移学习框架，从精心策划的源数据集中学习，并将知识转移到以前从未见过的目标问题域。测试表明，使用迁移学习的真阳性率（TPR）高于使用目标数据集训练的RVAE半监督学习方法（91.8% vs. 68.3%）。
