STEP: Scientific Time-Series Encoder Pretraining via Cross-Domain Distillation
STEP: 通过跨领域知识蒸馏实现科学时间序列的编码器预训练
机构 * Shanghai Aritificial Intelligence Laboratory(上海人工智能实验室) ; Tsinghua University(清华大学) ; Harbin Institute of Technology(哈尔滨工业大学) ; Sichuan University(四川大学) ; University of Cambridge(剑桥大学)
专题命中 领域大模型 :pretraining(title,abstract);foundation model(abstract);分类 cs.CL、cs.LG
AI总结 本文提出STEP框架,通过跨领域知识蒸馏整合多领域基础模型,构建统一的科学时间序列编码器,提升科学时间序列的表示学习能力。