arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2310.10688cs.CLcs.AIcs.LG

一种仅解码器的时间序列预测基础模型

A decoder-only foundation model for time-series forecasting

Google Research(谷歌研究院)

Abhimanyu Das, Weihao Kong, Rajat Sen, Yichen Zhou

AI总结:

受NLP大模型启发,提出一种仅解码器的时间序列基础模型,通过在大规模语料上预训练补丁解码器注意力模型,实现零样本预测性能接近各数据集上的监督模型,且适应多种预测长度与粒度。

摘要:

受自然语言处理(NLP)领域大型语言模型近期进展的启发,我们设计了一种用于预测的时间序列基础模型,其在多种公开数据集上的开箱即用零样本性能接近每个单独数据集上最先进的监督预测模型的准确度。我们的模型基于在大型时间序列语料库上预训练一个补丁解码器风格的注意力模型,并且能够很好地适应不同的预测历史长度、预测长度和时间粒度。

英文摘要:

Motivated by recent advances in large language models for Natural Language Processing (NLP), we design a time-series foundation model for forecasting whose out-of-the-box zero-shot performance on a variety of public datasets comes close to the accuracy of state-of-the-art supervised forecasting models for each individual dataset. Our model is based on pretraining a patched-decoder style attention model on a large time-series corpus, and can work well across different forecasting history lengths, prediction lengths and temporal granularities.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑