Tabby：时间序列基础模型的开放预训练配方
Tabby: An Open Pretraining Recipe for Time Series Foundation Models
浏览论文内容
中文总结 AI 辅助
Tabby是一个长上下文时间序列基础模型，采用仅编码器补丁Transformer架构，结合真实与合成数据预训练，支持预测、分类和异常检测，在多个基准上表现优异。
中文摘要 AI 辅助
在本报告中，我们发布了Tabby，一个长上下文概率时间序列基础模型，并附带了其构建过程的完整且开放的配方。Tabby采用仅编码器的补丁Transformer架构，并将贡献集中在数据和训练过程上。预训练语料库结合了扩展的真实世界数据集GIFT-Eval-Pretrain+和BLAST，以及来自KernelSynth和CauKerV2的合成数据，后者是一个通过随机采样的结构因果模型组合时间动态的在线生成器。训练将渐进收敛计划（可产生可复用的中间检查点）与中间层的深度分位数监督目标相结合。由此产生的145M参数骨干网络支持长达8,192个观测值的上下文，并服务于预测、分类和异常检测，而提示微调模块在预训练权重冻结的情况下进一步提高了分布内预测性能。Tabby在GIFT-Eval和分布外TIME基准上取得了具有竞争力的零样本预测性能，而相同的预训练骨干网络也支持UCR档案上的分类和TSB-AD-U上的零样本异常检测。我们在huawei-noah/trustworthyAI开源了训练流程和模型。
英文摘要
In this report, we release Tabby, a long context probabilistic time series foundation model, together with a complete and open recipe of how it was built. Tabby adopts an encoder-only patch Transformer architecture and concentrates the contributions on the data and the training procedure. The pretraining corpus combines an extended real-world collection, GIFT-Eval-Pretrain+ and BLAST, with synthetic data from KernelSynth and CauKerV2, an online generator that composes temporal dynamics through randomly sampled structural causal models. Training couples a progressive convergence schedule, which yields reusable intermediate checkpoints, with a deep quantile supervision objective for intermediate layers. The resulting 145M parameter backbone supports contexts of up to 8,192 observations and serves forecasting, classification, and anomaly detection, while a prompt-tuning module further improves in-distribution forecasting performance with the pretrained weights frozen. Tabby achieves competitive zero-shot forecasting performance on GIFT-Eval and the out-of-distribution TIME benchmark, while the same pretrained backbone also supports classification on the UCR Archive and zero-shot anomaly detection on TSB-AD-U. We release training pipeline and model as open source at huawei-noah/trustworthyAI.
发表机构
- LIPADE, Université Paris Cité（巴黎西岱大学LIPADE实验室）
- École Polytechnique（巴黎综合理工学院）
- Centre de Recherche en Informatique, Mines Paris, PSL University（巴黎高等矿业学院计算机研究中心，巴黎文理研究大学）
- IRISA, Université Rennes 2, Inria（雷恩第二大学IRISA实验室，法国国家信息与自动化研究所）
机构由 AI 辅助整理，请以论文原文为准。
