MetaCaster: Meta-Harness-Optimized Agent for End-to-End Few-Shot Learning of Lightweight Time Series Forecasters
University of Houston(休斯顿大学);NEC Labs(NEC实验室);University of Waterloo(滑铁卢大学);University of Connecticut(康涅狄格大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Singapore Management University(新加坡管理大学)
针对资源受限场景下轻量级时间序列预测器小样本学习的困境,提出MetaCaster多智能体框架,可高效训练专用预测器,在18个数据集等实验中兼顾数据、计算效率与预测性能。
2026-09-07 cs.AI cs.LG
MetaShift: A Dataset of Datasets for Evaluating Contextual Distribution Shifts and Training Conflicts
Stanford University(斯坦福大学)
了解机器学习模型在不同数据分布中的性能对于可靠的应用程序至关重要。受此启发,人们越来越关注于策划捕获分布偏移的基准数据集。虽然有价值,但现有的基准是有限的,因为其中许多基准只包含少量的转变,而且它们缺乏关于不同转变之间差异的系统注释。我们提出MetaShift--一个包含410个类别的12,868组自然图像的集合--来解决这一挑战。我们利用Visual Genome及其注释的自然异质性来构建MetaShift。关键的构建思想是使用其元数据对图像进行聚类,该元数据为每个图像提供上下文(例如,“猫与汽车”或“猫在浴室”),这些图像代表不同的数据分布。MetaShift有两个重要的好处:第一,它包含比以前更多的自然数据转移数量级。其次,它提供了关于每个数据集的独特性的明确解释,以及测量任何两个数据集之间的分布偏移量的距离分数。我们展示了MetaShift在基准测试中的实用性,这些基准测试最近提出了一些训练模型对数据变化具有鲁棒性的建议。我们发现,简单的经验风险最小化执行最好的变化时,是温和的,没有方法有系统的优势,大的变化。我们还展示了MetaShift如何帮助在模型训练期间可视化数据子集之间的冲突。
2022-02-14 cs.AI cs.CL cs.CV
Multimodal Meta-Learning for Time Series Regression
University of Hildesheim(希尔德斯海姆大学);Volkswagen AG(大众汽车公司)
最近的工作已经表明了深度学习模型(如全卷积网络(FCN)或递归神经网络(RNN))处理时间序列回归(TSR)问题的效率。这些模型有时需要大量数据才能进行概括,但时间序列有时不够长,无法学习模式。因此,重要的是要利用跨时间序列的信息来改善学习。在本文中,我们将探索使用元学习的想法,通过修改模型不可知元学习(MAML)\cite{finn2017model}的原始思想,快速适应新的短历史时间序列的模型参数。此外,基于以前的工作多模态MAML \cite{vuorio2019multimodal},我们提出了一种方法,通过一个辅助网络,编码的时间序列的全局信息提取元特征的模型的参数条件。最后,我们将数据应用于不同领域的时间序列,例如污染测量,心率传感器和电池数据。我们的经验表明,我们提出的元学习方法学习TSR与几个数据快速和优于基线在12个实验中的9。
2021-11-02 cs.LG
Real World Time Series Benchmark Datasets with Distribution Shifts: Global Crude Oil Price and Volatility
UC Berkeley(加州大学伯克利分校)
针对金融领域带任务标签的时间序列基准匮乏问题,研究团队提出含30年数据、带分布偏移对应任务标签的COB原油基准数据集,证明加入标签可提升多种持续学习算法的预测性能,并公开相关数据与代码以推动领域研究。
2023-08-21 cs.AI cs.LG stat.ML
CATS: Mitigating Correlation Shift for Multivariate Time Series Classification
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院);Visa Research(Visa研究院)
针对多变量时间序列分类中跨域相关性变化被忽视的问题,本文提出即插即用的相关性适配器CATS,通过时间卷积和图注意力建模并对齐多变量相关性,以约1%的额外参数实现超过10%的平均准确率提升。
2025-04-05 cs.AI cs.LG stat.ML
Improving the Generalization of Meta-learning on Unseen Domains via Adversarial Shift
Nanjing University(南京大学)
元学习为学习者提供了一种有效的学习方式,并在许多应用中取得了巨大的成功。然而,大多数元学习文献都集中在处理来自同一领域的任务,这使得它很难推广到其他未知领域的任务。在这项工作中,我们解决这个问题,模拟任务从其他看不见的领域,以提高元学习方法的泛化和鲁棒性。具体来说,我们提出了一个与模型无关的转换层来学习如何模拟领域转换并生成伪任务,并开发了一种新的对抗性学习机制来训练它,基于伪任务,元学习模型可以学习跨领域的元知识,可以很好地推广到未知领域。我们进行了广泛的实验下的领域泛化设置。实验结果表明,该方法适用于各种元学习框架。此外,我们的方法也导致国家的最先进的性能在不同的跨域Few-Shot分类基准,并产生良好的结果跨域Few-Shot回归。
2021-07-23 cs.CV cs.LG
MetaRM: Shifted Distributions Alignment via Meta-Learning
Fudan University(复旦大学);Peking University(北京大学)
针对RLHF中奖励模型因策略输出分布偏移而区分能力下降的问题,本文提出MetaRM方法,利用元学习对齐偏移分布,实验证明其能显著提升RM在迭代优化及分布外样本上的区分能力。
2024-05-01 cs.CL cs.LG
Time series model selection with a meta-learning approach; evidence from a pool of forecasting algorithms
Lancaster University(兰卡斯特大学);Technical University of Ostrava(俄斯特拉发技术大学);Sharif University of Technology(谢里夫理工大学)
时间序列预测中最具挑战性的问题之一是如何找到最佳算法。近年来,推荐系统方案已经被开发用于使用元学习方法的时间序列分析。该系统结合时间序列的特点选择最佳的预测方法。在本文中,我们提出了一种新的方法,专注于一些未回答的问题,使用元学习在时间序列预测。因此,在以前的作品中,三个主要的差距,包括解决,分析各种子集的顶级预测元学习器的输入;评估预测误差的措施的效果;和评估的作用的特征空间的维数对元学习器的预测误差。所有这些目标都是在各种最先进的预测人员和元学习者的帮助下实现的。为此,首先,在NN 5竞争数据集上实现预测算法池,并基于两个误差度量进行排名。然后,在时间序列的提取特征上训练六个被称为元学习器的机器学习分类器,以便为预测器池的各个子集分配最合适的预测方法。此外,为了研究特征空间维数对元学习器性能的影响,本文还实现了两维约简方法。一般来说,元学习器能够击败所有的基准预测器;即使在应用特征选择方法之后,这种性能也得到了改善。
2019-08-22 cs.LG stat.ML
Large-Scale Meta-Learning with Continual Trajectory Shifting
KAIST(韩国科学技术院);Google(谷歌);AITRICS(艾特里克斯)
共享初始化参数的元学习已被证明在解决少样本学习任务方面非常有效。然而,将该框架扩展到多镜头场景,这可能会进一步增强其实用性,由于元学习在长链的内部梯度步骤上的技术困难而相对被忽视。在本文中,我们首先表明,允许元学习器采取更多的内部梯度步骤,更好地捕捉异构和大规模任务分布的结构,从而获得更好的初始化点。此外,为了增加元更新的频率,即使与过长的内部优化轨迹,我们建议估计所需的移位的任务特定的参数相对于初始化参数的变化。通过这样做,我们可以任意增加元更新的频率,从而大大提高元级收敛以及学习初始化的质量。我们验证了我们的方法在一组异构的大规模任务,并表明该算法大大优于以前的一阶元学习方法的泛化性能和收敛性,以及多任务学习和微调基线。
2022-02-16 cs.LG
Tailored Forecasting from Short Time Series via Meta-learning
University of Maryland(马里兰大学);Institute for Research in Electronics and Applied Physics(电子与应用物理研究所);Department of Electrical and Computer Engineering(电气与计算机工程系);Potomac Research LLC(波托马克研究公司);Institute for Physical Science and Technology(物理科学与技术研究所);Santa Fe Institute(圣菲研究所)
针对历史数据有限的动力系统预测难题,提出名为METAFORS的元学习方法,通过从相关系统长序列模型库学习构建适配短序列的定制模型,在模拟混沌系统测试中无需上下文标签即可可靠预测短期动力学与长期统计特性,在数据有限场景下优势显著。
2025-07-31 cs.LG nlin.CD physics.comp-ph
Test-Time Adaptation for Non-stationary Time Series: From Synthetic Regime Shifts to Financial Markets
Department of Statistics & Operations Research, UNC Chapel Hill(统计与运筹学系,UNC夏洛特山)
本文提出了一种小规模测试时适应框架,用于非平稳时间序列的因果预测和方向分类,在合成数据和金融市场中验证了其有效性。
2026-01-20 cs.LG q-fin.ST stat.ML
Meta-Learning for Koopman Spectral Analysis with Short Time-series
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室);Institute of Mathematics for Industry, Kyushu University(九州大学产业数学研究所);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心)
Koopman谱分析在非线性动力系统中引起了人们的注意,因为我们可以通过将数据嵌入到Koopman空间中来分析具有线性区域的非线性动力系统。为了分析,我们需要找到合适的嵌入函数。虽然已经提出了几种基于神经网络的方法来学习嵌入函数,但是现有的方法需要长的时间序列来训练神经网络。该限制禁止在仅可用短时间序列的应用程序中执行库普曼光谱分析。在本文中,我们提出了一种元学习方法,通过利用从相关但不同的时间序列中学习到的知识,从看不见的短时间序列中估计嵌入函数。利用该方法,通过双向LSTM获取给定短时间序列的表示,以提取其属性。短时间序列的嵌入函数由依赖于时间序列表示的神经网络建模。通过跨多个时间序列共享LSTM和神经网络,我们可以从不同的时间序列中学习公共知识,同时使用时间序列表示对特定于时间序列的嵌入函数进行建模。我们的模型经过训练,使得使用情景训练框架的预期测试预测误差最小化。我们的实验表明,所提出的方法在特征值估计和未来预测方面比现有的方法取得了更好的性能。
2021-02-09 cs.LG math.DS stat.ML
Combating Distribution Shift for Accurate Time Series Forecasting via Hypernetworks
Nanchang University(南昌大学);ETH Zurich(苏黎世联邦理工学院);The Hong Kong Polytechnic University(香港理工大学)
时间序列预测在城市生活中有着广泛的应用,从空气质量监测到交通分析。然而,准确的时间序列预测是具有挑战性的,因为现实世界的时间序列遭受的分布偏移的问题,其中它们的统计特性随时间而变化。尽管广泛的解决方案,分布偏移领域自适应或推广,他们无法有效地在未知的,不断变化的分布偏移,这是常见的时间序列。在本文中,我们提出了超时间序列预测(HTSF),一个基于超网络的准确预测框架下的分布偏移的时间序列。HTSF以端到端的方式联合学习时变分布和相应的预测模型。具体而言,HTSF利用超层来学习分布偏移的最佳表征,生成主层的模型参数以进行准确的预测。我们将HTSF实现为一个可扩展的框架,可以合并不同的时间序列预测模型,如RNN和Transformers。在9个基准上的大量实验表明,HTSF达到了最先进的性能。
2022-07-14 cs.AI cs.LG
Dish-TS: A General Paradigm for Alleviating Distribution Shift in Time Series Forecasting
University of Macau(澳门大学)
时间序列预测中的分布偏移是指序列分布随时间的变化,它在很大程度上阻碍了时间序列预测模型的性能。现有的工作对分布偏移的时间序列大多局限于分布的量化,更重要的是,忽略了潜在的移动之间的回望和地平线窗口。针对上述挑战,本文系统地将TSF的分布偏移分为两类。视回视窗口为输入空间,视水平窗口为输出空间,存在(i)空间内移位,即输入空间内的分布随时间推移而保持移位,以及(ii)空间间移位,即输入空间和输出空间之间的分布移位。然后,我们介绍,Dish TS,一个一般的神经范式,以减轻TSF的分布偏移。具体来说,为了更好地估计分布,我们提出了系数网络(CONET),它可以是任何神经架构,将输入序列映射到可学习的分布系数。为了减轻空间内和空间间的移位,我们将Dish-TS组织为Dual-CONET框架,以分别学习输入空间和输出空间的分布,从而自然地捕获两个空间的分布差异。此外,我们介绍了一个更有效的训练策略,顽固CONET学习。最后,我们在几个数据集上进行了广泛的实验,并结合了不同的最先进的预测模型。实验结果表明,Dish-TS一贯提高他们超过20%的平均改善。代码可用。
2023-03-14 cs.AI cs.LG
PAMod: Modeling Cyclical Shifts via Phase-Amplitude Modulation for Non-stationary Time Series Forecasting
Fudan University(复旦大学);Beihang University(北航);Beijing University of Posts and Telecommunications(北京邮电大学)
PAMod通过相幅调制在归一化特征空间中建模周期性分布位移,解决非平稳时间序列预测中的均值和方差变化问题,实现高效且低资源的高性能预测。
2026-05-01 cs.AI cs.LG
Tackling Time-Series Forecasting Generalization via Mitigating Concept Drift
Georgia Institute of Technology(佐治亚理工学院)
本文提出ShifTS框架,通过统一处理时间序列中的时间漂移和概念漂移,提升预测准确性。
2026-03-25 cs.LG
Frequency Matters: When Time Series Foundation Models Fail Under Spectral Shift
King AI Labs, Microsoft Gaming(King AI实验室,微软游戏);KTH Royal Institute of Technology(皇家理工学院);Kreditz AB(Kreditz公司);Fever Energy(Fever能源)
本文揭示时间序列基础模型在工业场景中泛化失败的关键原因是频谱偏移,并通过工业玩家参与度预测和受控合成实验验证该机制,进而呼吁设计频率感知的预训练与评估协议。
2025-11-06 cs.AI cs.LG
Context Shift Reduction for Offline Meta-Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Cambricon Technologies(寒武纪科技);University of Chinese Academy of Sciences(中国科学院大学);Intelligent Software Research Center, Institute of Software, CAS(中国科学院软件研究所智能软件研究中心);Shanghai Innovation Center(上海创新中心)
针对离线元强化学习中训练与测试阶段上下文分布偏移导致的任务推断错误、泛化能力下降问题,提出仅用离线数据的CSRO方法,通过两阶段策略影响消减机制,有效降低偏移并提升泛化性能。
2023-11-07 cs.AI cs.LG
QSMP: finding representative time series subsequences through Quick Shift+Matrix Profile
QSMP是结合Quick Shift与Matrix Profile的新方法,可从长时序数据中找代表性波形,空间复杂度优于现有方法,能用于长时序数据的总结与可视化。
2026-08-18 cs.LG
Distributionally Adaptive Meta Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对元强化学习在测试时任务分布偏移下失效的问题,提出训练一组具备不同鲁棒性水平的元策略并自适应选择,以实现快速适应、降低遗憾值。
2023-07-10 cs.AI cs.LG
Inner-Instance Normalization for Time Series Forecasting
Department of Physics, J.K. Institute of Science(J.K.科学研究院物理系);School of Science, Harbin Institute of Technology(哈尔滨工业大学科学学院);School of Science, Great Bay University(大湾大学科学学院);University of Intelligent Studies(智能研究大学)
针对时间序列预测中的实例内分布偏移问题,提出LD和LCD两种点级归一化方法,通过拟合内部分布或预测缩放系数,在公开基准上验证了其有效性。
2025-10-09 cs.AI cs.LG
Shifting the Paradigm: A Diffeomorphism Between Time Series Data Manifolds for Achieving Shift-Invariancy in Deep Learning
ETH Zurich(苏黎世联邦理工学院)
本文提出一种可微双射函数,将时间序列样本映射到同维流形,实现深度学习模型的完全平移不变性,无需修改模型拓扑,并在六个任务上持续提升性能。
2025-02-27 cs.LG
Time Series Prediction under Distribution Shift using Differentiable Forgetting
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
时间序列预测通常由于分布偏移而变得复杂,这需要自适应模型来适应时变分布。我们框架下的时间序列预测分布偏移作为一个加权的经验风险最小化问题。经验风险中先前观测值的权重由遗忘机制确定,该机制控制用于预测模型估计的相关性和有效样本大小之间的权衡。与以前的工作相比,我们提出了一个基于梯度的学习方法的参数的遗忘机制。这加速了优化,因此允许更多的表达性遗忘机制。
2022-07-23 cs.LG q-fin.ST
Koopman Neural Forecaster for Time Series with Temporal Distribution Shifts
UC San Diego(加州大学圣地亚哥分校);Google Cloud AI(谷歌云人工智能)
时间分布的变化,随着时间的推移,潜在的动态变化,经常发生在现实世界的时间序列,并提出了一个根本性的挑战,深神经网络(DNN)。在本文中,我们提出了一种基于Koopman理论的新型深度序列模型用于时间序列预测:Koopman神经预测器(KNF),它利用DNN来学习线性Koopman空间和所选测量函数的系数。KNF施加适当的归纳偏差,以提高对分布变化的鲁棒性,采用全局运算符来学习共享特征,采用局部运算符来捕获不断变化的动态,以及专门设计的反馈循环,随着时间的推移不断更新学习到的运算符,以快速变化行为。我们证明,\ours{}实现了优越的性能相比,替代品,多个时间序列数据集,被证明遭受分布偏移。
2023-02-28 cs.LG stat.ML
Cross-Frequency Time Series Meta-Forecasting
Stanford University(斯坦福大学);AWS AI Labs(AWS人工智能实验室)
元预测是元学习与时间序列预测相结合的一个新兴领域。元预测的目标是对源时间序列的集合进行训练,并一次一个地推广到新的时间序列。以前的元预测方法实现了竞争性的性能,但限制了为每个采样频率训练单独的模型。在这项工作中,我们研究了不同采样频率下的元预测,并引入了一个新的模型,连续频率适配器(CFA),专门用于学习频率不变表示。我们发现CFA在推广到不可见频率时大大提高了性能,为在更大的多频率数据集上进行预测迈出了第一步。
2023-02-04 cs.LG
APT: Affine Prototype-Timestamp For Time Series Forecasting Under Distribution Shift
针对分布偏移下时间序列预测中现有模型依赖局部统计归一化的局限,提出轻量插件模块APT,通过时间戳条件原型学习生成仿射参数注入归一化-预测流程,兼容多骨干网络且显著提升分布偏移下的预测性能。
2025-11-17 cs.LG
Modeling Regime Shifts in Multiple Time Series
University of Sherbrooke(舍布鲁克大学);University of Quebec at Montreal(魁北克大学蒙特利尔分校)
我们调查的问题,发现和建模政权转移的生态系统包括多个时间序列称为共同发展的时间序列。区系转换是指序列在不同时间间隔内表现出的变化行为。学习这些变化的行为是时间序列预测的关键一步。虽然已经取得了进展,但现有方法存在以下缺点中的一个或多个:(1)未能考虑时间序列之间的关系以发现多个时间序列中的状态;(2)缺乏对序列所表现出的时间依赖行为进行建模的有效方法;(3)难以处理可能是信息性的数据不连续性。现有的大多数方法无法在一个统一的框架内处理这三个问题。因此,这促使我们努力设计一个原则性的方法来建模相互作用和时间依赖性的共同发展的时间序列。具体来说,我们通过将大量的时间序列集合总结成一个更轻、更有意义的结构(称为\textit{mapping grid})来对多个时间序列的生态系统进行建模。通过使用映射网格,我们的模型首先通过动态网络表示来学习时间序列行为依赖关系,然后通过完全时间依赖的Cox回归模型来学习状态转换机制。我们的方法的独创性在于在政权识别的时间序列之间的相互作用建模和建模时间依赖的政权转移概率,通常假设是静态的现有工作。
2022-05-13 cs.LG stat.ML
Learning by Shifting: Temporal View Construction for Time Series Contrastive Learning
Norwegian University of Science and Technology(挪威科技大学);United States Naval Academy(美国海军学院)
提出Shift Invariant Feature Training (ShiFT)方法,通过确定性视图构建编码时间移位不变性,在六个真实世界时间序列基准和UCR/UEA数据集上达到最优性能,并减少训练时间。
2026-06-23 cs.LG
TADA: Temporal Adversarial Data Augmentation for Time Series Data
Medical AI Co. Ltd.(医疗人工智能有限公司)
针对时间序列数据中传统对抗数据增强无法处理时间特征分布偏移的问题,提出TADA方法,利用频域相移与时域时间移位的对偶性将时间规整引入ADA使其可微,实验证明其优于现有方法并能有效模拟真实分布偏移。
2024-10-15 cs.AI cs.LG eess.SP
Meta-Forecasting by combining Global Deep Representations with Local Adaptation
IIT(意大利理工学院);UCL(伦敦大学学院);Amazon Web Services(亚马逊云服务)
虽然经典的时间序列预测孤立地考虑单个时间序列,但基于深度学习的最新进展表明,从大量相关时间序列中联合学习可以提高预测准确性。然而,当对样本外时间序列建模时,这些方法的准确性会受到很大影响,与经典预测方法相比,显着限制了它们的适用性。为了弥合这一差距,我们采用元学习的时间序列预测问题的观点。我们引入了一种新的预测方法,称为Meta全局-局部自回归(Meta-GLAR),它通过学习从递归神经网络(RNN)产生的表示到一步预测的封闭形式的映射来适应每个时间序列。至关重要的是,RNN的参数是通过封闭形式的自适应机制通过反向传播在多个时间序列中学习的。在我们广泛的实证评估中,我们表明,我们的方法是有竞争力的国家的最先进的样本预测精度在早期的工作。
2021-11-12 cs.AI cs.LG stat.ML
Non-Stationarity in the Embedding Space of Time Series Foundation Models
Auton Lab(自动化实验室);Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
研究时间序列基础模型嵌入空间中非平稳性的检测方法,分析不同分布非平稳性和时间非平稳性对模型检测能力的影响。
2026-04-06 cs.AI cs.LG stat.ML
Metadata Matters for Time Series: Informative Forecasting with Transformers
Tsinghua University(清华大学)
本研究提出元数据感知时间序列Transformer(MetaTST),将元数据编码为令牌融入预测模型,在多类预测基准上实现了性能突破。
2024-10-04 cs.CL cs.LG
Incorporating Metabolic Information into LLMs for Anomaly Detection in Clinical Time-Series
Saarland University(萨尔大学);DFKI(德国人工智能研究中心)
本文提出代谢通路驱动提示方法,将代谢领域知识融入大语言模型,以提升临床时间序列异常检测能力,并在运动员类固醇代谢兴奋剂检测中验证了其有效性。
2024-11-24 cs.AI cs.LG q-bio.QM
Transferable Time-Series Forecasting under Causal Conditional Shift
Guangdong University of Technology(广东工业大学);Peng Cheng Laboratory(鹏城实验室);Shantou University(汕头大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于因果条件偏移假设的端到端模型,用于半监督时间序列预测域适应,可发现跨域格兰杰因果结构,实现准确可解释的预测。
2023-09-06 cs.LG
Model-Agnostic Online Certificate-Driven Calibration for Time Series Forecasting Under Distribution Shift
提出模型无关的在线鞅概率近似正确贝叶斯框架,利用证书作为正则化器校准预测器,在分布漂移下提升时间序列预测的稳定性和准确性。
2026-10-06 cs.LG
Symbol-Temporal Consistency Self-supervised Learning for Robust Time Series Classification
Department of Computer Science, University of Texas Rio Grande Valley(计算机科学系,德克萨斯大学里奥格兰德谷分校)
针对数字健康中时间序列数据分布偏移问题,提出利用符号袋表示的自监督学习框架,以增强模型对噪声和偏移的鲁棒性,实验证明在显著偏移下性能更优。
2025-09-24 cs.LG
TMAML: Temporal Model-Agnostic Meta-Learning for Cold-Start Time Series Forecasting
Ghent University(根特大学)
针对冷启动时间序列预测,提出时间模型无关元学习(TMAML),通过构建时间一致的元任务并优化模型,使预测模型在少数据下快速适应,实证表明其优于或匹配标准训练模型。
2026-10-06 cs.LG
A study on Ensemble Learning for Time Series Forecasting and the need for Meta-Learning
NEC Laboratories Europe GmbH(NEC欧洲研究院)
本文的贡献有两个方面:(1)我们引入了一系列用于时间序列预测的集成方法,以组合来自基础模型的预测。我们展示了集成学习预测能力的见解,展示了来自M4,M5,M3竞赛以及FRED(美联储经济数据)数据集的大约16000个公开数据集的实验结果。虽然实验表明,集成提供了预测结果的好处,没有明确的获胜集成策略(加上超参数配置)。因此,此外,(2),我们提出了一个元学习步骤,为每个数据集选择最合适的集成方法及其超参数配置,以基于数据集元特征运行。
2021-04-23 cs.LG
Adapting to the Unknown: Robust Meta-Learning for Zero-Shot Financial Time Series Forecasting
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对零样本金融时间序列预测现有元学习方法表现不佳的问题,提出基于GMM软聚类的双类型元任务构建方法结合难任务挖掘,在高波动及新兴市场数据上实现更优的零样本泛化性能。
2025-08-01 cs.LG
Evolving Multi-Scale Normalization for Time Series Forecasting under Distribution Shifts
Alibaba Group(阿里巴巴集团);Imperial College London(伦敦帝国学院);The University of Hong Kong(香港大学);Squirrel Ai Learning(松鼠AI学习)
针对时间序列预测中的分布偏移问题,本文提出模型无关的演化多尺度归一化框架EvoMSN,通过多尺度统计预测、自适应集成和协同演化优化提升主流预测方法性能。
2024-09-29 cs.LG stat.ML
A Meta-learning Approach to Reservoir Computing: Time Series Prediction with Limited Data
Potomac Research, LLC(波托马克研究有限责任公司);University of Maryland(马里兰大学)
最近的研究已经建立了机器学习的有效性,用于数据驱动的未知动力系统(包括混沌系统)的未来演化预测。然而,这些方法需要大量的测量时间序列数据的过程进行预测。当只有有限的数据可用时,预报员被迫强加重要的模型结构,该模型结构可能准确地或不准确地表示感兴趣的过程。在这项工作中,我们提出了一个元学习方法储备池计算(MARC),数据驱动的方法,自动提取一个适当的模型结构,从实验观察到的“相关”的过程,可用于大大减少所需的数据量,成功训练预测模型。我们在一个简单的基准问题上展示了我们的方法,它击败了最先进的元学习技术,以及一个具有挑战性的混沌问题。
2021-10-07 cs.LG
Heterogeneity-Informed Meta-Parameter Learning for Spatiotemporal Time Series Forecasting
Southern University of Science and Technology(南方科技大学);The University of Tokyo(东京大学);Hong Kong University of Science and Technology(香港科技大学);Squirrel AI(松鼠AI);Jilin University(吉林大学)
本文提出HimNet,通过时空嵌入隐式捕捉异质性,并从元参数池学习时空特定参数,在五个基准上取得最先进预测性能并具备优越可解释性。
2024-09-03 cs.LG
Exploiting chemical shift variability enables recovery of overlapping metabolites from 1H nuclear magnetic resonance spectra
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学)
本研究提出BSI-NMF方法,利用化学位移变异性解决1D 1H NMR谱中代谢物重叠峰问题,可准确恢复现有方法遗漏的代谢物信号,为代谢物分析提供新途径。
2026-08-11 cs.LG q-bio.QM
A Meta-Knowledge-Augmented LLM Framework for Hyperparameter Optimization in Time-Series Forecasting
LLM-AutoOpt通过结合贝叶斯优化与大型语言模型的上下文推理,提升时间序列预测中超参数优化的性能和可解释性。
2026-02-16 cs.LG
MetaKoopman: Bayesian Meta-Learning of Koopman Operators for Modeling Structured Dynamics under Distribution Shifts
TRATON(特拉顿集团);KTH Royal Institute of Technology(瑞典皇家理工学院)
MetaKoopman作为贝叶斯元学习框架,通过学习Koopman算子先验实现分布偏移下非线性动力学的精准建模与预测,在卡车挂车系统的野外及模拟任务中表现优于现有方法,可用于鲁棒运动规划。
2026-07-30 cs.LG cs.RO cs.SY
What went wrong and when? Instance-wise Feature Importance for Time-series Models
University of Toronto(多伦多大学);Vector Institute(向量研究所);Harvard University (SEAS)(哈佛大学工程与应用科学学院);Lunenfeld Tanenbaum Research Institute(卢嫩菲尔德-塔南鲍姆研究所);The Hospital for Sick Children(病童医院)
时间序列模型的简化对于像医疗保健这样的高风险应用是有用的,但是在机器学习文献中很少受到关注。我们提出了FIT,一个框架,通过量化预测分布随时间的变化来评估多变量时间序列黑箱模型观测的重要性。FIT根据其对KL发散下分布变化的贡献来定义观察的重要性,KL发散将预测分布与其余特征未观察到的反事实进行对比。我们还证明了需要控制随时间变化的分布偏移。我们将模拟和真实世界临床数据与最先进的基线进行比较,并证明我们的方法在识别整个时间序列的重要时间点和观察结果方面具有优势。
2020-10-28 cs.LG stat.ML
Meta-learning framework with applications to zero-shot time-series forecasting
Element AI;Mila(米拉(魁北克人工智能研究所))
元学习能否从不同的数据集中发现处理时间序列的通用方法,从而大大提高对来自不同数据集的新时间序列的泛化能力?这项工作提供了积极的证据,这使用一个广泛的元学习框架,我们表明,包括许多现有的元学习算法。我们的理论分析表明,残余连接作为一个元学习适应机制,产生一个子集的任务特定的参数的基础上,一个给定的TS输入,从而逐步扩大的表达能力的架构上的飞行。通过线性化分析示出了相同的机制,以具有最终线性层的顺序更新的解释。我们的实证结果对广泛的数据强调的重要性,成功的zero-shot单变量预测确定的元学习机制,这表明它是可行的训练一个神经网络源TS数据集和部署在不同的目标TS数据集没有再训练,导致性能至少是一样好的实践单变量预测模型。
2020-12-14 cs.LG stat.ML
A new benchmark for group distribution shifts in hand grasp regression for object manipulation. Can meta-learning raise the bar?
Trinity College Dublin(都柏林圣三一学院);Maynooth University(梅努斯大学)
利用计算机视觉理解手-物体姿态为混合现实、辅助生活或人机交互等新应用打开了大门。大多数方法都是在平衡数据集上训练和评估的。这在现实世界的应用程序中使用有限;这些方法如何在未知对象上执行?我们提出了一个新的基准对象组分布偏移在手和对象姿态回归。然后,我们测试了一个假设,即元学习基线姿势回归神经网络可以适应这些变化,并更好地推广到未知对象。我们的研究结果显示,根据先验知识的量,在基线上有可测量的改进。对于联合手物体姿态回归的任务,我们观察到元学习器的优化干扰。为了解决这个问题,并进一步改进方法,我们提供了一个全面的分析,应作为今后工作的基础上,这个基准。
2022-10-31 cs.CV cs.LG
Two-Step Meta-Learning for Time-Series Forecasting Ensemble
Kaunas University of Technology(考纳斯理工大学);Rivile(Rivile私人有限责任公司)
收集的历史数据量增加,对自动预测时间序列的商业智能适用性的需求很高。虽然没有一个单一的时间序列建模方法是通用的所有类型的动态,预测使用的几种方法的合奏往往被视为一种妥协。我们建议使用元学习自适应地预测这些方面,而不是固定集成多样性和大小。这里的元学习考虑了两个独立的随机森林回归模型,建立在390个时间序列特征上,对22个单变量预测方法进行排名并推荐集成大小。因此,预测集合由排名最佳的方法组成,并使用简单平均或加权平均(权重对应于倒数排名)来汇总预测。所提出的方法进行了测试12561微观经济时间序列(扩大到38633各种预测视野)的M4竞争,元学习优于Theta和梳基准的相对预测误差为所有数据类型和视野。通过加权合并获得了最佳总体结果,对称平均绝对百分比误差为9.21%,而使用Theta方法获得的平均绝对百分比误差为11.05%。
2022-04-15 cs.LG stat.ME stat.ML
Evaluating Time Series Foundation Models for Electricity Price Forecasting: Contamination Risk, Distributional Shifts, and Covariate Dependence
针对电价预测中时间序列基础模型在协变量驱动、非平稳设置下泛化不足的问题,提出双数据集基准框架,评估其多方面表现,发现该模型有竞争力但性能依赖协变量支持,简单集成有潜力。
2026-10-08 cs.LG cs.SY eess.SY