Cross-Node Federated Graph Neural Network for Spatio-Temporal Data Modeling
University of Southern California(南加州大学)
从传感器、可穿戴设备和物联网(IoT)设备网络生成的大量数据强调了对先进建模技术的需求,这些技术可以利用分散数据的时空结构,因为需要边缘计算和许可(数据访问)问题。虽然联邦学习(FL)已经成为一个模型训练框架,而不需要直接的数据共享和交换,有效地建模复杂的时空依赖关系,以提高预测能力仍然是一个悬而未决的问题。另一方面,最先进的时空预测模型假定可以不受限制地访问数据,忽略了对数据共享的限制。为了弥合这一差距,我们提出了一个联邦时空模型-跨节点联邦图神经网络(CNFGNN)-它使用基于图神经网络(GNN)的架构在跨节点联邦学习的约束下显式编码底层图结构,这要求节点网络中的数据在每个节点上本地生成,并保持分散。CNFGNN通过将设备上的时间动态模型和服务器上的空间动态模型分开来运行,利用交替优化来降低通信成本,促进边缘设备上的计算。在流量预测任务上的实验表明,CNFGNN在直推和归纳学习设置中都实现了最佳的预测性能,在边缘设备上没有额外的计算成本,同时产生适度的通信成本。
2021-06-09 cs.AI cs.LG
Graph-Conditioned Mixture of Graph Neural Network Experts for Traffic Forecasting
Future Computing Group, University of Oulu(奥卢大学未来计算组)
提出GC-MoE框架,通过图拓扑和近期交通输入为每个节点分配个性化专家组合,仅训练轻量路由模块,在四个基准上提升MAE。
2026-05-28 cs.AI cs.LG
Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting
UNSW(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Griffith University(格里菲斯大学)
在相关的时间序列数据中建模复杂的空间和时间相关性对于理解交通动态和预测不断发展的交通系统的未来状态是必不可少的。最近的工作集中在设计复杂的图神经网络架构,以捕捉共享模式的帮助下,预定义的图。在本文中,我们认为,学习节点特定的模式是必不可少的流量预测,而预定义的图是可以避免的。为此,我们提出了两个自适应模块,以增强图卷积网络(GCN)的新功能:1)节点自适应参数学习(NAPL)模块捕捉节点特定的模式; 2)数据自适应图生成(DAGG)模块,自动推断不同的流量序列之间的相互依赖关系。我们进一步提出了一个自适应图卷积递归网络(AGCRN)自动捕获细粒度的空间和时间相关性的流量序列的基础上的两个模块和递归网络。我们在两个真实世界的流量数据集上的实验表明,AGCRN在没有预定义的空间连接图的情况下,性能明显优于最先进的算法。
2020-10-22 cs.LG stat.ML
TraverseNet: Unifying Space and Time in Message Passing for Traffic Forecasting
University of Technology Sydney(悉尼科技大学);Amazon(亚马逊);Monash University(莫纳什大学);Griffith University(格里菲斯大学)
本文的目的是统一的空间依赖性和时间依赖性在一个非欧空间,同时捕捉内部的时空依赖性的交通数据。对于具有拓扑结构的时空属性实体,其时空是连续的、统一的,而每个节点的当前状态受其邻居节点在不同时期的历史状态的影响。大多数用于交通预测的时空神经网络在处理过程中将空间相关性和时间相关性分开研究,严重损害了时空的完整性,忽略了相邻节点的时间相关周期具有延迟性和动态性的事实。为了模拟这种实际情况,我们提出了TraverseNet,一种新的时空图神经网络,将空间和时间视为一个不可分割的整体,挖掘时空图,同时利用每个节点通过消息遍历机制的演变时空依赖关系。消融和参数研究的实验验证了所提出的TraverseNet的有效性,详细的实现可以从https://github.com/nnzhan/TraverseNet找到。
2022-06-27 cs.AI cs.LG
Semi-decentralized Inference in Heterogeneous Graph Neural Networks for Traffic Demand Forecasting: An Edge-Computing Approach
New Jersey Institute of Technology(新泽西理工学院);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出一种基于多个cloudlets的半去中心化异构GNN-LSTM方法,用于出租车交通需求预测,有效缓解了去中心化GNN的通信开销并提升了可扩展性,使整体推理时间相比集中式和去中心化方案降低约一个数量级。
2023-04-06 cs.AI cs.LG
ST-FiT: Inductive Spatial-Temporal Forecasting with Limited Training Data
University of Virginia(弗吉尼亚大学);Florida State University(佛罗里达州立大学)
针对时空图中多数节点缺乏训练数据的问题,提出归纳式预测框架ST-FiT,通过时间数据增强和空间图拓扑学习,使现有STGNNs能泛化到无数据节点,实验验证其有效性。
2024-12-17 cs.AI cs.LG stat.ML
Long-term Spatio-temporal Forecasting via Dynamic Multiple-Graph Attention
RMIT University(皇家墨尔本理工大学);Xidian University(西安电子科技大学);Qatar Mobility Innovations Center(卡塔尔移动创新中心);Qatar University(卡塔尔大学);Arizona State University(亚利桑那州立大学);University of California Davis(加州大学戴维斯分校);University of New South Wales(新南威尔士大学);ETH Zurich(苏黎世联邦理工学院)
许多现实世界中无处不在的应用,如停车推荐和空气污染监测,都从准确的长期时空预测(LSTF)中受益匪浅。LSTF利用了空间域和时间域之间的长期依赖关系、上下文信息以及数据中的固有模式。最近的研究揭示了多图神经网络(MGNNs)提高预测性能的潜力。然而,现有的MGNN方法不能直接应用于LSTF由于几个问题:低水平的通用性,上下文信息的使用不足,和不平衡的图融合方法。为了解决这些问题,我们构建了新的图模型来表示每个节点的上下文信息和长期的时空数据依赖结构。为了融合多个图之间的信息,提出了一种新的动态多图融合模块,通过空间注意力和图注意力机制来刻画图内节点和图间节点的相关性。此外,我们引入了一个可训练的权重张量来表示不同图中每个节点的重要性。在两个大规模数据集上的大量实验表明,我们提出的方法显着提高了现有图神经网络模型在LSTF预测任务中的性能。
2022-07-21 cs.AI cs.LG
It is all Connected: A New Graph Formulation for Spatio-Temporal Forecasting
University of Oslo(奥斯陆大学);Institute for Energy Systems (IFE)(能源系统研究所(IFE))
随着现代社会中传感器数量的不断增加,时空时间序列预测已成为对未来做出明智决策的事实上的工具。大多数时空预测模型通常包括学习空间和时间依赖性的不同组件。一种常见的方法采用一些图神经网络(GNN)来捕获空间位置之间的关系,而另一种网络,如递归神经网络(RNN),则学习时间相关性。通过将每个记录的样本表示为图中其自己的节点,而不是将特定位置的所有测量值表示为单个节点,时间和空间信息以类似的方式编码。在这种情况下,GNN现在可以直接学习时间和空间依赖性,同时还可以减少对额外时间网络的需求。此外,该框架不要求在时间维度上进行一致的测量,这意味着它也自然有助于处理不规则的时间序列、不同的采样频率或缺失的数据,而不需要进行数据填补。为了评估所提出的方法,我们将风速预测作为一个案例研究,其中我们提出的框架优于其他时空模型,使用带有Transformer或LSTM网络的GNN作为时间更新函数。
2023-03-23 cs.LG
Examining COVID-19 Forecasting using Spatio-Temporal Graph Neural Networks
Google Research(谷歌研究院)
在这项工作中,我们研究了一种使用图神经网络和移动数据进行COVID-19病例预测的新预测方法。与现有的时间序列预测模型相比,所提出的方法从单个大规模时空图中学习,其中节点表示区域级别的人类移动性,空间边缘表示基于人类移动性的区域间连通性,时间边缘表示节点随时间的特征。我们在美国县级COVID-19数据集上评估了这种方法,并证明了图神经网络利用的丰富空间和时间信息使模型能够学习复杂的动态。与表现最好的基线模型相比,我们显示RMSLE降低了6%,绝对Pearson相关性从0.9978提高到0.998。这种新的信息来源与基于图形的深度学习方法相结合,可以成为了解COVID-19传播和演变的强大工具。我们鼓励其他人进一步开发一种基于GNN和高分辨率移动数据的传染病建模范例。
2020-07-06 cs.LG cs.SI
GraphToolbox: A Configurable Framework for Controlled Benchmarking of Graph Neural Network Forecasting
Centre Borelli, ENS Paris-Saclay(巴黎萨克雷高等师范学院博雷利中心);EDF Lab(法国电力公司实验室);Laboratoire de Mathématiques d'Orsay, Université Paris-Saclay(巴黎萨克雷大学奥赛数学实验室)
GraphToolbox是一个基于PyTorch Geometric的可配置Python框架,统一了图构建、模型训练、聚合与解释,在电力负荷预测中实现系统性架构评估,并降低预测误差。
2026-11-11 cs.AI cs.LG
An Adaptive Approach for Probabilistic Wind Power Forecasting Based on Meta-Learning
Tsinghua University(清华大学);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
提出一种含离线元学习与在线增量学习的自适应概率风电功率预测方法,可实现不同提前时间和新建风电场场景的时间与空间适应,并在真实数据集上验证了优势。
2023-08-15 cs.LG cs.SY eess.SY
Smoothed Bernstein Online Aggregation for Day-Ahead Electricity Demand Forecasting
House of Energy Markets and Finance(能源市场与金融研究院);University of Duisburg-Essen(杜伊斯堡-埃森大学)
我们介绍了IEEE数据端口竞赛的获胜方法,即提前一天的电力需求预测:后COVID范式。日前负荷预测方法是基于多点预测模型的在线预测组合。它包含四个步骤:i)数据清洗和预处理,ii)假日调整程序,iii)个体预测模型的训练,iv)通过平滑Bernstein在线聚合(BOA)的预测组合。该方法灵活,可快速适应COVID-19期间和之后发生的新能源系统情况。单个预测模型的范围从相当简单的时间序列模型到复杂的模型,如广义加性模型(GAM)和lasso估计的高维线性模型。它们有效地结合了自回归、日历和天气效果。所有步骤都包含新的概念,有助于所提出的方法的出色的预测性能。这尤其适用于假日调整程序和完全自适应平滑BOA方法。
2021-07-13 cs.CE cs.LG cs.SY
A Novel Hyperdimensional Computing Framework for Online Time Series Forecasting on the Edge
School of Electrical And Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
本文提出TSF-HD框架,将在线非线性时间序列预测转化为线性超维度预测,通过协同训练适应分布变化,实现快速、轻量且低延迟的在线预测,性能优于现有方法。
2024-02-03 cs.AI cs.LG
Online Forecasting Matrix Factorization
本文研究了高维时间序列的预测问题。这样的时间序列可以被建模为矩阵,其中每列表示测量。此外,当存在缺失值时,低秩矩阵分解方法适用于预测未来值。本文正式定义并分析了在线环境中的预测问题,即数据作为流到达并且只允许单次通过。我们提出并分析了新的矩阵分解技术,可以有效地学习低维嵌入在线的方式。基于这些嵌入的递归最小均方误差估计器,它学习的自回归模型,他们。两个真实数据集的实验与数千万的测量显示所提出的方法的好处。
2017-12-23 cs.LG
Time-Smoothed Gradients for Online Forecasting
Stevens Institute of Technology(史蒂文斯理工学院)
在这里,我们研究不同的更新规则,随机梯度下降(SGD)的在线预测问题。在SGD中,学习率参数的选择至关重要。然而,在在线学习中调整该参数可能不可行。因此,需要具有对学习参数的选择不敏感的更新规则。受我们之前介绍的局部遗憾度量的启发,我们建议在SGD更新中使用时间平滑梯度。使用公共数据集-GEFCom 2014,我们验证了我们的方法比其他现有的方法产生更稳定的结果。此外,我们表明,这样一个简单的方法是计算效率的替代品相比。
2019-05-21 cs.LG stat.ML
Multivariate Online Linear Regression for Hierarchical Forecasting
Sorbonne University(索邦大学);Paris Cité University(巴黎城市大学);CNRS(法国国家科学研究中心);LOPF;LPSM
本文提出MultiVAW方法,将Vovk-Azoury-Warmuth算法推广至多元在线线性回归,证明其对数遗憾界,并应用于在线分层预测以放宽现有算法的分析假设。
2024-02-22 cs.LG math.OC stat.ML
OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling
Institute of Automation(自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Alibaba Group(阿里巴巴集团);Meta
OneNet通过强化学习动态集成时间依赖模型与跨变量依赖模型,解决在线时间序列预测中的概念漂移问题,将预测误差降低50%以上。
2023-09-22 cs.DS cs.LG
Deep Learning based Forecasting: a case study from the online fashion industry
Zalando SE(Zalando公司);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Morgan Stanley(摩根士丹利)
本文针对在线时尚行业需求预测中数据量大、不规则、高周转和固定库存等挑战,提出一种深度学习预测方法,通过控制价格与需求关系处理固定库存假设,并实证验证其有效性。
2023-05-23 cs.AI cs.LG
Online Time Series Forecasting with Theoretical Guarantees
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Guangdong University of Technology(广东技术大学);Johns Hopkins University(约翰霍普金斯大学);University of California San Diego(加州大学圣地亚哥分校)
提出具有理论保证的在线时间序列预测框架 TOT,通过可辨识潜在变量收紧 Bayes 风险,并给出模型无关的时序解码与噪声估计蓝图,实验验证其理论与实际有效性。
2025-10-21 cs.LG
Online Kernel Dynamic Mode Decomposition for Streaming Time Series Forecasting with Adaptive Windowing
University of Washington(华盛顿大学)
针对流式数据实时预测中的非平稳与计算限制挑战,提出WORK-DMD方法,结合随机傅里叶特征与在线动态模式分解及滚动窗口Sherman-Morrison更新,实现单次遍历、固定成本的高精度预测,尤其擅长短期预测,为深度学习提供高效替代。
2025-10-17 cs.LG
Self-Evolving Time-Series Forecasting Agents with Episodic Memory and Online Policy Learning
针对现有预测智能体忽视历史反馈的问题,提出FASE,结合情景记忆与在线策略学习,利用已完成实例反馈自我进化,在29个配置上MAE降低9.1%。
2026-09-29 cs.LG
Compositional Spectral Prompts for LLM-based Online Time Series Forecasting
KAIST(韩国科学技术院)
针对现有在线时间序列预测框架难以长期适应与泛化的问题,提出基于LLM的CoSPOT框架,采用组合频谱提示实现高效在线适应,在多类在线预测场景中表现优异。
2026-09-03 cs.LG
Online Ensemble Transformer for Accurate Cloud Workload Forecasting in Predictive Auto-Scaling
ByteDance Inc.(字节跳动公司)
本文提出在线集成Transformer模型E3Former,通过协同多个子网络提升云工作负载预测精度与鲁棒性,在真实系统中将预测误差平均降低10%,并已部署于字节跳动IHPA平台,支撑超30个应用、60万以上CPU核心,资源利用率降低超40%。
2025-08-18 cs.LG
Electricity Price Forecasting: Bridging Linear Models, Neural Networks and Online Learning
University of Duisburg-Essen(杜伊斯堡-埃森大学);Technical University of Dortmund(多特蒙德工业大学)
本文提出一种混合神经网络架构,结合线性和非线性结构,通过伯恩斯坦在线聚合提升预测精度,减少计算成本,降低RMSE和MAE。
2026-09-09 cs.LG
Towards Proactively Forecasting Sentence-Specific Information Popularity within Online News Documents
IIIT Hyderabad(印度海得拉巴国际信息技术学院);Microsoft(微软)
多项研究都集中在预测一个在线文档作为一个整体的预期受欢迎程度,而没有关注其各个部分的贡献。我们介绍的任务,主动预测流行的句子在网上新闻文件中完全利用其自然语言的内容。我们将特定于广告的流行度预测建模为序列回归任务。为了训练我们的模型,我们策划了InfoPop,这是第一个包含来自50,000多个在线新闻文档的超过170万个句子的流行度标签的数据集。据我们所知,这是第一个使用传入的搜索引擎查询流自动创建的数据集,以生成搜索级别的流行度注释。我们提出了一种新的迁移学习方法,包括句子显著性预测作为辅助任务。我们提出的技术与基于BERT的神经模型相结合,超过了0.8的nDCG值,用于主动的特定于广告的流行度预测。值得注意的是,我们的研究提出了一个重要的结论:虽然流行度和显著性是不同的概念,但来自显著性预测的迁移学习增强了流行度预测。我们发布InfoPop并公开我们的代码:https://github.com/sayarghoshroy/InfoPopularity
2022-12-31 cs.AI cs.CL cs.LG
Transfer Learning and Online Learning for Traffic Forecasting under Different Data Availability Conditions: Alternatives and Pitfalls
TECNALIA(泰克纳利亚);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟);University of the Basque Country (UPV/EHU)(巴斯克大学)
本研究旨在揭示迁移学习(TL)在缺乏数据的情况下开发交通流预测模型的潜力。在TL范式下,从高质量预测模型转移知识变得可行,从而能够用很少的数据生成新的适当模型。为了探索这种能力,我们确定了三种不同级别的数据缺失场景,其中TL技术应用于深度学习(DL)方法中进行流量预测。然后,传统的批处理学习进行比较TL基于模型使用真实的交通流数据,由马德里市议会(西班牙)管理的部署环路收集。此外,我们应用在线学习(OL)技术,其中模型在每次预测后接收更新,以适应交通流趋势的变化,并从新的传入交通数据中增量学习。所获得的实验结果揭示了交通流预测的传输和在线学习的优点,并在感兴趣的位置处与可用的训练数据的量的相互作用上得出实用的见解。
2020-05-08 cs.AI cs.LG
Extending Load Forecasting from Zonal Aggregates to Individual Nodes for Transmission System Operators
School of Engineering, Stanford University(斯坦福大学工程学院);Technical University Munich(慕尼黑技术大学);Czech Technical University in Prague(布拉格捷克技术大学);University of Granada(Granada大学);Monash University(墨尔本大学)
针对输电系统运营商,提出多层级负荷预测系统,将预测从区域扩展到节点,兼顾准确性与可解释性,显著提升节点预测性能。
2025-09-02 cs.HC cs.LG cs.SY
Stochastic Online Convex Optimization. Application to probabilistic time series forecasting
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文构建随机在线凸优化框架,证明在线牛顿步与 Bernstein online aggregation 在无界随机设定下达到已知最优遗憾速率,并用于校准非平稳次高斯时间序列的概率预测器。
2023-04-21 cs.LG math.ST stat.TH
OFTER: An Online Pipeline for Time Series Forecasting
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
OFTER是一种专为中等规模多元时间序列设计的在线预测流程,结合k近邻、广义回归神经网络与降维技术,在低信噪比金融数据上优于基线且具可扩展性与可解释性。
2023-04-08 cs.LG q-fin.ST stat.ME
Learning Fast and Slow for Online Time Series Forecasting
Singapore Management University(新加坡管理大学);Salesforce Research Asia(赛富时亚洲研究院)
深度神经网络在非平稳环境中的快速适应能力对于在线时间序列预测至关重要。成功的解决方案需要处理对新的和重复出现的模式的更改。然而,动态训练深度神经预测器是非常具有挑战性的,因为它们适应非平稳环境的能力有限,并且会对旧知识产生灾难性遗忘。在这项工作中,受互补学习系统(CLS)理论的启发,我们提出了快速和慢速学习网络(FSNet),一个整体的框架,在线时间序列预测,同时处理突变和重复模式。特别是,FSNet通过动态平衡对最近变化的快速适应和检索类似的旧知识来改善缓慢学习的骨干。FSNet通过适配器的两个互补组件之间的交互来实现这种机制,以监视每个层对丢失的贡献,以及支持记住,更新和调用重复事件的关联存储器。在真实和合成数据集上进行的大量实验验证了FSNet对新模式和重复模式的有效性和鲁棒性。我们的代码可在\url{https://github.com/salesforce/fsnet}上获得。
2022-10-17 cs.LG stat.ML
Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting
Rochester Institute of Technology(罗切斯特理工学院)
时间序列预测(TSF)是数据科学中最重要的任务之一,因为准确的时间序列(TS)预测模型在包括金融、交通、医疗保健和电力系统在内的各种领域中发挥着重要作用。机器学习(ML)的实际应用通常涉及在收集的历史数据上(预)训练模型,然后将它们应用于看不见的数据点。然而,在现实世界的应用中,时间序列数据流通常是非平稳的,随着时间的推移,训练的ML模型通常会面临数据或概念漂移的问题。为了解决这个问题,模型必须定期重新训练或重新设计,这需要大量的人力和计算资源。此外,历史数据甚至可能不存在以用于重新训练或重新设计模型。因此,非常希望以在线方式设计和训练模型。这项工作提出了基于在线神经进化的神经结构搜索(ONE-NAS)算法,这是一种新的神经结构搜索方法,能够自动设计和动态训练递归神经网络(RNN)的在线预测任务。在没有任何预训练的情况下,ONE-NAS利用RNN群体,这些RNN群体不断更新新的网络结构和权重,以响应新的多元输入数据。ONE-NAS在真实世界的大规模多变量风力涡轮机数据以及单变量道琼斯工业平均指数(DJIA)数据集上进行了测试。结果表明,ONE-NAS优于传统的统计时间序列预测方法,包括在线线性回归,固定长短期记忆(LSTM)和在线训练的门控递归单元(GRU)模型,以及最先进的在线ARIMA策略。
2023-02-20 cs.LG cs.NE
Automobile demand forecasting: Spatiotemporal and hierarchical modeling, life cycle dynamics, and user-generated online information
School of Management, Technical University of Munich(慕尼黑技术大学管理学院);Munich Data Science Institute(慕尼黑数据科学研究所)
本文提出了一种结合时空依赖性和用户生成在线信息的多层级汽车需求预测方法,利用LightGBM和混合整数线性规划提升预测精度,强调整数预测对运营的重要性。
2025-11-21 cs.LG stat.AP
ONE-NAS: An Online NeuroEvolution based Neural Architecture Search for Time Series Forecasting
Rochester Institute of Technology(罗切斯特理工学院)
时间序列预测(TSF)是数据科学中最重要的任务之一,因为准确的时间序列(TS)预测可以推动和推进包括金融、交通、医疗保健和电力系统在内的各种领域。然而,TSF的机器学习(ML)模型的实际应用受到影响,因为预训练的模型能够学习和适应不可预测的模式,因为以前看不见的数据在更长的时间尺度上到达。为了解决这个问题,必须定期保留或重新设计模型,这需要大量的人力和计算资源。这项工作提出了基于在线神经进化的神经结构搜索(ONE-NAS)算法,据作者所知,这是第一个能够在在线环境中自动设计和训练新的递归神经网络(RNN)的神经结构搜索算法。在没有任何预训练的情况下,ONE-NAS利用RNN的种群,这些种群不断更新新的网络结构和权重,以响应新的多元输入数据。ONE-NAS在真实世界的大规模多变量风力涡轮机数据以及单变量道琼斯工业平均指数(DJIA)数据集上进行了测试,并显示优于传统的统计时间序列预测,包括朴素,移动平均和指数平滑方法,以及最先进的在线ARIMA策略。
2022-02-27 cs.LG cs.NE
Pseudo-Label-Triggered Retraining from Forecast Errors for Online Time Series Forecasting
Seoul National University(首尔大学)
针对在线时间序列预测中何时重训练的问题,提出PILOT框架,利用预测误差动态构建伪标签并训练轻量级评分器触发重训练,在八个基准和三种主干模型上取得最优平均排名性能。
2026-11-18 cs.AI cs.LG
Dynamic Local Regret for Non-convex Online Forecasting
Stevens Institute of Technology(史蒂文斯理工学院);Amazon(亚马逊)
我们考虑非凸机器学习模型的在线预测问题。预测引入了若干挑战,例如(i)频繁更新对于处理概念漂移问题是必要的,因为环境的动态随时间变化,以及(ii)现有技术的模型是非凸模型。我们用一个新的后悔框架来应对这些挑战。标准的后悔度量通常不考虑动态环境和非凸模型。我们引入了一个局部遗憾的非凸模型在动态环境中。我们提出了一个更新规则招致的成本,根据我们提出的本地遗憾,这是次线性的时间T。我们的更新使用时间平滑梯度。使用真实世界的数据集,我们表明,与最先进的竞争对手相比,我们的时间平滑方法产生了几个好处:结果对新数据更稳定;训练对超参数选择更鲁棒;我们的方法比其他方法计算效率更高。
2019-10-25 cs.LG stat.ML
Multi-task Online Learning for Probabilistic Load Forecasting
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心(BCAM));IKERBASQUE - Basque Foundation for Science(伊克尔巴斯克科学基金会(IKERBASQUE))
本文提出一种多任务在线概率负荷预测方法,利用多个实体间的动态相似性输出概率预测,实验证明其在多种负荷消费场景下显著优于现有多任务学习方法。
2025-02-06 cs.LG stat.ML
Continuous Evolution Pool: Taming Recurring Concept Drift in Online Time Series Forecasting
University of Electronic Science and Technology of China(电子科技大学);Griffith University(格里菲斯大学);Peking University(北京大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
CEP通过动态维护专门预测器池,有效解决在线时间序列预测中反复出现的概念漂移问题,减少预测误差20%以上。
2026-08-19 cs.LG
Online Spatio-Temporal Correlation-Based Federated Learning for Traffic Flow Forecasting
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室);School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院)
交通流预测对智能交通系统的建设具有重要意义。为了减轻通信负担并解决集中式预测方法带来的隐私泄露问题,联邦学习(FL)被应用于TFF。然而,现有的基于FL的方法采用批量学习方式,这使得预先训练的模型不适用于后续的交通数据,从而表现出低于标准的预测性能。本文首先研究了FL框架下采用在线学习(Online Learning,OL)方式的交通流预测方法,然后提出了一种新的预测方法--基于时空相关的在线联邦联邦学习(Online Spatio-Temporal Correlation Based,Federated Learning,FedOSTC),旨在保证在不受流量波动影响的情况下获得性能增益。具体而言,客户端采用基于门控递归单元(GRU)的编码器来获得流量数据序列内的内部时间模式。然后,中央服务器通过图注意力网络(GAT)评估客户端之间的空间相关性,以适应交通波动引起的空间接近度的动态变化。此外,为了提高即将到来的流量数据的全局模型的泛化能力,提出了一个周期感知的聚合机制,聚合使用在线梯度下降(OGD)算法优化的本地模型在客户端。在两个真实数据集上进行了综合实验,验证了该方法的有效性,数值结果表明了FedOSTC的优越性.
2023-02-17 cs.DC cs.LG
Short-Term Electricity Price Forecasting based on Graph Convolution Network and Attention Mechanism
Tsinghua University(清华大学)
在电力市场中,位置边际电价(LMP)预测对于市场参与者制定合理的报价策略、管理潜在的交易风险以及支持有效的系统规划和运行尤为重要。与现有方法只考虑LMP的时间特征不同,本文提出了一种基于谱图卷积网络(GCN)的LMP短期预测方法,大大提高了LMP短期预测的精度。然后设计了一个三分支网络结构,以匹配LMP的组成结构。这种网络可以提取LMP的时空特征,并同时为所有节点提供快速和高质量的预测。还实现了注意力机制,以在不同节点和时隙之间分配不同的重要性权重。基于IEEE-118测试系统和PJM真实数据的案例研究验证了该模型的准确性优于现有的预测模型,并通过避免极端误差来保持稳健的性能。
2021-07-26 cs.LG cs.SY eess.SY
AutoML Algorithms for Online Generalized Additive Model Selection: Application to Electricity Demand Forecasting
EDF R&D(法国电力公司研发部);Inria Paris(法国国家信息与自动化研究所巴黎分部);Sorbonne Université(索邦大学)
本文提出利用DRAGON包优化在线GAM的公式与自适应参数,实现自动化的模型选择,并在法国短期电力需求预测中验证了该方法的有效性。
2025-03-31 cs.LG stat.AP stat.ML
Mid-flight Forecasting for CPA Lines in Online Advertising
Verizon Media(威瑞森传媒)
对于Verizon MediaDemand Side Platform(DSP),广告活动性能预测不仅向优化服务器提供关键信息,使系统能够在高性能模式下运行,而且还为广告商提供可操作的见解。本文研究了在考虑竞价机制的情况下,飞行中间的CPA线路的预测问题。所提出的方法生成各种关键性能指标和优化信号之间的关系。它还可以用来估计广告活动性能指标对优化信号调整的敏感度,这对广告活动管理系统的设计是重要的。广告主支出与有效每次行动成本(eCPA)之间的关系也被表征,这可以作为广告主调整飞行路线的指导。文中还讨论了实现中的几个实际问题,如数据集的下采样。最后,预测结果与实际交付进行了验证,并显示出良好的精度。
2021-07-15 cs.LG stat.ML
Optimization-based Online Conformal Prediction for Multi-step Forecasting
University of Michigan(密歇根大学)
提出O2CP框架,通过双层优化结构建模多步误差依赖,在保证边际覆盖有效性的同时生成更窄的预测区间,实验表明在自动驾驶、气候预测等领域优于现有方法。
2026-08-10 cs.LG
AdaptLSTM: Efficient Adaptive Online Learning for Cloud Workload Forecasting under Distribution Drift
Zhejiang University(浙江大学)
针对云工作负载预测的分布漂移问题,提出自适应在线框架AdaptLSTM,在阿里云机器迹和容器迹数据集上以低计算成本实现了优异的预测性能,且与多种模型兼容。
2026-10-30 cs.LG
Node-Level Financial Optimization in Demand Forecasting Through Dynamic Cost Asymmetry and Feedback Mechanism
Amazon(亚马逊)
本文提出通过动态成本不对称性和反馈机制实现节点级财务优化,以提高预测准确性并实现显著的年度节省。
2025-12-16 cs.LG
Dynamic Multi-period Experts for Online Time Series Forecasting
Pohang University of Science and Technology(浦项科学技术大学);Kyungpook National University(庆北国立大学)
DynaME通过动态多时期专家框架有效应对时间序列预测中的重复和新兴漂移,显著优于现有方法。
2026-03-10 cs.LG
Online Collection and Forecasting of Resource Utilization in Large-Scale Distributed Systems
Imperial College London(伦敦帝国学院);IBM T. J. Watson Research Center(IBM T·J·沃森研究中心)
大规模分布式计算系统通常包含数千个分布式节点(机器)。监测这些节点的状况对于系统管理目的而言是重要的,然而,这可能是极其资源需求的,因为这需要收集每个单独节点的本地测量结果并且不断地将这些测量结果发送到中央控制器。同时,预测未来系统状况对于诸如资源规划/分配和异常检测的各种目的通常是有用的,但是对于每个节点运行一个预测模型通常太消耗资源,这也可能忽略跨不同节点的观测度量的相关性。在本文中,我们提出了一个机制,收集和预测的资源利用率的机器在一个分布式计算系统中的可扩展的方式。我们提出了一种算法,允许每个本地节点决定何时将其最近的测量传输到中央节点,使传输频率保持低于给定的约束值。基于从本地节点接收到的测量,中心节点将接收到的数据汇总到少量的聚类中。由于簇划分可以随时间变化,我们还提出了一种方法来捕捉集群的演变和他们的质心。作为减少计算量的一种有效方法,时间序列预测模型是在每个簇的时变质心上训练的,以预测一组本地节点的未来资源利用率。我们所提出的方法的有效性是通过使用多个真实世界的数据集进行广泛的实验证实。
2019-05-22 cs.DC cs.LG cs.PF
Adaptive Conformal Inference for Multi-Step Ahead Time-Series Forecasting Online
Jönköping University(延雪平大学)
本文改进自适应保形推断(ACI)算法,为在线多步超前时间序列预测提供有限样本覆盖率保证,支持各预测步骤使用不同目标错误率和学习率,并在数值示例中验证了该方法能在区间宽度与覆盖率间取得平衡。
2024-09-23 cs.LG stat.ML
Proactive Model Adaptation Against Concept Drift for Online Time Series Forecasting
Shanghai Jiao Tong University(上海交通大学)
Proceed 提出一种前瞻性模型适应框架,通过估计和转换概念漂移,提升在线时间序列预测对概念漂移的抗性。
2025-12-18 cs.AI cs.CE cs.LG
Comparative analysis and evaluation of ageing forecasting methods for semiconductor devices in online health monitoring
Mondragon University(蒙德拉贡大学);University of Strathclyde(斯特拉斯克莱德大学);University of the Basque Country (UPV/EHU)(巴斯克大学);Ikerbasque(伊克尔巴斯克基金会)
本研究比较了经典跟踪、统计、神经网络及时间融合Transformer(TFT)等预测方法在MOSFET老化预测中的表现,发现短期预测中经典神经网络最优但计算量大,长期预测仅TFT有效,且其注意力点能识别老化转折点。
2025-03-26 cs.LG eess.SP
Online Forecasting of Total-Variation-bounded Sequences
UC Santa Barbara(加州大学圣巴巴拉分校)
我们考虑的问题,在线预测的长度$n$与总变差最多$C_n$使用独立的$σ$亚高斯噪声污染的观察序列。我们设计了一个$O(n\log n)$ -时间算法,该算法以很高的概率实现了$\tilde{O}(n^{1/3}C_n^{2/3}σ^{4/3} + C_n^2)$的累积平方误差。我们还证明了一个下界,该下界与所有参数的上界相匹配(直到$\log(n)$因子)。据我们所知,这是第一个\emph{polynomial-time}算法,实现了最佳的$O(n^{1/3})$率预测全变差有界序列和第一个算法,\emph{adapts to unknown} $C_n$。我们的证明技术利用了Haar小波基的特殊局部化结构和对经典小波平滑中未知平滑参数的自适应性[Donoho等人,1998年]。我们还比较了我们的模型的动态遗憾最小化和非平稳随机优化,我们的问题可以被视为一个特殊的情况下,丰富的文献。我们表明,在这些设置中的主力-在线梯度下降及其变种与固定的重新启动时间表-是一类\emph{linear forecasters}的实例,需要一个次优的遗憾$\tildeΩ(\sqrt{n})$。这意味着需要使用更多的自适应算法来获得最佳速率。
2019-10-26 cs.LG stat.ML
Model-Agnostic Online Certificate-Driven Calibration for Time Series Forecasting Under Distribution Shift
提出模型无关的在线鞅概率近似正确贝叶斯框架,利用证书作为正则化器校准预测器,在分布漂移下提升时间序列预测的稳定性和准确性。
2026-10-06 cs.LG
Defensive Boosting for Online Probabilistic Forecasting
本研究提出防御提升器算法,可同时满足在线梯度提升与在线弱到强提升的两种保证,效率高且在合成和真实数据流上预测性能强劲、运行速度快。
2026-08-14 cs.CC cs.DS cs.LG
Probabilistic Load Forecasting Based on Adaptive Online Learning
BCAM-Basque Center for Applied Mathematics(巴斯克应用数学中心(BCAM));IKERBASQUE-Basque Foundation for Science(巴斯克科学基金会(IKERBASQUE))
针对传统负荷预测无法评估不确定性、难捕捉消费模式动态变化的问题,提出基于隐马尔可夫模型自适应在线学习的概率负荷预测方法,经多数据集验证可在广泛场景下显著提升预测性能。
2024-08-15 cs.LG stat.ML
OneShotSTL: One-Shot Seasonal-Trend Decomposition For Online Time Series Anomaly Detection And Forecasting
Alibaba Group(阿里巴巴集团)
提出OneShotSTL算法,通过O(1)复杂度的在线季节-趋势分解,解决实时时间序列分析延迟问题,速度提升超千倍且保持高精度。
2023-04-04 cs.AI cs.DB cs.LG