TStruct: Learning Shared Temporal Structures for Long-Term Time Series Forecasting
University of Science and Technology of China (USTC)(中国科学技术大学);Suzhou Institute for Advanced Research, USTC(中国科学技术大学苏州高等研究院)
TStruct是一种学习共享时间结构的网络,通过参数化共享时间依赖矩阵等方式,在多数据集上优于基线,实现长期时间序列预测的高效高精度建模。
2026-11-04 cs.AI cs.LG
WaveMoE: A Wavelet-Enhanced Mixture-of-Experts Foundation Model for Time Series Forecasting
Sun Yat-sen University(中山大学);Xiaomi Corporation(小米集团);National University of Singapore(新加坡国立大学)
WaveMoE通过整合小波域表示提升时间序列预测能力,采用双路径架构和共享专家路由机制,实验表明其在16个基准数据集上具有提升预测性能的潜力。
2026-04-12 cs.AI cs.LG
HIST: A Graph-based Framework for Stock Trend Forecasting via Mining Concept-Oriented Shared Information
Sun Yat-sen University(中山大学);Microsoft Research(微软研究院)
股票趋势预测是对股票价格未来走势的预测,在投资中起着至关重要的作用。市场中的股票可以共享信息,因此它们的股票价格高度相关。最近提出了几种方法来通过股票概念挖掘共享信息(例如,技术,互联网零售)从网络中提取,以改善预测结果。然而,以往的研究假设股票和概念之间的联系是静态的,忽略了股票和概念之间的动态相关性,限制了预测结果。此外,现有的方法忽略了隐藏概念所携带的宝贵的共享信息,这些隐藏概念衡量了人工定义的股票概念之外的股票共性。为了克服以往工作的不足,我们提出了一种新的股票趋势预测框架,可以充分挖掘面向概念的共享信息,从预定义的概念和隐藏的概念。该框架同时利用股票的共享信息和个体信息来提高股票趋势预测性能。在真实任务上的实验结果表明了该框架在股票趋势预测上的有效性。投资模拟表明,我们的框架可以实现比基线更高的投资回报。
2022-01-20 cs.LG q-fin.ST
MoDEx: Mixture of Depth-specific Experts for Multivariate Long-term Time Series Forecasting
MoDEx通过深度特异性专家模型提升多变量长周期时间序列预测的准确性与效率
2026-01-31 cs.AI cs.LG
Emergent Specialization in Learner Populations: Competition as the Source of Diversity
University of Pennsylvania(宾夕法尼亚大学)
通过竞争驱动学习者群体自发形成专业化,实现多领域高效决策与多样化行为。
2026-01-16 cs.LG cs.NE
LightSAE: Parameter-Efficient and Heterogeneity-Aware Embedding for IoT Multivariate Time Series Forecasting
Department of Electrical Engineering, Tsinghua University(清华大学电子工程系)
针对IoT多元时间序列预测中共享嵌入掩盖通道特定信息的问题,提出LightSAE模块,通过低秩分解与共享门控组件池实现参数高效的异构感知嵌入,在多数据集和架构上以极低参数开销显著提升预测精度。
2025-10-12 cs.AI cs.LG
The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models
The Fin AI(Fin AI);Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学);Stevens Institute of Technology(史蒂文斯理工学院);The University of Manchester(曼彻斯特大学)
本研究质疑混合专家模型通过稀疏路由实现领域专精的假设,提出COMMITTEEAUDIT框架分析专家组而非个体专家的路由行为,发现领域不变的standing committee,揭示模型存在向集中计算偏倚的结构倾向,表明混合专家模型中的专精程度远低于预期。
2026-05-17 cs.AI cs.LG
Drift-Adjusted And Arbitrated Ensemble Framework For Time Series Forecasting
WalmartLabs(沃尔玛实验室)
时间序列预测是许多实际应用的核心,如商业销售预测,农业降雨预测等。虽然这个问题已经被广泛研究多年,它仍然被认为是一个具有挑战性的问题,由于时间序列数据的复杂性和不断变化的性质。提出的时间序列预测的典型方法建模数据观测之间的线性或非线性相关性。然而,人们普遍认为,没有一种方法对所有类型的时间序列数据都是普遍有效的。人们已经尝试使用异构和独立的预测模型的动态和加权组合,它已被发现是一个很有前途的方向来解决这个问题。该方法基于不同的预测器对不同分布的数据具有不同的专业化和不同的性能的假设,并且相应地将权重动态地分配给多个预测器。然而,在许多实际的时间序列数据集中,数据的分布是随时间缓慢演化的。我们建议采用一种基于重新加权的方法来调整分配给各种预测的权重,以考虑这种分布漂移。对真实世界和合成时间序列进行了详尽的测试。实验结果表明,该方法的竞争力相比,国家的最先进的方法相结合的预测和处理漂移。
2020-03-16 cs.AI cs.LG stat.ML
WaveTuner: Comprehensive Wavelet Subband Tuning for Time Series Forecasting
WaveTuner通过自适应小波细化和多分支专业化模块,实现时序预测中的小波子带全面调谐,提升预测精度。
2025-11-24 cs.AI cs.LG
Graph-Conditioned Mixture of Graph Neural Network Experts for Traffic Forecasting
Future Computing Group, University of Oulu(奥卢大学未来计算组)
提出GC-MoE框架,通过图拓扑和近期交通输入为每个节点分配个性化专家组合,仅训练轻量路由模块,在四个基准上提升MAE。
2026-05-28 cs.AI cs.LG
Multi-Task Time Series Forecasting With Shared Attention
George Washington University(乔治华盛顿大学);Shandong University(山东大学);Beihang University(北京航空航天大学)
时间序列预测是许多工业和商业决策过程中的关键组成部分,基于递归神经网络(RNN)的模型在各种时间序列预测任务上取得了令人印象深刻的进展。然而,大多数现有的方法都集中在单任务预测问题上,基于有限的监督目标单独学习,这往往会受到训练实例不足的影响。由于Transformer体系结构和其他基于注意力的模型已经证明了其捕获长期依赖性的强大能力,我们提出了两个基于自注意力的多任务时间序列预测共享方案,可以跨多个任务联合进行训练。我们增加了一个序列的一个外部的公共多头注意力功能,这是更新的所有任务的所有数据的并行Transformer编码器。在多个实际多任务时间序列预测任务上的实验表明,我们提出的架构不仅可以优于最先进的单任务预测基线,而且还优于基于RNN的多任务预测方法。
2021-01-24 cs.LG stat.ML
The Myth of Expert Specialization in MoEs: Why Routing Reflects Geometry, Not Necessarily Domain Expertise
Johns Hopkins University(约翰霍普金斯大学)
本文研究了MoEs中专家专业化的机制,指出路由依赖于隐藏状态相似性,而非领域专业知识,并揭示了专业化的几何属性及在不同数据下的表现。
2026-04-10 cs.AI
ThinkTank-ME: A Multi-Expert Framework for Middle East Event Forecasting
University of Electronic Science and Technology of China(电子科技大学);Communication University of China(中国通信大学);Singapore Management University(新加坡国立管理学院);Tongji University(同济大学);National University of Singapore(新加坡国立大学)
ThinkTank-ME通过多专家协作框架提升中东事件预测的准确性与复杂性处理能力。
2026-01-22 cs.AI cs.CL cs.CY
ARROW: An Adaptive Rollout and Routing Method for Global Weather Forecasting
East China Normal University(华东师范大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出ARROW方法,通过多区间预测模型和强化学习调度器,解决全球天气预报中空间多尺度依赖和rollout策略平衡问题,实现最先进的预测性能。
2026-03-31 cs.AI cs.LG
Learning Where to Look: A Shared Relative-Alignment Module for Time-Series Forecasting and PPG-to-Vital-Sign Reconstruction
Neurogica Inc.(Neurogica 公司)
本文提出ROOSTER模块,通过可学习的周期梳状偏置统一处理时间序列预测与PPG到生命体征重建,在多个基准上取得最优性能,并验证了相对对齐机制的有效性。
2026-09-24 cs.LG
STeP-TS: Shared Temporal Filters with Pruning for Time Series
Albert-Ludwigs-Universität Freiburg(阿尔伯特-路德维希-弗莱堡大学)
提出STeP-TS紧凑卷积时间序列预测框架,通过共享多尺度时间滤波器、变量权重及结构化剪枝,在性能相当的情况下减少参数与计算量。
2026-10-28 cs.LG
Multi-task Learning for Financial Forecasting
金融预测是机器学习中具有挑战性和吸引力的研究课题。有许多经典的解决方案,以及许多基于深度学习的方法,提出来处理它,产生令人鼓舞的性能。股票时间序列预测是金融预测中最具代表性的问题。由于股票之间的联系很强,对预测有价值的信息不仅包含在单个股票中,而且包含在与之相关的股票中。然而,以往的研究大多集中在单一的股票上,容易忽略其他股票中有价值的信息。为了利用更多的信息,在本文中,我们提出了一种联合预测方法,同时处理多个时间序列的相关股票,使用多任务学习框架。与以往的工作相比,我们使用多个网络来预测多个相关的股票,通过多任务学习,同时使用它们的共享和私有信息。此外,我们提出了一个注意力方法学习的基础上资本资产定价模型(CAPM)的思想,以帮助预测的共享和私人信息的优化加权组合。各种数据的实验结果表明,改进的预测性能基线方法。
2019-01-22 cs.AI cs.LG stat.ML
BEAT: Balanced Frequency Adaptive Tuning for Long-Term Time-Series Forecasting
针对频域时间序列预测中高频过拟合与低频欠拟合的问题,提出BEAT框架,通过动态监控各频率训练状态并自适应调整梯度更新,在七个真实数据集上超越现有方法。
2026-10-09 cs.AI cs.LG
T-STAR: A Context-Aware Transformer Framework for Short-Term Probabilistic Demand Forecasting in Dock-Based Shared Micro-Mobility
Transport and Planning, Delft University of Technology(代尔夫特理工大学交通与规划)
本文提出T-STAR框架,通过两级结构分离一致需求模式和短期波动,提升短期概率需求预测的准确性,实验表明其在确定性和概率性准确性上均优于现有方法,且具备良好的时空鲁棒性。
2026-05-18 cs.LG
PiXTime: A Model for Federated Time Series Forecasting with Heterogeneous Data across Nodes
University of Science and Technology of China(科学技术大学)
提出基于Transformer的PiXTime框架,通过参数解耦架构(局部个性化模块+全局共享骨干)处理异构时间序列,实现联邦学习中的异构数据预测,并在多个基准上达到最优性能。
2026-05-25 cs.AI cs.LG
Self-Gating Attention for Efficient Time Series Forecasting
School of Automation, Southeast University(自动化学院,东南大学);School of Electrical Engineering and Computer Science, The University of Queensland(电气工程与计算机科学学院,昆士兰大学)
提出自门控注意力(SGA),通过共享可学习矩阵和输入相关残差分量实现线性复杂度,在保持预测性能的同时提升推理效率。
2026-07-03 cs.AI cs.LG
On the Regularization of Learnable Embeddings for Time Series Forecasting
Università della Svizzera Italiana(瑞士意大利语区大学);IDSIA(IDSIA研究院);University of Liverpool(利物浦大学);Politecnico di Milano(米兰理工大学)
针对多时间序列预测中局部可学习嵌入易成序列标识符、限制模型迁移性的问题,本文首次广泛实证研究正则化方法,发现嵌入扰动类方法可提升架构性能,为理解局部与全局参数相互作用、开发时间序列基础模型提供关键贡献。
2025-02-13 cs.AI cs.LG
ReFocus: Reinforcing Mid-Frequency and Key-Frequency Modeling for Multivariate Time Series Forecasting
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学);University of Cambridge(剑桥大学)
针对多元时间序列预测中的中频频谱鸿沟与共享关键频率未被利用的问题,提出ReFocus模块,通过自适应中频能量优化器、基于能量的关键频率提取块及关键频率增强训练策略,在Traffic等基准上显著降低MSE。
2025-03-03 cs.AI cs.LG
A Global Modeling Approach for Load Forecasting in Distribution Networks
高效的负荷预测是必要的,以确保更好的可观察性在配电网络,而这样的预测是可能的智能电表安装数量的增加。由于配电网包括大量不同的负载在不同的聚合水平,如个人消费者,Transformer站和馈线负载,这是不切实际的开发单独的(或所谓的本地)预测模型为每个负载分开。此外,这样的局部模型忽略了可能由于其空间接近性和配电网络的特性而存在的不同负载之间的强依赖性。为了解决这些问题,本文提出了一种基于深度学习的全局建模方法,用于有效预测配电网中的大量负荷。通过这种方式,可以大大减少训练大量局部预测模型的计算负担,并且可以利用不同负荷之间共享的跨系列信息。此外,一个无监督的本地化机制和最佳的集成构建策略也提出了本地化/个性化的预测模型,以不同的负荷组,以进一步提高预测精度。在真实的智能电表数据上进行了全面的实验,以证明所提出的方法相比竞争方法的优越性。
2022-04-01 cs.AI cs.LG
Inter-Series Transformer: Attending to Products in Time Series Forecasting
MIT(麻省理工学院);IBM Research(IBM研究院)
本文提出Inter-Series Transformer,通过跨时间序列注意力和共享多任务网络捕捉产品间交互并缓解稀疏性,在医疗设备供应链案例及公开数据集上提升需求预测性能。
2024-08-07 cs.AI cs.LG
Compose the Horizon: Parameter-Shared Blockwise Forecasting under a Sequential-Compute Trade-off
Shanghai Jiao Tong University(上海交通大学);Jinan University(暨南大学);The University of Chicago(芝加哥大学);South China University of Technology(华南理工大学)
本文提出递归函数分解(RFD)方法,通过参数共享分块预测实现长视界预测,在24项跨协议测试中23项优于基线,仅需0.08-0.46M参数。
2026-10-20 cs.LG
Aurora-X: Built for Extreme Time Series Forecasting
East China Normal University(华东师范大学)
Aurora-X是一个十亿规模的时间序列基础模型,通过渐进式课程学习、统一架构和模式引导的专家混合,实现了跨变量建模与概率预测,在多个基准上达到最先进性能。
2026-09-28 cs.LG
DualWeaver: Synergistic Feature Weaving Surrogates for Multivariate Forecasting with Univariate Time Series Foundation Models
School of Software, BNRist, Tsinghua University(软件学院,北京理工大学,清华大学);Tencent(腾讯)
DualWeaver通过结构对称的替代序列提升多变量预测的准确性和稳定性,利用共享特征融合模块和无参数解码实现高效预测。
2026-02-25 cs.AI cs.LG
Three-Stage Learning Unlocks Strong Performance in Simple Models for Long-Term Time Series Forecasting
Harbin Institute of Technology(哈尔滨工业大学)
本文提出STAIR方法,通过三阶段学习提升简单时间映射模型性能,引入共享到个体微调和alpha-RevIN以缓解通道独立性和归一化先验限制,实验证明其在长期预测中的有效性。
2026-05-13 cs.LG
Multivariate Time Series Forecasting needs Cross Variable Loss
University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对直接预测范式未显式约束跨变量结构的问题,提出跨变量损失CvLoss作为结构正则化项,可提升多变量时间序列预测模型性能,适配多种骨干网络。
2026-10-27 cs.AI cs.LG
Learning from Multiple Time Series: A Deep Disentangled Approach to Diversified Time Series Forecasting
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
时间序列预测在许多应用中是一个重要的问题,例如,财务预测和业务优化。现代数据集可以有多个相关的时间序列,它们通常是由全局(共享)动态和局部(特定)动态生成的。在本文中,我们试图用DeepDGL来解决这些预测问题,DeepDGL是一种深度预测模型,它将动态分解为全局和局部时间模式。DeepDGL采用编码器-解码器架构,由两个编码器组成,分别学习全局和局部时间模式,以及一个解码器进行多步预测。具体地说,为了对复杂的全局模式进行建模,引入了矢量量化(VQ)模块,允许全局特征编码器在所有时间序列中学习共享码本。为了模拟多样化和异质性的局部模式,提出了一种基于对比多水平编码(CMC)的自适应参数生成模块,用于为每个时间序列生成局部特征编码器的参数,最大化序列特定上下文变量与相应时间序列的长/短期表示之间的互信息.我们在几个真实世界数据集上的实验表明,DeepDGL优于现有的最先进的模型。
2021-11-09 cs.LG
Are We Winning the Wrong Game? Revisiting Evaluation Practices for Long-Term Time Series Forecasting
本文探讨了长期时间序列预测评估中以指标为中心的模式问题,提出多维评估视角以促进更符合实际需求的预测方法。
2026-03-09 cs.LG stat.ML
L-Drive: Beyond a Single Mapping-Latent Context Drives Time Series Forecasting
Business University, Yantai, Shandong, China(山东商业大学);Ludong University, Yantai, Shandong, China(鲁东大学)
针对分布偏移和机制变化导致直接映射范式在转折点响应滞后的问题,提出L-Drive框架,通过引入潜在上下文表征高层动态并利用门控调制增量表示,提升对变化段的适应能力,同时采用补丁共享相对位置基函数增强段内结构建模,实现预测精度与计算效率的更好平衡。
2026-05-25 cs.AI cs.LG
A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
Princeton University(普林斯顿大学);IBM Research(IBM研究院)
我们提出了一个有效的设计基于transformer的多变量时间序列预测和自我监督表示学习模型。它基于两个关键组件:(i)将时间序列分割成子序列级补丁,这些补丁用作Transformer的输入令牌;(ii)通道独立性,其中每个通道包含单个单变量时间序列,该序列在所有序列中共享相同的嵌入和Transformer权重。补丁设计自然有三重好处:本地语义信息保留在嵌入;在相同的回看窗口下,注意力地图的计算和内存使用量二次减少;模型可以参加更长的历史。我们的通道独立补丁时间序列Transformer(PatchTST)可以提高长期的预测精度显着相比,SOTA Transformer为基础的模型。我们还将我们的模型应用于自我监督的预训练任务,并获得了出色的微调性能,在大型数据集上优于监督训练。将一个数据集上的掩码预训练表示转移到其他数据集上也会产生SOTA预测准确性。代码可从以下网址获得:https://github.com/yuqinie98/PatchTST。
2023-03-05 cs.AI cs.LG
CryptoL: Towards Scale Dominance and Physics Constraints Mitigation in Financial Multivariate Time Series Forecasting
Azad University(阿扎德大学);University of Isfahan(伊斯法罕大学);Iran University of Science and Technology(伊朗科技大学)
CryptoL提出统一框架,通过上下文归一化、通道依赖变换、尺度自适应稳定化和软可行性损失,缓解金融多元时间序列预测中的尺度主导与OHLC约束违反问题。
2026-09-11 cs.AI cs.CE cs.LG
SeqFusion: Sequential Fusion of Pre-Trained Models for Zero-Shot Time-Series Forecasting
Nanjing University(南京大学)
本文提出 SeqFusion 框架,通过基于目标时间序列的时间特征,从预训练模型池中按顺序选择最合适的模型进行预测并融合结果,在保护隐私的同时实现了高精度的零样本时间序列预测。
2025-03-04 cs.AI cs.LG
Less is More: Unlocking Specialization of Time Series Foundation Models via Structured Pruning
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
本文提出结构化剪枝方法,通过剪枝后再微调提升时间序列基础模型的预测性能,使其在多个基准测试中超越专用模型。
2025-12-21 cs.AI cs.LG
Distribution-Aware Diffusion-LLM for Robust Ultra-Long-Term Time Series Forecasting
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Imperial College London(伦敦帝国学院);AUDI AG(奥迪股份公司)
提出Diffusion-LLM框架,将条件扩散模型集成到基于LLM的预测流程中,学习未来数据条件分布并改善语义对齐,在超长期和少样本预测中显著优于现有LLM基线。
2026-06-23 cs.AI cs.LG
FAME: Forecastability-Aware Mixture of Experts for Heterogeneous Time Series Forecasting
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室);Ministry of Education Key Laboratory of Machine Intelligence and Advanced Computing(教育部机器智能与先进计算重点实验室)
针对大规模异构时间序列预测中单一模型性能不足的问题,提出可预测性感知的稀疏专家混合框架FAME,通过多维可预测性指纹和成本感知路由,在工业数据集上实现12.4%的MSE降低。
2026-06-08 cs.AI
CAPS: Unifying Attention, Recurrence, and Alignment in Transformer-based Time Series Forecasting
Georgia Institute of Technology, Atlanta, GA, USA(佐治亚理工学院)
CAPS通过结合SO(2)旋转和三种加法门控路径,实现了在时间序列预测中统一注意力、递归和对齐,提升了长期和短期预测性能。
2026-02-02 cs.AI cs.LG
MTS-UNMixers: Multivariate Time Series Forecasting via Channel-Time Dual Unmixing
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对多变量时间序列预测中高维度和混合模式导致的可解释性差、长程依赖提取难问题,提出MTS-UNMixer网络,通过通道-时间双解混分解序列为基和系数,提升预测准确性与可解释性,在基准数据集上表现优异。
2024-11-26 cs.LG
TriForecaster: A Mixture of Experts Framework for Multi-Region Electric Load Forecasting with Tri-dimensional Specialization
DAMO Academy, Alibaba Group(阿里巴巴集团 DAMO 院);Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎-鲁克蒙特研究所);Rajiv Gandhi University(拉朱·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒研究实验室)
电力负荷预测是电力系统运行、规划和决策的关键。智能电网和电表的兴起提供了从家庭到公共汽车和城市的多粒度级别的更详细和高质量的负载数据。基于华东某省不同城市间相似的负荷模式,本文研究了多区域电力负荷预测(MRELF)问题,目标是在一个大区域内对多个子区域进行准确的短期负荷预测。我们确定了MRELF的三个挑战,包括区域变化,上下文变化和时间变化。为了解决这些问题,我们提出了TriForecaster,一个新的框架,利用混合专家模型(MoE)的方法在多任务学习(MTL)的范式,以克服这些挑战。TriForecaster具有RegionMixer和Context-Time Specializer(CTSpecializer)层,支持跨区域、上下文和时间维度的专家模型的动态协作和专业化。通过对四个不同粒度的真实MRELF数据集的评估,TriForecaster的平均预测误差降低了22.4%,从而证明了其灵活性和广泛的适用性。特别是在华东地区eForecaster平台上部署TriForecaster后,其实用性得到了充分体现,有效地为17个城市提供了城市级的短期负荷预测,支持人口超过1. 1亿,日用电量超过100千兆瓦时。
2025-08-13 cs.LG
A Critical Overview of Privacy-Preserving Approaches for Collaborative Forecasting
INESC TEC(葡萄牙机电工程与计算机科学研究所);Faculty of Sciences of the University of Porto(波尔图大学理学院);Technical University of Denmark(丹麦技术大学)
不同数据所有者之间的合作可能会提高预测质量-例如,通过利用地理上分布的时间序列中的时空依赖性。由于业务竞争因素和个人数据保护问题,所述数据所有者可能不愿意共享其数据,这增加了对协作隐私保护预测的兴趣。分析了向量自回归(VAR)模型在保证数据隐私方面的研究现状,揭示了现有方法的不足。本文还提供了数学证明和数值分析来评估现有的隐私保护方法,将它们分为三组:数据转换,安全多方计算和分解方法。分析表明,最先进的技术在保护数据隐私方面存在局限性,例如隐私和预测准确性之间的权衡,而迭代模型拟合过程中的原始数据,其中中间结果是共享的,可以在一些迭代后推断出来。
2020-10-10 cs.LG stat.ML
Forecasting elections results via the voter model with stubborn nodes
University College London(伦敦大学学院);Inria France(法国国家信息与自动化研究所)
在本文中,我们提出了一种新的方法来预测选举结果只使用以前的官方结果。它是基于选民模型与顽固的节点,并使用我们以前的工作中开发的理论结果。我们看看英国保守党和工党以及美国共和党和民主党的民众投票份额。我们能够对模型参数进行随时间变化的估计,并使用这些来预测任何选举中每个政党的投票份额。平均绝对误差为4.74%。作为副产品,我们的参数估计提供了对政治格局的有意义的见解,为我们提供了每个被考虑政党的强烈支持者的选民比例。
2021-10-12 cs.LG cs.SI
Learning to Forecast on Multiple Spatiotemporal Hierarchies
IDSIA USI-SUPSI;Università della Svizzera italiana(瑞士意大利语大学);Politecnico di Milano(米兰理工大学);EPFL(洛桑联邦理工学院)
该研究提出一种图深度学习框架,利用多时空层次差异作为多任务正则化,结合新型自顶向下算子,提升了预测精度与泛化能力,性能优于单结构训练方法且接近当前最优。
2026-10-16 cs.LG
Learning Latent Spaces for Domain Generalization in Time Series Forecasting
University of Amsterdam(阿姆斯特丹大学)
提出基于条件β-VAE分解的时间序列预测域泛化框架,挖掘跨域潜在时间依赖因素,在五个真实数据集上超越现有方法。
2024-12-15 cs.LG
HAGEN: Homophily-Aware Graph Convolutional Recurrent Network for Crime Forecasting
University of Southern California(南加州大学)
犯罪预测是城市安全的重要问题。通常,问题的目标是预测每个地理区域(如社区或审查区)在不久的将来发生的不同类型的犯罪。由于邻近区域通常具有相似的社会经济特征,这表明相似的犯罪模式,最近的最先进的解决方案构建了基于距离的区域图,并利用图神经网络(GNN)技术进行犯罪预测,因为GNN技术可以有效地利用图中相邻区域节点之间的潜在关系。然而,这种基于距离的预定义图无法完全捕捉彼此远离但具有相似犯罪模式的区域之间的犯罪相关性。因此,要做出准确的犯罪预测,主要的挑战是学习一个更好的图,揭示犯罪发生的区域之间的依赖关系,同时从历史犯罪记录中捕捉时间模式。为了解决这些挑战,我们提出了一个端到端的图卷积递归网络HAGEN,它具有几种用于犯罪预测的新颖设计。具体来说,我们的框架可以通过将自适应区域图学习模块与扩散卷积门控递归单元(DCGRU)相结合,共同捕获区域之间的犯罪相关性和时间犯罪动态。基于GNN的同质性假设,我们提出了一个同质性感知约束来正则化区域图的优化,使学习图上的相邻区域节点共享相似的犯罪模式,从而拟合扩散卷积的机制。它还纳入了犯罪嵌入,以模拟区域和犯罪类别之间的相互依存关系。在两个真实数据集上的实证实验和综合分析表明了HAGEN的有效性。
2021-09-27 cs.AI cs.CY cs.LG
Foundation-Style Pretraining for Scalable and Transferable Distributed PV Forecasting
The Hong Kong Polytechnic University(香港理工大学);Ningbo Institute of Digital Twin, Eastern Institute of Technology(宁波东方理工大学数字孪生研究院);Stockholm University(斯德哥尔摩大学)
针对分布式光伏预测的可扩展性缺口,提出领域专属基础模型式预训练框架,通过混合预训练目标训练的 MR 模型,在多站点多 horizon 预测中优于基线与通用时间序列模型,可直接部署并适配新站点。
2026-10-21 cs.LG
Scaleformer: Iterative Multi-scale Refining Transformers for Time Series Forecasting
Simon Fraser University(西蒙弗雷泽大学);Borealis AI
最近,由于引入了Transformers,时间序列预测的性能有了很大的提高。在本文中,我们提出了一个通用的多尺度框架,可以应用于最先进的基于变压器的时间序列预测模型(FEDformer,Autoformer等)。通过在多个尺度上使用共享权重迭代地改进预测时间序列,引入架构自适应和专门设计的归一化方案,我们能够在数据集和Transformer架构上实现显着的性能改进,从5.5%提高到38.5%,并且额外的计算开销最小。通过详细的消融研究,我们证明了我们在架构和方法上的每一个贡献的有效性。此外,我们在各种公共数据集上的实验表明,所提出的改进优于其相应的基线同行。我们的代码可在https://github.com/BorealisAI/scaleformer上公开获取。
2023-02-07 cs.LG
Adaptive Patching Is Harder Than It Looks For Time-Series Forecasting
ICube, University of Strasbourg, Illkirch-Graffenstaden, France(斯特拉斯堡大学ICube研究所,法国伊尔克里奇-格拉夫芬斯坦德);Technical University of Munich(慕尼黑技术大学);FinTech Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)金融科技研究组);Computer Science Department, Hainan Bielefeld University of Applied Sciences(海南比尔费尔德应用科学大学计算机科学系);Cephalgo, Strasbourg, France(法国斯特拉斯堡Cephalgo公司);Heilbronn Data Science Center, Munich Data Science Institute(慕尼黑数据科学研究所海德堡数据科学中心)
本文通过理论分析和实验验证,探讨自适应分块在时间序列Transformer中是否优于调优的均匀分块,发现均匀基线在标准基准上具有竞争力,自适应分块的优势有限且依赖于特定方法和数据集。
2026-10-14 cs.AI cs.IT cs.LG
Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning
针对现有MoE-MTL方法单任务转多任务时适配冗余、知识共享低效的问题,提出带自适应共享专家的LoRA基MoE及细粒度专家设计,在PASCAL-Context基准上验证了性能提升效果。
2025-10-01 cs.AI cs.CV cs.LG
Not All Variables Agree: Reliability-Aware Variable-Wise Gradient Surgery for Multivariate Time-Series Forecasting
Seoul National University(首尔大学);Korea University(高丽大学)
针对多元时间序列预测中均值损失掩盖变量间梯度冲突的问题,提出可靠性感知的逐变量梯度手术方法PV-Surgery,通过代理梯度与条件池化优化,平均降低MSE 3.61%和MAE 2.93%。
2026-09-09 cs.LG
Auxiliary Quantile Forecasting with Linear Networks
University of Hildesheim(希尔德斯海姆大学)
我们提出了一种新的多任务方法,用于共享线性层的分位数预测。我们的方法是基于隐式分位数学习方法,其中来自均匀分布$\mathcal{U}(0, 1)$的样本被重新参数化为目标分布的分位数值。我们结合隐式分位数和输入时间序列表示,直接预测多个分位数估计多个视野联合。先前的工作已经采用了线性层,用于在多任务学习设置中直接估计所有预测范围。我们表明,根据多任务学习的类似直觉,利用预测范围之间的相关性,我们可以为每个预测范围建模多个分位数估计作为辅助任务,以提高分位数估计的预测准确性,而不是仅建模单个分位数估计。我们发现学习辅助分位数任务导致确定性预测基准的最先进的性能,关于预测50 $^{th}$百分位估计的主要任务。
2022-12-05 cs.LG stat.ME
Q-DEQ: Discrete Solving and Quantization for Deep Equilibrium Models in Time Series Forecasting under Edge Deployment Coding Constraints
提出Q-DEQ,将深度平衡模型前向求解中的局部更新转化为QUBO离散优化,结合W8A8量化,在时间序列预测中实现参数和存储大幅压缩,且精度接近显式基线。
2026-09-22 cs.LG