Task Aware Modulation using Representation Learning: An Approach for Few Shot Learning in Environmental Systems
University of Minnesota(明尼苏达大学)
本文提出多模态元学习框架TAM-RL,通过调制网络和基础网络学习任务特定参数,在有限数据下高效适应环境系统异构任务,在GPP和径流预测上显著优于基线且训练速度提升3倍以上。
2024-10-16 cs.AI cs.LG
CauSTream: Causal Spatio-Temporal Representation Learning for Streamflow Forecasting
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学);The ByWater Institute, Tulane University(泰勒沃特研究所,路易斯安那大学)
CauSTream通过因果时空表示学习提升径流预测精度,同时学习因果图以提供可解释的流域动态洞察。
2025-12-18 cs.AI cs.CE cs.LG
Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization for Enhanced Time Series Forecasting
Alibaba Group(阿里巴巴集团);Meta Platforms, Inc.(元平台公司)
本文提出Sparse-VQ Transformer,用稀疏向量量化替代FFN层并结合RevIN,减少噪声影响和参数,在十个基准上MAE降低7.84%和4.17%,可集成于现有模型提升预测性能。
2024-02-08 cs.AI cs.LG
Super ensemble learning for daily streamflow forecasting: Large-scale demonstration and comparison with multiple machine learning algorithms
National Technical University of Athens(雅典国家技术大学);Air Force Support Command, Hellenic Air Force(希腊空军支援司令部);University of Patras(帕特雷大学)
通过数据驱动的方法进行的日常径流预测传统上是使用单个机器学习算法进行的。现有的应用程序大多局限于少数案例研究的检查,不允许准确评估所涉及的算法的预测性能。在这里,我们提出了超级学习(一种集成学习),通过组合10个机器学习算法。我们应用该算法在一步提前预测模式。为了应用,我们利用了一个大的数据集,包括10年的时间序列的日径流量,降水量和温度从511个流域。超级学习器比线性回归算法的性能提高了20.06%,优于“实践中难以击败”的等权重组合器。后者比线性回归算法的性能提高了19.21%。性能最好的单个机器学习算法是神经网络,它比线性回归算法的性能提高了16.73%,其次是极度随机化的树(16.40%)、XGBoost(15.92%)、黄土(15.36%)、随机森林(12.75%)、polyMARS(12.36%)、MARS(4.74%)、lasso(0.11%)和支持向量回归(-0.45%)。基于所获得的大规模的结果,我们提出了超级学习每日径流预测。
2021-03-22 cs.LG stat.ML
Enhancing streamflow forecast and extracting insights using long-short term memory networks with data integration at continental scales
Pennsylvania State University(宾夕法尼亚州立大学);Stanford University(斯坦福大学)
最近的观测与不同的时间表和类型(移动平均,快照,或定期间隔)可以帮助改善径流预测,但它是具有挑战性的有效整合。基于长短期记忆(LSTM)径流模型,我们测试了多个版本的灵活程序,我们称之为数据集成(DI),以利用最近的流量测量来改善预测。DI直接或通过卷积神经网络(CNN)单元接受滞后输入。DI普遍将径流预报性能提升到前所未有的水平,达到创纪录的大陆尺度中值Nash-Sutcliffe效率系数值0.86。整合移动平均流量,最近几天的流量,甚至是前一个日历月的平均流量都可以改善每日预报。直接使用滞后观测值作为输入在性能上与使用CNN单元相当。重要的是,我们获得了有关水文过程影响LSTM和DI性能的宝贵见解。在应用DI之前,基础LSTM模型在山区或积雪为主的地区工作得很好,但在排放量低的地区(由于降水量低或降水能量同步性高)和年际储存变化大的地区工作得不太好。DI是最有益的高流量自相关的地区:它大大减少了基流偏差地下水为主的西部盆地,也提高了动态地表水存储,如草原坑洼或五大湖地区的盆地峰值预测。然而,即使是DI也不能提升具有一天闪光峰值的高干旱盆地。尽管存在这种限制,但由于其性能、自动化、效率和灵活性,基于深度学习的预测范式有很大的希望。
2020-05-05 cs.LG stat.ML
Fast-Slow Streamflow Model Using Mass-Conserving LSTM
IBM Research(IBM研究院)
径流预测是有效管理水资源和为气候变化加剧的自然灾害做好准备的关键。在这里,我们使用快流和慢流分量的概念来创建一个新的质量守恒的长短期记忆(LSTM)神经网络模型。它使用水文气象时间序列和集水区属性来预测每日河流流量。初步结果表明,与最近的文献相比,不同分数的技能有所提高。
2021-07-13 cs.LG physics.ao-ph
Imputation of Missing Streamflow Data at Multiple Gauging Stations in Benin Republic
Queen Mary University of London(伦敦玛丽女王大学);University of Witwatersrand(威特沃特斯兰德大学);University of Johannesburg(约翰内斯堡大学);Summerland Research and Development Centre, Agriculture and Agri-Food Canada(加拿大农业与农业食品部萨默兰研发中心)
径流观测数据对于洪水监测、农业和定居规划至关重要。然而,这样的流量数据通常困扰与丢失的观测,由于各种原因,如恶劣的环境条件和有限的业务资源。在撒哈拉以南非洲等资源不足地区,这一问题往往更为普遍。在这项工作中,我们重建径流时间序列数据,通过偏差校正的GEOGloWS ECMWF径流服务(GESS)预测在贝宁共和国的10个河流测量站。我们通过在受约束的训练期内拟合分位数映射,高斯过程和弹性网络回归来执行偏差校正。我们通过模拟测试期间的缺失,GESS预测有一个显着的偏差,结果在低预测技能超过10个贝宁站。我们的研究结果表明,弹性网络和高斯过程回归的整体偏差校正相对于随机森林,k-最近邻和GESS查找的传统插补实现了更高的技能。这项工作的结果为将全球GESS流量数据整合到业务预警决策系统(例如,洪水警报),在易受极端天气事件造成的干旱和洪水影响的国家。
2022-11-17 cs.LG stat.AP
Implicit Assimilation of Sparse In Situ Data for Dense & Global Storm Surge Forecasting
European Space Agency(欧洲空间局);La Trobe University(拉筹伯大学);Consiglio Nazionale delle Ricerche(国家研究委员会(意大利));Terrarum(特拉伦公司)
本文提出用神经网络隐式同化稀疏现场验潮站数据与粗粒度海洋再分析,构建全球数据集,实现面向无观测站地点的密集全球风暴潮预报。
2024-04-05 cs.AI cs.CV cs.LG
Streamflow Prediction with Uncertainty Quantification for Water Management: A Constrained Reasoning and Learning Approach
Washington State University(华盛顿州立大学)
本文提出一种约束推理与学习(CRL)方法,将物理定律作为逻辑约束层集成到深度神经网络中以提升径流预测精度,并结合高斯过程与深度时间模型实现不确定性量化,在多个真实数据集上优于强基线方法。
2024-05-31 cs.AI cs.LG
Personalized Sleep Prediction via Deep Adaptive Spatiotemporal Modeling and Sparse Data
Engineering and Technology Institute Groningen, University of Groningen(Groningen大学工程与技术学院);Department of Human Movement Sciences, University of Groningen, University Medical Center Groningen(Groningen大学人类运动科学系)
本文提出AdaST-Sleep模型,结合卷积和循环神经网络及域分类器,利用稀疏穿戴数据预测睡眠评分,在多种窗口实验中优于基线,最低RMSE为0.282,实现稳健个性化预测。
2025-08-27 cs.AI cs.LG eess.SP
A Data Scientist's Guide to Streamflow Prediction
David R. Cheriton School of Computer Science(戴维·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
近年来,数据驱动科学的范式已成为物理科学的主要成分,特别是在气候学等地球物理学科中。水文学领域是机器学习和数据驱动模型引起广泛关注的学科之一。这为数据科学家对水文研究的贡献提供了巨大的潜力。在每一个跨学科的研究工作中,对该领域的初步相互理解是以后工作成功的关键。在这项工作中,我们集中在水文降雨的要素-径流模型及其在洪水预报和预测径流量(河流中流动的水量)中的应用。本指南旨在帮助感兴趣的数据科学家了解问题,所涉及的水文概念以及沿途出现的细节。我们已经收集了我们在“加快速度”进行径流预测时学到的经验教训,并希望我们的经验对社区有用。
2020-06-05 cs.LG physics.ao-ph stat.ML
Towards Operational Streamflow Forecasting in the Limpopo River Basin using Long Short-Term Memory Networks
University of Cambridge(剑桥大学);International Water Management Institute(国际水资源管理研究所)
本文研究了在数据稀缺的利比里河盆地使用LSTM网络进行操作性径流预测,并探讨了数据限制对深度学习应用的影响及改进方法。
2026-01-11 cs.LG physics.geo-ph
Hierarchically Disentangled Recurrent Network for Factorizing System Dynamics of Multi-scale Systems: An application on Hydrological Systems
National Weather Service(国家气象局)
提出了一种分层解耦循环网络(FHNN),通过逆模型和正向模型在多时间尺度上分解并捕获系统动力学交互,在水文径流预测任务中优于物理和Transformer基线,且在数据有限时仍能保持准确性。
2025-04-29 cs.LG
Prediction in ungauged regions with sparse flow duration curves and input-selection ensemble modeling
Pennsylvania State University(宾夕法尼亚州立大学)
虽然长短期记忆(LSTM)模型在径流预测方面表现出出色的性能,但在没有测量仪的连续区域中应用这些模型存在重大风险,或者在无测量区域(PUR)问题中进行预测。然而,诸如流量持续时间曲线(FDC)之类的更软的数据可能已经从附近的站获得,或者可能变得可用。在这里,我们证明了稀疏FDC数据可以通过基于LSTM的网络,通过编码器迁移和同化。一项严格的基于区域的坚持测试显示,美国数据集的克林-古普塔效率(KGE)中位数为0.62,远高于之前最先进的全球规模无测量盆地测试。没有FDC的基线模型已经具有竞争力(中位数KGE 0.56),但整合FDC具有实质性价值。由于输入的不准确表示,基线模型有时可能产生灾难性的结果。然而,模型的概括性进一步有意义地提高了编译集成的基础上,不同的输入选择的模型。
2020-11-26 cs.AI cs.LG
Toward Routing River Water in Land Surface Models with Recurrent Neural Networks
Ecole Polytechnique(巴黎综合理工学院);California Institute of Technology(加州理工学院)
本研究探讨循环神经网络(RNNs)在陆面模型(LSMs)中进行河流水路由的性能,以瞬时径流为输入,经全球流域数据训练和测试,其跨流域、跨时间泛化能力优于现有基于物理的模型,NSE中位数显著提升。
2024-12-05 cs.LG physics.comp-ph physics.geo-ph
Congestion Forecast for Trains with Railroad-Graph-based Semi-Supervised Learning using Sparse Passenger Reports
Tokyo Institute of Technology(东京工业大学);LY Corporation(LY公司)
本文提出列车拥堵预测半监督方法SURCONFORT,利用稀疏乘客报告和铁路网络图正则化,在实际数据上比现有最优方法提升14.9%。
2024-10-23 cs.AI cs.LG
Caravan MultiMet: Extending Caravan with Multiple Weather Nowcasts and Forecasts
Google Research(谷歌研究院)
本研究通过在Caravan大样本水文数据集中增加三种降水临近预报和三种天气预报产品,使其成为首个纳入天气预报数据的大样本水文数据集,从而增强了水文模型的实时预报评估与基准测试能力。
2024-11-14 cs.LG
Long-term series forecasting with Query Selector -- efficient model of sparse attention
MORAI;Nicholas Copernicus University(尼古拉斯·哥白尼大学)
近年来,各种变形的变压Transformer被用来解决时间序列预测问题。我们提出了一个有效的,确定性算法稀疏注意矩阵的查询树。在ETT、Helpdesk和BPI'12数据集上的实验结果表明,该方法取得了较好的效果。
2021-08-17 cs.LG
TA-SparseMG: Trend-Aware Sparse Forecasting via Multi-Scale Gating for Long-Term Time Series
School of Mathematical Sciences, Guizhou Normal University(贵州师范大学数学科学学院);School of Big Data and Computer Science, Guizhou Normal University(贵州师范大学大数据与计算机科学学院)
提出TA-SparseMG轻量级模型,结合趋势感知归一化、尺度自适应门控去噪和多尺度门控注意力MLP模块,解决长期时间序列预测中的非平稳性、高频干扰和跨周期依赖问题,在多个基准上取得稳定优异性能。
2026-06-29 cs.LG
TransGlow: Attention-augmented Transduction model based on Graph Neural Networks for Water Flow Forecasting
Gina Cody School of Engineering and Computer Science(吉娜·科迪工程与计算机科学学院);Concordia University(康考迪亚大学)
针对互联水系统中变量关系建模与历史数据不足问题,本文提出结合高效注意力、GCRN和自适应稀疏图学习的时空预测模型TransGlow,并发布加拿大水流基准数据集,性能显著优于基线。
2023-12-10 cs.LG
Neural ocean forecasting from sparse satellite-derived observations: a case-study for SSH dynamics and altimetry data
IMT Atlantique(大西洋国立高等矿业电信学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Ifremer(法国海洋开发研究院);OceanDataLab;Mercator Ocean International(国际墨卡托海洋组织);IRD(法国国家可持续发展研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文提出基于稀疏卫星观测的端到端神经预报框架,用于预测海面异常和流,展示其在数据稀疏条件下的有效性。
2025-12-15 cs.AI cs.LG physics.ao-ph
A Novel Framework for Handling Sparse Data in Traffic Forecast
Huawei Amsterdam Research Center(华为阿姆斯特丹研究中心);National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学)
配备GPS的车辆数量不断增加,为移动车辆所经过的道路提供实时的有价值的交通信息。以这种方式,为每条道路生成一组稀疏且随时间演进的交通报告。这些时间序列是预测未来交通状况的宝贵资产。在本文中,我们提出了一个深度学习框架,编码稀疏的最近的交通信息和预测未来的交通状况。我们的框架包括一个经常性的部分和一个解码器。循环部分采用注意力机制,该注意力机制对在特定时间窗口可用的业务报告进行编码。解码器负责预测未来的交通状况。
2023-01-12 cs.LG
A Predict-then-Correct Loop Based on Few-Shot Continuous Contextual Bandit for Demand Forecasting
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Massachusetts Institute of Technology(麻省理工学院)
研究针对零售需求预测难题,提出预测-校正框架,运用少样本连续上下文博弈校正策略等,经实验在多需求模式下显著降低误差、提高RMSE并降低库存成本,证明在线预测校正能连接离线需求学习与实时零售决策。
2026-07-21 cs.AI cs.LG
Towards High Resolution Probabilistic Coastal Inundation Forecasting from Sparse Observations
针对稀疏传感器网络限制下的海岸淹没预测问题,提出DIFF-SPARSE掩蔽条件扩散模型,利用时空上下文与新颖掩蔽策略,在95%稀疏度下较现有方法性能提升62%,为应急响应提供支持。
2025-11-11 cs.LG
Hierarchical Forecasting at Scale
University of Amsterdam(阿姆斯特丹大学);bol.(博尔公司)
本文提出一种稀疏层次损失函数,使单一底层模型能为数百万时间序列生成对任意截面或时间层次一致的预测,省去后处理步骤,并在M5数据集及欧洲电商平台bol上验证了显著的性能提升。
2024-02-26 cs.LG
Similarity-based Feature Extraction for Large-scale Sparse Traffic Forecasting
Northeastern University(东北大学);Technical University of Munich(慕尼黑工业大学)
短时交通量预测是智能交通系统研究的热点。然而,大多数现有的预测系统是有限的实时探测车数据的要求,因为它们的配方作为一个时间序列预测问题。针对这一问题,NeurIPS 2022年的交通流4cast挑战赛致力于利用公开的稀疏循环计数数据预测全市范围的交通状态。本技术报告介绍了我们的第二名获奖解决方案,以应对ETA预测的扩展挑战。我们提出了一种基于相似性的特征提取方法,使用多个最近邻(NN)过滤器。提取了基于相似性的特征、静态特征、节点流特征和片段组合特征,用于训练梯度提升决策树模型。在三个城市(包括伦敦,马德里和墨尔本)的实验结果表明,我们的方法具有很强的预测性能,在行程时间估计任务中优于一些基于图神经网络的解决方案。源代码可从\url{https://github.com/c-lyu/Traffic4Cast2022-TSE}获得。
2022-11-13 cs.LG
When, Not How Much: Evaluating Time-Series Foundation Models on Sparse Events
ETH Zurich(苏黎世联邦理工学院)
本研究评估时间序列基础模型在稀疏事件排序任务上的表现,发现发布的点预测提升有限,而冻结模型上的轻量级事件头能更有效地排序事件,并超越部分基线。
2026-10-01 cs.LG
Graph-Augmented LSTM for Forecasting Sparse Anomalies in Graph-Structured Time Series
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校)
针对多变量时间序列中稀疏异常检测的跨节点依赖捕捉难题,提出将关系图显式整合到 LSTM 的图增强预测模型,在两个基准数据集上 F1 分数较最佳基线提升达 10%。
2025-03-05 cs.LG
Less Tokens, Better Forecasts: Sparse Residual Routing for Efficient Weather Prediction
Tulane University(杜兰大学);Northeastern University(东北大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Oak Ridge National Laboratory(橡树岭国家实验室)
研究针对现有基于ViT的天气预报模型计算冗余问题,提出无参数插件路由模块Sparse-Reslim,通过稀疏令牌处理兼顾固定网格要求,提升预报精度并大幅降低成本。
2026-07-07 cs.LG
Forecasting the Ionosphere from Sparse GNSS Data with Temporal-Fusion Transformers
Advanced Concepts Team European Space Agency(欧洲航天局高级概念团队);Department of Physics Università degli Studi di Roma Sapienza(罗马大学物理系);Department of Engineering Science University of Oxford(牛津大学工程科学系);Department of Information and Computer Science University of Hawai’i at Mānoa(夏威夷大学信息与计算机科学系);Free Flight Research Lab(自由飞行研究实验室);NASA Headquarters(美国国家航空航天局总部);NASA Jet Propulsion Laboratory(美国国家航空航天局喷气推进实验室);University of New Hampshire(新罕布什尔大学);Department of Computer Science University of Oxford, UK(牛津大学计算机科学系);Department of Computer Science University of York & King’s College London(约克大学计算机科学系及伦敦国王学院计算机科学系)
本研究提出基于时序融合Transformer的电离层TEC预测框架,适配多源异构输入,2010-2025年实验显示24小时预测均方根误差低至3.33 TECU,兼具可解释性并开源了ionopy工具包。
2025-10-02 cs.AI cs.LG physics.ao-ph
A Lightweight Multi-View Approach to Short-Term Load Forecasting
Université du Québec à Montréal(魁北克大学蒙特利尔分校)
本文提出了一种轻量多视图方法用于短期负荷预测,通过单值嵌入和缩放时间范围输入提高预测效率,并引入嵌入dropout机制以增强可解释性。
2026-11-05 cs.AI cs.LG
Transition-Based Digital Twin Modelling for Alzheimer's Disease under Sparse Longitudinal Data
University of Southampton(南安普顿大学);University Hospital Southampton NHS Foundation Trust(南安普顿大学医院NHS基金会信托);Faculty of Medicine, University of Southampton(南安普顿大学医学院)
针对阿尔茨海默病进展异质性和数据稀疏问题,提出结合局部转换建模与序列建模的数字孪生框架,利用多模态纵向数据预测认知状态并量化不确定性,在ADNI数据上表现优异。
2026-06-08 cs.AI cs.LG
Taking a Second Look: Correcting Sea Ice Forecasts with Sparse Observations
Harbin Engineering University(哈尔滨工程大学)
针对海冰预报中稀疏观测带来的误差累积问题,提出 ECHO 方法,通过状态依赖的传播距离修正,在 96 种设置下优于固定传播,其中 ECHO-Delta 精度最优,ECHO-Scale 稳健性最佳。
2026-09-25 cs.LG
SETTer: Sparse-Encoder Transformer for Long-term Multivariate Time Series Forecasting
RWTH Aachen University(亚琛工业大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
SETTer通过解耦自注意力和混合掩码技术,在单层Transformer架构下有效捕获长期多元时间序列的时空模式,并在88%的基准场景中超越现有最优模型。
2026-09-18 cs.LG
Efficient Traffic State Forecasting using Spatio-Temporal Network Dependencies: A Sparse Graph Neural Network Approach
University of Connecticut(康涅狄格大学)
交通网络中的交通状态预测对于有效的交通运营和管理以及明智的用户和系统级决策至关重要。然而,长期交通预测(未来30分钟以上)在目前的研究中仍然具有挑战性。在这项工作中,我们集成了时空依赖的交通网络从网络建模,连同图卷积网络(GCN)和图注意力网络(GAT)。为了进一步解决由巨大的模型大小(即,由于多个级联层导致的权重数量),我们提出稀疏训练来减轻训练成本,同时保持预测精度。这是一个在每次迭代中使用固定数量的非零权重进行训练的过程。我们考虑的问题,长期的交通速度预测的一个真正的大规模的交通网络数据从加州交通部(Caltranss)性能测量系统(PeMS)。实验结果表明,所提出的GCN-STGT和GAT-STGT模型实现低预测误差的短期,中期和长期的预测视野,15,30和45分钟的持续时间,分别。使用我们的稀疏训练,我们可以用高稀疏度从头开始训练(例如,高达90%),相当于使用与密集训练相同的时期,每秒浮点运算(FLOPs)的计算成本减少10倍,并且与原始密集训练相比,达到了精度损失非常小的模型
2022-11-06 cs.LG
Graph-Based Deep Modeling and Real Time Forecasting of Sparse Spatio-Temporal Data
Dept of Anthropology, UCLA(人类学系,加州大学洛杉矶分校);Dept of Math, UCLA(数学系,加州大学洛杉矶分校)
本文提出一种通用框架,用于稀疏时空数据的建模、分析与预测,结合自激发点过程和图结构循环神经网络,实现宏微观尺度的联合建模与实时预测。
2018-04-02 cs.LG cs.NA math.NA
Probabilistic NDVI Forecasting from Sparse Satellite Time Series and Weather Covariates
Department of Naval, Electrical, Electronics and Telecommunications Engineering, University of Genoa, Italy(海军、电子、电子与电信工程系,热那亚大学,意大利)
本文提出一种概率预测框架,利用稀疏卫星数据和天气协变量进行田间NDVI预测,通过融合历史和未来数据实现多步分位数预测,实验表明优于传统和深度学习方法。
2026-06-26 cs.CV cs.LG stat.ML
LD-EnFF: Latent-Dynamics Ensemble Flow Filtering for Data Assimilation with Sparse Observations
Georgia Institute of Technology(佐治亚理工学院)
针对高维非线性动力学与稀疏观测下的数据同化难题,提出LD-EnFF框架,在潜空间进行预测与滤波更新,结合潜动力学代理和VAE观测模型,显著优于多种基准算法。
2026-10-06 cs.LG
VN-Net: Vision-Numerical Fusion Graph Convolutional Network for Sparse Spatio-Temporal Meteorological Forecasting
Beijing University of Posts and Telecommunications(北京邮电大学)
针对稀疏气象预测,提出VN-Net模型,通过融合时空数值数据与卫星视觉图像,并利用N-GCN、V-LSTM和GCN解码器进行多模态特征提取与预测,在Weather2k数据集上显著优于现有方法。
2024-01-26 cs.CV cs.LG physics.ao-ph
Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting
University of Michigan(密歇根大学)
针对复杂协方差数据中的异方差与离群噪声,本文提出污染正态似然的稀疏变分高斯过程回归,并在地磁扰动预测中以更短预测区间达到与神经网络基线相当的覆盖率和准确率。
2024-07-02 cs.LG stat.AP stat.ME
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
NVIDIA;Thinking Machines Lab;ByteDance Seed;MIT
提出SparDA架构,通过引入第四投影Forecast实现KV缓存预取与注意力解耦,减少稀疏选择开销,在长上下文推理中实现1.25倍预填充加速和1.7倍解码加速。
2026-06-03 cs.CL cs.LG
Reframing demand forecasting: a two-fold approach for lumpy and intermittent demand
Jožef Stefan Institute(约热·斯特凡研究所);Qlector d.o.o.(Qlector有限责任公司);Jožef Stefan International Postgraduate School(约热·斯特凡国际研究生学校)
需求预测是需求管理的重要组成部分。虽然缩短预测范围可以获得更新的数据和更少的不确定性,但这通常意味着更低的数据聚合水平和更大的数据稀疏性。稀疏的需求数据通常会导致不稳定或间歇性的需求模式,这些模式具有稀疏和不规则的需求间隔。统计和机器学习模型无法在这种情况下提供良好的预测。我们的研究表明,竞争需求预测可以通过两个模型来获得:预测需求发生和估计需求规模。我们分析了这两种情况下的局部和全局机器学习模型的使用情况,并将结果与基线方法进行了比较。最后,我们提出了一种新的评价标准的亮度和间歇性的需求预测模型的性能。我们的研究表明,全局分类模型是预测需求事件发生的最佳选择。在预测需求规模时,我们使用简单指数平滑预测取得了最好的结果。我们在真实世界的数据上测试了我们的方法,这些数据包括516个三年的时间序列,对应于欧洲汽车原始设备制造商的日常需求。
2021-03-23 cs.LG
Multi-task Learning for Sparse Traffic Forecasting
South China University of Technology(华南理工大学)
准确的交通预测是提高智能交通系统性能的关键。以往的交通预测任务主要集中在小型和非孤立的交通子系统上,而2022年的交通预测竞赛则致力于探索整个城市的交通状态动态。仅给定一小时的稀疏循环计数数据,任务是预测所有路段的拥堵等级以及未来15分钟内沿超级路段的预期到达时间。循环计数器数据的稀疏性和高度不确定的实时交通状况使得竞争具有挑战性。为此,我们提出了一个多任务学习网络,可以同时预测每个路段的拥堵类别和速度。具体来说,我们使用聚类和神经网络方法来学习循环计数器数据的动态特征。然后,我们构建了一个图的道路段作为节点,并捕获道路段之间的空间依赖性的基础上的图神经网络。最后,我们学习三个措施,即拥挤类,速度值和音量类,同时通过一个多任务学习模块。对于扩展的竞争,我们使用预测的速度来计算沿超段的预期到达时间。我们的方法在2022年的music4cast竞赛提供的数据集上取得了优异的结果,源代码可在https://github.com/OctopusLi/NeurIPS2022-traffic4cast上获得。
2022-11-18 cs.LG
Load Forecasting on A Highly Sparse Electrical Load Dataset Using Gaussian Interpolation
Department of Electrical and Electronic Engineering, Bangladesh University of Engineering and Technology (BUET)(电气与电子工程系,孟加拉国工程与技术大学)
针对高度稀疏电力负荷数据集的预测挑战,本研究假设数据宽平稳并采用高斯插值增强数据,训练多种模型后实证表明高斯插值适用且基于LSTM的模型性能最优。
2025-08-12 cs.LG eess.SP
Breaking the Regional Barrier: Inductive Semantic Topology Learning for Worldwide Air Quality Forecasting
The Hong Kong University of Science(香港科学与技术大学);Griffith University, Australia(格里菲斯大学)
OmniAir通过语义拓扑学习框架提升全球空气质量预测的泛化能力,实现高效准确的预测并弥补数据稀疏区域的监测缺口。
2026-01-29 cs.LG
Forecasting Sparse Movement Speed of Urban Road Networks with Nonstationary Temporal Matrix Factorization
Polytechnique Montreal(蒙特利尔理工学院);McGill University(麦吉尔大学);University of Electronic Science and Technology of China(电子科学与技术大学)
本文提出非平稳时间矩阵分解模型,用于预测城市道路网络稀疏行驶速度,通过低秩结构和季节性信息提升预测精度。
2025-04-12 cs.LG stat.ML
Multipath Adaptive Gated Bottleneck Latent ODE with Raman Data Fusion for Cell Culture Process Forecasting
Complex Adaptive Systems Laboratory, The Data Science Institute, University of Technology Sydney(悉尼科技大学数据科学研究所复杂自适应系统实验室);CSL Innovation(CSL创新公司)
提出结合门控瓶颈潜在ODE与多路径即时微调的框架,通过拉曼光谱数据融合解决哺乳动物细胞培养过程中稀疏、不规则采样下的早期预测问题,在38批实验中优于基线模型。
2026-07-07 cs.AI cs.CE cs.LG
Deep Learning for Day Forecasts from Sparse Observations
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文提出MetNet-3,一种基于稀疏观测的深度学习模型,通过致密化技术实现最长24小时、最高2分钟和1公里分辨率的降水、风、温度和露点预报,并在美国本土区域超越HRRR和ENS等数值天气预报模型。
2023-07-06 cs.LG physics.ao-ph
Update hydrological states or meteorological forcings? Comparing data assimilation methods for differentiable hydrologic models
The Pennsylvania State University(宾夕法尼亚州立大学)
本研究比较了可微分水文模型的数据同化方法,开发了变分同化方案,通过同时调整降水和内部状态,将提前一天预报的NSE从0.75提升至0.82,且无需训练数据,适用于河网。
2025-02-23 cs.LG physics.ao-ph physics.flu-dyn
Forecasting Geopolitical Events with a Sparse Temporal Fusion Transformer and Gaussian Process Hybrid: A Case Study in Middle Eastern and U.S. Conflict Dynamics
Department of Statistics and Data Science, University of Central Florida(统计与数据科学系,中央佛罗里达大学)
提出混合架构STFT-VNNGP,结合TFT的多分位数预测与VNNGP的时空平滑,解决地缘政治事件数据的稀疏与突发问题,在长程预测中优于独立TFT,为国家安全提供可靠情报。
2025-06-26 cs.LG stat.AP stat.CO
ForecastPFN: Synthetically-Trained Zero-Shot Forecasting
Caltech(加州理工学院)
针对时间序列初始观测极少的问题,本文提出完全在新型合成数据分布上训练的先验数据拟合网络ForecastPFN,可一次前向传播完成零样本预测,并在准确性和速度上超越允许使用额外同分布数据训练的SOTA方法。
2023-11-03 cs.LG
Learning the Dynamics of Physical Systems from Sparse Observations with Finite Element Networks
Munich Data Science Institute(慕尼黑数据科学研究所);Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的时空预测任意分布点的方法。假设观测系统遵循一个未知的偏微分方程,我们推导出一个连续时间模型的动态数据通过有限元法。由此产生的图神经网络估计的瞬时影响的未知动态的每个细胞在网格的空间域。我们的模型可以通过对未知PDE形式的假设来结合先验知识,这会导致对学习特定过程的结构性偏见。通过这种机制,我们从对流方程中推导出我们的模型的传输变体,并表明它提高了传输性能,以更高分辨率的网格对海洋表面温度和气体流量预测对基线模型代表了选择的时空预测方法。定性分析表明,我们的模型将数据动态分解为它们的组成部分,这使得它具有独特的可解释性。
2022-03-16 cs.LG cs.NA math.NA
Deep Set Neural Networks for forecasting asynchronous bioprocess timeseries
Technische Universität Berlin(柏林工业大学)
本文提出带三元组输入编码的 Deep Set Neural Networks,无需插补或对齐即可预测稀疏、不规则的异步生物过程时间序列,并在宏观动力学模型生成数据上验证其优于传统流程。
2023-12-05 cs.LG
Vessel Traffic Flow Prediction on Sparse Data via Spatio-Temporal Graph Neural Networks with a Learnable Tweedie Head
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
针对船舶交通流数据高度稀疏且间歇性爆发的问题,提出一种模型无关的可学习Tweedie头作为即插即用输出模块,通过优化闭合形式的Tweedie单元偏差并预测均值,同时学习节点级方差幂以捕获港口区域异质性,在真实AIS数据上显著提升RMSE。
2026-06-05 cs.LG stat.ML