Does imputation matter? Benchmark for predictive models
Warsaw University of Technology(华沙理工大学);University of Warsaw(华沙大学)
不完整数据在实际应用中很常见。大多数预测性机器学习模型不处理缺失值,因此需要进行一些预处理。虽然许多算法用于数据填补,我们不了解不同的方法对预测模型的性能的影响。本文首次系统地评价了预测模型数据填补算法的经验有效性。主要贡献是(1)基于现实生活分类任务的经验基准测试的一般方法的建议和(2)对数据集和ML算法集合的不同插补方法的比较分析。
2020-07-06 cs.LG stat.ML
Benchmarking missing-values approaches for predictive models on health databases
McGill University(麦吉尔大学);Inria(法国国家信息与自动化研究所);Mila(米拉人工智能研究所);IDESP(IDESP研究所)
背景技术背景:随着数据库变得越来越大,完全控制它们的集合变得越来越困难,并且它们经常带有缺失值:不完整的观察结果。这些大型数据库非常适合训练机器学习模型,例如用于预测或提取生物医学环境中的生物标志物。这种预测方法可以使用判别式而不是生成式建模,从而为新的缺失值策略打开大门。然而,现有的经验评估策略,以处理缺失值的重点是推理统计。研究结果:在这里,我们对预测模型中的缺失值策略进行了系统的基准测试,重点是大型健康数据库:四个电子健康记录数据集,一个人口脑成像数据集,一个健康调查数据集和两个重症监护数据集。使用梯度提升树,我们在学习之前将缺失值的本地支持与简单和最先进的插补进行比较。我们调查预测精度和计算时间。对于插补后的预测,我们发现添加一个指标来表示哪些值已被插补是很重要的,这表明数据不是随机缺失的。与简单的策略相比,精心设计的缺失值插补可以提高预测,但在大数据上需要更长的计算时间。对缺失值建模的学习树(包含缺失的合并属性)可实现稳健、快速且性能良好的预测建模。结论:在监督机器学习中对缺失值的原生支持比最先进的插补预测更好,计算成本更低。使用插补时,重要的是要添加表示已插补的值的指示列。
2022-02-17 cs.AI cs.LG
Benchmarking Sensor Robustness in Plasma Diagnostic Models: A Systematic Evaluation on TokaMark
Independent Researcher(独立研究者)
研究针对托卡马克等离子体诊断模型,利用TokaMark数据集在多种故障场景和插补策略下评估多种模型,引入鲁棒性分数,发现临近破裂传感器故障对序列模型影响大,统计模型较稳定,还得出等离子体电流是关键诊断指标等结论。
2026-07-15 cs.LG physics.plasm-ph
Learning spatiotemporal features from incomplete data for traffic flow prediction using hybrid deep neural networks
Science and Research Branch IAU(伊斯兰阿扎德大学科学研究分院);Tarbiat Modares University(塔比亚特·莫达雷斯大学);University of Copenhagen(哥本哈根大学)
使用数据驱动模型进行城市交通流预测,可以在路线规划和预防高速公路拥堵方面发挥重要作用。这些方法利用在不同时间戳从交通记录站收集的数据来预测交通的未来状态。因此,数据汇集、传输、存储和提取技术可以对交通流模型的性能具有显著影响。另一方面,全面的数据库可以提供使用复杂但可靠的预测模型的机会,例如深度学习方法。然而,这些方法中的大多数在处理缺失值和离群值时存在困难。这项研究的重点是混合深度神经网络预测交通流量在加州高速公路性能测量系统(PeMS)与缺失值。所提出的网络是基于一个组合的递归神经网络(RNN),以考虑在每个站和卷积神经网络(CNN)记录的数据的时间依赖性,以考虑在相邻的站的空间相关性。基于RNN和CNN考虑了具有串联和并联连接的各种架构配置,并且使用几种流行的数据插补技术来检查混合网络对缺失值的鲁棒性。对PeMS的两个不同数据集进行的综合分析表明,提出的串并联混合网络与平均值插补技术实现了最低的预测误差,并在完整和不完整的训练数据的情况下,适用于不完整的测试数据时,对缺失值高达21%的缺失率是鲁棒的。
2022-04-21 cs.AI cs.LG
IBB Traffic Graph Data: Benchmarking and Road Traffic Prediction Model
Istanbul Technical University(伊斯坦布尔技术大学);ITU AI Research and Application Center(ITU人工智能研究与应用中心);BTS Group(BTS集团);Gazi University(加齐大学)
本文提出IBB Traffic图数据集以弥补现有交通数据集在地理特征和规模上的不足,并设计结合特征工程、GLEE节点嵌入和ExtraTrees的道路交通预测模型,平均准确率较基线提升4%。
2024-08-02 cs.AI cs.IT cs.LG
Large-Scale Traffic Data Imputation with Spatiotemporal Semantic Understanding
Tsinghua University(清华大学);Central South University(中南大学)
大规模数据缺失是智能交通系统(ITS)中一个具有挑战性的问题。许多研究已经进行了估算大规模的交通数据,考虑他们的时空相关性在网络层面上。然而,在现有的交通数据估算,丰富的语义信息的道路网络已在很大程度上被忽视时,捕捉网络范围内的时空相关性。本研究提出一个交通数据插补的图Transformer模型(GT-TDI),以插补大规模的交通数据与时空语义理解的道路网络。具体而言,该模型引入语义描述组成的网络范围内的空间和时间信息的交通数据,以帮助GT-TDI模型捕捉时空相关性在网络级别。该模型以不完整数据、传感器的社会连通性和语义描述作为输入,在图神经网络(GNN)和Transformer的帮助下执行插补任务。在PeMS高速公路数据集上,进行了大量的实验,将所提出的GT-TDI模型与传统方法、张量分解方法和基于深度学习的方法进行比较。实验结果表明,GT-TDI算法在复杂的缺失模式和多样的缺失率下,性能优于现有方法。GT-TDI型号的代码将在https://github.com/KP-Zhang/GT-TDI上提供。
2023-01-27 cs.LG
A Double-Norm Aggregated Tensor Latent Factorization Model for Temporal-Aware Traffic Speed Imputation
College of Computer and Information Science(计算机与信息科学学院);Southwest University(西南大学)
针对交通速度数据缺失问题,提出结合L2和平滑L1范数的TATSI模型,采用SLF-NMU求解器,在三个真实数据集上实现高精度鲁棒的补全。
2025-04-24 cs.LG
FastSTI: A Fast Conditional Pseudo Numerical Diffusion Model for Spatio-temporal Traffic Data Imputation
School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);University of Padova(帕多瓦大学)
本文提出FastSTI快速条件扩散模型,通过高阶伪数值求解器和方差调度对齐策略,在仅6个采样步骤内实现高质量时空交通数据插补,速度较现有最优模型提升8.3倍,尤其适用于60%~90%高缺失率场景。
2024-10-20 cs.LG
Exploring QUIC Dynamics: A Large-Scale Dataset for Encrypted Traffic Analysis
Technion(技术离子大学)
针对QUIC加密流量分析缺乏大规模数据集的问题,本文提出VisQUIC数据集,包含10万条轨迹,并提供SSL密钥和图像表示,支持机器学习分析,在HTTP/3响应估计任务上达到97%准确率。
2025-05-24 cs.AI cs.CV cs.LG
IGANI: Iterative Generative Adversarial Networks for Imputation with Application to Traffic Data
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在智能交通系统中越来越多地使用传感器数据,需要精确的插补算法,以便在偶尔缺乏数据的情况下实现可靠的交通管理。生成对抗网络(GANs)是一种隐式生成模型,可用于数据填补,是一种有效的填补方法。这项工作介绍了一种新的迭代GAN架构,称为迭代生成对抗网络的插补(IGANI),数据插补。IGANI分两步对数据进行插补,并保持生成插补器的可逆性,这将被证明是所提出的基于GAN的插补收敛的充分条件。我们所提出的方法的性能进行评估(1)在中国广州市收集的交通速度数据的插补,并使用插补数据的短期交通预测模型的训练,和(2)插补的多变量交通数据的高速公路在波特兰-温哥华大都市地区,其中包括体积,占用率,和速度与不同的缺失率为他们每个人。结果表明,我们提出的算法大多产生更准确的结果相比,以前的基于GAN的插补架构。
2021-06-21 cs.LG stat.CO stat.ML
iAgentBench: Benchmarking Sensemaking Capabilities of Information-Seeking Agents on High-Traffic Topics
University of Washington(华盛顿大学)
iAgentBench通过整合多源证据来评估信息检索代理在高流量话题中的理解能力,强调证据使用而非单纯检索的重要性。
2026-03-04 cs.CL cs.IR cs.LG
A Nonconvex Low-Rank Tensor Completion Model for Spatiotemporal Traffic Data Imputation
McGill University(麦吉尔大学);Shanghai Jiao Tong University(上海交通大学)
在各种传感系统采集的时空交通数据中,稀疏和缺失数据问题是非常普遍的。在智能交通系统的许多应用中,准确的估算是至关重要的。在本文中,我们制定了时空交通数据中的缺失数据填补问题的低秩张量完成(LRTC)框架,并定义了一个新的截断核范数(TNN)的交通张量的位置$\times$天$\times$时间的一天。特别是,我们引入了一个通用的速率参数来控制截断的程度上所有的张量模式在建议的LRTC-TNN模型,这使我们能够更好地描述时空交通数据中的隐藏模式。基于交替方向乘法(ADMM)的框架,我们提出了一个有效的算法来获得每个变量的最优解。我们在四个时空交通数据集上进行了数值实验,结果表明,所提出的LRTC-TNN模型优于许多最先进的缺失率/模式的插补模型。此外,该模型还优于其他基线模型在极端缺失的情况下。
2020-06-11 cs.LG stat.ML
ST-GIN: An Uncertainty Quantification Approach in Traffic Data Imputation with Spatio-temporal Graph Attention and Bidirectional Recurrent United Neural Networks
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院);University of Florida(佛罗里达大学);Wuhan University(武汉大学);Duke Kunshan University(昆山杜克大学)
针对交通数据缺失值影响应用的问题,提出ST-GIN深度学习填补方法,结合图注意力架构捕捉空间相关性与双向神经网络学习时间信息,实验证明其优于所有基准技术。
2023-09-09 cs.LG
Benchmarking Local Robustness of High-Accuracy Binary Neural Networks for Enhanced Traffic Sign Recognition
West University of Timisoara(蒂米什瓦拉西部大学)
该研究针对高精度交通标志识别二值神经网络,构建了含多层结构的局部鲁棒性基准测试集,经VNN-COMP'23验证现有求解器的处理能力与问题,并计划探索延长时间的效果及错误结果成因。
2023-09-25 cs.AI cs.CV cs.LG
Multi-Output Gaussian Processes for Crowdsourced Traffic Data Imputation
Technical University of Denmark (DTU)(丹麦技术大学);University of Washington(华盛顿大学);Massachusetts Institute of Technology (MIT)(麻省理工学院)
交通速度数据插补是数据驱动的交通分析的基本挑战。近年来,随着GPS设备的普及和广泛使用众包替代方案来收集交通数据,交通专业人员越来越多地将这些用户生成的数据用于许多分析,规划和决策支持应用。然而,由于数据收集过程的机制,众包交通数据(如探测车辆数据)非常容易丢失观测结果,因此准确的估算对于任何使用此类数据的应用程序的成功至关重要。在这篇文章中,我们提出了使用多输出高斯过程(GP)来模拟复杂的空间和时间模式的众包交通数据。虽然GPS的贝叶斯非参数形式主义允许我们对观测不确定性进行建模,但基于卷积过程的多输出扩展有效地使我们能够捕获附近路段之间的复杂空间依赖性。使用6个月的众包交通速度数据或“探测车数据”在哥本哈根的几个地点,所提出的方法是经验证明,显着优于流行的国家的最先进的插补方法。
2019-06-08 cs.LG stat.ML
MagiNet: Mask-Aware Graph Imputation Network for Incomplete Traffic Data
Shanghai Jiao Tong University(上海交通大学);Arizona State University(亚利桑那州立大学);Chinese Academy of Sciences(中国科学院)
本文提出MagiNet,通过自适应掩码时空编码器和多模块堆叠时空解码器,在不依赖零预填充的情况下学习不完整交通数据的时空依赖,缓解过度平滑填补,并在五个真实数据集上取得优于现有方法的填补精度。
2024-06-05 cs.AI cs.LG
STEP: Structured Training and Evaluation Platform for benchmarking trajectory prediction models
Delft University of Technology(代尔夫特理工大学)
本文提出结构化训练与评估平台 STEP,通过统一多数据集接口和一致实验条件,揭示现有测试流程局限、联合建模重要性及模型脆弱性,推动轨迹预测评估从排行榜转向深层行为与泛化分析。
2025-09-18 cs.LG
Spatiotemporal Tensor Completion for Improved Urban Traffic Imputation
College of Engineering, Qatar University(卡塔尔大学工程学院)
有效的城市交通管理对于任何智慧城市计划都很重要。因此,传感交通数据的质量至关重要。然而,与任何传感数据一样,城市交通数据也容易出现不完善的情况,从而导致测量数据缺失。本文主要研究区域间交通数据的补齐问题。我们将区域间流量建模为一个时空张量,该张量存在测量缺失的问题。为了恢复丢失的数据,我们提出了一个增强的CANDECOMP/PARAFAC(CP)完成的方法,考虑城市和时间方面的交通。为了获得城市特征,我们将研究区域划分为区域。然后,对于每个区域,我们计算城市特征向量的启发,从生物多样性,用于计算城市相似性矩阵。为了挖掘时间方面,我们首先进行熵分析,以确定最规则的时间序列。然后,我们进行联合傅立叶和相关分析,计算其周期性和构造的时间矩阵。城市和时间矩阵被送入一个修改后的CP完成目标函数。为了解决这个问题,我们提出了一个交替的最小二乘方法,操作的矢量化版本的输入。我们进行了全面的比较研究与两个评估方案。在第一个中,我们模拟随机缺失值。在第二种情况下,我们模拟给定区域和持续时间的缺失值。我们的研究结果表明,我们的方法提供了有效的恢复性能达到26%的改善相比,最先进的CP方法和35%相比,最先进的生成模型为基础的方法。
2021-03-12 cs.LG
Laplacian Convolutional Representation for Traffic Time Series Imputation
Polytechnique Montreal(蒙特利尔理工学院);McGill University(麦吉尔大学);University of Central Florida(中佛罗里达大学)
针对时空交通数据补全问题,本研究提出低秩拉普拉斯卷积表示(LCR)模型,结合拉普拉斯核时间正则化与循环矩阵核范数,通过FFT高效求解,在多数据集上优于基线模型,适用于大规模数据补全。
2024-06-24 cs.AI cs.LG
Spatiotemporal Regularized Tucker Decomposition Approach for Traffic Data Imputation
Southern University of Science and Technology(南方科技大学)
本文提出一种时空正则化Tucker分解方法用于交通数据插补,通过核心张量$l_1$范数刻画低秩性,结合流形正则化和时间约束捕获时空相关性,在真实数据集上优于矩阵和张量基线方法。
2023-10-31 cs.LG stat.ML
A GPU-accelerated Large-scale Simulator for Transportation System Optimization Benchmarking
Tsinghua University(清华大学)
本文提出首个开源 GPU 加速大规模微观交通仿真器,提升超大规模车辆场景仿真效率与真实性,并通过多城市多场景基准验证其优化支持能力。
2024-10-02 cs.AI cs.LG
A Deep Learning Framework for Traffic Data Imputation Considering Spatiotemporal Dependencies
Alibaba Group(阿里巴巴集团);Loudonville Christian School(劳登维尔基督教学校)
针对交通ST数据缺失及现有方法难以建模动态时空依赖的问题,提出一种深度学习填补框架,以同时刻画时空关系并增强表示能力。
2023-04-18 cs.AI cs.LG
Deep convolutional generative adversarial networks for traffic data imputation encoding time series as images
Iowa State University(爱荷华州立大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本研究提出基于GAN的TSDIGAN框架,结合新颖的GASF时间依赖编码方法将交通时序数据转化为图像生成问题,在PeMS基准数据集上显著提升了高缺失率(>50%)下的数据插补精度。
2020-05-05 cs.LG eess.SP
Spatial-Temporal Feedback Diffusion Guidance for Controlled Traffic Imputation
FENCE提出了一种时空反馈扩散引导方法,通过动态调整引导尺度提升交通数据填补的准确性。
2026-01-08 cs.AI cs.LG
Dynamic Spatiotemporal Graph Convolutional Neural Networks for Traffic Data Imputation with Complex Missing Patterns
The University of Hong Kong(香港大学);McGill University(麦吉尔大学)
缺失数据是智能交通系统中交通数据汇集不可避免且普遍存在的问题。尽管交通数据插补的研究已经取得了很大的进展,但仍存在两个不足:一是现有的方法未能捕捉到交通数据中复杂的时空相关性,尤其是随时间演化的动态空间相关性;二是现有的研究主要集中在随机缺失模式上,而对其他更复杂的缺失场景的研究较少。为了填补这些研究空白,我们提出了一种新的深度学习框架,称为动态时空图卷积神经网络(DSTGCN)来估算丢失的流量数据。该模型结合了递归架构和基于图的卷积来建模时空依赖性。此外,我们引入了一个图结构估计技术,从实时交通信息和道路网络结构的动态空间依赖性建模。基于两个公共交通速度数据集进行了广泛的实验,以比较我们提出的模型与最先进的深度学习方法在四种类型的缺失模式。实验结果表明,在各种缺失场景下,我们提出的模型都优于现有的深度学习模型,图结构估计技术有助于提高模型性能。我们进一步将我们提出的模型与张量因子分解模型进行比较,并发现在不同的训练方案和数据可用性下不同模型家族的不同行为。
2021-09-17 cs.AI cs.LG
Scalable Low-Rank Tensor Learning for Spatiotemporal Traffic Data Imputation
Polytechnique Montreal(蒙特利尔理工学院);Sun Yat-Sen University(中山大学);McGill University(麦吉尔大学)
时空交通数据中的缺失值问题一直是一个具有挑战性的课题,特别是对于大规模、高维、缺失机制复杂、缺失程度各异的数据。最近的研究基于张量核范数证明了张量学习在填补任务中的优越性,通过有效地表征时空数据中复杂的相关性/依赖性。然而,尽管有希望的结果,这些方法不能很好地扩展到大数据张量。本文主要研究大规模时空交通数据的缺失数据插补问题。为了实现高精度和高效率,我们开发了一个可扩展的张量学习模型-低秩Tensor Completion(LSTC-Tubal)-基于现有的低秩Tensor Completion框架,这是非常适合的时空交通数据,其特征是多维结构的位置$\times$时间的一天$\times$天。特别地,所提出的LSTC-Tubal模型涉及通过集成线性酉变换的可伸缩张量核范数最小化方案。因此,张量核范数最小化可以通过对每天的变换矩阵进行奇异值阈值处理来解决,而酉变换矩阵可以有效地保留每天的相关性。我们将LSTC-Tubal与最先进的基线模型进行了比较,发现LSTC-Tubal可以以显着更低的计算成本实现具有竞争力的精度。此外,LSTC-Tubal还将有利于大规模时空交通数据建模的其他任务,例如网络级交通预测。
2021-06-12 cs.LG stat.ML
Low-Rank Autoregressive Tensor Completion for Spatiotemporal Traffic Data Imputation
Polytechnique Montreal(蒙特利尔理工学院);McGill University(麦吉尔大学)
时空交通时间序列(例如,交通量/速度)通常是不完整的,具有相当大的损坏和大量的缺失值,这阻止了用户利用数据的全部能力。缺失数据填补一直是一个长期的研究课题,并在现实世界的智能交通系统的关键应用。一种广泛应用的插补方法是低秩矩阵/张量完成,然而,低秩假设仅保留全局结构,而忽略了时空数据的强局部一致性。在本文中,我们提出了一个低秩自回归张量完成(LATC)框架,通过引入\textit{temporal variation}作为一个新的正则化项到完成的三阶(传感器$\times$时间的一天$\times$天)张量。三阶张量结构使我们能够更好地捕捉流量数据的全局一致性,例如固有的季节性和日常相似性。为了实现局部一致性,我们通过对每个时间序列施加AR($p$)模型来设计时间变化,其中系数作为可学习参数。与以往的空间和时间正则化方案不同,时间变化的最小化可以更好地表征局部平滑之外的时间生成机制,使我们能够处理更具挑战性的情况下,如“停电”失踪。为了解决LATC中的优化问题,我们引入了一个交替的最小化方案,迭代地估计低秩张量和自回归系数。我们进行了大量的数值实验,在几个现实世界的交通数据集,我们的结果表明,LATC在不同的失踪情况下的有效性。
2021-04-30 cs.LG stat.ML
STAMImputer: Spatio-Temporal Attention MoE for Traffic Data Imputation
School of Cyber Science and Technology, Beihang University(北航信息科学与技术学院);Hangzhou Innovation Institute of BUAA, Hangzhou, China(北京航空航天大学杭州创新研究院);Department of Computer Science and Technology, Shantou University(汕头大学计算机科学与技术学院);School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);Department of Computing, Macquarie University(麦考瑞大学计算机学院);National University of Defense Technology, Changsha, China(国防科技大学)
针对交通数据块状缺失与非平稳分布漂移问题,提出 STAMImputer,结合 MoE 与 LrSGAT 动态图机制,在四个数据集上显著优于现有 SOTA。
2025-06-11 cs.AI cs.LG
PAST: A Primary-Auxiliary Spatio-Temporal Network for Traffic Time Series Imputation
Shanghai Jiao Tong University(上海交通大学)
针对交通时间序列多类型缺失场景下现有方法难以适配随机缺失、无法捕获长程依赖的问题,本文提出主辅时空网络PAST,通过双模块分别建模主辅模式,实验证明其插补精度显著优于现有最优基线。
2025-11-17 cs.AI cs.LG
Traffic Data Imputation using Deep Convolutional Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Korea Advanced Institute of Science and Technology(韩国科学技术院);New York University Abu Dhabi(纽约大学阿布扎比分校);New York University Tandon School of Engineering(纽约大学坦登工程学院)
我们提出了一种基于统计学习的交通速度估计方法,使用稀疏的车辆轨迹信息。使用基于卷积编码器-解码器的架构,我们证明了一个训练有素的神经网络可以从时空图中学习时空交通速度动态。我们证明了这一点,一个均匀的路段使用模拟车辆轨迹,然后验证它使用现实世界的数据从NGSIM。我们的研究结果表明,与探头车辆渗透水平低至5\%,所提出的估计方法可以提供一个健全的重建宏观交通速度和再现现实的冲击波模式,这意味着在各种交通条件下的适用性。我们进一步讨论了模型的重建机制,并确认其能力,以区分各种交通行为,如拥挤和自由流的交通状态,过渡动力学,冲击波传播。
2020-01-21 cs.LG eess.SP physics.soc-ph
AccidentBench: Benchmarking Multimodal Understanding and Reasoning in Vehicle Accidents and Beyond
UC Berkeley(伯克利大学);Stanford(斯坦福大学);UCL(伦敦大学学院);Virginia Tech(弗吉尼亚理工学院);Nvidia(英伟达公司)
.本研究提出大规模多模态基准AccidentBench,覆盖车辆事故及空、水安全场景的时空与意图推理任务,测试发现前沿模型在高难长视频任务上准确率仅约18%,可推动模型适配真实安全挑战。
2025-09-30 cs.LG
Generative Adversarial Classification Network with Application to Network Traffic Classification
University of Toronto(多伦多大学);TELUS Communications(泰勒斯通信公司)
机器学习中的大型数据集通常包含缺失数据,这需要对缺失数据值进行插补。在这项工作中,我们的动机是网络流量分类,传统的数据填补方法没有表现良好。我们认识到,没有现有的方法直接占数据插补过程中的分类精度。因此,我们提出了一种联合的数据填补和数据分类方法,称为生成对抗分类网络(GACN),其架构包含一个生成器网络,一个递归网络,和一个分类网络,这是迭代优化的分类精度的最终目标。对于部分数据样本未标记的情况,我们进一步提出了一种称为半监督GACN(SSGACN)的扩展,该扩展能够使用部分标记的数据来提高分类精度。我们用真实世界的网络流量数据痕迹进行实验,结果表明GACN和SS-GACN可以更准确地估算对分类更重要的数据特征,并且在分类精度方面优于现有方法。
2023-03-19 cs.IT cs.LG cs.NI
A Hybrid Inductive-Transductive Network for Traffic Flow Imputation on Unsampled Locations
University of Antwerp(安特卫普大学);imec;IDLab;Faculty of Applied Engineering(应用工程学院)
HINT通过结合归纳和转化方法,利用速度、交通模拟和地理数据提升未采样地点交通流量填补的准确性。
2025-12-19 cs.AI cs.LG
Reproducible LLM Inference Benchmarking: A Sequential Isolation Protocol for Regression Testing
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);Microsoft(微软);Uthereal AG;ETH Zurich(苏黎世联邦理工学院)
提出顺序隔离协议,通过控制并发变化降低LLM推理基准测试方差,将平均CV从15.2%降至2.2%,并支持回归测试与成本建模。
2026-10-08 cs.LG cs.PF
U-STS-LLM: A Unified Spatio-Temporal Steered Large Language Model for Traffic Prediction and Imputation
School of Information Science and Engineering, Southeast University(信息科学与工程学院,东南大学)
本文提出U-STS-LLM,结合时空引导的LLM,解决交通预测与填补问题,通过动态时空注意力偏置生成器和LoRA微调,实现高效稳定的数据表示学习。
2026-10-26 cs.LG eess.SP
ImputeGAP: A Comprehensive Library for Time Series Imputation
University of Fribourg(弗里堡大学)
ImputeGAP是一个综合性的时间序列插补库,支持多种插补方法和缺失数据模拟,提供自定义选项以提升时间序列数据预处理的效果。
2026-01-22 cs.DB cs.LG
MissMecha: An All-in-One Python Package for Studying Missing Data Mechanisms
Deakin University(德肯大学)
针对现有缺失数据工具零散且仅支持数值变量的问题,提出开源Python包MissMecha,支持MCAR、MAR、MNAR机制下的模拟、可视化与评估,兼顾数值与分类特征,提供统一平台。
2025-08-06 cs.LG cs.MS
A convolution recurrent autoencoder for spatio-temporal missing data imputation
University of California Irvine(加州大学欧文分校)
当传感器在大的地理区域中收集时空数据时,无法避免缺失数据的存在。缺失数据会对数据分析和机器学习算法的性能产生负面影响。在本文中,我们研究了时空问题中缺失数据填补的深度自动编码器。我们提出了一种卷积双向LSTM,用于捕获空间和时间模式。此外,我们分析了自动编码器的时空数据的潜在特征表示,并说明其性能缺失的数据填补。交通流数据用于评估我们的模型。结果表明,所提出的卷积递归神经网络优于国家的最先进的方法。
2019-04-29 cs.LG stat.ML
Dealing with missing data using attention and latent space regularization
Monash University(莫纳什大学)
大多数实际的数据科学问题都会遇到缺失数据。有各种各样的解决办法,每一种都有其优缺点,这取决于失踪产生的过程。在这里,我们开发了一个理论框架,用于仅使用观察到的变量进行训练和推理,从而能够在不进行插补的情况下对不完整的数据集进行建模。使用信息和测量理论的参数,我们构建模型与潜在的空间表示,正则化对潜在的偏差引入缺失的数据。这种方法的理论特性证明经验使用合成数据集。该方法的性能在11个具有缺失的基准数据集和18个跨三种缺失模式损坏的数据集上进行测试,并与最先进的模型和行业标准插补进行比较。我们表明,我们提出的方法克服了插补方法的弱点,并优于目前的最先进的。
2022-11-14 cs.LG
ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation
Tongji University(同济大学);The Hong Kong Polytechnic University(香港理工大学)
针对时空数据缺失问题,提出低秩诱导的Transformer模型ImputeFormer,结合低秩先验与深度学习表达能力,在异构数据集上实现了高精度、高效率且可泛化的插补。
2024-05-29 cs.LG
Development and Evaluation of Recurrent Neural Network based Models for Hourly Traffic Volume and AADT Prediction
Clemson University(克莱姆森大学);West Virginia University(西弗吉尼亚大学)
高分辨率的小时交通量预测是交通规划的基础。传统上,自动交通记录仪(ATR)用于收集每小时的流量数据。这些大型数据集是以长期时间依赖性和缺失值为特征的时间序列数据。关于时间依赖性,所有道路都具有季节性变化的特征,根据变化的原因,季节性变化可以是每周、每月或每年。对于时间序列中的缺失数据,传统的时间序列预测模型在季节变化的影响下表现不佳。为了解决这一问题,本研究开发了基于循环神经网络的时间序列多步预测模型。简单的RNN,门控递归单元(GRU)和长短期记忆(LSTM)单元用于开发模型并评估其性能。有两种方法用于解决缺失值问题:掩蔽和插补,结合RNN模型。然后使用六种不同的插补算法来确定最佳模型。分析表明,LSTM模型的性能优于简单的RNN和GRU模型,插补在预测未来交通量方面的性能优于掩蔽。基于92个ATR的分析,LSTM-中位数模型被认为是所有情景下小时交通量和AADT预测的最佳模型,小时交通量预测的平均RMSE为274,MAPE为18.91%,AADT预测的平均RMSE为824,MAPE为2.10%。
2018-11-26 cs.LG stat.AP
Neural Canonical Polyadic Factorization for Traffic Analysis
College of Computer and Information Science, Southwest University(计算机与信息科学学院,西南大学)
针对智能交通系统中数据缺失影响建模可靠性的问题,提出融合低秩CP分解与深度学习的NCPF模型,通过可解释因子建模与非线性表示优化实现鲁棒交通数据补全,在6个数据集上优于现有基线,支撑交通数字孪生与自适应管控。
2025-09-03 cs.LG stat.ML
Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network for Forecasting Network-wide Traffic State with Missing Values
University of Washington(华盛顿大学)
近年来,基于深度学习方法,特别是递归神经网络(RNN)的短期流量预测备受关注。然而,在时空数据的预测能力和处理丢失数据的能力方面,基于RNN的模型在交通预测中的潜力尚未得到充分利用。在本文中,我们专注于基于RNN的模型,并试图重新制定将RNN及其变体纳入流量预测模型的方法。提出了一种堆叠的双向和单向LSTM网络架构(SBU-LSTM),用于辅助交通状态预测的神经网络结构设计。作为该架构的关键组件,双向LSTM(BDLSM)被用来捕获时空数据中的前向和后向时间依赖性。为了处理时空数据中的缺失值,我们还提出了一种LSTM结构中的数据填补机制(LSTM-I),通过设计一个填补单元来推断缺失值并辅助流量预测。LSTM-I的双向版本被整合到SBU-LSTM架构中。两个真实世界的网络范围内的交通状态数据集被用来进行实验,并公布,以促进进一步的交通预测研究。评估了多种类型的多层LSTM或BDLSTM模型的预测性能。实验结果表明,所提出的SBU-LSTM架构,特别是两层BDLSTM网络,可以在准确性和鲁棒性方面实现网络范围流量预测的优异性能。此外,综合比较结果表明,所提出的数据填补机制在基于RNN的模型可以实现突出的预测性能时,模型的输入数据包含不同模式的缺失值。
2020-05-24 cs.LG eess.SP stat.ML
Large Language Models for Missing Data Imputation: Understanding Behavior, Hallucination Effects, and Control Mechanisms
Computer Science Division, Aeronautics Institute of Technology(航空技术研究所计算机科学系);Technology Institute, Federal University of São Paulo(圣保罗联邦大学技术学院);University of Coimbra, CISUC/LASI – Centre for Informatics and Systems of the University of Coimbra, Department of Informatics Engineering(科英布拉大学)
本文研究了大型语言模型在表格数据集缺失数据填补中的鲁棒性,通过零样本提示工程方法,对比了五种常用LLM与六种先进填补基线方法,发现LLM在真实数据集表现优异,但计算成本高,而传统方法在合成数据集更优。
2026-03-20 cs.AI cs.LG
Benchmarking Sensor-Fault Robustness in Forecasting
Helmut Schmidt University(海德堡-施密特大学);Ruhr University Bochum(波恩鲁尔大学);ABB Corporate Research(ABB企业研究);TH Köln(科隆技术大学);Leiden University(莱顿大学)
本文提出SensorFault-Bench基准测试协议,用于评估预测架构和鲁棒性改进方法在传感器故障下的表现,通过四个真实数据集和八个评分场景分析故障下的降级情况。
2026-11-05 cs.LG eess.SP
Drift-Based Dataset Stability Benchmark
Czech Technical University in Prague(捷克技术大学布拉格分校);CESNET
本文提出了一种基于概念漂移检测的方法,用于评估数据集稳定性并提供基准工作流程,以比较不同数据集的稳定性及优化影响。
2025-12-28 cs.AI cs.LG cs.NI
Closing Gaps: An Imputation Analysis of ICU Vital Signs
Hasso Plattner Institute, University of Potsdam(霍普夫纳研究所,波茨坦大学)
针对ICU生命体征数据缺失影响临床预测模型性能的问题,研究构建了含15种插补、4种缺失生成方法的可扩展基准平台,对比成熟插补技术以指导方法选择,推动机器学习模型临床落地。
2025-10-28 cs.AI cs.LG
CoSTI: Consistency Models for (a faster) Spatio-Temporal Imputation
University of Seville(塞维利亚大学)
本文提出 CoSTI,将一致性模型适配到多元时间序列插补,通过一致性训练在保持扩散模型精度的同时将推理时间最多降低 98%。
2025-07-26 cs.AI cs.LG
fastml: Guarded Resampling Workflows for Safer Automated Machine Learning in R
fastml 通过受保护重采样提供泄漏感知机器学习,减少预处理泄漏对性能的夸大影响,提升模型评估的可靠性。
2026-04-06 cs.LG stat.AP stat.CO
Benchmarking the Benchmark -- Analysis of Synthetic NIDS Datasets
The University of Queensland(昆士兰大学)
本文分析了三个合成NIDS数据集与两个真实网络数据集的统计特性,发现合成数据集与真实数据集存在显著差异,质疑了基于合成数据集训练的ML分类器在真实网络中的泛化能力。
2021-04-19 cs.CR cs.LG cs.NI
AdaSTI: Conditional Diffusion Models with Adaptive Dependency Modeling for Spatio-Temporal Imputation
本文提出基于条件扩散模型的时空插补方法AdaSTI,通过双向S4预插补、时空条件化器和噪声感知门控注意力网络自适应建模依赖关系,在三个真实数据集上显著降低插补误差。
2025-09-15 cs.AI cs.LG
RDPI: A Refine Diffusion Probability Generation Method for Spatiotemporal Data Imputation
Beihang University(北京航空航天大学)
提出两阶段细化扩散概率填补框架RDPI,以残差为扩散目标并纳入观测值,提升时空数据填补精度并降低采样成本。
2024-12-17 cs.AI cs.LG
PCA-Based Missing Information Imputation for Real-Time Crash Likelihood Prediction Under Imbalanced Data
Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学)
实时的【形】的碰撞可能性预测一直是一个重要的研究课题。各种分类器,如支持向量机(SVM)和基于树的提升算法,已被提出在交通安全研究。然而,在实时的【形】碰撞可能性预测中,由于传感器故障或外部干扰等原因,经常会出现数据缺失的情况,但很少有研究关注数据缺失的填补问题。此外,不平衡数据的分类也是实时的【形】碰撞可能性预测中的一个难题,因为很难区分构成大多数观察样本的易碰撞案例和非碰撞案例。在本文中,主成分分析(PCA)为基础的方法,包括LS-PCA,PPCA,VBPCA,用于填补缺失值,而两种解决方案,以解决不平衡数据的问题。结果表明,PPCA和VBPCA不仅在均方根误差(RMSE)方面优于LS-PCA和其他填充方法(包括均值填充和k-means聚类填充),而且有助于分类器获得更好的预测性能。两种解决方案,即,代价敏感学习和合成少数过采样技术(SMOTE),通过调整分类器以更多地关注少数类来帮助提高灵敏度。
2018-02-11 cs.LG stat.ML
Boundary-enhanced time series data imputation with long-term dependency diffusion models
Henan University(河南大学);Yangtze Delta Region Institute (Quzhou), University of Electronic Science and Technology of China(电子科技大学长三角研究院(衢州));University College London(伦敦大学学院)
针对现有扩散模型时间序列插补存在的边界不协调、忽略长程依赖的问题,提出DSDI框架,通过权重递减注入策略和多尺度S4 U-Net实现更优的插补效果。
2025-01-11 cs.LG cs.SI