Evolving imputation strategies for missing data in classification problems with TPOT
Intelligent Systems Group(智能系统研究组);Univ. of the Basque Country(巴斯克大学);UPV/EHU(巴斯克大学)
缺失数据在机器学习技术的实际应用中普遍存在。插补方法是根据数据库中的其他条目恢复数据中缺失值的算法。插补方法的选择对机器学习技术的性能有影响,例如,它影响应用于数据的分类算法的准确性。因此,选择和应用正确的估算方法非常重要,通常需要大量的人为干预。在本文中,我们提出了使用遗传编程技术来寻找正确的组合插补和分类算法。我们的工作建立在最近推出的基于Python的TPOT库上,并将一组异构的插补算法作为机器学习管道搜索的一部分。我们表明,遗传编程可以自动找到越来越好的管道,包括最有效的组合插补方法,功能预处理,和分类器的各种分类问题与丢失的数据。
2017-08-14 cs.LG stat.ML
Online Missing Value Imputation and Change Point Detection with the Gaussian Copula
Cornell University(康奈尔大学)
缺失值插补对于现实世界的数据科学工作流程至关重要。在线环境中的估算更难,因为它要求估算方法本身能够随着时间的推移而发展。对于实际应用,插补算法应该产生与真实数据分布相匹配的插补,处理混合类型的数据,包括有序,布尔和连续变量,并扩展到大型数据集。在这项工作中,我们开发了一个新的在线插补算法的混合数据使用高斯copula。在线高斯Copula模型满足所有的需求:即使对于混合数据,其估算也与数据分布相匹配,当流数据具有变化的分布时,其离线对应物的准确性有所提高,特别是在大规模数据集上的速度(高达一个数量级)。通过对在线数据拟合Copula模型,我们还提供了一种新的方法来检测具有缺失值的多元相关结构中的变点。仿真和真实数据的实验结果验证了所提出的方法的性能。
2021-12-15 cs.LG stat.ML
Generative Conditional Missing Imputation Networks
本文提出生成性条件缺失填补网络,通过链式方程方法提升缺失值填补的稳健性和准确性,并通过实验证明其在统计数据分析中的有效性。
2026-01-02 cs.LG stat.ML
Missing Data Imputation by Reducing Mutual Information with Rectified Flows
University of Bristol(布里斯托大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学);University College London(伦敦大学学院)
本文提出了一种通过减少互信息来改进缺失数据填补的方法,通过迭代优化和ODE求解实现高效填补。
2025-11-25 cs.LG stat.ML
Performance comparison of State-of-the-art Missing Value Imputation Algorithms on Some Bench mark Datasets
National Remote Sensing Centre (ISRO), India(印度国家遥感中心(ISRO))
从数据中进行决策涉及识别一组有助于通过计算智能进行有效决策的属性。缺失值的存在极大地影响了正确属性集的选择,这使得分类器的分类精度下降。由于在田间试验或临床试验的数据汇集阶段缺失值是相当常见的,适当的处理将提高分类器的性能。在本文中,我们提出了一个审查最近开发的缺失值填补算法,并比较他们的性能在一些基准数据集。
2013-07-22 cs.LG stat.ML
$Ae^2I$: A Double Autoencoder for Imputation of Missing Values
University of Idaho(爱达荷大学)
插补表中缺失值的最常见策略是研究数据表的列-列关系或行-行关系,然后使用该关系基于来自同一行的其他列或来自同一列的其他行的非缺失值来插补缺失值。本文介绍了一种双自动编码器填补($Ae^2I$),同时和协作使用行-行关系和列-列关系来填补缺失值。在Movielens 1 M数据集上的实证测试表明,$Ae^2I$的推荐性能明显优于当前最先进的推荐系统模型。
2023-01-16 cs.LG stat.ML
Establishing strong imputation performance of a denoising autoencoder in a wide range of missing data problems
Lund University(隆德大学);Halmstad University(哈尔姆斯塔德大学)
在数据分析中处理缺失数据是不可避免的。虽然存在解决这个问题的强大的插补方法,但仍有很大的改进空间。在这项研究中,我们研究了基于深度自动编码器的单次插补,其动机是深度学习在有效提取有用的数据集特征方面取得了明显的成功。我们已经为训练和估算开发了一个一致的框架。此外,我们根据不同数据大小和特征的最新插补方法对结果进行了基准测试。这项工作不仅限于一种类型的变量数据集;我们还用多种类型的变量估算了缺失数据,例如,二进制、分类和连续属性的组合。为了评估插补方法,我们随机破坏了完整的数据,不同程度的腐败,然后比较插补值和原始值。在所有的实验中,所开发的自动编码器获得了最小的误差为所有范围的初始数据损坏。
2020-04-06 cs.LG stat.ML
DeepIFSAC: Deep Imputation of Missing Values Using Feature and Sample Attention within Contrastive Framework
Tennessee State University(田纳西州立大学)
针对表格数据缺失值填补问题,提出基于特征与样本注意力及对比学习框架的深度方法,在多种缺失率下优于现有方法。
2025-03-25 cs.LG stat.ML
Imputation-free Learning of Tabular Data with Missing Values using Incremental Feature Partitions in Transformer
Department of Computer Science(计算机科学系)
本文提出了一种无插补的增量注意力学习方法,通过特征分区直接处理表格数据中的缺失值,提升变换器性能并消除插补需求。
2026-01-27 cs.LG stat.ML
MIDA: Multiple Imputation using Denoising Autoencoders
Department of Computing Science Simon Fraser University(西蒙弗雷泽大学计算机科学系)
数据丢失是影响所有领域的一个重要问题。最小化缺失数据偏倚的最新框架是多重插补,其中插补模型的选择仍然是重要的。我们提出了一种基于过完备深度去噪自动编码器的多重填补模型。我们提出的模型能够处理不同的数据类型,缺失模式,缺失比例和分布。对几个真实数据集的评估表明,我们提出的模型在不同条件下的性能显着优于当前最先进的方法,同时改善了终端分析。
2018-02-17 cs.LG stat.ML
Identifiable Generative Models for Missing Not at Random Data Imputation
University of Cambridge(剑桥大学);Microsoft Research Cambridge(微软剑桥研究院)
真实世界的数据集通常具有与复杂生成过程相关的缺失值,其中可能无法完全观察到缺失的原因。这就是所谓的非随机缺失(missing not at random,MNAR)数据。然而,许多插补方法没有考虑缺失机制,导致MNAR数据存在时插补值有偏差。虽然有一些方法已经考虑了MNAR场景,但它们的模型在MNAR下的可识别性通常不能得到保证。也就是说,即使有无限多的数据样本,模型参数也不能唯一确定,因此,这类模型给出的插补结果仍然可能存在偏差。这个问题尤其被许多现代深度生成模型所忽视。在这项工作中,我们填补了这一空白,系统地分析下MNAR生成模型的可识别性。此外,我们提出了一个实用的深度生成模型,它可以在温和的假设下为广泛的MNAR机制提供可识别性保证。我们的方法在合成数据和MNAR数据的多个真实场景上都表现出明显的优势。
2021-10-27 cs.LG stat.ML
Leveraging variational autoencoders for multiple data imputation
HDR UK-Turing Wellcome(英国健康数据研究中心-图灵惠康);University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
缺失数据一直是众多应用程序中数据分析的主要障碍。最近,深度生成模型已被用于填补缺失数据,其动机是它们能够捕获数据中高度非线性和复杂的关系。在这项工作中,我们研究了深度模型,即变分自编码器(VAE),通过多重插补策略来解释缺失数据中的不确定性的能力。我们发现VAE对缺失数据的经验覆盖率很差,存在低估和过度自信的插补,特别是对于更极端的缺失数据值。为了克服这一点,我们采用$β$ -VAE,从广义贝叶斯框架来看,提供鲁棒性模型误指定。一个好的值$β$是不确定性校准的关键,我们演示了如何使用交叉验证来实现这一点。在下游任务中,我们展示了如何使用$β$ -VAE进行多重插补,以避免出现插补伪像的错误发现。
2022-09-30 cs.LG stat.ML
Imputation using training labels and classification via label imputation
Simula Metropolitan(西穆拉都会研究院);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
提出CBMI分类策略和IUL插补算法,通过将标签与输入堆叠同时进行插补,显著提升缺失数据下的分类准确性和插补质量。
2025-01-29 cs.LG stat.ML
Extended Missing Data Imputation via GANs for Ranking Applications
Cornell University(康奈尔大学);Amazon(亚马逊)
我们提出了条件填补GAN,一种基于生成对抗网络(GANs)的扩展缺失数据填补方法。激励用例是学习排名,现代搜索,推荐系统和信息检索应用程序的基石。经验排序数据集并不总是遵循标准高斯分布或完全随机缺失(MCAR)机制,这是经典缺失数据插补方法的标准假设。我们的方法提供了一个简单的解决方案,提供兼容的插补保证,同时放松假设缺失的机制和回避近似棘手的分布,以提高插补质量。我们证明了最佳的GAN填补实现扩展随机缺失(EMAR)和扩展总是随机缺失(EAMAR)机制,超越了天真的MCAR。我们的方法在开源Microsoft Research Ranking(MSR)数据集和合成排名数据集上展示了最高的插补质量,与最先进的基准和各种特征分布相比。使用专有的Amazon Search排名数据集,我们还展示了与地面实况数据相比,在GAN估算数据上训练的排名模型的可比排名质量指标。
2021-11-10 cs.LG stat.AP stat.ML
Improving Missing Data Imputation with Deep Generative Models
University of Luxembourg(卢森堡大学)
缺失值的数据集在行业应用中非常常见,它们可能对机器学习模型产生负面影响。最近的研究介绍了基于深度生成模型的缺失值估算问题的解决方案。以前使用生成对抗网络和变分自编码器的实验在这个领域显示了有趣的结果,但目前还不清楚哪种方法更适合不同的用例。这项工作的目标是双重的:我们提出了基于深度生成模型的缺失数据填补解决方案之间的比较,并提出了对这些方法的改进。我们使用具有不同特征的已知现实生活数据集运行我们的实验,随机删除值并使用几种插补技术重建它们。我们的研究结果表明,分类变量的存在或不存在可以改变最佳模型的选择,并且在使用不同的随机数生成器种子进行类似运行后,某些模型比其他模型更稳定。
2019-02-27 cs.LG stat.ML
Beyond Random Missingness: Clinically Rethinking for Healthcare Time Series Imputation
King’s College London(伦敦国王学院);PyPOTS Research(PyPOTS研究中心);University of Oxford(牛津大学);Hong Kong University of Science and Technology(香港科技大学);University College London(伦敦大学学院)
该研究指出随机掩码无法反映临床数据缺失结构,基于PhysioNet 2012数据集比较十一种插补方法,发现掩码策略显著影响性能且插补精度不等于临床预测能力,主张采用临床导向的掩码评估框架。
2025-02-03 cs.LG stat.ML
RDIS: Random Drop Imputation with Self-Training for Incomplete Time Series Data
KLleon R&D Center(KLleon研发中心)
本文提出RDIS方法,通过随机丢弃观测值生成额外缺失值以显式训练插补模型,并结合基于熵过滤伪值的自训练策略利用原始缺失值,在多个模型和两个真实数据集上验证了其有效性。
2023-01-25 cs.LG stat.ML
Evaluation of Missing Data Imputation for Time Series Without Ground Truth
École de Technologie Supérieure(高等技术学院);Concordia University(康考迪亚大学);Ericsson(爱立信);Lebanese American University(黎巴嫩美国大学)
本文针对无真实标签场景下的时间序列缺失填补评估问题,提出用Wasserstein距离和Jensen-Shannon散度衡量填补数据与原始数据分布一致性,并在多种填补方法上验证其有效性。
2025-02-26 cs.LG stat.ML
Imputing missing values with unsupervised random trees
这项工作提出了一种非迭代策略的缺失值插补,这是由观察之间的相似性指导,但不是明确确定距离或最近的邻居,它分配的观察重叠桶通过递归半随机超平面切割,其中加权平均值被确定为每个变量的插补。这些插补的质量通常不如链式方程,但所提出的技术更快,非迭代,可以在不重新计算任何东西的情况下对新数据进行插补,并且很容易扩展到大型和高维数据集,当其他方法不可行时,在回归和分类度量中使用插补值提供了比简单平均值/中位数插补更大的提升。
2019-11-21 cs.LG stat.ML
PC-GAIN: Pseudo-label Conditional Generative Adversarial Imputation Networks for Incomplete Data
Yantai University(烟台大学);East China Normal University(华东师范大学)
缺失值的数据集在现实世界的应用中非常常见。GAIN是最近提出的用于缺失数据填补的深度生成模型,已被证明优于许多最先进的方法。但GAIN算法只在生成器中使用一个重构损失来最小化非缺失部分的插补误差,忽略了潜在的能够反映样本之间关系的类别信息。在本文中,我们提出了一种新的无监督缺失数据填补方法命名为PC-GAIN,它利用潜在的类别信息,以进一步提高填补的权力。具体来说,我们首先提出了一个预训练过程来学习包含在低缺失率数据子集中的潜在类别信息。然后使用合成伪标签确定辅助分类器。此外,该分类器被纳入生成对抗框架,以帮助生成器产生更高质量的插补结果。该方法可以显著提高GAIN算法的插补质量。在各种基准数据集上的实验结果表明,我们的方法也优于其他基线方法。我们的代码可在\url{https://github.com/WYu-Feng/pc-gain}上获得。
2021-04-06 cs.LG stat.ML
CFMI: Flow Matching for Missing Data Imputation
University of Edinburgh(爱丁堡大学)
本文提出CFMI,融合连续归一化流、流匹配与共享条件建模进行缺失数据插补;实验表明其在表格数据上优于或持平九种方法,并在零样本时间序列插补中兼顾准确率与效率。
2025-06-10 cs.LG stat.ML
Missing value imputation with adversarial random forests - MissARF
Leibniz Institute for Prevention Research & Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所 – BIPS);University of Bremen(不来梅大学);University of Copenhagen(哥本哈根大学)
本文提出基于对抗随机森林的缺失值填补方法MissARF,利用ARF进行密度估计与条件采样,同时支持单一和多重填补,实验表明其填补质量与最先进方法相当且运行快速、无额外多重填补成本。
2026-10-19 cs.AI cs.LG stat.ML
Missing Value Imputation Based on Deep Generative Models
Petuum, Inc(Petuum公司)
缺失值广泛存在于许多现实世界的数据集中,这阻碍了高级数据分析的执行。正确填充这些缺失值至关重要,但具有挑战性,特别是当缺失率很高时。缺失值插补(MVI)的方法很多,但大多是基于经验的,缺乏原则性的基础,在实践中表现不令人满意。在本文中,我们提出了一个基于深度生成模型的MVI概率框架。在此框架下,估算缺失条目相当于在分别定义在缺失条目和潜变量上的两个条件分布之间寻求固定点解。这些分布由深度神经网络(DNN)参数化,深度神经网络具有高逼近能力,并且可以捕获缺失条目与观测值之间的非线性关系。DNN的权重参数的学习通过最大化观测值的对数似然的近似来执行。我们对13个数据集进行了广泛的评估,并与11个基线方法进行了比较,我们的方法在很大程度上优于基线。
2018-08-05 cs.LG stat.ML
GAIN: Missing Data Imputation using Generative Adversarial Nets
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
我们提出了一种新的方法,通过适应著名的生成对抗网(GAN)框架来填补缺失数据。因此,我们称我们的方法为生成对抗性填补网络(GAIN)。生成器(G)观察真实数据向量的一些分量,根据实际观察到的情况来估算缺失的分量,并输出完整的向量。然后,计算器(D)获取一个完整的向量,并试图确定实际观察到哪些分量,哪些分量进行了插补。为了确保D迫使G学习所需的分布,我们以提示向量的形式向D提供一些额外的信息。该提示向D揭示了关于原始样本缺失的部分信息,D使用该信息来将其注意力集中在特定分量的插补质量上。这个提示确保了G实际上确实学会了根据真实的数据分布进行生成。我们在各种数据集上测试了我们的方法,发现GAIN显著优于最先进的插补方法。
2018-06-07 cs.LG stat.ML
Distribution Shift in Missing Data Imputation: A Risk-Based Perspective and Importance-Weighted Correction under MAR
School of Mathematics(数学系);University of Bristol(布里斯托尔大学);School of Business and Economics(经济与商业学院);Humboldt University of Berlin(柏林洪堡大学)
本文从风险角度出发,提出一种新的填补算法,通过显式考虑分布偏移来改进填补模型的学习,实验显示在RMSE和Wasserstein距离上分别减少3%和7%。
2026-05-13 cs.LG stat.ML
Missing Data Imputation and Acquisition with Deep Hierarchical Models and Hamiltonian Monte Carlo
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Microsoft Research(微软研究院);University of Cambridge(剑桥大学)
变分自编码器(VAE)最近在插补和获取异质缺失数据方面非常成功。然而,在这个特定的应用领域,现有的VAE方法的限制,仅使用一层的潜在变量和严格的高斯后验近似。为了解决这些局限性,我们提出了HH-VAEM,混合型不完整数据的分层VAE模型,使用Hamilton Monte Carlo自动超参数调整改进近似推理。实验结果表明,HH-VAEM在缺失数据填补和缺失特征的监督学习任务中优于现有的基线。最后,我们还提出了一种基于采样的方法,用于有效地计算信息增益时,丢失的功能是与HH-VAEM收购。我们的实验表明,这种基于采样的方法优于基于高斯近似的替代品。
2022-12-22 cs.LG stat.ML
PCA-Based Missing Information Imputation for Real-Time Crash Likelihood Prediction Under Imbalanced Data
Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学)
实时的【形】的碰撞可能性预测一直是一个重要的研究课题。各种分类器,如支持向量机(SVM)和基于树的提升算法,已被提出在交通安全研究。然而,在实时的【形】碰撞可能性预测中,由于传感器故障或外部干扰等原因,经常会出现数据缺失的情况,但很少有研究关注数据缺失的填补问题。此外,不平衡数据的分类也是实时的【形】碰撞可能性预测中的一个难题,因为很难区分构成大多数观察样本的易碰撞案例和非碰撞案例。在本文中,主成分分析(PCA)为基础的方法,包括LS-PCA,PPCA,VBPCA,用于填补缺失值,而两种解决方案,以解决不平衡数据的问题。结果表明,PPCA和VBPCA不仅在均方根误差(RMSE)方面优于LS-PCA和其他填充方法(包括均值填充和k-means聚类填充),而且有助于分类器获得更好的预测性能。两种解决方案,即,代价敏感学习和合成少数过采样技术(SMOTE),通过调整分类器以更多地关注少数类来帮助提高灵敏度。
2018-02-11 cs.LG stat.ML
Missing Data Imputation under Manifold Hypothesis
School of Mathematics & Statistics(数学与统计学系)
针对高维缺失数据补全问题,基于流形假设与混合变分自编码器,采用SIR采样结合潜空间扩散模型实现符合底层几何结构的缺失值补全,性能优异且可量化不确定性、支持动态补全。
2026-09-16 cs.LG stat.ML
Missing Data Imputation using Optimal Transport
CREST-ENSAE, IP Paris(法国国家统计与经济管理学院-巴黎综合理工学院);XPOP, INRIA Saclay(法国国家信息与自动化研究所萨克雷分所);CMAP, UMR7641, École Polytechnique, IP Paris(巴黎综合理工学院应用数学研究中心, 巴黎综合理工学院);LPSM, Sorbonne Université, ENS Paris(索邦大学概率统计与建模实验室, 巴黎高等师范学院);Google Brain(谷歌大脑)
缺失数据是将机器学习算法应用于真实世界数据集时的一个关键问题。从简单的假设开始,即从同一数据集随机提取的两个批次应该共享相同的分布,我们利用最佳运输距离来量化该标准,并将其转换为损失函数来估算缺失数据值。我们提出了使用端到端学习来最大限度地减少这些损失的实用方法,该方法可以利用或不利用对底层值分布的参数假设。我们评估我们的方法对数据集从UCI存储库,在MCAR,MAR和MNAR设置。这些实验表明,基于OT的方法匹配或优于最先进的插补方法,即使对于高百分比的缺失值。
2020-07-01 cs.LG stat.ML
Iterated geometric harmonics for data imputation and reconstruction of missing data
Cal Poly, San Luis Obispo(加州州立理工大学圣路易斯奥比斯波分校)
几何调和方法通过迭代几何调和(IGH)格式,适用于数据不完整的情况。该方法在自然和合成数据集上进行了测试,数据点为50- 500,维数为400- 10,000。实验表明,该算法收敛到一个近最优的解决方案,在4- 6迭代,运行时间小于30分钟的中级台式计算机。缺失数据值的插补应用于受损图像的集合(遭受高达70%的数据湮灭率),其以令人惊讶的准确度重建。
2014-11-04 cs.LG stat.ML
Missing Data Multiple Imputation for Tabular Q-Learning in Online RL
Department of Statistics, Harvard University, Cambridge, United States(哈佛大学统计学系);Department of Statistics, Stanford University, Stanford, United States(斯坦福大学统计学系);Department of Computer Science, Harvard University, Cambridge, United States(哈佛大学计算机科学系)
本文针对在线强化学习中的缺失数据问题,提出完全在线插补集成方法,通过维护多重插补路径平衡不确定性与效率,实验证明其为构建简单高效的在线缺失数据RL方法提供了有用框架。
2025-10-12 cs.AI cs.LG stat.ML
Self-attention-based Diffusion Model for Time-series Imputation in Partial Blackout Scenarios
Oregon State University(俄勒冈州立大学)
本文针对多元时间序列中的“局部停电”缺失模式,提出了一种基于自注意力和扩散过程的两阶段插补模型,有效处理训练中的缺失数据,并在真实数据集上展现出优于现有方法的性能和可扩展性。
2025-03-03 cs.LG stat.ML
Discordance Minimization-based Imputation Algorithms for Missing Values in Rating Data
Iowa State University(爱荷华州立大学);Ajou University(亚洲大学)
本文针对合并评分列表中的缺失值问题,基于真实数据分析缺失模式,提出最小化评分提供者间总不协调度的优化模型与填补算法,实验表明其填补准确率优于现有通用方法。
2023-11-07 cs.LG stat.ML
BRITS: Bidirectional Recurrent Imputation for Time Series
Tsinghua University(清华大学);Toutiao AILab(今日头条人工智能实验室);Duke University(杜克大学)
时间序列被广泛用作许多分类/回归任务中的信号。时间序列中存在大量缺失值的现象是普遍存在的。给定多个相关的时间序列数据,如何填充缺失值并预测它们的类标签?现有的插补方法通常对底层数据生成过程施加强假设,例如状态空间中的线性动态。在本文中,我们提出了BRITS,一种新的方法,基于递归神经网络的缺失值填补时间序列数据。我们提出的方法直接学习双向递归动力系统中的缺失值,而没有任何特定的假设。BRITS算法具有三个优点:(a)可以处理时间序列中的多个相关缺失值,(b)它可以推广到具有非线性动力学特征的时间序列,(c)它可以处理具有非线性动力学特征的时间序列。(c)它提供了一个数据驱动的插补过程,适用于缺失数据的一般设置。我们在三个真实世界的数据集上评估我们的模型,包括空气质量数据集、健康护理数据和人类活动的定位数据。实验表明,我们的模型优于国家的最先进的方法在插补和分类/回归精度。
2018-05-27 cs.LG stat.ML
CollaGAN : Collaborative GAN for Missing Image Data Imputation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Konkuk University Medical Center(建国大学医学中心)
在许多需要多个输入以获得所需输出的应用中,如果任何输入数据丢失,则通常会引入大量偏差。虽然已经开发了许多技术来填补缺失数据,但由于自然图像的复杂性,图像填补仍然是困难的。为了解决这个问题,在这里,我们提出了一个新的框架,丢失的图像数据填补,称为协作生成对抗网络(CollaGAN)。CollaGAN将图像填充问题转换为多域图像到图像的转换任务,以便单个生成器和RNN网络可以使用剩余的干净数据集成功地估计丢失的数据。我们证明了CollaGAN在各种图像填充任务中产生的图像具有更高的视觉质量,与现有的竞争方法相比。
2019-04-29 cs.CV cs.LG stat.ML
Causal View of Time Series Imputation: Some Identification Results on Missing Mechanism
School of Computer Science, Guangdong University of Technology(广东技术大学计算机科学学院);Peng Cheng Laboratory(鹏城实验室);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);College of Science, Shantou University(汕头大学理学院)
本文从因果视角分析 MAR、MNAR 等不同缺失机制,提出结合变分推断、归一化流与非线性 ICA 可辨识性理论的 DMM 时间序列填补框架,并在多数据集上验证其优势。
2025-05-12 cs.LG stat.ML
Missing Features Reconstruction Using a Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague(布拉格捷克理工大学)
缺失数据是最常见的预处理问题之一。在本文中,我们实验研究使用生成和非生成模型的特征重建。变分任意条件自动编码器(VAEAC)和生成对抗插补网络(GAIN)作为生成模型的代表进行了研究,而去噪自动编码器(DAE)则代表了非生成模型。该模型的性能进行了比较,传统的方法k-最近邻(k-NN)和多重插补链式方程(MICE)。此外,我们引入WGAIN作为GAIN的Wasserstein修正,当缺失度小于或等于30%时,WGAIN是最佳的插补模型。在真实世界和人工数据集上进行了实验,这些数据集具有连续特征,其中不同百分比的特征(从10%到50%不等)缺失。通过测量先前在未损坏的数据集上训练的分类模型的准确性来进行算法的评估。结果表明,GAIN,特别是WGAIN是最好的插补,无论条件。一般来说,它们的表现优于MICE,k-NN,DAE和VAEAC。
2020-06-21 cs.LG stat.ML
Anomaly Detection in the Presence of Missing Values
Oregon State University(俄勒冈州立大学)
异常检测的标准方法假设在学习时间和预测时间都观察到所有特征。这些方法不能处理包含缺失值的数据。本文研究了处理测试查询中缺失值的五种策略:(a)均值插补,(b)MAP插补,(c)约简(通过特征装袋的降维异常检测器),(d)边缘化(仅适用于密度估计)和(e)比例分布(仅适用于基于树的方法)。我们的分析表明,MAP插补和比例分布应该比平均插补,减少和边缘化得到更好的结果。这些假设在很大程度上证实了合成数据和异常检测基准数据集使用隔离森林(IF),LODA,EGMM异常检测算法的实验研究。然而,边缘化工作令人惊讶的EGMM,也有例外,减少工作在一些基准问题。我们建议IF采用比例分布,LODA采用MAP插补,EGMM采用边缘化。
2018-09-05 cs.LG stat.ML
Correlation visualization under missing values: a comparison between imputation and direct parameter estimation methods
University of Science(理学院);Vietnam National University Ho Chi Minh City(越南胡志明市国家大学);SimulaMet(SimulaMet研究院)
本文比较插补法与直接参数估计方法在缺失数据下绘制相关性矩阵的效果,发现插补法可能误导特征关系推断,推荐使用DPER方法。
2023-09-05 cs.LG stat.ML
Iterative missing value imputation based on feature importance
Henan University(河南大学)
针对现有缺失值插补方法未区分特征重要性的问题,提出一种迭代执行矩阵补全与特征重要性学习的插补算法,在三类数据集上均优于现有五种算法,为首个在插补模型中考虑特征重要性的研究。
2023-11-14 cs.AI cs.LG stat.ML
Missing Data Imputation for Classification Problems
University of North Carolina(北卡罗来纳大学)
缺失数据的填补是特征训练矩阵具有缺失性的各种分类问题中的常见应用。一个广泛使用的解决方案,这个插补问题是基于懒惰的学习技术,$k$ -最近邻(kNN)的方法。然而,大多数以前的工作缺失数据没有考虑到分类问题中的类标签的存在。此外,现有的kNN插补方法使用Minkowski距离的变体作为距离的度量,这对于异构数据不起作用。本文提出了一种新的基于类加权灰色距离的迭代kNN填补技术。灰距离在具有缺失实例的异构数据中工作良好。距离由互信息(MI)加权,互信息是特征和类标签之间的特征相关性的度量。这确保了训练数据的插补是针对提高分类性能。这类加权灰色kNN插补算法相比,其他kNN插补算法,以及标准的插补算法,如MICE和missForest,在插补和分类问题的表现有所改善。这些问题是基于模拟场景和UCI数据集与各种率的缺失。
2020-02-25 cs.LG stat.AP stat.ME
Multiple Imputation with Denoising Autoencoder using Metamorphic Truth and Imputation Feedback
Gary and Mary West Health Institute(加里与玛丽·韦斯特健康研究所)
虽然数据可能很丰富,但由于缺少列或行,完整的数据就不那么丰富了。这种缺失破坏了下游数据产品的性能,这些产品要么省略不完整的案例,要么创建派生的完整数据以供后续处理。为了充分利用和正确使用数据,需要适当管理缺失数据。我们提出了一个多重插补模型,使用去噪自动编码器来学习数据的内部表示。此外,我们使用新的机制变形真理和归责反馈,以保持统计的完整性的属性和消除偏见的学习过程中。我们的方法探讨了插补对各种缺失机制和缺失数据模式的影响,在许多标准测试用例中优于其他方法。
2020-06-25 cs.LG stat.ME stat.ML
What's a good imputation to predict with missing values?
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);IJCLab(直线加速器实验室);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Ecole Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院)
如何在有缺失值的数据上学习一个好的预测器?大多数努力集中在第一次插补,以及可能和第二次学习的完整的数据,以预测结果。然而,这种普遍的做法没有理论基础。在这里,我们表明,对于几乎所有的插补函数,一个强大的学习器的插补然后回归过程是贝叶斯最优的。这一结果适用于所有缺失值机制,与传统的统计结果相反,传统的统计结果需要随机缺失设置才能在概率建模中使用插补。此外,它意味着完美的条件填补是不需要良好的预测渐近。事实上,我们证明了在完全插补数据上,最好的回归函数通常是不连续的,这使得它很难学习。相反,精心设计插补以保持回归函数不变,只是将问题转移到学习不连续插补上。相反,我们建议,它是更容易学习插补和回归联合。我们提出了这样一个程序,适应NeuMiss,一个神经网络捕获的条件链接观察到的和未观察到的变量无论丢失值的模式。实验证明,联合填补和回归通过NeuMiss是优于各种两步程序在我们的实验中,有限数量的样本。
2021-11-30 cs.AI cs.LG stat.ML
fMRI Multiple Missing Values Imputation Regularized by a Recurrent Denoiser
INESC-ID(INESC-ID研究所)
功能性磁共振成像(fMRI)是一种神经影像学技术,由于其科学和临床应用的关键重要性。与任何广泛使用的成像模态一样,需要确保其质量,由于伪影或次优成像分辨率的存在,缺失值非常频繁。我们的工作集中在多变量信号数据的缺失值填补。为此,提出了一种新的插补方法,包括两个主要步骤:空间相关的信号插补和时间相关的正则化的插补信号。在这项工作中,提出了一种用于深度学习架构的新层,带回了多重插补的链式方程的概念。最后,应用递归层来调整信号,以便捕获其真实模式。这两种操作都可以提高对最先进替代方案的鲁棒性。
2020-09-26 cs.LG eess.IV stat.ML
Filling in Missing FX Implied Volatilities with Uncertainties: Improving VAE-Based Volatility Imputation
Bloomberg(彭博公司)
本研究针对外汇期权隐含波动率缺失问题,通过简单修改VAE架构显著提升插补性能(低缺失率下误差减半),并改进算法以提供准确的不确定性估计。
2024-11-08 cs.LG q-fin.ST stat.ML
Predictive Uncertainty in Short-Term PV Forecasting under Missing Data: A Multiple Imputation Approach
SAP Labs France(SAP法国实验室);EURECOM
本文提出一种结合随机多重插补与Rubin规则的框架,用于将缺失数据不确定性纳入短期光伏预报,提升预测区间校准性。
2026-03-16 cs.LG stat.AP stat.ML
Imputation of missing values in multi-view data
Leiden University(莱顿大学);Leiden Institute for Brain and Cognition(莱顿大脑与认知研究所);Medical University of Graz(格拉茨医科大学)
针对多视图数据缺失值多、高维导致传统条件插补计算不可行的问题,提出基于StaPLR算法的降维空间插补方法,在模拟和真实数据上以更低成本取得有竞争力的结果,拓展了高级插补算法的适用场景。
2024-06-20 cs.LG stat.ME stat.ML
Are deep learning models superior for missing data imputation in large surveys? Evidence from an empirical comparison
University of Missouri(密苏里大学);Meta Platforms, Inc.(元平台公司);Harvard Medical School(哈佛医学院);Duke University(杜克大学)
多重插补(MI)是处理抽样调查中因无回答而产生的缺失数据的一种常用方法。链式方程多重插补(MICE)是多元数据中应用最广泛的多元插补算法之一,但它缺乏理论基础,计算量大。最近,基于深度学习模型的缺失数据填补方法已经在小型研究中取得了令人鼓舞的结果。然而,与MICE相比,在现实环境中评估其表现的研究有限,特别是在大型调查中。我们基于美国社区调查的子样本进行了广泛的模拟研究,以比较四种基于机器学习的MI方法的重复采样特性:带有分类树的MICE、带有随机森林的MICE、生成对抗性插补网络和使用去噪自动编码器的多重插补。我们发现深度学习插补方法在计算时间方面优于MICE。然而,在通用软件包中默认选择超参数的情况下,具有分类树的MICE在偏差、均方误差和一系列现实设置下的覆盖率方面始终优于深度学习插补方法,并且通常大幅度优于该方法。
2022-03-19 cs.LG stat.AP stat.ML
CrowdMI: Multiple Imputation via Crowdsourcing
Simon Fraser University(西蒙菲莎大学)
人类能否以与机器相似的熟练程度来估算缺失数据?这就是本文要回答的问题。我们提出了一个新的想法,将缺失数据的观察转换为调查问卷,并提交给众包工作者完成。我们通过让多个独特的众包工作者完成我们的问卷来复制一个多重归因框架。实验结果表明,使用我们的方法,有可能产生有效的插补的定性和定量缺失数据,与复杂的统计模型产生的插补的结果。
2018-02-23 cs.HC cs.LG stat.ML
Generative Imputation and Stochastic Prediction
University of California Los Angeles (UCLA)(加州大学洛杉矶分校)
在许多机器学习应用中,我们面临着不完整的数据集。在文献中,缺失数据填补技术主要涉及填补缺失值。然而,缺失值的存在不仅意味着缺失值分布的不确定性,而且意味着需要仔细考虑的目标类分配的不确定性。在本文中,我们提出了一个简单而有效的方法来填补缺失的功能和估计分布的目标分配不完整的数据。为了进行估算,我们训练一个简单而有效的生成器网络来生成估算,一个神经网络的任务是区分。在此之后,使用来自生成器网络的估算样本来训练预测器网络,以捕获分类不确定性并相应地进行预测。该方法在CIFAR-10和MNIST图像数据集以及五个真实世界的表格分类数据集上进行了评估,在不同的缺失率和结构下。我们的实验结果表明,所提出的方法在生成插补以及提供估计类的不确定性分类任务时,面对缺失值的有效性。
2020-09-04 cs.AI cs.LG stat.ML
On the Relation between Prediction and Imputation Accuracy under Missing Covariates
Technical University of Dortmund(多特蒙德工业大学)
在回归或分类问题中缺少协变量可能会禁止直接使用高级工具进行进一步分析。最近的研究已经意识到使用现代机器学习算法进行插补的趋势越来越大。这源于它们在不同的学习问题中表现出良好的预测精度的能力。在这项工作中,我们通过模拟分析之间的相互作用的插补精度和预测精度的回归学习问题与缺失的协变量时,机器学习为基础的方法,插补和预测使用。此外,我们还探讨了在预测环境中使用统计推断程序时的插补性能,例如(有效)预测区间的覆盖率。我们的分析是基于UCI机器学习库提供的经验数据集和广泛的模拟研究。
2021-12-09 cs.LG stat.AP stat.ME
Imputation estimators for unnormalized models with missing data
Harvard University(哈佛大学);The University of Tokyo(东京大学);RIKEN Center for Brain Science(理化学研究所脑科学中心);Iowa State University(爱荷华州立大学)
几种统计模型都是以非归一化密度的形式给出的,归一化常数的计算比较困难。我们提出的估计方法,这种未规范化的模型与缺失数据。其关键概念是将插补技术与非标准化模型的估计量(包括噪声对比估计和分数匹配)相结合。此外,我们推导出所提出的估计量的渐近分布和构造置信区间。截断高斯图模型的模拟结果和应用于实际数据的风向表明,所提出的方法有效地使统计推断与非归一化模型的缺失数据。
2020-06-08 cs.LG stat.ME stat.ML
Missing Value Imputation With Unsupervised Backpropagation
University of Arkansas(阿肯色大学);Brigham Young University(杨百翰大学)
许多数据采掘和数据分析技术都是在密集矩阵或完整的数据表上操作的。然而,真实世界的数据集通常包含未知值。甚至许多被设计为与缺失值一起操作的分类算法仍然表现出恶化的准确性。处理缺失值的一种方法是填补(插补)缺失值。在本文中,我们提出了一种无监督学习技术,称为无监督反向传播(UBP),它训练一个多层感知器,以适应由一组观察到的点向量采样的流形。我们评估UBP的任务,填补数据集的缺失值,并表明,UBP是能够预测缺失值与显着较低的平方和误差比其他协同过滤和填补技术。我们还用24个数据集和9个监督学习算法证明,当使用UBP估算随机保留值时,分类准确率通常更高,而不是使用其他方法。
2013-12-19 cs.LG cs.NE stat.ML
missForestPredict -- Missing data imputation for prediction settings
KU Leuven(KU Leuven(荷语天主教鲁汶大学));Leuven Unit for Health Technology Assessment Research (LUHTAR)(鲁汶卫生技术评估研究单元(LUHTAR));School for Public Health and Primary Care, Maastricht University(马斯特里赫特大学公共卫生与基层保健学院);Leiden University Medical Center(莱顿大学医学中心)
missForestPredict R包针对预测场景改进missForest算法,通过随机森林迭代填补并保存填补模型,在模拟和公开数据集上相比多种填补方法取得有竞争力的结果且计算时间短。
2024-07-02 cs.LG stat.ME stat.ML