Additive Non-negative Matrix Factorization for Missing Data
Epson Research and Development(爱普生研发中心)
提出一种加性非负矩阵分解方法,通过联合优化缺失属性和分解因子来生成测试数据中的缺失属性,并证明算法的单调收敛性。
2010-07-01 cs.LG cs.NA math.NA
Changepoint detection for high-dimensional time series with missing data
Duke University(杜克大学)
本文提出了一种新的方法来检测变点时,观察高维数据可能有丢失的元素。经典的变点检测方法的性能通常与数据的维数成比例,因此在真正的变点之后收集大量的观测值,然后才能可靠地检测到。此外,观察到的数据中缺少的成分阻碍了传统的方法。所提出的方法通过将数据的动态分布建模为接近嵌入在环境观测空间内的时变低维子流形来解决这些挑战。具体而言,流数据用于跟踪子流形近似,测量与该近似的偏差,并计算偏差的一系列统计数据,以检测底层流形何时以急剧或意外的方式改变。本文所述的方法利用了高维数据分析领域的几个最新成果,包括缺失数据的子空间跟踪、点云的多尺度分析技术、在线优化和变点检测性能分析。仿真和实验突出了所提出的方法在检测突变,否则缓慢变化的低维流形的鲁棒性和有效性。
2012-12-07 cs.LG stat.ML
Missing Value Imputation With Unsupervised Backpropagation
University of Arkansas(阿肯色大学);Brigham Young University(杨百翰大学)
许多数据采掘和数据分析技术都是在密集矩阵或完整的数据表上操作的。然而,真实世界的数据集通常包含未知值。甚至许多被设计为与缺失值一起操作的分类算法仍然表现出恶化的准确性。处理缺失值的一种方法是填补(插补)缺失值。在本文中,我们提出了一种无监督学习技术,称为无监督反向传播(UBP),它训练一个多层感知器,以适应由一组观察到的点向量采样的流形。我们评估UBP的任务,填补数据集的缺失值,并表明,UBP是能够预测缺失值与显着较低的平方和误差比其他协同过滤和填补技术。我们还用24个数据集和9个监督学习算法证明,当使用UBP估算随机保留值时,分类准确率通常更高,而不是使用其他方法。
2013-12-19 cs.LG cs.NE stat.ML
Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning
Cornell University(康奈尔大学)
本文提出了一种新的方法来恢复高秩甚至满秩矩阵的缺失项时,数据的内在维数是低的环境维。具体来说,我们假设矩阵的列是由作用于低维内在变量的多项式生成的,并希望在此假设下恢复丢失的条目。证明了在高维特征空间中,通过最小化矩阵的秩,可以识别出最小内禀维数的完备矩阵。我们开发了一个新的配方所产生的问题,使用核技巧与一个新的放松的秩目标,并提出了一个有效的优化方法。我们还展示了如何使用我们的方法来完成从多个非线性流形的数据。通过对合成数据、缺失数据的子空间聚类、运动捕捉数据恢复和转换学习的比较研究,验证了本文方法的优越性。
2019-12-15 cs.LG stat.ML
not-MIWAE: Deep Generative Modelling with Missing not at Random Data
Technical University of Denmark(丹麦技术大学);Inria(法国国家信息与自动化研究所);Laboratoire J.A. Dieudonné(迪厄多内实验室)
当缺失的过程依赖于缺失值本身时,需要显式建模并在进行基于似然性的推理时将其考虑在内。我们提出了一种方法,用于建立和拟合深度潜变量模型(DLVM)的情况下,缺失的过程是依赖于缺失数据。具体来说,深度神经网络使我们能够灵活地对给定数据的缺失模式的条件分布进行建模。这允许将关于缺失类型的先验信息(例如,自删失)并入模型中。我们的推理技术,基于重要性加权变分推断,涉及最大限度地降低联合可能性。通过在隐空间和数据空间中使用重新参数化技巧,得到了该界的随机梯度。我们在各种数据集和缺失模式上显示,明确地对缺失过程进行建模是非常宝贵的。
2021-03-18 cs.LG stat.ME stat.ML
Causal and Counterfactual Views of Missing Data Models
Emory University(埃默里大学);Williams College(威廉姆斯学院);Johns Hopkins University(约翰斯·霍普金斯大学);Harvard University(哈佛大学)
本文提出将缺失数据问题视为一种因果推断形式,通过反事实变量和图模型统一缺失数据识别与因果识别理论,并比较两者的异同。
2024-11-20 cs.LG stat.ME stat.ML
Handling missing data in model-based clustering
Università degli Studi di Perugia(佩鲁贾大学);University College Dublin(都柏林大学学院)
高斯混合模型是一种有效的聚类、分类和密度估计的工具。缺失值的存在会在很大程度上影响高斯估计过程,因此处理缺失数据是聚类、分类和密度估计中的关键点。在模型估计之前,已经开发了几种技术来插补缺失值。其中,多重插补是处理缺失数据的一种简单有效的通用方法。在本文中,我们提出了两种不同的方法来拟合高斯混合存在缺失数据。这两种方法都使用蒙特卡罗期望最大化(MCEM)算法的变体进行数据扩充。因此,在E步骤期间执行多重插补,随后是给定特征分解分量-协方差阵的标准M步骤。我们表明,所提出的方法优于多重插补的方法,无论是在聚类识别和密度估计。
2020-06-04 cs.LG stat.ME stat.ML
Reconstruction of sequential data with density models
University of Toronto(多伦多大学)
我们介绍的问题,重建一个序列的多维实向量的一些数据丢失。这个问题包含回归和映射反演作为特定情况下,缺失数据的模式是独立的序列索引。这个问题很难,因为它可能涉及序列中每个向量的多值映射,其中缺失变量可以在给定当前变量的情况下取多个值;并且缺失变量的集合可以从一个向量到下一个向量而变化。为了解决这个问题,我们提出了一个算法的基础上两个冗余的假设:向量冗余(数据生活在一个低维流形),使目前的变量约束缺失的;和序列冗余(例如连续性),使连续的向量相互约束。我们捕获的低维性质的数据在概率的方式与联合密度模型,这里的生成地形映射,这导致在高斯混合。在每个向量的候选重建获得的所有模式的条件分布的缺失变量给定的当前变量。通过动态规划最小化全局约束(这里是序列长度)来获得重构序列。我们提出了一个玩具问题和机器人手臂的逆运动学的实验结果。
2011-09-15 cs.LG stat.ML
Missing Data Imputation for Supervised Learning
University of California, Berkeley(加州大学伯克利分校)
在缺失数据隐藏有用信息的情况下,缺失数据插补可以帮助提高预测模型的性能。本文比较了方法填补监督分类任务缺失的分类数据。我们在两个具有缺失分类数据的机器学习基准数据集上进行实验,比较在非估算(即,独热编码)或具有不同水平的附加缺失数据扰动的估算数据。我们表明,插补方法可以提高预测精度的缺失数据扰动的存在下,这实际上可以提高预测精度,通过正则化的分类。我们在Adult数据集上实现了最先进的缺失数据扰动和k-最近邻(k-NN)插补。
2018-08-07 cs.LG stat.ML
The influence of missing data mechanisms and simple missing data handling techniques on fairness
Department of Statistics and Actuarial Science(统计与精算科学系);Stellenbosch University(斯泰伦博斯大学)
本研究探讨了缺失数据机制和处理技术对算法公平性的影响,发现列表删除法和随机森林在公平性上表现最佳,且两者交互效应显著。
2026-02-19 cs.LG stat.ML
Generalizing Identifiability Results in Causal Discovery from Complete Data to Missing Data Settings
Oregon State University(俄勒冈州立大学);RIKEN Advanced Intelligence Project(理化学研究所先进智能项目);The University of Osaka(大阪大学);Shiga University(滋贺大学)
该研究针对缺失数据场景,建立了因果图可识别性的通用充分条件,提出两种适用于加性噪声模型的渐近正确算法,将完整数据因果发现的正确性保证扩展至缺失数据场景。
2026-10-15 cs.AI cs.LG stat.ME
Deep Generative Pattern-Set Mixture Models for Nonignorable Missingness
University of Oxford(牛津大学);CEREMADE, CNRS Université Paris-Dauphine(巴黎多芬大学CNRS-CEREMADE实验室)
我们提出了一种变分自动编码器架构,使用Little(1993)提出的模式集混合来对可压缩和不可压缩的缺失数据进行建模。我们的模型显式地学习基于观测数据和缺失掩码将缺失数据聚类到缺失模式集中。支撑我们的方法是假设缺失下的数据分布是由来自观测数据分布的样本概率半监督的。我们的设置权衡的特点,可识别和不可识别的缺失,因此可以应用于这两种类型的数据。我们评估我们的方法在广泛的数据集与不同类型的缺失,并实现最先进的插补性能。我们的模型优于许多常见的插补算法,特别是当缺失数据的数量是高的,缺失机制是不可否认的。
2021-03-05 cs.LG stat.ML
Trinary Decision Trees for handling missing data
Stockholm University(斯德哥尔摩大学)
本文提出三元决策树,不假设缺失值含响应信息,在完全随机缺失场景下优于现有算法,并与MIA方法结合形成TrinaryMIA树以提升各类缺失场景下的稳健性和准确性。
2024-01-11 cs.LG stat.ML
A convolution recurrent autoencoder for spatio-temporal missing data imputation
University of California Irvine(加州大学欧文分校)
当传感器在大的地理区域中收集时空数据时,无法避免缺失数据的存在。缺失数据会对数据分析和机器学习算法的性能产生负面影响。在本文中,我们研究了时空问题中缺失数据填补的深度自动编码器。我们提出了一种卷积双向LSTM,用于捕获空间和时间模式。此外,我们分析了自动编码器的时空数据的潜在特征表示,并说明其性能缺失的数据填补。交通流数据用于评估我们的模型。结果表明,所提出的卷积递归神经网络优于国家的最先进的方法。
2019-04-29 cs.LG stat.ML
Prediction with Missing Data via Bayesian Additive Regression Trees
The Wharton School of the University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
我们提出了一种方法,将缺失数据在非参数统计学习,而不需要填补。我们专注于一个基于树的方法,贝叶斯加法回归树(BART),增强了“Missingness Incorporated in Attributes”,最近提出的一种方法将missingness纳入决策树(Twala,2008)。这个过程利用了基于树的模型中的分区机制。仿真生成的模型和实际数据表明,我们提出的方法可以很好地预测复杂的失踪在随机和非失踪在随机模型,以及失踪本身影响响应的模型。我们的程序具有更高的预测性能,在许多情况下比竞争对手更稳定。我们还说明了巴士的能力,将缺失到不确定性区间,并检测缺失的模型拟合的影响。
2014-02-12 cs.LG stat.ML
VAEs in the Presence of Missing Data
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
真实世界的数据集通常包含缺少元素的条目,例如在医疗数据集中,患者不太可能已经进行了所有可能的诊断测试。变分自编码器(VAE)是一种流行的生成模型,常用于无监督学习。尽管VAE被广泛使用,但目前尚不清楚如何最好地将其应用于缺失数据的数据集。我们开发了一种新的潜在变量模型的腐败过程中产生的缺失数据,并推导出相应的易处理的证据下限(ELBO)。我们的模型很容易实现,可以处理完全随机缺失(MCAR)和非随机缺失(MNAR)数据,扩展到高维输入,并为VAE编码器和解码器提供对指示变量的原则性访问,以确定数据元素是否缺失。在MNIST和SVHN数据集上,我们证明了与现有方法相比,观测数据的边缘对数似然性得到了改善,缺失数据的插补也得到了改善。
2021-03-21 cs.LG stat.ML
UAFS: Uncertainty-Aware Feature Selection for Problems with Missing Data
缺失数据是许多现实世界数据集中的一个问题,通常需要插补方法来估计缺失数据的值,但是具有过度缺失和高维的数据集挑战大多数插补方法。在这里,我们表明,适当的特征选择可以是一个有效的预处理步骤填补,允许更准确的填补和后续的模型预测。这种预处理的关键特征是它包含了不确定性:通过在选择特征时考虑由于缺失而导致的不确定性,我们可以降低缺失的程度,同时限制用于构建预测模型的无信息特征的数量。我们介绍了一种方法来执行不确定性感知特征选择(UAFS),提供了一个理论的动机,并测试UAFS的真实和合成的问题,表明在各种数据集和缺失水平,我们可以提高插补的准确性。由于UAFS而改进的插补也导致在使用这些插补数据集执行监督学习时提高了预测准确性。我们的UAFS方法是通用的,可以卓有成效地耦合到各种插补方法。
2021-04-20 cs.LG physics.data-an stat.ME
On the Inherent Privacy Amplification of Missing Data
Sorbonne Université(索邦大学);Université Paris Cité(巴黎城市大学);CNRS(国家科学研究中心);Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);LPSM(LPSM实验室)
本文从隐私保护角度研究缺失数据,证明不完整数据可为差分隐私算法提供隐私增强。
2026-09-18 cs.LG stat.ML
Fast Imbalanced Classification of Healthcare Data with Missing Values
Geisinger Health System(盖辛格医疗系统)
在医学领域,数据特征往往包含缺失值。这可能会在预测建模中产生严重的偏差。典型的标准数据挖掘方法通常产生较差的性能度量。在本文中,我们提出了一种新的方法,同时分类大型数据集,并减少缺失值的影响。该方法是基于成本敏感的SVM和期望最大化填补缺失值的方法,它依赖于迭代回归分析的多级框架。我们比较了基于多级SVM的算法在具有不平衡类和缺失值的公共基准数据集以及健康应用中的真实数据上的分类结果,并表明我们的基于多级SVM的方法产生快速,更准确和鲁棒的分类结果。
2015-03-21 cs.LG stat.ML
Off-Policy Evaluation Under Nonignorable Missing Data
North Carolina State University(北卡罗来纳州立大学)
本文研究非可忽略缺失数据下的离线策略评估,提出逆概率加权估计器以纠正偏差,并通过数值实验验证其可靠性。
2025-07-09 cs.LG stat.ML
Causal Discovery in the Presence of Missing Data
KTH Royal Institute of Technology(瑞典皇家理工学院);Carnegie Mellon University(卡内基梅隆大学);Karolinska Institute(卡罗林斯卡学院);Microsoft Research(微软研究院)
缺失数据在包括医疗保健在内的许多领域都是普遍存在的。当这些数据录入不是完全随机缺失时,观测数据中的(条件)独立关系可能与基础因果过程生成的完整数据中的独立关系不同。因此,简单地将现有的因果发现方法应用于观测数据可能会导致错误的结论。在本文中,我们的目标是开发一种因果发现方法,从遵循不同缺失机制的观测数据中恢复潜在的因果结构,包括完全随机缺失(MCAR),随机缺失(MAR)和非随机缺失(MNAR)。与missingness图表示的missingness机制,我们分析的条件下,需要额外的校正,以获得完整的数据中的条件独立/依赖关系。基于我们的分析,我们提出了连续和二进制变量的缺失值PC(MVPC)算法,它扩展了PC算法,将额外的校正。我们提出的MVPC在理论上给出渐近正确的结果,即使是MAR或MNAR的数据。在合成数据上的实验结果表明,该算法即使在一般的MNAR情况下也能找到正确的因果关系。此外,我们创建了一个神经性疼痛诊断模拟器,用于评估因果发现方法。在模拟神经病理性疼痛诊断记录和其他两个真实世界的应用程序上进行评估,MVPC优于其他基准方法。
2020-07-12 cs.LG stat.ML
HMLasso: Lasso with High Missing Rate
Toshiba Corporation(东芝公司);The Institute of Statistical Mathematics(统计数学研究所)
稀疏回归(如Lasso)在处理高维数据方面取得了巨大的成功。然而,最大的实际问题之一是高维数据通常包含大量的缺失值。凸条件Lasso(CoCoLasso)算法被提出用于处理高维缺失数据,但在缺失数据较多时性能较差,缺失率高的问题尚未得到解决。本文提出了一种新的Lasso型回归方法。我们有效地将平均插补协方差,克服其固有的估计偏差。结果是根据缺失率对CoCoLasso进行最佳加权修改。我们从理论上和实验表明,我们提出的方法是非常有效的,即使有很多缺失值。
2019-06-19 cs.LG stat.ML
IFGAN: Missing Value Imputation using Feature-specific Generative Adversarial Networks
Massachusetts General Hospital(麻省总医院)
缺失值填补是数据采掘中的一个具有挑战性的研究课题。在本文中,我们提出了IFGAN,一个缺失值填补算法的基础上,特定的生成对抗网络(GAN)。我们的想法是直观而有效的:一个特定于特征的生成器被训练来估算缺失值,而一个预测器则被期望将估算值与观察值区分开来。所提出的架构能够处理不同的数据类型,数据分布,丢失机制,和丢失率。它还通过保留特征间的相关性来改进插补后分析。我们在几个真实数据集上的经验表明,IFGAN在各种缺失条件下的性能优于当前最先进的算法。
2020-12-23 cs.LG stat.ML
Analysis of Estimating the Bayes Rule for Gaussian Mixture Models with a Specified Missing-Data Mechanism
University of New South Wales(新南威尔士大学)
本研究证明在部分分类样本中,带缺失数据机制的贝叶斯分类器优于完全监督分类器,并通过模拟和真实数据集验证其有效性。
2023-12-29 cs.LG stat.ML
To Impute or not to Impute? Missing Data in Treatment Effect Estimation
University of Cambridge(剑桥大学);UCLA(加州大学洛杉矶分校);Meta;Alan Turing Institute(艾伦·图灵研究所)
缺失数据是实际情况下的系统性问题,在估计处理效应时会导致噪声和偏倚。这使得从缺失数据中估计处理效应成为一项特别棘手的工作。一个关键原因是,由于除了输入(例如个人)和标签(例如结果)之外,还存在一个额外的变量-治疗-,因此关于缺失的标准假设是不充分的。治疗变量引入了额外的复杂性,为什么一些变量缺失,这是以前的工作没有充分探讨。在我们的工作中,我们引入了混合混杂缺失(MCM),一个新的缺失机制,其中一些缺失决定治疗选择和其他缺失决定治疗选择。鉴于MCM,我们表明,天真地插补所有数据会导致处理效应模型表现不佳,因为插补行为有效地删除了提供无偏估计所需的信息。然而,完全不插补也会导致偏倚估计,因为治疗确定的缺失会导致协变量偏倚。我们的解决方案是选择性估算,我们使用MCM的见解来精确地告知哪些变量应该估算,哪些不应该。我们经验证明了不同的学习者如何受益于选择性插补相比,其他解决方案的缺失数据。我们强调,我们的实验包括平均处理效应和条件平均处理效应。
2023-02-24 cs.LG stat.ML
Sequence-to-Sequence Imputation of Missing Sensor Data
Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61部门)
虽然序列到序列(编码器-解码器)模型被认为是深度学习序列模型中最先进的模型,但很少有研究使用此模型来恢复丢失的传感器数据。关键的挑战是,缺失传感器数据问题通常包括三个序列(一个观测样本序列,然后是一个缺失样本序列,然后是另一个观测样本序列),而序列到序列模型只考虑两个序列(输入序列和输出序列)。我们通过以一种新颖的方式制定序列到序列来解决这个问题。前向RNN编码在缺失序列之前观察到的数据,后向RNN编码在缺失序列之后观察到的数据。解码器以一种新颖的方式对两个编码器进行解码,以预测丢失的数据。我们证明,该模型产生的最低错误在12%以上的情况下,比目前最先进的。
2020-02-25 cs.LG stat.ML
Order-Agnostic Autoregressive Modelling with Missing Data
Technical University of Denmark(丹麦技术大学);Pioneer Centre for AI(先锋人工智能中心);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文通过缺失数据视角重新审视顺序无关自回归模型,提出缺失感知训练框架,并利用其条件密度估计进行主动信息获取,在多个基准上优于传统插补方法。
2026-05-28 cs.LG stat.ML
Imputation and low-rank estimation with Missing Not At Random data
Sorbonne Université(索邦大学);Ecole Polytechnique(巴黎综合理工学院);Ecole Normale Supérieure, Paris(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所)
缺失值挑战数据分析,因为许多监督和无监督学习方法不能直接应用于不完整的数据。基于低秩假设的矩阵完备化方法是处理缺失值的一种非常有效的方法。然而,现有的方法不考虑的情况下,在实践中广泛遇到的信息缺失值。本文提出了一种恢复非随机缺失(MNAR)数据的矩阵补全方法。我们的第一个贡献是建议一个基于模型的估计策略,通过建模缺失的机制分布。然后实现了一种期望最大化算法,包括快速迭代软阈值保持算法(FISTA)。我们的第二个贡献是建议一个计算效率高的替代估计隐式地考虑到联合分布的数据和缺失机制:数据矩阵与掩码编码连接的缺失值,指数族的低秩结构假设在这个新的矩阵,为了编码变量和缺失机制之间的联系。处理不同的缺失值机制的方法具有很大的优势,是强大的模型规格errors.The的性能,我们的方法进行了评估的真实数据收集的创伤注册表(TraumaBase),包含临床信息超过两万严重创伤患者在法国。然后,目的是预测医生是否应该给创伤性脑损伤患者服用外泌酸,这将限制过度出血。
2020-01-29 cs.LG stat.ML
Performance comparison of State-of-the-art Missing Value Imputation Algorithms on Some Bench mark Datasets
National Remote Sensing Centre (ISRO), India(印度国家遥感中心(ISRO))
从数据中进行决策涉及识别一组有助于通过计算智能进行有效决策的属性。缺失值的存在极大地影响了正确属性集的选择,这使得分类器的分类精度下降。由于在田间试验或临床试验的数据汇集阶段缺失值是相当常见的,适当的处理将提高分类器的性能。在本文中,我们提出了一个审查最近开发的缺失值填补算法,并比较他们的性能在一些基准数据集。
2013-07-22 cs.LG stat.ML
A Consistent Method for Learning OOMs from Asymptotically Stationary Time Series Data Containing Missing Values
Jacobs University Bremen(不来梅雅各布大学)
在传统的随机时间序列模型的谱学习框架中,模型参数是基于完全记录的观测值的轨迹来估计的。然而,真实世界的时间序列数据往往包含缺失值,更糟糕的是,缺失事件随时间的分布往往与可见过程无关。最近,一个光谱OOM学习算法的时间序列丢失的数据被引入,并证明是一致的,虽然在相当强的条件下。在这里,我们改进了算法,并证明了原来的强条件可以非常宽松。我们通过数值实验验证了我们的理论研究结果,表明该算法可以始终如一地处理与可见过程的动态交互的缺失模式。
2018-10-19 cs.LG stat.ML
Efficient EM Training of Gaussian Mixtures with Missing Data
University of Montreal(蒙特利尔大学)
在数据挖掘应用中,我们经常会遇到数据矩阵中有很大一部分条目丢失的问题,这对于大多数判别式机器学习算法来说都是个问题。我们在本文中探索的一个解决方案是使用生成模型(高斯混合模型)来计算给定观测变量的缺失变量的条件期望。由于训练具有许多不同模式的缺失值的高斯混合物在计算上可能非常昂贵,因此我们引入了一种基于生成树的算法,可以显着加快这些条件下的训练速度。我们还观察到,可以通过使用生成模型来填充单独的判别式学习算法的缺失值来获得良好的结果。
2018-01-08 cs.LG stat.ML
Autoencoders and Probabilistic Inference with Missing Data: An Exact Solution for The Factor Analysis Case
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所)
潜变量模型可用于概率性地“填补”缺失的数据录入。变分自编码器架构(Kingma和Welling,2014; Rezelman等人,2014)包括“识别”或“编码器”网络,其推断给定数据变量的潜变量。然而,目前尚不清楚如何处理该网络中缺失的数据变量。因子分析(FA)模型是一种基本的自动编码器,使用线性编码器和解码器网络。我们展示了如何在缺失数据的情况下精确计算因子分析(FA)模型的潜在后验分布,并注意到这种解决方案意味着每种缺失模式都需要不同的编码器网络。我们还讨论了各种近似的精确解。实验比较了各种方法填充缺失数据的有效性。
2019-02-19 cs.LG stat.ML
Robust Variable Selection for High-dimensional Regression with Missing Data and Measurement Errors
针对缺失数据和测量误差导致的数据分布混乱问题,提出带调节参数的指数损失函数,结合逆概率加权、加性误差模型与Atan惩罚实现稳健变量选择,经模拟与乳腺癌数据验证有效。
2025-06-29 stat.ME stat.ML
Clustering with missing data: which equivalent for Rubin's rules?
多重插补是处理缺失值的常用方法。然而,在MI之后应用集群的合适方法仍然不清楚:如何池分区?当数据不完全时,如何评估聚类不稳定性?通过对这两个问题的回答,本文提出了一个完整的观点,聚类与缺失数据使用MI。分区池的问题在这里解决使用共识聚类,同时,基于自举理论,我们解释了如何评估相关的观察和缺失数据的不稳定性。新规则池分区和不稳定性评估理论上论证和广泛的模拟研究。分区合并提高了准确性,而测量缺失数据的不稳定性扩大了数据分析的可能性:它允许评估聚类对插补模型的依赖性,以及在数据不完整时选择聚类数的方便方法,如真实数据集所示。
2022-05-13 stat.ME stat.ML
Hardness of Learning Neural Networks under the Manifold Hypothesis
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院);Harvard College, Harvard University(哈佛大学哈佛学院)
本文研究了流形假设下神经网络学习的困难性,证明了有界曲率输入流形下学习困难,而对流形体积的额外假设可保证可学习性,并探讨了现实数据的中间机制。
2024-06-03 cs.LG math.DG stat.ML
Joint Models for Handling Non-Ignorable Missing Data using Bayesian Additive Regression Trees: Application to Leaf Photosynthetic Traits Data
针对非随机缺失数据,本文提出两种基于 BART 的联合模型,灵活建模多变量结果与缺失机制,有效处理响应变量及协变量缺失,并在模拟和叶片光合性状数据中验证了其有效性。
2024-12-19 stat.AP stat.ME stat.ML
Automatic Classification of Variable Stars in Catalogs with missing data
Pontificia Universidad Católica de Chile(智利天主教大学);Harvard-Smithsonian Center for Astrophysics(哈佛-史密森天体物理中心);Harvard University(哈佛大学)
本文提出了一种对含有缺失数据的天文星表进行自动分类的方法。我们使用贝叶斯网络,一种概率图形模型,它允许我们执行推理,以预测给定观测数据和变量之间依赖关系的缺失值。为了从不完整的数据中学习贝叶斯网络,我们使用了一种迭代算法,该算法利用抽样方法和期望最大化来估计具有缺失值的数据中变量的分布和概率依赖性。为了测试我们的模型,我们使用了三个缺失数据的星表(SAGE,2MASS和UBVI)和一个完整的星表(CAMO)。我们研究如何分类准确性的变化时,从缺失的数据目录的信息包括在内,我们的方法相比,传统的缺失数据的方法和计算成本。将这些目录与丢失的数据相结合,我们发现,在保持计算成本不变的情况下,可变对象的分类提高了百分之几,类星体检测提高了15%。
2013-10-29 astro-ph.IM cs.LG stat.ML
Missing Data Estimation in High-Dimensional Datasets: A Swarm Intelligence-Deep Neural Network Approach
University of Johannesburg(约翰内斯堡大学)
在本文中,我们研究了高维数据集的缺失数据的问题,考虑到完全随机缺失和随机缺失机制,以及任意缺失模式。此外,本文采用了基于深度学习和群体智能算法的方法,以便为缺失数据提供可靠的估计。深度学习技术用于通过基于输入对数据分布进行建模,经由无监督学习方法从输入数据中提取特征。然后将这种深度学习技术用作群体智能技术的目标函数的一部分,以便通过基于数据集中特征之间的相互关系和相关性最小化误差函数,在监督微调阶段之后估计缺失数据。因此,本文所研究的方法具有更长的运行时间,然而,有希望的潜在结果证明了这种权衡的合理性。此外,还需要具备统计学的基本知识。
2016-07-01 cs.AI cs.LG stat.ML
Learning Disentangled Representations of Video with Missing Data
College of Electrical and Computer Engineering(电气与计算机工程学院);Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机科学学院);University of California San Diego(加利福尼亚大学圣地亚哥分校)
丢失的数据在学习视频序列的表示时带来了重大挑战。我们提出了解纠缠输入视频自动编码器(DIVE),这是一种深度生成模型,可以在存在丢失数据的情况下输入和预测未来的视频帧。具体来说,DIVE引入了一个丢失潜在变量,将隐藏的视频表示分解为每个对象的静态和动态外观,姿势和丢失因素。DIVE在数据缺失的地方估算每个物体的轨迹。在具有各种缺失场景的移动MNIST数据集上,DIVE的性能大大优于最先进的基线。我们还比较了真实世界的MOTSCallenge行人数据集,这表明我们的方法在更现实的环境中具有实用价值。我们的代码和数据可以在https://github.com/Rose-STL-Lab/DIVE上找到。
2020-11-03 cs.CV cs.LG stat.ML
Learning compressed representations of blood samples time series with missing data
UiT the Arctic University of Norway(挪威北极大学)
随时间收集的临床测量结果自然表示为多变量时间序列(MTS),其中通常包含缺失数据。自动编码器可以学习MTS的低维向量表示,其保留重要的数据特征,但不能显式地处理丢失的数据。在这项工作中,我们提出了一个新的框架,结合了自动编码器的时间序列聚类内核(TCK),内核,占MTS中的缺失模式。通过内核对齐,我们将TCK纳入自动编码器中,以在存在丢失数据的情况下改进学习的表示。我们认为MTS的分类问题与缺失值,代表血液样本的手术部位感染的患者。使用我们的方法,而不是使用标准的自动编码器,我们学习可以更好地分类的低维表示。
2017-10-20 cs.LG cs.NE stat.ML
Extended Missing Data Imputation via GANs for Ranking Applications
Cornell University(康奈尔大学);Amazon(亚马逊)
我们提出了条件填补GAN,一种基于生成对抗网络(GANs)的扩展缺失数据填补方法。激励用例是学习排名,现代搜索,推荐系统和信息检索应用程序的基石。经验排序数据集并不总是遵循标准高斯分布或完全随机缺失(MCAR)机制,这是经典缺失数据插补方法的标准假设。我们的方法提供了一个简单的解决方案,提供兼容的插补保证,同时放松假设缺失的机制和回避近似棘手的分布,以提高插补质量。我们证明了最佳的GAN填补实现扩展随机缺失(EMAR)和扩展总是随机缺失(EAMAR)机制,超越了天真的MCAR。我们的方法在开源Microsoft Research Ranking(MSR)数据集和合成排名数据集上展示了最高的插补质量,与最先进的基准和各种特征分布相比。使用专有的Amazon Search排名数据集,我们还展示了与地面实况数据相比,在GAN估算数据上训练的排名模型的可比排名质量指标。
2021-11-10 cs.LG stat.AP stat.ML
Missing Data using Decision Forest and Computational Intelligence
利用自编码器神经网络对缺失数据进行估计。采用遗传算法进行网络优化和缺失数据估计。通过实施极大似然算法,将缺失数据视为随机缺失机制。通过计算网络预测的均方误差来确定网络性能。通过实施决策森林,网络得到了进一步优化。缺失数据的影响,然后调查和决策forrest发现,以改善结果。
2008-12-09 stat.ML
Inverse Reinforcement Learning with Missing Data
NUS School of Computing(新加坡国立大学计算学院);MIT(麻省理工学院)
我们考虑的问题,恢复专家的奖励函数与逆强化学习(IRL)时,有丢失/不完整的状态动作对或观察演示轨迹。这种丢失轨迹数据或信息的问题发生在许多情况下,例如,来自在道路网络上移动的车辆的GPS信号是间歇性的。在本文中,我们提出了一个易于处理的方法来直接计算对数似然演示轨迹不完整/缺失的数据。我们的算法是有效的,在处理大量的缺失段演示的轨迹,因为它执行的训练与不完整的数据,通过求解一系列的线性方程组的系统,这样的系统的数量来解决不依赖于缺失段的数量。对真实数据集的实证评估表明,我们的训练算法优于其他传统技术。
2019-11-16 cs.AI cs.LG stat.ML
Probabilistic Curve Learning: Coulomb Repulsion and the Electrostatic Gaussian Process
多维数据低维结构的学习是机器学习中的一个典型问题。一种常见的方法是假设观测数据接近于低维光滑流形。有多种多样的流形学习方法可用,其允许将数据点映射到流形。然而,显然缺乏允许学习流形以及观察数据的生成分布的概率方法。最好的尝试是高斯过程隐变量模型(GP-LVM),但可识别性问题导致性能不佳。我们解决了这些问题,提出了一种新的库仑排斥过程(Corp)的流形上的点的位置,粒子之间的静电相互作用的物理模型的启发。结合这个过程与GP之前的映射函数产生一种新的静电GP(electroGP)过程。专注于一维流形的简单情况下,我们开发了高效的推理算法,并说明了在各种实验,包括在视频中的缺失帧填充大幅提高性能。
2015-06-11 stat.ML
Markov Missing Graph: A Graphical Approach for Missing Data Imputation
该研究提出基于无向图的马尔可夫缺失图(MMG)缺失数据插补框架,结合可用信息原则确立可识别性,构建PAI下的插补风险最小化学习范式,建立相关理论并通过模拟与真实阿尔茨海默病数据验证有效性。
2025-09-03 math.ST stat.ME stat.ML
Random Forest Missing Data Algorithms
随机森林(RF)缺失数据算法是一种很有吸引力的处理缺失数据的方法。它们具有能够处理混合类型的缺失数据的理想特性,它们能够适应交互和非线性,并且它们具有扩展到大数据设置的潜力。目前有许多不同的RF插补算法,但相对较少的指导,他们的疗效,这促使我们研究他们的性能。使用大量不同的数据集,在不同的缺失数据机制下评估了各种RF算法的性能。算法包括邻近插补,在飞插补,插补利用多变量无监督和监督分裂-后一类代表了一个新的有前途的插补算法称为missForest的推广。通过准确插补数据的能力评估算法性能。我们的研究结果表明,RF插补一般是强大的性能提高,增加相关性。在中度至高度缺失情况下性能良好,甚至(在某些情况下)数据非随机缺失时也是如此。
2017-01-20 stat.ML
Recoverability of Joint Distribution from Missing Data
Iowa State University(爱荷华州立大学)
如果数据不是随机缺失(MAR),则概率查询可能无法从被缺失值破坏的观察数据中估计。因此,当数据不是MAR时,原则上确定概率查询是否可从缺失数据估计具有理论意义和实际重要性。我们提出了一种算法,该算法系统地确定联合概率是否可从具有缺失值的观测数据估计,假设数据-生成模型被表示为包含未观察到的潜在变量的贝叶斯网络,该贝叶斯网络不仅编码变量之间的依赖关系,明确描绘了负责失踪过程的机制。这一结果大大推进了现有的工作。
2016-11-15 cs.AI stat.ML
Are labels informative in semi-supervised learning? -- Estimating and leveraging the missing-data mechanism
半监督学习是一种利用未标记数据来改进机器学习模型的强大技术,但它可能会受到“信息”标签的影响,当某些类比其他类更有可能被标记时,就会出现这种情况。在缺失数据文献中,此类标签称为非随机缺失。在本文中,我们提出了一种新的方法来解决这个问题,估计的缺失数据机制,并使用逆倾向加权去偏任何SSL算法,包括那些使用数据增强。我们还提出了一个似然比检验,以评估是否标签确实是信息。最后,我们证明了所提出的方法在不同的数据集上的性能,特别是在两个医疗数据集上,我们设计了伪现实的缺失数据场景。
2023-02-15 stat.ML
Inference of stochastic time series with missing data
从时间序列中推断动态是数据分析的一个重要目标。特别是,它是具有挑战性的推断随机动态给定不完整的数据。我们提出了一个期望最大化(EM)算法,交替两个步骤之间迭代:E-步骤恢复丢失的数据点,而M-步骤推断恢复数据的底层网络模型。使用合成动力学伊辛模型产生的数据,我们确认,该算法的工程恢复丢失的数据点,以及推断的基础模型。在EM算法的初始迭代中,模型推断与观测数据点相比与缺失数据点显示出更好的模型-数据一致性。然而,随着我们不断迭代,缺失的数据点显示出更好的模型数据一致性。我们发现,要求观察到的数据点和缺失的数据点的一致性相等,这为迭代提供了一个有效的停止标准,以防止超过最准确的模型推断。有了这个EM算法和这个停止标准,我们从真实神经元活动的时间序列数据中推断出缺失的数据点和底层网络。我们的方法恢复了神经元活动的集体属性,例如时间相关性和放电统计,这些属性以前从未被优化过。
2021-07-16 physics.data-an stat.ML
Missing Data in Signal Processing and Machine Learning: Models, Methods and Modern Approaches
本文探讨了信号处理与机器学习中缺失数据的处理方法,提出了基于三个分析任务的分类框架,并通过案例研究展示了相关方法和未来研究方向。
2026-01-05 eess.SP stat.ML