Robust prediction under missingness shifts
Fraunhofer IKS（弗劳恩霍夫IKS）
该研究探讨缺失偏移下的预测鲁棒性，证明可忽略缺失偏移下贝叶斯预测器不变，其实验发现不同方法对不同偏移鲁棒性不同，不可忽略偏移下高信息性缺失时忽略缺失值效果最优。
2024-06-24 cs.LG stat.ML
NeuMiss networks: differentiable programming for supervised learning with missing values
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS/IN2P3（法国国家科学研究中心/国家核物理与粒子物理研究所）；IJCLab（伊雷娜·约里奥-居里实验室）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Mila（米拉）；McGill University（麦吉尔大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
缺失值的存在使得监督学习更具挑战性。事实上，以前的工作已经表明，即使响应是完整数据的线性函数，最佳预测器也是观察到的条目和缺失指标的复函数。因此，一致性方法的计算或样本复杂性取决于缺失模式的数量，其在维度数量上可以是指数级的。在这项工作中，我们推导出线性假设和各种缺失数据机制，包括随机缺失（MAR）和自屏蔽（Missing Not At Random）下的最佳预测的分析形式。基于Neumann级数近似的最优预测，我们提出了一个新的原则架构，命名为NeuMiss网络。它们的独创性和力量来自于使用一种新型的非线性：乘以缺失指标。我们提供了一个上限NeuMiss网络的贝叶斯风险，并表明他们有良好的预测精度与一些参数和独立的缺失数据模式的数量的计算复杂性。因此，它们可以很好地扩展到具有许多特征的问题，并且对于中等大小的样本仍然具有统计效率。此外，我们表明，相反的程序使用EM或插补，他们是强大的缺失数据机制，包括困难的MNAR设置，如自屏蔽。
2020-11-04 cs.AI cs.LG stat.ML
Nonparametric modal regression with missing response observations
针对响应变量存在缺失观测值的问题，本文调整了非参数众数回归工具，通过广泛模拟研究考察多种插补方法，并用实际数据示例验证了其有效性。
2025-04-07 stat.ME
User-friendly introduction to PAC-Bayes bounds
ESSEC Business School（埃塞克商学院）
本文为 PAC-Bayes 理论提供友好入门，介绍其核心概念、发展历程及近期应用，旨在填补该领域缺乏入门介绍的空白。
2025-02-28 cs.LG math.ST stat.ML
Mining of Switching Sparse Networks for Missing Value Imputation in Multivariate Time Series
SANKEN, Osaka University（大阪大学SANKEN）
针对多变量时间序列缺失值问题，提出可挖掘切换稀疏网络与时间依赖的MissNet插补方法，线性复杂度，性能优于现有最优算法且结果可解释。
2024-09-16 cs.LG
Robust Prediction when Features are Missing
Uppsala University（乌普萨拉大学）
预测器是使用过去的训练数据来学习的，这些数据可能包含在预测时不可用的特征。我们开发了一种方法，是强大的对边远失踪的功能，基于最优性的预言家预测，观察他们。该方法的鲁棒性表现在真实和合成数据。
2020-04-04 cs.LG eess.SP
Self-Certifying Classification by Linearized Deep Assignment
Heidelberg University（海德堡大学）
我们提出了一类新的深度随机预测分类的PAC-贝叶斯风险认证范式内的图上的度量数据。分类器被实现为具有随机初始条件的线性参数化深度分配流。基于最近的PAC-Bayes文献和数据相关先验，这种方法使（i）使用风险边界作为训练目标，用于学习假设空间上的后验分布，以及（ii）比相关工作更有效地计算随机分类器的紧样本外风险证书。与经验测试集误差的比较说明了这种自证明分类方法的性能和实用性。
2022-02-18 cs.LG math.OC stat.ML
Towards Resolving Propensity Contradiction in Offline Recommender Learning
Cornell University（康奈尔大学）；CyberAgent, Inc.（CyberAgent公司）
本文研究了存在选择偏差的离线推荐学习问题。目前有希望的偏差解决方案是逆倾向得分（IPS）估计。然而，现有基于倾向的方法的性能可能会受到倾向估计偏差的显着影响。事实上，大多数以前的基于IPS的方法需要一定量的完全随机缺失（MCAR）数据来准确估计倾向。这导致了一个严重的自相矛盾; IPS在没有MCAR数据的情况下是无效的，即使它最初的目标是从丢失的非随机反馈中学习决策者。为了解决这个倾向矛盾，我们推导出一个倾向独立的泛化误差界，并提出了一种新的算法，通过对抗学习来最小化理论界。我们的理论和算法不需要一个倾向估计过程，从而导致一个表现良好的评级预测没有真正的倾向信息。大量的实验表明，所提出的方法是优于一系列现有的方法在评级预测和排名指标在实际设置中没有MCAR数据。
2022-04-21 cs.IR cs.LG stat.ML
Calibration of prediction rules for life-time outcomes using prognostic Cox regression survival models and multiple imputations to account for missing predictor data with cross-validatory assessment
Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们扩大了方法，在Mertens等。al（2020，Biometrical Journal）的研究，该研究受删失的影响，并且当插补用于解释缺失值时。我们考虑的问题，缺失值可能会发生在校准数据以及新的预测观测（验证）。我们关注的是考克斯模型。描述了在删失的生存建模中将插补与预测校准相结合的方法。交叉验证的应用进行了讨论。我们展示了结论如何广泛地证实了第一篇仅限于二元结果研究的论文。具体来说，预测平均似乎具有优越的统计特性，特别是较小的预测变化，而不是直接应用鲁宾的规则。当使用鲁宾的基于规则的方法时，讨论了处理基线危险的不同方法。
2021-05-04 cs.LG stat.AP stat.ME
Assessment of Spatio-Temporal Predictors in the Presence of Missing and Heterogeneous Data
Università della Svizzera italiana（瑞士大学）；IDSIA；Politecnico di Milano（米兰理工学院）
本文提出了一种残差相关性分析框架，用于在存在缺失和异质数据时评估时空关系增强的神经预测模型的最优性。
2026-02-27 cs.LG stat.ML
Domain Adaptation under Missingness Shift
Carnegie Mellon University（卡内基梅隆大学）
本文提出缺失偏移下的域适应（DAMS）问题，证明缺失指示符可得时其可归约为协变量偏移，针对完全随机漏报且无缺失指示符的场景推导了四项理论结果，提出线性模型的解析调整方法，并通过实验验证了方法有效性。
2023-05-03 cs.LG stat.ML
Handling Missing Data in Probabilistic Regression Trees
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
本文扩展PRTree框架，提出三种处理缺失数据的策略，经多数据集验证，所提方法在缺失比例高时优于CART，且保留树模型的可解释性与灵活性。
2026-08-07 cs.LG stat.ML
High-Dimensional Tensor Discriminant Analysis with Incomplete Tensors
University of Notre Dame（圣母大学）；New York University（纽约大学）
针对不完整高维张量分类难题，提出基于TGMM的Tensor LDA-MD算法，利用判别张量低秩结构处理缺失数据，建立相关理论界，在模拟与真实数据中表现优异。
2024-10-30 cs.LG stat.ME stat.ML
The Missing Invariance Principle Found -- the Reciprocal Twin of Invariant Risk Minimization
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；University of California（加利福尼亚大学）
机器学习模型通常对分布外（OOD）数据的泛化能力很差，这是因为在训练过程中依赖于与标签虚假相关的特征。最近，提出了不变风险最小化（Invariant Risk Minimization，简称RST）技术，通过在环境中保存特征条件标签期望$\mathbb{E}_e[y|f(x)]$来学习仅使用不变特征的预测器。然而，最近的研究表明，IRM-v1，一个实用的版本，可以在各种设置失败。在这里，我们确定了一个根本的缺陷，导致失败的可持续发展的制定。然后，我们介绍了一个互补的概念不变性，MRI，基于保存标签条件的功能期望$\mathbb{E}_e[f(x)|y]$，这是免费的这个缺陷。此外，我们介绍了一个简化的，实用的版本的MRI制定称为MRI-v1。我们证明，对于一般的线性问题，MRI-V1保证不变的预测足够数量的环境。我们还实证表明，MRI-v1的性能远远优于IRM-v1，并始终实现了基于图像的非线性问题的接近最佳的OOD泛化。
2023-01-16 cs.AI cs.CV cs.LG
Classification with Low Rank and Missing Data
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Hebrew University（希伯来大学）；Tel Aviv University（特拉维夫大学）
我们考虑分类和回归任务，其中我们有丢失的数据，并假设（干净的）数据驻留在低秩子空间中。找到一个隐藏的子空间是已知的计算困难。尽管如此，使用非适当的配方，我们给出了一个有效的不可知算法，最好的线性分类器加上最好的低维子空间中的数据驻留的分类。一个直接的含义是，我们的算法可以线性地（和非线性地通过内核）分类证明以及最好的分类器，可以访问完整的数据。
2015-01-14 cs.LG
Generative Imputation and Stochastic Prediction
University of California Los Angeles (UCLA)（加州大学洛杉矶分校）
在许多机器学习应用中，我们面临着不完整的数据集。在文献中，缺失数据填补技术主要涉及填补缺失值。然而，缺失值的存在不仅意味着缺失值分布的不确定性，而且意味着需要仔细考虑的目标类分配的不确定性。在本文中，我们提出了一个简单而有效的方法来填补缺失的功能和估计分布的目标分配不完整的数据。为了进行估算，我们训练一个简单而有效的生成器网络来生成估算，一个神经网络的任务是区分。在此之后，使用来自生成器网络的估算样本来训练预测器网络，以捕获分类不确定性并相应地进行预测。该方法在CIFAR-10和MNIST图像数据集以及五个真实世界的表格分类数据集上进行了评估，在不同的缺失率和结构下。我们的实验结果表明，所提出的方法在生成插补以及提供估计类的不确定性分类任务时，面对缺失值的有效性。
2020-09-04 cs.AI cs.LG stat.ML
Classification Using Link Prediction
Amirkabir University of Technology（阿米尔卡比尔理工大学）
图中的链接预测是检测在不久的将来会形成的丢失链接的问题。使用数据的图形表示，我们可以将分类问题转化为链接预测问题，其目的是找到未标记数据（未标记节点）与其类之间的缺失链接。据我们所知，尽管许多算法使用数据的图形表示进行分类，但没有一个算法使用链接预测作为其分类过程的核心。在这项工作中，我们提出了一种新的算法，称为CULP（分类使用链接预测），它使用一种新的结构，即标签嵌入图或LEG和链接预测找到类的未标记的数据。不同的链接预测器以及兼容性得分-我们提出的一种新的链接预测器，专门为我们的设置设计-已经被使用，并显示出对不同数据集进行分类的有希望的结果。本文进一步改进了CULP设计一个扩展名为CULM，它使用多数表决（因此在首字母缩略词中的M）的过程与权重成比例的预测的置信度，以使用多个链接预测器的预测能力，并利用低层次的数据特征。大量的实验结果表明，CULP和CULM都具有很高的准确性，并与最先进的图分类器和一般分类器竞争。
2018-10-01 cs.LG stat.ML
Prediction with Incomplete Data under Agnostic Mask Distribution Shift
Shanghai Jiao Tong University（上海交通大学）；Communication University of China（中国传媒大学）
针对不完整数据在不可知掩码分布偏移下的预测问题，提出双重参数化联合近似各掩码不变最优预测器并进行去相关的方法 StableMiss，有效提升了泛化与鲁棒性。
2023-05-18 cs.AI cs.LG
Complex Query Answering with Neural Link Predictors
University College London（伦敦大学学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）；Elsevier（爱思唯尔）
神经链接预测器对于识别大规模知识图谱中的缺失边缘非常有用。然而，仍然不清楚如何使用这些模型来回答在许多领域中出现的更复杂的查询，例如使用逻辑合取词（$\land$）、析取词（$\lor$）和存在量词（$\exists$）的查询，同时考虑缺失的边。在这项工作中，我们提出了一个框架，有效地回答复杂的查询不完整的知识图谱。我们将每个查询转换为端到端的可微分目标，其中每个原子的真值由预先训练的神经链接预测器计算。然后，我们分析两个解决方案的优化问题，包括基于梯度和组合搜索。在我们的实验中，所提出的方法比最先进的方法（在数百万个生成的查询上训练的黑盒神经模型）产生更准确的结果，而不需要在大量不同的复杂查询集上进行训练。使用数量级较少的训练数据，我们在包含事实信息的不同知识图谱中获得了从8%到40%的相对改进。最后，我们证明，这是可能的解释我们的模型的结果，在中间的解决方案确定为每个复杂的查询原子。我们所有的源代码和数据集都可以在https://github.com/uclnlp/cqd上获得。
2021-03-18 cs.AI cs.LG cs.LO
Predictive Uncertainty in Short-Term PV Forecasting under Missing Data: A Multiple Imputation Approach
SAP Labs France（SAP法国实验室）；EURECOM
本文提出一种结合随机多重插补与Rubin规则的框架，用于将缺失数据不确定性纳入短期光伏预报，提升预测区间校准性。
2026-03-16 cs.LG stat.AP stat.ML
Your Temporal Link Predictor Is Blind to Who Is Active: A Missing Factor That Transfers Across Models
Harvard University（哈佛大学）；Wuhan University（武汉大学）；University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
本研究揭示时序链接预测忽略源节点活跃性这一关键因素，提出轻量级SNAM模型，仅用不到20个参数即可跨模型提升性能，在多个数据集上取得领先。
2026-10-06 cs.LG cs.SI
What's a good imputation to predict with missing values?
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；IJCLab（直线加速器实验室）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
如何在有缺失值的数据上学习一个好的预测器？大多数努力集中在第一次插补，以及可能和第二次学习的完整的数据，以预测结果。然而，这种普遍的做法没有理论基础。在这里，我们表明，对于几乎所有的插补函数，一个强大的学习器的插补然后回归过程是贝叶斯最优的。这一结果适用于所有缺失值机制，与传统的统计结果相反，传统的统计结果需要随机缺失设置才能在概率建模中使用插补。此外，它意味着完美的条件填补是不需要良好的预测渐近。事实上，我们证明了在完全插补数据上，最好的回归函数通常是不连续的，这使得它很难学习。相反，精心设计插补以保持回归函数不变，只是将问题转移到学习不连续插补上。相反，我们建议，它是更容易学习插补和回归联合。我们提出了这样一个程序，适应NeuMiss，一个神经网络捕获的条件链接观察到的和未观察到的变量无论丢失值的模式。实验证明，联合填补和回归通过NeuMiss是优于各种两步程序在我们的实验中，有限数量的样本。
2021-11-30 cs.AI cs.LG stat.ML
PT: A Plain Transformer is Good Hospital Readmission Predictor
The University of Hong Kong（香港大学）
针对医院30天再入院预测，提出基于Transformer的PT模型，整合EHR、影像和临床笔记，兼具准确性、可扩展性和鲁棒性。
2024-12-17 cs.LG
Minimax rate of consistency for linear models with missing values
Sorbonne Université（巴黎索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation (LPSM)（概率、统计与建模实验室(LPSM)）；MOKAPLAN（莫卡普兰）；INRIA Paris（法国国家信息与自动化研究所巴黎）；CMAP（数学与应用计算中心(CMAP)）；UMR7641（法国国家科学研究中心与巴黎综合理工学院联合研究单位(UMR7641)）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
在大多数真实世界的数据集中，由于多个来源的聚合和固有的缺失信息（传感器故障，调查中未回答的问题......），会出现缺失值。事实上，缺失值的本质通常会阻止我们运行标准的学习算法。在本文中，我们集中在广泛研究的线性模型，但在缺失值的存在下，这是一个相当具有挑战性的任务。事实上，贝叶斯规则可以分解为对应于每个缺失模式的预测因子之和。这最终需要解决大量的学习任务，输入特征的数量呈指数级增长，这使得当前现实世界的数据集无法进行预测。首先，我们提出了一个严格的设置来分析一个最小二乘型估计，并建立一个界限的超额风险，指数增长的维度。因此，我们利用缺失数据分布，提出了一种新的算法，并推导出相关的自适应风险边界，原来是最小最大优化。数值实验突出了我们的方法相比，用于预测缺失值的最先进的算法的好处。
2022-02-03 cs.LG stat.ML
Semi-supervised learning of local structured output predictors
Beijing Jiaotong University（北京交通大学）
本文研究了半监督结构化输出预测问题，旨在学习结构化输出的预测器，如序列、树节点、向量等，从输入输出对和没有输出的单输入的一组数据点。传统的预测方法通常只对所有数据点学习一个预测器，而忽略了不同数据点的多样性。数据集的不同部分可能具有不同的局部分布，并且需要不同的最优局部预测器。为了克服现有方法的这一缺点，我们建议同时为不同数据点的邻域和缺失的结构化输出学习不同的局部预测器。在每个数据点的邻域中，我们提出通过最小化预测器的复杂度和结构化预测损失的上界来学习线性预测器。通过梯度下降算法进行最小化。在DDSM乳腺X线摄影医学图像、SUN自然图像数据集、Cora研究论文数据集和西班牙新闻网文章句子数据集上的实验表明了该方法的优越性。
2016-04-11 cs.CV cs.LG
MaskSDM with Shapley values to improve flexibility, robustness, and explainability in species distribution modeling
University College London（伦敦大学学院）
本文提出MaskSDM，一种基于掩码训练策略的深度学习物种分布模型，支持推理时灵活选择预测变量、对缺失数据鲁棒，并利用Shapley值精确量化变量贡献，在sPlotOpen数据集上对12,738种植物建模验证了其优于插补方法且逼近特定子集训练模型的效果。
2025-08-21 cs.CV cs.LG
Asymmetric Tri-training for Debiasing Missing-Not-At-Random Explicit Feedback
Tokyo Institute of Technology（东京工业大学）
在大多数真实世界的推荐系统中，观察到的评级数据受到选择偏差的影响，因此数据是非随机丢失的。开发一种方法，以促进学习的推荐与偏见的反馈是最具挑战性的问题之一，因为它是众所周知的，天真的方法下选择偏见往往会导致次优的结果。这个问题的一个行之有效的解决方案是使用倾向评分技术。倾向得分是每个数据被观察到的概率，并且通过用其倾向的倒数对每个数据进行加权，可以进行无偏的性能估计。然而，基于倾向的无偏估计方法的性能往往受到倾向估计模型的选择或高方差问题的影响。为了克服这些局限性，我们提出了一个模型无关的元学习方法的启发非对称三训练框架的无监督领域自适应。该方法利用两个预测器生成具有可靠伪评级的数据，另一个预测器进行最终预测。在理论分析中，一个倾向独立的上界的真实性能指标的推导，它表明，所提出的方法可以最小化这个界限。我们使用公开的真实世界数据集进行全面的实验。研究结果表明，以往的基于倾向的方法在很大程度上受到倾向模型的选择和反向倾向加权引起的方差问题的影响。此外，我们表明，所提出的元学习方法对这些问题是鲁棒的，可以促进从有偏见的显式反馈中制定有效的建议。
2020-06-02 cs.IR cs.LG cs.SI
FragmGAN: Generative Adversarial Nets for Fragmentary Data Imputation and Prediction
East China Normal University（华东师范大学）
现代科学研究和应用中经常会遇到“碎片数据”，这给估算和预测带来了很大的挑战。通过利用响应模式的结构，我们提出了一个统一的和灵活的框架，基于生成对抗网（GAN），同时处理碎片数据填补和标签预测。与大多数其他基于生成模型的插补方法不同，这些方法要么没有理论保证，要么只考虑随机缺失（MCAR），所提出的FragmGAN具有理论保证，可以用随机缺失（MAR）数据进行插补，而不需要提示机制。FragmGAN同时使用生成器和预测器训练预测器。在大量的实验中，这种联动机制显示出显着的优势，预测性能。
2022-03-09 cs.AI cs.LG
Data-driven Lake Water Quality Forecasting for Time Series with Missing Data using Machine Learning
Department of Computer Science, Colby College（科克学院计算机科学系）
针对志愿者监测导致的湖泊数据缺失问题，采用多重插补和岭回归，在30个湖泊数据集上实现透明度预测，并量化了最小样本量和特征集，提出联合可行性函数以优化监测策略。
2026-06-12 cs.LG
Deep Survival Analysis for Competing Risk Modeling with Functional Covariates and Missing Data Imputation
Department of Quantitative Health Science, Cleveland Clinic, Cleveland OH, USA（定量健康科学系，克利夫兰诊所）；Department of Pulmonary and Critical Care Medicine, Cleveland Clinic, Cleveland OH, USA（呼吸与重症医学科，克利夫兰诊所）；Department of Statistics, Purdue University, Lafayette IN, USA（统计系，普渡大学）
本研究提出统一深度学习框架FCRN，用于竞争风险下的离散时间生存分析，可整合函数型协变量并端到端处理缺失数据，在模拟数据集和真实ICU数据集上的预测准确率优于传统模型，推动重症监护预后建模发展。
2025-09-29 cs.LG
Domain Transfer Structured Output Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出了域迁移结构化输出学习问题及其第一种解决方案，该问题定义在两个共享相同输入输出空间的不同数据域上，即源域和目标域。输出是结构化的，并且对于源域的数据样本，对应的输出是可用的，而对于目标域的大多数数据样本，对应的输出是缺失的。这两个领域的输入分布是显着不同的。问题是学习目标域的预测器，以预测来自输入的结构化输出。由于目标域样本的输出有限，很难直接从目标域学习预测器，因此需要利用源域的输出信息。我们建议通过使用源域数据训练的辅助预测器适应目标域来学习目标域预测器。自适应是通过在辅助预测器的基础上增加增量函数来实现的。开发了一种算法来学习delta函数的参数，以使与预测输出相关联的损失函数相对于具有目标域的可用输出的数据样本的真实输出最小化。
2014-09-03 cs.LG
Interpretable Machine Learning for Cognitive Aging: Handling Missing Data and Uncovering Social Determinant
University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德河谷分校）；Shandong Mental Health Center（山东省精神卫生中心）；Georgia Institute of Technology（佐治亚理工学院）；University of Texas Austin（德克萨斯大学奥斯汀分校）；Kennesaw State University（肯尼索州立大学）
本研究基于PREPARE Challenge Phase 2数据集，采用SVD插补和XGBoost模型从健康社会决定因素预测认知表现，并通过SHAP分析揭示地板材料等关键因素，为认知衰老提供高精度、可解释的早期检测框架。
2025-10-13 cs.LG stat.AP
Missing-Modality-Aware Graph Neural Network for Cancer Classification
School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）
本文提出MAGNET模型，通过动态患者-模态多头注意力机制融合低维模态嵌入，以提升部分模态下的多模态预测性能，实验表明其在癌症分类任务中优于现有方法。
2026-05-15 cs.AI cs.LG q-bio.BM
Robust Factorization of Real-world Tensor Streams with Patterns, Missing Values, and Outliers
KAIST（韩国科学技术院）
考虑以张量流的形式实时收集多个季节性时间序列。真实世界的张量流通常包括缺失的条目（例如，由于网络断开）和同时意外的异常值（例如，由于系统错误）。给定这样一个真实世界的张量流，我们如何才能实时准确地估计缺失的条目并预测未来的进化？在这项工作中，我们回答了这个问题，通过引入SOFIA，一个强大的因子分解方法为现实世界的张量流。简而言之，SOFIA平滑而紧密地集成了张量因子分解、离群值去除和时间模式检测，它们自然地相互加强。此外，SOFIA以在线方式在线性时间内将其整合，尽管存在缺失条目。我们的实验表明，SOFIA是（a）鲁棒性和准确性：产生高达76%的较低的插补误差和71%的较低的预测误差;（b）快速：高达935倍的速度比第二个最准确的竞争对手;和（c）可扩展性：与每个时间步的新条目的数量线性扩展。
2022-06-09 cs.DB cs.LG
Semi-supervised structured output prediction by local linear regression and sub-gradient descent
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Vanderbilt University（范德堡大学）；Suning Commerce R&D Center USA, Inc（苏宁美国研发中心）；Beijing Jiaotong University（北京交通大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；National Time Service Center, Chinese Academy of Sciences（中国科学院国家授时中心）；Graduate University of Chinese Academy of Sciences（中国科学院研究生院）
提出了一种基于局部线性回归的半监督结构化输出预测方法。现有的半监督结构化输出预测方法针对数据集中的所有数据点学习一个全局预测器，忽略了数据集局部分布的差异及其对结构化输出预测的影响。为了解决这个问题，我们提出了共同学习缺失的结构化输出和不同数据点邻域的局部预测。使用局部线性回归策略，在每个数据点的邻域中，我们建议通过最小化预测器的复杂性和结构化预测损失的上界来学习局部线性预测器。最小化问题是解决子梯度下降算法。我们在两个基准数据集上进行了实验，结果表明了所提出的方法的优点。
2016-08-16 cs.LG
Adapting Neural Link Predictors for Data-Efficient Complex Query Answering
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）；Elsevier（爱思唯尔）；University of Copenhagen（哥本哈根大学）；University of Edinburgh（爱丁堡大学）
本文提出参数高效的自适应模型 CQD$^{\mathcal{A}}$，通过重新校准冻结的神经链接预测器分数来高效回答复杂查询，仅增加0.03%参数，在显著减少训练数据的同时提升推理准确性并支持原子否定查询。
2023-07-11 cs.AI cs.LG cs.LO
The Implicit Bias of Gradient Descent on Separable Data
Technion（以色列理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文证明无正则化逻辑回归的梯度下降在线性可分数据上会隐式收敛至最大间隔 SVM 方向，并推广到多类与深度网络受限情形。
2024-10-26 cs.LG stat.ML
Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula
Cornell University（康奈尔大学）
现代大规模数据集经常受到丢失条目的困扰。对于含有缺失值的表格数据，一系列插补算法求解一个完整的矩阵，使某些惩罚性重建误差最小化。然而，几乎没有人能估计其估算的不确定性。本文提出了一个概率和可扩展的框架缺失值填补量化的不确定性。我们的模型，低秩高斯Copula，增强了一个标准的概率模型，概率主成分分析，每列的边际变换，使模型更好地匹配数据的分布。它自然地处理布尔、序数和实值观测，并量化每个插补中的不确定性。拟合模型所需的时间与数据集中的行数和列数呈线性关系。实证结果表明，该方法在广泛的数据类型，包括那些具有高排名的国家的最先进的插补精度。我们的不确定性度量很好地预测了插补误差：不确定性较低的条目确实具有较低的插补误差（平均而言）。此外，对于实值数据，得到的置信区间是经过良好校准的。
2021-01-18 cs.LG stat.ML
Deep Learning Imputation of Missing Radius of Maximum Winds (Rmax) Values in Tropical Cyclone Best-Track Data
本研究采用1DCNN、LSTM等深度学习模型填补热带气旋最佳路径数据中缺失的Rmax值，发现时间模型结合R34输入可提升性能，为海岸灾害评估提供了不完整TC记录的重建方法。
2026-08-11 cs.LG physics.ao-ph
Diffeomorphically Learning Stable Koopman Operators
Technical University of Munich（慕尼黑工业大学）
受无限维Koopman算子（生成器）启发的系统表示越来越多地被考虑用于预测建模。由于算子的线性，一系列非线性系统允许线性预测器表示-允许简化预测，分析和控制。然而，找到有意义的有限维表示用于预测是困难的，因为它涉及确定Koopman不变（在动态下线性演化）以及相关（跨越原始状态）的特征-通常是无监督的问题。在这项工作中，我们提出了Koopmanizing流-一类非线性动力学的线性预测的监督学习的一种新的连续时间框架。在我们的模型构造中，一个潜在的同构相关的线性系统通过与单项式基的组合展开成一个线性预测。提升，其线性动力学和状态重建的同时学习，而无约束的参数化的赫维茨矩阵确保渐近稳定，无论运营商的近似精度。Koopmanizing Flows的卓越功效在著名的LASA手写基准上与最先进的方法相比得到了证明。
2022-05-30 cs.LG cs.SY eess.SY
Manifold regularization in structured output space for semi-supervised structured output prediction
Shanghai University（上海大学）；Tongji University（同济大学）；The 3rd Research Institute of Ministry of Public Security（公安部第三研究所）；Kansas State University（堪萨斯州立大学）
结构化输出预测旨在学习预测器以从输入数据向量预测结构化输出。结构化输出包括向量、树、序列等。我们通常假设我们有一个输入输出对的训练集来训练预测器。然而，在许多现实世界的应用中，很难获得输入的输出，因此对于许多训练输入数据点，结构化输出丢失。本文讨论了如何从一个由若干输入输出对和若干无输出的输入数据点组成的训练集中进行学习。这个问题被称为半监督结构化输出预测.针对这一问题，我们提出了一种新的方法，即从输入空间构造一个最近邻图来表示流形结构，并直接用它来正则化结构化的输出空间。我们为每个训练数据点定义了一个松弛的结构化输出，并提出通过学习结构化输出预测器来预测它。松弛结构输出和预测器的学习统一在一个单一的最小化问题。在这个问题中，我们建议最小化相邻数据点的松弛结构化输出之间的结构化损失，以及由结构化损失度量的预测误差。该问题是优化的迭代算法。在三个基准数据集上的实验结果表明了该方法的优越性。
2015-08-12 cs.CV cs.LG
Learning linear modules in a dynamic network with missing node observations
Eindhoven University of Technology（埃因霍温理工大学）
为了识别嵌入在动态网络中的系统（模块），必须制定多输入估计问题，该问题需要测量某些节点并将其作为预测器输入。然而，由于传感器选择和放置问题，这些节点中的一些在许多实际情况下可能是不可测量的。这可能导致目标模块的有偏估计。此外，与多输入结构相关联的识别问题可能需要确定实验者不特别感兴趣的大量参数，在大型网络中增加了计算复杂性。在本文中，我们通过使用数据增强策略来解决这些问题，该策略允许我们重建丢失的节点测量值并提高估计目标模块的准确性。为此，我们开发了一个系统辨识方法，使用正则化的基于核的方法加上近似推理方法。保持感兴趣的模块的参数模型，我们建模的高斯过程（GP）与所谓的稳定样条核给定的内核的其他模块。经验贝叶斯（EB）的方法被用来估计的目标模块的参数。使用期望最大化（EM）方法，其中我们采用马尔可夫链蒙特卡罗（MCMC）技术来重建未知的缺失节点信息和网络动态解决相关的优化问题。动态网络的数值模拟的例子说明了发展的方法的潜力。
2022-08-23 cs.LG cs.SY eess.SY
Robust training of recurrent neural networks to handle missing data for disease progression modeling
Biomediq A/S（Biomediq公司）；University of Copenhagen（哥本哈根大学）；University College London（伦敦大学学院）
使用纵向数据的疾病进展建模（Disease Progression Modeling，简称CDC）是医疗保健领域机器学习中的一项具有挑战性的任务，可以为临床医生提供更好的疾病诊断和监测工具。现有的生物标记物检测算法忽略了测量值之间的时间依赖性，并对生物标记物轨迹进行了参数假设。此外，它们不联合建模多个生物标志物，并且需要对齐受试者的轨迹。在本文中，循环神经网络（RNN）是用来解决这些问题。然而，在许多情况下，纵向队列包含不完整的数据，这阻碍了标准RNN的应用，并且需要预处理步骤，例如缺失值的插补。因此，我们提出了一个通用的训练规则，用于最广泛使用的RNN架构，长短期记忆（LSTM）网络，可以处理目标和预测变量中的缺失值。该算法被应用于使用磁共振成像（MRI）生物标志物对阿尔茨海默病（AD）的进展进行建模。结果表明，与使用具有数据插补的标准LSTM网络或使用基于回归的神经网络方法相比，所提出的LSTM算法在所有考虑的MRI生物标志物中预测测量值的平均绝对误差较低。此外，将线性判别分析应用于由所提出的算法预测的生物标志物的值，与相同的替代方案相比，导致用于AD的临床诊断的受试者工作特征曲线（AUC）下的面积更大，并且AUC与来自最近的横截面医学图像分类挑战的最新AUC相当。本文表明，LSTM网络训练中内置的缺失值处理为RNN在疾病进展建模中的应用铺平了道路。
2018-08-16 cs.CV cs.LG
What learning algorithm is in-context learning? Investigations with linear models
Google Research（谷歌研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Stanford University（斯坦福大学）
探究transformers上下文学习机制，提出并验证其隐式实现标准学习算法的假设，证明其能通过梯度下降、岭回归等算法构建预测器，并在算法层面具备可理解性。
2023-05-17 cs.CL cs.LG
Temporal Smoothness Regularisers for Neural Link Predictors
University of California, Los Angeles（加州大学洛杉矶分校）；Cornell University（康奈尔大学）
本文提出了一种基于时间平滑正则化器的神经链接预测方法，在三个数据集上实现了更准确的结果。
2024-11-05 cs.LG
Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Davis（加州大学戴维斯分校）；University of Rochester（罗切斯特大学）
带线性预测的正则化经验风险最小化问题是机器学习中经常出现的问题。在本文中，我们提出了一个新的随机原始-对偶方法来解决这类问题。与现有的方法不同，我们提出的方法在每次迭代中只需要O（1）操作。我们还开发了一个方差减少变量的算法，线性收敛。数值实验表明，我们的方法比现有的，如近端SGD，SVRG和SAGA高维问题的速度。
2018-11-03 cs.LG math.OC
