Multiple Imputation via Generative Adversarial Network for High-dimensional Blockwise Missing Value Problems
University of Pennsylvania(宾夕法尼亚大学)
缺失数据存在于大多数现实问题中,需要仔细处理以保持下游分析中的预测准确性和统计一致性。多重填补方法作为处理缺失数据的金标准,被提出来考虑填补的不确定性,并提供适当的统计推断。在这项工作中,我们提出了通过生成对抗网络(MI-GAN)的多重插补,这是一种基于深度学习(具体来说,基于GAN)的多重插补方法,可以在具有理论支持的随机缺失(MAR)机制下工作。MI-GAN利用了条件生成对抗神经工程的最新进展,并在插补误差方面显示出与高维数据集上现有最先进插补方法相匹配的强大性能。特别是,MI-GAN在统计推断和计算速度方面明显优于其他插补方法。
2021-12-21 cs.LG stat.AP
DPGAN: A Dual-Path Generative Adversarial Network for Missing Data Imputation in Graphs
Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学);Kyushu University(九州大学);University of Alberta(阿尔伯塔大学);University of Tokyo(东京大学)
提出DPGAN双路径生成对抗网络框架,通过全局与局部表示及局部子图判别器,有效解决图数据缺失填补中的过平滑问题。
2024-04-26 cs.LG
HexaGAN: Generative Adversarial Nets for Real World Classification
Seoul National University(首尔大学);Institute of Engineering Research, Seoul National University(首尔大学工程研究所)
大多数深度学习分类研究都假设数据是干净的。然而,在处理真实世界的数据时,我们会遇到三个问题,例如1)缺失数据,2)类不平衡,3)缺失标签问题。这些问题破坏了分类器的性能。已经提出了各种预处理技术来缓解这些问题之一,但还没有提出一个算法,假设和解决所有三个问题。在本文中,我们提出了HexaGAN,这是一个生成对抗网络框架,对所有三个问题都表现出了很好的分类性能。我们从单一角度解读这三个问题,共同解决。为了实现这一点,该框架由六个相互作用的组件组成。我们还设计了新的损失函数对应的架构。所设计的损失函数使我们能够实现最先进的插补性能,最多可提高14%,并生成高质量的类条件数据。我们评估了所提出的方法的分类性能(F1分数)与20%的缺失,并确认了5%的改进与国家的最先进的方法的组合的性能相比。
2019-05-27 cs.LG stat.ML
Time-series Imputation and Prediction with Bi-Directional Generative Adversarial Networks
University of Delaware(特拉华大学)
多变量时间序列数据被用于许多分类和回归预测任务,并且递归模型已被广泛用于此类任务。大多数常见的递归模型假设时间序列数据元素是等长的,并且按规则的间隔记录有序的观测值。然而,真实世界的时间序列数据既没有类似的长度,也没有相同数量的观测值。它们也有缺失的条目,这阻碍了预测任务的执行。在本文中,我们通过提出一个模型来处理这些问题,该模型用于对不规则观测和长度变化的缺失条目时间序列数据进行插补和预测。我们提出的模型(Bi-GAN)在生成对抗环境中使用双向递归网络。生成器是一个双向递归网络,它接收实际的不完整数据并估算缺失值。计数器试图区分发生器输出中的实际值和估算值。我们的模型学习如何在输入时间步之间(插补)或输入时间步之外(预测)估算缺失的元素,因此可以作为时间序列数据的有效预测工具。与现有的方法相比,该方法具有三个优点:(a)单一模型可同时用于插补和预测任务;(b)可对具有缺失数据的变长度时间序列进行预测任务;(c)在训练期间不需要知道观察和预测时间窗,这为长期和短期预测提供了灵活的预测窗长度。我们在两个公共数据集和另一个大型真实世界电子健康记录数据集上评估了我们的模型,以估算和预测儿童的体重指数(BMI)值,并在这两种情况下显示出其优越的性能。
2020-09-18 cs.LG stat.ML
Missing MRI Pulse Sequence Synthesis using Multi-Modal Generative Adversarial Network
Simon Fraser University(西蒙弗雷泽大学)
磁共振成像(MRI)越来越多地用于评估,诊断和计划各种疾病的治疗。在单次扫描中以MR脉冲序列的形式以不同对比度可视化组织的能力为医生提供了有价值的见解,并使自动化系统能够执行下游分析。然而,诸如禁止扫描时间、图像损坏、不同采集协议或对某些造影材料过敏的许多问题可能阻碍为患者采集多个序列的过程。这对医生和自动化系统都提出了挑战,因为缺失序列提供的补充信息丢失了。在本文中,我们提出了一种生成对抗网络(GAN)的变体,能够利用多个可用序列中包含的冗余信息,以便为患者扫描生成一个或多个缺失序列。所提出的网络被设计为一个多输入,多输出网络,它结合了所有可用的脉冲序列的信息,隐式推断哪些序列丢失,并在一个单一的前向传递合成丢失的。我们证明和验证我们的方法在两个脑MRI数据集,每个数据集有四个序列,并显示所提出的方法的适用性,同时合成所有丢失的序列在任何可能的情况下,其中一个,两个或三个四个序列可能会丢失。我们比较我们的方法与竞争的单峰和多峰的方法,并表明,我们优于定量和定性。
2019-10-02 cs.AI cs.CV cs.LG
Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations
University of Notre Dame(圣母大学);Lawrence Livermore National Laboratories(劳伦斯利弗莫尔国家实验室)
缺失数据的插补是一项在许多工程和科学应用中起着至关重要作用的任务。这种缺失的数据通常出现在实验观测中,原因是传感器的限制或后处理转换误差。其他时候,它们来自于计算机模拟中的数值和算法约束。风暴潮的数值模拟就是其中的一个实例,也是本文的应用重点。模拟数据对应于感兴趣的地理域内的多个保存点上的时间序列浪涌预测,从而产生时空插补问题,其中浪涌点在空间和时间上高度相关,并且缺失值区域在结构上随机分布。最近,诸如神经网络方法的机器学习技术已经被开发并用于缺失数据填补任务。生成对抗网络(GANs)和基于GAN的技术作为无监督机器学习方法特别受到关注。在这项研究中,通过应用卷积神经网络而不是完全连接的层来更好地捕获数据的相关性并促进从相邻浪涌点的学习,从而提高了生成对抗性填补网络(GAIN)的性能。对研究数据特别需要的方法的另一个调整是将点的坐标视为附加特征,以通过卷积层为模型提供更多信息。我们将我们提出的方法命名为卷积生成对抗性填补网络(Conv-GAIN)。通过考虑风暴潮数据所需的改进和适应,评估所提出的方法的性能,并与原始GAIN和其他一些技术进行比较。结果表明,Conv-GAIN具有更好的性能比替代方法的研究数据。
2021-11-26 cs.AI cs.CE cs.LG
Adjustment Criteria for Recovering Causal Effects from Missing Data
Iowa State University(爱荷华州立大学)
混淆偏差、缺失数据和选择偏差是数据科学中有效因果推理的三个常见障碍。协变量调整是从混杂偏倚中恢复因果效应的最普遍的技术。在本文中,我们引入了一个协变量调整公式,用于控制混杂偏倚的缺失非随机数据的存在,并开发了一个必要和充分条件,恢复因果效应使用调整。我们还介绍了一个调整配方控制混杂和选择偏差的缺失数据的存在,并制定了有效的调整的充分必要条件。此外,我们提出了一个算法,列出所有有效的调整集和算法,找到一个有效的调整集包含最小数量的变量,这是有用的研究人员有兴趣选择调整集所需的属性。
2019-09-15 cs.LG stat.ML
Synthesizing Missing MRI Sequences from Available Modalities using Generative Adversarial Networks in BraTS Dataset
本文利用生成对抗网络(GAN)从任意三种可用MRI序列合成缺失的第四种序列,以解决BraTS数据集中MRI序列不完整的问题,并集成到GaNDLF框架中,提升诊断能力。
2023-11-15 cs.CV cs.LG eess.IV
Generating unrepresented proportions of geological facies using Generative Adversarial Networks
Heriot-Watt University(赫瑞-瓦特大学);TotalEnergies(道达尔能源);SSE plc(南苏格兰电力公司)
在这项工作中,我们研究了生成对抗网络(GANs)在地质数据集中内插和外推相比例的能力。新生成的实现与unrepresented(又名。缺失)比例被假定属于相同的原始数据分布。具体来说,我们设计了一个条件GANs模型,它可以将生成的相驱动到训练集中没有发现的新比例。所提出的研究包括各种培训设置和模型架构的调查。此外,我们设计了新的调理程序,以改进缺失样本的生成。在二元和多相图像上的数值实验显示出良好的地质一致性以及与目标条件的强相关性。
2022-03-17 cs.LG
Generative Adversarial Networks
Université de Montréal(蒙特利尔大学);Indian Institute of Technology Delhi(德里印度理工学院);Ecole Polytechnique(巴黎综合理工学院)
我们提出了一个通过对抗过程来估计生成模型的新框架,在这个框架中,我们同时训练两个模型:一个是捕获数据分布的生成模型G,另一个是估计样本来自训练数据而不是G的概率的判别模型D。G的训练过程是最大化D犯错误的概率。这个框架对应于一个极大极小两人博弈。在任意函数G和D的空间中,存在唯一解,其中G恢复训练数据分布,并且D处处等于1/2。在G和D由多层感知器定义的情况下,整个系统可以用反向传播来训练。在样本的训练或生成期间,不需要任何马尔可夫链或展开的近似推理网络。实验表明,通过生成的样本的定性和定量评价的框架的潜力。
2014-06-10 cs.LG stat.ML
Improving Missing Data Imputation with Deep Generative Models
University of Luxembourg(卢森堡大学)
缺失值的数据集在行业应用中非常常见,它们可能对机器学习模型产生负面影响。最近的研究介绍了基于深度生成模型的缺失值估算问题的解决方案。以前使用生成对抗网络和变分自编码器的实验在这个领域显示了有趣的结果,但目前还不清楚哪种方法更适合不同的用例。这项工作的目标是双重的:我们提出了基于深度生成模型的缺失数据填补解决方案之间的比较,并提出了对这些方法的改进。我们使用具有不同特征的已知现实生活数据集运行我们的实验,随机删除值并使用几种插补技术重建它们。我们的研究结果表明,分类变量的存在或不存在可以改变最佳模型的选择,并且在使用不同的随机数生成器种子进行类似运行后,某些模型比其他模型更稳定。
2019-02-27 cs.LG stat.ML
Conditional Progressive Generative Adversarial Network for satellite image generation
CERN(欧洲核子研究组织);United Nations Satellite Centre (UNOSAT)(联合国卫星中心)
由于机器学习算法能够真实地替换丢失的像素,图像生成和图像完成是快速发展的领域。然而,生成具有大量细节的大的高分辨率图像提出了重要的计算挑战。在这项工作中,我们制定的图像生成任务完成的三个角之一是失踪的图像。然后,我们扩展了这种方法,以迭代方式构建具有相同细节水平的更大图像。我们的目标是获得一个可扩展的方法来生成高分辨率的样本通常在卫星图像数据集。我们引入了一个条件渐进生成对抗网络(GAN),它使用Wasserstein自动编码器在潜在向量中编码的三个初始相邻瓦片作为输入,生成图像中丢失的瓦片。我们专注于一组图像使用的联合国卫星中心(联合国组织卫星)的训练洪水探测工具,并验证合成图像的质量在现实的设置。
2022-11-28 cs.CV cs.LG
FragmGAN: Generative Adversarial Nets for Fragmentary Data Imputation and Prediction
East China Normal University(华东师范大学)
现代科学研究和应用中经常会遇到“碎片数据”,这给估算和预测带来了很大的挑战。通过利用响应模式的结构,我们提出了一个统一的和灵活的框架,基于生成对抗网(GAN),同时处理碎片数据填补和标签预测。与大多数其他基于生成模型的插补方法不同,这些方法要么没有理论保证,要么只考虑随机缺失(MCAR),所提出的FragmGAN具有理论保证,可以用随机缺失(MAR)数据进行插补,而不需要提示机制。FragmGAN同时使用生成器和预测器训练预测器。在大量的实验中,这种联动机制显示出显着的优势,预测性能。
2022-03-09 cs.AI cs.LG
Recovering Quantized Data with Missing Information Using Bilinear Factorization and Augmented Lagrangian Method
Sharif University of Technology(谢里夫理工大学)
在本文中,我们提出了一种新的方法,以恢复一个量化的矩阵与丢失的信息。我们提出了一个正则化的凸成本函数组成的对数似然项和跟踪范数项。采用双因子分解法和增广拉格朗日方法(ALM)来寻找代价函数的全局极小值,以恢复真实数据。我们提供了我们提出的算法的数学收敛性分析。在数值实验部分中,我们展示了我们的方法在精度上的优越性,以及与最先进的文献方法相比在计算复杂度上的鲁棒性。
2018-10-07 cs.LG stat.ML
Networked Time Series Prediction with Incomplete Data via Generative Adversarial Network
Shanghai Jiao Tong University(上海交通大学);Zhejiang Lab(之江实验室);Alibaba Damo Academy(阿里巴巴达摩院);Communication University of China(中国传媒大学)
针对网络化时间序列在数据缺失下的预测问题,提出深度学习框架NETS-ImpGAN,结合Graph Temporal Attention Networks捕捉时空相关性,在四个真实数据集上使MAE最高降低25%。
2023-11-23 cs.LG
Magnetic Field Prediction Using Generative Adversarial Networks
Technical University of Denmark(丹麦技术大学)
许多科学和现实世界的应用都建立在磁场及其特性的基础上。为了以高分辨率检索有价值的磁场信息,需要进行大量的场测量,这要么是耗时的,要么由于物理约束甚至是不可行的。为了缓解这个问题,我们预测磁场值在空间中的一个随机点从几个点的测量,通过使用生成对抗网络(GAN)结构。深度学习(DL)架构由两个神经网络组成:一个生成器,用于预测给定磁场的漏场值;一个评判器,用于计算实际磁场分布和生成磁场分布之间的统计距离。通过最小化该统计距离、重建损失以及物理损失,我们训练的生成器已经学会预测丢失的场值,当场点的单个相干区域丢失时,中值重建测试误差为5.14%,当空间中只有几个点测量可用并且预测周围的场测量时,中值重建测试误差为5.86%。我们验证了实验验证的字段上的结果。
2022-03-14 cs.LG physics.comp-ph
Deblending galaxy superpositions with branched generative adversarial networks
University of California Santa Cruz(加州大学圣克鲁兹分校)
在不久的将来,大型星系巡天将在宇宙的密集区域遇到高达50%的混合星系图像。目前的去混合技术可能会分割前景星系,而在背景星系通量中留下缺失的像素强度。这个问题是复杂的扩散性质的星系在其外部区域,使分割显着更困难,比传统的对象分割应用程序。我们提出了一种新的分支生成对抗网络(GAN)去融合重叠星系,其中两个分支产生两个融合星系的图像。我们表明,生成模型是一个强大的引擎去混合给定的先天能力,填充缺失的像素值被遮挡的叠加。我们在去混合后相对于地面真实图像保持高峰值信噪比和结构相似性分数。我们的模型还几乎即时地进行预测,使其成为LSST,Euclid和WFIRST等大型调查即将创建的大量数据的自然选择。
2019-03-08 astro-ph.GA astro-ph.IM cs.LG
CollaGAN : Collaborative GAN for Missing Image Data Imputation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Konkuk University Medical Center(建国大学医学中心)
在许多需要多个输入以获得所需输出的应用中,如果任何输入数据丢失,则通常会引入大量偏差。虽然已经开发了许多技术来填补缺失数据,但由于自然图像的复杂性,图像填补仍然是困难的。为了解决这个问题,在这里,我们提出了一个新的框架,丢失的图像数据填补,称为协作生成对抗网络(CollaGAN)。CollaGAN将图像填充问题转换为多域图像到图像的转换任务,以便单个生成器和RNN网络可以使用剩余的干净数据集成功地估计丢失的数据。我们证明了CollaGAN在各种图像填充任务中产生的图像具有更高的视觉质量,与现有的竞争方法相比。
2019-04-29 cs.CV cs.LG stat.ML
Provable Guarantees for Sparsity Recovery with Deterministic Missing Data Patterns
Purdue University(普渡大学)
我们研究的问题,一贯恢复的稀疏模式的回归参数向量的相关观测确定性缺失的数据模式使用Lasso。我们考虑的情况下,观察到的数据集是由一个确定性的,非均匀的过滤器。在具有确定性缺失结构的数据集中恢复稀疏模式可以说比在均匀随机场景中恢复更具挑战性。本文利用审查过滤器的拓扑性质,提出了一种有效的缺失值填补算法。然后,我们提供了新的理论结果的稀疏模式的精确恢复使用建议的插补策略。我们的分析表明,在一定的统计和拓扑条件下,可以在多项式时间和对数样本复杂度内以高概率一致地恢复隐藏的稀疏模式。
2022-06-10 cs.LG stat.ML
Extended Missing Data Imputation via GANs for Ranking Applications
Cornell University(康奈尔大学);Amazon(亚马逊)
我们提出了条件填补GAN,一种基于生成对抗网络(GANs)的扩展缺失数据填补方法。激励用例是学习排名,现代搜索,推荐系统和信息检索应用程序的基石。经验排序数据集并不总是遵循标准高斯分布或完全随机缺失(MCAR)机制,这是经典缺失数据插补方法的标准假设。我们的方法提供了一个简单的解决方案,提供兼容的插补保证,同时放松假设缺失的机制和回避近似棘手的分布,以提高插补质量。我们证明了最佳的GAN填补实现扩展随机缺失(EMAR)和扩展总是随机缺失(EAMAR)机制,超越了天真的MCAR。我们的方法在开源Microsoft Research Ranking(MSR)数据集和合成排名数据集上展示了最高的插补质量,与最先进的基准和各种特征分布相比。使用专有的Amazon Search排名数据集,我们还展示了与地面实况数据相比,在GAN估算数据上训练的排名模型的可比排名质量指标。
2021-11-10 cs.LG stat.AP stat.ML
Propagating the prior from far to near offset: A self-supervised diffusion framework for progressively recovering near-offsets of towed-streamer data
Division of Physical Science and Engineering(物理科学与工程系);King Abdullah University of Science and Technology(国王阿卜杜勒·阿齐兹大学科学与技术学院)
本文提出一种自监督扩散框架,通过递归外推从远到近恢复拖曳线阵数据的近偏移轨迹,无需地面真实数据,提升地震数据处理效果。
2026-02-02 cs.LG physics.geo-ph
Multi-view Generative Adversarial Networks
Sorbonne Universités, UPMC Univ Paris 06(索邦大学,巴黎第六大学(UPMC))
多视图数据学习是一个具有很强实际应用价值的挑战性问题。大多数相关的研究集中在分类的角度来看,并假设所有的意见是在任何时候都可用。我们认为这个框架在两个方向的扩展。首先,基于BiGAN模型,多视图BiGAN(MV-BiGAN)能够从多视图输入执行密度估计。其次,它可以处理丢失的视图,并能够在提供额外视图时更新其预测。我们说明了这些属性的一组实验在不同的数据集。
2019-04-17 cs.LG
Deep convolutional generative adversarial networks for traffic data imputation encoding time series as images
Iowa State University(爱荷华州立大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本研究提出基于GAN的TSDIGAN框架,结合新颖的GASF时间依赖编码方法将交通时序数据转化为图像生成问题,在PeMS基准数据集上显著提升了高缺失率(>50%)下的数据插补精度。
2020-05-05 cs.LG eess.SP
G-IDS: Generative Adversarial Networks Assisted Intrusion Detection System
Florida International University(佛罗里达国际大学)
网络物理系统(CPS)和物联网(IoT)的边界正在日益融合,以在混合系统上引入通用平台。此外,人工智能(AI)与CPS的结合创造了技术进步的新维度。所有这些连接性和可靠性都为攻击者发动网络攻击创造了巨大的空间。为了抵御这些攻击,入侵检测系统(IDS)得到了广泛的应用。然而,新兴的CPS技术遭受不平衡和缺失的样本数据,这使得入侵检测系统的训练困难。在本文中,我们提出了一个生成对抗网络(GAN)的入侵检测系统(G-IDS),其中GAN生成合成样本,和IDS得到训练,他们与原始的。G-IDS还解决了不平衡或丢失数据的问题。我们使用NSL KDD-99数据集为一个新兴的CPS网络安全数据集建模,并使用不同的指标评估我们提出的模型的性能。我们发现,我们提出的G-IDS模型在训练过程中的攻击检测和模型稳定性比一个独立的IDS更好。
2020-06-01 cs.CR cs.LG
Generative Trees: Adversarial and Copycat
Google Research(谷歌研究院)
虽然生成对抗网络(GANs)在图像等非结构化数据上取得了惊人的结果,但在表格数据上仍然存在差距,最先进的监督学习仍然在很大程度上支持基于决策树(DT)的模型。本文提出了一种新的生成表格数据的方法,利用几十年来对DT归纳的监督任务最佳组件的理解,从损失(正确性),模型(基于树)到算法(提升)。监督损失的\textit{properness}条件-假设贝叶斯规则的最优性-使我们得到一个变分GAN风格的损失公式,当鉴别器满足DT平凡满足的校准属性时,它是\textit{tight},并且在关于监督损失的常见假设下,生成器:$χ^2$产生“一个损失,以训练对抗所有人”。然后,我们介绍了基于树的生成模型,\textit{generative trees}(GT),这意味着在生成方面反映了DT用于分类表格数据的良好特性,并为GT提供了一个增强兼容的\textit{adversarial}训练算法。我们还介绍了\textit{copycat training},其中生成器在运行时复制的底层树(图)的CDRDT和完成它的最难的判别任务,提高兼容的收敛。我们在任务上测试了我们的算法,包括假/真区分,假数据训练和缺失数据填补。这些任务中的每一个都表明,GT可以提供相对简单的-和可解释的-竞争者,以先进的数据生成方法(使用神经网络模型)或缺失数据填补(依赖于多重填补链式方程与复杂的基于树的建模)。
2022-02-11 cs.LG
Missing Data Imputation using Neural Cellular Automata
University of Science(科学大学);University of Banking(银行大学)
本文提出一种受神经细胞自动机启发的缺失数据填补方法,通过适当调整使NCA模型适用于表格数据填补,实验证明其在填补误差和后续性能上优于现有最先进方法。
2025-09-06 cs.LG
Impugan: Learning Conditional Generative Models for Robust Data Imputation
Computer Science(计算机科学);The University of Texas at El Paso(德克萨斯理工大学)
Impugan通过条件生成对抗网络实现鲁棒的数据填补与异质数据集整合,有效处理复杂数据中的缺失值问题。
2025-12-05 cs.AI cs.LG
kNNSampler: Stochastic Imputations for Recovering Missing Value Distributions
SAP Labs France(SAP法国实验室);EURECOM
kNNSampler通过随机采样最相似单元的观测响应来填补缺失值,能够估计缺失值的条件分布并用于多重填补。
2025-12-02 cs.LG math.ST stat.ME
Recovering Localized Adversarial Attacks
Bielefeld University(比勒费尔德大学);Honda Research Institue Europe(本田欧洲研究院)
近年来,深度卷积神经网络取得了巨大的成功,特别是在计算机视觉领域。它们快速、方便,而且--由于成熟的框架--相对容易实现和部署。然而,他们的推理隐藏在一个黑盒子里,尽管有许多建议的方法试图为神经网络的预测提供人类可以理解的解释。这仍然是一个争论的问题,这些解释者是最适合的情况下,以及如何定量评估和比较。在这篇文章中,我们关注的是在极端情况下卷积深度神经网络的解释器的能力:在这种情况下,人类和网络从根本上不同意。深度神经网络容易受到对抗攻击的影响,这些攻击会故意修改输入样本以误导神经网络的分类,而不会影响人类观察者如何解释输入。我们的目标是通过调查他们是否可以识别图像的adversarially攻击区域来评估解释者。特别是,我们定量和定性调查的能力,三个流行的分类解释-经典的显着性,引导反向传播,石灰-相对于他们的能力,以确定攻击区域的解释区域的(不正确的)预测在代表性的例子从图像分类。我们发现LIME优于其他解释器。
2019-10-21 cs.LG stat.ML
GANravel: User-Driven Direction Disentanglement in Generative Adversarial Networks
UCLA(加州大学洛杉矶分校)
生成对抗网络(GANs)有许多应用领域,包括图像编辑,域翻译,缺失数据填补和支持创造性工作。然而,GANs被认为是"黑匣子"。具体来说,最终用户几乎无法控制如何通过解纠缠来改进编辑方向。先前的工作集中在新的GAN架构上,以理清编辑方向。或者,我们提出GANravel用户驱动的方向解开工具,补充现有的GAN架构,并允许用户迭代地改进编辑方向。在两项各有16名参与者的用户研究中,GANravel用户能够解开方向,并且在解开性能方面优于最先进的方向发现基线。在第二项用户研究中,GANravel被用于创建狗模因的创造性任务,并能够创建高质量的编辑图像和GIF。
2023-01-31 cs.HC cs.LG
Sinogram Enhancement with Generative Adversarial Networks using Shape Priors
University of Southampton(南安普顿大学)
通过从计算模型中推断测量值来补偿稀缺的测量值是解决不适定逆问题的一种方法。我们通过使用生成模型和有关扫描对象的先验知识完成一组采集来解决有限角度断层扫描。使用生成对抗网络作为模型,计算机辅助设计数据作为形状先验,我们证明了我们的技术比其他最先进的方法具有定量和定性的优势。推断大量的连续缺失测量,我们提供了一种替代其他图像修复技术,未能提供一个令人满意的答案,我们的研究问题:可以减少X射线曝光使用生成模型来推断缺乏测量?
2022-02-01 cs.CV cs.LG eess.IV
Adversarial Training for Disease Prediction from Electronic Health Records with Missing Data
Seoul National University(首尔国立大学);Samsung Electronics Co. Ltd.(三星电子有限公司);Seoul National University College of Medicine(首尔国立大学医学院)
电子健康记录(EHR)有助于患者记录的计算机化,因此不仅可用于高效和系统的医疗服务,还可用于生物医学数据科学的研究。然而,当以矩阵形式提供时,在EHR中存在许多缺失值,这在许多生物医学EHR应用中是一个重要问题。在本文中,我们提出了一个两阶段的框架,包括缺失数据填补和疾病预测,以解决缺失数据的问题,在电子健康档案。我们比较了生成对抗网络(GANs)和传统学习算法结合缺失数据预测方法的疾病预测性能。结果,我们获得了0.9777的准确性水平,0.9521的灵敏度,0.9925的特异性,0.9889的受试者工作特征曲线下的面积(AUC-ROC),和0.9688的F-分数与堆叠自动编码器作为缺失数据预测方法和辅助分类器GAN(AC-GAN)作为疾病预测方法。比较结果表明,堆叠式自动编码器和AC-GAN的组合显著优于其他现有方法。我们的研究结果表明,所提出的框架是更强大的疾病预测与缺失数据的EHR。
2018-05-22 cs.LG stat.ML
Missing value imputation with adversarial random forests - MissARF
Leibniz Institute for Prevention Research & Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所 – BIPS);University of Bremen(不来梅大学);University of Copenhagen(哥本哈根大学)
本文提出基于对抗随机森林的缺失值填补方法MissARF,利用ARF进行密度估计与条件采样,同时支持单一和多重填补,实验表明其填补质量与最先进方法相当且运行快速、无额外多重填补成本。
2026-10-19 cs.AI cs.LG stat.ML
PC-GAIN: Pseudo-label Conditional Generative Adversarial Imputation Networks for Incomplete Data
Yantai University(烟台大学);East China Normal University(华东师范大学)
缺失值的数据集在现实世界的应用中非常常见。GAIN是最近提出的用于缺失数据填补的深度生成模型,已被证明优于许多最先进的方法。但GAIN算法只在生成器中使用一个重构损失来最小化非缺失部分的插补误差,忽略了潜在的能够反映样本之间关系的类别信息。在本文中,我们提出了一种新的无监督缺失数据填补方法命名为PC-GAIN,它利用潜在的类别信息,以进一步提高填补的权力。具体来说,我们首先提出了一个预训练过程来学习包含在低缺失率数据子集中的潜在类别信息。然后使用合成伪标签确定辅助分类器。此外,该分类器被纳入生成对抗框架,以帮助生成器产生更高质量的插补结果。该方法可以显著提高GAIN算法的插补质量。在各种基准数据集上的实验结果表明,我们的方法也优于其他基线方法。我们的代码可在\url{https://github.com/WYu-Feng/pc-gain}上获得。
2021-04-06 cs.LG stat.ML
Recovering Missing Node Features with Local Structure-based Embeddings
King Juan Carlos University(胡安·卡洛斯国王大学);Rice University(莱斯大学)
本文提出一种利用图自编码器学习保留局部拓扑结构的节点嵌入,并据此聚合相似节点特征以恢复完全缺失节点属性的框架,实验验证了其在图分类中的有效性。
2023-09-16 cs.LG eess.SP
Missing Data Imputation with Adversarially-trained Graph Convolutional Networks
Sapienza University of Rome(罗马第一大学)
缺失数据填补(MDI)是许多科学学科中的一个基本问题。MDI的流行方法使用从整个数据集计算的全局统计数据(例如,特征方面的中位数),或者构建在每个实例上独立操作的预测模型。在本文中,我们利用图神经网络(GNN)领域的最新工作,提出了一个更通用的MDI框架。我们用图去噪自动编码器来制定MDI任务,其中图的每个边缘编码两个模式之间的相似性。GNN编码器通过交织经典投影层和局部组合邻居之间的信息来学习为每个示例构建中间表示,而另一个解码GNN学习从该中间嵌入重建完整的估算数据集。为了加快训练速度和提高性能,我们使用了多种损失的组合,包括使用Wasserstein度量和梯度惩罚实现的对抗性损失。我们还探讨了一些扩展的基本架构,涉及使用层之间的残留连接,并从数据集计算的全球统计数据,以提高准确性。在一个大型的实验评估,我们表明,我们的方法稳健地优于国家的最先进的方法MDI,特别是对于大比例的缺失值。
2020-06-24 cs.LG stat.ML
GSVD-NMF: Recovering Missing Features in Non-negative Matrix Factorization
Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出GSVD-NMF,利用GSVD从欠完备NMF结果中增量恢复缺失成分,实验表明其能达到更优局部最优且比重新运行NMF更高效。
2025-01-08 cs.LG eess.SP
Exploiting Missing Data Remediation Strategies using Adversarial Missingness Attacks
Google LLC(谷歌公司)
针对现有对抗性缺失(AM)攻击仅适用于全信息最大似然方法的局限,提出通过双层优化设计对抗性缺失机制,弥补该局限,在真实数据上验证了对多种缺失补救技术的攻击效果,可操纵ATE且在限制条件下仍有效。
2025-11-17 cs.LG
BERT-PIN: A BERT-based Framework for Recovering Missing Data Segments in Time-series Load Profiles
North Carolina State University(北卡罗来纳州立大学)
本文提出BERT-PIN,将负荷与温度曲线分段视为词句,利用BERT框架和候选顶部选择机制恢复多个缺失数据段,在需求响应基线估计等任务中优于现有方法,并可作为预训练模型微调用于分类和超分辨率等下游任务。
2023-10-26 cs.LG eess.AS eess.SP
Composing RNNs and FSTs for Small Data: Recovering Missing Characters in Old Hawaiian Text
Jesus College(耶稣学院);University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
与19世纪的旧书写系统不同,现代夏威夷语的正字法使用字符来表示长元音和声门塞音。这些额外的字符约占夏威夷语音素的三分之一,因此包括它们对阅读理解和发音有很大的影响。然而,在手动执行时,新旧文本之间的音译是一项费力的任务。我们介绍了两种相关的方法来帮助自动解决这个音译问题,因为没有足够的数据来训练端到端的深度学习模型。一种方法是使用有限状态传感器(FST)端到端地实现的。另一种是混合深度学习方法,该方法近似地将FST与递归神经网络(RNN)组成。我们发现,混合方法通过将原始问题划分为一个可以使用FST手动建模的部分和另一个可以通过在可用数据上训练的RNN轻松解决的部分,从而优于端到端FST。
2022-07-24 cs.CL cs.LG
Machine Learning for Prediction with Missing Dynamics
The Pennsylvania State University(宾夕法尼亚州立大学);Purdue University(普渡大学);National University of Singapore(新加坡国立大学)
本文提出了一个通用的框架,使用现有的数据和机器学习技术来恢复丢失的动力系统。所提出的框架重新制定的预测问题作为一个监督学习问题,以近似的地图,需要解决和可识别的未解决的变量的记忆中的解决动态的缺失组件。我们证明了所提出的框架的有效性与理论保证的路径收敛的解决变量有限的时间和在不同的科学领域的原型模型的数值测试。这些模型包括模拟大气中阻塞和非阻塞模式的57模正压应力多尺度相互作用模型,在光学和玻色-爱因斯坦凝聚等物理学中有许多应用的非线性薛定谔方程,时空混沌模式形成模型的Kuramoto-Sivashinsky方程,以及反应扩散系统中的相动力学。虽然许多机器学习技术可以用来验证所提出的框架,但我们发现,递归神经网络在恢复解析分量的轨迹以及平衡一点和两点统计方面优于核回归方法。这种出色的性能表明,递归神经网络是恢复涉及高维函数近似的丢失动态的有效工具。
2020-07-08 cs.LG cs.NA math.DS
Addressing Missing Sources with Adversarial Support-Matching
University of Sussex(萨塞克斯大学);BCAM Severo Ochoa Strategic Lab on Trustworthy Machine Learning(BCAM塞韦罗·奥乔亚可信机器学习战略实验室)
当在不同的标记数据上训练时,机器学习模型已经证明自己是社会各个方面的强大工具。然而,由于预算限制,故意或非故意的审查以及数据收集和管理过程中的其他问题,标记的训练集可能会表现出某些群体的数据系统性短缺。我们调查的情况下,某些数据的情况下,链接到数据的两级层次结构的第二级。受算法公平性保护组的想法的启发,我们将第二层划分的分区称为“子组”;我们将子组和类的组合或层次结构的叶子称为“源”。为了刻画这个问题,我们引入了具有不完全子群支持的类的概念。训练集中的代表性偏差会导致类和子组之间的虚假相关性,从而使标准分类模型无法推广到看不见的源。为了克服这种偏见,我们使用了一个额外的,多样化的,但未标记的数据集,称为“部署集”,学习一个表示,是不变的子组。这是通过在表示空间中反向匹配训练集和部署集的支持来完成的。为了学习所需的不变性,最重要的是,由训练器观察到的样本集按类平衡;这对于训练集很容易实现,但需要对部署集使用半监督聚类。我们证明了我们的方法的有效性与实验上的几个数据集和变种的问题。
2022-03-24 cs.LG stat.ML
ClueGAIN: Application of Transfer Learning On Generative Adversarial Imputation Nets (GAIN)
许多研究试图使用各种方法来解决缺失数据的问题。其中,生成对抗插补网络(GAIN)首次被用于生成对抗网络(GAN)的数据插补,并取得了良好的效果。随后的研究试图结合各种方法来解决其局限性。本研究首先提出了基于遗传算法的GAIN算法,将迁移学习引入GAIN算法,解决了在高缺失率数据集下插补性能差的问题。ClueGAIN还可用于测量数据集之间的相似性,以探索它们的潜在联系。
2023-02-06 cs.LG
Categorical EHR Imputation with Generative Adversarial Nets
Siemens AG(西门子股份公司);Ludwig-Maximilians University of Munich(慕尼黑路德维希-马克西米利安大学);University Clinics Erlangen(埃尔朗根大学诊所)
电子健康记录经常遭受数据丢失,这在临床实践和临床研究中构成了一个主要问题。生成对抗网络(GANs)是一种处理丢失数据的新方法,它在图像生成和变换方面引起了巨大的研究兴趣。最近,研究人员试图将GANs应用于EHR数据的缺失数据生成和插补:这里的一个主要挑战是数据的分类性质。基于GAN的分类数据生成的最新解决方案涉及强化学习,或者学习分类和真实潜在特征空间之间的双向映射,因此GANs只需要生成实值特征。然而,这些方法被设计成生成完整的特征向量,而不是仅输入缺失特征的子集。在本文中,我们提出了一种简单而有效的方法,该方法基于以前在GANs上进行数据填补的工作。我们首先通过讨论对抗训练在分类特征的情况下经常失败的原因来激励我们的解决方案。然后,我们推导出一种新的方法来重新编码分类特征,以稳定对抗训练。基于两个真实世界的EHR数据与多个设置的实验,我们表明,我们的插补方法大大提高了预测精度,相比更传统的数据插补方法。
2021-08-05 cs.LG
Federated Latent Factor Learning for Recovering Wireless Sensor Networks Signal with Privacy-Preserving
College of Computer and Information Science(计算机与信息科学学院);Southwest University(西南大学);School of Engineering(工程学院);University of Western Australia(西澳大学);College of Food Science(食品科学学院);Chongqing True Flavor Food Co LTD(重庆真味食品有限公司)
针对无线传感器网络数据缺失且隐私保护不足的问题,提出联邦潜在因子学习模型FLFL-SSR,通过传感器级联邦学习和局部空间共享策略,在保护隐私的同时提升信号恢复精度。
2025-04-22 cs.LG
Image Inpainting Using Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague(布拉格捷克理工大学)
图像修补是计算机视觉的重要研究内容之一,其核心是图像中缺失区域的重建。提出了一种基于Wasserstein生成对抗填补网络的图像修补模型。模型的生成器网络使用具有不同膨胀率的卷积层构建块,以及帮助模型再现输出细节的跳过连接。这种组合产生了一个通用的插补模型,能够以足够的质量处理各种缺失情况。为了通过实验证明这一点,该模型同时被训练来处理随机丢失像素、丢失各种较小的正方形区域以及图像中心丢失一个正方形的三种情况。事实证明,我们的模型在所有场景下都能获得高质量的修复结果。使用峰值信噪比和结构相似性指数对两个真实世界的基准数据集,CelebA面孔和巴黎街景的性能进行评估。我们的模型的结果进行了比较,双谐波填补和其他一些国家的最先进的图像修补方法。
2021-06-23 cs.CV cs.LG eess.IV
Multiple Organ Failure Prediction with Classifier-Guided Generative Adversarial Imputation Networks
University of California, Santa Barbara(加州大学圣巴巴拉分校);UC, Davis Health(加州大学戴维斯分校医疗中心)
多器官功能衰竭(MOF)是重症监护病房(ICU)患者中的一种严重综合征,死亡率高。早期和精确的检测对于临床医生及时做出决定至关重要。将机器学习模型应用于电子健康记录(EHR)的一个重要挑战是缺失值的普遍存在。大多数现有的插补方法都涉及数据预处理阶段,无法捕捉数据和下游预测结果之间的关系。在本文中,我们提出了用于MOF预测的分类器引导的生成对抗性填补网络Classifier-GAIN,通过结合观察数据和标签信息来弥合这一差距。具体而言,分类器从生成器(输入器)获取输入值以预测任务结果,并通过联合训练向生成器提供额外的监督信号。分类器引导生成器在训练过程中使用标签意识来填补缺失值,从而提高分类器在推理过程中的性能。我们进行了大量的实验,表明我们的方法在一系列缺失数据场景和评估指标中始终优于经典和最先进的神经基线。
2021-06-22 cs.AI cs.LG
Evaluating False Alarm and Missing Attacks in CAN IDS
Department of Applied Mathematics University of Colorado Boulder(应用数学系科罗拉多大学波德摩尔分校)
本文通过评估CAN IDS在对抗性攻击下的性能,揭示了其在误报和遗漏攻击方面的脆弱性,强调了对抗鲁棒性在安全关键汽车系统中的重要性。
2026-02-02 cs.AI cs.CR cs.LG
Robust Graph Clustering Network for Multiple Missing Data
Northeastern University(东北大学);Southeast University(东南大学)
针对图数据中节点属性与结构同时缺失的聚类难题,提出RGCN网络,通过视图解耦双分支插补、多超球面混合先验及边界感知对比增强,有效提升聚类性能。
2026-09-28 cs.LG
Adversarial Graph Fusion for Incomplete Multi-view Semi-supervised Learning with Tensorial Imputation
National University of Defense Technology(国防科技大学);Southeast University(东南大学);Shanxi University(山西大学)
针对不完整多视图半监督学习中的子簇问题,提出结合张量补全的对抗图融合方法AGF-TI,通过最小-最大框架、低秩张量学习及锚点策略提升分类性能,实验验证其优于现有最优方法。
2025-10-21 cs.LG
Dynamical Low-Rank Compression of Neural Networks with Robustness under Adversarial Attacks
Computer Science and Mathematics Division(计算机科学与数学 division);Geospatial Science and Human Security Division(地理科学与人类安全 division)
本文提出动态低秩训练与谱正则化方法,在实现94%以上压缩的同时保持或提升对抗鲁棒性,且支持秩自适应。
2025-09-23 cs.LG cs.NA math.NA
Imputation of missing sub-hourly precipitation data in a large sensor network: a machine learning approach
School of Computer Science, University of Lincoln(林肯大学计算机科学学院);UK Centre for Ecology and Hydrology(英国生态与水文中心);University of Aberdeen(阿伯丁大学)
以亚小时分辨率收集的降水数据在本质上很大程度上是随机的,并且在降雨与非降雨的持续时间上高度不平衡,因此对丢失的数据恢复提出了具体的挑战。在这里,我们提出了一个两步分析,利用当前的机器学习技术,通过将任务分解为(a)雨或非雨样本的分类,以及(b)回归预测雨样本的绝对值,来估算以30分钟为间隔采样的降水数据。通过调查英国的37个气象站,这种机器学习过程比利用邻近雨量计的既定表面拟合技术更准确地预测降水数据。通过增加机器学习算法训练的可用功能,将目标地点的天气数据与外部来源的雨量计集成,提高性能,从而提供最高性能。该方法通过利用同时收集的环境数据中的信息来通知机器学习模型,以准确预测丢失的降雨数据。从弱相关变量中捕获复杂的非线性关系对于以亚小时分辨率进行数据恢复至关重要。可以开发和部署用于数据恢复的这种管道,用于以高时间分辨率对正在进行的数据集中的缺失值进行高度自动化和接近瞬时的插补。
2020-05-02 cs.LG stat.AP stat.ML
Adversarial generalization of unfolding (model-based) networks
LAMSADE, Paris Dauphine - PSL Research University(巴黎Dauphine-PSL研究大学LAMSADE)
本文首次对展开网络在对抗攻击下的泛化能力进行理论分析,并通过实验验证了其对抗鲁棒性的提升方法。
2026-02-06 cs.LG
Missing-Class-Robust Domain Adaptation by Unilateral Alignment for Fault Diagnosis
ETH Zurich(苏黎世联邦理工学院)
领域自适应的目的是通过利用源领域中学习到的知识并将其转移到目标领域来提高模型性能。最近,域对抗方法在减轻源域和目标域之间的分布偏移方面特别成功。然而,这些方法假设两个域之间的标签空间相同。这种假设对实际应用施加了很大的限制,因为目标训练集可能不包含完整的类集。在本文中,我们证明了领域对抗方法的性能在训练过程中容易受到不完整的目标标签空间的影响。为了克服这个问题,我们提出了一个两阶段的单边对齐方法。所提出的方法利用源域的类间关系,并单方面将目标与源域对齐。所提出的方法的好处首先评估MNIST $\rightarrow$ MNIST-M适应任务。所提出的方法也进行了评估的故障诊断任务,在目标训练数据集的故障类型丢失的问题是在实践中常见的。两个实验都证明了所提出的方法的有效性。
2020-01-07 cs.LG eess.IV eess.SP