Conditional Feature Importance with Generative Modeling Using Adversarial Random Forests
Leibniz Institute for Prevention Research & Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所 – BIPS);Faculty of Mathematics and Computer Science, University of Bremen(不来梅大学数学与计算机科学学院);Berlin School of Economics and Law(柏林经济与法律学院);University of Copenhagen(哥本哈根大学)
本文提出cARFi方法,利用对抗随机森林生成的条件分布采样特征值,以少量调参稳健衡量条件特征重要性,支持条件/边际概念及统计显著性检验。
2025-01-19 cs.LG stat.ML
Robust Generative Restricted Kernel Machines using Weighted Conjugate Feature Duality
KU Leuven(鲁汶大学)
在过去的十年里,对生成模型的兴趣极大地增长了。然而,它们的训练性能可能会受到污染的不利影响,其中离群值被编码在模型的表示中。这导致产生噪声数据。在本文中,我们引入了加权共轭特征对偶的限制核机器(RKM)的框架。RKM制定允许从经典的强大的统计方法的一个简单的集成。该公式用于使用基于最小协方差行列式的加权函数来微调生成RKM的潜在空间,最小协方差行列式是多变量位置和分散的高度鲁棒估计器。实验表明,加权RKM是能够产生干净的图像时,污染存在于训练数据。我们进一步表明,通过对标准数据集的定性和定量实验,鲁棒的方法也保留了不相关的特征学习。
2020-06-23 cs.CV cs.LG stat.ML
U-Statistics for Importance-Weighted Variational Inference
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Carnegie Mellon University(卡内基梅隆大学)
我们提出了使用U-统计量来减少重要加权变分推理中梯度估计的方差。关键的观察结果是,给定需要$m > 1$样本和用于估计的全部$n > m$样本的基本梯度估计器,通过对大小为$m$的重叠批次的基本估计器进行平均而不是像目前所做的那样对不相交批次进行平均,可以实现更低的方差。我们使用经典的U-统计量理论来分析方差的减少,并提出了新的近似与理论保证,以确保计算效率。我们发现经验,U-统计方差减少可以导致适度的显着改善推理性能的一系列模型,几乎没有计算成本。
2023-02-27 cs.LG stat.ML
Hierarchical Importance Weighted Autoencoders
Mila, University of Montreal(蒙特利尔大学Mila);Element AI;CIFAR(加拿大高等研究院)
重要性加权变分推理(Burda等人,2015)使用多个i.i.d.样本具有更严格的变分下限。我们相信,联合提案有可能减少冗余样本的数量,并引入层次结构,以诱导相关性。希望这些建议能够协调起来,以弥补彼此造成的误差,从而减少重要性估计值的方差。在理论上,我们分析了估计方差的收敛性与下界的收敛性相联系的条件。从经验上讲,我们确认,最大化的下限隐含最小化方差。进一步的分析表明,这是由所提出的分层Meta采样方案引起的负相关的结果,并且随着样本数量的增加,推理性能也有所改善。
2019-05-13 cs.LG stat.ML
Reinterpreting Importance-Weighted Autoencoders
重要性加权自动编码器的标准解释是,它们最大化了比标准证据下限更严格的边际似然下限。我们给出了这个过程的另一种解释:它优化了标准变分下限,但使用更复杂的分布。我们正式推导出这一结果,提出了一个更严格的下限,并可视化的隐式重要性加权分布。
2017-08-15 stat.ML
IW-GAE: Importance Weighted Group Accuracy Estimation for Improved Calibration and Model Selection in Unsupervised Domain Adaptation
Northwestern University(西北大学)
针对无监督域适应中的分布偏移,提出重要性加权组精度估计器(IW-GAE),通过优化重要性权重实现准确组精度估计,在模型校准和选择任务上分别提升22%和14%。
2024-07-17 cs.LG stat.ML
Importance Weighted Autoencoders
University of Toronto(多伦多大学)
变分自编码器(VAE; Kingma,Welling(2014))是最近提出的生成模型,其将自顶向下的生成网络与近似后验推理的自底向上的识别网络配对。它通常对后验推断做出强假设,例如后验分布近似为阶乘,并且其参数可以通过观察值的非线性回归近似。正如我们经验所示,VAE目标可能导致过度简化的表示,无法使用网络的整个建模能力。我们提出的重要性加权自动编码器(IWAE),生成模型与相同的架构的VAE,但它使用严格的更严格的对数似然下界来自重要性加权。在IWAE中,识别网络使用多个样本来近似后验,从而增加了对不符合VAE建模假设的复杂后验建模的灵活性。我们的经验表明,IWAE学习更丰富的潜在空间表示比VAE,导致密度估计基准测试对数似然改进。
2016-11-07 cs.LG stat.ML
Learning under Target Shift: Optimal Density Ratio Estimation and Importance-Weighted Regression
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院)
针对连续输出目标偏移问题,提出RKHS谱正则化密度比估计方法,达到极小极大最优速率,并分析其在重要性加权回归中的误差传播,建立有限样本理论。
2026-09-15 cs.LG stat.ML
Generative Modeling of Approximately Periodic Time Series by a Posterior-Weighted Gaussian Process
Josef Ressel Centre for Intelligent and Secure Industrial Automation(约瑟夫·雷斯尔智能与安全工业自动化中心);Salzburg University of Applied Sciences(萨尔茨堡应用科学大学)
本文提出一种随机生成模型,用于处理近似周期性时间序列,通过后验加权高斯过程分离重复内部结构与重复间变异性,实现生成分布在重复间平滑变化。
2026-05-13 cs.LG stat.ML
Optimal Variance Control of the Score Function Gradient Estimator for Importance Weighted Bounds
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学);Rigshospitalet, Copenhagen University Hospital(哥本哈根大学医院国立医院)
本文介绍了重要加权变分界(IWAE)的得分函数梯度估计的新结果。我们证明,在大的$K$(重要性样本数)的限制,可以选择控制变量,使信号噪声比(SNR)的估计增长为$\sqrt{K}$。这与标准路径梯度估计器相反,在标准路径梯度估计器中,SNR随着$1/\sqrt{K}$而减小。基于我们的理论研究结果,我们开发了一种新的控制变量,扩展到VIMCO。经验上,对于连续和离散生成模型的训练,所提出的方法产生优异的方差减小,从而导致IWAE的SNR随着$K$而增加,而不依赖于重新参数化技巧。在训练生成模型时,新的估计器与最先进的无重新参数化梯度估计器(如重新加权唤醒-睡眠(RWS)和热力学变分目标(TVO))具有竞争力。
2020-12-08 cs.LG stat.ML
Bias Correction of Learned Generative Models using Likelihood-Free Importance Weighting
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
学习生成模型通常会产生相对于底层数据分布的有偏统计数据。校正这种偏差的标准技术是重要性抽样,其中来自模型的样本由模型和真实分布下的似然比加权。当似然比未知时,可以通过训练概率分类器来区分来自两种分布的样本来估计它。我们采用这种无似然重要性加权方法来纠正生成模型中的偏差。我们发现,这种技术始终提高了标准拟合优度指标,用于评估最先进的深度生成模型的样本质量,这表明减少了偏差。最后,我们展示了它在以下典型应用中的实用性:a)使用生成对抗网络进行分类的数据增强,以及b)使用非策略数据进行基于模型的策略评估。
2019-11-03 cs.LG cs.NE stat.ML
Importance Weighted Adversarial Variational Autoencoders for Spike Inference from Calcium Imaging Data
Janelia Research Campus(珍妮亚研究园区);HHMI(霍华德·休斯医学研究所)
重要性加权自动编码器(IWAE)目标已被证明可以改善标准变分自动编码器(VAE)目标的生成模型的训练。在这里,我们得到的重要性加权扩展AVB和AAE。这些潜变量模型使用隐式定义的推理网络,其近似后验密度q_∞(z| x)不能直接评估,这是重要性加权的基本要素。我们使用对抗训练的重要性加权方法改进了潜变量模型的训练和推理,并推导出对抗生成模型训练标准和基于边际似然的方法之间的新理论联系。我们将这些方法应用于从钙成像数据推断尖峰神经活动的重要问题,这是神经科学中一个具有挑战性的后验推理问题,并表明对抗方法的后验样本优于VAE中使用的因子化后验。
2019-10-23 cs.LG eess.IV stat.ML
Weighted Support Points from Random Measures: An Interpretable Alternative for Generative Modeling
Department of Mathematics and Statistics and Data Sciences, University of Texas at Austin(数学与统计学及数据科学系,德克萨斯大学奥斯汀分校);Department of Probability and Statistics, IIMAS, Universidad Nacional Autónoma de México(概率与统计系,墨西哥国家自治大学)
本文提出基于 Dirichlet 过程与 Bayesian bootstrap 加权的随机加权支撑点生成框架,用 CCP 高效优化,在 MNIST 和 CelebA-HQ 上以更低成本生成高质量、多样且可解释的插值样本。
2025-08-28 cs.LG stat.ML
Weighted Empirical Risk Minimization: Sample Selection Bias Correction based on Importance Sampling
LTCI, Télécom Paris(巴黎电信学院LTCI实验室);IDEMIA(艾德米亚)
当训练观测值$Z'_1,\; \ldots,\; Z'_n$的分布$P'$不同于人们寻求最小化的风险所涉及的分布$P$时,我们考虑统计学习问题(称为检验分布),但仍然定义在与$P$相同的可测量空间上并支配它。在似然比$Φ(z)=dP/dP'(z)$已知的不现实情况下,可以使用与重要性抽样背后的思想相同的思想将经验风险最小化(ERM)方法直接扩展到该特定的迁移学习设置,通过最小化从具有权重$Φ(Z'_i)$的“有偏”训练数据$Z'_i$计算的经验风险泛函的加权版本。虽然在实践中的重要性函数$Φ(z)$一般是未知的,我们表明,在实践中经常遇到的各种情况下,它采取一种简单的形式,可以直接估计从$Z'_i$的和一些辅助信息的统计人口$P$。通过线性化技术,我们证明了当将$Φ(Z'_i)$的估计插入到加权经验风险中时,上述方法的推广能力是保持的。除了这些理论保证,数值结果提供了强有力的实证证据的相关性,在这篇文章中提出的方法。
2020-02-19 cs.LG stat.ML
Importance Weighted Evolution Strategies
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
进化策略(ES)作为流行的强化学习(RL)技术的可扩展替代方案出现,由于减少了通信开销,当分布在数百个CPU核心时,它提供了几乎完美的加速。尽管在挂钟时间上提供了很大的改进,但与竞争的RL方法相比,ES的数据效率很低。这种低效率的主要原因之一是收集了大量的经验,这些经验在每次策略更新后都会被丢弃。在这项工作中,我们研究了如何执行一个以上的更新,每批经验的重要性抽样,同时保持原有方法的可扩展性。所提出的方法,重要性加权进化策略(IW-ES),显示出良好的效果,是设计高效的ES算法的第一步。
2018-11-12 cs.LG cs.NE stat.ML
Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics
University of Oxford(牛津大学)
针对现有基于变分Rényi界的alpha散度最小化算法梯度有偏、缺乏理论保证的问题,提出并研究IWAE界的推广形式VR-IWAE界,证明其重参数化下梯度无偏且流程与VR界一致,给出两种互补理论分析并通过实验验证结论。
2023-07-19 cs.LG stat.ML
Control Variate Design for Score-Function Gradient Estimators in Importance-Weighted Variational Inference
ESSEC Business School(埃塞克高等商学院);The University of Sydney Business School(悉尼大学商学院);Peking University(北京大学)
本文提出了一种改进的VIMCO-$\star$梯度估计器,解决了现有VIMCO估计器在样本数增加时信号噪声比下降的问题,提升了在无重参数化梯度场景下的性能。
2026-10-20 cs.LG stat.ML
Importance Weighted Transfer of Samples in Reinforcement Learning
Politecnico di Milano(米兰理工大学);INRIA Lille(法国国家信息与自动化研究所里尔分所);SequeL Team(SequeL团队)
我们认为经验样本的转移(即,在强化学习(RL)中,从一组源任务中收集元组< s,a,s ',r >),以改进给定目标任务中的学习过程。大多数相关的方法集中于选择最相关的源样本来解决目标任务,但是然后使用所有转移的样本,而不再考虑任务模型之间的差异。在本文中,我们提出了一种基于模型的技术,自动估计的相关性(重要性权重)的每个源样本解决目标任务。在所提出的方法中,所有的样本都被转移,并由一个批处理RL算法来解决目标任务,但它们对学习过程的贡献与它们的重要性权重成正比。通过扩展监督学习文献中提供的重要性加权的结果,我们开发了一个有限样本分析所提出的批量RL算法。此外,我们经验比较所提出的算法,以国家的最先进的方法,表明它实现了更好的学习性能,是非常强大的负迁移,即使当一些源任务是显着不同的目标任务。
2018-05-28 cs.LG stat.ML
IMPACT: Importance Weighted Asynchronous Architectures with Clipped Target Networks
UC Berkeley(加州大学伯克利分校)
强化学习代理的实际使用经常受到训练时间持续时间的影响。为了加速训练,实践者经常转向分布式强化学习架构来并行化和加速训练过程。然而,用于可扩展强化学习(RL)的现代方法经常在RL代理可以学习的样本的吞吐量(样本吞吐量)和从每个样本学习的质量(样本效率)之间进行权衡。在这些可扩展的RL架构中,随着样本吞吐量的增加(即,增加IMPALA中的并行化),样本效率显著下降。为了解决这个问题,我们提出了一个新的分布式强化学习算法,IMPACT。IMPACT扩展IMPALA有三个变化:一个目标网络稳定的代理目标,一个循环缓冲区,截断重要性采样。在离散的动作空间环境中,我们表明,IMPACT获得更高的奖励,同时,实现了高达30%的减少训练墙时间比IMPALA。对于连续控制环境,IMPACT的训练速度比现有的可扩展代理更快,同时保持同步PPO的样本效率。
2020-01-23 cs.LG stat.ML
Importance-Weighted Offline Learning Done Right
Universitat Pompeu Fabra(庞培法布拉大学);Politecnico di Milano(米兰理工大学)
针对随机上下文赌博机的离线策略优化,本文提出基于 implicit exploration 估计量的重要性加权方法,去除均匀覆盖假设并获得更强保证,还扩展至 PAC-Bayesian 无限策略类。
2023-09-27 cs.LG stat.ML
High-Dimensional Importance-Weighted Information Criteria: Theory and Optimality
Institute of Statistics, National Tsing Hua University(国立清华大学统计研究所);Graduate School of Advanced Science and Engineering, Hiroshima University(广岛大学研究生院先进科学与工程学)
本文针对协变量偏移下高维误设定回归的模型选择问题,在合理假设下证明 IWOGA 与 HDIWIC 联合使用可实现方差—平方偏差最优权衡及最优预测误差收敛速率。
2025-05-10 cs.LG math.ST stat.ML
Tighter Variational Bounds are Not Necessarily Better
University of Oxford(牛津大学);University of British Columbia(英属哥伦比亚大学)
我们提供了理论和经验证据,证明使用更严格的证据下限(ELBO)可能会通过降低梯度估计器的信噪比而不利于学习推理网络的过程。我们的研究结果质疑常见的隐式假设,即更紧的ELBO是更好的变分目标,同时模型学习和推理摊销计划。基于我们的见解,我们介绍了三种新的算法:部分重要性加权自动编码器(PIWAE),多重要性加权自动编码器(MIWAE),和组合重要性加权自动编码器(CIWAE),其中每一个包括标准的重要性加权自动编码器(IWAE)作为一个特殊情况。我们表明,每一个可以提供改进的IWAE,即使性能是衡量的IWAE目标本身。此外,我们的研究结果表明,PIWAE可能能够同时改善推理和生成网络的训练。
2019-03-05 cs.LG stat.ML
On importance-weighted autoencoders
National University of Singapore(新加坡国立大学)
重要性加权自动编码器(IWAE)(Burda等人,2016)是一种流行的变分推理方法,其通过优化多样本目标(即,可表达为$K > 1$蒙特卡罗样本上的积分的目标)来实现比标准变分自编码器更严格的证据界限(并且因此更低的偏差)。不幸的是,IWAE关键地依赖于重新参数化的可用性,并且即使这些重新参数化存在,多样本目标也导致推理网络梯度,该推理网络梯度随着$K$的增加而分解(Rainforth等人,2018年)。这种分解只能通过删除高方差得分函数项来规避,要么通过排除性地忽略它们(这会产生Roeder等人的“粘附着陆”IWAE(IWAE-STL)梯度。(2017))或通过Tucker等人的身份。(2019)(这会产生“双重重新参数化”IWAE(IWAE-DREG)梯度)。在这项工作中,我们认为,直接优化重要性抽样中的建议分布,如Bornschein & Bengio(2015)的重新加权唤醒-睡眠(RWS)算法,比优化IWAE型多样本目标更可取。为了正式证明这一点,我们引入了一个自适应重要性抽样框架,称为自适应重要性抽样学习(AISLE),它稍微概括了RWS算法。然后,我们表明,AISLE承认IWAE-STL和IWAE-DREG(即IWAE梯度,避免故障)作为特殊情况。
2019-09-19 cs.LG stat.CO stat.ML
Importance Weighted Hierarchical Variational Inference
Samsung AI Center Moscow(三星莫斯科人工智能中心);National Research University Higher School of Economics(国立研究型高等经济学院);NRU HSE(国立研究型高等经济学院)
变分推断是贝叶斯建模工具包中的一个强有力的工具,然而,它的有效性取决于所使用的变分分布在其匹配真实后验分布的能力方面的表达能力。反过来,变分族的表达能力在很大程度上受到具有易处理的密度函数的要求的限制。为了克服这一障碍,我们引入了一个新的家庭的边际对数密度的情况下,分层模型(也称为潜变量模型)的变分上界。然后,我们给出了一个上界的库尔贝克-莱布勒散度,并推导出一个家庭越来越紧密的变分下界,否则难以处理的标准证据下界分层变分分布,使使用更有表现力的近似后验。我们表明,以前已知的方法,如分层变分模型,半隐式变分推断和双半隐式变分推断可以被看作是所提出的方法的特殊情况下,并在一组实验中的经验证明所提出的方法的优越性能。
2019-05-08 cs.LG stat.ML
Mitigating Long-Tailed Anomaly Score Distributions with Importance-Weighted Loss
R\&D Division ELROILAB Inc. Seoul, Republic of Korea
本文提出了一种重要加权损失方法,用于缓解长尾异常分数分布问题,通过重要性采样对齐分布,提升异常检测性能。
2026-01-05 cs.AI cs.LG stat.ML
A Generative Framework for Causal Estimation via Importance-Weighted Diffusion Distillation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对观测数据因果估计中协变量失衡与混杂偏倚问题,提出融合IPW与扩散预训练的IWDD生成框架,通过随机化调整简化计算并降低梯度方差,实现了最优的样本外预测性能。
2025-05-16 cs.LG stat.AP stat.ME
Generative Bayesian Hyperparameter Tuning
Department of Statistics(统计系);INSPER;Chicago Booth(芝加哥布斯商学院);University of Chicago(芝加哥大学);Volgenau School of Engineering(沃尔格瑙工程学院);George Mason University(乔治梅森大学)
本文提出了一种生成性贝叶斯超参数调优方法,结合优化近似和传输映射技术,实现快速超参数评估与不确定性量化。
2025-12-23 stat.CO stat.ML
Distribution Shift in Missing Data Imputation: A Risk-Based Perspective and Importance-Weighted Correction under MAR
School of Mathematics(数学系);University of Bristol(布里斯托尔大学);School of Business and Economics(经济与商业学院);Humboldt University of Berlin(柏林洪堡大学)
本文从风险角度出发,提出一种新的填补算法,通过显式考虑分布偏移来改进填补模型的学习,实验显示在RMSE和Wasserstein距离上分别减少3%和7%。
2026-05-13 cs.LG stat.ML
Bandwidth Reduction using Importance Weighted Pruning on Ring AllReduce
State Key Laboratory of Reliability and Intelligence of Electrical Equipment(可靠性与智能电气设备国家重点实验室);Hebei University of Technology(河北工业大学)
在配备加速器系统的大规模集群上训练大型深度学习模型是必然的。深度梯度压缩可以大大提高带宽利用率,加快训练过程,但难以在环形结构上实现。在本文中,我们发现冗余梯度和梯度老化对训练有负面影响。我们观察到,在不同的时期和不同的步骤,神经网络的重点是更新不同的层和不同的参数。为了节省更多的通信带宽,同时保持环结构的准确性,突破节点增加时的限制,提出了一种基于参数计算梯度与参数值之比大小的大规模集群环全归约梯度重要性度量算法。我们的重要性加权剪枝方法在AlexNet和ImageNet上分别实现了64倍和58.8倍的梯度压缩比。同时,为了保持梯度传播的稀疏性,我们在每个节点上随机广播重要梯度的索引。而其余节点准备好索引梯度并执行all-reduce更新。这将加快模型的收敛速度并保持训练精度。
2019-01-06 cs.DC cs.LG stat.ML
Meta Adaptation using Importance Weighted Demonstrations
University of Southern California(南加州大学)
提出一种基于重要性加权过去示范的元适应算法,解决任务分布动态变化下的模仿学习泛化问题,并在视觉导航任务上验证了其少样本适应能力。
2023-07-03 cs.AI cs.LG stat.ML
Importance Weighted Policy Learning and Adaptation
Google(谷歌)
利用先前经验快速解决新问题的能力是生物学习系统的标志,对人工系统也具有重要的实际意义。在Meta强化学习文献中,最近的许多工作都集中在优化学习过程本身的问题上。在本文中,我们研究了一种互补的方法,这是概念上简单,一般,模块化,并建立在最近的改进离策略学习。该框架的灵感来自于概率推理文献中的思想,并将鲁棒的离策略学习与行为先验或默认行为相结合,该行为约束解决方案的空间并作为探索的偏差;以及价值函数的表示,这两者都很容易从多任务场景中的许多训练任务中学习到。与Meta强化学习基线相比,我们的方法在坚持任务上实现了有竞争力的适应性能,并且可以扩展到复杂的稀疏奖励场景。
2021-06-04 cs.AI cs.LG stat.ML
Bayesian Optimization with Output-Weighted Optimal Sampling
Massachusetts Institute of Technology(麻省理工学院)
在贝叶斯优化中,考虑输出相对于输入的重要性是一项至关重要但具有挑战性的工作,因为它可以大大改善最终结果,但通常涉及不准确和繁琐的熵估计。我们从重要性抽样理论的角度来处理这个问题,并主张使用似然比来引导搜索算法向输入空间的区域,其中要最小化的目标函数假设异常小的值。似然比作为一个抽样权重,可以在每次迭代计算,而不会严重恶化算法的整体效率。特别是,它可以近似的方式,使该方法在高维易于处理。在这项工作中引入的“似然加权”的采集功能被发现在许多应用中优于其未加权的同行。
2020-10-03 cs.LG stat.ML
Diffusion-based speech enhancement with a weighted generative-supervised learning loss
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用研究所)
针对扩散语音增强模型仅依赖无监督损失导致条件带噪语音利用不足的问题,本文提出在扩散训练目标中引入逐迭代均方误差损失,将估计增强语音与真实干净语音的差异纳入训练,实验验证了该方法能有效提升语音增强性能。
2023-09-19 cs.CV cs.SD eess.AS
Optimization of Annealed Importance Sampling Hyperparameters
ETH Zurich(苏黎世联邦理工学院);Swiss Data Science Center(瑞士数据科学中心)
退火重要性抽样(AIS)是一种流行的算法,用于估计深度生成模型的难以处理的边缘似然。虽然AIS能够保证对任意超参数集提供无偏估计,但通常的实现依赖于简单的几何平均,如初始分布和目标分布之间的几何平均桥接分布,当计算预算有限时,这会影响估计性能。为了减少采样迭代次数,我们提出了一种参数化AIS过程,该过程具有灵活的中间分布,中间分布由相对于几何平均路径的残差密度定义,我们的方法允许退火分布之间的参数共享,使用固定的线性时间表进行离散化和摊销潜变量模型中的超参数选择.我们评估了优化路径AIS对深度生成模型的边际似然估计的性能,并将其与计算密集型AIS进行比较。
2022-10-08 cs.LG stat.ML
Sharp analysis of out-of-distribution error for "importance-weighted" estimators in the overparameterized regime
Georgia Institute of Technology(佐治亚理工学院);School of Electrical & Computer Engineering(电气与计算机工程学院);H. Milton School of Industrial & Systems Engineering(H. Milton工业与系统工程学院)
针对过参数化模型在分布外数据上性能下降的问题,本文通过含虚假特征的高斯混合模型精确分析重要性加权插值解,给出匹配上下界并揭示鲁棒性与平均准确率的新权衡。
2024-05-10 cs.IT cs.LG math.IT
Unsupervised Feature Learning for Environmental Sound Classification Using Weighted Cycle-Consistent Generative Adversarial Network
École de Technologie Supérieure, Université du Québec(魁北克大学高等技术学院)
在本文中,我们提出了一种新的环境声音分类方法,结合无监督的特征学习的码本通过球形$K$ -Means++算法和一个新的架构,高层次的数据增强。使用离散小波变换(DWT)将音频信号变换成2D表示。然后通过一种新的周期一致性生成对抗网络架构来增强DWT谱图。这种高级增强引导通过将结构特征从样本转换到样本来以类内和类间方式生成谱图。采用加速鲁棒特征检测器(SURF)和K-Means++算法对小波变换谱图进行编码,建立码书。随机森林是我们最终的学习算法,它从码本中的聚类码字中学习环境声音分类任务。在四个基准环境声音数据集(ESC-10,ESC-50,UrbanSound 8 k和DCASE-2017)中的实验结果表明,所提出的分类方法优于该范围内的最先进的分类器,包括高级和密集的卷积神经网络,如AlexNet和GoogLeNet,根据数据集的不同,分类率提高了3.51%至14.34%。
2019-11-25 cs.LG cs.SD eess.AS
Boundary-Seeking Generative Adversarial Networks
MILA(蒙特利尔学习算法研究所);University of Montréal(蒙特利尔大学);IVADO(魁北克人工智能研究所);MSR(微软研究院);University of Waterloo(滑铁卢大学);New York University(纽约大学);CIFAR(加拿大高级研究所)
生成对抗网络(GANs)是一种学习框架,它依赖于训练一个神经网络来估计目标分布和生成分布之间的差异度量。GANs,如通常公式化的那样,依赖于生成的样本是相对于r.t.生成参数,因此不适用于离散数据。我们介绍了一种用离散数据训练GANs的方法,该方法使用来自神经网络的估计差异度量来计算生成样本的重要性权重,从而为训练生成器提供策略梯度。重要性权重与神经网络的决策边界有很强的联系,我们称我们的方法为边界搜索GANs(BGANs)。我们证明了该算法的有效性与离散图像和字符为基础的自然语言生成。此外,边界搜索目标扩展到连续数据,可用于提高训练的稳定性,我们在Celeba,大规模场景理解(LSUN)卧室和Imagenet上证明了这一点。
2018-02-21 cs.LG stat.ML
Coupling the reduced-order model and the generative model for an importance sampling estimator
Louisiana State University(路易斯安那州立大学)
本文在不确定性量化中提出耦合降阶模型与生成模型的重要性采样估计器,通过加权经验分布和交叉熵训练生成模型纠正降维偏差并处理冗余数据,提升了估计效率与鲁棒性。
2019-01-23 cs.LG cs.NA math.NA
MIM-Based GAN: Information Metric to Amplify Small Probability Events Importance in Generative Adversarial Networks
Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Tsinghua University(清华大学)
在生成对抗网络(GANs)中,区分生成数据与真实数据的信息度量是生成效率的关键,在基于GANs的应用中,特别是异常检测中起着重要作用。对于原有的GAN,其基于KL散度的隐藏信息测度在稀有事件生成和对抗网络训练性能方面存在不足。因此,研究GANs中使用的度量,以提高生成能力,并在训练过程中带来收益,是非常重要的。在本文中,我们采用指数形式,参考的信息测度,即MIM,以取代原来的GAN的对数形式。这种方法被称为基于MIM-based GAN,在网络训练和稀有事件生成方面具有更好的性能。具体来说,我们首先讨论了这种方法的培训过程的特点。此外,我们还从理论上分析了它在产生稀有事件方面的优势。此外,我们在MNIST和ODDS数据集上进行了仿真,与一些经典的GANs相比,基于MIM的GAN在异常检测方面达到了最先进的性能。
2021-01-07 cs.IT cs.LG math.IT
Semi-Generative Modelling: Covariate-Shift Adaptation with Cause and Effect Features
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Univ. of Cambridge(剑桥大学);Delft Univ. of Technology(代尔夫特理工大学);Univ. of Copenhagen(哥本哈根大学)
目前的协变量移位自适应方法使用未标记的数据来计算重要性权重或域不变特征,而最终模型仅在标记数据上进行训练。在这里,我们考虑协变量移位的一个特殊情况,它允许我们从未标记的数据中学习,也就是说,将自适应与半监督学习相结合。使用因果关系的想法,我们认为,这需要学习的原因,$X_C$,和影响,$X_E$,一个目标变量,$Y$,并显示这种设置如何导致我们所谓的半生成模型,$P(Y,X_E|X_C,θ)$。我们的方法对因果特征分布中的域转移具有鲁棒性,并通过学习从原因到结果的直接映射来利用未标记的数据。在合成数据上的实验表明,在纯监督和重要性加权基线的分类显着改善。
2019-02-26 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind(谷歌DeepMind)
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法,并开发了新的模型,允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止,生成式方法要么不灵活,效率低下,要么不可扩展。我们表明,利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进,使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Tighter Variational Bounds are Not Necessarily Better. A Research Report on Implementation, Ablation Study, and Extensions
本报告解释、实施和扩展了“更紧的变分边界不一定更好”(T Rainforth等人,2018年)。我们提供了理论和经验证据,增加重要性加权自动编码器(IWAE)中重要性样本$K$的数量(Burda等人,2016)降低了推理网络中梯度估计器的信噪比(SNR),从而影响了整个学习过程。换句话说,即使增加$K$会降低梯度的标准差,它也会更快地降低真实梯度的幅度,从而增加梯度更新的相对方差。进行了大量的实验,以了解$K$的重要性。这些实验表明,更严格的变分界限是有益的生成网络,而更宽松的界限是优选的推理网络。在此基础上,实现并研究了部分重要性加权自动编码器(PIWAE)、多重要性加权自动编码器(MIWAE)和组合重要性加权自动编码器(CIWAE)。这三种方法中的每一种都需要IWAE作为特殊情况,但以不同的方式使用重要性权重,以确保梯度估计器具有更高的SNR。在我们的研究和分析中,这些算法的有效性在MNIST和Omniglot等多个数据集上进行了测试。最后,我们证明了三个IWAE的变化是能够产生近似的后验分布,更接近真实的后验分布比IWAE,同时匹配的性能的IWAE生成网络或潜在的优于它的情况下,PIWAE。
2022-09-23 cs.LG math.ST stat.ML
Bidirectional Conditional Generative Adversarial Networks
USC Information Sciences Institute(南加州大学信息科学研究所)
条件生成对抗网络(cGAN)是生成模型,其可以产生以潜在变量($z$)和已知辅助信息($c$)为条件的数据样本($x$)。我们提出了双向cGAN(BiCoGAN),其在生成过程中有效地解开$z$和$c$,并提供了一个编码器,该编码器学习从$x$到$z$和$c$的逆映射,与生成器和训练器联合训练。我们提出了训练BiCoGAN的关键技术,其中涉及外在因素损失以及相关的动态调整的重要性权重。与其他基于编码器的cGAN相比,BiCoGAN更准确地编码$c$,并且更有效地利用$z$和$c$,并且以更不纠缠的方式生成样本。
2018-11-03 cs.LG stat.ML
Bayesian Volumetric Autoregressive generative models for better semisupervised learning
Institute of Neurology, UCL(伦敦大学学院神经病学研究所);School of Biomedical Engineering and Imaging Sciences, Kings College London(伦敦国王学院生物医学工程与成像科学学院)
深度生成模型在医学成像中迅速获得牵引力。尽管如此,大多数生成架构都难以捕获体积数据的潜在概率分布,存在收敛问题,并且没有提供模型不确定性的鲁棒指数。相比之下,自回归生成模型PixelCNN可以相对容易地扩展到体积数据,它很容易尝试学习真实的潜在概率分布,并且仍然允许贝叶斯重构,为模型不确定性的推理提供了原则性框架。我们在本文中的贡献有两个方面:首先,我们扩展了PixelCNN,使其能够处理体积脑磁共振成像数据。其次,我们表明,重新制定这个模型,以近似深高斯过程产生的不确定性的措施,提高性能的半监督学习,特别是分类性能的设置中的标记数据的比例是低的。我们在分类、回归和语义分割任务中量化了这种改进,并对包括T1加权和扩散加权序列的临床磁共振脑成像数据进行了训练和测试。
2019-07-26 cs.CV cs.LG eess.IV
Probabilistic intraday electricity price forecasting using generative machine learning
Institute of Statistics, Karlsruhe Institute of Technology(卡尔斯鲁厄技术大学统计研究所);Heidelberg Institute for Theoretical Studies(海德堡理论研究所);Department of Mathematics and Computer Science, Marburg University(马堡大学数学与计算机科学系);Department of Operations Research and Business Intelligence, Wrocław University of Science and Technology(波兹南大学 of Science and Technology 运筹学与商业智能系)
提出一种生成式神经网络模型用于日内电价的概率路径预测,并基于该预测构建交易策略,在统计指标与实际经济收益上均优于基准方法。
2025-05-28 cs.LG stat.AP stat.ML
Improvement of Multiparametric MR Image Segmentation by Augmenting the Data with Generative Adversarial Networks for Glioma Patients
Henry Ford Health System(亨利福特医疗系统);Wayne State University(韦恩州立大学)
每年都有成千上万的患者被诊断出患有神经胶质瘤,这是一种恶性脑肿瘤。医生使用MR图像作为诊断和治疗这些患者的关键工具。神经网络在医学图像分析中显示出巨大的潜力。本研究调查了由生成对抗网络创建的不同量的合成脑T1加权(T1)、对比后T1加权(T1 Gd)、T2加权(T2)和T2液体衰减反转恢复(FLAIR)MR图像的使用,以克服在训练单独的2D U-Net以分割增强肿瘤、瘤周水肿、和神经胶质瘤上的坏死(非增强肿瘤核心)区域。这些合成MR图像由一名医生进行定量(SSIM=0.79)和定性评估,该医生发现合成图像似乎更适合描绘结构边界,但当梯度显著时(例如,T2模态中的水肿信号),合成图像更难描绘。使用原始BraTS数据和四分之一、一半、四分之三和所有合成MR图像的不同子集训练多个2D U-网络。对于每个结构,单独验证数据集中的度量值的改善与添加的合成数据量之间没有明显的相关性,添加的合成数据量与最佳总体验证度量的数量之间存在很强的相关性。总之,本研究显示了使用GAN生成高质量合成Flair、T2、T1和T1 CE MR图像的能力。使用合成MR图像显示出令人鼓舞的结果,以提高U-Net分割性能,这有可能解决现有医学图像的稀缺性。
2019-10-01 cs.LG eess.IV stat.ML
Neural Quasiprobabilistic Likelihood Ratio Estimation with Negatively Weighted Data
Data Science Institute, University of Wisconsin-Madison(威斯康星大学麦迪逊分校数据科学研究所);Physics Department, University of Wisconsin–Madison(威斯康星大学麦迪逊分校物理系)
针对高能粒子物理中负密度和负权重带来的挑战,提出一种新颖损失函数和基于符号混合模型的架构,实现了准概率设定下的神经似然比估计。
2024-10-14 cs.LG hep-ex stat.ML
Synthetic Magnetic Resonance Images with Generative Adversarial Networks
数据增强对于医学研究至关重要,可以增加训练数据集的大小并获得更好的结果。在这项工作中,我们实验三个GAN架构不同的损失函数,以产生新的大脑MRI。结果表明,超参数调整的重要性,并使用小批量相似层的鉴别和梯度惩罚的损失函数,以实现高质量和现实的收敛。此外,需要大量的计算时间来从原始数据集生成无法区分的图像。
2020-01-17 cs.LG eess.IV stat.ML
Layer-wise learning of deep generative models
当使用深层多层架构来构建数据的生成模型时,很难同时训练所有层。我们提出了一个分层的培训过程承认的性能保证相比,全球最佳。它是基于未来业绩的乐观代理,即最佳潜在边际。我们解释自动编码器在此设置为生成模型,通过显示他们训练这个标准的下限。我们测试了新的学习过程对最先进的方法(堆叠RBM),并发现它可以提高性能。理论和实验都强调了在训练深度架构时,使用比生成模型(从隐变量到数据)更丰富的推理模型(从数据到隐变量)的重要性。
2013-02-16 cs.LG cs.NE stat.ML
Heat-Kernel Entropy Profiles and Geometric Effective Sample Size for Weighted Measures on Manifolds
Baruch College(巴克尔学院)
研究紧致流形上加权测度,引入热核熵剖面这一多尺度总结方法,通过内在热流扩散加权原子并跟踪尺度不均匀性,可计算二阶Rényi熵的几何有效样本量,实验表明其能揭示传统总结遗漏的结构。
2026-07-31 cs.LG stat.ME stat.ML
Group Importance Sampling for Particle Filtering and MCMC
IMT Lille Douai(IMT里尔-杜埃大学);CRISTAL (UMR 9189)(CRISTAL实验室(UMR 9189));Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Image Processing Laboratory, Universitat de València(瓦伦西亚大学图像处理实验室)
贝叶斯方法及其通过复杂的蒙特卡罗技术的实现在过去几年中已经在信号处理中变得非常流行。重要性抽样(IS)是一种众所周知的蒙特卡罗技术,其通过加权样本来近似涉及后验分布的积分。在这项工作中,我们研究了分配一个单一的加权样本,压缩人口的加权样本中包含的信息。部分理论,我们目前作为组重要性抽样(GIS)已被隐含在不同的作品在文献中。所提供的分析产生了几个理论和实践的后果。例如,我们讨论了应用GIS的顺序重要性恢复框架,并显示独立的多尝试大都会计划可以被解释为一个标准的梅特罗波利斯-黑斯廷斯算法,以下的GIS方法。介绍了两种基于GIS的马尔可夫链蒙特卡罗(MCMC)方法。第一种方法是分组抽样法,它产生一组加权样本的马尔可夫链。所有这些集,然后获得一个独特的全球估计。第二种是分布式粒子Metropolis-Hastings技术,其中不同的并行粒子滤波器联合使用来驱动MCMC算法。不同的重采样轨迹进行比较,然后用适当的接受概率进行测试。新的计划进行了测试,在不同的数值实验,如学习高斯过程的超参数,在无线传感器网络的两个本地化问题(合成和真实数据)和跟踪植被参数的卫星观测,在那里他们与几个基准蒙特卡罗技术进行比较。还提供了三个说明性的Matlab演示。
2018-08-04 cs.CE cs.LG stat.CO
ConfHit: Conformal Generative Design with Oracle Free Guarantees
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院);Department of Statistics and Data Science, Wharton School, University of Pennysylvania(宾夕法尼亚大学沃顿商学院统计与数据科学系)
ConfHit通过无Oracle保证的符合生成设计框架,在多个置信水平下提供有效的覆盖保证,同时保持紧凑的认证集,为生成建模提供可靠的方法。
2026-03-07 cs.AI cs.LG stat.AP
Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Zhejiang University(浙江大学);Tsinghua University(清华大学);University of Southern California(南加州大学)
针对连续流型生成模型微调面临的策略崩溃和计算成本问题,提出ORW-CFM-W2方法,通过集成RL与Wasserstein-2正则化,实现无需奖励梯度的微调,平衡探索与利用,在多任务上验证了有效性。
2025-02-09 cs.AI cs.CV cs.LG
Deep Generative Models, Synthetic Tabular Data, and Differential Privacy: An Overview and Synthesis
Queensland University of Technology(昆士兰科技大学)
该综述聚焦表格数据集场景,梳理了深度生成模型用于合成数据生成的最新进展,阐明其在隐私敏感数据场景的价值、优势与底层概念,分析了应用挑战,为相关研究者和从业者提供参考。
2023-08-27 cs.LG stat.AP stat.CO