U-Statistics for Importance-Weighted Variational Inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了使用U-统计量来减少重要加权变分推理中梯度估计的方差。关键的观察结果是，给定需要$m > 1$样本和用于估计的全部$n > m$样本的基本梯度估计器，通过对大小为$m$的重叠批次的基本估计器进行平均而不是像目前所做的那样对不相交批次进行平均，可以实现更低的方差。我们使用经典的U-统计量理论来分析方差的减少，并提出了新的近似与理论保证，以确保计算效率。我们发现经验，U-统计方差减少可以导致适度的显着改善推理性能的一系列模型，几乎没有计算成本。
2023-02-27 cs.LG stat.ML
Hierarchical Importance Weighted Autoencoders
Mila, University of Montreal（蒙特利尔大学Mila）；Element AI；CIFAR（加拿大高等研究院）
重要性加权变分推理（Burda等人，2015）使用多个i.i.d.样本具有更严格的变分下限。我们相信，联合提案有可能减少冗余样本的数量，并引入层次结构，以诱导相关性。希望这些建议能够协调起来，以弥补彼此造成的误差，从而减少重要性估计值的方差。在理论上，我们分析了估计方差的收敛性与下界的收敛性相联系的条件。从经验上讲，我们确认，最大化的下限隐含最小化方差。进一步的分析表明，这是由所提出的分层Meta采样方案引起的负相关的结果，并且随着样本数量的增加，推理性能也有所改善。
2019-05-13 cs.LG stat.ML
On importance-weighted autoencoders
National University of Singapore（新加坡国立大学）
重要性加权自动编码器（IWAE）（Burda等人，2016）是一种流行的变分推理方法，其通过优化多样本目标（即，可表达为$K > 1$蒙特卡罗样本上的积分的目标）来实现比标准变分自编码器更严格的证据界限（并且因此更低的偏差）。不幸的是，IWAE关键地依赖于重新参数化的可用性，并且即使这些重新参数化存在，多样本目标也导致推理网络梯度，该推理网络梯度随着$K$的增加而分解（Rainforth等人，2018年）。这种分解只能通过删除高方差得分函数项来规避，要么通过排除性地忽略它们（这会产生Roeder等人的“粘附着陆”IWAE（IWAE-STL）梯度。（2017））或通过Tucker等人的身份。（2019）（这会产生“双重重新参数化”IWAE（IWAE-DREG）梯度）。在这项工作中，我们认为，直接优化重要性抽样中的建议分布，如Bornschein & Bengio（2015）的重新加权唤醒-睡眠（RWS）算法，比优化IWAE型多样本目标更可取。为了正式证明这一点，我们引入了一个自适应重要性抽样框架，称为自适应重要性抽样学习（AISLE），它稍微概括了RWS算法。然后，我们表明，AISLE承认IWAE-STL和IWAE-DREG（即IWAE梯度，避免故障）作为特殊情况。
2019-09-19 cs.LG stat.CO stat.ML
Mitigating Long-Tailed Anomaly Score Distributions with Importance-Weighted Loss
R\&D Division ELROILAB Inc. Seoul, Republic of Korea
本文提出了一种重要加权损失方法，用于缓解长尾异常分数分布问题，通过重要性采样对齐分布，提升异常检测性能。
2026-01-05 cs.AI cs.LG stat.ML
Bures-Wasserstein Importance-Weighted Evidence Lower Bound: Exposition and Applications
The University of Sydney Business School（悉尼大学商学院）；School of Mathematics, The University of Edinburgh（爱丁堡大学数学学院）
研究在布雷斯 - 瓦瑟斯坦空间中优化重要性加权证据下界（IW - ELBO），推导其瓦瑟斯坦梯度并投影到该空间以用于高斯变分推理，证明其梯度估计器稳定性良好，实验显示该框架比其他基线有更优近似性能。
2026-07-14 cs.LG stat.CO stat.ME
Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics
University of Oxford（牛津大学）
针对现有基于变分Rényi界的alpha散度最小化算法梯度有偏、缺乏理论保证的问题，提出并研究IWAE界的推广形式VR-IWAE界，证明其重参数化下梯度无偏且流程与VR界一致，给出两种互补理论分析并通过实验验证结论。
2023-07-19 cs.LG stat.ML
Control Variate Design for Score-Function Gradient Estimators in Importance-Weighted Variational Inference
ESSEC Business School（埃塞克高等商学院）；The University of Sydney Business School（悉尼大学商学院）；Peking University（北京大学）
本文提出了一种改进的VIMCO-$\star$梯度估计器，解决了现有VIMCO估计器在样本数增加时信号噪声比下降的问题，提升了在无重参数化梯度场景下的性能。
2026-10-20 cs.LG stat.ML
IMPACT: Importance Weighted Asynchronous Architectures with Clipped Target Networks
UC Berkeley（加州大学伯克利分校）
强化学习代理的实际使用经常受到训练时间持续时间的影响。为了加速训练，实践者经常转向分布式强化学习架构来并行化和加速训练过程。然而，用于可扩展强化学习（RL）的现代方法经常在RL代理可以学习的样本的吞吐量（样本吞吐量）和从每个样本学习的质量（样本效率）之间进行权衡。在这些可扩展的RL架构中，随着样本吞吐量的增加（即，增加IMPALA中的并行化），样本效率显著下降。为了解决这个问题，我们提出了一个新的分布式强化学习算法，IMPACT。IMPACT扩展IMPALA有三个变化：一个目标网络稳定的代理目标，一个循环缓冲区，截断重要性采样。在离散的动作空间环境中，我们表明，IMPACT获得更高的奖励，同时，实现了高达30%的减少训练墙时间比IMPALA。对于连续控制环境，IMPACT的训练速度比现有的可扩展代理更快，同时保持同步PPO的样本效率。
2020-01-23 cs.LG stat.ML
Shape-Constrained Distributional Optimization via Importance-Weighted Sample Average Approximation
针对形状约束分布优化中Choquet重构可处理性受限的问题，提出融合重要性采样与样本平均近似的有限维线性规划方法，扩展可解问题范围并证明一致性与收敛速率。
2024-06-12 math.OC stat.ME
Nested Sequential Monte Carlo Methods
我们提出了嵌套序贯蒙特卡罗（NSMC），一种方法来采样序列的概率分布，即使在随机变量是高维的。NSMC通过只需要近似的，适当加权的，来自SMC提案分布的样本来概括SMC框架，同时仍然产生正确的SMC算法。此外，NSMC本身可以用于产生这样的适当加权的样本。因此，一个NSMC采样器可以被用来为另一个NSMC采样器构造一个有效的高维建议分布，并且算法的这种嵌套可以被实现到任意程度。这使我们能够考虑使用SMC的复杂和高维模型。我们的结果，激励我们的方法在几个过滤问题的尺寸在100至1 000的顺序的功效。
2015-09-11 stat.CO stat.ME stat.ML
FIS-GAN: GAN with Flow-based Importance Sampling
Sichuan University（四川大学）；Huazhong University of Technology（华中理工大学）；New York University（纽约大学）
生成对抗网络（GAN）的训练过程在大多数情况下在潜在空间中采用均匀或高斯采样方法，这可能将大部分计算花费在可以正确处理且易于生成的示例上。从理论上讲，重要性采样通过对训练样本进行优先排序，加快了监督学习中的随机优化。在本文中，我们探讨了适应重要性采样到对抗学习的可能性。在潜空间中，用重要性采样代替均匀采样和高斯采样，用归一化流密度估计逼近潜空间后验分布。从经验上讲，MNIST和Fashion-MNIST的结果表明，我们的方法显着加快了GAN的优化，同时保持生成的样本的视觉保真度。
2022-12-16 cs.LG stat.ML
Gaussian Mixture Estimation from Weighted Samples
Intelligent Sensor-Actuator-Systems Laboratory (ISAS)（智能传感器-执行器系统实验室）
研究从加权样本中估计高斯混合密度参数的问题，提出一种正确处理样本权重的期望最大化方法，适用于任意维度且计算负载与标准估计器相同。
2021-06-09 cs.CV cs.SY eess.SY
Group Importance Sampling for Particle Filtering and MCMC
IMT Lille Douai（IMT里尔-杜埃大学）；CRISTAL (UMR 9189)（CRISTAL实验室（UMR 9189））；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Image Processing Laboratory, Universitat de València（瓦伦西亚大学图像处理实验室）
贝叶斯方法及其通过复杂的蒙特卡罗技术的实现在过去几年中已经在信号处理中变得非常流行。重要性抽样（IS）是一种众所周知的蒙特卡罗技术，其通过加权样本来近似涉及后验分布的积分。在这项工作中，我们研究了分配一个单一的加权样本，压缩人口的加权样本中包含的信息。部分理论，我们目前作为组重要性抽样（GIS）已被隐含在不同的作品在文献中。所提供的分析产生了几个理论和实践的后果。例如，我们讨论了应用GIS的顺序重要性恢复框架，并显示独立的多尝试大都会计划可以被解释为一个标准的梅特罗波利斯-黑斯廷斯算法，以下的GIS方法。介绍了两种基于GIS的马尔可夫链蒙特卡罗（MCMC）方法。第一种方法是分组抽样法，它产生一组加权样本的马尔可夫链。所有这些集，然后获得一个独特的全球估计。第二种是分布式粒子Metropolis-Hastings技术，其中不同的并行粒子滤波器联合使用来驱动MCMC算法。不同的重采样轨迹进行比较，然后用适当的接受概率进行测试。新的计划进行了测试，在不同的数值实验，如学习高斯过程的超参数，在无线传感器网络的两个本地化问题（合成和真实数据）和跟踪植被参数的卫星观测，在那里他们与几个基准蒙特卡罗技术进行比较。还提供了三个说明性的Matlab演示。
2018-08-04 cs.CE cs.LG stat.CO
Mixture-Weighted Ensemble Kalman Filter with Quasi-Monte Carlo Transport
FUB（柏林自由大学）
针对粒子滤波权重退化与集成卡尔曼滤波在高维非高斯场景的局限性，提出混合加权集成卡尔曼滤波方法，通过重要性采样校正和准蒙特卡罗传输提升滤波精度。
2026-06-26 cs.NA math.NA stat.ME
Importance Weighting and Variational Inference
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Department of Computer Science, Mount Holyoke College（曼荷莲学院计算机科学系）
最近的工作使用重要性采样的想法，更好的变分界限的可能性。我们澄清了这些想法的适用性，纯概率推理，通过显示所得到的重要性加权变分推理（IWVI）技术是一个例子，增强变分推理，从而确定在以前的工作中的松散。实验证实IWVI的实用性概率推理。作为第二个贡献，我们调查的推断与椭圆分布，这提高了精度在低维，并在高维收敛。
2018-10-27 cs.LG stat.ML
Heat-Kernel Entropy Profiles and Geometric Effective Sample Size for Weighted Measures on Manifolds
Baruch College（巴克尔学院）
研究紧致流形上加权测度，引入热核熵剖面这一多尺度总结方法，通过内在热流扩散加权原子并跟踪尺度不均匀性，可计算二阶Rényi熵的几何有效样本量，实验表明其能揭示传统总结遗漏的结构。
2026-07-31 cs.LG stat.ME stat.ML
Implicitly Adaptive Importance Sampling
自适应重要性抽样是一类用于为重要性抽样找到良好的建议分布的技术。通常，建议分布是标准概率分布，其参数基于当前建议与目标分布之间的失配而被适配。在这项工作中，我们提出了一个隐式自适应重要性抽样方法，适用于复杂的分布，这是不是在封闭的形式。该方法迭代地匹配一组蒙特卡罗绘制的矩到基于重要性权重的加权矩。我们将该方法应用于贝叶斯留一交叉验证，并表明它比许多现有的参数自适应重要性抽样方法，同时计算成本低廉。
2020-05-06 stat.CO stat.ME stat.ML
Generalized Multiple Importance Sampling
重要性抽样方法被广泛用于近似后验分布或它们的某些矩。在其标准方法中，样本是从单个提案分布中抽取的，并进行适当的加权。然而，由于性能取决于目标分布和建议分布之间的失配，因此通常采用几个建议密度来生成样本。在这种多重要性抽样（MIS）的情况下，许多作品已经解决了选择或适应的建议分布，解释抽样和加权步骤以不同的方式。在本文中，我们建立了一个通用的框架，采样和称重程序时，有一个以上的建议。在文献中最相关的MIS计划包含在新的框架内，而且，新的有效计划自然出现。所有的MIS计划进行了比较，并在相关估计的方差方面排名。最后，我们提供了说明性的例子表明，即使有一个很好的选择的建议密度，仔细解释的采样和加权程序可以显着不同的方法的性能。
2019-11-03 stat.CO
High-Dimensional Importance-Weighted Information Criteria: Theory and Optimality
Institute of Statistics, National Tsing Hua University（国立清华大学统计研究所）；Graduate School of Advanced Science and Engineering, Hiroshima University（广岛大学研究生院先进科学与工程学）
本文针对协变量偏移下高维误设定回归的模型选择问题，在合理假设下证明 IWOGA 与 HDIWIC 联合使用可实现方差—平方偏差最优权衡及最优预测误差收敛速率。
2025-05-10 cs.LG math.ST stat.ML
Tighter Variational Bounds are Not Necessarily Better. A Research Report on Implementation, Ablation Study, and Extensions
本报告解释、实施和扩展了“更紧的变分边界不一定更好”（T Rainforth等人，2018年）。我们提供了理论和经验证据，增加重要性加权自动编码器（IWAE）中重要性样本$K$的数量（Burda等人，2016）降低了推理网络中梯度估计器的信噪比（SNR），从而影响了整个学习过程。换句话说，即使增加$K$会降低梯度的标准差，它也会更快地降低真实梯度的幅度，从而增加梯度更新的相对方差。进行了大量的实验，以了解$K$的重要性。这些实验表明，更严格的变分界限是有益的生成网络，而更宽松的界限是优选的推理网络。在此基础上，实现并研究了部分重要性加权自动编码器（PIWAE）、多重要性加权自动编码器（MIWAE）和组合重要性加权自动编码器（CIWAE）。这三种方法中的每一种都需要IWAE作为特殊情况，但以不同的方式使用重要性权重，以确保梯度估计器具有更高的SNR。在我们的研究和分析中，这些算法的有效性在MNIST和Omniglot等多个数据集上进行了测试。最后，我们证明了三个IWAE的变化是能够产生近似的后验分布，更接近真实的后验分布比IWAE，同时匹配的性能的IWAE生成网络或潜在的优于它的情况下，PIWAE。
2022-09-23 cs.LG math.ST stat.ML
Importance Tempering: Group Robustness for Overparameterized Models
Stanford University（斯坦福大学）
尽管过度参数化模型在许多机器学习任务上取得了成功，但测试分布与训练分布不同，准确性可能会下降。这种准确性的下降仍然限制了机器学习在野外的应用。与此同时，重要性加权，一个传统的技术来处理分布偏移，已被证明有很少甚至没有影响过参数化模型的经验和理论。在本文中，我们提出了重要性回火，以改善决策边界，并取得一致的更好的结果过参数化模型。理论上，我们证明了在标签偏移和伪相关设置下，群温度的选择可以不同。同时，我们还证明了适当选择温度可以避免不平衡分类的少数崩溃。从经验上讲，我们实现了最坏的组分类任务使用重要性回火的最先进的结果。
2022-09-27 cs.AI cs.LG math.ST
Quantile estimation with adaptive importance sampling
我们引入新的分位数估计与自适应重要性抽样。自适应估计是基于加权样本，既不是独立的，也不是同分布。利用鞅的一个新的重对数律，证明了具有非唯一分位数的一般分布的自适应分位数估计的收敛性，从而推广了Feldman和Tucker [Ann. Math. Statist. 37（1996）451- 457]。我们说明了一个例子，从信贷组合风险分析的算法。
2010-02-26 math.ST stat.TH
