Learning with Importance Weighted Variational Inference
ESSEC Business School（ESSEC商学院）
本文通过渐近分析比较了IWAE、VR和VR-IWAE边界下的重参数化和双重重参数化梯度估计器，揭示了偏差-方差权衡并证明了DREP的优越性，同时分析了困难区域中梯度估计器的方向合理性。
2026-05-27 cs.LG stat.ML
On the Asymptotics of Importance Weighted Variational Inference
针对重要性加权变分推断缺乏极限性质理论分析的问题，证明了蒙特卡洛与观测样本量同时趋于无穷时估计量的一致性，还在样本增长速率条件下证明了渐近正态性与有效性，并区分了重要性比平滑性相关情形。
2025-01-14 math.ST stat.TH
U-Statistics for Importance-Weighted Variational Inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了使用U-统计量来减少重要加权变分推理中梯度估计的方差。关键的观察结果是，给定需要$m > 1$样本和用于估计的全部$n > m$样本的基本梯度估计器，通过对大小为$m$的重叠批次的基本估计器进行平均而不是像目前所做的那样对不相交批次进行平均，可以实现更低的方差。我们使用经典的U-统计量理论来分析方差的减少，并提出了新的近似与理论保证，以确保计算效率。我们发现经验，U-统计方差减少可以导致适度的显着改善推理性能的一系列模型，几乎没有计算成本。
2023-02-27 cs.LG stat.ML
Hierarchical Importance Weighted Autoencoders
Mila, University of Montreal（蒙特利尔大学Mila）；Element AI；CIFAR（加拿大高等研究院）
重要性加权变分推理（Burda等人，2015）使用多个i.i.d.样本具有更严格的变分下限。我们相信，联合提案有可能减少冗余样本的数量，并引入层次结构，以诱导相关性。希望这些建议能够协调起来，以弥补彼此造成的误差，从而减少重要性估计值的方差。在理论上，我们分析了估计方差的收敛性与下界的收敛性相联系的条件。从经验上讲，我们确认，最大化的下限隐含最小化方差。进一步的分析表明，这是由所提出的分层Meta采样方案引起的负相关的结果，并且随着样本数量的增加，推理性能也有所改善。
2019-05-13 cs.LG stat.ML
Bures-Wasserstein Importance-Weighted Evidence Lower Bound: Exposition and Applications
The University of Sydney Business School（悉尼大学商学院）；School of Mathematics, The University of Edinburgh（爱丁堡大学数学学院）
研究在布雷斯 - 瓦瑟斯坦空间中优化重要性加权证据下界（IW - ELBO），推导其瓦瑟斯坦梯度并投影到该空间以用于高斯变分推理，证明其梯度估计器稳定性良好，实验显示该框架比其他基线有更优近似性能。
2026-07-14 cs.LG stat.CO stat.ME
Mitigating Long-Tailed Anomaly Score Distributions with Importance-Weighted Loss
R\&D Division ELROILAB Inc. Seoul, Republic of Korea
本文提出了一种重要加权损失方法，用于缓解长尾异常分数分布问题，通过重要性采样对齐分布，提升异常检测性能。
2026-01-05 cs.AI cs.LG stat.ML
Mixture-Weighted Ensemble Kalman Filter with Quasi-Monte Carlo Transport
FUB（柏林自由大学）
针对粒子滤波权重退化与集成卡尔曼滤波在高维非高斯场景的局限性，提出混合加权集成卡尔曼滤波方法，通过重要性采样校正和准蒙特卡罗传输提升滤波精度。
2026-06-26 cs.NA math.NA stat.ME
Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics
University of Oxford（牛津大学）
针对现有基于变分Rényi界的alpha散度最小化算法梯度有偏、缺乏理论保证的问题，提出并研究IWAE界的推广形式VR-IWAE界，证明其重参数化下梯度无偏且流程与VR界一致，给出两种互补理论分析并通过实验验证结论。
2023-07-19 cs.LG stat.ML
Control Variate Design for Score-Function Gradient Estimators in Importance-Weighted Variational Inference
ESSEC Business School（埃塞克高等商学院）；The University of Sydney Business School（悉尼大学商学院）；Peking University（北京大学）
本文提出了一种改进的VIMCO-$\star$梯度估计器，解决了现有VIMCO估计器在样本数增加时信号噪声比下降的问题，提升了在无重参数化梯度场景下的性能。
2026-10-20 cs.LG stat.ML
Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling
ONERA（法国航空航天研究院）；Université de Toulouse（图卢兹大学）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本研究提出用变分自编码器参数化分布进行高维非参数自适应重要性采样，通过新目标函数处理加权样本，并引入可学习先验和预训练防止后验坍缩，在多模态问题上有效估计稀有事件概率。
2023-10-13 cs.LG math.ST stat.TH
IMPACT: Importance Weighted Asynchronous Architectures with Clipped Target Networks
UC Berkeley（加州大学伯克利分校）
强化学习代理的实际使用经常受到训练时间持续时间的影响。为了加速训练，实践者经常转向分布式强化学习架构来并行化和加速训练过程。然而，用于可扩展强化学习（RL）的现代方法经常在RL代理可以学习的样本的吞吐量（样本吞吐量）和从每个样本学习的质量（样本效率）之间进行权衡。在这些可扩展的RL架构中，随着样本吞吐量的增加（即，增加IMPALA中的并行化），样本效率显著下降。为了解决这个问题，我们提出了一个新的分布式强化学习算法，IMPACT。IMPACT扩展IMPALA有三个变化：一个目标网络稳定的代理目标，一个循环缓冲区，截断重要性采样。在离散的动作空间环境中，我们表明，IMPACT获得更高的奖励，同时，实现了高达30%的减少训练墙时间比IMPALA。对于连续控制环境，IMPACT的训练速度比现有的可扩展代理更快，同时保持同步PPO的样本效率。
2020-01-23 cs.LG stat.ML
Shape-Constrained Distributional Optimization via Importance-Weighted Sample Average Approximation
针对形状约束分布优化中Choquet重构可处理性受限的问题，提出融合重要性采样与样本平均近似的有限维线性规划方法，扩展可解问题范围并证明一致性与收敛速率。
2024-06-12 math.OC stat.ME
Approximations of the Optimal Importance Density using Gaussian Particle Flow Importance Sampling
最近开发的粒子流算法提供了一种替代重要性抽样的方法，用于从后验分布中提取粒子，并且已经提出了许多基于该原理的粒子滤波器。样本从先验中提取，然后根据伪时间间隔上的一些动态来移动，使得它们的最终值根据期望的后验分布。在实践中，实现粒子流采样器需要多层近似，结果是最终样本通常不具有正确的后验分布。本文考虑用近似高斯流对一类非线性高斯模型进行采样。我们使用粒子流的重要性采样器，校正目标和实际密度与重要性权重之间的差异。我们提出了一个合适的数值积分过程中使用此流量和相应的步长控制算法。在过滤上下文中，我们使用粒子流从最佳重要性密度中采样，而不是过滤密度本身，从而避免了对预测密度进行分析或数值近似的需要。在粒子滤波器中使用粒子流重要性抽样的模拟表明，与最佳重要性密度的标准近似相比，该算法有显著的改进，并且该算法属于标准的序贯蒙特卡罗框架。
2014-11-27 stat.CO
Star discrepancy bounds based on Hilbert space filling curve stratified sampling and its applications
本文研究基于Hilbert空间填充曲线抽样的概率星偏差上界，将收敛阶从$O(N^{-1/2})$提升至$O(N^{-1/2-1/(2d)})$，并给出加权空间积分误差界及Koksma-Hlawka不等式改进等应用。
2023-04-19 math.ST stat.TH
Group Importance Sampling for Particle Filtering and MCMC
IMT Lille Douai（IMT里尔-杜埃大学）；CRISTAL (UMR 9189)（CRISTAL实验室（UMR 9189））；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Image Processing Laboratory, Universitat de València（瓦伦西亚大学图像处理实验室）
贝叶斯方法及其通过复杂的蒙特卡罗技术的实现在过去几年中已经在信号处理中变得非常流行。重要性抽样（IS）是一种众所周知的蒙特卡罗技术，其通过加权样本来近似涉及后验分布的积分。在这项工作中，我们研究了分配一个单一的加权样本，压缩人口的加权样本中包含的信息。部分理论，我们目前作为组重要性抽样（GIS）已被隐含在不同的作品在文献中。所提供的分析产生了几个理论和实践的后果。例如，我们讨论了应用GIS的顺序重要性恢复框架，并显示独立的多尝试大都会计划可以被解释为一个标准的梅特罗波利斯-黑斯廷斯算法，以下的GIS方法。介绍了两种基于GIS的马尔可夫链蒙特卡罗（MCMC）方法。第一种方法是分组抽样法，它产生一组加权样本的马尔可夫链。所有这些集，然后获得一个独特的全球估计。第二种是分布式粒子Metropolis-Hastings技术，其中不同的并行粒子滤波器联合使用来驱动MCMC算法。不同的重采样轨迹进行比较，然后用适当的接受概率进行测试。新的计划进行了测试，在不同的数值实验，如学习高斯过程的超参数，在无线传感器网络的两个本地化问题（合成和真实数据）和跟踪植被参数的卫星观测，在那里他们与几个基准蒙特卡罗技术进行比较。还提供了三个说明性的Matlab演示。
2018-08-04 cs.CE cs.LG stat.CO
Importance sampling with transformed weights
重要性抽样（IS）方法是许多基于蒙特卡罗技术的核心。IS允许通过从不同于目标的建议（或重要性）分布中抽取样本并计算说明这两个分布之间的差异的重要性权重（IWs）来近似目标概率分布。IS方案的主要缺点是IWs的退化，这显著降低了方法的效率。最近有人提出使用变换的IWs（TIWs），以减轻人口蒙特卡罗，这是一个迭代版本的IS的背景下的退化问题。然而，这种技术的标准IS的有效性还有待研究。在这封信中，我们数值评估的性能时，使用TIWs的IS，并表明，该方法可以达到鲁棒性的重量退化由于偏差/方差权衡。
2017-04-20 stat.AP
Efficient treatment of model discrepancy by Gaussian Processes - Importance for imbalanced multiple constraint inversions
机械仿真模型对观察结果进行反演，以获得对建模过程的推断。然而，随着收集高分辨率观察结果的能力不断提高，这些观察结果代表了更多的详细过程模式，而这些模式不是建模目的的一部分。这种不匹配导致模型差异，即观测和模型预测之间的系统差异。当差异没有得到适当的考虑时，后验不确定性被低估了。此外，参数推断，使模型的差异出现与观测数据流的记录少，而不是数据流对应的模型的薄弱部分。这阻碍了对需要改进的薄弱工艺配方的识别。因此，我们开发了一个有效的配方来考虑模型的差异的统计模型的高斯过程（GP）。本文提出了一种新的贝叶斯抽样方案的模型参数和差异，解释其应用推理的影响，通过一个基本的例子，并证明了适用于现实世界的模型数据集成研究。GP方法正确地识别了丰富数据流中的模型差异。采样方面的创新使其能够成功应用于数千条记录的观测数据流。此外，所提出的新配方可以与基于梯度的优化相结合。因此，模型反演研究应该承认模型的差异，特别是当使用多个不平衡的数据流。为此，研究可以使用所提出的GP方法来改善模型参数和建模过程的推断。
2018-12-19 stat.CO
