Off-policy Distributional Q($λ$): Distributional RL without Importance Sampling
Google DeepMind（谷歌DeepMind）
本文提出离策略分布Q(λ)算法，无需重要性采样即可进行离策略分布评估，并通过表格实验验证理论，结合C51在深度强化学习基准上表现优异。
2024-02-08 cs.LG
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中，我们被赋予一个目标策略，并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略，使用知识的回报分布的方差。然后，我们介绍了减少方差采样（ReVar）算法，该算法近似的预言机策略时，奖励方差是未知的先验和约束其次优的预言机策略相比。最后，我们经验验证，ReVar导致政策评估的均方误差与Oracle策略相当，并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Efficient Baseline-free Sampling in Parameter Exploring Policy Gradients: Super Symmetric PGPE
Zentrum für Sonnenenergie- und Wasserstoff-Forschung（太阳能与氢能研究中心）
策略梯度方法直接在参数空间中进行搜索，是最有效、最鲁棒的直接策略搜索方法之一，近年来受到了广泛的关注。该领域的基本方法是基于参数探索的策略梯度，它使用两个围绕当前假设对称的样本，以规避使用通常基线方法收集的\emph{asymmetrical}奖励分布问题中的误导性奖励。探索参数仍然通过基线方法更新-使探索倾向于不对称的奖励分布。在本文中，我们将展示如何勘探参数可以被采样准对称，尽管有有限的，而不是自由的勘探参数。我们给出了一个变换近似，以获得准对称样本的勘探，而不改变整体的抽样分布。最后，我们将证明，对称采样的勘探参数是优于原来的采样方法的样本和鲁棒性的需要。
2013-12-13 cs.LG
Learning Sampling Policy for Faster Derivative Free Optimization
Nanjing University of Information Science & Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）；University of Pittsburgh（匹兹堡大学）
零阶（Zero-order，简称ZO）方法由于其在机器学习领域的广泛应用，近年来受到了广泛的关注。这两个函数的计算通常是由标准高斯分布的随机扰动产生的。为了加速ZO方法，最近提出了许多方法，例如方差减少的随机ZO梯度和学习自适应高斯分布，以减少ZO梯度的方差。然而，ZO方法的收敛性是否还有进一步提高的空间，仍然是一个悬而未决的问题。为了探索这个问题，在本文中，我们提出了一个新的强化学习为基础的ZO算法（ZO-RL）与学习的采样策略，而不是使用随机抽样产生的扰动ZO优化。为了找到最优策略，采用了一种名为深度确定性策略梯度（DDPG）的行动者-批评者强化学习算法，该算法具有两个神经网络函数逼近器。学习的采样策略引导参数空间中的扰动点估计更准确的ZO梯度。据我们所知，我们的ZO-RL是第一个使用强化学习进行ZO优化的采样策略学习算法，该算法与现有方法并行。特别是，我们的ZO-RL可以与现有的ZO算法相结合，可以进一步加速算法。针对不同的ZO优化问题的实验结果表明，该算法通过学习采样策略，可以有效地降低ZO梯度的方差，并且在不同的场景下比现有的ZO算法收敛得更快.
2021-04-09 cs.LG
Baselines and Score Centering in Policy Gradient Estimation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Perplexity AI（Perplexity AI公司）
本研究针对强化学习中策略梯度估计的基线与得分中心化问题，提出协方差视角，明确两种中心化方式的差异及在不同重要性采样级别下的适用性。
2026-10-16 cs.LG
Lifelong Hyper-Policy Optimization with Multiple Importance Sampling Regularization
Politecnico di Milano（米兰理工大学）；University of Padova（帕多瓦大学）
在动态不断演变的终身环境中学习，是当前强化学习算法的一个严峻挑战。然而，这将是实际应用中非常需要的功能。在本文中，我们提出了一种方法，学习一个超政策，其输入是时间，输出的参数的政策在当时被查询。该超策略被训练以最大化估计的未来性能，通过重要性采样有效地重用过去的数据，以引入受控偏差为代价。我们结合未来的性能估计与过去的性能，以减轻灾难性遗忘。为了避免过度拟合收集的数据，我们推导出一个可微的方差界，我们嵌入作为惩罚项。最后，我们经验验证我们的方法，与国家的最先进的算法相比，在现实的环境中，包括水资源管理和交易。
2021-12-13 cs.LG
Truncated Rectified Flow Policy for Reinforcement Learning with One-Step Sampling
Harbin Institute of Technology（哈尔滨工业大学）
本文提出TRFP框架，通过混合确定性-随机性架构解决MaxEnt RL中连续时间生成策略的可微性问题，实现稳定训练和有效一步采样，实验表明其在多目标环境和MuJoCo基准中表现优异。
2026-04-10 cs.LG
Approximate Next Policy Sampling: Replacing Conservative Target Policy Updates in Deep RL
提出近似下一策略采样（ANPS）方法，通过修改训练分布而非约束策略更新来解决强化学习中的“鸡生蛋”问题，并基于此设计稳定值近似策略迭代（SV-API）算法，在Atari和连续控制任务上实现更大目标策略更新且性能匹配或提升。
2026-06-19 cs.LG
Federated Learning under Importance Sampling
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
联邦学习封装了由中央单元管理的分布式学习策略。由于它依赖于在每次迭代中使用选定数量的代理，并且由于每个代理反过来都会利用其本地数据，因此很自然地要研究最佳采样策略，以便在联邦学习实现中选择代理及其数据。通常，只使用统一的抽样方案。然而，在这项工作中，我们研究的效果，重要性采样和设计方案的抽样代理和数据不均匀的性能指标的指导。我们发现，在涉及抽样而不替换的方案中，所得到的架构的性能由两个因素控制，这两个因素与每个代理的数据变异性和跨代理的模型变异性有关。我们用模拟和真实数据的实验说明了理论研究结果，并显示了所提出的策略带来的性能改善。
2020-12-14 cs.LG
Importance Sampling Policy Evaluation with an Estimated Behavior Policy
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑马尔可夫决策过程中的离政策评估问题。政策外评估是评估一个政策的预期回报与不同的，行为政策产生的数据的任务。重要性采样是一种用于政策外评估的技术，该技术重新加权政策外回报，以考虑两个政策之间回报可能性的差异。在本文中，我们研究了重要性采样与估计的行为政策，其中的行为政策估计来自同一组数据用于计算重要性采样估计。我们发现，这种估计往往降低了均方误差的政策评估相比，重要性采样与真正的行为政策或使用的行为政策，估计从一个单独的数据集。直观地，以这种方式估计行为策略校正了由于动作空间中的采样而引起的误差。我们的实证结果也扩展到其他流行的变种的重要性采样，并表明，估计一个非马尔可夫行为的政策，可以进一步降低大样本的均方误差，即使真正的行为政策是马尔可夫。
2019-05-09 cs.AI cs.LG stat.ML
Conditional Importance Sampling for Off-Policy Learning
DeepMind
本文的主要贡献是基于重要性采样比率的条件期望的离线强化学习的概念框架。这个框架产生了新的观点和理解现有的政策外算法，并揭示了广阔的空间未开发的算法。我们从理论上分析了这个空间，并具体研究了从这个框架中产生的几个算法。
2020-07-30 cs.LG stat.ML
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research（新加坡科技研究局）；Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出基于状态的重要性采样方法，通过在计算重要性权重时丢弃部分状态来降低方差，并展示了其在多种离线策略评估估计器中的变体，实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
非策略Actor-Critic算法已经证明了惊人的实验性能，但仍然需要更好的解释。为此，我们将其政策评估误差的分布转换分解为：贝尔曼错误，政策不匹配的偏差，和方差项从抽样。通过比较偏差和方差的大小，我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差，因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University（哥伦比亚大学）
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索，其确定伪动作上的概率分布（即，采样参数）作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明，直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点，并提供了有意义的改进，即使在长时间的问题，标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Stochastic Optimization with Importance Sampling
Rutgers University（罗格斯大学）
训练数据的均匀采样通常用于传统的随机最优化算法中，例如近端随机梯度下降（Proximal Stochastic Gradient Descent，简称SGD）和近端随机双坐标上升（Proximal Stochastic Dual Coordinate Ascent，简称SDCA）。虽然均匀采样可以保证采样的随机量是相应真实量的无偏估计，但所得估计量可能具有相当高的方差，这对底层优化过程的收敛性产生负面影响。本文研究了具有重要性抽样的随机最优化问题，通过减小随机方差来提高收敛速度。具体地说，我们研究了具有重要性抽样的随机镜像下降（SGD）和具有重要性抽样的随机镜像下降（SDCA）。对于非线性随机梯度算法，该算法采用重要性抽样来最小化随机梯度的方差，而不是在整个训练过程中采用均匀抽样。对于SDCA算法，提出的重要性抽样方案的目标是在每一个对偶坐标上升步骤获得更高的期望对偶值。我们提供了广泛的理论分析表明，建议的重要性抽样方法的收敛速度可以显着提高在适当的条件下，无论是对EST-SGD和EST-SDCA。实验结果验证了理论分析的正确性。
2015-01-02 cs.LG stat.ML
Adaptive Sketches for Robust Regression with Importance Sampling
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了通过随机梯度下降（SGD）通过以与其范数成比例的概率对梯度进行采样来解决鲁棒回归的数据结构，即，重要性采样。虽然SGD广泛用于大规模机器学习，但众所周知，由于均匀采样的高方差，它可能会经历缓慢的收敛速度。另一方面，重要性采样可以显著降低方差，但通常难以实现，因为计算采样概率需要额外的数据传递，在这种情况下，可以使用标准梯度下降（GD）来代替。在本文中，我们介绍了一种算法，近似采样$T$梯度的尺寸$d$从几乎最佳的重要性采样分布的稳健回归问题超过$n$行。因此，我们的算法有效地运行$T$步骤的SGD与重要性采样，而使用次线性空间，只是使一个单一的通过的数据。我们的技术还扩展到执行二阶优化的重要性采样。
2022-07-16 cs.DS cs.LG
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta（阿尔伯塔大学）
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题，提出价值感知重要性权重，在保证无偏估计的同时降低方差，并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们表明，对政策的策略梯度（PG）和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样（IS）家庭的政策外评估（OPE）。从双重稳健（DR）估计量（Jiang & Li，2016）开始，我们提供了一种非常通用和灵活的PG形式的简单推导，其中包含了最先进的方差缩减技术（Cheng et al.，2019年）作为其特例，并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差，将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较，并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University（斯坦福大学）；Mila - University of Montreal（米拉研究所 - 蒙特利尔大学）
使用重要性采样（IS）的非策略策略估计器可能会在长时间域中遭受高方差，并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是，我们发现在有限时域MDP中，每决策重要性采样或平稳重要性采样与普通重要性采样相比，没有严格的方差减少。然后，我们提供了充分的条件下，每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近（在地平线$T$）的情况下，我们开发的上限和下限的方差的估计产生的充分条件下，存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解，如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Exploring Variance Reduction in Importance Sampling for Efficient DNN Training
Takuro Kutsuna（独立研究者）
针对重要性采样中方差减少评估的计算挑战，本文提出基于小批量样本的方差减少估计方法、自动学习率调整的有效小批量大小及相关量化指标与算法，提升DNN训练效率与精度。
2025-11-18 cs.LG stat.ML
Importance Sampling with Unequal Support
Carnegie Mellon University（卡内基梅隆大学）
重要性采样常用于机器学习中，当训练和测试数据来自不同的分布时。在本文中，我们提出了一个新的变种的重要性采样，可以减少方差的重要性采样为基础的估计数量级时，支持的训练和测试分布不同。在激励和介绍我们的新的重要性采样估计量，我们提供了一个详细的理论分析，其特点是它的偏差和方差相对于普通的重要性采样估计量（在各种设置，其中包括普通的重要性采样是有偏见的情况下，而我们的新的估计量不是，反之亦然）。我们的结论与我们的新的重要性采样估计如何可以用来改善如何以及一个新的糖尿病治疗策略将工作的个人，使用数据时，个人使用以前的治疗策略的估计的一个例子。
2016-11-10 cs.AI cs.LG stat.ML
FIS-GAN: GAN with Flow-based Importance Sampling
Sichuan University（四川大学）；Huazhong University of Technology（华中理工大学）；New York University（纽约大学）
生成对抗网络（GAN）的训练过程在大多数情况下在潜在空间中采用均匀或高斯采样方法，这可能将大部分计算花费在可以正确处理且易于生成的示例上。从理论上讲，重要性采样通过对训练样本进行优先排序，加快了监督学习中的随机优化。在本文中，我们探讨了适应重要性采样到对抗学习的可能性。在潜空间中，用重要性采样代替均匀采样和高斯采样，用归一化流密度估计逼近潜空间后验分布。从经验上讲，MNIST和Fashion-MNIST的结果表明，我们的方法显着加快了GAN的优化，同时保持生成的样本的视觉保真度。
2022-12-16 cs.LG stat.ML
Safe Adaptive Importance Sampling
EPFL（洛桑联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
重要性采样已成为大规模优化算法中不可或缺的加速策略。改进的自适应变体-使用由在优化期间改变的完整梯度信息定义的重要性值-享有有利的理论性质，但通常在计算上是不可行的。在本文中，我们提出了一个有效的近似梯度为基础的采样，这是基于安全界限的梯度。建议的采样分布是（i）可证明的最佳采样相对于给定的界限，（ii）总是优于均匀采样和固定的重要性采样和（iii）可以有效地计算-在许多应用中，可以忽略不计的额外成本。建议的采样方案是通用的，可以很容易地集成到现有的算法。特别是，我们表明，坐标下降（CD）和随机梯度下降（SGD）可以享受显着的加速下的新计划。所提出的采样的证明效率进行了验证，通过广泛的数值试验。
2017-11-07 cs.LG math.OC
Reusing Historical Trajectories in Natural Policy Gradient via Importance Sampling: Convergence and Convergence Rate
Georgia Institute of Technology（佐治亚理工学院）
本文研究通过重要性采样重用历史轨迹的自然策略梯度方法变体，证明其梯度估计器偏差渐近可忽略、算法收敛且能提高收敛速率，并在经典基准上验证了理论结果。
2025-03-05 cs.LG math.OC
Rollout Sampling Approximate Policy Iteration
一些研究人员最近研究了强化学习和分类之间的联系。我们的动机是近似的政策迭代计划的建议没有价值函数，专注于使用分类器的政策表示和解决策略学习作为一个监督学习问题。本文提出了一种改进的策略迭代方案的变种，该方案通过模拟多臂强盗机来解决评估策略中的核心采样问题。由此产生的算法提供了相当的性能，以前的算法实现，但是，与显着减少计算工作。实验证明，在两个标准的强化学习领域：倒立摆和山地车的数量级的改善。
2008-07-06 cs.AI cs.CC cs.LG
Optimal Importance Sampling for Federated Learning
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
联邦学习涉及集中式和分散式处理任务的混合，其中服务器定期选择代理的样本，这些代理反过来对它们的本地数据进行采样，以计算它们的学习更新的随机梯度。这一过程持续进行。代理和数据的采样通常是均匀的，但是，在这项工作中，我们考虑非均匀采样。我们推导出最佳的重要性采样策略，代理和数据的选择，并表明，不更换的非均匀采样，提高了性能的原始FedAvg算法。我们运行的回归和分类问题的实验来说明理论结果。
2020-10-26 cs.DC cs.LG
Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan（密歇根大学）
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究，其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而，很少有论文采用学习的角度来看，参数是未知的。在本文中，我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手，并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活，可以代表各种基准，包括最佳固定动作策略，最优策略，Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
Distilled Thompson Sampling: Practical and Efficient Thompson Sampling via Imitation Learning
Columbia Business School（哥伦比亚大学商学院）；Meta
提出基于模仿学习的蒸馏汤普森采样算法，将TS策略蒸馏为显式策略，实现低延迟决策并成功部署于Meta视频系统，显著提升视频质量与观看时间。
2024-07-22 cs.AI cs.LG
Conservative Optimistic Policy Optimization via Multiple Importance Sampling
Ecole Polytechnique（巴黎综合理工学院）
强化学习（RL）已经能够用一种统一的方法解决诸如玩雅达利游戏或解决围棋游戏等难题。然而，现代深度强化学习方法在现实世界的应用中仍然没有得到广泛的应用。一个原因可能是，与现有的（已经工作的）基线策略相比，中间执行策略的性能缺乏保证。在本文中，我们提出了一个在线无模型算法，解决了保守的探索策略优化问题。我们表明，所提出的方法的遗憾是有界的$\tilde{\mathcal{O}}(\sqrt{T})$离散和连续的参数空间。
2021-03-04 cs.LG stat.ML
Policy Optimization Through Approximate Importance Sampling
University of Cambridge（剑桥大学）；KAIST（韩国科学技术院）
最近的政策优化方法（Schulman等人，2015 a; 2017）通过构建新的代理优化目标，取得了实质性的经验成功。这些代理目标允许稳定和低方差的策略学习，但是需要小的策略更新以确保代理目标保持目标策略值的精确近似。在本文中，我们推导出一个替代的目标，通过应用重要性采样（IS）获得的目标政策的价值。然而，基本重要性抽样目标不适合策略优化，因为它会导致太大的变化，在政策更新。因此，我们引入了一个近似值，使我们能够直接权衡的偏差近似与政策更新的方差。我们表明，我们的近似统一以前开发的方法，并允许我们之间的插值。我们通过用近端策略优化技术优化引入的目标来开发实用算法（Schulman等人，2017年）。我们还提供了一个理论分析的政策优化目标，展示偏差方差权衡。我们的经验表明，所得到的算法改进后的最先进的政策政策优化的连续控制基准。
2020-02-21 cs.AI cs.LG stat.ML
Effects of sampling skewness of the importance-weighted risk estimator on model selection
Netherlands eScience Center（荷兰电子科学中心）；Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
重要性加权是一种流行的和研究的技术，用于处理样本选择偏差和协变量偏移。它具有无偏性、一致性和低计算复杂度等优良特性。然而，加权也可能对估计器产生不利影响。在这项工作中，我们的经验表明，抽样分布的重要性加权估计可以偏斜。对于样本选择偏倚设置，以及对于小样本量，重要性加权风险估计量对采样分布主体（即大多数情况）中的数据集产生高估，对采样分布尾部的数据集产生大幅低估。当用于重要性加权验证时，这些对风险的高估和低估导致次优正则化参数。
2018-04-19 cs.LG stat.ML
Monte Carlo Inference via Greedy Importance Sampling
University of Waterloo（滑铁卢大学）
本文提出了一种新的图模型蒙特卡罗推理方法，它结合了显式搜索和广义重要性采样。其思想是通过搜索目标分布中的显著点来减小重要性采样的方差。我们证明，它是可以引入搜索，仍然保持无偏性。然后，我们展示了我们的程序在一些简单的推理任务，并表明它可以提高标准MCMC方法，包括吉布斯抽样，大都会抽样，混合蒙特卡罗的推理质量。本文扩展了以往的工作，表明如何贪婪重要性采样可以正确地实现在一维的情况下。
2013-01-16 cs.LG stat.CO stat.ML
Confident Off-Policy Evaluation and Selection through Self-Normalized Importance Weighting
DeepMind（深度思维）
我们认为，在上下文的强盗设置的目的，获得一个强大的关闭政策的选择策略，其中的选择策略的价值进行评估的基础上，在一组建议（目标）的政策。我们提出了一种新的方法来计算一个任意的目标策略的值的下限给定的一些记录的数据在上下文强盗所需的覆盖范围。下限是围绕所谓的自归一化重要性加权（SN）估计量建立的。它结合了使用半经验的Efron-Stein尾不等式来控制浓度和一个新的乘法（而不是加法）控制的偏差。新的方法进行了评估，一些合成和真实的数据集，并被认为是优于其主要竞争对手，无论是在紧的置信区间和所选择的政策的质量。
2022-03-21 cs.LG stat.ML
Demystifying the Paradox of Importance Sampling with an Estimated History-Dependent Behavior Policy in Off-Policy Evaluation
Hongyi Zhou（周洪毅）；Josiah P. Hanna（哈尼安）；Jin Zhu（朱锦）；Ying Yang（杨莹）；Chengchun Shi（石成春）
本文从理论上揭示了在离策略评估中，使用历史依赖的估计行为策略虽增加有限样本偏差，但能降低渐近方差，从而降低均方误差，并将此结论扩展至多种OPE估计量。
2025-05-28 cs.AI cs.LG stat.ML
Hamiltonian Annealed Importance Sampling for partition function estimation
Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；University of California, Berkeley（加州大学伯克利分校）
我们引入了一个扩展退火重要性采样，使用哈密顿动力学快速估计归一化常数。我们证明了这种方法通过计算日志似然有向和无向概率图像模型。我们比较了线性生成模型的性能与高斯和拉普拉斯先验，产品的专家模型与拉普拉斯和学生的t专家，mc-RBM，和双线性生成模型。我们提供代码来比较其他模型。
2012-05-09 cs.LG physics.data-an
On Exploration, Exploitation and Learning in Adaptive Importance Sampling
University of Oxford（牛津大学）；Northeastern University（东北大学）
我们研究自适应重要性抽样（AIS）作为一个在线学习问题，并认为在这种适应的探索和利用之间的权衡的重要性。借鉴土匪文学的思想，我们提出了Daisee，一个基于分区的AIS算法。我们进一步介绍了一个概念的遗憾AIS和Daisee有$\mathcal{O}(\sqrt{T}(\log T)^{\frac{3}{4}})$累积伪遗憾，其中$T$是迭代次数。然后，我们扩展Daisee自适应学习的样本空间的分层分区更有效的采样和确认这两种算法的性能经验。
2018-10-31 cs.LG stat.ML
GPS: A Policy-driven Sampling Approach for Graph Representation Learning
Ant Group（蚂蚁集团）；Macquarie University（麦考瑞大学）
图表示学习近年来受到越来越多的关注，特别是在分类和推荐任务中学习节点和图级别的低维嵌入。为了能够学习现实世界中大规模图数据的表示，许多研究都集中在开发不同的采样策略以促进训练过程。本文提出了一种自适应图策略驱动的采样模型（GPS），通过自适应相关性计算来实现局部邻域中每个节点的影响。具体而言，邻居的选择由自适应策略算法指导，直接有助于消息聚合、节点嵌入更新和图级读出步骤。然后，我们从各个角度对图分类任务的基线方法进行了全面的实验。我们提出的模型在几个重要的基准测试中比现有模型的性能高出3%-8%，在现实世界的数据集中实现了最先进的性能。
2022-01-19 cs.AI cs.LG
Importance mixing: Improving sample reuse in evolutionary policy search methods
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
深度神经进化，即基于深度神经网络的进化策略搜索方法，由于其更好的并行化能力，最近已经成为深度强化学习算法的竞争对手。然而，这些方法仍然遭受差得多的样本效率。在本文中，我们调查是否被称为“重要性混合”的机制，可以显着提高他们的样本效率。我们提供了一个教学演示的重要性混合，我们解释如何可以扩展到重用更多的样本。然后，通过基于简单基准的实证比较，我们表明，尽管它实际上提供了更好的样本效率，但它仍然远远低于深度强化学习的样本效率，尽管它更稳定。
2018-08-17 cs.LG stat.ML
Multiple Importance Sampling for Stochastic Gradient Estimation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；Adobe Research（奥多比研究院）；University College London（伦敦大学学院）
本文提出一个用于随机梯度估计的重要性采样框架，通过自适应度量动态演化重要性分布，并结合多个针对特定参数梯度的采样分布进行最优加权，从而获得更优的梯度估计并加快训练收敛。
2025-01-28 cs.LG stat.ML
Variance Reduction in SGD by Distributed Importance Sampling
Université de Montréal（蒙特利尔大学）
人类能够通过选择信息量最大且难度适当的培训材料来加速学习。我们提出了一个分布式深度学习的框架，其中一组工作人员并行搜索信息量最大的示例，而单个工作人员根据重要性抽样选择的示例更新模型。这导致模型使用梯度的无偏估计来更新，当采样建议与梯度的L2范数成比例时，该梯度的无偏估计也具有最小方差。我们的实验表明，这种方法降低梯度方差，即使在机器之间的同步成本不能忽略的情况下，其中的重要性抽样的因素没有立即更新整个训练集。
2016-04-16 cs.LG stat.ML
Active Learning with Importance Sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们考虑一个主动学习设置，其中算法可以访问一个大的未标记数据池和一个小的标记数据池。在每次迭代中，该算法选择少数未标记的数据点，并从Oracle中获得它们的标签。在本文中，我们考虑一个概率查询过程来选择要标记的点。我们提出了一种主动学习算法与重要性采样（ALIS），并推导出上界的任何概率抽样过程中的算法所产生的真实损失。此外，我们提出了一个最佳的抽样分布，最大限度地减少了上界的真实损失。
2019-10-10 cs.LG stat.ML
When Machine Learning Meets Importance Sampling: A More Efficient Rare Event Estimation Approach
School of Data Science, the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
针对串联队列稳态稀有事件概率估计，提出基于边际似然比的新重要性采样方法，并用机器学习估计该比率，实验证明优于经典方法。
2025-04-18 cs.LG math.OC math.PR
Finite Mixture Model of Nonparametric Density Estimation using Sampling Importance Resampling for Persistence Landscape
Allameh Tabatabai University（阿拉梅·塔巴塔拜大学）
考虑到持久性景观在参数化曲线上的产生和采样结构，存在一个随机过程，对于给定的数据集，持久性景观的有限混合模型（FMMPL）可以提供更好的描述。本文提出了一种非参数的方法来计算在持久性景观的综合均方误差（IMSE）。因此，FMMPL比另一种方法更准确。提出了采样重要性响应（SIR），较好地描述了参数化曲线中的重要标志点。结果，提供了更高的准确性和更低的空间复杂性比简单的采样选择的地标。
2018-11-17 cs.LG stat.ML
Amortised adaptive importance sampling
University of Edinburgh（爱丁堡大学）
该研究提出一种摊销自适应重要性采样算法，通过轻量级神经网络实现，可高效从训练分布族内的目标采样，性能优于特定目标摊销采样器及无训练自适应重要性采样算法，还探索了其泛化潜力。
2026-10-14 cs.LG stat.ML
Stabilizing Off-policy LLM Optimization with Prefix Importance Ratio
The University of Sydney（悉尼大学）；ByteDance（字节跳动）；Nanyang Technological University（南洋理工大学）
本文提出MinPRO目标，通过使用非累积的最小token级比率替代累积前缀比率，以稳定LLM在非策略性条件下的训练和优化。
2026-11-05 cs.AI cs.LG
Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
Yale University（耶鲁大学）；University of Sydney（悉尼大学）
提出采样引导策略搜索（SGPS），结合基于采样的模型预测控制与一阶策略优化，加速视觉策略学习，并在模拟及真实Go2机器人上实现零样本迁移。
2026-09-18 cs.AI cs.LG cs.RO
Importance Sampling for Minibatches
School of Mathematics（数学学院）；University of Edinburgh（爱丁堡大学）
Minimetry是监督学习中一种研究得很好且非常流行的技术，由于其通过更好地利用并行处理能力和减少随机方差来加速训练的能力而被从业者使用。另一种流行的技术是重要性采样--一种对更重要的样本进行优先采样的策略，也能够加速训练过程。然而，尽管社区在这些领域做出了相当大的努力，并且由于该问题固有的技术难度，目前还没有将重要性采样的力量与小型化的力量相结合的工作。在本文中，我们提出了第一个{ \em重要性采样的小批量}，并给出了简单而严格的复杂性分析其性能。我们说明了合成问题，对于某些属性的训练数据，我们的采样可以导致几个数量级的改进训练时间。然后，我们在几个流行的数据集上测试了新的采样，并表明改进可以达到一个数量级。
2016-02-06 cs.LG math.OC stat.ML
Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning
CAS Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, CAS, Beijing, 100190, China（中国科学院网络数据科学与技术重点实验室，计算技术研究所，中国科学院，北京）；University of Chinese Academy of Sciences, Beijing, 101408, China（中国科学院大学，北京）；School of Computer and Information Engineering, Hanshan Normal University, Guangdong, 521041, China（韩山师范学院计算机与信息工程学院，广东）；School of Physics and Electronic Engineering, Hanshan Normal University, Guangdong, 521000, China（韩山师范学院物理与电子工程学院，广东）；School of Data Science, Capital University of Economics and Business, Beijing, 100070, China（首都经济贸易大学数据科学学院，北京）
本文提出相对重要性采样（RIS）以缓解离策略强化学习中重要性采样的高方差问题，并开发首个无模型RIS离策略演员-评论家算法，在OpenAI Gym和合成数据集上取得优于或等同现有基准的效果。
2025-04-28 cs.AI cs.LG stat.ML
Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
CREST（CREST（法国统计研究中心））；ENSAE（法国国立统计与经济管理学校）；IP Paris（巴黎理工学院）；Criteo AI Lab（Criteo人工智能实验室）
针对离线策略学习悲观主义缺乏统一分析框架的问题，提出全面的PAC-Bayesian框架，推导出适用于常见重要性权重正则化的泛化界，并在单一框架内比较，实证证明了标准IW正则化技术的有效性。
2024-06-05 cs.AI cs.LG stat.ML
Importance Resampling for Off-policy Prediction
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）；Huawei（华为）
重要性采样（IS）是强化学习中用于偏离策略预测的常见重加权策略。虽然它是一致和无偏的，但它可能导致对价值函数的权重的高方差更新。在这项工作中，我们探讨了一个rescue战略作为一种替代重新加权。我们提出了重要性恢复（IR）的政策预测，从重放缓冲区重新采样的经验，并适用于标准的政策更新。该方法避免了在更新中使用重要性采样比率，而是在更新之前校正分布。我们的特点的偏见和一致性的IR，特别是相比加权IS（WIS）。我们证明了在几个微观世界，IR提高了样本效率和较低的方差更新，相比，IS和几个方差减少的IS策略，包括变体的WIS和V-跟踪剪辑IS比率。我们还提供了一个演示，显示IR提高了IS学习的价值函数从图像中的赛车模拟器。
2019-11-13 cs.AI cs.LG stat.ML
Lifetime policy reuse and the importance of task capacity
Centre for Frontier AI Research, A*STAR（A*STAR前沿人工智能研究中心）；University of Southampton（南安普顿大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对终身强化学习中多策略学习易生成大量策略的问题，提出模型无关的终身策略复用算法与任务容量指标，实验验证了二者在多任务领域的有效性。
2023-10-20 cs.AI cs.LG cs.NE
Tree pyramidal adaptive importance sampling
Intel Labs, Intel Corporation（英特尔公司英特尔研究院）
本文介绍了树-金字塔自适应重要性抽样（TP-AIS），一种新的迭代抽样方法，它优于确定性混合总体蒙特卡罗（DM-PMC）、混合总体蒙特卡罗（M-PMC）和分层自适应重要性抽样（LAIS）等最先进的方法。TP-AIS迭代地构建由树金字塔参数化的建议分布，其中每个树叶跨越表示其重要性密度的子空间。在每个新的采样操作之后，一组树叶被细分，以改善建议分布对目标密度的近似。与文献中的其他方法不同，TP-AIS是无参数的，不需要调整就能达到最佳性能。我们评估TP-AIS与不同的复杂性随机目标概率密度函数（PDF），并分析其应用到不同的维度。最先进的迭代重要性抽样方法和其他基线MCMC方法使用归一化有效样本量（N-ESS），詹森-香农发散和时间复杂度的结果进行比较。
2020-03-23 cs.LG stat.CO stat.ML
Failure Probability Estimation for Black-Box Autonomous Systems using State-Dependent Importance Sampling Proposals
Stanford University（斯坦福大学）
针对黑盒安全关键自主系统罕见失效难以估计的问题，提出基于状态依赖提议和Markov得分上升的自适应重要性采样算法，在四个序贯系统上显著提升估计精度并开源。
2024-12-03 cs.AI cs.LG cs.RO
Policy Optimization via Importance Sampling
Politecnico di Milano（米兰理工大学）；IDSIA（达勒莫尔人工智能研究所（IDSIA））；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
策略优化是解决连续控制任务的一种有效的强化学习方法。最近的成就表明，交替在线和离线优化是有效的轨迹重用的成功选择。然而，决定何时停止优化并收集新的轨迹是不平凡的，因为它需要考虑目标函数估计的方差。在本文中，我们提出了一种新的，无模型，政策搜索算法，POIS，适用于基于动作和基于参数的设置。我们首先推导出一个高置信度界重要性采样估计，然后我们定义了一个代理目标函数，这是离线优化每当一批新的轨迹被收集。最后，该算法进行了测试的选择连续控制任务，线性和深度的政策，并与国家的最先进的政策优化方法进行比较。
2018-10-31 cs.AI cs.LG stat.ML
