Hierarchical Empowerment: Towards Tractable Empowerment-Based Skill Learning
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
针对互信息难优化导致赋能式技能学习受限的问题，提出分层赋能框架，结合目标条件分层强化学习，通过新变分下界和分层架构提升赋能计算可行性，在模拟机器人蚂蚁导航任务中，四层智能体技能覆盖面积超先前工作两个数量级。
2023-10-03 cs.AI cs.LG cs.RO
C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents
Faculty of Technology, Bielefeld University, Germany（比勒菲尔德大学技术学院，德国）；Department of Electrical Engineering and Information Technology, Paderborn University, Germany（帕德博恩大学电气工程与信息科技系，德国）
本文提出C-STEP方法，通过结合导航奖励设计物理引导的内在奖励，提升移动智能体在复杂环境中的安全导航能力，减少碰撞并优化任务完成。
2026-03-25 cs.LG cs.SY eess.SY
Understanding Action Effects through Instrumental Empowerment in Multi-Agent Reinforcement Learning
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA), USI-SUPSI（日内瓦人工智能研究所（IDSIA）、USI-SUPSI）
本研究针对MARL系统中缺乏价值反馈时智能体贡献难以推断的问题，提出基于信息论夏普利值的预期合作值（ICVs）方法，量化智能体对队友工具赋能的因果影响，识别利于团队成功的行为并增强系统可解释性。
2025-08-23 cs.AI cs.IT cs.LG
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards
Massachusetts Institute of Technology（麻省理工学院）；Horizon Robotics（地平线机器人）
为了提供自适应和用户友好的解决方案，机器人操作，重要的是，代理可以学习完成任务，即使他们只提供非常稀疏的指令信号。为了解决任务奖励稀疏时强化学习算法面临的问题，本文提出了一种内在激励方法，该方法可以很容易地集成到任何标准的强化学习算法中，并且可以允许机器人操作器在只有稀疏的外部奖励的情况下学习有用的操作技能。通过整合和平衡授权和好奇心，这种方法显示出优越的性能相比，其他国家的最先进的内在探索方法在广泛的实证测试。定性分析还表明，当与多样性驱动的内在动机相结合时，这种方法可以帮助操纵者学习一组多样的技能，这些技能可能适用于其他更复杂的操纵任务，并加速他们的学习过程。
2021-06-16 cs.LG cs.RO
AvE: Assistance via Empowerment
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）；University of Hertfordshire（赫特福德大学）
将人工智能体用于人类辅助应用的一个困难在于准确地帮助人实现目标的挑战。现有的方法往往依赖于推断人类的目标，这是具有挑战性的，当有许多潜在的目标或当一组候选目标是难以识别。我们提出了一种新的援助模式，而不是增加人类的能力来控制他们的环境，并正式通过增强强化学习与人类赋权这种方法。这个任务不可知的目标保留了人的自主性和实现任何最终状态的能力。我们测试我们的方法对援助的基础上的目标推断，突出的情况下，我们的方法克服了失败模式的目标模糊或错误指定。由于现有的方法估计授权在连续域计算困难，排除其使用在实时的学习援助，我们还提出了一个有效的授权启发代理度量。使用这个，我们能够成功地证明我们的方法在共享自主用户研究具有挑战性的模拟遥操作任务与人在环训练。
2021-01-07 cs.AI cs.LG cs.RO
INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；University of California Berkeley（加州大学伯克利分校）
设计用于处理复杂视觉观察的基于模型的强化学习（RL）算法通常显式或隐式地学习某种潜在状态表示。这类标准方法不区分状态的功能相关方面和不相关的干扰因素，而是旨在平等地表示所有可用的信息。我们提出了一个修改后的目标，基于模型的强化学习，结合互信息最大化，使我们能够学习表示和动态视觉基于模型的强化学习，而无需重建的方式，明确优先考虑功能相关的因素。我们的设计背后的关键原则是将一个由变权启发的术语集成到基于互信息的状态空间模型中。该术语优先考虑与行动相关的信息，从而确保首先捕获功能相关的因素。此外，相同的授权项也促进了RL过程中更快的探索，特别是对于奖励信号不足以在学习的早期阶段驱动探索的稀疏奖励任务。我们评估了一套基于视觉的机器人控制任务与自然的视频背景的方法，并表明，所提出的优先信息目标优于国家的最先进的基于模型的RL方法具有更高的样本效率和情节回报。https://sites.google.com/view/information-empowerment
2022-04-18 cs.AI cs.LG cs.RO
Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning
Your Fantastic Institute（优范研究院）；Their Fantastic Institute（泽范研究院）
互信息是一个核心统计量，在机器学习的所有领域都有应用，无论是在多个数据模态上训练密度模型，最大化噪声传输信道的效率，还是在学习人工智能体探索的行为策略时。大多数涉及互信息优化的学习算法依赖于Blahut-Arimoto算法-一种具有指数复杂度的枚举算法，不适合现代机器学习应用。本文通过融合变分推断和深度学习的技术，为互信息的可扩展优化提供了一种新方法。我们通过关注内在动机学习的问题来开发我们的方法，其中互信息形成了一个众所周知的内部驱动的定义，称为授权。使用互信息的变分下界，结合处理视觉输入流的卷积网络，我们开发了一种随机优化算法，该算法允许直接从像素到动作的可扩展信息最大化和基于授权的推理。
2015-09-29 cs.AI cs.LG stat.ML
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST（韩国科学技术院）；UNIST（蔚山国立科学技术院）
本文提出变分课程强化学习（VCRL）和价值不确定性变分课程（VUVC），将变分赋能重构为目标条件强化学习中的课程学习，以提升无监督技能发现的样本效率与状态覆盖速度，并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning
Seoul National University（首尔国立大学）
在高度复杂的环境中，许多机器人任务是由许多时间相关的子任务组成的。重要的是通过仔细考虑时间抽象来发现情境意图和适当的行动，以有效地解决问题。为了理解与不断变化的任务动态分离的意图，我们将基于授权的正则化技术扩展到基于生成对抗网络框架的多任务情况。在动态未知的多任务环境下，我们专注于从未标记的专家样本中学习奖励和策略。在本研究中，我们将情境授权定义为互信息的最大值，它代表了以特定状态和子任务为条件的行为如何影响未来。该方法通过推导情境互信息的变分下界来优化情境互信息，并通过在目标函数中加入诱导项来同时学习可转移的多任务奖励函数和策略.通过这样做，多任务奖励函数有助于学习针对环境变化的稳健政策。我们验证了我们的方法在多任务学习和多任务迁移学习上的优势。我们证明了我们提出的方法具有鲁棒性的随机性和不断变化的任务动态。最后，我们证明了我们的方法具有显着更好的性能和数据效率比现有的模仿学习方法在各种基准。
2022-06-19 cs.AI cs.LG cs.RO
Skill Discovery of Coordination in Multi-agent Reinforcement Learning
Tsinghua University（清华大学）
无监督的技能发现驱动智能体在没有特定任务奖励信号的情况下探索未知环境，并且智能体获得各种技能，这些技能在智能体适应新任务时可能是有用的。在本文中，我们提出了“多智能体技能发现”（MASD），发现多个代理的协调模式的技能的方法。所提出的方法旨在最大化的互信息之间的潜在代码Z表示的技能和所有代理的状态的组合。同时，通过对抗训练，抑制了Z对任何单个Agent状态的授权。也就是说，它设置了一个信息瓶颈，以避免权力退化。首先，我们展示了在一般粒子多智能体环境中协调水平上的各种技能的出现。其次，我们揭示了“瓶颈”防止技能崩溃到一个单一的代理，并提高了学习技能的多样性。最后，我们证明了预训练的策略在监督RL任务上具有更好的性能。
2020-06-07 cs.LG cs.MA
Reward is not Necessary: How to Create a Modular & Compositional Self-Preserving Agent for Life-Long Learning
University of Minnesota（明尼苏达大学）
本文提出用赋能（empowerment）作为内在动机，通过算子贝尔曼方程实现层次化赋能度量，使终身学习智能体无需奖励即可自我保全并发现有利目标。
2023-11-14 cs.AI cs.LG
Representation Learning on Graphs: A Reinforcement Learning Application
University College London（伦敦大学学院）
在这项工作中，我们研究的价值函数逼近的强化学习（RL）问题的高维状态或动作空间通过一个广义版本的表示策略迭代（RPI）。我们考虑的局限性，原价值函数（PVFs）在准确地逼近低维的价值函数，我们强调的重要性，功能学习的改进低维价值函数近似。然后，我们采用不同的图上的表示学习算法来学习最能表示价值函数的基函数。我们的经验表明，node2vec，网络中的可扩展特征学习算法，和变分图自动编码器不断优于常用的平滑原价值函数在低维特征空间。
2019-01-17 cs.LG stat.ML
Continual State Representation Learning for Reinforcement Learning using Generative Replay
ENSTA ParisTech（巴黎高等先进技术学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）
我们认为，在一个连续的方式建立一个状态表示模型的问题。随着环境的变化，目标是在不丢失过去知识的情况下有效地压缩感觉状态的信息。然后将学习到的特征馈送到强化学习算法以学习策略。我们建议使用变分自动编码器进行状态表示，并生成重放，即使用生成的样本，以保持过去的知识。我们还提供了一个通用的和统计上合理的方法自动环境变化检测。我们的方法提供了有效的状态表示以及前向传输，并避免了灾难性遗忘。由此产生的模型是能够增量学习信息，而不使用过去的数据和有限的系统规模。
2018-12-11 cs.LG stat.ML
Learning Efficient Representation for Intrinsic Motivation
UC Berkeley（加州大学伯克利分校）
Agent行为与环境状态之间的互信息（MIAS）量化了Agent对环境的影响。最近，人们发现，MIAS的最大化可以被用作人工代理的内在动机。在文献中，授权一词被用来表示在某一状态下MIAS的最大值。虽然赋权已被证明可以解决广泛的强化学习问题，但其在任意动态中的计算是一个具有挑战性的问题，因为它依赖于互信息的估计。现有的方法，依赖于采样，是有限的低维空间，因为高置信度分布的自由下限互信息需要指数数量的样本。在这项工作中，我们开发了一种新的方法来估计授权在未知的动态视觉观察，而不需要采样MIAS。其核心思想是在潜空间中用一种特定形式的随机动态模型来表示动作序列与未来状态之间的关系。这使我们能够有效地计算授权与“注水”算法从信息论。我们使用在复杂目标函数上训练的深度神经网络来构建这种嵌入。我们的实验结果表明，所设计的嵌入保留了原始动力学的信息论性质。
2020-08-02 cs.LG cs.RO stat.ML
The Dreaming Variational Autoencoder for Reinforcement Learning Environments
University of Agder（阿格德尔大学）
强化学习在仅使用单个神经网络进行价值优化来概括原始感觉数据方面显示出巨大的潜力。在当前最先进的强化学习算法中存在几个挑战，这些挑战阻止它们收敛到全局最优值。这些问题的解决方案可能在于强化学习算法的短期和长期规划、探索和存储管理。游戏通常用于对强化学习算法进行基准测试，因为它们提供了一个灵活、可重复且易于控制的环境。无论如何，很少有游戏具有状态空间，其中探索，记忆和规划的结果很容易被感知。本文提出了梦想的变分自编码器（DVAE），一个神经网络为基础的生成式建模架构，探索在环境中的稀疏反馈。我们进一步提出了深度迷宫，一种新颖而灵活的迷宫引擎，挑战DVAE在部分和完全可观察的状态空间，长期任务，以及确定性和随机性问题。我们展示了初步的发现，并鼓励在生成探索驱动的强化学习方面开展进一步的工作。
2018-10-02 cs.AI cs.LG
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Wasserstein Unsupervised Reinforcement Learning
Tsinghua University（清华大学）
无监督强化学习旨在训练智能体在没有外部奖励的环境中学习少量策略或技能。这些预先训练好的策略在被赋予外部奖励时可以加速学习，也可以作为分层强化学习中的原始选项。传统的无监督技能发现方法通过向Agent提供一个潜在变量，并通过互信息（MI）最大化来释放其对Agent行为的授权。然而，通过基于MI的方法学习的策略不能充分地探索状态空间，尽管它们可以成功地彼此识别。因此，我们提出了一个新的框架Wasserstein无监督强化学习（WURL），我们直接最大化的状态分布的距离不同的政策。此外，我们克服了同时训练N（N >2）个策略的困难，并将整体奖励分摊到每一步。实验表明，我们的方法学习的策略优于基于MI的方法的Wasserstein距离的度量，同时保持高的可区分性。此外，WURL训练的智能体可以充分探索迷宫和MuJoCo任务中的状态空间，并且预先训练的策略可以通过分层学习应用于下游任务。
2021-10-15 cs.LG
Advancing Autonomous VLM Agents via Variational Subgoal-Conditioned Reinforcement Learning
University of Liverpool（利物浦大学）；University of Southampton（南安普顿大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；University College London（伦敦大学学院）
针对现有强化学习方法在复杂稀疏奖励长程决策任务中学习效率低的问题，提出变分子目标条件强化学习框架VSC-RL，通过新的SGC-ELBO优化目标提升VLM智能体的学习效率与性能，在多类基准测试中优于现有SOTA方法。
2025-05-20 cs.AI cs.LG
Resource Governance in Networked Systems via Integrated Variational Autoencoders and Reinforcement Learning
Northeastern University（东北大学）；College of Engineering（工程学院）；College of Engineering and Network Science Institute（工程与网络科学学院）
本研究提出一种集成VAE与强化学习的框架，通过控制网络结构编码的隐空间处理庞大动作空间，动态调整多智能体系统网络结构以平衡性能与资源，在修改版OpenAI粒子环境中性能优于基线并揭示新策略。
2024-10-30 cs.AI cs.LG cs.MA
TTVS: Boosting Self-Exploring Reinforcement Learning via Test-time Variational Synthesis
The Hong Kong University of Science and Technology（香港科技大学）
本文提出TTVS框架，通过动态增强未标记测试查询流，使大推理模型自我进化，提升测试时适应性能，实验显示其在八种模型架构上表现优异。
2026-04-09 cs.AI cs.LG
Optimizing Vehicular Networks with Variational Quantum Circuits-based Reinforcement Learning
York University（约克大学）
本文提出基于变分量子电路的多目标强化学习框架，用于车载网络中的网络选择与自动驾驶决策，相比传统深度Q网络在收敛速度和奖励上均有显著提升。
2024-05-29 cs.AI cs.LG cs.NI
Efficient Model-Based Deep Reinforcement Learning with Variational State Tabulation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
现代强化学习算法在许多棋盘游戏和视频游戏中达到了超人的性能，但它们的样本效率很低，即它们通常需要比人类更多的游戏经验才能达到同等的性能水平。为了提高样本效率，智能体可以建立环境模型并使用规划方法来更新其策略。在这篇文章中，我们介绍了变分状态表（VaST），它将具有高维状态空间（例如视觉输入空间）的环境映射到抽象的表格模型。然后，可以使用具有小备份的优先级扫描（一种高效的规划方法）来更新状态-动作值。我们展示了VaST如何快速学习，以最大限度地提高3D导航等任务的奖励，并有效地适应奖励或转移概率的突然变化。
2018-06-11 cs.AI cs.LG stat.ML
Variational Quantum Soft Actor-Critic
University of Alberta（阿尔伯塔大学）
量子计算在解决特定问题方面具有优越的优势，如整数分解和西蒙问题。对于机器学习中更一般的任务，通过应用变分量子线路，最近提出了越来越多的量子算法，特别是在监督学习和无监督学习中。然而，在强化学习方面做的工作很少，可以说更重要和更具挑战性。量子强化学习以前的工作主要集中在离散控制任务，其中动作空间是离散的。在这项工作中，我们开发了一种基于软演员-评论家的量子强化学习算法-连续控制的最先进方法之一。具体来说，我们使用一个混合量子经典策略网络组成的变分量子线路和经典人工神经网络。在一个标准的强化学习基准测试中，我们证明了这种量子版本的软演员-评论家与原始的软演员-评论家相当，使用的可调参数少得多。此外，我们分析了不同的超参数和策略网络结构的影响，指出了量子强化学习的结构设计的重要性。
2021-12-20 cs.AI cs.LG quant-ph
Uncertainty-based Offline Variational Bayesian Reinforcement Learning for Robustness under Diverse Data Corruptions
University of Science and Technology of China（中国科学技术大学）
针对多样数据损坏导致离线强化学习智能体性能下降的问题，提出基于贝叶斯推理的TRACER方法，通过熵度量区分并降低损坏数据影响，在多种损坏场景下性能优于现有最优方法。
2024-11-01 cs.AI cs.LG
Constrained Variational Policy Optimization for Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Nuro Inc.（Nuro公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
安全强化学习（RL）旨在学习满足某些约束的策略，然后将其部署到安全关键应用程序。以前的原始-对偶风格的方法遭受不稳定性问题，缺乏最优性保证。本文从概率推理的角度克服了这一问题。我们引入了一种新的期望最大化方法，自然地将约束条件的策略学习：1）可证明的最佳非参数变分分布可以计算在一个凸优化（E-step）后，在封闭的形式; 2）在信任区域的基础上的最佳变分分布（M-step）的策略参数进行了改进。该算法将安全强化学习问题分解为凸优化阶段和监督学习阶段，从而获得更稳定的训练性能。对连续机器人任务的大量实验表明，与基线相比，该方法具有更好的约束满足性能和更好的样本效率。该代码可在https://github.com/liuzuxin/cvpo-safe-rl上获得。
2022-06-17 cs.AI cs.LG cs.RO
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
Peking University（北京大学）；Rice University（Rice大学）；hi-lab, Xiaohongshu Inc（小红书实验室，小红书公司）
本文提出MARVAL框架，通过压缩扩散链为单步自回归生成，提升推理效率并使强化学习实用化，实现了生成模型的快速采样和偏好对齐。
2026-03-17 cs.AI cs.LG
Variational Regret Bounds for Reinforcement Learning
Montanuniversität Leoben（莱奥本矿业大学）
我们考虑马尔可夫决策过程（MDP）中的非折扣强化学习，其中奖励函数和状态转移概率都可能随时间变化（逐渐或突然）。对于这个问题的设置，我们提出了一个算法，并提供性能保证的最佳非平稳政策评估的遗憾。遗憾的上限是在MDP的总变化方面。这是一般强化学习设置的第一个变分遗憾界。
2019-09-10 cs.LG stat.ML
VariBASed: Variational Bayes-Adaptive Sequential Monte-Carlo Planning for Deep Reinforcement Learning
Trent AI Ltd（Trent AI有限公司）；Delft University of Technology（代尔夫特理工大学）
本文提出VariBASeD方法，通过融合变分信念学习、序列蒙特卡洛规划和元强化学习，提升深度强化学习中探索与利用的效率。
2026-02-21 cs.LG
Variational Quantum Circuits for Deep Reinforcement Learning
National Taiwan University（台湾大学）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
最先进的机器学习方法是基于经典的冯·诺依曼计算体系结构，并已广泛应用于许多工业和学术领域。随着量子计算的最新发展，研究人员和科技巨头已经尝试了新的量子电路用于机器学习任务。然而，由于深度量子电路的复杂性，现有的量子计算平台很难模拟经典的深度学习模型或问题。因此，有必要设计可行的量子算法用于噪声中间尺度量子（NISQ）设备的量子机器学习。这项工作探索了用于深度强化学习的变分量子电路。具体来说，我们将经典的深度强化学习算法（如经验重放和目标网络）重塑为变分量子电路的表示。此外，我们使用量子信息编码方案，以减少模型参数的数量相比，经典的神经网络。据我们所知，这项工作是变分量子电路的第一个原理证明，以近似决策和策略选择强化学习的深度$Q$价值函数，并具有经验重放和目标网络。此外，我们的变分量子电路可以部署在许多近期NISQ机器。
2020-07-20 cs.AI cs.LG quant-ph
Variational Bayesian Reinforcement Learning with Regret Bounds
DeepMind（深度思维）
在强化学习中，Q值总结了智能体将获得的预期未来奖励。然而，他们无法捕捉到这些奖励的认知不确定性。在这项工作中，我们推导出一个新的Bellman算子与相关的不动点，我们称之为“知识值”。这些K值将预期的未来回报和认知的不确定性压缩到一个值中，因此高不确定性、高回报或两者都可以产生高K值。关键原则是赋予代理人一个寻求风险的效用函数，该函数经过精心调整，以平衡探索和开发。当智能体在K值上遵循玻尔兹曼策略时，它会产生$\tilde O(L \sqrt{S A T})$的贝叶斯后悔界，其中$L$是时间范围，$S$是状态总数，$A$是动作数，$T$是经过的时间步数。我们展示了这种方法与强化学习研究中的软最大和最大熵链的深层联系。
2022-12-06 cs.AI cs.LG stat.ML
VASE: Variational Assorted Surprise Exploration for Reinforcement Learning
University of Otago（奥塔哥大学）
在具有连续控制和稀疏奖励的环境中进行探索仍然是强化学习（RL）的关键挑战。最近，惊喜被用作一种内在奖励，鼓励系统和有效的探索。我们引入了一个新的惊喜的定义和它的RL实现命名为变分什锦惊喜探索（VASE）。VASE使用贝叶斯神经网络作为环境动态模型，并使用变分推理进行训练，交替更新代理模型和策略的准确性。我们的实验表明，在连续控制稀疏奖励环境中，VASE优于其他基于探索的技术。
2019-10-31 cs.LG stat.ML
Variational OOD State Correction for Offline Reinforcement Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（计算机科学与技术学院，南京航空航天大学，信息科技部模式分析与机器智能重点实验室）
针对离线强化学习中的状态分布偏移问题，提出密度感知安全感知（DASP）变分方法，通过优化高数据密度行动促进安全决策，并在MuJoCo和AntMaze上验证有效性。
2025-07-08 cs.AI cs.LG cs.RO
Outcome-Driven Reinforcement Learning via Variational Inference
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）
虽然强化学习算法提供了自动获取的最优策略，实际应用中需要一些设计决策，如手动设计奖励功能，不仅定义的任务，但也提供了足够的塑造来完成it.In本文中，我们认为强化学习推断的政策，实现预期的结果，而不是作为一个问题的最大化奖励。为了解决这个推理问题，我们建立了一个新的变分推理公式，使我们能够推导出一个形状良好的奖励函数，可以直接从环境的相互作用。从相应的变分目标，我们还推导出一个新的概率Bellman备份操作，并使用它来开发一个关闭的政策算法来解决目标导向的任务。我们的经验表明，这种方法消除了手工制作奖励功能的一套不同的操作和运动任务，并导致有效的目标导向的行为。
2022-12-28 cs.AI cs.LG stat.ME
Adaptive sampling using variational autoencoder and reinforcement learning
Department of Engineering Cybernetics, Norwegian University of Science and Technology（工程 cybernetics 系，挪威科学与技术大学）；Department of Engineering Sciences, University of Agder（工程科学系，阿格德大学）
本文提出结合变分自编码器和强化学习的自适应稀疏感知框架，通过顺序选择测量提升稀疏采样效率和重建质量。
2025-12-03 cs.LG
Constrained Ensemble Exploration for Unsupervised Skill Discovery
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）；Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）；East China University of Science and Technology（华东理工大学）；The Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
本文提出一种基于技能集成的无监督强化学习框架，通过状态原型分区探索和状态分布约束，学习可区分的技能，最大化状态覆盖，并在下游任务中取得优越性能。
2024-05-25 cs.LG
Enhancing variational quantum state diagonalization using reinforcement learning techniques
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息学研究所）；Silesian University of Technology（西里西亚理工大学）；Warsaw University of Technology（华沙理工大学）；Leiden University（莱顿大学）
本文利用强化学习设计极浅量子电路，通过新颖状态编码、稠密奖励和ε-greedy策略，实现了比标准变分量子态对角化算法更浅的电路，适用于硬件深度受限场景。
2024-01-11 cs.AI cs.LG quant-ph
Optimizing Quantum Variational Circuits with Deep Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
量子机器学习（QML）被认为是近期量子器件最有前途的应用之一。然而，量子机器学习模型的优化提出了许多挑战，这些挑战来自硬件的不完善和导航指数缩放希尔伯特空间的根本障碍。在这项工作中，我们评估了当代方法在深度强化学习中的潜力，以增强量子变分电路中基于梯度的优化例程。我们发现，强化学习增强优化器在噪声环境中始终优于梯度下降。所有代码和预训练的权重都可用于复制结果或部署模型：https://github.com/lockwo/rl_qvc_opt。
2022-05-14 cs.LG quant-ph
Interpretable Option Discovery using Deep Q-Learning and Variational Autoencoders
University of Agder（阿格德大学）
深度强化学习（RL）无疑是一个强大的框架，可以在各种学科中训练自主智能体。然而，传统的深层和浅层无模型强化学习算法存在样本效率低和对稀疏状态空间泛化能力不足的问题。具有时间抽象的期权框架也许是解决这些问题最有前途的方法，但它仍然存在明显的缺点。它只能保证局部收敛，并且自动启动和终止条件具有挑战性，实际上通常是手工制作的。我们的建议，深度变分Q网络（DVQN），结合了深度生成学习和强化学习。该算法从高斯分布的潜在空间中找到好的策略，这对于定义选项特别有用。DVQN算法使用具有KL发散的MSE作为正则化，并结合传统的Q-Learning更新。该算法学习一个潜在的空间，代表良好的政策与状态集群的选项。我们表明，DVQN算法是一种很有前途的方法，用于确定基于选项的强化学习的启动和终止条件。实验结果表明，DVQN算法，自动启动和终止，具有与彩虹相当的性能，并能保持稳定的训练后，收敛后的延长时间。
2022-10-03 cs.AI cs.LG
Stein Variational Goal Generation for adaptive Exploration in Multi-Goal Reinforcement Learning
Sorbonne Université（索邦大学）；Univ Angers（昂热大学）
针对多目标强化学习中目标空间不连续、奖励稀疏导致目标难达的问题，提出基于Stein变分梯度下降的SVGG方法，采样适配智能体能力的中等难度目标，提升困难探索任务的成功率与环境变化后的恢复能力。
2023-05-02 cs.LG
Q-based Variational Inverse Reinforcement Learning
提出新型贝叶斯逆强化学习方法QVIRL，兼具可扩展性与不确定性量化能力，在多类任务的学徒学习中表现优异，是首个可从原始像素观测训练的贝叶斯IRL方法。
2026-08-18 cs.LG
Optimizing Variational Quantum Circuits Using Metaheuristic Strategies in Reinforcement Learning
LMU Munich（慕尼黑大学）
本文研究将粒子群优化、模拟退火等元启发式算法引入量子强化学习，以解决梯度方法在平坦解景观中失效的问题，并在MiniGrid和Cart Pole环境中验证了粒子群优化与模拟退火的优越性能。
2024-08-02 cs.AI cs.LG quant-ph
EVaDE : Event-Based Variational Thompson Sampling for Model-Based Reinforcement Learning
National University of Singapore（新加坡国立大学）
针对高维 MBRL 后验采样难题，本文提出 EVaDE，利用基于对象领域知识和 Gaussian dropout 事件卷积层实现变分 Thompson 采样，并在 100K Atari 上验证 EVaDE-SimPLe 的效果。
2025-01-16 cs.LG
A Novel Variational Lower Bound for Inverse Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出VLB-IRL，一种基于概率图模型和变分下界的逆强化学习方法，同时学习奖励与策略，并在多个已知领域超越现有最先进IRL算法，达到专家级性能。
2023-11-10 cs.AI cs.LG cs.RO
Macro Action Reinforcement Learning with Sequence Disentanglement using Variational Autoencoder
Dwango Artificial Intelligence Laboratory（Dwango人工智能实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
将强化学习应用于现实世界问题的一个问题是动作空间上的维数灾难。宏动作，一系列的原始动作，已被研究，以减少关于时间轴的动作空间的维数。然而，以前的研究依赖于人类定义宏动作或假设宏动作是相同原始动作的重复。我们提出了因子化宏动作强化学习（FaMARL），它自主学习一系列动作的分解因子表示，以生成可直接应用于一般强化学习算法的宏动作。FaMARL在需要大量搜索的环境中表现出比其他强化学习算法更高的分数。
2019-06-04 cs.AI cs.LG cs.RO
Anomaly Detection in Time Series Data Using Reinforcement Learning, Variational Autoencoder, and Active Learning
Portland State University（波特兰州立大学）
本文提出将深度强化学习、变分自编码器与主动学习结合，并引入LSTM网络，以克服传统时间序列异常检测需手动调参且难适应新异常类型的局限，实现用最少标记数据检测新异常类别。
2025-04-03 cs.LG
Unsupervised Skill Discovery through Skill Regions Differentiation
East China University of Science and Technology（东华大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI）、中国电信）；Hong Kong University of Science and Technology（香港科学大学）；Tencent（腾讯）；Shanghai AI Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）
针对无监督强化学习中现有技能发现方法在大规模状态空间探索的局限，提出基于技能区域分化的新目标与软模块化条件自编码器，兼顾技能间多样性与技能内探索，在多类下游任务上性能更优。
2025-06-17 cs.LG
Contrastive Variational Reinforcement Learning for Complex Observations
National University of Singapore（新加坡国立大学）
深度强化学习（DRL）在各种机器人任务中取得了重大成功：操纵，导航等，然而，自然环境中复杂的视觉观察仍然是一个重大挑战。本文介绍了对比变分强化学习（CVRL），一种基于模型的方法，处理复杂的视觉观察DRL。CVRL通过对比学习，有区别地最大化潜在状态和观测之间的互信息来学习对比变分模型。它避免了对复杂的观测空间进行不必要的建模，就像常用的生成观测模型经常做的那样，并且更加鲁棒。CVRL在标准Mujoco任务上实现了与最先进的基于模型的DRL方法相当的性能。它在自然Mujoco任务和具有复杂观察的机器人推箱子任务上的表现明显优于它们，例如，动态阴影。CVRL代码可在https://github.com/Yusufma03/CVRL上公开获取。
2020-11-09 cs.LG stat.ML
Reinforcement Learning with Quantum Variational Circuits
Rensselaer Polytechnic Institute（伦斯勒理工学院）
近年来，量子计算技术的发展取得了很大进展，与深度强化学习技术的进步平行。这项工作探讨了量子计算促进强化学习问题的潜力。由于量子计算能够利用叠加和纠缠的量子现象，因此相对于传统算法，它在时间和空间复杂度方面提供了重要的潜在改进。具体来说，我们研究了量子变分电路的使用，这是量子机器学习的一种形式。我们给出了量子变分电路中经典数据的编码技术，进一步探讨了DQN和Double DQN的纯量子和混合量子算法。我们的研究结果表明，混合和纯量子变分电路都有能力解决具有较小参数空间的强化学习任务。这些比较是在两个OpenAI Gym环境中进行的：CartPole和Blackjack，这项工作的成功表明了量子机器学习和深度强化学习之间的强大未来关系。
2020-08-28 cs.LG quant-ph stat.ML
Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning
Institute for Computational & Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Management Science & Engineering, Stanford University（斯坦福大学管理科学与工程系）
本文通过将机器学习中感兴趣的各种问题构建为概率测度空间上定义的泛函的最小化，提供了一个统一的观点。特别是，我们证明了生成对抗网络，变分推理和强化学习中的演员-评论家方法都可以通过我们框架的镜头看到。然后，我们讨论了一个通用的优化算法，我们的配方，称为概率函数下降（PFD），并显示该算法如何恢复现有的独立开发的方法在前面提到的设置。
2019-05-19 cs.LG stat.ML
Variational Sequential Optimal Experimental Design using Reinforcement Learning
Department of Mechanical Engineering, University of Michigan（密歇根大学机械工程系）
本文提出变分序列最优实验设计方法，结合变分后验近似和强化学习，实现基于信息论准则的最优实验设计，展示其在工程和科学中的高效性。
2024-12-23 cs.AI cs.LG stat.CO
Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits
Wells Fargo（富国银行）
本研究证明变分量子电路可增强基于选项-评论家架构的分层强化学习智能体，在标准环境中以更少参数超越经典基线，并揭示量子电路设计原则与架构瓶颈。
2026-09-22 cs.LG quant-ph
Deep Variational Reinforcement Learning for POMDPs
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）
许多现实世界中的序贯决策问题本质上是部分可观察的，并且环境模型通常是未知的。因此，非常需要强化学习方法，该方法可以在仅给出不完整和噪声观测流的情况下解决此类问题。在本文中，我们提出了深度变分强化学习（DVRL），它引入了一种归纳偏差，允许代理学习环境的生成模型，并在该模型中执行推理，以有效地聚合可用信息。我们开发了一个n步逼近证据下限（ELBO），允许模型与策略联合训练。这确保了潜在状态表示适合于控制任务。在Mountain Hike和闪烁的Atari上的实验中，我们表明我们的方法优于以前依赖于递归神经网络来编码过去的方法。
2018-06-06 cs.LG stat.ML
Variational Approach for Job Shop Scheduling
Republic of Korea Navy（韩国海军）；Seoul National University（首尔国立大学）
本文提出变分图到调度器框架，通过解耦表示学习与策略优化，提升作业车间调度问题的训练稳定性与泛化能力。
2026-09-17 cs.AI cs.LG
