Variational Regret Bounds for Reinforcement Learning
Montanuniversität Leoben(莱奥本矿业大学)
我们考虑马尔可夫决策过程(MDP)中的非折扣强化学习,其中奖励函数和状态转移概率都可能随时间变化(逐渐或突然)。对于这个问题的设置,我们提出了一个算法,并提供性能保证的最佳非平稳政策评估的遗憾。遗憾的上限是在MDP的总变化方面。这是一般强化学习设置的第一个变分遗憾界。
2019-09-10 cs.LG stat.ML
VASE: Variational Assorted Surprise Exploration for Reinforcement Learning
University of Otago(奥塔哥大学)
在具有连续控制和稀疏奖励的环境中进行探索仍然是强化学习(RL)的关键挑战。最近,惊喜被用作一种内在奖励,鼓励系统和有效的探索。我们引入了一个新的惊喜的定义和它的RL实现命名为变分什锦惊喜探索(VASE)。VASE使用贝叶斯神经网络作为环境动态模型,并使用变分推理进行训练,交替更新代理模型和策略的准确性。我们的实验表明,在连续控制稀疏奖励环境中,VASE优于其他基于探索的技术。
2019-10-31 cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich(慕尼黑大学)
为了提供一个全面而简洁的教程综述,本文对概率图模型的变分推理和强化学习进行了回顾,并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导,作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Optimizing Quantum Variational Circuits with Deep Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
量子机器学习(QML)被认为是近期量子器件最有前途的应用之一。然而,量子机器学习模型的优化提出了许多挑战,这些挑战来自硬件的不完善和导航指数缩放希尔伯特空间的根本障碍。在这项工作中,我们评估了当代方法在深度强化学习中的潜力,以增强量子变分电路中基于梯度的优化例程。我们发现,强化学习增强优化器在噪声环境中始终优于梯度下降。所有代码和预训练的权重都可用于复制结果或部署模型:https://github.com/lockwo/rl_qvc_opt。
2022-05-14 cs.LG quant-ph
Contrastive Variational Reinforcement Learning for Complex Observations
National University of Singapore(新加坡国立大学)
深度强化学习(DRL)在各种机器人任务中取得了重大成功:操纵,导航等,然而,自然环境中复杂的视觉观察仍然是一个重大挑战。本文介绍了对比变分强化学习(CVRL),一种基于模型的方法,处理复杂的视觉观察DRL。CVRL通过对比学习,有区别地最大化潜在状态和观测之间的互信息来学习对比变分模型。它避免了对复杂的观测空间进行不必要的建模,就像常用的生成观测模型经常做的那样,并且更加鲁棒。CVRL在标准Mujoco任务上实现了与最先进的基于模型的DRL方法相当的性能。它在自然Mujoco任务和具有复杂观察的机器人推箱子任务上的表现明显优于它们,例如,动态阴影。CVRL代码可在https://github.com/Yusufma03/CVRL上公开获取。
2020-11-09 cs.LG stat.ML
Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning
Institute for Computational & Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Management Science & Engineering, Stanford University(斯坦福大学管理科学与工程系)
本文通过将机器学习中感兴趣的各种问题构建为概率测度空间上定义的泛函的最小化,提供了一个统一的观点。特别是,我们证明了生成对抗网络,变分推理和强化学习中的演员-评论家方法都可以通过我们框架的镜头看到。然后,我们讨论了一个通用的优化算法,我们的配方,称为概率函数下降(PFD),并显示该算法如何恢复现有的独立开发的方法在前面提到的设置。
2019-05-19 cs.LG stat.ML
Reinforcement Learning with Quantum Variational Circuits
Rensselaer Polytechnic Institute(伦斯勒理工学院)
近年来,量子计算技术的发展取得了很大进展,与深度强化学习技术的进步平行。这项工作探讨了量子计算促进强化学习问题的潜力。由于量子计算能够利用叠加和纠缠的量子现象,因此相对于传统算法,它在时间和空间复杂度方面提供了重要的潜在改进。具体来说,我们研究了量子变分电路的使用,这是量子机器学习的一种形式。我们给出了量子变分电路中经典数据的编码技术,进一步探讨了DQN和Double DQN的纯量子和混合量子算法。我们的研究结果表明,混合和纯量子变分电路都有能力解决具有较小参数空间的强化学习任务。这些比较是在两个OpenAI Gym环境中进行的:CartPole和Blackjack,这项工作的成功表明了量子机器学习和深度强化学习之间的强大未来关系。
2020-08-28 cs.LG quant-ph stat.ML
Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits
Wells Fargo(富国银行)
本研究证明变分量子电路可增强基于选项-评论家架构的分层强化学习智能体,在标准环境中以更少参数超越经典基线,并揭示量子电路设计原则与架构瓶颈。
2026-09-22 cs.LG quant-ph
Deep Variational Reinforcement Learning for POMDPs
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学)
许多现实世界中的序贯决策问题本质上是部分可观察的,并且环境模型通常是未知的。因此,非常需要强化学习方法,该方法可以在仅给出不完整和噪声观测流的情况下解决此类问题。在本文中,我们提出了深度变分强化学习(DVRL),它引入了一种归纳偏差,允许代理学习环境的生成模型,并在该模型中执行推理,以有效地聚合可用信息。我们开发了一个n步逼近证据下限(ELBO),允许模型与策略联合训练。这确保了潜在状态表示适合于控制任务。在Mountain Hike和闪烁的Atari上的实验中,我们表明我们的方法优于以前依赖于递归神经网络来编码过去的方法。
2018-06-06 cs.LG stat.ML
The Dreaming Variational Autoencoder for Reinforcement Learning Environments
University of Agder(阿格德尔大学)
强化学习在仅使用单个神经网络进行价值优化来概括原始感觉数据方面显示出巨大的潜力。在当前最先进的强化学习算法中存在几个挑战,这些挑战阻止它们收敛到全局最优值。这些问题的解决方案可能在于强化学习算法的短期和长期规划、探索和存储管理。游戏通常用于对强化学习算法进行基准测试,因为它们提供了一个灵活、可重复且易于控制的环境。无论如何,很少有游戏具有状态空间,其中探索,记忆和规划的结果很容易被感知。本文提出了梦想的变分自编码器(DVAE),一个神经网络为基础的生成式建模架构,探索在环境中的稀疏反馈。我们进一步提出了深度迷宫,一种新颖而灵活的迷宫引擎,挑战DVAE在部分和完全可观察的状态空间,长期任务,以及确定性和随机性问题。我们展示了初步的发现,并鼓励在生成探索驱动的强化学习方面开展进一步的工作。
2018-10-02 cs.AI cs.LG
Resource Governance in Networked Systems via Integrated Variational Autoencoders and Reinforcement Learning
Northeastern University(东北大学);College of Engineering(工程学院);College of Engineering and Network Science Institute(工程与网络科学学院)
本研究提出一种集成VAE与强化学习的框架,通过控制网络结构编码的隐空间处理庞大动作空间,动态调整多智能体系统网络结构以平衡性能与资源,在修改版OpenAI粒子环境中性能优于基线并揭示新策略。
2024-10-30 cs.AI cs.LG cs.MA
Bayesian Meta-Reinforcement Learning with Laplace Variational Recurrent Networks
针对元强化学习中点估计方法存在的过拟合、不满足一致性问题,本文提出基于拉普拉斯近似的贝叶斯元强化学习方法,无需修改基础架构即可得到完整后验分布,性能比肩变分基线且参数量更少。
2025-05-24 cs.LG stat.ML
Variational Policy Propagation for Multi-agent Reinforcement Learning
Ant Financial Services Group(蚂蚁金融服务集团);Shanghai Jiao Tong University(上海交通大学);College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
我们提出了一个\emph{collaborative}多智能体强化学习算法变分策略传播(VPP)学习\emph{joint}政策,通过代理之间的相互作用。我们证明了联合策略在一定的条件下是一个马尔可夫随机场,从而有效地减少了策略空间。我们将变分推理作为特殊的可微层集成在策略中,使得动作可以从马尔可夫随机场有效地采样,并且整体策略是可微的。我们评估了我们的算法在几个大规模的挑战性任务,并证明它优于以前的国家的最先进的。
2022-01-29 cs.LG cs.MA stat.ML
Optimizing Vehicular Networks with Variational Quantum Circuits-based Reinforcement Learning
York University(约克大学)
本文提出基于变分量子电路的多目标强化学习框架,用于车载网络中的网络选择与自动驾驶决策,相比传统深度Q网络在收敛速度和奖励上均有显著提升。
2024-05-29 cs.AI cs.LG cs.NI
Variational Quantum Circuits for Deep Reinforcement Learning
National Taiwan University(台湾大学);Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
最先进的机器学习方法是基于经典的冯·诺依曼计算体系结构,并已广泛应用于许多工业和学术领域。随着量子计算的最新发展,研究人员和科技巨头已经尝试了新的量子电路用于机器学习任务。然而,由于深度量子电路的复杂性,现有的量子计算平台很难模拟经典的深度学习模型或问题。因此,有必要设计可行的量子算法用于噪声中间尺度量子(NISQ)设备的量子机器学习。这项工作探索了用于深度强化学习的变分量子电路。具体来说,我们将经典的深度强化学习算法(如经验重放和目标网络)重塑为变分量子电路的表示。此外,我们使用量子信息编码方案,以减少模型参数的数量相比,经典的神经网络。据我们所知,这项工作是变分量子电路的第一个原理证明,以近似决策和策略选择强化学习的深度$Q$价值函数,并具有经验重放和目标网络。此外,我们的变分量子电路可以部署在许多近期NISQ机器。
2020-07-20 cs.AI cs.LG quant-ph
VIREL: A Variational Inference Framework for Reinforcement Learning
University of Oxford(牛津大学)
将概率模型应用于强化学习(RL),可以将强大的优化工具(如变分推理)应用于RL。然而,现有的推理框架及其算法对学习最优策略提出了重大挑战,例如,在伪似然方法中缺乏模式捕获行为,并且在基于最大熵RL的方法中难以学习确定性策略。我们提出了VIREL,一种新的,理论上接地概率推理框架RL,利用参数化的行动价值函数,总结未来的动态基础MDP。这给VIREL一个KL发散的模式寻求形式,学习确定性的最优策略的能力,自然从推理和优化价值函数和政策的能力,在单独的,迭代的步骤。因此,在应用变分期望最大化VIREL,我们表明,演员-评论家算法可以减少到期望最大化,与政策改进相当于一个E-步骤和政策评估的M-步骤。然后,我们从VIREL中推导出一系列的演员-评论家方法,包括自适应探索的计划。最后,我们证明了这个家庭的演员-评论家算法优于国家的最先进的软价值函数在几个领域的基础上的方法。
2020-07-16 cs.LG stat.ML
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发,我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此,我们将这种变分推理技术应用于香草策略梯度,TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
Efficient Model-Based Deep Reinforcement Learning with Variational State Tabulation
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
现代强化学习算法在许多棋盘游戏和视频游戏中达到了超人的性能,但它们的样本效率很低,即它们通常需要比人类更多的游戏经验才能达到同等的性能水平。为了提高样本效率,智能体可以建立环境模型并使用规划方法来更新其策略。在这篇文章中,我们介绍了变分状态表(VaST),它将具有高维状态空间(例如视觉输入空间)的环境映射到抽象的表格模型。然后,可以使用具有小备份的优先级扫描(一种高效的规划方法)来更新状态-动作值。我们展示了VaST如何快速学习,以最大限度地提高3D导航等任务的奖励,并有效地适应奖励或转移概率的突然变化。
2018-06-11 cs.AI cs.LG stat.ML
Advancing Autonomous VLM Agents via Variational Subgoal-Conditioned Reinforcement Learning
University of Liverpool(利物浦大学);University of Southampton(南安普顿大学);Huawei Noah’s Ark Lab(华为诺亚实验室);University College London(伦敦大学学院)
针对现有强化学习方法在复杂稀疏奖励长程决策任务中学习效率低的问题,提出变分子目标条件强化学习框架VSC-RL,通过新的SGC-ELBO优化目标提升VLM智能体的学习效率与性能,在多类基准测试中优于现有SOTA方法。
2025-05-20 cs.AI cs.LG
Macro Action Reinforcement Learning with Sequence Disentanglement using Variational Autoencoder
Dwango Artificial Intelligence Laboratory(Dwango人工智能实验室);NTT Secure Platform Laboratories(NTT安全平台实验室)
将强化学习应用于现实世界问题的一个问题是动作空间上的维数灾难。宏动作,一系列的原始动作,已被研究,以减少关于时间轴的动作空间的维数。然而,以前的研究依赖于人类定义宏动作或假设宏动作是相同原始动作的重复。我们提出了因子化宏动作强化学习(FaMARL),它自主学习一系列动作的分解因子表示,以生成可直接应用于一般强化学习算法的宏动作。FaMARL在需要大量搜索的环境中表现出比其他强化学习算法更高的分数。
2019-06-04 cs.AI cs.LG cs.RO
Outcome-Driven Reinforcement Learning via Variational Inference
University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校)
虽然强化学习算法提供了自动获取的最优策略,实际应用中需要一些设计决策,如手动设计奖励功能,不仅定义的任务,但也提供了足够的塑造来完成it.In本文中,我们认为强化学习推断的政策,实现预期的结果,而不是作为一个问题的最大化奖励。为了解决这个推理问题,我们建立了一个新的变分推理公式,使我们能够推导出一个形状良好的奖励函数,可以直接从环境的相互作用。从相应的变分目标,我们还推导出一个新的概率Bellman备份操作,并使用它来开发一个关闭的政策算法来解决目标导向的任务。我们的经验表明,这种方法消除了手工制作奖励功能的一套不同的操作和运动任务,并导致有效的目标导向的行为。
2022-12-28 cs.AI cs.LG stat.ME
Variational Autoencoders for exteroceptive perception in reinforcement learning-based collision avoidance
NTNU(挪威科技大学)
本文提出利用变分自编码器将高维测距传感器数据压缩为低维潜在编码,作为深度强化学习智能体的外部感知输入,以降低计算资源需求,并在随机仿真环境中验证了其在海上路径跟随与碰撞规避任务中的有效性。
2024-03-31 cs.LG cs.RO
Variational Quantum Soft Actor-Critic
University of Alberta(阿尔伯塔大学)
量子计算在解决特定问题方面具有优越的优势,如整数分解和西蒙问题。对于机器学习中更一般的任务,通过应用变分量子线路,最近提出了越来越多的量子算法,特别是在监督学习和无监督学习中。然而,在强化学习方面做的工作很少,可以说更重要和更具挑战性。量子强化学习以前的工作主要集中在离散控制任务,其中动作空间是离散的。在这项工作中,我们开发了一种基于软演员-评论家的量子强化学习算法-连续控制的最先进方法之一。具体来说,我们使用一个混合量子经典策略网络组成的变分量子线路和经典人工神经网络。在一个标准的强化学习基准测试中,我们证明了这种量子版本的软演员-评论家与原始的软演员-评论家相当,使用的可调参数少得多。此外,我们分析了不同的超参数和策略网络结构的影响,指出了量子强化学习的结构设计的重要性。
2021-12-20 cs.AI cs.LG quant-ph
Constrained Variational Policy Optimization for Safe Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Nuro Inc.(Nuro公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
安全强化学习(RL)旨在学习满足某些约束的策略,然后将其部署到安全关键应用程序。以前的原始-对偶风格的方法遭受不稳定性问题,缺乏最优性保证。本文从概率推理的角度克服了这一问题。我们引入了一种新的期望最大化方法,自然地将约束条件的策略学习:1)可证明的最佳非参数变分分布可以计算在一个凸优化(E-step)后,在封闭的形式; 2)在信任区域的基础上的最佳变分分布(M-step)的策略参数进行了改进。该算法将安全强化学习问题分解为凸优化阶段和监督学习阶段,从而获得更稳定的训练性能。对连续机器人任务的大量实验表明,与基线相比,该方法具有更好的约束满足性能和更好的样本效率。该代码可在https://github.com/liuzuxin/cvpo-safe-rl上获得。
2022-06-17 cs.AI cs.LG cs.RO
Variational Sequential Optimal Experimental Design using Reinforcement Learning
Department of Mechanical Engineering, University of Michigan(密歇根大学机械工程系)
本文提出变分序列最优实验设计方法,结合变分后验近似和强化学习,实现基于信息论准则的最优实验设计,展示其在工程和科学中的高效性。
2024-12-23 cs.AI cs.LG stat.CO
Bandwidth-constrained Variational Message Encoding for Cooperative Multi-agent Reinforcement Learning
University of Technology Sydney(悉尼科技大学)
本文提出带宽约束的变分信息编码(BVME),通过学习高斯后验分布并利用KL散度正则化,解决多智能体强化学习中信息传输的带宽限制问题,在多个基准测试中表现出色。
2026-04-10 cs.LG cs.MA
Quantum Multi-Agent Reinforcement Learning via Variational Quantum Circuit Design
Korea University(高丽大学);Hallym University(翰林大学)
近年来,量子计算(QC)得到了工业界和学术界的广泛关注。特别是,在各种QC研究主题中,变分量子线路(VQC)使量子深度强化学习(QRL)成为可能。许多关于QRL的研究表明,QRL在训练参数数量的限制下优于经典的强化学习方法。本文将QRL扩展并证明为量子多智能体RL(QMARL)。然而,QRL到QMARL的扩展并不简单,这是由于经典多智能体RL(MARL)中的噪声中间尺度量子(NISQ)和非平稳特性的挑战。因此,本文提出了集中训练和分散执行(CTDE)QMARL框架,通过设计新的VQC框架,以应对这些问题。为了证实QMARL框架,本文在单跳环境中进行了QMARL演示,其中边缘代理将数据包卸载到云。大量的实验表明,所提出的QMARL框架比经典框架提高了57.7%的总回报。
2022-03-20 cs.ET cs.LG quant-ph
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST(韩国科学技术院);UNIST(蔚山国立科学技术院)
本文提出变分课程强化学习(VCRL)和价值不确定性变分课程(VUVC),将变分赋能重构为目标条件强化学习中的课程学习,以提升无监督技能发现的样本效率与状态覆盖速度,并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Variational Bayesian Reinforcement Learning with Regret Bounds
DeepMind(深度思维)
在强化学习中,Q值总结了智能体将获得的预期未来奖励。然而,他们无法捕捉到这些奖励的认知不确定性。在这项工作中,我们推导出一个新的Bellman算子与相关的不动点,我们称之为“知识值”。这些K值将预期的未来回报和认知的不确定性压缩到一个值中,因此高不确定性、高回报或两者都可以产生高K值。关键原则是赋予代理人一个寻求风险的效用函数,该函数经过精心调整,以平衡探索和开发。当智能体在K值上遵循玻尔兹曼策略时,它会产生$\tilde O(L \sqrt{S A T})$的贝叶斯后悔界,其中$L$是时间范围,$S$是状态总数,$A$是动作数,$T$是经过的时间步数。我们展示了这种方法与强化学习研究中的软最大和最大熵链的深层联系。
2022-12-06 cs.AI cs.LG stat.ML
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego(加利福尼亚大学圣地亚哥分校);Georgia Institute of Technology(佐治亚理工学院)
我们考虑一个问题,学习奖励和政策,从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上,并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示,这有利地导致更一般化的行为,从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报,其中训练和测试环境在动态或结构方面彼此不同。结果表明,我们提出的方法不仅学习接近最优的奖励和政策,是匹配专家的行为,但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Variational OOD State Correction for Offline Reinforcement Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(计算机科学与技术学院,南京航空航天大学,信息科技部模式分析与机器智能重点实验室)
针对离线强化学习中的状态分布偏移问题,提出密度感知安全感知(DASP)变分方法,通过优化高数据密度行动促进安全决策,并在MuJoCo和AntMaze上验证有效性。
2025-07-08 cs.AI cs.LG cs.RO
Variational Inference MPC for Bayesian Model-based Reinforcement Learning
Panasonic Corp.(松下公司);Ritsumeikan Univ.(立命馆大学)
在最近关于基于模型的强化学习(MBRL)的研究中,在前向动力学中引入不确定性是提高学习性能的最新策略,使MBRL与尖端的无模型方法竞争,特别是在模拟机器人任务中。轨迹采样概率集成(Probablenessbles with trajectory sampling,PETS)是MBRL的一种主要类型,它将贝叶斯推理应用于动力学建模和模型预测控制(Model Predictive Control,MPC),并通过交叉熵方法(Cross Entropy Method,CEM)进行随机优化。在本文中,我们提出了一种新的扩展不确定性感知MBRL。我们的主要贡献是两方面的:首先,我们引入了变分推理MPC,它重新制定了各种随机方法,包括CEM,在贝叶斯时尚。其次,我们提出了一个新的框架,称为概率动作合奏与轨迹采样(PaETS)的实例。因此,我们的贝叶斯MBRL可以涉及多模态的不确定性,无论是在动态和最佳轨迹。与PETS相比,我们的方法在几个具有挑战性的运动任务上始终提高了渐近性能。
2019-10-07 cs.LG cs.SY eess.SY
Enhancing variational quantum state diagonalization using reinforcement learning techniques
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用信息学研究所);Silesian University of Technology(西里西亚理工大学);Warsaw University of Technology(华沙理工大学);Leiden University(莱顿大学)
本文利用强化学习设计极浅量子电路,通过新颖状态编码、稠密奖励和ε-greedy策略,实现了比标准变分量子态对角化算法更浅的电路,适用于硬件深度受限场景。
2024-01-11 cs.AI cs.LG quant-ph
Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning
Your Fantastic Institute(优范研究院);Their Fantastic Institute(泽范研究院)
互信息是一个核心统计量,在机器学习的所有领域都有应用,无论是在多个数据模态上训练密度模型,最大化噪声传输信道的效率,还是在学习人工智能体探索的行为策略时。大多数涉及互信息优化的学习算法依赖于Blahut-Arimoto算法-一种具有指数复杂度的枚举算法,不适合现代机器学习应用。本文通过融合变分推断和深度学习的技术,为互信息的可扩展优化提供了一种新方法。我们通过关注内在动机学习的问题来开发我们的方法,其中互信息形成了一个众所周知的内部驱动的定义,称为授权。使用互信息的变分下界,结合处理视觉输入流的卷积网络,我们开发了一种随机优化算法,该算法允许直接从像素到动作的可扩展信息最大化和基于授权的推理。
2015-09-29 cs.AI cs.LG stat.ML
Optimizing Variational Quantum Circuits Using Metaheuristic Strategies in Reinforcement Learning
LMU Munich(慕尼黑大学)
本文研究将粒子群优化、模拟退火等元启发式算法引入量子强化学习,以解决梯度方法在平坦解景观中失效的问题,并在MiniGrid和Cart Pole环境中验证了粒子群优化与模拟退火的优越性能。
2024-08-02 cs.AI cs.LG quant-ph
Variational Quantum Reinforcement Learning via Evolutionary Optimization
Brookhaven National Laboratory(布鲁克海文国家实验室);National Taiwan University(台湾大学);National Center for Theoretical Science(国家理论科学中心)
经典强化学习(RL)和量子计算(QC)的最新进展指出了在量子计算机上执行RL的一个有前途的方向。然而,量子RL的潜在应用受到现代量子设备中可用量子比特数量的限制。在这里,我们提出了两个框架的深度量子RL任务使用无梯度进化优化:首先,我们应用幅度编码方案的Cart-Pole问题;其次,我们提出了一个混合框架,其中量子RL代理配备了混合张量网络变分量子线路(TN-VQC)架构,以处理输入的尺寸超过量子位数。这使我们能够在具有147维输入的MiniGrid环境中执行量子RL。我们证明了使用幅度编码节省参数的量子优势。混合TN-VQC架构提供了一种自然的方式来执行输入维度的有效压缩,从而能够在有噪声的中等规模量子设备上实现进一步的量子RL应用。
2021-09-01 cs.AI cs.ET cs.LG
Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
UC Berkeley(加州大学伯克利分校)
强化学习或最优控制的框架提供了智能决策的数学形式化,其功能强大且适用广泛。虽然强化学习问题的一般形式能够对不确定性进行有效推理,但强化学习与概率模型中的推理之间的联系并不明显。然而,当涉及到算法设计时,这种联系具有相当大的价值:原则上将问题形式化为概率推理,使我们能够使用各种近似推理工具,以灵活而强大的方式扩展模型,并推理组合性和部分可观测性。在这篇文章中,我们将讨论如何推广的强化学习或最优控制问题,这有时被称为最大熵强化学习,是等价于确定性动力学的情况下的精确概率推理,和变分推理的情况下的随机动力学。我们将提出一个详细的推导这个框架,概述以前的工作,借鉴了这一点和相关的想法,提出新的强化学习和控制算法,并描述未来的研究前景。
2018-05-20 cs.AI cs.LG cs.RO
Conjugate-Computation Variational Inference : Converting Variational Inference in Non-Conjugate Models to Inferences in Conjugate Models
RIKEN(日本理化学研究所)
变分推理在包含共轭和非共轭项的模型中具有计算挑战性。专门为共轭模型设计的方法,即使计算效率高,也很难处理非共轭项。另一方面,随机梯度方法可以处理非共轭项,但它们通常忽略了模型的共轭结构,这可能导致收敛缓慢。在本文中,我们提出了一种新的算法,称为共轭计算变分推理(CVI),它带来了最好的两个世界在一起-它使用共轭计算的共轭项,并采用随机梯度的休息。我们通过在平均参数空间中使用随机镜像下降方法推导出该算法,然后将每个梯度步长表示为共轭模型中的变分推断。我们证明了我们的算法的适用性,一大类模型,并建立其收敛性。我们的实验结果表明,我们的方法收敛速度远远快于忽略共轭结构的模型的方法。
2017-04-13 cs.LG
Practical Collapsed Stochastic Variational Inference for the HDP
Knowledge Technologies for the Social Sciences(社会科学知识技术)
最近的进展使其可行的应用随机变分范式的潜在狄利克雷分配(LDA)的一个崩溃的表示。虽然随机变分范式已成功地应用到一个未倒塌的表示的分层狄利克雷过程(HDP),没有尝试应用这种类型的推理在一个倒塌的设置非参数主题建模已提出到目前为止。在本文中,我们探讨这样一个崩溃的随机变分贝叶斯推断的HDP。该在线算法易于实现,并考虑了超参数的推断。第一个实验表明,预测性能有希望的改善。
2013-12-02 cs.LG
Structured Stochastic Variational Inference
Adobe Research(Adobe研究院);Columbia University(哥伦比亚大学)
随机变分推理使得使用随机优化来快速近似由大数据集诱导的后验分布成为可能。该算法依赖于使用完全因式分解的变分分布。然而,这种“平均场”独立近似限制了后验近似的保真度,并引入局部最优。我们展示了如何放松平均场近似,以允许全局参数和局部隐变量之间的任意依赖关系,通过减少偏差,对局部最优值的敏感性和对超参数的敏感性来产生更好的参数估计。
2014-11-26 cs.LG
Variational Inference MPC using Tsallis Divergence
Georgia Institute of Technology(佐治亚理工学院)
本文利用非广延Tsallis散度,给出了变分推理-随机最优控制的一个推广框架.通过将变形指数函数引入最优似然函数中,得到了一种新的Tsallis变分推理-模型预测控制算法,该算法包含了变分推理-模型预测控制、模型预测路径积分控制、交叉熵方法和Stein变分推理模型预测控制等前人工作的特例.所提出的算法允许有效控制的成本/回报变换,其特征在于优越的性能方面的平均值和方差减少相关的成本。上述功能支持的理论和数值分析所提出的算法的风险敏感性的水平,以及5个不同的机器人系统与3个不同的政策参数化的仿真实验。
2021-04-01 cs.LG
Efficient Approximate Inference with Walsh-Hadamard Variational Inference
EURECOM(欧洲通信学院)
变分推断提供了可扩展和灵活的工具来解决现代统计模型(如贝叶斯神经网络和高斯过程)的棘手贝叶斯推断。然而,对于大部分过参数化模型,变分目标的过正则化性质使得变分推断的应用具有挑战性。受核方法文献的启发,特别是随机矩阵分布的结构化近似,本文提出了Walsh-Hadamard变分推断,它使用基于Walsh-Hadamard的因子分解策略来减少模型参数化,加速计算,并增加近似后验的表达能力。
2019-11-29 cs.LG stat.ML
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University(斯坦福大学);VinAI(越南人工智能研究所)
深度潜变量模型(如变分自编码器(VAE))中的识别网络依赖于摊销推理,以实现有效的后验近似,可以扩展到大型数据集。然而,这种技术也被证明是选择次优的变分参数,往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练,最近的工作已经引入了一个附加的细化步骤,该步骤应用随机变分推断(SVI)来改进由摊销推理模型返回的变分参数。在本文中,我们提出了缓冲随机变分推断(BSVI),一个新的细化过程,利用SVI的序列的中间变分建议分布和相应的重要性权重,以构建一个新的广义重要性加权下界。我们的经验表明,训练变分自动编码器与BSVI一贯优于SVI,产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
Importance Weighting and Variational Inference
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Department of Computer Science, Mount Holyoke College(曼荷莲学院计算机科学系)
最近的工作使用重要性采样的想法,更好的变分界限的可能性。我们澄清了这些想法的适用性,纯概率推理,通过显示所得到的重要性加权变分推理(IWVI)技术是一个例子,增强变分推理,从而确定在以前的工作中的松散。实验证实IWVI的实用性概率推理。作为第二个贡献,我们调查的推断与椭圆分布,这提高了精度在低维,并在高维收敛。
2018-10-27 cs.LG stat.ML
Wasserstein Variational Inference
Radboud University(拉德堡德大学);University of Amsterdam(阿姆斯特丹大学)
本文介绍了Wasserstein变分推断,一种基于最优运输理论的近似贝叶斯推断的新形式。Wasserstein变分推断使用一个新的分歧族,其中包括f-分歧和瓦瑟斯坦距离作为特殊情况。Wasserstein变分损失的梯度通过Sinkhorn迭代反向传播得到。这种技术产生了一种非常稳定的无似然训练方法,可用于隐式分布和概率程序。使用Wasserstein变分推断框架,我们介绍了几种新形式的自动编码器和测试其鲁棒性和性能对现有的变分自动编码技术。
2018-06-04 cs.LG stat.ML
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University(拉德堡德大学)
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论,提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似,我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度,每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断,其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
A Divergence Bound for Hybrids of MCMC and Variational Inference and an Application to Langevin Dynamics and SGVI
近似推理的两种流行方法是马尔可夫链蒙特卡罗(MCMC)和变分推理。MCMC如果运行足够长的时间,则趋于准确,而变分推理则趋于在较短的时间范围内给出更好的近似。然而,MCMC超过变分方法的性能所需的时间量可能相当高,从而激发了更细粒度的权衡。本文推导出一个分布变分参数,旨在最大限度地减少所产生的边际分布和目标之间的分歧的界限,并给出了一个例子,如何从这个分布中的方式,插值的行为之间的现有方法的基础上朗之万动力学和随机梯度变分推理(SGVI)。
2017-06-20 cs.LG stat.ML
Quantum Annealing for Variational Bayes Inference
Google(谷歌);University of Tokyo(东京大学)
研究了一种基于量子退火的变分贝叶斯(QAVB)推理的确定性退火算法,该算法可以看作是变分贝叶斯模拟退火(SAVB)推理的扩展. QAVB和SAVB一样容易实现。实验结果表明,QAVB发现一个更好的局部最优比SAVB的变分自由能在潜在的狄利克雷分配(LDA)。
2014-08-09 cs.LG stat.ML
Boosting Variational Inference With Locally Adaptive Step-Sizes
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
变分推理在变分族的能力和找到近似后验分布的易处理性之间进行权衡。相反,提升变分推理允许从业者通过花费更多的计算来获得越来越好的后验近似。提升变分推理广泛采用的主要障碍是在强变分推理基线上进行改进所需的资源量。在我们的工作中,我们将这种限制追溯到KL发散的全局曲率。我们的特点是如何全局曲率的影响时间和内存消耗,解决问题的概念,局部曲率,并提供了一种新的近似回溯算法估计局部曲率。我们为我们的算法提供了新的理论收敛速度,并在合成和真实世界的数据集上进行了实验验证。
2021-05-19 cs.LG stat.ML
Lifted Relational Variational Inference
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
混合连续-离散模型自然代表了机器人、金融和环境工程中的许多实际应用。大规模模型的推理是具有挑战性的,因为关系结构在观察推理过程中迅速恶化。本文的主要贡献是一个有效的关系变分推理算法的因素大规模的概率模型到更简单的变分模型,由iid(伯努利)随机变量的混合物。该算法采用大规模混杂系统的概率关系模型,并将其转换为一个接近最优的变分模型。然后,它有效地计算边际概率的变分模型,通过使用潜在的(或提升)变量消除或提升随机抽样。这种推理是独特的,因为它在个体观察和推理步骤期间保持关系结构。
2012-10-16 cs.LG stat.ML
Unbiased Implicit Variational Inference
Athens University of Economics and Business(雅典经济与商业大学);University of Cambridge(剑桥大学);Columbia University(哥伦比亚大学)
我们开发了无偏隐式变分推断(UIVI),一种方法,通过定义一个表达变分家庭,扩大了适用性的变分推断。UIVI考虑使用简单的可重新参数化分布以分层方式获得的隐式变分分布,该分布的变分参数由任意灵活的深度神经网络定义。与以前的作品,UIVI直接优化的证据下限(ELBO),而不是近似的ELBO。我们证明了UIVI上的几个模型,包括贝叶斯多项式逻辑斯谛回归和变分自编码器,并表明,UIVI实现了更紧密的ELBO和更好的预测性能比现有的方法在一个类似的计算成本。
2019-02-06 cs.LG stat.ML
Improving Explorability in Variational Inference with Annealed Variational Objectives
University of Montreal(蒙特利尔大学);MILA(蒙特利尔学习算法研究所);Element AI
尽管在变分推理的近似分布的表示能力方面取得了进展,但优化过程仍然可以限制最终学习的密度。我们证明了偏置真正的后验是单峰的缺点,并引入退火变分目标(AVO)到训练的分层变分方法。受退火重要性采样的启发,所提出的方法通过将能量回火纳入优化目标来促进学习。在我们的实验中,我们证明了我们的方法的鲁棒性确定性热身,并鼓励探索潜在空间的好处。
2018-10-26 cs.LG stat.ML
Fast Variational Inference in the Conjugate Exponential Family
本文给出了共轭指数族概率模型的塌缩变分推断算法的一般推导方法。我们的方法统一了许多现有的方法崩溃变分推理。我们的崩溃变分推理导致一个新的下界的边际似然。我们利用信息几何的界限,以获得更快的优化方法的基础上共轭梯度这些模型。我们的方法是非常普遍的,很容易适用于任何模型的平均场更新方程已经推导出来。从经验上讲,我们显示了显着的速度使用我们的边界优化的概率模型。
2012-12-04 cs.LG stat.ML
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo(东京大学)
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似,称为CVB 0推断,潜在的Dirichlet分配(LDA)。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成:α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML