Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research(谷歌研究院);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);DeepMind(深度思维公司)
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力,我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的,这些方法很少明确地利用这种结构。具体来说,我们引入了一个理论上的动机的政策相似性度量(PSM)测量状态之间的行为相似性。PSM分配高相似性的状态,在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量,我们与PSM实例化,以获得政策相似性嵌入(PSE)。我们证明了PSE在不同的基准测试中提高了泛化能力,包括具有虚假相关性的LQR,从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
Model Embedding Model-Based Reinforcement Learning
Ant Financial Services Group(蚂蚁金融服务集团)
基于模型的强化学习(MBRL)在样本效率上优于无模型强化学习(MFRL)。尽管它取得了令人印象深刻的结果,但它仍然面临着数据生成和模型偏差之间的权衡。本文在概率强化学习的框架下,提出了一种简单而优雅的基于模型嵌入的强化学习(MEMB)算法。为了平衡样本效率和模型偏差,我们在训练中利用了真实和虚构的数据。特别地,我们将模型嵌入到策略更新中,并从真实数据集中学习$Q$和$V$函数。我们提供了理论分析的MEMB与Lipschitz连续性假设的模型和政策。最后,我们评估MEMB在几个基准测试,并证明我们的算法可以达到最先进的性能。
2020-06-16 cs.AI cs.LG
Jointly-Learned State-Action Embedding for Efficient Reinforcement Learning
Imperial College London(伦敦帝国理工学院);Dataminr
虽然强化学习近年来取得了相当大的成功,但最先进的模型通常仍然受到状态和动作空间大小的限制。无模型强化学习方法使用某种形式的状态表示,最新的工作探索了动作的嵌入技术,目的是实现更好的泛化和适用性。然而,这些方法只考虑状态或动作,在生成嵌入式表示时忽略了它们之间的交互。在这项工作中,我们建立了理论基础的有效性训练强化学习代理使用嵌入的状态和动作。然后,我们提出了一种新的方法,用于联合学习嵌入的状态和动作,结合了无模型和基于模型的强化学习,它可以应用于离散和连续域的方面。具体来说,我们使用的环境模型,以获得嵌入的状态和动作,并提出了一个通用的架构,利用这些来学习的政策。通过这种方式,通过我们的方法获得的嵌入式表示通过捕获嵌入空间中的相似性,可以更好地概括状态和动作。对我们的方法在几个游戏,机器人控制和推荐系统上的评估表明,它在具有大状态/动作空间的离散/连续域中显着优于最先进的模型,从而证实了它的有效性。
2021-08-20 cs.AI cs.LG
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs(VECTOR实验室)
PGSRM通过嵌入相似度生成语义奖励,为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning
University of California Berkeley(加州大学伯克利分校);Nissan Advanced Technology Center Silicon Valley(日产先进技术研发中心硅谷)
本文为自动机条件强化学习提供理论框架,证明其可学习性,并提出可证明正确的自动机嵌入方法,保证最优多任务策略学习,实验验证了理论结果。
2025-05-22 cs.AI cs.CL cs.FL
Meta Reinforcement Learning with Task Embedding and Shared Policy
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tsinghua University(清华大学)
尽管取得了重大进展,但深度强化学习(RL)仍存在数据效率低下和泛化能力有限的问题。最近的努力应用元学习从一组RL任务中学习元学习者,以便可以快速解决新的但相关的任务。虽然在某些方面是特定的,但元强化学习中的不同任务在高层次上通常是相似的。然而,大多数元强化学习方法没有明确和充分地建模不同任务之间的特定和共享信息,这限制了它们学习训练任务和推广到新任务的能力。在本文中,我们建议一方面捕获共享信息,另一方面元学习如何快速提取有关任务的特定信息。在方法上,我们训练SGD元学习器来快速优化每个任务的任务编码器,该任务编码器基于过去的经验生成任务嵌入。同时,我们学习了一个策略,该策略在所有任务之间共享,并以任务嵌入为条件。在四个模拟任务上的实验结果表明,我们的方法在训练和新任务上都具有更好的学习能力,并且与基线相比,获得了高达3到4倍的回报。
2019-06-04 cs.AI cs.LG stat.ML
DCT: Dual Channel Training of Action Embeddings for Reinforcement Learning with Large Discrete Action Spaces
本文提出DCT框架,通过编码器-解码器架构与双通道损失学习动作嵌入,平衡动作重建与状态预测,结合标准强化学习算法,在大离散动作空间中显著提升策略学习效果与收敛速度。
2023-06-28 cs.AI cs.LG
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
部分可观测性下的多智能体强化学习(MARL)长期以来一直被认为是具有挑战性的,这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中,我们研究了一个部分可观察的MARL问题,其中代理是合作的。为了使易于处理的算法的发展,我们引入了信息状态嵌入的概念,用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外,我们提出了一个基于递归神经网络(RNNs)的嵌入实例。然后将嵌入用作近似信息状态,并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有(部分可观察)MARL算法的黑盒子,使我们能够建立一些理论保证(价值函数的误差界),同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
VPE: Variational Policy Embedding for Transfer Reinforcement Learning
Royal Institute of Technology(皇家理工学院)
强化学习方法能够解决复杂的问题,但即使在略有不同的环境中,所产生的策略也可能表现不佳。特别是在机器人领域,训练和部署条件经常变化,数据汇集成本高昂,因此不希望进行再培训。模拟训练允许可行的训练时间,但另一方面,当应用于现实世界的设置时,遭受现实差距。这就需要有效调整在新环境中采取行动的政策。我们认为这是一个问题,在一个家庭的类似马尔可夫决策过程的知识转移。为此,我们假设Q函数是由某些低维潜变量生成的。给定这样一个Q函数,我们可以找到一个主策略,它可以适应给定的这个潜在变量的不同值。我们的方法学习生成映射和潜在变量的近似后验,通过仅在潜在空间而不是所有策略的空间中搜索来识别新任务的策略。通过我们的方法发现的低维空间和主策略使策略能够快速适应新的环境。我们证明了摆摆在模拟任务的方法,并为模拟到真正的推动任务的转移。
2018-09-14 cs.LG stat.ML
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings
UC Berkeley(加州大学伯克利分校);OpenAI
非策略深度强化学习(RL)的最新进展在视觉观察的复杂任务中取得了令人印象深刻的成功。经验重放通过重用来自过去的经验来提高样本效率,并且卷积神经网络(CNN)有效地处理高维输入。然而,这样的技术需要高存储器和计算带宽。在本文中,我们提出了高效强化学习(SEER)的存储嵌入,这是对现有非策略强化学习方法的简单修改,以解决这些计算和内存需求。为了减少CNN中梯度更新的计算开销,由于其参数的早期收敛,我们在训练早期冻结了CNN编码器的较低层。此外,我们通过存储低维的潜在向量的经验重放,而不是高维图像,使重放缓冲区容量,一个有用的技术在受限的内存设置的自适应增加,减少内存需求。在我们的实验中,我们表明SEER不会降低RL代理的性能,同时在各种DeepMind Control环境和Atari游戏中显著节省计算和内存。
2021-10-28 cs.CV cs.LG
Reinforcement Learning for Admission Control in Wireless Virtual Network Embedding
Hasso Platter Institute(哈索·普拉特纳研究所);Potsdam University(波茨坦大学);Paderborn University(帕德博恩大学)
在无线网络中使用服务功能链(SFC)在网络和多媒体等许多领域变得流行。它依赖于通过虚拟网络嵌入(VNE)算法将网络资源分配给传入的SFC请求,从而优化SFC的性能。当传入请求的负载-竞争有限的网络资源-增加时,决定哪些请求应该被接纳,哪些请求应该被拒绝变得具有挑战性。在这项工作中,我们提出了一种深度强化学习(RL)解决方案,可以学习不同依赖关系的准入策略,例如服务生命周期和传入请求的优先级。我们将深度强化学习解决方案与先到先得的基线进行比较,只要有可用的资源,就可以接受请求。我们表明,深度RL优于基线,即使有足够的资源,也能提供更高的接受率和低拒绝率。
2021-10-04 cs.LG cs.NI
Reward-Zero: Language Embedding Driven Implicit Reward Mechanisms for Reinforcement Learning
Reward-Zero通过语言嵌入驱动的隐式奖励机制,提升强化学习的样本效率、泛化能力和可扩展性。
2026-03-10 cs.LG
Minor Embedding for Quantum Annealing with Reinforcement Learning
Politecnico di Milano(米兰理工大学)
本文提出了一种基于强化学习的量子退火次要嵌入方法,利用近端策略优化智能体在不同硬件拓扑上高效生成有效嵌入。
2025-07-21 cs.LG quant-ph
Reinforcement Learning of Multi-Domain Dialog Policies Via Action Embeddings
University of Pennsylvania(宾夕法尼亚大学);Facebook AI(脸书人工智能);Facebook AI Research(脸书人工智能研究院);Facebook Assistant(脸书助手部门)
通过强化学习学习面向任务的对话策略通常需要与用户进行大量交互,这在实践中使得这种方法无法用于现实世界的应用。为了减少数据需求,我们建议利用来自不同对话域的数据,从而减少每个给定域所需的数据量。特别是,我们建议学习域不可知的动作嵌入,它捕获通用结构,通知系统如何在当前对话上下文下采取行动,然后专门用于特定的域。我们展示了这种方法是如何能够学习与用户的互动显着减少,减少了35%的对话框的数量需要学习,和更高的熟练程度比训练单独的政策,为每个域的一组模拟域。
2022-07-01 cs.CL cs.LG
Self-Consistent Trajectory Autoencoder: Hierarchical Reinforcement Learning with Trajectory Embeddings
University of California, Berkeley(加利福尼亚大学伯克利分校);Google Brain(谷歌大脑)
在这项工作中,我们采取表示学习的角度分层强化学习,其中学习层次结构中的较低层的问题转化为学习自动生成模型的问题。我们证明了我们可以学习轨迹的连续潜在表示,这在解决时间扩展和多阶段问题中是有效的。我们提出的模型SeCTAR从变分自编码器中汲取灵感,并学习轨迹的潜在表示。这种方法的一个关键组成部分是学习一个潜在的条件政策和一个潜在的条件模型是一致的。给定相同的潜势,策略生成的轨迹应该与模型预测的轨迹相匹配。该模型通过预测闭环策略行为的结果,提供了一个内置的预测机制。我们提出了一种新的算法来执行分层RL与此模型,结合基于模型的规划学习的潜在空间与无监督的探索目标。我们表明,我们的模型是有效的推理在长期的视野与稀疏的奖励几个模拟任务,优于标准的强化学习方法和先验方法的层次推理,基于模型的规划和探索。
2018-06-07 cs.AI cs.LG stat.ML
Learning to Retrieve via Reinforcement Learning in Embedding Space
Renmin University of China(中国人民大学)
提出RELER框架,利用强化学习在嵌入空间中直接优化检索指标,通过vMF采样和条件均值投影减少噪声,在BRIGHT基准及RAG下游任务中显著提升性能。
2026-10-07 cs.AI cs.CL cs.IR
Learning Task Embeddings for Teamwork Adaptation in Multi-Agent Reinforcement Learning
University of Edinburgh(爱丁堡大学)
研究团队协作适应问题,提出多智能体任务嵌入(MATE)方法,通过编码器-解码器架构学习任务嵌入,使智能体团队能在有限微调下适应新任务,并验证其有效性。
2023-11-20 cs.AI cs.LG cs.MA
Distributional Bellman Operators over Mean Embeddings
Google DeepMind(谷歌DeepMind);Gatsby Unit, University College London(伦敦大学学院盖茨比单元)
本文提出基于回报分布有限维均值嵌入的分布式强化学习框架,推导动态规划与时序差分算法并证明收敛,实验表明其可扩展至深度强化学习并在 ALE 上优于基线。
2024-03-04 cs.LG stat.ML
Reinforcement-Learning Portfolio Allocation with Dynamic Embedding of Market Information
University of California at Berkeley(加州大学伯克利分校);Antai College of Economics & Management, Shanghai Jiao Tong University(上海交通大学安泰经济与管理学院)
本文提出结合生成式自编码器与在线元学习的强化学习投资组合分配框架,通过动态嵌入高维非平稳市场信息实现降维,实证表明其在美国前500只股票上优于基准与PTO方法,并在市场动荡期有效降低风险敞口。
2025-01-29 cs.LG q-fin.PM
MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning
University of Oxford(牛津大学)
MA-JEPA提出一种基于JEPA的随机世界模型,通过预测目标表征替代观测重建,实现多智能体强化学习的集中训练与分散执行,在SMAC上表现优异。
2026-10-09 cs.AI cs.LG cs.MA
Multi-Agent Model-Based Reinforcement Learning with Joint State-Action Learned Embeddings
McGill University(麦吉尔大学)
本文提出了一种基于联合状态-动作学习嵌入的多智能体模型驱动强化学习框架,通过统一表示学习与想象式回放,提升智能体在动态环境中协调能力与长期规划效率。
2026-02-13 cs.LG cs.MA
Reinforcement-Learned Unequal Error Protection for Quantized Semantic Embeddings
Department of Computer Science and Engineering, Dibrugarh University Institute of Engineering and Technology(计算机科学与工程系,迪布加尔大学工程与技术学院)
本文提出基于强化学习的非等误差保护方法,通过自适应重复编码实现细粒度语义保护,提升语义相似性和实体保留度。
2026-01-01 cs.IR cs.LG cs.NI
A Unifying Framework for Reinforcement Learning and Planning
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学莱顿高级计算机科学研究所);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程的优化,是人工智能的一个关键挑战。MDP优化的两种成功方法是强化学习和规划,它们在很大程度上都有自己的研究社区。然而,如果这两个研究领域解决的是同一个问题,那么我们也许能够解开它们解决方法中的共同因素。因此,本文提出了一个统一的算法框架,强化学习和规划(FRAP),确定MDP规划和学习算法必须决定的基本维度。在论文的最后,我们比较了各种著名的规划,无模型和基于模型的RL算法沿这些方面。总而言之,该框架可以帮助在规划和强化学习的算法设计空间中提供更深入的见解。
2022-03-31 cs.AI cs.LG cs.RO
Value Function Approximations via Kernel Embeddings for No-Regret Reinforcement Learning
Boston University(波士顿大学);The University of Sydney(悉尼大学)
我们考虑情景情境下的强化学习(RL)中的后悔最小化问题。在许多现实世界的RL环境中,状态和动作空间是连续的或非常大的。现有的方法建立遗憾的保证,无论是低维表示的随机过渡模型或近似的$Q$ -功能。然而,对状态-价值函数的函数近似方案的理解在很大程度上仍然缺失。在本文中,我们提出了一个在线的基于模型的RL算法,即CME-RL,学习表示的过渡分布作为嵌入在再生核希尔伯特空间,同时仔细平衡开发探索权衡。我们证明了我们的算法的效率,通过证明一个频率论(最坏情况下)的遗憾界是为了$\tilde{O}\big(Hγ_N\sqrt{N}\big)$ \footnote{ $\tilde{O}(\cdot)$ hides only absolute constant and poly-logarithmic factors.},其中$H$是情节长度,$N$是时间步的总数和$γ_N$是一个信息理论量有关的有效尺寸的状态-动作特征空间。我们的方法绕过了估计转移概率的需要,并适用于可以定义内核的任何域。它也带来了新的见解核方法的近似推理和RL遗憾最小化的一般理论。
2022-06-28 cs.LG
CHARME: A chain-based reinforcement learning approach for the minor embedding problem
Department of Computer and Information Science and Engineering, University of Florida(计算机与信息科学与工程系,佛罗里达大学);Theoritical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论部)
针对量子退火中minor嵌入这一NP难问题的可扩展性瓶颈,提出含GNN策略、状态转移算法和顺序探索策略的强化学习框架CHARME,在量子比特使用率上优于多种现有嵌入方法并提升训练效率。
2025-10-06 cs.AI cs.LG
Sharp Analysis of Smoothed Bellman Error Embedding
Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
\textit{Smoothed Bellman Error Embedding}算法~ \citep{dai2018sbeed}(SBEED)是一种可证明收敛的具有一般非线性函数逼近的强化学习算法。它已经成功地实现了神经网络,并取得了很好的经验结果。在这项工作中,我们研究了批处理模式强化学习中SBEED的理论行为。我们证明了一个接近最佳的性能保证,依赖于所使用的函数类的表示能力和一个紧的概念的分布偏移。我们的研究结果改善了在~ \citet{dai2018sbeed}中的SBEED在规划范围和样本大小上的依赖性方面的先验保证。我们的分析建立在最近的工作~ \citet{Xie2020}研究相关的算法MSBO,这可以被解释为一个\textit{non-smooth}对应的SBEED。
2020-07-07 cs.LG stat.ML
Physics-Regulated Deep Reinforcement Learning: Invariant Embeddings
TUM(慕尼黑工业大学);WSU(华盛顿州立大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
提出物理调节的 Phy-DRL 框架,通过残差策略、安全嵌入奖励和物理引导的神经网络编辑,为安全关键自主系统提供可证明的安全保证。
2024-07-08 cs.AI cs.LG
Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA(普渡大学土木与建设工程学院);Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA(普渡大学埃尔莫尔家庭电气与计算机工程学院)
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架,通过元学习推断环境潜在表示并动态调整风险水平,实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
TIGER-MARL: Enhancing Multi-Agent Reinforcement Learning with Temporal Information through Graph-based Embeddings and Representations
University of Southern California(美国南加州大学);DEVCOM Army Research Office(国防部陆军研究办公室)
针对MARL方法忽略智能体交互时间演化的问题,本文提出TIGER框架,通过构建动态时间图并结合时间注意力编码器生成时间感知嵌入,在协调基准上持续优于基线,且经消融验证结构与时间因素的协同作用。
2025-11-11 cs.AI cs.LG
XIRL: Cross-embodiment Inverse Reinforcement Learning
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);Robotics at Google(谷歌机器人部门)
我们研究了视觉跨具体模仿设置,其中代理从其他代理的视频中学习策略(如人类)演示相同的任务,但在他们的实施方式-形状,行动,末端执行器动力学等方面存在明显差异。我们证明,它是可能的,自动发现和学习基于视觉的奖励功能,从交叉,实施例演示视频对这些差异是鲁棒的。具体来说,我们提出了一种用于跨具体逆强化学习(XIRL)的自监督方法,该方法利用时间周期一致性约束来学习深度视觉嵌入,该深度视觉嵌入从多个专家代理的演示的离线视频中捕获任务进展,每个专家代理由于具体差异而不同地执行相同的任务。在我们的工作之前,从自我监督嵌入中产生奖励通常需要与参考轨迹对齐,这在明显的实施例差异下可能很难获得。我们的经验表明,如果嵌入意识到任务的进展,简单地采取当前状态和目标状态之间的负距离在学习的嵌入空间是有用的作为奖励的训练策略与强化学习。我们发现我们学习的奖励函数不仅适用于训练期间看到的实施例,而且还适用于全新的实施例。此外,当将真实世界的人类演示转移到模拟机器人时,我们发现XIRL比目前最好的方法更具样本效率。定性结果、代码和数据集可在https://x-irl.github.io上获得
2021-12-13 cs.AI cs.CV cs.LG
Reinforcement-Enhanced Autoregressive Feature Transformation: Gradient-steered Search in Continuous Space for Postfix Expressions
University of Central Florida(中佛罗里达大学);CNIC, CAS(中国科学院计算机网络信息中心);University of CAS(中国科学院大学);Arizona State University(亚利桑那州立大学)
针对特征变换离散搜索空间爆炸且效率与稳定性难兼顾的问题,提出强化增强的自回归连续优化框架,通过数据准备、序列嵌入、梯度搜索与重构定位最优特征空间。
2023-09-24 cs.LG
A pedestrian path-planning model in accordance with obstacle's danger with reinforcement learning
Shibaura Institute of Technology(芝浦工业大学)
大多数微观行人导航模型使用应用于行人代理的“力”的概念来复制导航环境。虽然该方法可以在常规情况下提供可信的结果,但在许多典型设置中,它并不总是类似于自然的行人导航行为。在我们的研究中,我们提出了一种新的方法,使用强化学习模拟行人智能体路径规划和避碰问题。这种方法的主要重点是利用人类对环境的感知和对干扰的危险意识。我们的模型的实施表明,由代理规划的路径与人类行人在几个方面,如遵循常见的步行惯例和人类行为有许多相似之处。
2019-12-06 cs.LG cs.MA cs.RO
Compositional Automata Embeddings for Goal-Conditioned Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Nissan Advanced Technology Center(日产先进技术中心)
针对现有目标条件强化学习的目标表示存在的局限,提出用确定性有限自动机组合表示时序目标,通过在到达-规避衍生DFA上预训练图神经网络嵌入,实现零样本泛化与加速策略特化。
2025-01-15 cs.AI cs.CL cs.FL
Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving
Robert Bosch GmbH(罗伯特·博世有限公司);Ulm University(乌尔姆大学)
提出一种将深度强化学习策略用于高层行为规划并结合现有运动规划算法生成轨迹的方法,通过真实车辆实验和仿真分析验证了其在缩小仿真到现实差距及处理复杂多智能体机动方面的潜力。
2023-04-17 cs.LG cs.RO
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.(Maana公司);Auburn University(奥本大学)
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习,这通常需要大量的经验。符号规划依赖于手工制作的符号知识,这可能对领域的不确定性和变化不鲁棒。在本文中,我们提出了一个统一的框架{ \em PEORL},集成了符号规划与分层强化学习(HRL),以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习,并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Motion Planning by Reinforcement Learning for an Unmanned Aerial Vehicle in Virtual Open Space with Static Obstacles
School of Integrated Technology, Yonsei University(延世大学整合技术学院);Electronics and Telecommunications Research Institute(电子通信研究院)
在这项研究中,我们应用强化学习的邻近策略优化算法的基础上执行运动规划的无人机(UAV)在开放空间与静态障碍。强化学习在真实无人机中的应用存在时间和成本等限制,因此,我们使用Gazebo模拟器在虚拟环境中对虚拟四旋翼无人机进行训练。随着强化学习的进行,模型的平均奖励和目标率增加。此外,训练模型的测试表明,无人机达到了81%的目标率使用简单的奖励函数在这项工作中建议。
2020-09-24 cs.LG cs.RO
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck(因斯布鲁克大学)
大多数深度强化学习(D-RL)方法都执行局部策略搜索,这增加了陷入局部最小值的风险。此外,即使在基于模拟的训练中,模拟模型的可用性在D-RL中也没有得到充分利用,这可能会降低效率。为了更好地利用仿真模型的政策搜索,我们建议将kinodynamic规划器的探索策略,并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS(规划策略搜索)。我们比较PPS与最先进的D-RL方法在典型的RL设置,包括欠驱动系统。比较表明,PPS,由kinodynamic规划器的指导下,收集数据从更广泛的区域的状态空间。这将生成训练数据,帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
虽然深度神经网络(DNN)和高斯过程(GP)都被广泛用于解决强化学习中的问题,但这两种方法都具有挑战性问题的不利缺点。DNN学习复杂的非线性嵌入,但不能自然地量化不确定性,并且通常训练数据效率低下。GP推断函数的后验分布,但流行的内核在复杂和高维数据上表现出有限的表达能力。幸运的是,最近发现的共轭核函数和神经切线核函数在核域中对过参数化神经网络的行为进行了编码。我们证明,这些内核可以有效地应用于回归和强化学习问题,通过分析基线案例研究。我们首次将具有神经网络对偶核的GP应用于解决强化学习任务。我们使用众所周知的山地车问题证明,具有双内核的GP的性能至少与使用传统径向基函数内核的GP一样好。我们推测,通过继承GP的概率严谨性和DNN的强大嵌入特性,使用NN双内核的GP将使未来的强化学习模型能够在困难的领域中发挥作用。
2020-04-10 cs.LG cs.SY eess.SY
Multi-task Reinforcement Learning with a Planning Quasi-Metric
University of Geneva(日内瓦大学);Visium
我们引入了一种新的强化学习方法,该方法结合了规划准度量(PQM),该规划准度量估计从任何状态到另一个状态所需的步骤数,并具有特定于任务的“瞄准器”,该瞄准器计算目标状态以达到给定的目标。这种分解允许跨任务共享任务不可知的准度量模型,该模型捕获环境的动态,并且可以以密集和无监督的方式学习。与最近发表的标准位翻转问题和MuJoCo机器人手臂模拟器的方法相比,我们实现了多倍的训练速度。
2020-12-05 cs.LG stat.ML
Learning Generalizable Representations for Reinforcement Learning via Adaptive Meta-learner of Behavioral Similarities
Nanyang Technological University(南洋理工大学)
如何从高层视觉观察中学习有效的基于强化学习的控制任务模型是一个实用且具有挑战性的问题。解决这个问题的关键是从观测中学习低维状态表示,从中可以学习有效的策略。为了促进状态编码的学习,最近的工作集中在捕获状态表示之间的行为相似性或对视觉观察应用数据增强。在本文中,我们提出了一种新的基于元学习者的框架表示学习行为相似性的强化学习。具体来说,我们的框架编码的高维观测到两个分解的嵌入在马尔可夫决策过程(MDP)的奖励和动态。一对元学习器的开发,其中一个量化的奖励相似性和其他量化的动态相似性在相应的分解嵌入。元学习器通过对策略互模拟度量中两个不相交项的近似来自学习更新状态嵌入。为了将奖励和动力学条款,我们进一步开发了一种策略,以适应性地平衡他们的影响,根据不同的任务或环境。我们的经验表明,我们提出的框架优于国家的最先进的基线上的几个基准,包括传统的DM控制套件,分散DM控制套件和自动驾驶任务CARLA。
2022-12-26 cs.LG
Can Euclidean Symmetry be Leveraged in Reinforcement Learning and Planning?
Northeastern University(东北大学)
本文研究具有欧几里得群对称性的强化学习与规划问题,提出统一离散与连续对称性的理论,并将等变基于价值的规划扩展到连续MDP,给出等变采样规划算法构建流程。
2023-07-17 cs.LG cs.RO
Hierarchical Programmatic Reinforcement Learning via Learning to Compose Programs
National Taiwan University(台湾大学)
本文提出分层程序化强化学习框架HPRL,通过学习元策略组合程序嵌入空间中的程序,克服LEAPS受数据集分布限制和信用分配不足的问题,在Karel领域取得优于基线的效果。
2023-05-31 cs.AI cs.LG cs.PL
Self-Inspection Method of Unmanned Aerial Vehicles in Power Plants Using Deep Q-Network Reinforcement Learning
University of Toronto(多伦多大学)
为了检查发电厂,可以使用强化学习技术来构建自主机器人。该方法复制的环境,并采用一个简单的强化学习(RL)算法。这一战略可适用于若干部门,包括发电部门。研究提出了一个具有感知、计划和行动的预训练模型。为了解决优化问题,例如无人机(UAV)导航问题,DeepMind于2015年推出的基于强化学习的框架Deep Q-network(DQN)结合了深度学习和Q-learning。为了克服现有流程中存在的问题,本研究提出了一种结合无人机自主导航和DQN强化学习的电厂巡检系统。这些训练过程参考状态设置奖励函数,并考虑内部和外部影响因素,这将它们与现在使用的其他强化学习训练技术区分开来。例如,该技术的强化学习部分的关键组成部分引入了风场模拟、无人机的电池充电水平、无人机达到的高度等状态。经过训练的模型使无人机能够在困难的环境中自行移动,从而更有可能将检查策略应用于实践。该模型的平均得分收敛到9000。经过训练的模型允许无人机进行到达目标点所需的最少旋转次数。
2023-03-16 cs.LG cs.RO
Vision-Language Models Provide Promptable Representations for Reinforcement Learning
U.C. Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
本文提出利用预训练视觉语言模型作为可提示表示来初始化强化学习策略,在Minecraft和Habitat任务中优于通用嵌入,且通过思维链提示提升新场景性能1.5倍。
2024-05-23 cs.AI cs.CV cs.LG
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert Bosch GmbH(罗伯特·博世有限公司)
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而,为了使协作系统集成到以人为中心的交通中,自动化系统必须表现得像人类一样,以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展,但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型,最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明,该方法可以恢复一个合理的奖励模型,模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
A Scalable Deep Reinforcement Learning Model for Online Scheduling Coflows of Multi-Stage Jobs for High Performance Computing
Sun Yat-sen University(中山大学)
Rolllow是最近提出的网络抽象,以帮助提高数据并行计算作业的通信性能。在多阶段作业中,每个作业由多个同流组成,并由有向无环图(DAG)表示。有效地调度同向流是提高数据中心数据并行计算性能的关键。与手工调整的调度策略相比,现有的工作DeepWeave [1]利用强化学习(RL)框架自动生成高效的coflow调度策略。它采用图神经网络(GNN)编码的嵌入向量的集合中的作业信息,并提供一个平面嵌入向量包含整个作业信息的策略网络。然而,这种方法具有较差的可扩展性,因为它不能处理由任意大小和形状的DAG表示的作业,这需要大的策略网络来处理难以训练的高维嵌入向量。在本文中,我们首先利用一个有向无环图神经网络(DAGNN)处理输入,并提出了一种新的流水线DAGNN,它可以有效地加快DAGNN的特征提取过程。然后,将由可分解的共流组成的嵌入序列作为策略网络的嵌入序列,输出优先级序列,使得策略网络的大小仅取决于特征的维数,而不取决于维数与作业DAG中节点数的乘积。我们将自注意力机制结合到深度RL模型中,以捕获嵌入序列的不同部分之间的交互,从而使输出优先级分数相关。在此模型的基础上,我们提出了一个在线多阶段作业的同流调度算法。
2021-12-21 cs.DC cs.LG
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
JEDI: Joint Embedding Diffusion World Model for Online Model-Based Reinforcement Learning
National University of Singapore(新加坡国立大学)
JEDI通过联合嵌入扩散方法,构建了首个端到端的潜在扩散世界模型,提升了在线基于模型的强化学习效率与性能,减少了显存占用并加快了训练速度。
2026-05-13 cs.LG
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
虽然强化学习最近取得了巨大的成功,但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面,演示的使用使智能体能够从专家知识中受益,而不必通过探索来发现最佳行动。在本调查中,我们讨论了在顺序决策中使用演示的优点,在基于学习的决策范式中应用演示的各种方法(例如,强化学习和学习模型中的规划),以及如何在各种场景中收集演示。此外,我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo(东京大学)
研究针对离线强化学习中轨迹规划器的问题,提出捷径轨迹规划(STP)框架,将捷径模型作为轨迹生成器,单阶段训练条件捷径轨迹模型,支持可调推理,用增强可行性感知校正的评论家选候选计划,在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
IPCGRL: Language-Instructed Reinforcement Learning for Procedural Level Generation
Gwangju Institute of Science and Technology (GIST), South Korea(全州科学技术学院(GIST));Dongseo University, South Korea(东国大学)
针对文本指令驱动的程序化内容生成问题,提出结合句子嵌入与强化学习的 IPCGRL,通过任务特定嵌入微调提升关卡生成的可控性与未见指令泛化能力。
2025-07-24 cs.AI cs.CL cs.LG
For SALE: State-Action Representation Learning for Deep Reinforcement Learning
Mila, McGill University(米拉,麦吉尔大学);Google DeepMind(谷歌DeepMind)
针对低维状态强化学习中表示学习被忽视的问题,提出建模状态-动作交互的SALE方法,结合检查点机制改进TD3得到TD7算法,在OpenAI gym基准上性能大幅提升且适配在线离线场景。
2023-11-05 cs.AI cs.LG stat.ML
To Start Up a Start-Up$-$Embedding Strategic Demand Development in Operational On-Demand Fulfillment via Reinforcement Learning with Information Shaping
The University of Tulsa(塔尔萨大学);Otto von Guericke Universität Magdeburg(马格德堡奥托·冯·格里克大学);The University of Iowa(爱荷华大学)
本文针对按需运输初创公司如何在新市场中建立客户群的问题,提出将战略性需求发展嵌入实时履约运营的两步方法,通过分析性见解塑造强化学习训练数据,实验证明该方法能有效促进需求增长。
2025-04-08 cs.LG
Deep Reinforcement Learning for Swarm Systems
L-CAS University of Lincoln(L-CAS林肯大学);Technische Universität Darmstadt(达姆施塔特技术大学)
本文提出了一种基于分布均嵌入的新状态表示方法,用于深度多智能体强化学习,以更有效地处理大规模同质群体系统的去中心化决策问题。
2019-06-06 cs.AI cs.LG cs.MA