Reinforcement Learning for Learning of Dynamical Systems in Uncertain Environment: a Tutorial
Tarbiat Modares University(塔比亚特·莫达雷斯大学);Hamedan University of Technology(哈马丹工业大学)
本文综述了不确定环境下动态系统学习的无模型强化学习。为此,将回顾马尔可夫决策过程(MDP)。此外,本文还对无模型学习算法中的时间差分学习、Q学习和近似Q学习等学习算法进行了研究,并对各种学习算法的优缺点进行了讨论。每一节中讨论的概念都是用细节和例子来解释的。
2019-05-19 cs.AI cs.LG
Purpose in the Machine: Do Traffic Simulators Produce Distributionally Equivalent Outcomes for Reinforcement Learning Applications?
本研究探究交通模拟器CityFlow和SUMO是否为强化学习应用产生分布等价结果,通过控制实验发现二者在RL相关指标上不具有分布等价性,强调理解模拟器间差异的必要性。
2023-11-14 cs.CE cs.LG
Average-reward model-free reinforcement learning: a systematic review and literature mapping
University of Queensland(昆士兰大学);University of Newcastle(纽卡斯尔大学);International Computer Science Institute(国际计算机科学研究所)
强化学习是人工智能的重要组成部分。在本文中,我们回顾了无模型强化学习,利用平均奖励最优性标准在无限时域设置。受Mahadevan(1996 a)的单独调查的启发,我们提供了这一领域工作的最新回顾,并将其扩展到包括策略迭代和函数逼近方法(除了值迭代和表格对应方法)。我们提出了一个全面的文献映射。我们还确定和讨论未来工作的机会。
2021-08-03 cs.AI cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室 IDSIA/USI/SUPSI);NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而,这些方法通常需要在数据汇集期间记录动作信息,这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中,我们研究了使用无动作离线数据集来改进在线强化学习的潜力,将这个问题命名为无动作离线预训练的强化学习(AFP-RL)。我们介绍了无动作指南(AF-Guide),一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer(AFDT)组成,实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态,以及一个引导的软演员-评论家(引导SAC),它在AFDT的指导下在线学习。实验结果表明,AF-Guide能够有效地提高样本效率和在线训练的性能,这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
Trinity-RFT: A General-Purpose and Unified Framework for Reinforcement Fine-Tuning of Large Language Models
Alibaba Group(阿里巴巴集团)
本文提出通用统一的 Trinity-RFT 框架,通过模块化 RFT-core、智能体环境交互集成和数据流水线,支持大语言模型多模式强化微调研究与应用。
2025-09-29 cs.CL cs.DC cs.LG
The Max-Min Formulation of Multi-Objective Reinforcement Learning: From Theory to a Model-Free Algorithm
School of Electical Engineering, Korea Advanced Institute of Science & Technology(韩国科学技术院电气工程学院);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
本文针对多目标强化学习提出最大-最小框架以保障多目标间的公平性,并给出相关理论及一种无模型算法,实验表明其性能显著优于现有基线方法。
2024-06-12 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance(字节跳动);Nankai University(南开大学)
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制,具有封闭多样性、不变性探索和自适应权衡三个特性,这有助于基于值的方法避免策略崩溃问题。然而,不存在一个并行的机制,基于策略的方法,实现所有三个特征。在本文中,我们提出了一个熵正则化的自由机制,设计的基于策略的方法,实现了封闭形式的多样性,不变性探索和自适应权衡。我们的实验表明,我们的机制是超级样本效率的基于策略的方法,并提高了基于策略的基线,以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Prolonging Tool Life: Learning Skillful Use of General-purpose Tools through Lifespan-guided Reinforcement Learning
Division of Information Science, Graduate School of Science and Technology, Nara Institute of Science and Technology(信息科学系,科学技术研究生学校,奈良科学技术研究所)
本文提出将工具剩余使用寿命融入强化学习奖励的框架,结合FEA、Miner准则与自适应奖励归一化,使机器人在完成工具使用任务时显著延长工具寿命并成功迁移至真实场景。
2025-07-25 cs.LG cs.RO
Focusing Robot Open-Ended Reinforcement Learning Through Users' Purposes
National Research Council (CNR)(国家研究委员会);Institute of Cognitive Sciences and Technologies (ISTC)(认知科学与技术研究所)
针对开放式学习机器人可能学习用户无关内容的问题,本文提出POEL架构,利用语音、场景分析和LLM识别目的相关对象,并引导探索与奖励生成。
2025-03-16 cs.LG cs.RO
Reinforcement Learning with Intrinsic Affinity for Personalized Prosperity Management
Sparebank 1 SR-Bank;Center for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
将强化学习(RL)应用于资产管理的共同目的是利润最大化。用于学习最优策略的外部奖励函数通常不考虑任何其他偏好或约束。我们已经开发了一种正则化方法,该方法确保策略具有全局内在亲和力,即,不同的个性可能对某些资产具有偏好,这些偏好可能随时间而改变。我们利用这些内在的政策亲和力,使我们的强化学习模型内在地可解释。我们演示了如何可以训练RL代理,以协调这种个人政策,为特定的个性配置文件,仍然实现高回报。
2022-07-27 cs.AI cs.LG
How Far I'll Go: Offline Goal-Conditioned Reinforcement Learning via $f$-Advantage Regression
University of Pennsylvania(宾夕法尼亚大学)
离线目标条件强化学习(GCRL)承诺以从纯离线数据集达到不同目标的形式进行通用技能学习。我们提出了$\textbf{Go}$ al-条件$f$ - $\textbf{A}$优势$\textbf{R}$回归(GoFAR),一种新的基于回归的离线GCRL算法来自状态占用匹配的角度来看,关键的直觉是,达到目标的任务可以制定为一个动态遵守模仿者代理和专家代理之间的状态占用匹配问题,直接传送到目标。与之前的方法相比,GoFAR不需要任何事后重新标记,并且对其价值和政策网络进行了无交错优化。这些独特的功能赋予GoFAR更好的离线性能和稳定性以及统计性能保证,这是以前的方法无法实现的。此外,我们证明了GoFAR的训练目标可以重新调整,从纯粹的离线源域数据中学习一个独立于代理的目标条件规划器,这使得zero-shot转移到新的目标域。通过大量的实验,我们验证了GoFAR在各种问题设置和任务中的有效性,显着优于现有的最先进的。值得注意的是,在一个真正的机器人灵巧的操作任务,而没有其他方法取得有意义的进展,GoFAR获得复杂的操作行为,成功地实现了不同的目标。
2022-11-10 cs.AI cs.LG
Document-editing Assistants and Model-based Reinforcement Learning as a Path to Conversational AI
University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(向量人工智能研究院);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究院)
遵循命令或回答简单问题的智能助手,如Siri和谷歌搜索,是人工智能最具经济意义的应用之一。未来的对话式人工智能助手通过对领域、用户或用户目的的更深入理解,有望提供更强大的功能和更好的用户体验。但是,什么领域和什么方法最适合研究和实现这一承诺?在这篇文章中,我们主张的领域的语音文档编辑和基于模型的强化学习的方法。语音文档编辑的主要优点是,域的范围很窄,并且它为对话提供了一些关于(文档)的内容,这些内容是分隔的,并且智能助理可以完全访问。一般来说,强化学习的优点是,它的方法被设计成在没有明确指令的情况下从交互中学习,并且它使助手的目的形式化。需要基于模型的强化学习来真正理解话语领域,从而与用户有效地合作以实现他们的目标。语音文档编辑和基于模型的强化学习共同构成了实现会话AI的一个有前途的研究方向。
2020-08-27 cs.AI cs.HC cs.LG
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel(布鲁塞尔自由大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果,并且往往优于actor-critic算法。我们认为,演员批评家的算法是有限的,他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代(BDPI),一种新的无模型强化学习算法的连续状态和离散的行动,与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放,确保高采样效率,而不需要政策外的校正。演员,通过慢慢地模仿平均贪婪的政策的批评,导致高质量和国家特定的探索,我们比较汤普森抽样。因为演员和评论家是完全解耦的,BDPI非常稳定,并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中,BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码:https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
CytonRL: an Efficient Reinforcement Learning Open-source Toolkit Implemented in C++
National Institute of Information and Communications Technology(日本信息通信研究机构)
本文介绍了一个名为CytonRL的开源执法学习工具包(https://github.com/arthurxlw/cytonRL)。该工具包使用C++和NVIDIA的GPU加速库从头开始实现了四种最新的高级深度Q-学习算法。代码简单而优雅,这要归功于一个名为CytonLib的开源通用神经网络库。基准测试表明,该工具包在流行的Atari游戏Breakout上实现了具有竞争力的性能。
2018-04-14 cs.AI cs.LG stat.ML
A Simple Reward-free Approach to Constrained Reinforcement Learning
Princeton University(普林斯顿大学)
在约束强化学习(RL)中,学习代理不仅要优化整体奖励,还要满足额外的安全性、多样性或预算约束。因此,现有的约束RL解决方案需要几个新的算法成分,显着不同于标准RL。另一方面,无奖励强化学习是在无约束文献中独立开发的,它在不使用奖励信息的情况下学习过渡动态,因此自然能够在共同动态下解决具有多个目标的强化学习。本文桥接了无报酬强化学习和约束强化学习。特别地,我们提出了一个简单的元算法,使得给定任何无奖励的RL预言,可以直接解决可接近性和约束RL问题,样本复杂度的开销可以忽略不计。利用现有的无奖励的RL求解器,我们的框架提供了尖锐的样本复杂性结果约束RL在表格MDP设置,匹配最好的现有结果的一个因素的水平依赖性,我们的框架直接扩展到一个设置的表格两个球员马尔可夫游戏,并给出了一个新的结果约束RL与线性函数近似。
2021-07-12 cs.AI cs.LG
Bridging the Gap between Reinforcement Learning and Knowledge Representation: A Logical Off- and On-Policy Framework
知识表示是强化学习中的一个重要问题。在本文中,我们弥合了强化学习和知识表示之间的差距,通过提供一个丰富的知识表示框架,基于正常的逻辑程序与答案集语义,这是能够解决无模型强化学习问题,更复杂的领域,并利用特定领域的知识。我们证明了我们方法的正确性。我们证明了在我们的方法中为无模型强化学习问题找到离线和在线策略的复杂性是NP完全的。此外,我们证明了MDP环境中的任何无模型强化学习问题都可以编码为SAT问题。重要的是无模型强化
2010-12-07 cs.AI cs.LG cs.LO
Successor Features Combine Elements of Model-Free and Model-based Reinforcement Learning
Brown University(布朗大学);Computer Science Department(计算机科学系);Carney Institute for Brain Science(卡尼脑科学研究所);Providence, RI 02912, USA(美国罗得岛州普罗维登斯市 02912)
强化学习中的一个关键问题是智能代理如何在不同的输入中概括知识。通过在不同的输入之间进行泛化,为一个输入学习的信息可以立即重新用于改进对另一个输入的预测。重用信息允许代理使用更少的数据来计算最佳决策策略。状态表示是泛化过程的关键要素,它将高维输入空间压缩成低维潜在状态空间。本文分析了不同的潜在状态空间的属性,从而在基于模型和无模型强化学习之间建立了新的联系。预测未来观察频率的后继特征形成了基于模型和无模型学习之间的联系:学习预测未来预期的奖励结果,这是基于模型的代理的一个关键特征,相当于学习后继特征。学习后继特征是时间差分学习的一种形式,等价于学习预测单个策略的效用,这是无模型代理的一个特征。利用基于模型的强化学习和后继特征之间的联系,我们证明了预测未来奖励结果的表示在过渡和奖励的变化中具有普遍性。这一结果扩展了以前的工作的后继功能,这是限制到固定的转换,并假设重新学习的转移状态表示。
2020-10-04 cs.AI cs.LG
Fast TRAC: A Parameter-Free Optimizer for Lifelong Reinforcement Learning
Harvard College(哈佛学院);Harvard University(哈佛大学)
针对终身强化学习中的可塑性丧失问题,本文基于在线凸优化理论提出无参数优化器TRAC,无需调参和分布偏移先验,在多环境实验中验证了其缓解可塑性丧失、快速适应分布偏移的优异效果。
2024-10-30 cs.AI cs.LG
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced(加州大学默塞德分校)
如何有效地发现子目标是分层强化学习(HRL)中的一个挑战性问题。在本文中,我们表明,内在动机学习提高了探索的效率,导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外,我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
State-free Reinforcement Learning
Boston University(波士顿大学);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
本文研究了无状态RL问题,设计了无需状态空间信息且遗憾值仅依赖于可达状态集的算法,为迈向无需超参数调优的无参数RL迈出了第一步。
2024-09-27 cs.AI cs.LG
SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control
New Jersey Institute of Technology(新泽西理工学院)
交通信号控制对我们的日常生活安全至关重要。在美国,大约四分之一的交通事故发生在交叉口,这是由于信号配时问题,这促使了以安全为导向的交叉口控制的发展。然而,现有的自适应交通信号控制的研究,使用强化学习技术主要集中在最大限度地减少交通延误,但忽略了潜在的暴露于不安全的条件。我们首次将道路安全标准纳入执法范围,以确保现有强化学习方法的安全性,旨在实现零碰撞的交叉路口运营。我们提出了一种安全增强的残差强化学习方法(SafeLight),并采用多目标损失函数和奖励塑造等多种优化技术来更好地进行知识集成。使用合成和真实世界的基准数据集进行了广泛的实验。结果表明,我们的方法可以显着减少碰撞,同时增加流量的流动性。
2023-02-27 cs.AI cs.LG
Diverse Policies Converge in Reward-free Markov Decision Processe
Tsinghua University(清华大学);Paradigm Inc.(第四范式公司)
针对现有多样性强化学习算法缺乏收敛性与效率理论支撑的问题,本文提出统一的研究框架,分析多样化策略训练的收敛性,提出可证明高效的算法,并通过数值实验验证有效性。
2023-08-23 cs.AI cs.LG
Bridging the Performance Gap Between Target-Free and Target-Based Reinforcement Learning
DFKI, SAIROL(DFKI,SAIROL);TU Darmstadt(图腾达姆施塔特大学);University of Southern Denmark(南部丹麦大学);Delft University of Technology(代尔夫特理工大学);University of Würzburg(乌尔姆大学);Robotics Institute Germany(德国机器人研究所)
iS-QL通过结合迭代Q学习与共享参数的目标网络,提升目标无关方法的样本效率,弥合目标无关与目标导向强化学习之间的性能差距。
2026-02-27 cs.AI cs.LG
Model-Based Value Estimation for Efficient Model-Free Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
最近的无模型强化学习算法已经提出将学习的动力学模型作为附加数据的来源,目的是降低样本复杂性。这种方法有望将想象的数据与模型不确定性的概念相结合,以加速连续控制任务的学习。不幸的是,它们依赖于限制动力学模型使用的逻辑学。我们提出了基于模型的价值扩展,它通过只允许想象固定的深度来控制模型中的不确定性。通过在无模型强化学习算法中更广泛地使用学习的动态模型,我们改进了值估计,这反过来又降低了学习的样本复杂性。
2018-02-28 cs.AI cs.LG stat.ML
Efficient Reinforcement Learning in Block MDPs: A Model-free Representation Learning Approach
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Google Research(谷歌研究院)
我们提出了BRIEE(具有交织探索利用的块结构表示学习),这是一种在具有块结构动态的马尔可夫决策过程中进行有效强化学习的算法(即,块MDP),其中丰富的观测结果是从一组未知的潜在状态中生成的。BRIEE将潜在状态发现、探索和利用交织在一起,并且可以证明学习一个接近最优的策略,其样本复杂度在潜在状态、动作和时间范围的数量上呈多项式缩放,而不依赖于潜在无限观测空间的大小。从经验上讲,我们表明,BRIEE比最先进的块MDP算法HOMER和其他经验RL基线更具样本效率,具有挑战性的丰富观测组合锁问题,需要深入探索。
2022-10-11 cs.AI cs.LG
ProSh: Probabilistic Shielding for Model-free Reinforcement Learning
Imperial College(帝国学院)
本文提出无模型安全强化学习算法 ProSh,通过风险预算、成本评价器和策略分布概率防护,在成本约束下提供训练期安全保证并保持确定性环境中的最优性。
2025-10-21 cs.AI cs.LG
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University(清华大学)
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题,提出无评判者预训练范式,兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
Convergence of a model-free entropy-regularized inverse reinforcement learning algorithm
Swiss Data Science Center(瑞士数据科学中心)
本文提出一种无模型熵正则化逆强化学习算法,结合随机梯度下降和随机软策略迭代更新,证明了在生成模型下能以特定样本复杂度恢复近似最优奖励并逼近专家策略。
2025-03-03 cs.AI cs.LG
ODE-based Recurrent Model-free Reinforcement Learning for POMDPs
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出一种基于ODE的循环模型与无模型强化学习框架相结合的方法,用于求解POMDP,在PO连续控制和元RL任务中验证了有效性,并展示了对不规则观测的鲁棒性。
2023-10-29 cs.AI cs.LG
Investigating Simple Object Representations in Model-Free Deep Reinforcement Learning
Center for Data Science(数据科学中心);New York University(纽约大学)
我们探索了用简单的对象表示来增强最先进的无模型深度强化算法的好处。在Lake et al.(2017)提出的Frostbite挑战之后,我们将对象表征确定为当前强化学习代理缺乏的关键认知能力。我们发现,提供彩虹模型(Hessel等人,2018年)与简单的,功能工程的对象表示大大提高了其性能的冻伤游戏从雅达利2600。然后,我们分析了不同类型的对象的表示的相对贡献,确定这些表示是最有影响力的环境状态,并检查这些表示如何帮助推广到新的情况。
2020-05-28 cs.AI cs.LG stat.ML
A Comparative Analysis of Deep Reinforcement Learning-enabled Freeway Decision-making for Automated Vehicles
Clinical Research Center and Medical Pathology Center, Chongqing University Three Gorges Hospital, Chongqing University(重庆大学三峡医院临床研究中心及医学病理中心、重庆大学)
本文针对自动驾驶车辆高速公路决策问题,对比了DQL、DDQL等四种深度强化学习方法,通过仿真实验分析了不同方法的控制性能及其学习特性与驾驶效果的关联。
2023-10-08 cs.AI cs.LG
Scale-free Adversarial Reinforcement Learning
Boston University(波士顿大学)
针对奖励/损失尺度未知的对抗 MDP,论文提出 SCB 通用框架,在对抗 MAB 中取得首个 minimax 最优期望遗憾与高概率遗憾界,并给出首个 $\tilde{\mathcal{O}}(\sqrt{T})$ 高概率遗憾保证的无尺度 RL 算法。
2024-03-01 cs.AI cs.LG
Visual Reinforcement Learning with Imagined Goals
University of California, Berkeley(加州大学伯克利分校)
对于一个自主智能体,以满足广泛的用户指定的目标在测试时,它必须能够学习广泛适用的和通用的技能剧目。此外,为了提供必要的通用性,这些技能必须处理原始的感官输入,如图像。在本文中,我们提出了一种算法,通过结合无监督表示学习和目标条件策略的强化学习来获得这种通用技能。由于在测试时可能需要的特定目标事先不知道,代理执行自我监督的“实践”阶段,在此阶段,它想象目标并尝试实现它们。我们学习视觉表示有三个不同的目的:为自我监督练习采样目标,提供原始感官输入的结构化转换,以及计算目标达成的奖励信号。我们还提出了一个追溯的目标重新标记计划,以进一步提高我们的方法的样本效率。我们的离线算法足够有效,可以学习对真实世界机器人系统的原始图像观察和目标进行操作的策略,并且大大优于现有技术。
2018-12-04 cs.CV cs.LG cs.RO
Distal Explanations for Model-free Explainable Reinforcement Learning
在本文中,我们介绍和评估的远端解释模型的无模型强化学习代理,可以产生解释“为什么”和“为什么不”的问题。我们的出发点是观察到因果模型可以产生机会链,其形式为“A促成B,B促成C”。使用的见解,从分析240个解释中产生的人类代理实验,我们定义了一个远端解释模型,可以分析反事实和机会链使用决策树和因果模型。采用递归神经网络学习机会链,并使用决策树提高任务预测的准确性和生成的反事实。我们使用不同的强化学习算法在6个强化学习基准中计算评估模型。从一项有90名人类参与者的研究中,我们发现,与两种基线解释模型相比,我们的远端解释模型在三种情况下都能改善结果。
2020-09-12 cs.AI cs.HC cs.LG
A Threshold-based Scheme for Reinforcement Learning in Neural Networks
提出了一种通用的、可扩展的人工神经网络强化学习方案,提供了一种通用的学习机。通过参考节点阈值,描述了三个特征:1)用于初级强化的机制,能够解决线性不可分割的问题; 2)学习方案被扩展为包括用于条件强化的机制,能够形成长期策略; 3)学习方案被修改为使用基于阈值的深度学习算法,为反向传播提供了鲁棒的和生物启发的替代方案。该模型可以用于监督以及无监督的训练制度。
2017-01-14 cs.LG cs.NE
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University(高丽大学);Ajou University(亚洲大学)
本文针对自主移动接入场景,提出基于CTDE的多智能体深度强化学习方法,用单一神经网络集中训练多无人机协作,以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高,更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程(MDP)的无模型算法。第一个算法减少了问题的折扣奖励版本,并实现$\mathcal{O}(T^{2/3})$遗憾后,$T$步骤,弱通信的MDP的最小假设。据我们所知,这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展,对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$,虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人(2019 a)在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Model-free Reinforcement Learning for Robust Locomotion using Demonstrations from Trajectory Optimization
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);New York University(纽约大学)
我们提出了一种通用的两阶段强化学习方法来创建鲁棒的策略,这些策略可以部署在真实机器人上,而无需使用由轨迹优化生成的单个演示进行任何额外的训练。在第一阶段中,示范被用作促进初步探索的起点。在第二阶段,直接优化相关的任务奖励,并计算对环境不确定性具有鲁棒性的策略。我们详细展示和研究我们的方法在高动态跳跃和绑定任务的四足机器人的性能和鲁棒性。
2022-01-24 cs.AI cs.LG cs.RO
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University(北京大学)
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下,将后验抽样应用于无模型强化学习,提出了连续状态空间下的高斯过程后验抽样强化学习(GPPSTD)算法,给出了理论证明和实验结果.我们也提供了理论和实证结果,各种示范可以降低预期的不确定性,有利于后验抽样探索。通过这种方式,我们将演示和探索过程结合在一起,实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
A Quadratic Actor Network for Model-Free Reinforcement Learning
RIKEN Center for Advanced Intelligence Project(理化学研究所高级智能中心);Institute of Mathematics for Industry, Kyushu University(九州大学产业数学研究所)
在这项工作中,我们讨论了将二次神经元纳入政策网络的背景下,无模型的演员-评论家强化学习。二次神经元允许显式的二次函数近似,而传统的方法中的非线性是由激活函数引起的。我们对几个MuJoCo连续控制任务进行了经验实验,发现当将二次神经元添加到MLP策略网络时,它们的性能优于基线MLP,同时允许更少的参数。返回的最高奖励平均增加了$5.8\%$,同时具有大约$21\%$更多的样本效率。此外,它可以保持其优势,对增加的行动和观察噪音。
2021-03-11 cs.AI cs.LG cs.RO
ChainerRL: A Deep Reinforcement Learning Library
Preferred Networks;The University of Tokyo(东京大学)
在本文中,我们介绍了ChainerRL,这是一个使用Python和Chainer深度学习框架构建的开源深度强化学习(DRL)库。ChainerRL实现了一套全面的DRL算法和技术,这些算法和技术来自该领域最先进的研究。为了促进可重复的研究,并出于教学目的,ChainerRL提供了与原始论文的实验设置密切相关的脚本,并为几种算法复制了已发布的基准测试结果。最后,ChainerRL提供了一个可视化工具,可以对经过训练的代理进行定性检查。ChainerRL源代码可以在GitHub上找到:https://github.com/chainer/chainerrl。
2021-04-12 cs.AI cs.LG stat.ML
Behavior-based Neuroevolutionary Training in Reinforcement Learning
TH Köln(科隆应用技术大学);Vrije Universitat Amsterdam(阿姆斯特丹自由大学)
除了在解决经典优化问题方面无可争议的成功之外,神经进化和基于种群的算法已经成为标准强化学习方法的替代方案。然而,进化方法通常缺乏标准的基于值的方法的样本效率,标准的基于值的方法利用收集的状态和值经验。如果考虑对具有显著资源成本的现实问题进行强化学习,则样本效率至关重要。因此,增强进化算法的经验利用方法是期望的,并承诺有价值的见解。本文提出了一种结合拓扑变化神经进化优化和基于值的强化学习的混合算法。我们说明了如何可以使用的政策的行为来创建距离和损失函数,这得益于存储的经验和计算的状态值。它们允许我们通过无梯度进化算法和基于代理的优化来对行为进行建模并在行为空间中进行定向搜索。为此,我们整合了不同的方法来生成和优化代理策略,创建了一个多样化的群体。我们在标准基准测试和一个专门构建的现实问题上测试了我们的算法的性能。我们的研究结果表明,结合方法可以提高进化方法的样本效率和学习速度。
2021-05-17 cs.AI cs.NE
Free energy-based reinforcement learning using a quantum processor
QBit(1QBit);The University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙菲莎大学)
最近的理论和实验结果表明,在具有挑战性的采样任务中使用当前和不久的将来的量子硬件的可能性。在本文中,我们介绍了基于自由能的强化学习(FERL)作为量子硬件的应用。我们提出了一种方法来处理量子退火机的测量量子位自旋配置近似量子玻尔兹曼机(QBM)的自由能。然后,我们应用这种方法来执行强化学习的网格世界的问题,使用D-Wave 2000 Q量子退火。实验结果表明,我们的技术是一种很有前途的方法,利用量子采样的权力在强化学习任务。
2017-05-29 cs.AI cs.LG cs.NE
Model-Free Risk-Sensitive Reinforcement Learning
Deepmind
我们扩展时间差(TD)学习,以获得风险敏感,无模型强化学习算法。这种扩展可以被视为对Rescorla-Wagner规则的修改,其中(S形)刺激被认为是高估或低估TD目标的事件。其结果是,一个获得的随机近似规则估计的自由能从i.i.d.由具有未知均值和方差的高斯分布生成的样本。由于高斯自由能对均值和方差具有一定的等效敏感性,因此该学习规则在风险敏感决策中具有应用。
2021-11-04 cs.LG
Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
如何在离线强化学习(RL)中选择由不同训练算法产生的策略和价值函数-这对于超参数调整至关重要-是一个重要的开放问题。现有的基于离政策评估(OPE)的方法通常需要额外的函数近似,因此需要超参数,从而造成鸡和蛋的情况。在本文中,我们设计了超参数无算法的基础上BVFT [XJ 21],价值函数选择的最新理论进展的政策选择,并证明其有效性在离散行动基准,如雅达利。为了解决性能下降,由于穷人的批评,在连续的行动领域,我们进一步结合BVFT与OPE得到最好的两全其美,并获得一个超参数调整方法的Q函数为基础的OPE与理论保证作为副产品。
2021-11-02 cs.AI cs.LG stat.ML
Comparing Model-free and Model-based Algorithms for Offline Reinforcement Learning
Siemens Technology(西门子技术部);Technical University of Munich(慕尼黑工业大学)
离线强化学习(RL)算法通常是在考虑MuJoCo等环境的情况下设计的,其中规划范围非常长并且不存在噪声。我们在各种工业基准(IB)数据集上比较了无模型,基于模型以及混合离线RL方法,以在更接近真实世界问题的设置中测试算法,包括复杂的噪声和部分可观察状态。我们发现,在IB上,混合方法面临着严重的困难,更简单的算法,如基于推出的算法或具有更简单正则化器的无模型算法在数据集上表现最好。
2022-01-14 cs.LG
Sim-Env: Decoupling OpenAI Gym Environments from Simulation Models
Open University of the Netherlands(荷兰开放大学);APG Algemene Pensioen Groep N.V.(APG通用养老集团有限公司);Radboud University(拉德堡德大学)
本文提出 Sim-Env 工作流与 Python 库,将 OpenAI Gym 强化学习环境与底层基于智能体的领域仿真模型解耦,支持灵活替换视角和奖励模型。
2021-02-22 cs.LG cs.MA
Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning
University of California, Berkeley(加州大学伯克利分校)
无模型深度强化学习算法已被证明能够学习广泛的机器人技能,但通常需要非常大量的样本才能实现良好的性能。原则上,基于模型的算法可以提供更有效的学习,但已证明难以扩展到表达性高的高容量模型,如深度神经网络。在这项工作中,我们证明了中等规模的神经网络模型实际上可以与模型预测控制(MPC)相结合,以实现出色的样本复杂性,在基于模型的强化学习算法,产生稳定和合理的步态来完成各种复杂的运动任务。我们还建议使用深度神经网络动力学模型来初始化无模型学习器,以便将基于模型的方法的样本效率与无模型方法的高任务特定性能相结合。我们在MuJoCo运动任务上经验性地证明,我们在随机动作数据上训练的纯基于模型的方法可以以优异的样本效率遵循任意轨迹,并且我们的混合算法可以加速高速基准任务上的无模型学习,在游泳者,猎豹,跳跃者和蚂蚁代理上实现3- 5倍的样本效率增益。视频可以在https://sites.google.com/view/mbmf上找到
2017-12-02 cs.AI cs.LG cs.RO
Reinforcement learning for the privacy preservation and manipulation of eye tracking data
本文提出了一种基于强化学习的眼动追踪数据处理方法。它基于两个对立的代理,其中一个试图正确分类数据,第二个代理在数据中寻找模式,这些模式被操纵以隐藏特定信息。我们表明,我们的方法是成功地适用于保护受试者的隐私。为此,我们迭代地评估我们的方法,以展示基于强化学习的方法的行为。此外,我们评估的时间,以及空间,信息的眼动追踪数据的特定分类目标的重要性。在我们评估的最后一部分,我们将该过程应用于进一步的公共数据集,而无需重新训练自动编码器或数据操纵器。结果表明,学习操纵是广义的,适用于看不见的数据以及。
2020-10-02 cs.AI cs.CV cs.LG
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中,价值函数的近似会导致高估偏差,从而导致次优策略。我们发现,当代理人收到的强化信号有很高的方差,深演员批评的方法,克服高估偏见导致大量低估偏见。我们首先解决现有的方法,旨在克服这种低估错误的有害问题。然后,通过广泛的统计分析,我们引入了一种新的、无参数的深度Q学习变体,以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样,我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进,并证明它大大优于现有的方法,并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research
OpenAI(开放人工智能研究中心)
本技术报告的目的是双重的。首先,它介绍了一套具有挑战性的连续控制任务(与OpenAI Gym集成),基于现有的机器人硬件。这些任务包括使用Fetch机械臂推动,滑动和拾取放置,以及使用Shadow Dexterous Hand进行手内对象操作。所有任务都有稀疏的二元奖励,并遵循多目标强化学习(RL)框架,其中代理被告知使用额外的输入做什么。论文的第二部分提出了一套改进强化学习算法的具体研究思路,其中大部分与多目标强化学习和后见之明经验重放有关。
2018-03-10 cs.AI cs.LG cs.RO
Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes
Quantinuum
本文提出利用强化学习自适应组合量子电路优化传递,有效提升优化效果。
2026-11-06 cs.LG quant-ph
Quantile of Means: A Bonus-Free Ensemble Method for Minimax Optimal Reinforcement Learning
Google Research(谷歌研究院)
提出一种基于分位数的集成方法,无需计数即可在有限时域MDP中实现最优方差依赖的遗憾界,为强化学习中的集成探索提供理论依据。
2026-06-19 cs.LG
Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning
Beijing Institute of Technology(北京理工大学);Southeast University(东南大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
可变车速限制(VSL)控制是一种灵活的方式来改善交通状况,提高安全性和减少排放。利用强化学习技术进行VSL控制是一个新兴的趋势,最近的研究已经显示出有希望的结果。目前,深度学习正在使强化学习能够为以前难以解决的问题开发自主控制代理。提出了一种更有效的深度强化学习(DRL)模型用于差分可变限速(DVSL)控制,该模型可以在车道之间施加动态和不同的限速。建议的DRL模型使用一种新的行动者-评论家架构,可以学习大量的离散速度限制在一个连续的动作空间。采用不同的奖励信号,如总行程时间、瓶颈速度、紧急制动和车辆排放等对DVSL控制器进行训练,并对这些奖励信号进行比较。我们测试建议DRL基于DVSL控制器上模拟高速公路经常性瓶颈。结果表明,该方法可以有效地改善柴油机的效率、安全性和排放。我们还显示了一些有趣的发现,通过可视化的DRL模型产生的控制策略。
2018-10-25 cs.AI cs.LG stat.ML