DARLA: Improving Zero-Shot Transfer in Reinforcement Learning
DeepMind
领域自适应是深度强化学习(RL)中一个重要的开放问题。在许多感兴趣的场景中,数据很难获得,因此代理可以在数据容易获得的环境中学习源策略,希望它能够很好地推广到目标域。我们提出了一种新的多阶段RL代理,DARLA(DisentAngled Representation Learning Agent),它在学习行动之前学习观察。DARLA的愿景是基于对所观察环境的分解表示的学习。一旦DARLA可以看到,它就能够获得对许多域转换都很健壮的源策略-即使无法访问目标域。DARLA在zero-shot域自适应场景中的表现明显优于传统基线,这种效果适用于各种RL环境(Jaco arm,DeepMind Lab)和基础RL算法(DQN,A3C和EC)。
2018-06-06 cs.AI cs.LG stat.ML
Improving the Generalization of Unseen Crowd Behaviors for Reinforcement Learning based Local Motion Planners
Nanyang Technological University(南洋理工大学);Continental Automotive Singapore(大陆汽车新加坡公司);The Chinese University of Hong Kong(香港中文大学)
本文提出一种通过最大化信息论目标来增强单一策略内智能体多样性的方法,以解决基于强化学习的运动规划器在不可预测行人场景中的过拟合和同质冲突问题,提升了智能体对未见人群行为的适应性和避碰能力。
2024-10-16 cs.AI cs.LG cs.RO
Improving Generalization in Reinforcement Learning with Mixture Regularization
National University of Singapore(新加坡国立大学);ByteDance AI Lab(字节跳动人工智能实验室)
深度强化学习(RL)在有限的环境中训练的代理往往会遭受过拟合,并且无法推广到看不见的测试环境。为了提高其通用性,数据增强的方法(如剪切和随机卷积),以前探索增加数据的多样性。然而,我们发现这些方法只是局部扰动的观察,无论训练环境,提高数据的多样性和泛化性能表现出有限的效果。在这项工作中,我们介绍了一种简单的方法,名为mixreg,它训练代理的混合观察来自不同的训练环境,并施加线性约束的观察插值和监督(例如相关的奖励)插值。Mixreg更有效地增加了数据多样性,并帮助学习更顺畅的策略。我们验证了其有效性,提高泛化进行了广泛的实验上的大型Procgen基准。结果显示,mixreg在看不见的测试环境中的性能远远优于成熟的基线。Mixreg简单、有效、通用。它可以应用于基于策略和基于值的RL算法。代码可在https://github.com/kaixin96/mixreg上获得。
2020-10-21 cs.AI cs.LG stat.ML
Improving Robustness via Risk Averse Distributional Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
阻碍强化学习在现实应用中取得成功的一个主要障碍是训练策略缺乏鲁棒性,无论是对模型不确定性还是外部干扰。当在模拟而不是真实世界环境中训练策略时,鲁棒性至关重要。在这项工作中,我们提出了一个风险意识的算法来学习强大的政策,以弥合模拟训练和现实世界的实现之间的差距。我们的算法是基于最近发现的分布式RL框架。我们将CVaR风险度量引入基于样本的分布式策略梯度(SDPG)中,学习风险规避策略,以实现对系统扰动的鲁棒性。我们验证了风险感知SDPG在多个环境中的鲁棒性。
2020-05-01 cs.LG stat.ML
Improving generalization of robot locomotion policies via Sharpness-Aware Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);inspire AG(inspire公司);University of Zurich(苏黎世大学)
针对强化学习在机器人运动策略泛化性差的问题,本文提出将锐度感知优化集成到基于梯度的强化学习算法中,在接触密集环境中提升策略对环境变化和动作扰动的鲁棒性,同时保留一阶方法的样本效率。
2024-11-29 cs.AI cs.LG cs.RO
DreamSmooth: Improving Model-based Reinforcement Learning via Reward Smoothing
University of California, Berkeley(加州大学伯克利分校)
针对奖励预测成为基于模型的强化学习瓶颈的问题,提出DreamSmooth方法,通过预测时间平滑奖励提升长视野稀疏奖励任务的样本效率和性能,且不损失常见基准表现。
2024-02-18 cs.AI cs.LG cs.RO
Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning
Stanford University(斯坦福大学)
在模仿和强化学习中,人类监督的成本限制了机器人可以训练的数据量。一个令人向往的目标是构建自我改进的机器人:可以在最少的人类监督或监督下自主互动的机器人。这样的机器人可以收集和训练更大的数据集,从而学习更强大和性能更好的政策。虽然强化学习通过试错法为这种自主学习提供了一个框架,但实际的实现最终需要广泛的人类监督来设计奖励函数,并在交互事件之间重复重置环境。在这项工作中,我们提出了MEDAL++,一种新的设计,用于自我改进的机器人系统:在开始时给出一小组专家演示,机器人通过学习做和撤销任务来自主练习任务,同时从演示中推断奖励函数。策略和奖励函数是从高维视觉输入端到端学习的,绕过了对先前工作中使用的视觉编码器的显式状态估计或特定于任务的预训练的需要。我们首先在模拟的非情景基准EARL上评估了我们提出的算法,发现MEDAL++的数据效率更高,与最先进的基于视觉的方法相比,最终性能提高了30%。我们的真实机器人实验表明,MEDAL++可以应用于操作问题,在更大的环境比那些考虑在以前的工作,和自主自我改进可以提高成功率30-70%以上的行为克隆只是专家数据。代码、培训和评估视频以及简要概述请访问:https://architsharma97.github.io/self-improving-robots/
2023-03-02 cs.AI cs.LG cs.RO
Improving generalization in reinforcement learning through forked agents
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Vrije Universiteit Medical Center Amsterdam(阿姆斯特丹自由大学医学中心)
代理的生态系统,每个都有自己的政策与一些,但有限的,概括性已被证明是一个可靠的方法,以增加跨程序生成的环境的概括性。在这种方法中,当遇到生态系统范围之外的新环境时,新的代理人定期添加到生态系统中。生态系统方法的适应速度和普遍有效性在很大程度上取决于新代理人的启动。在本文中,我们提出了不同的初始化技术,灵感来自深度神经网络初始化和迁移学习,并研究了它们的影响。
2022-12-29 cs.AI cs.LG
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck(因斯布鲁克大学)
大多数深度强化学习(D-RL)方法都执行局部策略搜索,这增加了陷入局部最小值的风险。此外,即使在基于模拟的训练中,模拟模型的可用性在D-RL中也没有得到充分利用,这可能会降低效率。为了更好地利用仿真模型的政策搜索,我们建议将kinodynamic规划器的探索策略,并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS(规划策略搜索)。我们比较PPS与最先进的D-RL方法在典型的RL设置,包括欠驱动系统。比较表明,PPS,由kinodynamic规划器的指导下,收集数据从更广泛的区域的状态空间。这将生成训练数据,帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology(佐治亚理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
深度强化学习(deep RL)的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中,我们提出了一种新的无监督的行动规划技术,以提高安全性的政策上的强化学习算法,如信任区域策略优化(TRPO)或近端策略优化(PPO)。我们设计了我们的安全意识强化学习,通过存储所有的历史“恢复”行动,拯救代理从危险的情况下到一个单独的“安全”缓冲区,并找到最好的恢复行动时,代理遇到类似的状态。由于此功能需要算法查询相似的状态,我们实现了建议的安全机制,使用无监督学习算法,k-均值聚类。我们评估所提出的算法上的六个机器人控制任务,包括导航和操作。我们的研究结果表明,所提出的安全RL算法可以实现更高的回报相比,多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
A Model-Based Approach for Improving Reinforcement Learning Efficiency Leveraging Expert Observations
Boston University(波士顿大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
本文提出一种基于模型的方法,通过结合最大熵强化学习与行为克隆损失,并自动调整权重,利用专家观测提升深度强化学习的样本效率,实验验证其优于多种基准。
2024-02-29 cs.LG
Leveraging weights signals -- Predicting and improving generalizability in reinforcement learning
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Vrije Universiteit Medical Center Amsterdam(阿姆斯特丹自由大学医学中心)
本文提出通过分析神经网络内部权重信号,改进PPO算法以提升强化学习代理的泛化能力。
2025-11-25 cs.AI cs.LG
Improving Reinforcement Learning Based Image Captioning with Natural Language Prior
Tencent(腾讯);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
最近,强化学习(RL)方法已经通过直接优化用于测试的度量在图像描述中展示了先进的性能。然而,这种形状的奖励引入了学习偏差,这降低了生成文本的可读性。此外,大样本空间使得训练不稳定且缓慢。为了缓解这些问题,我们提出了一个简单的连贯的解决方案,使用n-gram语言先验约束动作空间。对基准测试的定量和定性评估表明,具有简单附加模块的RL在可读性和收敛速度方面都优于其对应物。人类的评价结果表明,我们的模型是更人性化的可读性和优雅。在该文件被接受后,该实现将公开提供。
2018-09-13 cs.CV cs.LG stat.ML
Improving interactive reinforcement learning: What makes a good teacher?
University of Hamburg(汉堡大学);Universidad Central de Chile(智利中央大学);Osaka University(大阪大学);National Institute of Information and Communications Technology(信息通信研究机构)
交互式强化学习已成为加速经典强化学习问题收敛的重要学徒方法。在这方面,交互式强化学习的变体是策略成形,其使用类似于父母的训练器来建议要执行的下一个动作,并且通过这样做来通过建议减少搜索空间。在某些情况下,训练者可能是另一个人工智能体,而人工智能体又使用强化学习方法进行训练,然后成为其他学习者智能体的顾问。在这项工作中,我们分析了人工代理的内部表示和特性,以确定哪一个代理可能优于其他代理,成为一个更好的教练代理。与专家代理相比,使用polymath代理,顾问导致奖励信号的更大奖励和更快收敛,并且在学习者代理的状态访问频率方面也导致更稳定的行为。此外,我们分析系统的相互作用参数,以确定他们是如何影响学徒过程中,反馈的一致性是更相关的处理不同的学习者服从参数时。
2019-04-15 cs.AI cs.RO
On Practical Reinforcement Learning: Provable Robustness, Scalability, and Statistical Efficiency
Deakin University(迪肯大学)
本论文对现代实际应用中的基本强化学习方法进行了深入研究,包括鲁棒强化学习、分布式强化学习和离线神经函数逼近强化学习。本文首先为读者提供了RL的总体概述以及统计和优化方面的关键技术背景。在每一个设置,论文激励的问题进行研究,回顾了目前的文献,提供计算效率的算法,可证明的效率保证,并得出结论,未来的研究方向。本文在算法、理论和经验方面对上述三种设置做出了基本贡献,同时与实际考虑保持相关。
2022-03-03 cs.AI cs.LG stat.ML
Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions
McGill University(麦吉尔大学);Quebec AI Institute(魁北克人工智能研究所);UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
强化学习(RL)代理被广泛用于解决复杂的顺序决策任务,但仍然表现出难以推广到训练过程中看不到的场景。虽然先前的在线方法表明,使用奖励函数之外的额外信号可以在RL代理中产生更好的泛化能力,即使用自监督学习(SSL),但它们在离线RL设置中挣扎,即从静态数据集学习。我们发现,在RL的泛化在线算法的性能可能会受到阻碍,由于观察之间的相似性估计不良的离线设置。我们提出了一个新的理论动机的框架,称为广义相似性函数(GSF),它使用对比学习训练离线RL代理聚合观察的基础上,他们的预期未来行为的相似性,在那里我们量化这种相似性使用\emph{generalized value functions}。我们表明,GSF是一般的,足以恢复现有的SSL目标,同时也提高了zero-shot泛化性能的一个复杂的离线RL基准测试,离线Procgen。
2021-11-29 cs.AI cs.LG
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University(上海交通大学);ParisTech Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题,本文提出ACPO,通过对抗式交替优化实现奖励提升与成本预算自适应,并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
OSS Mentor A framework for improving developers contributions via deep reinforcement learning
East China Normal University(华东师范大学);Tongji University(同济大学)
在开源项目治理中,人们一直在关注如何衡量开发人员的贡献。然而,极其稀疏的工作集中在使开发人员能够改进他们的贡献上,尽管这是重要和有价值的。在本文中,我们介绍了一个名为开源软件(OSS)Mentor的深度强化学习框架,它可以从经验知识中进行训练,然后自适应地帮助开发人员提高他们的贡献。大量的实验表明,OSS Mentor显着优于优秀的实验结果。此外,这是第一次提出的框架探索深度强化学习技术来管理开源软件,这使我们能够设计一个更强大的框架,以提高开发人员的贡献。
2022-10-24 cs.AI cs.SE
GeneraLight: Improving Environment Generalization of Traffic Signal Control via Meta Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);The Pennsylvania State University(宾夕法尼亚州立大学)
交通拥堵问题一直是现代城市关注的问题。为了缓解交通拥堵,近年来研究人员使用强化学习(RL)来开发更好的交通信号控制(TSC)算法。然而,大多数RL模型都是在相同的交通流环境中训练和测试的,这导致了严重的过拟合问题。由于现实世界中的交通流环境是不断变化的,这些模型由于缺乏泛化能力而难以应用。此外,可获得的交通流数据数量有限,这给模型的泛化能力测试带来了额外的困难。本文设计了一种基于Wasserstein生成对抗网络的新型流量生成器来生成足够多的、多样的、高质量的流量,并利用它们来构建合适的训练和测试环境。然后,我们提出了一个元RL TSC框架GeneraLight,以提高TSC模型的泛化能力。GeneraLight通过结合流聚类和模型无关元学习的思想来提高泛化性能。我们在多个真实世界的数据集上进行了广泛的实验,以显示GeneraLight在推广到不同流量时的卓越性能。
2020-09-17 cs.AI cs.LG stat.ML
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Self-Improving Safety Performance of Reinforcement Learning Based Driving with Black-Box Verification Algorithms
ITU Artificial Intelligence and Data Science Research Center(伊斯坦布尔技术大学人工智能与数据科学研究中心);Department of Aeronautical Engineering(航空工程系);Eatron Technologies(Eatron技术公司);Department of Electronics and Communication Engineering(电子与通信工程系);ITU Artificial Intelligence and Data Science Application and Research Center(伊斯坦布尔技术大学人工智能与数据科学应用与研究中心);Department of Computer Engineering(计算机工程系)
本文提出一种结合黑盒验证与迁移学习的自提升框架,通过迭代发现并修复强化学习自动驾驶智能体在安全关键场景中的失效,显著减少碰撞并提升安全性能。
2023-07-09 cs.AI cs.LG cs.RO
Improving Robustness of Deep Reinforcement Learning Agents: Environment Attack based on the Critic Network
IRT SystemX(IRT SystemX 研究所);ISIR(智能系统与机器人研究所);Sorbonne University(索邦大学)
为了提高深度强化学习代理的策略鲁棒性,最近的一系列工作集中在产生环境干扰上。文献中产生有意义的环境扰动的现有方法是对抗性强化学习方法。这些方法将问题设置为主角代理和对手代理之间的双人游戏,主角代理学习在环境中执行任务,对手代理学习通过修改所考虑的环境来干扰主角。主角和对手都是用深度强化学习算法训练的。或者,我们在本文中建议建立基于梯度的对抗攻击,通常用于分类任务,例如,我们应用于主角的评论家网络,以识别环境的有效干扰。而不是学习攻击者的策略,这通常表现为非常复杂和不稳定,我们利用主角的批评网络的知识,在学习过程的每一步动态地复杂化任务。我们表明,我们的方法,而更快,更轻,导致显着更好的改善政策的鲁棒性比现有的方法的文献。
2022-10-03 cs.AI cs.LG
Reinforcement Learning for Improving Agent Design
Google Brain(谷歌大脑)
在许多强化学习任务中,目标是学习一种策略来操纵代理,其设计是固定的,以最大化某些累积奖励的概念。代理的物理结构的设计很少针对手头的任务进行优化。在这项工作中,我们探讨了学习的代理的设计,更适合其任务的版本的可能性,与政策。我们对流行的OpenAI Gym框架进行了修改,在该框架中,我们对环境的各个部分进行了参数化,并允许代理共同学习修改这些环境参数及其策略。我们证明了一个代理可以学习一个更好的结构,它的身体,不仅更适合的任务,但也有利于策略学习。政策和结构的联合学习甚至可以揭示对辅助设计应用有用的设计原则。在https://designrl.github.io/上的结果视频
2019-12-02 cs.LG stat.ML
Causal Counterfactuals for Improving the Robustness of Reinforcement Learning
Trinity College Dublin(都柏林圣三一学院)
本文提出完整因果RL框架CausalCF,融合Causal Curiosity的干预机制与改造后的CoPhy反事实推理,并在CausalWorld机器人任务中验证其可提升RL鲁棒性。
2023-06-05 cs.AI cs.LG cs.RO
Search-Based Adversarial Estimates for Improving Sample Efficiency in Off-Policy Reinforcement Learning
针对深度强化学习样本效率低、稀疏/延迟奖励场景下学习困难的问题,提出基于少量人类轨迹潜在相似性搜索的对抗估计方法,仅需5分钟人类经验即可加速基于反馈的DRL算法收敛,并有望支持极稀疏奖励场景下的学习。
2025-06-13 cs.AI cs.LG
On Improving Deep Reinforcement Learning for POMDPs
深度强化学习(RL)最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一,例如,电脑走。然而,在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构,称为特定的深度递归Q网络(ADRQN),以提高在部分可观察域的学习性能。动作由一个完全连接的层编码,并与卷积观测耦合,形成一个动作-观测对。然后,动作-观察对的时间序列由LSTM层集成,LSTM层学习潜在状态,基于此,全连接层计算Q值,如传统的深度Q网络(DQN)。我们证明了我们的新架构的有效性,在几个部分可观察的领域,包括闪烁的雅达利游戏。
2018-05-08 cs.LG stat.ML
Improving Assistive Robotics with Deep Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
辅助机器人(Assistive Robotics)是一类机器人技术,它帮助人类完成日常护理任务,这些任务可能由于残疾或年龄而被禁止。虽然研究表明,经典的控制方法可以用来设计策略来完成这些任务,这些方法可能很难推广到各种实例的任务。强化学习可以为这个问题提供一个解决方案,其中机器人在仿真中进行训练,并将其策略转移到现实世界的机器上。在这项工作中,我们复制了一个已发布的基线,用于在辅助健身房环境中训练机器人完成三项任务,并探索了使用递归神经网络和阶段性策略梯度学习来增强原始工作。我们的基线实现达到或超过了原始工作的基线,然而,我们发现我们对新方法的探索并没有我们预期的那么有效。我们讨论了基线的结果,以及为什么我们的新方法不那么成功的一些想法。
2022-11-08 cs.AI cs.RO
Causal Influence Detection for Improving Efficiency in Reinforcement Learning
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
许多强化学习(RL)环境由稀疏交互的独立实体组成。在这样的环境中,RL代理在任何特定情况下对其他实体的影响都是有限的。我们在这项工作中的想法是,学习可以有效地指导知道何时和什么代理可以影响其行动。为了实现这一目标,我们引入了一种基于条件互信息的\emph{situation-dependent causal influence}测量,并表明它可以可靠地检测影响状态。然后,我们提出了几种方法将此措施集成到RL算法中,以改善探索和离策略学习。所有修改后的算法都显示出机器人操作任务的数据效率大幅提高。
2021-12-02 cs.LG
Improving Generalization of Deep Reinforcement Learning-based TSP Solvers
Shanghai Jiao Tong University(上海交通大学);University of Michigan(密歇根大学)
最近的工作应用深度强化学习(DRL)来解决旅行商问题(TSP)已经表明,基于DRL的求解器可以快速且具有竞争力的小实例TSP算法,但不能很好地推广到较大的实例。在这项工作中,我们提出了一种名为MAGIC的新方法,其中包括一个深度学习架构和DRL训练方法。我们的架构,它集成了一个多层感知器,一个图神经网络,和一个注意力模型,定义了一个随机的政策,顺序生成一个TSP解决方案。我们的训练方法包括几个创新:(1)我们将DRL策略梯度更新与局部搜索(使用新的局部搜索技术)交织在一起,(2)我们使用新的简单基线,(3)我们应用课程学习。最后,我们的经验表明,MAGIC是优于其他基于DRL的方法随机TSP的情况下,无论是在性能和推广。此外,我们的方法相比有利的TSP算法和其他国家的最先进的方法在性能和计算时间。
2021-10-06 cs.AI cs.LG
Improving Offline Reinforcement Learning with Inaccurate Simulators
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院)
针对离线RL数据质量受限及不精确模拟器存在动力学差距的问题,提出用GAN拟合离线状态分布并由判别器重加权仿真数据,在D4RL和真实操作任务上优于现有方法。
2024-05-07 cs.AI cs.LG cs.RO
Improving RNA Secondary Structure Design using Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
近年来,开发新药和治疗方法的成本不断上升,导致了对生物分子设计中优化技术的广泛研究。目前,在生物分子设计中应用最广泛的方法是定向进化,这是一种模拟生物进化的贪婪爬山算法。在本文中,我们提出了一个新的基准应用强化学习的RNA序列设计,其中的目标函数被定义为序列的二级结构中的自由能。除了从标准库中试验每个强化学习算法的普通实现外,我们还分析了每个算法的变体,其中我们修改了算法的奖励函数并调整了模型的超参数。我们展示了我们为这些算法所做的消融分析的结果,以及表明该算法在批次中的性能及其搜索RNA序列可能空间的能力的图表。我们发现,我们的DQN算法在此设置中的性能迄今为止最好,与之相比,PPO在所有测试算法中的性能最好。我们的研究结果应该是感兴趣的那些在生物分子设计社区,并应作为一个基线,为未来的实验,涉及机器学习在分子设计。
2021-11-05 cs.AI cs.LG
Improving Coordination in Small-Scale Multi-Agent Deep Reinforcement Learning through Memory-driven Communication
University of Warwick(华威大学)
深度强化学习算法最近被用于以集中的方式训练多个交互代理,同时保持其执行分散。当智能体只能获得部分观测值并面临需要协调和同步技能的任务时,智能体通信起着至关重要的作用。在这项工作中,我们提出了一个框架,多智能体训练使用深度确定性的策略梯度,使并发,端到端学习的显式通信协议,通过内存设备。在训练过程中,智能体学习执行读写操作,使它们能够推断出世界的共享表示。我们的经验表明,并发学习的通信设备和个人的政策,可以提高代理间的协调和性能在小规模的系统。我们的实验结果表明,所提出的方法在多达六个代理的情况下实现了优异的性能。我们说明了如何不同的通信模式可以出现在六个不同的任务日益复杂。此外,我们还研究了破坏通信通道的影响,提供了随时间变化的记忆内容的可视化,因为底层任务正在解决,并通过消融研究验证了所提出的记忆设备的构建模块。
2019-10-29 cs.AI cs.LG cs.MA
Improving the dynamics of quantum sensors with reinforcement learning
University of Tübingen(蒂宾根大学)
最近提出的量子混沌传感器通过将非线性控制脉冲应用于量子传感器的动力学,同时使用易于制备的经典初始状态,来实现测量精度的量子增强。在这里,我们使用强化学习的交叉熵方法来优化控制脉冲的强度和位置。与具有超辐射阻尼的周期控制脉冲的量子混沌传感器相比,通过优化控制可以更好地抑制退相干,进一步提高测量精度。在某些示例中,我们发现灵敏度的增强超过一个数量级。通过对量子态演化过程的可视化,将强化学习方法所利用的机制确定为一种适用于超辐射阻尼的自旋压缩策略。
2020-03-10 cs.LG quant-ph
Improving Model-Based Reinforcement Learning with Internal State Representations through Self-Supervision
University of Hamburg(汉堡大学)
使用环境模型,强化学习代理可以计划他们未来的行动,并在国际象棋,将棋和围棋等棋盘游戏中实现超人的表现,同时保持相对的样本效率。正如MuZero算法所证明的那样,环境模型甚至可以动态学习,将代理推广到更多的任务,同时实现最先进的性能。值得注意的是,MuZero使用来自真实环境状态的内部状态表示进行预测。在本文中,我们通过两个附加项将模型的预测内部状态表示绑定到环境状态:重建模型损失和更简单的一致性损失,这两个项都独立且无监督地工作,作为稳定学习过程的约束。我们的实验表明,这种新的重建模型丢失和更简单的一致性丢失的集成在OpenAI Gym环境中提供了显着的性能提升。我们的修改还支持MuZero的自我监督预训练,因此该算法可以在目标可用之前学习环境动态。
2021-02-10 cs.AI cs.LG
Self-Improving Skill Learning for Robust Skill-based Meta-Reinforcement Learning
Graduate School of Artificial Intelligence(人工智能研究生院);Ulsan National Institute of Science and Technology (UNIST)(釜山国立科学技术研究院 (UNIST))
本文提出Self-Improving Skill Learning (SISL)方法,通过解耦的高层和技能改进策略进行自我指导的技能细化,并利用最大回报重标记进行技能优先级排序,从而在噪声和次优数据下实现鲁棒且稳定的适应,优于其他基于技能的元强化学习方法。
2026-05-20 cs.AI cs.LG
Improving Document Image Understanding with Reinforcement Finetuning
Cinnamon AI(肉桂人工智能公司);Hung Yen University of Technology and Education(兴安技术教育大学);Deakin University(迪肯大学)
成功的人工智能系统通常需要大量的标记数据来从文档图像中提取信息。在本文中,我们调查的问题,提高性能的人工智能系统在理解文档图像,特别是在训练数据是有限的情况下。我们提出了一种新的微调方法,使用强化学习解决这个问题。我们的方法将信息抽取模型视为一个策略网络,并使用策略梯度训练来更新模型,以最大化补充传统交叉熵损失的组合奖励函数。我们在四个数据集上使用标签和专家反馈的实验表明,我们的微调机制始终提高了最先进的信息提取器的性能,特别是在小训练数据制度。
2022-09-26 cs.CV cs.IR cs.LG
ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Bilibili(哔哩哔哩)
针对离线到在线强化学习在线阶段性能下降和提升慢的问题,提出ENOTO框架,通过增加Q网络数量、放宽悲观估计并引入集成探索,显著提升训练稳定性、学习效率与最终性能。
2024-07-21 cs.AI cs.LG cs.RO
TBQ($σ$): Improving Efficiency of Trace Utilization for Off-Policy Reinforcement Learning
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
由于目标策略和行为策略之间的差异,具有资格痕迹的非策略强化学习具有挑战性。一种常见的方法是以概率的方式测量两个策略之间的差异,例如重要性抽样和树备份。然而,现有的基于概率策略测量的离线学习方法在贪婪目标策略下利用轨迹时效率低下,这对于控制问题是无效的。当采取非贪婪动作时,迹线立即被切断,这可能会失去资格迹线的优势并减慢学习过程。或者,一些非概率测量方法,如通用Q($λ$)和朴素Q($λ$)从不切割迹线,但在实践中面临收敛问题。针对上述问题,提出了一种新的树备份算法TBQ($σ$),它有效地将树备份算法和朴素Q($λ$)结合起来。TBQ($σ$)通过引入一个新的参数$σ$来说明利用轨迹的\emph{degree},实现了TB($λ$)和Naive Q($λ$)的有效整合以及它们之间的持续角色转换。从理论上分析了TB($σ$)在策略评估和控制设置中的收缩特性。我们还推导了TBQ的在线版本($σ$),并给出了收敛性证明。我们的经验表明,对于$ε$ -贪婪策略中的$ε\in(0,1]$,存在一定程度的利用$λ\in[0,1]$的痕迹,这可以提高离线强化学习的痕迹利用效率,从而加快学习过程并提高性能。
2019-05-17 cs.AI cs.LG stat.ML
RH-Net: Improving Neural Relation Extraction via Reinforcement Learning and Hierarchical Relational Searching
East China Normal University(华东师范大学)
距离监督(Distant Supervision,DS)的目标是生成大规模的启发式标注语料,目前广泛用于神经关系抽取。然而,它严重遭受噪声标记和长尾分布问题。许多先进的方法通常分别解决两个问题,忽略了它们之间的相互作用。在本文中,我们提出了一个新的框架命名为RH-Net,它利用强化学习和层次关系搜索模块,以改善关系抽取。我们利用强化学习来指导模型选择高质量的实例。然后,我们提出了层次关系搜索模块共享语义之间的数据丰富和数据贫乏类的相关实例。在迭代过程中,两个模块保持交互,以同时缓解噪声和长尾问题。在广泛使用的NYT数据集上进行的大量实验清楚地表明,我们的方法在最先进的基线上有显着的改进。
2021-02-02 cs.AI cs.CL
Improving Performance in Reinforcement Learning by Breaking Generalization in Neural Networks
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (AMII)(阿尔伯塔机器智能研究所)
强化学习系统需要良好的表示才能正常工作。几十年来,强化学习的实际成功仅限于小领域。另一方面,深度强化学习系统是可扩展的,不依赖于特定领域的先验知识,并已成功用于播放Atari,从像素进行3D导航,并控制高自由度机器人。不幸的是,深度强化学习系统的性能对超参数设置和架构选择很敏感。即使是调整良好的系统也会在试验和重复实验中表现出显着的不稳定性。在实践中,要取得良好的业绩,通常需要大量的专业知识和反复试验。这个问题的一个潜在来源被称为灾难性干扰:当后来的训练通过覆盖以前的学习而降低性能时。有趣的是,使神经网络(NN)在批量监督学习中如此有效的强大泛化能力可能解释了将它们应用于强化学习任务时的挑战。在本文中,我们探讨了在线NN训练和干扰如何在强化学习中相互作用。我们发现,简单地将输入观测值重新映射到高维空间可以提高学习速度和参数敏感性。我们还表明,这种预处理减少了预测任务中的干扰。更实际的是,我们提供了一种简单的NN训练方法,易于实现,并且需要很少的额外计算。我们证明,我们的方法提高了预测和控制的性能,在经典的控制领域的大量实验。
2020-03-16 cs.AI cs.LG cs.NE
Improving generalization to new environments and removing catastrophic forgetting in Reinforcement Learning by using an eco-system of agents
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Amsterdam UMC(阿姆斯特丹大学医学中心)
使强化学习(RL)智能体适应看不见的环境是一项艰巨的任务,因为训练环境中存在典型的过拟合。RL代理通常能够解决非常接近训练环境的环境,但当环境变得非常不同时,它们的性能会迅速下降。当智能体在新的环境中接受再训练时,第二个问题出现了:存在灾难性遗忘的风险,即在以前见过的环境中的表现受到严重阻碍。本文提出了一种新的方法,利用生态系统的代理,以解决这两个问题。据此,个体代理的(有限的)适应能力被收获,以建立一个高度适应性的生态系统。
2022-07-01 cs.AI cs.MA
Improving Input-Output Linearizing Controllers for Bipedal Robots via Reinforcement Learning
University of California at Berkeley(加州大学伯克利分校)
输入输出线性化控制器的主要缺点是需要精确的动态模型,不能考虑输入约束。模型的不确定性在几乎所有的机器人应用中都是常见的,并且输入饱和存在于每个现实世界的系统中。在本文中,我们解决这两个挑战的具体情况下,双足机器人控制使用强化学习技术。以一个标准的输入输出线性化控制器的结构,我们使用一个附加的学习项,补偿模型的不确定性。此外,通过增加约束的学习问题,我们设法提高最终控制器的性能时,输入限制。我们证明了所设计的五连杆平面步行机器人兔子不同程度的不确定性框架的有效性。
2020-05-02 cs.LG cs.RO cs.SY
Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
Cornell University(康奈尔大学)
针对深度强化学习策略环境鲁棒性不足、人工设计课程耗费人力的问题,提出用贝叶斯优化推断课程-奖励函数以获取鲁棒课程,在自主竞速避障任务中性能优于普通深度强化学习与人工课程方案。
2023-12-16 cs.LG cs.RO
Improving Interactive Reinforcement Agent Planning with Human Demonstration
Ocean University of China(中国海洋大学);Honda Research Institute Japan Co. Ltd.(本田日本研究院有限公司)
TAMER已被证明是一种强大的交互式强化学习方法,允许普通人通过提供评估反馈来教授和个性化自主智能体的行为。然而,一个TAMER代理规划与UCT-一个蒙特卡罗树搜索策略,只能更新沿其路径的状态,并可能导致高的学习成本,特别是对于一个物理机器人。在本文中,我们提出了驱动代理的探索沿着最佳路径,并通过初始化代理的奖励函数,通过反向强化学习示教学习,以减少学习成本。我们测试我们提出的方法在强化学习基准域-网格世界-与不同的折扣人类奖励。研究结果表明,示教学习可以使TAMER智能体在最深搜索时学习到一个大致最优的策略,并鼓励智能体沿着最优路径探索;此外,我们还发现,示教学习可以通过减少总反馈、减少不正确动作的数量和增加获得最优策略的正确动作的比例来提高学习效率,从而让TAMER代理更快地收敛。
2019-04-18 cs.AI cs.HC cs.LG
On Improving Deep Reinforcement Learning for POMDPs
Waterloo, Ontario(滑铁卢(安大略省));Beijing Institute of Technology(北京理工大学)
深度强化学习(RL)最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一,例如,电脑走。然而,在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构,称为特定的深度递归Q网络(ADRQN),以提高在部分可观察域的学习性能。动作由一个完全连接的层编码,并与卷积观测耦合,形成一个动作-观测对。然后,动作-观察对的时间序列由LSTM层集成,LSTM层学习潜在状态,基于此,全连接层计算Q值,如传统的深度Q网络(DQN)。我们证明了我们的新架构的有效性,在几个部分可观察的领域,包括闪烁的雅达利游戏。
2018-05-24 cs.LG
Improving Reinforcement Learning with Human Assistance: An Argument for Human Subject Studies with HIPPO Gym
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));École de technologie supérieure (ETS)(高等技术学院(ETS))
强化学习(RL)是一种流行的机器学习范例,用于游戏,机器人控制和其他顺序决策任务。然而,RL代理通常具有很长的学习时间和很高的数据要求,因为它们开始时是随机的。为了在复杂任务中更好地学习,本文认为外部教师通常可以显着帮助RL Agent学习。OpenAI Gym是RL研究的通用框架,包括大量的标准环境和代理,使RL研究变得更加容易。本文介绍了我们新的开源RL框架,Openai Gym的人类输入解析平台(HIPPO Gym),以及创建它的设计决策。这个平台的目标是促进人类RL研究,再次降低门槛,以便更多的研究人员可以快速研究人类教师可以帮助RL代理的不同方式,包括从演示中学习示教学习,从反馈中学习或课程学习。
2021-02-02 cs.AI cs.HC cs.LG
RLingua: Improving Reinforcement Learning Sample Efficiency in Robotic Manipulations With Large Language Models
Baidu Research(百度研究院);Georgia Institute of Technology(佐治亚理工学院)
本文提出RLingua框架,利用大语言模型生成规则控制器并正则化TD3策略学习,显著提升机器人操作中强化学习的样本效率,在仿真和真实实验中均验证有效。
2024-03-19 cs.AI cs.HC cs.LG
Improving Fictitious Play Reinforcement Learning with Expanding Models
Nanjing University(南京大学);Polixir(玻色量子(注:Polixir常见译名为玻色量子,若为其他译法可调整,此处按常见科技公司译名处理))
具有强化学习的虚拟游戏是零和游戏的通用和有效的框架。然而,使用当前的深度神经网络模型,虚拟游戏的实现面临着至关重要的挑战。神经网络模型训练采用梯度下降的方法来更新所有的连接权值,因此在训练后很容易忘记旧的对手来击败新的对手。现有的方法通常维护一个历史政策模型池,以避免遗忘。然而,学习在随机游戏中击败游泳池,即,在策略模型上的广泛分布或者消耗样本,或者不足以利用具有有限样本量的所有模型。在本文中,我们提出了一个学习过程与神经虚拟发挥,以减轻上述问题。我们训练单个模型作为我们的策略模型,该模型由子模型和选择器组成。每次面对一个新的对手,模型通过添加一个新的子模型来扩展,其中仅更新新的子模型而不是整个模型。同时,选择器也被更新,以在状态级将新的子模型与先前的子模型混合,使得模型被维护为行为策略,而不是广泛分布在策略模型上。在网格世界寻宝游戏Kuhn poker和Mini-RTS环境下的实验表明,该方法有效地解决了遗忘问题,提高了神经网络虚拟博弈的学习效率和鲁棒性.
2019-11-28 cs.AI cs.LG stat.ML
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research(LG人工智能研究院)
针对RLHF导致的表面化对齐问题,提出RLRF框架,利用细粒度自我反思机制探索和优化响应,并通过RL算法微调模型,有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Reinforcement Learning for Improving Object Detection
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
经过训练的目标检测神经网络的性能在很大程度上取决于图像质量。通常,在将图像馈送到神经网络之前对图像进行预处理,并且使用关于图像数据集的领域知识来选择预处理技术。在本文中,我们引入了一种称为ObjectRL的算法来选择要应用的特定预处理量,以提高预训练网络的目标检测性能。ObjectRL的主要动机是,人眼看起来很好的图像可能不一定是预训练对象检测器检测对象的最佳图像。
2020-08-18 cs.CV cs.LG
Meta-TTRL: A Metacognitive Framework for Self-Improving Test-Time Reinforcement Learning in Unified Multimodal Models
Tsinghua University(清华大学)
Meta-TTRL通过元认知信号实现测试时间参数优化,提升统一多模态模型的自改进能力,在文本到图像生成任务中取得显著成果。
2026-03-16 cs.AI cs.LG
Adversarial Deep Reinforcement Learning for Improving the Robustness of Multi-agent Autonomous Driving Policies
Simula Research Laboratory(Simula研究实验室)
众所周知,自动驾驶汽车容易受到对抗攻击的攻击,这些攻击可能危及汽车的安全,并对其他道路使用者构成危险。为了有效地防御对手,不仅需要测试自动驾驶汽车以发现驾驶错误,还需要提高汽车对这些错误的鲁棒性。为此,在本文中,我们提出了一种自动驾驶汽车的两步方法,包括(i)通过训练对抗性驾驶代理来发现自动驾驶汽车的故障状态,以及(ii)通过使用有效的对抗性输入重新训练自动驾驶汽车来提高自动驾驶汽车的鲁棒性。我们的方法支持在多智能体环境中测试自动驾驶汽车,在那里我们训练并比较两个自定义奖励函数上的对抗性汽车策略,以测试自动驾驶汽车的驾驶控制决策。我们在基于视觉的高保真城市驾驶模拟环境中进行实验。我们的研究结果表明,对抗性测试可用于发现错误的自动驾驶行为,然后进行对抗性训练,以提高基于深度强化学习的自动驾驶策略的鲁棒性。我们证明,使用有效的对抗性输入重新训练的自动驾驶汽车在减少碰撞和越野转向错误方面显着提高了其驾驶策略的性能。
2023-02-21 cs.AI
On Improving Model-Free Algorithms for Decentralized Multi-Agent Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);DeepMind(深度思维);Massachusetts Institute of Technology(麻省理工学院)
多智能体强化学习(MARL)算法经常遭受指数样本复杂度对智能体数量的依赖,这种现象被称为\emph{the curse of multiagents}。在本文中,我们解决这一挑战,调查样本效率的无模型算法在\emph{decentralized} MARL,并旨在改善现有的算法沿这条线。对于学习(粗)一般和马尔可夫博弈中的相关均衡,我们提出了\emph{stage-based} V-学习算法,大大简化了最近的作品的算法设计和分析,并规避了一个相当复杂的无\emph{weighted}遗憾强盗子程序。针对马尔可夫势博弈中纳什均衡的学习问题,提出了一种独立的策略梯度算法,该算法采用分散的基于动量的方差缩减技术。我们所有的算法都是去中心化的,因为每个代理只能根据其本地信息做出决策。在学习过程中既不需要通信,也不需要集中协调,从而导致对大量代理的自然泛化。我们还提供了数值模拟来证实我们的理论研究结果。
2022-01-29 cs.AI cs.LG cs.MA
Improving reinforcement learning algorithms: towards optimal learning rate policies
École Polytechnique(巴黎综合理工学院);Capital Fund Management(资本基金管理公司);Imperial College(帝国理工学院)
本文研究在何种程度上可以改善强化学习算法。我们的研究分为三个部分。首先,我们的分析表明,经典的渐近收敛速度$O(1/\sqrt{N})$是悲观的,并可以取代$O((\log(N)/N)^β)$与$\frac{1}{2}\leq β\leq 1$和$N$的迭代次数。其次,我们提出了一个动态的最优策略选择的学习率$(γ_k)_{k\geq 0}$用于随机逼近(SA)。我们将策略分解为两个相互作用的级别:内部和外部级别。在内部层,我们提出了\nameref{Alg:v_4_s}算法(用于“PASt Sign Search”),该算法基于预定义序列$(γ^o_k)_{k\geq 0}$,构造了一个新的序列$(γ^i_k)_{k\geq 0}$,该序列的误差减小得更快。在外层,我们提出了一个最佳的方法来选择预定义的序列$(γ^o_k)_{k\geq 0}$。第三,我们的经验表明,我们的学习率的选择方法明显优于标准的算法中使用的强化学习(RL)在以下三个应用:漂移的估计,限价订单的最佳位置和大量的股票的最佳执行。
2021-10-20 cs.LG math.OC stat.ML