Improving Robustness of Deep Reinforcement Learning Agents: Environment Attack based on the Critic Network
IRT SystemX(IRT SystemX 研究所);ISIR(智能系统与机器人研究所);Sorbonne University(索邦大学)
为了提高深度强化学习代理的策略鲁棒性,最近的一系列工作集中在产生环境干扰上。文献中产生有意义的环境扰动的现有方法是对抗性强化学习方法。这些方法将问题设置为主角代理和对手代理之间的双人游戏,主角代理学习在环境中执行任务,对手代理学习通过修改所考虑的环境来干扰主角。主角和对手都是用深度强化学习算法训练的。或者,我们在本文中建议建立基于梯度的对抗攻击,通常用于分类任务,例如,我们应用于主角的评论家网络,以识别环境的有效干扰。而不是学习攻击者的策略,这通常表现为非常复杂和不稳定,我们利用主角的批评网络的知识,在学习过程的每一步动态地复杂化任务。我们表明,我们的方法,而更快,更轻,导致显着更好的改善政策的鲁棒性比现有的方法的文献。
2022-10-03 cs.AI cs.LG
Search-Based Adversarial Estimates for Improving Sample Efficiency in Off-Policy Reinforcement Learning
针对深度强化学习样本效率低、稀疏/延迟奖励场景下学习困难的问题,提出基于少量人类轨迹潜在相似性搜索的对抗估计方法,仅需5分钟人类经验即可加速基于反馈的DRL算法收敛,并有望支持极稀疏奖励场景下的学习。
2025-06-13 cs.AI cs.LG
Improving Generalization of Deep Reinforcement Learning-based TSP Solvers
Shanghai Jiao Tong University(上海交通大学);University of Michigan(密歇根大学)
最近的工作应用深度强化学习(DRL)来解决旅行商问题(TSP)已经表明,基于DRL的求解器可以快速且具有竞争力的小实例TSP算法,但不能很好地推广到较大的实例。在这项工作中,我们提出了一种名为MAGIC的新方法,其中包括一个深度学习架构和DRL训练方法。我们的架构,它集成了一个多层感知器,一个图神经网络,和一个注意力模型,定义了一个随机的政策,顺序生成一个TSP解决方案。我们的训练方法包括几个创新:(1)我们将DRL策略梯度更新与局部搜索(使用新的局部搜索技术)交织在一起,(2)我们使用新的简单基线,(3)我们应用课程学习。最后,我们的经验表明,MAGIC是优于其他基于DRL的方法随机TSP的情况下,无论是在性能和推广。此外,我们的方法相比有利的TSP算法和其他国家的最先进的方法在性能和计算时间。
2021-10-06 cs.AI cs.LG
Improving RNA Secondary Structure Design using Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
近年来,开发新药和治疗方法的成本不断上升,导致了对生物分子设计中优化技术的广泛研究。目前,在生物分子设计中应用最广泛的方法是定向进化,这是一种模拟生物进化的贪婪爬山算法。在本文中,我们提出了一个新的基准应用强化学习的RNA序列设计,其中的目标函数被定义为序列的二级结构中的自由能。除了从标准库中试验每个强化学习算法的普通实现外,我们还分析了每个算法的变体,其中我们修改了算法的奖励函数并调整了模型的超参数。我们展示了我们为这些算法所做的消融分析的结果,以及表明该算法在批次中的性能及其搜索RNA序列可能空间的能力的图表。我们发现,我们的DQN算法在此设置中的性能迄今为止最好,与之相比,PPO在所有测试算法中的性能最好。我们的研究结果应该是感兴趣的那些在生物分子设计社区,并应作为一个基线,为未来的实验,涉及机器学习在分子设计。
2021-11-05 cs.AI cs.LG
Improving Model-Based Reinforcement Learning with Internal State Representations through Self-Supervision
University of Hamburg(汉堡大学)
使用环境模型,强化学习代理可以计划他们未来的行动,并在国际象棋,将棋和围棋等棋盘游戏中实现超人的表现,同时保持相对的样本效率。正如MuZero算法所证明的那样,环境模型甚至可以动态学习,将代理推广到更多的任务,同时实现最先进的性能。值得注意的是,MuZero使用来自真实环境状态的内部状态表示进行预测。在本文中,我们通过两个附加项将模型的预测内部状态表示绑定到环境状态:重建模型损失和更简单的一致性损失,这两个项都独立且无监督地工作,作为稳定学习过程的约束。我们的实验表明,这种新的重建模型丢失和更简单的一致性丢失的集成在OpenAI Gym环境中提供了显着的性能提升。我们的修改还支持MuZero的自我监督预训练,因此该算法可以在目标可用之前学习环境动态。
2021-02-10 cs.AI cs.LG
Improving Sepsis Treatment Strategies by Combining Deep and Kernel-Based Reinforcement Learning
Harvard University(哈佛大学);Imperial College London(帝国理工学院);MIT(麻省理工学院)
脓毒症是ICU死亡的主要原因。这是具有挑战性的管理,因为个别患者对治疗的反应不同。因此,为个体患者量身定制治疗对于获得最佳结果至关重要。在本文中,我们通过应用专家混合框架来实现这一目标,以个性化脓毒症治疗。混合模型根据患者的当前病史选择性地在基于邻居(内核)和深度强化学习(DRL)专家之间交替。在一个大型回顾性队列中,这种基于混合的方法优于医生、仅内核和仅DRL专家。
2019-01-15 cs.AI cs.LG stat.ML
Self-Improving Skill Learning for Robust Skill-based Meta-Reinforcement Learning
Graduate School of Artificial Intelligence(人工智能研究生院);Ulsan National Institute of Science and Technology (UNIST)(釜山国立科学技术研究院 (UNIST))
本文提出Self-Improving Skill Learning (SISL)方法,通过解耦的高层和技能改进策略进行自我指导的技能细化,并利用最大回报重标记进行技能优先级排序,从而在噪声和次优数据下实现鲁棒且稳定的适应,优于其他基于技能的元强化学习方法。
2026-05-20 cs.AI cs.LG
A Model-Based Approach for Improving Reinforcement Learning Efficiency Leveraging Expert Observations
Boston University(波士顿大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
本文提出一种基于模型的方法,通过结合最大熵强化学习与行为克隆损失,并自动调整权重,利用专家观测提升深度强化学习的样本效率,实验验证其优于多种基准。
2024-02-29 cs.LG
Improving Deep Reinforcement Learning in Minecraft with Action Advice
Georgia Institute of Technology(佐治亚理工学院)
在3D虚拟环境中训练深度强化学习代理的复杂行为需要大量的计算资源。在具有高度混叠的环境中尤其如此,其中许多状态共享几乎相同的视觉特征。Minecraft就是这样一个环境的典范。我们假设交互式机器学习IML,其中人类教师通过演示,批评或行动建议在训练中发挥直接作用,可能会减轻代理对别名的敏感性。然而,交互式机器学习只有在人类交互的数量有限时才是实用的,需要在人类教师的努力和代理性能之间取得平衡。我们用两种强化学习算法进行实验,这两种算法使人类教师能够在视觉锯齿条件下给出行动建议,反馈仲裁和牛顿行动建议。为了评估每种建议类型的潜在认知负荷,我们改变了各种人类行动建议技术的准确性和频率。训练效率,对不频繁和不准确的顾问输入的鲁棒性,以及对混叠的敏感性进行了检查。
2019-08-02 cs.AI cs.LG stat.ML
Meta-TTRL: A Metacognitive Framework for Self-Improving Test-Time Reinforcement Learning in Unified Multimodal Models
Tsinghua University(清华大学)
Meta-TTRL通过元认知信号实现测试时间参数优化,提升统一多模态模型的自改进能力,在文本到图像生成任务中取得显著成果。
2026-03-16 cs.AI cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南方应用科技大学)
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验,以元学习一个低复杂度的神经目标函数,决定未来的个体将如何学习。与最近的元RL算法不同,MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下,它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度,这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Towards Applicable Reinforcement Learning: Improving the Generalization and Sample Efficiency with Policy Ensemble
Shanghai Jiao Tong University(上海交通大学);Microsoft Research(微软研究院)
由于训练和评估之间的噪声观测和环境转换,使得强化学习(RL)算法在金融交易和物流系统等实际应用中取得成功具有挑战性。因此,它需要高的样本效率和泛化来解决现实世界的任务。然而,直接应用典型的RL算法可能会导致在这种情况下性能不佳。考虑到集成方法在有监督学习(SL)中在准确性和泛化能力方面的优异性能,设计了一种鲁棒性和实用性强的集成策略优化方法--Ensemble近端策略优化(EPPO),它以端到端的方式学习集成策略。值得注意的是,EPPO将每个策略和策略集合有机地结合起来,并同时优化两者。此外,EPPO在策略空间上采用了多样性增强正则化,这有助于推广到不可见的状态并促进探索。我们从理论上证明了EPPO提高了探索效率,并通过对各种任务的综合实验评估,我们证明了EPPO实现了更高的效率,并且与香草策略优化算法和其他集成方法相比,对现实世界的应用具有鲁棒性。代码和补充材料可在www.example.com上获得。
2022-05-19 cs.AI cs.LG
DARLA: Improving Zero-Shot Transfer in Reinforcement Learning
DeepMind
领域自适应是深度强化学习(RL)中一个重要的开放问题。在许多感兴趣的场景中,数据很难获得,因此代理可以在数据容易获得的环境中学习源策略,希望它能够很好地推广到目标域。我们提出了一种新的多阶段RL代理,DARLA(DisentAngled Representation Learning Agent),它在学习行动之前学习观察。DARLA的愿景是基于对所观察环境的分解表示的学习。一旦DARLA可以看到,它就能够获得对许多域转换都很健壮的源策略-即使无法访问目标域。DARLA在zero-shot域自适应场景中的表现明显优于传统基线,这种效果适用于各种RL环境(Jaco arm,DeepMind Lab)和基础RL算法(DQN,A3C和EC)。
2018-06-06 cs.AI cs.LG stat.ML
A Deep Graph Reinforcement Learning Model for Improving User Experience in Live Video Streaming
KTH Royal Institute of Technology(KTH皇家理工学院);Hive Streaming AB(Hive流媒体公司);University of Thessaly(色萨利大学)
在本文中,我们提出了一个深度图强化学习模型,以预测和改善用户体验在直播视频流事件,精心策划的代理/跟踪器。我们首先将用户体验预测问题制定为分类任务,考虑到由于低带宽连接和与跟踪器的有限交互,事件开始时大多数观众的体验质量较差。在我们的模型中,我们考虑不同的因素,影响用户体验的质量和训练不同的状态动作转换时,观众与跟踪器交互的模型。此外,假设过去的事件具有各种用户体验特征,我们遵循梯度提升策略来计算从不同事件学习的全局模型。我们的实验与实时视频流事件的三个真实世界的数据集证明了所提出的模型对几个基线策略的优越性。此外,由于大多数观众在活动开始时体验不佳,我们表明我们的模型可以显着增加具有高质量体验的观众数量,在第一个流媒体分钟内至少增加75%。我们的评估数据集和实施可在https://publicresearch.z13.web.core.windows.net上公开获取
2021-07-28 cs.AI cs.LG
Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning
AI Institute, Seoul National University(首尔国立大学人工智能学院);Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
针对现有强化学习因果动力学模型忽略上下文细粒度关系的问题,提出一种利用离散潜变量将状态-动作空间量化为子组以学习细粒度因果结构的新颖动力学模型,显著提升了对未见状态和局部虚假相关性的鲁棒性。
2024-06-05 cs.AI cs.LG
Causal Influence Detection for Improving Efficiency in Reinforcement Learning
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
许多强化学习(RL)环境由稀疏交互的独立实体组成。在这样的环境中,RL代理在任何特定情况下对其他实体的影响都是有限的。我们在这项工作中的想法是,学习可以有效地指导知道何时和什么代理可以影响其行动。为了实现这一目标,我们引入了一种基于条件互信息的\emph{situation-dependent causal influence}测量,并表明它可以可靠地检测影响状态。然后,我们提出了几种方法将此措施集成到RL算法中,以改善探索和离策略学习。所有修改后的算法都显示出机器人操作任务的数据效率大幅提高。
2021-12-02 cs.LG
Improving the Generalization of Unseen Crowd Behaviors for Reinforcement Learning based Local Motion Planners
Nanyang Technological University(南洋理工大学);Continental Automotive Singapore(大陆汽车新加坡公司);The Chinese University of Hong Kong(香港中文大学)
本文提出一种通过最大化信息论目标来增强单一策略内智能体多样性的方法,以解决基于强化学习的运动规划器在不可预测行人场景中的过拟合和同质冲突问题,提升了智能体对未见人群行为的适应性和避碰能力。
2024-10-16 cs.AI cs.LG cs.RO
Improving Generalization in Reinforcement Learning with Mixture Regularization
National University of Singapore(新加坡国立大学);ByteDance AI Lab(字节跳动人工智能实验室)
深度强化学习(RL)在有限的环境中训练的代理往往会遭受过拟合,并且无法推广到看不见的测试环境。为了提高其通用性,数据增强的方法(如剪切和随机卷积),以前探索增加数据的多样性。然而,我们发现这些方法只是局部扰动的观察,无论训练环境,提高数据的多样性和泛化性能表现出有限的效果。在这项工作中,我们介绍了一种简单的方法,名为mixreg,它训练代理的混合观察来自不同的训练环境,并施加线性约束的观察插值和监督(例如相关的奖励)插值。Mixreg更有效地增加了数据多样性,并帮助学习更顺畅的策略。我们验证了其有效性,提高泛化进行了广泛的实验上的大型Procgen基准。结果显示,mixreg在看不见的测试环境中的性能远远优于成熟的基线。Mixreg简单、有效、通用。它可以应用于基于策略和基于值的RL算法。代码可在https://github.com/kaixin96/mixreg上获得。
2020-10-21 cs.AI cs.LG stat.ML
Improving Reinforcement Learning Efficiency with Auxiliary Tasks in Non-Visual Environments: A Comparison
Ruhr-University Bochum(波鸿鲁尔大学);TH Köln(科隆应用技术大学)
本研究比较了基于解耦表示学习的常见辅助任务在非视觉RL环境中的效果,发现辅助任务仅在足够复杂环境中提升性能,且学习环境动态优于预测奖励。
2023-10-09 cs.AI cs.LG
Improving Performance in Reinforcement Learning by Breaking Generalization in Neural Networks
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (AMII)(阿尔伯塔机器智能研究所)
强化学习系统需要良好的表示才能正常工作。几十年来,强化学习的实际成功仅限于小领域。另一方面,深度强化学习系统是可扩展的,不依赖于特定领域的先验知识,并已成功用于播放Atari,从像素进行3D导航,并控制高自由度机器人。不幸的是,深度强化学习系统的性能对超参数设置和架构选择很敏感。即使是调整良好的系统也会在试验和重复实验中表现出显着的不稳定性。在实践中,要取得良好的业绩,通常需要大量的专业知识和反复试验。这个问题的一个潜在来源被称为灾难性干扰:当后来的训练通过覆盖以前的学习而降低性能时。有趣的是,使神经网络(NN)在批量监督学习中如此有效的强大泛化能力可能解释了将它们应用于强化学习任务时的挑战。在本文中,我们探讨了在线NN训练和干扰如何在强化学习中相互作用。我们发现,简单地将输入观测值重新映射到高维空间可以提高学习速度和参数敏感性。我们还表明,这种预处理减少了预测任务中的干扰。更实际的是,我们提供了一种简单的NN训练方法,易于实现,并且需要很少的额外计算。我们证明,我们的方法提高了预测和控制的性能,在经典的控制领域的大量实验。
2020-03-16 cs.AI cs.LG cs.NE
OSS Mentor A framework for improving developers contributions via deep reinforcement learning
East China Normal University(华东师范大学);Tongji University(同济大学)
在开源项目治理中,人们一直在关注如何衡量开发人员的贡献。然而,极其稀疏的工作集中在使开发人员能够改进他们的贡献上,尽管这是重要和有价值的。在本文中,我们介绍了一个名为开源软件(OSS)Mentor的深度强化学习框架,它可以从经验知识中进行训练,然后自适应地帮助开发人员提高他们的贡献。大量的实验表明,OSS Mentor显着优于优秀的实验结果。此外,这是第一次提出的框架探索深度强化学习技术来管理开源软件,这使我们能够设计一个更强大的框架,以提高开发人员的贡献。
2022-10-24 cs.AI cs.SE
Improving generalization of robot locomotion policies via Sharpness-Aware Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);inspire AG(inspire公司);University of Zurich(苏黎世大学)
针对强化学习在机器人运动策略泛化性差的问题,本文提出将锐度感知优化集成到基于梯度的强化学习算法中,在接触密集环境中提升策略对环境变化和动作扰动的鲁棒性,同时保留一阶方法的样本效率。
2024-11-29 cs.AI cs.LG cs.RO
DreamSmooth: Improving Model-based Reinforcement Learning via Reward Smoothing
University of California, Berkeley(加州大学伯克利分校)
针对奖励预测成为基于模型的强化学习瓶颈的问题,提出DreamSmooth方法,通过预测时间平滑奖励提升长视野稀疏奖励任务的样本效率和性能,且不损失常见基准表现。
2024-02-18 cs.AI cs.LG cs.RO
Improving Interactive Reinforcement Agent Planning with Human Demonstration
Ocean University of China(中国海洋大学);Honda Research Institute Japan Co. Ltd.(本田日本研究院有限公司)
TAMER已被证明是一种强大的交互式强化学习方法,允许普通人通过提供评估反馈来教授和个性化自主智能体的行为。然而,一个TAMER代理规划与UCT-一个蒙特卡罗树搜索策略,只能更新沿其路径的状态,并可能导致高的学习成本,特别是对于一个物理机器人。在本文中,我们提出了驱动代理的探索沿着最佳路径,并通过初始化代理的奖励函数,通过反向强化学习示教学习,以减少学习成本。我们测试我们提出的方法在强化学习基准域-网格世界-与不同的折扣人类奖励。研究结果表明,示教学习可以使TAMER智能体在最深搜索时学习到一个大致最优的策略,并鼓励智能体沿着最优路径探索;此外,我们还发现,示教学习可以通过减少总反馈、减少不正确动作的数量和增加获得最优策略的正确动作的比例来提高学习效率,从而让TAMER代理更快地收敛。
2019-04-18 cs.AI cs.HC cs.LG
Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning
Stanford University(斯坦福大学)
在模仿和强化学习中,人类监督的成本限制了机器人可以训练的数据量。一个令人向往的目标是构建自我改进的机器人:可以在最少的人类监督或监督下自主互动的机器人。这样的机器人可以收集和训练更大的数据集,从而学习更强大和性能更好的政策。虽然强化学习通过试错法为这种自主学习提供了一个框架,但实际的实现最终需要广泛的人类监督来设计奖励函数,并在交互事件之间重复重置环境。在这项工作中,我们提出了MEDAL++,一种新的设计,用于自我改进的机器人系统:在开始时给出一小组专家演示,机器人通过学习做和撤销任务来自主练习任务,同时从演示中推断奖励函数。策略和奖励函数是从高维视觉输入端到端学习的,绕过了对先前工作中使用的视觉编码器的显式状态估计或特定于任务的预训练的需要。我们首先在模拟的非情景基准EARL上评估了我们提出的算法,发现MEDAL++的数据效率更高,与最先进的基于视觉的方法相比,最终性能提高了30%。我们的真实机器人实验表明,MEDAL++可以应用于操作问题,在更大的环境比那些考虑在以前的工作,和自主自我改进可以提高成功率30-70%以上的行为克隆只是专家数据。代码、培训和评估视频以及简要概述请访问:https://architsharma97.github.io/self-improving-robots/
2023-03-02 cs.AI cs.LG cs.RO
Improving Reinforcement Learning with Human Assistance: An Argument for Human Subject Studies with HIPPO Gym
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));École de technologie supérieure (ETS)(高等技术学院(ETS))
强化学习(RL)是一种流行的机器学习范例,用于游戏,机器人控制和其他顺序决策任务。然而,RL代理通常具有很长的学习时间和很高的数据要求,因为它们开始时是随机的。为了在复杂任务中更好地学习,本文认为外部教师通常可以显着帮助RL Agent学习。OpenAI Gym是RL研究的通用框架,包括大量的标准环境和代理,使RL研究变得更加容易。本文介绍了我们新的开源RL框架,Openai Gym的人类输入解析平台(HIPPO Gym),以及创建它的设计决策。这个平台的目标是促进人类RL研究,再次降低门槛,以便更多的研究人员可以快速研究人类教师可以帮助RL代理的不同方式,包括从演示中学习示教学习,从反馈中学习或课程学习。
2021-02-02 cs.AI cs.HC cs.LG
On Improving Deep Reinforcement Learning for POMDPs
Waterloo, Ontario(滑铁卢(安大略省));Beijing Institute of Technology(北京理工大学)
深度强化学习(RL)最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一,例如,电脑走。然而,在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构,称为特定的深度递归Q网络(ADRQN),以提高在部分可观察域的学习性能。动作由一个完全连接的层编码,并与卷积观测耦合,形成一个动作-观测对。然后,动作-观察对的时间序列由LSTM层集成,LSTM层学习潜在状态,基于此,全连接层计算Q值,如传统的深度Q网络(DQN)。我们证明了我们的新架构的有效性,在几个部分可观察的领域,包括闪烁的雅达利游戏。
2018-05-24 cs.LG
Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration
School of Engineering, WestLake University(西湖大学工程学院);University of Cambridge(剑桥大学)
针对离线到在线强化学习中的分布偏移问题,提出Q条件状态熵(QCSE)作为内在奖励,通过最大化状态熵并隐式实现状态边际匹配,提升在线微调性能,实验显示在CQL和Cal-QL上分别提升约13%和8%。
2024-05-28 cs.AI cs.LG
Improving Robustness via Risk Averse Distributional Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
阻碍强化学习在现实应用中取得成功的一个主要障碍是训练策略缺乏鲁棒性,无论是对模型不确定性还是外部干扰。当在模拟而不是真实世界环境中训练策略时,鲁棒性至关重要。在这项工作中,我们提出了一个风险意识的算法来学习强大的政策,以弥合模拟训练和现实世界的实现之间的差距。我们的算法是基于最近发现的分布式RL框架。我们将CVaR风险度量引入基于样本的分布式策略梯度(SDPG)中,学习风险规避策略,以实现对系统扰动的鲁棒性。我们验证了风险感知SDPG在多个环境中的鲁棒性。
2020-05-01 cs.LG stat.ML
Improving Few-Shot Inductive Learning on Temporal Knowledge Graphs using Confidence-Augmented Reinforcement Learning
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司)
针对时序知识图谱少样本图外链接预测任务,提出结合少样本学习与强化学习的FITCARL方法,通过置信度模块和概念正则化器提升性能,达到当前最优水平。
2023-06-11 cs.AI cs.LG
On Improving Model-Free Algorithms for Decentralized Multi-Agent Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);DeepMind(深度思维);Massachusetts Institute of Technology(麻省理工学院)
多智能体强化学习(MARL)算法经常遭受指数样本复杂度对智能体数量的依赖,这种现象被称为\emph{the curse of multiagents}。在本文中,我们解决这一挑战,调查样本效率的无模型算法在\emph{decentralized} MARL,并旨在改善现有的算法沿这条线。对于学习(粗)一般和马尔可夫博弈中的相关均衡,我们提出了\emph{stage-based} V-学习算法,大大简化了最近的作品的算法设计和分析,并规避了一个相当复杂的无\emph{weighted}遗憾强盗子程序。针对马尔可夫势博弈中纳什均衡的学习问题,提出了一种独立的策略梯度算法,该算法采用分散的基于动量的方差缩减技术。我们所有的算法都是去中心化的,因为每个代理只能根据其本地信息做出决策。在学习过程中既不需要通信,也不需要集中协调,从而导致对大量代理的自然泛化。我们还提供了数值模拟来证实我们的理论研究结果。
2022-01-29 cs.AI cs.LG cs.MA
Improving Autonomous Separation Assurance through Distributed Reinforcement Learning with Attention Networks
Massachusetts Institute of Technology(麻省理工学院)
本文针对先进空中交通高密度环境下的自主间隔保障问题,提出一种基于注意力网络和分布式计算的去中心化强化学习框架,扩展SAC算法,实现安全高效的飞行器自间隔。
2023-08-09 cs.AI cs.LG
CHAI for LLMs: Improving Code-Mixed Translation in Large Language Models through Reinforcement Learning with AI Feedback
Pennsylvania State University(宾夕法尼亚州立大学)
针对大语言模型在语码混合翻译上的不足,提出CHAI框架,利用LLM标注、RLAIF及领域知识宪法,使模型在CM翻译任务上平均胜率提升68.45%。
2026-09-15 cs.AI cs.CL cs.LG
Improving the dynamics of quantum sensors with reinforcement learning
University of Tübingen(蒂宾根大学)
最近提出的量子混沌传感器通过将非线性控制脉冲应用于量子传感器的动力学,同时使用易于制备的经典初始状态,来实现测量精度的量子增强。在这里,我们使用强化学习的交叉熵方法来优化控制脉冲的强度和位置。与具有超辐射阻尼的周期控制脉冲的量子混沌传感器相比,通过优化控制可以更好地抑制退相干,进一步提高测量精度。在某些示例中,我们发现灵敏度的增强超过一个数量级。通过对量子态演化过程的可视化,将强化学习方法所利用的机制确定为一种适用于超辐射阻尼的自旋压缩策略。
2020-03-10 cs.LG quant-ph
Improving Deep Reinforcement Learning by Reducing the Chain Effect of Value and Policy Churn
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
本研究刻画了深度强化学习中价值估计与策略改进的churn链式效应,提出可嵌入现有DRL算法的CHAIN方法以消减该效应,实验验证其在多类RL设置下均能有效降低churn并提升性能。
2024-12-11 cs.AI cs.LG
Adversarial Deep Reinforcement Learning for Improving the Robustness of Multi-agent Autonomous Driving Policies
Simula Research Laboratory(Simula研究实验室)
众所周知,自动驾驶汽车容易受到对抗攻击的攻击,这些攻击可能危及汽车的安全,并对其他道路使用者构成危险。为了有效地防御对手,不仅需要测试自动驾驶汽车以发现驾驶错误,还需要提高汽车对这些错误的鲁棒性。为此,在本文中,我们提出了一种自动驾驶汽车的两步方法,包括(i)通过训练对抗性驾驶代理来发现自动驾驶汽车的故障状态,以及(ii)通过使用有效的对抗性输入重新训练自动驾驶汽车来提高自动驾驶汽车的鲁棒性。我们的方法支持在多智能体环境中测试自动驾驶汽车,在那里我们训练并比较两个自定义奖励函数上的对抗性汽车策略,以测试自动驾驶汽车的驾驶控制决策。我们在基于视觉的高保真城市驾驶模拟环境中进行实验。我们的研究结果表明,对抗性测试可用于发现错误的自动驾驶行为,然后进行对抗性训练,以提高基于深度强化学习的自动驾驶策略的鲁棒性。我们证明,使用有效的对抗性输入重新训练的自动驾驶汽车在减少碰撞和越野转向错误方面显着提高了其驾驶策略的性能。
2023-02-21 cs.AI
RH-Net: Improving Neural Relation Extraction via Reinforcement Learning and Hierarchical Relational Searching
East China Normal University(华东师范大学)
距离监督(Distant Supervision,DS)的目标是生成大规模的启发式标注语料,目前广泛用于神经关系抽取。然而,它严重遭受噪声标记和长尾分布问题。许多先进的方法通常分别解决两个问题,忽略了它们之间的相互作用。在本文中,我们提出了一个新的框架命名为RH-Net,它利用强化学习和层次关系搜索模块,以改善关系抽取。我们利用强化学习来指导模型选择高质量的实例。然后,我们提出了层次关系搜索模块共享语义之间的数据丰富和数据贫乏类的相关实例。在迭代过程中,两个模块保持交互,以同时缓解噪声和长尾问题。在广泛使用的NYT数据集上进行的大量实验清楚地表明,我们的方法在最先进的基线上有显着的改进。
2021-02-02 cs.AI cs.CL
Improving generalization to new environments and removing catastrophic forgetting in Reinforcement Learning by using an eco-system of agents
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Amsterdam UMC(阿姆斯特丹大学医学中心)
使强化学习(RL)智能体适应看不见的环境是一项艰巨的任务,因为训练环境中存在典型的过拟合。RL代理通常能够解决非常接近训练环境的环境,但当环境变得非常不同时,它们的性能会迅速下降。当智能体在新的环境中接受再训练时,第二个问题出现了:存在灾难性遗忘的风险,即在以前见过的环境中的表现受到严重阻碍。本文提出了一种新的方法,利用生态系统的代理,以解决这两个问题。据此,个体代理的(有限的)适应能力被收获,以建立一个高度适应性的生态系统。
2022-07-01 cs.AI cs.MA
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck(因斯布鲁克大学)
大多数深度强化学习(D-RL)方法都执行局部策略搜索,这增加了陷入局部最小值的风险。此外,即使在基于模拟的训练中,模拟模型的可用性在D-RL中也没有得到充分利用,这可能会降低效率。为了更好地利用仿真模型的政策搜索,我们建议将kinodynamic规划器的探索策略,并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS(规划策略搜索)。我们比较PPS与最先进的D-RL方法在典型的RL设置,包括欠驱动系统。比较表明,PPS,由kinodynamic规划器的指导下,收集数据从更广泛的区域的状态空间。这将生成训练数据,帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning
Harvard University(哈佛大学);University of Toronto(多伦多大学);Microsoft(微软)
联邦学习(FL)是一种训练技术,其使得客户端设备能够通过聚合本地计算的模型而不暴露其原始数据来共同学习共享模型。虽然大多数现有的工作集中在提高FL模型的准确性,在本文中,我们专注于提高训练效率,这往往是在现实世界中采用FL的一个障碍。具体而言,我们设计了一个有效的FL框架,共同优化模型的准确性,处理延迟和通信效率,所有这些都是主要的设计考虑因素,真正实现FL。最近成功的多智能体强化学习(MARL)在解决复杂的控制问题的启发,我们提出了\textit{FedMarl},基于MARL的FL框架,执行高效的运行时客户端选择。实验结果表明,FedMarl可以显著提高模型的准确性,同时降低处理延迟和通信开销。
2022-01-09 cs.AI cs.LG
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
针对 RLHF 中奖励模型预测不准的问题,本文提出线性层集成和 LoRA 集成等高效奖励模型集成方法,并通过 Best-of-n 与 PPO 实验验证其能提升输出与人类价值观的对齐性能。
2024-10-22 cs.AI cs.CL cs.LG
Improving Energy Efficiency in Femtocell Networks: A Hierarchical Reinforcement Learning Framework
VTT Technical Research Centre of Finland(芬兰VTT技术研究中心);York-Zhejiang Lab for Cognitive Radio and Green Communications(约克-浙江认知无线电与绿色通信实验室);Zhejiang University(浙江大学)
本文结合博弈论和随机学习研究了双层毫微微蜂窝网络的能量效率问题。基于Stackelberg博弈模型,采用分层强化学习框架研究了在最小信干噪比条件下宏蜂窝和毫微微蜂窝的联合平均效用最大化问题.在学习过程中,宏蜂窝充当领导者,毫微微蜂窝充当跟随者。在每个时间步,领导者承诺动态策略的基础上的最佳反应的追随者,而追随者相互竞争,没有进一步的信息,但领导者的战略信息。在本文中,我们提出了两个学习算法调度每个小区的随机功率电平,领导的宏小区。数值实验验证了所提出的研究,并表明这两种学习算法大大提高了毫微微蜂窝网络的能量效率。
2012-09-13 cs.LG
Improving Document Image Understanding with Reinforcement Finetuning
Cinnamon AI(肉桂人工智能公司);Hung Yen University of Technology and Education(兴安技术教育大学);Deakin University(迪肯大学)
成功的人工智能系统通常需要大量的标记数据来从文档图像中提取信息。在本文中,我们调查的问题,提高性能的人工智能系统在理解文档图像,特别是在训练数据是有限的情况下。我们提出了一种新的微调方法,使用强化学习解决这个问题。我们的方法将信息抽取模型视为一个策略网络,并使用策略梯度训练来更新模型,以最大化补充传统交叉熵损失的组合奖励函数。我们在四个数据集上使用标签和专家反馈的实验表明,我们的微调机制始终提高了最先进的信息提取器的性能,特别是在小训练数据制度。
2022-09-26 cs.CV cs.IR cs.LG
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology(佐治亚理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
深度强化学习(deep RL)的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中,我们提出了一种新的无监督的行动规划技术,以提高安全性的政策上的强化学习算法,如信任区域策略优化(TRPO)或近端策略优化(PPO)。我们设计了我们的安全意识强化学习,通过存储所有的历史“恢复”行动,拯救代理从危险的情况下到一个单独的“安全”缓冲区,并找到最好的恢复行动时,代理遇到类似的状态。由于此功能需要算法查询相似的状态,我们实现了建议的安全机制,使用无监督学习算法,k-均值聚类。我们评估所提出的算法上的六个机器人控制任务,包括导航和操作。我们的研究结果表明,所提出的安全RL算法可以实现更高的回报相比,多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research(LG人工智能研究院)
针对RLHF导致的表面化对齐问题,提出RLRF框架,利用细粒度自我反思机制探索和优化响应,并通过RL算法微调模型,有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Improving Long-Term Metrics in Recommendation Systems using Short-Horizon Reinforcement Learning
McGill University(麦吉尔大学);MILA;Microsoft Research(微软研究院);Facebook;DeepMind
我们研究基于会话的推荐方案,我们希望在顺序交互过程中向用户推荐项目,以提高其长期效用。优化长期指标是一项挑战,因为学习信号(建议是否达到了预期目标)会被其他用户与系统的交互延迟和混淆。瞄准立即可测量的代理(如点击)可能会导致次优建议,因为与长期指标不一致。我们开发了一种新的强化学习算法,称为短期策略改进(SHPI),它近似于策略引起的用户行为在会话中的漂移。SHPI是对基于会话的推荐的情景RL算法的直接修改,在每个会话中额外提供适当的终止奖励。四个推荐任务的实证结果表明,SHPI可以优于最先进的推荐技术,如离线代理信号的矩阵分解,近视在线代理的强盗,以及用户交互量有限的RL基线。
2021-09-14 cs.LG
Reinforcement Learning for Improving Object Detection
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
经过训练的目标检测神经网络的性能在很大程度上取决于图像质量。通常,在将图像馈送到神经网络之前对图像进行预处理,并且使用关于图像数据集的领域知识来选择预处理技术。在本文中,我们引入了一种称为ObjectRL的算法来选择要应用的特定预处理量,以提高预训练网络的目标检测性能。ObjectRL的主要动机是,人眼看起来很好的图像可能不一定是预训练对象检测器检测对象的最佳图像。
2020-08-18 cs.CV cs.LG
Normalization and effective learning rates in reinforcement learning
Google DeepMind(谷歌DeepMind)
本文针对归一化导致有效学习率随参数范数增长而隐式衰减的问题,提出 NaP 重参数化方法,使学习率显式恒定并提升强化学习与持续学习的非平稳鲁棒性。
2024-07-01 cs.AI cs.LG
Improving a sequence-to-sequence nlp model using a reinforcement learning policy algorithm
Sidi Mohamed Ben Abdallah University(西迪·穆罕默德·本·阿卜杜拉大学)
目前,对话生成(聊天机器人)的神经网络模型显示出很大的希望,为聊天代理生成答案。但他们是短视的,因为他们一次预测一个话语,而忽略了它们对未来结果的影响。对对话的未来方向进行建模对于生成连贯、有趣的对话至关重要,这一需求导致了依赖于强化学习的传统NLP对话模型。在本文中,我们将解释如何通过使用深度强化学习来预测聊天机器人对话中的未来奖励,从而将这些目标结合起来。该模型模拟两个虚拟代理之间的对话,与策略梯度的方法来奖励序列,表现出三个有用的会话特征:流动的非正式性,连贯性和简单的响应(相关的前瞻性功能)。我们根据其多样性,长度和人类的复杂性来评估我们的模型。在对话模拟中,评估表明,所提出的模型产生更多的互动响应,并鼓励更持续的成功对话。这项工作是为了纪念在对话的长期成功的基础上开发神经对话模型的初步步骤。
2022-12-28 cs.AI cs.CL cs.LG
Improving Search through A3C Reinforcement Learning based Conversational Agent
Adobe Systems Inc(奥多比系统公司);IIT Delhi(印度理工学院德里分校)
我们开发了一个基于强化学习的搜索助手,它可以通过一组动作和一系列交互来帮助用户实现他们的意图。我们的方法迎合主观搜索,用户正在寻找数字资产,如图像,这是从根本上不同的任务,具有客观和有限的搜索方式。标记的会话数据通常在这样的搜索任务中不可用,并且通过人类交互来训练代理可能是耗时的。我们提出了一个随机虚拟用户模拟一个真实的用户,可以用来有效地采样用户的行为,训练代理,加快了自举代理。我们开发了基于A3C算法的上下文保持体系结构,使代理提供上下文的帮助给用户。我们将A3C代理与Q学习进行比较,并评估其在验证事件中与虚拟用户获得的平均奖励和状态值上的性能。我们的实验表明,智能体学习获得更高的奖励和更好的状态。
2018-08-19 cs.AI
A Roadmap Towards Improving Multi-Agent Reinforcement Learning With Causal Discovery And Inference
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学);Department of Sciences and Method for Engineering(科学与工程方法学院)
本文探索因果推理应用于多智能体强化学习(MARL)的机遇与挑战,通过在多类协作需求的前沿MARL场景与算法中测试简单因果增强的效果,梳理正负结果并提出未来研究方向,为因果RL向多智能体场景迁移提供路线参考。
2025-03-22 cs.AI cs.LG cs.MA
Understanding and Improving Hyperbolic Deep Reinforcement Learning
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);UniVie Doctoral School Computer Science, University of Vienna(维也纳大学UniVie计算机科学博士学院);Department of Machine Learning and Systems Biology, Max Planck Institute of Biochemistry(马克斯·普朗克生物化学研究所机器学习与系统生物学部门);ds:UniVie, University of Vienna(维也纳大学ds:UniVie)
Hyper++通过改进双曲深度RL的训练稳定性与效率,提升了强化学习性能。
2026-03-06 cs.AI cs.LG
GeneraLight: Improving Environment Generalization of Traffic Signal Control via Meta Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);The Pennsylvania State University(宾夕法尼亚州立大学)
交通拥堵问题一直是现代城市关注的问题。为了缓解交通拥堵,近年来研究人员使用强化学习(RL)来开发更好的交通信号控制(TSC)算法。然而,大多数RL模型都是在相同的交通流环境中训练和测试的,这导致了严重的过拟合问题。由于现实世界中的交通流环境是不断变化的,这些模型由于缺乏泛化能力而难以应用。此外,可获得的交通流数据数量有限,这给模型的泛化能力测试带来了额外的困难。本文设计了一种基于Wasserstein生成对抗网络的新型流量生成器来生成足够多的、多样的、高质量的流量,并利用它们来构建合适的训练和测试环境。然后,我们提出了一个元RL TSC框架GeneraLight,以提高TSC模型的泛化能力。GeneraLight通过结合流聚类和模型无关元学习的思想来提高泛化性能。我们在多个真实世界的数据集上进行了广泛的实验,以显示GeneraLight在推广到不同流量时的卓越性能。
2020-09-17 cs.AI cs.LG stat.ML
Improving Low-Resource Machine Translation via Round-Trip Reinforcement Learning
MBZUAI Masdar City(MBZUAI马斯达尔城)
本文提出通过往返强化学习提升低资源机器翻译,利用NLLB模型进行往返训练,结合chrF++和BLEU作为奖励函数,提升多语言翻译的流畅性和语义准确性。
2026-03-17 cs.AI cs.CL