A Micro-Objective Perspective of Reinforcement Learning
University of Waterloo(滑铁卢大学)
标准的强化学习(RL)公式考虑了(折扣)累积奖励的期望。这在我们不仅关注预期性能而且关注性能分布的应用中是有限的。在本文中,我们介绍了微观目标强化学习-一种替代RL形式主义,克服了这个问题。在这个新的公式中,RL任务由一组微观目标指定,这些微观目标是指定事件的可取性或不可取性的构造。此外,微观目标允许先验知识的时间抽象的形式被纳入到全球RL目标。这种形式主义的一般性,其关系到单/多目标RL,和分层RL进行了讨论。
2019-06-12 cs.LG stat.ML
Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);University of Galway(戈尔韦大学);City of Amsterdam(阿姆斯特丹市);Utrecht University(乌得勒支大学)
本文提出迭代帕累托参照优化(IPRO),将多目标强化学习中帕累托前沿的求解分解为一系列受约束单目标问题,在保证收敛的同时给出未发现解距离的上界,并在实验中取得与或优于现有方法的性能。
2025-02-06 cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文证明在多目标优化中,Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity
Federation University Australia(联邦大学澳大利亚);Deakin University(迪金大学)
本文研究了基于价值的方法在多目标强化学习中因非线性效用函数而出现的价值函数干扰和过估计敏感性问题,通过表格实现多目标Q学习展示了现象。
2026-04-22 cs.LG
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway(高威大学)
针对多目标强化学习中偏好多样且策略从零训练困难的问题,提出 DG-MORL,利用示范、角点权重对齐和自进化机制提升性能,并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood
University of Southern California(南加州大学)
本文提出RL2ML系列有限rollout替代目标,具有闭式无偏梯度估计,连接标准强化学习、类最大似然训练及超越最大似然目标,并揭示群体级更新尺度相变,将剩余自由度转化为一维优化问题。
2026-05-28 cs.LG
Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion
Robotics Institute, University of Toronto(多伦多大学机器人研究所);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
提出一种融合最大最小准则与显式约束满足的多目标强化学习框架,通过理论分析和表格实验验证收敛性,并在建筑热控制、多目标运动控制和温室气体排放感知交通管理中展示其平衡公平性与约束满足的有效性。
2026-05-29 cs.LG
Scalable Multi-Objective Reinforcement Learning with Fairness Guarantees using Lorenz Dominance
University of Amsterdam(阿姆斯特丹大学)
本文提出一种结合公平性保证的多目标强化学习算法,通过洛伦兹支配识别公平奖励分布,提升多目标问题的可扩展性,在西安和阿姆斯特丹两个大型城市中展示出优于传统方法的性能。
2026-03-26 cs.LG
A Reinforcement Learning Hyper-Heuristic in Multi-Objective Single Point Search with Application to Structural Fault Identification
University of Connecticut(康涅狄格大学)
多目标优化问题是工程实践中经常遇到的问题。然而,解决方法和参数选择通常是针对具体问题的。在这项研究中,我们制定了一个强化学习超启发式计划,并提出了四个低层次的启发式,可以与单点搜索算法MOSA/R(基于Re-seed的多目标模拟退火算法)对多目标优化问题的一般应用。该算法利用控制量、拥挤距离和超体积计算,能够自适应地、自主地满足各种优化要求。开发的方法不仅表现出更好的和更强大的性能相比,AMOSA,NSGA-II和MOEA/D时,应用于基准测试用例,但也显示出有前途的结果时,应用到一个通用的结构故障识别问题。本研究的结果可以扩展到各种设计和制造优化应用。
2018-10-29 cs.LG
Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning
Seoul National University(首尔大学)
提出约束多目标强化学习算法CoMOGA,将多目标最大化视为约束优化问题并利用线性近似更新策略以避免梯度冲突,在表格环境中保证最优收敛并在所有任务中实现约束满足。
2024-05-31 cs.LG
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT(麻省理工学院);Brown University(布朗大学)
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的,解决了非经典强化学习目标的PAC可学习性开放问题,并验证了三个文献目标,指导了新目标的设计。
2023-03-19 cs.AI cs.LG
The Max-Min Formulation of Multi-Objective Reinforcement Learning: From Theory to a Model-Free Algorithm
School of Electical Engineering, Korea Advanced Institute of Science & Technology(韩国科学技术院电气工程学院);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
本文针对多目标强化学习提出最大-最小框架以保障多目标间的公平性,并给出相关理论及一种无模型算法,实验表明其性能显著优于现有基线方法。
2024-06-12 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales(新南威尔士大学)
针对多目标强化学习难以适应非平稳环境的问题,本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法,在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Multi-Objective Reinforcement Learning for Water Management
Delft University of Technology(代尔夫特理工大学);Utrecht University(乌特勒支大学)
本文提出利用多目标强化学习解决尼罗河流域水资源管理问题,发现专门方法在实际应用中优于现有MORL算法,揭示了其在现实场景中的可扩展性问题。
2025-11-21 cs.AI cs.LG
Optimizing Language Models for Inference Time Objectives using Reinforcement Learning
Meta GenAI(Meta 生成式人工智能);Meta FAIR
本文提出在语言模型训练中显式优化推理时间目标(如pass@k和多数投票),并在代码生成任务上验证该方法能显著提升模型推理性能。
2025-08-17 cs.LG
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
MediaTek Research(联发科研究院);MediaTek Inc.(联发科公司);National Taiwan University(台湾大学);Maxeda Technology Inc.(Maxeda科技公司)
最近,强化学习在芯片布局中的成功应用已经出现。预训练的模型对于提高效率和有效性是必要的。目前,客观指标的权重(例如,线长、拥塞和定时)在预训练期间是固定的。然而,固定权重的模型不能产生工程师所需的布局的多样性,以适应不断变化的要求,因为它们出现。本文提出了灵活的多目标强化学习(MORL),支持目标函数的推理时间可变的权重,使用一个单一的预训练模型。我们的宏观布局结果表明,MORL可以有效地产生多个目标的帕累托前沿。
2022-04-13 cs.AI cs.LG
Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University(杨百翰大学);University of Southern California(南加利福尼亚大学)
众所周知,控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号,需要多次重新训练。多目标强化学习(MORL)框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合,允许更好地控制代理的行为,而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而,这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑,规范本质上更易于解释。另外,可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码,并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范,并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
UCB-driven Utility Function Search for Multi-objective Reinforcement Learning
Trinity College Dublin(都柏林三一学院);Huawei Ireland Research Centre(华为爱尔兰研究中心)
针对多目标强化学习中线性效用函数的权重选择问题,提出基于UCB的权重搜索方法,以最大化帕累托前沿超体积,在Mujoco基准上优于多种基线。
2025-06-16 cs.LG
Lexicographic Multi-Objective Reinforcement Learning
University of Oxford(牛津大学)
在这项工作中,我们介绍了强化学习技术解决字典多目标问题。这些问题,涉及多个奖励信号,其目标是学习的政策,最大化的第一个奖励信号,并在此约束下,也最大化的第二个奖励信号,等等。我们提出了一个家庭的行动价值和策略梯度算法,可以用来解决这样的问题,并证明他们收敛到的政策是字典最优的。我们评估这些算法的可扩展性和性能的经验,证明其实用性。作为一个更具体的应用程序,我们展示了我们的算法可以用来施加安全约束的代理的行为,并比较他们的表现在这种情况下,与其他受约束的强化学习算法。
2022-12-28 cs.LG
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI有限公司)
提出一种结合分解与进化搜索的群体元强化学习框架,通过维护权重向量群体并迭代优化,生成多样且分布均匀的帕累托前沿近似,在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Provable Multi-Objective Reinforcement Learning with Generative Models
University of California, Los Angeles(加州大学洛杉矶分校);J. P. Morgan AI Research(摩根大通人工智能研究院)
多目标强化学习(MORL)是普通的单目标强化学习(RL)的扩展,适用于许多现实世界中存在多个目标而没有已知相对成本的任务。我们研究了单策略MORL问题,它学习目标偏好的最优策略。现有的方法需要强的假设,如多目标马尔可夫决策过程的确切知识,并在无限的数据和时间的限制进行分析。我们提出了一种新的算法称为基于模型的包络值迭代(EVI),它推广了杨等人的包络多目标$Q$ -学习算法,2019.我们的方法可以学习一个接近最优的价值函数多项式的样本复杂度和线性收敛速度。据我们所知,这是第一个有限样本分析MORL算法。
2021-01-11 cs.AI cs.LG math.OC
Multi-objective Reinforcement Learning With Augmented States Requires Rewards After Deployment
Institute of Innovation, Science and Sustainability, Federation University Australia(创新、科学与可持续发展研究所,联邦大学澳大利亚)
本文指出多目标强化学习与传统单目标强化学习的关键区别,强调增强状态需要部署后持续获取奖励信号,探讨其实际影响。
2026-04-17 cs.LG
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架,通过博弈论重述和镜像下降算法实现全局收敛,并显著超越基线。
2025-10-23 cs.AI cs.LG
DROGO: Default Representation Objective via Graph Optimization in Reinforcement Learning
Department of Computing Science, University of Alberta(阿尔伯塔大学计算机科学系);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔人工智能研究所);Canada CIFAR AI Chair(加拿大 CIFAR 人工智能主席)
DROGO通过图优化在强化学习中直接近似默认表示的主特征向量,用于奖励塑造和多种应用。
2026-01-30 cs.LG
A Multi-Objective Deep Reinforcement Learning Framework
School of Information Technology, Deakin University(迪肯大学信息技术学院);Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新学院);School of Science, Engineering and Information Technology, Federation University(联邦大学科学、工程与信息技术学院)
提出了一种基于深度Q网络的可扩展多目标深度强化学习(MODRL)框架。我们开发了一个高性能的MODRL框架,支持单策略和多策略策略,以及线性和非线性的方法来选择动作。两个基准问题(两目标深海宝藏环境和三目标山地车问题)的实验结果表明,该框架能够有效地找到Pareto最优解。所提出的框架是通用的和高度模块化的,它允许在不同的复杂问题域中集成不同的深度强化学习算法。因此,这克服了当前文献中涉及标准多目标强化学习方法的许多缺点。所提出的框架作为一个试验平台,加速MODRL的发展,解决日益复杂的多目标问题。
2020-06-19 cs.AI cs.LG stat.ML
On the (In)Tractability of Reinforcement Learning for LTL Objectives
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Brown University(布朗大学)
近年来,研究人员在设计用于优化线性时态逻辑(LTL)目标和LTL类目标的并行学习算法方面取得了重大进展。尽管取得了这些进展,但解决这一问题的程度仍然存在根本性的限制。之前的研究已经提到了这一事实,但尚未深入研究。在本文中,我们从理论的角度来解决一般LTL目标的强化学习的易处理性。我们形式化的问题下的可能近似正确的学习马尔可夫决策过程(PAC-MDP)的框架,一个标准的框架测量样本的复杂性强化学习。在这种形式化中,我们证明了任何LTL公式的最优策略是PAC-MDP-learnable的,当且仅当该公式是在LTL层次结构中的最有限的类,由在有限范围内可判定的公式组成。实际上,我们的研究结果意味着,它是不可能的一个学习算法,以获得PAC-MDP保证其学习政策的性能后,许多相互作用与无约束的环境中的LTL目标是不可判定的有限范围内。
2022-06-24 cs.AI cs.FL cs.LG
Reinforcement Learning Based Dynamic Selection of Auxiliary Objectives with Preserving of the Best Found Solution
ITMO University(ITMO大学)
通过引入辅助目标可以提高单目标优化的效率。理想情况下,辅助目标应该有所帮助。然而,在实践中,目标在某些优化阶段可能是有效的,但在其他的阻碍。在本文中,我们提出了一个修改的EA+RL方法,动态选择优化的目标,使用强化学习。所提出的修改防止丢失最佳发现的解决方案。我们分析了所提出的修改,并将其与EA+RL方法和XdivK,广义OneMax和LeadingOnes问题的随机局部搜索进行了比较。所提出的修改优于EA+RL方法的所有问题的情况下。它在大多数问题实例上的表现也优于单一目标方法。我们还提供了详细的分析所考虑的算法的不同组成部分如何影响优化效率。此外,我们提出的XdivK问题的修改建议的理论分析。
2017-04-24 cs.LG cs.NE
Identifying Coordination in a Cognitive Radar Network -- A Multi-Objective Inverse Reinforcement Learning Approach
Cornell University(康奈尔大学);DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室);U.S Army Research Laboratory(美国陆军研究实验室)
假设一个目标被认知雷达网络跟踪。如果目标可以截获一些雷达网络的辐射,它如何检测雷达之间的协调?通过“协调”,我们的意思是雷达辐射满足帕累托最优性相对于多目标优化每个雷达的效用。本文提供了一种新的多目标逆强化学习方法,该方法允许检测这种帕累托最优(“协调”)行为,并随后重建每个雷达的效用函数,给定一个有限的雷达网络发射数据集。实现这一目标的方法来自于揭示偏好的微观经济设置,也适用于多目标优化系统的逆检测和学习的更一般问题。
2022-11-13 cs.LG eess.SP
MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI 公司)
MIRACL通过元多目标强化学习框架,实现了在多目标多层级组合供应链优化中的高效适应与泛化,实验表明其在超体积和预期效用方面表现优异。
2026-03-05 cs.LG
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin(都柏林三一学院)
TREX通过轨迹归因框架为多目标强化学习策略提供解释,通过生成不同用户偏好下的轨迹并划分语义段,量化行为段对帕累托权衡的影响,实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Virginia Tech(弗吉尼亚理工大学);UC Berkeley(加州大学伯克利分校);Microsoft Research Asia(微软亚洲研究院)
针对安全关键系统中多目标与严格约束的平衡难题,提出基于原始框架的自然策略梯度操控方法,具备理论保证并在安全多目标任务上超越现有方法。
2024-05-26 cs.AI cs.LG
Benchmarking Offline Multi-Objective Reinforcement Learning in Critical Care
本文评估了三种离线多目标强化学习算法在重症护理中的性能,发现PEDA DT在灵活性和多目标决策方面表现优异,为个性化医疗决策提供了新思路。
2025-12-08 cs.LG
Designing a Multi-Objective Reward Function for Creating Teams of Robotic Bodyguards Using Deep Reinforcement Learning
University of Central Florida(中佛罗里达大学)
我们正在考虑一个场景,一组保镖机器人在拥挤的公共空间为VIP提供物理保护。我们使用深度强化学习来学习机器人要遵循的策略。由于机器人保镖需要遵循几个难以协调的目标,我们研究了几个原始和复合奖励函数及其对机器人保镖的整体行为的影响。
2019-01-28 cs.LG cs.MA
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF,将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励,实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Omega-Regular Objectives in Model-Free Reinforcement Learning
University of Liverpool(利物浦大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
我们提供了第一个解决方案,无模型强化学习的ω-正则目标的马尔可夫决策过程(MDP)。我们提出了一个建设性的减少从几乎肯定满足ω-正则目标的几乎肯定的可达性问题,并将这种技术推广到学习如何控制一个未知的模型,使满足目标的机会最大化。我们的技术的一个关键特征是将ω-正则性质编译成极限确定性Buechi自动机而不是传统的Rabin自动机;这种选择回避了破坏以前建议的困难。我们的方法使我们能够应用无模型,现成的强化学习算法来计算最佳策略的MDP的观察。我们提出了一个实验评估我们的技术对基准学习问题。
2018-09-26 cs.LG cs.LO stat.ML
Multi-objective Reinforcement Learning: A Tool for Pluralistic Alignment
Institute of Innovation, Science and Sustainability(创新、科学与可持续发展研究所);Federation University Australia(澳大利亚联邦大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);School of IT(信息技术学院);Deakin University(迪肯大学)
本文探讨了多目标强化学习(MORL)作为解决多冲突价值观或利益相关者对齐问题的工具,概述其在创建多元对齐AI系统中的作用。
2024-10-15 cs.AI cs.LG
The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents
Delft University of Technology(代尔夫特理工大学)
针对深度强化学习智能体测试中失败场景缺乏多样性的问题,提出多目标进化搜索方法INDAGO-Nexus,联合优化失败概率与场景多样性,在三个智能体上相比INDAGO显著提升独特失败发现率并缩短失败时间。
2025-10-16 cs.LG
A Practical Guide to Multi-Objective Reinforcement Learning and Planning
National University of Ireland Galway(爱尔兰国立高威大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);Linköping University(林雪平大学);University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学);Deakin University(迪肯大学);University of Washington(华盛顿大学);Universidade do Vale do Rio dos Sinos(南里奥格兰德河谷大学);Politecnico di Milano(米兰理工大学);Federation University Australia(澳大利亚联邦大学)
现实世界的决策任务通常是复杂的,需要在多个往往相互冲突的目标之间进行权衡。尽管如此,大多数强化学习和决策理论规划的研究要么假设只有一个目标,要么假设多个目标可以通过简单的线性组合来充分处理。这种方法可能会过度简化潜在的问题,从而产生次优的结果。本文作为多目标方法应用于困难问题的指南,针对那些已经熟悉单目标强化学习和规划方法的研究人员,他们希望在研究中采用多目标视角,以及在实践中遇到多目标决策问题的从业者。它确定了可能影响所需解决方案的性质的因素,并举例说明这些因素如何影响复杂问题的多目标决策系统的设计。
2021-03-17 cs.AI cs.LG
Dropout Strategy in Reinforcement Learning: Limiting the Surrogate Objective Variance in Policy Optimization Methods
Chongqing Normal University(重庆师范大学);Dalian Maritime University(大连海事大学);Minzu University of China(中央民族大学)
针对重要性采样导致策略优化代理目标方差过高的问题,本文推导方差上界并引入 dropout,提出通用框架及 D-PPO,在 Atari 2600 上验证其性能与方差控制优势。
2023-11-03 cs.LG
Non-orthogonal Age-Optimal Information Dissemination in Vehicular Networks: A Meta Multi-Objective Reinforcement Learning Approach
York University(约克大学);Memorial University of Newfoundland(纽芬兰纪念大学);University of the Fraser Valley(弗雷泽河谷大学)
本文研究车载网络中最小化信息年龄与功耗的非正交信息传输问题,提出两阶段元多目标强化学习方法,利用混合DQN-DDPG模型估计高质量帕累托前沿,显著减少训练时间。
2024-02-15 cs.LG
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore(新加坡南洋理工大学);Tel Aviv University(特拉维夫大学)
本文研究强化学习中LTL与$ω$-正则目标的关系,提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题,并证明可通过近似求解折扣求和问题渐近学习最优策略,解决了相关开放问题。
2024-10-16 cs.AI cs.LG
What is the objective of reasoning with reinforcement learning?
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania(统计与数据科学系,沃森商学院,宾夕法尼亚大学);Department of Electrical Engineering and Computer Sciences, University of California, Berkeley(电气工程与计算机科学系,加州大学伯克利分校)
本文揭示二元奖励下大语言模型强化学习算法的共同目标,即对正确概率的单调变换做随机梯度上升,并指出拒绝采样与GRPO分别对应对数与反正弦变换。
2025-10-15 cs.LG math.OC
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法,通过帕累托上升方向选择标量化权重并计算多目标策略梯度,实现高效多目标问题分解与策略优化,提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning
Amazon(亚马逊);The Ohio State University(俄亥俄州立大学);University of Wisconsin Whitewater(威斯康星大学怀特沃特分校);Rochester Institute of Technology(罗切斯特理工学院)
针对多目标冲突的MORL问题,提出MOAC actor-critic算法,证明其在折扣与平均奖励设置下独立于目标数的有限时间收敛和样本复杂度,并通过真实数据集验证有效性。
2024-05-09 cs.LG
Transferring Deep Reinforcement Learning with Adversarial Objective and Augmentation
National Taiwan University(台湾大学)
在过去的几年里,深度强化学习已被证明可以解决视频游戏或棋盘游戏等复杂状态的问题。智能代理的下一步将能够在任务之间进行概括,并利用先前的经验更快地学习新技能。然而,目前大多数强化学习算法即使在面对非常相似的目标任务时也经常遭受灾难性遗忘。我们的方法使智能体能够从单个源任务中概括知识,并在面对新任务时使用半监督学习方法来提高学习进度。我们在Atari游戏上评估了这种方法,这是一种流行的强化学习基准,并表明它优于基于预训练和微调的常见基线。
2018-09-04 cs.LG stat.ML
Dynamic Weights in Multi-Objective Deep Reinforcement Learning
Université Libre de Bruxelles(布鲁塞尔自由大学(法语));Vrije Universiteit Brussel(布鲁塞尔自由大学(荷兰语));Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
许多现实世界的决策问题的特点是多个相互冲突的目标,必须平衡的基础上,他们的相对重要性。在动态权重设置中,相对重要性随时间变化,需要处理这种变化的专用算法,例如Natarajan和Tadepalli(2005)的表格式强化学习(RL)算法。然而,这种早期的工作是不可行的RL设置,需要使用函数逼近。我们通过提出一个多目标Q网络来概括权重变化和高维输入,该网络的输出以目标的相对重要性为条件,我们引入了多样性经验重放(DER)来对抗动态权重设置的固有非平稳性。我们进行了广泛的实验评估,并将我们的方法与深度多任务/多目标强化学习的自适应算法进行了比较,结果表明,我们提出的网络与DER相结合,在权重变化场景和问题域中主导了这些自适应算法。
2019-05-13 cs.AI cs.LG stat.ML
Taming Lagrangian Chaos with Multi-Objective Reinforcement Learning
University of Rome ‘Tor Vergata’(罗马第二大学);INFN(意大利国家核物理研究所);École Normale Supérieure(巴黎高等师范学院);The Abdus Salam International Centre for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心);Istituto dei Sistemi Complessi, CNR(意大利国家研究委员会复杂系统研究所)
本文研究二维复杂流场中两个活性粒子的运动问题,其多目标是最小化粒子对的能量消耗和扩散率。我们通过多目标强化学习(MORL),结合标量化技术与Q-学习算法,具有可变的游泳速度的拉格朗日漂流者的方法来解决这个问题。我们表明,MORL是能够找到一组权衡的解决方案,形成一个最佳的帕累托边界。作为一个基准,我们表明,一组启发式策略占主导地位的MORL解决方案。我们考虑的情况下,代理不能不断更新其控制变量,但只有在一个离散的(决策)时间,$τ$。我们发现,在李雅普诺夫时间和连续更新限制之间,存在一系列决策时间,其中强化学习发现策略显着改善了算法。特别是,我们讨论了如何大的决策时间需要增强的知识流,而较小的$τ$所有的先验启发式策略成为帕累托最优。
2022-12-19 cs.LG cs.MA nlin.CD
Reinforcement Learning with Non-Cumulative Objective
University of Toronto(多伦多大学)
针对强化学习中目标多为累积形式、无法适配通信网络等领域非累积目标问题,本文通过改进Bellman更新规则引入广义运算,给出收敛保证并在多任务中验证了非累积目标优化方法的有效性。
2024-04-12 cs.AI cs.LG cs.NI
A Reward-Free Viewpoint on Multi-Objective Reinforcement Learning
National Yang Ming Chiao Tung University(国立阳明交通大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出利用无奖励强化学习(RFRL)视角解决多目标强化学习(MORL)问题,通过引入RFRL的训练目标作为辅助任务,提升知识共享效率,实验表明其在多目标Gymnasium任务中表现更优。
2026-04-27 cs.LG
Relationship Explainable Multi-objective Optimization Via Vector Value Function Based Reinforcement Learning
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
解决多目标优化问题是很重要的,在各种应用中,用户有兴趣获得最佳的政策受到多个,但往往相互冲突的目标。获得最优策略的典型方法是首先构造基于单个目标标量化的损失函数,然后找到使损失最小化的最优策略。然而,优化标量化(和加权)损失并不一定保证每个可能冲突的目标的高性能。在本文中,我们提出了一种基于向量值的强化学习方法,旨在明确学习目标间的关系,并根据学习到的关系优化多个目标。特别是,所提出的方法是首先定义关系矩阵,一个数学表示的目标间的关系,然后创建一个演员和多个评论家,可以共同学习的关系矩阵和行动选择。当一个目标对另一个目标的影响未知时,该方法可以通过强化学习来量化目标间的关系。我们还提供了严格的收敛性分析所提出的方法,并提出了定量评估的方法的基础上两个测试方案。
2019-10-02 cs.LG cs.SY eess.SY
Multiple-objective Reinforcement Learning for Inverse Design and Identification
University of Delaware(特拉华大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
逆向化学设计的目的是开发具有给定优化分子性质或目标的新分子。最近,生成式深度学习(DL)网络被认为是逆向化学设计的最新技术,并在药物和材料化学领域中生成具有所需性质的分子结构方面取得了早期成功。然而,满足大量(大于10个目标)的分子目标是当前生成模型的限制。为了提高模型处理大量分子设计目标的能力,我们开发了一个基于强化学习(RL)的生成框架来优化化学分子生成。我们使用课程学习(CL)来微调预训练的生成网络,使模型能够满足多达21个目标,并提高生成网络的鲁棒性。实验表明,所提出的基于多目标RL的生成模型可以正确识别未知分子,成功率为83%至100%,而基线方法为0%。此外,这个生成模型不仅限于化学研究的挑战;我们预计,利用RL多目标的问题将受益于这个框架。
2019-10-09 cs.AI cs.LG
Accelerated Reinforcement Learning for Temporal Logic Control Objectives
Washington University in St. Louis(圣路易斯华盛顿大学)
本文讨论了移动机器人的学习控制策略的问题,建模为未知的马尔可夫决策过程(MDP),这是任务与时间逻辑任务,如排序,覆盖,或监视。MDP捕捉工作空间结构和控制决策结果的不确定性。控制目标是合成一个控制策略,最大限度地提高完成一个高层次的任务,指定为线性时序逻辑(LTL)公式的概率。为了解决这个问题,我们提出了一种新的加速基于模型的强化学习(RL)算法的LTL控制目标,能够学习控制策略显着快于相关方法。它的采样效率依赖于偏向探索方向,可能有助于任务满意度。这是通过利用LTL任务的自动机表示以及不断学习的MDP模型来实现的。最后,我们提供了比较实验,证明了样本效率的建议方法对最近RL方法的LTL目标。
2022-07-12 cs.LG cs.RO
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本研究提出一种离线适配框架,无需人工设定目标偏好,仅通过演示即可隐式推断多目标强化学习的预期策略,还可扩展至满足安全约束,经实验验证效果良好。
2024-09-16 cs.AI cs.LG