A Scale-Independent Multi-Objective Reinforcement Learning with Convergence Analysis
许多序贯决策问题需要对可能相互冲突的不同目标进行优化。处理多任务问题的传统方法是基于不同目标的线性组合建立标量目标函数。然而，对于具有不同尺度的冲突目标的情况，该方法需要试错法来适当地找到用于组合的适当权重。因此，在大多数情况下，这种方法不能保证最优的帕累托解决方案。本文在AdvantageActor-Critic（A2 C）算法的基础上，提出了一种单智能体尺度无关的多目标强化学习。收敛性分析，然后做设计的多目标算法提供了一个收敛的平均保证。然后，我们进行了一些实验，多任务问题，以评估所提出的算法的性能。仿真结果表明了多目标A2 C方法相对于单目标算法的优越性。
2023-02-27 cs.LG
A General Perspective on Objectives of Reinforcement Learning
School of Artificial Intelligence, Peking University（北京大学人工智能学院）
本文提出强化学习目标的通用视角，通过标准定义、$λ$-return 版本及统一二者的通用目标，建立连接 TD$(λ)$、GAE 等技术的基础公式。
2023-06-05 cs.LG
Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Galway（戈尔韦大学）；City of Amsterdam（阿姆斯特丹市）；Utrecht University（乌得勒支大学）
本文提出迭代帕累托参照优化（IPRO），将多目标强化学习中帕累托前沿的求解分解为一系列受约束单目标问题，在保证收敛的同时给出未发现解距离的上界，并在实验中取得与或优于现有方法的性能。
2025-02-06 cs.LG
Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity
Federation University Australia（联邦大学澳大利亚）；Deakin University（迪金大学）
本文研究了基于价值的方法在多目标强化学习中因非线性效用函数而出现的价值函数干扰和过估计敏感性问题，通过表格实现多目标Q学习展示了现象。
2026-04-22 cs.LG
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood
University of Southern California（南加州大学）
本文提出RL2ML系列有限rollout替代目标，具有闭式无偏梯度估计，连接标准强化学习、类最大似然训练及超越最大似然目标，并揭示群体级更新尺度相变，将剩余自由度转化为一维优化问题。
2026-05-28 cs.LG
Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion
Robotics Institute, University of Toronto（多伦多大学机器人研究所）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
提出一种融合最大最小准则与显式约束满足的多目标强化学习框架，通过理论分析和表格实验验证收敛性，并在建筑热控制、多目标运动控制和温室气体排放感知交通管理中展示其平衡公平性与约束满足的有效性。
2026-05-29 cs.LG
Scalable Multi-Objective Reinforcement Learning with Fairness Guarantees using Lorenz Dominance
University of Amsterdam（阿姆斯特丹大学）
本文提出一种结合公平性保证的多目标强化学习算法，通过洛伦兹支配识别公平奖励分布，提升多目标问题的可扩展性，在西安和阿姆斯特丹两个大型城市中展示出优于传统方法的性能。
2026-03-26 cs.LG
Reward-Aware Proto-Representations in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；CIFAR AI Chair（CIFAR人工智能主席）
本文提出了一种奖励感知的原型表示（DR），通过理论分析和实验验证，展示了其在强化学习中的优越性能。
2026-01-30 cs.LG
A Reinforcement Learning Hyper-Heuristic in Multi-Objective Single Point Search with Application to Structural Fault Identification
University of Connecticut（康涅狄格大学）
多目标优化问题是工程实践中经常遇到的问题。然而，解决方法和参数选择通常是针对具体问题的。在这项研究中，我们制定了一个强化学习超启发式计划，并提出了四个低层次的启发式，可以与单点搜索算法MOSA/R（基于Re-seed的多目标模拟退火算法）对多目标优化问题的一般应用。该算法利用控制量、拥挤距离和超体积计算，能够自适应地、自主地满足各种优化要求。开发的方法不仅表现出更好的和更强大的性能相比，AMOSA，NSGA-II和MOEA/D时，应用于基准测试用例，但也显示出有前途的结果时，应用到一个通用的结构故障识别问题。本研究的结果可以扩展到各种设计和制造优化应用。
2018-10-29 cs.LG
Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning
Seoul National University（首尔大学）
提出约束多目标强化学习算法CoMOGA，将多目标最大化视为约束优化问题并利用线性近似更新策略以避免梯度冲突，在表格环境中保证最优收敛并在所有任务中实现约束满足。
2024-05-31 cs.LG
Optimizing Language Models for Inference Time Objectives using Reinforcement Learning
Meta GenAI（Meta 生成式人工智能）；Meta FAIR
本文提出在语言模型训练中显式优化推理时间目标（如pass@k和多数投票），并在代码生成任务上验证该方法能显著提升模型推理性能。
2025-08-17 cs.LG
UCB-driven Utility Function Search for Multi-objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
针对多目标强化学习中线性效用函数的权重选择问题，提出基于UCB的权重搜索方法，以最大化帕累托前沿超体积，在Mujoco基准上优于多种基线。
2025-06-16 cs.LG
Lexicographic Multi-Objective Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们介绍了强化学习技术解决字典多目标问题。这些问题，涉及多个奖励信号，其目标是学习的政策，最大化的第一个奖励信号，并在此约束下，也最大化的第二个奖励信号，等等。我们提出了一个家庭的行动价值和策略梯度算法，可以用来解决这样的问题，并证明他们收敛到的政策是字典最优的。我们评估这些算法的可扩展性和性能的经验，证明其实用性。作为一个更具体的应用程序，我们展示了我们的算法可以用来施加安全约束的代理的行为，并比较他们的表现在这种情况下，与其他受约束的强化学习算法。
2022-12-28 cs.LG
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester（曼彻斯特大学）；Peak AI, Ltd（Peak AI有限公司）
提出一种结合分解与进化搜索的群体元强化学习框架，通过维护权重向量群体并迭代优化，生成多样且分布均匀的帕累托前沿近似，在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
Multi-objective Reinforcement Learning With Augmented States Requires Rewards After Deployment
Institute of Innovation, Science and Sustainability, Federation University Australia（创新、科学与可持续发展研究所，联邦大学澳大利亚）
本文指出多目标强化学习与传统单目标强化学习的关键区别，强调增强状态需要部署后持续获取奖励信号，探讨其实际影响。
2026-04-17 cs.LG
MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
The University of Manchester（曼彻斯特大学）；Peak AI, Ltd（Peak AI 公司）
MIRACL通过元多目标强化学习框架，实现了在多目标多层级组合供应链优化中的高效适应与泛化，实验表明其在超体积和预期效用方面表现优异。
2026-03-05 cs.LG
Benchmarking Offline Multi-Objective Reinforcement Learning in Critical Care
本文评估了三种离线多目标强化学习算法在重症护理中的性能，发现PEDA DT在灵活性和多目标决策方面表现优异，为个性化医疗决策提供了新思路。
2025-12-08 cs.LG
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents
Delft University of Technology（代尔夫特理工大学）
针对深度强化学习智能体测试中失败场景缺乏多样性的问题，提出多目标进化搜索方法INDAGO-Nexus，联合优化失败概率与场景多样性，在三个智能体上相比INDAGO显著提升独特失败发现率并缩短失败时间。
2025-10-16 cs.LG
Dropout Strategy in Reinforcement Learning: Limiting the Surrogate Objective Variance in Policy Optimization Methods
Chongqing Normal University（重庆师范大学）；Dalian Maritime University（大连海事大学）；Minzu University of China（中央民族大学）
针对重要性采样导致策略优化代理目标方差过高的问题，本文推导方差上界并引入 dropout，提出通用框架及 D-PPO，在 Atari 2600 上验证其性能与方差控制优势。
2023-11-03 cs.LG
Non-orthogonal Age-Optimal Information Dissemination in Vehicular Networks: A Meta Multi-Objective Reinforcement Learning Approach
York University（约克大学）；Memorial University of Newfoundland（纽芬兰纪念大学）；University of the Fraser Valley（弗雷泽河谷大学）
本文研究车载网络中最小化信息年龄与功耗的非正交信息传输问题，提出两阶段元多目标强化学习方法，利用混合DQN-DDPG模型估计高质量帕累托前沿，显著减少训练时间。
2024-02-15 cs.LG
Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning
Amazon（亚马逊）；The Ohio State University（俄亥俄州立大学）；University of Wisconsin Whitewater（威斯康星大学怀特沃特分校）；Rochester Institute of Technology（罗切斯特理工学院）
针对多目标冲突的MORL问题，提出MOAC actor-critic算法，证明其在折扣与平均奖励设置下独立于目标数的有限时间收敛和样本复杂度，并通过真实数据集验证有效性。
2024-05-09 cs.LG
Quasi-Monte Carlo Initialization for Meta-Reinforcement Learning
Regis University（里吉斯大学）
研究元强化学习中拟蒙特卡罗权重初始化的有效性，通过多种采样方法聚合最优先验，与现代正交默认值对比，发现其在连续控制环境训练收敛上有改进，不同任务中正交方向无偏搜索更优。
2026-07-27 cs.LG math.OC
A Reward-Free Viewpoint on Multi-Objective Reinforcement Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出利用无奖励强化学习（RFRL）视角解决多目标强化学习（MORL）问题，通过引入RFRL的训练目标作为辅助任务，提升知识共享效率，实验表明其在多目标Gymnasium任务中表现更优。
2026-04-27 cs.LG
A Self-Evolving Default Action for Cooperative Tasks with Continuous Action Space
XJTLU（西交利物浦大学）
研究连续动作空间合作任务中反事实信用分配难题，提出SAFE框架，利用自进化默认动作构建反事实基线，解决偏差和收敛问题，实验证明其性能优于现有模型。
2026-07-28 cs.LG cs.MA
On The Expressivity of Objective-Specification Formalisms in Reinforcement Learning
AI Safety Hub（AI安全中心）；Columbia University（哥伦比亚大学）；University of Oxford（牛津大学）
本文全面比较了强化学习中17种目标规范形式语言的表达能力，将其置于预序哈斯图中，发现没有任何形式语言兼具主导表达能力与易优化性，并指出了现有奖励学习方法的局限及未来研究方向。
2024-02-17 cs.LG
Rectifying Regression in Reinforcement Learning
本文从理论上证明平均绝对误差优于均方误差作为强化学习值函数回归目标，并表明交叉熵损失与平均绝对误差更匹配，实验验证其在线性强化学习中优于平方损失。
2025-11-10 cs.LG
Controllability in preference-conditioned multi-objective reinforcement learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院）；University of California, Berkeley（加州大学伯克利分校）；TU Delft（代尔夫特理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种新的评估指标，用于衡量偏好条件多目标强化学习中控制能力的可靠性，以解决现有指标无法准确反映偏好变化对智能体行为影响的问题。
2026-05-11 cs.LG
An Empirical Investigation of Value-Based Multi-objective Reinforcement Learning for Stochastic Environments
Federation University Australia（澳大利亚联邦大学）；Deakin University（迪肯大学）
本文实证研究了基于价值的 MORL Q-learning 算法在随机环境中优化 SER 准则时的局限性，发现嘈杂 Q 值估计对算法的稳定性和收敛性具有关键影响。
2024-01-06 cs.LG
A Micro-Objective Perspective of Reinforcement Learning
University of Waterloo（滑铁卢大学）
标准的强化学习（RL）公式考虑了（折扣）累积奖励的期望。这在我们不仅关注预期性能而且关注性能分布的应用中是有限的。在本文中，我们介绍了微观目标强化学习-一种替代RL形式主义，克服了这个问题。在这个新的公式中，RL任务由一组微观目标指定，这些微观目标是指定事件的可取性或不可取性的构造。此外，微观目标允许先验知识的时间抽象的形式被纳入到全球RL目标。这种形式主义的一般性，其关系到单/多目标RL，和分层RL进行了讨论。
2019-06-12 cs.LG stat.ML
Online Safety Assurance for Deep Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Technion（以色列理工学院）
最近，深度学习已成功应用于各种网络问题。一个根本的挑战是，当学习增强系统的操作环境与其训练环境不同时，这种系统往往会做出错误的决策，导致性能不佳。我们认为，安全地部署学习驱动的系统需要能够实时的确定系统行为是否一致，以便在不一致时默认合理的启发式。我们称之为在线安全保证问题（OSAP）。我们提出了三种方法来量化决策的不确定性，不同的信号来推断不确定性。我们说明了在线安全保证的有用性的背景下提出的深度强化学习（RL）的方法来视频流。虽然当操作和训练环境相匹配时，视频流的深度RL优于其他方法，但当两者不同时，它主要是简单的算法。我们的初步研究结果表明，当检测到决策不确定性时，过渡到默认策略是享受利用ML提供的性能优势而不影响安全性的关键。
2020-10-07 cs.AI cs.LG cs.NI
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway（高威大学）
针对多目标强化学习中偏好多样且策略从零训练困难的问题，提出 DG-MORL，利用示范、角点权重对齐和自进化机制提升性能，并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT（麻省理工学院）；Brown University（布朗大学）
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的，解决了非经典强化学习目标的PAC可学习性开放问题，并验证了三个文献目标，指导了新目标的设计。
2023-03-19 cs.AI cs.LG
The Max-Min Formulation of Multi-Objective Reinforcement Learning: From Theory to a Model-Free Algorithm
School of Electical Engineering, Korea Advanced Institute of Science & Technology（韩国科学技术院电气工程学院）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
本文针对多目标强化学习提出最大-最小框架以保障多目标间的公平性，并给出相关理论及一种无模型算法，实验表明其性能显著优于现有基线方法。
2024-06-12 cs.AI cs.LG
Multi-Objective Reinforcement Learning for Water Management
Delft University of Technology（代尔夫特理工大学）；Utrecht University（乌特勒支大学）
本文提出利用多目标强化学习解决尼罗河流域水资源管理问题，发现专门方法在实际应用中优于现有MORL算法，揭示了其在现实场景中的可扩展性问题。
2025-11-21 cs.AI cs.LG
Bandit-Based Policy Invariant Explicit Shaping for Incorporating External Advice in Reinforcement Learning
JPMorgan Chase（摩根大通）；Huawei（华为）；University of Alberta（阿尔伯塔大学）
本文将RL中融入外部建议问题形式化为shaping-bandits多臂赌博机，并提出UPIES、RPIES和LPIES三种塑造算法，在保持策略不变的同时加速学习并利用任意建议。
2023-09-18 cs.AI cs.LG
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
MediaTek Research（联发科研究院）；MediaTek Inc.（联发科公司）；National Taiwan University（台湾大学）；Maxeda Technology Inc.（Maxeda科技公司）
最近，强化学习在芯片布局中的成功应用已经出现。预训练的模型对于提高效率和有效性是必要的。目前，客观指标的权重（例如，线长、拥塞和定时）在预训练期间是固定的。然而，固定权重的模型不能产生工程师所需的布局的多样性，以适应不断变化的要求，因为它们出现。本文提出了灵活的多目标强化学习（MORL），支持目标函数的推理时间可变的权重，使用一个单一的预训练模型。我们的宏观布局结果表明，MORL可以有效地产生多个目标的帕累托前沿。
2022-04-13 cs.AI cs.LG
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
Reinforcement Learning Based Dynamic Selection of Auxiliary Objectives with Preserving of the Best Found Solution
ITMO University（ITMO大学）
通过引入辅助目标可以提高单目标优化的效率。理想情况下，辅助目标应该有所帮助。然而，在实践中，目标在某些优化阶段可能是有效的，但在其他的阻碍。在本文中，我们提出了一个修改的EA+RL方法，动态选择优化的目标，使用强化学习。所提出的修改防止丢失最佳发现的解决方案。我们分析了所提出的修改，并将其与EA+RL方法和XdivK，广义OneMax和LeadingOnes问题的随机局部搜索进行了比较。所提出的修改优于EA+RL方法的所有问题的情况下。它在大多数问题实例上的表现也优于单一目标方法。我们还提供了详细的分析所考虑的算法的不同组成部分如何影响优化效率。此外，我们提出的XdivK问题的修改建议的理论分析。
2017-04-24 cs.LG cs.NE
Identifying Coordination in a Cognitive Radar Network -- A Multi-Objective Inverse Reinforcement Learning Approach
Cornell University（康奈尔大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；U.S Army Research Laboratory（美国陆军研究实验室）
假设一个目标被认知雷达网络跟踪。如果目标可以截获一些雷达网络的辐射，它如何检测雷达之间的协调？通过“协调”，我们的意思是雷达辐射满足帕累托最优性相对于多目标优化每个雷达的效用。本文提供了一种新的多目标逆强化学习方法，该方法允许检测这种帕累托最优（“协调”）行为，并随后重建每个雷达的效用函数，给定一个有限的雷达网络发射数据集。实现这一目标的方法来自于揭示偏好的微观经济设置，也适用于多目标优化系统的逆检测和学习的更一般问题。
2022-11-13 cs.LG eess.SP
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）
TREX通过轨迹归因框架为多目标强化学习策略提供解释，通过生成不同用户偏好下的轨迹并划分语义段，量化行为段对帕累托权衡的影响，实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Virginia Tech（弗吉尼亚理工大学）；UC Berkeley（加州大学伯克利分校）；Microsoft Research Asia（微软亚洲研究院）
针对安全关键系统中多目标与严格约束的平衡难题，提出基于原始框架的自然策略梯度操控方法，具备理论保证并在安全多目标任务上超越现有方法。
2024-05-26 cs.AI cs.LG
Designing a Multi-Objective Reward Function for Creating Teams of Robotic Bodyguards Using Deep Reinforcement Learning
University of Central Florida（中佛罗里达大学）
我们正在考虑一个场景，一组保镖机器人在拥挤的公共空间为VIP提供物理保护。我们使用深度强化学习来学习机器人要遵循的策略。由于机器人保镖需要遵循几个难以协调的目标，我们研究了几个原始和复合奖励函数及其对机器人保镖的整体行为的影响。
2019-01-28 cs.LG cs.MA
Multi-objective Reinforcement Learning: A Tool for Pluralistic Alignment
Institute of Innovation, Science and Sustainability（创新、科学与可持续发展研究所）；Federation University Australia（澳大利亚联邦大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；School of IT（信息技术学院）；Deakin University（迪肯大学）
本文探讨了多目标强化学习（MORL）作为解决多冲突价值观或利益相关者对齐问题的工具，概述其在创建多元对齐AI系统中的作用。
2024-10-15 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
A Practical Guide to Multi-Objective Reinforcement Learning and Planning
National University of Ireland Galway（爱尔兰国立高威大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Linköping University（林雪平大学）；University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）；Deakin University（迪肯大学）；University of Washington（华盛顿大学）；Universidade do Vale do Rio dos Sinos（南里奥格兰德河谷大学）；Politecnico di Milano（米兰理工大学）；Federation University Australia（澳大利亚联邦大学）
现实世界的决策任务通常是复杂的，需要在多个往往相互冲突的目标之间进行权衡。尽管如此，大多数强化学习和决策理论规划的研究要么假设只有一个目标，要么假设多个目标可以通过简单的线性组合来充分处理。这种方法可能会过度简化潜在的问题，从而产生次优的结果。本文作为多目标方法应用于困难问题的指南，针对那些已经熟悉单目标强化学习和规划方法的研究人员，他们希望在研究中采用多目标视角，以及在实践中遇到多目标决策问题的从业者。它确定了可能影响所需解决方案的性质的因素，并举例说明这些因素如何影响复杂问题的多目标决策系统的设计。
2021-03-17 cs.AI cs.LG
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore（新加坡南洋理工大学）；Tel Aviv University（特拉维夫大学）
本文研究强化学习中LTL与$ω$-正则目标的关系，提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题，并证明可通过近似求解折扣求和问题渐近学习最优策略，解决了相关开放问题。
2024-10-16 cs.AI cs.LG
Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University（杨百翰大学）；University of Southern California（南加利福尼亚大学）
众所周知，控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号，需要多次重新训练。多目标强化学习（MORL）框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合，允许更好地控制代理的行为，而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而，这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑，规范本质上更易于解释。另外，可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码，并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范，并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
Exploiting Hierarchy for Learning and Transfer in KL-regularized RL
DeepMind；Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系）；POSTECH（POSTECH（浦项科技大学））
由于强化学习代理的任务是解决更具挑战性和多样化的任务，将先验知识纳入学习系统和利用解决方案空间中的可重用结构的能力可能变得越来越重要。KL正则化的预期奖励目标构成了实现这一目标的一个可能的工具。它引入了一个额外的组件，默认或先前的行为，可以与策略一起学习，因此部分地将强化学习问题转化为行为建模问题。在这项工作中，我们认为这一框架的影响，在这种情况下，政策和默认行为与潜变量增加。我们将讨论如何产生的层次结构可以用来实现不同的归纳偏见，以及它们的模块化如何有利于转移。根据经验，我们发现它们可以在一系列连续控制任务中导致更快的学习和迁移。
2020-01-23 cs.LG stat.ML
What is the objective of reasoning with reinforcement learning?
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（统计与数据科学系，沃森商学院，宾夕法尼亚大学）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（电气工程与计算机科学系，加州大学伯克利分校）
本文揭示二元奖励下大语言模型强化学习算法的共同目标，即对正确概率的单调变换做随机梯度上升，并指出拒绝采样与GRPO分别对应对数与反正弦变换。
2025-10-15 cs.LG math.OC
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
