Preference-Conditioned Multi-Objective Reinforcement Learning for Tactical Decision Making in Heavy-Duty Vehicles
Department of Computer Science and Engineering, Chalmers University of Technology and University of Gothenburg（计算机科学与工程系，查尔姆斯理工大学和哥德堡大学）；Department of Mechanics and Maritime Sciences, Chalmers University of Technology（机械与海洋科学系，查尔姆斯理工大学）
提出基于近端策略优化的多目标强化学习框架，学习一组帕累托最优策略以平衡安全性、能源效率和时间效率，实现无需重新训练的灵活决策。
2026-10-12 cs.AI cs.LG cs.SY
Multi-Objective Reinforcement Learning for Power Grid Topology Control
Hertz Transmission GmbH（50赫兹传输有限公司）；Delft University of Technology（代尔夫特理工大学）；TenneT TSO B.V.（TenneT传输系统运营商有限公司）
本文提出一种基于深度乐观线性支持（DOL）和多目标近端策略优化（MOPPO）的多目标强化学习方法，用于电网拓扑控制，有效平衡线路负载、拓扑偏差等冲突目标，显著提升电网在紧急情况下的稳定性及低训练预算下的有效性。
2025-05-01 cs.AI cs.LG cs.SY
Omega-Regular Objectives in Model-Free Reinforcement Learning
University of Liverpool（利物浦大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
我们提供了第一个解决方案，无模型强化学习的ω-正则目标的马尔可夫决策过程（MDP）。我们提出了一个建设性的减少从几乎肯定满足ω-正则目标的几乎肯定的可达性问题，并将这种技术推广到学习如何控制一个未知的模型，使满足目标的机会最大化。我们的技术的一个关键特征是将ω-正则性质编译成极限确定性Buechi自动机而不是传统的Rabin自动机;这种选择回避了破坏以前建议的困难。我们的方法使我们能够应用无模型，现成的强化学习算法来计算最佳策略的MDP的观察。我们提出了一个实验评估我们的技术对基准学习问题。
2018-09-26 cs.LG cs.LO stat.ML
Reward Dimension Reduction for Scalable Multi-Objective Reinforcement Learning
本文提出一种在线奖励维度缩减方法，以提升多目标强化学习的可扩展性，在包括十六个目标的环境中显著优于现有方法。
2025-02-28 cs.LG
BEAVER: Building Environments with Assessable Variation for Evaluating Multi-Objective Reinforcement Learning
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
针对跨环境多目标建筑能源管理，本文形式化上下文RL泛化空间，构建参数化BEAVER基准并评估现有方法，揭示环境变化下的性能退化问题。
2025-07-25 cs.LG cs.SY eess.SY
A Micro-Objective Perspective of Reinforcement Learning
University of Waterloo（滑铁卢大学）
标准的强化学习（RL）公式考虑了（折扣）累积奖励的期望。这在我们不仅关注预期性能而且关注性能分布的应用中是有限的。在本文中，我们介绍了微观目标强化学习-一种替代RL形式主义，克服了这个问题。在这个新的公式中，RL任务由一组微观目标指定，这些微观目标是指定事件的可取性或不可取性的构造。此外，微观目标允许先验知识的时间抽象的形式被纳入到全球RL目标。这种形式主义的一般性，其关系到单/多目标RL，和分层RL进行了讨论。
2019-06-12 cs.LG stat.ML
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Fairness in Preference-based Reinforcement Learning
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出FPbRL方法，通过基于福利的偏好学习向量奖励函数，并最大化广义基尼福利函数，在多个目标下实现公平且高效的策略学习，实验验证了其有效性与公平性。
2023-09-01 cs.AI cs.CY cs.LG
Multiobjective Reinforcement Learning for Reconfigurable Adaptive Optimal Control of Manufacturing Processes
Intelligent Systems Research Group (ISRG)（智能系统研究组）
本文提出了一种新型无模型多目标强化学习方法，用于制造过程的自适应最优控制，能够高效学习不同目标权重下的控制配置。
2018-10-09 cs.LG cs.SY eess.SY
Deep Reinforcement Learning Behavioral Mode Switching Using Optimal Control Based on a Latent Space Objective
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出一种基于最优控制直接优化深度强化学习策略潜空间的方法，通过\ac*{pacmap}降维识别行为模式并实现模式切换，从而有效改变策略行为。
2024-06-03 cs.LG cs.SY eess.SY
Regret Bounds for Risk-Sensitive Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
在强化学习的安全关键应用中，例如医疗保健和机器人技术，通常需要优化考虑尾部结果而不是预期回报的风险敏感目标。我们证明了强化学习的第一遗憾界下的一般类风险敏感的目标，包括流行的CVaR目标。我们的理论是基于一个新的特征的CVaR目标，以及一个新的乐观的MDP建设。
2022-10-11 cs.LG
A Scale-Independent Multi-Objective Reinforcement Learning with Convergence Analysis
许多序贯决策问题需要对可能相互冲突的不同目标进行优化。处理多任务问题的传统方法是基于不同目标的线性组合建立标量目标函数。然而，对于具有不同尺度的冲突目标的情况，该方法需要试错法来适当地找到用于组合的适当权重。因此，在大多数情况下，这种方法不能保证最优的帕累托解决方案。本文在AdvantageActor-Critic（A2 C）算法的基础上，提出了一种单智能体尺度无关的多目标强化学习。收敛性分析，然后做设计的多目标算法提供了一个收敛的平均保证。然后，我们进行了一些实验，多任务问题，以评估所提出的算法的性能。仿真结果表明了多目标A2 C方法相对于单目标算法的优越性。
2023-02-27 cs.LG
A General Perspective on Objectives of Reinforcement Learning
School of Artificial Intelligence, Peking University（北京大学人工智能学院）
本文提出强化学习目标的通用视角，通过标准定义、$λ$-return 版本及统一二者的通用目标，建立连接 TD$(λ)$、GAE 等技术的基础公式。
2023-06-05 cs.LG
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway（高威大学）
针对多目标强化学习中偏好多样且策略从零训练困难的问题，提出 DG-MORL，利用示范、角点权重对齐和自进化机制提升性能，并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University（杨百翰大学）；University of Southern California（南加利福尼亚大学）
众所周知，控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号，需要多次重新训练。多目标强化学习（MORL）框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合，允许更好地控制代理的行为，而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而，这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑，规范本质上更易于解释。另外，可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码，并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范，并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
Variance Reduced Policy Gradient Method for Multi-Objective Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
针对多目标强化学习中策略梯度方法样本效率低的问题，提出在一般假设下应用方差缩减技术降低样本复杂度，同时保持可扩展性。
2025-08-14 cs.LG cs.SY eess.SY
Provable Multi-Objective Reinforcement Learning with Generative Models
University of California, Los Angeles（加州大学洛杉矶分校）；J. P. Morgan AI Research（摩根大通人工智能研究院）
多目标强化学习（MORL）是普通的单目标强化学习（RL）的扩展，适用于许多现实世界中存在多个目标而没有已知相对成本的任务。我们研究了单策略MORL问题，它学习目标偏好的最优策略。现有的方法需要强的假设，如多目标马尔可夫决策过程的确切知识，并在无限的数据和时间的限制进行分析。我们提出了一种新的算法称为基于模型的包络值迭代（EVI），它推广了杨等人的包络多目标$Q$ -学习算法，2019.我们的方法可以学习一个接近最优的价值函数多项式的样本复杂度和线性收敛速度。据我们所知，这是第一个有限样本分析MORL算法。
2021-01-11 cs.AI cs.LG math.OC
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT（麻省理工学院）；Brown University（布朗大学）
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的，解决了非经典强化学习目标的PAC可学习性开放问题，并验证了三个文献目标，指导了新目标的设计。
2023-03-19 cs.AI cs.LG
Reward Shaping for Reinforcement Learning with Omega-Regular Objectives
Queen’s University Belfast（贝尔法斯特女王大学）；Institute of Software, CAS（中国科学院软件研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Liverpool（利物浦大学）
最近，已经成功地利用良好的MDP自动机（Büchi自动机与非确定性的限制形式）的无模型强化学习，一类自动机，包括良好的游戏自动机和最广泛的一类限制确定性自动机。使用这些Büchi自动机的基础是，Büchi条件，对于良好的MDP自动机，可以转化为可达性。这种翻译的缺点是，平均而言，奖励很晚才获得，这需要在学习过程中长时间的插曲。我们设计了一种新的奖励塑造方法来克服这个问题。我们表明，由此产生的模型是等价于一个有偏见的折扣，简化和改善以前的工作在这个方向上的折扣收益目标。
2020-01-16 cs.LG cs.LO
Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Galway（戈尔韦大学）；City of Amsterdam（阿姆斯特丹市）；Utrecht University（乌得勒支大学）
本文提出迭代帕累托参照优化（IPRO），将多目标强化学习中帕累托前沿的求解分解为一系列受约束单目标问题，在保证收敛的同时给出未发现解距离的上界，并在实验中取得与或优于现有方法的性能。
2025-02-06 cs.LG
A Multi-Objective Deep Reinforcement Learning Framework
School of Information Technology, Deakin University（迪肯大学信息技术学院）；Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新学院）；School of Science, Engineering and Information Technology, Federation University（联邦大学科学、工程与信息技术学院）
提出了一种基于深度Q网络的可扩展多目标深度强化学习（MODRL）框架。我们开发了一个高性能的MODRL框架，支持单策略和多策略策略，以及线性和非线性的方法来选择动作。两个基准问题（两目标深海宝藏环境和三目标山地车问题）的实验结果表明，该框架能够有效地找到Pareto最优解。所提出的框架是通用的和高度模块化的，它允许在不同的复杂问题域中集成不同的深度强化学习算法。因此，这克服了当前文献中涉及标准多目标强化学习方法的许多缺点。所提出的框架作为一个试验平台，加速MODRL的发展，解决日益复杂的多目标问题。
2020-06-19 cs.AI cs.LG stat.ML
The Max-Min Formulation of Multi-Objective Reinforcement Learning: From Theory to a Model-Free Algorithm
School of Electical Engineering, Korea Advanced Institute of Science & Technology（韩国科学技术院电气工程学院）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
本文针对多目标强化学习提出最大-最小框架以保障多目标间的公平性，并给出相关理论及一种无模型算法，实验表明其性能显著优于现有基线方法。
2024-06-12 cs.AI cs.LG
Multi-Objective Reinforcement Learning for Water Management
Delft University of Technology（代尔夫特理工大学）；Utrecht University（乌特勒支大学）
本文提出利用多目标强化学习解决尼罗河流域水资源管理问题，发现专门方法在实际应用中优于现有MORL算法，揭示了其在现实场景中的可扩展性问题。
2025-11-21 cs.AI cs.LG
On the (In)Tractability of Reinforcement Learning for LTL Objectives
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Brown University（布朗大学）
近年来，研究人员在设计用于优化线性时态逻辑（LTL）目标和LTL类目标的并行学习算法方面取得了重大进展。尽管取得了这些进展，但解决这一问题的程度仍然存在根本性的限制。之前的研究已经提到了这一事实，但尚未深入研究。在本文中，我们从理论的角度来解决一般LTL目标的强化学习的易处理性。我们形式化的问题下的可能近似正确的学习马尔可夫决策过程（PAC-MDP）的框架，一个标准的框架测量样本的复杂性强化学习。在这种形式化中，我们证明了任何LTL公式的最优策略是PAC-MDP-learnable的，当且仅当该公式是在LTL层次结构中的最有限的类，由在有限范围内可判定的公式组成。实际上，我们的研究结果意味着，它是不可能的一个学习算法，以获得PAC-MDP保证其学习政策的性能后，许多相互作用与无约束的环境中的LTL目标是不可判定的有限范围内。
2022-06-24 cs.AI cs.FL cs.LG
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
MediaTek Research（联发科研究院）；MediaTek Inc.（联发科公司）；National Taiwan University（台湾大学）；Maxeda Technology Inc.（Maxeda科技公司）
最近，强化学习在芯片布局中的成功应用已经出现。预训练的模型对于提高效率和有效性是必要的。目前，客观指标的权重（例如，线长、拥塞和定时）在预训练期间是固定的。然而，固定权重的模型不能产生工程师所需的布局的多样性，以适应不断变化的要求，因为它们出现。本文提出了灵活的多目标强化学习（MORL），支持目标函数的推理时间可变的权重，使用一个单一的预训练模型。我们的宏观布局结果表明，MORL可以有效地产生多个目标的帕累托前沿。
2022-04-13 cs.AI cs.LG
Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity
Federation University Australia（联邦大学澳大利亚）；Deakin University（迪金大学）
本文研究了基于价值的方法在多目标强化学习中因非线性效用函数而出现的价值函数干扰和过估计敏感性问题，通过表格实现多目标Q学习展示了现象。
2026-04-22 cs.LG
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
PROMO: Preference-conditioned Multi-Objective Reinforcement Learning for Quadrupedal Robots
The University of Manchester（曼彻斯特大学）；BAE Systems（BAE系统公司）；University of Warwick（华威大学）
提出PROMO，一种偏好条件多目标强化学习方法，将偏好作为运行时输入，使单一策略实现多目标权衡，在仿真和真实机器人上展现广泛帕累托覆盖和显著性能提升。
2026-10-02 cs.AI cs.HC cs.LG
Reinforcement Learning with Non-Cumulative Objective
University of Toronto（多伦多大学）
针对强化学习中目标多为累积形式、无法适配通信网络等领域非累积目标问题，本文通过改进Bellman更新规则引入广义运算，给出收敛保证并在多任务中验证了非累积目标优化方法的有效性。
2024-04-12 cs.AI cs.LG cs.NI
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood
University of Southern California（南加州大学）
本文提出RL2ML系列有限rollout替代目标，具有闭式无偏梯度估计，连接标准强化学习、类最大似然训练及超越最大似然目标，并揭示群体级更新尺度相变，将剩余自由度转化为一维优化问题。
2026-05-28 cs.LG
Reinforcement Learning Based Dynamic Selection of Auxiliary Objectives with Preserving of the Best Found Solution
ITMO University（ITMO大学）
通过引入辅助目标可以提高单目标优化的效率。理想情况下，辅助目标应该有所帮助。然而，在实践中，目标在某些优化阶段可能是有效的，但在其他的阻碍。在本文中，我们提出了一个修改的EA+RL方法，动态选择优化的目标，使用强化学习。所提出的修改防止丢失最佳发现的解决方案。我们分析了所提出的修改，并将其与EA+RL方法和XdivK，广义OneMax和LeadingOnes问题的随机局部搜索进行了比较。所提出的修改优于EA+RL方法的所有问题的情况下。它在大多数问题实例上的表现也优于单一目标方法。我们还提供了详细的分析所考虑的算法的不同组成部分如何影响优化效率。此外，我们提出的XdivK问题的修改建议的理论分析。
2017-04-24 cs.LG cs.NE
Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion
Robotics Institute, University of Toronto（多伦多大学机器人研究所）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
提出一种融合最大最小准则与显式约束满足的多目标强化学习框架，通过理论分析和表格实验验证收敛性，并在建筑热控制、多目标运动控制和温室气体排放感知交通管理中展示其平衡公平性与约束满足的有效性。
2026-05-29 cs.LG
Identifying Coordination in a Cognitive Radar Network -- A Multi-Objective Inverse Reinforcement Learning Approach
Cornell University（康奈尔大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；U.S Army Research Laboratory（美国陆军研究实验室）
假设一个目标被认知雷达网络跟踪。如果目标可以截获一些雷达网络的辐射，它如何检测雷达之间的协调？通过“协调”，我们的意思是雷达辐射满足帕累托最优性相对于多目标优化每个雷达的效用。本文提供了一种新的多目标逆强化学习方法，该方法允许检测这种帕累托最优（“协调”）行为，并随后重建每个雷达的效用函数，给定一个有限的雷达网络发射数据集。实现这一目标的方法来自于揭示偏好的微观经济设置，也适用于多目标优化系统的逆检测和学习的更一般问题。
2022-11-13 cs.LG eess.SP
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）
TREX通过轨迹归因框架为多目标强化学习策略提供解释，通过生成不同用户偏好下的轨迹并划分语义段，量化行为段对帕累托权衡的影响，实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Virginia Tech（弗吉尼亚理工大学）；UC Berkeley（加州大学伯克利分校）；Microsoft Research Asia（微软亚洲研究院）
针对安全关键系统中多目标与严格约束的平衡难题，提出基于原始框架的自然策略梯度操控方法，具备理论保证并在安全多目标任务上超越现有方法。
2024-05-26 cs.AI cs.LG
Scalable Multi-Objective Reinforcement Learning with Fairness Guarantees using Lorenz Dominance
University of Amsterdam（阿姆斯特丹大学）
本文提出一种结合公平性保证的多目标强化学习算法，通过洛伦兹支配识别公平奖励分布，提升多目标问题的可扩展性，在西安和阿姆斯特丹两个大型城市中展示出优于传统方法的性能。
2026-03-26 cs.LG
Designing a Multi-Objective Reward Function for Creating Teams of Robotic Bodyguards Using Deep Reinforcement Learning
University of Central Florida（中佛罗里达大学）
我们正在考虑一个场景，一组保镖机器人在拥挤的公共空间为VIP提供物理保护。我们使用深度强化学习来学习机器人要遵循的策略。由于机器人保镖需要遵循几个难以协调的目标，我们研究了几个原始和复合奖励函数及其对机器人保镖的整体行为的影响。
2019-01-28 cs.LG cs.MA
A Reinforcement Learning Hyper-Heuristic in Multi-Objective Single Point Search with Application to Structural Fault Identification
University of Connecticut（康涅狄格大学）
多目标优化问题是工程实践中经常遇到的问题。然而，解决方法和参数选择通常是针对具体问题的。在这项研究中，我们制定了一个强化学习超启发式计划，并提出了四个低层次的启发式，可以与单点搜索算法MOSA/R（基于Re-seed的多目标模拟退火算法）对多目标优化问题的一般应用。该算法利用控制量、拥挤距离和超体积计算，能够自适应地、自主地满足各种优化要求。开发的方法不仅表现出更好的和更强大的性能相比，AMOSA，NSGA-II和MOEA/D时，应用于基准测试用例，但也显示出有前途的结果时，应用到一个通用的结构故障识别问题。本研究的结果可以扩展到各种设计和制造优化应用。
2018-10-29 cs.LG
Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning
Seoul National University（首尔大学）
提出约束多目标强化学习算法CoMOGA，将多目标最大化视为约束优化问题并利用线性近似更新策略以避免梯度冲突，在表格环境中保证最优收敛并在所有任务中实现约束满足。
2024-05-31 cs.LG
Dynamic Weights in Multi-Objective Deep Reinforcement Learning
Université Libre de Bruxelles（布鲁塞尔自由大学（法语））；Vrije Universiteit Brussel（布鲁塞尔自由大学（荷兰语））；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多现实世界的决策问题的特点是多个相互冲突的目标，必须平衡的基础上，他们的相对重要性。在动态权重设置中，相对重要性随时间变化，需要处理这种变化的专用算法，例如Natarajan和Tadepalli（2005）的表格式强化学习（RL）算法。然而，这种早期的工作是不可行的RL设置，需要使用函数逼近。我们通过提出一个多目标Q网络来概括权重变化和高维输入，该网络的输出以目标的相对重要性为条件，我们引入了多样性经验重放（DER）来对抗动态权重设置的固有非平稳性。我们进行了广泛的实验评估，并将我们的方法与深度多任务/多目标强化学习的自适应算法进行了比较，结果表明，我们提出的网络与DER相结合，在权重变化场景和问题域中主导了这些自适应算法。
2019-05-13 cs.AI cs.LG stat.ML
Multi-objective Reinforcement Learning: A Tool for Pluralistic Alignment
Institute of Innovation, Science and Sustainability（创新、科学与可持续发展研究所）；Federation University Australia（澳大利亚联邦大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；School of IT（信息技术学院）；Deakin University（迪肯大学）
本文探讨了多目标强化学习（MORL）作为解决多冲突价值观或利益相关者对齐问题的工具，概述其在创建多元对齐AI系统中的作用。
2024-10-15 cs.AI cs.LG
A Practical Guide to Multi-Objective Reinforcement Learning and Planning
National University of Ireland Galway（爱尔兰国立高威大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Linköping University（林雪平大学）；University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）；Deakin University（迪肯大学）；University of Washington（华盛顿大学）；Universidade do Vale do Rio dos Sinos（南里奥格兰德河谷大学）；Politecnico di Milano（米兰理工大学）；Federation University Australia（澳大利亚联邦大学）
现实世界的决策任务通常是复杂的，需要在多个往往相互冲突的目标之间进行权衡。尽管如此，大多数强化学习和决策理论规划的研究要么假设只有一个目标，要么假设多个目标可以通过简单的线性组合来充分处理。这种方法可能会过度简化潜在的问题，从而产生次优的结果。本文作为多目标方法应用于困难问题的指南，针对那些已经熟悉单目标强化学习和规划方法的研究人员，他们希望在研究中采用多目标视角，以及在实践中遇到多目标决策问题的从业者。它确定了可能影响所需解决方案的性质的因素，并举例说明这些因素如何影响复杂问题的多目标决策系统的设计。
2021-03-17 cs.AI cs.LG
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore（新加坡南洋理工大学）；Tel Aviv University（特拉维夫大学）
本文研究强化学习中LTL与$ω$-正则目标的关系，提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题，并证明可通过近似求解折扣求和问题渐近学习最优策略，解决了相关开放问题。
2024-10-16 cs.AI cs.LG
What is the objective of reasoning with reinforcement learning?
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（统计与数据科学系，沃森商学院，宾夕法尼亚大学）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（电气工程与计算机科学系，加州大学伯克利分校）
本文揭示二元奖励下大语言模型强化学习算法的共同目标，即对正确概率的单调变换做随机梯度上升，并指出拒绝采样与GRPO分别对应对数与反正弦变换。
2025-10-15 cs.LG math.OC
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
Multi-Objective reward generalization: Improving performance of Deep Reinforcement Learning for applications in single-asset trading
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；TRALITY GmbH（Trality有限公司）；University of Trieste（的里雅斯特大学）
我们研究了多目标深度强化学习在股票和加密货币单一资产交易中的潜力：特别是，我们考虑了一种多目标算法，该算法概括了奖励函数和折扣因子（即，这些分量不是先验指定的，而是结合在学习过程中）。首先，使用几种重要的资产（加密货币对BTCUSD，ETHUSDT，XRPUSDT和股票指数AAPL，SPY，NIFTY50），我们验证了所提出的多目标算法的奖励泛化特性，并提供了初步的统计证据，表明与相应的单目标策略相比，预测稳定性有所提高。其次，我们证明了当奖励机制是稀疏的（即，当非零反馈随时间不频繁时）。最后，我们讨论了关于折扣因子的推广性质。我们的代码全部以开源格式提供。
2023-02-17 cs.LG q-fin.CP q-fin.TR
Optimizing Language Models for Inference Time Objectives using Reinforcement Learning
Meta GenAI（Meta 生成式人工智能）；Meta FAIR
本文提出在语言模型训练中显式优化推理时间目标（如pass@k和多数投票），并在代码生成任务上验证该方法能显著提升模型推理性能。
2025-08-17 cs.LG
UCB-driven Utility Function Search for Multi-objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
针对多目标强化学习中线性效用函数的权重选择问题，提出基于UCB的权重搜索方法，以最大化帕累托前沿超体积，在Mujoco基准上优于多种基线。
2025-06-16 cs.LG
Lexicographic Multi-Objective Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们介绍了强化学习技术解决字典多目标问题。这些问题，涉及多个奖励信号，其目标是学习的政策，最大化的第一个奖励信号，并在此约束下，也最大化的第二个奖励信号，等等。我们提出了一个家庭的行动价值和策略梯度算法，可以用来解决这样的问题，并证明他们收敛到的政策是字典最优的。我们评估这些算法的可扩展性和性能的经验，证明其实用性。作为一个更具体的应用程序，我们展示了我们的算法可以用来施加安全约束的代理的行为，并比较他们的表现在这种情况下，与其他受约束的强化学习算法。
2022-12-28 cs.LG
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester（曼彻斯特大学）；Peak AI, Ltd（Peak AI有限公司）
提出一种结合分解与进化搜索的群体元强化学习框架，通过维护权重向量群体并迭代优化，生成多样且分布均匀的帕累托前沿近似，在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
Transferring Deep Reinforcement Learning with Adversarial Objective and Augmentation
National Taiwan University（台湾大学）
在过去的几年里，深度强化学习已被证明可以解决视频游戏或棋盘游戏等复杂状态的问题。智能代理的下一步将能够在任务之间进行概括，并利用先前的经验更快地学习新技能。然而，目前大多数强化学习算法即使在面对非常相似的目标任务时也经常遭受灾难性遗忘。我们的方法使智能体能够从单个源任务中概括知识，并在面对新任务时使用半监督学习方法来提高学习进度。我们在Atari游戏上评估了这种方法，这是一种流行的强化学习基准，并表明它优于基于预训练和微调的常见基线。
2018-09-04 cs.LG stat.ML
Multi-objective Reinforcement Learning With Augmented States Requires Rewards After Deployment
Institute of Innovation, Science and Sustainability, Federation University Australia（创新、科学与可持续发展研究所，联邦大学澳大利亚）
本文指出多目标强化学习与传统单目标强化学习的关键区别，强调增强状态需要部署后持续获取奖励信号，探讨其实际影响。
2026-04-17 cs.LG
