Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）
TREX通过轨迹归因框架为多目标强化学习策略提供解释，通过生成不同用户偏好下的轨迹并划分语义段，量化行为段对帕累托权衡的影响，实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Virginia Tech（弗吉尼亚理工大学）；UC Berkeley（加州大学伯克利分校）；Microsoft Research Asia（微软亚洲研究院）
针对安全关键系统中多目标与严格约束的平衡难题，提出基于原始框架的自然策略梯度操控方法，具备理论保证并在安全多目标任务上超越现有方法。
2024-05-26 cs.AI cs.LG
Multi-objective Reinforcement Learning: A Tool for Pluralistic Alignment
Institute of Innovation, Science and Sustainability（创新、科学与可持续发展研究所）；Federation University Australia（澳大利亚联邦大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；School of IT（信息技术学院）；Deakin University（迪肯大学）
本文探讨了多目标强化学习（MORL）作为解决多冲突价值观或利益相关者对齐问题的工具，概述其在创建多元对齐AI系统中的作用。
2024-10-15 cs.AI cs.LG
A Practical Guide to Multi-Objective Reinforcement Learning and Planning
National University of Ireland Galway（爱尔兰国立高威大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Linköping University（林雪平大学）；University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）；Deakin University（迪肯大学）；University of Washington（华盛顿大学）；Universidade do Vale do Rio dos Sinos（南里奥格兰德河谷大学）；Politecnico di Milano（米兰理工大学）；Federation University Australia（澳大利亚联邦大学）
现实世界的决策任务通常是复杂的，需要在多个往往相互冲突的目标之间进行权衡。尽管如此，大多数强化学习和决策理论规划的研究要么假设只有一个目标，要么假设多个目标可以通过简单的线性组合来充分处理。这种方法可能会过度简化潜在的问题，从而产生次优的结果。本文作为多目标方法应用于困难问题的指南，针对那些已经熟悉单目标强化学习和规划方法的研究人员，他们希望在研究中采用多目标视角，以及在实践中遇到多目标决策问题的从业者。它确定了可能影响所需解决方案的性质的因素，并举例说明这些因素如何影响复杂问题的多目标决策系统的设计。
2021-03-17 cs.AI cs.LG
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore（新加坡南洋理工大学）；Tel Aviv University（特拉维夫大学）
本文研究强化学习中LTL与$ω$-正则目标的关系，提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题，并证明可通过近似求解折扣求和问题渐近学习最优策略，解决了相关开放问题。
2024-10-16 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
Multiple-objective Reinforcement Learning for Inverse Design and Identification
University of Delaware（特拉华大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
逆向化学设计的目的是开发具有给定优化分子性质或目标的新分子。最近，生成式深度学习（DL）网络被认为是逆向化学设计的最新技术，并在药物和材料化学领域中生成具有所需性质的分子结构方面取得了早期成功。然而，满足大量（大于10个目标）的分子目标是当前生成模型的限制。为了提高模型处理大量分子设计目标的能力，我们开发了一个基于强化学习（RL）的生成框架来优化化学分子生成。我们使用课程学习（CL）来微调预训练的生成网络，使模型能够满足多达21个目标，并提高生成网络的鲁棒性。实验表明，所提出的基于多目标RL的生成模型可以正确识别未知分子，成功率为83%至100%，而基线方法为0%。此外，这个生成模型不仅限于化学研究的挑战;我们预计，利用RL多目标的问题将受益于这个框架。
2019-10-09 cs.AI cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本研究提出一种离线适配框架，无需人工设定目标偏好，仅通过演示即可隐式推断多目标强化学习的预期策略，还可扩展至满足安全约束，经实验验证效果良好。
2024-09-16 cs.AI cs.LG
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
Utility-Based Reinforcement Learning: Unifying Single-objective and Multi-objective Reinforcement Learning
Federation University Australia（澳大利亚联邦大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Galway（高威大学）；Deakin University（迪肯大学）；Linköping University（林雪平大学）；Universidade do Vale do Rio dos Sinos（南里约 dos Sinos大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出将基于效用的范式从多目标强化学习扩展到单目标强化学习，以统一两者，并探讨其在多策略学习、风险感知、折扣和安全强化学习中的潜在益处及算法影响。
2024-02-05 cs.LG
Multi-objective Reinforcement Learning with Nonlinear Preferences: Provable Approximation for Maximizing Expected Scalarized Return
Harvard University（哈佛大学）；Duke University（杜克大学）
针对多目标 MDP 中非线性偏好下的 ESR 最大化问题，提出含时间与累积奖励的扩展 Bellman 形式，并给出伪多项式近似算法及理论与实验验证。
2025-02-18 cs.AI cs.LG
FairDICE: Fairness-Driven Offline Multi-Objective Reinforcement Learning
Korea University（韩国大学）；Yonsei University（延世大学）；Gauss Labs Inc.（Gauss实验室公司）
针对离线多目标强化学习中非线性公平福利目标优化的空白，提出FairDICE框架，借助分布校正估计实现无需偏好权重搜索的稳定高效学习，在基准测试中取得优于基线的公平感知性能。
2025-11-18 cs.AI cs.LG
Multi-Objective Deep Reinforcement Learning
University of Oxford（牛津大学）
我们提出了深度乐观线性支持学习（DOL）来解决高维多目标决策问题，其中目标的相对重要性事先未知。使用来自高维输入的特征，DOL计算包含目标的凸组合的所有潜在最优解的凸覆盖集。据我们所知，这是深度强化学习首次成功学习多目标策略。此外，我们还提供了一个测试平台，其中包含两个实验，可用作深度多目标强化学习的基准。
2016-10-09 cs.AI
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University（杨百翰大学）；University of Southern California（南加利福尼亚大学）
众所周知，控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号，需要多次重新训练。多目标强化学习（MORL）框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合，允许更好地控制代理的行为，而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而，这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑，规范本质上更易于解释。另外，可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码，并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范，并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
CAREL: Instruction-guided reinforcement learning with cross-modal auxiliary objectives
Sharif University of Technology（谢里夫理工大学）
本文提出CAREL框架，通过跨模态辅助损失和指令跟踪方法，提升语言引导目标达成强化学习的样本效率与泛化能力。
2025-09-07 cs.AI cs.LG
Provable Multi-Objective Reinforcement Learning with Generative Models
University of California, Los Angeles（加州大学洛杉矶分校）；J. P. Morgan AI Research（摩根大通人工智能研究院）
多目标强化学习（MORL）是普通的单目标强化学习（RL）的扩展，适用于许多现实世界中存在多个目标而没有已知相对成本的任务。我们研究了单策略MORL问题，它学习目标偏好的最优策略。现有的方法需要强的假设，如多目标马尔可夫决策过程的确切知识，并在无限的数据和时间的限制进行分析。我们提出了一种新的算法称为基于模型的包络值迭代（EVI），它推广了杨等人的包络多目标$Q$ -学习算法，2019.我们的方法可以学习一个接近最优的价值函数多项式的样本复杂度和线性收敛速度。据我们所知，这是第一个有限样本分析MORL算法。
2021-01-11 cs.AI cs.LG math.OC
Monte Carlo Tree Search Algorithms for Risk-Aware and Multi-Objective Reinforcement Learning
University of Galway（戈尔韦大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；City of Amsterdam（阿姆斯特丹市）
在许多风险感知和多目标强化学习设置中，用户的效用来自策略的单次执行。在这种情况下，基于平均未来回报率的决策是不合适的。例如，在医疗环境中，患者可能只有一次机会治疗他们的疾病。仅仅使用预期的未来回报（强化学习中称为价值）来做决策，无法解释一个决策可能产生的负面或正面结果的潜在范围。因此，我们应该使用不同的分布在预期的未来收益表示的关键信息，代理人需要在决策时，考虑未来和应计收益。本文提出了两种新的蒙特卡罗树搜索算法。首先，我们提出了一个蒙特卡罗树搜索算法，可以计算政策的非线性效用函数（NLU-MCTS），通过优化的效用不同的可能的回报，可达到从个人的政策执行，从而在风险意识和多目标设置良好的政策。其次，我们提出了一个分布式的蒙特卡罗树搜索算法（DMCTS），它扩展了NLU-MCTS。DMCTS计算收益效用的近似后验分布，并在规划过程中利用汤普森抽样来计算风险意识和多目标设置中的策略。这两种算法在多目标强化学习中的预期效用都优于最先进的算法。
2022-12-06 cs.AI cs.LG
A Multi-Objective Deep Reinforcement Learning Framework
School of Information Technology, Deakin University（迪肯大学信息技术学院）；Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新学院）；School of Science, Engineering and Information Technology, Federation University（联邦大学科学、工程与信息技术学院）
提出了一种基于深度Q网络的可扩展多目标深度强化学习（MODRL）框架。我们开发了一个高性能的MODRL框架，支持单策略和多策略策略，以及线性和非线性的方法来选择动作。两个基准问题（两目标深海宝藏环境和三目标山地车问题）的实验结果表明，该框架能够有效地找到Pareto最优解。所提出的框架是通用的和高度模块化的，它允许在不同的复杂问题域中集成不同的深度强化学习算法。因此，这克服了当前文献中涉及标准多目标强化学习方法的许多缺点。所提出的框架作为一个试验平台，加速MODRL的发展，解决日益复杂的多目标问题。
2020-06-19 cs.AI cs.LG stat.ML
Dynamical Priors as a Training Objective in Reinforcement Learning
Coimbatore Medical College Coimbatore, TN India（科伊巴托尔医学院，印度泰米尔纳德邦）
本文提出DP-RL框架，通过引入外部状态动态的辅助损失，控制强化学习策略的时间演化，促进时间结构化行为。
2026-04-23 cs.AI cs.LG
On the (In)Tractability of Reinforcement Learning for LTL Objectives
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Brown University（布朗大学）
近年来，研究人员在设计用于优化线性时态逻辑（LTL）目标和LTL类目标的并行学习算法方面取得了重大进展。尽管取得了这些进展，但解决这一问题的程度仍然存在根本性的限制。之前的研究已经提到了这一事实，但尚未深入研究。在本文中，我们从理论的角度来解决一般LTL目标的强化学习的易处理性。我们形式化的问题下的可能近似正确的学习马尔可夫决策过程（PAC-MDP）的框架，一个标准的框架测量样本的复杂性强化学习。在这种形式化中，我们证明了任何LTL公式的最优策略是PAC-MDP-learnable的，当且仅当该公式是在LTL层次结构中的最有限的类，由在有限范围内可判定的公式组成。实际上，我们的研究结果意味着，它是不可能的一个学习算法，以获得PAC-MDP保证其学习政策的性能后，许多相互作用与无约束的环境中的LTL目标是不可判定的有限范围内。
2022-06-24 cs.AI cs.FL cs.LG
Adaptive Alignment: Dynamic Preference Adjustments via Multi-Objective Reinforcement Learning for Pluralistic AI
Deakin University（迪肯大学）；Federation University（联邦大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
针对多元AI对齐中适配多样动态用户偏好的问题，提出基于多目标强化学习的学习后策略选择调整的动态对齐框架，分析其优势、假设与实现细节，并探讨该回溯对齐方法的社会技术影响。
2024-10-31 cs.AI cs.LG
Navigating Trade-offs: Policy Summarization for Multi-Objective Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
针对多目标强化学习产生的庞大策略集，提出一种结合策略行为与目标值的聚类方法，以揭示趋势并辅助决策，在四个环境中优于传统k-medoids聚类。
2024-11-07 cs.AI cs.LG
MOMA-AC: A preference-driven actor-critic framework for continuous multi-objective multi-agent reinforcement learning
University of Galway（Galway大学）
MOMA-AC通过多目标多智能体actor-critic框架，在连续空间中实现多目标策略的帕累托最优，提升预期效用和超体积，展现稳定的可扩展性。
2025-11-22 cs.AI cs.LG
Multi-objective Reinforcement Learning with Continuous Pareto Frontier Approximation Supplementary Material
Politecnico di Milano（米兰理工大学）
本文档包含论文“Multi-objective强化学习with Continuous Pareto Frontier Approximation”的补充材料，该论文发表于第29届AAAI人工智能会议（AAAI-15）。研究了多目标马尔可夫决策问题（MOMDPs）中Pareto边界的连续逼近问题。我们提出了一个基于政策的方法，利用梯度信息生成的解决方案接近帕累托的。从以前的政策梯度多目标算法，其中n个优化例程是用来有n个解决方案，我们的方法执行一个单一的梯度上升运行，在每一步产生一个改进的连续近似的帕累托边界。我们的想法是利用基于梯度的方法来优化函数的参数，该函数定义了策略参数空间中的流形，使得目标空间中的相应图像尽可能接近帕累托边界。除了导出如何计算和估计这样的梯度，我们还将讨论定义一个度量来评估候选帕累托边界的质量的重要问题。最后，所提出的方法的属性进行了实证评估两个有趣的MOMDPs。
2014-11-18 cs.AI cs.LG
Momba: Network Modernization Improves Multi-Objective Reinforcement Learning
本文提出Momba，将观测与特征归一化等三项神经网络设计进展与熵正则化MORL算法结合，在标准连续控制基准上大幅提升了MORL算法生成解集的质量。
2026-08-10 cs.AI cs.LG
Interpretability by Design for Efficient Multi-Objective Reinforcement Learning
School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学）；School of Mathematics, The University of Edinburgh（数学学院，爱丁堡大学）；Edinburgh Centre for Robotics（爱丁堡机器人中心）
LLE-MORL通过设计实现可解释性，利用局部线性映射提升多目标强化学习的效率和解质量。
2026-02-05 cs.AI cs.LG
ProMORNA: An End-to-End Generative Framework for Full-Length mRNA Design
Nanjing Foreign Language School（南京外国语学校）；School of Science, China Pharmaceutical University（中国药科大学理学院）；School of Pharmacy, China Pharmaceutical University（中国药科大学药学院）
本文提出ProMORNA框架，通过多目标强化学习生成全长mRNA，优化稳定性、翻译效率和免疫安全。在火萤虫荧光素酶目标上验证，提升了预测半衰期和翻译效率的帕累托前沿。
2026-10-23 cs.AI cs.LG q-bio.BM
Reward Dimension Reduction for Scalable Multi-Objective Reinforcement Learning
本文提出一种在线奖励维度缩减方法，以提升多目标强化学习的可扩展性，在包括十六个目标的环境中显著优于现有方法。
2025-02-28 cs.LG
Dynamic Weights in Multi-Objective Deep Reinforcement Learning
Université Libre de Bruxelles（布鲁塞尔自由大学（法语））；Vrije Universiteit Brussel（布鲁塞尔自由大学（荷兰语））；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多现实世界的决策问题的特点是多个相互冲突的目标，必须平衡的基础上，他们的相对重要性。在动态权重设置中，相对重要性随时间变化，需要处理这种变化的专用算法，例如Natarajan和Tadepalli（2005）的表格式强化学习（RL）算法。然而，这种早期的工作是不可行的RL设置，需要使用函数逼近。我们通过提出一个多目标Q网络来概括权重变化和高维输入，该网络的输出以目标的相对重要性为条件，我们引入了多样性经验重放（DER）来对抗动态权重设置的固有非平稳性。我们进行了广泛的实验评估，并将我们的方法与深度多任务/多目标强化学习的自适应算法进行了比较，结果表明，我们提出的网络与DER相结合，在权重变化场景和问题域中主导了这些自适应算法。
2019-05-13 cs.AI cs.LG stat.ML
Deterministic Pareto-Optimal Policy Synthesis for Multi-Objective Reinforcement Learning
提出一种基于切比雪夫标量化的偏好条件贝尔曼算子，用于计算多目标马尔可夫决策过程中的确定性帕累托最优策略，并证明其单调收敛到帕累托前沿的覆盖集。
2026-06-26 cs.AI cs.LG
PD-MORL: Preference-Driven Multi-Objective Reinforcement Learning Algorithm
UW-Madison（威斯康星大学麦迪逊分校）；Siemens Corporate Technology（西门子企业技术部）
针对多目标强化学习中偏好动态变化和策略存储不可扩展的问题，提出PD-MORL算法，通过单一通用网络覆盖整个偏好空间，并利用偏好引导更新和并行化提升样本效率，在连续控制任务上实现更高超体积和更少参数。
2023-05-29 cs.AI cs.LG
Semantic Pareto-DQN: A Multi-Objective Reinforcement Learning Framework for Financial Anomaly Detection
A3Data（A3数据公司）
针对金融异常检测的类不平衡问题，提出语义帕累托深度Q网络框架，合成交易特征，优化向量奖励，映射帕累托前沿，经实验验证可打破零召回陷阱，提升少数类召回率，为金融异常发现提供新途径。
2026-07-13 cs.AI cs.LG
Meta-Learning for Multi-objective Reinforcement Learning
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
多目标强化学习（MORL）是标准强化学习（RL）方法的推广，用于解决由多个可能相互冲突的目标组成的顺序决策问题。通常，在这样的公式中，不存在同时优化所有目标的单个最优策略，而是必须找到多个策略，每个策略优化目标的偏好。换句话说，MORL是一个元学习问题，任务分布由偏好分布给出。我们证明，这样的配方结果在一个更好的近似的Pareto最优解的最优性和计算效率。我们评估了我们的方法，获得帕累托最优的政策，使用一些连续的控制问题，高自由度。
2019-10-07 cs.AI
Polychromic Objectives for Reinforcement Learning
Stanford University（斯坦福大学）
本文提出多色目标用于强化学习，通过强制探索和多样化生成来改进预训练策略，实验表明在多个任务中提升了成功率和泛化能力。
2026-04-26 cs.AI cs.LG
Uncertainty-Aware Multi-Objective Reinforcement Learning-Guided Diffusion Models for 3D De Novo Molecular Design
Department of Computer Science, Western University（计算机科学系，西部大学）；Department of Biochemistry, Western University（生物化学系，西部大学）
本文提出一种基于强化学习的扩散模型，用于多目标优化3D分子设计，提升生成分子的质量和属性优化性能。
2026-01-14 cs.AI cs.LG
Near-Optimal Reinforcement Learning for Constrained Recurrence Objectives
NTU Singapore（南洋理工大学）
本文提出了一种结合$ω$-正则目标与约束的强化学习算法，以解决安全性和性能之间的权衡问题。
2026-08-04 cs.AI cs.LG
Policy-regularized Offline Multi-objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本文将离线策略正则化方法扩展至多目标强化学习，提出过滤偏好不一致示范和高表达能力正则化两种方案，并集成偏好条件标量化更新与正则化权重自适应，利用单网络高效学习多偏好策略。
2024-01-04 cs.AI cs.LG
Deep Multi-Objective Reinforcement Learning for Utility-Based Infrastructural Maintenance Optimization
Eindhoven University of Technology（埃因霍温理工大学）；City of Amsterdam（阿姆斯特丹市）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Delft University of Technology（代尔夫特理工大学）
本文提出 MO-DCMAC 多目标强化学习方法，可在非线性效用下直接权衡坍塌概率与成本，并在多种基础设施维护场景中优于传统启发式规则策略。
2025-01-08 cs.AI cs.LG
Regret Bounds for Risk-Sensitive Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
在强化学习的安全关键应用中，例如医疗保健和机器人技术，通常需要优化考虑尾部结果而不是预期回报的风险敏感目标。我们证明了强化学习的第一遗憾界下的一般类风险敏感的目标，包括流行的CVaR目标。我们的理论是基于一个新的特征的CVaR目标，以及一个新的乐观的MDP建设。
2022-10-11 cs.LG
A Scale-Independent Multi-Objective Reinforcement Learning with Convergence Analysis
许多序贯决策问题需要对可能相互冲突的不同目标进行优化。处理多任务问题的传统方法是基于不同目标的线性组合建立标量目标函数。然而，对于具有不同尺度的冲突目标的情况，该方法需要试错法来适当地找到用于组合的适当权重。因此，在大多数情况下，这种方法不能保证最优的帕累托解决方案。本文在AdvantageActor-Critic（A2 C）算法的基础上，提出了一种单智能体尺度无关的多目标强化学习。收敛性分析，然后做设计的多目标算法提供了一个收敛的平均保证。然后，我们进行了一些实验，多任务问题，以评估所提出的算法的性能。仿真结果表明了多目标A2 C方法相对于单目标算法的优越性。
2023-02-27 cs.LG
A General Perspective on Objectives of Reinforcement Learning
School of Artificial Intelligence, Peking University（北京大学人工智能学院）
本文提出强化学习目标的通用视角，通过标准定义、$λ$-return 版本及统一二者的通用目标，建立连接 TD$(λ)$、GAE 等技术的基础公式。
2023-06-05 cs.LG
A Micro-Objective Perspective of Reinforcement Learning
University of Waterloo（滑铁卢大学）
标准的强化学习（RL）公式考虑了（折扣）累积奖励的期望。这在我们不仅关注预期性能而且关注性能分布的应用中是有限的。在本文中，我们介绍了微观目标强化学习-一种替代RL形式主义，克服了这个问题。在这个新的公式中，RL任务由一组微观目标指定，这些微观目标是指定事件的可取性或不可取性的构造。此外，微观目标允许先验知识的时间抽象的形式被纳入到全球RL目标。这种形式主义的一般性，其关系到单/多目标RL，和分层RL进行了讨论。
2019-06-12 cs.LG stat.ML
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示（诸如价值函数或策略）的广泛算法家族。每个算法都相对于定义其语义的目标（例如Q学习或策略梯度）来优化其参数。在这项工作中，我们提出了一种基于Meta梯度下降的算法，该算法发现了自己的目标，通过深度神经网络灵活地参数化，仅从与环境的交互经验。随着时间的推移，这允许代理学习如何越来越有效地学习。此外，由于目标是在线发现的，它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题，如自举，非平稳性和离策略学习。在Atari学习环境中，元梯度算法随着时间的推移而适应，以更高的效率学习，最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
gTLO: A Generalized and Non-linear Multi-Objective Deep Reinforcement Learning Approach
Institute for Applied Materials - Computational Materials Science (IAM - CMS), Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院应用材料研究所——计算材料科学方向（IAM-CMS））；Intelligent Systems Research Group (ISRG), Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用技术大学智能系统研究组（ISRG））
在现实世界的决策优化中，通常必须考虑多个竞争目标。在经典的强化学习之后，这些目标必须组合成一个单一的奖励函数。相比之下，多目标强化学习（MORL）方法从每个目标奖励的向量中学习。在多政策MORL的情况下，决策政策的各种偏好关于冲突的目标进行优化。当目标偏好在训练期间未知或偏好在应用期间动态变化时，这一点尤其重要。虽然一般来说，基于线性标量化扩展MORL的单目标强化学习方法是简单的，但这些方法可达到的解决方案仅限于帕累托前沿的凸区域。非线性MORL方法，如保留字典序（TLO），旨在克服这一限制。广义MORL方法利用函数近似来概括目标偏好，从而以数据高效的方式隐式地学习多个策略，即使对于高维或连续状态空间的复杂决策问题也是如此。在这项工作中，我们提出了\textit{generalized Thresholded Lexicographic Ordering}（gTLO），一种新的方法，旨在结合非线性MORL的优点，广义MORL。我们介绍了一个深度的强化学习实现的算法，并提出了有前途的结果，对非线性MORL和现实世界的应用领域的制造过程控制的标准基准。
2022-04-11 cs.AI cs.LG cs.SY
Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Galway（戈尔韦大学）；City of Amsterdam（阿姆斯特丹市）；Utrecht University（乌得勒支大学）
本文提出迭代帕累托参照优化（IPRO），将多目标强化学习中帕累托前沿的求解分解为一系列受约束单目标问题，在保证收敛的同时给出未发现解距离的上界，并在实验中取得与或优于现有方法的性能。
2025-02-06 cs.LG
Multi-Objective Constraint Inference using Inverse reinforcement learning
Faculty of Sciences（科学学院）
本文提出多目标约束推断框架MOCI，用于从异质专家轨迹中联合提取共享约束和个体偏好，有效处理不同目标下的多样且可能冲突的行为，实验证明其在预测性能和计算效率方面优于现有方法。
2026-05-07 cs.AI cs.LG cs.MA
Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity
Federation University Australia（联邦大学澳大利亚）；Deakin University（迪金大学）
本文研究了基于价值的方法在多目标强化学习中因非线性效用函数而出现的价值函数干扰和过估计敏感性问题，通过表格实现多目标Q学习展示了现象。
2026-04-22 cs.LG
Reinforcement Learning with Non-Cumulative Objective
University of Toronto（多伦多大学）
针对强化学习中目标多为累积形式、无法适配通信网络等领域非累积目标问题，本文通过改进Bellman更新规则引入广义运算，给出收敛保证并在多任务中验证了非累积目标优化方法的有效性。
2024-04-12 cs.AI cs.LG cs.NI
MONAS: Multi-Objective Neural Architecture Search using Reinforcement Learning
National Tsing-Hua University（国立清华大学）；Google（谷歌）
最近对神经结构搜索的研究表明，自动设计的神经网络与专家制作的结构一样好。虽然大多数现有工作旨在找到优化预测准确性的架构，但这些架构可能具有复杂性，因此不适合部署在某些计算环境（例如，具有有限的功率预算）。我们提出了MONAS，这是一个多目标神经架构搜索的框架，它采用了同时考虑预测准确性和其他重要目标（例如，功耗）。实验结果表明，与现有技术相比，MONAS模型在计算机视觉应用中的分类精度相当或更高，同时满足峰值功率等附加目标。
2018-12-03 cs.AI cs.LG stat.ML
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach
Zhejiang Lab（之江实验室）；National Research Centre of Parallel Computer Engineering and Technology（国家并行计算机工程技术研究中心）
渗透测试通过模拟真实的活跃对手来评估目标网络的安全性。深度强化学习（RL）被认为是一种很有前途的解决方案，可以通过减少人力和提高可靠性来自动化渗透测试过程。现有的RL解决方案侧重于寻找特定的攻击路径来影响目标主机。然而，在现实中，需要各种各样的攻击变体来提供对目标网络的安全级别的全面评估。因此，攻击代理在渗透网络时必须考虑多个目标。然而，这一挑战在现有文献中没有得到充分解决。为此，我们制定了多目标强化学习（MORL）框架中的自动渗透测试，并提出了一个切比雪夫分解评论家找到不同的对手的策略，平衡不同的目标在渗透测试。此外，可用动作的数量随着代理不断探测目标网络而增加，这使得训练过程在许多实际情况下变得棘手。因此，我们引入了一种基于覆盖的掩蔽机制，减少了对先前选择的动作的关注，以帮助代理适应未来的探索。一系列场景的实验评估表明，我们所提出的方法相比，适应算法的多目标学习和性能效率的优越性。
2022-02-22 cs.AI cs.CR cs.LG
