A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
MORSE: Multi-Objective Reinforcement Learning via Strategy Evolution for Supply Chain Optimization
本文提出MORSE方法，结合强化学习与多目标进化算法生成Pareto策略前沿，并引入CVaR风险敏感决策，以动态平衡供应链多目标，提升决策效率与鲁棒性。
2025-09-08 cs.AI
Objective-aware Traffic Simulation via Inverse Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Tianrang Inc.（天壤公司）；The Pennsylvania State University（宾夕法尼亚州立大学）
交通模拟器是交通系统运营和规划的重要组成部分。传统的交通模拟器通常采用标定的物理跟驰模型来描述车辆的行为及其与交通环境的相互作用。然而，目前还没有一个通用的物理模型可以准确地预测车辆在不同情况下的行为模式。由于交通动态的非平稳特性，在复杂的环境中，固定的物理模型往往不太有效。本文将交通仿真问题转化为一个逆强化学习问题，提出了一种参数共享对抗逆强化学习模型，用于动态鲁棒仿真学习。我们提出的模型能够模仿车辆在现实世界中的轨迹，同时恢复奖励函数，揭示了车辆的真实目标，这是不变的不同的动态。在合成数据集和真实数据集上的大量实验表明，与最先进的方法相比，我们的方法具有优越的性能，并且对流量的变化动态具有鲁棒性。
2022-07-08 cs.AI
Micro-Objective Learning : Accelerating Deep Reinforcement Learning through the Discovery of Continuous Subgoals
Seoul National University（首尔大学）；Yonsei University（延世大学）
最近，强化学习已经成功地应用于逻辑游戏围棋，各种雅达利游戏，甚至3D游戏，Labruth，尽管它仍然存在稀疏奖励设置的问题。在学习政策时，探索少数成功是困难的，也是困难的。为解决这一问题，提出了子目标和选项框架。然而，在线发现子目标的成本太高，无法用于学习大型状态空间中的选项。我们提出了微目标学习（MOL）来解决这个问题。其主要思想是在训练时估计一个状态的重要性，并根据其重要性给予额外的奖励。我们在两个Atari游戏中评估了我们的算法：Montezuma的复仇和Seaquest。每场比赛进行三次实验，MOL显著提高了基线得分。特别是在《蒙特祖玛的复仇》中，MOL取得了比之前最先进的模式好两倍的成绩。
2017-03-11 cs.AI
Deep Reinforcement Learning and Mean-Variance Strategies for Responsible Portfolio Optimization
J.P. Morgan AI Research（摩根大通人工智能研究院）；University College London（伦敦大学学院）
本文研究了将深度强化学习应用于负责任的投资组合优化，通过纳入ESG状态和目标，在财务与ESG责任的加性及乘性效用函数下，表现出与均值-方差方法相媲美的性能。
2024-03-25 cs.AI
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway（高威大学）
针对多目标强化学习中偏好多样且策略从零训练困难的问题，提出 DG-MORL，利用示范、角点权重对齐和自进化机制提升性能，并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT（麻省理工学院）；Brown University（布朗大学）
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的，解决了非经典强化学习目标的PAC可学习性开放问题，并验证了三个文献目标，指导了新目标的设计。
2023-03-19 cs.AI cs.LG
The Max-Min Formulation of Multi-Objective Reinforcement Learning: From Theory to a Model-Free Algorithm
School of Electical Engineering, Korea Advanced Institute of Science & Technology（韩国科学技术院电气工程学院）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
本文针对多目标强化学习提出最大-最小框架以保障多目标间的公平性，并给出相关理论及一种无模型算法，实验表明其性能显著优于现有基线方法。
2024-06-12 cs.AI cs.LG
Multi-Objective Reinforcement Learning for Water Management
Delft University of Technology（代尔夫特理工大学）；Utrecht University（乌特勒支大学）
本文提出利用多目标强化学习解决尼罗河流域水资源管理问题，发现专门方法在实际应用中优于现有MORL算法，揭示了其在现实场景中的可扩展性问题。
2025-11-21 cs.AI cs.LG
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
MediaTek Research（联发科研究院）；MediaTek Inc.（联发科公司）；National Taiwan University（台湾大学）；Maxeda Technology Inc.（Maxeda科技公司）
最近，强化学习在芯片布局中的成功应用已经出现。预训练的模型对于提高效率和有效性是必要的。目前，客观指标的权重（例如，线长、拥塞和定时）在预训练期间是固定的。然而，固定权重的模型不能产生工程师所需的布局的多样性，以适应不断变化的要求，因为它们出现。本文提出了灵活的多目标强化学习（MORL），支持目标函数的推理时间可变的权重，使用一个单一的预训练模型。我们的宏观布局结果表明，MORL可以有效地产生多个目标的帕累托前沿。
2022-04-13 cs.AI cs.LG
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）
TREX通过轨迹归因框架为多目标强化学习策略提供解释，通过生成不同用户偏好下的轨迹并划分语义段，量化行为段对帕累托权衡的影响，实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Virginia Tech（弗吉尼亚理工大学）；UC Berkeley（加州大学伯克利分校）；Microsoft Research Asia（微软亚洲研究院）
针对安全关键系统中多目标与严格约束的平衡难题，提出基于原始框架的自然策略梯度操控方法，具备理论保证并在安全多目标任务上超越现有方法。
2024-05-26 cs.AI cs.LG
An exploration for higher efficiency in multi objective optimisation with reinforcement learning
University of the West of England（西英格兰大学）；Istanbul Ticaret University（伊斯坦布尔商业大学）
本文探索了利用多目标强化学习提高多目标优化效率的方法，并提出了一种泛化方法以展示其有效性。
2025-12-11 cs.AI cs.NE
LEMUR: Learning to Align with Multi-Objective Reinforcement Learning from Preference Feedback
本研究提出LEMUR框架，通过联合学习策略与多目标奖励模型，从人类偏好反馈中学习平衡多目标的最优策略，其在基准多目标任务上性能优于基线方法。
2026-10-14 cs.AI cs.RO
Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University（杨百翰大学）；University of Southern California（南加利福尼亚大学）
众所周知，控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号，需要多次重新训练。多目标强化学习（MORL）框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合，允许更好地控制代理的行为，而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而，这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑，规范本质上更易于解释。另外，可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码，并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范，并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
Multi-objective Reinforcement Learning: A Tool for Pluralistic Alignment
Institute of Innovation, Science and Sustainability（创新、科学与可持续发展研究所）；Federation University Australia（澳大利亚联邦大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；School of IT（信息技术学院）；Deakin University（迪肯大学）
本文探讨了多目标强化学习（MORL）作为解决多冲突价值观或利益相关者对齐问题的工具，概述其在创建多元对齐AI系统中的作用。
2024-10-15 cs.AI cs.LG
A Practical Guide to Multi-Objective Reinforcement Learning and Planning
National University of Ireland Galway（爱尔兰国立高威大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Linköping University（林雪平大学）；University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）；Deakin University（迪肯大学）；University of Washington（华盛顿大学）；Universidade do Vale do Rio dos Sinos（南里奥格兰德河谷大学）；Politecnico di Milano（米兰理工大学）；Federation University Australia（澳大利亚联邦大学）
现实世界的决策任务通常是复杂的，需要在多个往往相互冲突的目标之间进行权衡。尽管如此，大多数强化学习和决策理论规划的研究要么假设只有一个目标，要么假设多个目标可以通过简单的线性组合来充分处理。这种方法可能会过度简化潜在的问题，从而产生次优的结果。本文作为多目标方法应用于困难问题的指南，针对那些已经熟悉单目标强化学习和规划方法的研究人员，他们希望在研究中采用多目标视角，以及在实践中遇到多目标决策问题的从业者。它确定了可能影响所需解决方案的性质的因素，并举例说明这些因素如何影响复杂问题的多目标决策系统的设计。
2021-03-17 cs.AI cs.LG
Provable Multi-Objective Reinforcement Learning with Generative Models
University of California, Los Angeles（加州大学洛杉矶分校）；J. P. Morgan AI Research（摩根大通人工智能研究院）
多目标强化学习（MORL）是普通的单目标强化学习（RL）的扩展，适用于许多现实世界中存在多个目标而没有已知相对成本的任务。我们研究了单策略MORL问题，它学习目标偏好的最优策略。现有的方法需要强的假设，如多目标马尔可夫决策过程的确切知识，并在无限的数据和时间的限制进行分析。我们提出了一种新的算法称为基于模型的包络值迭代（EVI），它推广了杨等人的包络多目标$Q$ -学习算法，2019.我们的方法可以学习一个接近最优的价值函数多项式的样本复杂度和线性收敛速度。据我们所知，这是第一个有限样本分析MORL算法。
2021-01-11 cs.AI cs.LG math.OC
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore（新加坡南洋理工大学）；Tel Aviv University（特拉维夫大学）
本文研究强化学习中LTL与$ω$-正则目标的关系，提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题，并证明可通过近似求解折扣求和问题渐近学习最优策略，解决了相关开放问题。
2024-10-16 cs.AI cs.LG
A Multi-Objective Deep Reinforcement Learning Framework
School of Information Technology, Deakin University（迪肯大学信息技术学院）；Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新学院）；School of Science, Engineering and Information Technology, Federation University（联邦大学科学、工程与信息技术学院）
提出了一种基于深度Q网络的可扩展多目标深度强化学习（MODRL）框架。我们开发了一个高性能的MODRL框架，支持单策略和多策略策略，以及线性和非线性的方法来选择动作。两个基准问题（两目标深海宝藏环境和三目标山地车问题）的实验结果表明，该框架能够有效地找到Pareto最优解。所提出的框架是通用的和高度模块化的，它允许在不同的复杂问题域中集成不同的深度强化学习算法。因此，这克服了当前文献中涉及标准多目标强化学习方法的许多缺点。所提出的框架作为一个试验平台，加速MODRL的发展，解决日益复杂的多目标问题。
2020-06-19 cs.AI cs.LG stat.ML
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
On the (In)Tractability of Reinforcement Learning for LTL Objectives
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Brown University（布朗大学）
近年来，研究人员在设计用于优化线性时态逻辑（LTL）目标和LTL类目标的并行学习算法方面取得了重大进展。尽管取得了这些进展，但解决这一问题的程度仍然存在根本性的限制。之前的研究已经提到了这一事实，但尚未深入研究。在本文中，我们从理论的角度来解决一般LTL目标的强化学习的易处理性。我们形式化的问题下的可能近似正确的学习马尔可夫决策过程（PAC-MDP）的框架，一个标准的框架测量样本的复杂性强化学习。在这种形式化中，我们证明了任何LTL公式的最优策略是PAC-MDP-learnable的，当且仅当该公式是在LTL层次结构中的最有限的类，由在有限范围内可判定的公式组成。实际上，我们的研究结果意味着，它是不可能的一个学习算法，以获得PAC-MDP保证其学习政策的性能后，许多相互作用与无约束的环境中的LTL目标是不可判定的有限范围内。
2022-06-24 cs.AI cs.FL cs.LG
Multiple-objective Reinforcement Learning for Inverse Design and Identification
University of Delaware（特拉华大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
逆向化学设计的目的是开发具有给定优化分子性质或目标的新分子。最近，生成式深度学习（DL）网络被认为是逆向化学设计的最新技术，并在药物和材料化学领域中生成具有所需性质的分子结构方面取得了早期成功。然而，满足大量（大于10个目标）的分子目标是当前生成模型的限制。为了提高模型处理大量分子设计目标的能力，我们开发了一个基于强化学习（RL）的生成框架来优化化学分子生成。我们使用课程学习（CL）来微调预训练的生成网络，使模型能够满足多达21个目标，并提高生成网络的鲁棒性。实验表明，所提出的基于多目标RL的生成模型可以正确识别未知分子，成功率为83%至100%，而基线方法为0%。此外，这个生成模型不仅限于化学研究的挑战;我们预计，利用RL多目标的问题将受益于这个框架。
2019-10-09 cs.AI cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本研究提出一种离线适配框架，无需人工设定目标偏好，仅通过演示即可隐式推断多目标强化学习的预期策略，还可扩展至满足安全约束，经实验验证效果良好。
2024-09-16 cs.AI cs.LG
Modular Multi-Objective Deep Reinforcement Learning with Decision Values
Faculty of Mathematics, Informatics and Mechanics, University of Warsaw（华沙大学数学、信息学与力学学院）
在这项工作中，我们提出了一种在多目标环境中使用深度Q网络（DQN）的方法。深度Q网络在从高级视觉状态表示学习的单目标问题中提供了卓越的性能。然而，在许多情况下（例如机器人，游戏），智能体需要同时追求多个目标。我们提出了一个架构，其中单独的DQN被用来控制代理的行为相对于特定的目标。在这种架构中，我们引入决策值来改进多个DQN到单个动作的标量化。我们的架构，使代理的行为分解成可控的和可替换的子行为学习不同的模块。此外，它允许在学习后改变特定目标的优先级，同时保持代理的整体性能。为了评估我们的解决方案，我们使用了一个类似游戏的模拟器，在这个模拟器中，一个代理-提供了高级别的视觉输入-在2D世界中追求多个目标。
2018-02-22 cs.AI cs.RO
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
Multi-objective Reinforcement Learning with Nonlinear Preferences: Provable Approximation for Maximizing Expected Scalarized Return
Harvard University（哈佛大学）；Duke University（杜克大学）
针对多目标 MDP 中非线性偏好下的 ESR 最大化问题，提出含时间与累积奖励的扩展 Bellman 形式，并给出伪多项式近似算法及理论与实验验证。
2025-02-18 cs.AI cs.LG
FairDICE: Fairness-Driven Offline Multi-Objective Reinforcement Learning
Korea University（韩国大学）；Yonsei University（延世大学）；Gauss Labs Inc.（Gauss实验室公司）
针对离线多目标强化学习中非线性公平福利目标优化的空白，提出FairDICE框架，借助分布校正估计实现无需偏好权重搜索的稳定高效学习，在基准测试中取得优于基线的公平感知性能。
2025-11-18 cs.AI cs.LG
Dynamic Weights in Multi-Objective Deep Reinforcement Learning
Université Libre de Bruxelles（布鲁塞尔自由大学（法语））；Vrije Universiteit Brussel（布鲁塞尔自由大学（荷兰语））；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多现实世界的决策问题的特点是多个相互冲突的目标，必须平衡的基础上，他们的相对重要性。在动态权重设置中，相对重要性随时间变化，需要处理这种变化的专用算法，例如Natarajan和Tadepalli（2005）的表格式强化学习（RL）算法。然而，这种早期的工作是不可行的RL设置，需要使用函数逼近。我们通过提出一个多目标Q网络来概括权重变化和高维输入，该网络的输出以目标的相对重要性为条件，我们引入了多样性经验重放（DER）来对抗动态权重设置的固有非平稳性。我们进行了广泛的实验评估，并将我们的方法与深度多任务/多目标强化学习的自适应算法进行了比较，结果表明，我们提出的网络与DER相结合，在权重变化场景和问题域中主导了这些自适应算法。
2019-05-13 cs.AI cs.LG stat.ML
R2 Indicator and Deep Reinforcement Learning Enhanced Adaptive Multi-Objective Evolutionary Algorithm
Ulster University（阿尔斯特大学）；University of Bath（巴斯大学）；Auburn University（奥本大学）
针对优化算法选择难题，提出融合R2指标与双深度Q网络强化学习的多目标进化算法R2-RLMOEA，在CEC09基准测试中性能显著优于其他6种同类算法。
2024-04-17 cs.AI cs.NE
CAREL: Instruction-guided reinforcement learning with cross-modal auxiliary objectives
Sharif University of Technology（谢里夫理工大学）
本文提出CAREL框架，通过跨模态辅助损失和指令跟踪方法，提升语言引导目标达成强化学习的样本效率与泛化能力。
2025-09-07 cs.AI cs.LG
Graph-Enhanced Deep Reinforcement Learning for Multi-Objective Unrelated Parallel Machine Scheduling
Institute for Simulation and Training（模拟与培训研究所）；University of Central Florida（中央佛罗里达大学）；School of Modeling, Simulation, and Training（建模、模拟与培训学院）
本文提出图增强深度强化学习方法，用于解决具有复杂约束的多目标无关平行机调度问题，通过PPO和GNN实现对总加权延误和总设置时间的优化。
2026-02-08 cs.AI cs.ET
Reinforcement Learning with Non-Cumulative Objective
University of Toronto（多伦多大学）
针对强化学习中目标多为累积形式、无法适配通信网络等领域非累积目标问题，本文通过改进Bellman更新规则引入广义运算，给出收敛保证并在多任务中验证了非累积目标优化方法的有效性。
2024-04-12 cs.AI cs.LG cs.NI
gTLO: A Generalized and Non-linear Multi-Objective Deep Reinforcement Learning Approach
Institute for Applied Materials - Computational Materials Science (IAM - CMS), Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院应用材料研究所——计算材料科学方向（IAM-CMS））；Intelligent Systems Research Group (ISRG), Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用技术大学智能系统研究组（ISRG））
在现实世界的决策优化中，通常必须考虑多个竞争目标。在经典的强化学习之后，这些目标必须组合成一个单一的奖励函数。相比之下，多目标强化学习（MORL）方法从每个目标奖励的向量中学习。在多政策MORL的情况下，决策政策的各种偏好关于冲突的目标进行优化。当目标偏好在训练期间未知或偏好在应用期间动态变化时，这一点尤其重要。虽然一般来说，基于线性标量化扩展MORL的单目标强化学习方法是简单的，但这些方法可达到的解决方案仅限于帕累托前沿的凸区域。非线性MORL方法，如保留字典序（TLO），旨在克服这一限制。广义MORL方法利用函数近似来概括目标偏好，从而以数据高效的方式隐式地学习多个策略，即使对于高维或连续状态空间的复杂决策问题也是如此。在这项工作中，我们提出了\textit{generalized Thresholded Lexicographic Ordering}（gTLO），一种新的方法，旨在结合非线性MORL的优点，广义MORL。我们介绍了一个深度的强化学习实现的算法，并提出了有前途的结果，对非线性MORL和现实世界的应用领域的制造过程控制的标准基准。
2022-04-11 cs.AI cs.LG cs.SY
Monte Carlo Tree Search Algorithms for Risk-Aware and Multi-Objective Reinforcement Learning
University of Galway（戈尔韦大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；City of Amsterdam（阿姆斯特丹市）
在许多风险感知和多目标强化学习设置中，用户的效用来自策略的单次执行。在这种情况下，基于平均未来回报率的决策是不合适的。例如，在医疗环境中，患者可能只有一次机会治疗他们的疾病。仅仅使用预期的未来回报（强化学习中称为价值）来做决策，无法解释一个决策可能产生的负面或正面结果的潜在范围。因此，我们应该使用不同的分布在预期的未来收益表示的关键信息，代理人需要在决策时，考虑未来和应计收益。本文提出了两种新的蒙特卡罗树搜索算法。首先，我们提出了一个蒙特卡罗树搜索算法，可以计算政策的非线性效用函数（NLU-MCTS），通过优化的效用不同的可能的回报，可达到从个人的政策执行，从而在风险意识和多目标设置良好的政策。其次，我们提出了一个分布式的蒙特卡罗树搜索算法（DMCTS），它扩展了NLU-MCTS。DMCTS计算收益效用的近似后验分布，并在规划过程中利用汤普森抽样来计算风险意识和多目标设置中的策略。这两种算法在多目标强化学习中的预期效用都优于最先进的算法。
2022-12-06 cs.AI cs.LG
Dynamical Priors as a Training Objective in Reinforcement Learning
Coimbatore Medical College Coimbatore, TN India（科伊巴托尔医学院，印度泰米尔纳德邦）
本文提出DP-RL框架，通过引入外部状态动态的辅助损失，控制强化学习策略的时间演化，促进时间结构化行为。
2026-04-23 cs.AI cs.LG
Adaptive Alignment: Dynamic Preference Adjustments via Multi-Objective Reinforcement Learning for Pluralistic AI
Deakin University（迪肯大学）；Federation University（联邦大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
针对多元AI对齐中适配多样动态用户偏好的问题，提出基于多目标强化学习的学习后策略选择调整的动态对齐框架，分析其优势、假设与实现细节，并探讨该回溯对齐方法的社会技术影响。
2024-10-31 cs.AI cs.LG
Navigating Trade-offs: Policy Summarization for Multi-Objective Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
针对多目标强化学习产生的庞大策略集，提出一种结合策略行为与目标值的聚类方法，以揭示趋势并辅助决策，在四个环境中优于传统k-medoids聚类。
2024-11-07 cs.AI cs.LG
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Nanyang Technological University（南洋理工大学）
Meta强化学习（MRL）使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中，我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习（MAML），并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络（GAN）。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Multi-objective Reinforcement Learning with Continuous Pareto Frontier Approximation Supplementary Material
Politecnico di Milano（米兰理工大学）
本文档包含论文“Multi-objective强化学习with Continuous Pareto Frontier Approximation”的补充材料，该论文发表于第29届AAAI人工智能会议（AAAI-15）。研究了多目标马尔可夫决策问题（MOMDPs）中Pareto边界的连续逼近问题。我们提出了一个基于政策的方法，利用梯度信息生成的解决方案接近帕累托的。从以前的政策梯度多目标算法，其中n个优化例程是用来有n个解决方案，我们的方法执行一个单一的梯度上升运行，在每一步产生一个改进的连续近似的帕累托边界。我们的想法是利用基于梯度的方法来优化函数的参数，该函数定义了策略参数空间中的流形，使得目标空间中的相应图像尽可能接近帕累托边界。除了导出如何计算和估计这样的梯度，我们还将讨论定义一个度量来评估候选帕累托边界的质量的重要问题。最后，所提出的方法的属性进行了实证评估两个有趣的MOMDPs。
2014-11-18 cs.AI cs.LG
Unsupervised Meta-Learning for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
元学习算法使用过去的经验来学习快速解决新任务。在强化学习的背景下，元学习算法通过利用来自先前任务的经验来获得强化学习过程以更有效地解决新问题。元学习算法的性能取决于可用于元训练的任务：以同样的方式，监督学习最好地推广到与训练点相同分布的测试点，元学习方法最好地推广到与元训练任务相同分布的任务。实际上，Meta强化学习将设计负担从算法设计转移到任务设计上。如果我们也能自动化任务设计的过程，我们就能设计出真正自动化的元学习算法。在这项工作中，我们在这个方向上迈出了一步，提出了一个家庭的无监督元学习算法的强化学习。我们激励和描述了无监督Meta强化学习的一般配方，并提出了这种方法的实例。我们的概念和理论贡献包括制定无监督的Meta强化学习问题，并描述如何基于互信息的任务建议可以用来训练最佳元学习者。我们的实验结果表明，无监督Meta强化学习有效地获得加速强化学习过程，而不需要手动任务设计，这些过程超过从头开始学习的性能。
2020-04-30 cs.AI cs.LG stat.ML
Momba: Network Modernization Improves Multi-Objective Reinforcement Learning
本文提出Momba，将观测与特征归一化等三项神经网络设计进展与熵正则化MORL算法结合，在标准连续控制基准上大幅提升了MORL算法生成解集的质量。
2026-08-10 cs.AI cs.LG
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题，通过形式化元学习与元强化学习框架，梳理相关里程碑算法，为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示（诸如价值函数或策略）的广泛算法家族。每个算法都相对于定义其语义的目标（例如Q学习或策略梯度）来优化其参数。在这项工作中，我们提出了一种基于Meta梯度下降的算法，该算法发现了自己的目标，通过深度神经网络灵活地参数化，仅从与环境的交互经验。随着时间的推移，这允许代理学习如何越来越有效地学习。此外，由于目标是在线发现的，它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题，如自举，非平稳性和离策略学习。在Atari学习环境中，元梯度算法随着时间的推移而适应，以更高的效率学习，最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Interpretability by Design for Efficient Multi-Objective Reinforcement Learning
School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学）；School of Mathematics, The University of Edinburgh（数学学院，爱丁堡大学）；Edinburgh Centre for Robotics（爱丁堡机器人中心）
LLE-MORL通过设计实现可解释性，利用局部线性映射提升多目标强化学习的效率和解质量。
2026-02-05 cs.AI cs.LG
ProMORNA: An End-to-End Generative Framework for Full-Length mRNA Design
Nanjing Foreign Language School（南京外国语学校）；School of Science, China Pharmaceutical University（中国药科大学理学院）；School of Pharmacy, China Pharmaceutical University（中国药科大学药学院）
本文提出ProMORNA框架，通过多目标强化学习生成全长mRNA，优化稳定性、翻译效率和免疫安全。在火萤虫荧光素酶目标上验证，提升了预测半衰期和翻译效率的帕累托前沿。
2026-10-23 cs.AI cs.LG q-bio.BM
Objective Decoupling in Social Reinforcement Learning: Recovering Ground Truth from Sycophantic Majorities
本文提出Epistemic Source Alignment（ESA）方法，解决社会强化学习中因多数评估者偏见导致的目标解耦问题，通过判断反馈来源而非信号本身，确保收敛到真实目标。
2026-02-08 cs.AI cs.ET
Multi-Objective Constraint Inference using Inverse reinforcement learning
Faculty of Sciences（科学学院）
本文提出多目标约束推断框架MOCI，用于从异质专家轨迹中联合提取共享约束和个体偏好，有效处理不同目标下的多样且可能冲突的行为，实验证明其在预测性能和计算效率方面优于现有方法。
2026-05-07 cs.AI cs.LG cs.MA
Deterministic Pareto-Optimal Policy Synthesis for Multi-Objective Reinforcement Learning
提出一种基于切比雪夫标量化的偏好条件贝尔曼算子，用于计算多目标马尔可夫决策过程中的确定性帕累托最优策略，并证明其单调收敛到帕累托前沿的覆盖集。
2026-06-26 cs.AI cs.LG
PD-MORL: Preference-Driven Multi-Objective Reinforcement Learning Algorithm
UW-Madison（威斯康星大学麦迪逊分校）；Siemens Corporate Technology（西门子企业技术部）
针对多目标强化学习中偏好动态变化和策略存储不可扩展的问题，提出PD-MORL算法，通过单一通用网络覆盖整个偏好空间，并利用偏好引导更新和并行化提升样本效率，在连续控制任务上实现更高超体积和更少参数。
2023-05-29 cs.AI cs.LG
