提出一种资源高效的多目标强化学习算法，利用单个 hypernet 在高维参数空间学习 Pareto set 的连续表示，以最少的参数实现最佳性能。
摘要：
对于具有多个冲突目标的控制问题，存在一个被称为 Pareto set 的 Pareto 最优策略集合，而非单一最优策略。当多目标控制问题连续且复杂时，传统的多目标强化学习（MORL）算法需要搜索许多 Pareto 最优深度策略来近似 Pareto set，这非常消耗资源。在本文中，我们提出了一种简单且资源高效的 MORL 算法，该算法使用单个 hypernet 在高维策略参数空间中学习 Pareto set 的连续表示。学习到的 hypernet 可以直接为不同的用户偏好生成各种训练良好的策略网络。我们在七个多目标连续机器人控制问题上将我们的方法与两种最先进的 MORL 算法进行了比较。实验结果表明，我们的方法以最少的训练参数实现了最佳的整体性能。一个有趣的观察是，Pareto set 在高维参数空间中可以很好地由曲线或曲面来近似。这一观察将为研究人员设计新的 MORL 算法提供洞察。
英文摘要：
For a control problem with multiple conflicting objectives, there exists a set of Pareto-optimal policies called the Pareto set instead of a single optimal policy. When a multi-objective control problem is continuous and complex, traditional multi-objective reinforcement learning (MORL) algorithms search for many Pareto-optimal deep policies to approximate the Pareto set, which is quite resource-consuming. In this paper, we propose a simple and resource-efficient MORL algorithm that learns a continuous representation of the Pareto set in a high-dimensional policy parameter space using a single hypernet. The learned hypernet can directly generate various well-trained policy networks for different user preferences. We compare our method with two state-of-the-art MORL algorithms on seven multi-objective continuous robot control problems. Experimental results show that our method achieves the best overall performance with the least training parameters. An interesting observation is that the Pareto set is well approximated by a curved line or surface in a high-dimensional parameter space. This observation will provide insight for researchers to design new MORL algorithms.
Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Galway（戈尔韦大学）；City of Amsterdam（阿姆斯特丹市）；Utrecht University（乌得勒支大学）
Are Stochastic Multi-objective Bandits Harder than Single-objective Bandits?
H. Milton Stewart School of Industrial and Systems Engineering（赫尔曼·米利顿·斯图尔特工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）；Mechanical and Industrial Engineering University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特机械与工业工程学院）
Multi-objective Contextual Bandit Problem with Similarity Information
Bilkent University（比尔肯特大学）
在本文中，我们提出了多目标上下文强盗问题的相似信息。这个问题扩展了经典的上下文强盗问题的相似性信息，通过引入多个和可能冲突的目标。由于每个目标中的最佳手臂在给定的背景下可能是不同的，因此基于单个目标学习最佳手臂可能会危及从其他目标获得的奖励。为了评估学习者在这种设置中的表现，我们使用了一个性能指标，称为上下文帕累托后悔。从本质上讲，语境帕累托后悔是学习者选择的手臂到语境相关帕累托前沿的距离之和。对于这个问题，我们开发了一种新的在线学习算法，称为帕累托上下文缩放（PCZ），它利用上下文缩放的思想来学习的手臂接近帕累托前面的每个观察到的上下文，通过自适应分区的联合上下文手臂集根据观察到的奖励和位置的上下文手臂对在过去选择。然后，我们证明了PCZ实现了$\tilde O (T^{(1+d_p)/(2+d_p)})$帕累托后悔，其中$d_p$是帕累托缩放维度，取决于一组接近最优的上下文臂对的大小。此外，我们通过提供几乎匹配的$Ω(T^{(1+d_p)/(2+d_p)})$下界来证明该遗憾界几乎是最优的。
C-MORL: Multi-Objective Reinforcement Learning through Efficient Discovery of Pareto Front
University of Oxford（牛津大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Queen Mary University of London（伦敦大学玛丽女王学院）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；University of Alberta（阿尔伯塔大学）
Multi-Objective AI Planning: Comparing Aggregation and Pareto Approaches
INRIA Saclay（法国国家信息与自动化研究所萨克莱分院）；LRI Paris-Sud University（巴黎南大学计算机基础实验室）；ONERA-DCSD（法国航空航天实验室-数字与通信系统部）；THALES Research & Technology（泰勒斯研究与技术部）
大多数现实世界的规划问题是多目标的，试图最小化解决方案计划的完工时间和计划中涉及的行动的成本。但是，大多数（如果不是所有的话）现有的方法都是基于单一目标的规划者，并使用目标的集合来保持在单一目标的范围内。分而治之（Divide and Evolve，DaE）是在上届国际规划竞赛（IPC）中获得时间确定性满意度竞赛的进化规划方法。像所有的进化算法（EA），它可以很容易地变成一个基于Pareto的多目标EA。然而，重要的是通过将其与聚合方法进行比较来验证所得到的算法：这是本文的目标。在最近提出的基准集上进行的比较实验证明了在人工智能规划中基于帕累托的有用性。
Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；University of Oxford（牛津大学）；School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；Nanyang Technological University（南洋理工大学）
Pareto Continual Learning: Preference-Conditioned Learning and Adaption for Dynamic Stability-Plasticity Trade-off
City University of Hong Kong（香港城市大学）；HK Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of Science and Technology of China（中国科学技术大学）
MultiZenoTravel: a Tunable Benchmark for Multi-Objective Planning with Known Pareto Front
YData Lab Inc.（YData实验室公司）；Poznan University of Technology（波兹南理工大学）；Inria Saclay（法国国家信息与自动化研究所萨克莱分部）；Universite Paris-Saclay（巴黎萨克雷大学）；Institut Pasteur（巴斯德研究所）；Université Paris Cité（巴黎西岱大学）
Deep Learning Aided Packet Routing in Aeronautical Ad-Hoc Networks Relying on Real Flight Data: From Single-Objective to Near-Pareto Multi-Objective Optimization
Beihang University（北京航空航天大学）；University of Southampton（南安普顿大学）；Bournemouth University（伯恩茅斯大学）
Locally Pareto-Optimal Interpretations for Black-Box Machine Learning Models
University of California at Berkeley（加州大学伯克利分校）；Indian Institute of Technology Bombay（印度班加罗尔理工学院）；Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学）
Large Language Models as Amortized Pareto-Front Generators for Constrained Bi-Objective Convex Optimization
University of Shanghai for Science and Technology（上海科技大学）；Nanyang Technological University（南洋理工大学）；Guangdong Institute of Intelligence Science and Technology（广东智能科学与技术研究院）；Georgia Institute of Technology（佐治亚理工学院）；The University of Michigan（密歇根大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
Self-Evolutionary Optimization for Pareto Front Learning
Seoul National University（首尔国立大学）
多任务学习（MTL）旨在通过同时学习多个任务来提高性能，由于多个目标，它固有地提出了优化挑战。因此，多目标优化（MOO）方法已被提出用于多任务问题。最近的MOO方法用一个统一的模型来近似多个最优解（Pareto front），这被统称为Pareto front learning（PFL）。在本文中，我们表明，PFL可以重新制定成另一个多目标的MOO问题，每个目标对应于不同的偏好权重的任务。我们利用进化算法（EA）提出了一种方法，PFL称为自进化优化（SEO）直接最大化的超体积。通过使用SEO，神经网络学习以多个极大地影响超体积的超参数为条件来近似帕累托前沿。然后，通过简单地通过推断网络来生成近似的群体，可以通过EA来优化网络的超参数。利用PFL的SEO，我们还引入了自进化帕累托网络（SEPNet），使统一模型能够近似整个帕累托前集，最大化超体积。大量的实验结果证实，SEPNet可以找到比当前最先进的方法更好的Pareto前沿，同时最大限度地减少模型大小和训练成本的增加。
